[Backbone] AlexNet 모델 설명 ImageNet Classification with Deep Convolutional Neural Networks (NIPS 2012)

본 논문은 NIPS 2012에 게재된 논문입니다. (저자 소속: University of Toronto)

논문 링크: https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

 

1. AlexNet

AlexNet은 ILSVRC-2012에서 우승한 최초의 CNN 기반 모델입니다.

이후 Deep Learning 연구에 큰 발전을 가져다준 모델이기도 합니다.

https://www.researchgate.net/figure/Simplified-illustration-of-the-AlexNet-architecture_fig2_329790469

AlexNet 모델의 특징을 요약하자면 다음과 같습니다.

1. 60M 파라미터 (5개의 Convolutional + 3개의 fully-connected layers)
2. ReLU 함수를 사용해서 모델의 비선형성을 증가시켰습니다.
3. Data Augmentation 
4. Drop-out
5. LRN (Local Response Normalizaton) 

 

그 당시 1개의 GPU로는 모델을 학습할 수 없었어서 2개의 GPU로 병렬 학습을 진행했습니다.

• 빨간색 Conv: 동일한 GPU에서 연산된 feature 만을 입력으로 받음
• 파란색 Conv: 모든 GPU에서 연산된 feature를 입력으로 받음

 

2. Architecture with Code

좌: 전체 layer 요약 / 우: Convolutional layer 코드

구현 코드를 보면 5개의 Convolutional 레이어가 알맞게 설계된 것을 보실 수 있습니다.

 

---

 

다음 포스팅들에서는 AlexNet과 같인 유명한 모델들인 VGGNet, GoogLeNet, ResNet, ViT에 대해 다룰 예정이니 참고 바랍니다!

 

저의 글이 언제나 여러분께 도움이 되길 바라겠습니다. 👍

궁금한 내용 댓글 남겨주시면 빠르게 답변해 드리도록 하겠습니다. 😍