[Deep Learning] VGG / GooLeNet

VGG (Visual Geometry Group)

• 13개의 layer(10개의 Convolution layer, 3개의 fully connected layer)
• 1억 3천 8백만 parameter 사용
• AlexNet보다 더 많은 layer를 쌓고, 작은 크기의 kernel(2x2, 3x3) 사용 

이미지 출처 : https://paperswithcode.com/method/vgg

 

GoogLeNet

• 22개의 layer 
• VGG보다 많은 layer를 사용하지만, parameter는 단지 5백만개를 사용한다.
• Inception 모듈(여러 병렬 합성곱 계층으로 구성된 모듈)을 사용
• parameter 개수를 줄이기 위해 1x1 conv 사용
• overfitting을 줄이기 위해 fully connected layer가 아닌 전역 평균 풀링을 사용
• vanishing gradient 문제를 해결하기 위해(gradient 값을 보다 잘 전달하기 위해) Auxiliary classifier 사용

 

Inception 모듈

• 파라미터 수를 줄이기 위해 1x1 합성곱을 사용하고, 합성곱 계층을 병렬로 실행하고, 최종으로 이들의 결과를 concat하여 단일 출력 벡터 생성
• 5x5 계층은 3x3 계층을 2번 연산으로 대체하면서, 연산량을 감소시킴. (구현한 코드에도 3x3 layer 2개 씀)
  • 5x5 : 3x3x2 = 25 : 18, 연산량이 약 18/25배로 감소함.

GoogLeNet 구조