[Deep Learning] CNN의 발전 및 trade-off

CNN의 발전 요인

• layer 수 증가 (깊이)
  • 네트워크가 깊어질수록 모델은 더 복잡해지고, 그에 따라 상당히 복잡한 특징을 학습할 수 있으므로 깊이를 깊게 만드는 것이 중요하다. 그러나, 깊이가 증가함에 따라 경사 소실 문제(vanishing gradient), overfitting 문제가 발생할 수 있으므로 절충점을 찾아야 한다.
• feature map 또는 channel 수 증가 (너비)
  • 채널 수가 많아질수록 네트워크가 더 세밀한 특징을 학습할 수 있으므로 이론적으로는 너비를 증가시키는 것이 도움이 된다. 그러나, 모델이 극도로 넓어지면 정확도가 빠르게 saturate되는 경향이 있다. 
• 이미지 공간차원 증가(32x32 => 224x224) (해상도)
  • 고해상도 이미지는 더 세분화된 정보를 포함하므로 이론적으로 더 잘 작동해야 한다. 그러나 경험적으로 해상도가 높아진다고 모델 성능이 선형적으로 증가하는 것이 아니다. 

 

출처 : 책 파이토치 딥러닝 프로젝트