[Deep Learning] Softmax / layer 층을 여러 개 쌓는 이유

Softmax

• 분류 문제를 풀 때, 모델의 출력을 확률로 해석할 수 있게 변환해주는 연산
• 분류 문제를 풀 때, 선형 모델과 softmax 함수를 결합하여 예측한다.
• 학습 시에는 softmax를 사용하지만, 추론 시에는 원-핫 벡터를 사용한다.
• 원-핫 벡터는 최대값을 가진 주소만 1로 출력하는 연산이다.

$$\textrm{softmax(o)} = \left ( \frac{exp(o_1)}{\sum_{k=1}^p exp(o_k)}, \cdots,  \frac{exp(o_p)}{\sum_{k=1}^p exp(o_k)}  \right )$$

 

layer 층을 여러 개 쌓는 이유 

• 층이 깊을수록 목적함수로 근사하는데 필요한 뉴런의 수가 훨씬 빨리 줄어들어 효율적인 학습이 가능하다. 
• 층이 얇으면 뉴런의 숫자가 기하급수적으로 늘어나 넓은 신경망이 된다.