[Deep Learning] Generalization/Overfitting/Cross-validation

Generalization

• Training error와 Test error의 gap(Generalization)을 줄이는 것.

 

Underfitting, Overfitting

Underfitting : 학습 데이터에 대해서 train error가 큰 상태. 
Overfitting : 학습 데이터에 맞추어 과하게 학습이 이루어진 상태. train error는 작고, test error는 크다. 

 

Cross-validation (교차 검증)

• Train data를 train set과 validation set으로 일정비로 나누어 학습을 여러번 하는데, 각 학습 때마다 validation set을 다르게 하는 것.
• 특정 train set에서만 학습이 이루어지지 않게 하기 위함.

 

Bias and Variance

Bias, Variance는 tradeoff 관계를 갖는다. 
cost function을 정리하면, bias, variance, noise 의 식으로 표현.

 

Bootstrapping

• 데이터셋으로부터 랜덤 샘플링을 통해 학습데이터를 다르게하여 학습하여 나온 결과들을 통해 전체 모델의 불확실성을 예측하고하는 방법
• 이 개념은 추상적으로만 알겠다..

 

Bagging, Boosting 

Bagging : 학습 데이터를 나누어 각각 학습 (parallel)
Boosting : 학습 데이터의 일부만을 학습 후 결과를 보고, 이 모델에 데이터를 추가하여 학습하는 방법.(Sequential)

 

출처 : https://www.boostcourse.org/ai111/lecture/1156334