1.2.5 과적합과 모델 학습법

과적합을 조심해야 하는 이유

과적합 : 갖고 있는 트레인 데이터를 과하게 학습시켜 트레인 데이터에서는 성능이 좋지만, 테스트 데이터에서 성능이 떨어지는 경우

과적합이 발생하는 이유

1. 데이터 수가 적어서

2. 입력 변수의 개수가 많은 경우

3. 복잡한 모델을 사용한 경우

우리가 사용한 모형이 과소적합인지 과대적합인지 판단하기는 어렵다.

따라서 우리는 학습, 검증, 평가 세 부분으로 나눠서 테스트한다

• Train : 모델을 학습시키기 위한 데이터

• Validation: 모델의 성능을 조정하기 위한 용도로 과적합 판단을 하거나 HyperParameter를 선택하기 위한 데이터

• Test : 최종적으로 결정된 모델의 성능을 측정하는 데이터.

그냥 나중에 loss 값을 확인할 때 밑에 그림에서처럼 적절한 값 찾아주면 된다.

Uploaded by Notion2Tistory v1.1.0