꿈라CBT다음 <보기>의 현상에 대한 진단과 대응으로 가장 적절한 것은?
보기
희소한 텍스트 특징(대부분의 값이 0)으로 신경망을 학습하며 Adagrad를 사용하였다.
- 학습 초반에는 손실이 빠르게 감소했다.
- 그러나 중반 이후 손실이 거의 줄지 않고 정체되었다.
- 확인 결과 갱신 폭(실효 학습률)이 0에 가깝게 작아져 있었고, 손실이 진동하거나 발산하는 조짐은 없었다.
- 1손실이 정체된 것은 전역 최솟값에 도달했다는 뜻이므로 학습을 종료하면 되며, 갱신 폭이 작아진 것은 수렴의 자연스러운 증거이다.
- 2희소 데이터에는 변수별 학습률 조정이 불리하므로, 모든 변수에 동일한 학습률을 적용하는 기본 경사하강법으로 되돌리는 것이 최선이다.
- 3갱신 폭이 작아진 것은 학습률이 너무 커서 발산했기 때문이므로, 초기 학습률을 10분의 1로 낮추면 정체가 해소된다.
- 4Adagrad는 기울기 제곱을 계속 누적해 실효 학습률이 단조 감소하므로, RMSProp이나 Adam으로 바꾸는 것이 적절하다.