꿈라CBT다음 <보기>의 현상에 대한 진단과 대응으로 가장 적절한 것은?
보기
Adagrad로 신경망을 오래 학습시켰다.
- 초반에는 손실이 빠르게 감소했다.
- 그러나 중반 이후 손실이 거의 변하지 않았고, 아직 수렴하지 않은 지점에서 멈춘 것으로 보였다.
- 확인 결과 기울기는 0이 아니었다.
- 1기울기 제곱 누적으로 실효 학습률이 0에 가까워진 것이므로, RMSProp이나 Adam을 써야 한다.
- 2기울기가 0이 아니므로 학습은 정상적으로 진행 중이며, 에포크를 늘리기만 하면 반드시 수렴한다.
- 3Adagrad는 모든 매개변수에 동일한 학습률을 쓰므로, 매개변수별로 학습률을 다르게 하는 기법으로 바꿔야 한다.
- 4손실이 변하지 않는 것은 전역 최솟값에 도달했다는 뜻이므로 학습을 종료하면 된다.