꿈라CBT다음 <보기>의 현상에 대한 진단과 대응으로 가장 적절한 것은?
보기
깊은 순환 신경망을 학습시키던 중 다음 현상이 나타났다.
- 손실이 몇 스텝 동안 급격히 커지다가 이후 NaN으로 바뀌었다.
- 가중치의 절댓값이 지수적으로 증가하고 있었다.
- 기울기의 노름(norm)이 수만 단위까지 치솟았다.
- 1기울기 소실이 발생한 것이므로 활성화 함수를 시그모이드로 바꾸어야 한다.
- 2NaN은 데이터에 결측값이 있을 때만 발생하므로, 결측 처리만 하면 학습이 정상화된다.
- 3기울기 폭발이 발생한 것이므로, 기울기 클리핑과 학습률 축소가 필요하다.
- 4손실이 커지는 것은 모델이 어려운 구간을 지나는 정상 과정이므로 학습을 계속하면 회복된다.