꿈라CBT다음 <보기>의 현상에 대한 진단과 대응으로 가장 적절한 것은?
보기
은닉층에 ReLU를 사용한 신경망을 학습하며 다음을 관찰하였다.
- 학습 초기에 손실이 한 번 크게 튀어 오른 뒤, 이후 손실이 거의 변하지 않고 정체되었다.
- 점검 결과 두 번째 은닉층 뉴런의 약 60%가 모든 입력에 대해 출력 0을 내고 있었다.
- 해당 뉴런들의 가중치는 학습 내내 전혀 갱신되지 않았다.
- 학습률은 0.5로 설정되어 있었다.
- 1출력이 0인 뉴런이 많은 것은 모형이 불필요한 연결을 스스로 제거한 결과이므로 오히려 바람직하며, 학습률을 더 높여 남은 뉴런의 학습을 가속해야 한다.
- 2출력이 0인 뉴런은 소프트맥스로 정규화하면 다시 양수 값을 갖게 되므로, 은닉층에 소프트맥스를 추가로 적용하면 문제가 해결된다.
- 3손실이 정체된 것은 기울기 소실 때문이므로, 은닉층 활성화 함수를 ReLU에서 시그모이드로 바꾸면 기울기가 살아나 학습이 재개된다.
- 4큰 학습률로 가중치가 과도하게 갱신되어 뉴런이 음수 영역에 갇힌 Dying ReLU이므로, 학습률을 낮추고 Leaky ReLU·ELU로 교체해야 한다.