꿈라CBT다음 <보기>는 ReLU를 사용한 신경망에서 관찰된 현상이다. 이에 대한 진단과 대응으로 가장 적절한 것은?
보기
| 학습 단계 | 출력이 항상 0인 뉴런 비율 | 학습 오차 |
|---|---|---|
| 초기 | 6% | 0.61 |
| 중반 | 28% | 0.24 |
| 후반 | 47% | 0.22(정체) |
학습률은 0.5로 고정하였고, 활성화 함수는 은닉층 전체에 ReLU를 사용하였다.
- 1큰 학습률로 입력이 늘 음수가 되어 갱신되지 않는 죽은 뉴런이므로, 학습률을 낮추고 Leaky ReLU·ELU를 써야 한다.
- 2출력이 0인 뉴런이 늘어나는 것은 모델이 불필요한 뉴런을 스스로 제거하는 정상적인 최적화 과정이므로, 비율이 높을수록 효율적인 모델이다.
- 3학습 오차가 0.22까지 줄었으므로 문제가 없으며, 죽은 뉴런 비율은 성능과 무관한 부수적인 지표이다.
- 4죽은 뉴런은 학습률이 지나치게 작을 때 생기므로, 학습률을 0.5에서 2.0으로 크게 높이면 해결된다.