꿈라CBT다음 <보기>는 가중치 초기화 방식을 바꾸어 학습한 결과이다. 이에 대한 진단으로 가장 적절한 것은?
보기
| 초기화 | 같은 층 뉴런들의 학습 후 가중치 | 학습 오차 |
|---|---|---|
| 모두 0 | 모든 뉴런이 서로 동일 | 0.69(거의 감소 없음) |
| 큰 무작위값 (표준편차 5) | 서로 다름 | 0.55(불안정하게 진동) |
| He 초기화 | 서로 다름 | 0.08(안정적으로 감소) |
- 1모든 가중치를 0으로 두면 계산이 단순해져 가장 빠르게 수렴하므로, 오차가 줄지 않은 것은 학습 횟수가 부족했기 때문이다.
- 2가중치를 모두 같게 두면 대칭이 깨지지 않아 뉴런이 하나와 같아지고 값이 너무 크면 불안정하므로, He·Xavier 초기화가 필요하다.
- 3초기화 값은 학습이 진행되면서 모두 사라지므로 결과에 영향을 주지 않으며, 세 실험의 차이는 데이터 순서의 우연 때문이다.
- 4표준편차가 클수록 탐색 범위가 넓어져 더 좋은 해를 찾으므로, 표준편차를 5보다 더 키우면 He 초기화보다 나은 결과를 얻을 수 있다.