꿈라CBT어떤 분석가가 시그모이드 활성화 함수를 사용하는 인공신경망의 은닉층 수를 3개에서 15개로 크게 늘려 학습을 진행하였다. 그 결과 출력층에 가까운 층의 가중치는 갱신되지만 입력층에 가까운 층의 가중치가 거의 갱신되지 않는 현상이 관찰되었다. 이 현상에 대한 설명으로 가장 적절한 것은?
- 1역전파 과정에서 기울기가 층을 거칠수록 급격히 커져 가중치가 발산하는 기울기 폭발 문제이며, 층 수를 더 늘리면 해결된다.
- 2역전파 과정에서 시그모이드 함수의 미분값이 반복적으로 곱해지며 기울기가 점점 작아지는 기울기 소실 문제로, ReLU 계열 활성화 함수 사용으로 완화할 수 있다.
- 3층이 깊어지면서 모델의 표현력이 감소하여 학습이 불가능해진 것으로, 각 층의 노드 수를 줄이면 해결된다.
- 4학습률이 지나치게 커서 발생하는 진동 현상으로, 은닉층 수와는 무관하며 학습률만 낮추면 모든 층이 정상적으로 학습된다.