꿈라CBT깊은 인공신경망을 학습할 때 나타나는 기울기 소실(Gradient Vanishing) 문제를 올바르게 설명한 것은?
- 1역전파 과정에서 레이어(Layer)를 다수 쌓아 데이터 표현력을 높임에 따라 학습 기울기가 커지는 현상이다.
- 2역전파(Backpropagation)를 통해 데이터를 학습하는 과정에서 앞쪽 입력층 방향으로 갈수록 기울기가 점점 커져 가중치가 비정상적으로 갱신되는 현상이다.
- 3활성함수의 도함수 값이 반복적으로 곱해지면서 가중치에 대한 결괏값의 기울기가 0이 되어 경사하강법을 적용할 수 없게 되는 현상이다.
- 4비용함수로 쓰이는 활성함수를 최소화하는 과정에서 발생하는 가중치의 기울기가 점차 커지는 현상이다.