빅데이터분석기사 필기 · 제7회 · 55번

딥러닝의 심층 인공신경망 구조에서는 비용함수(또는 손실함수)를 최소화하면서 가중치(Weights)를 조정하기 위해 경사하강법(Gradient Descent)을 활용한다. 다시 말해, 경사하강법을 통해 비용함수가 최솟값을 가지도록, 즉 오차가 가장 작아지도록 하는 가중치를 구하는 것이다. 이때 최솟값을 찾기 위해 Step Size를 얼마만큼 이동할지는 Step Size에 대해 ( a )해서 얻은 기울기와 ( b )에 의해 결정된다. 여기서 ( b )이(가) 지나치게 크면 최적값을 지나쳐 발산해 최솟값을 찾지 못하고, 반대로 지나치게 작으면 최적값에 도달하기까지 매우 오랜 시간이 소요된다. 그러므로 적절한 ( b )을(를) 설정하는 것이 중요하다.