꿈라CBTAdagrad(Adaptive Gradient Algorithm)를 설명한 내용으로 가장 적절한 것은 무엇인가?
- 1전체 매개변수에 똑같은 학습률을 적용함으로써 간단하고 신속하게 업데이트를 수행한다.
- 2학습이 진행되는 동안 자주 업데이트된 매개변수일수록 학습률을 점차 감소시킨다.
- 3매개변수가 몇 번 업데이트되었는지와 무관하게 일정한 크기의 Step Size를 유지함으로써 학습을 안정적으로 진행할 수 있게 한다.
- 4학습 초기 단계부터 Gradient의 Momentum을 누적하여 업데이트에 가속을 더함으로써 관성을 활용한다.