꿈라CBT하이퍼파라미터(Hyper Parameter, 초매개변수)의 최적화를 위해 활용하는 다음의 기법은 무엇인가?
보기
- 알려지지 않은 목적함수를 최대화(또는 최소화)할 수 있는 최적의 해를 탐색한다.
- 지금까지 확보한 데이터와 평가지표 사이의 숨겨진 관계를 Surrogate 모델을 이용해 모델링한다.
- 다음 탐색 지점의 결정에는 Acquisition Function을 활용한다.
- Surrogate 모델은 일반적으로 가우시안 프로세스를 거쳐 생성되며, Acquisition Function을 통해 Expected Improvement가 최대화되는 방향으로 학습이 진행된다.
- 1Bayesian Optimization
- 2Manual Search
- 3Grid Search
- 4NAdam(Adam with Nesterov Momentum)