꿈라CBT다음 <보기>의 실험 결과에 대한 해석으로 가장 적절한 것은?
보기
같은 신경망을 배치 크기만 바꿔 학습한 결과이다. 학습률은 0.01로 고정하였다.
| 배치 크기 | 에폭당 소요 시간 | 손실 곡선 | 검증 정확도 |
|---|---|---|---|
| 16 | 길다 | 심하게 진동 | 0.88 |
| 128 | 보통 | 비교적 매끄러움 | 0.91 |
| 8,192 | 가장 짧다 | 매우 매끄러움 | 0.83 |
- 1배치 크기가 클수록 기울기 추정이 정확해지므로 검증 정확도도 함께 높아져야 하며, 배치 8,192의 결과는 측정 오류로 보아야 한다.
- 2배치 크기는 계산 효율에만 영향을 줄 뿐 최종 성능과는 무관하므로, 가장 빠른 8,192를 선택하고 학습률은 그대로 두면 된다.
- 3손실 곡선이 매끄러울수록 학습이 잘 된 것이므로 배치 8,192가 최적이며, 검증 정확도가 낮은 것은 에폭 수가 부족했기 때문이다.
- 4배치가 커지면 기울기는 안정되나 갱신 횟수와 잡음이 줄어 일반화에 불리하므로, 학습률을 함께 키우거나 예열 구간을 두어야 한다.