꿈라CBT다음 <보기>의 절차에 대한 지적으로 가장 적절한 것은?
보기
분석가는 다음 절차로 모형을 개발하고 성능을 보고하였다.
- 전체 데이터에 5겹 교차검증을 적용해 하이퍼파라미터 200개 조합을 평가하였다.
- 그중 교차검증 점수가 가장 높은 조합을 최적으로 선택하였다.
- 그 조합의 교차검증 점수 0.94를 모형의 최종 일반화 성능으로 보고하였다.
그러나 실제 신규 데이터에서의 성능은 0.87이었다.
- 10.94와 0.87의 차이는 신규 데이터의 분포가 달라졌기 때문이므로 절차 자체에는 문제가 없으며, 교차검증 점수를 그대로 보고하는 것이 표준이다.
- 2같은 점수로 하이퍼파라미터를 고르고 그 점수를 성능으로 보고하면 낙관적으로 치우치므로, 테스트셋을 남기거나 중첩 교차검증을 써야 한다.
- 35겹이 아니라 10겹 교차검증을 사용했다면 0.94와 0.87의 차이가 사라졌을 것이므로, 폴드 수를 늘리는 것만으로 해결된다.
- 4조합을 200개나 평가한 것이 문제이므로 20개로 줄이면 되고, 교차검증 점수를 최종 성능으로 보고하는 관행 자체는 문제가 없다.