꿈라CBT다음 <보기>의 상황에 대한 진단으로 가장 적절한 것은?
보기
대출 연체 예측 모형을 개발해 배포하였다.
| 시점 | 학습 AUC | 교차검증 AUC | 운영 AUC |
|---|---|---|---|
| 개발 시점 | 0.88 | 0.86 | — |
| 배포 직후 1개월 | — | — | 0.85 |
| 배포 8개월 후 | — | — | 0.68 |
그동안 금리가 크게 오르고 대출 심사 기준이 변경되어, 신규 신청자의 소득·부채 분포가 개발 시점과 달라진 것으로 확인되었다.
- 1개발 시점 격차가 작고 배포 직후 성능도 유지되었으므로 과대적합이 아니라 데이터 드리프트이며, 재학습과 상시 모니터링이 필요하다.
- 2학습 AUC 0.88과 교차검증 AUC 0.86의 차이가 0.02이므로 과대적합이며, 규제를 강화하고 모형을 단순화하면 운영 성능이 회복된다.
- 3운영 AUC가 떨어진 것은 교차검증이 잘못 설계되었기 때문이므로, 폴드 수를 5에서 10으로 늘려 다시 개발하면 해결된다.
- 4모형 성능은 시간이 지나면 자연히 떨어지는 것이 정상이므로 별도 조치는 불필요하며, 0.68도 무작위 예측보다 높으므로 그대로 사용하면 된다.