꿈라CBT다음 <보기>는 이탈 예측 프로젝트의 평가 기준 설정과 결과이다. 이에 대한 지적으로 가장 적절한 것은?
보기
| 시점 | 내용 |
|---|---|
| 기획 시 | 평가 기준을 “최대한 정확한 모형”이라고만 기술 |
| 완료 후 | 정확도 0.93 달성. 이를 근거로 “목표 초과 달성”으로 보고 |
| 확인 결과 | 이탈률은 7%이며, 모형은 이탈 고객의 19%만 탐지. 현업은 “쓸 수 없다”고 평가 |
- 1정확도 0.93은 객관적인 수치이므로 목표 초과 달성이라는 보고는 타당하며, 현업의 평가는 주관적 의견에 불과하다.
- 2평가 기준을 사후에 바꾸는 것은 허용되지 않으므로, 현업의 요구와 무관하게 정확도만으로 성과를 확정해야 한다.
- 3기준이 모호했고 이탈률 7%에서는 정확도 0.93이 무의미하므로, 목적에 맞는 지표를 사전에 정해야 한다.
- 4정확도 대신 AUC를 사용하면 기준을 사전에 정하지 않아도 프로젝트 성과를 객관적으로 판정할 수 있다.