꿈라CBT아래는 어느 통신사의 이탈 고객 예측 프로젝트 진행 상황이다. CRISP-DM 방법론에 비추어 볼 때 가장 적절하지 않은 판단은?
보기
· 모델링 결과 이탈 예측 모델의 AUC가 0.91로 통계적 성능이 우수하게 나타났다.
· 그러나 현업 마케팅 부서는 "모델이 지목한 고객의 상당수가 이미 해지 절차를 밟고 있어 마케팅으로 되돌릴 수 없다"고 지적하였다.
· 확인 결과, 학습에 사용된 변수 중 '해지 상담 접수 여부'가 포함되어 있었다.
- 1통계적 성능이 아무리 높아도 비즈니스 목적을 충족하지 못하면 '평가(Evaluation)' 단계에서 이전 단계로 되돌아갈 수 있으며, 이는 CRISP-DM이 순환적 구조를 갖는 이유이다.
- 2'해지 상담 접수 여부'는 이탈이 사실상 확정된 뒤에야 생성되는 정보이므로, 예측 시점에 알 수 없는 변수를 사용한 데이터 누수에 해당한다.
- 3이 문제의 근본 원인은 '비즈니스 이해' 단계에서 예측의 활용 시점과 목표를 명확히 정의하지 않은 데 있으므로, 초기 단계로 되돌아가 문제를 재정의하는 것이 타당하다.
- 4AUC 0.91은 통계적으로 우수한 수치이므로 모델 자체에는 문제가 없으며, 현업의 지적은 '전개(Deployment)' 단계에서 운영 방식만 조정하면 해결되는 사안이다.