꿈라CBT다음 <보기>의 상황에 대한 진단과 대응으로 가장 적절한 것은?
보기
N 사의 데이터 사이언티스트가 개발한 이탈 예측 모델은 검증 데이터에서 AUC 0.91을 기록해 사내 발표에서 호평을 받았다. 그러나 6개월 뒤 상황은 다음과 같다.
- 모델은 주피터 노트북에서 수동으로 월 1회 실행되며, 결과는 엑셀로 전달된다.
- 현업 마케팅팀은 "어떤 고객에게 무엇을 하라는 것인지 알 수 없다"며 결과를 사용하지 않는다.
- 모델 성능은 최근 AUC 0.78까지 하락했으나 아무도 인지하지 못하고 있었다.
- 담당자는 "모델 정확도를 더 높이는 것이 자신의 역할"이라고 말한다.
- 1AUC 하락이 근본 원인이므로 더 복잡한 알고리즘으로 교체해 성능을 회복하는 것이 최우선 과제이며, 운영과 전달 문제는 성능이 회복되면 자연히 해소된다.
- 2성능 하락 감지와 배포는 데이터 엔지니어와 MLOps의 영역이므로 데이터 사이언티스트는 관여할 필요가 없고, 현업이 결과를 쓰지 않는 것은 현업의 책임이다.
- 3모델 개발은 성과의 일부일 뿐이므로, 예측을 실행 가능한 조치로 잇는 현업 협업과 배포·모니터링·재학습 운영 체계, 성능 저하 감지 지표가 갖춰져야 한다.
- 4노트북 수동 실행은 재현성이 높은 방식이므로 유지하되, 실행 주기를 월 1회에서 주 1회로 늘리면 성능 하락과 활용도 문제를 모두 해결할 수 있다.