꿈라CBT다음 <보기>의 두 모델을 비교할 때 가장 적절한 판단은?
보기
양성 클래스 비율이 1%인 데이터로 학습한 두 모델의 평가 결과는 다음과 같다.
| 모델 | ROC-AUC | PR-AUC |
|---|---|---|
| A | 0.93 | 0.42 |
| B | 0.92 | 0.18 |
- 1ROC-AUC가 더 높은 모델 A를 선택하는 것으로 판단을 끝내면 충분하다.
- 2불균형에서는 ROC-AUC가 낙관적일 수 있으므로, PR-AUC가 뚜렷이 높은 A가 낫다.
- 3PR-AUC는 임계값과 무관한 값이므로 모델 비교에는 사용할 수 없는 참고 지표에 불과하다.
- 4두 지표가 서로 다른 순위를 가리키면 그것은 언제나 데이터 오류이므로 재수집이 필요하다.