꿈라CBT다음 <보기>의 결과에 대한 해석으로 가장 적절한 것은?
보기
두 모형을 같은 데이터로 평가하였다. 양성(부정거래)은 전체의 0.5%이다.
| 모형 | ROC-AUC | PR-AUC | 임계값 0.5에서의 민감도 |
|---|---|---|---|
| A | 0.93 | 0.21 | 0.35 |
| B | 0.91 | 0.48 | 0.72 |
- 1ROC-AUC가 더 높은 A가 모든 면에서 우수한 모형이므로 A를 선택해야 하며, PR-AUC는 보조 지표에 불과하다.
- 2극심한 불균형에서 ROC-AUC는 낙관적으로 나오고 PR-AUC가 양성 탐지를 잘 반영하므로, B가 실질적으로 낫다.
- 3ROC-AUC와 PR-AUC는 계산 방식만 다를 뿐 같은 정보를 담으므로, 두 값의 차이는 계산 오류로 보아야 한다.
- 4민감도는 임계값에 따라 달라지는 값이므로 모형 비교에 사용할 수 없으며, 임계값과 무관한 ROC-AUC만으로 판단해야 한다.