꿈라CBT다음 <보기>의 A/B 테스트 결과에 대한 해석으로 가장 적절한 것은?
보기
어느 쇼핑몰이 버튼 색상을 바꾼 A/B 테스트를 수행하였다.
| 그룹 | 노출 수 | 전환율 |
|---|---|---|
| A(기존) | 200,000 | 3.00% |
| B(변경) | 200,000 | 3.02% |
검정 결과 p-value = 0.03으로 유의수준 0.05에서 통계적으로 유의하였다.
- 1p-value가 0.05보다 작으므로 두 그룹의 차이는 실무적으로도 반드시 중요한 차이이다.
- 2p-value = 0.03은 귀무가설이 참일 확률이 3%라는 뜻이므로 97%의 확신을 가질 수 있다.
- 3표본이 매우 크면 아주 작은 차이도 통계적으로 유의해질 수 있으므로, 효과크기와 신뢰구간을 함께 보고 실질적 유의성을 판단해야 한다.
- 4표본 크기가 클수록 p-value는 항상 0.05보다 작아지므로 A/B 테스트에서는 p-value를 사용할 수 없다.