꿈라CBT어느 이커머스 기업이 결제 화면 A안과 B안의 구매 전환율을 비교하는 실험을 수행하여 아래 결과를 얻었다. 이에 대한 해석으로 가장 적절하지 않은 것은?
보기
| 구분 | 노출 수 | 구매 전환율 |
|---|---|---|
| A안(기존) | 860,000 | 3.20% |
| B안(신규) | 860,000 | 3.28% |
차이 = 0.08%p · p-값 = 0.003 · 차이의 95% 신뢰구간 = [0.03%p, 0.13%p]
- 1p-값이 0.003으로 매우 작다는 것은 두 안의 전환율 차이가 그만큼 크다는 뜻이므로, 효과의 크기를 별도로 확인할 필요는 없다.
- 2p-값이 0.003으로 유의수준 0.05보다 작으므로, 두 안의 전환율 차이는 통계적으로 유의하다고 판단할 수 있다.
- 3차이의 95% 신뢰구간이 0을 포함하지 않는다는 사실은, 유의수준 5%에서 p-값으로 내린 판단과 같은 결론을 가리킨다.
- 4표본이 매우 크면 실질적으로 미미한 차이도 통계적으로 유의하게 나타날 수 있으므로, B안 도입 여부는 0.08%p 상승이 가져올 매출 증가와 전환에 드는 비용을 함께 따져 결정해야 한다.