A/B test

실무에서 뜻하는 것

A/B 테스트는 기존안과 새 안 가운데 무엇이 나은지 의견이 아니라 데이터로 정합니다. 시작 전에 주요 지표, 최소 탐지 효과(MDE), 표본 크기, 실험 기간을 정해 둡니다. 결과를 본 뒤 기준을 바꾸면 해석이 오염됩니다. Braze는 같은 캠페인의 여러 버전에 대한 반응을 비교하는 기능으로 A/B 테스트를 제공합니다. CRM 실험에는 메시지를 보내지 않는 대조군을 함께 둡니다. 그래야 메시지 자체의 증분 효과를 잴 수 있습니다.

리텐션에서 쓴 예

브레이즈 CRM마케팅 iROAS 분석은 앞선 캔버스 실험을 다시 검증해 결함 13가지를 찾았습니다. 가장 큰 결함은 ITT 위반이었습니다. 전환율의 분모를 실제 발송 수로 잡아, 발송에 실패한 사용자가 빠지면서 전환율이 부풀었습니다. 분모를 캔버스 진입 수로 바꾸자 24시간 지연 그룹의 iROAS는 31.51x에서 17.55x로 내려갔습니다. 다음 실험은 50 2-arm, 최소 14일, MDE 0.30pp로 설계했습니다.

헷갈리기 쉬운 것

버전끼리만 비교하면 어느 버전이 나은지는 알지만, 메시지를 보낼 가치가 있는지는 모릅니다. 아예 보내지 않은 집단과 비교해야 증분이 나옵니다.