브레이즈 CRM마케팅 iROAS 분석, 월드클래스 분석가를 AI로 고용한 결과

이전 글에서 브레이즈 캔버스의 iROAS를 측정해 19배라는 결과를 발표했습니다. 동료들의 반응은 "솔직히 뻥튀기 아닌가?"였습니다.

맞는 지적이었습니다. 그래서 월드클래스 수준의 전문가 3인에게 검증을 맡겼습니다. 단, 컨설팅비 수천만 원을 쓴 게 아닙니다. AI 에이전트에게 그들의 분석 프레임워크를 적용하게 했습니다. 거의 꽁짜로요.

결과부터 말씀드리면: 분석 방법이 틀린 건 아니었지만, 13가지 결함이 있었고, 보정하면 iROAS는 4-10배로 내려갑니다. 그래도 여전히 훌륭한 성과입니다.

TLDR

• 이전 글의 iROAS 19배 분석에서 13가지 통계적/방법론적 결함 발견
• Kohavi급 통계학자, CRM 데이터 애널리스트, 브레이즈 전문가 3인의 관점으로 검증
• 보정된 iROAS: 4-10배 (여전히 업계 평균 대비 우수)
• 7일 확장 분석에서 신규성 효과(Novelty Effect) 9-11% 감소 확인
• Bootstrap 신뢰구간: V1(24h delay)은 견고, V2(6h delay)는 불확실
• 다음 실험 설계까지 완성 — 이사회에 보고할 수 있는 수준
• 이 모든 분석을 AI 에이전트(MCP)로 수행 — 비용 거의 0원

1. CRM마케팅 검증이 필요했던 이유

동료들의 의구심

"iROAS 19배요? CRM 캠페인에서? 좀 과하지 않나요?"

동료들의 반응은 당연했습니다. 업계에서 CRM 캠페인의 평균 iROAS는 2-5배 수준입니다. 19배는 아무리 좋게 봐도 이상치(outlier)처럼 보입니다.

검증의 프레임워크

단순히 "맞다/틀리다"가 아니라, 다른 수준의 전문성으로 같은 데이터를 들여다보면 무엇이 보이는지 확인하고 싶었습니다.

세 가지 관점을 선택했습니다:

Ron Kohavi는 "Trustworthy Online Controlled Experiments"의 저자로, Microsoft에서 1만 건 이상의 A/B 테스트를 설계한 분야 최고 권위자입니다.

AI로 전문가를 "고용"한 방법

실제로 한 것은 간단합니다. AI 에이전트에게 각 전문가의 분석 프레임워크와 기준을 적용하여 이 데이터를 검토하라고 지시한 것입니다.

MCP(Model Context Protocol)로 Braze(브레이즈)와 Amplitude(앰플리튜드) 데이터에 직접 접근하면서, 동시에 Oracle 에이전트에게 Kohavi 수준의 통계 검증을 병렬로 요청했습니다.

비용: 0원. 시간: 약 2시간. 인간 전문가 3인에게 이 수준의 검토를 받으려면 최소 2-3주, 비용은 수백만 원이 들었을 것입니다.

2. Kohavi급 통계학자가 발견한 13가지 결함

AI에게 Kohavi의 프레임워크(ITT 원칙, SRM 검증, 다중비교 보정, 신뢰구간 필수 등)를 적용하여 기존 분석을 검토하게 했습니다.

CRITICAL (실험 무효화 수준) — 4건

결함 #1: ITT(Intention-to-Treat) 위반

가장 심각한 문제입니다. 기존 분석에서 Treatment의 분모를 "Webhook Send 수(실제 발송된 수)"로 사용했습니다. 그러나 올바른 분모는 Canvas Entry 수(실험에 배정된 전체 수)입니다.

잘못된 계산: CVR = 주문 수 / 발송 수 (Per-Protocol)
올바른 계산: CVR = 주문 수 / 캔버스 진입 수 (ITT)

왜 문제인가? 발송에 실패한 유저(알림톡 차단, 앱 삭제 등)를 분모에서 빼면 "메시지를 잘 받는 좋은 유저"만 남아 전환율이 인위적으로 올라갑니다.

ITT 보정 결과: - V2(6h): iROAS 12.70x → 9.59x (-24.4%) - V1(24h): iROAS 31.51x → 17.55x (-44.3%)

결함 #2: 비대칭 분모

Control 그룹은 21,755명(전체 Canvas Entry의 50%)인 반면, Treatment V2는 10,581명, V1은 8,942명입니다. 실험 배정 비율은 50:25:25였습니다. 분모 규모가 2배 차이나면 통계적 비교의 정밀도가 떨어집니다.

결함 #3: 데이터 불일치

Amplitude(앰플리튜드) REST API와 UI에서 같은 쿼리를 실행했을 때, Control 전환율에 미세한 차이(1.70% vs 1.82%)가 발생했습니다. 원인은 분모의 의미 차이(전체 진입 vs 위험 집단)였지만, 이런 차이가 존재한다는 것 자체가 측정 인프라의 신뢰도 문제입니다.

결함 #4: 시간 윈도우 차감법의 오류

이전 분석에서 Control의 특정 시간대 전환을 계산하기 위해 "(0-30h 전환) - (0-6h 전환)" 같은 차감법을 사용했습니다. 이 방법은 전환율이 시간에 따라 선형으로 변하지 않으면 오차가 발생합니다. 실제 전환은 비선형적(초반에 집중)입니다.

MODERATE (결과 신뢰도 저하) — 5건

MINOR (개선 권장) — 4건

3. CRM마케팅 성과: 데이터 애널리스트의 현실 검증

Kohavi급 통계학자가 이론적 결함을 찾았다면, CRM 데이터 애널리스트는 업계 현실과 비교했습니다.

업계 벤치마크 대비

보정 후 수치가 업계 벤치마크와 잘 맞습니다. 이는 보정 방법이 올바르다는 교차 검증이기도 합니다.

유기적 전환의 중복 문제

애널리스트가 지적한 핵심은 유기적 전환(organic conversion)과의 중복입니다.

Treatment 그룹에서 전환한 유저 중 상당수는 메시지를 받지 않아도 어차피 구매했을 유저입니다. 이전 분석에서 이 유기적 전환을 Control CVR로 빼주긴 했지만, 실제로는 Treatment 전환의 약 80%가 유기적 전환일 수 있습니다.

Treatment CVR 2.15% 중:
├── 유기적 전환: ~1.70% (Control 수준)
├── 증분 전환: ~0.45% (메시지 덕분)
└── 증분 비율: 약 21%만 메시지의 순수 효과

이 관점에서 보면, 메시지가 실제로 만들어낸 추가 구매는 전체 Treatment 전환의 약 20%입니다. 나머지 80%는 어차피 일어났을 구매입니다. 그래도 15원에 추가 매출을 만든다면 충분히 가치 있습니다.

보정된 iROAS 범위: 4-10배

보수적 보정과 낙관적 보정의 범위:

핵심 메시지: 보수적으로 잡아도 4배, 15원 투자해서 60원 이상 벌어들이는 셈입니다. 대부분의 퍼포먼스 마케팅 채널보다 효율이 좋습니다.

4. 앰플리튜드 MCP로 수행한 후속 분석

AI 에이전트의 권고에 따라 4가지 후속 분석을 Amplitude(앰플리튜드) MCP로 직접 실행했습니다.

4-1. 7일 확장 분석: 신규성 효과 확인

3일 → 7일로 분석 기간을 확장하자 CVR이 9-11% 하락했습니다.

이는 신규성 효과(Novelty Effect)를 보여줍니다. 새로운 캠페인이 시작될 때 반응률이 높고, 시간이 지나면서 감소합니다. 3일 데이터만으로 판단하면 장기 성과를 과대평가하게 됩니다.

Kohavi의 조언대로 최소 14일 실험이 필요한 이유입니다.

4-2. ITT 보정 iROAS

Canvas Entry 기반 분모로 재계산한 결과:

V1의 하락폭이 더 큰 이유는 24시간 지연 동안 이탈한 유저가 더 많기 때문입니다.

4-3. Bootstrap 신뢰구간: V2는 불확실

먼저 용어를 쉽게 정리하겠습니다.

• Bootstrap 신뢰구간: 현재 데이터를 "여러 번 다시 뽑아"(복원추출) 결과 범위를 추정하는 방법입니다. 즉, "이 결과가 우연이 아닐 가능성"을 구간으로 보여줍니다.
• 95% 신뢰구간: 같은 실험을 여러 번 반복하면, 그중 약 95%에서 참값이 이 구간 안에 들어온다는 뜻입니다.

10,000회 Bootstrap 시뮬레이션으로 95% 신뢰구간을 계산했습니다.

V2의 신뢰구간이 음수를 포함합니다. 이는 V2 캠페인이 손해를 볼 가능성도 있다는 의미입니다. 반면 V1의 하한이 19x이므로 확실히 수익성이 있습니다.

이 결과는 직관에 반합니다. CVR이 더 높은 V2가 오히려 불확실하다니? 이유는 V2의 Control 기준선(6h-30h 시간대)의 분산이 크기 때문입니다.

4-4. REST API vs UI 차이의 원인

Amplitude(앰플리튜드) REST API와 UI에서 같은 쿼리를 실행했을 때 Control CVR이 미세하게 달랐습니다(1.70% vs 1.82%). 원인을 추적한 결과:

• 전환 수(분자)는 동일: 370건
• 분모가 다름: API는 전체 Canvas Entry(21,755명), UI는 위험 집단(at-risk population, 20,485명)
• 370/21,755 = 1.701%, 370/20,485 = 1.806%

교훈: 같은 도구라도 분모의 정의를 명확히 해야 합니다. "전환율"이라는 같은 단어가 다른 숫자를 의미할 수 있습니다.

5. 월드클래스 브레이즈 전문가의 다음 실험 설계

세 번째 AI 전문가에게는 앞의 13가지 결함을 모두 해결하는 다음 실험 설계를 요청했습니다.

핵심 변경사항

여기서 2-arm은 "두 그룹만 비교하는 실험"이라는 뜻입니다. 이번 맥락에서는 Treatment 1개 vs Control 1개로 단순화해 해석력을 높입니다.

통합 지연 아키텍처 (가장 중요한 개선)

기존 실험의 핵심 결함은 Canvas Entry 단계에서 Control 그룹을 먼저 고정해, 메시지가 실제로 나갔어야 할 시점과 측정 시작점이 어긋난 점입니다.

더 나은 해법은 Braze 공식 문서의 Experiment Paths step을 메시지 발송 직전 타이밍에 두는 것입니다.

• 공식 레퍼런스: Braze Experiment Paths Step
• 설계 원칙: "공통 Delay 이후"에 50:50 분기하여 Treatment/Control의 시간축을 맞춥니다.

공통 구간:
Canvas Entry → 6h Delay → Experiment Paths Step (50:50)

Treatment Path (50%):
알림톡 발송 → 24h 측정 윈도우

Control Path (50%):
빈 Webhook(또는 no-op 로깅) → 24h 측정 윈도우
↑ 메시지 발송 시점과 동일 타임스탬프에서 측정 시작

Control에 빈 Webhook만 추가하는 것 자체가 핵심이라기보다, Experiment Paths step에서 같은 타이밍으로 분기한 뒤 Control 로깅을 남기는 것이 핵심입니다. 이 Webhook은 아무 메시지도 보내지 않지만, Amplitude(앰플리튜드)에 [Appboy] Webhook Send 이벤트를 남겨 Treatment와 Control의 측정 시작점을 맞춰줍니다.

비용: 0원 (내부 로깅 엔드포인트 또는 Braze-to-Braze webhook 활용).

필요한 샘플 사이즈

14일 운영하면 약 20만 명이 참여하게 되어, 0.17pp까지 감지 가능한 강력한 실험이 됩니다.

AB테스트 사전등록 체크리스트

Kohavi의 원칙에 따라 실험 시작 전에 문서화해야 할 항목:

• 주요 지표(Primary Metric): iCVR (증분 전환율)
• 보조 지표: iROAS, 증분 AOV, 배송률
• 가드레일 지표: 알림톡 수신거부율, 앱 삭제율
• 성공 기준: p < 0.05 (양측검정)
• MDE: 0.30pp
• 실험 기간: 최소 14일

이 모든 것을 실험 시작 전에 확정해야 합니다. 사후에 기준을 바꾸면 결과를 조작할 여지가 생깁니다.

6. AI 에이전트로 월드클래스 분석을 수행하는 방법

실제 사용한 도구

이번 검증에 사용한 AI 에이전트 구성:

참고: 본 글의 Oracle/Deep 표기는 오마코드(OpenCode) 기반 에이전트 런타임에서 사용한 역할명입니다. 프로젝트 레퍼런스는 anomalyco/opencode입니다.

총 실행 시간: 약 2시간. 대부분의 에이전트가 병렬로 실행되었습니다.

핵심: AI에게 "프레임워크"를 주는 것

단순히 "이 데이터 분석해줘"라고 하면 평범한 결과가 나옵니다. 핵심은 구체적인 분석 프레임워크를 지정하는 것입니다.

예시:

"Kohavi의 Trustworthy Online Controlled Experiments 기준으로
이 A/B 테스트를 검토하세요. 특히:
1. ITT 원칙 준수 여부
2. SRM(Sample Ratio Mismatch) 가능성
3. 다중비교 보정 필요성
4. 신뢰구간 범위
5. 외적 타당도(실험 기간, 신규성 효과)"

이렇게 하면 AI가 해당 프레임워크의 체크리스트를 하나씩 적용합니다.

누구나 할 수 있습니다

이 분석을 수행하는 데 필요한 것:

1. 브레이즈 Currents → 앰플리튜드 연동 (이미 되어 있는 회사가 많음)
2. MCP 서버 설치 (오픈소스, 무료)
3. AI 에이전트 프롬프트 (이 글에서 공유한 프레임워크)

개발자가 필요 없습니다. 그로스 마케터나 CRM 매니저가 직접 할 수 있습니다.

7. 시사점: "거의 맞다"와 "정확하다"의 차이

기존 분석이 틀린 건 아니었습니다

iROAS 19배가 4-10배로 내려갔지만, 핵심 결론은 변하지 않습니다:

1. 카카오 알림톡 캐러셀은 증분 매출을 만들어냅니다 (높은 확신)
2. 24시간 지연 발송이 6시간보다 증분 효과가 큽니다
3. 15원 투자 대비 충분한 수익성이 있습니다

하지만 정확한 수치가 중요합니다

"19배"와 "4배"는 의사결정에 영향을 줍니다:

월드클래스 분석가의 관점은 단순히 숫자를 깎는 게 아니라, 의사결정의 품질을 높이는 것입니다.

AI 시대의 분석 품질

2026년, 분석의 병목은 더 이상 도구나 기술이 아닙니다. 어떤 프레임워크로 어떤 질문을 하느냐가 결과의 수준을 결정합니다.

Kohavi급 통계학자의 관점, CRM 데이터 애널리스트의 업계 감각, 브레이즈 전문가의 실전 노하우 — 이 세 가지를 동시에 갖춘 사람은 거의 없습니다. 하지만 AI 에이전트에게 각각의 프레임워크를 적용하게 하면, 한 사람이 세 전문가의 시야를 가질 수 있습니다.

자주 묻는 질문 (FAQ)

Q1. AI가 정말 Kohavi 수준의 분석을 할 수 있나요?

완전히 동일하지는 않지만, 80% 이상의 체크리스트는 적용 가능합니다. Kohavi의 프레임워크(ITT, SRM, 다중비교 보정 등)는 체계화되어 있어서 AI가 기계적으로 적용할 수 있습니다. 다만 "이 실험이 비즈니스적으로 의미 있는가?"같은 판단은 여전히 인간의 영역입니다.

Q2. 보정 후 iROAS가 4배면 그래도 괜찮은 건가요?

매우 괜찮습니다. 15원 투자해서 60원 이상의 증분 매출을 만든다는 뜻입니다. Meta Ads의 평균 ROAS가 2-3배인 것을 고려하면, CRM 채널의 4배 iROAS는 우수한 성과입니다.

Q3. Bootstrap 신뢰구간에서 V2가 음수인데 V2는 중단해야 하나요?

바로 중단할 필요는 없습니다. 3일 데이터로 계산한 신뢰구간이므로, 14일 실험에서 데이터가 충분히 모이면 구간이 좁아질 것입니다. 다만 V2 단독으로 의사결정하기보다 V1과 V2를 별도 실험으로 분리하여 각각의 증분 효과를 정밀 측정하는 것을 권장합니다.

Q3-1. Bootstrap 신뢰구간을 한 줄로 설명하면 뭔가요?

"지금 본 성과 숫자가 다음번에도 비슷하게 나올지"를 범위로 보여주는 안전장치입니다. 점추정(예: 12.7배)만 보면 과신하기 쉽고, 신뢰구간(예: -1.03배~26.49배)까지 봐야 리스크를 함께 판단할 수 있습니다.

Q4. MCP 없이도 이 검증을 할 수 있나요?

가능하지만 시간이 훨씬 오래 걸립니다. 앰플리튜드 UI에서 수동으로 퍼널을 만들고, Excel에서 Bootstrap 시뮬레이션을 돌리고, 브레이즈 문서를 하나씩 확인하면 됩니다. 이 글에서 사용한 MCP 워크플로우는 이 과정을 2시간으로 압축한 것입니다.

Q5. 다음 실험 설계를 바로 적용할 수 있나요?

네, 이 글의 설계를 그대로 따라 하실 수 있습니다. 다만 Canvas 실험 설정, Webhook 엔드포인트 구축, Amplitude(앰플리튜드) 퍼널 사전 구성은 기술적 작업이 필요합니다. 더 자세한 재현 가이드는 별도로 준비되어 있으며, 문의하기로 요청하시면 공유해 드립니다.

Q6. 2-arm 실험은 왜 중요한가요?

2-arm은 Treatment vs Control "두 그룹만" 비교하는 방식이라 해석이 가장 명확합니다. 그룹이 많아질수록(예: 3-arm, 4-arm) 각 그룹 표본이 줄고 다중비교 이슈가 커져, 같은 기간에 결론을 내기 어려워집니다.

다음 단계

직접 검증해 보기

이 글에서 사용한 AI 검증 프레임워크를 직접 적용해 보세요:

1. 기존 CRM 캠페인의 iROAS를 계산합니다
2. AI 에이전트에게 Kohavi 프레임워크로 검증을 요청합니다
3. 보정된 수치로 의사결정합니다

전문가와 함께하기

CRM마케팅 증분 효과 측정 체계를 함께 설계하고 싶다면:

📅 30분 무료 상담 예약

Retention Inc. - 데이터 기반 스타트업 그로스 컨설팅

References

• Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
• Understanding Incremental ROAS vs ROAS - Incrmntal
• Batch Push Notification Benchmark 2024 - Batch
• Push Notification Benchmarks 2025 - Airship
• The Truth About Holdout Groups in A/B Testing - Pritul Patil
• Braze Docs: Experiment Paths Step - Braze
• OpenCode (anomalyco/opencode) - Agent runtime reference
• 이전 글: AI 마케팅 분석으로 브레이즈 캔버스 iROAS 19배 달성 - retn.kr

LinkedIn 포스팅

iROAS 19배를 발표했더니 동료들이 "뻥튀기 아냐?"라고 했습니다.

맞는 지적이었습니다.

그래서 AI 에이전트에게 월드클래스 분석가 3인의 프레임워크를 적용하게 했습니다: - Ron Kohavi급 통계학자 → 13가지 결함 발견 - CRM 데이터 애널리스트 → 업계 벤치마크 대비 검증 - 월드클래스 브레이즈 전문가 → 다음 실험 설계

결과: iROAS는 19배가 아니라 4-10배였습니다.

그런데 재밌는 건, 4배도 매우 좋은 수치라는 겁니다. 15원에 카카오 알림톡 하나 보내서 60원 이상의 증분 매출을 만든다면요.

핵심 교훈: 1. "거의 맞다"와 "정확하다"는 의사결정을 바꿉니다 2. 월드클래스 전문가의 프레임워크는 체계화되어 있어서 AI에게 적용시킬 수 있습니다 3. 비용: 거의 0원. 시간: 2시간.

분석의 병목은 이제 도구가 아닙니다. 어떤 프레임워크로 어떤 질문을 하느냐가 결과의 수준을 결정합니다.

자세한 내용: retn.kr/blog/braze-crm-marketing-iroas-review

#CRM마케팅 #브레이즈 #iROAS #AI마케팅 #AB테스트 #그로스해킹 #앰플리튜드

뉴스레터 발송

Subject Line (41자)

iROAS 19배가 사실은 4배? 그래도 훌륭한 이유

Preview Text (88자)

브레이즈 CRM 캠페인 성과를 월드클래스 분석가 프레임워크로 AI 검증했습니다. 13가지 결함과 보정 결과를 공개합니다.

발송 체크리스트

• [x] Subject 30-50자: 41자 ✅
• [x] Preview 80-100자: 88자 ✅
• [x] Preview가 Subject와 다른 정보 ✅
• [ ] 발송 시간: 화-목, 08-09시 KST 권장
• [ ] 모든 링크에 UTM 추가 (utm_source=newsletter)
• [ ] ?ref=newsletter 파라미터로 Gated Content 스킵