# 브레이즈 CRM마케팅 iROAS 분석, 월드클래스 분석가를 AI로 고용한 결과

> 출처: https://retn.kr/blog/braze-crm-marketing-iroas-review/ · 수정 2026-10-16 · 리텐션 주식회사

브레이즈 CRM마케팅 캔버스 iROAS 19배 분석을 Kohavi급 통계학자, CRM 데이터 애널리스트, 브레이즈 전문가 3인에게 AI로 검증받았습니다. 13가지 결함 발견, 보정된 iROAS 4-10배 결과와 다음 CRM마케팅 실험 설계까지 완성했습니다.

[이전 글](/blog/mcp-braze-amplitude-iroas/?utm_source=blog&utm_medium=internal&utm_campaign=braze-crm-iroas-worldclass-ai-review)에서 브레이즈 캔버스의 iROAS를 측정해 **19배**라는 결과를 발표했습니다. 동료들의 반응은 "솔직히 뻥튀기 아닌가?"였습니다.

맞는 지적이었습니다. 그래서 **월드클래스 수준의 전문가 3인**에게 검증을 맡겼습니다. 단, 컨설팅비 수천만 원을 쓴 게 아닙니다. **AI 에이전트에게 그들의 분석 프레임워크를 적용하게** 했습니다. 거의 공짜로요.

결과부터 말씀드리면: 분석 방법이 틀린 건 아니었지만, **13가지 결함**이 있었고, 보정하면 iROAS는 **4-10배**로 내려갑니다. 그래도 여전히 훌륭한 성과입니다.

## TLDR

- 이전 글의 iROAS 19배 분석에서 **13가지 통계적/방법론적 결함** 발견
- Kohavi급 통계학자, CRM 데이터 애널리스트, 브레이즈 전문가 3인의 관점으로 검증
- **보정된 iROAS: 4-10배** (여전히 업계 평균 대비 우수)
- 7일 확장 분석에서 **신규성 효과(Novelty Effect) 9-11% 감소** 확인
- Bootstrap 신뢰구간: V1(24h delay)은 견고, V2(6h delay)는 불확실
- **다음 실험 설계**까지 완성 — 이사회에 보고할 수 있는 수준
- 이 모든 분석을 **AI 에이전트(MCP)**로 수행 — 비용 거의 0원

## 1. CRM마케팅 검증이 필요했던 이유

### 동료들의 의구심

"iROAS 19배요? CRM 캠페인에서? 좀 과하지 않나요?"

동료들의 반응은 당연했습니다. 업계에서 CRM 캠페인의 평균 iROAS는 **2-5배** 수준입니다. 19배는 아무리 좋게 봐도 이상치(outlier)처럼 보입니다.

### 검증의 프레임워크

단순히 "맞다/틀리다"가 아니라, **다른 수준의 전문성**으로 같은 데이터를 들여다보면 무엇이 보이는지 확인하고 싶었습니다.

세 가지 관점을 선택했습니다:

| 관점 | 역할 | 기대 산출물 |
| --- | --- | --- |
| Kohavi급 통계학자 | A/B 테스트 방법론 결함 진단 | 통계적 엄밀성 결함 목록 |
| CRM 데이터 애널리스트 | 업계 벤치마크 대비 현실 검증 | 보정된 iROAS 범위 |
| 월드클래스 브레이즈 전문가 | 다음 실험의 정확한 설계 | 재현 가능한 실험 프로토콜 |

Ron Kohavi는 "Trustworthy Online Controlled Experiments"의 저자로, Microsoft에서 1만 건 이상의 A/B 테스트를 설계한 분야 최고 권위자입니다.

### AI로 전문가를 "고용"한 방법

실제로 한 것은 간단합니다. **AI 에이전트에게 각 전문가의 분석 프레임워크와 기준을 적용하여 이 데이터를 검토하라**고 지시한 것입니다.

MCP(Model Context Protocol)로 Braze(브레이즈)와 Amplitude(앰플리튜드) 데이터에 직접 접근하면서, 동시에 Oracle 에이전트에게 Kohavi 수준의 통계 검증을 병렬로 요청했습니다.

**비용: 0원.** 시간: 약 2시간. 인간 전문가 3인에게 이 수준의 검토를 받으려면 최소 2-3주, 비용은 수백만 원이 들었을 것입니다.

## 2. Kohavi급 통계학자가 발견한 13가지 결함

AI에게 Kohavi의 프레임워크(ITT 원칙, SRM 검증, 다중비교 보정, 신뢰구간 필수 등)를 적용하여 기존 분석을 검토하게 했습니다.

### CRITICAL (실험 무효화 수준) — 4건

**결함 #1: ITT(Intention-to-Treat) 위반**

가장 심각한 문제입니다. 기존 분석에서 Treatment의 분모를 "Webhook Send 수(실제 발송된 수)"로 사용했습니다. 그러나 올바른 분모는 **Canvas Entry 수(실험에 배정된 전체 수)**입니다.

잘못된 계산: CVR = 주문 수 / 발송 수 (Per-Protocol)
올바른 계산: CVR = 주문 수 / 캔버스 진입 수 (ITT)

왜 문제인가? 발송에 실패한 유저(알림톡 차단, 앱 삭제 등)를 분모에서 빼면 **"메시지를 잘 받는 좋은 유저"만 남아** 전환율이 인위적으로 올라갑니다.

**ITT 보정 결과:** - V2(6h): iROAS 12.70x → **9.59x** (-24.4%) - V1(24h): iROAS 31.51x → **17.55x** (-44.3%)

**결함 #2: 비대칭 분모**

Control 그룹은 21,755명(전체 Canvas Entry의 50%)인 반면, Treatment V2는 10,581명, V1은 8,942명입니다. 실험 배정 비율은 50:25:25였습니다. 분모 규모가 2배 차이나면 **통계적 비교의 정밀도가 떨어집니다**.

**결함 #3: 데이터 불일치**

Amplitude(앰플리튜드) REST API와 UI에서 같은 쿼리를 실행했을 때, Control 전환율에 미세한 차이(1.70% vs 1.82%)가 발생했습니다. 원인은 **분모의 의미 차이**(전체 진입 vs 위험 집단)였지만, 이런 차이가 존재한다는 것 자체가 측정 인프라의 신뢰도 문제입니다.

**결함 #4: 시간 윈도우 차감법의 오류**

이전 분석에서 Control의 특정 시간대 전환을 계산하기 위해 "(0-30h 전환) - (0-6h 전환)" 같은 차감법을 사용했습니다. 이 방법은 **전환율이 시간에 따라 선형으로 변하지 않으면 오차**가 발생합니다. 실제 전환은 비선형적(초반에 집중)입니다.

### MODERATE (결과 신뢰도 저하) — 5건

| # | 결함 | 영향 |
| --- | --- | --- |
| 5 | 신뢰구간 없음 | "19배"라는 점추정만 제시, 범위 불명 |
| 6 | 다중비교 미보정 | V1, V2 동시 비교 → 오탐률 증가 |
| 7 | 3일 실험 기간 | 주말 편향, 신규성 효과 미확인 |
| 8 | V1 > V2 역설 미설명 | CVR 낮은 V1의 iROAS가 더 높은 이유 불충분 |
| 9 | 매출 계산 오차 | 차감법으로 인한 매출 추정 오차 |

### MINOR (개선 권장) — 4건

| # | 결함 | 영향 |
| --- | --- | --- |
| 10 | 매출 이상치 미제거 | 고가 주문 1건이 결과 왜곡 가능 |
| 11 | 실험 사전등록 없음 | 사후 분석으로 인한 편향 가능성 |
| 12 | 요일 효과 미통제 | 3일(금-일) 데이터 = 주말 편중 |
| 13 | 외부 마케팅 미통제 | 같은 기간 다른 캠페인 영향 가능 |

## 3. CRM마케팅 성과: 데이터 애널리스트의 현실 검증

Kohavi급 통계학자가 **이론적 결함**을 찾았다면, CRM 데이터 애널리스트는 **업계 현실**과 비교했습니다.

### 업계 벤치마크 대비

| 지표 | 업계 평균 | 우리 결과 (보정 전) | 우리 결과 (보정 후) |
| --- | --- | --- | --- |
| 카카오 알림톡 CVR | 1.0-3.0% | 2.15% (V2) | 정상 범위 |
| CRM iROAS | 2-5x | 19x | 4-10x |
| 증분 CVR 리프트 | 10-30% | +18.8% (V2) | 정상 범위 |

보정 후 수치가 **업계 벤치마크와 잘 맞습니다**. 이는 보정 방법이 올바르다는 교차 검증이기도 합니다.

### 유기적 전환의 중복 문제

애널리스트가 지적한 핵심은 **유기적 전환(organic conversion)과의 중복**입니다.

Treatment 그룹에서 전환한 유저 중 상당수는 **메시지를 받지 않아도 어차피 구매했을 유저**입니다. 이전 분석에서 이 유기적 전환을 Control CVR로 빼주긴 했지만, 실제로는 Treatment 전환의 약 **80%가 유기적 전환**일 수 있습니다.

Treatment CVR 2.15% 중:
├── 유기적 전환: ~1.70% (Control 수준)
├── 증분 전환: ~0.45% (메시지 덕분)
└── 증분 비율: 약 21%만 메시지의 순수 효과

이 관점에서 보면, 메시지가 실제로 만들어낸 추가 구매는 **전체 Treatment 전환의 약 20%**입니다. 나머지 80%는 어차피 일어났을 구매입니다. **그래도 15원에 추가 매출을 만든다면 충분히 가치 있습니다.**

### 보정된 iROAS 범위: 4-10배

보수적 보정과 낙관적 보정의 범위:

| 보정 방법 | V2 (6h) iROAS | V1 (24h) iROAS |
| --- | --- | --- |
| 원래 분석 | 7.27x | 19.38x |
| ITT 보정 | 9.59x | 17.55x |
| 보수적 보정 (전체) | ~4x | ~8x |
| 낙관적 보정 (전체) | ~10x | ~18x |

**핵심 메시지: 보수적으로 잡아도 4배, 15원 투자해서 60원 이상 벌어들이는 셈입니다.** 대부분의 퍼포먼스 마케팅 채널보다 효율이 좋습니다.

BRAZE CONSULTING · 리텐션

브레이즈 컨설팅, 이런 일을 맡깁니다

- **캔버스 증분 효과 측정**: Experiment Paths로 대조군을 나누고, ITT 기준으로 iROAS를 계산합니다. 이 글과 [이전 글](/blog/mcp-braze-amplitude-iroas/)에서 한 작업입니다.
- **데이터 연동**: 대형 커머스 고객사의 상품 카탈로그를 BigQuery → Braze Catalog로 매일 CDI 동기화합니다(신규·변경·삭제 반영, 이미지 규격 변환 포함). [연동 방법 보기](/blog/bigquery-to-braze/)
- **메시지 구현**: 카카오 알림톡 웹훅 발송, [Custom HTML 인앱 메시지](/blog/braze-custom-html-in-app-message/), [Connected Content](/blog/braze-connected-contents/) 개인화를 만듭니다.
- **AI 분석 환경**: Braze·Amplitude MCP로 캠페인 데이터를 조회하고 검증하는 흐름을 팀에 맞게 세팅합니다.

> **우리 브레이즈 캠페인도 증분으로 검증하고 싶다면**
>
> 실험 설계부터 데이터 연동, 메시지 구현까지 브레이즈 컨설팅으로 함께 설계하고 만듭니다. 첫 상담은 무료입니다.
>
> [브레이즈 컨설팅 문의하기 →](https://retn.kr/contact/?utm_source=blog&utm_medium=cta&utm_campaign=consulting&utm_content=braze-crm-marketing-iroas-review)

## 4. 앰플리튜드 MCP로 수행한 후속 분석

AI 에이전트의 권고에 따라 4가지 후속 분석을 Amplitude(앰플리튜드) MCP로 직접 실행했습니다.

### 4-1. 7일 확장 분석: 신규성 효과 확인

3일 → 7일로 분석 기간을 확장하자 **CVR이 9-11% 하락**했습니다.

| Variant | 3일 CVR | 7일 CVR | 변화 |
| --- | --- | --- | --- |
| V2 (6h) | 2.15% | 1.953% | -9.17% |
| V1 (24h) | 1.93% | 1.723% | -10.72% |

이는 **신규성 효과(Novelty Effect)**를 보여줍니다. 새로운 캠페인이 시작될 때 반응률이 높고, 시간이 지나면서 감소합니다. 3일 데이터만으로 판단하면 장기 성과를 **과대평가**하게 됩니다.

Kohavi의 조언대로 **최소 14일** 실험이 필요한 이유입니다.

### 4-2. ITT 보정 iROAS

Canvas Entry 기반 분모로 재계산한 결과:

| Variant | Per-Protocol iROAS | ITT iROAS | 변화 |
| --- | --- | --- | --- |
| V2 (6h) | 12.70x | 9.59x | -24.4% |
| V1 (24h) | 31.51x | 17.55x | -44.3% |

V1의 하락폭이 더 큰 이유는 **24시간 지연 동안 이탈한 유저가 더 많기 때문**입니다.

### 4-3. Bootstrap 신뢰구간: V2는 불확실

먼저 용어를 쉽게 정리하겠습니다.

- **Bootstrap 신뢰구간**: 현재 데이터를 "여러 번 다시 뽑아"(복원추출) 결과 범위를 추정하는 방법입니다. 즉, "이 결과가 우연이 아닐 가능성"을 구간으로 보여줍니다.
- **95% 신뢰구간**: 같은 실험을 여러 번 반복하면, 그중 약 95%에서 참값이 이 구간 안에 들어온다는 뜻입니다.

10,000회 Bootstrap 시뮬레이션으로 95% 신뢰구간을 계산했습니다.

| Variant | iROAS 점추정 | 95% 신뢰구간 | 판정 |
| --- | --- | --- | --- |
| V2 (6h) | 12.70x | [-1.03x, 26.49x] | 손익분기 불확실 |
| V1 (24h) | 31.51x | [19.37x, 44.05x] | 견고 |

**V2의 신뢰구간이 음수를 포함합니다.** 이는 V2 캠페인이 **손해를 볼 가능성도 있다**는 의미입니다. 반면 V1의 하한이 19x이므로 **확실히 수익성이 있습니다**.

이 결과는 직관에 반합니다. CVR이 더 높은 V2가 오히려 불확실하다니? 이유는 V2의 Control 기준선(6h-30h 시간대)의 **분산이 크기 때문**입니다.

### 4-4. REST API vs UI 차이의 원인

Amplitude(앰플리튜드) REST API와 UI에서 같은 쿼리를 실행했을 때 Control CVR이 미세하게 달랐습니다(1.70% vs 1.82%). 원인을 추적한 결과:

- **전환 수(분자)**는 동일: 370건
- **분모가 다름**: API는 전체 Canvas Entry(21,755명), UI는 위험 집단(at-risk population, 20,485명)
- 370/21,755 = 1.701%, 370/20,485 = 1.806%

**교훈:** 같은 도구라도 **분모의 정의**를 명확히 해야 합니다. "전환율"이라는 같은 단어가 다른 숫자를 의미할 수 있습니다.

## 5. 월드클래스 브레이즈 전문가의 다음 실험 설계

세 번째 AI 전문가에게는 **앞의 13가지 결함을 모두 해결하는 다음 실험 설계**를 요청했습니다.

### 핵심 변경사항

여기서 **2-arm**은 "두 그룹만 비교하는 실험"이라는 뜻입니다. 이번 맥락에서는 Treatment 1개 vs Control 1개로 단순화해 해석력을 높입니다.

| 기존 실험의 문제 | 다음 실험의 해결책 |
| --- | --- |
| ITT 위반 (분모=발송 수) | 분모를 Canvas Entry로 통일 |
| 비대칭 분모 (50:25:25) | 50:50 2-arm 설계 |
| 시간 윈도우 차감 오류 | 통합 지연(Unified Delay) 아키텍처 |
| 3일 실험 | 14일 최소 기간 |
| 신뢰구간 없음 | 사전등록된 Bootstrap CI |
| SRM 미확인 | 일일 SRM 모니터링 |

### 통합 지연 아키텍처 (가장 중요한 개선)

기존 실험의 핵심 결함은 **Canvas Entry 단계에서 Control 그룹을 먼저 고정**해, 메시지가 실제로 나갔어야 할 시점과 측정 시작점이 어긋난 점입니다.

더 나은 해법은 Braze 공식 문서의 **Experiment Paths step**을 메시지 발송 직전 타이밍에 두는 것입니다.

- 공식 레퍼런스: [Braze Experiment Paths Step](https://www.braze.com/docs/user_guide/engagement_tools/canvas/canvas_components/experiment_step?ref=retn.kr)
- 설계 원칙: "공통 Delay 이후"에 50:50 분기하여 Treatment/Control의 시간축을 맞춥니다.

공통 구간:
Canvas Entry → 6h Delay → Experiment Paths Step (50:50)

Treatment Path (50%):
알림톡 발송 → 24h 측정 윈도우

Control Path (50%):
빈 Webhook(또는 no-op 로깅) → 24h 측정 윈도우
↑ 메시지 발송 시점과 동일 타임스탬프에서 측정 시작

Control에 빈 Webhook만 추가하는 것 자체가 핵심이라기보다, **Experiment Paths step에서 같은 타이밍으로 분기한 뒤 Control 로깅을 남기는 것**이 핵심입니다. 이 Webhook은 아무 메시지도 보내지 않지만, Amplitude(앰플리튜드)에 `[Appboy] Webhook Send` 이벤트를 남겨 Treatment와 Control의 측정 시작점을 맞춰줍니다.

비용: 0원 (내부 로깅 엔드포인트 또는 Braze-to-Braze webhook 활용).

### 필요한 샘플 사이즈

| 최소 탐지 효과(MDE) | 그룹당 필요 수 | 총 필요 수 | 필요 일수 |
| --- | --- | --- | --- |
| 0.20pp | 70,286명 | 140,572명 | 약 10일 |
| 0.30pp (권장) | 31,700명 | 63,400명 | 약 4.5일 |
| 0.50pp | 11,700명 | 23,400명 | 약 1.6일 |

14일 운영하면 약 **20만 명**이 참여하게 되어, 0.17pp까지 감지 가능한 강력한 실험이 됩니다.

### AB테스트 사전등록 체크리스트

Kohavi의 원칙에 따라 **실험 시작 전에 문서화**해야 할 항목:

- 주요 지표(Primary Metric): iCVR (증분 전환율)
- 보조 지표: iROAS, 증분 AOV, 배송률
- 가드레일 지표: 알림톡 수신거부율, 앱 삭제율
- 성공 기준: p < 0.05 (양측검정)
- MDE: 0.30pp
- 실험 기간: 최소 14일

이 모든 것을 **실험 시작 전에 확정**해야 합니다. 사후에 기준을 바꾸면 결과를 조작할 여지가 생깁니다.

## 6. AI 에이전트로 월드클래스 분석을 수행하는 방법

### 실제 사용한 도구

이번 검증에 사용한 AI 에이전트 구성:

| 에이전트 | 역할 | 비용 |
| --- | --- | --- |
| Braze(브레이즈) MCP | 캔버스 구조, step_id, variant 정보 | 0원 |
| Amplitude(앰플리튜드) MCP | 퍼널 분석, CVR 계산, 매출 데이터 | 0원 |
| Oracle 에이전트 (3회) | Kohavi 검증, CRM 분석, 실험 설계 | AI 사용료만 |
| Deep 에이전트 | 4가지 후속 분석 병렬 실행 | AI 사용료만 |

참고: 본 글의 Oracle/Deep 표기는 **오마코드(OpenCode) 기반 에이전트 런타임에서 사용한 역할명**입니다. 프로젝트 레퍼런스는 [anomalyco/opencode](https://github.com/anomalyco/opencode?ref=retn.kr)입니다.

**총 실행 시간: 약 2시간.** 대부분의 에이전트가 **병렬**로 실행되었습니다.

### 핵심: AI에게 "프레임워크"를 주는 것

단순히 "이 데이터 분석해줘"라고 하면 평범한 결과가 나옵니다. 핵심은 **구체적인 분석 프레임워크**를 지정하는 것입니다.

예시:

"Kohavi의 Trustworthy Online Controlled Experiments 기준으로
이 A/B 테스트를 검토하세요. 특히:
1. ITT 원칙 준수 여부
2. SRM(Sample Ratio Mismatch) 가능성
3. 다중비교 보정 필요성
4. 신뢰구간 범위
5. 외적 타당도(실험 기간, 신규성 효과)"

이렇게 하면 AI가 해당 프레임워크의 **체크리스트를 하나씩 적용**합니다.

### 누구나 할 수 있습니다

이 분석을 수행하는 데 필요한 것:

1. **브레이즈 Currents → 앰플리튜드 연동** (이미 되어 있는 회사가 많음)
1. **MCP 서버 설치** (오픈소스, 무료)
1. **AI 에이전트 프롬프트** (이 글에서 공유한 프레임워크)

개발자가 필요 없습니다. 그로스 마케터나 CRM 매니저가 직접 할 수 있습니다.

## 7. 시사점: "거의 맞다"와 "정확하다"의 차이

### 기존 분석이 틀린 건 아니었습니다

iROAS 19배가 4-10배로 내려갔지만, **핵심 결론은 변하지 않습니다:**

1. 카카오 알림톡 캐러셀은 **증분 매출을 만들어냅니다** (높은 확신)
1. 24시간 지연 발송이 6시간보다 **증분 효과가 큽니다**
1. 15원 투자 대비 **충분한 수익성**이 있습니다

### 하지만 정확한 수치가 중요합니다

"19배"와 "4배"는 **의사결정에 영향**을 줍니다:

| 시나리오 | iROAS 19x일 때 | iROAS 4x일 때 |
| --- | --- | --- |
| 예산 확대 요청 | "무조건 확대!" | "확대하되 모니터링 필요" |
| 다른 채널 대비 | "압도적 1위" | "상위권이지만 Meta Ads와 비교 필요" |
| 이해관계자 보고 | "혁신적 성과" | "견고한 성과, 추가 검증 진행 중" |

월드클래스 분석가의 관점은 단순히 숫자를 깎는 게 아니라, **의사결정의 품질**을 높이는 것입니다.

### AI 시대의 분석 품질

2026년, 분석의 병목은 더 이상 **도구나 기술**이 아닙니다. **어떤 프레임워크로 어떤 질문을 하느냐**가 결과의 수준을 결정합니다.

Kohavi급 통계학자의 관점, CRM 데이터 애널리스트의 업계 감각, 브레이즈 전문가의 실전 노하우 — 이 세 가지를 동시에 갖춘 사람은 거의 없습니다. 하지만 AI 에이전트에게 각각의 프레임워크를 적용하게 하면, **한 사람이 세 전문가의 시야를 가질 수 있습니다.**

## 자주 묻는 질문 (FAQ)

### Q1. AI가 정말 Kohavi 수준의 분석을 할 수 있나요?

**완전히 동일하지는 않지만, 80% 이상의 체크리스트는 적용 가능합니다.** Kohavi의 프레임워크(ITT, SRM, 다중비교 보정 등)는 체계화되어 있어서 AI가 기계적으로 적용할 수 있습니다. 다만 "이 실험이 비즈니스적으로 의미 있는가?"같은 판단은 여전히 인간의 영역입니다.

### Q2. 보정 후 iROAS가 4배면 그래도 괜찮은 건가요?

**매우 괜찮습니다.** 15원 투자해서 60원 이상의 증분 매출을 만든다는 뜻입니다. Meta Ads의 평균 ROAS가 2-3배인 것을 고려하면, CRM 채널의 4배 iROAS는 **우수한 성과**입니다.

### Q3. Bootstrap 신뢰구간에서 V2가 음수인데 V2는 중단해야 하나요?

**바로 중단할 필요는 없습니다.** 3일 데이터로 계산한 신뢰구간이므로, 14일 실험에서 데이터가 충분히 모이면 구간이 좁아질 것입니다. 다만 V2 단독으로 의사결정하기보다 **V1과 V2를 별도 실험으로 분리**하여 각각의 증분 효과를 정밀 측정하는 것을 권장합니다.

### Q3-1. Bootstrap 신뢰구간을 한 줄로 설명하면 뭔가요?

"지금 본 성과 숫자가 다음번에도 비슷하게 나올지"를 범위로 보여주는 안전장치입니다. 점추정(예: 12.7배)만 보면 과신하기 쉽고, 신뢰구간(예: -1.03배~26.49배)까지 봐야 리스크를 함께 판단할 수 있습니다.

### Q4. MCP 없이도 이 검증을 할 수 있나요?

**가능하지만 시간이 훨씬 오래 걸립니다.** 앰플리튜드 UI에서 수동으로 퍼널을 만들고, Excel에서 Bootstrap 시뮬레이션을 돌리고, 브레이즈 문서를 하나씩 확인하면 됩니다. 이 글에서 사용한 MCP 워크플로우는 **이 과정을 2시간으로 압축**한 것입니다.

### Q5. 다음 실험 설계를 바로 적용할 수 있나요?

**네, 이 글의 설계를 그대로 따라 하실 수 있습니다.** 다만 Canvas 실험 설정, Webhook 엔드포인트 구축, Amplitude(앰플리튜드) 퍼널 사전 구성은 기술적 작업이 필요합니다. 더 자세한 재현 가이드는 별도로 준비되어 있으며, [문의하기](/contact/?utm_source=blog&utm_medium=cta&utm_campaign=braze-crm-iroas-worldclass-ai-review)로 요청하시면 공유해 드립니다.

### Q6. 2-arm 실험은 왜 중요한가요?

2-arm은 Treatment vs Control "두 그룹만" 비교하는 방식이라 해석이 가장 명확합니다. 그룹이 많아질수록(예: 3-arm, 4-arm) 각 그룹 표본이 줄고 다중비교 이슈가 커져, 같은 기간에 결론을 내기 어려워집니다.

## 다음 단계

### 직접 검증해 보기

이 글에서 사용한 AI 검증 프레임워크를 직접 적용해 보세요:

1. 기존 CRM 캠페인의 iROAS를 계산합니다
1. AI 에이전트에게 Kohavi 프레임워크로 검증을 요청합니다
1. 보정된 수치로 의사결정합니다

### 전문가와 함께하기

CRM마케팅 증분 효과 측정 체계를 함께 설계하고 싶다면:

📅 **[30분 무료 상담 예약](https://tidycal.com/simgyusup/30m?utm_source=blog&utm_medium=cta&utm_campaign=braze-crm-iroas-worldclass-ai-review)**

**Retention Inc.** - 데이터 기반 스타트업 그로스 컨설팅

> **브레이즈 캠페인 성과를 증분으로 증명하고 싶다면**
>
> BRAZE CONSULTING · 리텐션캔버스 실험 설계, BigQuery·CDI 데이터 연동, 메시지 구현까지 브레이즈 컨설팅으로 함께 설계하고 만듭니다.
>
> [브레이즈 컨설팅 문의하기 →](https://retn.kr/contact/?utm_source=blog&utm_medium=cta&utm_campaign=consulting&utm_content=braze-crm-marketing-iroas-review)

## 📚 더 읽어보기

- [AI 마케팅 분석: 브레이즈 캔버스 iROAS 19배 달성 사례](/blog/mcp-braze-amplitude-iroas/)
- [Braze to BigQuery, BigQuery to Braze: CDI와 Currents로 양방향 연동하기](/blog/bigquery-to-braze/)
- [Braze Connected Content와 Sheet2API로 구글 시트 데이터 연결하기](/blog/braze-connected-contents/)
- [Braze Custom HTML In-App Message, 이제 개발자 없이 직접 만들어보세요](/blog/braze-custom-html-in-app-message/)
- [마케팅 대시보드 ROAS가 높은데, 왜 매출은 안 느나요?: 증분과 라스트터치](/blog/incrementality/)

## References

- Kohavi, R., Tang, D., & Xu, Y. (2020). _Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing._ Cambridge University Press.
- [Understanding Incremental ROAS vs ROAS](https://www.incrmntal.com/resources/understanding-incremental-roas-vs-roas-for-marketers?ref=retn.kr) - Incrmntal
- [Batch Push Notification Benchmark 2024](https://batch.com/ressources/etudes/benchmark-notifications-push-crm-mobile?ref=retn.kr) - Batch
- [Push Notification Benchmarks 2025](https://www.airship.com/resources/benchmark-report/push-notifications-mobile-engagement-2021-benchmarks?ref=retn.kr) - Airship
- [The Truth About Holdout Groups in A/B Testing](https://medium.com/@pritulp/the-truth-about-holdout-groups-in-a-b-testing-a1a13940a92c?ref=retn.kr) - Pritul Patil
- [Braze Docs: Experiment Paths Step](https://www.braze.com/docs/user_guide/engagement_tools/canvas/canvas_components/experiment_step?ref=retn.kr) - Braze
- [OpenCode (anomalyco/opencode)](https://github.com/anomalyco/opencode?ref=retn.kr) - Agent runtime reference
- [이전 글: AI 마케팅 분석으로 브레이즈 캔버스 iROAS 19배 달성](/blog/mcp-braze-amplitude-iroas/?ref=retn.kr) - retn.kr