AI 에이전트를 활용해 Braze(브레이즈) 캔버스의 진짜 증분 효과(Incremental ROAS)를 측정할 수 있습니다. 국내 패션 커머스 A사 사례에서 MCP(Model Context Protocol)로 브레이즈와 Amplitude(앰플리튜드)를 연동하여 19배 iROAS를 달성한 캠페인을 발견했습니다.
핵심은 잘못 세팅된 Control Group을 발견한 것입니다. 일반적인 분석 방법으로는 "증분 효과 없음"이라는 결론이 나왔을 테지만, 전문가의 직관("이럴 리 없어")과 AI 도구의 딥다이브 능력이 만나 진짜 성과를 찾아냈습니다.
TLDR
- 브레이즈 MCP + 앰플리튜드 MCP를 하나의 워크플로우에서 결합하여 캔버스 성과 분석
- 잘못된 Control Group 세팅을 발견하고, 시간 윈도우를 정확히 매칭하여 재분석
- Control Group 대비 Incremental ROAS 19배 달성한 캠페인 variant 발견
- 전문가의 직관(Gary Klein의 "Recognition-Primed Decision")과 AI 도구의 시너지
- CVR만 보면 놓칠 뻔한 진짜 고성과 캠페인을 iROAS로 발견
1. 왜 Incremental ROAS인가
기존 ROAS의 함정
마케팅 성과를 측정할 때 대부분 ROAS(Return on Ad Spend)를 봅니다. 하지만 이 지표에는 치명적인 문제가 있습니다.
Uber와 Airbnb는 Last-click Attribution이 광고 지출의 낭비를 숨기고 있었다는 것을 발견했습니다. 많은 지출이 실제로 아무런 영향을 미치지 않았습니다. — Incrmntal
플랫폼이 보고하는 ROAS와 실제 Incremental ROAS의 차이는 2-3배, 브랜드 검색이나 리타겟팅 채널에서는 5-10배까지 부풀려진다고 합니다.
저도 이 차이에 대한 경험이 있습니다. 리마케팅에 올인하거나 Last Touch Attribution만 믿고 성과를 가로채는 채널에 당한 적이 여러 번입니다. 리포트를 만들어도 "진짜 효과"를 구분하기 어려웠습니다.
MMM과 Incrementality: 더 넓은 시야
개별 캠페인의 iROAS를 넘어서, Marketing Mix Modeling(MMM)으로 전체 마케팅 포트폴리오의 증분 효과를 측정할 수 있습니다.
Google의 오픈소스 MMM 도구 Meridian은 베이지안 인과 추론으로 마케팅 채널의 실제 기여도를 추정합니다. 지역 기반 증분 테스트(Geo-Lift Test)와 결합하면 더욱 정확한 인과성 검증이 가능합니다.
MMM 리포트가 나와도 해석이 어렵다는 문제가 있는데, 이것도 AI에게 맡기면 됩니다. 복잡한 통계 결과를 비즈니스 의사결정으로 번역하는 것이 AI 에이전트의 강점입니다.
Incremental ROAS(iROAS)란?
iROAS는 광고가 없었다면 발생하지 않았을 매출만을 측정합니다.
iROAS = (Treatment 매출 - Control 매출) / 광고비
이를 정확히 측정하려면 Control Group과 Treatment Group을 동일한 시간 윈도우에서 비교해야 합니다.
2. 문제의 발단: "증분 효과가 없다고?"
브레이즈의 강력한 분석 기능
브레이즈 캔버스는 A/B 테스트와 Control Group 기능을 기본 제공합니다. Conversion Event A/B/C/D를 설정하면 시간대별 전환율을 볼 수 있습니다.
Variant 1(1day), Variant 2(6hour), Control 각각의 전환율 확인 가능
문제는 우리 팀의 세팅에 있었습니다.
Control Group의 전환 측정 시작점이 Canvas Entry 시점으로 되어 있었습니다. 하지만 Treatment Group은 메시지 발송 시점(Entry 후 6시간 또는 24시간)부터 전환을 측정하고 있었습니다.
결과적으로: - Treatment는 6시간 후 ~ 30시간 사이의 전환만 측정 - Control은 0시간 ~ 24시간 사이의 전환을 측정
사과와 오렌지를 비교하고 있었던 것입니다.
전문가의 직관: "이럴 리 없어"
처음 결과를 봤을 때 "증분 효과가 거의 없다"는 결론이 나왔습니다.
하지만 무언가 이상했습니다.
Gary Klein이 말한 "Recognition-Primed Decision"—경험에서 오는 패턴 인식—이 작동했습니다. 패션 커머스에서 상품 조회 후 이탈한 유저에게 추천 알림톡을 보내는데 증분이 없다? 도메인 지식에 기반한 직관이 의심을 품게 했습니다.
두 가지 선택지가 있었습니다: 1. 다시 세팅: Canvas를 처음부터 다시 만들어 데이터를 새로 수집 2. 딥다이브: 기존 데이터를 다른 방식으로 분석
후자를 선택했습니다. 여기서 MCP 두 개를 연동한 워크플로우가 등장합니다.
이 분석 과정이 궁금하시다면 30분 무료 상담에서 구체적인 실행 방법을 함께 논의해 드립니다.
3. 실전 사례: 국내 패션 커머스 A사
상황
국내 패션 커머스 A사는 상품 조회 후 이탈한 유저에게 카카오 알림톡으로 추천 캐러셀을 발송하는 브레이즈 캔버스를 운영 중이었습니다.
캔버스 구조: - Variant 1: 1일(24시간) 후 메시지 발송 (25%) - Variant 2: 6시간 후 메시지 발송 (25%) - Control Group: 메시지 미발송 (50%)
추천 알고리즘은 패션 커머스 전문가가 구축한 시스템을 활용했습니다. 리텐션 주식회사의 전문가 네트워크를 통해 파트타임으로 협업한 도메인 전문가가 BigQuery에 이미 보유한 알고리즘을 브레이즈와 연동한 케이스입니다.
접근법: MCP 듀얼 워크플로우
Step 1: 브레이즈 MCP로 캔버스 구조 파악
Braze MCP → get_canvas_details
├─ canvas_id: 1a475f56-1f9b-4c94-a659-6138cbfdbcb6
├─ Variant 1 (1d delay): step_id = b411311e-...
├─ Variant 2 (6h delay): step_id = f2994cd0-...
└─ Control: in_control_group = True
브레이즈 MCP가 read-only라서 활용도가 낮을 거라 생각했지만, 캔버스 구조와 step_id를 정확히 파악하는 데 필수적이었습니다.
Step 2: 앰플리튜드 MCP로 정밀 퍼널 분석
브레이즈 Currents를 통해 메시지 이벤트가 앰플리튜드에 실시간 전송되고 있었습니다.
Braze Canvas Entry → Currents → Amplitude
├─ [Appboy] Canvas Entry (with canvas_id, in_control_group)
├─ [Appboy] Webhook Send (with canvas_step_id)
└─ [Appboy] Push Notification Open (with campaign_id)
이 데이터로 앰플리튜드에서 시간 윈도우를 정밀하게 조정한 퍼널 분석을 수행했습니다:
Amplitude MCP → query_dataset (Funnel)
├─ Event 1: [Appboy] Webhook Send (filter: canvas_step_id)
├─ Event 2: complete_order
├─ Conversion Window: 24시간
└─ Compute Property: $revenue (Sum)
Step 3: Control Group 시간 윈도우 매칭 (핵심!)
Treatment가 메시지를 받을 수 있는 시간대와 동일한 Control 전환을 비교하는 것이 핵심입니다.
| Variant | 메시지 타이밍 | 전환 측정 윈도우 | Control 비교 방법 |
|---|---|---|---|
| 6h delay | 입장 후 6시간 | 6h ~ 30h | Control 0-30h에서 0-6h 차감 |
| 1d delay | 입장 후 24시간 | 24h ~ 48h | Control 0-48h에서 0-24h 차감 |
브레이즈에서 Conversion Event를 Webhook Send 시점으로 설정했다면 이런 차감 계산이 필요 없었겠지만, 이미 잘못 세팅된 상태였습니다. 앰플리튜드 MCP로 여러 시간 윈도우의 퍼널을 만들고 차감하는 방식으로 사후적으로 정확한 비교를 해낼 수 있었습니다.
결과
| 지표 | 6h Delay | 1d Delay |
|---|---|---|
| 발송 수 | 10,581 | 8,942 |
| Treatment CVR | 2.15% | 1.93% |
| Control CVR (매칭된 시간대) | 1.82% | 1.31% |
| CVR Lift | +18.8% | +47.3% |
| Incremental ROAS | 7.27x | 19.38x |
놀라운 발견: 1d delay Variant의 CVR(1.93%)이 6h delay(2.15%)보다 낮았지만, iROAS는 2.7배 더 높았습니다.
왜일까요? 24시간 이후 시간대는 자연 전환율이 매우 낮아서(Control CVR 1.31%), 메시지의 상대적 기여도가 훨씬 컸기 때문입니다.
카카오 캐러셀의 숨겨진 가치
추가로 발견한 것이 있습니다. 카카오 알림톡 캐러셀은 클릭 후 전환율(Click-to-Purchase)은 낮지만, 발송 후 전환율(Send-to-Purchase)은 높았습니다.
이는 상기 효과(Reminder Effect)로 설명됩니다. 유저가 알림톡을 클릭하지 않더라도 메시지를 보는 것만으로 브랜드와 상품을 떠올리고, 나중에 직접 앱이나 웹사이트를 방문해 구매하는 것입니다.
클릭률만 보고 "이 채널은 효과가 없다"고 판단하면 이런 간접 효과를 놓칩니다. iROAS 관점에서 보면 완전히 다른 결론이 나올 수 있습니다.
💡 인사이트: CVR만 보면 6h가 우수해 보이지만, iROAS로 보면 1d가 압도적. 진짜 효과를 측정하지 않으면 잘못된 의사결정을 합니다.
4. AI 에이전트 도구의 진화
MCP(Model Context Protocol)란?
MCP는 Anthropic이 2024년 11월 발표한 AI와 외부 도구를 연결하는 표준 프로토콜입니다.
2026년에 MCP는 실험 단계에서 기업 전체 도입으로 전환됩니다. — CData
OpenAI도 2025년 3월 MCP를 공식 채택했고, 현재 수만 개의 MCP 서버가 MCP.so 같은 마켓플레이스에 등록되어 있습니다.
이번 사례에서 MCP의 역할
| MCP | 역할 | 가치 |
|---|---|---|
| 브레이즈 MCP | 캔버스 구조, step_id, variant 정보 조회 | 분석 설계의 기반 |
| 앰플리튜드 MCP | 퍼널 쿼리, 차트 생성, 대시보드 저장 | 실제 분석 수행 |
두 MCP가 하나의 워크플로우에서 결합된 것이 핵심입니다. 브레이즈에서 먼저 캔버스를 분석하고, 그 정보를 바탕으로 앰플리튜드에서 정교한 퍼널을 설계했습니다.
MCP를 넘어서: Skills, Plugins, Cowork
MCP 외에도 AI 에이전트 도구는 빠르게 진화하고 있습니다:
Agent Skills: 반복되는 분석 워크플로우를 재사용 가능한 스킬로 패키징. Anthropic이 2025년 12월 오픈 표준으로 공개했고, OpenAI도 동일한 포맷을 채택했습니다. 현재 SkillsMP에 53,000개 이상의 스킬이 등록되어 있습니다.
Cowork: 2026년 1월 출시된 Anthropic의 새 기능으로, 터미널 없이 Claude Code의 능력을 사용할 수 있습니다. 비개발자가 CLI에 대한 두려움 없이 파일 정리, 문서 작성, 리서치 등 복잡한 작업을 AI에게 맡길 수 있습니다. Claude Pro 구독자도 사용 가능합니다.
Claude Code를 개발자 도구로 출시했는데, 사람들이 휴가 계획, 문서 정리, 이메일 관리 등 온갖 용도로 쓰기 시작했습니다. Cowork는 그 요구에 대한 응답입니다. — Anthropic
GCP 연동 가능성
만약 브레이즈 Currents가 앰플리튜드 대신 GCP BigQuery로 연동되어 있다면, Google의 Gemini를 활용한 분석도 가능합니다. BigQuery + Gemini 조합으로 SQL 기반의 더욱 유연한 분석을 수행할 수 있습니다.
5. 실행 가이드
사전 요구사항
- 브레이즈 Currents → 앰플리튜드 연동 완료
- 브레이즈 MCP 설치 (GitHub)
- 앰플리튜드 MCP 설치 또는 앰플리튜드 API 접근
Step-by-Step
1. 분석할 캔버스 선택
Braze Dashboard → Canvas → 분석 대상 선택
→ canvas_id 확인 (URL에서 추출)
2. 브레이즈 MCP로 구조 파악
get_canvas_details(canvas_id)
→ variant별 step_id, delay 시간 기록
3. 앰플리튜드에서 퍼널 설계
Event 1: [Appboy] Webhook Send
- Filter: canvas_step_id = {step_id}
Event 2: complete_order (또는 전환 이벤트)
- Compute Property: $revenue
4. Control Group 시간 윈도우 매칭
Treatment 6h delay → Control 6h-30h (0-30h minus 0-6h)
Treatment 1d delay → Control 24h-48h (0-48h minus 0-24h)
5. iROAS 계산
iROAS = (Treatment Revenue - Expected Revenue at Control Rate) / Ad Cost
주의사항
- MCP가 만든 차트/대시보드는 반드시 눈으로 검증하세요. 앰플리튜드 쿼리는 복잡하므로 필터 조건이 맞는지 확인 필수
- 이상치(고래) 확인: 한 명이 비정상적으로 큰 금액을 구매하면 결과가 왜곡됨
- canvas_id 필터: Control Group 쿼리에 canvas_id 필터를 빠뜨리면 다른 캔버스 데이터가 섞임
- 브레이즈 Conversion Event 세팅 확인: Control Group의 전환 측정 시작점이 올바른지 사전 점검
이 프로세스를 직접 적용하고 싶다면 문의하기로 연락 주세요.
6. 시사점: 전문가의 직관 + AI 도구
직관이 먼저, AI가 실행
이번 사례의 핵심은 AI가 모든 것을 대체한 게 아니라는 점입니다.
- 문제 인식: 도메인 경험에서 오는 직관 ("이럴 리 없어")
- 가설 수립: "세팅이 잘못됐을 수 있다"
- 검증 실행: MCP 두 개를 연동한 딥다이브 분석 ← AI가 담당
- 의사결정: 결과 해석과 다음 액션 ← 인간이 담당
Gary Klein의 "Recognition-Primed Decision" 모델처럼, 경험에서 오는 패턴 인식은 여전히 인간의 영역입니다. AI는 그 직관을 빠르게 검증하는 도구가 됩니다.
"대체"가 아닌 "재편(Reshuffle)"
AI는 일자리를 대체하는 것이 아니라 역할을 재편합니다. 스킬이 직무에서 분리(unbundle)되는 것입니다. — Sangeet Paul Choudary, Reshuffle
이번 분석은 이전이라면 다음 조건을 갖춘 사람이 필요했습니다: - 브레이즈 캔버스 구조에 대한 깊은 이해 - 앰플리튜드 퍼널 분석 숙련도 - iROAS 계산 방법론 지식 - SQL 또는 데이터 쿼리 능력
이제 그로스 마케터가 AI 에이전트와 함께 이 모든 것을 수행할 수 있습니다.
2026년, 에이전트의 해
2026년은 에이전트의 해가 될 것입니다. AI가 인간을 더 생산적으로 만드는 것에서 일 자체를 자동화하는 것으로 확장됩니다. — Jason Mendel, Battery Ventures (TechCrunch)
2028년까지 38%의 조직이 AI 에이전트를 인간 팀의 팀원으로 둘 것입니다. — Salesforce
Capgemini 보고서에 따르면 82%의 기업이 2026년까지 AI 에이전트를 도입할 계획입니다.
자주 묻는 질문 (FAQ)
Q1. 브레이즈 MCP가 read-only인데 쓸모가 있나요?
네, 매우 유용합니다. 분석의 첫 단계는 "무엇을 분석할지" 정확히 파악하는 것입니다. 브레이즈 MCP로 캔버스 구조, variant별 step_id, delay 시간 등을 정확히 파악해야 앰플리튜드에서 올바른 퍼널을 설계할 수 있습니다.
Q2. 브레이즈 기본 분석으로도 iROAS를 측정할 수 있지 않나요?
Conversion Event를 올바르게 세팅했다면 가능합니다. 브레이즈에서 Control Group의 전환 측정 시작점을 Webhook Send 시점과 동일하게 맞추면 됩니다. 이번 사례처럼 이미 잘못 세팅된 경우, 앰플리튜드에서 사후 분석으로 시간 윈도우를 맞출 수 있습니다.
Q3. Currents 없이도 이 분석이 가능한가요?
제한적으로 가능합니다. Currents 없이는 브레이즈 이벤트가 앰플리튜드에 전송되지 않으므로, 수동으로 코호트를 내보내거나 별도 ETL 파이프라인을 구축해야 합니다. Currents 연동이 분석의 핵심 인프라입니다.
Q4. 카카오 캐러셀의 클릭률이 낮은데 효과가 있나요?
클릭률만 보면 안 됩니다. 카카오 알림톡 캐러셀은 상기 효과(Reminder Effect)가 있어서, 클릭 없이도 브랜드/상품을 떠올리게 합니다. Send-to-Purchase 기준으로 보면 효과가 다르게 나타납니다.
Q5. MCP 없이 이 분석을 하려면 얼마나 걸리나요?
경험 많은 분석가 기준 1-2주 정도 소요됩니다. 브레이즈와 앰플리튜드 양쪽의 데이터 구조를 이해하고, 시간 윈도우를 정확히 맞추고, 쿼리를 검증하는 데 상당한 시간이 필요합니다. MCP를 활용하면 1일 이내로 단축됩니다.
다음 단계
직접 시작하기
- 위 가이드를 따라 직접 실행해 보세요
- 질문이 있다면 문의하기
전문가와 함께하기
데이터 기반 마케팅 분석 체계를 함께 설계하고 싶다면:
Retention Inc. - 데이터 기반 스타트업 그로스 컨설팅
References
- Understanding Incremental ROAS vs ROAS - Incrmntal
- 2026: The Year for Enterprise-Ready MCP Adoption - CData
- Investors predict AI is coming for labor in 2026 - TechCrunch
- The future of AI agents: Key trends to watch in 2026 - Salesmate
- Model Context Protocol - Wikipedia
- Introducing Cowork - Anthropic
- Agent Skills - Anthropic GitHub
LinkedIn 포스팅
CVR이 낮은 캠페인이 오히려 ROI가 높은 캠페인이었습니다.
최근 국내 패션 커머스의 브레이즈 캔버스 성과를 분석하다가 흥미로운 발견을 했습니다.
분석 배경 - 상품 조회 후 이탈한 유저에게 카카오 알림톡 발송 - Variant A: 6시간 후 발송 (CVR 2.15%) - Variant B: 24시간 후 발송 (CVR 1.93%)
CVR만 보면 6시간 후 발송이 승자입니다.
하지만 Incremental ROAS로 계산하니 결과가 뒤집혔습니다.
| 지표 | 6h Delay | 24h Delay |
|---|---|---|
| CVR | 2.15% | 1.93% |
| Control CVR (동일 시간대) | 1.82% | 1.31% |
| iROAS | 7.27x | 19.38x |
24시간 후 발송의 iROAS가 2.7배 더 높았습니다.
왜 이런 차이가 났을까요?
24시간 이후 시간대는 자연 전환율이 매우 낮습니다(1.31%). 이 시점에 메시지를 보내면 "메시지가 없었다면 구매하지 않았을" 유저를 전환시키는 비율이 훨씬 높아집니다.
반면 6시간 후는 어차피 구매했을 유저에게도 메시지를 보내는 셈입니다.
핵심 교훈
처음에는 Control Group 세팅 오류로 "증분 효과 없음"이라는 결론이 나왔습니다. 하지만 도메인 경험에서 오는 직관("이럴 리 없어")이 다시 살펴보게 했고, MCP 두 개(브레이즈 + 앰플리튜드)를 연동해 딥다이브한 결과 진짜 성과를 찾아냈습니다.
Gary Klein이 말한 "Recognition-Primed Decision"—경험에서 오는 패턴 인식—이 AI 도구와 만나면 강력한 시너지가 생깁니다.
iROAS를 아직 측정하지 않고 계신다면, 실제 마케팅 효과를 과대평가하고 있을 가능성이 높습니다.
자세한 분석 방법은 블로그에 정리했습니다. https://retn.kr/blog/mcp-braze-amplitude-iroas/?utm_source=linkedin&utm_medium=organic&utm_campaign=mcp-braze-amplitude-iroas
그로스해킹 #마케팅분석 #브레이즈 #앰플리튜드 #MCP #AI에이전트 #iROAS #CRM마케팅
뉴스레터 발송
Subject Line (42자)
CVR이 낮은데 ROI가 2.7배 높았던 캠페인의 비밀
Preview Text (89자)
브레이즈 캔버스 성과, 이렇게 측정하면 완전히 다른 결론이 나옵니다. AI 에이전트로 분석한 국내 패션 커머스 사례.
발송 체크리스트
- [x] Subject 30-50자: 42자 ✅
- [x] Preview 80-100자: 89자 ✅
- [x] Preview가 Subject와 다른 정보 ✅
- [ ] 발송 시간: 화-목, 08-09시 or 15-17시 권장
- [ ] 모든 링크에 UTM 추가 (utm_source=newsletter)
- [ ] ?ref=newsletter 파라미터로 Gated Content 스킵
백링크 검증 결과
- [x] https://www.incrmntal.com/resources/understanding-incremental-roas-vs-roas-for-marketers - ✅ 200 OK
- [x] https://www.cdata.com/blog/2026-year-enterprise-ready-mcp-adoption - ✅ 존재 확인 (검색)
- [x] https://techcrunch.com/2025/12/31/investors-predict-ai-is-coming-for-labor-in-2026/ - ✅ 200 OK
- [x] https://www.salesmate.io/blog/future-of-ai-agents/ - ✅ 200 OK
- [x] https://en.wikipedia.org/wiki/Model_Context_Protocol - ✅ 존재 확인 (검색)
- [x] https://retn.kr/contact/ - ✅ 200 OK
- [x] https://tidycal.com/simgyusup/30m - ✅ 200 OK
- [x] https://retn.kr/blog/recommendation-system/ - ✅ 200 OK
- [x] https://retn.kr/blog/meridian/ - ✅ 200 OK (WebFetch 확인됨)
- [x] https://claude.com/blog/cowork-research-preview - ✅ 존재 확인 (검색)
- [x] https://github.com/anthropics/skills - ✅ 존재 확인 (검색)