믹스패널과 앰플리튜드의 기능 하나하나 (사실 다 까진 않고 누군가가 궁금해하셨던 리포트만 까 봄) 를 까봐서 비교하는 포스팅. 마텤을 구매할 때 이것저것 많이 따져봐야하지만, 우리가 필요한 기능을 누가 어떻게 제공하고 가격은 얼마인지 MarTech Stack Evaluation 을 빡세게 해 보시길 바란다.
TLDR
LTV: 앰플리튜드 승
Impact Analysis: 믹스패널 승
Persona: 앰플리튜드 승
Cohort Sync: 동점
Experiment: 내 맘대로 믹스패널 승
LTV
믹스패널은 Revenue 라는 Application 으로 존재하고, 앰플리튜드는 Revenue LTV 차트로 존재 (샘플 리포트)한다. 이 리포트는 앰플리튜드가 믹스패널을 압살하는듯. 믹스패널은 해당 리포트에대한 업데이트를 오랫동안 진행하지 않은 걸로 보인다.
| Feature | 믹스패널 | 앰플리튜드 |
| Revenue source filter | TRUE | TRUE |
| Cohort | FALSE | TRUE |
| Measured by Total Revenue | TRUE | TRUE |
| Measured by New Paying Users | FALSE | TRUE |
| Measured by ARPU | TRUE | TRUE |
| Measured by ARPPU | FALSE | TRUE |
| Total TRUE | 3 | 6 |
Impact Analysis
특정 이벤트가 다른 이벤트에 어떤 영향을 끼쳤는지를 알아보는 분석. 꽤나 깊이가 있는 분석인데, 이건 믹스패널의 압승 같아 보인다. 믹스패널이 “unobserved counterfactual of the adopters” 와의 비교나 Causal Impact 등 더 많은 분석 방법을 제공한다
https://help.mixpanel.com/hc/en-us/articles/360034129112-Impact-Report
https://help.amplitude.com/hc/en-us/articles/360020765372-Impact-Analysis-track-how-first-time-engagement-changes-user-behavior
“unobserved counterfactual of the adopters” 가 무엇인지 Chat GPT 한테 물어봤는데, 너무 잘 알려줌. 아래가 대답 (영어로 질문하고 영어로 답변 받은 뒤 DeepL 로 번역)
Mixpanel의 영향력 보고서에서 ‘관찰되지 않은 채택자의 역효과’는 특정 기능이나 이벤트를 채택하거나 상호 작용하지 않았지만 채택한 사용자 그룹과 유사한 가상의 사용자 그룹을 의미합니다. 이 그룹은 특정 기능이나 이벤트가 사용자 행동에 미치는 영향을 평가하기 위한 비교 기준이 됩니다.
Mixpanel의 영향력 보고서는 채택자(기능/이벤트와 상호작용한 사용자)의 결과를 관찰되지 않은 대조군(그렇지 않은 가상의 사용자)의 결과와 비교함으로써 전환율, 리텐션, 참여도와 같은 핵심 성과 지표(KPI)에 대한 기능/이벤트의 인과적 효과를 추정하는 것을 목표로 합니다.
관찰되지 않은 카운터팩트 그룹은 실제 사용자 그룹이 아닌 가상의 구성이라는 점에 유의해야 합니다. 이는 채택자가 기능/이벤트와 상호 작용하지 않았다면 어떤 일이 일어났을지에 대한 추정치를 나타냅니다. 이 비교를 통해 기능이나 이벤트가 사용자 행동의 긍정적인 변화를 유도하는지 부정적인 변화를 유도하는지 판단할 수 있습니다.
Persona
해당 리포트는 앰플리튜드만 제공하고 있음
https://help.amplitude.com/hc/en-us/articles/235648588
Cohort Sync
앰플리튜드는 Almost real-time <-> 믹스패널은 every 15 minutes
앰플리튜드는 최대 5개, 믹스패널은 60개까지 Recurring sync 가능
https://help.amplitude.com/hc/en-us/articles/360060055531-Sync-to-third-party-destinations
https://help.mixpanel.com/hc/en-us/sections/115001517666-Cohort-Sync-Integrations
Experiments
앰플리튜드는 실험 구축 (feature flag, segmentation 등등) & 분석 가능. 믹스패널은 실험 분석만 가능. 앰플리튜드는 Experiment 를 Add-on 으로 구현했기 때문에 3rd party experiment platform 에게 분석기능을 열어주지 않지만, 믹스패널은 실험 구축 부분을 버리고 분석 기능만 남겨 놓았다. 앰플의 Add-on 은 비싼대신 “앰플 한 곳에서 모든 걸 다 할 수 있다” 라는 스탠스고, 믹스패널은 우리가 집중할 부분과 3rd party 와 긴밀한 협업을 통해 제공할 것을 구분 (Best-of-breed 전략) 하는 스탠스이다. 개인적으로는 하나의 툴에 종속되는 걸 싫어해서 이건 내 맘대로 믹스패널 승이라고 말하고 싶다. GrowthBook 이라는 곳이 LaunchDarkly 의 Open Source 버전 같은데, 믹스패널과 연동이 꽤 잘 돼 있는 것 같고 Open source 니까 무료로 쓸 수도 있다는 장점이 있다.
https://www.docs.developers.amplitude.com/experiment/
https://help.mixpanel.com/hc/en-us/articles/360038439952-Experiments-Report
관련 글