길드 투어 2024 Spring. Iterable Conference: Activate Summit 2024

2024년 4월 26일 인천 공항에서 출발해서 하와이에서 3박, 산호세에서 5박하고 5월 5일에 돌아온 일정의 여행. 하와이까지 10시간 비행이고 하와이 -> SFO 까지 또 4시간이라 비행 시간도 아깝고 이코노미는 너무 갑갑해서 이코노미 클래스 증후군이 처음으로 도졌음. 다음부터 3시간 이상 비행엔 무조건 복도석으로 해야겠다.

d1:

  • 에어비앤비 체크인 시간 전에 하와이에 도착. J 께서 마중 나와주셔서 X5 로 와이키키로 이동. 무스비와 포케를 먹고 바로 Moana Surfrider (Westin 호텔답게 무척 클래식함) 로 가서 바로 앞에 있는 와이키키 비치에서 서프 보드를 빌려서 1시간 정도 서핑. 파도가 양양 늦여름보다 안 좋은 수준인데 라인업이 엄청 멀어서 비치로 돌아오다가 패들링 힘 빠져서 죽을 뻔함. 이제 위험한 서핑은 걍 안 하기로, 물론 surf buddy 가 있으면 하겠지만, 처음으로 하는 바다에서 혼자 하면 위험.앞으로 서핑 하지 말자
  • Bellows Field Beach Park 에 이틀 동안 텐트를 쳐 놓았는데, 첫 날만 이용했다. 군대 이 후 처음으로 치는 텐트였는데, 1시간만에 뚝딱 해치워서 뿌듯했음. 캠핑+파킹 퍼밋을 예약 후 이용 할 수 있다. 파킹 예약 시 차량 정보가 필요하기 때문에 렌트카 하려면 차량 번호판 정보가 있어야할듯. (근데 딱히 입출입을 관리하고 있진 않았음. <- 이는 변경될 수 있기 때문에 조심) 바다 바로 앞에서 지인들과 푸드트럭 음식 먹기. 저녁에 텐트 앞에서 담소, 쏟아지는 별, 전기도 안 들어오는 캠핑장. 디지털 기기 없는 몇 시간이 무척 소중했다. 앞으로 차박 자주 해야지

d2:

  • J 님과 아침에 만나서 Island Brew Coffeehouse 에서 시간을 보냄. Koko Isle 이라는 조그만한 동네에 타운홈 몇 개가 있는데, 프라이빗 선박장이 있어서 개인 요트나 제트스키 등을 파킹 해 놓을 수 있는 구조. marina 에서 웨이크보드 타던 사람 개부럽…무튼 맛있는 커피, 독서, 앵그리버드 관찰 등으로 즐거운 시간 보냈음
  • 저녁은 한국에서도 안 가본 볼프강 스테이크에서 먹음. 웤인하니까 안에 자리가 없다고 테라스로 안내 했는데, 안으로 들어가고 싶다고 지속적으로 말했더니 바로 옮겨줬음. 고급 레스토랑에서는 매너 있지만 가격만큼의 권리를 요구해야한다는 사실을 다시 한 번 리마인드 했음. 안에서 담당자의 고급진 서비스를 받을 수 있어서 만족스러웠음

d3:

  • 아침 일찍 Hanauma Bay Nature Preserve 에서 스노클링했음. 산호가 무척 많지만 전부 백화 (bleaching; 혹은 사막화 desertificaation) 돼 있어서 너무 마음이 아팠다. 스카이스캐너 재직 시 동남아 여행 다니면서 봤던 컬러풀한 산호는 다시는 못 보는걸까? 해수면 온도 상승, 선크림 (옥시벤존, 옥시녹세이트 성분 배제한 ‘리프세이프’ 선크림 관련 기사 / 산호가 동물이었다? 산호초에 대한 (거의) 모든 것 기사)
  • 저녁은 Cheese cake factory 에서 단체로 했는데, 예약이 안 돼서 walk-in 으로 갔다. 예약 걸어 놓고 Moana Surfrider 에서 프리 드링크 한 잔하면서 기다렸음. 모든 양식을 꽤 잘 하는 레스토랑인데, TGIF 상위호환 같은 느낌. 이곳에서 파는 치즈케잌은 한 입 먹으면 혈당 스파이크가 뽝 오는게 관자놀이에서도 느껴질 정도로 강하다. 하와이에서 경험한 모든 빨대는 BPI Certified 라고 적혀 있었음. 근데 아무리 환경 친화적인 소재라고 해도 과소비를 하면 지구에 해가 되는 거 아닌가? 개인적으로 소비 자체를 줄이고 플라스틱 최소화를 열심히 해 보자. 제발 그만 사 심슨!!!ㅠㅠ

d4: 첫 San Jose 저녁

  • 아침에 일어나니 폴이 커피 마시러 간다고 하길래 나도 따라 나옴. Jae 님과 만나서 Barefoot Beach Cafe 에서 커피 한 잔. Kapiʻolani Regional Park 에 위치 해 있는데, 와이키키 주변에 국가에서 관리하는 공원들이 많아서 좋았음. 서울에 살면서 한강, 산, 공원 액세스 뿐 아니라 2~3시간 운전으로 갈 수 있는 바다가 있다는 장점을 다시 느꼈음
  • 차를 렌트하고 바로 에어비앤비로 이동. 저녁 12시에 인앤아웃에서 애니멀 스타일 더블더블+감튀 먹고 바로 올리 두 개 먹고 딥슬립 -> 다음 날 새벽 5시에 뉴욕팀 (?) 과 컨콜이 있었음 ㅠㅠ

d5 ~ 7: 마텤 솔루션들과의 만남

  • Iterable: 브레이즈 쓰기 전에 비슷한 툴 리서치 했을 때 자주 보였던 툴. 브레이즈와 많이 닮았으면서도 각 툴의 엣지가 약간씩 다른듯. 이런 마텤이 대부분 미국에서 시작하고 가장 잘 팔리는 (internalization 에 여력이 있는) 툴이 한국 시장까지 진출을 하니까 dominance 가 너무 쎈 거 같다. 앰플리튜드보다는 믹스패널을, 앱스플라이어보다는 브랜치를 선호 (물론 툴 별 장단점이 있고 어떤 제품에는 어떤 툴을 도입하는게 더 맞는 경우가 많지만) 하는 나에게 Iterable 을 꽤 깊게 배울 수 있는 시간이였다. 기회가 된다면 꼭 한 번 써 보고 싶음
  • Hightouch: composable CDP / rETL 컨셉인데, 주변 (믹스패널 PM / Robinhood PM) 에서도 칭찬이 자자함. 하이터치에서 데이터를 보관하지 않기 때문에 하이터치에서 데이터웨어하우스 운영할 필요가 없기 때문에 저렴한 비용으로 이용 가능하다고. 마텤이 쓸데 없이 비싼 경우가 많은데, 대부분 데이터웨어하우스 비용인듯. 마텤을 쓰다보면 Renewal Price Increase 라는 조항이 있는데, 계약 갱신 시 x% 의 비용이 오른다. 데이터 스토리지 비용 때문이라고하는데, 차라리 데이터를 고객의 웨어하우스에서 관리하게 하면 win-win 이 되지 않을까? 하이터치는 고객사의 DB 가 source 가 되기 때문에 single source of truth 라는 장점도 있음. 하이터치가 smart ingest 라는 기능을 Iterable 과 함께 개발했는데, 브레이즈의 Cloud data ingestion 보다 훨씬 사용성이 좋다. 브레이즈는 개발 리소스도 꽤 들고 테이블을 따로 운영해야하는데, 하이터치는 기존에 존재하는 테이블에서 바로 가져올 수 있다. smart ingest 의 기본 기능은 무료이지만, 잘 쓰기 위해서는 유료로 써야하는 거 같음. 데이터웨어하우스들이 신기능을 내 놓으면서 이런 변화를 빠르게 캐치하여 철옹성 같은 incombents 와 차별화를 바탕으로 새로운 시장을 개척해 나가는 플레이 너무 멋지다. 이런 시장의 변화에 기민하게 대응해서 우리 제품에 어떻게 반영할지 (e.g. rETL 로 우리 마텤에 데이터 피딩 한 방에 하기) 에 대해서 고민하기. incombents 는 혁신기업의 딜레마/Counter-Positioning 를 항상 고민해야 시장에서 도태되지 않는듯
  • Mixpanel: 본사의 높은 사람들과 만날 수 있는 기회가 있었는데, Vijay 라는 분의 인사이트와 내공을 느낄 수 있는 자리였다
    • Casey Winters 와 우연히 만나서 그가 말해준 마케터의 미래. 디지털 제품 중심의 회사에 마케팅팀의 존재는 계속 약해진다. 브랜드 마케팅은 디자인팀으로, LIfecycle marketing (CRM) 은 제품팀으로, 애퀴지션 담당자들은 자동화나 퍼포먼스 마케팅 플랫폼에서 제공하는 머신러닝으로 인해 해자가 사라짐. 게다가 Andrew Chen 이 말한 The Law of Shitty Clickthroughs 로 인해 애퀴지션을 하나의 퍼널로 딱 떼어내서 생각할 수 없다. 에어비앤비의 PM -> PMM (Product marketing manager) 로의 전환이나 애플의 마케팅 방식 (퍼포먼스 마케팅에서 매 년 x 회의 큰 브랜드 캠페인) 을 차용한 것을 봤을 때 나도 충분히 이해가 가는 변화인듯. 한국에서는 이런 변화 (마케팅과 제품의 사일로을 부셔버리는) 가 언제쯤 받아들여질 수 있을까? 이걸 기다리기보다는 이미 변화한 조직에서 일하거나 변화를 일으키기 위해 설파하거나 둘 중 하나를 해야겠지?

Lesson learned

  • ROVL 카드 혜택으로 인천공항 발렛파킹이 포함 돼 있음. EV 는 주차 50% 할인이라 꽤 쏠쏠한데, 발렛이 붐비면 사전 예약 안 하면 발렛 자체를 이용 못 함. 인천 공항에 발렛하려면 꼭 사전 예약하자. 인천공항 주차 대행 사이트
  • 여행할 때 아프지 말자. 온도가 떨어지면 감기에 걸릴 수 있다. 자켓, 타월 (수영 후 몸 녹이기), 각종 약 (incl. 멜라토닌/올리) 챙기기
  • 여행하는 나라의 Outlet type 사전 조사 + 구매하기
  • 마음 맞는 사람들끼리 여행하면서 하나의 에어비앤비 숙소를 빌려 놀고 배우고 공유하는 포맷이 너무 좋았다.

잡담

  • 마텤 리서치 할 때 G2 grid 를 가장 먼저 참고. 예시: 모바일 마케팅 grid. 브레이즈가 부동의 1등이였던 거 같은데, 2024 년 기준 인사이더가 점수가 더 높아짐
  • CRM/email 솔루션의 경우 Subscriber based pricing 인 경우가 많은데, sunset policy, resurrected users 처리 방법 등을 고민할 경우 MAU or data point based pricing 보다 저렴하게 운영할 수 있다
  • Liquid Death 의 CEO 가 서밋의 키노트 스피커였는데, 인기가 정말 대단했다. Lifecycle marketing 서밋이라 대부분의 청중이 태키한 사람들이라고 생각됐는데, 브랜딩 관련 담화가 제일 인기가 좋았다. CPG 는 브랜딩으로 차별화가 필요한 시점인듯하다. 인스타, 틱톡, 유튜브 같은 소셜 미디어에서 기막힌 크리에이티브 / co-created 크리에이티브로 free eyeballs 을 살 수 있는 방법을 고민하자
  • CSC ServiceWorks 라는 회사에서 근무하는 사람이랑 라운드테이블에 앉을 기회가 있었다. 그들의 비지니스 모델이 신기했음. 공간 사업자와 revenue share 하는 모델이 코어이고 시작만 세탁/건조기로 했을 뿐. 스카이스캐너의 we happened to be in travel industry, but we are data company 라는 기조나 우버/에어비앤비 같은 asset-light 가 생각났음. (다만 CSC ServiceWorks 는 장비는 소유하되 기존 공간에서 기생하고 revenue share 하는 모델이라 100% 일치하진 않음) 관련 지피티 쓰레드
    • 개인적인 pain point는 빨래방 이용 시 세탁기에서 건조기로 세탁물 이동 시키는 것인데, 이걸 해결하는 스타트업은 없나? 예전 단골 크린토피아 사장님이 이걸 대행해주시고 천원 받는 꿀같은 BM 도 생각났음 ㅋㅋ
    • 기존에 존재하는 정수기를 클라우드 액세스 할 수 있는 구독모델은 어떨까? 독특한 디자인의 텀블러를 보내주고 매 달 5천원 정도 받고 기존에 존재하는 정수기에서 RFID 칩을 통해 급수 받을 수 있음. 예쁜 디자인으로 인해 casual contact viral loop 와 echo-friendly 함으로 인해 talk of the town 도 되면서 이미 있는 인벤토리를 사용하기 때문에 에셋 라이트하기까지한 이 비지니스 모델은 너무 매력적이지 않나? (뽕 맞음) 이런 비지니스 모델은 공간 비지니스를 하고 있는 패스트파이브에서 아주 쉽게 실험 해 볼 수 있을 거 같다. 패파 신규 사업 팀에 속해서 2~3개 정도 BM 을 테스트 해 보고 싶다는 생각이 자주 들었음
      • 기존의 주차장에 전기차 충전 시설을 만들어주고 revenue share 하는 모델도 재미있는듯. 220v 만 존재해도 콘솔과 케이블만 깔고 앱으로 payment 만 만들어주면 되는거라 (이미 한국에 존재함. 근데 GTM 을 잘 못하는듯 ㅠㅠ)
  • 컨퍼런스 전반에 걸쳐 가장 많이 나온 메세지 Speed to market & agility. 왜 우리의 가설 실험이 느릴까? why not within a day? (오늘 론칭 못 하는 이유가 뭐야? 왜 일주일이 걸려?) 를 항상 물어보고 impediment 를 치워줄 수 있는 사람이 되자
  • Otter.ai 너무 좋다. usecase 가 infrequent 한 경우가 많아서 monthly <-> yearly subscription 의 가격차이를 무척 높게 설정해서 손실회피 성향을 레버리지한 pricing 또한 인상적.
    • 손실회피 pricing 두 가지 사례: barre3 / whoop (이런 얘들은 약간 강제 habit forming 용. 근데 activation / retention 을 신경쓰지 않는다면 word of mouth 가 안 나올듯)
      • whoop 은 굳이 subscription 모델이 아니라 device purchase 로도 가능할 거 같은데. 역시 구독 모델이 대세 (LTV 가 더 좋음) 인듯
  • Calm 이 election day 에 CNN 띠 배너 샀다고. 스트레스와 손에 땀을 쥐는 날에 Calm 으로 명상하라라는 메세지ㅋㅋㅋ바이럴 제대로 됐다고
  • pet peeve: outcome over output. we can do anything, but not everything / shiny v.s meaningful – what to focus on. 이건 한국만인줄 알았는데, 미국도 똑같네ㅋㅋㅋ
  • AI feature 는 빌딩하기 전에 프로덕 로드맵만 나오면 바로바로 컨퍼런스에서 발표해야지 고객을 빼앗기지 않는다. 고객은 이 기능이 이미 나온 기능인지 곧 나올 기능인지, 아니면 몰래 짬 될 기능인지 따위는 중요하지 않는가보다
  • 우연히 Target 을 갔다가 Pickle ball 코너가 있길래 라켓이랑 공을 샀음. 그 날 바로 플레이 해 봤는데 존잼

스탠포드 CS224N 강의 10 요약: 즉각적인 보상, 인간 피드백에 근거한 강화 학습

NLP 연구생의 수업 내용은?

Jesse Moo는 NLP 그룹과 협업 중인 CS학과 박사생이야.

프롬프팅 지도, 파인튜닝, RLHF에 대한 강의 주제를 소개하죠.

수업 공지에는 프로젝트 제안 마감, 과제 5 제출, 그리고 코랩 이용을 권장하는 내용이 포함되어 있어요.

이 강의에서는 큰 모델 사용의 목표와 언어 모델이 세상을 모델링하기 시작하는 과정에 대해 설명하고, 언어 모델이 문맥을 이해하고 지식을 예측하는 과정을 다루며, 수학적 추론 문제나 의학적 지식 생성 등 다양한 활용 가능성도 제시해요.

언어모델링의 발전과 ChatGPT 작업

언어 모델링 아이디어를 심각하게 받아들일 때, 언어 모델 빌딩에 대한 관심 재고가 생겼죠.

이는 ChatGPT와 같이 ‘I want to create a three-course meal’와 같은 작업을 할 수 있는 언어 모델이 탄생했어요.

단, 기본 언어 모델링 목표에서 여러 단계가 필요하죠.

Few-shot 및 zero-shot 학습부터 ChatGPT와 같은 복잡한 기능까지 진화해왔어요.

GPT-2는 2019년에 출시된 15억 개의 매개변수로, GPT보다 10배 큰 구조를 가졌고, 훨씬 더 많은 데이터를 학습했죠.

프론트단 언어모델 활용 방법은?

Winograd schema challenge는 대표 지시어 해결 문제로, 세계지식이 필요한 대표 지시어 해결 작업이에요.

예를 들어, ‘고양이는 너무 커서 모자에 들어가지 않았다’는 경우, 어떤 것을 지칭하는지 이해하는 게 중요해요.

GPT-2와 같은 언어 모델로부터 zero-shot 예측을 얻는 방법은, 언어 모델에 더 확률적으로 다가갈 수 있는 시퀀스를 물어보는 것, 결과적으로 어느 정도 성취도를 보여줘요.

Lambada와 같은 언어 모델링 작업에서 GPT-2는 목표 단어를 예측하여 주어진 문맥에 대해 이전의 학습되지 않은 상태에서 좋은 결과를 얻었답니다.

GPT-3의 학습 방식 변화는?

GPT-3는 적은 샷 학습을 통해 업계에서 주목받았어요.

적은 샷 학습은 뉴럴 네트워크가 훈련이 아닌 작은 데이터셋을 바탕으로 작업을 처리하는 과정을 가리킵니다.

이는 향후 업무에 있어 더 효율적인 접근 방식을 제시하고 있죠.

적은 샷 학습의 획기적 발전과 모델 규모 증가 사이의 상관 관계가 관심을 끌고 있어요.

프롬프팅 전략은 무엇을 위한 것인가요?

모델이 답을 예측할 때 필요한 추론 단계를 나타내는 Chain of Thought prompting 방식을 소개해.

GPT-3와 같은 대규모 모델의 성능 향상을 위해 체인 오브 쏘트 프롬프팅을 사용하는 접근법이에요.

이는 인간들도 어려워하는 수학 문제에 대한 모델의 답변 해석을 돕는 목적이에요.

모델이 훈련을 진행할 때 그래디언트 업데이트 없이 학습하는 방식과 모델 해석에 대한 연구가 계속되고 있어요.

모델에게 사고과정 유도하는 새로운 개념은?

모델에게 사고과정 요청할 수 있을까요? ‘Zero-shot Chain of Thought Prompting’을 도입한 새로운 개념에 대해 설명해요.

질문과 답변을 제시하고, ‘step by step’이라는 토큰을 붙여 모델에게 사고과정을 유도하는 방식이에요.

이렇게 하면 모델을 테스트할 때 사고과정 없이 정답을 요청하면 정확도가 향상되요.

최적의 프롬프트를 찾기 위해 다양한 시도를 거쳐 ‘let’s work this out step by step’이 가장 효과적이라는 것을 발견했어요.

‘프롬프트 엔지니어링’은 신흥 과학 및 직종으로 자리 잡고 있어요.

모델에 대한 AI 피드백과 촬영 최적화, 어디서 이루어지는가?

모델이 오답을 내더라도 힌트를 주지 않고 정확도를 평가하는 것을 강조하며, AI 피드백을 통합하는 아이디어는 흥미로울 수 있어요.

제로샷과 퓨샷 인컨텍스트 학습의 이점은 채우기나 세밀히 작성된 프롬프트로 성능을 향상시킬 수 있지만, 컨텍스트에 적합한 것에는 한계가 있을 수 있죠.

퓨처리 및 초복잡한 작업에 대해서는 세부적인 조정이 필요할 수 있고, 컨텍스트 창이 고정되어 있다는 한계가 있어요.

이러한 이슈들은 미래에 질문을 던질 수 있는 흥미로운 논의를 야기할 수 있어요.

모델 세부조정의 목적은?

언어 모델은 문장 토큰의 가장 가능성 높은 계속을 예측하게 훈련되어 있지만, 사용자를 돕는 것과는 상이해요.

GPT-3을 예로 들면, ‘달 착륙 설명해줘’라는 프롬프트를 제공하면 선하하는 것이 아닌 리스트를 예상할 수 있어요.

모델과 사용자 의도가 맞지 않는다는 문제점이 있어서, 사용자 의도에 모델을 더 잘 맞출 수 있는 방법은 기계 학습을 통한 세부조정이에요.

이를 위해 사람에게 ‘정답을 주세요’하고, ‘정답에 어떻게 응답해야 하는지’에 대한 정보를 모아 세부조정을 실시해요.

세밀한 세부조정의 중요성은?

단일하게 sentiment analysis와 같은 하나의 하위 작업에 대한 세부조정이 아닌 다양한 작업에 대한 세부조정을 실시해요.

instruction-output 쌍의 예를 여러 작업에 걸쳐 수집하고, 언어모델을 세부조정하고 보임작업에 대한 일반화를 평가하는거죠.

대규모의 기계학습작업에서 세부조정을 하여 모델의 성능을 평가하는 Benchmark인 MMLU에 대한 연구가 진행 중이에요.

이러한 Benchmark를 통해 언어모델을 감정 분석 뿐만 아니라 천문학, 논리, 유럽사까지 평가하죠.

instruction fine-tuning을 통해 큰 모델일수록 더 큰 이점을 얻고, 작고 instruction fine-tuned된 모델도 상당한 성능을 보인다구요.

Flan T5의 한계?

기능을 이해하려면 직접 사용해보기 권장해요.

Flan T5는 Hugging Face에 호스팅되며 데모를 제공하고 있어요.

이를 통해 기능을 탐색할 수 있어요.

비지도 사전 학습 모델은 질문에 답하지 못할 때 지시 사전 학습을 통해 정확한 답변이 가능한데, 사람들이 다르게 생각하는 것이 입력을 복잡하게 만들어 지시 사전 학습의 단점이 존재하죠.

또한, 정답이 없는 작업에서 모델이 확률을 올바르게 분배할 수 없게 되는 문제가 있어요.

언어모델과 강화학습의 관계?

언어 모델을 요약과 같은 작업에 학습 중이라면, 각 샘플 S에 대한 인간 보상을 얻는 방법이 있죠.

인간보상으로 각 요약을 평가하는 경우, 높은 보상 R(s)이 좋아요.

언어모델 샘플의 기대 보상을 극대화하고 있죠.

학습 목표는 모델 샘플의 기대 보상을 극대화하는 것이 명확하며, 이러한 작업은 강화 학습 영역이에요.

강화 학습 분야에서 복잡한 언어모델 문제를 해결하기 위해 2013년부터 다양한 알고리즘 발전이 있었고, 심층 신경망에 강화 학습을 적용하는 관심이 생겨났죠.

강화 학습에서 정책 그라디언트 방법의 문제는?

목표를 최대화하기 위해 정책 그라디언트 방법을 활용하지만, 기울기 상승을 사용하여 방향을 설정하다가 문제가 발생할 수 있어요.

보상 함수가 미분 가능하지 않은 경우, 흑 상자로 작업을 해야 하며, 강화 학습의 정책 그라디언트 방법은 목표를 추정하고 최적화하는 데 도움을 줄 수 있어요.

로그 미분 트릭을 사용하여 보상 샘플의 예상치를 추정하여 쉽게 추정됩니다.

기대값을 근사하는 방법은?

각종 샘플을 통해 기대값을 근사하는 방법이 무엇인지 알고 계신가요? 목적 함수를 모든 샘플을 추출하고 평균화하여 근사하여 업데이트 규칙을 얻을 수 있어요.

단순한 경우로 바이너리 보상일 때 목적 함수가 어떻게 축약되는지 이해하고, ‘고양이(cat)’ 단어가 포함된 문장에 대한 보상을 고려하여 언어 모델을 학습할 때 기울기 하강법을 적용해야해요.

일반적인 경우로 보상이 스칼라로 주어지는 상황을 고려해야 하는 것이 중요해요.

강화학습의 핵심 이치는?

모델 샘플을 가중치로 고려하여 기대치를 계산하며, 그렇기에 기대값으로 재작성 가능해요.

경사를 기대치 내부로 이동시키고 있으며, 높은 보상을 받을 때 확률을 증가시키려 하고, 낮은 보상을 받을 때는 반대로 확률을 감소시키는 방식으로 작동하죠.

움직인 경사가 미래 행위에도 영향을 줄 수 있는 ‘강화학습’의 핵심 이치를 통해 우리에게 생생한 영어 해석을 제공해요.

비디오 게임에서 좋은 점수를 얻을 때 동일 행위를 강화하려는 이런 원리가 우리 모두에게 직관적으로 와닫기를 기대하죠.

폴리시 그래디언트를 사용하는 이유와 과정은?

폴리시 그래디언트를 사용하는 이유는 다양한 메소드 및 디자인 공간 미탐험으로, RL과 언어 모델에 적용 가능성이 존재하죠.

실제로 사용하는 방법은 ‘프록시멀 폴리시 최적화’와 같은 고급 방법이며, 샘플 점수 판단이 매우 중요해요.

사람의 취향 모델을 구축하여 RL과 언어 모델을 훈련해요.

절대 평가가 아닌 선택지 비교로 오류를 최소화하는 방법을 사용하죠.

사람의 평가에 대한 신뢰도 문제를 해결하기 위해, 더 나은 선택을 판단하는 방식을 채택하여, 심리학 및 의학 분야에서 더 신뢰할 만한 결과를 얻어요.

언어모델 기반 보상모델의 핵심은?

언어모델을 기반으로 하는 보상모델은 pairwise 비교에 의한 잠재적인 점수를 생성해요.

이 모델은 샘플을 받아들여 점수 또는 보상을 생성하며, 통계적 비교 모델을 활용하여 훈련돼요.

보상모델을 훈련시키기 위해서는 우승 샘플과 패배 샘플을 샘플링한 후 높은 샘플의 점수는 낮은 샘플의 점수보다 높아야 해요.

인간의 주관에 기반하여 순위를 매기는 언어모델을 구축하고, 이를 보상으로 활용하는 방법은 인간의 선호도를 모델에 학습시킬 수 있는 잠재력이 있어요.

강화 학습에서 사람 피드백의 중요성은?

강화 학습 모델을 사람 피드백으로 최적화할 때 사전 훈련된 모델을 복제해서 모델의 사본을 만들어요.

이를 모델의 사본이라고 하며, 이는 실제로 최적화할 RL 모델과 매개변수 데이터를 가지고 있어요.

강화 학습으로 다음 보상을 최적화할 때 추가 용어는 사전 훈련 모델과 지나치게 차이나는 것을 방지하는 패널티가 있어요.

키 포인트: 사람 피드백을 통해 모델을 평가하면 참고 요약보다 우수한 요약을 만들 수 있어요.

이는 감독 학습만으로는 어려운 성과라는 결론이 나왔어요.

따라서 이런 인간 피드백이 중요하다는 것을 알 수 있어요.

GPT 모델 학습의 핵심 전략은?

GPT 모델 학습을 다루는 기본 아이디어는 하나의 프롬프트뿐만 아니라 수십, 수백 혹은 수천 개의 프롬프트로 LHF를 확장하는 거예요.

이때 제안된 3가지 부분 중에는 instruction fine-tuning, reward model training, 그리고 RHF가 있어요.

모델 향상을 위해 핵심인 부분은 규모와 다양성에 따른 과제네.

이들은 성과에 큰 영향을 미쳐요.

감독 학습은 중간 단계의 fine-tuning에서 사용되며, RL 정책의 초기화는 감독된 정책에 의해 이뤄져요.

AI 모델 학습과 챗봇의 동향은?

AI 모델 학습에서 구조화된 BT에서 몇 번의 반복 작업을 수행하게 되었어요.

OpenAI와 같은 회사들은 최근에는 모델 학습에 대한 자세한 내용 공개가 줄어들고 있어요.

GPT-3 API 사용자들은 많은 입력 데이터를 수집하고 라벨러로부터 수집한 작업 유형을 공유하면서 모델을 향상시키고 있어요.

챗봇의 핵심 결과는 InstructGPT에서 나오며, 사용자 명령에 잘 따르는 모델로 피드백을 받고 있어요.

최근에 등장한 ChatGPT는 학습 내용이 제한적하지만 채팅 TBT의 능력을 강조하며, RL이 어렵고 데이터 소비가 많은 한계가 있다고 해요.

인공지능 보상함조와 보상 해킹

(LHF)의 한계뿐만 아니라 RL의 일반적인 한계와 인간 *보상을 모델링하거나 포착할 수 있는 개념에 대해 이야기할 때, 인간 선호도는 매우 불안정할 수 있죠.

RL 전문가들은 이를 ‘보상 해킹(reward hacking)’이라고 부르며, 개발자가 지정한 것을 최적화하되 실제로는 우리가 관심을 가지는 것이 아닌 문제가 발생하는 경우를 의미한다.

OpenAI에서 예를 들면, 보트 경주를 훈련 중인 중에 점수를 극대화하도록 학습하는데, 실제로 우리가 관심을 가지는 것은 단순히 다른 이들보다 경주에서 먼저 도착하는 것이라 보이며, 인간의 선호도를 하나의 숫자로 모두 포착하고 특정 스칼라 값으로 할당할 수 있다고 생각하는 것은 더 단순한 생각일지도 모르죠.

이미 이러한 사례가 발생하고 있는 예시는 혹시 이전에 챗봇과 대화를 해 본 적이 있지 않은지 확인했을 때, 혹시 주장하는 많은 거짓 정보들을 발견할 수 있을 거예요.

이것이 LHF를 통해 발생하는 결과라고 할 수 있어요.

챗봇은 권위있게 보이거나 도움이 되는 답변을 제공하는 것에 보상을 받지만, 사실인지 여부는 고려하지 않는다고 해요.

결과적으로 사실을 날조하게 되는 현상이 발생하죠.

챗봇과 AI에서 보상 모델의 문제?

챗봇 관련 뉴스에서 많이 보는데, 기업들이 챗봇을 론칭하며 실수를 하곤 했어요.

보상 모델에 대한 과도한 최적화가 실제 사용자와의 선호도 차이를 초래할 수 있죠.

인간의 선호도는 비신뢰적하고, 더 나아가 모델을 훈련할 때 우리는 어떻게 작동하는지 모르는 딥 모델도 함께 사용합니다.

이는 매우 위험할 수 있어요.

AI 정렬 문제와 같은 실제 우려가 있는데, 사람들은 보상을 지도하는 데서 좋지 않다고 해요.

각각의 방법은 근본적인 한계가 있죠.

RL은 그것이 정확하게되는 것이 까다롭고, AR은 전진 패스 및 멀티 헤드 어텐션 컨셉으로 병렬화하기 쉽지만 병렬화에서 한계가 있습니다.

강화 학습과 피드백의 중요성은?

강화 학습에서의 경쟁은 이전에 보여준 수학적 통찰력을 토대로 샘플 기대치를 얻기 위한 것이에요.

샘플링에 대해 고민할 때, 어떻게 병렬로 만드느냐가 중요하며, 샘플링을 적응적으로 중단하고 시작 시점을 알 수 없는 경우가 있어요.

강화 학습에서 인간 피드백으로부터 배우고, 강화 학습에서 새로운 방법론을 탐구하는 중요한 단계에 대해 논의했어요.

앞으로는 AI 피드백을 통해 강화 학습을 발전시키는 새로운 방향을 모색하며, 언어 모델을 활용한 학습 모델의 발전 가능성에 관심을 갖고 있어요.

언어 모델 보안에 대해 무엇이 중요한가?

언어 모델 보안 문제는 대규모 경량 언어 모델의 한계로 이해되며, 알려진 문제로는 환영 현상과 엄청난 크기 및 컴퓨팅 부하가 있어요.

AI 또는 인간 피드백을 이용하여 잠범탄 상황을 완화할 수 있으나, 사용자의 이에 대응하기 어렵죠.

보안 및 사이버 보안에서는 공격자의 유리가 있으며 새로운 공세 방법을 항상 대비해야해요.

언어 모델 보안 문제는 아직 해법이 명확하지 않지만, 잠범이 발생하는 경우 그를 완화할 수 있다고 해요.

언어 모델 확장은 놀라운 시대이지만, 근본적 한계점에 대처해야 할 필요가 있어요.

질문 기술을 향상시키는 방법

  1. 목표 정의하기
  • 어떤 정보를 찾고 있는지 알아보세요.
  • 질문이 구체적이고 집중적이어야 합니다.
  • 미리 조사를 해서 배경 지식을 쌓으세요.
  1. 질문을 명확하게 구조화하기
  • 개방형 질문과 폐쇄형 질문을 구분하세요.
  • 질문을 간결하고 명확하게 유지하세요.
  • 올바른 유형의 질문을 사용하세요.
  1. 적극적인 듣기 연습하기
  • 다른 사람이 말하는 동안 주의를 기울이세요.
  • 추가 질문을 하여 더 깊이 파고들거나 명확히 하세요.
  1. 응답에 기반하여 접근 방식 조정하기
  • 대화가 예상치 못한 방향으로 흘러가면 유연하게 대처하세요.
  • 받은 답변을 사용하여 이해를 정제하고 이어지는 질문을 조정하세요.
  1. 음성과 신체 언어에 주의하기
  • 비언어적 신호를 사용하여 개방성을 장려하세요.
  • 정말로 답변에 관심이 있다는 것을 태도를 통해 분명히 하세요.
  1. 연습, 연습, 연습
  • 모든 대화를 질문 기술을 연습할 기회로 사용하세요.
  • 대화 후에 어떤 질문이 의미 있는 정보로 이어졌는지, 어떤 질문이 더 잘 표현될 수 있었는지 생각해 보세요.
  1. 피드백 요청하기
  • 대화나 회의 후에 다른 사람들에게 여러분의 질문에 대한 피드백을 요청하세요.
  • 질문이 명확했나요? 대화를 진행하는 데 도움이 되었나요?
  1. 전문가로부터 배우기
  • 숙련된 질문자가 이끄는 인터뷰, 팟캐스트, 대화를 시청하세요.
  • 효과적인 의사소통과 질문 기술에 대한 다양한 자료, 책, 기사를 활용하세요.

여러분의 질문 기술을 향상시키는 것은 지속적인 과정입니다. 이는 호기심, 개방성, 그리고 타인을 이해하고자 하는 진정한 관심에 관한 것입니다. 여러분이 더 나은 질문을 할 수 있는 능력을 갈고닦음으로써, 단지 프롬프트 엔지니어링뿐만 아니라 모든 의사소통 영역에서 더 통찰력 있고 생산적이며 의미 있는 상호작용으로 이어질 것입니다.

더 나은 질문을 할 수 있는 방법

  • 호기심을 가지세요. 더 나은 질문을 하는 가장 좋은 방법은 호기심을 가지는 것입니다. 세상에 대해 더 많이 배우고 싶어하고, 다른 사람들의 관점을 이해하고 싶어하세요.
  • 열린 마음을 가지세요. 더 나은 질문을 하려면 열린 마음을 가져야 합니다. 새로운 아이디어와 관점에 열려 있어야 하며, 자신의 가정에 도전할 의지가 있어야 합니다.
  • 적극적으로 들어보세요. 더 나은 질문을 하려면 적극적으로 들어야 합니다. 다른 사람이 말하는 것을 정말로 듣고, 그들의 말의 의미를 이해하려고 노력하세요.
  • 명확하고 간결하게 질문하세요. 더 나은 질문을 하려면 명확하고 간결하게 질문해야 합니다. 질문이 너무 길거나 복잡하면 상대방이 이해하기 어려울 수 있습니다.
  • 올바른 유형의 질문을 사용하세요. 더 나은 질문을 하려면 올바른 유형의 질문을 사용해야 합니다. 정보를 수집하고 싶다면 개방형 질문을 사용하세요. 상대방의 의견을 알고 싶다면 폐쇄형 질문을 사용하세요.
  • 질문의 순서에 주의하세요. 더 나은 질문을 하려면 질문의 순서에 주의해야 합니다. 먼저 쉬운 질문을 하고, 점차 더 어려운 질문으로 넘어가세요.
  • 비언어적 신호를 사용하세요. 더 나은 질문을 하려면 비언어적 신호를 사용하세요. 눈을 마주치고, 미소를 지으며, 고개를 끄덕이는 등의 행동을 통해 상대방에게 관심이 있다는 것을 보여주세요.
  • 피드백을 받으세요. 더 나은 질문을 하려면 피드백을 받으세요. 다른 사람들에게 자신의 질문에 대한 피드백을 요청하고, 그들의 의견을 반영하세요.

더 나은 질문을 위한 몇 가지 예

  • “어떻게 생각하세요?”
  • “왜 그렇게 생각하시나요?”
  • “그것에 대해 더 자세히 설명해 주실 수 있나요?”
  • “그렇게 하면 어떤 결과가 있을까요?”
  • “다른 가능성은 무엇입니까?”
  • “장단점은 무엇입니까?”
  • “어떻게 개선할 수 있을까요?”
  • “앞으로 어떻게 하실 건가요?”
  • “무엇을 배우셨나요?”
  • “어떤 조언을 해 주실 수 있나요?”

이러한 팁을 따르면 더 나은 질문을 하고, 더 의미 있는 대화를 나눌 수 있을 것입니다.

더 나은 질문을 하기 위해 질문의 순서를 결정하는 몇 가지 방법은 다음과 같습니다.

  • 쉬운 질문부터 시작하세요. 대화를 시작할 때는 쉬운 질문부터 시작하는 것이 좋습니다. 이렇게 하면 상대방이 편안해지고 대화에 참여하기 쉬워집니다.
  • 점차 더 어려운 질문으로 넘어가세요. 대화가 진행됨에 따라 점차 더 어렵고 도전적인 질문으로 넘어갈 수 있습니다. 이렇게 하면 상대방이 더 깊이 생각하고 더 의미 있는 대답을 하도록 유도할 수 있습니다.
  • 상대방의 반응에 주의하세요. 상대방의 반응에 주의를 기울이고, 그에 따라 질문을 조정하세요. 상대방이 어려움을 겪고 있다면 더 쉬운 질문으로 돌아가거나, 더 자세한 설명을 해줄 수 있습니다.
  • 대화의 목표를 고려하세요. 대화의 목표를 고려하여 질문의 순서를 결정하세요. 정보를 수집하고 싶다면 개방형 질문을 많이 사용하세요. 상대방의 의견을 알고 싶다면 폐쇄형 질문을 많이 사용하세요.
  • 자연스러운 흐름을 따르세요. 질문의 순서는 자연스럽게 흐르도록 해야 합니다. 질문이 너무 생경하거나 불연속적으로 느껴져서는 안 됩니다.

다음은 질문의 순서를 결정하는 데 도움이 되는 몇 가지 구체적인 예입니다.

  • 인터뷰를 할 때:
    • 먼저 상대방의 배경과 경험에 대한 쉬운 질문을 합니다.
    • 점차 더 구체적이고 도전적인 질문으로 넘어갑니다.
    • 상대방의 반응에 주의를 기울이고, 그에 따라 질문을 조정합니다.
  • 고객 서비스를 제공할 때:
    • 먼저 고객의 문제를 이해하기 위한 질문을 합니다.
    • 점차 더 구체적인 질문으로 넘어가 문제의 근본 원인을 파악합니다.
    • 고객의 문제를 해결하기 위한 질문을 합니다.
  • 판매를 할 때:
    • 먼저 고객의 니즈를 이해하기 위한 질문을 합니다.
    • 점차 더 구체적인 질문으로 넘어가 고객의 니즈를 정확히 파악합니다.
    • 고객의 니즈를 충족시킬 수 있는 제품이나 서비스를 소개합니다.

이러한 팁을 따르면 질문의 순서를 효과적으로 결정하고, 더 의미 있는 대화를 나눌 수 있을 것입니다.

더 나은 질문을 하기 위한 추가 팁

  • 5W1H를 사용하세요. 5W1H(Who, What, When, Where, Why, How)는 질문을 구성하는 데 도움이 되는 기억술입니다. 이러한 질문 유형을 사용하면 더 구체적이고 포괄적인 질문을 할 수 있습니다.
  • 개방형 질문과 폐쇄형 질문을 혼합하세요. 개방형 질문은 상대방이 자유롭게 대답할 수 있는 질문입니다. 폐쇄형 질문은 상대방이 “예” 또는 “아니오”로 대답할 수 있는 질문입니다. 개방형 질문과 폐쇄형 질문을 혼합하면 다양한 정보를 수집할 수 있습니다.
  • 질문을 구체적으로 하세요. 질문이 너무 일반적이면 상대방이 무엇을 묻는지 이해하기 어려울 수 있습니다. 질문을 구체적으로 하면 상대방이 더 정확한 대답을 할 수 있습니다.
  • 질문을 중립적으로 하세요. 질문이 편향되어 있으면 상대방이 방어적이거나 불안해질 수 있습니다. 질문을 중립적으로 하면 상대방이 더 편안하게 대답할 수 있습니다.
  • 적절한 시점에 질문하세요. 질문을 하는 시점은 중요합니다. 상대방이 바쁘거나 스트레스를 받고 있을 때 질문을 하면 상대방이 질문에 제대로 대답하지 못할 수 있습니다. 적절한 시점에 질문을 하면 상대방이 더 집중하고 더 의미 있는 대답을 할 수 있습니다.

더 나은 질문을 하기 위한 몇 가지 예

  • 대신에 “어떻게 생각하세요?”라고 묻는 대신, “이 프로젝트의 가장 큰 도전은 무엇이라고 생각하시나요?”라고 물어보세요.
  • 대신에 “왜 그렇게 생각하시나요?”라고 묻는 대신, “그렇게 생각하게 된 배경을 설명해 주실 수 있나요?”라고 물어보세요.
  • 대신에 “무엇을 하실 건가요?”라고 묻는 대신, “이 문제를 해결하기 위해 어떤 조치를 취하실 계획이신가요?”라고 물어보세요.
  • 대신에 “좋았나요?”라고 묻는 대신, “이벤트에 대해 어떻게 생각하셨나요?”라고 물어보세요.
  • 대신에 “무엇을 배우셨나요?”라고 묻는 대신, “이 경험에서 가장 중요한 교훈은 무엇이라고 생각하시나요?”라고 물어보세요.

이러한 팁을 따르면 더 나은 질문을 하고, 더 의미 있는 대화를 나눌 수 있을 것입니다.

패트릭 캠벨의 “문제 > 원인 > 해결 접근법” problem>cause>solution

소개

비즈니스 세계의 복잡함을 뚫고 명확함을 찾는 것은 매우 중요합니다. ProfitWell을 놀라운 2억 달러 가치로 이끈 패트릭 캠벨은 비즈니스 도전을 탐색하기 위한 간단하지만 깊이 있는 프레임워크인 “문제 > 원인 > 해결 접근법”을 옹호합니다. 이 글에서는 이 변혁적인 프레임워크를 탐구하며, 이 방법의 각 단계를 안내합니다.

첫 번째 단계: 문제 파악하기

문제를 식별하는 것은 당연해 보일 수 있지만, 이 단계에서의 정밀함이 성공의 무대를 마련합니다. 패트릭 캠벨은 단지 문제를 인식하는 것이 아니라 올바른 문제를 정의하는 것의 중요성을 강조합니다. 잘 정의된 문제는 그 문제의 근본 원인을 탐색하는 데 견고한 기반을 제공하며, 후속 단계가 목표 지향적이고 효과적이도록 보장합니다.

더 깊이 파고들기: 원인 이해하기

원인을 이해하는 것은 문제를 식별하고 해결책을 고안하는 사이의 다리입니다. 이 단계는 표면적인 질문에 관한 것이 아니라 문제 뒤에 있는 ‘왜’에 대한 깊은 탐구입니다. 패트릭은 문제의 층을 벗겨내어 현재의 이슈로 이끈 근본적인 조건들을 밝혀내는 철저한 탐색을 옹호합니다. 이러한 이해의 깊이는 해결책이 문제의 근본을 해결하고 있음을 보장하는 데 매우 중요합니다.

마지막 단계: 해결책 만들기

문제와 그 원인을 명확하게 파악하면, 효과적인 해결책을 만드는 것이 더욱 가능해집니다. 패트릭의 접근 방식은 초기 문제 정의만큼 정밀하고 목표 지향적인 해결책을 만드는 데 중점을 둡니다. 그것은 현재의 문제를 해결할 뿐만 아니라 미래의 도전에 대비할 수 있도록 전략적이고 혁신적이며 지속 가능한 답변을 개발하는 것에 관한 것입니다.

결론

패트릭 캠벨의 “문제 > 원인 > 해결 접근법”은 단순한 방법을 넘어서는 것이며, 한 가지 마인드셋을 나타냅니다. 그것은 전략적이고 철저하며 통찰력 있는 문제 해결 방식을 채택하는 것을 증명합니다. 이 프레임워크를 마스터함으로써, 당신은 비즈니스의 복잡성을 정밀하게 탐색할 수 있으며, 해결책이 단순히 효과적일 뿐만 아니라 지속 가능하도록 보장할 수 있습니다.

*SEO.AI 에서 만든 팟캐스트 스크립트 제네레이터 로 만들었습니다.

**원본은 10 lessons on bootstrapping a $200m business | Patrick Campbell (ProfitWell) 팟캐스트입니다.

메인 컴퓨터를 다시 맥북으로: 생산성 기르기

개발을 배우면서 다시 메인 컴퓨터를 Windows PC에서 Macbook Air 13 M1 으로 변경했다. 변경하는김에 좀 더 생산성을 기르기 위해 도입한 것들에 대해 소개하고자 한다

Espanso: 무료 오픈소스 단축키

espano 홈페이지 에서 다운로드. Mac, Windows, Linux 모든 환경 지원. 터미널에서 trigger 와 replace 만 세팅하면 됨. 아래 예시는 thx 를 타이핑하면, 아래와 같이 변환 시켜준다.
Thanks,
Simpson

단축키 수정 / 추가 방법

VS code 에서 Applications > Espano 열기

터미널 열고 espanso edit 입력 > trigger and replace 를 edit or add > ^x > Y > enter

Sukha: 업무에 집중할 수 있게 도와주는 앱

뽀모도로 타이머, 구글캘린더 연동, 스포티파이 연동이 됨. 코치의 목소리와 집중에 도움되는 음악이 나옴. Lenny 는 정말 어딜가도 보이는…ㅎㅎㅎ

브레이즈와 Sheet2API를 활용한 데이터 통합: 커넥티드컨텐츠 구현 가이드

안녕하세요! 오늘은 Braze의 Connected Contents 기능과 Sheet2API를 활용하여 데이터 통합을 구현하는 방법에 대해 자세히 설명하고자 합니다. 이전에 Tomas Gurovich의 미디엄 포스팅을 참고하여 첫 구현을 완성했지만, Braze의 데이터 용량 제한에 부딪혀 이 방법을 고안하게 되었습니다.

데이터 통합의 필요성과 Sheet2API의 역할

데이터 통합은 비즈니스의 효율성을 높이는 데 중요한 역할을 합니다. 특히, Braze와 Google Sheets를 연동할 때, 데이터 용량 제한과 리다이렉트 문제가 발생할 수 있습니다. 이러한 문제를 해결하기 위해 Sheet2API가 큰 역할을 합니다.

Sheet2API(Sheet2API)는 Google Sheets 데이터를 RESTful API(RESTful API)로 변환해주는 강력한 서비스입니다. 이를 통해 Braze의 Connected Contents와 쉽게 연동할 수 있으며, 데이터 용량 제한과 리다이렉트 문제를 해결할 수 있습니다. Sheet2API에 대해 더 알아보기

Connected Contents의 데이터 용량 제한

Braze의 Connected Contents는 편리한 기능이지만, 응답 데이터에 대한 1MB 제한이 있습니다. 이는 대량의 데이터를 불러오는 데 제한적일 수 있습니다. 특히, 큰 용량의 데이터를 처리해야 하는 경우, 이 제한은 중요한 고려 사항이 됩니다.

리다이렉트 문제

Connected Content 호출은 리다이렉트를 따르지 않습니다. 이는 Google Apps Script와 같은 도구를 사용하여 구현할 때 문제가 될 수 있습니다. 리다이렉트를 처리할 수 없기 때문에, 직접적인 API 접근 방식이 필요합니다.

카탈로그 기능의 한계

Braze의 카탈로그 기능을 사용하면 이러한 문제를 해결할 수 있지만, 여기에는 몇 가지 단점이 있습니다. 첫째, Customer Data Integration(CDI)에 상당한 개발 공수가 필요할 수 있습니다. 둘째, 카탈로그 기능의 무료 사용에도 많은 제한이 있으며, 추가 비용이 발생할 수 있습니다.

구현 과정: Step by Step

1단계: Sheet2API 설정

먼저, Google Sheets 문서를 준비하고 Sheet2API에 연결합니다. 이 과정은 간단하며, 몇 분 안에 완료할 수 있습니다.

  1. Google Sheets 문서 준비: 사용할 데이터가 포함된 Google Sheets 문서를 준비합니다.
  2. Sheet2API에 가입: Sheet2API 웹사이트에 접속하여 가입합니다.
  3. API 엔드포인트 생성: Sheet2API 대시보드에서 필요한 API 엔드포인트를 생성합니다.

2단계: Braze Connected Contents 작성

Braze 캠페인에서 Connected Contents 구문을 작성합니다. 이때, Sheet2API 엔드포인트와 필요한 인증 정보를 포함시킵니다.

{% connected_content https://sheet2api.com/v1/your_api_endpoint
  :headers { "Authorization": "Basic YOUR_ENCODED_CREDENTIALS" }
  :cache_max_value 14400
  :save data
%}
  • your_api_endpoint: Sheet2API에서 생성한 엔드포인트 URL로 대체합니다.
  • YOUR_ENCODED_CREDENTIALS: 필요한 경우, Base64로 인코딩된 인증 정보로 대체합니다.
{{data[0].field_name}}
  • field_name: JSON 응답에서 원하는 필드의 이름으로 대체합니다.

3단계: 캠페인 테스트 및 실행

설정한 Connected Contents가 올바르게 작동하는지 Braze에서 테스트하고, 캠페인을 실행합니다.


이 포스팅이 데이터 통합에 관심 있는 여러분에게 도움이 되길 바랍니다. Sheet2API를 통한 Braze와 Google Sheets의 통합은 비용 효율적이며, 복잡한 데이터 요구 사항을 충족시키는 강력한 방법입니다. Sheet2API를 통해 시작하기

엣지 (Edge) 브라우저에서 세금계산서 (국세청 홈택스) 발행 안 될 때 해결 방법

엣지 브라우저에서 국세청 홈택스의 세금계산서 발행 안 될 때 해결 방법에 관한 글이다.

  1. 사이트 사용 권한 / 팝업 및 리디렉션 (바로가기) 에서 https://www.hometax.go.kr 사이트 추가하기
  2. 엣지에 깔린 모든 익스텐션; “확장 프로그램” 이라고도 부름; 해제하기. 설치된 확장 (바로가기) 에서 토글만 꺼 줘도 세금계산서가 작동한다. 본인의 경우엔 크롬에 깔려있던 익스텐션을 엣지가 불러와서 깔았는데, 이를 깜빡하고 계속 On 돼 있어서 엣지에서 국세청 홈택스의 세금계산서 발행이 막혔었다.

이 글을 보시는 당신도 빠르게 해결하시길 바라겠습니다.

믹스패널 v.s 앰플리튜드 기능 비교 rundown

믹스패널과 앰플리튜드의 기능 하나하나 (사실 다 까진 않고 누군가가 궁금해하셨던 리포트만 까 봄) 를 까봐서 비교하는 포스팅. 마텤을 구매할 때 이것저것 많이 따져봐야하지만, 우리가 필요한 기능을 누가 어떻게 제공하고 가격은 얼마인지 MarTech Stack Evaluation 을 빡세게 해 보시길 바란다.

TLDR

LTV: 앰플리튜드 승
Impact Analysis: 믹스패널 승
Persona: 앰플리튜드 승
Cohort Sync: 동점
Experiment: 내 맘대로 믹스패널 승

LTV

믹스패널은 Revenue 라는 Application 으로 존재하고, 앰플리튜드는 Revenue LTV 차트로 존재 (샘플 리포트)한다. 이 리포트는 앰플리튜드가 믹스패널을 압살하는듯. 믹스패널은 해당 리포트에대한 업데이트를 오랫동안 진행하지 않은 걸로 보인다.

Feature믹스패널앰플리튜드
Revenue source filterTRUETRUE
CohortFALSETRUE
Measured by Total RevenueTRUETRUE
Measured by New Paying UsersFALSETRUE
Measured by ARPUTRUETRUE
Measured by ARPPUFALSETRUE
Total TRUE36

Impact Analysis

특정 이벤트가 다른 이벤트에 어떤 영향을 끼쳤는지를 알아보는 분석. 꽤나 깊이가 있는 분석인데, 이건 믹스패널의 압승 같아 보인다. 믹스패널이 “unobserved counterfactual of the adopters” 와의 비교나 Causal Impact 등 더 많은 분석 방법을 제공한다

믹스패널 샘플 리포트 / 앰플리튜드 샘플 리포트

https://help.mixpanel.com/hc/en-us/articles/360034129112-Impact-Report
https://help.amplitude.com/hc/en-us/articles/360020765372-Impact-Analysis-track-how-first-time-engagement-changes-user-behavior

“unobserved counterfactual of the adopters” 가 무엇인지 Chat GPT 한테 물어봤는데, 너무 잘 알려줌. 아래가 대답 (영어로 질문하고 영어로 답변 받은 뒤 DeepL 로 번역)

Mixpanel의 영향력 보고서에서 ‘관찰되지 않은 채택자의 역효과’는 특정 기능이나 이벤트를 채택하거나 상호 작용하지 않았지만 채택한 사용자 그룹과 유사한 가상의 사용자 그룹을 의미합니다. 이 그룹은 특정 기능이나 이벤트가 사용자 행동에 미치는 영향을 평가하기 위한 비교 기준이 됩니다.

Mixpanel의 영향력 보고서는 채택자(기능/이벤트와 상호작용한 사용자)의 결과를 관찰되지 않은 대조군(그렇지 않은 가상의 사용자)의 결과와 비교함으로써 전환율, 리텐션, 참여도와 같은 핵심 성과 지표(KPI)에 대한 기능/이벤트의 인과적 효과를 추정하는 것을 목표로 합니다.

관찰되지 않은 카운터팩트 그룹은 실제 사용자 그룹이 아닌 가상의 구성이라는 점에 유의해야 합니다. 이는 채택자가 기능/이벤트와 상호 작용하지 않았다면 어떤 일이 일어났을지에 대한 추정치를 나타냅니다. 이 비교를 통해 기능이나 이벤트가 사용자 행동의 긍정적인 변화를 유도하는지 부정적인 변화를 유도하는지 판단할 수 있습니다.

Persona

해당 리포트는 앰플리튜드만 제공하고 있음

https://help.amplitude.com/hc/en-us/articles/235648588

Cohort Sync

앰플리튜드는 Almost real-time <-> 믹스패널은 every 15 minutes

앰플리튜드는 최대 5개, 믹스패널은 60개까지 Recurring sync 가능

https://help.amplitude.com/hc/en-us/articles/360060055531-Sync-to-third-party-destinations

https://help.mixpanel.com/hc/en-us/sections/115001517666-Cohort-Sync-Integrations

Experiments

앰플리튜드는 실험 구축 (feature flag, segmentation 등등) & 분석 가능. 믹스패널은 실험 분석만 가능. 앰플리튜드는 Experiment 를 Add-on 으로 구현했기 때문에 3rd party experiment platform 에게 분석기능을 열어주지 않지만, 믹스패널은 실험 구축 부분을 버리고 분석 기능만 남겨 놓았다. 앰플의 Add-on 은 비싼대신 “앰플 한 곳에서 모든 걸 다 할 수 있다” 라는 스탠스고, 믹스패널은 우리가 집중할 부분과 3rd party 와 긴밀한 협업을 통해 제공할 것을 구분 (Best-of-breed 전략) 하는 스탠스이다. 개인적으로는 하나의 툴에 종속되는 걸 싫어해서 이건 내 맘대로 믹스패널 승이라고 말하고 싶다. GrowthBook 이라는 곳이 LaunchDarkly 의 Open Source 버전 같은데, 믹스패널과 연동이 꽤 잘 돼 있는 것 같고 Open source 니까 무료로 쓸 수도 있다는 장점이 있다.

https://www.docs.developers.amplitude.com/experiment/
https://help.mixpanel.com/hc/en-us/articles/360038439952-Experiments-Report

관련 글

브레이즈 (Braze) 초급 벗어나 중/고수로 가는 방법

브레이즈는 꽤나 배우기 어려운 마테크 중 하나라고 생각한다. 매일 기계처럼 단건 발송이나 하는 초보에서 중/고수로 가는 방법에 대해 설명해보려고한다

  1. 영어
  2. 기본 개발 지식
  3. 커뮤니티/CSM 활용

영어

일단 한국어 문서가 없어서 고생하는 경우를 많이 봤는데, 모든 마텤, 그로스를 배우는 사람은 영어부터 공부해야한다고 생각한다. 물론 DeepL 같은 번역기를 사용해도 되겠지만 문서 해석 뿐 아니라 영문으로 궁금한 점을 직접 쓰기 (이것도 DeepL 로 가능), 컨콜이나 영상을 통해 설명을 듣거나 컨콜에서 궁금한 점을 직접 질문할 때 당신의 영어 실력이 쓰인다. 브레이즈 공식문서에서 User Guide, Developer Guide, API Guide, Braze Learning 를 전부 읽고 듣고 공부하자

기본 개발 지식

모든 마텤의 시작은 Implementation 인데 개발 지식 없이 개발 없이 구현할 방법이 없다. 개발 지식 없는 비개발자가 의욕만 앞서서 “우리도 이런 마텤 도입 해 주세요” 라고 내부 설득하고 도입했더니 개발자한테 “알아서 구현 해 주세요” 라고 프로젝트를 던져버리면 개발팀은 개빡칠 수 밖에 없다. 물론 비개발자가 개발자급 개발 지식을 갖을 필요까진 없으나 두 side 가 대화가 통할 정도의 지식을 갖춰야 프로젝트가 진행될 수 있다. 정말 기본적인 지식은 비전공자를 위한 이해할 수 있는 IT 지식 이라는 책으로 배웠고 친한 개발자분들에게 현재 엔지니어링 스텍에 대해서 배우는 것을 추천한다. 기본적인 지식 없이 친분을 이용해 구글링으로도 알 수 있는 걸 개발자에게 물어보진 말자. 기본 지식을 갖춘 뒤에는 HTML / CSS, Liquid Language, Postman, SQL, Bigquery, Zapier (<- 요건 개발이라기보단 low code tool 이라는 표현이 맞겠다) 등을 배우고 어느정도 알겠다 싶으면 Chat GPT 의 힘을 빌리는 것도 추천한다.

Liquid Language 관련

https://shopify.github.io/liquid/
https://www.shopify.com/partners/shopify-cheat-sheet
https://shopify.dev/docs/api/liquid
https://jumpseller.com/support/liquid-sandbox/

커뮤니티/CSM 활용

국내 브레이즈 유저라면 리셀러를 통해서 이용할 확률이 높다. 리셀러별로 서비스를 제공하는 레벨이 약간씩 다른데, 계약 시 이를 꼼꼼하게 챙기는 것을 추천한다. 꽤 어려운 수준의 Liquid language 를 짜야하는 경우에 도움 받은 적이 있는데, 이 코드를 받아서 Chat GPT 한테 한줄 한줄 설명을 요청하고 이를 다시 뜯어보면서 내 지식으로 체화시키는 과정에서 더 많이 배울 수 있었다. (리셀러 소개를 원하시는 분은 저와 15분 컨콜을 요청해주세요). 리셀러 뿐 아니라 Braze Bonfire 라는 커뮤니티를 통해서도 다양한 지식을 습득할 수 있고 Bonfire 슬랙 (현재 추가 인원을 받진 않고 있는 거 같은데, 제가 invitation 을 보내드릴 순 있는 거 같아요. 정말 원하시면 저한테 페메 주세요) 에 문의하면 답변을 받는 경우도 종종 있다.