Skip to main content

AI가 거짓말을 할 때, 전문가는 어떻게 반응하는가

· By Simpson Gyusup Sim · 11 min read

TL;DR

  • AI는 증폭기(amplifier)다. 전문성이 있을 때 증폭이 일어나고, 없으면 노이즈만 커진다
  • 오늘 내가 겪은 AI 할루시네이션 사례: Meta Pixel 설정에서 AI가 존재하지 않는 해결책을 제안했다
  • AI 시대의 학습 루프: 방향성 선택 → 메타러닝 → 회고로 메타의 메타 → 언러닝(unlearn)
  • 핵심은 "AI가 틀릴 수 있다"가 아니라 "내가 틀렸다는 걸 언제 아는가"다

오늘 아침, AI가 나에게 거짓말을 했다.

정확히는, 매우 그럴싸한 해결책을 제시했다. 내가 10년간 쌓아온 퍼포먼스 마케팅 경험 아니었으면 그대로 실행했을 것이다.

무슨 일이었는지, 그리고 이게 왜 AI 시대 학습법에 대한 더 큰 질문으로 이어지는지 이야기해보려 한다.

실제 사례: Meta Pixel Advanced Matching에서의 할루시네이션

문제 상황

AI Sprint for C-Suites 결제 페이지에 Meta Pixel을 연동하면서 Advanced Matching 설정을 하고 있었다. Meta Events Manager에서 다음과 같은 에러가 떴다:

"Customer information parameters are not detected"

구매 이벤트에 이메일, 전화번호, 이름 같은 고객 정보 파라미터가 전달되지 않는다는 뜻이다.

AI가 제시한 해결책

Claude Code가 제안한 것은 fbq('init') 재호출이었다. 픽셀 초기화 함수에 고객 정보를 담아서 다시 호출하면 된다고 했다. 코드도 함께 작성해줬다:

// AI가 제안한 코드
fbq('init', '1052663907930864', {
em: email,
ph: phone,
fn: firstName
});

문법적으로 완벽했다. 문서에 있는 것처럼 보이는 API 시그니처. 심지어 "이렇게 하면 된다"고 자신 있게 말했다.

전문가의 감이 걸러낸 것

10년간 퍼포먼스 마케팅을 하면서 Meta(구 Facebook) 광고 플랫폼을 수없이 다뤄왔다. 그 경험이 말해주길: "잠깐, 픽셀 init을 두 번 호출한다고? 이거 진짜야?"

그래서 공식 문서를 직접 확인했다. Meta Developer Community에서 비슷한 질문을 찾았다. 답변은 명확했다: 같은 Pixel ID로 fbq('init')를 재호출하면 콘솔 에러가 발생한다. 이건 공식적으로 지원되는 방법이 아니다.

실제 정답은 훨씬 단순했다. Events Manager에서 Automatic Advanced Matching 토글을 켜는 것. 픽셀이 자동으로 고객 정보를 수집한다. 코드 수정 자체가 필요 없었다.

왜 이 사례가 중요한가

Vectara의 HHEM(할루시네이션 평가 모델) 벤치마크에 따르면, 현재 AI 모델의 할루시네이션 비율은 0.7%에서 29.9% 사이다. Columbia Journalism Review(2025) 조사에서는 더 충격적인 수치가 나왔다: AI 검색 엔진의 인용 할루시네이션 비율이 Perplexity 37%, ChatGPT 67%, Grok-3 94%였다.

숫자만 보면 "그럼 AI를 못 믿겠네"라고 생각할 수 있다. 하지만 나는 다르게 본다.

AI는 증폭기(amplifier)다. 입력이 있어야 출력이 있다. 내 안에 10년의 퍼포먼스 마케팅 경험이 없었다면, AI가 제시한 fbq('init') 재호출을 그대로 실행했을 것이다. 그리고 디버깅에 몇 시간을 날렸을 것이다. 하지만 경험이 있었기에 "이건 이상하다"는 감을 1초 만에 느꼈다.

AI는 증폭기다: 무엇을 증폭하는가

"AI가 일자리를 뺏는다"는 이야기가 나올 때마다 나는 하나를 묻는다: "지금 가진 전문성이 무엇인가?"

AI 증폭의 구조는 단순하다:

상태 AI 없을 때 AI 있을 때
전문성 있음 1x 10x
전문성 없음 0x 0x (혹은 음수)

전문성이 있는 사람은 AI를 써서 10배 빠르게 일한다. 앞서 쓴 글에서도 이야기했지만, 비개발자인 내가 AI로 코딩하는 것도 내가 가진 "무엇을 만들어야 하는가"에 대한 전문성이 증폭된 결과다.

하지만 전문성 없이 AI를 쓰면? 노이즈만 증폭된다. 오늘 아침의 fbq('init') 사례가 정확히 그것이다. AI가 생성한 그럴싸한 코드가 실제로는 작동하지 않는 코드인데, 그걸 검증할 전문성이 없으면 그대로 배포된다.

Morph LLM의 카탈로그에 따르면 코딩 분야에서 AI 할루시네이션 비율은 17.8%다. 5번 코드를 작성하면 1번은 틀릴 수 있다는 뜻이다. 이걸 잡아내는 건 결국 인간의 전문성이다.

학습의 방향성: 무엇을 배울지 정하는 게 핵심이다

AI 시대 학습법 첫 글에서 이야기했듯, 수동적으로 영상을 보는 것만으로는 지식이 남지 않는다. 능동적 학습이 수동적 학습보다 54% 더 높은 retention을 보인다는 연구도 있다.

하지만 AI 시대에 더 중요한 건 "어떻게 배울까"가 아니라 무엇을 배울까다.

AI가 코딩을, 글쓰기를, 분석을 도와주는 시대에, 방향성을 정하는 것은 여전히 인간의 몫이다. Scott Young이 Ultra Learning에서 말했듯, "AI는 튜터지 교사가 아니다." 무엇을 어떤 순서로 배울지는 내가 정해야 한다.

나의 경우, 퍼포먼스 마케팅이라는 방향성을 10년 전에 정했다. 그 위에 쌓인 경험들이 오늘 AI의 할루시네이션을 걸러냈다. 방향성이 없었다면 걸러낼 수 없었다.

메타러닝: 어떻게 배우는가를 배우는 것

방향성을 정했다면, 다음은 메타러닝(meta-learning)이다. "학습하는 법을 학습하는 것"이다.

나는 최근 AI를 활용해 학습 속도를 극적으로 높였다. 코딩을 예로 들면:

  1. 목적 설정: 결제 페이지에 Meta Pixel Advanced Matching을 연동해야 한다
  2. AI 활용: Claude Code에게 현재 코드를 보여주고, 문제를 설명하고, 해결책을 제시받는다
  3. 검증: 공식 문서와 교차 확인한다 (오늘 이 단계에서 AI의 할루시네이션을 발견했다)
  4. 반영: 정답을 적용하고, 왜 AI가 틀렸는지 기록한다

이 루프가 빠를수록 성장이 빠르다. Engageli(2024) 연구에 따르면 능동적 학습은 수동적 학습보다 25% 높은 테스트 점수를 기록했다. AI를 쓰면서 이 능동적 학습 루프를 더 빠르게 돌릴 수 있게 됐다.

하지만 여기서 끝이 아니다.

회고: 메타의 메타, 그리고 언러닝

메타러닝 자체도 검증해야 한다. "내가 배우는 방식이 효과적인가?"를 물어봐야 한다. 이게 회고(reflection)다.

나는 매주 회고를 한다. 이번 주에 무엇을 배웠고, 어떻게 배웠고, 더 효율적으로 배울 수 있었을까를 돌아본다. AI 시대 리더십 글에서도 이야기했지만, 핵심 인재가 남는 조건은 "매일 성장하고 있다고 느끼는 것"이다. 회고가 그 감각을 만든다.

그리고 회고의 끝에는 항상 언러닝(unlearn)이 기다린다.

언러닝: 어제의 정답을 버리는 용기

언러닝이 어렵다. 특히 경험이 많을수록 더 어렵다.

나는 최근 이런 생각을 자주 한다:

"어제까지 안 되던 AI workflow가 내 실력이 부족해서인지, 아직 기술이 안 되는 건지 알아보고, 내일은 될 수도 있다는 생각으로 다시 시도한다"

이게 언러닝이다. "이건 안 된다"고 단정 짓지 않는 것. 어제의 한계가 오늘의 한계가 아닐 수 있다는 전제로 다시 시도하는 것.

실제로 3개월 전만 해도 AI로 코딩하는 건 상상도 못 했다. 비개발자를 위한 AI 코딩 가이드를 쓸 때조차 "이게 정말 가능한가?" 반신반의했다. 지금은 결제 시스템, 크론잡, API 연동까지 AI와 함께 구축한다.

어제의 "안 됨"을 오늘의 "됨"으로 바꾸려면, 먼저 어제의 판단을 내려놓아야 한다.

전체 루프: AI 시대 학습의 4단계

정리하면, AI 시대 학습은 이 4단계의 반복이다:

1. 방향성(Direct): 무엇을 배울지 정한다. AI가 정해주지 않는다. 내가 정한다.

2. 메타러닝(Meta-learn): 빠르게 배운다. AI를 튜터로 쓰되, 검증은 반드시 직접 한다.

3. 회고(Reflect): 배우는 방식 자체를 점검한다. "이 방식이 효과적인가?"를 AI에게도 물어본다.

4. 언러닝(Unlearn): 어제의 정답을 버린다. 기술은 매주 바뀐다. 3개월 전의 AI와 오늘의 AI는 다른 생물이다.

이 루프를 도는 속도가 경쟁력이다. AI가 할루시네이션을 일으키는 건 버그가 아니다. 시스템의 특성이다. 중요한 건 그걸 얼마나 빨리 감지하고 수정하느냐다.

FAQ

AI 할루시네이션은 언제 사라지나요?

OpenAI(2025)의 분석에 따르면, 할루시네이션은 근본적으로 훈련 데이터의 한계에서 발생한다. 모델이 "알지 못하는 것을 알지 못하는" 상태다. 완전한 해결은 기술적으로 매우 어렵고, 당분간은 인간의 검증이 필수적이다.

전문성이 없는 분야에서 AI를 쓸 때 어떻게 하나요?

모르는 분야에서는 AI를 탐색 도구로만 쓴다. 최소 2개 이상의 독립적인 소스와 교차 확인한다. 하나의 AI 응답을 믿지 않는다. 공식 문서, 커뮤니티 답변, 실제 사용 사례를 반드시 확인한다.

언러닝은 구체적으로 어떻게 하나요?

나는 세 가지를 한다. 첫째, "안 된다"고 단정 지은 목록을 주기록한다. 둘째, 새로운 AI 모델이 나오면 그 목록을 다시 시도해본다. 셋째, "왜 안 됐는지"보다 "무엇이 바뀌었는지"에 집중한다.

메타러닝과 일반 학습의 차이가 뭔가요?

일반 학습은 "X를 배운다"입니다. 메타러닝은 "X를 어떻게 가장 효율적으로 배우는가"를 배우는 것입니다. 예를 들어, 코딩을 배우는 것은 일반 학습이고, "AI를 튜터로 써서 코딩을 3배 빠르게 배우는 방법"을 고민하는 것은 메타러닝입니다.

AI 시대에 어떤 전문성을 쌓아야 하나요?

답은 의외로 단순하다. AI가 대체하기 어려운 것: 맥락 이해, 최종 판단, 관계 구축, 전략적 방향 설정. 기술 스택은 바뀌지만, "무엇이 중요한가"를 판단하는 능력은 바뀌지 않는다. 오늘 AI가 틀린 답을 1초 만에 걸러낸 것도 그런 판단력이었다.


AI는 여전히 할루시네이션이 있다. 앞으로도 있을 것이다. 하지만 그건 AI를 안 써야 하는 이유가 아니다. 더 빨리 검증하는 능력을 키워야 하는 이유다.

오늘 아침의 fbq('init') 사건은 나에게 확인시켜줬다: 10년의 경험이 AI의 실수를 1초 만에 걸러냈다. 그리고 그 경험을 AI로 10배 더 빠르게 쌓을 수 있게 됐다.

증폭기는 입력이 있어야 작동한다. 당신 안에 무엇이 있는가?

About the author

Simpson Gyusup Sim
Updated on 2026년 4월 13일
무엇이든 물어보세요! 👋
15분 미팅 예약