Token

실무에서 뜻하는 것

토큰은 단어, 단어 조각, 글자 단위로 나뉩니다. 같은 문장도 모델과 언어에 따라 토큰 수가 다릅니다. 공식 용어집은 이전 모델에서 토큰 하나가 영어 약 3.5자에 해당한다고 설명합니다. 2026-10 기준 Claude 4.7 이후 모델은 같은 텍스트에 약 30% 더 많은 토큰을 씁니다. API 요금은 입력 토큰과 출력 토큰을 따로 매기고, 사고 과정의 토큰은 출력 토큰으로 청구됩니다. 컨텍스트 윈도우 크기도 토큰으로 잽니다. 구독 요금제의 사용량 제한도 토큰을 많이 쓸수록 빨리 찹니다.

리텐션에서 쓴 예

클로드 Opus 5, 이제 이렇게 말 걸어야 합니다는 토큰을 AI가 글을 세는 단위로 풀어 설명했습니다. 이 글은 Opus 5가 한 번에 다루는 분량을 100만 토큰으로 소개했습니다. 또 “마지막에 꼭 검증해줘” 같은 지시를 지우라고 권했습니다. Opus 5는 시키지 않아도 스스로 검증합니다. 그래서 그 지시를 지우면 낭비되는 토큰이 줄고 품질 손실은 없다고 적었습니다.

헷갈리기 쉬운 것

API 토큰이나 봇 토큰처럼 인증에 쓰는 토큰과는 다른 말입니다. 인증 토큰은 비밀번호에 가까운 접속 키이고, 노출되면 바로 교체해야 합니다.