Large language model

실무에서 뜻하는 것

대화형 AI 서비스 대부분이 LLM 위에서 돕니다. LLM은 입력된 토큰을 읽고 다음에 올 내용을 예측하며 글을 씁니다. 7B, 70B 같은 숫자는 파라미터 수입니다. 큰 모델은 모호한 질문을 구조화하는 데 강하고, 작은 모델은 빠르고 저렴합니다. LLM은 글만 만듭니다. 도구와 실행 권한을 붙이면 AI 에이전트가 됩니다. 모르는 내용도 그럴듯하게 지어낼 수 있으므로 할루시네이션 대책이 함께 필요합니다.

리텐션에서 쓴 예

작은 LLM 모델로 85% 정확도를 달성한 Discovery Chat(Text-to-SQL) 구축기에서 모델 크기를 직접 골랐습니다. Discovery Chat v3.1은 7–8B급 역할의 소형 상용 모델을 쓰고, 실사용 컨텍스트는 8k–16k입니다. 큰 모델의 추론 능력은 모호성 해소 단계와 상태 머신 같은 시스템 설계로 대신했습니다. 글은 이 접근을 “모델이 필요 없는 영역을 늘렸다”고 요약합니다.

헷갈리기 쉬운 것

sLLM은 파라미터 수를 줄인 작은 언어 모델을 부르는 말입니다. 원리는 LLM과 같고, 비용과 속도를 위해 규모를 줄인 모델입니다.