Retrieval-augmented generation

실무에서 뜻하는 것

LLM은 학습한 시점까지의 지식만 압니다. RAG는 질문이 들어오면 사내 문서, 블로그, 상품 정보 같은 자료를 먼저 검색합니다. 찾은 내용을 질문과 함께 모델에 넣고, 그 근거로 답을 쓰게 합니다. 모델을 다시 학습시키지 않아도 최신 자료로 답할 수 있습니다. 답의 품질은 검색 품질에 크게 좌우됩니다. 엉뚱한 문서를 찾으면 답도 엉뚱해집니다.

리텐션에서 쓴 예

30분 만에 끝내는 Conversational AI 웹사이트 개조에서 retn.kr 블로그에 대화형 검색 위젯을 붙였습니다. Google Vertex AI Search가 블로그 sitemap을 자동으로 인덱싱하고, Gemini가 그 글을 근거로 답합니다. 글은 기존 방식으로 4.5일 걸릴 일을 30분에 끝냈다고 기록합니다. 함정은 하나였습니다. 인덱싱에 최대 24시간이 걸려서, 설정 직후 테스트에서는 검색 결과가 나오지 않았습니다.

헷갈리기 쉬운 것

에이전트 메모리는 에이전트가 사용자와 일하며 쌓은 내용을 다음 세션에 꺼내 씁니다. RAG는 질문마다 외부 문서를 새로 찾습니다. 근거를 붙여도 할루시네이션은 줄어들 뿐 사라지지 않습니다.