Ch7. RAG·도구 사용·에이전트 기초 — 답변을 자료와 행동에 연결하기

프롬프트만으로 부족한 순간

프롬프트를 잘 써도 모델이 모르는 최신 정보나 회사 내부 문서를 정확히 답하기는 어렵습니다. 이때 필요한 것이 외부 자료 검색, 도구 호출, 작업 실행 같은 확장 방식입니다. RAG와 에이전트는 이런 흐름을 이해할 때 자주 나오는 용어입니다.

모델과 기능은 빠르게 바뀔 수 있습니다. 따라서 이 장에서는 특정 제품의 구현 방식보다 “모델이 자료를 참고하고 도구를 사용해 결과를 만든다”는 큰 그림을 중심으로 봅니다.

RAG란 무엇인가

RAG(Retrieval-Augmented Generation)는 답변을 만들기 전에 관련 문서나 데이터를 검색하고, 그 자료를 근거로 답변하게 하는 방식입니다. 모델이 모든 정보를 기억한다고 기대하기보다 필요한 자료를 찾아 붙여 주는 접근입니다.

구성 요소	역할
검색 대상	문서, FAQ, 매뉴얼, 데이터베이스
검색 단계	질문과 관련 있는 자료를 찾음
생성 단계	찾은 자료를 바탕으로 답변 작성
검토 단계	답변이 자료와 맞는지 확인

도구 사용이란 무엇인가

도구 사용은 모델이 계산기, 검색, 코드 실행, 데이터베이스 조회 같은 외부 기능을 호출하는 흐름을 말합니다. 예를 들어 “환율을 최신 기준으로 확인해 표로 정리해 줘” 같은 작업은 단순 문장 생성보다 외부 조회가 중요합니다.

작업을 하기 전에 필요한 도구를 먼저 판단해 줘.

목표: 고객 문의 목록에서 환불 요청만 뽑아 처리 우선순위를 정리하기

출력:
1. 필요한 입력 데이터
2. 사용할 수 있는 도구
3. 처리 순서
4. 사람이 확인해야 할 지점

에이전트의 기본 개념

에이전트는 목표를 받고 여러 단계를 계획하거나 도구를 호출하면서 작업을 진행하는 시스템을 뜻합니다. 간단히 말해 “한 번 답하고 끝나는 모델”보다 “계획, 실행, 확인을 반복하는 작업 흐름”에 가깝습니다.

개념	간단한 설명	주의점
RAG	자료를 검색해 답변에 반영	검색 품질이 낮으면 답변도 흔들림
도구 사용	외부 기능을 호출	권한과 입력 검증이 중요
에이전트	목표를 단계적으로 수행	중간 결과와 로그를 확인해야 함

입문자가 먼저 챙길 것

RAG나 에이전트를 쓰더라도 프롬프트의 역할은 사라지지 않습니다. 어떤 자료를 우선할지, 답변에 출처를 표시할지, 불확실할 때 어떻게 말할지, 사람이 확인해야 할 부분을 어떻게 표시할지 정해야 합니다.

핵심 요약

• RAG는 관련 자료를 검색한 뒤 그 자료를 근거로 답변하게 하는 방식이다.
• 도구 사용은 모델이 계산, 검색, 조회 같은 외부 기능을 활용하는 흐름이다.
• 에이전트는 목표를 단계적으로 수행하며 계획과 실행을 반복하는 시스템에 가깝다.
• 확장 기능을 써도 자료 품질, 권한, 검토 기준은 사람이 설계해야 한다.

다음 장에서는 지금까지 배운 내용을 실제 업무 워크플로로 묶고 평가와 반복 개선 방법을 정리합니다.