제1강: 챗봇 그 이상 - LLM의 해부학
제1강: LLM의 해부학 — AI는 어떻게 ‘생각’하는가?
우리가 매일 사용하는 ChatGPT나 Claude 같은 서비스의 이면에는 **거대 언어 모델(LLM, Large Language Model)**이라는 거대한 확률 기계가 있습니다. LLM은 ‘지능’이 아니라 다음 토큰(단어 조각)의 확률 분포를 학습한 통계 모델입니다.
| 시대 | 기술 | 핵심 아이디어 | 한계 |
|---|---|---|---|
| 1950~1980s | 규칙 기반 AI (Expert System) | 인간이 모든 규칙을 명시적으로 코딩 | 복잡한 현실 세계 규칙 수작업 불가능 |
| 1990~2010s | 통계적 기계학습 (ML) | 데이터에서 패턴을 자동 학습 | 특징(Feature) 엔지니어링이 필요 |
| 2010s~현재 | 딥러닝 (Deep Learning) | 층층이 쌓인 신경망으로 자동 특징 추출 | 대량 데이터·연산 필요 |
| 2017~현재 | 트랜스포머 기반 LLM | Attention으로 문맥 전체를 동시 처리 | 환각(Hallucination), 윤리적 편향 |
1. 다음 토큰 예측 (Next Token Prediction)
LLM의 작동 원리는 놀라울 정도로 단순합니다.
“주어진 문맥 다음에 올 가장 확률 높은 토큰을 찾는 것”
예를 들어, “바다로 놀러…”라는 문장에서 AI는 다음 토큰 후보들에 확률을 부여합니다.
| 후보 토큰 | 확률 (softmax 출력) | 누적 확률 |
|---|---|---|
| '가자' | 32.5% | 32.5% |
| '가고' | 21.3% | 53.8% |
| '갔다' | 15.8% | 69.6% |
| '가서' | 11.2% | 80.8% |
| [기타 수천 개] | 19.2% | 100% |
AI는 이 과정을 수십억 개의 파라미터를 통해 매우 정교하게 수행합니다. 결과로 자연스러운 인간의 말처럼 느껴지는 텍스트가 생성됩니다.
2. 트랜스포머 아키텍처의 핵심: Attention
2017년 구글이 발표한 논문 *“Attention is All You Need”*가 현대 LLM의 기초입니다. 핵심은 셀프 어텐션(Self-Attention) 메커니즘입니다.
| 문장 | '은행'이 주목해야 할 단어 | 의미 결정 |
|---|---|---|
| '나는 강 은행에 갔다' | 강 (높은 어텐션), 갔다 | 강가/제방 의미 |
| '나는 은행에 돈을 맡겼다' | 돈 (높은 어텐션), 맡겼다 | 금융기관 의미 |
LLM은 수십억 개의 텍스트에서 통계적 패턴을 학습한 결과입니다. ‘이해’하는 것처럼 보이지만, 실제로는 학습 데이터의 패턴을 고차원적으로 압축·재생성합니다. 학습 데이터에 없는 완전히 새로운 개념은 신뢰도가 낮고, 잘못된 정보를 자신감 있게 제시하는 환각(Hallucination) 현상이 발생하는 원인입니다.
3. 프롬프트 공학의 중요성
AI는 문맥(Context)에 매우 의존적입니다. 입력한 프롬프트가 AI의 확률 지도를 결정합니다.
AI에게 페르소나를 부여합니다. '당신은 10년 경력의 세무사입니다.'처럼 역할을 명확히 하면 응답 품질이 높아집니다.
배경 정보, 대상 독자, 목적을 함께 제시합니다. 정보가 많을수록 AI의 선택지가 좁아져 정확해집니다.
표, 리스트, 코드 블록 등 원하는 형식을 명시합니다. '마크다운 표로 정리해줘'처럼 구체적으로 요청합니다.
원하는 출력의 예시를 1~3개 제공합니다. AI는 패턴을 학습했으므로 예시를 모방하는 능력이 뛰어납니다.
| 품질 | 프롬프트 예시 | 결과 특징 |
|---|---|---|
| 나쁜 프롬프트 | 세금 알려줘 | 너무 광범위 → 일반적이고 모호한 응답 |
| 중간 프롬프트 | 종합소득세 신고 방법을 알려줘 | 적당히 유용하지만 내 상황에 맞춤화 안됨 |
| 좋은 프롬프트 | 나는 연 소득 5,000만원의 프리랜서 디자이너입니다. 2024년 5월 종합소득세 신고 시 챙겨야 할 공제 항목과 절차를 단계별로 표로 정리해주세요. | 맞춤화·구조화된 고품질 응답 |
평소 AI에게 던지던 질문 중 결과가 좋지 않았던 것을 골라보세요. 그 질문에 [역할], [배경], **[출력 형식]**을 추가하여 다시 질문해보세요. AI의 응답이 어떻게 달라지나요?