LLM의
구조적 한계
환각, 컨텍스트 제한, 지식 노후화 — LLM이 가진 근본적인 한계를 이해합니다.
LLM의 3가지 핵심 한계
왜 LLM을 맹신하면 안 되는가?
LLM은 놀라운 능력을 보여주지만, 구조적으로 피할 수 없는 한계가 있습니다. 이 한계들을 이해해야 LLM을 올바르게 활용하고, 적절한 해결책을 적용할 수 있습니다.
환각 (Hallucination)
"LLM은 진실이 아닌 언어를 생성한다"
"환각은 LLM이 범용 문제 해결자로 사용될 경우 불가피하게 발생한다. 어떤 계산 가능한 LLM도 개방형 쿼리에 대해 보편적으로 정확할 수 없다."
— arXiv:2401.11817, "Hallucination is Inevitable" (2024)환각의 예시
환각이 발생하는 원인
📊 훈련 데이터 문제
웹에서 수집한 대규모 데이터에는 오래되거나 틀린 정보가 포함되어 있습니다. 모델은 이러한 데이터의 패턴을 그대로 학습합니다.
🎯 다음 단어 예측의 본질
LLM은 "진실"이 아닌 "그럴듯한 다음 단어"를 생성합니다. 문법적으로 완벽해도 사실과 다를 수 있습니다.
🌡️ 디코딩 랜덤성
Temperature가 높으면 다양성은 증가하지만 정확도는 감소합니다. 낮은 확률의 토큰이 선택되면서 환각이 발생할 수 있습니다.
🏆 자신감 과잉 학습
2025년 OpenAI 연구에 따르면, 현재 훈련 방식이 불확실할 때 인정하기보다 자신 있게 추측하도록 모델을 유도합니다.
환각은 버그가 아니라 LLM 작동 방식의 본질적 특성입니다. 완전히 제거할 수 없으며, 완화(mitigation)만 가능합니다.
컨텍스트 윈도우 제한
LLM의 "작업 기억" 한계
컨텍스트 윈도우는 LLM이 한 번에 처리할 수 있는 토큰의 최대 개수입니다. 이 범위를 넘어가면 이전 내용을 "잊어버리거나" 처리할 수 없게 됩니다.
주요 모델별 컨텍스트 윈도우 (2026년 기준)
| 모델 | 컨텍스트 윈도우 | 대략적 분량 |
|---|---|---|
| GPT-4 Turbo | 128K 토큰 | ~300 페이지 |
| Claude 3.5/4 | 200K 토큰 | ~500 페이지 |
| Gemini 2.0 | 1M+ 토큰 | ~2,500 페이지 |
| GPT-4 (기본) | 8K 토큰 | ~20 페이지 |
명목상 컨텍스트 윈도우가 크더라도, 실제로 모든 내용을 동등하게 활용하지 못합니다. 중간 부분의 정보는 잘 기억하지 못하는 "Lost in the Middle" 현상이 있습니다.
컨텍스트 초과 시 발생하는 문제
이전 내용 잘림
오래된 대화 내용이 버려져서 맥락을 잃어버립니다.
처리 거부
너무 긴 입력은 아예 처리하지 못하고 오류가 발생합니다.
비용 증가
긴 컨텍스트 = 더 많은 토큰 = 더 높은 API 비용.
지식 노후화 (Knowledge Staleness)
학습 시점에서 시간이 멈춘다
LLM은 학습이 완료된 시점(Knowledge Cutoff) 이후의 정보를 알지 못합니다. 빠르게 변하는 분야일수록 이 문제가 심각합니다.
LLM이 "모른다"고 말하지 않고 오래된 정보를 최신인 것처럼 말하는 경우가 더 위험합니다. 예: "2023년 현재 X 약물이 권장됩니다" (실제로는 2024년에 새로운 치료법이 나왔을 수 있음)
특히 문제가 되는 분야
치료법, 약물 정보
법령, 판례
시세, 규제
라이브러리, API
이 한계들을 어떻게 극복할까?
다음 강의에서 배울 해결책들
이러한 한계들을 완전히 제거할 수는 없지만, 크게 완화할 수 있는 방법들이 있습니다. 이 강의 시리즈에서 모두 다룰 예정입니다.
- 환각 → RAG로 사실 기반 검색, Chain-of-Thought로 추론 검증, 도구 사용
- 컨텍스트 제한 → 요약, 청킹(Chunking), 더 큰 컨텍스트 모델 사용
- 지식 노후화 → RAG로 최신 정보 검색, 웹 검색 도구 연동
핵심 요약
- 환각(Hallucination)은 LLM이 그럴듯하지만 틀린 정보를 생성하는 현상으로, 불가피하다
- 컨텍스트 윈도우는 LLM이 한 번에 처리할 수 있는 토큰 수의 한계이다
- 지식 노후화는 학습 시점 이후의 정보를 알지 못하는 문제이다
- 이러한 한계들은 RAG, 프롬프트 엔지니어링, 파인튜닝 등으로 완화할 수 있다
- LLM을 올바르게 활용하려면 한계를 인식하고 적절한 해결책을 적용해야 한다