📚 커리큘럼
PART 3 · 강의 6/6

프롬프트의 한계

RAG와 파인튜닝이 필요한 경우, 의사결정 기준

01

프롬프트로 해결되지 않는 문제들

프롬프트 엔지니어링의 본질적 한계

프롬프트 엔지니어링은 강력한 도구이지만 만능이 아닙니다. 특정 문제들은 프롬프트만으로는 근본적으로 해결하기 어렵습니다.

🕐 최신 정보 한계

LLM의 지식은 학습 데이터 시점에 고정됩니다. 스포츠 점수, 주가, 뉴스처럼 실시간/최신 정보는 프롬프트로 제공할 수 없습니다.

📚 대량 전문 지식

회사 내부 문서, 도메인 특화 지식 등 LLM이 학습하지 않은 정보는 프롬프트 길이 제한으로 충분히 전달하기 어렵습니다.

🎯 완벽한 일관성

LLM은 본질적으로 확률적입니다. 동일한 프롬프트도 매번 약간 다른 결과를 생성할 수 있어, 완벽한 일관성이 필요한 경우 한계가 있습니다.

⚠️ 프롬프트 민감성

작은 표현 변화가 일관성 없는 출력을 생성합니다. 태스크가 맥락에 따라 "프롬프트 드리프트"를 보일 수 있습니다.

"프롬프트 엔지니어링이 최선의 선택이 아닌 경우: LLM이 학습하지 않은 대량의 특정 정보를 참조해야 하거나, 애플리케이션이 완벽하게 일관된 출력을 요구하는 경우."

- K2View
02

프롬프트 vs RAG vs 파인튜닝

의사결정 프레임워크

접근법 비교표

기준
프롬프트
RAG
파인튜닝
구현 시간
시간~일
일~주
주~월
비용
낮음
중간
높음
데이터 요구
거의 없음
문서 필요
대량 라벨링
유연성
높음
높음
낮음
최신 정보
제한적
실시간 가능
재학습 필요
출력 일관성
변동 있음
중간
높음

"TL;DR: 프롬프트 엔지니어링으로 시작하고 (시간/일), 실시간 데이터가 필요할 때 RAG로 확장하고 ($70-1000/월), 깊은 전문화가 필요할 때만 파인튜닝을 사용하세요 (월 + 6x 추론 비용)."

- Aakash Gupta Newsletter
03

RAG가 필요한 경우

검색 증강 생성(Retrieval-Augmented Generation)

🔍 RAG를 고려해야 하는 상황
  • 회사 내부 문서, 정책, 매뉴얼을 기반으로 답변해야 할 때
  • 최신 정보(뉴스, 가격, 재고 등)를 반영해야 할 때
  • 출처를 명시하고 검증 가능한 답변이 필요할 때
  • 대량의 문서에서 관련 정보를 찾아 활용해야 할 때
  • 지식이 자주 업데이트되는 도메인(법률, 의료, 금융 등)
  • 환각(Hallucination)을 최소화해야 하는 중요한 태스크
📌 RAG의 장점
  • 최신 정보 반영 — 모델 재학습 없이 문서만 업데이트
  • 출처 추적 — 답변의 근거를 명시할 수 있음
  • 환각 감소 — 실제 문서 기반 답변 생성
  • 기존 문서 활용 — 별도 라벨링 없이 문서 그대로 사용
04

파인튜닝이 필요한 경우

모델 자체를 특화시키는 방법

🎓 파인튜닝을 고려해야 하는 상황
  • 특정 도메인의 전문 용어와 스타일을 일관되게 사용해야 할 때
  • 매우 특화된 태스크에서 높은 정확도가 필요할 때
  • 응답 형식이 매우 구체적이고 일관되어야 할 때
  • 대량의 고품질 학습 데이터가 확보되어 있을 때
  • 추론 비용을 줄이기 위해 작은 특화 모델이 필요할 때
  • 프롬프트 엔지니어링으로 원하는 결과를 얻지 못할 때
⚠️ 파인튜닝 주의사항

• 치명적 망각 — 특화 학습 시 기존 일반 능력이 저하될 수 있음
• 모델 업데이트 대응 — 기반 모델이 업데이트되면 재학습 필요
• 높은 비용 — 학습 비용 + 약 6배의 추론 비용 증가
• 데이터 의존성 — 저품질 데이터는 저품질 모델로 이어짐

05

의사결정 흐름

어떤 접근법을 선택할 것인가

권장 의사결정 프로세스

1
프롬프트 엔지니어링으로 시작

가장 빠르고 저렴한 방법. 대부분의 경우 여기서 해결됨.

↓
2
한계 진단

문제가 지식 부족인가? 스타일/형식 문제인가? 일관성 문제인가?

↓
3
지식 문제 → RAG 도입

최신 정보, 특정 문서 기반 답변이 필요하면 RAG 추가.

↓
4
스타일/일관성 문제 → 파인튜닝 검토

충분한 데이터와 리소스가 있을 때만 파인튜닝 고려.

💡 결합 접근법

"세 가지 방법은 상호 배타적이지 않으며 종종 최적의 결과를 위해 결합됩니다. 예를 들어, RAG를 사용하여 정확한 정보를 제공하면서 파인튜닝을 활용하여 일관된 응답 형식을 유지할 수 있습니다."

- InterSystems

📌 핵심 원칙
  • 단순한 것부터 — 항상 프롬프트 엔지니어링으로 시작
  • 문제 진단 먼저 — 왜 현재 접근법이 작동하지 않는지 이해
  • 점진적 확장 — 필요에 따라 RAG, 파인튜닝 순으로 고려
  • 비용 대비 효과 — 항상 투자 대비 가치를 고려
SUMMARY

핵심 요약

  • 프롬프트 한계: 최신 정보, 대량 전문 지식, 완벽한 일관성 보장 어려움
  • 프롬프트 → RAG → 파인튜닝 순서로 접근 (점진적 확장)
  • RAG: 최신/특정 문서 기반, 출처 추적, 환각 감소에 효과적
  • 파인튜닝: 높은 일관성, 특화 스타일 필요 시 (비용/리소스 고려)
  • 결합 사용: 세 접근법은 상호 보완적, 필요에 따라 조합
📚 참고 자료
IBM - RAG vs Fine-tuning vs Prompt Engineering K2View - Decision Guide The Prompt Report (2024)