생성형 AI와
LLM 기초 개념
AI의 발전 역사부터 LLM의 핵심 원리까지, 기초부터 탄탄하게 시작합니다.
AI 기술 계층 구조
LLM은 AI 기술의 어디에 위치할까요?
- AI — 인간의 지능을 모방하는 모든 기술의 총칭
- Machine Learning — 데이터로부터 패턴을 학습하는 AI의 하위 분야
- Deep Learning — 인공신경망을 사용한 기계학습 방식
- Generative AI — 새로운 콘텐츠(텍스트, 이미지 등)를 생성하는 AI
- LLM — 텍스트에 특화된 대규모 생성형 AI 모델
LLM이란 무엇인가?
Large Language Model의 정의와 구성 요소
Large Language Model = 대규모 언어 모델
Large (대규모)
수십억에서 수조 개의 파라미터를 가진 모델.
GPT-4는 약 1.7조 개, Claude 3는 수천억 개의 파라미터 보유.
Language (언어)
자연어(인간의 언어)를 이해하고 생성.
최근에는 이미지, 오디오까지 처리하는 멀티모달로 확장.
Model (모델)
데이터에서 패턴을 학습한 수학적 함수.
입력을 받아 출력을 생성하는 거대한 예측 기계.
LLM은 방대한 텍스트 데이터로 학습되어 언어를 이해하고 생성할 수 있는 딥러닝 기반 AI 시스템입니다.
— IBM, AWS, Microsoft 공식 문서 정의 종합
LLM은 어떻게 작동하는가?
핵심은 "다음 단어 예측"입니다
LLM은 본질적으로 "다음에 올 가능성이 가장 높은 단어를 예측"하는 거대한 통계적 예측 기계입니다.
작동 과정 4단계
토큰화
텍스트를 작은 조각(토큰)으로 분리
임베딩
토큰을 숫자 벡터로 변환
Transformer
문맥 파악 및 패턴 분석
확률 계산
다음 토큰 확률 산출 및 선택
LLM은 "이해"하거나 "생각"하는 것이 아닙니다. 학습 데이터의 통계적 패턴을 기반으로 가장 그럴듯한 다음 단어를 예측할 뿐입니다. 이것이 환각(Hallucination)이 발생하는 근본 원인입니다.
생성형 AI vs 기존 AI
무엇이 다를까요?
- 입력을 분류하거나 예측
- 출력: 라벨, 숫자, 카테고리
- 예: 스팸 필터, 추천 시스템
- 예: 이미지 분류, 감정 분석
- "이것은 고양이인가 개인가?"
- 새로운 콘텐츠를 생성
- 출력: 텍스트, 이미지, 코드, 음악
- 예: ChatGPT, Claude, Gemini
- 예: DALL-E, Midjourney, Suno
- "고양이 그림을 그려줘"
- LLM — 텍스트 생성 (GPT, Claude, Gemini)
- Image Models — 이미지 생성 (DALL-E, Midjourney, Stable Diffusion)
- Video Models — 영상 생성 (Sora, Runway)
- Audio Models — 음성/음악 생성 (Suno, ElevenLabs)
- Multimodal — 여러 유형을 동시에 처리 (GPT-4o, Gemini 2.0)
AI에서 LLM까지의 여정
70년 역사의 주요 이정표
2017년 Transformer의 등장이 현대 LLM을 가능하게 만든 가장 중요한 기술적 혁신입니다. 이전의 RNN, LSTM과 달리 병렬 처리가 가능해져 대규모 학습이 현실화되었습니다.
핵심 요약
- LLM은 대규모 텍스트 데이터로 학습된 "다음 단어 예측" 모델이다
- 생성형 AI는 새로운 콘텐츠를 만들어내는 AI의 한 분야이다
- LLM의 핵심 작동 원리: 토큰화 → 임베딩 → Transformer → 확률 계산
- 2017년 Transformer 아키텍처가 현대 LLM의 기반이 되었다
- LLM은 "이해"가 아닌 통계적 패턴 매칭으로 동작한다