LLM이란
대규모 언어 모델
LLM은 Large Language Model의 약자입니다. 한국어로 "대규모 언어 모델"이라고 합니다.
이름을 하나씩 뜯어보겠습니다.
- Large (대규모): 수십억 ~ 수천억 개의 파라미터를 가진 거대한 모델
- Language (언어): 인간의 언어를 다루는
- Model (모델): 수학적 함수의 집합
쉽게 말해, LLM은 엄청나게 많은 텍스트를 학습하여 인간의 언어를 이해하고 생성할 수 있는 AI입니다.
어떻게 동작할까?
LLM의 핵심 원리는 의외로 단순합니다.
"다음에 올 단어를 예측한다"
예를 들어, "오늘 날씨가"라는 문장이 주어지면 LLM은 다음에 올 수 있는 단어들의 확률을 계산합니다.
오늘 날씨가 [?]
좋다 - 35%
나쁘다 - 15%
덥다 - 12%
춥다 - 10%
맑다 - 8%
...
가장 확률이 높은 단어(또는 확률에 따라 랜덤하게 선택된 단어)가 출력됩니다. 이 과정을 반복하면 문장이 만들어집니다.
오늘 날씨가 좋다 → 좋다 [?]
좋다 고 → 고 [?]
고 생각 → 생각 [?]
...
이것이 전부입니다. ChatGPT도 결국 "다음 단어 예측"을 아주 잘 하는 모델입니다.
왜 그렇게 똑똑해 보일까?
단순히 다음 단어를 예측하는데 어떻게 그렇게 똑똑한 답변을 할 수 있을까요?
비밀은 학습 데이터의 양과 모델의 크기에 있습니다.
GPT-4는 인터넷에 있는 수십억 개의 웹페이지, 책, 논문, 코드를 학습했습니다. 그 과정에서 다음과 같은 패턴들을 자연스럽게 익혔습니다.
- 문법과 문맥
- 논리적 추론
- 세상에 대한 지식
- 코드 작성 방법
- 수학 문제 풀이 방법
어떤 질문이 들어오면, 학습했던 수많은 텍스트 중에서 비슷한 패턴을 찾아 그럴듯한 답변을 생성하는 것입니다.
학습 과정
LLM의 학습은 크게 두 단계로 나뉩니다.
1단계: 사전 학습 (Pre-training)
인터넷의 방대한 텍스트로 "다음 단어 예측" 능력을 훈련합니다.
입력: "파이썬은 1991년에 만들어진"
정답: "프로그래밍"
입력: "파이썬은 1991년에 만들어진 프로그래밍"
정답: "언어입니다"
이 과정에서 언어의 구조와 세상의 지식을 배웁니다.
2단계: 미세 조정 (Fine-tuning)
사전 학습된 모델을 특정 목적에 맞게 추가 학습합니다. ChatGPT의 경우 "도움이 되는 어시스턴트"가 되도록 미세 조정되었습니다.
RLHF(Reinforcement Learning from Human Feedback)라는 기법을 사용하여, 인간이 좋아하는 답변 스타일을 학습시킵니다.
한계점
LLM은 마법이 아닙니다. 몇 가지 중요한 한계가 있습니다.
1. 할루시네이션 (Hallucination)
LLM은 가끔 그럴듯하지만 완전히 틀린 정보를 만들어냅니다. 존재하지 않는 논문을 인용하거나, 없는 사실을 지어내기도 합니다.
질문: 한국 최초의 노벨 물리학상 수상자는?
LLM: 김영희 박사가 2019년에 수상했습니다. # 완전히 허구
2. 지식 기한 (Knowledge Cutoff)
학습 데이터에 포함되지 않은 최신 정보는 알 수 없습니다. GPT-4o의 경우 2024년 4월 이후의 정보는 정확하지 않을 수 있습니다.
3. 논리적 추론의 한계
복잡한 수학 문제나 다단계 논리 추론에서는 실수할 수 있습니다.
4. 컨텍스트 제한
한 번에 처리할 수 있는 텍스트 양에 제한이 있습니다. 이를 "컨텍스트 윈도우"라고 합니다.
LangChain과의 연결
LangChain은 이런 LLM의 한계를 극복하기 위해 만들어졌습니다.
- 할루시네이션 → RAG로 신뢰할 수 있는 데이터 기반 답변
- 지식 기한 → 실시간 정보 검색 연동
- 추론 한계 → 여러 LLM 호출을 연결하여 복잡한 작업 수행
- 컨텍스트 제한 → 메모리 관리, 요약 기능
다음 장에서는 LLM을 사용할 때 알아야 할 핵심 용어들을 배워보겠습니다.