LLM대규모 언어 모델 · Large Language Model
대량의 텍스트에서 다음 토큰을 맞히도록 사전 학습한 수십억 개 이상 매개변수의 트랜스포머 언어 모델로, 입력 문맥을 받아 이어질 토큰을 하나씩 생성한다.
1요약
- LLM 은 트랜스포머(Vaswani 외 2017)의 디코더 블록을 13억 ~ 1,750억 개 매개변수 규모(Ouyang 외 2022 · Brown 외 2020)로 키워 웹 · 책 · 코드 말뭉치에서 다음 토큰 예측으로 학습한 모델이고, 그 위에서 지시 미세 조정 · RLHF · RAG · 에이전트가 돈다.
- 과제마다 레이블 데이터로 모델을 따로 학습하던 방식은 데이터가 적은 과제를 풀지 못했는데, 1,750억 매개변수 모델은 입력에 예시 몇 개만 넣어 과제를 풀었고(Brown 외 2020) 손실은 모델 크기 · 데이터 · 계산량의 거듭제곱 법칙을 따랐다(Kaplan 외 2020).
- 「답이 틀린다」는 어느 단계에서 생겼는가로 가른다 — 같은 질문에 답이 매번 바뀌면 디코딩, 긴 입력의 가운데 정보를 놓치면 문맥 창, 입력에 없는 사실을 지어내면 사전 학습 지식(환각), 형식 · 지시를 어기면 미세 조정 · 정렬이다.
2등장 배경
2010년대 중반까지 번역 · 요약 · 분류는 과제마다 레이블 데이터로 모델을 따로 학습했다. 당시 주류인 순환 신경망은 토큰을 앞에서부터 차례로 계산해야 해 긴 문장일수록 학습을 병렬로 나누기 어려웠다(Vaswani 외 2017 1절).
2017년 Vaswani 외 8명은 순환을 빼고 어텐션만으로 문장을 처리하는 트랜스포머를 내어, WMT 2014 영어→독일어 번역에서 GPU 8장 3.5일 학습으로 BLEU 28.4 를 얻었다. 2020년 Kaplan 외는 손실이 모델 크기 · 데이터 · 계산량의 거듭제곱 법칙을 따름을 보였고, 같은 해 Brown 외의 1,750억 매개변수 모델(GPT-3)은 미세 조정 없이 예시 몇 개로 과제를 풀었다. 2022년 Hoffmann 외는 700억 매개변수 모델을 1.4조 토큰으로 학습해 2,800억 매개변수 모델을 넘어서며, 모델 크기와 토큰 수를 같은 비율로 늘려야 한다고 고쳐 잡았다.
같은 해 Ouyang 외는 사람이 쓴 답 예시와 선호 순위로 다시 학습(RLHF)한 13억 매개변수 모델의 답이 1,750억 모델보다 더 선호됨을 보였다. 지금 LLM 은 생성형 AI 의 바탕 모델이고, 학습 뒤 생긴 사실과 출처는 RAG 가, 도구 실행은 에이전트가 덧붙인다.
3쉽게 이해하기 — 도서관에서 수련한 대필 작가
대필 작가 한 명이 도서관 서고의 책을 몇 해 동안 읽으며, 문장 끝을 가리고 다음 낱말을 맞히는 연습만 했다. 편집장이 원고를 고쳐 주고 두 원고 가운데 나은 쪽에 점수를 매기자, 작가는 의뢰서의 지시대로 쓰는 법을 익혔다. 의뢰인이 의뢰서를 책상에 올리면 작가는 낱말 카드를 한 장씩 골라 이어 붙여 답장을 쓴다. 다만 책상 크기는 정해져 있고, 기억이 흐린 대목은 그럴듯한 말로 메운다.
그림 1 · 작가는 서고에서 읽은 것과 편집장의 교정을 기억에 담아 두고, 책상 위 의뢰서를 보며 낱말 카드를 한 장씩 내놓는다.
그림 2 · 책상에 올라간 종이만 보이고, 그 가운데서도 맨 앞과 맨 끝을 잘 보며 가운데 쪽을 놓치기 쉽다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 서고의 책 | 사전 학습 말뭉치 | 웹 · 책 · 코드 텍스트를 토큰으로 바꿔 학습 데이터로 쓴다 |
| 다음 낱말 맞히기 연습 | 사전 학습(다음 토큰 예측) | 앞 토큰만 보고 다음 토큰의 확률을 맞히도록 가중치를 고친다 |
| 작가의 기억 | 매개변수(가중치) | 학습한 언어 규칙과 지식을 수십억 개 숫자로 담는다 |
| 편집장의 교정 · 점수 | 미세 조정 · RLHF | 지시 · 답 예시와 사람의 선호 순위로 답의 형식과 태도를 맞춘다 |
| 책상 위 종이 | 문맥 창 | 한 번에 볼 수 있는 입력 + 생성 토큰 수의 상한이다 |
| 낱말 카드 고르기 | 토큰 · 디코딩 | 확률 분포에서 다음 토큰 하나를 골라 입력 끝에 붙인다 |
| 흐린 기억을 메움 | 환각 | 입력 · 사실로 뒷받침되지 않는 내용을 자연스러운 문장으로 만든다 |
⚠ 비유가 맞지 않는 곳: 실제 모델은 읽은 책을 따로 보관하지 않아 「어느 책에서 읽었는지」 찾아볼 수 없고(출처 제시는 RAG 가 맡는다), 낱말 카드는 낱말이 아니라 낱말보다 작은 하위 단어 조각(토큰)이다.
4구조 — 학습 단계와 추론 단계의 하위 토픽 지도
LLM 의 하위 토픽은 가중치를 만드는 학습 단계(토큰화 · 사전 학습 · 미세 조정 · RLHF)와, 가중치를 그대로 둔 채 요청마다 도는 추론 단계(토큰화 · 트랜스포머 계산 · 디코딩 · RAG)로 나뉜다. 토큰화기는 두 단계에서 같은 어휘 표를 써야 하며, 다르면 같은 문자열이 다른 토큰 ID 열이 된다.
그림 3 · 학습 단계가 만든 가중치를 추론 단계는 고치지 않고 쓰며, 요청마다 바뀌는 것은 문맥과 디코딩 설정뿐이다.
| 하위 이름 | 푸는 문제 | 입력 → 출력 | 핵심 값 | 근거 |
|---|---|---|---|---|
| 토큰화 | 희귀어 · 새 낱말까지 열린 어휘로 처리 | 문자열 → 토큰 ID 열 | 하위 단어 단위(BPE) | Sennrich 외 2016 |
| 트랜스포머 | 순환 없이 먼 토큰 사이 관계를 병렬로 계산 | 토큰 벡터 → 문맥 벡터 | 원 논문 기본형 블록 6개 · d_ | Vaswani 외 2017 3.1 · 3.2.2절 |
| 사전 학습 | 레이블 없이 언어 규칙 · 지식 습득 | 말뭉치 → 기반 모델 | 다음 토큰 교차 엔트로피 손실 | Kaplan 외 2020 |
| 미세 조정 | 과제 · 답 형식에 맞춤 | 기반 모델 + 예시 → 과제 모델 | LoRA = 학습 매개변수 1만 분의 1 | Hu 외 2021 |
| RLHF | 사람의 의도 · 선호에 맞춤(정렬) | 선호 순위 → 보상 모델 → 정책 | 13억 모델 답이 1,750억보다 선호 | Ouyang 외 2022 |
| 디코딩 | 확률 분포를 글로 바꿈 | 확률 → 토큰 하나 | greedy · 샘플링 · top-p | Holtzman 외 2020 |
| RAG | 학습 뒤 생긴 사실 · 출처 붙이기 | 질문 + 검색 문서 → 답 | 검색기 + 생성기 | Lewis 외 2020 |
🔑 학습 단계는 가중치를 바꾸고 추론 단계는 문맥만 바꾼다 — 그래서 프롬프트 · RAG 로는 모델이 잘못 배운 형식을 고치지 못하고, 미세 조정으로는 어제 생긴 사실에 출처를 붙이지 못한다.
5동작 — 질문 하나가 답 토큰이 되는 과정
사내 질의응답 화면이 「TCP 연결을 여는 첫 세그먼트의 제어 비트는?」을 LLM 에 보내는 사례다. 토큰 수 · 벡터 차원 · 확률은 설명용 가정 값이고, 생성 설정 이름은 Hugging Face Transformers generate() 인자다.
- 화면이 시스템 지시와 질문을 미세 조정 때 쓴 대화 틀에 맞춰 문자열 하나로 잇는다.
- 토큰화기가 문자열을 어휘 표 번호인 토큰 ID 42개로 바꾼다(하위 단어 분할 · Sennrich 외 2016).
- 토큰마다 4,096차원 벡터를 만들고 위치 정보를 더해 디코더 블록을 차례로 지나며, 셀프 어텐션은 마스크로 자기보다 앞 토큰만 본다(Vaswani 외 2017 3.2.3절).
- 마지막 위치의 벡터를 어휘 전체의 점수(로짓)로 바꾸고 softmax 로 확률을 낸다 — SYN 0.69 · ACK 0.17 · RST 0.09 · FIN 0.05.
do_sample=True·temperature=1.0·top_p=0.9이므로 누적 확률 0.9 에 이르는 가장 작은 후보 집합 SYN · ACK · RST 안에서 하나를 뽑고(Holtzman 외 2020), 이번에는 SYN 이 나온다.- 뽑은 토큰을 43번째 입력으로 붙여 3 ~ 5를 되풀이하며, 앞 42개 토큰의 키 · 값 계산은 KV 캐시에서 다시 쓴다.
- 종료 토큰이 나오거나
max_new_tokens=256에 닿으면 멈추고, 토큰 ID 를 글자로 되돌려 화면에 보낸다.
그림 4 · 질문 문자열은 토큰 ID → 벡터 → 확률 → 토큰 하나로 바뀌고, 그 토큰을 붙여 ③ ~ ⑤를 되풀이한다.
5단계의 결과는 같은 확률을 어떻게 고르는가에 달려 있다. temperature T 는 로짓을 T 로 나눠 분포를 뾰족하게(T < 1) 또는 평평하게(T > 1) 만들고, top-p 는 누적 확률 p 밖의 꼬리 후보를 버린다(Holtzman 외 2020).
그림 5 · 같은 로짓에서 T 를 0.5 → 1.0 → 1.5 로 올리면 top-p 0.9 안에 남는 오답이 늘어, 틀린 토큰을 고를 확률이 0% → 27% → 39% 가 된다.
🔑 모델이 내놓는 것은 답이 아니라 다음 토큰의 확률 분포이고, 무엇을 고를지는 디코딩 설정이 정한다 — 같은 모델 · 같은 질문이라도 T 를 1.5 로 올리면 틀린 토큰을 고를 확률이 39% 가 된다.
⚠ Transformers 의 기본 디코딩은 greedy(가장 높은 확률 토큰)이고 설정이 없으면 새 토큰을 20개까지만 만든다(HF 생성 전략) — 사례의 샘플링 · 256 은 직접 준 값이다.
6비교 — 과제에 맞추는 네 가지 방법
| 기준 | 프롬프트(예시 넣기) | 전체 미세 조정 | LoRA | RAG |
|---|---|---|---|---|
| 바뀌는 것 | 입력 문맥만 | 모든 가중치 | 덧붙인 저랭크 행렬만 | 입력 문맥(검색 문서) |
| 학습 비용 | 없음 | 모델 전체를 다시 학습 | 학습 매개변수 1만 분의 1 · GPU 메모리 3분의 1(Hu 외 2021) | 검색 색인 구축 |
| 학습 뒤 생긴 사실 | 문맥에 넣은 만큼 | 다시 학습해야 반영 | 다시 학습해야 반영 | 색인만 갱신 |
| 출처 제시 | 어려움 | 어려움 | 어려움 | 검색 문서로 가능 |
| 문맥 창 소모 | 예시 토큰만큼 | 없음 | 없음 | 검색 문서 토큰만큼 |
분석답의 형식 · 태도가 틀리면 미세 조정(먼저 LoRA)을, 사실이 틀리거나 출처가 필요하면 RAG 를, 둘 다 아니면 프롬프트부터 고친다. 근거는 표의 「바뀌는 것」 · 「학습 뒤 생긴 사실」 행 — 가중치를 바꾸는 방법만 형식을 모델 안에 남기고, 문맥을 바꾸는 방법만 재학습 없이 사실을 갈아 넣는다.
7실무 진단 — 틀린 답이 생긴 단계 가르기
분석설정만 바꿔 바로 확인할 수 있는 디코딩 · 문맥 창부터 보고, 재학습이 드는 미세 조정 · 사전 학습 원인은 마지막에 판단한다. greedy 로 바꿨을 때 답이 고정되면 원인은 확률을 고르는 단계이지 모델 지식이 아니다(HF 생성 전략 · 표 1행).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 같은 질문에 답이 매번 다름 | 샘플링 | 디코딩 | do_sample · temperature · top_p 값 | do_sample=False 로 세 번 같은 답이면 디코딩 원인(HF 생성 전략) |
| 2 | 답이 문장 중간에서 끊김 | 생성 상한 | 디코딩 | 출력 토큰 수 · max_new_tokens | 출력 수 = 상한이면 길이 제한 · 설정이 없으면 20개(HF 생성 전략) |
| 3 | 긴 문서 가운데 문단의 사실을 놓침 | 정보 위치 | 문맥 창 | 입력 토큰 수 · 정답 문단 위치 | 같은 문단을 처음 · 끝으로 옮겨 맞히면 위치 문제(Liu 외 2023) |
| 4 | 입력과 어긋나는 내용을 씀 | 내재적 환각 | 사전 학습 · 디코딩 | 답 문장 ↔ 입력 원문 대조 | 원문과 모순 = 내재적(Ji 외 2022 2.1절) |
| 5 | 입력에 없는 수치 · 인용을 지어냄 | 외재적 환각 | 사전 학습 지식 | 답 문장 ↔ 원문 · 외부 자료 대조 | 원문으로 지지도 반박도 못 하면 외재적(Ji 외 2022 2.1절) → RAG 검토 |
| 6 | 같은 구절을 되풀이 | greedy · 빔 탐색 반복 | 디코딩 | 생성 설정 · 반복 구간 | top-p 샘플링으로 바꿔 사라지면 디코딩 원인(Holtzman 외 2020) |
1 · 2 · 6행은 설정 하나만 바꿔 바로 끝나고, 3행은 입력 배치를 바꿔 다시 넣어 본다. 4 · 5행까지 오면 같은 질문을 근거 문서와 함께 다시 넣어 사라지는지 보고, 사라지지 않을 때 미세 조정 데이터를 살핀다.
8시험 대비
www.q-net.or.kr시험에서는 LLM 의 정의와 학습 단계를 묻는 정의 · 특징형과, 스케일링 법칙 · 정렬 · RAG 로 이어진 흐름과 한계를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 학습 · 추론 두 단계 지도로 뼈대를 세우고, 동향형이면 연도순 발전 뒤에 한계(환각 · 문맥 창)와 보완 기술을 짝지어 쓴다.
- 개요 — 정의(트랜스포머 디코더 · 다음 토큰 예측) · 연도(2017 트랜스포머 · 2020 1,750억 모델 · 2022 RLHF)
- 구성 — 그림 3 학습 · 추론 단계 지도 + 하위 토픽 표(토큰화 · 사전 학습 · 미세 조정 · RLHF · 디코딩)
- 동작 — 그림 4 토큰 생성 반복(토큰화 → 셀프 어텐션 → 확률 → 선택 → 붙이기 · KV 캐시)
- 핵심 원리 — 그림 5 temperature · top-p 와 틀린 토큰 확률(0% · 27% · 39%)
- 발전 — 스케일링 법칙(Kaplan 2020) → 계산 최적(700억 · 1.4조 토큰 · Hoffmann 2022) → RLHF(13억 > 1,750억 선호) · LoRA
- 한계와 대응 — 환각(내재적 · 외재적) · 문맥 가운데 손실 · 대응 = RAG · 디코딩 설정 · 정렬
꼭 쓸 키워드
트랜스포머셀프 어텐션토큰사전 학습스케일링 법칙미세 조정RLHF디코딩환각문맥 창
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 같은 확률 분포에서 T 만 바꿔 오답 확률이 달라지는 것을 수치로 보이면, 환각이 모델 지식과 디코딩 설정 두 곳에서 생긴다는 것이 한 장으로 드러난다.
9오해와 사실
- 오해LLM 은 학습한 문서를 저장해 두었다가 찾아서 답한다.사실사전 학습은 다음 토큰 예측 손실로 가중치를 고칠 뿐 문서를 색인하지 않으며(Kaplan 외 2020), 검색한 문서를 답에 붙이는 구조는 따로 만든 RAG 다(Lewis 외 2020).
- 오해매개변수가 많은 모델이 언제나 더 낫다.사실같은 계산량에서 700억 매개변수 모델을 1.4조 토큰으로 학습하자 2,800억 모델보다 성능이 높았고(Hoffmann 외 2022), RLHF 를 거친 13억 모델의 답이 1,750억 모델보다 선호됐다(Ouyang 외 2022).
- 오해temperature 를 0 에 가깝게 낮추면 환각이 사라진다.사실temperature 는 고르는 방식만 바꾸고 분포 자체는 그대로라 가장 높은 확률의 토큰이 틀린 사실이면 greedy 도 그 토큰을 고르며, greedy 는 오히려 같은 구절 반복을 낳는다(Holtzman 외 2020).
10핵심 정리
| 하위 | 실행 시점 | 바뀌는 것 | 쓰는 데이터 | 확인 지표 |
|---|---|---|---|---|
| 토큰화 | 학습 · 추론 모두 | 없음(어휘 표 고정) | 문자열 | 입력 토큰 수 |
| 트랜스포머 | 학습 · 추론 모두 | 학습 때만 가중치 | 토큰 벡터 | 블록 수 · d_ |
| 사전 학습 | 한 번 · 계산량 최대 | 모든 가중치 | 레이블 없는 말뭉치 | 검증 손실(교차 엔트로피) |
| 미세 조정 | 과제마다 | 전체 또는 LoRA 행렬 | 지시 · 답 예시 | 과제 정확도 · 형식 준수 |
| RLHF | 미세 조정 뒤 | 정책 가중치 | 사람 선호 순위 | 사람 선호 비율 |
| 디코딩 | 요청마다 | 없음(설정만) | 확률 분포 | temperature · top_ |
| RAG | 요청마다 | 없음(문맥만) | 검색 문서 | 답 ↔ 근거 문서 일치 |
| 환각 | 추론 결과 | — | — | 원문 대조(내재적 · 외재적) |
11참고 문헌
- 먼저 볼 문헌
- ★ Attention Is All You Need (Vaswani et al.) — 트랜스포머 블록 · 셀프 어텐션 · 마스크의 원래 정의를 볼 때
- ★ Scaling Laws for Neural Language Models (Kaplan et al.) — 손실이 모델 크기 · 데이터 · 계산량에 따라 줄어드는 법칙을 볼 때
- ★ Training Compute-Optimal Large Language Models (Hoffmann et al.) — 같은 계산량에서 모델 크기와 토큰 수를 나누는 기준을 볼 때
- ★ Training language models to follow instructions with human feedback (Ouyang et al.) — 지시 미세 조정과 RLHF 의 세 단계를 볼 때
- ★ Survey of Hallucination in Natural Language Generation (Ji et al.) — 환각의 정의와 내재적 · 외재적 구분을 볼 때
- 본문 근거
- Language Models are Few-Shot Learners (Brown et al.) — arXiv · 2020-05 ·
arxiv.org/abs/2005.14165· 확인 2026-11-03 - LoRA: Low-Rank Adaptation of Large Language Models (Hu et al.) — arXiv · 2021-06 ·
arxiv.org/abs/2106.09685· 확인 2026-11-03 - Neural Machine Translation of Rare Words with Subword Units (Sennrich et al.) — arXiv · ACL 2016 · 2015-08 ·
arxiv.org/abs/1508.07909· 확인 2026-11-03 - The Curious Case of Neural Text Degeneration (Holtzman et al.) — arXiv · ICLR 2020 · 2019-04 ·
arxiv.org/abs/1904.09751· 확인 2026-11-03 - Lost in the Middle: How Language Models Use Long Contexts (Liu et al.) — arXiv · 2023-07 ·
arxiv.org/abs/2307.03172· 확인 2026-11-03 - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (Lewis et al.) — arXiv · NeurIPS 2020 · 2020-05 ·
arxiv.org/abs/2005.11401· 확인 2026-11-03 - Transformers documentation - Generation strategies — Hugging Face · 2026-11 ·
huggingface.co/docs/transformers/main/en/generation_strategies· 확인 2026-11-03