디코딩Decoding
언어 모델이 낸 다음 토큰 확률 분포에서 실제로 내보낼 토큰을 고르는 규칙으로, 탐욕 · 빔 탐색 · 온도 · 상위 k · 상위 p 샘플링이 대표 방식이다.
1요약
- 디코딩은 LLM 이 매 단계 내는 어휘 전체의 확률 분포에서 내보낼 토큰 하나를 고르는 규칙으로, 탐욕(최댓값) · 빔 탐색(Sutskever 2014 3.2절) · 온도 · 상위 k(Fan 2018) · 상위 p(Holtzman 2020) 가운데 무엇을 쓰느냐에 따라 같은 모델 · 같은 프롬프트에서 다른 글이 나온다. 디지털 회로의 디코더나 통신의 복호(오류 정정 부호 풀기)와는 이름만 같은 다른 개념이다.
- 확률이 가장 높은 글을 찾는 방식이 늘 좋은 글을 주지는 않는다 — GPT-2 Large 로 글 5,000편을 이어 쓰게 하자 탐욕 디코딩은 73.66%가 같은 구절을 되풀이하며 끝났고 상위 p(p = 0.95)는 0.36%로 사람 글(0.28%)에 가까웠다(Holtzman 2020 표 1).
- 생성 결과의 이상은 최대화 쪽 실패인가, 표본 쪽 실패인가로 가른다 — 같은 구절이 반복되거나 답이 짧게 끊기면 탐욕 · 빔의 문제이고, 같은 입력에 답이 매번 바뀌거나 엉뚱한 낱말이 끼면 샘플링 설정(온도 · 절단)의 문제다.
2등장 배경
언어 모델은 다음 토큰의 확률만 낼 뿐 문장을 고르지 않는다. 번역처럼 정답이 거의 하나인 과제에서는 «확률 곱이 가장 큰 문장»을 찾으면 됐고, 2014년 Sutskever 등은 가설 B개만 남기는 빔 탐색으로 LSTM 5개 앙상블의 영어 → 프랑스어 BLEU 34.81 을 냈다 — 빔 2만으로 34.50 이 나와 이득 대부분을 얻었다(Sutskever 2014 표 1). 2016년 GNMT 는 빔이 짧은 문장을 고르는 쏠림을 길이 보정으로 막았다(Wu 2016 7절).
이야기 · 대화처럼 답이 열린 과제에서는 최대화가 오히려 흔한 구절과 반복을 낳았다. 2018년 Fan 등은 상위 10개 후보에서만 뽑는 상위 k 를 썼고(Fan 2018 5.4절), 2019년 Stahlberg 등은 번역 모델조차 문장의 51.8%에서 빈 번역에 최고 점수를 준다는 것을 정확한 탐색으로 보였다(Stahlberg 2019 표 1). 2020년 Holtzman 등은 누적 확률로 후보 수를 바꾸는 상위 p 를 냈다.
지금 이 문제가 남는 이유는 같은 모델을 요약 · 추출 · 대화 · 코드에 함께 쓰기 때문이다. 과제마다 알맞은 규칙이 달라, 오픈소스 Transformers 는 온도 · 상위 k · 상위 p · min-p · 반복 벌점을 생성 설정 인자로 두고 모델 설정 파일에 값이 없으면 온도 1.0 · 상위 k 50 · 상위 p 1.0 을 쓴다(Transformers 생성 설정 문서). 2024년에는 최댓값에 비례해 자르는 min-p 가 나왔다(Nguyen 2024 3.1절).
3쉽게 이해하기 — 다음 낱말을 정하는 투표판과 추첨 항아리
사무실에서 공지문을 한 낱말씩 이어 쓴다. 조언자는 지금까지 쓴 원고를 읽고, 다음 낱말 후보마다 표를 몇 장 줄지 적은 투표판을 내민다. 진행자는 정해 둔 규칙대로 1등만 고르거나, 표를 항아리에 넣고 한 장 뽑거나, 원고 세 벌을 함께 써 보고 끝에 총점이 높은 것을 고른다. 고른 낱말을 원고에 붙이면 조언자가 다시 투표판을 내밀고, 「끝」 카드가 뽑힐 때까지 이 일을 되풀이한다.
그림 1 · 조언자는 표만 매기고 낱말은 진행자가 고른다 — 다이얼 · 커트라인 · 추첨 방식이 바뀌면 같은 투표판에서 다른 원고가 나온다.
그림 2 · 다이얼을 낮추면 1등 몫이 커지고 올리면 몫이 고르게 퍼진다 — 실제로는 로짓을 온도 T 로 나눈 뒤 softmax 를 다시 계산한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 조언자 | LLM | 문맥을 읽고 어휘 전체의 로짓(점수)을 낸다 |
| 투표판 | 확률 분포(softmax) | 다음 토큰 후보마다 확률을 매긴다 |
| 다이얼 | 온도 T | 로짓을 T 로 나눠 분포를 뾰족하게 · 평평하게 만든다 |
| 커트라인 | 상위 k · 상위 p | 후보 집합을 자르고 남은 확률을 합 1로 다시 맞춘다 |
| 항아리 추첨 | 샘플링 | 남은 분포에서 토큰 하나를 무작위로 뽑는다 |
| 1등만 고르기 | 탐욕 디코딩 | 매 단계 확률이 가장 큰 토큰을 고른다 |
| 원고 세 벌 | 빔 탐색 | 확률 곱이 큰 가설 b개를 함께 이어 간다 |
| 끝 카드 | 종료 토큰 · 최대 길이 | 생성을 멈추고 토큰을 글자로 되돌린다 |
⚠ 비유가 맞지 않는 곳: 진행자는 낱말의 뜻을 보지 않는다. 디코딩 규칙은 숫자(로짓)만 보고 고르므로, 틀린 사실에 표가 몰려 있으면 1등만 고르는 규칙은 그 틀린 낱말을 확실하게 고른다 — 사실 오류의 원인과 대응은 할루시네이션이 다룬다.
4구조 — 로짓에서 토큰까지의 처리 고리
한 단계의 디코딩은 모델이 낸 로짓을 처리기 여러 개가 차례로 고친 뒤, 선택기가 토큰 하나를 고르는 고리다. 처리기는 정해진 순서로 분포를 고치고(온도를 먼저 적용한 뒤 절단 · Nguyen 2024 3.4절), 고른 토큰은 문맥 끝에 붙어 다음 순전파의 입력이 된다.
그림 3 · 모델은 로짓만 내고, 처리기가 그 분포를 고치고, 선택기가 토큰을 고른다 — 멈춤 조건에 닿을 때까지 이 고리를 토큰마다 한 번 돈다.
| 요소 | 하는 일 | 대표 값 · 근거 |
|---|---|---|
| 로짓 z | 어휘마다 다음 토큰 점수 | softmax 로 확률이 됨(Holtzman 2020 식 4) |
| 반복 벌점 θ | 이미 나온 토큰의 점수를 θ 로 나눔 | 탐욕과 함께 θ ≈ 1.2(Keskar 2019 4.1절) · 1.0 = 벌점 없음 |
| 온도 T | 분포를 뾰족하게(T < 1) · 평평하게(T > 1) | T 0.9 아래는 반복이 크게 늚(Holtzman 2020 그림 9) |
| 상위 k | 확률 순 k개만 남김 | k = 10(Fan 2018 5.4절) · 설정이 없으면 50(Transformers 생성 설정 문서) |
| 상위 p | 누적 확률이 p 이상인 가장 작은 집합 | 보통 p ∈ [0.9, 1)(Holtzman 2020 식 2 · 그림 9) |
| min-p | 최댓값 × p_ | p_ |
| 선택기 | 최댓값 · 무작위 표본 · 빔 b개 유지 | 빔 2 로 이득 대부분(Sutskever 2014 3.2절) |
| 길이 보정 | 빔 점수를 길이 함수로 나눔 | lp = ((5 + |Y|) ÷ 6)^α · α 0.6 ~ 0.7(Wu 2016 7절 식 14) |
🔑 상위 k 는 후보 «수»를 고정하고 상위 p 는 후보의 «확률 합»을 고정한다 — 그래서 모델이 확신할 때 상위 k 는 쓰레기 후보까지 남기고, 망설일 때 상위 p 는 후보를 넓힌다.
5동작 — 「오늘 회의는」 다음 두세 토큰 고르기
공지문 생성에서 「오늘 회의는」 다음을 고르는 사례다. 후보와 확률은 설명용 가정 값(후보를 몇 개로 줄인 장난감 분포)이고, 탐색 · 표본은 직접 실행(합성 데이터 · NumPy · 시드 0)으로 얻었다.
- 첫 분포 — 모델이 「오후」 0.45 · 「내일로」 0.35 · 「취소」 0.20 을 낸다. 「오후」 다음은 「3시」 0.30 · 「늦게」 0.25 · 「2시」 0.20 · 「회의실」 0.15 · 종료 0.10 으로 평평하고, 「내일로」 다음은 「미뤘다」 0.80 으로 뾰족하다.
- 탐욕 — 매 단계 최댓값을 따라 「오후 3시 〈끝〉」을 낸다. 확률 곱은 0.45 × 0.30 × 0.70 = 0.0945 다.
- 빔 b = 3 — 2단계에서 「내일로 미뤘다」 0.280 · 「취소 〈끝〉」 0.190 · 「오후 3시」 0.135 를 남기고, 4단계까지 완성 가설 넷을 모은다. 탐욕이 1단계에서 버린 「내일로」 쪽이 2단계에서 앞선다.
- 점수 비교 — 확률 곱만 보면 가장 짧은 「취소 〈끝〉」 0.190 이 1위다. 토큰마다 log 확률(음수)이 더해져 긴 가설이 불리하기 때문이다(Wu 2016 7절).
- 길이 보정 — α = 0.6 으로 log P 를 lp 로 나누면 「내일로 미뤘다 〈끝〉」 −1.501 이 「취소 〈끝〉」 −1.514 를 앞질러 1위가 된다. 공지의 뜻이 「취소」에서 「연기」로 바뀌는 차이다.
- 온도 — 「오후」 다음 분포에 T = 0.7 을 주면 「3시」가 30.0 → 34.4%, T = 1.5 면 26.6% 가 된다(그림 2). 순위는 그대로이고 몫만 바뀐다.
- 절단 — 상위 p = 0.7 은 평평한 분포에서 누적 0.75 까지 3개, 뾰족한 분포에서 「미뤘다」 0.80 하나만 남긴다. 상위 k = 3 은 두 분포 모두 3개이고, 뾰족한 쪽에서 종료 0.05 까지 남긴다.
- 반복 표본 — 같은 입력으로 1,000번 생성하면 순수 샘플링은 서로 다른 문장 16종(「취소 〈끝〉」 225회), 상위 p = 0.7 은 5종(「내일로 미뤘다 〈끝〉」 283회 · 「취소」 0회)이다. 시드 0 ~ 9 에서 종류 수는 같고 1위 횟수만 183 ~ 225회 · 251 ~ 288회로 흔들린다.
그림 4 · 탐욕은 1단계 최댓값 「오후」에 묶여 0.0945 에 그치고, 빔은 0.190 · 0.168 을 찾지만 길이 보정 없이는 가장 짧은 「취소」를 고른다.
그림 5 · 상위 k 는 두 분포에서 똑같이 3개를 남기고, 상위 p 와 min-p 는 분포 모양에 따라 남기는 수를 바꾼다.
🔑 탐욕과 빔은 «가장 그럴듯한 하나»를 찾고 샘플링은 «분포 그대로의 다양성»을 산다 — 둘은 좋고 나쁨이 아니라 답이 하나인 과제와 열린 과제의 차이다.
6비교 — 디코딩 방식 다섯
| 기준 | 탐욕 | 빔 탐색 | 온도 샘플링 | 상위 k | 상위 p |
|---|---|---|---|---|---|
| 고르는 법 | 매 단계 최댓값 | 확률 곱이 큰 가설 b개 유지 | 전체 분포에서 표본 | 상위 k개 안에서 표본 | 누적 p 집합 안에서 표본 |
| 같은 입력 → 같은 출력 | 예 | 예 | 아니오(시드 고정 시 예) | 아니오 | 아니오 |
| 순전파 수 · 토큰당 | 1 | b | 1 | 1 | 1 |
| 반복률(GPT-2 Large) | 73.66% | 28.94%(b = 16) | 0.66%(t = 0.9) | 0.78%(k = 40) | 0.36%(p = 0.95) |
| perplexity(사람 12.38) | 1.50 | 1.48 | 10.25 | 6.88 | 13.13 |
| 잘 맞는 과제 | 분류 · 추출 · 짧은 답 | 번역 · 요약 | 대화 · 초안 | 이야기 · 대화 | 긴 글 · 대화 |
표의 반복률 · perplexity 는 모두 Holtzman 2020 표 1 의 값이다. 반복률은 끝에서 두 토큰 이상 구절이 세 번 넘게 되풀이된 글의 비율이고(그림 9 설명), perplexity 는 생성한 모델이 자기 글에 매긴 값이라 사람 글(12.38)에 가까울수록 자연스럽다.
그림 6 · 최대화 방식은 반복률이 수십 % 이고 perplexity 가 1.5 근처로 지나치게 낮다 — 상위 p 0.95 가 두 지표 모두 사람 글에 가장 가깝다.
분석답이 하나로 정해지는 추출 · 분류 · 도구 호출 인자는 탐욕(또는 T = 0)으로 재현성을 얻고, 번역 · 요약은 빔 2 ~ 4 에 길이 보정을, 대화 · 긴 글은 상위 p 0.9 ~ 0.95 를 먼저 고른다. 근거는 표의 «같은 입력 → 같은 출력» · «반복률» 행 — 최대화는 열린 글에서 반복이 수십 % 이고(Holtzman 2020 표 1), 번역에서는 빔 2 가 이득 대부분을 낸다(Sutskever 2014 표 1).
min-p 는 상위 p 와 같은 «동적 절단»이지만 기준을 최댓값에 비례시켜 높은 온도(T = 2 ~ 3)에서도 후보가 덜 퍼진다(Nguyen 2024 3.4절). 같은 질문에 표본을 여러 번 뽑아 다수결하는 자기 일관성은 프롬프트 엔지니어링이, 사고 과정을 길게 쓰게 학습한 모델은 추론 모델이 다룬다.
7실무 진단 — 생성 결과가 이상한 단계 가르기
분석먼저 생성 설정이 결정적(탐욕 · 빔)인지 확률적(샘플링)인지 확인하고, 그다음 반복 · 길이 · 엉뚱한 낱말 순으로 본다. 설정 종류에 따라 의심할 실패가 정반대이기 때문이다(Holtzman 2020 1절 · 표 1).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 같은 구절이 끝없이 되풀이됨 | 탐욕 · 빔 · 낮은 온도 | 선택 | do_ | 두 토큰 이상 구절 3회 이상 = 반복(Holtzman 2020 그림 9) · 샘플링 또는 반복 벌점 θ ≈ 1.2(Keskar 2019 4.1절) |
| 2 | 같은 입력에 답이 매번 다름 | do_ | 선택 | 같은 입력 10회 출력 종류 수 | 추출 · 분류에서 종류 > 1 = 탐욕으로 바꾸거나 시드 고정 |
| 3 | 엉뚱한 낱말 · 뜻 없는 문장이 낌 | 꼬리 후보 표본(순수 샘플링 · 높은 T · 큰 k) | 절단 | 뽑힌 토큰의 확률(logprobs) 기록 | 확률 하위 토큰이 자주 뽑힘 = 상위 p 0.9 ~ 0.95(Holtzman 2020 3.1절) |
| 4 | 번역 · 요약이 지나치게 짧게 끊김 | 빔의 짧은 가설 쏠림 | 점수 | 출력 길이 ÷ 입력 길이 | 길이 비가 크게 낮음 = 길이 보정 α 0.6 ~ 0.7(Wu 2016 7절) · 최소 길이 |
| 5 | 빔을 넓혔더니 오히려 품질 하락 | 탐색 오류가 줄며 모델 오류가 드러남 | 점수 | 빔 폭별 BLEU · 빈 출력 비율 | 정확한 탐색에서 빈 번역 51.8%(Stahlberg 2019 표 1) = 빔 폭을 줄이고 모델을 고침 |
설정 값은 요청 기록에 남겨야 진단이 된다 — Transformers 는 인자를 주지 않으면 모델 설정 파일(generation_config.json) 값을 쓰므로, 인자 없는 요청도 실제 온도 · 상위 k 를 기록에서 확인한다(Transformers 생성 설정 문서). 사실이 틀린 답은 디코딩 설정을 바꿔도 대개 남으므로 할루시네이션 대응(RAG · 검증)으로 넘긴다.
8시험 대비
www.q-net.or.kr시험에서는 탐욕 · 빔 · 샘플링 방식을 견주는 비교형, 상위 k · 상위 p · 온도의 정의와 쓰임을 묻는 정의 · 특징형이 나올 수 있다. 비교형은 «최대화 ↔ 표본» 축을 먼저 세우고 그림 6 의 반복률 · perplexity 수치로 판정한 뒤, 과제별 선택 기준으로 맺는다. 정의형은 상위 p 의 식(누적 확률 ≥ p 인 가장 작은 집합)을 쓰고 그림 5 로 상위 k 와의 차이를 보인다.
- 개요 — 정의(확률 분포 → 토큰 하나를 고르는 규칙) · 학습과 무관한 추론 단계 설정 · 다른 뜻의 디코더와 구분
- 구조 — 그림 3 처리 고리(로짓 → 반복 벌점 → 온도 → 상위 k · p → 선택기 → 멈춤 검사) · 요소 표
- 결정적 방식 — 그림 4 탐욕 ↔ 빔 탐색 나무 · 길이 보정 식(Wu 2016)
- 확률적 방식 — 온도 식 · 그림 5 상위 k ↔ 상위 p ↔ min-p 후보 수
- 비교 · 선택 기준 — 그림 6 반복률 · perplexity(Holtzman 2020 표 1) · 과제별 권장 설정
- 한계 · 동향 — 빔의 짧은 출력 쏠림(빈 번역 51.8%) · min-p · 투기적 디코딩(추론 최적화)
꼭 쓸 키워드
탐욕 디코딩빔 탐색길이 보정온도상위 k 샘플링상위 p(nucleus) 샘플링min-p반복 벌점텍스트 퇴화재현성
다른 답안과 차이를 내는 한 가지 — 같은 분포 두 개(평평 · 뾰족)에 상위 k 와 상위 p 를 함께 그어 «k 는 수를, p 는 확률 합을 고정한다»를 후보 수 3 · 3 / 3 · 1 로 보인다.
9오해와 사실
- 오해온도를 0으로 두면 할루시네이션이 없어진다.사실탐욕은 모델이 가장 높게 매긴 토큰을 고를 뿐이라, 분포가 틀린 사실에 높은 확률을 주면 매번 같은 틀린 답을 낸다 — 벌점 같은 디코딩 장치도 모델이 믿을 만한 분포를 배웠을 때만 듣는다(Keskar 2019 4.1절).
- 오해빔 폭을 키울수록 더 좋은 답이 나온다.사실번역에서 빔 2 가 BLEU 34.50, 빔 12 가 34.81 로 차이가 작았고(Sutskever 2014 표 1), 탐색을 끝까지 정확히 하자 문장의 51.8%에서 빈 번역이 최고 점수였다(Stahlberg 2019 표 1).
- 오해확률대로 그대로 뽑으면 사람 글과 가장 닮는다.사실순수 샘플링은 반복률 0.22%로 사람(0.28%)과 비슷하지만 perplexity 22.73 으로 사람 12.38 보다 크게 높아 꼬리 후보가 문장을 흐린다 — 상위 p 0.95 가 13.13 으로 가장 가까웠다(Holtzman 2020 표 1).
10핵심 정리
| 방식 · 설정 | 고르는 기준 | 결정성 | 대표 값 | 흔한 실패 | 맞는 과제 |
|---|---|---|---|---|---|
| 탐욕 | 매 단계 최댓값 | 결정적 | 반복률 73.66%(Holtzman 2020) | 반복 고리 | 추출 · 분류 |
| 빔 탐색 | 확률 곱 상위 b개 | 결정적 | b = 2 로 이득 대부분(Sutskever 2014) | 짧은 출력 쏠림 | 번역 · 요약 |
| 길이 보정 | log P ÷ lp(Y) | 결정적 | α 0.6 ~ 0.7(Wu 2016) | 너무 크면 긴 출력 | 빔과 함께 |
| 온도 T | z ÷ T 로 분포 모양 조절 | 확률적 | T < 0.9 반복 늚(Holtzman 2020) | 높으면 엉뚱한 낱말 | 다른 절단과 함께 |
| 상위 k | 확률 순 k개 | 확률적 | k = 10(Fan 2018) · 설정 없으면 50 | 확신할 때 꼬리 남김 | 이야기 · 대화 |
| 상위 p | 누적 확률 ≥ p 최소 집합 | 확률적 | p 0.9 ~ 0.95 | p 가 낮으면 탐욕처럼 | 긴 글 · 대화 |
| min-p | 최댓값 × p_ | 확률적 | p_ | p_ | 높은 온도 생성 |
| 반복 벌점 | 나온 토큰 점수 ÷ θ | 설정에 따름 | θ ≈ 1.2(Keskar 2019) | 꼭 필요한 반복까지 막음 | 탐욕 생성 |
11참고 문헌
- 먼저 볼 문헌
- ★ The Curious Case of Neural Text Degeneration (Holtzman et al. · ICLR 2020) — 상위 p 정의(식 2 · 3)와 방식별 반복률 · perplexity 표를 볼 때
- ★ Sequence to Sequence Learning with Neural Networks (Sutskever et al. · NeurIPS 2014) — 번역에서 빔 폭 1 · 2 · 12 의 BLEU 차이를 볼 때
- ★ Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (Wu et al.) — 빔 탐색의 길이 보정 식과 α 값을 볼 때
- ★ On NMT Search Errors and Model Errors: Cat Got Your Tongue? (Stahlberg and Byrne · EMNLP 2019) — 탐색을 정확히 할수록 빈 번역이 이기는 모델 오류를 볼 때
- ★ Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs (Nguyen et al. · ICLR 2025) — 최댓값에 비례해 자르는 min-p 와 권장 범위를 볼 때
- 본문 근거
- Hierarchical Neural Story Generation (Fan, Lewis and Dauphin · ACL 2018) — arXiv · 2018-05 ·
arxiv.org/abs/1805.04833· 확인 2026-11-13 - CTRL: A Conditional Transformer Language Model for Controllable Generation (Keskar et al.) — arXiv · 2019-09 ·
arxiv.org/abs/1909.05858· 확인 2026-11-13 - Transformers Generation — GenerationConfig 인자 설명 — Hugging Face · 2026-11 ·
huggingface.co/docs/transformers/main_classes/text_generation· 확인 2026-11-13