AI › 생성형 AI › LLM › 활용

디코딩Decoding

언어 모델이 낸 다음 토큰 확률 분포에서 실제로 내보낼 토큰을 고르는 규칙으로, 탐욕 · 빔 탐색 · 온도 · 상위 k · 상위 p 샘플링이 대표 방식이다.

1요약

  1. 디코딩은 LLM 이 매 단계 내는 어휘 전체의 확률 분포에서 내보낼 토큰 하나를 고르는 규칙으로, 탐욕(최댓값) · 빔 탐색(Sutskever 2014 3.2절) · 온도 · 상위 k(Fan 2018) · 상위 p(Holtzman 2020) 가운데 무엇을 쓰느냐에 따라 같은 모델 · 같은 프롬프트에서 다른 글이 나온다. 디지털 회로의 디코더나 통신의 복호(오류 정정 부호 풀기)와는 이름만 같은 다른 개념이다.
  2. 확률이 가장 높은 글을 찾는 방식이 늘 좋은 글을 주지는 않는다 — GPT-2 Large 로 글 5,000편을 이어 쓰게 하자 탐욕 디코딩은 73.66%가 같은 구절을 되풀이하며 끝났고 상위 p(p = 0.95)는 0.36%로 사람 글(0.28%)에 가까웠다(Holtzman 2020 표 1).
  3. 생성 결과의 이상은 최대화 쪽 실패인가, 표본 쪽 실패인가로 가른다 — 같은 구절이 반복되거나 답이 짧게 끊기면 탐욕 · 빔의 문제이고, 같은 입력에 답이 매번 바뀌거나 엉뚱한 낱말이 끼면 샘플링 설정(온도 · 절단)의 문제다.

2등장 배경

언어 모델은 다음 토큰의 확률만 낼 뿐 문장을 고르지 않는다. 번역처럼 정답이 거의 하나인 과제에서는 «확률 곱이 가장 큰 문장»을 찾으면 됐고, 2014년 Sutskever 등은 가설 B개만 남기는 빔 탐색으로 LSTM 5개 앙상블의 영어 → 프랑스어 BLEU 34.81 을 냈다 — 빔 2만으로 34.50 이 나와 이득 대부분을 얻었다(Sutskever 2014 표 1). 2016년 GNMT 는 빔이 짧은 문장을 고르는 쏠림을 길이 보정으로 막았다(Wu 2016 7절).

이야기 · 대화처럼 답이 열린 과제에서는 최대화가 오히려 흔한 구절과 반복을 낳았다. 2018년 Fan 등은 상위 10개 후보에서만 뽑는 상위 k 를 썼고(Fan 2018 5.4절), 2019년 Stahlberg 등은 번역 모델조차 문장의 51.8%에서 빈 번역에 최고 점수를 준다는 것을 정확한 탐색으로 보였다(Stahlberg 2019 표 1). 2020년 Holtzman 등은 누적 확률로 후보 수를 바꾸는 상위 p 를 냈다.

지금 이 문제가 남는 이유는 같은 모델을 요약 · 추출 · 대화 · 코드에 함께 쓰기 때문이다. 과제마다 알맞은 규칙이 달라, 오픈소스 Transformers 는 온도 · 상위 k · 상위 p · min-p · 반복 벌점을 생성 설정 인자로 두고 모델 설정 파일에 값이 없으면 온도 1.0 · 상위 k 50 · 상위 p 1.0 을 쓴다(Transformers 생성 설정 문서). 2024년에는 최댓값에 비례해 자르는 min-p 가 나왔다(Nguyen 2024 3.1절).

3쉽게 이해하기 — 다음 낱말을 정하는 투표판과 추첨 항아리

사무실에서 공지문을 한 낱말씩 이어 쓴다. 조언자는 지금까지 쓴 원고를 읽고, 다음 낱말 후보마다 표를 몇 장 줄지 적은 투표판을 내민다. 진행자는 정해 둔 규칙대로 1등만 고르거나, 표를 항아리에 넣고 한 장 뽑거나, 원고 세 벌을 함께 써 보고 끝에 총점이 높은 것을 고른다. 고른 낱말을 원고에 붙이면 조언자가 다시 투표판을 내밀고, 「끝」 카드가 뽑힐 때까지 이 일을 되풀이한다.

조언자 LLM 1 투표판 오후 45표 내일로 35표 취소 20표 확률 분포 2 진행자 다이얼 온도 커트라인 상위 k · 상위 p 항아리 추첨 샘플링 디코딩 규칙 3 뽑힌 표 「오후」 토큰 4 원고에 붙임 오늘 회의는 오후 … 문맥 5 「끝」 카드가 뽑히면 멈춤 굵은 선 = 다음 낱말을 위해 되풀이 · 배지 = 실제 기술 이름 표 수는 설명용 가정 값 · 조언자는 매번 원고 전체를 다시 읽는다

그림 1 · 조언자는 표만 매기고 낱말은 진행자가 고른다 — 다이얼 · 커트라인 · 추첨 방식이 바뀌면 같은 투표판에서 다른 원고가 나온다.

조언 받기원고를 읽고 투표판
다이얼 맞추기표를 몰거나 퍼뜨림
커트라인아래 후보 표 빼기
항아리 추첨남은 표에서 한 장
원고에 붙이기낱말 하나 더
끝 카드뽑히면 멈춤
비유 — 다이얼에 따라 항아리 속 표 몫(%)이 바뀐다 다이얼 낮춤 1등에게 몰림 T = 0.7 그대로 모델이 준 몫 T = 1.0 다이얼 올림 고르게 퍼짐 T = 1.5 34.4 26.5 19.3 12.8 7.2 30.0 25.0 20.0 15.0 10.0 26.6 23.6 20.3 16.8 12.8 3시 늦게 2시 회의실 끝 1등 − 꼴찌 27.2%p 20.0%p 13.8%p 실제 식 p = exp(z / T) ÷ Σ exp(z / T) · z = 로짓(Holtzman 2020 식 4) · 순위는 바뀌지 않고 몫만 바뀐다 「오늘 회의는 오후」 다음 후보 다섯 · 원래 몫은 설명용 가정 값 · 세 줄 = 직접 계산

그림 2 · 다이얼을 낮추면 1등 몫이 커지고 올리면 몫이 고르게 퍼진다 — 실제로는 로짓을 온도 T 로 나눈 뒤 softmax 를 다시 계산한다.

비유 속 역할실제 이름실제로 하는 일
조언자LLM문맥을 읽고 어휘 전체의 로짓(점수)을 낸다
투표판확률 분포(softmax)다음 토큰 후보마다 확률을 매긴다
다이얼온도 T로짓을 T 로 나눠 분포를 뾰족하게 · 평평하게 만든다
커트라인상위 k · 상위 p후보 집합을 자르고 남은 확률을 합 1로 다시 맞춘다
항아리 추첨샘플링남은 분포에서 토큰 하나를 무작위로 뽑는다
1등만 고르기탐욕 디코딩매 단계 확률이 가장 큰 토큰을 고른다
원고 세 벌빔 탐색확률 곱이 큰 가설 b개를 함께 이어 간다
끝 카드종료 토큰 · 최대 길이생성을 멈추고 토큰을 글자로 되돌린다

⚠ 비유가 맞지 않는 곳: 진행자는 낱말의 뜻을 보지 않는다. 디코딩 규칙은 숫자(로짓)만 보고 고르므로, 틀린 사실에 표가 몰려 있으면 1등만 고르는 규칙은 그 틀린 낱말을 확실하게 고른다 — 사실 오류의 원인과 대응은 할루시네이션이 다룬다.

4구조 — 로짓에서 토큰까지의 처리 고리

한 단계의 디코딩은 모델이 낸 로짓을 처리기 여러 개가 차례로 고친 뒤, 선택기가 토큰 하나를 고르는 고리다. 처리기는 정해진 순서로 분포를 고치고(온도를 먼저 적용한 뒤 절단 · Nguyen 2024 3.4절), 고른 토큰은 문맥 끝에 붙어 다음 순전파의 입력이 된다.

점선 = 디코딩이 맡는 부분 문맥 토큰 열 프롬프트 + 생성분 LLM 순전파 1회 로짓 z 어휘 크기 벡터 반복 벌점 θ 나온 토큰 점수 ÷ θ 온도 T z ÷ T 후 softmax 상위 k · 상위 p 자르고 합 1로 선택기 탐욕 · 표본 · 빔 다음 토큰 토큰 ID 하나 멈춤 검사 종료 토큰 · 최대 길이 아니오 → 문맥 끝에 붙임 예 → 글자로 되돌려 출력 빔 탐색은 가설 b개마다 이 고리를 함께 돌고, 점수 = log 확률 합(길이 보정 선택) 굵은 선 = 토큰마다 되풀이 · KV 캐시 · 투기적 디코딩 같은 속도 기법은 추론 최적화에서 다룸

그림 3 · 모델은 로짓만 내고, 처리기가 그 분포를 고치고, 선택기가 토큰을 고른다 — 멈춤 조건에 닿을 때까지 이 고리를 토큰마다 한 번 돈다.

요소하는 일대표 값 · 근거
로짓 z어휘마다 다음 토큰 점수softmax 로 확률이 됨(Holtzman 2020 식 4)
반복 벌점 θ이미 나온 토큰의 점수를 θ 로 나눔탐욕과 함께 θ ≈ 1.2(Keskar 2019 4.1절) · 1.0 = 벌점 없음
온도 T분포를 뾰족하게(T < 1) · 평평하게(T > 1)T 0.9 아래는 반복이 크게 늚(Holtzman 2020 그림 9)
상위 k확률 순 k개만 남김k = 10(Fan 2018 5.4절) · 설정이 없으면 50(Transformers 생성 설정 문서)
상위 p누적 확률이 p 이상인 가장 작은 집합보통 p ∈ [0.9, 1)(Holtzman 2020 식 2 · 그림 9)
min-p최댓값 × p_base 아래 후보를 버림p_base 0.05 ~ 0.1(Nguyen 2024 3.4절)
선택기최댓값 · 무작위 표본 · 빔 b개 유지빔 2 로 이득 대부분(Sutskever 2014 3.2절)
길이 보정빔 점수를 길이 함수로 나눔lp = ((5 + |Y|) ÷ 6)^α · α 0.6 ~ 0.7(Wu 2016 7절 식 14)

🔑 상위 k 는 후보 «수»를 고정하고 상위 p 는 후보의 «확률 합»을 고정한다 — 그래서 모델이 확신할 때 상위 k 는 쓰레기 후보까지 남기고, 망설일 때 상위 p 는 후보를 넓힌다.

5동작 — 「오늘 회의는」 다음 두세 토큰 고르기

공지문 생성에서 「오늘 회의는」 다음을 고르는 사례다. 후보와 확률은 설명용 가정 값(후보를 몇 개로 줄인 장난감 분포)이고, 탐색 · 표본은 직접 실행(합성 데이터 · NumPy · 시드 0)으로 얻었다.

  1. 첫 분포 — 모델이 「오후」 0.45 · 「내일로」 0.35 · 「취소」 0.20 을 낸다. 「오후」 다음은 「3시」 0.30 · 「늦게」 0.25 · 「2시」 0.20 · 「회의실」 0.15 · 종료 0.10 으로 평평하고, 「내일로」 다음은 「미뤘다」 0.80 으로 뾰족하다.
  2. 탐욕 — 매 단계 최댓값을 따라 「오후 3시 〈끝〉」을 낸다. 확률 곱은 0.45 × 0.30 × 0.70 = 0.0945 다.
  3. 빔 b = 3 — 2단계에서 「내일로 미뤘다」 0.280 · 「취소 〈끝〉」 0.190 · 「오후 3시」 0.135 를 남기고, 4단계까지 완성 가설 넷을 모은다. 탐욕이 1단계에서 버린 「내일로」 쪽이 2단계에서 앞선다.
  4. 점수 비교 — 확률 곱만 보면 가장 짧은 「취소 〈끝〉」 0.190 이 1위다. 토큰마다 log 확률(음수)이 더해져 긴 가설이 불리하기 때문이다(Wu 2016 7절).
  5. 길이 보정 — α = 0.6 으로 log P 를 lp 로 나누면 「내일로 미뤘다 〈끝〉」 −1.501 이 「취소 〈끝〉」 −1.514 를 앞질러 1위가 된다. 공지의 뜻이 「취소」에서 「연기」로 바뀌는 차이다.
  6. 온도 — 「오후」 다음 분포에 T = 0.7 을 주면 「3시」가 30.0 → 34.4%, T = 1.5 면 26.6% 가 된다(그림 2). 순위는 그대로이고 몫만 바뀐다.
  7. 절단 — 상위 p = 0.7 은 평평한 분포에서 누적 0.75 까지 3개, 뾰족한 분포에서 「미뤘다」 0.80 하나만 남긴다. 상위 k = 3 은 두 분포 모두 3개이고, 뾰족한 쪽에서 종료 0.05 까지 남긴다.
  8. 반복 표본 — 같은 입력으로 1,000번 생성하면 순수 샘플링은 서로 다른 문장 16종(「취소 〈끝〉」 225회), 상위 p = 0.7 은 5종(「내일로 미뤘다 〈끝〉」 283회 · 「취소」 0회)이다. 시드 0 ~ 9 에서 종류 수는 같고 1위 횟수만 183 ~ 225회 · 251 ~ 288회로 흔들린다.
1단계 2단계 3단계 4단계 오늘 회의는 오후 0.45 내일로 0.35 취소 0.20 3시 0.135 탈락 — 늦게 0.113 · 2시 0.090 회의실 0.068 · 〈끝〉 0.045 미뤘다 0.280 탈락 — 연기 0.053 · 〈끝〉 0.018 〈끝〉 0.190 완성 〈끝〉 0.0945 완성 탈락 — 에 0.041 〈끝〉 0.168 완성 고 0.112 〈끝〉 0.112 완성 2 3 4 5 완성 가설 확률 곱 log P α 0.6 점수 취소 〈끝〉 0.190 −1.661 −1.514 보정 전 1위 내일로 미뤘다 〈끝〉 0.168 −1.784 −1.501 보정 뒤 1위 내일로 미뤘다 고 〈끝〉 0.112 −2.189 −1.717 오후 3시 〈끝〉 0.0945 −2.359 −1.985 탐욕 결과 굵은 선 · 굵은 테두리 = 탐욕 경로 · 채운 상자 = 완성 가설 · lp = ((5 + 길이) ÷ 6)^0.6 · 길이는 〈끝〉 포함 토큰 수

그림 4 · 탐욕은 1단계 최댓값 「오후」에 묶여 0.0945 에 그치고, 빔은 0.190 · 0.168 을 찾지만 길이 보정 없이는 가장 짧은 「취소」를 고른다.

평평한 분포 — 「오후」 다음 뾰족한 분포 — 「내일로」 다음 k 3 p 0.7 min-p k 3 p 0.7 min-p 3시 0.30 늦게 0.25 2시 0.20 회의실 0.15 〈끝〉 0.10 남는 후보 수 3 3 5 미뤘다 0.80 연기 0.15 〈끝〉 0.05 남는 후보 수 3 1 2 상위 p 누적 — 0.30 → 0.55 → 0.75 ≥ 0.7 에서 멈춤 상위 p 누적 — 0.80 ≥ 0.7 에서 바로 멈춤 min-p 기준 — 0.1 × 0.30 = 0.03 이상 min-p 기준 — 0.1 × 0.80 = 0.08 이상 채운 원 = 남김 빈 원 = 잘림 굵은 테두리 = 확신할 때도 상위 k 가 남기는 꼬리 후보(0.05) 상위 p 정의 = Holtzman 2020 식 2 · min-p = Nguyen 2024 3.1절 · 확률은 설명용 가정 값 · 남는 수 = 직접 실행

그림 5 · 상위 k 는 두 분포에서 똑같이 3개를 남기고, 상위 p 와 min-p 는 분포 모양에 따라 남기는 수를 바꾼다.

🔑 탐욕과 빔은 «가장 그럴듯한 하나»를 찾고 샘플링은 «분포 그대로의 다양성»을 산다 — 둘은 좋고 나쁨이 아니라 답이 하나인 과제와 열린 과제의 차이다.

6비교 — 디코딩 방식 다섯

기준탐욕빔 탐색온도 샘플링상위 k상위 p
고르는 법매 단계 최댓값확률 곱이 큰 가설 b개 유지전체 분포에서 표본상위 k개 안에서 표본누적 p 집합 안에서 표본
같은 입력 → 같은 출력예예아니오(시드 고정 시 예)아니오아니오
순전파 수 · 토큰당1b111
반복률(GPT-2 Large)73.66%28.94%(b = 16)0.66%(t = 0.9)0.78%(k = 40)0.36%(p = 0.95)
perplexity(사람 12.38)1.501.4810.256.8813.13
잘 맞는 과제분류 · 추출 · 짧은 답번역 · 요약대화 · 초안이야기 · 대화긴 글 · 대화

표의 반복률 · perplexity 는 모두 Holtzman 2020 표 1 의 값이다. 반복률은 끝에서 두 토큰 이상 구절이 세 번 넘게 되풀이된 글의 비율이고(그림 9 설명), perplexity 는 생성한 모델이 자기 글에 매긴 값이라 사람 글(12.38)에 가까울수록 자연스럽다.

반복률(%) perplexity 사람 글 12.38 사람 글 0.28 12.38 탐욕 73.66 1.50 빔 b = 16 28.94 1.48 순수 샘플링 0.22 22.73 온도 0.9 0.66 10.25 상위 k = 40 0.78 6.88 상위 p = 0.95 0.36 13.13 사람 글 최대화(탐욕 · 빔) 샘플링 계열 굵은 테두리 = 두 지표 모두 사람 글에 가장 가까움 Holtzman 2020 표 1 · GPT-2 Large · 글 5,000편 · 최대 200토큰 · 반복률 1% 아래 막대는 최소 폭으로 그림

그림 6 · 최대화 방식은 반복률이 수십 % 이고 perplexity 가 1.5 근처로 지나치게 낮다 — 상위 p 0.95 가 두 지표 모두 사람 글에 가장 가깝다.

분석답이 하나로 정해지는 추출 · 분류 · 도구 호출 인자는 탐욕(또는 T = 0)으로 재현성을 얻고, 번역 · 요약은 빔 2 ~ 4 에 길이 보정을, 대화 · 긴 글은 상위 p 0.9 ~ 0.95 를 먼저 고른다. 근거는 표의 «같은 입력 → 같은 출력» · «반복률» 행 — 최대화는 열린 글에서 반복이 수십 % 이고(Holtzman 2020 표 1), 번역에서는 빔 2 가 이득 대부분을 낸다(Sutskever 2014 표 1).

min-p 는 상위 p 와 같은 «동적 절단»이지만 기준을 최댓값에 비례시켜 높은 온도(T = 2 ~ 3)에서도 후보가 덜 퍼진다(Nguyen 2024 3.4절). 같은 질문에 표본을 여러 번 뽑아 다수결하는 자기 일관성은 프롬프트 엔지니어링이, 사고 과정을 길게 쓰게 학습한 모델은 추론 모델이 다룬다.

7실무 진단 — 생성 결과가 이상한 단계 가르기

분석먼저 생성 설정이 결정적(탐욕 · 빔)인지 확률적(샘플링)인지 확인하고, 그다음 반복 · 길이 · 엉뚱한 낱말 순으로 본다. 설정 종류에 따라 의심할 실패가 정반대이기 때문이다(Holtzman 2020 1절 · 표 1).

#증상의심 원인단계확인 자료판정 기준(근거)
1같은 구절이 끝없이 되풀이됨탐욕 · 빔 · 낮은 온도선택do_sample · num_beams · temperature 값 · 끝 구절 반복 수두 토큰 이상 구절 3회 이상 = 반복(Holtzman 2020 그림 9) · 샘플링 또는 반복 벌점 θ ≈ 1.2(Keskar 2019 4.1절)
2같은 입력에 답이 매번 다름do_sample = True · T > 0선택같은 입력 10회 출력 종류 수추출 · 분류에서 종류 > 1 = 탐욕으로 바꾸거나 시드 고정
3엉뚱한 낱말 · 뜻 없는 문장이 낌꼬리 후보 표본(순수 샘플링 · 높은 T · 큰 k)절단뽑힌 토큰의 확률(logprobs) 기록확률 하위 토큰이 자주 뽑힘 = 상위 p 0.9 ~ 0.95(Holtzman 2020 3.1절)
4번역 · 요약이 지나치게 짧게 끊김빔의 짧은 가설 쏠림점수출력 길이 ÷ 입력 길이길이 비가 크게 낮음 = 길이 보정 α 0.6 ~ 0.7(Wu 2016 7절) · 최소 길이
5빔을 넓혔더니 오히려 품질 하락탐색 오류가 줄며 모델 오류가 드러남점수빔 폭별 BLEU · 빈 출력 비율정확한 탐색에서 빈 번역 51.8%(Stahlberg 2019 표 1) = 빔 폭을 줄이고 모델을 고침

설정 값은 요청 기록에 남겨야 진단이 된다 — Transformers 는 인자를 주지 않으면 모델 설정 파일(generation_config.json) 값을 쓰므로, 인자 없는 요청도 실제 온도 · 상위 k 를 기록에서 확인한다(Transformers 생성 설정 문서). 사실이 틀린 답은 디코딩 설정을 바꿔도 대개 남으므로 할루시네이션 대응(RAG · 검증)으로 넘긴다.

8시험 대비

출제 정보 컴퓨터시스템응용(138회, 132회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 탐욕 · 빔 · 샘플링 방식을 견주는 비교형, 상위 k · 상위 p · 온도의 정의와 쓰임을 묻는 정의 · 특징형이 나올 수 있다. 비교형은 «최대화 ↔ 표본» 축을 먼저 세우고 그림 6 의 반복률 · perplexity 수치로 판정한 뒤, 과제별 선택 기준으로 맺는다. 정의형은 상위 p 의 식(누적 확률 ≥ p 인 가장 작은 집합)을 쓰고 그림 5 로 상위 k 와의 차이를 보인다.

답안 목차
  1. 개요 — 정의(확률 분포 → 토큰 하나를 고르는 규칙) · 학습과 무관한 추론 단계 설정 · 다른 뜻의 디코더와 구분
  2. 구조 — 그림 3 처리 고리(로짓 → 반복 벌점 → 온도 → 상위 k · p → 선택기 → 멈춤 검사) · 요소 표
  3. 결정적 방식 — 그림 4 탐욕 ↔ 빔 탐색 나무 · 길이 보정 식(Wu 2016)
  4. 확률적 방식 — 온도 식 · 그림 5 상위 k ↔ 상위 p ↔ min-p 후보 수
  5. 비교 · 선택 기준 — 그림 6 반복률 · perplexity(Holtzman 2020 표 1) · 과제별 권장 설정
  6. 한계 · 동향 — 빔의 짧은 출력 쏠림(빈 번역 51.8%) · min-p · 투기적 디코딩(추론 최적화)

꼭 쓸 키워드
탐욕 디코딩빔 탐색길이 보정온도상위 k 샘플링상위 p(nucleus) 샘플링min-p반복 벌점텍스트 퇴화재현성

다른 답안과 차이를 내는 한 가지 — 같은 분포 두 개(평평 · 뾰족)에 상위 k 와 상위 p 를 함께 그어 «k 는 수를, p 는 확률 합을 고정한다»를 후보 수 3 · 3 / 3 · 1 로 보인다.

9오해와 사실

  • 오해온도를 0으로 두면 할루시네이션이 없어진다.
    사실탐욕은 모델이 가장 높게 매긴 토큰을 고를 뿐이라, 분포가 틀린 사실에 높은 확률을 주면 매번 같은 틀린 답을 낸다 — 벌점 같은 디코딩 장치도 모델이 믿을 만한 분포를 배웠을 때만 듣는다(Keskar 2019 4.1절).
  • 오해빔 폭을 키울수록 더 좋은 답이 나온다.
    사실번역에서 빔 2 가 BLEU 34.50, 빔 12 가 34.81 로 차이가 작았고(Sutskever 2014 표 1), 탐색을 끝까지 정확히 하자 문장의 51.8%에서 빈 번역이 최고 점수였다(Stahlberg 2019 표 1).
  • 오해확률대로 그대로 뽑으면 사람 글과 가장 닮는다.
    사실순수 샘플링은 반복률 0.22%로 사람(0.28%)과 비슷하지만 perplexity 22.73 으로 사람 12.38 보다 크게 높아 꼬리 후보가 문장을 흐린다 — 상위 p 0.95 가 13.13 으로 가장 가까웠다(Holtzman 2020 표 1).

10핵심 정리

방식 · 설정고르는 기준결정성대표 값흔한 실패맞는 과제
탐욕매 단계 최댓값결정적반복률 73.66%(Holtzman 2020)반복 고리추출 · 분류
빔 탐색확률 곱 상위 b개결정적b = 2 로 이득 대부분(Sutskever 2014)짧은 출력 쏠림번역 · 요약
길이 보정log P ÷ lp(Y)결정적α 0.6 ~ 0.7(Wu 2016)너무 크면 긴 출력빔과 함께
온도 Tz ÷ T 로 분포 모양 조절확률적T < 0.9 반복 늚(Holtzman 2020)높으면 엉뚱한 낱말다른 절단과 함께
상위 k확률 순 k개확률적k = 10(Fan 2018) · 설정 없으면 50확신할 때 꼬리 남김이야기 · 대화
상위 p누적 확률 ≥ p 최소 집합확률적p 0.9 ~ 0.95p 가 낮으면 탐욕처럼긴 글 · 대화
min-p최댓값 × p_base 이상확률적p_base 0.05 ~ 0.1(Nguyen 2024)p_base 가 높으면 다양성 줆높은 온도 생성
반복 벌점나온 토큰 점수 ÷ θ설정에 따름θ ≈ 1.2(Keskar 2019)꼭 필요한 반복까지 막음탐욕 생성

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The Curious Case of Neural Text Degeneration (Holtzman et al. · ICLR 2020) — 상위 p 정의(식 2 · 3)와 방식별 반복률 · perplexity 표를 볼 때
    arXiv · 2019-04 · arxiv.org/abs/1904.09751 · 확인 2026-11-13
  3. ★ Sequence to Sequence Learning with Neural Networks (Sutskever et al. · NeurIPS 2014) — 번역에서 빔 폭 1 · 2 · 12 의 BLEU 차이를 볼 때
    arXiv · 2014-09 · arxiv.org/abs/1409.3215 · 확인 2026-11-13
  4. ★ Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (Wu et al.) — 빔 탐색의 길이 보정 식과 α 값을 볼 때
    arXiv · 2016-09 · arxiv.org/abs/1609.08144 · 확인 2026-11-13
  5. ★ On NMT Search Errors and Model Errors: Cat Got Your Tongue? (Stahlberg and Byrne · EMNLP 2019) — 탐색을 정확히 할수록 빈 번역이 이기는 모델 오류를 볼 때
    arXiv · 2019-08 · arxiv.org/abs/1908.10090 · 확인 2026-11-13
  6. ★ Turning Up the Heat: Min-p Sampling for Creative and Coherent LLM Outputs (Nguyen et al. · ICLR 2025) — 최댓값에 비례해 자르는 min-p 와 권장 범위를 볼 때
    arXiv · 2024-07 · arxiv.org/abs/2407.01082 · 확인 2026-11-13
  7. 본문 근거
  8. Hierarchical Neural Story Generation (Fan, Lewis and Dauphin · ACL 2018) — arXiv · 2018-05 · arxiv.org/abs/1805.04833 · 확인 2026-11-13
  9. CTRL: A Conditional Transformer Language Model for Controllable Generation (Keskar et al.) — arXiv · 2019-09 · arxiv.org/abs/1909.05858 · 확인 2026-11-13
  10. Transformers Generation — GenerationConfig 인자 설명 — Hugging Face · 2026-11 · huggingface.co/docs/transformers/main_classes/text_generation · 확인 2026-11-13