AI › 생성형 AI › LLM › 학습

선호 최적화(DPO)Direct Preference Optimization

사람이 고른 답과 버린 답의 쌍만으로, 보상 모델과 강화 학습 없이 언어 모델을 사람 선호 쪽으로 다시 맞추는 학습 방법이다. 고정한 기준 모델 대비 로그 확률 비의 차에 로지스틱 손실 하나를 건다.

1요약

  1. 선호 최적화(DPO)는 지시 튜닝(SFT)을 마친 LLM 을 사람이 고른 답 · 버린 답의 쌍으로 다시 맞추는 학습 뒤 단계로, RLHF 의 KL 벌점 목표를 분류 손실 하나(Rafailov 2023 식 7)로 바꿔 보상 모델 학습 · 강화 학습 · 학습 중 답 생성을 모두 없앴다.
  2. PPO 방식 RLHF 는 보상 모델을 먼저 학습하고 학습 중 답을 계속 생성해야 해 복잡하고 불안정했다 — DPO 는 같은 6B 이하 모델에서 요약 과제 승률 약 61% 로 PPO 의 57% 를 넘었고, 쓰는 모델은 정책 · 기준 둘뿐이다(Rafailov 2023 6.2절 · 초록).
  3. 「DPO 뒤 답이 이상하다」는 정확도와 고른 답 확률을 함께 보면 갈린다 — 정확도가 레이블 일치율 근처에서 멈췄으면 데이터 문제, 정확도는 올랐는데 고른 답의 로그 확률이 계속 내려가면 확률이 데이터에 없던 답으로 새는 것, 손실이 0.693 에서 꿈쩍하지 않으면 정책 · 기준 모델 연결 문제다.

2등장 배경

RLHF 는 선호 비교로 보상 모델을 학습하고, 그 보상을 PPO 로 키우며 KL 벌점을 건다. 학습 중 답을 계속 생성해 채점하고 가치 함수까지 추정해야 해 「복잡하고 자주 불안정하다」는 평가를 받았다(Rafailov 2023 초록 · 5.2절).

2023년 5월 Rafailov · Sharma · Mitchell 등은 KL 벌점 목표의 최적 정책을 거꾸로 풀어 보상을 r = β·log(π/π_ref) + β·log Z 로 적었다(식 5). 브래들리-테리 선호 확률은 두 답의 보상 차만 쓰므로 Z 가 지워지고, 사람 선호를 정책 확률만으로 적는 손실(식 7)이 남는다 — 논문 부제가 「언어 모델이 사실은 보상 모델」인 이유다. 실험은 감정 조절 · 요약 · 단일 대화 세 과제에서 6B 이하 모델로 했다(Rafailov 2023 6장).

그 뒤 2023년 10월 Azar 등이 확정된 선호에서 KL 제약이 사라지는 문제를 짚어 IPO 를 냈고(Azar 2023 4.2절), 2024년 KTO · ORPO · SimPO 가 이어졌다. 같은 해 Xu 등은 잘 조정한 PPO 가 코드 대회 과제에서 DPO 를 앞선다고 보고해(Xu 2024 초록), 지금은 두 방식을 함께 쓴다.

3쉽게 이해하기 — 사진 동아리 신입 수아의 사진 고르기

사진 동아리 신입 수아는 같은 장면을 두 번 찍은 사진 쌍 30개와, 선배가 그중 어느 쪽을 골랐는지 적힌 앨범을 받는다. 수아는 점수 매기는 심사 기계를 따로 만들지 않고, 고른 쪽처럼 찍는 습관은 늘리고 버린 쪽 습관은 줄인다 — 단 «지금 얼마나 찍나»가 아니라 입부 때 적어 둔 옛 습관 노트와 견줘 «얼마나 바꿨나»로 잰다. 지도 교사는 수아 허리에 고무줄을 매어 노트에서 너무 멀어지면 당긴다. 고무줄이 느슨하면 수아는 앨범에 한 번도 없던 필터 범벅 사진 쪽으로 쏠린다.

비교 기록 앨범 고른 쪽 · 버린 쪽 30쌍 1 선호 쌍 (x, y_w, y_l) 신입 수아 찍는 습관을 고침 정책 π_θ 옛 습관 노트 고치지 않고 보관 기준 모델 π_ref 앨범에 없던 사진 필터 범벅으로 쏠림 6 데이터 밖 답 두 사진 저울 바꾼 정도의 차를 잼 DPO 손실 · 암묵 보상 지도 교사의 고무줄 노트에서 멀면 당김 5 설정 값 β 2 3 4 느슨하면 사람 선호 정책 · 규칙 기준 모델 손실 설정 값 실패 점선 = 견줌 · 묶임 · 쏠림

그림 1 · 수아는 앨범의 쌍에서 고른 쪽 습관을 늘리되 옛 습관 노트 대비로 재고, 고무줄(β)이 느슨하면 앨범에 없던 사진으로 쏠린다.

앨범 받기고른 쪽 · 버린 쪽 쌍
옛 노트 펴기입부 때 습관
바꾼 정도 재기노트 대비 늘고 줄고
저울에 올리기고른 쪽이 더 늘었나
고무줄 당김노트에서 멀면
엉뚱한 쏠림앨범에 없던 사진
비유 — 노트 대비 바꾼 정도 실제 — 암묵 보상과 손실 옛 습관 = 막대 길이 1 고른 사진 × 2 로 늘림 버린 사진 × 0.5 로 줄임 저울 차 = β × (log 2 − log 0.5) = 0.5 × 1.39 = 0.69 손실 0.41 · 고칠 힘 0.33 고른 쪽이 이미 앞서면 힘이 작다 거꾸로 매긴 쌍이면 힘이 크다 r̂(y) = β · log(π_θ(y) / π_ref(y)) z = r̂(y_w) − r̂(y_l) · 손실 = −log σ(z) z 손실 가중치 σ(−z) −2 2.13 0.88 −1 1.31 0.73 0 0.69 0.50 1 0.31 0.27 2 0.13 0.12 z < 0 = 버린 답을 더 높게 매긴 쌍 기울기 = 가중치 × (고른 답 ↑ · 버린 답 ↓) 옛 습관 늘린 몫 줄인 몫

그림 2 · 저울은 «얼마나 바꿨나»의 차를 재고, 순서를 틀리게 매긴 쌍일수록 습관을 크게 고친다.

비유 속 역할실제 이름실제로 하는 일
비교 기록 앨범선호 쌍 데이터질문 x 마다 고른 답 y_w · 버린 답 y_l 을 한 줄로 모은다
옛 습관 노트기준 모델 π_refSFT 모델 사본으로, 학습 내내 고정되어 두 답의 로그 확률만 낸다
신입 수아정책 π_θ같은 SFT 가중치에서 시작해 손실을 따라 가중치가 바뀐다
두 사진 저울암묵 보상 · DPO 손실β·log(π_θ/π_ref) 의 차 z 에 −log σ(z) 를 건다
고칠 힘기울기 가중치 σ(−z)순서를 틀리게 매긴 쌍일수록 크게 고친다
지도 교사의 고무줄β클수록 기준 모델 가까이 머문다(TRL 기본 0.1)
앨범에 없던 사진데이터 밖 답쌍에 없던 답의 확률이 손실과 무관하게 커질 수 있다

⚠ 비유가 맞지 않는 곳: 수아는 사진을 한 장씩 고치지만, 실제 정책은 토큰마다 확률을 내고 한 답의 로그 확률은 토큰 로그 확률의 합이다. 고무줄도 따로 당기는 장치가 아니라 손실 안의 계수 β 하나이며, 학습이 끝나면 정책 혼자 답을 만든다.

4구조 — 쌍 데이터 · 정책 · 기준 모델 · 손실

DPO 학습 한 걸음에 드는 것은 쌍 데이터 한 묶음과 모델 둘이다. 정책과 기준 모델이 같은 쌍의 두 답에 로그 확률을 내고, 그 네 값으로 손실을 계산해 정책만 고친다. 기준 모델은 SFT 모델 사본이다(Rafailov 2023 4장).

기울기 = β·σ(−z)·(∇log π_θ(y_w) − ∇log π_θ(y_l)) 선호 쌍 데이터 x = 질문 y_w = 고른 답 y_l = 버린 답 정책 π_θ 학습함 기준 모델 π_ref 고정 · 미리 계산 가능 손실 계산 r̂(y) = β·log(π_θ(y) / π_ref(y)) z = r̂(y_w) − r̂(y_l) 손실 = −log σ(z) 쌍 묶음 평균 · 식 7 log π_θ ×2 log π_ref ×2 π_θ · π_ref 모두 SFT 모델 가중치에서 시작 PPO 방식에 있던 보상 모델 · 가치 모델 · 학습 중 답 생성 = 없음 사람 선호 학습하는 모델 고정 모델 손실 · 평가 강조 선 = 기울기

그림 3 · DPO 는 쌍 데이터의 두 답에 정책 · 기준 모델이 낸 로그 확률 네 개로 손실을 셈하고, 기울기는 정책에만 돌아간다.

요소입력 → 출력값 · 근거
선호 쌍질문 + 두 답 → 고른 쪽 표시쌍 (x, y_w, y_l) · 순위 K 개면 Plackett-Luce 로 넓힘(Rafailov 2023 부록 A.3)
정책 π_θ질문 + 답 → 토큰 로그 확률 합SFT 가중치에서 시작 · 유일하게 갱신
기준 모델 π_ref질문 + 답 → 로그 확률고정 · precompute_ref_log_probs 로 미리 계산해 메모리에서 뺄 수 있음(TRL DPOTrainer 문서)
암묵 보상 r̂두 모델 로그 확률 → 점수β·log(π_θ/π_ref) · TRL 지표 rewards/chosen · rewards/rejected
DPO 손실z → −log σ(z)시작 값 log 2 = 0.693 · 식 7
기울기 가중치z → σ(−z)가중치를 뺀 손실은 모델을 망가뜨림(Rafailov 2023 4장 · 부록 표 3)
β설정 값논문 기본 0.1 · 요약 과제 0.5(Rafailov 2023 부록 B) · TRL 기본 0.1

🔑 DPO 의 보상은 따로 학습한 모델이 아니라 β·log(π_θ/π_ref) 그 자체라서, 기준 모델이 빠지면 보상도 사라진다 — 기준 모델을 없앤 ORPO · SimPO 가 «보상»을 다른 식으로 새로 정의하는 이유다.

5동작 — 답 후보 여덟 개로 따라가는 DPO 학습

답 후보 여덟 개로 DPO 학습을 끝까지 따라간다. 직접 실행(합성 데이터)이며, 정책은 두 특징(내용 정확 c · 목록 항목 수 k)으로 기준 확률을 고치는 π_θ ∝ π_ref·exp(θ·φ) 이고, 확률 · 효용 · 학습률은 설명용 가정 값이다.

  1. 기준 모델 확률을 정한다 — A 0.20 · B 0.15 · C 0.15 · D 0.20 · E 0.15 · F 0.12 · G 0.015 · H 0.015 이고, 정확한 답은 A · B · C · H 다. G(틀림 · 목록 5개)와 H(정확 · 목록 5개)는 기준 모델이 드물게 내는 답이라 쌍 데이터에 한 번도 나오지 않는다.
  2. 선호 쌍 30개를 만든다 — A ~ F 에서 두 답을 뽑고, 평가자 효용 u = 2c + 0.3k 의 브래들리-테리 확률로 고른 쪽을 정한다(default_rng(0)). u 순서와 맞는 쌍은 24개(0.80)이고, 정확한 답이 이긴 쌍 15 · 틀린 답이 이긴 쌍 3 · 정확도가 같은 쌍 12 다.
  3. 정책을 기준과 같게 놓고 시작한다(θ = 0) — 모든 로그 비가 0 이라 손실은 log 2 = 0.693, 쌍마다 기울기 가중치는 0.5 다.
  4. β = 0.5 · 학습률 0.2 로 경사 하강 20번 뒤 — 손실 0.595 · rewards/accuracies 0.733 · rewards/margins 0.279 이고, logps/chosen 은 −1.867 에서 −1.887 로 이미 내려가기 시작한다.
  5. 1,000번 뒤 — 손실 0.506 · 정확도 0.800 · 여백 0.841 · 가중치 평균 0.325 다. 정확도는 2단계의 레이블 일치율 0.80 에서 멈추고 더 오르지 않는다.
  6. 확률을 읽는다 — logps/chosen −2.359 · logps/rejected −3.957 로 둘 다 내려갔고, C 는 0.15 → 0.46 · D 는 0.20 → 0.005 다. 쌍에 없던 H 는 0.015 → 0.169 로 열한 배가 되고 암묵 보상 1.21 로 여덟 답 중 가장 높으며, KL(π ‖ π_ref)는 0.884 다.
  7. β 만 바꿔 수렴할 때까지(4,000번) 다시 학습한다 — 손실 0.5062 · 여백 0.848 · 정확도 0.800 은 모든 β 에서 같고, β = 0.1 이면 H 0.984 · KL 4.08, β = 1 이면 H 0.066 · KL 0.332 다.
답별 확률 — 기준 π_ref ↔ 1,000번 뒤 π_θ(β = 0.5) 기준 π_ref 학습 뒤 π_θ 쌍에 없던 답 0 0.25 0.50 0.087 A 0.24 B 0.46 C 0.005 D 0.007 E 0.021 F 0.015 → 0.010 G 0.169 H 정확한 답 = A · B · C · H · 굵은 테두리 = 가장 크게 바뀐 데이터 밖 답 3 시작 손실 0.693 4 20번 뒤 정확도 0.733 5 1,000번 뒤 정확도 0.800 6 logps/chosen −1.867 → −2.359

그림 4 · β = 0.5 로 1,000번 학습하면 쌍에서 진 D 는 0.20 에서 0.005 로 줄고, 쌍에 한 번도 없던 H 가 0.015 에서 0.169 로 커진다.

0 0.5 1 0.05 0.1 0.2 0.5 1 2 β(로그 눈금) — 클수록 기준 모델 가까이 rewards/margins 0.848 rewards/accuracies 0.800 KL 4.20 KL 4.08 KL 2.67 사례 β 0.5 · 0.178 · KL 0.89 KL 0.33 KL 0.10 쌍에 없던 G · H 확률 합 여백(실선) · 정확도(점선) — 모든 β 같음 굵은 테두리 = 사례

그림 5 · 손실 · 여백 · 정확도는 모든 β 에서 같고, β 를 낮출수록 쌍에 없던 답의 확률과 KL 만 커진다.

🔑 β 는 «어느 답이 나은가»(암묵 보상의 차)를 바꾸지 않고 «기준 모델에서 얼마나 멀리 가는가»만 정한다 — 같은 보상에서 정책은 π_ref·exp(r̂/β) 꼴이라 β 가 작을수록 데이터가 말하지 않은 답까지 크게 움직인다.

사례의 H 처럼 쌍에 없던 답이 커지는 현상은 실제 LLM 에서도 보고됐다(Xu 2024 4장). 시드 0 ~ 9 에서도 logps/chosen 은 모두 내려갔고, 쌍에 없던 두 답의 확률 합은 0.07 ~ 0.54 로 갈렸다.

6비교 — DPO 와 변종(IPO · KTO · ORPO · SimPO)

PPO 방식 RLHF · RLAIF 와의 비교는 RLHF 의 비교 절이 맡고, 여기서는 DPO 손실을 고친 변종끼리 견준다.

방법필요한 데이터기준 모델손실 꼴고치려는 약점
DPO쌍 (x, y_w, y_l)필요−log σ(β·로그 비 차)(Rafailov 2023 식 7)— (출발점)
IPO쌍필요(로그 비 차 − 1/(2τ))² 제곱 손실(Azar 2023 5.2절)확정된 선호에서 로그 비 차가 끝없이 커지는 과적합
KTO답 하나 + 좋음 · 나쁨 표시필요전망 이론 가치 함수(Ethayarajh 2024 4장)쌍을 모으는 비용(좋은 예를 90% 줄여도 DPO 수준 · 초록)
ORPO쌍없음SFT 손실 + λ·(−log σ(로그 오즈비))(Hong 2024 식 6)SFT 와 선호 학습을 두 단계로 나누는 비용
SimPO쌍없음−log σ(β/|y|·평균 로그 확률 차 − γ)(Meng 2024 식 6)학습 보상과 생성 확률의 어긋남 · 길이 편향

SimPO 저자들은 DPO 로 학습한 뒤에도 학습 쌍의 약 50% 만 «고른 답의 평균 로그 확률이 더 높다»는 조건을 만족했다고 보고했다(Meng 2024 2.2절). 기준 대비 비율인 보상과 생성 확률의 순서가 다를 수 있다는 뜻이다.

분석쌍 데이터와 SFT 모델이 이미 있으면 DPO 로 시작하고, 같은 쌍이 늘 같은 쪽으로 판정된 데이터를 여러 epoch 돌리면 IPO, 좋음 · 나쁨 표시만 있고 쌍이 없으면 KTO, 기준 모델을 올릴 메모리가 없거나 SFT 를 따로 돌리기 싫으면 ORPO · SimPO 를 고른다. 근거는 표의 「필요한 데이터」 · 「기준 모델」 열 — 변종은 손실 모양보다 «무엇이 없어도 되는가»에서 갈린다(Azar 2023 4.2절 · Hong 2024 초록).

7실무 진단 — 데이터 · 정책 · 기준 모델 단계 가르기

분석시작 손실이 0.693 인지부터 보고, 다음 rewards/accuracies 가 멈춘 값을 레이블 일치율과 견주고, 마지막에 logps/chosen 추세와 데이터 밖 형식의 답을 본다. 시작 값이 틀리면 기준 모델 연결이 잘못된 것이라 뒤 지표가 모두 의미를 잃기 때문이다(Rafailov 2023 식 7 · TRL DPOTrainer 문서).

#증상의심 원인단계확인 자료(TRL 지표)판정 기준(근거)
1첫 걸음 손실이 0.693 이 아님정책 · 기준 모델 가중치 불일치 · 대화 템플릿 차이기준 모델loss · rewards/chosen · rewards/rejectedθ = π_ref 에서 로그 비 0 → 손실 log 2(식 7) · 두 보상이 0 이 아니면 연결 오류
2정확도가 0.6 ~ 0.8 에서 멈춤레이블 잡음 · 평가자 불일치데이터rewards/accuracies · 평가 셋 정확도레이블 일치율이 상한(사례 0.80 = 0.80) · epoch 를 늘리지 말고 레이블을 다시 봄
3여백은 크는데 고른 답 확률이 계속 내려감두 답이 비슷한 쌍 · 확률이 다른 답으로 샘정책logps/chosen · rewards/margins편집 거리가 작은 쌍에서 잦음(Pal 2024) → SFT 손실을 섞는 ORPO 류 · β 를 키움
4데이터에 없던 형식(목록 · 길이)의 답이 늘어남데이터 밖 답으로 확률 쏠림정책표본 답 · 기준 대비 KL · 평균 길이쌍이 정책 분포와 멀수록 심함(Xu 2024 4장) → 정책 답으로 쌍을 다시 만들어 반복 학습 · 길이는 SimPO
5같은 쌍을 여러 epoch 돌릴수록 버린 답 확률이 0 으로 감확정된 선호의 과적합정책logps/rejected · rewards/margins 가 계속 커짐KL 제약이 사실상 사라짐(Azar 2023 4.2절) → loss_type="ipo" · 조기 종료

지표 이름은 Hugging Face TRL 문서 기준이며, 다른 학습 프레임워크에서는 고른 답 · 버린 답의 로그 확률과 암묵 보상 차를 직접 기록해 같은 순서로 대조한다. 4행은 지표만으로 보이지 않으므로 학습 중에도 표본 답을 사람이 정기적으로 읽는다.

8시험 대비

시험에서는 DPO 의 원리와 손실 식을 쓰는 정의 · 특징형, 그리고 RLHF 에서 DPO · 변종으로 넘어가는 흐름과 한계를 쓰는 동향 · 발전형이 나올 수 있다. 정의형이면 재매개화 → 식 7 → 구조 그림 순으로 «보상 모델이 왜 필요 없나»를 먼저 보이고, 동향형이면 변종 표를 «무엇이 없어도 되나» 축으로 정리한 뒤 데이터 밖 답 · 고른 답 확률 하락 같은 한계를 짝지어 쓴다.

답안 목차
  1. 개요 — 정의(쌍 데이터 + 기준 모델 + 분류 손실) · 연도(2017 사람 선호 학습 → 2022 PPO 방식 RLHF → 2023 DPO)
  2. 원리 — KL 벌점 목표의 최적 정책 → 보상 재매개화 r = β·log(π/π_ref) + β·log Z → Z 소거 → 식 7
  3. 구조 — 그림 3 정책 · 기준 두 모델과 손실 계산 + 요소 표(β 0.1 · 0.5 · 시작 손실 0.693 · 기울기 가중치 σ(−z))
  4. 동작 사례 — 그림 4 답 8개 학습(정확도 0.80 에서 멈춤 · 쌍에 없던 H 0.015 → 0.169) · 그림 5 β 와 KL 관계
  5. 변종 비교 — IPO · KTO · ORPO · SimPO 표(데이터 · 기준 모델 · 손실 꼴) · 선택 기준
  6. 한계와 대응 — 데이터 밖 답(Xu 2024) · 고른 답 확률 하락(Pal 2024) · 확정 선호 과적합(Azar 2023) · 대응 = β 조정 · 반복 DPO · 변종 손실

꼭 쓸 키워드
선호 쌍기준 모델암묵 보상보상 재매개화브래들리-테리 모델βKL 제약IPOKTOORPOSimPO

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «β 를 바꿔도 손실 · 정확도는 같고 KL 과 데이터 밖 답 확률만 바뀐다»를 숫자로 보이는 것이다 — 「β 는 KL 강도」 한 줄 대신 β 가 무엇을 바꾸고 무엇을 바꾸지 않는지 갈라 쓴다.

9오해와 사실

  • 오해DPO 는 강화 학습을 쓰지 않으므로 KL 제약도 없다.
    사실DPO 는 KL 벌점이 붙은 RLHF 목표의 최적해에서 출발한 손실이라 β 가 그 KL 계수 자체이며, 사례에서도 β 를 1 에서 0.1 로 낮추자 KL 이 0.332 에서 4.08 로 커졌다(Rafailov 2023 3장 식 3 · 4장 식 7).
  • 오해rewards/accuracies 가 오르면 고른 답이 나올 확률도 오른다.
    사실암묵 보상은 두 답의 기준 대비 비율의 차라 두 확률이 함께 내려가도 커지며, 사례에서도 정확도가 0.800 이 되는 동안 logps/chosen 은 −1.867 에서 −2.359 로 내려갔다(Pal 2024 초록).
  • 오해보상 모델이 없으니 보상을 악용하는 문제도 없다.
    사실평가받지 않은 답으로 확률이 쏠리는 같은 꼴의 문제가 있으며, 사례의 H 는 쌍에 한 번도 없었지만 암묵 보상이 가장 높아졌다(Xu 2024 4장).

10핵심 정리

구분맡는 일식 · 값확인 지표흔한 실패
선호 쌍사람 판단을 담음(x, y_w, y_l) · 레이블 일치율 = 정확도 상한rewards/accuracies레이블 잡음 · 정책 분포와 멂
정책 π_θ유일하게 학습SFT 가중치에서 시작logps/chosen고른 답 확률 하락
기준 모델 π_ref보상의 기준 · 고정미리 계산 가능시작 손실 0.693정책과 불일치
암묵 보상답의 점수β·log(π_θ/π_ref)rewards/margins생성 확률 순서와 어긋남
DPO 손실쌍 분류−log σ(z) · 가중치 σ(−z)loss확정 선호 과적합
β기준에서 멀어지는 정도0.1(기본) · 0.5(요약)KL · 표본 답작으면 데이터 밖 답 쏠림
데이터 밖 답쌍에 없던 답손실과 무관하게 확률 변화표본 답 · 길이반복 DPO · 변종으로 대응
변종약점별 손실 교체IPO · KTO · ORPO · SimPO손실 종류(loss_type)데이터 형태와 안 맞는 선택

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Direct Preference Optimization: Your Language Model is Secretly a Reward Model (NeurIPS 2023 · arXiv 2305.18290) — 보상 재매개화(식 5)에서 DPO 손실(식 7)과 기울기 가중치가 나오는 과정을 볼 때
    arXiv · 2023-05 · arxiv.org/abs/2305.18290 · 확인 2026-11-13
  3. ★ A General Theoretical Paradigm to Understand Learning from Human Preferences (AISTATS 2024 · arXiv 2310.12036) — 결정적 선호에서 KL 제약이 약해지는 이유와 IPO 손실을 볼 때
    arXiv · 2023-10 · arxiv.org/abs/2310.12036 · 확인 2026-11-13
  4. ★ Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study (ICML 2024 · arXiv 2404.10719) — 데이터 밖 답으로 확률이 쏠리는 DPO 의 한계와 PPO 와의 비교 결과를 볼 때
    arXiv · 2024-04 · arxiv.org/abs/2404.10719 · 확인 2026-11-13
  5. ★ Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive (arXiv 2402.13228) — 고른 답의 확률까지 떨어지는 실패와 그 조건(편집 거리)을 볼 때
    arXiv · 2024-02 · arxiv.org/abs/2402.13228 · 확인 2026-11-13
  6. 본문 근거
  7. TRL v1.17.1 DPO Trainer (loss_type · DPOConfig beta · precompute_ref_log_probs · Logged metrics) — Hugging Face · 2026-11 · huggingface.co/docs/trl/dpo_trainer · 확인 2026-11-13
  8. KTO: Model Alignment as Prospect Theoretic Optimization (ICML 2024 · arXiv 2402.01306) — arXiv · 2024-02 · arxiv.org/abs/2402.01306 · 확인 2026-11-13
  9. ORPO: Monolithic Preference Optimization without Reference Model (EMNLP 2024 · arXiv 2403.07691) — arXiv · 2024-03 · arxiv.org/abs/2403.07691 · 확인 2026-11-13
  10. SimPO: Simple Preference Optimization with a Reference-Free Reward (NeurIPS 2024 · arXiv 2405.14734) — arXiv · 2024-05 · arxiv.org/abs/2405.14734 · 확인 2026-11-13
  11. NumPy 2.4 numpy.random.default_rng (Random Generator) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13