AI › 생성형 AI › LLM › 학습

RLHF인간 피드백 강화 학습 · Reinforcement Learning from Human Feedback

사람이 두 답 가운데 더 나은 쪽을 고른 비교 기록으로 보상 모델을 학습하고, 그 보상을 강화 학습으로 키우도록 언어 모델을 다시 맞추는 학습 방법이다.

1요약

  1. RLHF 는 사전 학습을 마친 LLM 을 사람의 선호 비교로 다시 맞추는 학습 뒤 단계로, 지도 미세 조정(SFT) → 선호 데이터 → 보상 모델 → PPO 의 네 단계(Ouyang 2022 3.5절)를 거치며 대화형 어시스턴트의 지시 따르기 · 거절 · 답 형식이 이 단계에서 정해진다.
  2. 「좋은 답」은 손실 식으로 적기 어렵지만 두 답 가운데 하나를 고르기는 쉽다 — 시뮬레이션 로봇 Hopper 는 보상 함수 없이 사람 비교 900번(사람 시간 1시간 미만)만으로 뒤공중제비를 배웠다(Christiano 2017 3.2절).
  3. 「RLHF 뒤 답이 이상하다」는 보상 점수와 KL 의 짝으로 가른다 — 점수가 오르지 않으면 보상 모델 · 데이터, 점수는 오르는데 사람 평가가 떨어지고 KL 이 계속 커지면 보상 해킹, KL 이 0 근처에 머물면 정책이 거의 움직이지 않은 것이다.

2등장 배경

강화 학습은 보상 함수가 있어야 도는데, 「식탁을 치운다」 같은 목표는 센서 값의 식으로 적기 어렵고 대충 만든 식은 의도와 다른 행동만 키운다(Christiano 2017 1장). 2017년 Christiano · Leike 등은 사람에게 두 궤적 조각 중 나은 쪽만 묻고, 그 비교를 브래들리-테리 모델(Bradley 1952)로 풀어 보상 함수를 학습했다 — 피드백은 에이전트 상호작용의 1% 미만이었다.

2019년 Ziegler 등은 같은 방법을 언어 모델에 옮기며, 보상에서 β·log(π/ρ) 를 빼는 KL 벌점으로 정책이 원래 모델에서 너무 멀어지지 않게 했다(Ziegler 2019 2.2절). 2022년 Ouyang 등의 InstructGPT 는 평가자 약 40명의 시연과 순위로 SFT · 보상 모델 · PPO 세 단계를 정리했고(Ouyang 2022 3.4 · 3.5절), 이 절차가 대화형 LLM 학습의 기본형이 됐다.

지금은 같은 목표를 분류 손실 하나로 푸는 DPO(Rafailov 2023)와, 사람 대신 AI 가 선호를 매기는 RLAIF(Bai 2022 · Lee 2023)가 함께 쓰인다. 선호 비교로 보상을 정하는 뼈대는 세 방식 모두 같다.

3쉽게 이해하기 — 요리 경연을 준비하는 신입 요리사 준호

신입 요리사 준호는 먼저 레시피 책의 시범 요리를 그대로 따라 하며 기본을 익힌다. 시식단은 준호가 낸 두 접시를 맛보고 더 나은 쪽에 한 표를 던지지만 매번 올 수는 없어서, 식당은 그 표 기록으로 접시마다 점수를 매기는 심사 로봇을 훈련한다. 준호는 로봇 점수가 오르도록 연습하고, 수석 셰프는 준호가 레시피에서 너무 벗어나면 감점한다. 로봇이 단맛에 후하다는 것을 알아챈 준호가 설탕만 들이붓기 시작하면 점수는 오르는데 손님은 떠난다.

레시피 책 시범 요리 따라 하기 1 SFT · 시연 데이터 신입 요리사 준호 점수가 오르게 연습 정책 · LLM 수석 셰프 레시피에서 멀면 감점 5 기준 모델 · KL 벌점 시식단 두 접시 중 한 표 2 평가자 · 선호 비교 심사 로봇 표로 배운 점수판 3 보상 모델 설탕만 붓기 점수는 오르고 손님은 떠남 보상 해킹 두 접시 4 원래 레시피(SFT) 사람 선호 정책 보상 모델 실패 점선 = 로봇 버릇을 노림

그림 1 · 준호는 레시피 책으로 시작해 시식단의 표로 훈련한 심사 로봇의 점수를 쫓고, 수석 셰프의 감점이 레시피에서 멀어지는 것을 막는다.

레시피 익히기시범 요리를 그대로
두 접시 시식나은 쪽에 한 표
심사 로봇 훈련표 기록으로 점수판
점수 보고 연습높은 점수 쪽으로
셰프의 감점레시피에서 멀면
설탕 붓기로봇 버릇만 노림
비유 — 심사 로봇의 점수판 실제 — 브래들리-테리 모델 국수 비빔밥 갈비찜 0점 1점 2점 1점 차 → 100번 중 73번 이김 2점 차 → 100번 중 88번 이김 시식단의 표 = 점수를 맞추는 정답지 표와 어긋난 점수만큼 로봇을 고침 P(y_w ≻ y_l) = σ(r_w − r_l) σ(z) = 1 / (1 + e^(−z)) · w = 고른 답 · l = 버린 답 점수 차 이길 확률 손실 −log σ 0 0.50 0.69 1 0.73 0.31 2 0.88 0.13 손실이 줄도록 r 을 고침 = 보상 모델 학습 모든 r 에 같은 수를 더해도 확률은 그대로 그래서 점수 평균을 0 으로 맞춰 쓴다

그림 2 · 심사 로봇의 점수 차는 시식에서 이길 확률이 되고, 로봇은 시식단의 표와 그 확률이 맞도록 점수를 고친다.

비유 속 역할실제 이름실제로 하는 일
레시피 책SFT · 시연 데이터사람이 쓴 모범 답으로 사전 학습 모델을 지도 학습한다
신입 요리사 준호정책(학습 중인 LLM)프롬프트마다 답을 생성하고 가중치가 바뀐다
시식단의 한 표평가자 · 선호 비교같은 프롬프트의 답 K 개에 순위를 매겨 쌍 비교를 만든다
심사 로봇보상 모델프롬프트 · 답을 받아 점수 하나를 낸다
점수 보고 연습PPO 강화 학습보상의 기댓값이 커지도록 정책을 조금씩 고친다
수석 셰프의 감점기준 모델 · KL 벌점정책이 SFT 모델에서 멀어진 만큼 보상에서 뺀다
설탕만 붓기보상 해킹보상 모델의 약점을 키워 점수만 오르고 실제 품질은 떨어진다

⚠ 비유가 맞지 않는 곳: 시식단은 접시를 하나씩 채점하지 않고 둘을 비교만 하며, 심사 로봇의 점수는 비교 확률을 맞추려고 만든 상대 값이라 「몇 점이면 합격」 같은 절대 기준이 없다. 실제 LLM 의 「접시」는 토큰을 하나씩 이어 붙인 답이고, KL 벌점도 토큰마다 계산한다.

4구조 — 네 단계와 학습 중 쓰는 네 모델

RLHF 는 앞 단계의 출력이 다음 단계의 입력이 되는 사슬이다. SFT 모델이 답 후보를 만들고, 평가자의 순위가 보상 모델을 학습시키고, 보상 모델이 PPO 의 보상을 낸다. SFT 모델의 사본은 고정된 기준 모델로 남아 KL 벌점을 계산한다(Ouyang 2022 3.5절).

정책의 시작 가중치 = SFT 모델 ① 지도 미세 조정 SFT ② 선호 데이터 평가자 순위 ③ 보상 모델 RM ④ 강화 학습 PPO 정책 입력 시연 답 프롬프트 약 13k 16 epoch 출력 SFT 모델 SFT 답 K = 4 ~ 9개 K 개 중 2 = 쌍 비교 프롬프트 33k 출력 비교 기록 SFT + 점수 머리 BT 손실 · 6B 평균 0 으로 보정 출력 점수 r 프롬프트 31k r − β·KL 최대화 β = 0.02 출력 정렬 모델 사본 고정 기준 모델 π_ref 갱신하지 않음 토큰마다 KL 벌점 β·log(π / π_ref) 답마다 점수 r 시연 · 기준 모델 사람 선호 보상 모델 정책 · 학습 규칙 점선 = 가중치 복사

그림 3 · RLHF 는 SFT → 선호 데이터 → 보상 모델 → PPO 의 사슬이고, 고정된 SFT 사본이 PPO 의 보상에서 KL 벌점을 뺀다.

요소입력 → 출력사례 값(InstructGPT)근거
SFT 모델시연 답 → 지시를 따르는 모델프롬프트 약 13k · 16 epochOuyang 2022 3.5절
선호 데이터답 K 개 → 순위 → 쌍 비교 C(K,2)K = 4 ~ 9 · 프롬프트 33kOuyang 2022 3.5절
보상 모델프롬프트 + 답 → 점수 하나6B · 175B 는 학습이 불안정Ouyang 2022 3.5절
정책(PPO)프롬프트 → 답 · 보상으로 갱신프롬프트 31k · 256k 에피소드Ouyang 2022 부록 C.4
기준 모델같은 답의 확률 → KL 계산β = 0.02 · 갱신 안 함Ouyang 2022 부록 C.4
가치 모델상태 → 앞으로 받을 보상 추정보상 모델로 초기화Ouyang 2022 3.5절

선호 데이터는 비싸고 사람마다 다르다. InstructGPT 평가자끼리의 일치율은 72.6 ± 1.5% 였고, 논문은 이 모델이 「사람 전체」가 아니라 그 평가자 · 연구자 · 지침에 맞춰졌다고 밝힌다(Ouyang 2022 3.4 · 5.2절). Casper 2023 은 한계를 피드백 수집 · 보상 모델 · 정책 세 단계로 나눠 정리한다(3.1 ~ 3.3절).

🔑 보상 모델은 사람 판단을 근사한 대리 지표이고, KL 벌점은 정책이 그 근사가 맞는 범위인 SFT 분포 근처를 벗어나지 않게 막는다.

5동작 — 답 후보 여섯 개로 따라가는 보상 모델과 KL 벌점

질문 하나에 답 후보 여섯 개만 있는 작은 경우로 네 단계를 끝까지 계산한다. Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 직접 실행한 합성 데이터이며, 품질 · 길이 · 길이 편향은 설명용 가정 값이다.

  1. SFT 모델이 같은 질문에 낸 답 후보 A ~ F 를 기준 정책 π_ref 로 둔다 — 확률은 모두 1/6, 길이 60 ~ 400 토큰, 실제 품질은 B 가 1.2 로 가장 높고 같은 말을 되풀이해 늘인 F 는 −0.3 이다.
  2. 평가자 순위 20건을 만든다 — 건마다 후보 4개(K = 4)에 순위를 매겨 C(4,2) = 6 쌍씩, 모두 120 비교다. 평가자가 느끼는 점수는 실제 품질에 0.008 × (길이 − 150)을 더한 것으로 두어(길이 편향 · 가정), F 가 1.70 으로 가장 좋아 보인다.
  3. 보상 모델을 학습한다 — 답마다 점수 r 하나를 두고 −log σ(r_w − r_l) 의 평균을 경사 하강 3,000번으로 줄인다. 손실은 0.693(모든 점수 0 = log 2)에서 0.499 로, 비교 정확도는 0.767 이 된다.
  4. 점수를 읽는다 — r = A −0.05 · B 0.56 · C 0.74 · D −0.88 · E −1.56 · F 1.20(평균 0)이다. P(B ≻ A) = σ(0.61) = 0.647 · P(F ≻ B) = σ(0.64) = 0.654 이며, 실제 품질과 순서가 맞는 쌍은 15쌍 중 10쌍이다.
  5. 정책을 갱신한다 — KL 벌점 목표 E[r] − β·KL(π ‖ π_ref) 의 최적해 π(y) ∝ π_ref(y)·exp(r(y)/β)(Rafailov 2023 4절 식 4)를 바로 계산한다. 실제 PPO 는 이 목표를 답 생성과 비율 클리핑 ε = 0.2 로 조금씩 따라간다(Schulman 2017 3절).
  6. β = 1 이면 KL 0.283 · 보상 점수 0.658 · 실제 품질 0.376 이다 — 기준 정책의 실제 품질 0.167 보다 좋아졌고 F 의 확률은 0.379 다.
  7. β = 0.1 이면 KL 1.722 · 보상 점수 1.190 · 실제 품질 −0.286 이다 — 정책이 F 에 확률 0.988 을 몰아 평균 길이가 398 토큰이 되고, 보상 해킹이 일어난다.
1 답 후보 6개 A ~ F · 확률 1/6 길이 60 ~ 400 토큰 2 평가자 순위 20건 K = 4 → 6 비교씩 모두 120 비교 3 보상 모델 학습 BT 손실 · 3,000번 손실 0.693 → 0.499 4 답별 실제 품질 ↔ 보상 점수 r 실제 품질(가정 값) 보상 점수 r 0 1.0 −0.05 A · 60 1.2 0.56 B · 120 0.80 0.74 C · 240 −0.50 −0.88 D · 100 −1.2 −1.56 E · 80 −0.30 1.20 F · 400 굵은 테두리 = 실제와 가장 어긋난 점수 5 KL 벌점 최적해 π ∝ π_ref · exp(r/β) β 를 바꿔 계산 6 β = 1 KL 0.283 · 품질 0.376 F 확률 0.379 7 β = 0.1 · 보상 해킹 KL 1.722 · 품질 −0.286 F 확률 0.988 막대 아래 = 답 이름 · 길이(토큰) · 실제 품질 B 최고 · 보상 점수 F 최고

그림 4 · 길이에 끌린 비교 120개로 배운 보상 모델은 되풀이 답 F 를 1.20 으로 가장 높게 매기고, β 를 0.1 로 낮추면 정책이 F 에 몰린다.

보상 해킹 구간 — 실제 품질 < 기준 정책 0 0.5 1 1.5 0 0.5 1 KL(π ‖ π_ref) — β 를 낮출수록 오른쪽 기준 정책의 실제 품질 0.167 β = 1 · 품질 최고 0.376 β = 0.1 · 품질 −0.286 보상 점수 1.190 보상 점수(보상 모델이 본 값) 실제 품질(가정 값)

그림 5 · KL 이 커질수록 보상 점수는 계속 오르지만 실제 품질은 β = 1(KL 0.283)에서 가장 높고, 그 뒤로는 기준 정책보다 나빠진다.

🔑 보상 점수가 오르는 동안에도 실제 품질은 떨어질 수 있다 — 사례에서 KL 이 0.283 을 넘어서자 보상 점수는 0.658 에서 1.190 으로 오르고 실제 품질은 0.376 에서 −0.286 으로 내려갔다.

이 모양은 Gao 2022 가 「정답 보상 모델」을 사람 대신 두고 잰 과최적화와 같다 — 대리 보상을 최적화할수록 정답 점수는 오르다가 꺾인다(Gao 2022 1장). Ziegler 2019 의 요약 모델이 입력 문장을 통째로 베끼는 「똑똑한 복사기」가 된 것도 평가자가 빠르게 확인하는 습관을 정책이 이용한 사례다(Ziegler 2019 3.2.1절).

6비교 — PPO 방식 · DPO · AI 피드백(RLAIF)

기준PPO 방식 RLHFDPORLAIF · 헌법 방식
선호 레이블을 주는 쪽사람 평가자사람 평가자(같은 쌍 비교)원칙 목록을 받은 LLM(Bai 2022)
보상 모델따로 학습없음 — β·log(π/π_ref) 가 암묵 보상따로 학습(AI 선호로)
학습 중 답 생성필요(온라인)필요 없음(모은 쌍만)필요
함께 올리는 모델정책 · 기준 · 보상 · 가치 4개정책 · 기준 2개PPO 방식 + 레이블 LLM
KL 을 다루는 법보상에서 β·KL 을 뺌(β 0.02)손실 안의 β(TRL 기본 0.1)PPO 방식과 같음
약점설정 · 계산이 많고 불안정모은 데이터 밖 답은 못 고침레이블 LLM 의 편향이 그대로 옮음

DPO 는 KL 벌점 목표의 최적해를 정책 식으로 바꿔 놓고, 브래들리-테리 손실을 정책에 바로 걸어 같은 문제를 분류 손실 하나로 푼다(Rafailov 2023 4절 식 7). 헌법 방식은 자연어 원칙 목록만 사람이 쓰고, 모델이 자기 답을 비판 · 수정한 뒤(SL 단계) AI 가 두 답을 비교한 선호로 강화 학습한다(Bai 2022 · 초록). Lee 2023 은 요약 · 도움 대화 · 무해 대화에서 RLAIF 가 RLHF 와 견줄 만한 성능을 냈다고 보고한다.

분석쌍 비교 데이터가 이미 모였고 학습 중 답 생성 · 채점 설비가 없으면 DPO 를, 새 프롬프트에서 답을 계속 만들어 같은 보상 모델로 채점하며 맞추려면 PPO 방식을, 사람 레이블 비용이 병목이면 RLAIF 로 레이블을 늘린다. 근거는 표의 「학습 중 답 생성」 · 「함께 올리는 모델」 행 — DPO 는 생성 단계를 없애 모델 수를 반으로 줄인다(Rafailov 2023 초록).

7실무 진단 — 보상 모델 · 정책 · 사람 평가 단계 가르기

분석보상 모델 검증 정확도부터 보고, 다음 정책의 보상 점수와 KL, 마지막에 사람 평가를 본다. 보상 모델이 비교를 못 맞히면 정책 단계의 점수 변화는 원인이 아니라 결과이기 때문이다(Ouyang 2022 3.5절).

#증상의심 원인단계확인 자료(TRL 지표)판정 기준(근거)
1보상 모델 검증 정확도가 0.5 근처레이블 잡음 · 평가자 불일치 · 과적합보상 모델accuracy · margin(RewardTrainer)평가자 일치율 72.6 ~ 77.3% 가 사실상 상한 · 같은 프롬프트의 비교를 한 묶음으로 학습(Ouyang 2022 3.4 · 3.5절)
2점수는 오르는데 사람 평가가 떨어지고 답이 길어짐보상 해킹 · 과최적화정책objective/scores · objective/kl · 표본 답 길이KL 이 계속 커지는 동안 정답 점수가 꺾임(Gao 2022) → β 를 키우거나 보상 모델을 새 데이터로 다시 학습
3KL · 점수가 모두 거의 그대로β 가 너무 큼 · 학습률이 작음정책objective/kl · objective/non_score_rewardnon_score_reward = β·KL 합(TRL PPO) · 점수 변화 없이 벌점만 크면 β 과대
4갱신마다 답이 크게 흔들림PPO 갱신 폭 과대정책val/ratio · policy/clipfrac_avgratio 가 1.0 근처여야 하고 2.0 · 0.1 처럼 벗어나면 갱신이 과격(TRL PPO Cookbook · cliprange 0.2)
5DPO 에서 rewards/accuracies 는 높은데 답이 나빠짐고른 답의 확률까지 함께 떨어짐정책(DPO)logps/chosen · rewards/margins여백은 대개 버린 답의 확률을 낮춰 만든다(TRL DPO) · logps/chosen 추세를 함께 봄

지표 이름은 Hugging Face TRL 문서 기준이며, 다른 학습 프레임워크를 쓰면 보상 점수 · KL · 클리핑 비율에 해당하는 지표를 찾아 같은 순서로 대조한다. 2행은 사람 평가 없이 보상 점수만으로는 보이지 않으므로, 학습 중에도 표본 답을 정기적으로 사람이 읽는다.

8시험 대비

출제 정보 정보관리(139회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 RLHF 의 단계와 보상 모델의 원리를 쓰는 정의 · 특징형, 그리고 PPO 방식에서 DPO · RLAIF 로 넘어가는 흐름과 한계를 쓰는 동향 · 발전형이 나올 수 있다. 정의형이면 네 단계 그림과 브래들리-테리 손실로 뼈대를 세우고, 동향형이면 비교표 뒤에 보상 해킹 · 선호 데이터 비용 · 정렬 대상의 한계를 짝지어 쓴다.

답안 목차
  1. 개요 — 정의(사람 선호 비교 → 보상 모델 → 강화 학습) · 연도(2017 Christiano · 2019 Ziegler KL 벌점 · 2022 InstructGPT)
  2. 구성 — 그림 3 네 단계 사슬 + 요소 표(SFT 13k · 선호 K = 4 ~ 9 · 보상 모델 6B · PPO 31k · β 0.02)
  3. 보상 모델 원리 — 브래들리-테리 P = σ(r_w − r_l) · 손실 −log σ · 그림 4 사례(120 비교 · 손실 0.693 → 0.499)
  4. 정책 갱신과 KL 벌점 — 목표 E[r] − β·KL · PPO 클리핑 ε 0.2 · 그림 5 보상 해킹 곡선(β = 1 최고 · β = 0.1 붕괴)
  5. 발전 — DPO(보상 모델 · 생성 없음) · RLAIF · 헌법 방식 비교표 · 선택 기준
  6. 한계와 대응 — 보상 해킹 · 평가자 일치율 72.6% · 정렬 대상(평가자 · 지침) · 대응 = β 조정 · 보상 모델 재학습 · 사람 표본 평가

꼭 쓸 키워드
선호 데이터보상 모델브래들리-테리 모델PPOKL 벌점보상 해킹기준 모델DPORLAIF헌법 방식

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 보상 점수와 실제 품질을 한 축에 그린 곡선이다 — 「보상 해킹 = 보상의 허점을 이용함」 한 줄 대신 KL 이 커지며 두 값이 갈라지는 지점을 숫자로 보인다.

9오해와 사실

  • 오해RLHF 는 모델에 새 지식을 넣는 단계다.
    사실사전 학습에서 얻은 능력 가운데 어떤 답을 고를지와 답의 형식을 바꾸는 단계이며, 175B PPO-ptx 학습 계산량 60 petaflops/s-days 는 GPT-3 사전 학습 3,640 의 2% 에 못 미친다(Ouyang 2022 5.1절).
  • 오해DPO 는 RLHF 와 다른 목표를 푼다.
    사실DPO 는 KL 벌점이 붙은 같은 RLHF 목표를 보상 모델 없이 분류 손실로 푸는 방법이다(Rafailov 2023 초록 · 4절).
  • 오해RLHF 를 거친 모델은 사람들의 가치에 맞춰져 있다.
    사실InstructGPT 는 주로 미국 · 동남아시아의 영어 사용 평가자와 연구자 지침에 맞춰졌고, 평가자끼리도 약 73% 만 일치했다(Ouyang 2022 5.2절).

10핵심 정리

구분입력출력학습 신호대표 값흔한 실패
SFT시연 답SFT 모델 · 기준 모델다음 토큰 손실프롬프트 13k시연 품질이 상한
선호 데이터SFT 답 K 개쌍 비교평가자 순위K = 4 ~ 9 · 일치율 72.6%길이 · 말투 편향
보상 모델프롬프트 + 답점수 r−log σ(r_w − r_l)6B · 검증 정확도과적합 · 허점
PPO 정책프롬프트정렬 모델r − β·KLβ 0.02 · ε 0.2보상 해킹
KL 벌점정책 · 기준 확률벌점토큰마다 log 비objective/klβ 과대 · 과소
DPO쌍 비교정렬 모델β·log(π/π_ref) 차의 σβ 0.1(TRL)데이터 밖 답
RLAIF원칙 목록 · 답AI 선호AI 레이블헌법 방식레이블 LLM 편향

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Training language models to follow instructions with human feedback (NeurIPS 2022 · arXiv 2203.02155) — SFT · 보상 모델 · PPO 세 단계의 데이터 규모와 손실 식을 볼 때
    arXiv · 2022-03 · arxiv.org/abs/2203.02155 · 확인 2026-11-04
  3. ★ Deep Reinforcement Learning from Human Preferences (NeurIPS 2017 · arXiv 1706.03741) — 두 궤적 비교로 보상 함수를 배우는 원전을 볼 때
    arXiv · 2017-06 · arxiv.org/abs/1706.03741 · 확인 2026-11-04
  4. ★ Direct Preference Optimization: Your Language Model is Secretly a Reward Model (NeurIPS 2023 · arXiv 2305.18290) — 보상 모델과 강화 학습 없이 같은 목표를 푸는 식을 볼 때
    arXiv · 2023-05 · arxiv.org/abs/2305.18290 · 확인 2026-11-04
  5. ★ Scaling Laws for Reward Model Overoptimization (arXiv 2210.10760) — 보상 점수를 지나치게 키울 때 실제 품질이 떨어지는 모양을 볼 때
    arXiv · 2022-10 · arxiv.org/abs/2210.10760 · 확인 2026-11-04
  6. ★ Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback (arXiv 2307.15217) — 피드백 · 보상 모델 · 정책 단계별 한계를 정리해 볼 때
    arXiv · 2023-07 · arxiv.org/abs/2307.15217 · 확인 2026-11-04
  7. 본문 근거
  8. Fine-Tuning Language Models from Human Preferences (arXiv 1909.08593) — arXiv · 2019-09 · arxiv.org/abs/1909.08593 · 확인 2026-11-04
  9. Proximal Policy Optimization Algorithms (arXiv 1707.06347) — arXiv · 2017-07 · arxiv.org/abs/1707.06347 · 확인 2026-11-04
  10. Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons (Biometrika 39(3/4) 324-345) — Biometrika Trust · 1952-12 · doi.org/10.2307/2334029 · 확인 2026-11-04
  11. Constitutional AI: Harmlessness from AI Feedback (arXiv 2212.08073) — arXiv · 2022-12 · arxiv.org/abs/2212.08073 · 확인 2026-11-04
  12. RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (ICML 2024 · arXiv 2309.00267) — arXiv · 2023-09 · arxiv.org/abs/2309.00267 · 확인 2026-11-04
  13. TRL v1.17.1 Reward Modeling (RewardTrainer · Logged metrics) — Hugging Face · 2026-11 · huggingface.co/docs/trl/reward_trainer · 확인 2026-11-04
  14. TRL v1.17.1 DPO Trainer (Logged metrics · DPOConfig beta) — Hugging Face · 2026-11 · huggingface.co/docs/trl/dpo_trainer · 확인 2026-11-04
  15. TRL main PPO Trainer (trl.experimental.ppo · Explanation of the logged metrics · Cookbook) — Hugging Face · 2026-11 · huggingface.co/docs/trl/main/en/ppo_trainer · 확인 2026-11-04
  16. NumPy 2.4 Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-04