RLHF인간 피드백 강화 학습 · Reinforcement Learning from Human Feedback
사람이 두 답 가운데 더 나은 쪽을 고른 비교 기록으로 보상 모델을 학습하고, 그 보상을 강화 학습으로 키우도록 언어 모델을 다시 맞추는 학습 방법이다.
1요약
- RLHF 는 사전 학습을 마친 LLM 을 사람의 선호 비교로 다시 맞추는 학습 뒤 단계로, 지도 미세 조정(SFT) → 선호 데이터 → 보상 모델 → PPO 의 네 단계(Ouyang 2022 3.5절)를 거치며 대화형 어시스턴트의 지시 따르기 · 거절 · 답 형식이 이 단계에서 정해진다.
- 「좋은 답」은 손실 식으로 적기 어렵지만 두 답 가운데 하나를 고르기는 쉽다 — 시뮬레이션 로봇 Hopper 는 보상 함수 없이 사람 비교 900번(사람 시간 1시간 미만)만으로 뒤공중제비를 배웠다(Christiano 2017 3.2절).
- 「RLHF 뒤 답이 이상하다」는 보상 점수와 KL 의 짝으로 가른다 — 점수가 오르지 않으면 보상 모델 · 데이터, 점수는 오르는데 사람 평가가 떨어지고 KL 이 계속 커지면 보상 해킹, KL 이 0 근처에 머물면 정책이 거의 움직이지 않은 것이다.
2등장 배경
강화 학습은 보상 함수가 있어야 도는데, 「식탁을 치운다」 같은 목표는 센서 값의 식으로 적기 어렵고 대충 만든 식은 의도와 다른 행동만 키운다(Christiano 2017 1장). 2017년 Christiano · Leike 등은 사람에게 두 궤적 조각 중 나은 쪽만 묻고, 그 비교를 브래들리-테리 모델(Bradley 1952)로 풀어 보상 함수를 학습했다 — 피드백은 에이전트 상호작용의 1% 미만이었다.
2019년 Ziegler 등은 같은 방법을 언어 모델에 옮기며, 보상에서 β·log(π/ρ) 를 빼는 KL 벌점으로 정책이 원래 모델에서 너무 멀어지지 않게 했다(Ziegler 2019 2.2절). 2022년 Ouyang 등의 InstructGPT 는 평가자 약 40명의 시연과 순위로 SFT · 보상 모델 · PPO 세 단계를 정리했고(Ouyang 2022 3.4 · 3.5절), 이 절차가 대화형 LLM 학습의 기본형이 됐다.
지금은 같은 목표를 분류 손실 하나로 푸는 DPO(Rafailov 2023)와, 사람 대신 AI 가 선호를 매기는 RLAIF(Bai 2022 · Lee 2023)가 함께 쓰인다. 선호 비교로 보상을 정하는 뼈대는 세 방식 모두 같다.
3쉽게 이해하기 — 요리 경연을 준비하는 신입 요리사 준호
신입 요리사 준호는 먼저 레시피 책의 시범 요리를 그대로 따라 하며 기본을 익힌다. 시식단은 준호가 낸 두 접시를 맛보고 더 나은 쪽에 한 표를 던지지만 매번 올 수는 없어서, 식당은 그 표 기록으로 접시마다 점수를 매기는 심사 로봇을 훈련한다. 준호는 로봇 점수가 오르도록 연습하고, 수석 셰프는 준호가 레시피에서 너무 벗어나면 감점한다. 로봇이 단맛에 후하다는 것을 알아챈 준호가 설탕만 들이붓기 시작하면 점수는 오르는데 손님은 떠난다.
그림 1 · 준호는 레시피 책으로 시작해 시식단의 표로 훈련한 심사 로봇의 점수를 쫓고, 수석 셰프의 감점이 레시피에서 멀어지는 것을 막는다.
그림 2 · 심사 로봇의 점수 차는 시식에서 이길 확률이 되고, 로봇은 시식단의 표와 그 확률이 맞도록 점수를 고친다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 레시피 책 | SFT · 시연 데이터 | 사람이 쓴 모범 답으로 사전 학습 모델을 지도 학습한다 |
| 신입 요리사 준호 | 정책(학습 중인 LLM) | 프롬프트마다 답을 생성하고 가중치가 바뀐다 |
| 시식단의 한 표 | 평가자 · 선호 비교 | 같은 프롬프트의 답 K 개에 순위를 매겨 쌍 비교를 만든다 |
| 심사 로봇 | 보상 모델 | 프롬프트 · 답을 받아 점수 하나를 낸다 |
| 점수 보고 연습 | PPO 강화 학습 | 보상의 기댓값이 커지도록 정책을 조금씩 고친다 |
| 수석 셰프의 감점 | 기준 모델 · KL 벌점 | 정책이 SFT 모델에서 멀어진 만큼 보상에서 뺀다 |
| 설탕만 붓기 | 보상 해킹 | 보상 모델의 약점을 키워 점수만 오르고 실제 품질은 떨어진다 |
⚠ 비유가 맞지 않는 곳: 시식단은 접시를 하나씩 채점하지 않고 둘을 비교만 하며, 심사 로봇의 점수는 비교 확률을 맞추려고 만든 상대 값이라 「몇 점이면 합격」 같은 절대 기준이 없다. 실제 LLM 의 「접시」는 토큰을 하나씩 이어 붙인 답이고, KL 벌점도 토큰마다 계산한다.
4구조 — 네 단계와 학습 중 쓰는 네 모델
RLHF 는 앞 단계의 출력이 다음 단계의 입력이 되는 사슬이다. SFT 모델이 답 후보를 만들고, 평가자의 순위가 보상 모델을 학습시키고, 보상 모델이 PPO 의 보상을 낸다. SFT 모델의 사본은 고정된 기준 모델로 남아 KL 벌점을 계산한다(Ouyang 2022 3.5절).
그림 3 · RLHF 는 SFT → 선호 데이터 → 보상 모델 → PPO 의 사슬이고, 고정된 SFT 사본이 PPO 의 보상에서 KL 벌점을 뺀다.
| 요소 | 입력 → 출력 | 사례 값(InstructGPT) | 근거 |
|---|---|---|---|
| SFT 모델 | 시연 답 → 지시를 따르는 모델 | 프롬프트 약 13k · 16 epoch | Ouyang 2022 3.5절 |
| 선호 데이터 | 답 K 개 → 순위 → 쌍 비교 C(K,2) | K = 4 ~ 9 · 프롬프트 33k | Ouyang 2022 3.5절 |
| 보상 모델 | 프롬프트 + 답 → 점수 하나 | 6B · 175B 는 학습이 불안정 | Ouyang 2022 3.5절 |
| 정책(PPO) | 프롬프트 → 답 · 보상으로 갱신 | 프롬프트 31k · 256k 에피소드 | Ouyang 2022 부록 C.4 |
| 기준 모델 | 같은 답의 확률 → KL 계산 | β = 0.02 · 갱신 안 함 | Ouyang 2022 부록 C.4 |
| 가치 모델 | 상태 → 앞으로 받을 보상 추정 | 보상 모델로 초기화 | Ouyang 2022 3.5절 |
선호 데이터는 비싸고 사람마다 다르다. InstructGPT 평가자끼리의 일치율은 72.6 ± 1.5% 였고, 논문은 이 모델이 「사람 전체」가 아니라 그 평가자 · 연구자 · 지침에 맞춰졌다고 밝힌다(Ouyang 2022 3.4 · 5.2절). Casper 2023 은 한계를 피드백 수집 · 보상 모델 · 정책 세 단계로 나눠 정리한다(3.1 ~ 3.3절).
🔑 보상 모델은 사람 판단을 근사한 대리 지표이고, KL 벌점은 정책이 그 근사가 맞는 범위인 SFT 분포 근처를 벗어나지 않게 막는다.
5동작 — 답 후보 여섯 개로 따라가는 보상 모델과 KL 벌점
질문 하나에 답 후보 여섯 개만 있는 작은 경우로 네 단계를 끝까지 계산한다. Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 직접 실행한 합성 데이터이며, 품질 · 길이 · 길이 편향은 설명용 가정 값이다.
- SFT 모델이 같은 질문에 낸 답 후보 A ~ F 를 기준 정책 π_ref 로 둔다 — 확률은 모두 1/6, 길이 60 ~ 400 토큰, 실제 품질은 B 가 1.2 로 가장 높고 같은 말을 되풀이해 늘인 F 는 −0.3 이다.
- 평가자 순위 20건을 만든다 — 건마다 후보 4개(K = 4)에 순위를 매겨 C(4,2) = 6 쌍씩, 모두 120 비교다. 평가자가 느끼는 점수는 실제 품질에 0.008 × (길이 − 150)을 더한 것으로 두어(길이 편향 · 가정), F 가 1.70 으로 가장 좋아 보인다.
- 보상 모델을 학습한다 — 답마다 점수 r 하나를 두고 −log σ(r_w − r_l) 의 평균을 경사 하강 3,000번으로 줄인다. 손실은 0.693(모든 점수 0 = log 2)에서 0.499 로, 비교 정확도는 0.767 이 된다.
- 점수를 읽는다 — r = A −0.05 · B 0.56 · C 0.74 · D −0.88 · E −1.56 · F 1.20(평균 0)이다. P(B ≻ A) = σ(0.61) = 0.647 · P(F ≻ B) = σ(0.64) = 0.654 이며, 실제 품질과 순서가 맞는 쌍은 15쌍 중 10쌍이다.
- 정책을 갱신한다 — KL 벌점 목표 E[r] − β·KL(π ‖ π_ref) 의 최적해 π(y) ∝ π_ref(y)·exp(r(y)/β)(Rafailov 2023 4절 식 4)를 바로 계산한다. 실제 PPO 는 이 목표를 답 생성과 비율 클리핑 ε = 0.2 로 조금씩 따라간다(Schulman 2017 3절).
- β = 1 이면 KL 0.283 · 보상 점수 0.658 · 실제 품질 0.376 이다 — 기준 정책의 실제 품질 0.167 보다 좋아졌고 F 의 확률은 0.379 다.
- β = 0.1 이면 KL 1.722 · 보상 점수 1.190 · 실제 품질 −0.286 이다 — 정책이 F 에 확률 0.988 을 몰아 평균 길이가 398 토큰이 되고, 보상 해킹이 일어난다.
그림 4 · 길이에 끌린 비교 120개로 배운 보상 모델은 되풀이 답 F 를 1.20 으로 가장 높게 매기고, β 를 0.1 로 낮추면 정책이 F 에 몰린다.
그림 5 · KL 이 커질수록 보상 점수는 계속 오르지만 실제 품질은 β = 1(KL 0.283)에서 가장 높고, 그 뒤로는 기준 정책보다 나빠진다.
🔑 보상 점수가 오르는 동안에도 실제 품질은 떨어질 수 있다 — 사례에서 KL 이 0.283 을 넘어서자 보상 점수는 0.658 에서 1.190 으로 오르고 실제 품질은 0.376 에서 −0.286 으로 내려갔다.
이 모양은 Gao 2022 가 「정답 보상 모델」을 사람 대신 두고 잰 과최적화와 같다 — 대리 보상을 최적화할수록 정답 점수는 오르다가 꺾인다(Gao 2022 1장). Ziegler 2019 의 요약 모델이 입력 문장을 통째로 베끼는 「똑똑한 복사기」가 된 것도 평가자가 빠르게 확인하는 습관을 정책이 이용한 사례다(Ziegler 2019 3.2.1절).
6비교 — PPO 방식 · DPO · AI 피드백(RLAIF)
| 기준 | PPO 방식 RLHF | DPO | RLAIF · 헌법 방식 |
|---|---|---|---|
| 선호 레이블을 주는 쪽 | 사람 평가자 | 사람 평가자(같은 쌍 비교) | 원칙 목록을 받은 LLM(Bai 2022) |
| 보상 모델 | 따로 학습 | 없음 — β·log(π/π_ref) 가 암묵 보상 | 따로 학습(AI 선호로) |
| 학습 중 답 생성 | 필요(온라인) | 필요 없음(모은 쌍만) | 필요 |
| 함께 올리는 모델 | 정책 · 기준 · 보상 · 가치 4개 | 정책 · 기준 2개 | PPO 방식 + 레이블 LLM |
| KL 을 다루는 법 | 보상에서 β·KL 을 뺌(β 0.02) | 손실 안의 β(TRL 기본 0.1) | PPO 방식과 같음 |
| 약점 | 설정 · 계산이 많고 불안정 | 모은 데이터 밖 답은 못 고침 | 레이블 LLM 의 편향이 그대로 옮음 |
DPO 는 KL 벌점 목표의 최적해를 정책 식으로 바꿔 놓고, 브래들리-테리 손실을 정책에 바로 걸어 같은 문제를 분류 손실 하나로 푼다(Rafailov 2023 4절 식 7). 헌법 방식은 자연어 원칙 목록만 사람이 쓰고, 모델이 자기 답을 비판 · 수정한 뒤(SL 단계) AI 가 두 답을 비교한 선호로 강화 학습한다(Bai 2022 · 초록). Lee 2023 은 요약 · 도움 대화 · 무해 대화에서 RLAIF 가 RLHF 와 견줄 만한 성능을 냈다고 보고한다.
분석쌍 비교 데이터가 이미 모였고 학습 중 답 생성 · 채점 설비가 없으면 DPO 를, 새 프롬프트에서 답을 계속 만들어 같은 보상 모델로 채점하며 맞추려면 PPO 방식을, 사람 레이블 비용이 병목이면 RLAIF 로 레이블을 늘린다. 근거는 표의 「학습 중 답 생성」 · 「함께 올리는 모델」 행 — DPO 는 생성 단계를 없애 모델 수를 반으로 줄인다(Rafailov 2023 초록).
7실무 진단 — 보상 모델 · 정책 · 사람 평가 단계 가르기
분석보상 모델 검증 정확도부터 보고, 다음 정책의 보상 점수와 KL, 마지막에 사람 평가를 본다. 보상 모델이 비교를 못 맞히면 정책 단계의 점수 변화는 원인이 아니라 결과이기 때문이다(Ouyang 2022 3.5절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료(TRL 지표) | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 보상 모델 검증 정확도가 0.5 근처 | 레이블 잡음 · 평가자 불일치 · 과적합 | 보상 모델 | accuracy · margin(RewardTrainer) | 평가자 일치율 72.6 ~ 77.3% 가 사실상 상한 · 같은 프롬프트의 비교를 한 묶음으로 학습(Ouyang 2022 3.4 · 3.5절) |
| 2 | 점수는 오르는데 사람 평가가 떨어지고 답이 길어짐 | 보상 해킹 · 과최적화 | 정책 | objective/scores · objective/kl · 표본 답 길이 | KL 이 계속 커지는 동안 정답 점수가 꺾임(Gao 2022) → β 를 키우거나 보상 모델을 새 데이터로 다시 학습 |
| 3 | KL · 점수가 모두 거의 그대로 | β 가 너무 큼 · 학습률이 작음 | 정책 | objective/kl · objective/ | non_ |
| 4 | 갱신마다 답이 크게 흔들림 | PPO 갱신 폭 과대 | 정책 | val/ratio · policy/clipfrac_avg | ratio 가 1.0 근처여야 하고 2.0 · 0.1 처럼 벗어나면 갱신이 과격(TRL PPO Cookbook · cliprange 0.2) |
| 5 | DPO 에서 rewards/accuracies 는 높은데 답이 나빠짐 | 고른 답의 확률까지 함께 떨어짐 | 정책(DPO) | logps/chosen · rewards/margins | 여백은 대개 버린 답의 확률을 낮춰 만든다(TRL DPO) · logps/chosen 추세를 함께 봄 |
지표 이름은 Hugging Face TRL 문서 기준이며, 다른 학습 프레임워크를 쓰면 보상 점수 · KL · 클리핑 비율에 해당하는 지표를 찾아 같은 순서로 대조한다. 2행은 사람 평가 없이 보상 점수만으로는 보이지 않으므로, 학습 중에도 표본 답을 정기적으로 사람이 읽는다.
8시험 대비
www.q-net.or.kr시험에서는 RLHF 의 단계와 보상 모델의 원리를 쓰는 정의 · 특징형, 그리고 PPO 방식에서 DPO · RLAIF 로 넘어가는 흐름과 한계를 쓰는 동향 · 발전형이 나올 수 있다. 정의형이면 네 단계 그림과 브래들리-테리 손실로 뼈대를 세우고, 동향형이면 비교표 뒤에 보상 해킹 · 선호 데이터 비용 · 정렬 대상의 한계를 짝지어 쓴다.
- 개요 — 정의(사람 선호 비교 → 보상 모델 → 강화 학습) · 연도(2017 Christiano · 2019 Ziegler KL 벌점 · 2022 InstructGPT)
- 구성 — 그림 3 네 단계 사슬 + 요소 표(SFT 13k · 선호 K = 4 ~ 9 · 보상 모델 6B · PPO 31k · β 0.02)
- 보상 모델 원리 — 브래들리-테리 P = σ(r_w − r_l) · 손실 −log σ · 그림 4 사례(120 비교 · 손실 0.693 → 0.499)
- 정책 갱신과 KL 벌점 — 목표 E[r] − β·KL · PPO 클리핑 ε 0.2 · 그림 5 보상 해킹 곡선(β = 1 최고 · β = 0.1 붕괴)
- 발전 — DPO(보상 모델 · 생성 없음) · RLAIF · 헌법 방식 비교표 · 선택 기준
- 한계와 대응 — 보상 해킹 · 평가자 일치율 72.6% · 정렬 대상(평가자 · 지침) · 대응 = β 조정 · 보상 모델 재학습 · 사람 표본 평가
꼭 쓸 키워드
선호 데이터보상 모델브래들리-테리 모델PPOKL 벌점보상 해킹기준 모델DPORLAIF헌법 방식
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 보상 점수와 실제 품질을 한 축에 그린 곡선이다 — 「보상 해킹 = 보상의 허점을 이용함」 한 줄 대신 KL 이 커지며 두 값이 갈라지는 지점을 숫자로 보인다.
9오해와 사실
- 오해RLHF 는 모델에 새 지식을 넣는 단계다.사실사전 학습에서 얻은 능력 가운데 어떤 답을 고를지와 답의 형식을 바꾸는 단계이며, 175B PPO-ptx 학습 계산량 60 petaflops/s-days 는 GPT-3 사전 학습 3,640 의 2% 에 못 미친다(Ouyang 2022 5.1절).
- 오해DPO 는 RLHF 와 다른 목표를 푼다.사실DPO 는 KL 벌점이 붙은 같은 RLHF 목표를 보상 모델 없이 분류 손실로 푸는 방법이다(Rafailov 2023 초록 · 4절).
- 오해RLHF 를 거친 모델은 사람들의 가치에 맞춰져 있다.사실InstructGPT 는 주로 미국 · 동남아시아의 영어 사용 평가자와 연구자 지침에 맞춰졌고, 평가자끼리도 약 73% 만 일치했다(Ouyang 2022 5.2절).
10핵심 정리
| 구분 | 입력 | 출력 | 학습 신호 | 대표 값 | 흔한 실패 |
|---|---|---|---|---|---|
| SFT | 시연 답 | SFT 모델 · 기준 모델 | 다음 토큰 손실 | 프롬프트 13k | 시연 품질이 상한 |
| 선호 데이터 | SFT 답 K 개 | 쌍 비교 | 평가자 순위 | K = 4 ~ 9 · 일치율 72.6% | 길이 · 말투 편향 |
| 보상 모델 | 프롬프트 + 답 | 점수 r | −log σ(r_ | 6B · 검증 정확도 | 과적합 · 허점 |
| PPO 정책 | 프롬프트 | 정렬 모델 | r − β·KL | β 0.02 · ε 0.2 | 보상 해킹 |
| KL 벌점 | 정책 · 기준 확률 | 벌점 | 토큰마다 log 비 | objective/kl | β 과대 · 과소 |
| DPO | 쌍 비교 | 정렬 모델 | β·log(π/π_ref) 차의 σ | β 0.1(TRL) | 데이터 밖 답 |
| RLAIF | 원칙 목록 · 답 | AI 선호 | AI 레이블 | 헌법 방식 | 레이블 LLM 편향 |
11참고 문헌
- 먼저 볼 문헌
- ★ Training language models to follow instructions with human feedback (NeurIPS 2022 · arXiv 2203.02155) — SFT · 보상 모델 · PPO 세 단계의 데이터 규모와 손실 식을 볼 때
- ★ Deep Reinforcement Learning from Human Preferences (NeurIPS 2017 · arXiv 1706.03741) — 두 궤적 비교로 보상 함수를 배우는 원전을 볼 때
- ★ Direct Preference Optimization: Your Language Model is Secretly a Reward Model (NeurIPS 2023 · arXiv 2305.18290) — 보상 모델과 강화 학습 없이 같은 목표를 푸는 식을 볼 때
- ★ Scaling Laws for Reward Model Overoptimization (arXiv 2210.10760) — 보상 점수를 지나치게 키울 때 실제 품질이 떨어지는 모양을 볼 때
- ★ Open Problems and Fundamental Limitations of Reinforcement Learning from Human Feedback (arXiv 2307.15217) — 피드백 · 보상 모델 · 정책 단계별 한계를 정리해 볼 때
- 본문 근거
- Fine-Tuning Language Models from Human Preferences (arXiv 1909.08593) — arXiv · 2019-09 ·
arxiv.org/abs/1909.08593· 확인 2026-11-04 - Proximal Policy Optimization Algorithms (arXiv 1707.06347) — arXiv · 2017-07 ·
arxiv.org/abs/1707.06347· 확인 2026-11-04 - Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons (Biometrika 39(3/4) 324-345) — Biometrika Trust · 1952-12 ·
doi.org/10.2307/2334029· 확인 2026-11-04 - Constitutional AI: Harmlessness from AI Feedback (arXiv 2212.08073) — arXiv · 2022-12 ·
arxiv.org/abs/2212.08073· 확인 2026-11-04 - RLAIF vs. RLHF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (ICML 2024 · arXiv 2309.00267) — arXiv · 2023-09 ·
arxiv.org/abs/2309.00267· 확인 2026-11-04 - TRL v1.17.1 Reward Modeling (RewardTrainer · Logged metrics) — Hugging Face · 2026-11 ·
huggingface.co/docs/trl/reward_trainer· 확인 2026-11-04 - TRL v1.17.1 DPO Trainer (Logged metrics · DPOConfig beta) — Hugging Face · 2026-11 ·
huggingface.co/docs/trl/dpo_trainer· 확인 2026-11-04 - TRL main PPO Trainer (trl.experimental.ppo · Explanation of the logged metrics · Cookbook) — Hugging Face · 2026-11 ·
huggingface.co/docs/trl/main/en/ppo_trainer· 확인 2026-11-04 - NumPy 2.4 Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-04