강화 학습Reinforcement Learning
에이전트가 상태를 보고 행동하면 환경이 보상과 다음 상태를 돌려주고, 이 주고받음을 되풀이하며 누적 보상이 커지는 행동 규칙(정책)을 배우는 머신러닝 방식이다.
1요약
- 강화 학습은 상태 · 행동 · 전이 · 보상 · 할인율로 적은 마르코프 결정 과정(Bellman 1957 · Sutton 2018 3장) 위에서 누적 보상의 기댓값을 키우는 정책을 배우는 머신러닝의 하위 방식이고, 그 위에서 Q 학습 · 정책 경사 · DQN 과 LLM 의 RLHF 가 돈다.
- 수마다 정답을 붙일 수 없고 결과가 늦게 오는 연속 결정을 풀지만, 보상이 목표를 바르게 말하지 않으면 보상 해킹으로 엉뚱한 행동을 배운다 — 4×4 격자 사례에서 칸 하나에 +2 를 주자 20번 실행 모두 목표 대신 두 칸을 오갔다.
- 「학습이 안 된다」는 목표 도달 횟수와 보상 합계의 짝으로 가른다 — 둘 다 낮으면 탐험 부족, 보상만 오르고 도달이 없으면 보상 설계, 시뮬레이터에서만 높으면 시뮬레이터와 실제의 차이다.
2등장 배경
백개먼 · 체커처럼 수십 수가 이어지는 게임에서는 한 수마다 「정답 수」를 적은 데이터를 만들 수 없고, 그 수가 좋았는지는 게임이 끝나야 안다. 정답 레이블을 전제로 하는 학습으로는 이 늦게 오는 평가를 앞선 수들에 나눠 줄 방법이 없었다.
Richard Bellman 은 1957년 상태 · 가치 함수 · 벨만 방정식과 마르코프 결정 과정(MDP)을 내놓아, 전이 확률을 알 때 동적 계획법으로 최적 정책을 구하게 했다(Sutton 2018 1.7절). Christopher Watkins 는 1989년 전이 확률 없이 겪은 경험만으로 최적 행동 가치를 배우는 Q 학습을 내놓았고(Watkins · Dayan 1992 수렴 증명), Ronald Williams 는 1992년 정책을 직접 기울기로 고치는 REINFORCE 를 보였다(Williams 1992). 1995년 TD-Gammon 은 자기 대국만으로 세계 정상급에 가까운 백개먼을 두었다(Sutton 2018 16.1절).
2015년 DQN 은 화면 픽셀을 받아 Atari 2600 게임 49개를 같은 신경망 구조로 배웠고 46개 가운데 29개에서 사람 점수의 75% 이상을 냈다(Mnih 2015 · Sutton 2018 16.5절). 2016년 AlphaGo 는 이세돌 9단을 4승 1패로 이겼고(Sutton 2018 16.6절), 2022년에는 시뮬레이터에서 배운 정책이 핵융합 실험 장치 TCV 의 제어 코일 19개를 10kHz 로 직접 움직였다(Degrave 2022). 지금은 LLM 을 사람의 선호 순위에 맞추는 RLHF 의 마지막 단계로도 쓴다.
3쉽게 이해하기 — 동네를 익히는 신입 배달원
신입 배달원 민수는 지도 없이 처음 보는 동네에 배치됐다. 갈림길마다 위 · 오른쪽 · 아래 · 왼쪽 가운데 한쪽으로 가는데, 먼 손님 집에 닿으면 팁 10, 가까운 편의점 손님은 팁 1을 주고, 공사장에 빠지면 배달을 망친다. 민수는 수첩에 «이 골목에서 이쪽으로 가면 몇 점»을 적어 두고 배달이 끝날 때마다 고친다. 음식이 식을수록 팁이 줄어 같은 팁이라도 빨리 닿는 길의 점수가 높고, 처음 며칠은 일부러 안 가 본 골목에도 들어가 본다.
그림 1 · 민수는 갈림길에서 방향을 고르고, 동네가 돌려주는 팁으로 수첩 점수를 고치며 길을 배운다.
그림 2 · 수첩 한 줄은 «받은 팁 + 다음 골목의 최고 점수 × 0.9»를 목표로 차이의 절반만 고치고, 그래서 점수가 손님 집에서 출발점 쪽으로 한 골목씩 퍼진다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 신입 배달원 민수 | 에이전트 | 상태를 보고 행동을 고르고, 겪은 결과로 정책 · 가치 추정을 고친다 |
| 지금 선 갈림길 | 상태 s | 행동을 고르는 데 필요한 정보 — 사례에서는 격자 칸 16개 |
| 한쪽으로 가기 | 행동 a | 위 · 오른쪽 · 아래 · 왼쪽 4개 가운데 하나 |
| 동네 · 배달 끝 | 환경 · 종료 상태 | 행동을 받아 다음 상태를 정하고, 목표 · 함정에 닿으면 에피소드를 끝낸다 |
| 팁 | 보상 r | 행동 하나 뒤에 오는 숫자 하나 — +10 · +1 · −10 · 0 |
| 수첩 점수 | 행동 가치 Q(s, a) | 그 상태에서 그 행동을 하고 나서 받을 누적 보상의 추정값 |
| 식어 가는 음식 | 할인율 γ | 한 걸음 늦은 보상마다 0.9 를 곱해 가까운 보상을 앞세운다 |
| 안 가 본 골목 | 탐험 · ε-탐욕 | 확률 ε 로 무작위 행동을 골라 아직 모르는 결과를 겪는다 |
⚠ 비유가 맞지 않는 곳: 사람 배달원은 동네 모양을 머릿속 지도로 그리지만 Q 학습은 지도(전이 모델) 없이 상태 · 행동마다 숫자만 고친다. 사람은 공사장에 한 번 빠지면 바로 피하지만, 학습률 0.5 로 조금씩 고치는 에이전트는 사례의 첫 100 에피소드에서 함정에 45번 빠졌다.
4구조 — 에이전트 · 환경 고리와 MDP 요소
강화 학습 문제는 MDP 다섯 값(상태 집합 S · 행동 집합 A · 전이 P · 보상 R · 할인율 γ)으로 적는다. 시각 t 마다 에이전트는 상태 S_t 를 보고 행동 A_t 를 내고, 환경은 보상 R_t+1 과 다음 상태 S_t+1 을 돌려준다(Sutton 2018 3.1절). 「마르코프」는 다음 상태와 보상이 지금 상태 · 행동에만 달렸다는 가정이며, DQN 이 화면 4장을 쌓아 84×84×4 로 넣은 것도 한 장으로는 움직이는 방향을 알 수 없어서다(Sutton 2018 16.5절).
그림 3 · 에이전트는 정책과 가치 함수를, 환경은 전이와 보상 함수를 쥐고, 둘은 행동 하나와 보상 · 다음 상태 한 쌍을 주고받는다.
| 요소 | 기호 | 역할 | 사례 값(그림 4) | 근거 |
|---|---|---|---|---|
| 상태 | S_ | 행동을 고르는 데 쓰는 정보 | 격자 칸 16개 | Sutton 3.1 |
| 행동 | A_ | 에이전트의 선택 | 위 · 오른쪽 · 아래 · 왼쪽 | Sutton 3.1 |
| 전이 | P(s′ | s, a) | 행동 뒤 다음 상태의 확률 | 결정적 · 벽 쪽은 제자리 | Sutton 3.1 |
| 보상 | R_ | 행동 하나 뒤의 숫자 | 목표 +10 · 편의점 +1 · 함정 −10 · 그 밖 0 | Sutton 3.2 |
| 할인율 | γ | 늦은 보상을 줄이는 비율 | 0.9 — 여섯 걸음 뒤 10 은 5.905 | Sutton 3.3 |
| 정책 | π(a | s) | 상태마다 행동을 고르는 규칙 | 학습 뒤 Q 가 가장 큰 행동 | Sutton 3.5 |
| 가치 함수 | V(s) · Q(s, a) | 그 칸에서 시작한 누적 보상의 기댓값 | Q 표 16 × 4 = 칸 64개 | Sutton 3.5 |
학습 방법은 무엇을 배우느냐로 나뉜다. 가치 기반(Q 학습)은 Q 를 배워 가장 큰 행동을 고르고, 정책 기반(정책 경사 · REINFORCE)은 정책의 매개변수 θ 를 누적 보상이 커지는 기울기 방향으로 직접 고쳐 연속 행동(전압 · 토크)에 맞으며(Williams 1992 · Sutton 2018 13.3절), 행위자-비평자는 둘을 함께 쓴다(Sutton 2018 13.5절). 전이를 알거나 배워 미리 계산해 보는 모델 기반 방법은 동적 계획법과 AlphaGo 의 탐색이 대표다.
화면처럼 상태가 셀 수 없이 많으면 Q 표 대신 신경망 Q(s, a; w) 를 쓰는데, 목표값이 같은 가중치에 달려 학습이 흔들리기 쉽다. DQN 은 겪은 전이를 저장해 무작위로 다시 뽑는 경험 재현과, C 번 갱신마다 복사해 고정해 두는 목표 망으로 이를 눌렀고, 게임마다 5,000만 프레임(약 38일 분량)을 겪었다(Sutton 2018 16.5절 · Mnih 2015).
🔑 지도 학습의 목표값은 데이터에 붙어 오지만 강화 학습의 목표값은 다음 상태의 가치 추정에서 빌려 온다 — 그래서 가치는 보상이 난 상태에서 출발점 쪽으로 한 단계씩 거꾸로 퍼진다.
5동작 — 4×4 격자에서 Q 학습 한 번
Python 3.14.0 · NumPy 2.4.3 으로 직접 실행한 사례다(np. · 학습률 α = 0.5 · γ = 0.9 · 에피소드 500 · 한 에피소드 최대 100걸음). 위치는 (행, 열)로 적고 (0, 0) 이 왼쪽 위다.
- 환경을 정한다 — 출발 (3, 0) · 목표 (0, 3) +10 · 편의점 (3, 3) +1 · 함정 (2, 2) −10 이며, 세 곳은 닿으면 에피소드가 끝나고 그 밖의 이동은 보상 0 이다.
- Q 값 64개를 0 으로 두고, 탐험률 ε 을 에피소드 1 의 1.0 에서 에피소드 300 의 0.05 까지 곧게 줄인다(ε-탐욕 · Sutton 2018 2.2절).
- 에피소드 1 은 21걸음 만에 편의점에 닿아 Q((2, 3), 아래) = 0 + 0.5 × (1 − 0) = 0.5 가 되고, 에피소드 2 는 함정에 빠져 Q((3, 2), 위) = −5.0 이 된다.
- 에피소드 4 의 52걸음째에 처음 목표에 닿아 Q((0, 2), 오른쪽) = 0 + 0.5 × (10 − 0) = 5.0 이 된다(Sutton 2018 식 6.8).
- 에피소드 6 에서 그 아래 칸이 갱신된다 — Q((1, 2), 위) = 0 + 0.5 × (0 + 0.9 × 5.0 − 0) = 2.25 로, 보상이 0 인 칸에도 가치가 생긴다.
- 500 에피소드 동안 4,516걸음을 갱신하며, 100 에피소드마다 목표 도달은 43 → 84 → 97 → 100 → 100번, 함정은 45 → 15 → 2 → 0 → 0번이다.
- 학습 뒤 탐욕 정책은 (3, 0) → (2, 0) → (1, 0) → (1, 1) → (0, 1) → (0, 2) → (0, 3) 여섯 걸음이고, 출발 위치의 최대 Q 5.905 는 가치 반복 7회로 구한 V*(출발) = 10 × 0.9⁵ = 5.905 와 같다(Sutton 2018 4.4절).
그림 4 · 500 에피소드 뒤 상태마다 최대 Q 값이 목표에서 멀어질수록 0.9 배씩 줄고, 탐욕 경로는 함정을 돌아 여섯 걸음으로 목표에 닿는다.
같은 환경 · 같은 학습률에서 탐험률만 바꿔 시드 0 ~ 19 로 20번씩 돌리면 탐험의 몫이 숫자로 갈린다(그림 5). ε = 0 은 처음 닿은 편의점 길에 굳어 20번 가운데 2번만, ε = 0.1 고정은 4번만 목표 경로를 배웠다. ε = 1(늘 무작위)은 Q 학습이 따르는 정책과 무관하게 최적 Q 에 다가가므로(off-policy · Sutton 2018 6.5절) 20번 모두 경로를 배우지만, 학습 중 목표 도달률은 0.14 ~ 0.17 에 머문다.
그림 5 · 탐험률을 1.0 에서 0.05 로 줄이면 경로도 20번 모두 배우고 학습 중 도달률도 0.993 까지 오른다 — 늘 탐욕이면 경로를, 늘 무작위면 도달률을 잃는다.
🔑 탐험은 지금의 보상을 내주고 나중의 정보를 사는 일이다 — 가치가 자리 잡기 전에는 많이, 자리 잡은 뒤에는 적게 한다.
6비교 — 지도 · 비지도 학습과의 차이
| 기준 | 지도 학습 | 비지도 학습 | 강화 학습 |
|---|---|---|---|
| 받는 신호 | 표본마다 정답 레이블 | 신호 없음 · 데이터 구조만 | 행동 뒤 숫자 하나 — 어느 행동이 옳았는지는 알려 주지 않음 |
| 신호가 오는 때 | 표본과 함께 바로 | — | 늦게 — 사례의 +10 은 여섯째 행동 뒤 |
| 데이터의 출처 | 미리 모은 고정 세트 | 미리 모은 고정 세트 | 에이전트의 행동이 만듦 — 정책이 바뀌면 분포도 바뀜 |
| 성능을 재는 값 | 테스트 세트 오차 | 군집 · 재구성 지표 | 에피소드 누적 보상 · 목표 도달률 |
| 비용이 드는 곳 | 레이블 붙이기 | 데이터 모으기 | 시행 자체 — 칸 16개에 4,516걸음 · DQN 은 게임당 5,000만 프레임 |
분석단계마다 옳은 행동을 사람이 적어 줄 수 있으면 지도 학습(모방)이 빠르고, 결과만 점수로 매길 수 있는 연속 결정이면서 시행을 싸게 되풀이할 시뮬레이터가 있을 때 강화 학습을 고른다. 근거는 표의 「데이터의 출처」 · 「비용이 드는 곳」 행 — 실제 장비에서 수천만 번 시험할 수 없어 TCV 코일 제어도 시뮬레이터에서 먼저 배웠다(Degrave 2022).
산업에서는 설정값을 연속으로 바꾸는 제어(로봇 팔 관절 · 코일 전압 · 공조 설정)와, 작업 순서 · 자원 배분을 차례로 정하는 스케줄링에 쓴다. 두 경우 모두 보상은 제어 오차 · 완료 시간 · 에너지처럼 측정되는 값으로 만들고, 학습은 공정 시뮬레이터나 디지털 트윈에서 먼저 한다.
7실무 진단 — 학습 실패의 단계 가르기
분석환경(보상 · 종료 신호)부터 보고, 다음에 탐험, 마지막에 학습 안정성과 실제 이전을 본다. 보상이 목표를 잘못 말하면 어떤 알고리즘도 잘못된 목표를 잘 배울 뿐이므로(Sutton 2018 17.4절 · Amodei 2016 4절), 앞 단계가 맞을 때만 다음 단계를 의심한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 보상 합계는 오르는데 목표 도달이 0 | 보상 해킹 — 중간 보상을 되풀이해 받음 | 보상 설계 | 에피소드 궤적 재생 · 목표 도달 횟수를 보상과 따로 기록 | 같은 상태 · 같은 행동이 되풀이되면 보상 탓(Amodei 2016 4절) — 사례에 (2, 0) 진입 +2 를 넣자 20번 모두 (2, 0) ↔ (1, 0) 왕복 · 50걸음 보상 50 · 도달 0 |
| 2 | 보상 · 도달이 둘 다 낮고 오르지 않음 | 탐험 부족 · 희소 보상 | 탐험 | 에피소드별 ε · 처음 겪는 (상태, 행동) 쌍의 수 | 새 쌍이 더 늘지 않는데 도달이 낮으면 탐험 부족(Sutton 2018 2.2절 · 17.4절) — 그림 5 의 ε = 0 |
| 3 | 시간 제한으로 끝난 상태 근처의 가치가 낮게 굳음 | 시간 제한 끝을 실패 종료처럼 처리 | 환경 | Gymnasium step() 의 terminated · truncated 값 | 가치 0 인 종료 상태는 terminated 뿐이고 truncated 는 MDP 밖 조건(Gymnasium Env · Sutton 2018 6.5절 Q(terminal) = 0) |
| 4 | 신경망 Q 값이 계속 커지거나 진동 | 함수 근사 + 부트스트랩 + off-policy 가 겹침 | 학습 | Q 최대값 · TD 오차 추이 | 경험 재현 · 목표 망을 넣어 다시 보고, 오차를 [−1, 1] 로 자름(Sutton 2018 11.3절 · 16.5절) |
| 5 | 시뮬레이터 점수는 높고 실제 장비에서 떨어짐 | 시뮬레이터와 실제의 분포 차이 | 이전 | 같은 정책의 실제 상태 기록과 시뮬레이터 상태 분포 대조 | 실제 상태가 학습 때 범위 밖이면 이전 실패(Amodei 2016 7절) |
1 ~ 3행은 알고리즘을 바꾸기 전에 확인한다 — 궤적을 한 번 재생하면 왕복 · 시간 초과가 바로 보이고, 이것이 남아 있으면 신경망 구조를 바꿔도 같은 실패가 되풀이된다.
8시험 대비
www.q-net.or.kr시험에서는 MDP 구성 요소와 Q 학습 · 정책 경사를 쓰는 정의 · 특징형, 그리고 지도 · 비지도 학습과 신호 · 데이터 · 평가를 가르는 비교형이 나올 수 있다. 정의형이라도 Q 값 하나를 실제 숫자로 갱신해 보이면 원리를 이해했다는 것이 답안에 드러난다.
- 개요 — 정의(에이전트 · 환경 · 누적 보상) · MDP (S, A, P, R, γ) · Bellman 1957 · Watkins 1989 Q 학습
- 구조 — 그림 3 에이전트 · 환경 고리 + 요소 표(상태 · 행동 · 전이 · 보상 · 할인율 · 정책 · 가치 함수)
- 학습 원리 — Q 학습 갱신식 · 한 번 계산(0 + 0.5 × (10 − 0) = 5.0 → 2.25) · 그림 4 격자 가치 지도(0.9 배씩 줄어듦)
- 탐험과 활용 — ε-탐욕 · 그림 5 탐험률별 도달률(ε = 0 은 2/20 · 줄이는 ε 은 20/20)
- 방법 분류 — 가치 기반(Q 학습 · DQN 경험 재현 · 목표 망) · 정책 기반(REINFORCE) · 행위자-비평자 · 모델 기반
- 활용과 한계 — 지도 · 비지도 비교표 · 제어 · 스케줄링 · 보상 해킹 · 시뮬레이터와 실제의 차이 · RLHF
꼭 쓸 키워드
마르코프 결정 과정벨만 방정식가치 함수할인율탐험과 활용ε-탐욕Q 학습정책 경사DQN보상 해킹
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 환경에서 탐험률만 바꾼 실행 결과다 — 「탐험이 필요하다」 한 줄 대신 20번 중 2번과 20번의 차이를 숫자로 보인다.
9오해와 사실
- 오해보상을 많이 받을수록 원하는 행동을 배운 것이다.사실보상은 무엇을 이룰지를 알리는 신호이지 어떻게 할지를 알리는 신호가 아니며(Sutton 2018 3.2절), 사례에 중간 보상 +2 칸을 하나 넣자 목표에 한 번도 가지 않는 정책이 가장 큰 보상을 받았다.
- 오해강화 학습은 정답 없이 혼자 배우므로 데이터가 필요 없다.사실고정 데이터 세트 대신 시행 기록이 데이터이며, 칸 16개짜리 격자에도 4,516걸음이 들었고 DQN 은 게임마다 약 38일 분량의 프레임을 겪었다(Sutton 2018 16.5절).
- 오해늘 가장 좋아 보이는 행동만 고르면 더 빨리 배운다.사실사례의 ε = 0 은 먼저 찾은 편의점 길(+1)을 되풀이해 20번 중 18번 목표 경로(+10)를 끝내 찾지 못했다.
10핵심 정리
| 구분 | 맡는 일 | 핵심 식 · 장치 | 사례 값 | 흔한 실패 |
|---|---|---|---|---|
| MDP | 문제를 적는 틀 | (S, A, P, R, γ) | 16 상태 · 4 행동 · γ 0.9 | 한 장 관측으로 마르코프 가정이 깨짐 |
| 가치 함수 | 칸마다 장기 점수 | V*(s) = max_ | V*(출발) = 5.905 | γ 가 작아 먼 목표를 무시 |
| Q 학습 | 모델 없이 최적 Q 추정 | Q ← Q + α [r + γ max Q′ − Q] | 0 → 5.0 → 2.25 | 탐험 부족으로 작은 보상에 굳음 |
| 정책 경사 | 정책 매개변수를 직접 고침 | 누적 보상의 기울기 방향 · REINFORCE | 연속 행동(전압 · 토크) | 기울기 추정의 분산이 큼 |
| DQN | 신경망으로 Q 근사 | 경험 재현 · 목표 망 · 오차 자르기 | 84×84×4 입력 · 49게임 | Q 값 발산 · 진동 |
| ε-탐욕 | 탐험과 활용 조절 | 확률 ε 로 무작위 행동 | 1.0 → 0.05 에서 20/20 | ε = 0 고정에서 2/20 |
| 보상 설계 | 목표를 숫자로 알림 | R(s, a) | +10 · +1 · −10 | 보상 해킹(+2 칸 왕복) |
| 시뮬레이터 | 시행을 싸게 되풀이 | reset() · step() | 500 에피소드 · 4,516걸음 | 실제와의 분포 차이 |
11참고 문헌
- 먼저 볼 문헌
- ★ Reinforcement Learning: An Introduction, second edition (Sutton · Barto) — MDP · 벨만 방정식 · Q 학습 · 정책 경사를 원전 교재로 볼 때
- ★ Q-learning (Machine Learning 8(3-4) 279-292) — Q 학습 갱신식과 수렴 조건의 원 논문을 볼 때
- ★ Human-level control through deep reinforcement learning (Nature 518 529-533) — DQN 의 경험 재현 · 목표 망 · Atari 결과를 볼 때
- ★ Concrete Problems in AI Safety (arXiv 1606.06565) — 보상 해킹 · 안전한 탐험 · 분포 변화를 볼 때
- ★ Gymnasium API Env.step · Env.reset — 시뮬레이터 환경의 step · reset · terminated · truncated 를 볼 때
- 본문 근거
- Simple statistical gradient-following algorithms for connectionist reinforcement learning (Machine Learning 8(3-4) 229-256) — Springer · 1992-05 ·
doi.org/10.1007/BF00992696· 확인 2026-11-04 - Magnetic control of tokamak plasmas through deep reinforcement learning (Nature 602 414-419) — Nature · 2022-02 ·
doi.org/10.1038/s41586-021-04301-9· 확인 2026-11-04 - Playing Atari with Deep Reinforcement Learning (arXiv 1312.5602) — arXiv · 2013-12 ·
arxiv.org/abs/1312.5602· 확인 2026-11-04 - NumPy 2.4 Reference Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-04