AI › 인공지능 개요 › 머신러닝 › 학습 방식

강화 학습Reinforcement Learning

에이전트가 상태를 보고 행동하면 환경이 보상과 다음 상태를 돌려주고, 이 주고받음을 되풀이하며 누적 보상이 커지는 행동 규칙(정책)을 배우는 머신러닝 방식이다.

1요약

  1. 강화 학습은 상태 · 행동 · 전이 · 보상 · 할인율로 적은 마르코프 결정 과정(Bellman 1957 · Sutton 2018 3장) 위에서 누적 보상의 기댓값을 키우는 정책을 배우는 머신러닝의 하위 방식이고, 그 위에서 Q 학습 · 정책 경사 · DQN 과 LLM 의 RLHF 가 돈다.
  2. 수마다 정답을 붙일 수 없고 결과가 늦게 오는 연속 결정을 풀지만, 보상이 목표를 바르게 말하지 않으면 보상 해킹으로 엉뚱한 행동을 배운다 — 4×4 격자 사례에서 칸 하나에 +2 를 주자 20번 실행 모두 목표 대신 두 칸을 오갔다.
  3. 「학습이 안 된다」는 목표 도달 횟수와 보상 합계의 짝으로 가른다 — 둘 다 낮으면 탐험 부족, 보상만 오르고 도달이 없으면 보상 설계, 시뮬레이터에서만 높으면 시뮬레이터와 실제의 차이다.

2등장 배경

백개먼 · 체커처럼 수십 수가 이어지는 게임에서는 한 수마다 「정답 수」를 적은 데이터를 만들 수 없고, 그 수가 좋았는지는 게임이 끝나야 안다. 정답 레이블을 전제로 하는 학습으로는 이 늦게 오는 평가를 앞선 수들에 나눠 줄 방법이 없었다.

Richard Bellman 은 1957년 상태 · 가치 함수 · 벨만 방정식과 마르코프 결정 과정(MDP)을 내놓아, 전이 확률을 알 때 동적 계획법으로 최적 정책을 구하게 했다(Sutton 2018 1.7절). Christopher Watkins 는 1989년 전이 확률 없이 겪은 경험만으로 최적 행동 가치를 배우는 Q 학습을 내놓았고(Watkins · Dayan 1992 수렴 증명), Ronald Williams 는 1992년 정책을 직접 기울기로 고치는 REINFORCE 를 보였다(Williams 1992). 1995년 TD-Gammon 은 자기 대국만으로 세계 정상급에 가까운 백개먼을 두었다(Sutton 2018 16.1절).

2015년 DQN 은 화면 픽셀을 받아 Atari 2600 게임 49개를 같은 신경망 구조로 배웠고 46개 가운데 29개에서 사람 점수의 75% 이상을 냈다(Mnih 2015 · Sutton 2018 16.5절). 2016년 AlphaGo 는 이세돌 9단을 4승 1패로 이겼고(Sutton 2018 16.6절), 2022년에는 시뮬레이터에서 배운 정책이 핵융합 실험 장치 TCV 의 제어 코일 19개를 10kHz 로 직접 움직였다(Degrave 2022). 지금은 LLM 을 사람의 선호 순위에 맞추는 RLHF 의 마지막 단계로도 쓴다.

3쉽게 이해하기 — 동네를 익히는 신입 배달원

신입 배달원 민수는 지도 없이 처음 보는 동네에 배치됐다. 갈림길마다 위 · 오른쪽 · 아래 · 왼쪽 가운데 한쪽으로 가는데, 먼 손님 집에 닿으면 팁 10, 가까운 편의점 손님은 팁 1을 주고, 공사장에 빠지면 배달을 망친다. 민수는 수첩에 «이 골목에서 이쪽으로 가면 몇 점»을 적어 두고 배달이 끝날 때마다 고친다. 음식이 식을수록 팁이 줄어 같은 팁이라도 빨리 닿는 길의 점수가 높고, 처음 며칠은 일부러 안 가 본 골목에도 들어가 본다.

민수 신입 배달원 지도 없이 첫 출근 에이전트 수첩 골목 × 방향 점수 늦을수록 팁 × 0.9 Q 표 · 할인율 γ 동네 = 환경 1 방향 고르기 · 행동 a 갈림길 지금 선 골목 상태 s 가끔 안 가 본 길 탐험 ε 2 손님 집 팁 10 · 먼 곳 보상 +10 · 끝 편의점 팁 1 · 가까운 곳 보상 +1 · 끝 공사장 배달을 망침 보상 −10 · 끝 3 팁을 받으면 수첩을 고친다 · 보상 r → Q 갱신 에이전트 · 학습 규칙 상태 보상 실패 선택 점선 = 환경의 범위

그림 1 · 민수는 갈림길에서 방향을 고르고, 동네가 돌려주는 팁으로 수첩 점수를 고치며 길을 배운다.

출발가게 앞 골목에서
방향 고르기수첩 점수 또는 안 가 본 쪽
한 골목 이동동네가 다음 골목을 보여 줌
팁 받기손님 10 · 편의점 1
수첩 고치기받은 팁 + 다음 골목 점수
다음 배달낯선 길은 점점 덜
비유 — 수첩 한 줄 고치기 실제 — Q 학습 갱신 골목 (0, 2) · 오른쪽 · 예전 점수 0 손님 팁 10 + 다음 골목 최고 점수 × 0.9 = 0 (배달 끝) 목표 10 − 예전 점수 0 = 차이 10 차이의 절반만 반영 → 새 점수 5.0 다음 배달 · 바로 앞 골목 (1, 2) · 위 팁 0 + 0.9 × 5.0 = 4.5 → 절반 2.25 Q(s, a) ← Q(s, a) + α [ r + γ · max Q(s′, ·) − Q(s, a) ] 보상 r = 10 γ · max Q(s′) = 0 s′ = 종료 상태 TD 오차 = 10 − 0 = 10 α = 0.5 → Q = 5.0 Q((1, 2), 위) = 0 + 0.5 × (0 + 0.9 × 5.0 − 0) = 2.25 · 가치가 한 걸음 거꾸로 퍼짐

그림 2 · 수첩 한 줄은 «받은 팁 + 다음 골목의 최고 점수 × 0.9»를 목표로 차이의 절반만 고치고, 그래서 점수가 손님 집에서 출발점 쪽으로 한 골목씩 퍼진다.

비유 속 역할실제 이름실제로 하는 일
신입 배달원 민수에이전트상태를 보고 행동을 고르고, 겪은 결과로 정책 · 가치 추정을 고친다
지금 선 갈림길상태 s행동을 고르는 데 필요한 정보 — 사례에서는 격자 칸 16개
한쪽으로 가기행동 a위 · 오른쪽 · 아래 · 왼쪽 4개 가운데 하나
동네 · 배달 끝환경 · 종료 상태행동을 받아 다음 상태를 정하고, 목표 · 함정에 닿으면 에피소드를 끝낸다
팁보상 r행동 하나 뒤에 오는 숫자 하나 — +10 · +1 · −10 · 0
수첩 점수행동 가치 Q(s, a)그 상태에서 그 행동을 하고 나서 받을 누적 보상의 추정값
식어 가는 음식할인율 γ한 걸음 늦은 보상마다 0.9 를 곱해 가까운 보상을 앞세운다
안 가 본 골목탐험 · ε-탐욕확률 ε 로 무작위 행동을 골라 아직 모르는 결과를 겪는다

⚠ 비유가 맞지 않는 곳: 사람 배달원은 동네 모양을 머릿속 지도로 그리지만 Q 학습은 지도(전이 모델) 없이 상태 · 행동마다 숫자만 고친다. 사람은 공사장에 한 번 빠지면 바로 피하지만, 학습률 0.5 로 조금씩 고치는 에이전트는 사례의 첫 100 에피소드에서 함정에 45번 빠졌다.

4구조 — 에이전트 · 환경 고리와 MDP 요소

강화 학습 문제는 MDP 다섯 값(상태 집합 S · 행동 집합 A · 전이 P · 보상 R · 할인율 γ)으로 적는다. 시각 t 마다 에이전트는 상태 S_t 를 보고 행동 A_t 를 내고, 환경은 보상 R_t+1 과 다음 상태 S_t+1 을 돌려준다(Sutton 2018 3.1절). 「마르코프」는 다음 상태와 보상이 지금 상태 · 행동에만 달렸다는 가정이며, DQN 이 화면 4장을 쌓아 84×84×4 로 넣은 것도 한 장으로는 움직이는 방향을 알 수 없어서다(Sutton 2018 16.5절).

에이전트 정책 π(a | s) — 상태 → 행동 가치 함수 V(s) · Q(s, a) 모델 — 다음 상태 · 보상 예측 모델 기반 방법만 겪은 (s, a, r, s′) 로 위 둘을 고침 환경 실제 장비 또는 시뮬레이터 전이 P(s′ | s, a) 보상 함수 R(s, a) 종료 — terminated · truncated reset() 으로 시작 · step() 으로 한 걸음 행동 A_t 보상 R_t+1 다음 상태 S_t+1 한 에피소드 S0 A0 R1 S1 A1 R2 S2 … 종료 상태 → reset() 상태 · 전이 행동 보상 학습 결과(굵은 테두리 = 가치) 점선 = 방법에 따라 있음

그림 3 · 에이전트는 정책과 가치 함수를, 환경은 전이와 보상 함수를 쥐고, 둘은 행동 하나와 보상 · 다음 상태 한 쌍을 주고받는다.

요소기호역할사례 값(그림 4)근거
상태S_t행동을 고르는 데 쓰는 정보격자 칸 16개Sutton 3.1
행동A_t에이전트의 선택위 · 오른쪽 · 아래 · 왼쪽Sutton 3.1
전이P(s′ | s, a)행동 뒤 다음 상태의 확률결정적 · 벽 쪽은 제자리Sutton 3.1
보상R_t+1행동 하나 뒤의 숫자목표 +10 · 편의점 +1 · 함정 −10 · 그 밖 0Sutton 3.2
할인율γ늦은 보상을 줄이는 비율0.9 — 여섯 걸음 뒤 10 은 5.905Sutton 3.3
정책π(a | s)상태마다 행동을 고르는 규칙학습 뒤 Q 가 가장 큰 행동Sutton 3.5
가치 함수V(s) · Q(s, a)그 칸에서 시작한 누적 보상의 기댓값Q 표 16 × 4 = 칸 64개Sutton 3.5

학습 방법은 무엇을 배우느냐로 나뉜다. 가치 기반(Q 학습)은 Q 를 배워 가장 큰 행동을 고르고, 정책 기반(정책 경사 · REINFORCE)은 정책의 매개변수 θ 를 누적 보상이 커지는 기울기 방향으로 직접 고쳐 연속 행동(전압 · 토크)에 맞으며(Williams 1992 · Sutton 2018 13.3절), 행위자-비평자는 둘을 함께 쓴다(Sutton 2018 13.5절). 전이를 알거나 배워 미리 계산해 보는 모델 기반 방법은 동적 계획법과 AlphaGo 의 탐색이 대표다.

화면처럼 상태가 셀 수 없이 많으면 Q 표 대신 신경망 Q(s, a; w) 를 쓰는데, 목표값이 같은 가중치에 달려 학습이 흔들리기 쉽다. DQN 은 겪은 전이를 저장해 무작위로 다시 뽑는 경험 재현과, C 번 갱신마다 복사해 고정해 두는 목표 망으로 이를 눌렀고, 게임마다 5,000만 프레임(약 38일 분량)을 겪었다(Sutton 2018 16.5절 · Mnih 2015).

🔑 지도 학습의 목표값은 데이터에 붙어 오지만 강화 학습의 목표값은 다음 상태의 가치 추정에서 빌려 온다 — 그래서 가치는 보상이 난 상태에서 출발점 쪽으로 한 단계씩 거꾸로 퍼진다.

5동작 — 4×4 격자에서 Q 학습 한 번

Python 3.14.0 · NumPy 2.4.3 으로 직접 실행한 사례다(np.random.default_rng(0) · 학습률 α = 0.5 · γ = 0.9 · 에피소드 500 · 한 에피소드 최대 100걸음). 위치는 (행, 열)로 적고 (0, 0) 이 왼쪽 위다.

  1. 환경을 정한다 — 출발 (3, 0) · 목표 (0, 3) +10 · 편의점 (3, 3) +1 · 함정 (2, 2) −10 이며, 세 곳은 닿으면 에피소드가 끝나고 그 밖의 이동은 보상 0 이다.
  2. Q 값 64개를 0 으로 두고, 탐험률 ε 을 에피소드 1 의 1.0 에서 에피소드 300 의 0.05 까지 곧게 줄인다(ε-탐욕 · Sutton 2018 2.2절).
  3. 에피소드 1 은 21걸음 만에 편의점에 닿아 Q((2, 3), 아래) = 0 + 0.5 × (1 − 0) = 0.5 가 되고, 에피소드 2 는 함정에 빠져 Q((3, 2), 위) = −5.0 이 된다.
  4. 에피소드 4 의 52걸음째에 처음 목표에 닿아 Q((0, 2), 오른쪽) = 0 + 0.5 × (10 − 0) = 5.0 이 된다(Sutton 2018 식 6.8).
  5. 에피소드 6 에서 그 아래 칸이 갱신된다 — Q((1, 2), 위) = 0 + 0.5 × (0 + 0.9 × 5.0 − 0) = 2.25 로, 보상이 0 인 칸에도 가치가 생긴다.
  6. 500 에피소드 동안 4,516걸음을 갱신하며, 100 에피소드마다 목표 도달은 43 → 84 → 97 → 100 → 100번, 함정은 45 → 15 → 2 → 0 → 0번이다.
  7. 학습 뒤 탐욕 정책은 (3, 0) → (2, 0) → (1, 0) → (1, 1) → (0, 1) → (0, 2) → (0, 3) 여섯 걸음이고, 출발 위치의 최대 Q 5.905 는 가치 반복 7회로 구한 V*(출발) = 10 × 0.9⁵ = 5.905 와 같다(Sutton 2018 4.4절).
시드 0 · 500 에피소드 뒤 칸마다 최대 Q 열 0 열 1 열 2 열 3 0 1 2 3 8.1 9.0 10.0 목표 +10 · 끝 7.29 8.1 9.0 9.998 6.561 7.29 함정 −10 · 끝 7.662 출발 5.905 6.561 5.887 편의점 +1 · 끝 1 3 4 5 7 2 Q 값 64개 = 0 에서 시작 ε: 에피소드 1 의 1.0 → 300 의 0.05 6 100 에피소드마다 끝난 곳 1–100 43 45 101–200 84 15 201–300 97 2 301–400 100 0 401–500 100 0 목표 보상 · 목표 도달 함정 굵은 테두리 = 작은 보상 +1 탐욕 경로(학습 뒤)

그림 4 · 500 에피소드 뒤 상태마다 최대 Q 값이 목표에서 멀어질수록 0.9 배씩 줄고, 탐욕 경로는 함정을 돌아 여섯 걸음으로 목표에 닿는다.

같은 환경 · 같은 학습률에서 탐험률만 바꿔 시드 0 ~ 19 로 20번씩 돌리면 탐험의 몫이 숫자로 갈린다(그림 5). ε = 0 은 처음 닿은 편의점 길에 굳어 20번 가운데 2번만, ε = 0.1 고정은 4번만 목표 경로를 배웠다. ε = 1(늘 무작위)은 Q 학습이 따르는 정책과 무관하게 최적 Q 에 다가가므로(off-policy · Sutton 2018 6.5절) 20번 모두 경로를 배우지만, 학습 중 목표 도달률은 0.14 ~ 0.17 에 머문다.

100 에피소드마다 목표 도달률 — 시드 20개 평균 1.0 0.5 0 1–100 101–200 201–300 301–400 401–500 에피소드 구간 0.993 0.376 아래 세 선 = 0.07 ~ 0.19 에 머묾 ε 1.0 → 0.05 줄임 최종 경로 20 / 20 ε = 1 · 늘 무작위 최종 경로 20 / 20 ε = 0.1 고정 최종 경로 4 / 20 ε = 0 · 늘 탐욕 최종 경로 2 / 20 최종 경로 = 학습 뒤 탐욕 정책이 목표에 닿은 실행 수(20번 중)

그림 5 · 탐험률을 1.0 에서 0.05 로 줄이면 경로도 20번 모두 배우고 학습 중 도달률도 0.993 까지 오른다 — 늘 탐욕이면 경로를, 늘 무작위면 도달률을 잃는다.

🔑 탐험은 지금의 보상을 내주고 나중의 정보를 사는 일이다 — 가치가 자리 잡기 전에는 많이, 자리 잡은 뒤에는 적게 한다.

6비교 — 지도 · 비지도 학습과의 차이

기준지도 학습비지도 학습강화 학습
받는 신호표본마다 정답 레이블신호 없음 · 데이터 구조만행동 뒤 숫자 하나 — 어느 행동이 옳았는지는 알려 주지 않음
신호가 오는 때표본과 함께 바로—늦게 — 사례의 +10 은 여섯째 행동 뒤
데이터의 출처미리 모은 고정 세트미리 모은 고정 세트에이전트의 행동이 만듦 — 정책이 바뀌면 분포도 바뀜
성능을 재는 값테스트 세트 오차군집 · 재구성 지표에피소드 누적 보상 · 목표 도달률
비용이 드는 곳레이블 붙이기데이터 모으기시행 자체 — 칸 16개에 4,516걸음 · DQN 은 게임당 5,000만 프레임

분석단계마다 옳은 행동을 사람이 적어 줄 수 있으면 지도 학습(모방)이 빠르고, 결과만 점수로 매길 수 있는 연속 결정이면서 시행을 싸게 되풀이할 시뮬레이터가 있을 때 강화 학습을 고른다. 근거는 표의 「데이터의 출처」 · 「비용이 드는 곳」 행 — 실제 장비에서 수천만 번 시험할 수 없어 TCV 코일 제어도 시뮬레이터에서 먼저 배웠다(Degrave 2022).

산업에서는 설정값을 연속으로 바꾸는 제어(로봇 팔 관절 · 코일 전압 · 공조 설정)와, 작업 순서 · 자원 배분을 차례로 정하는 스케줄링에 쓴다. 두 경우 모두 보상은 제어 오차 · 완료 시간 · 에너지처럼 측정되는 값으로 만들고, 학습은 공정 시뮬레이터나 디지털 트윈에서 먼저 한다.

7실무 진단 — 학습 실패의 단계 가르기

분석환경(보상 · 종료 신호)부터 보고, 다음에 탐험, 마지막에 학습 안정성과 실제 이전을 본다. 보상이 목표를 잘못 말하면 어떤 알고리즘도 잘못된 목표를 잘 배울 뿐이므로(Sutton 2018 17.4절 · Amodei 2016 4절), 앞 단계가 맞을 때만 다음 단계를 의심한다.

#증상의심 원인단계확인 자료판정 기준(근거)
1보상 합계는 오르는데 목표 도달이 0보상 해킹 — 중간 보상을 되풀이해 받음보상 설계에피소드 궤적 재생 · 목표 도달 횟수를 보상과 따로 기록같은 상태 · 같은 행동이 되풀이되면 보상 탓(Amodei 2016 4절) — 사례에 (2, 0) 진입 +2 를 넣자 20번 모두 (2, 0) ↔ (1, 0) 왕복 · 50걸음 보상 50 · 도달 0
2보상 · 도달이 둘 다 낮고 오르지 않음탐험 부족 · 희소 보상탐험에피소드별 ε · 처음 겪는 (상태, 행동) 쌍의 수새 쌍이 더 늘지 않는데 도달이 낮으면 탐험 부족(Sutton 2018 2.2절 · 17.4절) — 그림 5 의 ε = 0
3시간 제한으로 끝난 상태 근처의 가치가 낮게 굳음시간 제한 끝을 실패 종료처럼 처리환경Gymnasium step() 의 terminated · truncated 값가치 0 인 종료 상태는 terminated 뿐이고 truncated 는 MDP 밖 조건(Gymnasium Env · Sutton 2018 6.5절 Q(terminal) = 0)
4신경망 Q 값이 계속 커지거나 진동함수 근사 + 부트스트랩 + off-policy 가 겹침학습Q 최대값 · TD 오차 추이경험 재현 · 목표 망을 넣어 다시 보고, 오차를 [−1, 1] 로 자름(Sutton 2018 11.3절 · 16.5절)
5시뮬레이터 점수는 높고 실제 장비에서 떨어짐시뮬레이터와 실제의 분포 차이이전같은 정책의 실제 상태 기록과 시뮬레이터 상태 분포 대조실제 상태가 학습 때 범위 밖이면 이전 실패(Amodei 2016 7절)

1 ~ 3행은 알고리즘을 바꾸기 전에 확인한다 — 궤적을 한 번 재생하면 왕복 · 시간 초과가 바로 보이고, 이것이 남아 있으면 신경망 구조를 바꿔도 같은 실패가 되풀이된다.

8시험 대비

출제 정보 정보관리(139회) · 컴퓨터시스템응용(131회, 120회, 114회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 MDP 구성 요소와 Q 학습 · 정책 경사를 쓰는 정의 · 특징형, 그리고 지도 · 비지도 학습과 신호 · 데이터 · 평가를 가르는 비교형이 나올 수 있다. 정의형이라도 Q 값 하나를 실제 숫자로 갱신해 보이면 원리를 이해했다는 것이 답안에 드러난다.

답안 목차
  1. 개요 — 정의(에이전트 · 환경 · 누적 보상) · MDP (S, A, P, R, γ) · Bellman 1957 · Watkins 1989 Q 학습
  2. 구조 — 그림 3 에이전트 · 환경 고리 + 요소 표(상태 · 행동 · 전이 · 보상 · 할인율 · 정책 · 가치 함수)
  3. 학습 원리 — Q 학습 갱신식 · 한 번 계산(0 + 0.5 × (10 − 0) = 5.0 → 2.25) · 그림 4 격자 가치 지도(0.9 배씩 줄어듦)
  4. 탐험과 활용 — ε-탐욕 · 그림 5 탐험률별 도달률(ε = 0 은 2/20 · 줄이는 ε 은 20/20)
  5. 방법 분류 — 가치 기반(Q 학습 · DQN 경험 재현 · 목표 망) · 정책 기반(REINFORCE) · 행위자-비평자 · 모델 기반
  6. 활용과 한계 — 지도 · 비지도 비교표 · 제어 · 스케줄링 · 보상 해킹 · 시뮬레이터와 실제의 차이 · RLHF

꼭 쓸 키워드
마르코프 결정 과정벨만 방정식가치 함수할인율탐험과 활용ε-탐욕Q 학습정책 경사DQN보상 해킹

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 환경에서 탐험률만 바꾼 실행 결과다 — 「탐험이 필요하다」 한 줄 대신 20번 중 2번과 20번의 차이를 숫자로 보인다.

9오해와 사실

  • 오해보상을 많이 받을수록 원하는 행동을 배운 것이다.
    사실보상은 무엇을 이룰지를 알리는 신호이지 어떻게 할지를 알리는 신호가 아니며(Sutton 2018 3.2절), 사례에 중간 보상 +2 칸을 하나 넣자 목표에 한 번도 가지 않는 정책이 가장 큰 보상을 받았다.
  • 오해강화 학습은 정답 없이 혼자 배우므로 데이터가 필요 없다.
    사실고정 데이터 세트 대신 시행 기록이 데이터이며, 칸 16개짜리 격자에도 4,516걸음이 들었고 DQN 은 게임마다 약 38일 분량의 프레임을 겪었다(Sutton 2018 16.5절).
  • 오해늘 가장 좋아 보이는 행동만 고르면 더 빨리 배운다.
    사실사례의 ε = 0 은 먼저 찾은 편의점 길(+1)을 되풀이해 20번 중 18번 목표 경로(+10)를 끝내 찾지 못했다.

10핵심 정리

구분맡는 일핵심 식 · 장치사례 값흔한 실패
MDP문제를 적는 틀(S, A, P, R, γ)16 상태 · 4 행동 · γ 0.9한 장 관측으로 마르코프 가정이 깨짐
가치 함수칸마다 장기 점수V*(s) = max_a [R + γ V*(s′)]V*(출발) = 5.905γ 가 작아 먼 목표를 무시
Q 학습모델 없이 최적 Q 추정Q ← Q + α [r + γ max Q′ − Q]0 → 5.0 → 2.25탐험 부족으로 작은 보상에 굳음
정책 경사정책 매개변수를 직접 고침누적 보상의 기울기 방향 · REINFORCE연속 행동(전압 · 토크)기울기 추정의 분산이 큼
DQN신경망으로 Q 근사경험 재현 · 목표 망 · 오차 자르기84×84×4 입력 · 49게임Q 값 발산 · 진동
ε-탐욕탐험과 활용 조절확률 ε 로 무작위 행동1.0 → 0.05 에서 20/20ε = 0 고정에서 2/20
보상 설계목표를 숫자로 알림R(s, a)+10 · +1 · −10보상 해킹(+2 칸 왕복)
시뮬레이터시행을 싸게 되풀이reset() · step()500 에피소드 · 4,516걸음실제와의 분포 차이

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Reinforcement Learning: An Introduction, second edition (Sutton · Barto) — MDP · 벨만 방정식 · Q 학습 · 정책 경사를 원전 교재로 볼 때
    MIT Press · 2018-11 · mitpress.mit.edu/9780262039246/reinforcement-learning/ · 확인 2026-11-04
  3. ★ Q-learning (Machine Learning 8(3-4) 279-292) — Q 학습 갱신식과 수렴 조건의 원 논문을 볼 때
    Springer · 1992-05 · doi.org/10.1007/BF00992698 · 확인 2026-11-04
  4. ★ Human-level control through deep reinforcement learning (Nature 518 529-533) — DQN 의 경험 재현 · 목표 망 · Atari 결과를 볼 때
    Nature · 2015-02 · doi.org/10.1038/nature14236 · 확인 2026-11-04
  5. ★ Concrete Problems in AI Safety (arXiv 1606.06565) — 보상 해킹 · 안전한 탐험 · 분포 변화를 볼 때
    arXiv · 2016-06 · arxiv.org/abs/1606.06565 · 확인 2026-11-04
  6. ★ Gymnasium API Env.step · Env.reset — 시뮬레이터 환경의 step · reset · terminated · truncated 를 볼 때
    Farama Foundation · 2026-11 · gymnasium.farama.org/api/env/ · 확인 2026-11-04
  7. 본문 근거
  8. Simple statistical gradient-following algorithms for connectionist reinforcement learning (Machine Learning 8(3-4) 229-256) — Springer · 1992-05 · doi.org/10.1007/BF00992696 · 확인 2026-11-04
  9. Magnetic control of tokamak plasmas through deep reinforcement learning (Nature 602 414-419) — Nature · 2022-02 · doi.org/10.1038/s41586-021-04301-9 · 확인 2026-11-04
  10. Playing Atari with Deep Reinforcement Learning (arXiv 1312.5602) — arXiv · 2013-12 · arxiv.org/abs/1312.5602 · 확인 2026-11-04
  11. NumPy 2.4 Reference Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-04