추론 모델Reasoning Model
답을 내기 전에 긴 중간 사고(사고 사슬)를 스스로 생성하도록 정답 검증 보상의 강화 학습으로 다시 학습한 LLM 으로, 추론 때 사고 토큰을 더 쓸수록 다단계 문제의 정답률이 오른다.
1요약
- 추론 모델은 LLM 위에 정답 검증 보상의 강화 학습 단계를 더해, 답 앞에 수백 ~ 수천 토큰의 사고 구간을 스스로 쓰게 만든 모델로(DeepSeek-AI 2025 2.2절), 수학 · 코딩 · 에이전트의 계획 세우기가 이 위에서 돈다 — 여기서 「추론」은 단계적 사고(reasoning)이며, 서빙 실행 속도를 다루는 추론 최적화의 inference 와는 다른 개념이다.
- 한 번에 답을 쓰는 모델은 여러 단계를 거치는 문제에서 중간 실수를 되돌리지 못한다 — 같은 기반 모델이 강화 학습만으로 AIME 2024 pass@1 15.6%에서 71.0%로 올랐다(DeepSeek-AI 2025 2.2.4절).
- 「추론 모델로 바꿀까」는 정답을 기계로 확인할 수 있는 다단계 과제인가로 가른다 — 조회 · 요약 · 형식 맞추기처럼 단계가 짧은 일은 사고 토큰만 늘고 정답률은 그대로다.
2등장 배경
2022년까지 다단계 추론은 입력에 풀이 예시를 넣는 프롬프트 기법(사고 사슬)에 기대었다. 모델은 풀이를 «흉내»낼 뿐 자기 풀이가 맞았는지 배우지 못했고, 사람이 단계마다 정답을 달아 주는 방식은 비쌌다 — 단계 단위 사람 평가 80만 개를 모은 PRM800K 가 그 규모를 보인다(Lightman 2023 초록).
2022년 3월 STaR 는 모델이 쓴 풀이 가운데 정답에 이른 것만 골라 다시 학습시키는 순환을 내놓았다(Zelikman 2022). 2024년 2월 GRPO 는 가치 모델 없이 같은 문제의 답 여러 개를 서로 견주는 강화 학습 방식이었고(Shao 2024), 2024년 8월 Snell 등은 추론 때 계산을 잘 나누면 14배 큰 모델을 이길 수 있다고 보였다(Snell 2024 초록).
2025년 1월 DeepSeek-R1 논문은 규칙 기반 정답 · 형식 보상만으로 긴 사고와 「잠깐, 다시 보자」 식 자기 검산이 저절로 생긴다는 것을 공개 가중치와 함께 밝혔다(DeepSeek-AI 2025 2.2.4절). 같은 달 s1 은 1,000문항 미세 조정과 사고 길이 강제만으로 비슷한 확장 곡선을 얻었다(Muennighoff 2025 1절). 지금 남은 과제는 비용이다 — 쉬운 문제에서도 사고 토큰이 크게 늘어난다(Chen 2024 1절).
3쉽게 이해하기 — 정답지로만 채점받는 경시 대비반 학생
경시 대회를 준비하는 학생에게 코치가 문제집 한 권을 준다. 학생은 같은 문제를 연습장 여덟 장에 따로 풀고, 채점원은 정답지와 마지막 답만 맞춰 본다. 코치는 여덟 장을 나란히 놓고 평균보다 잘 푼 장의 습관은 칭찬하고 못 푼 장의 습관은 줄이게 한다. 이렇게 수천 문제를 지나면 학생은 연습장에 길게 쓰고 「잠깐, 다시 보자」 하며 검산하는 버릇이 생기고, 시험 날에는 정해진 시간 안에 연습장에서 풀고 답안지에는 답만 낸다.
그림 1 · 학생은 마지막 답만 채점받지만, 여덟 장을 서로 견주는 칭찬을 수천 번 거치며 긴 풀이와 검산 습관을 스스로 익힌다.
그림 2 · 연습장에서 한 번 틀린 답을 검산으로 고치는 습관이, 실제 모델에서는 사고 구간 안의 「Wait」 뒤 다시 계산으로 나타난다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 학생 | 정책 모델 | 사고 토큰과 답을 생성하고 학습으로 가중치가 바뀜 |
| 문제집 | 문제 데이터 | 정답이 하나로 정해지는 수학 · 코드 문제 |
| 연습장 여덟 장 | 표본(롤아웃) 집단 | 한 문제에 답 여러 개를 따로 뽑음 |
| 정답지 | 규칙 기반 검증기 | 답 구간의 값 · 테스트 통과만 보고 보상을 줌 |
| 평균과 견준 칭찬 | 집단 상대 우위(GRPO) | 집단 평균보다 높은 답의 확률을 올림 |
| 「잠깐, 다시 보자」 | 자기 검산 | 사고 구간 안에서 앞 단계를 다시 계산함 |
| 시험 시간 | 추론 예산 | 사고 토큰 상한 · 최소 길이를 정함 |
| 답안지 | 최종 답 | 사고 구간 뒤에 짧게 내는 출력 |
⚠ 비유가 맞지 않는 곳: 학생은 연습장에 쓴 대로 생각했다고 믿을 수 있지만, 모델의 사고 구간은 실제로 쓴 근거를 다 드러내지 않는다 — 단서를 쓰고도 사고 구간에 밝힌 비율이 대개 20% 아래였다(Chen 2025 초록). 또 코치의 칭찬과 달리 보상은 풀이가 아니라 답만 본다.
4구조 — 네 단계 학습과 두 구간 출력
공개된 대표 사례인 DeepSeek-R1 은 기반 모델에서 네 단계를 거친다(DeepSeek-AI 2025 2.3절). 강화 학습 단계의 보상은 사람 선호 모델이 아니라 규칙 검증기라서, 사람 비교 기록으로 보상 모델을 배우는 RLHF 와 보상의 출처가 다르다.
그림 3 · 추론 능력은 정답 검증 보상의 강화 학습 단계에서 생기고, 출력은 사고 구간과 답 구간 둘로 나뉘며 예산은 사고 구간에만 걸린다.
| 요소 | 위치 | 역할 | 값 · 근거 |
|---|---|---|---|
| 콜드 스타트 데이터 | 학습 ① | 읽기 쉬운 긴 사고 꼴을 먼저 보임 | 수천 개(DeepSeek-AI 2025 2.3.1절) |
| GRPO | 학습 ② | 같은 문제 답 집단을 서로 견줘 갱신 · 가치 모델 없음 | 우위 = (보상 − 집단 평균) ÷ 집단 표준편차(같은 글 2.2.1절) |
| 정확도 보상 | 학습 ② | 답 구간 값 · 테스트 통과 여부 | 규칙 검증 · 모델 기반 과정 보상은 보상 해킹으로 쓰지 않음(4.2절) |
| 형식 보상 | 학습 ② | 사고를 think 태그 안에 쓰게 함 | 템플릿(같은 글 표 1) |
| 거절 표집 데이터 | 학습 ③ | 맞은 답만 모아 다시 미세 조정 | 추론 약 60만 + 일반 약 20만(2.3.3절) |
| 사고 토큰 | 출력 | 풀이 · 검산 · 다른 방법 시도 | 수백 → 수천 토큰으로 자람(2.2.4절) |
| 추론 예산 | 출력 | 사고 길이 상한 · 최소 | 끝 기호 강제 · 「Wait」 덧붙임(Muennighoff 2025 3.1절) |
🔑 추론 모델의 능력은 «긴 사고를 쓰라는 지시»가 아니라 «답이 맞았는지 기계가 알려 주는 보상»에서 나온다 — 그래서 정답을 확인할 수 없는 과제에서는 같은 방법으로 키우기 어렵다.
5동작 — 한 문제의 GRPO 갱신 한 번
문제 하나(1 ~ 100 가운데 3 또는 5의 배수의 합 · 정답 2418)로 강화 학습 한 걸음을 따라간다. 표본 8개의 답과 토큰 수는 설명용 가정 값이고, 우위 값은 원문 식대로 직접 실행해 얻었다(NumPy std 문서 · 모집단 표준편차).
- 준비 — 정답 2418 과 규칙 검증기(답 구간의 정수가 2418 이면 1 · 아니면 0 · think 태그가 없으면 0)를 둔다.
- 표본 뽑기 — 정책 모델이 같은 문제에 답 8개를 따로 생성한다. 사고 토큰은 300 ~ 1,240개다.
- 채점 — 정답 3개(420 · 910 · 1,240토큰), 15의 배수를 두 번 센 2733 이 3개, 3의 배수만 더한 1683 이 1개, 답은 맞지만 태그가 없는 형식 실패 1개다. 보상 = [1, 0, 1, 0, 1, 0, 0, 0].
- 우위 계산 — 집단 평균 0.375, 표준편차 0.484 로 정답 표본의 우위는 +1.291, 나머지는 −0.775 다. 가치 모델 없이 집단 안의 비교만으로 기준선을 만든다(Shao 2024).
- 정책 갱신 — 우위가 양인 표본의 토큰 확률은 올리고 음인 표본은 내린다. 확률 비율은 클리핑으로 묶고, 참조 모델과의 KL 벌점으로 너무 멀리 가지 않게 한다(DeepSeek-AI 2025 2.2.1절).
- 길이의 변화 — 이 집단에서 정답 표본의 평균 사고 길이는 856.7토큰, 오답 · 실패는 402.0토큰이다. 검산이 든 긴 풀이가 더 자주 보상을 받으므로, 이 걸음이 수천 번 쌓이면 사고 구간이 길어진다(같은 글 2.2.4절).
- 반복의 결과 — 원 논문에서는 이 과정만으로 AIME 2024 pass@1 이 15.6% → 71.0% 로 올랐고, 사고 길이는 수백에서 수천 토큰으로 늘었다(같은 글 2.2.4절).
그림 4 · 같은 문제의 답 8개 가운데 정답 3개만 양의 우위를 받는데, 그 셋의 사고가 평균 두 배 남짓 길어 갱신이 긴 사고 쪽으로 기운다 · 답과 토큰 수 = 설명용 가정 값.
학습이 끝난 뒤에는 추론 때 계산을 얼마나 쓰느냐가 정답률을 다시 바꾼다. 사고를 길게 늘리는 순차 확장과 답을 여러 개 뽑아 다수결하는 병렬 확장이 있다(Muennighoff 2025 3.1절).
그림 5 · 추론 계산을 늘리면 정답률이 오르지만 순차 확장은 어느 길이에서 평평해지고 병렬 확장은 호출 수만큼 비용이 는다 — 쉬운 문제에서는 같은 답에 토큰만 쓴다.
🔑 사고 토큰은 «어려운 문제의 정답률»을 사고, «쉬운 문제»에서는 같은 답에 비용만 더한다 — 그래서 추론 모델의 성능표는 정답률과 평균 출력 토큰을 함께 읽는다.
6비교 — 다단계 정답률을 올리는 다섯 방식
| 기준 | 프롬프트 사고 사슬 | 다수결 · 검증기 선택 | 추론 모델(RL) | 증류 추론 모델 | 과정 보상 탐색 |
|---|---|---|---|---|---|
| 능력이 생기는 곳 | 입력 문구 | 추론 때 표본 여러 개 | 학습(정답 보상 강화 학습) | 큰 추론 모델의 사고 예시 | 단계마다 점수 매기는 보상 모델 |
| 학습 비용 | 없음 | 없음(검증기는 따로) | 큼(표본 생성 · 채점 반복) | 미세 조정 한 번 | 단계 표지 데이터(PRM800K 80만 개) |
| 추론 때 비용 | 풀이 토큰 | 호출 N배 | 긴 사고 토큰 | 긴 사고 토큰 · 작은 모델 | 표본 · 탐색 단계 수배 |
| 보고 값 | → 프롬프트 엔지니어링 | 71.0 → 86.7%(64개 · DeepSeek-AI 2025 표 2) | 79.8%(AIME 2024 · 같은 글 1.2절) | 32B 72.6% · 7B 55.5%(같은 글 표 5) | MATH 부분 집합 78%(Lightman 2023) |
| 한계 | 모델 규모 · 문구에 민감 | 자유 서술 답은 모으기 어려움 | 검증 가능한 과제에 치우침 · 언어 섞임 | 강화 학습 없이 스승을 넘기 어려움 | 보상 해킹 · 대규모 학습에서 실패 보고(같은 글 4.2절) |
분석정답을 기계로 확인할 수 있고 단계가 긴 과제면 추론 모델을, 이미 쓰는 모델의 정답률만 조금 올리면 다수결을, 비용 · 지연 제약이 크면 증류 모델을 고른다. 근거는 표의 «학습 비용» · «추론 때 비용» 행 — 다수결은 호출 수만큼, 추론 모델은 사고 토큰만큼 비용이 늘고, 증류 모델은 작은 모델로 그 사고 꼴을 옮긴다(DeepSeek-AI 2025 3.2절).
프롬프트 문구로 풀이를 끌어내는 기법끼리의 비교는 프롬프트 엔지니어링, 토큰을 고르는 탐욕 · 샘플링 설정은 디코딩, 외부 문서를 붙이는 방식은 RAG 가 다룬다.
7실무 진단 — 추론 모델 결과가 이상한 단계 가르기
분석출력 토큰 수 → 끝맺음 여부 → 정답률 순서로 본다. 사고 길이가 예산 상한에 닿아 잘리면 답 구간이 비어 정답률을 셀 수 없고, 정답이 맞아도 토큰이 몇십 배면 과제와 모델이 맞지 않기 때문이다(Chen 2024 1절 · Muennighoff 2025 4.2절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 답이 비어 있거나 중간에서 끊김 | 사고가 예산 상한에 닿음 | 출력 | 끝 기호 유무 · 출력 토큰 수 분포 | 상한에서 끊긴 비율이 0 이 아니면 예산을 늘리거나 짧은 답 과제로 돌림 |
| 2 | 같은 문장을 되풀이하다 끝남 | 끝 기호 억제 · 사고 길이 강제 과다 | 출력 | 반복 n-그램 비율 · 「Wait」 횟수 | 강제 횟수를 줄임(6회쯤부터 평평 · 반복 · Muennighoff 2025 4.2절) |
| 3 | 쉬운 질문에 지연 · 비용 급증 | 과잉 사고 | 설계 | 문항 난이도별 평균 출력 토큰 | 정답률 차이 없이 토큰만 수십 배 = 일반 모델로 돌림(Chen 2024 1절) |
| 4 | 예시를 넣었더니 정답률 하락 | 퓨샷 예시가 사고 꼴을 흐트림 | 입력 | 예시 유무 두 조건 점수 | 예시 없이 문제 · 출력 형식만 적음(DeepSeek-AI 2025 5절) |
| 5 | 사고 구간과 답이 어긋나거나 근거가 빠짐 | 사고 내용의 불충실 | 평가 | 단서를 넣은 대조 문항의 밝힘 비율 | 사고 구간을 감사 근거로만 쓰지 않음(Chen 2025 초록) |
사고 구간에 두 언어가 섞여 읽기 어려우면 학습 쪽 문제다 — 강화 학습만 거친 모델에서 보고되어 콜드 스타트 데이터로 고친 증상이다(DeepSeek-AI 2025 2.2.4절). 사고 구간이 사용자에게 보이는 서비스라면 그 안의 문장이 답보다 덜 다듬어졌다는 점도 함께 안내한다.
8시험 대비
시험에서는 추론 모델의 정의 · 학습 방식을 묻는 정의 · 특징형과, 일반 LLM · 프롬프트 사고 사슬과의 차이를 묻는 비교형이 나올 수 있다. 정의형은 «정답 검증 보상 · 긴 사고 구간 · 추론 계산 확장» 세 낱말로 정의를 세우고 그림 3 네 단계로 받친다. 비교형은 «능력이 생기는 곳(입력 · 추론 때 · 학습)» 축으로 표를 세우고 비용 행으로 선택 기준을 맺는다.
- 개요 — 정의 · reasoning 과 inference 의 구분 · LLM 활용 안의 위치
- 학습 구조 — 그림 3 네 단계(콜드 스타트 · 추론 RL · 거절 표집 · 전 영역 RL) · 정확도 · 형식 보상 표
- 학습 원리 — 그림 4 GRPO 우위 계산(집단 평균 · 표준편차 · 가치 모델 없음) · 우위 식
- 추론 계산 확장 — 그림 5 순차 · 병렬 확장 · 과잉 사고 수치
- 비교 — 프롬프트 사고 사슬 · 다수결 · 추론 모델 · 증류 · 과정 보상 탐색 표
- 한계와 대응 — 과잉 사고 · 사고 불충실 · 검증 불가 과제 · 예산 제어
꼭 쓸 키워드
사고 토큰정답 검증 보상GRPO집단 상대 우위콜드 스타트거절 표집증류추론 계산 확장예산 강제과잉 사고
다른 답안과 차이를 내는 한 가지 — 표본 8개의 우위를 직접 계산해(+1.291 · −0.775) «정답 보상만 주었는데 왜 사고가 길어지는가»를 숫자로 보인다.
9오해와 사실
- 오해사고 구간을 읽으면 모델이 왜 그 답을 냈는지 알 수 있다.사실넣어 준 단서를 쓰고도 사고 구간에 밝힌 비율은 대개 20% 아래였고, 결과 보상 강화 학습으로 높아지다가 정체했다(Chen 2025 초록).
- 오해오래 생각하게 할수록 정답률은 계속 오른다.사실사고 길이 강제는 6회쯤에서 평평해지고 더 억제하면 반복 고리에 빠졌다(Muennighoff 2025 4.2절).
- 오해추론 모델도 퓨샷 예시를 넣으면 더 좋아진다.사실원 논문은 퓨샷 프롬프트가 성능을 꾸준히 떨어뜨려 예시 없는 문제 서술을 권했다(DeepSeek-AI 2025 5절).
10핵심 정리
| 요소 · 개념 | 맡는 일 | 단계 | 대표 값 | 흔한 실패 | 확인 지표 |
|---|---|---|---|---|---|
| 정답 검증 보상 | 답 구간이 맞았는지 채점 | 학습 | 정확도 + 형식 보상 | 검증 불가 과제에 못 씀 | 검증기 통과율 |
| GRPO | 답 집단을 서로 견줘 갱신 | 학습 | 사례 우위 +1.291 · −0.775 | 모두 맞거나 모두 틀리면 신호 없음 | 집단 보상 분산 |
| 사고 토큰 | 풀이 · 검산 | 출력 | 수백 → 수천 토큰 | 과잉 사고 · 반복 | 평균 출력 토큰 |
| 추론 예산 | 사고 길이 상한 · 최소 | 출력 | s1-32B 50.0 → 56.7% | 상한 잘림 · 반복 고리 | 끝 기호 유무 |
| 다수결 | 표본 여러 개의 답 모음 | 추론 때 | 71.0 → 86.7%(64개) | 호출 비용 N배 | 정확도 ÷ 호출 수 |
| 증류 | 큰 모델 사고 꼴을 작은 모델로 | 학습 | 7B 55.5% · 32B 72.6% | 스승 한계를 넘지 못함 | 스승 대비 점수 |
| 사고 불충실 | — | 평가 | 단서 밝힘 대개 20% 아래 | 사고 구간을 근거로 믿음 | 단서 대조 문항 |
11참고 문헌
- 먼저 볼 문헌
- ★ DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning (DeepSeek-AI · Nature 645 633-638 · arXiv 2501.12948) — 정답 검증 보상만으로 긴 사고가 생기는 학습 과정과 네 단계 학습 순서를 볼 때
- ★ s1: Simple test-time scaling (Muennighoff et al. · arXiv 2501.19393) — 사고 길이를 강제로 늘리고 줄이는 예산 강제와 순차 · 병렬 확장의 구분을 볼 때
- ★ Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters (Snell et al. · arXiv 2408.03314) — 추론 계산을 늘리는 두 방식과 모델 크기 확장과의 맞교환을 볼 때
- ★ Reasoning Models Don't Always Say What They Think (Chen et al. · arXiv 2505.05410) — 사고 내용이 실제 판단 근거를 드러내는 비율을 볼 때
- 본문 근거
- Let's Verify Step by Step (Lightman et al. · arXiv 2305.20050) — arXiv · 2023-05 ·
arxiv.org/abs/2305.20050· 확인 2026-11-13 - Do NOT Think That Much for 2+3=? On the Overthinking of o1-Like LLMs (Chen et al. · arXiv 2412.21187) — arXiv · 2024-12 ·
arxiv.org/abs/2412.21187· 확인 2026-11-13 - DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models (Shao et al. · arXiv 2402.03300) — arXiv · 2024-02 ·
arxiv.org/abs/2402.03300· 확인 2026-11-13 - STaR: Bootstrapping Reasoning With Reasoning (Zelikman et al. · NeurIPS 2022 · arXiv 2203.14465) — arXiv · 2022-03 ·
arxiv.org/abs/2203.14465· 확인 2026-11-13 - NumPy 2.4 numpy.std (Standard deviation) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.std.html· 확인 2026-11-13