문맥 내 학습(퓨샷)In-Context Learning
LLM 이 가중치를 바꾸지 않고, 프롬프트에 넣은 입력 → 출력 예시 몇 개만 보고 새 입력의 답을 내는 추론 시점의 학습 방식이다.
1요약
- 문맥 내 학습은 프롬프트 속 입력 → 출력 예시 k개와 새 질의만으로 답을 내는 LLM 의 사용 방식으로, 2020년 GPT-3 논문이 경사 갱신 없는 「퓨샷」 조건으로 정의했고(Brown 2020 2절), 분류 · 추출 · 번역 프롬프트의 예시가 이 위에서 돈다.
- 예시가 없으면 모델은 과제를 짐작만 한다 — TriviaQA 정확도가 예시 0개 64.3%, 1개 68.0%, 여러 개 71.2%였고(Brown 2020 표 3.3), 같은 예시 네 개도 순서만 바꾸면 최고 수준 가까이에서 우연 수준까지 오갔다(Lu 2021 1절).
- 「예시를 넣었더니 나아졌다」는 레이블을 무작위로 바꾼 예시와 견줘 가른다 — 차이가 0 ~ 5%p 면 모델은 짝이 아니라 형식 · 레이블 공간을 읽은 것이고(Min 2022 4.1절), 차이가 크면 입력 · 레이블 대응 자체를 쓴 것이다.
2등장 배경
GPT-3 이전의 언어 과제는 레이블 수천 ~ 수만 개로 과제마다 미세 조정을 해야 했고, 데이터가 적은 과제는 모델 한 벌을 따로 만들 수 없었다(Brown 2020 초록). 2020년 5월 Brown 등은 1,750억 매개변수 모델에 2,048토큰 문맥 창이 담을 수 있는 예시 10 ~ 100개를 넣어 가중치 갱신 없이 번역 · 질의응답을 풀었고, 이를 문맥 내 학습이라 불렀다(Brown 2020 2절).
2021년 Liu 등은 질의와 비슷한 예시를 검색해 넣으면 무작위 예시보다 낫다는 것을, Lu 등은 예시 순서 하나로 결과가 갈린다는 것을 보였다. 2022년 Min 등은 레이블을 무작위로 바꿔도 성능이 거의 그대로임을 보였고, 같은 해 Garg 등과 von Oswald 등은 트랜스포머가 문맥 예시로 선형 회귀를 푸는 계산을 순전파 안에서 한다는 것을, Olsson 등은 «앞에서 본 [A][B] 다음 [A] 가 오면 [B] 를 잇는» 유도 헤드(induction head)가 그 바탕일 수 있다는 가설을 냈다(Olsson 2022 초록).
지시 튜닝 모델이 나온 뒤에도 이 방식이 남는 이유는 비용이다. 학습 없이 예시 몇 줄로 출력 형식 · 사내 분류명을 맞출 수 있고, 2024년 Agarwal 등은 긴 문맥 창에 예시 997개(약 85K 토큰)를 넣어 저자원 번역 점수를 1개 예시 대비 상대 15.3% 올렸다(Agarwal 외 2024 2.1절).
3쉽게 이해하기 — 보기 카드만 보고 푸는 규칙 맞히기 대회
규칙 맞히기 대회에서 진행자는 이번 판의 규칙을 말해 주지 않는다. 대신 풀린 보기 카드 세 장 「뜨겁다 → 차갑다」 「높다 → 낮다」 「무겁다 → 가볍다」와 빈칸 카드 「빠르다 → ?」를 내민다. 참가자는 머릿속 낱말 사전을 새로 외우지 않고, 보기에 공통인 「반대말 규칙」을 알아채 「느리다」라고 쓴다. 다음 판에 진행자가 「사과 → apple」 보기를 내밀면, 같은 참가자가 같은 사전으로 번역 규칙을 푼다.
그림 1 · 참가자는 사전(가중치)을 바꾸지 않고 보기 카드(예시)에서 이번 판의 규칙을 알아채 빈칸(질의)을 채운다 — 보기만 바꾸면 같은 참가자가 다른 과제를 푼다.
그림 2 · 보기 카드가 한 장씩 늘수록 참가자가 떠올리는 규칙 후보가 하나로 좁혀진다 — 실제 모델도 예시가 공유하는 숨은 개념의 확률을 문맥에서 좁힌다(Xie 2021).
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 참가자 | LLM | 문맥 창 안의 토큰만 보고 다음 토큰 확률을 계산한다 |
| 잠근 낱말 사전 | 사전 학습 가중치 | 요청 사이에 바뀌지 않는다 · 경사 갱신 없음 |
| 풀린 보기 카드 | 예시(시연) | 입력 → 레이블 쌍 k개로 과제의 꼴을 보인다 |
| 빈칸 카드 | 질의 입력 | 답을 낼 새 입력 · 예시와 같은 형식으로 둔다 |
| 규칙 알아채기 | 숨은 과제 추론 | 예시들이 공유하는 개념을 문맥에서 좁힌다 |
| 답 카드 | 출력 레이블 | 레이블 공간 안에서 확률이 가장 큰 답을 고른다 |
| 다음 판 | 새 프롬프트 | 다른 예시를 넣으면 같은 가중치로 다른 과제를 푼다 |
⚠ 비유가 맞지 않는 곳: 사람은 보기 카드의 답이 틀려 있으면 규칙을 잘못 배우지만, 여러 모델은 예시 레이블을 무작위로 바꿔도 정확도가 0 ~ 5%p 만 떨어졌다(Min 2022 4.1절) — 레이블보다 보기의 형식 · 낱말 종류에 더 기댄다. 또 모델은 규칙을 «알아챘다»는 상태를 남기지 않으므로 요청마다 예시를 다시 넣는다.
4구조 — 예시 k개 · 질의 · 레이블 공간
프롬프트는 지시(선택) · 예시 k개 · 질의가 한 토큰 열로 이어지고, 분류라면 모델은 레이블 공간 C 안에서 P(y | x1, y1, …, xk, yk, x) 가 가장 큰 y 를 고른다(Min 2022 4.1절). 예시가 모델에 주는 신호는 형식 · 입력 분포 · 레이블 공간 · 입력 · 레이블 짝 넷으로 나뉘고, 하나씩 지워 보면 영향 크기가 크게 다르다.
그림 3 · 예시 세 쌍과 질의가 한 열로 들어가 가중치 고정 LLM 이 레이블 확률을 낸다 — 예시의 신호 넷 가운데 형식 · 입력 분포 · 레이블 공간을 지울 때 하락이 크고, 짝을 무작위로 바꿀 때 하락은 작다.
| 요소 | 위치 | 역할 | 값 · 근거 |
|---|---|---|---|
| 예시 수 k | 지시 뒤 | 과제 신호의 양 | 10 ~ 100개 · 2,048토큰 창(Brown 2020 2절) · 긴 창은 수백 ~ 수천 개(Agarwal 외 2024) |
| 형식 | 예시 전체 | 「입력 → 레이블」 꼴의 반복 | 형식을 지우면 예시를 빼는 것과 비슷해짐(Min 2022 5.3절) |
| 입력 분포 | 예시의 x | 과제 글의 종류 | 외부 말뭉치 문장으로 바꾸면 3 ~ 16%p 하락(Min 2022 5.1절) |
| 레이블 공간 | 예시의 y | 답 후보의 범위 | 무작위 영어 낱말로 바꾸면 5 ~ 16%p 하락(Min 2022 5.2절) |
| 입력 · 레이블 짝 | x ↔ y 대응 | 정답 대응 | 무작위 레이블 0 ~ 5%p 하락(Min 2022 4.1절) · 큰 모델은 뒤집은 레이블을 따름(Wei 2023 3절) |
| 고르기 · 순서 | 예시 묶음 | 어떤 예시를 어느 차례로 | 예시 4개의 순서 24가지가 우연 ~ 최고 수준(Lu 2021 2절) |
🔑 중간 크기 모델에게 예시는 «정답 대응표»보다 «과제 설명서»다 — 형식 · 입력 분포 · 레이블 공간이 짝 정답보다 큰 신호이고, 짝 자체를 배우는 힘은 모델이 크고 예시가 많을 때 나타난다(Wei 2023 3절 · Agarwal 외 2024 4절).
5동작 — 선형 함수 과제를 문맥 예시로 푸는 모의 실행
내부 계산을 들여다보려고, 연구에서 쓰는 장난감 과제(입력 x 에서 y = w·x 맞히기 · Garg 외 2022 3절)를 numpy 로 직접 실행했다(합성 데이터 · 시드 0). 과제마다 w 가 새로 뽑히므로 학습 때 본 값을 외워서는 풀 수 없고, 문맥 예시에서 w 를 알아내야 한다.
- 과제 뽑기 — 차원 d = 2, 숨은 가중치 w = (0.13, −0.13). 모델은 w 를 보지 못한다.
- 문맥 만들기 — 예시 3개 x1 = (0.64, 0.10) → 0.07, x2 = (−0.54, 0.36) → −0.12, x3 = (1.30, 0.95) → 0.05 와 질의 xq = (−0.70, −1.27) 을 한 열로 놓는다. 정답은 0.07 이다.
- 문맥 없음 — 예시가 없으면 최선 추정은 평균 0 이고 오차²는 0.0049 다.
- 어텐션 점수 — 선형 셀프 어텐션 계층 하나는 질의와 각 예시 입력의 내적 x1·xq = −0.575, x2·xq = −0.079, x3·xq = −2.116 을 값 yi 의 가중치로 쓴다.
- 한 걸음 경사 하강 — 이 계층의 출력 ŷ = (η/k) Σ yi (xi·xq) 는 w = 0 에서 제곱 오차를 한 번 내려간 선형 모델의 예측과 같다(von Oswald 2022 2절 식 3). η = 0.5 이면 ŷ = −0.023 으로 부호부터 틀린다.
- 최소제곱 — 예시 수가 차원 이상(k = 3 ≥ d = 2)이므로 최소제곱 해 w = (0.133, −0.130) 이 나오고 ŷ = 0.072 로 정답에 맞는다(차이는 반올림 · NumPy pinv 문서).
- 레이블만 바꾸기 — 같은 예시 입력에 w′ = (0.13, 0.13) 의 레이블(0.10, −0.02, 0.29)을 붙이면 같은 계산이 ŷ = −0.256 을 내고, 이것이 새 과제의 정답이다. 바뀐 것은 문맥뿐이다.
- 예시 수 늘리기 — d = 8 로 키워 k = 0 ~ 24 마다 과제 2,000개의 평균 정규화 오차(오차²/d)를 잰다(그림 5).
그림 4 · 같은 예시 세 쌍을 읽어도 한 걸음 경사 하강형 계산은 부호가 틀리고 최소제곱형 계산은 정답에 맞는다 — 레이블만 바꾸면 같은 계산이 새 과제의 답을 낸다 · 직접 실행(시드 0).
그림 5 · 예시 수 k 가 차원 d = 8 에 닿으면 최소제곱형 계산의 오차는 0 이 되지만, 한 걸음 경사 하강형은 (d+1)/(k+d+1) 로 천천히만 준다 — 문맥 내 학습의 성능은 «예시가 몇 개인가»와 «문맥에서 어떤 계산을 하는가»가 함께 정한다 · 직접 실행(합성 데이터).
🔑 문맥 내 학습의 «학습»은 가중치가 아니라 순전파 계산 안에서 일어난다 — 같은 가중치가 문맥의 예시를 재료로 과제마다 다른 답을 계산하고, 요청이 끝나면 아무것도 남지 않는다.
⚠ 학습률을 η = 1 로 두면 한 걸음 계산은 k = 8 까지 0 예측보다 오차가 컸다(이 실행에서 k = 1 일 때 8.67). von Oswald 등은 학습된 트랜스포머가 알맞은 학습률과 곡률 보정까지 익혀 단순 경사 하강을 넘는다고 보고했다(von Oswald 2022 초록).
6비교 — 예시를 넣는 네 방식
| 기준 | 고정 퓨샷 | 유사 예시 검색 | 순서 고르기 | 많은 예시(Many-shot) |
|---|---|---|---|---|
| 바꾸는 것 | 한 번 고른 예시 k개를 모든 질의에 씀 | 질의마다 임베딩이 가까운 학습 예시 k개를 검색 | 같은 예시의 차례 | 예시를 수백 ~ 수천 개로 늘림 |
| 더 드는 비용 | 예시 토큰만큼 입력 | 예시 풀 색인 · 질의마다 검색 | 후보 순서마다 채점(4개 = 24가지) | 입력 토큰이 예시 수에 비례(997개 ≈ 85K 토큰) |
| 보고된 효과 | TriviaQA 64.3 → 71.2%(Brown 2020 표 3.3) | NQ 28.6 → 41.6(예시 64개 · Liu 2021 표 7) | 분류 11개 과제 상대 13% 향상(Lu 2021 초록) | 저자원 번역 1개 예시 대비 상대 +15.3%(Agarwal 외 2024 2.1절) |
| 잘 맞는 경우 | 질의 꼴이 고를 때 | 질의 주제가 넓게 흩어진 질의응답 · 생성 | 예시가 적고 고정일 때 | 레이블된 예시가 수백 개 넘게 쌓였을 때 |
| 한계 | 순서 · 고르기에 흔들림 | 레이블된 예시 풀이 필요 · 검색이 틀리면 같이 틀림 | 좋은 순서가 다른 모델로 옮겨지지 않음(Lu 2021 초록) | 긴 문맥 모델에서만 · 추론 비용이 미세 조정과 저울질됨 |
분석예시가 수십 개 이하이면 고정 퓨샷의 순서 · 형식부터 고정하고, 질의 주제가 넓게 흩어지면 유사 예시 검색을, 레이블된 예시가 수백 개 넘게 쌓이면 많은 예시를 미세 조정과 비용으로 견준다. 근거는 표의 «보고된 효과» · «더 드는 비용» 행 — 검색은 질의마다 예시를 바꿔 NQ 를 13점 올렸고, 많은 예시는 사전 학습 편향을 이기지만 입력 비용이 예시 수에 비례한다(Agarwal 외 2024 초록).
지시 · 사고 사슬 · 자기 일관성 같은 프롬프트 기법 전체의 견줌은 프롬프트 엔지니어링이, 가중치를 바꾸는 방법(미세 조정 · LoRA)과의 견줌은 LLM 이 맡는다.
7실무 진단 — 퓨샷 결과가 흔들리는 원인 가르기
분석순서 변형 범위 → 무작위 레이블 대조 → 예시 고르기 → 모델 규모 · 예시 수 순서로 본다. 순서만으로 점수가 크게 흔들리면 다른 실험의 차이를 판정할 수 없고, 무작위 레이블 대조가 «예시의 어느 부분이 일하는가»를 정하기 때문이다(Lu 2021 2절 · Min 2022 4.1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 예시 순서만 바꿨는데 정확도가 크게 바뀜 | 순서 민감도 | 예시 묶음 | 같은 예시의 순서 변형 5개 이상 점수 범위 | 폭이 판 사이 차이보다 크면 순서를 고정하고 고르기부터(Lu 2021 2절) |
| 2 | 예시를 고쳐도 점수가 그대로 | 모델이 짝이 아니라 형식만 씀 | 입력 · 레이블 짝 | 정답 레이블 판 ↔ 무작위 레이블 판 점수 차 | 차이 0 ~ 5%p = 짝을 쓰지 않음 → 레이블 이름 · 지시 손질(Min 2022 4.1절) |
| 3 | 처음 보는 유형의 질의에서만 틀림 | 예시가 질의와 멂 | 예시 고르기 | 질의 ↔ 예시 임베딩 유사도 · 검색 예시 판 점수 | 검색 판이 오르면 고르기 문제(Liu 2021 표 7) |
| 4 | 예시에 보인 사내 분류 규칙을 따르지 않고 상식대로 답함 | 사전 학습 의미 편향 | 모델 규모 · 예시 수 | 레이블을 뒤집은 예시 판 점수 | 뒤집어도 점수가 그대로면 편향 우세 · 작은 모델의 특성(Wei 2023 3절) → 예시 수 늘림(Agarwal 외 2024 4절) |
| 5 | 예시를 늘리자 앞쪽 지시를 놓치거나 요청이 거부됨 | 문맥 창 초과 | 입력 길이 | 프롬프트 토큰 수 ↔ 모델 문맥 창 | 토큰 수가 창에 가까우면 예시 수부터 줄임 → 컨텍스트 윈도우 |
같은 프롬프트를 여러 번 넣을 때마다 답이 바뀌면 예시보다 생성 설정을 먼저 보고(디코딩), 예시를 아무리 바꿔도 형식 · 태도가 맞지 않으면 문맥이 아니라 가중치를 바꾸는 미세 조정으로 넘긴다.
8시험 대비
시험에서는 문맥 내 학습의 개념과 미세 조정과의 차이를 묻는 정의 · 특징형, 작동 원리 연구와 많은 예시로 넓어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «가중치 불변 · 예시 k개 · 질의» 세 낱말로 정의를 세우고 그림 3 의 신호 넷과 하락폭으로 받친다. 동향형은 고정 퓨샷 → 유사 예시 검색 · 순서 고르기 → 많은 예시 순으로 쓰고, 그림 4 · 5 의 «순전파 속 경사 하강» 해석으로 원리를 맺는다.
- 개요 — 정의(가중치 불변 · 예시 k개 · 질의) · 제로샷 · 원샷 · 퓨샷 구분 · 미세 조정과 차이 한 줄
- 구조 — 그림 3 프롬프트 구성과 예시 신호 넷(형식 · 입력 분포 · 레이블 공간 · 짝)의 하락폭
- 원리 — 그림 4 선형 어텐션 = 한 걸음 경사 하강 · 숨은 개념 추론 · 유도 헤드 가설
- 특성 — 그림 5 예시 수 k 와 오차(k = d 에서 최소제곱 0) · 큰 모델의 뒤집은 레이블 따르기
- 개선 기법 — 비교표(고정 · 유사 예시 검색 · 순서 고르기 · 많은 예시)와 선택 기준
- 한계와 발전 — 순서 민감도 · 문맥 창 비용 · 많은 예시와 미세 조정의 비용 저울질
꼭 쓸 키워드
퓨샷제로샷시연 예시레이블 공간입력레이블 짝순서 민감도유사 예시 검색많은 예시(Many-shot)유도 헤드숨은 개념 추론
다른 답안과 차이를 내는 한 가지 — 무작위 레이블 실험(0 ~ 5%p)과 뒤집은 레이블 실험(큰 모델 90.3 → 22.5%)을 나란히 적어 «예시의 짝을 쓰는 정도는 모델 규모가 정한다»는 판단을 수치로 보인다(Min 2022 4.1절 · Wei 2023 3절).
9오해와 사실
- 오해퓨샷 예시를 넣으면 모델이 그 과제를 학습해 기억한다.사실가중치 갱신이 없으므로(Brown 2020 2절) 요청이 끝나면 남는 것이 없고, 다음 요청에도 예시를 다시 넣어야 한다.
- 오해예시 레이블이 정확해야만 효과가 난다.사실모델 12개에서 레이블을 무작위로 바꿔도 0 ~ 5%p 만 떨어졌다(Min 2022 4.1절) — 다만 큰 모델은 레이블을 모두 뒤집으면 90.3% 에서 22.5% 로 따라가므로(Wei 2023 3절) 틀린 레이블을 둘 이유는 없다.
- 오해예시는 많을수록 늘 낫다.사실숨은 개념 모형 실험에서도 제로샷이 퓨샷보다 나은 경우가 나왔고(Xie 2021 초록), 많은 예시는 추론 비용이 예시 수에 비례해 는다(Agarwal 외 2024 초록).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 | 흔한 실패 | 확인 방법 |
|---|---|---|---|---|
| 예시 수 k | 과제 신호의 양 | 10 ~ 100개 · 2,048토큰(Brown 2020) | 창 초과 · 비용 증가 | 토큰 수 ↔ 문맥 창 |
| 형식 · 입력 분포 | 과제의 꼴 · 글 종류 | 외부 문장 3 ~ 16%p 하락(Min 2022) | 예시와 질의 형식 불일치 | 형식 · 입력을 지운 판 |
| 레이블 공간 | 답 후보 범위 | 무작위 낱말 5 ~ 16%p 하락 | 사내 분류명 무시 | 레이블별 예측 비율 |
| 입력 · 레이블 짝 | 정답 대응 | 무작위 0 ~ 5%p · 큰 모델 뒤집음 90.3 → 22.5% | 짝을 쓰지 않음 | 무작위 · 뒤집은 레이블 판 |
| 유사 예시 검색 | 질의별 예시 고르기 | NQ 28.6 → 41.6(Liu 2021) | 검색 오류 전파 | 검색 판 ↔ 무작위 판 |
| 순서 고르기 | 예시 차례 고정 | 예시 4개 = 순서 24가지(Lu 2021) | 좋은 순서가 모델마다 다름 | 순서 변형 점수 범위 |
| 많은 예시 | 사전 학습 편향 극복 | 997개 ≈ 85K 토큰(Agarwal 외 2024) | 비용이 예시 수에 비례 | 예시 수별 점수 · 비용 |
| 순전파 속 학습 | 가중치 대신 계산 | k = d 에서 최소제곱 오차 0 | 한 걸음형은 느리게 줆 | 오차 ↔ k 곡선 |
11참고 문헌
- 먼저 볼 문헌
- ★ Language Models are Few-Shot Learners (Brown et al. · NeurIPS 2020) — 제로샷 · 원샷 · 퓨샷 세 조건의 정의와 예시 수 · 문맥 창 크기를 볼 때
- ★ Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? (Min et al.) — 레이블 무작위 · 입력 분포 · 레이블 공간 · 형식을 하나씩 지운 실험 결과를 볼 때
- ★ What Can Transformers Learn In-Context? A Case Study of Simple Function Classes (Garg et al.) — 선형 함수 과제에서 트랜스포머의 문맥 내 학습 오차를 최소제곱과 견줄 때
- ★ Transformers learn in-context by gradient descent (von Oswald et al.) — 선형 셀프 어텐션 계층 하나와 경사 하강 1단계가 같은 계산임을 볼 때
- 본문 근거
- Many-Shot In-Context Learning (Agarwal et al. · NeurIPS 2024) — arXiv · 2024-04 ·
arxiv.org/abs/2404.11018· 확인 2026-11-13 - What Makes Good In-Context Examples for GPT-3? (Liu et al.) — arXiv · 2021-01 ·
arxiv.org/abs/2101.06804· 확인 2026-11-13 - Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity (Lu et al.) — arXiv · 2021-04 ·
arxiv.org/abs/2104.08786· 확인 2026-11-13 - Larger language models do in-context learning differently (Wei et al.) — arXiv · 2023-03 ·
arxiv.org/abs/2303.03846· 확인 2026-11-13 - An Explanation of In-context Learning as Implicit Bayesian Inference (Xie et al.) — arXiv · 2021-11 ·
arxiv.org/abs/2111.02080· 확인 2026-11-13 - In-context Learning and Induction Heads (Olsson et al.) — arXiv · 2022-09 ·
arxiv.org/abs/2209.11895· 확인 2026-11-13 - A Survey on In-context Learning (Dong et al.) — arXiv · 2022-12 ·
arxiv.org/abs/2301.00234· 확인 2026-11-13 - NumPy numpy.linalg.pinv 문서 — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.pinv.html· 확인 2026-11-13