AI › 생성형 AI › LLM › 활용

문맥 내 학습(퓨샷)In-Context Learning

LLM 이 가중치를 바꾸지 않고, 프롬프트에 넣은 입력 → 출력 예시 몇 개만 보고 새 입력의 답을 내는 추론 시점의 학습 방식이다.

1요약

  1. 문맥 내 학습은 프롬프트 속 입력 → 출력 예시 k개와 새 질의만으로 답을 내는 LLM 의 사용 방식으로, 2020년 GPT-3 논문이 경사 갱신 없는 「퓨샷」 조건으로 정의했고(Brown 2020 2절), 분류 · 추출 · 번역 프롬프트의 예시가 이 위에서 돈다.
  2. 예시가 없으면 모델은 과제를 짐작만 한다 — TriviaQA 정확도가 예시 0개 64.3%, 1개 68.0%, 여러 개 71.2%였고(Brown 2020 표 3.3), 같은 예시 네 개도 순서만 바꾸면 최고 수준 가까이에서 우연 수준까지 오갔다(Lu 2021 1절).
  3. 「예시를 넣었더니 나아졌다」는 레이블을 무작위로 바꾼 예시와 견줘 가른다 — 차이가 0 ~ 5%p 면 모델은 짝이 아니라 형식 · 레이블 공간을 읽은 것이고(Min 2022 4.1절), 차이가 크면 입력 · 레이블 대응 자체를 쓴 것이다.

2등장 배경

GPT-3 이전의 언어 과제는 레이블 수천 ~ 수만 개로 과제마다 미세 조정을 해야 했고, 데이터가 적은 과제는 모델 한 벌을 따로 만들 수 없었다(Brown 2020 초록). 2020년 5월 Brown 등은 1,750억 매개변수 모델에 2,048토큰 문맥 창이 담을 수 있는 예시 10 ~ 100개를 넣어 가중치 갱신 없이 번역 · 질의응답을 풀었고, 이를 문맥 내 학습이라 불렀다(Brown 2020 2절).

2021년 Liu 등은 질의와 비슷한 예시를 검색해 넣으면 무작위 예시보다 낫다는 것을, Lu 등은 예시 순서 하나로 결과가 갈린다는 것을 보였다. 2022년 Min 등은 레이블을 무작위로 바꿔도 성능이 거의 그대로임을 보였고, 같은 해 Garg 등과 von Oswald 등은 트랜스포머가 문맥 예시로 선형 회귀를 푸는 계산을 순전파 안에서 한다는 것을, Olsson 등은 «앞에서 본 [A][B] 다음 [A] 가 오면 [B] 를 잇는» 유도 헤드(induction head)가 그 바탕일 수 있다는 가설을 냈다(Olsson 2022 초록).

지시 튜닝 모델이 나온 뒤에도 이 방식이 남는 이유는 비용이다. 학습 없이 예시 몇 줄로 출력 형식 · 사내 분류명을 맞출 수 있고, 2024년 Agarwal 등은 긴 문맥 창에 예시 997개(약 85K 토큰)를 넣어 저자원 번역 점수를 1개 예시 대비 상대 15.3% 올렸다(Agarwal 외 2024 2.1절).

3쉽게 이해하기 — 보기 카드만 보고 푸는 규칙 맞히기 대회

규칙 맞히기 대회에서 진행자는 이번 판의 규칙을 말해 주지 않는다. 대신 풀린 보기 카드 세 장 「뜨겁다 → 차갑다」 「높다 → 낮다」 「무겁다 → 가볍다」와 빈칸 카드 「빠르다 → ?」를 내민다. 참가자는 머릿속 낱말 사전을 새로 외우지 않고, 보기에 공통인 「반대말 규칙」을 알아채 「느리다」라고 쓴다. 다음 판에 진행자가 「사과 → apple」 보기를 내밀면, 같은 참가자가 같은 사전으로 번역 규칙을 푼다.

진행자 사용자 1 보기 카드 + 빈칸 카드 뜨겁다 → 차갑다 높다 → 낮다 무겁다 → 가볍다 예시 k = 3 빠르다 → ? 질의 입력 규칙 이름은 어디에도 없음 2 가중치 고정 참가자 LLM 3 반대말 규칙 알아챔 숨은 과제 추론 느리다 출력 레이블 4 다음 판: 「사과 → apple」 보기를 주면 같은 사전으로 번역 규칙을 푼다 새 프롬프트 배지 = 실제 기술 이름 · 번호 = 순서 자물쇠 = 판이 바뀌어도 사전(가중치)은 그대로 · 판이 끝나면 알아챈 규칙도 남지 않음

그림 1 · 참가자는 사전(가중치)을 바꾸지 않고 보기 카드(예시)에서 이번 판의 규칙을 알아채 빈칸(질의)을 채운다 — 보기만 바꾸면 같은 참가자가 다른 과제를 푼다.

판 열기규칙은 말하지 않음
보기 카드풀린 문제 세 장
규칙 알아채기보기에 공통인 것
빈칸 채우기같은 규칙으로
다음 판사전은 그대로 · 보기만 새로
비유 — 보기가 늘수록 좁혀지는 규칙 실제 — 숨은 개념의 사후 확률 보기 0장 번역? 감정? 반대말? 알 수 없음 보기 1장 · 뜨겁다 → 차갑다 반대말 같지만 감정일 수도 보기 3장 · 높다 → 낮다 … 반대말 규칙이 거의 확실 예시 k = 0 번역 34 감정 33 반대말 33 예시 k = 1 15 20 반대말 65 예시 k = 3 · 번역 2 · 감정 3 반대말 95 번역 규칙 감정 규칙 반대말 규칙(이번 판) · 숫자 = % · 굵은 테두리 = 하나로 모인 상태 p(개념 | 예시 k개) · 숨은 개념 추론 모형(Xie 2021) · 비율은 설명용 가정 값

그림 2 · 보기 카드가 한 장씩 늘수록 참가자가 떠올리는 규칙 후보가 하나로 좁혀진다 — 실제 모델도 예시가 공유하는 숨은 개념의 확률을 문맥에서 좁힌다(Xie 2021).

비유 속 역할실제 이름실제로 하는 일
참가자LLM문맥 창 안의 토큰만 보고 다음 토큰 확률을 계산한다
잠근 낱말 사전사전 학습 가중치요청 사이에 바뀌지 않는다 · 경사 갱신 없음
풀린 보기 카드예시(시연)입력 → 레이블 쌍 k개로 과제의 꼴을 보인다
빈칸 카드질의 입력답을 낼 새 입력 · 예시와 같은 형식으로 둔다
규칙 알아채기숨은 과제 추론예시들이 공유하는 개념을 문맥에서 좁힌다
답 카드출력 레이블레이블 공간 안에서 확률이 가장 큰 답을 고른다
다음 판새 프롬프트다른 예시를 넣으면 같은 가중치로 다른 과제를 푼다

⚠ 비유가 맞지 않는 곳: 사람은 보기 카드의 답이 틀려 있으면 규칙을 잘못 배우지만, 여러 모델은 예시 레이블을 무작위로 바꿔도 정확도가 0 ~ 5%p 만 떨어졌다(Min 2022 4.1절) — 레이블보다 보기의 형식 · 낱말 종류에 더 기댄다. 또 모델은 규칙을 «알아챘다»는 상태를 남기지 않으므로 요청마다 예시를 다시 넣는다.

4구조 — 예시 k개 · 질의 · 레이블 공간

프롬프트는 지시(선택) · 예시 k개 · 질의가 한 토큰 열로 이어지고, 분류라면 모델은 레이블 공간 C 안에서 P(y | x1, y1, …, xk, yk, x) 가 가장 큰 y 를 고른다(Min 2022 4.1절). 예시가 모델에 주는 신호는 형식 · 입력 분포 · 레이블 공간 · 입력 · 레이블 짝 넷으로 나뉘고, 하나씩 지워 보면 영향 크기가 크게 다르다.

프롬프트 = 예시 k개 + 질의 한 토큰 열 지시(선택) — 감정 분류 과제 배송이 빨라요 → 긍정 포장이 찢겼어요 → 부정 다시 살게요 → 긍정 색이 사진과 달라요 → ? 예시 질의 LLM 가중치 고정 argmax P(y | 문맥) 레이블 공간 {긍정, 부정} P(긍정) 0.18 P(부정) 0.82 → 부정 확률은 설명용 가정 값 예시가 주는 신호 넷 — 하나씩 지운 실험의 하락폭(Min 2022) 형식 지우면 예시 없음 수준 5.3절 입력 분포 외부 문장: 3 ~ 16%p ↓ 5.1절 레이블 공간 무작위 낱말: 5 ~ 16%p ↓ 5.2절 · direct 방식 모델 입력 · 레이블 짝 무작위 레이블: 0 ~ 5%p ↓ 4.1절 · 모델 12개 예시 입력 · 질의(문맥) 레이블 모델 출력 확률 굵은 테두리 = 이번 질의 · 짝 하락폭 = 정답 레이블 예시 대비 절대 차이 · 예시 문장은 설명용

그림 3 · 예시 세 쌍과 질의가 한 열로 들어가 가중치 고정 LLM 이 레이블 확률을 낸다 — 예시의 신호 넷 가운데 형식 · 입력 분포 · 레이블 공간을 지울 때 하락이 크고, 짝을 무작위로 바꿀 때 하락은 작다.

요소위치역할값 · 근거
예시 수 k지시 뒤과제 신호의 양10 ~ 100개 · 2,048토큰 창(Brown 2020 2절) · 긴 창은 수백 ~ 수천 개(Agarwal 외 2024)
형식예시 전체「입력 → 레이블」 꼴의 반복형식을 지우면 예시를 빼는 것과 비슷해짐(Min 2022 5.3절)
입력 분포예시의 x과제 글의 종류외부 말뭉치 문장으로 바꾸면 3 ~ 16%p 하락(Min 2022 5.1절)
레이블 공간예시의 y답 후보의 범위무작위 영어 낱말로 바꾸면 5 ~ 16%p 하락(Min 2022 5.2절)
입력 · 레이블 짝x ↔ y 대응정답 대응무작위 레이블 0 ~ 5%p 하락(Min 2022 4.1절) · 큰 모델은 뒤집은 레이블을 따름(Wei 2023 3절)
고르기 · 순서예시 묶음어떤 예시를 어느 차례로예시 4개의 순서 24가지가 우연 ~ 최고 수준(Lu 2021 2절)

🔑 중간 크기 모델에게 예시는 «정답 대응표»보다 «과제 설명서»다 — 형식 · 입력 분포 · 레이블 공간이 짝 정답보다 큰 신호이고, 짝 자체를 배우는 힘은 모델이 크고 예시가 많을 때 나타난다(Wei 2023 3절 · Agarwal 외 2024 4절).

5동작 — 선형 함수 과제를 문맥 예시로 푸는 모의 실행

내부 계산을 들여다보려고, 연구에서 쓰는 장난감 과제(입력 x 에서 y = w·x 맞히기 · Garg 외 2022 3절)를 numpy 로 직접 실행했다(합성 데이터 · 시드 0). 과제마다 w 가 새로 뽑히므로 학습 때 본 값을 외워서는 풀 수 없고, 문맥 예시에서 w 를 알아내야 한다.

  1. 과제 뽑기 — 차원 d = 2, 숨은 가중치 w = (0.13, −0.13). 모델은 w 를 보지 못한다.
  2. 문맥 만들기 — 예시 3개 x1 = (0.64, 0.10) → 0.07, x2 = (−0.54, 0.36) → −0.12, x3 = (1.30, 0.95) → 0.05 와 질의 xq = (−0.70, −1.27) 을 한 열로 놓는다. 정답은 0.07 이다.
  3. 문맥 없음 — 예시가 없으면 최선 추정은 평균 0 이고 오차²는 0.0049 다.
  4. 어텐션 점수 — 선형 셀프 어텐션 계층 하나는 질의와 각 예시 입력의 내적 x1·xq = −0.575, x2·xq = −0.079, x3·xq = −2.116 을 값 yi 의 가중치로 쓴다.
  5. 한 걸음 경사 하강 — 이 계층의 출력 ŷ = (η/k) Σ yi (xi·xq) 는 w = 0 에서 제곱 오차를 한 번 내려간 선형 모델의 예측과 같다(von Oswald 2022 2절 식 3). η = 0.5 이면 ŷ = −0.023 으로 부호부터 틀린다.
  6. 최소제곱 — 예시 수가 차원 이상(k = 3 ≥ d = 2)이므로 최소제곱 해 w = (0.133, −0.130) 이 나오고 ŷ = 0.072 로 정답에 맞는다(차이는 반올림 · NumPy pinv 문서).
  7. 레이블만 바꾸기 — 같은 예시 입력에 w′ = (0.13, 0.13) 의 레이블(0.10, −0.02, 0.29)을 붙이면 같은 계산이 ŷ = −0.256 을 내고, 이것이 새 과제의 정답이다. 바뀐 것은 문맥뿐이다.
  8. 예시 수 늘리기 — d = 8 로 키워 k = 0 ~ 24 마다 과제 2,000개의 평균 정규화 오차(오차²/d)를 잰다(그림 5).
질의 하나가 예시 세 쌍을 읽는 계산 · d = 2 · k = 3 1 숨은 w = (0.13, −0.13) · 모델은 보지 못함 2 x1 = (0.64, 0.10) y1 = 0.07 x2 = (−0.54, 0.36) y2 = −0.12 x3 = (1.30, 0.95) y3 = 0.05 xq = (−0.70, −1.27) 정답 0.07 · 모델은 모름 질의와 내적 x1·xq = −0.575 x2·xq = −0.079 x3·xq = −2.116 4 어텐션 점수 3 문맥 없음 ŷ = 0 · 오차² 0.0049 5 한 걸음 경사 하강 · η = 0.5 ŷ = −0.023 · 부호가 틀림 6 최소제곱 · k = 3 ≥ d = 2 ŷ = 0.072 ≈ 정답 0.07 7 레이블만 w′ = (0.13, 0.13) 로 같은 계산 → ŷ = −0.256 = 새 정답 예시 · 질의(문맥) 한 걸음 학습 규칙 최소제곱 · 검증 굵은 테두리 = 이번 질의 · 바뀐 레이블 한 걸음 경사 하강 = 선형 셀프 어텐션 계층 하나의 출력(von Oswald 2022 식 3) · 가중치는 모든 계산에서 같다 값 = numpy 직접 실행(시드 0) · 예시 값은 소수 둘째 자리 반올림 · 점수는 셋째 자리

그림 4 · 같은 예시 세 쌍을 읽어도 한 걸음 경사 하강형 계산은 부호가 틀리고 최소제곱형 계산은 정답에 맞는다 — 레이블만 바꾸면 같은 계산이 새 과제의 답을 낸다 · 직접 실행(시드 0).

예시 수 k 와 정규화 오차 · d = 8 · 과제 2,000개 평균 8 사례 8단계 · 오차²/d 0 0.25 0.5 0.75 1.0 0 4 8 12 16 20 24 예시 수 k k = d = 8 문맥 없음 ≈ 1.0 0.712 0.505 0.534 0.272 0 (k ≥ 8) 한 걸음형 이론값 (d+1)/(k+d+1) 한 걸음 경사 하강(선형 어텐션 · η = k/(k+d+1)) 최소제곱 문맥 없음(0 예측) 직접 실행(합성 데이터 · 시드 0) · 0 예측 평균은 k 마다 0.95 ~ 1.05 · 학습한 트랜스포머는 최소제곱에 가까웠다(Garg 외 2022 3.1절)

그림 5 · 예시 수 k 가 차원 d = 8 에 닿으면 최소제곱형 계산의 오차는 0 이 되지만, 한 걸음 경사 하강형은 (d+1)/(k+d+1) 로 천천히만 준다 — 문맥 내 학습의 성능은 «예시가 몇 개인가»와 «문맥에서 어떤 계산을 하는가»가 함께 정한다 · 직접 실행(합성 데이터).

🔑 문맥 내 학습의 «학습»은 가중치가 아니라 순전파 계산 안에서 일어난다 — 같은 가중치가 문맥의 예시를 재료로 과제마다 다른 답을 계산하고, 요청이 끝나면 아무것도 남지 않는다.

⚠ 학습률을 η = 1 로 두면 한 걸음 계산은 k = 8 까지 0 예측보다 오차가 컸다(이 실행에서 k = 1 일 때 8.67). von Oswald 등은 학습된 트랜스포머가 알맞은 학습률과 곡률 보정까지 익혀 단순 경사 하강을 넘는다고 보고했다(von Oswald 2022 초록).

6비교 — 예시를 넣는 네 방식

기준고정 퓨샷유사 예시 검색순서 고르기많은 예시(Many-shot)
바꾸는 것한 번 고른 예시 k개를 모든 질의에 씀질의마다 임베딩이 가까운 학습 예시 k개를 검색같은 예시의 차례예시를 수백 ~ 수천 개로 늘림
더 드는 비용예시 토큰만큼 입력예시 풀 색인 · 질의마다 검색후보 순서마다 채점(4개 = 24가지)입력 토큰이 예시 수에 비례(997개 ≈ 85K 토큰)
보고된 효과TriviaQA 64.3 → 71.2%(Brown 2020 표 3.3)NQ 28.6 → 41.6(예시 64개 · Liu 2021 표 7)분류 11개 과제 상대 13% 향상(Lu 2021 초록)저자원 번역 1개 예시 대비 상대 +15.3%(Agarwal 외 2024 2.1절)
잘 맞는 경우질의 꼴이 고를 때질의 주제가 넓게 흩어진 질의응답 · 생성예시가 적고 고정일 때레이블된 예시가 수백 개 넘게 쌓였을 때
한계순서 · 고르기에 흔들림레이블된 예시 풀이 필요 · 검색이 틀리면 같이 틀림좋은 순서가 다른 모델로 옮겨지지 않음(Lu 2021 초록)긴 문맥 모델에서만 · 추론 비용이 미세 조정과 저울질됨

분석예시가 수십 개 이하이면 고정 퓨샷의 순서 · 형식부터 고정하고, 질의 주제가 넓게 흩어지면 유사 예시 검색을, 레이블된 예시가 수백 개 넘게 쌓이면 많은 예시를 미세 조정과 비용으로 견준다. 근거는 표의 «보고된 효과» · «더 드는 비용» 행 — 검색은 질의마다 예시를 바꿔 NQ 를 13점 올렸고, 많은 예시는 사전 학습 편향을 이기지만 입력 비용이 예시 수에 비례한다(Agarwal 외 2024 초록).

지시 · 사고 사슬 · 자기 일관성 같은 프롬프트 기법 전체의 견줌은 프롬프트 엔지니어링이, 가중치를 바꾸는 방법(미세 조정 · LoRA)과의 견줌은 LLM 이 맡는다.

7실무 진단 — 퓨샷 결과가 흔들리는 원인 가르기

분석순서 변형 범위 → 무작위 레이블 대조 → 예시 고르기 → 모델 규모 · 예시 수 순서로 본다. 순서만으로 점수가 크게 흔들리면 다른 실험의 차이를 판정할 수 없고, 무작위 레이블 대조가 «예시의 어느 부분이 일하는가»를 정하기 때문이다(Lu 2021 2절 · Min 2022 4.1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1예시 순서만 바꿨는데 정확도가 크게 바뀜순서 민감도예시 묶음같은 예시의 순서 변형 5개 이상 점수 범위폭이 판 사이 차이보다 크면 순서를 고정하고 고르기부터(Lu 2021 2절)
2예시를 고쳐도 점수가 그대로모델이 짝이 아니라 형식만 씀입력 · 레이블 짝정답 레이블 판 ↔ 무작위 레이블 판 점수 차차이 0 ~ 5%p = 짝을 쓰지 않음 → 레이블 이름 · 지시 손질(Min 2022 4.1절)
3처음 보는 유형의 질의에서만 틀림예시가 질의와 멂예시 고르기질의 ↔ 예시 임베딩 유사도 · 검색 예시 판 점수검색 판이 오르면 고르기 문제(Liu 2021 표 7)
4예시에 보인 사내 분류 규칙을 따르지 않고 상식대로 답함사전 학습 의미 편향모델 규모 · 예시 수레이블을 뒤집은 예시 판 점수뒤집어도 점수가 그대로면 편향 우세 · 작은 모델의 특성(Wei 2023 3절) → 예시 수 늘림(Agarwal 외 2024 4절)
5예시를 늘리자 앞쪽 지시를 놓치거나 요청이 거부됨문맥 창 초과입력 길이프롬프트 토큰 수 ↔ 모델 문맥 창토큰 수가 창에 가까우면 예시 수부터 줄임 → 컨텍스트 윈도우

같은 프롬프트를 여러 번 넣을 때마다 답이 바뀌면 예시보다 생성 설정을 먼저 보고(디코딩), 예시를 아무리 바꿔도 형식 · 태도가 맞지 않으면 문맥이 아니라 가중치를 바꾸는 미세 조정으로 넘긴다.

8시험 대비

시험에서는 문맥 내 학습의 개념과 미세 조정과의 차이를 묻는 정의 · 특징형, 작동 원리 연구와 많은 예시로 넓어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «가중치 불변 · 예시 k개 · 질의» 세 낱말로 정의를 세우고 그림 3 의 신호 넷과 하락폭으로 받친다. 동향형은 고정 퓨샷 → 유사 예시 검색 · 순서 고르기 → 많은 예시 순으로 쓰고, 그림 4 · 5 의 «순전파 속 경사 하강» 해석으로 원리를 맺는다.

답안 목차
  1. 개요 — 정의(가중치 불변 · 예시 k개 · 질의) · 제로샷 · 원샷 · 퓨샷 구분 · 미세 조정과 차이 한 줄
  2. 구조 — 그림 3 프롬프트 구성과 예시 신호 넷(형식 · 입력 분포 · 레이블 공간 · 짝)의 하락폭
  3. 원리 — 그림 4 선형 어텐션 = 한 걸음 경사 하강 · 숨은 개념 추론 · 유도 헤드 가설
  4. 특성 — 그림 5 예시 수 k 와 오차(k = d 에서 최소제곱 0) · 큰 모델의 뒤집은 레이블 따르기
  5. 개선 기법 — 비교표(고정 · 유사 예시 검색 · 순서 고르기 · 많은 예시)와 선택 기준
  6. 한계와 발전 — 순서 민감도 · 문맥 창 비용 · 많은 예시와 미세 조정의 비용 저울질

꼭 쓸 키워드
퓨샷제로샷시연 예시레이블 공간입력레이블 짝순서 민감도유사 예시 검색많은 예시(Many-shot)유도 헤드숨은 개념 추론

다른 답안과 차이를 내는 한 가지 — 무작위 레이블 실험(0 ~ 5%p)과 뒤집은 레이블 실험(큰 모델 90.3 → 22.5%)을 나란히 적어 «예시의 짝을 쓰는 정도는 모델 규모가 정한다»는 판단을 수치로 보인다(Min 2022 4.1절 · Wei 2023 3절).

9오해와 사실

  • 오해퓨샷 예시를 넣으면 모델이 그 과제를 학습해 기억한다.
    사실가중치 갱신이 없으므로(Brown 2020 2절) 요청이 끝나면 남는 것이 없고, 다음 요청에도 예시를 다시 넣어야 한다.
  • 오해예시 레이블이 정확해야만 효과가 난다.
    사실모델 12개에서 레이블을 무작위로 바꿔도 0 ~ 5%p 만 떨어졌다(Min 2022 4.1절) — 다만 큰 모델은 레이블을 모두 뒤집으면 90.3% 에서 22.5% 로 따라가므로(Wei 2023 3절) 틀린 레이블을 둘 이유는 없다.
  • 오해예시는 많을수록 늘 낫다.
    사실숨은 개념 모형 실험에서도 제로샷이 퓨샷보다 나은 경우가 나왔고(Xie 2021 초록), 많은 예시는 추론 비용이 예시 수에 비례해 는다(Agarwal 외 2024 초록).

10핵심 정리

구분맡는 일대표 값흔한 실패확인 방법
예시 수 k과제 신호의 양10 ~ 100개 · 2,048토큰(Brown 2020)창 초과 · 비용 증가토큰 수 ↔ 문맥 창
형식 · 입력 분포과제의 꼴 · 글 종류외부 문장 3 ~ 16%p 하락(Min 2022)예시와 질의 형식 불일치형식 · 입력을 지운 판
레이블 공간답 후보 범위무작위 낱말 5 ~ 16%p 하락사내 분류명 무시레이블별 예측 비율
입력 · 레이블 짝정답 대응무작위 0 ~ 5%p · 큰 모델 뒤집음 90.3 → 22.5%짝을 쓰지 않음무작위 · 뒤집은 레이블 판
유사 예시 검색질의별 예시 고르기NQ 28.6 → 41.6(Liu 2021)검색 오류 전파검색 판 ↔ 무작위 판
순서 고르기예시 차례 고정예시 4개 = 순서 24가지(Lu 2021)좋은 순서가 모델마다 다름순서 변형 점수 범위
많은 예시사전 학습 편향 극복997개 ≈ 85K 토큰(Agarwal 외 2024)비용이 예시 수에 비례예시 수별 점수 · 비용
순전파 속 학습가중치 대신 계산k = d 에서 최소제곱 오차 0한 걸음형은 느리게 줆오차 ↔ k 곡선

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Language Models are Few-Shot Learners (Brown et al. · NeurIPS 2020) — 제로샷 · 원샷 · 퓨샷 세 조건의 정의와 예시 수 · 문맥 창 크기를 볼 때
    arXiv · 2020-05 · arxiv.org/abs/2005.14165 · 확인 2026-11-13
  3. ★ Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? (Min et al.) — 레이블 무작위 · 입력 분포 · 레이블 공간 · 형식을 하나씩 지운 실험 결과를 볼 때
    arXiv · 2022-02 · arxiv.org/abs/2202.12837 · 확인 2026-11-13
  4. ★ What Can Transformers Learn In-Context? A Case Study of Simple Function Classes (Garg et al.) — 선형 함수 과제에서 트랜스포머의 문맥 내 학습 오차를 최소제곱과 견줄 때
    arXiv · 2022-08 · arxiv.org/abs/2208.01066 · 확인 2026-11-13
  5. ★ Transformers learn in-context by gradient descent (von Oswald et al.) — 선형 셀프 어텐션 계층 하나와 경사 하강 1단계가 같은 계산임을 볼 때
    arXiv · 2022-12 · arxiv.org/abs/2212.07677 · 확인 2026-11-13
  6. 본문 근거
  7. Many-Shot In-Context Learning (Agarwal et al. · NeurIPS 2024) — arXiv · 2024-04 · arxiv.org/abs/2404.11018 · 확인 2026-11-13
  8. What Makes Good In-Context Examples for GPT-3? (Liu et al.) — arXiv · 2021-01 · arxiv.org/abs/2101.06804 · 확인 2026-11-13
  9. Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity (Lu et al.) — arXiv · 2021-04 · arxiv.org/abs/2104.08786 · 확인 2026-11-13
  10. Larger language models do in-context learning differently (Wei et al.) — arXiv · 2023-03 · arxiv.org/abs/2303.03846 · 확인 2026-11-13
  11. An Explanation of In-context Learning as Implicit Bayesian Inference (Xie et al.) — arXiv · 2021-11 · arxiv.org/abs/2111.02080 · 확인 2026-11-13
  12. In-context Learning and Induction Heads (Olsson et al.) — arXiv · 2022-09 · arxiv.org/abs/2209.11895 · 확인 2026-11-13
  13. A Survey on In-context Learning (Dong et al.) — arXiv · 2022-12 · arxiv.org/abs/2301.00234 · 확인 2026-11-13
  14. NumPy numpy.linalg.pinv 문서 — NumPy · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.linalg.pinv.html · 확인 2026-11-13