지시 튜닝Instruction Tuning
여러 과제를 «지시문 + 입력 → 답» 꼴의 문장으로 바꾼 데이터로 사전 학습 모델을 미세 조정해, 학습에서 보지 못한 과제도 지시만 읽고 수행하게 만드는 학습 단계다.
1요약
- 지시 튜닝은 사전 학습과 선호 최적화 사이에 놓이는 LLM 학습 단계로, 2021년 Wei 등이 FLAN 에서 이름 붙였고 NLP 데이터셋 수십 ~ 수천 개를 지시문 템플릿으로 바꿔 학습하며, 대화형 어시스턴트의 지시 따르기와 처음 보는 과제의 제로샷 수행이 이 위에서 돈다.
- 기반 모델은 지시문을 이어 쓸 글로 읽어 시킨 일을 하지 않는데, 지시 튜닝한 FLAN 137B 는 제로샷 GPT-3 175B 를 데이터셋 25개 중 20개에서 앞섰고(Wei 2021 초록) Flan-PaLM 540B 는 사전 학습 계산량의 0.2% 만 더 써서 보지 못한 평가 묶음의 정규화 평균을 9.4점 올렸다(Chung 2022 2.2절 · 표 3).
- 「지시 튜닝을 했는데 새 과제를 못한다」는 학습에서 뺀 과제 묶음의 점수로 가른다 — 학습 전 모델보다 낮으면 모델 크기 · 과제 수를, 점수는 올랐는데 답 꼴이 어긋나면 템플릿 · 혼합 비율 · 추론 때 프롬프트 형식을 본다.
2등장 배경
2020년 GPT-3 는 프롬프트에 예시 몇 개를 넣으면(퓨샷) 잘했지만, 예시 없이 지시만 주는 제로샷에서는 독해 · 질의응답 · 자연어 추론 점수가 크게 떨어졌다(Wei 2021 1절). 사전 학습 데이터에 「다음 문장을 프랑스어로 옮겨라」 같은 꼴이 드물어, 기반 모델에게 그 문장은 과제가 아니라 이어 쓸 글의 시작이다. 과제마다 따로 미세 조정하면 과제 수만큼 모델이 생기고, 학습하지 않은 과제는 여전히 풀지 못한다.
2021년 9월 Wei 등은 137B 모델을 데이터셋 62개 · 과제 묶음 12개의 지시문으로 학습한 FLAN 을 내고, 평가할 묶음은 학습에서 통째로 빼는 평가 방식을 세웠다(Wei 2021 2.1 · 2.2절). 한 달 뒤 Sanh 등의 T0 는 데이터셋 177개에 프롬프트 2,073개(P3)를 붙여 11B 모델을 학습해 16배 큰 모델을 자주 앞섰고(Sanh 2021 초록 · 4절), 2022년 Wang 등의 Super-NaturalInstructions 는 전문가가 쓴 지시문으로 과제 1,616개 · 유형 76가지를 모았다(Super-NI 2022 초록).
2022년 Chung 등은 과제를 1,836개, 모델을 540B 까지 늘리고 사고 사슬(CoT) 데이터셋 9개를 섞었다(Chung 2022 2.1절). 같은 해 Self-Instruct 는 씨앗 과제 175개에서 모델이 지시문 약 52K 개를 직접 만들게 해 사람 작성 데이터의 양 한계를 비켜 갔다(Self-Instruct 2022 3.1절). 지금 LLM 학습은 사전 학습 → 지시 튜닝 → 선호 최적화(RLHF · DPO) 순서를 따르고, 지시 튜닝은 그 가운데서 «지시문을 과제로 읽는 법»을 맡는다.
3쉽게 이해하기 — 비서 연수원의 업무 서랍
책을 아주 많이 읽은 연수생 민서는 「이 문장을 영어로 옮겨 주세요」라는 쪽지를 받으면 옮기지 않고, 쪽지 다음에 올 법한 문장을 이어 쓴다. 교관은 번역 · 요약 · 감성 · 질의응답 서랍에서 업무 카드를 꺼내, 같은 업무를 말투 열 가지로 적은 카드를 섞어 연습시키고 답란만 채점한다. 추론 서랍 하나는 잠가 두었다가 졸업 시험 날 처음 연다. 연습한 서랍이 많을수록 민서는 처음 보는 업무도 카드의 지시만 읽고 해낸다.
그림 1 · 교관은 업무 서랍 넷에서 꺼낸 말투 카드로 연수생을 연습시키고 답란만 채점하며, 잠가 둔 추론 서랍은 졸업 시험에서 처음 열어 처음 보는 업무를 지시만으로 푸는지 본다.
그림 2 · 카드 말투가 달라도 채점은 답란에서만 일어나듯, 실제 학습도 지시 · 입력 토큰은 조건으로 읽고 답 토큰(사례 16.9%)에만 손실을 건다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 책을 많이 읽은 연수생 | 기반 모델 | 사전 학습만 마쳐 지시문을 다음 토큰을 이어 쓸 글로 처리한다 |
| 업무 서랍 | 과제 묶음(task cluster) | 같은 유형의 데이터셋을 묶어 학습 · 평가 단위를 정한다 |
| 말투 카드 열 장 | 지시 템플릿 | 데이터셋마다 문장이 다른 템플릿 10개로 같은 예시를 감싼다 |
| 뒤집은 카드 | 뒤집은 과제(input inversion) | 답을 주고 입력을 만들게 해 과제 종류를 늘린다 |
| 교관의 섞어 연습 | 혼합 비율 · 학습 절차 | 큰 데이터셋이 다 차지하지 않게 상한을 두고 섞는다 |
| 답란만 채점 | 손실 마스크 | 답 토큰에만 손실을 걸고 지시 · 입력은 조건으로만 읽는다 |
| 잠근 추론 서랍 | 평가 묶음(held-out) | 학습에 쓰지 않은 묶음으로 일반화를 잰다 |
| 졸업 시험의 새 업무 | 보지 못한 과제의 제로샷 평가 | 예시 없이 지시만으로 푼 점수를 학습 전 모델과 견준다 |
⚠ 비유가 맞지 않는 곳: 연수생은 카드 문장을 외워 둘 수 있지만, 실제 모델은 지시문을 저장하지 않고 가중치를 조금씩 바꿀 뿐이다. 서랍이 많을수록 낫다는 것도 큰 모델 이야기이고, 작은 모델은 연습한 업무를 익히느라 새 업무 점수가 오히려 떨어졌다.
4구조 — 데이터셋에서 지시 튜닝 모델까지
지시 튜닝의 구성 요소는 대부분 데이터 쪽에 있다. 모델 구조와 다음 토큰 손실은 사전 학습 그대로이고, «무엇을 어떤 꼴로 얼마나 섞어 보여 주는가»가 결과를 정한다.
그림 3 · 데이터셋은 묶음 · 템플릿 · 혼합 상한 · 묶어 넣기를 거쳐 기반 모델에 들어가고, 평가 묶음은 처음부터 학습 흐름 밖에 두어 보지 못한 과제 점수만 잰다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| 과제 묶음 | 같은 유형 데이터셋을 묶어 학습 · 평가 단위를 정함 | 데이터셋 62개 · 묶음 12개(Wei 2021 2.1절) |
| 지시 템플릿 | 예시의 입력 · 답을 지시문 문장에 끼우는 틀 | 데이터셋마다 10개 · 과제를 뒤집은 것 최대 3개(Wei 2021 2.1절) |
| 선택지 꼬리 | 분류 과제 끝에 OPTIONS 와 답 후보를 붙여 고를 범위를 알림 | 순위 분류 대신 생성으로 답함(Wei 2021 2.3절) |
| 혼합 비율 | 큰 데이터셋이 학습을 다 차지하지 않게 크기 비례에 상한을 둠 | 데이터셋당 30k · 혼합 상한 3,000(Wei 2021 2.4절) |
| 묶어 넣기 | 짧은 예시 여럿을 한 시퀀스에 채움 | EOS 로 구분 · 경계 너머 어텐션 차단(Chung 2022 2.2절) |
| 손실 마스크 | 답 토큰에만 손실을 걸고 지시 · 입력은 조건으로 둠 | 지시가 길고 답이 짧으면 지시에도 손실을 거는 편이 나음(Shi 2024 초록) |
| 기반 모델 | 사전 학습만 마친 출발점 | 137B · 사전 학습 2.49T 토큰(Wei 2021 2.4절) |
| 평가 묶음 | 학습에서 뺀 묶음으로 일반화를 잼 | 같은 묶음 데이터셋을 하나라도 학습하면 제외(Wei 2021 2.2절) |
🔑 지시 튜닝이 일반화하는 단위는 데이터셋이 아니라 과제 묶음이다 — 평가 묶음과 같은 유형의 데이터셋을 하나라도 학습에 넣으면 그 점수는 «보지 못한 과제» 점수가 아니다.
5동작 — 과제 8개 혼합과 묶어 넣기
직접 실행(합성 데이터) 사례다. 데이터셋 크기 · 묶음 구성 · 시퀀스 길이 1,024토큰은 설명용 가정 값이고, 상한 30k · 혼합 상한 3,000 · 스텝 · 배치는 FLAN 설정(Wei 2021 2.4절)이며, 예시 길이는 시드 0 의 로그 정규 분포로 뽑았다(NumPy Generator 문서).
- 묶음 나누기 — 번역 2 · 요약 2 · 감성 2 · 질의응답 2 = 데이터셋 8개(합 754,200건)를 학습에 쓰고, 자연어 추론 묶음은 데이터셋째로 평가에만 둔다.
- 템플릿 씌우기 — 데이터셋마다 템플릿 10개를 쓰고, 그중 3개 이하는 감성 분류를 「긍정 영화평을 하나 써라」처럼 뒤집는다. 분류 과제는 끝에 OPTIONS 와 답 후보를 붙인다(Wei 2021 2.1 · 2.3절).
- 개수 상한 — 데이터셋당 30k 로 자르면 754,200건이 174,200건이 된다.
- 혼합 비율 — 크기 비례로 섞으면 가장 큰 번역 데이터셋이 53.0%, 가장 작은 질의응답 데이터셋(1,200건)이 0.2%를 차지한다. 가중치를 min(n, 3,000)으로 두면 7개가 13.5%씩, 1,200건짜리가 5.4%가 된다.
- 묶어 넣기 — 표본 2,000건(평균 211.1토큰)을 예시마다 1,024토큰 시퀀스 하나에 넣으면 시퀀스 2,000개의 20.6%만 차고, 앞에서부터 이어 붙이면 476개에 86.6%가 찬다. 예시 사이는 EOS 로 나누고 다른 예시 토큰을 보지 못하게 어텐션 마스크를 건다(Chung 2022 2.2절).
- 손실 마스크 — 표본 토큰 422,165개 가운데 답 토큰 71,537개(16.9%)에만 손실을 건다. 시드 0 ~ 9 에서 이 비율은 16.5 ~ 17.5% 였다.
- 학습 토큰 셈 — 30k 스텝 × 배치 8,192토큰 = 2억 4,576만 토큰으로, 기반 모델 사전 학습 2.49T 토큰의 0.0099%다(원문 식 직접 계산 · Wei 2021 2.4절).
- 평가 — 잠가 둔 추론 묶음을 템플릿 10개로 제로샷 평가해 평균을 내고, 같은 프롬프트로 학습 전 모델 점수와 견준다(Wei 2021 3절). 학습 전보다 낮으면 실무 진단 표의 모델 크기 행으로 간다.
그림 4 · 754,200건이 상한과 혼합 상한을 거쳐 고르게 섞이고, 묶어 넣기로 시퀀스 476개에 채워지며, 그중 답 토큰 16.9%만 손실을 받은 뒤 잠가 둔 추론 묶음으로 평가된다.
🔑 지시 튜닝 데이터의 토큰 대부분은 손실을 내지 않는다 — 이 사례에서 학습 신호를 주는 것은 답 토큰 16.9%뿐이고, 지시 · 입력은 «무엇을 할지» 정하는 조건으로만 읽힌다.
과제 수와 모델 크기는 함께 움직인다. FLAN 에서 학습 묶음을 1개에서 7개로 늘리자 보지 못한 세 묶음의 평균이 49.9%에서 63.5%로 올랐지만, 8B 이하 모델은 지시 튜닝 뒤 보지 못한 과제 점수가 오히려 낮아졌다(Wei 2021 4.1 · 4.2절). 과제를 1,836개까지 넣은 Chung 2022 에서는 8B 도 15.5점 올라, 작은 모델의 손해는 과제 수 · 평가 방식에 따라 달라진다.
그림 5 · 과제 수를 0 → 282개로 늘리는 동안 점수가 크게 오르고 그 뒤로는 거의 멈추지만, 같은 1,836 과제에서 모델을 62B → 540B 로 키우면 19.7점이 더 오른다.
🔑 과제 수는 처음 수백 개에서 효과 대부분을 내고, 그 뒤로는 모델 크기가 더 크게 움직인다 — 540B 는 과제 282 → 1,836 에서 1.0점, 같은 1,836 과제에서 62B → 540B 로 19.7점 올랐다.
6비교 — 지시 데이터를 만드는 방식
| 기준 | 템플릿 변환 | 사람 작성 시연 | 모델 생성(Self-Instruct) | 학습 없는 퓨샷 프롬프트 |
|---|---|---|---|---|
| 데이터 출처 | 기존 NLP 데이터셋의 정답을 지시문으로 감쌈 | 사람이 요청과 답을 직접 씀 | 씨앗 과제에서 모델이 지시 · 입력 · 답을 만듦 | 프롬프트 안 예시 몇 개 |
| 규모 사례 | 과제 1,836개(Chung 2022 2.1절) | 시연 약 13k 건(Ouyang 2022 3.2절) | 씨앗 175개 → 지시 약 52K 개(Self-Instruct 2022 3.1절) | 예시 k 개 · 학습 데이터 0 |
| 강한 곳 | 과제 종류 · 정답 품질 | 실제 사용자 요청 꼴 · 긴 답 | 비용 · 창의 과제 · 빠른 확장 | 학습 비용 없음 · 바로 시험 |
| 약한 곳 | 답이 짧고 형식이 딱딱함 | 건마다 작성 비용 · 작성자 수에 묶임 | 틀린 답이 섞이고 원 모델 수준을 넘기 어려움 | 호출마다 프롬프트가 길고 템플릿에 민감 |
| 걸러 내기 | 템플릿을 사람이 씀 | 작성 지침 · 검수 | 기존 지시와 ROUGE-L 0.7 이상 겹치면 버림(Self-Instruct 2022 2.2절) | 해당 없음 |
분석과제 범위를 넓히는 데는 템플릿 변환을, 실제 대화 꼴과 긴 답을 맞추는 데는 사람 작성 · 모델 생성 데이터를 쓰고 둘을 섞는다. 근거는 Flan Collection 실험 — 제로샷 · 퓨샷 · CoT 템플릿을 섞어 학습한 쪽이 모든 설정에서 2% 넘게 높았다(Longpre 2023 초록).
정답 하나를 따라 쓰게 하는 지시 튜닝과 두 답 가운데 나은 쪽을 고르게 하는 선호 학습의 차이는 RLHF · 선호 최적화(DPO)가, 학습할 매개변수를 줄이는 방법은 LoRA 가 다룬다.
7실무 진단 — 지시 튜닝 모델이 지시를 따르지 않을 때
분석평가 분리 → 데이터 형식 → 혼합 · 손실 순으로 좁힌다. 평가 묶음이 새면 뒤의 모든 점수가 «보지 못한 과제» 점수가 아니게 되므로(Wei 2021 2.2절), 점수를 해석하기 전에 묶음 분리부터 확인한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 보지 못한 과제 점수가 지나치게 높음 | 평가 묶음과 같은 유형 데이터셋이 학습에 섞임 | 평가 | 학습 데이터셋 목록 ↔ 평가 묶음 대조 | 같은 묶음 데이터셋이 하나라도 있으면 보지 못한 과제가 아님(Wei 2021 2.2절) |
| 2 | 지시를 무시하고 입력 글을 이어 씀 | 학습 데이터에 지시문이 없거나 추론 프롬프트 꼴이 다름 | 데이터 · 형식 | 학습 템플릿 · 구분 토큰과 추론 프롬프트 대조 | 지시 없이 입출력만 학습한 모델은 지시 템플릿 학습보다 제로샷이 크게 낮음(Wei 2021 4.3절) |
| 3 | 모든 답이 한 과제 꼴(번역투 · 한 낱말) | 큰 데이터셋 쏠림 | 혼합 | 데이터셋별 표본 비율 | 크기 비례만 쓰면 한 데이터셋이 절반을 넘음 → 혼합 상한(Wei 2021 2.4절) |
| 4 | 답이 지나치게 짧고 긴 설명을 못 함 | 답이 짧은 과제 위주 데이터 | 데이터 | 답 토큰 길이 분포 · 지시 대 답 길이 비 | 지시가 길고 답이 짧으면 지시에도 손실을 걸 때 나아짐(Shi 2024 초록) |
| 5 | 학습 뒤 보지 못한 과제 점수가 학습 전보다 낮음 | 모델이 작아 학습 과제에 용량을 다 씀 | 평가 | 모델 크기별 학습 전후 점수 | 8B 이하에서 하락 보고(Wei 2021 4.2절) |
| 6 | 단계별 추론 문제가 학습 뒤 나빠짐 | 혼합에 CoT 데이터 없음 | 혼합 | CoT · 비 CoT 평가를 따로 집계 | CoT 없는 지시 튜닝은 추론을 떨어뜨리고 CoT 데이터셋 9개로 회복(Chung 2022 4.2절) |
점수가 학습 전보다 낮으면 과제 수를 늘리거나 더 큰 기반 모델로 옮기고, 점수는 올랐는데 꼴만 어긋나면 추론 프롬프트를 학습 템플릿 · 구분 토큰에 맞춘다.
8시험 대비
시험에서는 지시 튜닝의 개념 · 데이터 구성 · 일반화 평가를 묻는 정의 · 특징형, FLAN → Flan 2022 → Self-Instruct 로 이어진 데이터 규모 · 방식 변화를 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «과제 묶음을 빼고 평가한다»는 한 줄로 일반 미세 조정과 구분하고, 동향형은 과제 수 · 모델 크기 두 축의 그래프로 효과가 어디서 멈추는지 보인다.
- 개요 — 정의(지시문 + 입력 → 답) · 학습 단계 위치(사전 학습 → 지시 튜닝 → 선호 최적화) · FLAN 2021 · T0
- 구성 — 그림 3 데이터 흐름(과제 묶음 12 · 템플릿 10개 · 혼합 상한 3k · 묶어 넣기 · 평가 묶음 분리)
- 절차 — 그림 4 8단계(754,200 → 174,200건 · 13.5% · 476 시퀀스 · 답 토큰 16.9%)
- 효과와 한계 — 그림 5 과제 수 · 모델 크기 그래프(282 과제 뒤 +1.0 · 모델 +19.7 · 8B 이하 하락 보고)
- 데이터 방식 비교 — 템플릿 변환 · 사람 시연 · Self-Instruct · 퓨샷 표 + 섞어 쓰는 이유
- 동향 — 혼합 프롬프트 · CoT 데이터 · 손실 범위 연구 · 선호 최적화로 이어짐
꼭 쓸 키워드
지시 템플릿과제 묶음제로샷 일반화FLANT0Super-NaturalInstructionsSelf-Instruct손실 마스크묶어 넣기혼합 비율
다른 답안과 차이를 내는 한 가지 — 「보지 못한 과제」를 데이터셋이 아니라 묶음 단위로 정의하고, 과제 수 효과(+1.0)와 모델 크기 효과(+19.7)를 같은 표의 숫자로 견준다.
9오해와 사실
- 오해지시 튜닝은 모델에 새 지식을 넣는 단계다.사실Flan-PaLM 의 지시 데이터는 1.4B 토큰으로 사전 학습 780B 토큰의 0.2%이고, 저자들은 효과 대부분이 이미 아는 지식을 지시에 맞춰 꺼내는 법을 익힌 데서 온다고 해석했다(Chung 2022 3절).
- 오해제로샷용으로 학습하면 퓨샷 성능은 포기해야 한다.사실퓨샷 템플릿을 5%만 섞어도 제로샷이 크게 올랐고, 제로샷 데이터를 10% 넘게 섞으면 퓨샷도 올랐다(Longpre 2023 3.2절).
- 오해지시 튜닝을 하면 RLHF 는 필요 없다.사실지시 튜닝은 정답 한 개를 따라 쓰는 지도 학습이고, InstructGPT 도 시연 데이터로 SFT 를 먼저 한 뒤 보상 모델 · PPO 단계로 넘어가 사람 선호를 따로 맞췄다(Ouyang 2022 3.5절).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 | 잘못되면 | 근거 |
|---|---|---|---|---|
| 과제 묶음 | 학습 · 평가 단위 | 데이터셋 62 · 묶음 12 | 평가 오염 · 일반화 착시 | Wei 2021 2.1 · 2.2절 |
| 지시 템플릿 | 예시를 지시문으로 감쌈 | 데이터셋당 10개 · 뒤집음 ≤ 3 | 지시를 무시하고 이어 씀 | Wei 2021 2.1 · 4.3절 |
| 혼합 비율 | 데이터셋 크기 균형 | 상한 30k · 혼합 상한 3,000 | 한 과제 꼴로 쏠림 | Wei 2021 2.4절 |
| 묶어 넣기 | 시퀀스를 채워 계산 절약 | 채움 20.6% → 86.6%(사례) | 패딩 계산 낭비 | Chung 2022 2.2절 |
| 손실 마스크 | 답 토큰만 학습 신호 | 답 토큰 16.9%(사례) | 짧은 답 데이터에 과적합 | Shi 2024 |
| 평가 묶음 | 보지 못한 과제 측정 | 템플릿 10개 평균 · 제로샷 | 점수를 믿을 수 없음 | Wei 2021 3절 |
| 규모 | 과제 수 · 모델 크기 | 1,836 과제 · 계산량 0.2% | 작은 모델 하락 | Chung 2022 표 3 · Wei 2021 4.2절 |
11참고 문헌
- 먼저 볼 문헌
- ★ Finetuned Language Models Are Zero-Shot Learners (Wei et al. · ICLR 2022) — 과제 묶음 단위 평가 · 템플릿 10개 · 혼합 상한 · 모델 크기 절제 실험을 볼 때
- ★ Scaling Instruction-Finetuned Language Models (Chung et al. · JMLR 2024) — 과제 1,836개 · 540B 까지 늘린 효과와 계산량 0.2%를 볼 때
- ★ The Flan Collection: Designing Data and Methods for Effective Instruction Tuning (Longpre et al. · ICML 2023) — 혼합 프롬프트 · 뒤집은 과제 같은 데이터 설계 선택을 볼 때
- ★ Self-Instruct: Aligning Language Models with Self-Generated Instructions (Wang et al. · ACL 2023) — 씨앗 과제 175개에서 모델이 지시문을 만들고 걸러 내는 절차를 볼 때
- 본문 근거
- Multitask Prompted Training Enables Zero-Shot Task Generalization (Sanh et al. · ICLR 2022) — arXiv · 2021-10 ·
arxiv.org/abs/2110.08207· 확인 2026-11-13 - Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks (Wang et al. · EMNLP 2022) — arXiv · 2022-04 ·
arxiv.org/abs/2204.07705· 확인 2026-11-13 - Instruction Tuning With Loss Over Instructions (Shi et al. · NeurIPS 2024) — arXiv · 2024-05 ·
arxiv.org/abs/2405.14394· 확인 2026-11-13 - Training language models to follow instructions with human feedback (Ouyang et al. · NeurIPS 2022) — arXiv · 2022-03 ·
arxiv.org/abs/2203.02155· 확인 2026-11-13 - NumPy Random Generator 문서(default_rng · lognormal) — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13