AI › 생성형 AI › LLM › 학습

지시 튜닝Instruction Tuning

여러 과제를 «지시문 + 입력 → 답» 꼴의 문장으로 바꾼 데이터로 사전 학습 모델을 미세 조정해, 학습에서 보지 못한 과제도 지시만 읽고 수행하게 만드는 학습 단계다.

1요약

  1. 지시 튜닝은 사전 학습과 선호 최적화 사이에 놓이는 LLM 학습 단계로, 2021년 Wei 등이 FLAN 에서 이름 붙였고 NLP 데이터셋 수십 ~ 수천 개를 지시문 템플릿으로 바꿔 학습하며, 대화형 어시스턴트의 지시 따르기와 처음 보는 과제의 제로샷 수행이 이 위에서 돈다.
  2. 기반 모델은 지시문을 이어 쓸 글로 읽어 시킨 일을 하지 않는데, 지시 튜닝한 FLAN 137B 는 제로샷 GPT-3 175B 를 데이터셋 25개 중 20개에서 앞섰고(Wei 2021 초록) Flan-PaLM 540B 는 사전 학습 계산량의 0.2% 만 더 써서 보지 못한 평가 묶음의 정규화 평균을 9.4점 올렸다(Chung 2022 2.2절 · 표 3).
  3. 「지시 튜닝을 했는데 새 과제를 못한다」는 학습에서 뺀 과제 묶음의 점수로 가른다 — 학습 전 모델보다 낮으면 모델 크기 · 과제 수를, 점수는 올랐는데 답 꼴이 어긋나면 템플릿 · 혼합 비율 · 추론 때 프롬프트 형식을 본다.

2등장 배경

2020년 GPT-3 는 프롬프트에 예시 몇 개를 넣으면(퓨샷) 잘했지만, 예시 없이 지시만 주는 제로샷에서는 독해 · 질의응답 · 자연어 추론 점수가 크게 떨어졌다(Wei 2021 1절). 사전 학습 데이터에 「다음 문장을 프랑스어로 옮겨라」 같은 꼴이 드물어, 기반 모델에게 그 문장은 과제가 아니라 이어 쓸 글의 시작이다. 과제마다 따로 미세 조정하면 과제 수만큼 모델이 생기고, 학습하지 않은 과제는 여전히 풀지 못한다.

2021년 9월 Wei 등은 137B 모델을 데이터셋 62개 · 과제 묶음 12개의 지시문으로 학습한 FLAN 을 내고, 평가할 묶음은 학습에서 통째로 빼는 평가 방식을 세웠다(Wei 2021 2.1 · 2.2절). 한 달 뒤 Sanh 등의 T0 는 데이터셋 177개에 프롬프트 2,073개(P3)를 붙여 11B 모델을 학습해 16배 큰 모델을 자주 앞섰고(Sanh 2021 초록 · 4절), 2022년 Wang 등의 Super-NaturalInstructions 는 전문가가 쓴 지시문으로 과제 1,616개 · 유형 76가지를 모았다(Super-NI 2022 초록).

2022년 Chung 등은 과제를 1,836개, 모델을 540B 까지 늘리고 사고 사슬(CoT) 데이터셋 9개를 섞었다(Chung 2022 2.1절). 같은 해 Self-Instruct 는 씨앗 과제 175개에서 모델이 지시문 약 52K 개를 직접 만들게 해 사람 작성 데이터의 양 한계를 비켜 갔다(Self-Instruct 2022 3.1절). 지금 LLM 학습은 사전 학습 → 지시 튜닝 → 선호 최적화(RLHF · DPO) 순서를 따르고, 지시 튜닝은 그 가운데서 «지시문을 과제로 읽는 법»을 맡는다.

3쉽게 이해하기 — 비서 연수원의 업무 서랍

책을 아주 많이 읽은 연수생 민서는 「이 문장을 영어로 옮겨 주세요」라는 쪽지를 받으면 옮기지 않고, 쪽지 다음에 올 법한 문장을 이어 쓴다. 교관은 번역 · 요약 · 감성 · 질의응답 서랍에서 업무 카드를 꺼내, 같은 업무를 말투 열 가지로 적은 카드를 섞어 연습시키고 답란만 채점한다. 추론 서랍 하나는 잠가 두었다가 졸업 시험 날 처음 연다. 연습한 서랍이 많을수록 민서는 처음 보는 업무도 카드의 지시만 읽고 해낸다.

업무 서랍장 번역 서랍 요약 서랍 감성 서랍 질의응답 서랍 과제 묶음(학습) 추론 서랍(잠금) 평가 묶음 교관 섞어 연습 학습 절차 말투 카드 열 장 지시 템플릿 연수생 민서 책을 많이 읽음 기반 모델 답란만 채점 손실 마스크 졸업 시험 처음 보는 업무 보지 못한 과제 평가 지시만 읽고 처리 지시 튜닝 모델 카드 1 연습 2 3 4 서랍 = 같은 종류 업무를 모은 곳 · 카드 = 같은 업무를 다른 말투로 적은 지시 · 잠근 서랍은 연습에 쓰지 않는다

그림 1 · 교관은 업무 서랍 넷에서 꺼낸 말투 카드로 연수생을 연습시키고 답란만 채점하며, 잠가 둔 추론 서랍은 졸업 시험에서 처음 열어 처음 보는 업무를 지시만으로 푸는지 본다.

많이 읽은 연수생지시를 글로 이어 씀
업무 서랍번역 · 요약 · 감성 · 질의응답
말투 카드같은 업무를 열 가지로
답란 채점질문란은 채점 안 함
잠근 서랍추론 업무는 연습 금지
졸업 시험처음 보는 업무 수행
비유 — 말투가 다른 카드 세 장 실제 — 템플릿 셋과 손실 위치 「안녕하세요」를 영어로 옮겨 주세요 답란 Hello 채점 다음 인사말의 영어 표현은? 안녕하세요 답란 Hello 채점 「Hello」를 우리말로 옮겨 주세요(뒤집은 카드) 답란 안녕하세요 채점 카드 문장은 채점하지 않는다 — 읽고 무엇을 할지 정할 뿐 지시 1 입력 x 답 y 지시 2 입력 x 답 y 지시 3(뒤집음) 입력 y 답 x 사례 2,000건의 토큰 422,165개 지시 · 입력 83.1% — 손실 없음 16.9% 답 토큰 71,537개에만 손실을 계산 채운 상자 = 손실을 계산하지 않는 토큰(조건으로만 읽음) · 굵은 테두리 = 손실을 계산하는 답 토큰 · 막대 길이 = 토큰 수 비율

그림 2 · 카드 말투가 달라도 채점은 답란에서만 일어나듯, 실제 학습도 지시 · 입력 토큰은 조건으로 읽고 답 토큰(사례 16.9%)에만 손실을 건다.

비유 속 역할실제 이름실제로 하는 일
책을 많이 읽은 연수생기반 모델사전 학습만 마쳐 지시문을 다음 토큰을 이어 쓸 글로 처리한다
업무 서랍과제 묶음(task cluster)같은 유형의 데이터셋을 묶어 학습 · 평가 단위를 정한다
말투 카드 열 장지시 템플릿데이터셋마다 문장이 다른 템플릿 10개로 같은 예시를 감싼다
뒤집은 카드뒤집은 과제(input inversion)답을 주고 입력을 만들게 해 과제 종류를 늘린다
교관의 섞어 연습혼합 비율 · 학습 절차큰 데이터셋이 다 차지하지 않게 상한을 두고 섞는다
답란만 채점손실 마스크답 토큰에만 손실을 걸고 지시 · 입력은 조건으로만 읽는다
잠근 추론 서랍평가 묶음(held-out)학습에 쓰지 않은 묶음으로 일반화를 잰다
졸업 시험의 새 업무보지 못한 과제의 제로샷 평가예시 없이 지시만으로 푼 점수를 학습 전 모델과 견준다

⚠ 비유가 맞지 않는 곳: 연수생은 카드 문장을 외워 둘 수 있지만, 실제 모델은 지시문을 저장하지 않고 가중치를 조금씩 바꿀 뿐이다. 서랍이 많을수록 낫다는 것도 큰 모델 이야기이고, 작은 모델은 연습한 업무를 익히느라 새 업무 점수가 오히려 떨어졌다.

4구조 — 데이터셋에서 지시 튜닝 모델까지

지시 튜닝의 구성 요소는 대부분 데이터 쪽에 있다. 모델 구조와 다음 토큰 손실은 사전 학습 그대로이고, «무엇을 어떤 꼴로 얼마나 섞어 보여 주는가»가 결과를 정한다.

학습 흐름 데이터셋 62개 과제 묶음 12개 지시 템플릿 데이터셋마다 10개 뒤집은 과제 ≤ 3 혼합 데이터셋당 30k 혼합 상한 3k 시퀀스 묶어 넣기 · EOS 답 토큰만 손실 기반 모델 137B · 30k 스텝 학습률 3e-5 지시 튜닝 뒤 평가 흐름 평가 묶음 — 학습에서 통째로 뺌 예 자연어 추론 묶음의 데이터셋 전부 같은 묶음은 하나도 학습에 넣지 않음 보지 못한 과제 평가 템플릿 10개 평균 · 제로샷 학습 전 모델과 같은 프롬프트로 비교 학습 흐름을 지나지 않음 데이터 · 시퀀스 규칙 · 모델 평가 점선 테두리 = 학습에 쓰지 않는 데이터 · 수치 = FLAN 설정(Wei 2021 2절)

그림 3 · 데이터셋은 묶음 · 템플릿 · 혼합 상한 · 묶어 넣기를 거쳐 기반 모델에 들어가고, 평가 묶음은 처음부터 학습 흐름 밖에 두어 보지 못한 과제 점수만 잰다.

요소역할값 · 근거
과제 묶음같은 유형 데이터셋을 묶어 학습 · 평가 단위를 정함데이터셋 62개 · 묶음 12개(Wei 2021 2.1절)
지시 템플릿예시의 입력 · 답을 지시문 문장에 끼우는 틀데이터셋마다 10개 · 과제를 뒤집은 것 최대 3개(Wei 2021 2.1절)
선택지 꼬리분류 과제 끝에 OPTIONS 와 답 후보를 붙여 고를 범위를 알림순위 분류 대신 생성으로 답함(Wei 2021 2.3절)
혼합 비율큰 데이터셋이 학습을 다 차지하지 않게 크기 비례에 상한을 둠데이터셋당 30k · 혼합 상한 3,000(Wei 2021 2.4절)
묶어 넣기짧은 예시 여럿을 한 시퀀스에 채움EOS 로 구분 · 경계 너머 어텐션 차단(Chung 2022 2.2절)
손실 마스크답 토큰에만 손실을 걸고 지시 · 입력은 조건으로 둠지시가 길고 답이 짧으면 지시에도 손실을 거는 편이 나음(Shi 2024 초록)
기반 모델사전 학습만 마친 출발점137B · 사전 학습 2.49T 토큰(Wei 2021 2.4절)
평가 묶음학습에서 뺀 묶음으로 일반화를 잼같은 묶음 데이터셋을 하나라도 학습하면 제외(Wei 2021 2.2절)

🔑 지시 튜닝이 일반화하는 단위는 데이터셋이 아니라 과제 묶음이다 — 평가 묶음과 같은 유형의 데이터셋을 하나라도 학습에 넣으면 그 점수는 «보지 못한 과제» 점수가 아니다.

5동작 — 과제 8개 혼합과 묶어 넣기

직접 실행(합성 데이터) 사례다. 데이터셋 크기 · 묶음 구성 · 시퀀스 길이 1,024토큰은 설명용 가정 값이고, 상한 30k · 혼합 상한 3,000 · 스텝 · 배치는 FLAN 설정(Wei 2021 2.4절)이며, 예시 길이는 시드 0 의 로그 정규 분포로 뽑았다(NumPy Generator 문서).

  1. 묶음 나누기 — 번역 2 · 요약 2 · 감성 2 · 질의응답 2 = 데이터셋 8개(합 754,200건)를 학습에 쓰고, 자연어 추론 묶음은 데이터셋째로 평가에만 둔다.
  2. 템플릿 씌우기 — 데이터셋마다 템플릿 10개를 쓰고, 그중 3개 이하는 감성 분류를 「긍정 영화평을 하나 써라」처럼 뒤집는다. 분류 과제는 끝에 OPTIONS 와 답 후보를 붙인다(Wei 2021 2.1 · 2.3절).
  3. 개수 상한 — 데이터셋당 30k 로 자르면 754,200건이 174,200건이 된다.
  4. 혼합 비율 — 크기 비례로 섞으면 가장 큰 번역 데이터셋이 53.0%, 가장 작은 질의응답 데이터셋(1,200건)이 0.2%를 차지한다. 가중치를 min(n, 3,000)으로 두면 7개가 13.5%씩, 1,200건짜리가 5.4%가 된다.
  5. 묶어 넣기 — 표본 2,000건(평균 211.1토큰)을 예시마다 1,024토큰 시퀀스 하나에 넣으면 시퀀스 2,000개의 20.6%만 차고, 앞에서부터 이어 붙이면 476개에 86.6%가 찬다. 예시 사이는 EOS 로 나누고 다른 예시 토큰을 보지 못하게 어텐션 마스크를 건다(Chung 2022 2.2절).
  6. 손실 마스크 — 표본 토큰 422,165개 가운데 답 토큰 71,537개(16.9%)에만 손실을 건다. 시드 0 ~ 9 에서 이 비율은 16.5 ~ 17.5% 였다.
  7. 학습 토큰 셈 — 30k 스텝 × 배치 8,192토큰 = 2억 4,576만 토큰으로, 기반 모델 사전 학습 2.49T 토큰의 0.0099%다(원문 식 직접 계산 · Wei 2021 2.4절).
  8. 평가 — 잠가 둔 추론 묶음을 템플릿 10개로 제로샷 평가해 평균을 내고, 같은 프롬프트로 학습 전 모델 점수와 견준다(Wei 2021 3절). 학습 전보다 낮으면 실무 진단 표의 모델 크기 행으로 간다.
1 묶음 나누기 데이터셋 8개 754,200건 2 템플릿 데이터셋마다 10개 뒤집음 3개 이하 3 개수 상한 데이터셋당 30k → 174,200건 4 혼합 비율 최대 53.0% → 13.5% 최소 0.2% → 5.4% 5 묶어 넣기 2,000개 · 20.6% → 476개 · 86.6% 6 손실 마스크 답 토큰 71,537개 전체의 16.9% 7 학습 토큰 30k × 8,192 사전 학습의 0.0099% 8 평가 추론 묶음 · 제로샷 템플릿 10개 평균 데이터 규칙 · 학습 토큰 표시 평가 크기 · 길이 1,024 = 설명용 가정 값 · 상한 · 스텝 = FLAN 설정

그림 4 · 754,200건이 상한과 혼합 상한을 거쳐 고르게 섞이고, 묶어 넣기로 시퀀스 476개에 채워지며, 그중 답 토큰 16.9%만 손실을 받은 뒤 잠가 둔 추론 묶음으로 평가된다.

🔑 지시 튜닝 데이터의 토큰 대부분은 손실을 내지 않는다 — 이 사례에서 학습 신호를 주는 것은 답 토큰 16.9%뿐이고, 지시 · 입력은 «무엇을 할지» 정하는 조건으로만 읽힌다.

과제 수와 모델 크기는 함께 움직인다. FLAN 에서 학습 묶음을 1개에서 7개로 늘리자 보지 못한 세 묶음의 평균이 49.9%에서 63.5%로 올랐지만, 8B 이하 모델은 지시 튜닝 뒤 보지 못한 과제 점수가 오히려 낮아졌다(Wei 2021 4.1 · 4.2절). 과제를 1,836개까지 넣은 Chung 2022 에서는 8B 도 15.5점 올라, 작은 모델의 손해는 과제 수 · 평가 방식에 따라 달라진다.

과제 수 · 모델 크기에 따른 보지 못한 평가 점수 0 20 40 60 0 9 89 282 1,836 지시 튜닝 과제 수(같은 간격으로 그림) 540B 58.5 62B 38.8 8B 21.9 282 → 1,836 · +1.0 +19.7 540B 62B 8B 굵은 테두리 = 효과가 거의 멈춘 구간 · 값 = Chung 2022 표 3

그림 5 · 과제 수를 0 → 282개로 늘리는 동안 점수가 크게 오르고 그 뒤로는 거의 멈추지만, 같은 1,836 과제에서 모델을 62B → 540B 로 키우면 19.7점이 더 오른다.

🔑 과제 수는 처음 수백 개에서 효과 대부분을 내고, 그 뒤로는 모델 크기가 더 크게 움직인다 — 540B 는 과제 282 → 1,836 에서 1.0점, 같은 1,836 과제에서 62B → 540B 로 19.7점 올랐다.

6비교 — 지시 데이터를 만드는 방식

기준템플릿 변환사람 작성 시연모델 생성(Self-Instruct)학습 없는 퓨샷 프롬프트
데이터 출처기존 NLP 데이터셋의 정답을 지시문으로 감쌈사람이 요청과 답을 직접 씀씨앗 과제에서 모델이 지시 · 입력 · 답을 만듦프롬프트 안 예시 몇 개
규모 사례과제 1,836개(Chung 2022 2.1절)시연 약 13k 건(Ouyang 2022 3.2절)씨앗 175개 → 지시 약 52K 개(Self-Instruct 2022 3.1절)예시 k 개 · 학습 데이터 0
강한 곳과제 종류 · 정답 품질실제 사용자 요청 꼴 · 긴 답비용 · 창의 과제 · 빠른 확장학습 비용 없음 · 바로 시험
약한 곳답이 짧고 형식이 딱딱함건마다 작성 비용 · 작성자 수에 묶임틀린 답이 섞이고 원 모델 수준을 넘기 어려움호출마다 프롬프트가 길고 템플릿에 민감
걸러 내기템플릿을 사람이 씀작성 지침 · 검수기존 지시와 ROUGE-L 0.7 이상 겹치면 버림(Self-Instruct 2022 2.2절)해당 없음

분석과제 범위를 넓히는 데는 템플릿 변환을, 실제 대화 꼴과 긴 답을 맞추는 데는 사람 작성 · 모델 생성 데이터를 쓰고 둘을 섞는다. 근거는 Flan Collection 실험 — 제로샷 · 퓨샷 · CoT 템플릿을 섞어 학습한 쪽이 모든 설정에서 2% 넘게 높았다(Longpre 2023 초록).

정답 하나를 따라 쓰게 하는 지시 튜닝과 두 답 가운데 나은 쪽을 고르게 하는 선호 학습의 차이는 RLHF · 선호 최적화(DPO)가, 학습할 매개변수를 줄이는 방법은 LoRA 가 다룬다.

7실무 진단 — 지시 튜닝 모델이 지시를 따르지 않을 때

분석평가 분리 → 데이터 형식 → 혼합 · 손실 순으로 좁힌다. 평가 묶음이 새면 뒤의 모든 점수가 «보지 못한 과제» 점수가 아니게 되므로(Wei 2021 2.2절), 점수를 해석하기 전에 묶음 분리부터 확인한다.

#증상의심 원인단계확인 자료판정 기준(근거)
1보지 못한 과제 점수가 지나치게 높음평가 묶음과 같은 유형 데이터셋이 학습에 섞임평가학습 데이터셋 목록 ↔ 평가 묶음 대조같은 묶음 데이터셋이 하나라도 있으면 보지 못한 과제가 아님(Wei 2021 2.2절)
2지시를 무시하고 입력 글을 이어 씀학습 데이터에 지시문이 없거나 추론 프롬프트 꼴이 다름데이터 · 형식학습 템플릿 · 구분 토큰과 추론 프롬프트 대조지시 없이 입출력만 학습한 모델은 지시 템플릿 학습보다 제로샷이 크게 낮음(Wei 2021 4.3절)
3모든 답이 한 과제 꼴(번역투 · 한 낱말)큰 데이터셋 쏠림혼합데이터셋별 표본 비율크기 비례만 쓰면 한 데이터셋이 절반을 넘음 → 혼합 상한(Wei 2021 2.4절)
4답이 지나치게 짧고 긴 설명을 못 함답이 짧은 과제 위주 데이터데이터답 토큰 길이 분포 · 지시 대 답 길이 비지시가 길고 답이 짧으면 지시에도 손실을 걸 때 나아짐(Shi 2024 초록)
5학습 뒤 보지 못한 과제 점수가 학습 전보다 낮음모델이 작아 학습 과제에 용량을 다 씀평가모델 크기별 학습 전후 점수8B 이하에서 하락 보고(Wei 2021 4.2절)
6단계별 추론 문제가 학습 뒤 나빠짐혼합에 CoT 데이터 없음혼합CoT · 비 CoT 평가를 따로 집계CoT 없는 지시 튜닝은 추론을 떨어뜨리고 CoT 데이터셋 9개로 회복(Chung 2022 4.2절)

점수가 학습 전보다 낮으면 과제 수를 늘리거나 더 큰 기반 모델로 옮기고, 점수는 올랐는데 꼴만 어긋나면 추론 프롬프트를 학습 템플릿 · 구분 토큰에 맞춘다.

8시험 대비

시험에서는 지시 튜닝의 개념 · 데이터 구성 · 일반화 평가를 묻는 정의 · 특징형, FLAN → Flan 2022 → Self-Instruct 로 이어진 데이터 규모 · 방식 변화를 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «과제 묶음을 빼고 평가한다»는 한 줄로 일반 미세 조정과 구분하고, 동향형은 과제 수 · 모델 크기 두 축의 그래프로 효과가 어디서 멈추는지 보인다.

답안 목차
  1. 개요 — 정의(지시문 + 입력 → 답) · 학습 단계 위치(사전 학습 → 지시 튜닝 → 선호 최적화) · FLAN 2021 · T0
  2. 구성 — 그림 3 데이터 흐름(과제 묶음 12 · 템플릿 10개 · 혼합 상한 3k · 묶어 넣기 · 평가 묶음 분리)
  3. 절차 — 그림 4 8단계(754,200 → 174,200건 · 13.5% · 476 시퀀스 · 답 토큰 16.9%)
  4. 효과와 한계 — 그림 5 과제 수 · 모델 크기 그래프(282 과제 뒤 +1.0 · 모델 +19.7 · 8B 이하 하락 보고)
  5. 데이터 방식 비교 — 템플릿 변환 · 사람 시연 · Self-Instruct · 퓨샷 표 + 섞어 쓰는 이유
  6. 동향 — 혼합 프롬프트 · CoT 데이터 · 손실 범위 연구 · 선호 최적화로 이어짐

꼭 쓸 키워드
지시 템플릿과제 묶음제로샷 일반화FLANT0Super-NaturalInstructionsSelf-Instruct손실 마스크묶어 넣기혼합 비율

다른 답안과 차이를 내는 한 가지 — 「보지 못한 과제」를 데이터셋이 아니라 묶음 단위로 정의하고, 과제 수 효과(+1.0)와 모델 크기 효과(+19.7)를 같은 표의 숫자로 견준다.

9오해와 사실

  • 오해지시 튜닝은 모델에 새 지식을 넣는 단계다.
    사실Flan-PaLM 의 지시 데이터는 1.4B 토큰으로 사전 학습 780B 토큰의 0.2%이고, 저자들은 효과 대부분이 이미 아는 지식을 지시에 맞춰 꺼내는 법을 익힌 데서 온다고 해석했다(Chung 2022 3절).
  • 오해제로샷용으로 학습하면 퓨샷 성능은 포기해야 한다.
    사실퓨샷 템플릿을 5%만 섞어도 제로샷이 크게 올랐고, 제로샷 데이터를 10% 넘게 섞으면 퓨샷도 올랐다(Longpre 2023 3.2절).
  • 오해지시 튜닝을 하면 RLHF 는 필요 없다.
    사실지시 튜닝은 정답 한 개를 따라 쓰는 지도 학습이고, InstructGPT 도 시연 데이터로 SFT 를 먼저 한 뒤 보상 모델 · PPO 단계로 넘어가 사람 선호를 따로 맞췄다(Ouyang 2022 3.5절).

10핵심 정리

구분맡는 일대표 값잘못되면근거
과제 묶음학습 · 평가 단위데이터셋 62 · 묶음 12평가 오염 · 일반화 착시Wei 2021 2.1 · 2.2절
지시 템플릿예시를 지시문으로 감쌈데이터셋당 10개 · 뒤집음 ≤ 3지시를 무시하고 이어 씀Wei 2021 2.1 · 4.3절
혼합 비율데이터셋 크기 균형상한 30k · 혼합 상한 3,000한 과제 꼴로 쏠림Wei 2021 2.4절
묶어 넣기시퀀스를 채워 계산 절약채움 20.6% → 86.6%(사례)패딩 계산 낭비Chung 2022 2.2절
손실 마스크답 토큰만 학습 신호답 토큰 16.9%(사례)짧은 답 데이터에 과적합Shi 2024
평가 묶음보지 못한 과제 측정템플릿 10개 평균 · 제로샷점수를 믿을 수 없음Wei 2021 3절
규모과제 수 · 모델 크기1,836 과제 · 계산량 0.2%작은 모델 하락Chung 2022 표 3 · Wei 2021 4.2절

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Finetuned Language Models Are Zero-Shot Learners (Wei et al. · ICLR 2022) — 과제 묶음 단위 평가 · 템플릿 10개 · 혼합 상한 · 모델 크기 절제 실험을 볼 때
    arXiv · 2021-09 · arxiv.org/abs/2109.01652 · 확인 2026-11-13
  3. ★ Scaling Instruction-Finetuned Language Models (Chung et al. · JMLR 2024) — 과제 1,836개 · 540B 까지 늘린 효과와 계산량 0.2%를 볼 때
    arXiv · 2022-10 · arxiv.org/abs/2210.11416 · 확인 2026-11-13
  4. ★ The Flan Collection: Designing Data and Methods for Effective Instruction Tuning (Longpre et al. · ICML 2023) — 혼합 프롬프트 · 뒤집은 과제 같은 데이터 설계 선택을 볼 때
    arXiv · 2023-01 · arxiv.org/abs/2301.13688 · 확인 2026-11-13
  5. ★ Self-Instruct: Aligning Language Models with Self-Generated Instructions (Wang et al. · ACL 2023) — 씨앗 과제 175개에서 모델이 지시문을 만들고 걸러 내는 절차를 볼 때
    arXiv · 2022-12 · arxiv.org/abs/2212.10560 · 확인 2026-11-13
  6. 본문 근거
  7. Multitask Prompted Training Enables Zero-Shot Task Generalization (Sanh et al. · ICLR 2022) — arXiv · 2021-10 · arxiv.org/abs/2110.08207 · 확인 2026-11-13
  8. Super-NaturalInstructions: Generalization via Declarative Instructions on 1600+ NLP Tasks (Wang et al. · EMNLP 2022) — arXiv · 2022-04 · arxiv.org/abs/2204.07705 · 확인 2026-11-13
  9. Instruction Tuning With Loss Over Instructions (Shi et al. · NeurIPS 2024) — arXiv · 2024-05 · arxiv.org/abs/2405.14394 · 확인 2026-11-13
  10. Training language models to follow instructions with human feedback (Ouyang et al. · NeurIPS 2022) — arXiv · 2022-03 · arxiv.org/abs/2203.02155 · 확인 2026-11-13
  11. NumPy Random Generator 문서(default_rng · lognormal) — NumPy · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13