미세 조정Fine-tuning
사전 학습을 마친 모델의 가중치를 과제 데이터로 더 학습시켜 그 과제의 답 형식 · 말투 · 용어에 맞추는 적응 단계다. 모든 가중치를 학습하는 전체 미세 조정과 덧붙인 작은 매개변수만 학습하는 파라미터 효율 방식이 있다.
1요약
- 미세 조정은 웹 말뭉치로 사전 학습을 마친 모델의 가중치를 과제 데이터로 몇 epoch 더 학습시키는 적응 단계로, 2018년 ULMFiT 이 언어 모델에 정착시켰고 지시를 따르는 대화 모델 · 사내 상담 답 형식 · 도메인 용어 모델이 이 위에서 돈다.
- 모든 가중치를 학습하면 혼합 정밀도 Adam 기준 매개변수당 16바이트가 들어 6.7B 모델의 모델 상태만 107.2 GB 가 되고, LoRA 는 얼린 가중치 옆 저순위 행렬만 학습해 GPT-3 175B 의 학습 메모리를 1.2TB 에서 350GB 로 줄였다(Hu 2021 4.2절).
- 「미세 조정했는데 안 된다」는 틀린 것이 형식인가 사실인가로 가른다 — 답 형식 · 말투가 틀리면 데이터 품질과 epoch 를, 학습 뒤 생긴 사실이 틀리면 RAG 쪽을, 원래 맞히던 일반 질문이 틀리면 잊어버림을 본다.
2등장 배경
2018년 전 자연어 처리는 과제마다 모델을 처음부터 학습해 레이블 데이터가 수만 건씩 필요했다. 모델이 커진 뒤에는 반대 문제가 생겼다 — 175B 모델을 과제 100개에 따로 미세 조정해 두면 체크포인트만 약 35TB 다(Hu 2021 4.2절 각주).
2018년 Howard · Ruder 의 ULMFiT 은 사전 학습 언어 모델을 과제에 맞춰 미세 조정해 분류 오류를 18 ~ 24% 줄였고, 레이블 100개로 100배 데이터의 처음부터 학습과 같은 성능을 냈다(Howard 2018 초록). 2019년 Houlsby 등의 어댑터는 과제마다 매개변수 3.6%만 더해 GLUE 에서 전체 미세 조정과 0.4% 이내 차이를 보였고(Houlsby 2019 초록), 2021년 Lester 등의 프롬프트 튜닝은 입력 앞 가상 토큰만 학습했다. 같은 해 Hu 등의 LoRA 가 가중치 갱신을 저순위 행렬 곱으로 바꿨고, 2023년 Dettmers 등의 QLoRA 는 4비트로 얼린 65B 모델을 48GB GPU 한 장에서 학습했다(Dettmers 2023 초록).
지시 따르기 학습(SFT)도 미세 조정이다 — 2021년 FLAN 은 137B 모델을 60개 넘는 데이터셋의 지시문으로 학습했고(Wei 2021 초록), 2022년 InstructGPT 는 약 13k 건의 시연 데이터로 SFT 를 한 뒤 RLHF 로 넘어갔다(Ouyang 2022 3.2절). 지금도 남는 문제는 1989년 McCloskey · Cohen 이 이름 붙인 잊어버림(catastrophic forgetting)이다 — 새 과제를 학습하면 옛 과제 성능이 무너진다(Kirkpatrick 2017 1절).
3쉽게 이해하기 — 새 식당에 온 숙련 요리사
다른 식당에서 오래 일한 요리사가 새 식당에 왔다. 주방장은 요리사를 처음부터 가르치지 않고, 이 식당 손님이 기대하는 접시 모양과 담는 순서를 예시 접시 2,000개로 연습시킨다. 요리사는 원래 솜씨 노트를 잠가 두고, 노트 위에 얇은 투명 덧장을 대고 고칠 점만 적는다. 오늘 새로 들어온 재료 목록은 연습시키지 않고 냉장고 문에 쪽지로 붙인다.
그림 1 · 요리사는 잠근 솜씨 노트 위 덧장에만 고칠 점을 적어 이 식당의 접시 모양을 익히고, 그날 바뀌는 재료는 연습 대신 쪽지로 본다.
그림 2 · 노트 한 쪽 전체를 고치면 값 1,677만 개를 써야 하지만, 덧장 두 띠는 그 128분의 1인 13만 개로 같은 크기의 수정을 만든다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 숙련 요리사 | 사전 학습 모델 | 웹 말뭉치에서 다음 토큰 예측으로 익힌 가중치를 가진 출발점 |
| 예시 접시 지시서 | 지시 · 답 데이터(SFT) | 과제 입력과 원하는 답을 짝으로 묶은 학습 데이터 |
| 주방장의 연습 감독 | 학습 절차 | 답 토큰의 손실을 줄이는 방향으로 학습 매개변수를 갱신한다 |
| 잠근 솜씨 노트 | 얼린 가중치 W0 | 기울기를 계산하지 않아 옵티마이저 상태도 두지 않는다 |
| 투명 덧장 | LoRA 행렬 B · A | W0 옆에 더해지는 저순위 갱신 ΔW = BA 만 학습한다 |
| 이 식당 모양 접시 | 미세 조정된 출력 | 과제의 답 형식 · 말투 · 용어를 따른 생성 결과 |
| 옛 요리를 잊음 | 잊어버림 | 새 과제 학습이 옛 과제 성능을 떨어뜨린다 |
| 재료 쪽지 | RAG 문맥 | 학습 없이 질문 때마다 넣는 최신 사실 |
⚠ 비유가 맞지 않는 곳: 실제 덧장(B · A)은 메모 글이 아니라 숫자 행렬이고, 곱한 결과가 노트의 모든 값에 조금씩 더해진다. 전체 미세 조정은 덧장 없이 노트 자체를 고쳐 쓰는 경우이며, 덧장을 써도 잊어버림이 0이 되지는 않는다.
4구조 — 방식별 학습 위치
미세 조정 방식은 «어느 매개변수를 학습하는가»로 나뉜다. 전체 미세 조정은 블록의 모든 가중치를, 파라미터 효율 방식(PEFT)은 덧붙인 작은 부분만 학습하고 사전 학습 가중치는 얼린다.
그림 3 · 전체 미세 조정은 채운 상자 전부를 학습하고, 어댑터 · LoRA · 프롬프트 튜닝은 굵은 테두리 부분만 학습한다 — 위치가 다를 뿐 사전 학습 가중치는 셋 다 얼린다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| W0 사전 학습 가중치 | d × k | 얼려 두고 기울기를 계산하지 않음 | 4096 × 4096 = 16,777,216(Hu 2021 4.1절) |
| A | r × k | 입력을 r 차원으로 줄임 | 가우스 분포로 초기화(Hu 2021 4.1절) |
| B | d × r | r 차원을 다시 d 차원으로 | 0으로 초기화 → 학습 시작 때 ΔW = 0(Hu 2021 4.1절) |
| 순위 r | 정수 | 학습 매개변수 수를 정함 | r ≪ min(d, k) · GPT-3 실험 r 1 ~ 64(Hu 2021 4.1절 · 표 15) |
| α | 상수 | ΔWx 를 α / r 배로 키움 | 처음 고른 r 값으로 두고 조정하지 않음(Hu 2021 4.1절) |
| 대상 행렬 | 블록당 최대 4개 | 어텐션 Wq · Wk · Wv · Wo | 원 논문은 MLP 를 얼림(Hu 2021 4.2절) |
| 옵티마이저 상태 | 학습 매개변수 × 12바이트 | Adam 의 fp32 사본 · 모멘텀 · 분산 | 얼린 가중치는 0(Rajbhandari 2019 3.1절) |
LoRA 의 순전파는 h = W0x + BAx 다(Hu 2021 식 3). 학습 매개변수 수는 행렬 하나당 r × (d + k) 이고, 대상 행렬 수와 블록 수를 곱하면 모델 전체가 된다.
🔑 LoRA 가 메모리를 줄이는 이유는 학습 매개변수가 적어서라기보다, 얼린 가중치에 기울기와 Adam 상태 14바이트를 두지 않기 때문이다 — 매개변수당 16바이트가 2바이트로 내려간다.
5동작 — 6.7B 모델의 상담 답 형식 맞추기
사례 모델은 차원 4096 · 블록 32개 · 6.7B 매개변수 설정이다(Touvron 2023 표 2). 데이터 수 · 점검 문항 · 정답률 · α · epoch 는 설명용 가정 값이고, 매개변수 수와 메모리는 원문 식으로 직접 계산한 값이다.
- 데이터 준비 — 상담 질문과 「요약 · 조치 · 다음 단계」 세 단락 답을 짝지은 지시 · 답 2,000쌍(가정 값)을 모으고, 검증 100쌍과 일반 능력 점검 200문항을 따로 둔다. 7B 모델은 2,000개 이상일 때 학습이 안정적이었다(Zhou 2023 5절 각주).
- 매개변수 계산 — r = 16 을 Wq · Wk · Wv · Wo 에 붙인다. 16 × (4096 + 4096) = 131,072개 × 행렬 4개 × 블록 32개 = 16,777,216개이고, 6.7B 의 0.25%다.
- 초기화 — A 는 가우스, B 는 0으로 둔다. ΔW = BA = 0 이라 첫 단계의 출력은 기반 모델과 같고, α = 32(가정 값)이면 갱신은 α / r = 2배로 더해진다(Hu 2021 4.1절).
- 메모리 확인 — 모델 상태는 얼린 fp16 가중치 2 × 6.7B = 13.4 GB 에 LoRA 행렬 16 × 16,777,216 = 0.27 GB 를 더한 13.7 GB 다. 전체 미세 조정이면 16 × 6.7B = 107.2 GB 이고, 활성값은 두 경우 모두 따로 든다(Rajbhandari 2019 3.1 · 3.2절).
- 학습 — 질문 토큰은 손실에서 빼고 답 토큰에만 손실을 걸어 3 epoch(가정 값) 학습하고, 검증 손실이 가장 낮은 epoch 의 체크포인트를 고른다.
- 잊어버림 점검 — 같은 점검 200문항을 학습 전후에 다시 푼다. 정답률 71% → 69%(가정 값)로 2%p 떨어져, 미리 정한 허용 폭 3%p(가정 값) 안이다.
- 저장 · 병합 — 어댑터만 16,777,216 × 2바이트 = 33.6 MB 로 저장한다(전체 가중치 13.4 GB 의 400분의 1). 배포 때 W = W0 + (α / r)BA 로 합치면 추론 연산은 기반 모델과 같다(Hu 2021 4.1절).
그림 4 · 2,000쌍의 데이터가 매개변수 1,677만 개 학습과 2%p 잊음 점검을 거쳐 33.6 MB 어댑터가 되고, 병합하면 기반 모델과 같은 속도로 돈다.
그림 5 · 모델 상태 메모리의 대부분은 학습 매개변수의 Adam 상태다 — 얼리기만 해도 107.2 GB 가 13.7 GB 로, 4비트로 얼리면 3.6 GB 로 내려가 GPU 한 장에 들어간다.
🔑 전체 미세 조정의 메모리는 가중치가 아니라 학습하는 매개변수 수에 비례한다 — 같은 6.7B 모델도 무엇을 얼리는가에 따라 107.2 GB 와 13.7 GB 로 갈린다.
6비교 — 전체 미세 조정 · 어댑터 · LoRA · 프롬프트 튜닝
| 기준 | 전체 미세 조정 | 어댑터 | LoRA | 프롬프트 튜닝 |
|---|---|---|---|---|
| 학습하는 것 | 모든 가중치 | 블록마다 끼운 병목 층 | 행렬 옆 B · A | 입력 앞 가상 토큰 임베딩 |
| 학습 매개변수 | GPT-3 175,255.8M | GPT-3 7.1M ~ 40.1M | GPT-3 4.7M ~ 37.7M | T5-XXL 5토큰 20,480개 |
| GPT-3 WikiSQL 정확도 | 73.8% | 71.9 ~ 73.2% | 73.4 ~ 74.0% | 모델이 수십억 규모를 넘으면 전체 조정과 차이가 사라짐(Lester 2021 초록) |
| 추론 지연 | 기반 모델과 같음 | 추가 층만큼 늘어남(GPT-2 medium +2.2 ~ +30.3%) | 병합하면 기반 모델과 같음 | 입력이 가상 토큰만큼 길어짐 |
| 과제 바꾸기 | 모델 한 벌을 통째로 바꿈 | 어댑터 교체 | BA 를 빼고 B′A′ 를 더함 | 프롬프트만 교체 · 과제를 섞은 배치 가능 |
GPT-3 값은 Hu 2021 표 4, 지연은 같은 논문 표 1(배치 1 · 짧은 입력)이다.
분석형식 · 말투를 맞추는 일은 LoRA 부터 시작하고, 데이터가 많고 기반 모델과 분야 차이가 커서 LoRA 정확도가 모자랄 때 전체 미세 조정으로 옮긴다. 근거는 표의 정확도 행 — GPT-3 에서 LoRA 37.7M 이 전체 조정(73.8%)보다 높은 74.0%를 냈다(Hu 2021 표 4).
미세 조정과 RAG 중 하나를 고를 때는 바꾸려는 것이 «말하는 방식»인지 «아는 사실»인지를 먼저 본다. 비지도 미세 조정으로 사실을 넣은 실험에서 RAG 가 학습 때 본 지식과 새 지식 모두에서 앞섰고, 미세 조정은 같은 사실을 여러 표현으로 되풀이해 보여 줄 때만 나아졌다(Ovadia 2023 초록).
7실무 진단 — 미세 조정 결과가 기대와 다를 때
분석데이터 → 학습 설정 → 평가 순으로 좁힌다. 데이터 품질은 같은 개수에서도 점수를 바꾸므로(Zhou 2023 5절), 학습 설정을 바꿔 보기 전에 표본을 먼저 읽는다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 답 형식이 예시마다 다르게 섞여 나옴 | 데이터 품질 · 형식 불일치 | 데이터 | 학습 데이터 표본 100쌍 검수 | 필터한 데이터가 같은 2,000개의 필터 없는 데이터보다 0.5점 높음(Zhou 2023 5절) |
| 2 | 새 제품 사양을 물으면 그럴듯한 틀린 값 | 사실 주입을 미세 조정에 맡김 | 데이터 | 그 사실이 학습 데이터에 나온 횟수 · 표현 수 | 한두 번뿐이면 RAG 로 옮김(Ovadia 2023 초록) |
| 3 | 학습 손실은 내려가는데 검증 손실이 오름 | epoch 과다 · 과적합 | 학습 설정 | epoch 별 학습 · 검증 손실 곡선 | 검증 손실 최저점을 지난 체크포인트는 버림 |
| 4 | 학습 시작 직후 GPU 메모리 부족 | 학습 매개변수의 Adam 상태 | 학습 설정 | 학습 매개변수 수 × 16바이트 + 얼린 가중치 × 2바이트 | 모델 상태가 GPU 메모리를 넘음(Rajbhandari 2019 3.1절) |
| 5 | 학습 뒤 출력이 기반 모델과 똑같음 | 어댑터 미적재 · 병합 누락 | 평가 | 적재 로그 · 어댑터 B 행렬의 노름 | B 노름 0 = 갱신 없음(Hu 2021 4.1절 B = 0 초기화) |
| 6 | 원래 맞히던 일반 질문을 틀림 | 잊어버림 | 평가 | 학습 전후 같은 점검 문항 정답률 | 미리 정한 허용 폭을 넘는 하락(Kirkpatrick 2017 1절) |
잊어버림이 허용 폭을 넘으면 학습률 · epoch 를 줄이거나, 점검 분야의 데이터를 학습 데이터에 섞거나, 중요한 가중치의 변화를 늦추는 EWC 같은 방법을 쓴다(Kirkpatrick 2017 2절).
8시험 대비
www.q-net.or.kr시험에서는 사전 학습 뒤 적응 단계의 개념과 파라미터 효율 방식을 묻는 정의 · 특징형, 전체 미세 조정 · LoRA 또는 미세 조정 · RAG 의 차이와 선택 기준을 묻는 비교형이 나올 수 있다. 정의형은 h = W0x + BAx 와 매개변수 수 계산을 한 줄로 적어 «왜 효율적인가»를 숫자로 보이고, 비교형은 «무엇을 바꾸는가(형식 ↔ 사실)» 한 축으로 표를 세운다.
- 개요 — 정의 · 사전 학습 → 미세 조정 두 단계 · 필요성(형식 · 말투 · 도메인 용어) · ULMFiT 2018
- 방식 구조 — 그림 3 학습 위치(전체 · 어댑터 · LoRA · 프롬프트 튜닝) + h = W0x + BAx · B = 0 초기화
- 매개변수 수와 메모리 — r(d + k) × 4 × 32 = 16,777,216(0.25%) · 그림 5 매개변수당 16바이트 ↔ 2바이트 ↔ 4비트
- 절차 — 그림 4 데이터 → 매개변수 계산 → 초기화 → 학습 → 잊음 점검 → 병합 · 어댑터 33.6 MB
- 비교 — 비교표(GPT-3 전체 73.8% ↔ LoRA 74.0% · 4.7M ~ 37.7M) + RAG 와의 선택 기준(형식 ↔ 사실)
- 한계와 대응 — 잊어버림(점검 문항 · EWC) · 데이터 품질(LIMA 1,000쌍) · QLoRA 65B 48GB
꼭 쓸 키워드
사전 학습전체 미세 조정PEFTLoRA순위 r어댑터프롬프트 튜닝SFTQLoRA잊어버림
다른 답안과 차이를 내는 한 가지 — LoRA 매개변수 수를 r(d + k) 식으로 직접 계산하고 혼합 정밀도 Adam 16바이트 식으로 메모리를 이어서 셈해, 「효율」을 107.2 GB → 13.7 GB 라는 숫자로 보인다.
9오해와 사실
- 오해문서를 넣어 미세 조정하면 모델이 그 사실을 확실히 외운다.사실비지도 미세 조정은 새 사실 학습에 약했고 RAG 가 기존 · 새 지식 모두에서 앞섰다 — 같은 사실을 여러 표현으로 보여 줄 때만 나아졌다(Ovadia 2023 초록).
- 오해지시 미세 조정 데이터는 많을수록 좋다.사실65B 모델은 엄선한 1,000쌍만으로 형식을 익혔고, 7B 실험에서는 양만 늘리면 나아지지 않을 수 있고 다양성 · 품질이 점수를 바꿨다(Zhou 2023 3 · 5절).
- 오해LoRA 는 행렬이 덧붙어 추론이 느려진다.사실학습 뒤 W = W0 + BA 로 합쳐 두면 추론 연산은 기반 모델과 같고, 과제를 바꿀 때는 BA 를 빼고 다른 B′A′ 를 더한다(Hu 2021 4.1절).
10핵심 정리
| 방식 | 학습하는 것 | 학습 매개변수(6.7B 사례) | 모델 상태 메모리 | 과제별 저장 | 맞는 쓰임 |
|---|---|---|---|---|---|
| 전체 미세 조정 | 모든 가중치 | 6.7B 전부 | 16Ψ = 107.2 GB | 13.4 GB | 데이터가 많고 분야 차이가 클 때 |
| LoRA | 행렬 옆 B · A | 16,777,216(0.25%) | 13.7 GB | 33.6 MB | 형식 · 말투 · 과제 여럿 |
| QLoRA | 4비트로 얼린 W0 위 B · A | 16,777,216 | 3.6 GB | 33.6 MB | GPU 한 장(65B = 48GB 이하) |
| 어댑터 | 블록마다 병목 층 | GLUE 과제당 3.6% | 얼린 가중치 2Ψ + 어댑터 | 어댑터만 | 추론 지연을 감수할 때 |
| 프롬프트 튜닝 | 입력 앞 가상 토큰 | 5 × 4096 = 20,480 | 얼린 가중치 2Ψ + 프롬프트 | 프롬프트만 | 수십억 규모 · 과제 수가 많을 때 |
| SFT | 지시 · 답 쌍으로 위 방식 중 하나 | 방식에 따름 | 방식에 따름 | 방식에 따름 | 지시 따르기(LIMA 1,000 · InstructGPT 약 13k) |
11참고 문헌
- 먼저 볼 문헌
- ★ LoRA: Low-Rank Adaptation of Large Language Models (Hu et al. · ICLR 2022) — 저순위 행렬 B · A 의 식과 GPT-3 학습 메모리 · 체크포인트 절감을 볼 때
- ★ ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (Rajbhandari et al. · SC20) — 혼합 정밀도 Adam 의 매개변수당 16바이트 식을 볼 때
- ★ QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al. · NeurIPS 2023) — 4비트로 얼린 모델 위에서 LoRA 를 학습하는 메모리 절감을 볼 때
- ★ LIMA: Less Is More for Alignment (Zhou et al. · NeurIPS 2023) — 지시 미세 조정 데이터의 양 · 품질 · 다양성 실험을 볼 때
- ★ Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs (Ovadia et al. · EMNLP 2024) — 새 사실을 넣을 때 미세 조정과 RAG 를 견준 실험을 볼 때
- 본문 근거
- Parameter-Efficient Transfer Learning for NLP (Houlsby et al. · ICML 2019) — arXiv · 2019-02 ·
arxiv.org/abs/1902.00751· 확인 2026-11-04 - The Power of Scale for Parameter-Efficient Prompt Tuning (Lester et al. · EMNLP 2021) — arXiv · 2021-04 ·
arxiv.org/abs/2104.08691· 확인 2026-11-04 - Universal Language Model Fine-tuning for Text Classification (Howard · Ruder · ACL 2018) — arXiv · 2018-01 ·
arxiv.org/abs/1801.06146· 확인 2026-11-04 - Finetuned Language Models Are Zero-Shot Learners (Wei et al. · ICLR 2022) — arXiv · 2021-09 ·
arxiv.org/abs/2109.01652· 확인 2026-11-04 - Training language models to follow instructions with human feedback (Ouyang et al. · NeurIPS 2022) — arXiv · 2022-03 ·
arxiv.org/abs/2203.02155· 확인 2026-11-04 - Overcoming catastrophic forgetting in neural networks (Kirkpatrick et al. · PNAS 114(13)) — arXiv · 2016-12 ·
arxiv.org/abs/1612.00796· 확인 2026-11-04 - Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem (McCloskey · Cohen · Psychology of Learning and Motivation 24) — Academic Press · 1989-01 ·
doi.org/10.1016/S0079-7421(08)60536-8· 확인 2026-11-04 - LLaMA: Open and Efficient Foundation Language Models (Touvron et al.) — arXiv · 2023-02 ·
arxiv.org/abs/2302.13971· 확인 2026-11-04