사전 학습Pre-training
사람이 붙인 레이블 없이 대규모 말뭉치에서 다음 토큰이나 가린 토큰을 맞히게 해 모델의 모든 가중치를 처음 만드는 학습 단계다. 결과물인 기반 모델이 지시 튜닝 · 미세 조정의 출발점이 된다.
1요약
- 사전 학습은 LLM 학습 단계의 첫 번째로, 레이블 없는 웹 · 책 · 코드 말뭉치에서 목표 함수(다음 토큰 예측 · 가린 토큰 복원)를 줄이며 모든 가중치를 만들고, 그 결과인 기반 모델 위에서 지시 튜닝 · 미세 조정 · RLHF 가 돈다.
- 계산량이 가장 많이 드는 단계라 예산을 잘못 나누면 되돌릴 수 없다 — 1B 매개변수 모델의 계산 최적 토큰 수는 20.2B 이고(Hoffmann 2022 표 3), 중복 문서를 걸러 낸 말뭉치로 학습하면 학습 데이터를 그대로 베끼는 출력이 10분의 1로 줄었다(Lee 2021 초록).
- 「기반 모델이 기대보다 못하다」는 손실 곡선이 식의 예측과 맞는가로 가른다 — 손실이 예측보다 높으면 크기 · 토큰 배분과 학습률 일정을, 손실은 맞는데 평가 점수가 어긋나면 말뭉치의 중복과 평가 셋 오염을 본다.
2등장 배경
2000년대 중반까지 깊은 신경망은 무작위 초기값에서 바로 지도 학습하면 잘 수렴하지 않았다. 2010년 Erhan 등은 레이블 없이 먼저 학습한 비지도 사전 학습 단계가 깊은 모델의 지도 학습 결과를 끌어올리는 이유를 실험으로 분석했고(Erhan 2010 초록), 2015년 Dai · Le 는 언어 모델과 시퀀스 오토인코더로 먼저 학습한 LSTM 이 IMDB 등 분류 과제에서 더 안정적으로 일반화함을 보였다(Dai 2015 초록).
2018년 Devlin 등의 BERT 는 토큰 15%를 가려 맞히는 목표로 BooksCorpus 8억 낱말과 영어 위키백과 25억 낱말을 학습해 11개 과제의 최고 기록을 냈고(Devlin 2018 3.1절 · 초록), 2019년 Raffel 등은 웹 크롤링을 걸러 만든 약 750 GB 의 C4 말뭉치로 목표 함수들을 한 조건에서 견줬다(Raffel 2019 2.2 · 3.3절). 2020년 Kaplan 등은 학습 계산량을 토큰당 6N 으로 셈하는 식을 정리했고(Kaplan 2020 2.1절), 2022년 Hoffmann 등은 계산량이 늘 때 매개변수와 토큰을 거의 같은 비율로 늘려야 한다고 고쳤다(지수 0.50 ↔ Kaplan 0.73 · Hoffmann 2022 표 2).
지금 남은 문제는 데이터 쪽이다. 웹 말뭉치에는 같은 61낱말 문장이 6만 번 넘게 되풀이되는 등 중복이 많고, C4 검증 셋의 4.6%가 학습 셋에 근사 중복을 두고 있었다(Lee 2021 초록 · 5.3절).
3쉽게 이해하기 — 기자 학교 견습생의 1년
기자 학교에 들어온 견습생 민지는 1년 동안 지난 신문을 읽으며, 기사 끝 낱말을 가리고 맞히는 연습만 한다. 교무실은 연습 전에 같은 기사가 여러 번 실린 묶음을 버리고, 졸업 시험에 나올 기사가 연습 더미에 섞이지 않았는지 뒤진다. 연습 시간은 1년으로 정해져 있어 두꺼운 공책에 꼼꼼히 적으면 읽는 기사가 줄고, 얇은 공책이면 많이 읽어도 남는 것이 적다. 졸업한 민지는 각 신문사로 가서 그 회사의 기사 형식을 따로 배운다.
그림 1 · 견습생은 겹친 기사를 버린 신문 더미에서 끝 낱말 맞히기만으로 1년을 익히고, 섞이지 않은 시험지로 점수를 잰 뒤 신문사에서 형식을 따로 배운다.
그림 2 · 같은 1년이라도 공책을 너무 얇게도 두껍게도 하지 않은 견습생이 가장 높은 점수를 받는다 — 실제로는 1B 매개변수 · 20.2B 토큰 근처가 가장 낮은 손실이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 지난 신문 더미 | 사전 학습 말뭉치 | 웹 · 책 · 코드 텍스트 · 크기는 토큰 수 D 로 센다 |
| 겹친 기사 버림 | 중복 제거 | 50토큰 이상 같은 구간 · MinHash 근사 중복 문서를 뺀다 |
| 끝 낱말 맞히기 | 목표 함수 | 가린 토큰의 교차 엔트로피 손실을 줄인다 |
| 견습생의 공책 두께 | 매개변수 수 N | 익힌 규칙을 담는 가중치 개수 |
| 연습 1년 | 계산 예산 C ≈ 6ND | 토큰 하나마다 매개변수당 약 6 FLOPs(순전파 2 · 역전파 4) |
| 졸업 점수 | 검증 손실 · 퍼플렉서티 | 학습에 쓰지 않은 텍스트에서 잰 손실 |
| 시험지 섞임 검사 | 평가 셋 오염 점검 | 평가 문항과 겹치는 학습 문서를 뺀다 |
| 신문사 수습 | 지시 튜닝 · 미세 조정 | 기반 모델을 과제 형식에 맞추는 다음 단계 |
⚠ 비유가 맞지 않는 곳: 실제 모델은 기사 원문을 공책에 옮겨 적지 않고 숫자 가중치만 고친다. 연습 시간은 달력이 아니라 연산 수(FLOPs)이고, 큰 말뭉치는 대개 한 번 남짓만 훑는다.
4구조 — 말뭉치에서 기반 모델까지
사전 학습은 말뭉치를 정제해 토큰으로 바꾸고, 목표 함수가 «무엇을 가리고 어디에 손실을 거는가»를 정한 뒤 트랜스포머 가중치를 학습하는 흐름이다. 레이블은 사람이 붙이지 않고 텍스트 자체에서 만든다.
그림 3 · 사전 학습은 여섯 단계를 한 방향으로 지나고, 단계 4 목표 함수가 가리는 위치와 손실을 거는 토큰을 정해 모델 종류를 가른다.
| 요소 | 크기 · 단위 | 역할 | 값 · 근거 |
|---|---|---|---|
| 말뭉치 | 토큰 수 D | 학습 예의 원천 | C4 약 750 GB(Raffel 2019 2.2절) |
| 중복 제거 | 문서 · 구간 | 암기 출력 · 평가 겹침을 줄임 | 정확 일치 50토큰 · MinHash 5-gram · 편집 유사도 0.8 초과(Lee 2021 4.1 · 4.2절) |
| 목표 함수 | 손실을 거는 토큰 | 텍스트에서 정답을 만듦 | 마스크 LM 15%(Devlin 2018 3.1절) · 스팬 평균 길이 3(Raffel 2019 3.3.4절) |
| 매개변수 N | 개수 | 모델 용량 | 계산량 셈의 N = 임베딩 제외(Kaplan 2020 2.1절) |
| 계산 예산 C | FLOPs | 크기와 토큰 수를 묶는 제약 | C ≈ 6ND(Kaplan 2020 2.1절) |
| 학습률 일정 | 스텝 | 학습 끝까지 안정적으로 줄임 | cosine 으로 10분의 1 · 주기가 실제 스텝보다 25% 넘게 길면 성능 저하(Hoffmann 2022 부록 B · D.1) |
| 검증 손실 | nats / 토큰 | 학습 결과의 기준 값 | 퍼플렉서티 = e^손실 |
🔑 사전 학습의 레이블은 텍스트 자체다 — 가린 토큰이 곧 정답이라 말뭉치 크기만큼 학습 예가 생기고, 그래서 병목은 레이블이 아니라 계산량과 데이터 품질이 된다.
5동작 — 1B 모델의 사전 학습 예산 세우기
사례는 1B 매개변수 디코더 모델을 인과 LM 으로 사전 학습하는 계획이다. 예산 · 토큰 수는 Hoffmann 2022 표 3 의 1B 행, 손실은 같은 논문 식 10 을 numpy 로 직접 계산한 값이며, 배치 크기 · 학습률은 설명용 가정 값이다.
- 예산 정하기 — 계산 예산을 C = 1.21×10²⁰ FLOPs 로 둔다(Hoffmann 2022 표 3 의 1B 행).
- 크기 · 토큰 나누기 — N = 1B 이면 D = C ÷ 6N = 1.21×10²⁰ ÷ (6 × 10⁹) = 20.2B 토큰, 매개변수 하나당 약 20토큰이다(Kaplan 2020 2.1절의 6N).
- 말뭉치 정제 — 50토큰 이상 정확히 같은 구간과, 5-gram MinHash 로 걸린 뒤 편집 유사도 0.8 을 넘는 문서를 지우고, 평가 셋과 근사 중복인 학습 문서도 뺀다(Lee 2021 4.1 · 4.2 · 5.3절).
- 스텝 · 학습률 일정 — 배치 1,024개 × 2,048토큰 = 2,097,152토큰(가정 값)이면 20.2B ÷ 2,097,152 = 9,632 스텝이다. 최대 학습률 2×10⁻⁴ 에서 cosine 으로 2×10⁻⁵ 까지 내리고, 주기를 9,632 스텝에 맞춘다(Hoffmann 2022 부록 B · D.1).
- 학습 — 모든 위치에서 다음 토큰의 교차 엔트로피를 손실로 걸고 매 스텝 가중치를 갱신한다. 이 스텝 하나의 계산량은 6 × 10⁹ × 2,097,152 ≈ 1.26×10¹⁶ FLOPs 다.
- 손실 대조 — 식 10(E 1.69 · A 406.4 · B 410.7 · α 0.34 · β 0.28)에 N = 10⁹ · D = 20.2×10⁹ 를 넣으면 최종 손실 예측은 2.579 nats, 퍼플렉서티로 약 13.2 다(Hoffmann 2022 D.2절 식 10).
- 평가 · 넘김 — 오염을 뺀 평가 셋으로 점수를 내고 마지막 체크포인트를 기반 모델로 저장해 지시 튜닝 · 미세 조정 단계로 넘긴다.
그림 4 · 1.21×10²⁰ FLOPs 예산이 20.2B 토큰 · 9,632 스텝으로 풀리고, 학습이 끝나면 식 10 의 예측 2.579 와 실제 검증 손실을 맞대어 본 뒤 기반 모델로 넘긴다.
2단계에서 N 을 바꾸면 D 가 반대로 바뀐다. 같은 C 에서 N 을 0.125B 부터 8B 까지 2배씩 바꿔 식 10 을 계산하면, 손실은 양 끝에서 오르고 0.5B ~ 1B 에서 2.579 로 거의 같다 — 식 10 만으로 찾은 최저는 0.70B · 28.7B 토큰 · 2.574 다.
그림 5 · 같은 계산량이면 모델을 키울수록 읽는 토큰이 줄어, 손실은 양 끝에서 오르고 0.5B ~ 1B 의 넓은 구간에서 가장 낮다.
🔑 예산 C 가 정해지면 매개변수와 토큰은 한쪽을 늘린 만큼 다른 쪽이 줄어든다 — 그래서 «더 큰 모델»은 토큰이 따라오지 않으면 같은 돈으로 더 나쁜 기반 모델이 된다(그림 5 의 4B · 8B).
⚠ 식 10 의 계수는 Hoffmann 2022 의 말뭉치에서 맞춘 값이라 다른 말뭉치 · 토큰화기에서는 손실의 절대값이 달라진다. 이 사례에서 쓸 것은 절대값보다 «같은 예산 안의 비교»다.
6비교 — 인과 LM · 마스크 LM · 스팬 오염
| 기준 | 인과 LM(다음 토큰 예측) | 마스크 LM | 스팬 오염 |
|---|---|---|---|
| 보는 문맥 | 앞 토큰만(마스크로 뒤를 가림) | 양쪽 | 양쪽(인코더) · 출력은 디코더 |
| 손실을 거는 토큰 | 모든 위치 | 가린 15%(80% [MASK] · 10% 무작위 · 10% 그대로) | 가린 구간의 토큰(15% · 평균 길이 3) |
| 대표 학습 사례 | 디코더 LLM | BERT — 낱말 33억(Devlin 2018 3.1절) | T5 — C4 · 2¹⁹ = 524,288 스텝(Raffel 2019 3.1.2절) |
| 그대로 글을 생성 | 된다 | 어렵다(출력층을 붙여 미세 조정) | 된다(입력 → 출력) |
| 잘 맞는 다음 과제 | 생성 · 대화 · 예시 몇 개로 풀기 | 분류 · 추출형 질의응답 · 문장 표현 | 번역 · 요약 같은 입력 → 출력 변환 |
분석생성 · 대화 모델을 만들면 인과 LM, 분류 · 문장 표현이 목적이면 마스크 LM, 입력을 다른 글로 바꾸는 과제면 스팬 오염을 고른다. T5 비교에서 잡음 복원형 목표가 언어 모델 목표보다 나았지만 복원형끼리의 차이는 작아, 그 안에서는 출력 길이에 따른 계산 비용으로 고르라고 결론 냈다(Raffel 2019 3.3.5절).
7실무 진단 — 기반 모델이 기대보다 못할 때
분석말뭉치 → 예산 배분 → 학습률 일정 → 평가 순으로 좁힌다. 말뭉치 문제는 다시 학습해야 고쳐지므로 학습 전에 막는 것이 가장 싸고, 평가 점수 이상은 학습이 아니라 평가 셋 겹침 때문일 수 있다(Lee 2021 5.3절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 생성 글이 학습 문서를 길게 그대로 베낌 | 중복 문서 · 반복 구간 | 말뭉치 | 50토큰 이상 정확 일치 구간 수 | 중복 제거 뒤 암기 출력이 10분의 1로 줄어든 결과와 대조(Lee 2021 초록 · 4.1절) |
| 2 | 평가 점수가 비슷한 크기 모델보다 유독 높음 | 평가 셋 오염 | 말뭉치 · 평가 | 평가 문항 ↔ 학습 문서 근사 중복 | C4 검증 셋 4.6% 겹침 사례(Lee 2021 5.3절) · 겹친 문항을 빼고 다시 채점 |
| 3 | 같은 예산인데 최종 손실이 식 예측보다 높음 | 크기 · 토큰 배분 치우침 | 예산 배분 | D ÷ N · 식 10 예측값 | 사례 예산에서 D ÷ N 이 1.3배(4B)면 2.699 · 20배(1B)면 2.579(Hoffmann 2022 식 10 직접 계산) |
| 4 | 학습 끝 무렵 손실이 덜 내려가고 멈춤 | cosine 주기 > 실제 스텝 | 학습률 일정 | 설정한 주기 · 실제 스텝 수 | 주기가 스텝보다 25% 넘게 길면 성능 저하(Hoffmann 2022 D.1) |
| 5 | 계산량 예측과 실제 GPU 시간이 크게 어긋남 | N 에 임베딩 포함 · 토큰 수 셈 차이 | 예산 배분 | N 정의 · 토큰화기 어휘 · 실제 토큰 수 | 6N 의 N = 임베딩 제외 매개변수(Kaplan 2020 2.1절) · 토큰 수는 같은 토큰화기로 셈 |
1 · 2행은 학습 전에 말뭉치 대조로 끝나고, 3 · 5행은 계산 한 번으로 확인된다. 4행까지 와야 학습 설정을 바꿔 다시 돌리는 비용이 든다.
8시험 대비
시험에서는 사전 학습의 개념과 목표 함수를 묻는 정의 · 특징형, 사전 학습 · 미세 조정의 차이 또는 인과 LM · 마스크 LM 의 차이를 묻는 비교형이 나올 수 있다. 정의형은 «레이블이 텍스트 자체에서 나온다»를 첫 문장에 두고 C ≈ 6ND 와 계산 최적 배분을 숫자로 보이며, 비교형은 «가리는 위치 · 손실을 거는 토큰» 한 축으로 표를 세운다.
- 개요 — 정의(레이블 없는 말뭉치 · 목표 함수 · 기반 모델) · 사전 학습 → 지시 튜닝 · 미세 조정 · RLHF 흐름 · 등장(Dai · Le 2015 · BERT 2018)
- 구조 — 그림 3 여섯 단계(말뭉치 → 정제 · 중복 제거 → 토큰화 → 목표 함수 → 트랜스포머 → 기반 모델)
- 목표 함수 비교 — 인과 LM · 마스크 LM(15% · 80/10/10) · 스팬 오염(평균 길이 3) 표
- 계산 예산 — C ≈ 6ND · 그림 5 같은 예산의 손실 곡선(1B · 20.2B 토큰 · 약 20토큰/매개변수)
- 절차 — 그림 4 예산 → 배분 → 정제 → 학습률 일정 → 학습 → 손실 대조 → 넘김
- 데이터 품질과 한계 — 중복 제거(50토큰 · MinHash) · 평가 셋 오염(4.6%) · 계산 비용
꼭 쓸 키워드
자기 지도 학습인과 언어 모델마스크 언어 모델스팬 오염기반 모델계산 최적C ≈ 6ND중복 제거데이터 오염퍼플렉서티
다른 답안과 차이를 내는 한 가지 — 같은 계산량에서 모델 크기를 바꿔 손실을 직접 계산한 곡선(그림 5)으로 «크게 만들수록 좋다»가 아니라 «예산 안에서 크기와 토큰을 나눈다»를 숫자로 보인다.
9오해와 사실
- 오해사전 학습은 레이블이 없으니 비지도 학습이고 정답이 없다.사실정답은 있다 — 가린 토큰 자체가 정답이고 교차 엔트로피로 채점한다(Devlin 2018 3.1절). 그래서 자기 지도 학습이라고 부른다.
- 오해계산 예산이 같으면 모델이 클수록 기반 모델이 좋다.사실1.21×10²⁰ FLOPs 에서 4B 모델은 토큰이 5.0B 뿐이라 손실 2.699 로, 1B · 20.2B 토큰의 2.579 보다 나빴다(Hoffmann 2022 식 10 직접 계산).
- 오해웹 말뭉치는 클수록 좋으니 걸러 낼 필요가 없다.사실중복을 두면 출력의 1% 넘게가 학습 데이터 그대로였고, 걸러 낸 쪽이 더 적은 스텝으로 같거나 나은 정확도에 이르렀다(Lee 2021 초록).
10핵심 정리
| 구성 | 맡는 일 | 대표 값 | 잘못되면 | 근거 |
|---|---|---|---|---|
| 말뭉치 | 학습 예의 원천 | C4 약 750 GB | 다양성 부족 · 편향 | Raffel 2019 2.2절 |
| 중복 제거 | 암기 · 평가 겹침 막기 | 50토큰 · MinHash 5-gram · 0.8 | 베끼는 출력 · 부풀린 점수 | Lee 2021 4절 |
| 목표 함수 | 텍스트에서 정답 만들기 | 인과 · 마스크 15% · 스팬 평균 3 | 다음 과제와 맞지 않음 | Devlin 2018 · Raffel 2019 |
| 계산 예산 | 크기 · 토큰 묶기 | C ≈ 6ND · 1B ↔ 20.2B | 같은 돈으로 나쁜 손실 | Kaplan 2020 · Hoffmann 2022 |
| 학습률 일정 | 끝까지 안정 수렴 | cosine 10분의 1 · 주기 = 스텝 | 25% 넘게 길면 저하 | Hoffmann 2022 부록 B |
| 검증 손실 | 결과 판정 | 사례 예측 2.579 · 퍼플렉서티 13.2 | 예측과 어긋나면 배분 · 일정 점검 | Hoffmann 2022 식 10 |
| 다음 단계 | 과제 · 사람에 맞춤 | 지시 튜닝 · 미세 조정 · RLHF | 기반 모델만으로는 지시를 잘 따르지 않음 | 미세 조정 · RLHF 에서 다룸 |
11참고 문헌
- 먼저 볼 문헌
- ★ Training Compute-Optimal Large Language Models (Hoffmann et al. · NeurIPS 2022) — 같은 계산량에서 모델 크기와 토큰 수를 나누는 식 10 과 표 3 을 볼 때
- ★ Scaling Laws for Neural Language Models (Kaplan et al.) — 학습 계산량 C ≈ 6N(토큰당)의 정의와 N 의 범위를 볼 때
- ★ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al. · NAACL 2019) — 마스크 언어 모델의 15% 가림과 80 · 10 · 10 치환 규칙을 볼 때
- ★ Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (Raffel et al. · JMLR 21) — 목표 함수 비교와 스팬 오염 · C4 말뭉치를 볼 때
- ★ Deduplicating Training Data Makes Language Models Better (Lee et al. · ACL 2022) — 중복 제거 방법(정확 일치 50토큰 · MinHash)과 평가 셋 겹침을 볼 때
- 본문 근거
- Semi-supervised Sequence Learning (Dai · Le · NIPS 2015) — arXiv · 2015-11 ·
arxiv.org/abs/1511.01432· 확인 2026-11-12 - Why Does Unsupervised Pre-training Help Deep Learning? (Erhan et al. · JMLR 11(19) 625-660) — JMLR · 2010 ·
www.jmlr.org/papers/v11/erhan10a.html· 확인 2026-11-12