AI › 생성형 AI › LLM › 모델 구조

토큰화Tokenization

문자열을 모델 어휘 표에 있는 조각(토큰)으로 잘라 정수 번호(토큰 ID)의 열로 바꾸고, 그 열을 다시 원래 문자열로 되돌리는 처리다.

1요약

  1. 토큰화는 문자열을 어휘 표 번호인 토큰 ID 열로 바꾸는 LLM 의 첫 단계로, Sennrich 외(2016)가 BPE 를 서브워드 분할에 들여온 뒤 바이트 BPE(GPT-2 · 2019) · WordPiece(BERT) · Unigram(SentencePiece)이 표준이 됐고, 그 위에서 임베딩 · 문맥 창 · 토큰 요금이 돈다.
  2. 낱말 단위 어휘는 처음 보는 낱말을 미등록 기호 하나로 뭉개고 글자 단위는 열이 길어져, 서브워드가 그 사이를 맡는다 — 다만 한글 음절은 UTF-8 로 3바이트라(RFC 3629 3절) 같은 뜻의 한국어 문장이 영어보다 GPT-2 토크나이저에서 5.07배, cl100k_base 에서 2.38배의 토큰이 된다(Petrov 2023 부록 C).
  3. 「한국어가 비싸고 잘린다」는 글자 수가 아니라 그 모델 토크나이저의 토큰 수로 가른다 — 같은 뜻 문장 쌍의 토큰 비율이 크면 어휘 몫, 출력에 깨진 글자가 섞이면 바이트 경계, 특수 토큰이 여러 조각이 되면 등록 누락이다.

2등장 배경

신경망 번역 모델은 학습 때 정한 낱말 목록 밖의 낱말을 미등록 기호 하나로 바꿨다. 사람 이름 · 합성어 · 활용형은 번역할 수 없었고, 목록을 늘리면 출력 계산이 그만큼 커졌다.

Sennrich 외는 Gage(1994)의 압축 기법 BPE 를 글자 쌍 병합으로 바꿔 낱말을 서브워드로 자르고, WMT 15 영어→독일어 · 영어→러시아에서 사전 대체 방식보다 BLEU 를 1.1 · 1.3 올렸다(Sennrich 2016 3.2절 · 초록). Google 은 일본어 · 한국어 음성 검색의 WordPiece(Schuster 2012)를 번역에 넣어 어휘 8k ~ 32k 가 정확도와 속도를 함께 맞춘다고 보고했고(Wu 2016 4.1절), BERT 는 WordPiece 30,000개 어휘를 썼다(Devlin 2018 3절).

2018년 Kudo 는 큰 후보 어휘를 깎아 가는 Unigram 분할을, Kudo · Richardson 은 공백까지 기호 ▁(U+2581)로 다루는 SentencePiece 를 냈다(Kudo · Richardson 2018 3.1절). 2019년 GPT-2 는 13만 개가 넘는 유니코드 기호 대신 바이트 256개를 기본 어휘로 삼아 어휘 50,257개를 만들었다(Radford 2019 2.2 · 2.3절). 지금 LLM 토크나이저는 대부분 이 두 계열이고, 언어마다 토큰 수가 다른 문제는 남아 있다(Petrov 2023).

3쉽게 이해하기 — 인쇄소 식자공의 활자 상자

인쇄소 식자공 은재는 활자 상자 하나로 원고를 짠다. 상자에는 낱자 조각 칸 256개와, 지난 원고에서 자주 붙어 나온 조각을 미리 녹여 붙인 덩어리 활자 칸이 있다. 손님이 「토큰화기」 원고를 내밀면 은재는 덩어리 「토큰화」를 끼우고, 상자에 없는 「기」는 낱자 조각 셋으로 맞춘다. 판틀 한 장에는 활자를 정해진 개수만 넣을 수 있고, 손님은 활자 개수로 값을 치른다.

원고 「토큰화기」 넉 자 입력 문자열 식자공 은재 덩어리를 먼저, 없으면 조각 토크나이저 활자 상자 낱자 조각 칸 256개 + 덩어리 칸 어휘 표 · 칸 번호 = 토큰 ID 판틀 활자 개수에 한도 문맥 창 계산서 활자 개수만큼 값 토큰 요금 1 2 활자 꺼냄 3 4 개수 셈 글 · 문맥 자르는 규칙 토큰 · 어휘 사용자 몫

그림 1 · 원고는 상자에서 꺼낸 활자 몇 개로 판틀에 들어가고, 판틀 한도와 값은 글자 수가 아니라 활자 수로 정해진다.

원고 받기「토큰화기」 한 장
덩어리 찾기상자에 있는 큰 활자
조각 맞추기없는 글자는 낱자 셋
칸 번호 적기활자마다 번호 하나
판틀 채우기한도 안에서만
값 치르기활자 개수만큼
비유 — 조각을 녹여 덩어리로 실제 — UTF-8 바이트 · 병합 낱자 조각 = 바이트 덩어리 = 병합 토큰 token t o k e n token 74 6f 6b 65 6e 병합 4번 토큰 토 큰 토큰 ed 86 a0 · ed 81 b0 병합 5번 기 기 덩어리 없음 ea b8 b0 토큰 3개 그대로 바이트 = 16진수 두 자리 · 한글 음절 1개 = 3바이트 · 영문자 1개 = 1바이트(RFC 3629 3절) · 병합 횟수 = 그림 4 사례

그림 2 · 영문자는 조각 하나가 글자 하나지만 한글 음절은 조각 셋이라, 같은 두 음절을 덩어리로 만드는 데 붙이기가 더 들고 덩어리가 없으면 조각 셋이 그대로 남는다.

비유 속 역할실제 이름실제로 하는 일
원고입력 문자열사용자 질문 · 문서가 토크나이저에 들어온다
식자공 은재토크나이저정해진 규칙으로 문자열을 토큰으로 자른다
낱자 조각 칸 256개기본 어휘(바이트)어떤 글자든 바이트로는 늘 나타낼 수 있다
덩어리 활자병합 토큰학습 말뭉치에서 자주 붙어 나온 쌍을 하나로 묶은 어휘 항목
칸 번호토큰 ID어휘 표 순번 — 모델에는 이 번호만 들어간다
시작 · 끝 괘선특수 토큰문장 시작 · 구분 · 끝을 알리는 예약 번호
판틀문맥 창한 번에 넣을 수 있는 토큰 수의 한도
계산서토큰 요금입력 · 출력 토큰 수로 사용료를 센다

⚠ 비유가 맞지 않는 곳: 은재는 원고를 보고 그때그때 덩어리를 고르지만 BPE 는 학습 때 익힌 병합 순서를 그대로 되풀이할 뿐 뜻을 보지 않는다. 실제 덩어리는 글자 한가운데서 끊기기도 해, 어느 글자도 아닌 바이트 조각이 어휘 항목 하나를 차지한다.

4구조 — 토크나이저의 네 단계와 어휘 표

토크나이저는 정규화 → 사전 분할 → 서브워드 모델 → 후처리 순서로 문자열을 토큰 ID 열로 만들고, 디코드는 그 반대로 간다. 학습으로 얻는 것은 서브워드 모델과 어휘 표뿐이고 나머지는 정해 둔 규칙이다.

입력 글 규칙 단계 학습한 모델 토큰 · 어휘 규칙 학습으로 얻음 규칙 입력 문자열 토큰화기 정규화 NFKC 사전 분할 공백 경계 서브워드 모델 병합 20개 후처리 특수 토큰 추가 토큰 ID 열 273 · 234 184 · 176 어휘 표 276개 바이트 256 + 병합 20 조회 디코드 ID → 바이트 → UTF-8 글자

그림 3 · 학습으로 얻는 것은 서브워드 모델과 어휘 표 하나이고, 앞뒤 단계는 규칙이며, 디코드는 ID 를 바이트로 되돌려 글자로 읽는다.

요소역할값 · 근거
정규화모양이 같은 글자를 같은 코드로 맞춤기본 NFKC(Kudo · Richardson 2018 3.4절)
사전 분할병합이 넘지 않을 경계를 정함낱말 경계(Sennrich 2016 3.2절) · 문자 종류 경계(Radford 2019 2.2절) · SentencePiece 는 공백을 ▁ 로 바꿔 생략
서브워드 모델조각을 고르는 규칙BPE 병합 목록 · WordPiece 점수 · Unigram 확률
어휘 표조각 ↔ 정수 번호GPT-2 = 바이트 256 + 병합 50,000 + 특수 1 = 50,257(HF 토큰화 알고리즘)
특수 토큰입력 구조 표시 · 예약 번호[CLS] · [SEP](Devlin 2018 3절) · <unk> · <s> · </s> · <pad>(Kudo · Richardson 2018 3.3절)
디코드토큰 ID → 문자열바이트를 이어 UTF-8 로 읽음 · ▁ → 공백

🔑 모델이 받는 것은 글자가 아니라 어휘 표 번호다 — 같은 문장도 토크나이저가 바뀌면 다른 번호 열이 되므로, 토크나이저는 모델 가중치와 한 벌로 묶인다.

5동작 — 낱말 8개로 바이트 BPE 20번 학습

Python 3.14.0 표준 라이브러리로 Sennrich 2016 의 알고리즘 1 을 바이트 단위로 직접 구현해 돌린 사례다. 말뭉치는 설명용 가정 값(낱말 8개 · 빈도 합 45)이고, 빈도가 같은 쌍은 바이트 값이 작은 쪽을 먼저 묶는다.

  1. 말뭉치 「토큰 8 · 토큰화 6 · 토큰을 4 · 모델 7 · 모델이 5 · token 6 · tokens 4 · model 5」를 UTF-8 로 바꾸면 바이트 304개 = 토큰 304개다 — 한글 음절 11,172자(U+AC00 ~ U+D7A3 · Python unicodedata)는 모두 3바이트, 영문자는 1바이트다(RFC 3629 3절). 어휘는 바이트 256개에서 시작한다.
  2. 병합 1 · 2 가 18번씩 나온 쌍 81 b0(「큰」의 뒤 두 바이트)과 86 a0(「토」의 뒤 두 바이트)을 묶어 전체 토큰이 304 → 268 이 된다.
  3. 병합 3 은 「토」의 꼬리 86 a0 와 「큰」의 머리 ed 를 잇는 글자 경계 너머의 조각이고, 병합 5 에서 「토큰」 6바이트가 토큰 하나(ID 260)가 된다.
  4. 병합 6 ~ 10 이 같은 길로 「모델」을, 병합 11 ~ 14 가 「token」을 만든다 — 한글 두 음절은 병합 5번, 영문 다섯 글자는 4번이 든다.
  5. 병합 15 는 ec 9d 다 — 「을」(ec 9d 84)과 「이」(ec 9d b4)가 함께 가진 앞 두 바이트로, 어느 글자도 아닌 토큰이다.
  6. 병합 16 ~ 18 이 「화」의 바이트를 붙여 「토큰화」 9바이트를 토큰 하나(ID 273)로 묶는다.
  7. 병합 20번 뒤 어휘는 276개, 말뭉치 토큰은 77개(처음의 25%)다 — 「토큰을」은 토큰 · ec 9d · 84 세 토큰으로 남는다.
  8. 학습에 없던 「토큰화기」는 12바이트 → 토큰 4개(ID 273 · 234 · 184 · 176), 「tokenizer」는 9바이트 → 5개(token · i · z · e · r)다. 바이트가 기본 어휘라 미등록 토큰은 생기지 않는다(Radford 2019 2.2절).
「토큰화」 9바이트가 토큰 하나가 되기까지 토큰 수 토 큰 화 1 처음 ed 86 a0 ed 81 b0 ed 99 94 9 2 병합 1 · 81 b0 ed 86 a0 ed 81 b0 ed 99 94 8 병합 2 · 86 a0 ed 86 a0 ed 81 b0 ed 99 94 7 3 병합 3 ed 86 a0 ed 81 b0 ed 99 94 6 병합 4 ed 86 a0 ed 81 b0 ed 99 94 5 병합 5 토큰 · ID 260 ed 99 94 4 6 병합 16 · 99 94 토큰 · ID 260 ed 99 94 3 병합 17 토큰 + ed 99 94 2 병합 18 토큰화 · ID 273 1 바이트 1개 점선 = 글자가 아닌 병합 조각 글자로 읽히는 토큰 굵은 테두리 = 이번 병합

그림 4 · 병합 5번이 「토큰」을, 병합 18번이 「토큰화」를 토큰 하나로 묶는다 — 중간 조각 넷은 어느 글자도 아니다.

병합 수(어휘 크기) ↔ 말뭉치 전체 토큰 수 0 100 200 300 0 어휘 256 5 어휘 261 10 어휘 266 15 어휘 271 20 어휘 276 병합 수 토큰 처음 304 병합 5 · 「토큰」 214 병합 14 · 「token」 114 병합 20 · 77 병합 1 하나가 줄인 토큰 18개 병합 20 하나가 줄인 토큰 5개

그림 5 · 어휘가 항목 하나 늘 때마다 토큰 수는 줄지만 병합 하나의 효과는 18개에서 5개로 떨어진다 — 어휘 크기는 이 효과와 임베딩 표 크기를 맞바꿔 정한다.

🔑 바이트 BPE 의 병합은 글자 경계를 모른다 — 한글은 음절 하나를 되살리는 데만 병합 2번이 들고, 어휘에 없는 음절은 끝까지 바이트 3개로 남는다.

6비교 — BPE · WordPiece · Unigram

기준BPEWordPieceUnigram
어휘를 만드는 방향작은 어휘에서 병합으로 키움작은 어휘에서 병합으로 키움큰 후보 어휘를 깎아 줄임
고르는 기준가장 자주 나온 쌍(Sennrich 2016 3.2절)freq(ab) ÷ (freq(a) × freq(b)) 가 큰 쌍(HF 토큰화 알고리즘)지워도 가능도가 덜 떨어지는 조각부터 제거 · 상위 η%(예 80) 유지(Kudo 2018 3.2절)
분할 결과병합 순서대로 하나학습한 어휘로 하나확률이 가장 큰 분할(Viterbi) · 학습 때 여러 분할 표본
사람이 정하는 값병합 횟수어휘 크기어휘 크기 · η
대표 사용GPT-2 50,257(Radford 2019 2.3절)BERT 30,000(Devlin 2018 3절)SentencePiece 위의 T5 등(HF 토큰화 알고리즘)

분석여러 언어 · 코드가 섞인 생성 모델이면 미등록 토큰이 없는 바이트 BPE 를, 띄어쓰기가 없거나 불규칙한 언어를 원문 그대로 학습하려면 SentencePiece 의 Unigram 을 고른다. 근거는 바이트 BPE 의 기본 어휘 256(Radford 2019 2.2절)과 공백을 기호로 다뤄 원문을 그대로 되살리는 SentencePiece 설계(Kudo · Richardson 2018 3.1절)다.

7실무 진단 — 토큰 수 · 깨진 글자 · 특수 토큰 가르기

분석길이 · 비용 문제는 그 모델의 토크나이저로 토큰 수를 다시 세는 데서 시작하고, 출력 품질 문제는 토큰 ID 열을 한 개씩 디코드해 본다. 글자 수 · 다른 모델의 토큰 수로 낸 추정은 어휘가 달라 맞지 않기 때문이다(Petrov 2023 4.1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1같은 내용인데 한국어 요청이 영어보다 토큰 · 비용이 몇 배어휘에 한국어 조각이 적음서브워드 모델같은 뜻 문장 쌍의 토큰 수 비율GPT-2 5.07 · cl100k_base 2.38 수준이면 어휘 몫(Petrov 2023 부록 C)
2문맥 길이 초과 오류 · 입력 뒷부분 잘림글자 수로 길이를 어림함사전 분할 · 모델그 모델 토크나이저로 센 토큰 수한도는 토큰 수로 정해짐(Radford 2019 2.3절 1,024 토큰)
3스트리밍 출력에 � 가 섞임바이트 토큰을 하나씩 글자로 바꿈디코드토큰별 바이트 열 · 이어 붙인 뒤 디코드 결과첫 바이트가 0x80 ~ 0xBF(이어짐 바이트)면 음절 중간에서 끊김(RFC 3629 3절)
4미세 조정 뒤 구분 기호가 무시됨특수 토큰을 문자열로 넣음후처리토큰 ID 열에서 그 기호의 개수예약 번호 하나여야 정상(Kudo · Richardson 2018 3.3절)

먼저 토큰 수(1 · 2행)를 보고 다음에 디코드(3행)를 본다. 4행은 학습 데이터를 만든 코드와 추론 코드가 같은 토크나이저 설정을 쓰는지부터 대조한다.

8시험 대비

시험에서는 서브워드 토큰화의 필요성과 BPE 동작을 쓰는 정의 · 특징형, 그리고 BPE · WordPiece · Unigram 의 어휘 생성 방향과 기준을 가르는 비교형이 나올 수 있다. 한국어 토큰 수 문제를 UTF-8 바이트로 설명하면 답안이 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의(문자열 → 토큰 ID 열) · 낱말 · 글자 · 서브워드 단위 차이 · Sennrich 2016
  2. 구조 — 그림 3 네 단계(정규화 · 사전 분할 · 서브워드 모델 · 후처리) + 어휘 표 · 특수 토큰 표
  3. 동작 — 그림 4 바이트 BPE 계단(「토큰화」 9바이트 → 토큰 1개 · 병합 1 ~ 18)
  4. 어휘 크기 맞바꿈 — 그림 5 병합 수 ↔ 토큰 수(304 → 77 · 병합 하나의 효과 18 → 5)
  5. 방식 비교 — BPE · WordPiece · Unigram 표(방향 · 기준 · 결정성 · 대표 모델)
  6. 실무 영향 — 한국어 토큰 비율(5.07 · 2.38) · 문맥 길이 · 토큰 요금 · 디코드 깨짐

꼭 쓸 키워드
서브워드병합 규칙바이트 BPEWordPieceUnigramSentencePiece어휘 크기토큰 ID특수 토큰미등록 토큰

다른 답안과 차이를 내는 한 가지는 그림 4 의 바이트 계단이다 — 「한국어는 토큰이 많다」 한 줄 대신 음절 하나가 바이트 3개로 갈라지고 병합이 글자 경계를 넘는 모습을 실제 16진수로 보인다.

9오해와 사실

  • 오해토큰 하나는 낱말 하나다.
    사실사례에서 「tokenizer」는 토큰 5개, 「토큰을」은 토큰 · ec 9d · 84 3개이며, 바이트 BPE 의 토큰은 글자보다 작은 바이트 조각도 된다(Radford 2019 2.2절).
  • 오해한국어 토큰이 많은 것은 한국어 문장이 길기 때문이다.
    사실같은 FLORES-200 문장이 GPT-2 토크나이저에서 영어의 5.07배, cl100k_base 에서 2.38배로 — 문장은 같고 어휘만 다르다(Petrov 2023 부록 C).
  • 오해어휘는 클수록 좋다.
    사실사례에서 병합 하나가 줄인 토큰은 처음 18개에서 20번째 5개로 줄었고, 어휘 항목 하나마다 임베딩 표 한 행이 늘어 드문 조각은 학습 신호를 적게 받는다.

10핵심 정리

구분기본 단위어휘 크기 예미등록 처리대표 사용약점
낱말 단위공백 · 문장 부호로 나눈 낱말말뭉치 낱말 수만큼미등록 기호 하나서브워드 이전 번역 모델활용형마다 어휘 항목 · 새 낱말 처리 불가
글자 단위글자 하나글자 종류 수거의 없음글자 수준 모델열이 길어짐
바이트 BPE바이트 256 + 병합50,257없음GPT-2 계열한글 음절이 바이트로 갈라짐
WordPiece글자 + 점수 병합30,000미등록 기호BERT어휘 밖 글자는 미등록
Unigram큰 후보에서 깎은 조각8k(Kudo · Richardson 2018 실험)글자 조각은 늘 유지SentencePiece · T5어휘를 정하는 데 EM 반복이 듦(Kudo 2018 3.2절)
특수 토큰예약 번호모델마다—[CLS] · <s> · </s>등록하지 않으면 여러 조각으로 갈라짐

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Neural Machine Translation of Rare Words with Subword Units (Sennrich · Haddow · Birch · ACL 2016) — BPE 를 낱말 분할에 들여온 원래 알고리즘(3.2절 · 알고리즘 1)을 볼 때
    arXiv · ACL · 2015-08 · arxiv.org/abs/1508.07909 · 확인 2026-11-04
  3. ★ Language Models are Unsupervised Multitask Learners (Radford et al.) — 바이트 256개를 기본 어휘로 삼는 바이트 BPE 의 근거(2.2절)를 볼 때
    OpenAI · 2019-02 · cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf · 확인 2026-11-04
  4. ★ Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates (Kudo · ACL 2018) — Unigram 분할의 확률 식과 어휘를 깎는 절차(3.2절)를 볼 때
    arXiv · ACL · 2018-04 · arxiv.org/abs/1804.10959 · 확인 2026-11-04
  5. ★ SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing (Kudo · Richardson · EMNLP 2018) — 공백 기호 ▁ · 특수 기호 번호 · 정규화를 한 도구에서 볼 때
    arXiv · EMNLP · 2018-08 · arxiv.org/abs/1808.06226 · 확인 2026-11-04
  6. ★ Language Model Tokenizers Introduce Unfairness Between Languages (Petrov et al. · NeurIPS 2023) — 같은 뜻의 문장이 언어마다 몇 배의 토큰이 되는지 볼 때
    arXiv · NeurIPS · 2023-05 · arxiv.org/abs/2305.15425 · 확인 2026-11-04
  7. 본문 근거
  8. Japanese and Korean Voice Search (Schuster · Nakajima · ICASSP 2012 5149-5152) — IEEE · 2012-03 · research.google/pubs/japanese-and-korean-voice-search/ · 확인 2026-11-04
  9. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation (Wu et al.) — arXiv · 2016-09 · arxiv.org/abs/1609.08144 · 확인 2026-11-04
  10. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) — arXiv · NAACL 2019 · 2018-10 · arxiv.org/abs/1810.04805 · 확인 2026-11-04
  11. RFC 3629 UTF-8, a transformation format of ISO 10646 (STD 63) — IETF · 2003-11 · www.rfc-editor.org/rfc/rfc3629 · 확인 2026-11-04
  12. Transformers documentation - Tokenization algorithms — Hugging Face · 2026-11 · huggingface.co/docs/transformers/tokenizer_summary · 확인 2026-11-04
  13. Python 3.14 documentation - unicodedata (Unicode Database 16.0.0) — Python Software Foundation · 2026-11 · docs.python.org/3.14/library/unicodedata.html · 확인 2026-11-04
  14. Python 3.14 documentation - Built-in Types str.encode · bytes.decode — Python Software Foundation · 2026-11 · docs.python.org/3.14/library/stdtypes.html#str.encode · 확인 2026-11-04