임베딩Embedding
낱말 · 문장 · 상품 같은 이산 대상을 수십 ~ 수천 차원의 실수 벡터로 바꾸어, 뜻이 비슷한 대상끼리 벡터 공간에서 가깝게 놓이도록 학습한 표현이다.
1요약
- 임베딩은 어휘 수 V × 차원 d 의 조회 표나 문장 인코더의 출력으로 얻는 밀집 벡터로, word2vec(Mikolov 2013a) · GloVe(Pennington 2014)가 낱말 단위로, Sentence-BERT(Reimers 2019)가 문장 단위로 자리 잡게 했고 그 위에서 벡터 검색 · RAG · 군집 · 추천이 돈다.
- 원-핫 표현은 어떤 두 낱말의 코사인도 0이라 닮음을 담지 못하고, 문장 쌍을 BERT 에 함께 넣어 비교하면 문장 10,000개에서 가장 닮은 쌍을 찾는 데 약 65시간이 걸린다 — 문장마다 벡터를 한 번 만들어 두면 약 5초다(Reimers 2019 1절).
- 「닮은 것을 못 찾는다」는 척도와 벡터 길이로 가른다 — 자주 나온 대상만 위로 오면 정규화하지 않은 내적, 아무 쌍이나 유사도가 높으면 이방성, 모델을 바꾼 뒤 순위가 무너지면 서로 다른 공간의 벡터를 섞은 것이다.
2등장 배경
GloVe 실험처럼 어휘가 40만 개면(Pennington 2014 4.2절) 원-핫 벡터도 40만 차원이고, 모든 낱말이 서로 직교해 「고양이」와 「토끼」의 거리가 「고양이」와 「버스」의 거리와 같다. n-gram 언어 모델은 본 적 없는 낱말 조합에 확률을 주지 못했고, Bengio 외(2003)는 이 차원의 저주를 낱말마다 분산 표현을 함께 학습하는 신경망 언어 모델로 풀었다(Bengio 2003).
밑바탕은 Harris(1954)의 분포 가설 — 같은 문맥에 나오는 낱말은 뜻이 비슷하다 — 이다. Mikolov 외는 2013년 1월 CBOW · skip-gram 으로 16억 낱말에서 하루 안에 벡터를 학습하고 의미 8,869문항 · 문법 10,675문항의 유추 시험을 만들었으며(Mikolov 2013a 4.1절), 같은 해 10월 음성 표본으로 학습을 단순화했다(Mikolov 2013b 2.2절). 2014년 GloVe 는 전체 공동 출현 행렬에 벡터를 맞춰 유추 정확도 75.0% 를 냈다(Pennington 2014 표 2).
2019년 Sentence-BERT 가 문장 임베딩을, 2021년 SimCSE 가 대조 학습을 표준 방식으로 만들었다(Gao 2021). 2022년 MTEB 는 8개 과제 · 58개 데이터 세트 · 112개 언어로 임베딩 모델을 비교하는 기준이 됐고(Muennighoff 2022 1절), LLM 도 입력 토큰을 임베딩 벡터로 바꾸는 데서 시작한다.
3쉽게 이해하기 — 점심 좌석으로 배치도를 그리는 담임 선생님
새 학기 담임 수아 선생님은 한 달 동안 점심시간마다 누가 누구 옆에 앉는지 기록장에 적는다. 저녁에는 교실 배치도에 학생마다 핀을 꽂고, 옆자리에 앉았던 두 학생의 핀은 조금 당기고 제비뽑기로 고른 다른 학생의 핀과는 조금 민다. 한 달 뒤 배치도에서 지호와 민서의 핀이 바로 붙어 있다 — 둘은 한 번도 나란히 앉은 적이 없지만 늘 수빈 · 태오 옆에 앉았다. 전학생과 닮은 학생을 찾을 때 선생님은 교탁에서 본 핀의 방향을 견준다.
그림 1 · 옆자리 기록으로 핀을 당기고 밀면, 같은 친구 옆에 앉는 학생끼리 배치도에서 가까워진다.
그림 2 · 함께 나온 적이 없어도 같은 이웃을 두면 가까워진다 — 사례의 고양이와 토끼는 같은 문장에 0번 나왔지만 코사인 0.994 다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 점심 자리 기록장 | 말뭉치 | 학습에 쓰는 문장 모음(사례 800문장) |
| 가운데 학생과 양옆 | 문맥 창 | 중심 낱말 앞뒤 2낱말을 문맥으로 본다 |
| 짝의 핀 당기기 | 양성 쌍 갱신 | 실제 (중심, 문맥) 쌍의 내적을 키운다 |
| 제비뽑기 학생 밀기 | 음성 표본 | 무작위로 뽑은 낱말 5개와의 내적을 줄인다 |
| 핀 위치 | 임베딩 벡터 | 낱말마다 8개 실수(사례) · 수백 차원(실무) |
| 수아 선생님 | 학습 규칙 | 로지스틱 회귀 기울기로 조회 표를 고친다 |
| 교탁에서 본 방향 | 코사인 유사도 | 두 벡터의 각도로 닮음을 잰다 |
⚠ 비유가 맞지 않는 곳: 실제 배치도는 2차원이 아니라 수십 ~ 수천 차원이고, 축마다 「운동」 같은 이름이 붙지 않는다. 선생님은 학생의 성격을 알지만 모델은 이름표(토큰 ID)가 어느 문맥에 나왔는지만 본다.
4구조 — 조회 표 · 인코더 · 정규화 · 유사도 척도
낱말 임베딩은 V × d 행렬 한 장이고, 토큰 ID 가 행 번호라 꺼내는 데 계산이 없다. 문장 임베딩은 트랜스포머 인코더가 토큰마다 낸 벡터를 평균 풀링해 고정 길이 하나로 만든다(Reimers 2019 3절 · 기본 MEAN). 학습 목표는 표와 인코더를 고칠 때만 쓰이고, 쓸 때는 벡터와 척도만 남는다.
그림 3 · 낱말은 표에서 꺼내고 문장은 인코더 · 풀링으로 만들며, 둘 다 정규화 뒤 같은 척도로 비교한다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 토큰 ID | 정수 1개 | 어휘 안 위치 | 사례 어휘 15 · GloVe 40만(Pennington 2014 4.2절) |
| 조회 표 | V × d | ID → 행 벡터 | 사례 15 × 8 · word2vec 300차원(Mikolov 2013b 표 1) |
| 인코더 + 풀링 | 토큰 n개 → 1개 | 문장을 고정 길이로 | BERT-base 768차원(Devlin 2019 3절) · 평균 풀링(Reimers 2019 3절) |
| 임베딩 벡터 | 실수 d개 | 뜻은 방향에 · 길이에는 빈도 정보도 | Schakel 2015 초록 |
| L2 정규화 | 길이 1 | 내적을 코사인과 같게 | normalize_embeddings 기본 False(Sentence Transformers API) |
| 유사도 척도 | 실수 1개 | 가까움을 잼 | 코사인 −1 ~ 1 · SimCSE τ = 0.05 에서 코사인이 내적보다 나음(Gao 2021 부록 D) |
| 평가 | 과제별 점수 | 모델 고르기 | MTEB 8과제 · 58 데이터 세트(Muennighoff 2022 1절) |
색인을 만들고 근사 최근접 이웃을 찾는 일은 벡터 검색이 다루고, 임베딩은 그 앞단 — 벡터를 만들고 견주는 법 — 까지다.
🔑 임베딩의 뜻은 좌표값 하나하나가 아니라 다른 벡터와의 상대 위치에 있다 — 그래서 같은 모델 · 같은 판이 만든 벡터끼리만 견줄 수 있다.
5동작 — 낱말 15개의 skip-gram 학습
Python 3.14.0 · NumPy 2.4.3 · default_rng(0) 으로 음성 표본 skip-gram 을 직접 구현해 실행한 사례다. 말뭉치는 설명용 가정 문장이고, 값은 같은 코드로 다시 나온다.
- 말뭉치 — 「꼬리 고양이 털 오늘」처럼 문맥 낱말 둘 사이에 대상 낱말 하나를 둔 문장 800개 · 어휘 15개를 만든다. 강아지는 300번, 고양이 · 토끼 · 버스 · 트럭 · 택시는 100번씩 나오고, 대상 낱말 둘이 한 문장에 함께 나오는 일은 없다.
- 학습 쌍 — 앞뒤 2낱말 창으로 (중심, 문맥) 쌍 6,372개를 만든다. skip-gram 은 중심 낱말로 주변 낱말을 맞힌다(Mikolov 2013a 3.2절).
- 음성 표본 — 쌍마다 출현 횟수의 3/4제곱 비율로 낱말 k = 5개를 뽑는다(Mikolov 2013b 2.2절 · 작은 데이터 k 5 ~ 20). 첫 쌍 (강아지, 산책)의 음성은 꼬리 · 오늘 · 도로 · 오늘 · 트럭으로, 실제 문맥인 꼬리도 뽑힐 수 있다.
- 갱신 — 양성 1개는 σ(u · v) 를 1 쪽으로, 음성 5개는 0 쪽으로 로지스틱 회귀 기울기만큼 입력 벡터 v 와 출력 벡터 u 를 고친다. 학습률 0.025 에서 선형으로 줄이며 5 에포크 = 31,860번 갱신한다.
- 결과 — 입력 행렬 15 × 8 이 임베딩이다. 고양이 = (−1.33, −0.04, −1.59, −0.98, −0.27, 0.50, −0.33, −0.10).
- 코사인 — 고양이 · 토끼 0.994, 고양이 · 강아지 0.991, 버스 · 택시 0.999, 고양이 · 버스 −0.353 이다. 한 문장에 함께 나온 적 없는 고양이와 토끼가 문맥을 공유해 서로 가장 가깝다.
- 척도 비교 — 내적으로 고양이의 이웃을 고르면 강아지 8.105 > 토끼 5.627 로 1위가 바뀐다. 강아지의 길이는 3.431 이고 나머지 14개는 1.175 ~ 2.601 이다(
np.linalg.norm· NumPy linalg.norm).
그림 4 · 말뭉치 800문장이 15 × 8 표가 되면, 지도에서 동물과 탈것이 두 무리로 갈리고 같은 무리 안 코사인은 0.99 를 넘는다.
그림 5 · 내적은 방향과 길이를 함께 재서 길이 3.431 인 강아지를 1위로 올리고, 코사인 · 유클리드는 토끼를 고른다 — 정규화하면 세 척도의 순위가 같아진다.
🔑 척도는 모델이 학습한 척도를 따른다 — 코사인으로 학습한 모델의 벡터를 내적으로 견주면 길이가 긴 벡터가 순위를 차지한다.
6비교 — 임베딩을 만드는 네 방식
| 기준 | 원-핫 | 개수 기반(GloVe) | 예측 기반(word2vec) | 대조 학습(SBERT · SimCSE) |
|---|---|---|---|---|
| 학습 신호 | 없음 | 전체 공동 출현 횟수의 로그 | 창 안 (중심, 문맥) 쌍 + 음성 표본 | 같은 뜻 쌍은 당기고 배치 안 다른 문장은 밂(Gao 2021 2절) |
| 단위 | 낱말 | 낱말 | 낱말 | 문장 · 문단 |
| 차원 | 어휘 수 | 300(Pennington 2014 표 2) | 300(Mikolov 2013b 표 1) | 768(BERT-base) |
| 문맥에 따라 벡터가 바뀜 | 아님 | 아님 · 낱말당 하나 | 아님 · 낱말당 하나 | 문장 전체를 읽고 만듦 |
| 대표 수치 | 모든 쌍 코사인 0 | 유추 75.0% | 사례 같은 무리 코사인 0.99 이상 | STS 스피어만 81.6%(지도 SimCSE) |
| 어휘에 없는 낱말 | 벡터 없음 | 벡터 없음 | 벡터 없음(5회 미만 제외 · 69.2만 어휘) | 하위 낱말 토큰으로 나눠 처리 |
분석낱말 사이 관계를 보거나 작은 전용 말뭉치로 바로 학습하려면 word2vec · GloVe 를, 문장 · 문단을 검색하거나 RAG 에 넣으려면 대조 학습 문장 임베딩을, 범주가 수십 개뿐이고 닮음이 필요 없으면 원-핫을 고른다. 근거는 표의 「단위」 · 「문맥」 행이고, MTEB 는 모든 과제에서 앞서는 단일 방법이 없다고 보고하므로(Muennighoff 2022 초록) 쓸 과제의 점수로 고른다.
7실무 진단 — 닮은 것을 못 찾는 원인 가르기
분석모델 · 판 일치를 먼저, 다음에 척도 · 길이, 마지막에 표현 자체를 본다. 서로 다른 모델의 벡터가 섞이면 척도와 표현을 아무리 고쳐도 순위가 돌아오지 않기 때문이다(구조 절 표 「임베딩 벡터」 행).
| # | 증상 | 의심 원인 | 단계 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 모델을 바꾼 뒤 순위가 무너짐 | 옛 모델 벡터와 새 모델 벡터 혼용 | 운영 | 저장 메타데이터의 모델 이름 · 차원 · 같은 문장을 다시 임베딩해 저장 벡터와 코사인 | 같은 모델이면 1.0 에 가깝고, 아니면 혼용 |
| 2 | 자주 나온 문서 · 낱말만 상위 | 정규화하지 않은 내적 | 척도 | np. 분포 · 정규화 뒤 순위 비교 | 길이가 크게 갈리고 정규화 뒤 순위가 바뀌면 척도 문제(사례 3.431 ↔ 1.175 · Schakel 2015) |
| 3 | 아무 두 문장이나 코사인이 높음 | 이방성 — 벡터가 좁은 원뿔에 몰림 | 표현 | 무작위 1,000쌍 코사인 평균을 같은 뜻 쌍 평균과 비교 | 두 평균이 붙어 있으면 이방성 · 대조 학습 모델로 바꿈(Gao 2021 5절) |
| 4 | 새 제품명 · 신조어가 안 잡힘 | 어휘에 없는 낱말 | 표현 | 어휘 조회 · 토크나이저 분할 결과 | 낱말 임베딩은 학습 때 버린 낱말에 벡터가 없음(Mikolov 2013b 3절 5회 미만) |
라이브러리에 따라 기본값이 다르다 — Sentence Transformers 의 encode() 는 normalize_embeddings= 가 기본이고, 척도는 similarity_fn_name(cosine · dot · euclidean · manhattan)으로 정한다(Sentence Transformers API).
8시험 대비
www.q-net.or.kr시험에서는 임베딩의 정의 · 원-핫과의 차이 · 학습 방법을 쓰는 정의 · 특징형, 그리고 낱말 임베딩에서 문장 임베딩 · 대조 학습 · 차원 줄이기로 넘어온 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 분포 가설과 유사도 척도를 숫자로 함께 쓰면 정의 수준을 넘는다.
- 개요 — 정의 · 원-핫의 한계(모든 쌍 코사인 0 · 차원 = 어휘 수) · 분포 가설(Harris 1954)
- 구조 — 그림 3 구성도(조회 표 V × d · 인코더 + 평균 풀링 · L2 정규화 · 유사도 척도 · 평가)
- 학습 방법 — 그림 4 skip-gram 사례(창 2 · 음성 k = 5 · 3/4제곱 · 15 × 8) · GloVe 가중 최소제곱 · 대조 손실
- 유사도 척도 — 그림 5 내적 · 코사인 · 유클리드 비교(강아지 8.105 ↔ 토끼 0.994) · 정규화 뒤 일치
- 발전 동향 — 네 방식 비교표(낱말 → 문장 · 대조 학습) · MTEB 8과제 · 차원 줄이기(Kusupati 2022 최대 14배)
- 활용과 한계 — 검색 · RAG · 군집 · 추천 · 이방성 · 어휘 밖 낱말 · 모델 혼용 금지
꼭 쓸 키워드
분산 표현분포 가설skip-gram음성 표본GloVe코사인 유사도L2 정규화대조 학습이방성MTEB
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 질의 · 같은 후보에서 척도만 바꿔 1위가 갈리는 숫자다 — 「코사인 유사도를 쓴다」 한 줄 대신 왜 정규화가 필요한지를 보인다.
9오해와 사실
- 오해차원이 클수록 임베딩은 언제나 좋아진다.사실Mikolov 2013a 4.2절은 차원 · 데이터를 어느 지점 넘게 늘리면 개선이 줄어든다고 보고했고, Matryoshka 표현 학습은 ImageNet-1K 분류에서 같은 정확도를 최대 14배 작은 차원으로 냈다(Kusupati 2022 초록).
- 오해임베딩의 각 차원은 「동물다움」 같은 뜻 하나를 맡는다.사실학습 목표는 차원마다 이름을 정하지 않으며, word2vec 은 뜻을 벡터의 방향에 담는다(Schakel 2015 초록) — 사례 고양이의 8개 값도 하나씩 떼면 뜻이 없다.
- 오해임베딩은 낱말에만 쓰는 기술이다.사실Sentence-BERT 는 문장을(Reimers 2019), Matryoshka 표현 학습은 ResNet · ViT 이미지와 ALIGN 이미지 · 문장 짝을 같은 방식으로 벡터로 만든다(Kusupati 2022 초록).
10핵심 정리
| 구분 | 맡는 일 | 크기 · 값 | 학습 신호 · 규칙 | 확인 방법 | 흔한 실패 |
|---|---|---|---|---|---|
| 원-핫 | 기준 표현 | 차원 = 어휘 수 | 없음 | 모든 쌍 코사인 0 | 닮음 정보 없음 |
| skip-gram + 음성 표본 | 낱말 벡터 학습 | 300차원 · k 5 ~ 20 | 중심 → 문맥 맞히기 | 유추 시험 | 어휘 밖 낱말 |
| GloVe | 낱말 벡터 학습 | x_ | 공동 출현 로그에 맞춤 | 유추 75.0% | 행렬 구축 비용 |
| 대조 학습 | 문장 벡터 학습 | 온도 τ 0.05 | 같은 뜻 당기고 배치 안 음성 밂 | STS 스피어만 | 이방성 · 붕괴 |
| 임베딩 벡터 | 뜻을 위치로 | 실수 d개 | — | 길이 분포 | 다른 모델과 혼용 |
| 코사인 유사도 | 닮음 측정 | −1 ~ 1 | 길이를 뺀 각도 | 정규화 뒤 내적과 같음 | 길이 섞인 내적 |
| MTEB | 모델 고르기 | 8과제 · 58 데이터 세트 | — | 과제별 점수 | STS 점수만 보고 고름 |
11참고 문헌
- 먼저 볼 문헌
- ★ Efficient Estimation of Word Representations in Vector Space (Mikolov · Chen · Corrado · Dean) — CBOW · skip-gram 구조와 낱말 유추 시험을 처음 볼 때
- ★ Distributed Representations of Words and Phrases and their Compositionality (NIPS 2013) — 음성 표본 · 3/4제곱 잡음 분포 · 빈발어 줄이기를 식으로 볼 때
- ★ GloVe: Global Vectors for Word Representation (EMNLP 2014 1532-1543) — 공동 출현 행렬에 낱말 벡터를 맞추는 가중 최소제곱을 볼 때
- ★ Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019) — 문장 하나를 벡터 하나로 만드는 풀링과 코사인 비교를 볼 때
- ★ SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021) — 배치 안 음성으로 하는 대조 학습과 이방성을 볼 때
- 본문 근거
- A Neural Probabilistic Language Model (Journal of Machine Learning Research 3 1137-1155) — JMLR · 2003-02 ·
www.jmlr.org/papers/v3/bengio03a.html· 확인 2026-11-03 - Distributional Structure (Word 10(2-3) 146-162) — Taylor & Francis · 1954-08 ·
doi.org/10.1080/00437956.1954.11659520· 확인 2026-11-03 - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) — arXiv · 2018-10 ·
arxiv.org/abs/1810.04805· 확인 2026-11-03 - Representation Learning with Contrastive Predictive Coding (van den Oord · Li · Vinyals) — arXiv · 2018-07 ·
arxiv.org/abs/1807.03748· 확인 2026-11-03 - Measuring Word Significance using Distributed Representations of Words (Schakel · Wilson) — arXiv · 2015-08 ·
arxiv.org/abs/1508.02297· 확인 2026-11-03 - MTEB: Massive Text Embedding Benchmark (Muennighoff et al.) — arXiv · 2022-10 ·
arxiv.org/abs/2210.07316· 확인 2026-11-03 - Matryoshka Representation Learning (NeurIPS 2022 · Kusupati et al.) — arXiv · 2022-05 ·
arxiv.org/abs/2205.13147· 확인 2026-11-03 - Sentence Transformers documentation - SentenceTransformer (encode normalize_embeddings · truncate_dim · similarity_fn_name) — Sentence Transformers · 2026-11 ·
sbert.net/docs/package_reference/sentence_transformer/SentenceTransformer.html· 확인 2026-11-03 - NumPy v2.5 Manual - numpy.linalg.norm — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.norm.html· 확인 2026-11-03 - NumPy v2.5 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-03