문장 임베딩Sentence Embedding
문장 · 문단을 인코더에 넣어 토큰 벡터를 풀링한 고정 길이 벡터 하나로, 뜻이 같은 문장끼리 코사인 유사도가 높도록 대조 학습 등으로 맞춘 표현이다.
1요약
- 문장 임베딩은 문장 · 문단 하나를 인코더에 넣고 토큰 벡터를 풀링해 벡터 하나로 만든 것으로, Sentence-BERT(Reimers 2019)가 BERT 위에 풀링과 쌍둥이 학습을 얹어 자리 잡게 했고 그 위에서 의미 검색 · RAG 검색기 · 문장 군집 · 중복 질문 찾기가 돈다.
- 문장용으로 학습하지 않은 BERT 의 [CLS] 출력을 그대로 쓰면 STS 7개 과제 평균 스피어만 29.19 로 GloVe 낱말 벡터 평균(61.32)보다도 낮고, NLI 로 학습한 SBERT 는 74.89 다(Reimers 2019 표 1).
- 「검색이 엉뚱하다」는 어떤 쌍끼리 붙어 있는가로 가른다 — 관련 없는 쌍까지 붙어 있으면 이방성 · 학습 안 된 풀링, 같은 주제의 다른 뜻만 붙어 있으면 하드 네거티브 부족, 질문과 답 문단이 떨어져 있으면 접두 누락이다.
2등장 배경
낱말 벡터만 있던 때 두 문장을 견주는 길은 둘이었다. 낱말 벡터를 평균하면 「개가 사람을 물었다」와 「사람이 개를 물었다」가 같은 벡터가 되고, 두 문장을 BERT 에 함께 넣으면 정확하지만 문장 쌍마다 모델을 다시 돌려야 해 군집처럼 모든 쌍을 보는 일은 O(n²) 계산이 된다(Reimers 2019 2절).
2015년 Kiros 외의 skip-thought 는 소설 11,038권 · 문장 약 7,400만 개에서 앞뒤 문장을 맞히게 해 4,800차원 문장 벡터를 얻었다(Kiros 2015 표 1 · 3.1절). 2017년 InferSent 는 SNLI 의 문장 쌍 57만 개로 BiLSTM 최대 풀링 인코더를 지도 학습했고(Conneau 2017 3.2.2절), 같은 해 Henderson 외는 배치 안의 다른 답을 음성으로 쓰는 배치 음성 학습을 내놓았다(Henderson 2017 4.4절).
2019년 SBERT 가 사전 학습된 BERT 를 쌍둥이로 묶어 20분 미만의 미세 조정으로 문장 벡터를 만들었고(Reimers 2019 2절), 2021년 SimCSE 가 드롭아웃만으로 양성 쌍을 만들었으며(Gao 2021 3절), 2022년 E5 는 웹 문장 쌍 약 2억 7천만 개로 대조 사전 학습을 했다(Wang 2022 3절). 지금은 벡터 검색과 RAG 의 입력을 만드는 단계가 문장 임베딩이다.
3쉽게 이해하기 — 카드로 우산을 찾아 주는 분실물 센터
기차역 분실물 센터의 도윤 씨는 물건이 들어오면 꼬리표 문장(「검은 장우산, 나무 손잡이」)을 읽고 머리에 「물건」이라 적은 특징 카드 한 장으로 요약해 카드함에 꽂아 둔다. 신고가 오면 신고 문장도 머리에 「신고」라 적은 카드 한 장으로 요약하고, 카드함의 카드 3,000장과 겹쳐 보아 가장 많이 겹치는 물건부터 꺼낸다. 처음에는 모든 카드에 「분실물」 큰 도장을 찍어 어느 카드나 닮아 보였기에, 도장을 빼고 맞게 찾은 짝은 카드가 닮게 · 같은 날 들어온 다른 신고와는 다르게 쓰도록 연습했다. 물건을 하나씩 꺼내 신고인과 직접 대 보는 반장님이 더 정확하지만, 하루 신고마다 물건 3,000개를 다 대 볼 수는 없다.
그림 1 · 물건 꼬리표는 미리 카드 한 장으로, 신고는 올 때 카드 한 장으로 요약하고 카드끼리 겹쳐 보아 가장 닮은 물건을 꺼낸다.
그림 2 · 카드는 한 번 써 두면 몇 초에 3,000장과 견주지만, 직접 대 보기는 더 정확한 대신 신고마다 3,000번을 다시 한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 꼬리표 · 신고 문장 | 입력 문장 | 토큰 열로 나뉘어 인코더에 들어간다(사례 6토큰) |
| 도윤 씨의 요약 | 인코더 + 풀링 | 토큰 벡터 n개를 평균 등으로 1개로 줄인다 |
| 특징 카드 · 카드함 | 문장 벡터 · 색인 | 문서 벡터는 한 번만 계산해 저장한다 |
| 카드 머리 「물건 · 신고」 | 접두 passage: · query: | 질문과 문서를 다르게 표시한다(Wang 2022 4.1절) |
| 카드 겹쳐 보기 | 코사인 유사도 | 질의 벡터와 각도로 견준다 |
| 「분실물」 큰 도장 | 공통 성분 · 이방성 | 아무 쌍이나 코사인이 높아진다 |
| 짝은 닮게 · 다른 신고와는 다르게 | 대조 학습 · 배치 음성 | 양성 쌍은 당기고 배치 안 다른 문장은 민다 |
| 반장님이 직접 대 보기 | 교차 인코더 | 두 문장을 함께 읽어 쌍 점수를 낸다 |
⚠ 비유가 맞지 않는 곳: 도윤 씨는 「우산」 같은 낱말을 알아보지만, 인코더는 낱말 뜻을 따로 알지 못하고 학습한 쌍의 닮음만 벡터 방향에 담는다. 카드의 칸도 사람이 정한 항목이 아니라 이름 없는 수백 개 실수다.
4구조 — 바이 인코더 · 풀링 · 학습 머리
SBERT 는 같은 가중치의 BERT 둘에 문장 A · B 를 따로 넣고, 토큰 벡터를 [CLS] · 평균(MEAN) · 최대(MAX) 가운데 하나로 풀링해 u · v 를 만든다(기본 MEAN · Reimers 2019 3절). 학습 머리는 학습 때만 붙고, 쓸 때는 u · v 의 코사인만 남는다.
그림 3 · 같은 가중치 인코더가 두 문장을 따로 풀링해 u · v 를 만들고, 학습 머리는 학습 때만 붙으며 쓸 때는 코사인 하나만 남는다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 입력 문장 | 토큰 n개 | 인코더 입력 | 최대 길이를 넘는 토큰은 잘림(Sentence Transformers 임베딩 계산 문서) |
| 인코더 | 토큰마다 768차원 | 문맥을 읽은 토큰 벡터 | BERT-base(Devlin 2019) · 두 문장이 같은 가중치 |
| 풀링 | n개 → 1개 | 고정 길이로 줄임 | STSb 개발 세트 MEAN 87.44 · CLS 86.62 · MAX 69.92(Reimers 2019 표 6 · 회귀 학습) |
| 문장 벡터 | 실수 d개 | 문장 뜻을 방향에 | 미리 계산해 색인에 저장 |
| 분류 머리 | 3d → 레이블 3개 | NLI 쌍으로 학습 | (u, v, |u−v|) 가 가장 높음 · |u−v| 가 핵심(Reimers 2019 6절) |
| 대조 머리 | 배치 N × N | 짝은 당기고 나머지는 밂 | τ 0.05 = 라이브러리 scale 20(Sentence Transformers 손실 문서) |
| 접두 | 낱말 1개 | 질문 · 문서 구분 | query: · passage: · 학습 τ 0.01(Wang 2022 4.1절) |
학습 머리는 바뀌어도 추론은 언제나 문장 벡터 둘의 코사인이다. 그래서 문서 벡터를 한 번 만들어 두고 질의만 새로 인코딩하는 것이 바이 인코더의 값이다.
🔑 문장 임베딩의 품질은 인코더가 아니라 학습 신호가 정한다 — 같은 BERT 라도 풀링만 얹으면 STS 평균 54.81, NLI 쌍으로 쌍둥이 학습을 하면 74.89 다(Reimers 2019 표 1).
5동작 — 합성 문장 1,600개의 대조 학습
NumPy 로 평균 풀링 · 중심 빼기 · InfoNCE 대조 학습을 직접 구현해 돌린 사례다(직접 실행(합성 데이터) · default_rng(0) · NumPy default_rng 문서). 낱말 벡터와 문장은 설명용 가정 값이다.
- 어휘 — 주제 4개 × 낱말 12개 + 기능어 10개 = 58개, 낱말 벡터 32차원. 모든 낱말에 같은 공통 방향을 크게 넣어 낱말 쌍 코사인 평균이 0.829 다.
- 문장 쌍 — 뜻 800개마다 같은 주제 낱말 4개를 정하고 그중 3개 + 기능어 3개로 문장 A · B 를 만든다. 문장 1,600개 · 학습 700쌍 · 시험 100쌍이다.
- 평균 풀링 — 6토큰 평균을 문장 벡터로 쓰면 시험 쌍에서 무작위 쌍 코사인 0.960 · 같은 주제 다른 뜻 0.982 · 같은 뜻 0.988 이다. A 하나로 B 100개 중 짝을 1위로 찾는 비율(R@1)은 0.21 이다.
- 중심 빼기 — 학습 문장의 평균 벡터를 빼면 무작위 쌍은 −0.006 으로 떨어지고 같은 뜻은 0.704 로 남는다. 같은 주제 다른 뜻이 0.562 라 R@1 은 0.27 에 그친다.
- 대조 학습 — 32 × 32 선형 사상 W 를 배치 32 · τ 0.05 · 30 에포크 = 660번 갱신한다. 손실 ℓ = −log( e^(cos(hᵢ, hᵢ⁺)/τ) ÷ Σⱼ e^(cos(hᵢ, hⱼ⁺)/τ) )(Gao 2021 2절 식 1)은 마지막 배치 기준 0.915 → 0.325 다.
- 결과 — 같은 뜻 0.803 · 같은 주제 다른 뜻 0.529 · 무작위 −0.004 · R@1 0.39(우연 0.01)다. 시드 0 ~ 4 의 R@1 은 대조 학습 0.39 ~ 0.54, 평균 풀링 0.16 ~ 0.22 로 순서는 같다.
- 남은 실패 — 시험 질의 #700 의 1위는 같은 주제 다른 뜻 #776(0.877)이고 정답은 0.836 으로 2위다.
그림 4 · 중심 빼기는 무관한 쌍을 0 으로 떼어 놓고, 대조 학습은 같은 주제의 다른 뜻과 같은 뜻 사이 차이를 0.142 에서 0.274 로 넓힌다.
그림 5 · 배치 음성 중 학습을 움직이는 것은 정답과 닮은 음성뿐이다 — 코사인 차이 0.008 이 τ 0.05 에서 확률 0.538 : 0.462 로 갈리고, 다른 주제 셀은 확률 0.000 이라 기울기가 없다.
🔑 무관한 문장을 떼어 놓는 일은 중심 빼기로도 되지만, 같은 주제의 다른 뜻을 떼어 놓는 일은 그 쌍을 음성으로 본 학습만 한다.
6비교 — 문장 표현 방식 넷
| 기준 | 낱말 벡터 평균 | BERT [CLS] 그대로 | 바이 인코더(SBERT) | 교차 인코더 |
|---|---|---|---|---|
| 입력 | 문장 하나 | 문장 하나 | 문장 하나씩 따로 | 두 문장을 함께 |
| 결과 | 벡터 | 벡터 | 벡터 → 코사인 | 쌍 점수 하나 |
| 학습 없이 STS 7과제 평균 | 61.32(GloVe) | 29.19 | 74.89(NLI 학습) | 해당 없음 |
| STSb 시험(NLI + STSb 학습) | — | — | 85.35 | 88.33 |
| 문서를 미리 계산 | 됨 | 됨 | 됨 | 안 됨 · 질의마다 후보 수만큼 |
| 낱말 순서 | 잃음 | 담음 | 담음 | 담음 |
값은 Reimers 2019 표 1 · 표 2 다.
분석수백만 문서에서 후보를 찾는 1단계는 바이 인코더, 후보 수십 개의 순서를 다시 매기는 2단계는 교차 인코더, 학습 자원 없이 빠른 기준선만 필요하면 낱말 벡터 평균을 쓰고 [CLS] 그대로는 쓰지 않는다. 근거는 표의 「문서를 미리 계산」 행과 STS 두 행 — 교차 인코더가 STSb 에서 2.98점 앞서지만 질의마다 후보 수만큼 인코더를 돌려야 한다(Reimers 2019 2절).
7실무 진단 — 엉뚱한 문장이 올라오는 원인 가르기
분석관련 없는 쌍의 코사인부터 보고, 다음에 입력 접두 · 길이, 마지막에 학습 데이터의 음성을 본다. 무관한 쌍까지 붙어 있으면 표현 공간 자체가 문제라 접두나 음성을 고쳐도 순위가 돌아오지 않기 때문이다(Ethayarajh 2019 4.1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 관련 없는 문장끼리도 코사인이 0.9 를 넘음 | 문장용으로 학습하지 않은 출력 · 이방성 | 모델 | 임의로 짝지은 쌍과 같은 뜻 쌍의 코사인 평균 차이 | 사례 평균 풀링처럼 차이가 0.03 안팎이면 문장 임베딩 모델로 바꿈(Ethayarajh 2019 4.1절) |
| 2 | 짧은 질문에 비슷한 질문만 올라오고 답 문단은 밀림 | 비대칭 모델의 접두 누락 | 입력 | 색인 · 질의 코드의 접두 문자열 | 학습 때 쓴 query: · passage: 를 양쪽에 그대로(Wang 2022 4.1절) |
| 3 | 같은 주제의 다른 뜻 문장이 1위 | 하드 네거티브 부족 | 학습 | 학습 데이터가 (기준, 양성, 음성) 세 열인지 · 배치 크기 | 1위와 정답 차이가 사례 0.041 처럼 작으면 같은 주제 음성을 넣어 다시 학습(Sentence Transformers 손실 문서) |
| 4 | 긴 문서의 뒷부분 내용으로는 안 찾힘 | 최대 토큰 길이에서 잘림 | 입력 | model.max_seq_length · 문서 토큰 수 | 길이를 넘는 토큰은 버려지므로 나눠 넣음(Sentence Transformers 임베딩 계산 문서) |
라이브러리의 배치 음성 손실은 scale 20 · 코사인이 기본이고, 세 열 데이터의 음성 열을 그 질의의 하드 네거티브로 더한다(Sentence Transformers 손실 문서).
8시험 대비
시험에서는 문장 임베딩의 정의 · 풀링 · 학습 방법을 쓰는 정의 · 특징형, 그리고 바이 인코더와 교차 인코더 · 낱말 벡터 평균을 견주는 비교형이 나올 수 있다. 대조 손실 식 하나와 배치 행렬 그림을 함께 쓰면 「벡터로 바꾼다」 수준을 넘는다.
- 개요 — 정의 · 낱말 벡터 평균과 문장 쌍 BERT 의 한계(순서 손실 · O(n²)) · skip-thought → InferSent → SBERT 흐름
- 구조 — 그림 3 바이 인코더(가중치 공유 · 풀링 MEAN · CLS · MAX · 학습 머리 · 추론 코사인) · 풀링 비교 수치
- 학습 — InfoNCE 식 · τ 0.05 · 그림 5 배치 행렬(양성 · 하드 네거티브) · SimCSE 드롭아웃 양성 · E5 접두
- 사례 — 그림 4 평균 풀링 → 중심 빼기 → 대조 학습(차이 0.006 → 0.142 → 0.274 · R@1 0.21 → 0.39)
- 비교 — 네 방식 비교표(STS 29.19 · 61.32 · 74.89 · STSb 85.35 ↔ 88.33) · 2단계 검색 구성
- 활용과 한계 — 의미 검색 · RAG · 군집 · 이방성 · 길이 잘림 · 모델 혼용 금지
꼭 쓸 키워드
바이 인코더교차 인코더평균 풀링Sentence-BERT대조 학습InfoNCE배치 음성하드 네거티브이방성STS
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 배치 행렬에서 기울기가 닮은 음성에만 간다는 숫자다 — 「대조 학습을 쓴다」 한 줄 대신 왜 하드 네거티브가 필요한지를 보인다.
9오해와 사실
- 오해BERT 의 [CLS] 출력은 그대로 좋은 문장 임베딩이다.사실문장용 학습 없이 쓰면 STS 7과제 평균 29.19 로 GloVe 낱말 벡터 평균 61.32 보다 낮다(Reimers 2019 표 1).
- 오해비지도 대조 학습에는 낱말을 지우거나 바꾼 증강 문장이 필요하다.사실SimCSE 는 같은 문장을 드롭아웃 마스크만 달리해 두 번 넣었고, 낱말 하나를 지우는 증강도 드롭아웃보다 못했다 · 같은 마스크를 쓰면 STS-B 82.5 가 43.6 으로 떨어진다(Gao 2021 3절 표 3).
- 오해교차 인코더가 더 정확하니 검색 전체를 교차 인코더로 하면 된다.사실쌍 점수는 미리 계산할 수 없어 질의마다 후보 수만큼 인코더를 돌려야 하고, 군집처럼 모든 쌍을 보면 O(n²) 번이 된다(Reimers 2019 2절).
10핵심 정리
| 구분 | 맡는 일 | 크기 · 값 | 학습 신호 | 확인 방법 | 흔한 실패 |
|---|---|---|---|---|---|
| 평균 풀링 | 토큰 n개 → 1개 | SBERT 기본 | — | 풀링별 STSb 점수 | MAX 는 회귀 학습에서 69.92 |
| [[l1|[CLS] 그대로]] | 첫 토큰 출력 | STS 평균 29.19 | 없음 | 무작위 쌍 코사인 | 아무 쌍이나 닮음 |
| 바이 인코더 | 문장마다 벡터 | STSb 85.35 | NLI · 문장 쌍 | 코사인 순위 | 하드 네거티브 부족 |
| 대조 학습 | 짝은 당기고 나머지는 밂 | τ 0.05 · scale 20 | 배치 음성 | 배치 행렬 대각 | 배치 작음 · 쉬운 음성뿐 |
| 교차 인코더 | 쌍 점수 | STSb 88.33 | 문장 쌍 레이블 | 재순위 점수 | 미리 계산 불가 |
| 비대칭 접두 | 질문 · 문서 구분 | query: · passage: | 웹 문장 쌍 | 접두 문자열 | 한쪽만 붙임 |
| 이방성 | 표현 공간의 치우침 | 무작위 쌍 코사인 높음 | — | 무작위 ↔ 같은 뜻 차이 | 순위 변별력 없음 |
11참고 문헌
- 먼저 볼 문헌
- ★ Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks (EMNLP 2019 · Reimers · Gurevych) — 쌍둥이 구조 · 풀링 셋 · 교차 인코더와의 점수 차이를 표로 볼 때
- ★ SimCSE: Simple Contrastive Learning of Sentence Embeddings (EMNLP 2021 · Gao · Yao · Chen) — 배치 음성 대조 손실 식과 드롭아웃 양성 쌍을 볼 때
- ★ Text Embeddings by Weakly-Supervised Contrastive Pre-training (Wang et al.) — query · passage 접두로 질문과 문서를 나누는 비대칭 학습을 볼 때
- ★ How Contextual are Contextualized Word Representations? (EMNLP 2019 · Ethayarajh) — 인코더 출력이 좁은 원뿔에 몰리는 이방성을 볼 때
- ★ Sentence Transformers documentation - Losses (MultipleNegativesRankingLoss) — 배치 음성 손실의 scale 기본값과 하드 네거티브 입력을 볼 때
- 본문 근거
- Skip-Thought Vectors (NIPS 2015 · Kiros et al.) — arXiv · 2015-06 ·
arxiv.org/abs/1506.06726· 확인 2026-11-13 - Supervised Learning of Universal Sentence Representations from Natural Language Inference Data (EMNLP 2017 · Conneau et al.) — arXiv · 2017-05 ·
arxiv.org/abs/1705.02364· 확인 2026-11-13 - Efficient Natural Language Response Suggestion for Smart Reply (Henderson et al.) — arXiv · 2017-05 ·
arxiv.org/abs/1705.00652· 확인 2026-11-13 - SemEval-2017 Task 1: Semantic Textual Similarity Multilingual and Cross-lingual Focused Evaluation (Cer et al.) — arXiv · 2017-08 ·
arxiv.org/abs/1708.00055· 확인 2026-11-13 - BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) — arXiv · 2018-10 ·
arxiv.org/abs/1810.04805· 확인 2026-11-13 - Sentence Transformers documentation - Computing Embeddings (Input Sequence Length · max_seq_length) — Sentence Transformers · 2026-11 ·
sbert.net/examples/sentence_transformer/applications/computing-embeddings/README.html· 확인 2026-11-13 - NumPy Manual - Random Generator (default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13