AI › 인공지능 개요 › 딥러닝 › 임베딩

Word2Vec워드투벡 · Word2Vec

2013년 Mikolov 외가 낸 낱말 임베딩 학습 방법이다. 은닉 비선형 계층이 없는 얕은 신경망이 주변 낱말로 가운데 낱말을 맞히거나(CBOW) 가운데 낱말로 주변 낱말을 맞히며(skip-gram) 낱말마다 실수 벡터 하나를 얻는다.

1요약

  1. Word2Vec 은 입력 행렬 W(V × d)와 출력 행렬 W′ 두 장만 두는 로그 선형 모델로(Mikolov 2013a 3절), 예측 방향 두 가지(CBOW · skip-gram)와 출력 방식 두 가지(계층적 소프트맥스 · 음성 표본)를 골라 쓰며, 그 위에서 낱말 유추 · 이웃 낱말 검색 · fastText 의 서브워드 벡터가 돈다.
  2. 은닉 계층을 둔 신경망 언어 모델은 60억 낱말 학습에 14일 × 180코어가 들었는데, 은닉 계층을 뺀 CBOW 1000차원은 2일 × 140코어로 유추 정확도를 50.8% 에서 63.7% 로 올렸다(Mikolov 2013a 표 6).
  3. 「유추가 맞지 않는다」는 학습량 · 빈발어 · 출현 횟수로 가른다 — 에포크를 늘려 오르면 학습 부족, 빈발어 줄이기를 켜서 오르면 기능어가 문맥 창을 차지한 것, 특정 낱말이 든 문항만 끝까지 틀리면 그 낱말의 출현 횟수가 모자란 것이다.

2등장 배경

2000년대 신경망 언어 모델은 앞 낱말 N개를 투영한 뒤 은닉 계층 H개를 거쳐 어휘 V개 전체에 소프트맥스를 걸었다. 예제 하나의 계산량이 N × D × H + H × V 라(Mikolov 2013a 식 2), 어휘가 수십만이면 출력 계층 한 번에 수십만 번 곱셈이 들었다.

Morin · Bengio(2005)는 출력을 이진 트리로 나눠 학습 예제 하나의 시간을 462.6 ms 에서 1.79 ms 로, 약 258배 줄였다(Morin 2005 표 1). Mikolov 외는 2013년 1월 은닉 계층까지 빼고 허프만 트리 출력을 붙인 CBOW · skip-gram 을 냈고(Mikolov 2013a 3절), 같은 해 10월 음성 표본과 빈발어 줄이기를 더해 skip-gram 300차원 학습을 38분에서 14분으로 줄였다(Mikolov 2013b 표 1).

2014년 Levy · Goldberg 는 skip-gram 음성 표본이 낱말 · 문맥 PMI 행렬을 분해하는 것과 같다는 것을 보였고(Levy 2014 3절), 2016년 fastText 는 낱말을 글자 3 ~ 6-gram 의 합으로 바꿔 어휘 밖 낱말을 처리했다(Bojanowski 2017 3.2절). 문장 단위 표현은 문장 임베딩이 맡지만, Word2Vec 은 작은 전용 말뭉치의 기준선으로 남아 gensim 4.3.3 에서도 CBOW 가 기본(sg=0)이다(gensim Word2Vec 문서).

3쉽게 이해하기 — 퀴즈 동아리의 두 연습반

퀴즈 동아리장 하린은 신문 문장을 카드로 만들어 두 반에 나눠 준다. 「빈칸 반」은 가운데 낱말이 가려진 카드를 보고 가운데를 맞히고, 「이웃 반」은 가운데 낱말 하나만 보고 양옆 낱말을 맞힌다. 하린은 정답을 수천 개 중에서 고르게 하지 않고, 진짜 이웃 카드 1장과 섞은 가짜 카드 5장을 보이며 「이 카드가 진짜 이웃인가」만 묻는다. 「는 · 의」처럼 어느 문장에나 나오는 카드는 연습 전에 대부분 덜어 내고, 연습이 끝나면 반원들의 낱말 수첩에 적힌 메모 숫자끼리 「서울 − 한국 + 프랑스」를 계산해 「파리」를 찾는다.

문장 카드 더미 신문 문장 732장 1 지하철 서울 는 광장 말뭉치 · 문맥 창 흔한 카드 덜기 는 · 의 를 셋에 하나만 남김 빈발어 줄이기 어디에나 나오는 카드는 이웃 정보가 적다 2 빈칸 반 가린 가운데를 맞힘 지하철 [ ? ] 광장 CBOW 이웃 반 가운데로 양옆을 맞힘 [ ? ] 서울 [ ? ] skip-gram 이웃 반은 문제가 두 배 3 판정 책상 진짜 이웃 1장 가짜 5장 「진짜인가」만 예 · 아니요 음성 표본 k = 5 4 낱말 수첩 메모 = 입력 행렬 W 서울 − 한국 + 프랑스 낱말 유추 → 파리 데이터 · 문맥 학습 규칙 임베딩 벡터 판정 · 평가 가짜 카드

그림 1 · 흔한 카드를 덜고, 두 반이 서로 반대 방향으로 맞히고, 진짜 · 가짜만 가르면 낱말 수첩의 메모가 계산 가능한 벡터가 된다.

카드 만들기신문 문장을 한 장씩
흔한 카드 덜기는 · 의 를 대부분 뺌
빈칸 맞히기양옆을 보고 가운데
이웃 맞히기가운데를 보고 양옆
진짜 · 가짜1장과 5장을 가름
메모 계산서울 − 한국 + 프랑스
비유 — 같은 카드, 두 반의 문제 수 실제 — 한 위치의 갱신 수 빈칸 반 — 문제 1개 지하철 [ ? ] 광장 이웃 반 — 문제 2개 [ ? ] 서울 [ ? ] 이웃 반은 창이 넓을수록 문제가 는다 지하철 광장 평균 h 서울 예측 CBOW — 갱신 1번 서울 지하철 예측 광장 예측 skip-gram — 갱신 2번 사례 5 에포크 = CBOW 21,960 · skip-gram 51,224

그림 2 · 빈칸 반은 카드 한 장에 문제 하나, 이웃 반은 양옆 수만큼 문제를 푼다 — 사례에서 skip-gram 갱신은 CBOW 의 2.3배다.

비유 속 역할실제 이름실제로 하는 일
문장 카드 더미말뭉치학습 문장 모음(사례 732문장 · 토큰 4,392)
흔한 카드 덜기빈발어 줄이기빈도가 높은 낱말을 확률적으로 버린다(사례 「는」 남길 확률 0.346)
빈칸 반CBOW문맥 벡터를 평균해 가운데 낱말을 예측한다
이웃 반skip-gram가운데 낱말 벡터로 문맥 낱말마다 예측한다
진짜 1장 · 가짜 5장음성 표본정답 1개와 잡음 낱말 k 개만 이진 분류한다
낱말 수첩 메모입력 행렬 W학습 뒤 남기는 낱말 벡터(사례 33 × 10)
메모끼리 계산낱말 유추b − a + c 와 코사인이 가장 큰 낱말을 고른다

⚠ 비유가 맞지 않는 곳: 실제로는 두 반이 따로 있지 않고 한 모델이 둘 중 하나만 쓴다. 메모 숫자 하나하나에는 뜻이 없고, 반원은 카드 뜻을 알지만 모델은 어느 낱말 옆에 무엇이 나왔는지만 센다.

4구조 — 두 예측 방향 · 세 출력 방식 · 두 행렬

임베딩이 다룬 조회 표 V × d 가 Word2Vec 의 입력 행렬 W 이고, 학습에는 출력 쪽 행렬 W′ 가 하나 더 든다. CBOW 는 문맥 2C 개 행의 평균을, skip-gram 은 가운데 낱말 행 하나를 투영 벡터 h 로 쓰며, 둘 다 h 와 W′ 의 내적만 계산한다 — 비선형 은닉 계층이 없다(Mikolov 2013a 3.1절).

CBOW — 문맥 → 가운데 skip-gram — 가운데 → 문맥 w(t−2) w(t−1) w(t+1) w(t+2) W 행 평균 h · d개 w(t) 예측 위치마다 갱신 1번 · 계산량 N·D + D·log2 V w(t) W 행 하나 h · d개 w(t−2) w(t−1) w(t+1) w(t+2) 위치마다 갱신 2R번 · 계산량 C·(D + D·log2 V) 출력 방식 — h 와 내적하는 W′ 행의 수 전체 소프트맥스 W′ 행 V개 모두 계층적 소프트맥스 허프만 경로 노드 ≈ log2 V 음성 표본 정답 1 + 잡음 k 개 학습 뒤 남기는 것 = 입력 행렬 W(V × d) W′ 는 보통 버림 C = 최대 창 · R = 1 ~ C 에서 고른 실제 창 · N = 문맥 낱말 수 · D = 차원(Mikolov 2013a 식 4 · 5)

그림 3 · 두 예측 방향은 투영 벡터 h 를 만드는 법만 다르고, 출력 방식 셋은 h 와 내적할 W′ 행의 수만 다르다 — 학습 뒤에는 W 만 남긴다.

요소크기역할값 · 근거
입력 행렬 WV × d낱말 벡터(결과물)vector_size 100 기본(gensim Word2Vec 문서) · 논문 300 ~ 1000
투영 hdCBOW = 문맥 평균 · skip-gram = 한 행cbow_mean=1 기본
문맥 창 C최대 거리위치마다 1 ~ C 에서 실제 창 R 을 고름C = 5 예시(Mikolov 2013a 3.2절) · window 5 기본
계층적 소프트맥스내부 노드 V − 1뿌리에서 낱말까지 이진 선택의 곱경로 길이 평균 log V 이하(Mikolov 2013b 2.1절)
음성 표본출력 행 k + 1정답 · 잡음 이진 분류작은 데이터 k 5 ~ 20 · 큰 데이터 2 ~ 5(Mikolov 2013b 2.2절)
빈발어 줄이기낱말마다 확률흔한 낱말을 학습 전에 버림버릴 확률 1 − √(t / f) · t 약 10⁻⁵(Mikolov 2013b 식 5)
최소 출현 수정수드문 낱말을 어휘에서 뺌min_count 5 기본

🔑 CBOW 는 문맥을 평균해 위치마다 한 번, skip-gram 은 문맥 낱말마다 따로 갱신한다 — skip-gram 은 갱신이 창 크기만큼 늘어난 대신 드문 낱말과 의미 관계에 강하다(Mikolov 2013a 표 3 · 의미 유추 55% ↔ 24%).

5동작 — 나라 · 수도 7쌍 말뭉치의 유추 학습

직접 실행(합성 데이터) 사례다. CBOW · skip-gram · 음성 표본 · 빈발어 줄이기를 NumPy 로 구현하고 시드 0 으로 돌렸으며, 문장은 설명용 가정 문장이다(NumPy default_rng 문서).

  1. 말뭉치 — 나라 · 수도 7쌍마다 나라 문장(정부 · 국경 · 대통령 · 국민 · 헌법 가운데 둘 + 그 나라 말)과 수도 문장(지하철 · 시청 · 광장 · 구청 · 공항 가운데 둘 + 그 나라 말)을 60개씩, 포르투갈 · 리스본만 6개씩 만든다. 낱말 순서는 섞고 기능어 「는 · 의」를 아무 위치에 끼워 문장 732개 · 토큰 4,392 · 어휘 33 이 된다.
  2. 빈발어 줄이기 — 「는 · 의」는 각각 토큰의 16.7% 다. 작은 말뭉치라 t = 0.02 로 두면 남길 확률 √(t / f)는 「는」 0.346 · 「한국어」 0.856 · 「서울」 1.0 이고, 에포크마다 약 2,997 토큰이 남는다.
  3. 출력 비용 — 출현 횟수로 허프만 트리를 만들면 경로 길이는 「는」 3 · 「서울」 6 · 「리스본」 9 이고 빈도 가중 평균이 4.46 이다(log2 33 = 5.04). 이 사례는 음성 표본 k = 5 를 써서 갱신마다 내적 6번으로 끝낸다.
  4. 학습 — d = 10, 최대 창 2(위치마다 1 ~ 2), 학습률 skip-gram 0.025 · CBOW 0.05 에서 선형으로 줄인다(word2vec.c 원본 기본값). 5 에포크 갱신 수는 skip-gram 51,224 · CBOW 21,960 이고, 빈발어를 줄이면 30,251 · 15,052 로 준다.
  5. 5 에포크 유추 — 「한국 : 서울 = 프랑스 : ?」 꼴 42문항을 b − a + c 와 코사인이 가장 큰 낱말로 풀고 입력 세 낱말은 후보에서 뺀다(Mikolov 2013b 3절). skip-gram 19 → 빈발어 줄이기 28, CBOW 18 → 30 이고, 포르투갈 쌍이 든 12문항은 넷 다 0 이다(시드 0 ~ 4 범위 skip-gram 18 ~ 24 → 27 ~ 30 · CBOW 16 ~ 27 → 30 ~ 31).
  6. 20 에포크 유추 — skip-gram 은 빈발어 줄이기와 관계없이 42/42 로 포르투갈 12문항까지 맞히지만, 빈발어를 줄이지 않은 CBOW 는 36/42 이고 포르투갈 문항 6개를 「는」 · 「이탈리아어」 같은 낱말로 틀린다(시드 0 ~ 4 범위 36 ~ 38). 빈발어를 줄인 CBOW 는 41 ~ 42 다.
  7. 행렬 분해 확인 — 20 에포크 skip-gram 의 학습 쌍 204,873개 중 80번 이상 쓰인 (낱말, 문맥) 쌍 425개에서 내적 W · W′ 와 PMI − log 5 의 상관은 r = 0.76 이고, 5 에포크(20번 이상 · 426쌍)에서는 0.20 이다. 「서울 · 는」은 573번 쓰였지만 PMI − log 5 가 −1.06 으로 503번 쓰인 「서울 · 한국어」(0.17)보다 낮다.
1 말뭉치 문장 732 · 토큰 4,392 어휘 33 · 드문 쌍 1 2 빈발어 줄이기 는 · 의 남김 0.346 에포크당 약 2,997 3 출력 비용 허프만 평균 4.46 음성 표본 내적 6번 4 학습 d 10 · 창 1 ~ 2 k 5 · 33 × 10 표 유추 42문항 정답 수 — 막대 위 숫자 = 전체 · 아래 부분 = 드문 쌍 12문항 가운데 정답 42 21 0 5 5 에포크 6 20 에포크 19 28 18 30 0 0 0 0 42 42 36 42 12 12 6 12 SGSG+줄임 CBOWCBOW+줄임 SGSG+줄임 CBOWCBOW+줄임 흔한 6쌍 문항 정답 드문 쌍 문항 정답 드문 쌍 일부만 정답 SG = skip-gram · 줄임 = 빈발어 줄이기 · 시드 0

그림 4 · 같은 말뭉치에서 5 에포크는 빈발어 줄이기가 정답 수를 1.5배 안팎 올리고, 20 에포크는 빈발어를 그대로 둔 CBOW 만 드문 쌍 문항을 절반 틀린다.

5 에포크 r = 0.20 · 기울기 0.11 -2 0 2 -2 0 20 에포크 r = 0.76 · 기울기 0.58 -2 0 2 -2 0 서울 · 한국어 503회 · 0.17 서울 · 는 573회 · −1.06 가로 = PMI − log 5 가로 = PMI − log 5 (낱말, 문맥) 쌍 · 세로 = 내적 W · W′ · 둘 중 하나만 그림 점선 = 수렴 목표 y = x(Levy 2014)

그림 5 · skip-gram 음성 표본의 내적은 학습할수록 PMI − log k 에 붙는다 — 20 에포크 r = 0.76 이지만 기울기 0.58 로 점선 목표와는 아직 거리가 있다.

🔑 skip-gram 음성 표본은 내적 w · c 를 PMI(w, c) − log k 로 끌고 간다 — 함께 나온 «횟수»가 아니라 우연보다 얼마나 더 함께 나왔는지가 벡터에 남는다(Levy 2014 3.1절).

6비교 — 예측 방향 · 출력 방식 · 서브워드 확장

방식예측 · 출력강한 곳약한 곳대표 수치(근거)
CBOW + 음성 표본문맥 평균 → 가운데 1개학습 속도 · 문법 유추드문 낱말(사례 20 에포크 드문 쌍 6/12)783M 낱말 3 에포크 1일 · 문법 64%(Mikolov 2013a 표 5 · 표 3)
skip-gram + 음성 표본가운데 → 문맥마다 · 정답 1 + 잡음 k의미 유추 · 드문 낱말학습 시간(위치마다 2R 번)같은 조건 3일 · 의미 55%(표 5 · 표 3) · NEG-15 61%
skip-gram + 계층적 소프트맥스허프만 경로 이진 선택드문 낱말 · 확률값이 필요할 때빈발어 줄이기 없이는 유추가 낮음47% → 줄이기 뒤 55%(Mikolov 2013b 표 1)
fastText(서브워드 skip-gram)글자 3 ~ 6-gram 벡터 합 → 문맥마다활용형 · 어휘 밖 낱말n-gram 표 행 200만 개 메모리(K = 2 × 10⁶)영어 문법 유추 70.1 → 74.9%(Bojanowski 2017 표 2)

분석큰 말뭉치를 빨리 돌리고 문법 관계가 중요하면 CBOW, 데이터가 작거나 드문 낱말 · 의미 관계가 중요하면 skip-gram + 음성 표본, 조사 · 어미가 붙어 활용형이 많은 한국어 같은 언어나 신조어가 많으면 fastText 를 고른다. 근거는 표의 「대표 수치」 열과 사례 6단계(빈발어를 그대로 둔 CBOW 만 드문 쌍 6/12)이고, 문장 · 문단 단위 비교가 목적이면 낱말 방식이 아니라 문장 임베딩으로 넘어간다.

7실무 진단 — 유추 · 이웃 품질이 낮을 때 가르기

분석학습량을 먼저, 다음에 빈발어 줄이기, 마지막에 낱말별 출현 수를 본다. 사례에서 학습이 모자란 5 에포크는 어떤 설정도 드문 쌍을 0 개 맞혔고, 에포크를 늘리자 설정 차이가 드러났기 때문이다(동작 5 · 6단계).

#증상의심 원인단계확인 명령판정 기준(근거)
1유추 정확도가 낮고 에포크마다 손실이 아직 줄어듦학습 부족학습Word2Vec(..., compute_loss=True) · get_latest_training_loss()손실이 계속 줄면 에포크를 늘린다(사례 19 → 42)
2이웃 목록 위쪽에 기능어가 섞임빈발어 줄이기 꺼짐 · t 가 큼전처리sample 값 · wv.most_similar() 를 sample 0 과 1e-3 · 1e-5 로 비교줄이기 뒤 정확도가 오르면 이 원인(Mikolov 2013b 표 1 · 59 → 60%, 38 → 14분)
3특정 낱말이 든 문항만 틀림 · KeyError출현 횟수 부족 · min_count 미만어휘"리스본" in model.wv · model.wv.key_to_index5회 미만은 어휘에서 빠진다(min_count 5 기본 · gensim Word2Vec 문서)
4같은 설정으로 다시 돌렸는데 이웃 순위가 바뀜다중 스레드 순서 · 해시 무작위화재현workers=1 · seed · 환경 변수 PYTHONHASHSEED셋을 고정하면 같은 벡터(gensim Word2Vec 문서 seed 항목)

⚠ 빈발어 줄이기 식은 논문과 구현이 다르다. 논문은 버릴 확률 1 − √(t / f)(Mikolov 2013b 식 5)이고, word2vec.c 원본과 gensim 은 남길 확률 (√(f / s) + 1) × s / f · 기본 s = 10⁻³ 을 쓴다(word2vec.c 원본 · gensim word2vec.py 원본) — 빈도 0.01 인 낱말을 남길 확률이 논문 식(t = 10⁻⁵) 0.032, 구현 식 0.416 이므로 논문 값을 구현에 그대로 옮기지 않는다.

8시험 대비

시험에서는 CBOW · skip-gram 구조와 학습 가속 기법을 쓰는 정의 · 특징형, 그리고 CBOW 와 skip-gram 또는 계층적 소프트맥스와 음성 표본을 견주는 비교형이 나올 수 있다. 계산량 식과 PMI 해석을 함께 쓰면 「얕은 신경망」 한 줄을 넘는다.

답안 목차
  1. 개요 — 정의 · 로그 선형 모델(은닉 비선형 계층 없음) · 분포 가설 · 2013년 두 논문
  2. 구조 — 그림 3 구성도(CBOW · skip-gram 투영 · 출력 방식 셋 · W 와 W′) · 계산량 식 Q 두 개
  3. 학습 가속 — 계층적 소프트맥스(허프만 경로 ≈ log2 V) · 음성 표본(k 5 ~ 20) · 빈발어 줄이기(1 − √(t / f))
  4. 동작 사례 — 그림 4 나라 · 수도 유추(5 에포크 19 → 28 · 20 에포크 CBOW 드문 쌍 6/12)
  5. 원리 — 그림 5 내적 ↔ PMI − log k(Levy 2014) · 유추 b − a + c 와 코사인
  6. 비교 · 한계 — 네 방식 표 · 어휘 밖 낱말 → fastText · 문맥에 따라 벡터가 바뀌지 않음 → 문장 임베딩

꼭 쓸 키워드
CBOWskip-gram로그 선형 모델계층적 소프트맥스허프만 트리음성 표본빈발어 줄이기동적 문맥 창낱말 유추shifted PMI

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 음성 표본의 내적이 PMI − log k 로 수렴한다는 해석이다 — 「신경망이 뜻을 배운다」 대신 공동 출현 통계를 압축한다는 것을 숫자로 보인다.

9오해와 사실

  • 오해Word2Vec 은 여러 계층을 쌓은 심층 신경망이다.
    사실비선형 은닉 계층을 뺀 로그 선형 모델이고, 계산의 대부분은 출력 쪽 내적이다(Mikolov 2013a 3절 · 식 4 · 5).
  • 오해skip-gram 이 모든 면에서 CBOW 보다 낫다.
    사실같은 데이터 640차원에서 문법 유추는 CBOW 64% 가 skip-gram 59% 보다 높고, 783M 낱말 3 에포크 학습은 CBOW 1일 · skip-gram 3일이다(Mikolov 2013a 표 3 · 표 5).
  • 오해출력 행렬 W′ 는 쓸모없는 부산물이다.
    사실W 와 W′ 를 더한 w + c 는 1차 유사도 항을 더해 주며, Levy 외 실험에서 skip-gram 음성 표본의 최적 설정 8개 과제 중 4개가 w + c 였다(Levy 2015 3.3절 · 표 7).

10핵심 정리

구분맡는 일크기 · 값식 · 규칙구현 기본값흔한 실패
CBOW문맥 → 가운데위치마다 갱신 1번Q = N·D + D·log2 Vsg=0 · C 원본 학습률 0.05드문 낱말
skip-gram가운데 → 문맥마다위치마다 갱신 2R번Q = C·(D + D·log2 V)sg=1 · 학습률 0.025긴 학습 시간
계층적 소프트맥스V 개 출력을 이진 경로로경로 ≈ log2 V경로 노드 시그모이드의 곱hs=0(꺼짐)줄이기 없이 낮은 유추
음성 표본정답 · 잡음 이진 분류k + 1 내적잡음 분포 빈도^0.75negative=5 · ns_exponent=0.75k 를 데이터 크기와 무관하게 고정
빈발어 줄이기흔한 낱말 버림낱말마다 확률1 − √(t / f)sample=1e-3(구현 식)논문 t 를 구현에 그대로
문맥 창이웃 범위최대 C · 실제 1 ~ C가까운 낱말에 더 많은 표본window=5넓히면 학습 시간 증가
낱말 유추벡터 품질 평가의미 · 문법 문항b − a + c 와 코사인 최대 · 입력 제외wv.most_similar(positive, negative)동의어도 오답 처리
입력 행렬 W결과 낱말 벡터V × dPMI − log k 행렬의 분해vector_size=100다른 모델 벡터와 섞음

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Efficient Estimation of Word Representations in Vector Space (Mikolov · Chen · Corrado · Dean · ICLR 2013 Workshop) — CBOW · skip-gram 의 계산량 식과 두 구조의 유추 정확도 · 학습 시간 표를 볼 때
    arXiv · 2013-01 · arxiv.org/abs/1301.3781 · 확인 2026-11-13
  3. ★ Distributed Representations of Words and Phrases and their Compositionality (Mikolov et al. · NIPS 2013) — 계층적 소프트맥스 · 음성 표본 · 빈발어 줄이기 식과 그 효과 표를 볼 때
    arXiv · 2013-10 · arxiv.org/abs/1310.4546 · 확인 2026-11-13
  4. ★ Neural Word Embedding as Implicit Matrix Factorization (Levy · Goldberg · NIPS 2014) — skip-gram 음성 표본이 shifted PMI 행렬을 분해한다는 증명을 볼 때
    NeurIPS Proceedings · 2014-12 · papers.nips.cc/paper_files/paper/2014/hash/b78666971ceae55a8e87efb7cbfd9ad4-Abstract.html · 확인 2026-11-13
  5. ★ Enriching Word Vectors with Subword Information (Bojanowski · Grave · Joulin · Mikolov · TACL 5 2017) — 글자 n-gram 으로 어휘 밖 낱말 벡터를 만드는 후속 방법을 볼 때
    arXiv · 2016-07 · arxiv.org/abs/1607.04606 · 확인 2026-11-13
  6. ★ gensim 4.3.3 documentation - models.word2vec (Word2Vec class parameters) — 구현 기본값(sg · window · sample · negative)과 재현 조건을 확인할 때
    gensim · 2026-11 · radimrehurek.com/gensim/models/word2vec.html · 확인 2026-11-13
  7. 본문 근거
  8. Hierarchical Probabilistic Neural Network Language Model (Morin · Bengio · AISTATS 2005 PMLR R5 246-252) — PMLR · 2005-01 · proceedings.mlr.press/r5/morin05a.html · 확인 2026-11-13
  9. Improving Distributional Similarity with Lessons Learned from Word Embeddings (Levy · Goldberg · Dagan · TACL 3 211-225) — ACL Anthology · 2015 · aclanthology.org/Q15-1016/ · 확인 2026-11-13
  10. word2vec original C implementation - word2vec.c (tmikolov/word2vec) — GitHub · 2017-07 · github.com/tmikolov/word2vec/blob/master/word2vec.c · 확인 2026-11-13
  11. gensim source - gensim/models/word2vec.py (prepare_vocab downsampling) — GitHub · 2026-11 · github.com/piskvorky/gensim/blob/develop/gensim/models/word2vec.py · 확인 2026-11-13
  12. NumPy Manual - numpy.random.default_rng — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13