위치 인코딩Positional Encoding
순서를 모르는 셀프 어텐션에 토큰의 위치를 알려 주는 방법으로, 위치마다 정한 벡터를 임베딩에 더하거나 쿼리 · 키를 위치만큼 회전하거나 어텐션 점수에 거리별 값을 더한다.
1요약
- 위치 인코딩은 순환 없이 모든 토큰을 한꺼번에 보는 트랜스포머에 순서 신호를 넣는 장치로(Vaswani 외 2017 3.5절), 그 신호 위에서 셀프 어텐션이 «누가 몇 자리 떨어져 있는가»를 점수에 반영한다.
- 위치 신호가 없으면 세 토큰의 앞뒤를 바꿔도 같은 토큰의 출력이 부동소수 오차(5.6 × 10⁻¹⁷)만큼만 달라지고, 절대 위치 대신 상대 위치 표현을 쓰자 영어 → 독일어 big 모델 BLEU 가 27.9 에서 29.2 로 올랐다(Shaw 외 2018 표 1).
- 위치 관련 증상은 위치를 어디에 넣었는가로 가른다 — 임베딩에 더한 절대 방식은 표에 없는 번호에서, 쿼리 · 키를 돌리는 RoPE 는 학습 때 못 본 회전 각도에서, 점수에 벌점을 더하는 ALiBi 는 먼 토큰을 거의 읽지 않는 쪽에서 문제가 드러난다.
2등장 배경
어텐션의 가중합은 더하는 순서와 무관해서, 「개가 사람을 물었다」와 「사람이 개를 물었다」의 각 토큰이 같은 문맥 벡터를 받는다. 순환 신경망은 계산 순서 자체가 위치였지만 트랜스포머는 그 순서를 버렸으므로, 2017년 원 논문은 파장이 2π 에서 10000 · 2π 까지 등비로 늘어나는 사인 · 코사인 벡터를 입력 임베딩에 더했다(Vaswani 외 2017 3.5절). 학습형 위치 임베딩으로 바꿔도 BLEU 는 25.8 과 25.7 로 거의 같았고, 저자들은 학습 길이 밖으로 늘어날 여지를 이유로 사인 · 코사인을 골랐다(표 3 E행).
2018년 Shaw 외는 절대 번호 대신 두 토큰의 거리를 ±16 으로 잘라 거리마다 학습 벡터를 두는 상대 위치 표현을 냈고, 같은 해 BERT 는 위치 512개짜리 학습 표를 썼다(Devlin 외 2018). 2021년에는 쿼리 · 키를 위치에 비례한 각도로 돌리는 RoPE(Su 외 2021)와, 임베딩에 아무것도 더하지 않고 점수에 거리 비례 벌점만 주는 ALiBi(Press 외 2021)가 나왔다. ALiBi 를 쓴 13억 매개변수 모델은 학습 입력의 두 배 길이에서 사인 · 코사인 모델과 같은 퍼플렉시티를 내면서, 학습 속도는 11% 빠르고 메모리는 11% 적게 썼다(초록).
2023년 Kazemnejad 외는 위치 인코딩을 아예 빼고 인과 마스크만 둔 디코더(NoPE)가 길이 일반화 과제에서 ALiBi · RoPE · 절대 방식보다 낫다고 보고해(초록), 지금은 «어떤 위치 신호를 어디에 넣는가»가 모델마다 고르는 설계 항목이 됐다. 학습 길이보다 긴 입력으로 창을 늘리는 위치 보간(Chen 외 2023)은 컨텍스트 윈도우가 다룬다.
3쉽게 이해하기 — 바늘 속도가 다른 시계
긴 줄에 선 사람들이 저마다 바늘 넷 달린 시계를 받는다. 줄의 n번째 사람 시계는 바늘마다 정해진 속도로 n칸만큼 돌아가 있다 — 가장 빠른 바늘은 바로 옆 사람과도 각도가 크게 다르고, 가장 느린 바늘은 멀리 떨어진 사람끼리만 차이가 난다. 두 사람이 시계를 맞대면 바늘 각도의 차이만으로 몇 자리 떨어졌는지 안다. 줄 앞쪽에 서 있든 뒤쪽에 서 있든, 세 자리 차이는 언제나 같은 각도 차이다.
그림 1 · 사람마다 자리만큼 돌아간 시계를 받고, 두 시계를 맞대 바늘 각도 차이로 몇 자리 떨어졌는지 읽는다.
그림 2 · 자리 2 · 5 쌍과 자리 12 · 15 쌍은 바늘 각도가 달라도 각도 차이가 같아, 회전 방식에서는 두 쌍의 점수가 같다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 줄 선 사람 | 토큰 벡터 | 같은 낱말이면 어느 자리에 있든 같은 벡터로 들어온다 |
| 자리 번호 | 위치 pos | 0 부터 하나씩 붙는 정수 |
| 바늘 넷 시계 | 위치 신호(사인 · 코사인 · 회전) | 위치마다 정해진 값으로 벡터를 바꾼다 |
| 바늘 속도 | 차원별 주파수 ω_i | 앞 차원은 빠르게, 뒤 차원은 느리게 돈다(파장 2π ~ 10000 · 2π) |
| 시계 맞대기 | 쿼리 · 키 내적 | 두 토큰의 점수를 계산한다 |
| 각도 차이 | 상대 위치 n − m | 점수가 떨어진 거리를 반영한다 |
| 처음 보는 바늘 각도 | 학습 길이 밖 위치 | 학습 때 본 적 없는 값이 들어와 출력이 흔들린다 |
⚠ 비유가 맞지 않는 곳: 실제 바늘은 넷이 아니라 차원 쌍 수(d / 2)만큼이고, 사인 · 코사인 절대 방식은 시계를 사람 벡터에 «더해» 내용과 위치가 섞이므로 RoPE 처럼 각도 차이만 깔끔하게 남지는 않는다. ALiBi 는 시계 없이 «멀수록 덜 듣기» 규칙만 둔다.
4구조 — 위치 신호가 들어가는 세 지점
위치 신호를 넣는 곳은 어텐션 계산 순서를 따라 세 군데다 — 투영 전 임베딩에 더하기(A), 투영 뒤 쿼리 · 키 회전(B), 내적 뒤 점수에 편향 더하기(C). 어느 지점에 넣느냐가 점수에 절대 위치가 남는지, 상대 거리만 남는지를 정한다.
그림 3 · 위치는 임베딩에 더하거나(A), 쿼리 · 키를 돌리거나(B), 점수에 거리 편향을 더해(C) 들어가며, B · C 는 점수에 상대 거리만 남긴다.
| 요소 | 크기 · 값 | 역할 | 근거 |
|---|---|---|---|
| 사인 · 코사인 표 | 짝수 차원 sin(pos / 10000^(2i/d)) · 홀수 cos | 위치마다 고정 벡터 · 매개변수 없음 | Vaswani 외 2017 3.5절 |
| 학습형 위치 표 | 최대 위치 × d_ | 위치마다 학습한 벡터 | 표 3 E행 · Devlin 외 2018 |
| 회전 행렬 R_ | 차원 쌍 d / 2개 · 각도 m · θ_i | 쿼리 · 키를 돌려 내적에 거리만 남김 | Su 외 2021 |
| 상대 위치 벡터 | 2k + 1개 · base 모델 k = 16 | 거리 clip(n − m, k) 별 벡터를 키에 더함 | Shaw 외 2018 3.2 · 4.1절 |
| ALiBi 기울기 | 헤드 8개 = 1/2, 1/4, …, 1/256 | 점수에 −기울기 × 거리 · 학습 안 함 | Press 외 2021 3절 |
| 인과 마스크(NoPE) | 추가 매개변수 0 | 앞 토큰 수가 위치 단서 | Kazemnejad 외 2023 |
🔑 위치를 임베딩에 더하면 «어디에 있는가»가 점수까지 따라가고, 쿼리 · 키를 돌리거나 점수에 편향을 더하면 «얼마나 떨어졌는가»만 남는다 — 방식의 차이는 신호의 모양이 아니라 들어가는 지점에서 난다.
5동작 — 같은 두 벡터를 위치만 옮겨 잰 점수
8차원 쿼리 q 와 키 k 를 고정하고 두 토큰의 위치만 바꿔 가며 방식별 점수를 재는 사례다. NumPy default_rng(0) 으로 뽑은 값이고 투영 행렬은 생략했다(직접 실행 · 합성 데이터 · NumPy standard_normal 문서).
- 위치 신호 없이 내적을 구하면 q · k = −1.458 이다 — 두 토큰이 어디에 있든 이 값 하나다.
- 세 토큰의 첫째 · 둘째를 맞바꿔 셀프 어텐션을 돌리면 셋째 토큰 출력의 차이가 5.6 × 10⁻¹⁷ 로 사실상 0 이다. 사인 · 코사인 PE 를 더하면 같은 차이가 0.129 로 벌어진다.
- 절대 방식 점수 (q + PE(m)) · (k + PE(n)) 를 거리 3 인 세 쌍에서 잰다 — 위치 (2, 5) 는 0.838, (12, 15) 는 0.078, (40, 43) 은 −0.314 다.
- 같은 세 쌍에 RoPE 를 쓴다 — 차원 쌍 넷의 θ = 1 · 0.1 · 0.01 · 0.001 로 q 를 m · θ, k 를 n · θ 만큼 돌리면 세 쌍 모두 −1.608 이다(소수 6자리까지 같음).
- RoPE 에서 거리만 1 로 바꾼 (2, 3) 쌍은 −1.293 이 된다 — 점수를 바꾸는 것은 거리뿐이다.
- ALiBi 는 1단계 점수 −1.458 에 −기울기 × 3 을 더한다 — 헤드 1 은 −1.5, 헤드 8 은 −0.0117 을 더해, 헤드마다 먼 토큰을 깎는 세기가 128배 다르다(Press 외 2021 3절).
그림 4 · 거리가 3 으로 같아도 절대 방식 점수는 위치마다 0.838 · 0.078 · −0.314 로 바뀌고, RoPE 점수는 세 쌍 모두 −1.608 이다.
절대 방식 점수가 위치마다 흔들리는 까닭은 식을 펼치면 보인다 — (q + p_m) · (k + p_n) = q · k + q · p_n + p_m · k + p_m · p_n 이다. 마지막 항 p_m · p_n 은 거리에만 달리지만(아래 그림 5), 가운데 두 교차 항은 내용 벡터와 절대 위치를 함께 끌고 들어온다.
그림 5 · 사인 · 코사인 위치 벡터끼리의 내적은 출발 위치 100 과 500 에서 같은 곡선을 그려, 위치끼리의 관계는 거리 k 에만 달린다.
🔑 사인 · 코사인끼리는 이미 거리만 아는데, 내용 벡터에 «더하는» 순간 교차 항이 절대 위치를 다시 넣는다 — RoPE 는 더하지 않고 돌려서 교차 항 자체를 없앴다.
6비교 — 사인 · 학습 · 상대 편향 · RoPE · NoPE
| 기준 | 사인 · 코사인 절대 | 학습형 절대 | 상대 편향(Shaw · ALiBi) | RoPE | NoPE |
|---|---|---|---|---|---|
| 점수에 남는 위치 | 절대 + 거리(교차 항) | 절대 | 거리만 | 거리만 | 마스크로 간접 |
| 추가 매개변수 | 0 | 최대 위치 × d | Shaw (2k + 1) × d_ | 0 | 0 |
| 학습 길이 밖 위치 | 값은 계산되나 처음 보는 조합 | 표에 행이 없음 | Shaw 거리 k 넘으면 같은 벡터 · ALiBi 벌점만 커짐 | 처음 보는 각도 | 위치 값 자체가 없음 |
| 공개 결과 | 학습형과 BLEU 25.8 ↔ 25.7 | 같은 실험 | Shaw big EN-DE +1.3 BLEU · ALiBi 1,024 학습 → 2,048 | 긴 문서 분류에서 견준 방식보다 나음 | 길이 일반화 과제에서 위 방식들보다 나음 |
| 근거 | Vaswani 외 2017 표 3 | 같은 표 E행 | Shaw 외 2018 표 1 · Press 외 2021 | Su 외 2021 초록 | Kazemnejad 외 2023 초록 |
분석입력이 학습 길이 안에서만 쓰이는 인코더 분류 모델은 학습형 절대 표로 충분하고, 생성 모델처럼 길이가 늘어나는 쓰임은 거리만 남기는 RoPE · ALiBi 를 고른다. 근거는 표의 「학습 길이 밖」 행 — 학습형 표는 행이 없어 늘릴 수 없고, ALiBi 는 1,024 학습으로 2,048 을 처리했다(Press 외 2021 초록).
7실무 진단 — 위치 신호의 지점별 원인 가르기
분석먼저 위치 번호가 맞게 들어가는지(설정 · 생성 코드)를 보고, 그다음 방식의 길이 한계를 본다. 번호 오류는 입력 하나로 바로 재현되지만 길이 한계는 길이별 평가를 따로 돌려야 하기 때문이다(아래 표 1 · 2행 ↔ 3 · 4행).
| # | 증상 | 의심 원인 | 위치 신호 지점 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 앞뒤 낱말을 맞바꾼 문장에 같은 답 | 위치 신호를 넣는 단계가 빠짐 | A · B · C 전부 | 순서만 바꾼 두 입력의 같은 토큰 출력 차 | 차가 부동소수 오차 수준이면 누락(위 2단계 · 5.6 × 10⁻¹⁷) |
| 2 | 캐시를 쓰는 생성에서 둘째 토큰부터 품질 급락 | 생성 단계의 위치 번호가 0 부터 다시 붙음 | A 또는 B | 단계 t 의 위치 번호 | 위치 = 이미 넣은 토큰 수 + t 가 아니면 번호 오류 |
| 3 | 최대 길이 근처 입력에서 색인 오류 | 학습형 위치 표의 행 부족 | A | 표 행 수 ↔ 입력 토큰 수 | 행 수를 넘으면 그 위치 벡터가 없음(BERT 512 · Devlin 외 2018) |
| 4 | 학습 길이를 넘는 입력에서 출력 붕괴 | 처음 보는 회전 각도 | B | 길이별 손실 | 학습 길이 뒤에서만 오르면 외삽 한계 → 컨텍스트 윈도우의 위치 보간(Chen 외 2023) |
| 5 | 긴 문서 앞부분 내용을 답에 못 씀 | 큰 기울기 헤드의 거리 벌점 | C | 헤드별 기울기 · 거리별 가중치 합 | 기울기 1/2 헤드는 거리 20 에서 점수 −10 · 먼 토큰 가중치가 0 에 가까움(Press 외 2021 3절) |
1 · 2행은 입력 하나와 위치 번호 출력으로 끝나고, 3행은 설정 확인이다. 4 · 5행은 길이를 바꿔 가며 평가해야 하므로 마지막에 본다.
8시험 대비
시험에서는 위치 인코딩이 왜 필요하고 사인 · 코사인 식이 무엇인지를 묻는 정의 · 특징형과, 절대 · 상대 · 회전 방식의 차이를 묻는 비교형이 나올 수 있다. 정의형이면 순서 불변 문제 → 식 → 그림 5 의 거리 성질 순으로, 비교형이면 그림 3 의 세 지점을 뼈대로 방식별 표를 붙인다.
- 개요 — 정의(셀프 어텐션에 순서 신호) · 필요성(가중합은 순서와 무관 · 순서 바꿔도 같은 출력)
- 사인 · 코사인 식 — PE(pos, 2i) = sin(pos / 10000^(2i/d)) · 파장 2π ~ 10000 · 2π · 그림 5 거리 k 에만 달리는 내적
- 들어가는 지점 — 그림 3 A 임베딩 더하기 · B 쿼리 · 키 회전 · C 점수 편향 + 요소 표
- 방식 비교 — 학습형 · Shaw 상대(k = 16) · RoPE · ALiBi(기울기 1/2 ~ 1/256) · NoPE 표
- 사례 — 그림 4 거리 3 세 쌍의 절대 점수 변화 ↔ RoPE −1.608 일정
- 한계와 발전 — 학습 길이 밖 위치 · 교차 항 · 위치 보간으로 창 확장
꼭 쓸 키워드
위치 인코딩사인코사인학습형 위치 임베딩절대 위치상대 위치RoPEALiBiNoPE순서 불변길이 외삽
다른 답안과 차이를 내는 한 가지는 교차 항 식이다 — (q + p_m) · (k + p_n) 을 네 항으로 펼쳐 어느 항이 절대 위치를 남기는지 짚고, 그림 4 의 숫자로 RoPE 가 그 항을 없앴음을 보이면 «왜 회전인가»가 한 장으로 설명된다.
9오해와 사실
- 오해사인 · 코사인 위치 인코딩은 학습형보다 번역 품질이 확실히 높다.사실원 논문에서 두 방식의 BLEU 는 25.8 과 25.7 로 거의 같았고, 사인 · 코사인을 고른 이유는 학습 길이 밖으로 늘릴 여지였다(Vaswani 외 2017 3.5절 · 표 3 E행).
- 오해RoPE 는 임베딩에 회전 벡터를 더하는 절대 위치 인코딩의 한 종류다.사실RoPE 는 임베딩이 아니라 투영 뒤의 쿼리 · 키를 돌리며, 그래서 내적에는 거리만 남는다(Su 외 2021 · 위 4단계 세 쌍 −1.608).
- 오해위치 인코딩이 없으면 트랜스포머는 순서를 전혀 알 수 없다.사실양방향 인코더는 그렇지만, 인과 마스크를 쓰는 디코더는 앞 토큰 수에서 위치를 얻어 NoPE 로도 길이 일반화 과제를 풀었다(Kazemnejad 외 2023 초록).
10핵심 정리
| 방식 | 넣는 지점 | 점수에 남는 것 | 매개변수 | 대표 값 | 약점 |
|---|---|---|---|---|---|
| 사인 · 코사인 | A 임베딩 더하기 | 절대 + 거리 | 0 | 파장 2π ~ 10000 · 2π | 교차 항 |
| 학습형 절대 | A 임베딩 더하기 | 절대 | 최대 위치 × d | BERT 512행 | 표 밖 위치 없음 |
| Shaw 상대 | C 키 · 값에 더하기 | 거리(±k 자름) | (2k + 1) × d_ | k = 16(base) | 계산 · 메모리 추가 |
| RoPE | B 쿼리 · 키 회전 | 거리 | 0 | θ_i = 10000^(−2i/d) | 처음 보는 각도 |
| ALiBi | C 점수 편향 | 거리(벌점) | 0 | 기울기 1/2 ~ 1/256 | 먼 토큰 약화 |
| NoPE | 없음 | 마스크로 간접 | 0 | 인과 마스크만 | 인코더에는 못 씀 |
11참고 문헌
- 먼저 볼 문헌
- ★ Attention Is All You Need (Vaswani et al.) — 사인 · 코사인 위치 인코딩 식과 학습형 위치 임베딩 비교(3.5절 · 표 3 E행)를 볼 때
- ★ Self-Attention with Relative Position Representations (Shaw · Uszkoreit · Vaswani) — 거리를 ±k 로 자르는 상대 위치 표현(3.2절)과 절대 방식 대비 BLEU(표 1)를 볼 때
- ★ RoFormer: Enhanced Transformer with Rotary Position Embedding (Su et al.) — 쿼리 · 키를 위치만큼 회전해 내적이 상대 거리에만 달리게 하는 RoPE 를 볼 때
- ★ Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (Press · Smith · Lewis) — 임베딩에 아무것도 더하지 않고 점수에 거리 비례 벌점을 주는 ALiBi 기울기(3절)를 볼 때
- ★ The Impact of Positional Encoding on Length Generalization in Transformers (Kazemnejad et al.) — 위치 인코딩 없는 디코더(NoPE)가 길이 일반화에서 어떻게 견주어지는지 볼 때
- 본문 근거
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) — arXiv · NAACL 2019 · 2018-10 ·
arxiv.org/abs/1810.04805· 확인 2026-11-13 - Extending Context Window of Large Language Models via Positional Interpolation (Chen et al.) — arXiv · 2023-06 ·
arxiv.org/abs/2306.15595· 확인 2026-11-13 - NumPy v2.4 Manual - numpy.random.Generator.standard_normal — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generated/numpy.random.Generator.standard_normal.html· 확인 2026-11-13