AI › 인공지능 개요 › 딥러닝 › 모델 구조 › 트랜스포머

위치 인코딩Positional Encoding

순서를 모르는 셀프 어텐션에 토큰의 위치를 알려 주는 방법으로, 위치마다 정한 벡터를 임베딩에 더하거나 쿼리 · 키를 위치만큼 회전하거나 어텐션 점수에 거리별 값을 더한다.

1요약

  1. 위치 인코딩은 순환 없이 모든 토큰을 한꺼번에 보는 트랜스포머에 순서 신호를 넣는 장치로(Vaswani 외 2017 3.5절), 그 신호 위에서 셀프 어텐션이 «누가 몇 자리 떨어져 있는가»를 점수에 반영한다.
  2. 위치 신호가 없으면 세 토큰의 앞뒤를 바꿔도 같은 토큰의 출력이 부동소수 오차(5.6 × 10⁻¹⁷)만큼만 달라지고, 절대 위치 대신 상대 위치 표현을 쓰자 영어 → 독일어 big 모델 BLEU 가 27.9 에서 29.2 로 올랐다(Shaw 외 2018 표 1).
  3. 위치 관련 증상은 위치를 어디에 넣었는가로 가른다 — 임베딩에 더한 절대 방식은 표에 없는 번호에서, 쿼리 · 키를 돌리는 RoPE 는 학습 때 못 본 회전 각도에서, 점수에 벌점을 더하는 ALiBi 는 먼 토큰을 거의 읽지 않는 쪽에서 문제가 드러난다.

2등장 배경

어텐션의 가중합은 더하는 순서와 무관해서, 「개가 사람을 물었다」와 「사람이 개를 물었다」의 각 토큰이 같은 문맥 벡터를 받는다. 순환 신경망은 계산 순서 자체가 위치였지만 트랜스포머는 그 순서를 버렸으므로, 2017년 원 논문은 파장이 2π 에서 10000 · 2π 까지 등비로 늘어나는 사인 · 코사인 벡터를 입력 임베딩에 더했다(Vaswani 외 2017 3.5절). 학습형 위치 임베딩으로 바꿔도 BLEU 는 25.8 과 25.7 로 거의 같았고, 저자들은 학습 길이 밖으로 늘어날 여지를 이유로 사인 · 코사인을 골랐다(표 3 E행).

2018년 Shaw 외는 절대 번호 대신 두 토큰의 거리를 ±16 으로 잘라 거리마다 학습 벡터를 두는 상대 위치 표현을 냈고, 같은 해 BERT 는 위치 512개짜리 학습 표를 썼다(Devlin 외 2018). 2021년에는 쿼리 · 키를 위치에 비례한 각도로 돌리는 RoPE(Su 외 2021)와, 임베딩에 아무것도 더하지 않고 점수에 거리 비례 벌점만 주는 ALiBi(Press 외 2021)가 나왔다. ALiBi 를 쓴 13억 매개변수 모델은 학습 입력의 두 배 길이에서 사인 · 코사인 모델과 같은 퍼플렉시티를 내면서, 학습 속도는 11% 빠르고 메모리는 11% 적게 썼다(초록).

2023년 Kazemnejad 외는 위치 인코딩을 아예 빼고 인과 마스크만 둔 디코더(NoPE)가 길이 일반화 과제에서 ALiBi · RoPE · 절대 방식보다 낫다고 보고해(초록), 지금은 «어떤 위치 신호를 어디에 넣는가»가 모델마다 고르는 설계 항목이 됐다. 학습 길이보다 긴 입력으로 창을 늘리는 위치 보간(Chen 외 2023)은 컨텍스트 윈도우가 다룬다.

3쉽게 이해하기 — 바늘 속도가 다른 시계

긴 줄에 선 사람들이 저마다 바늘 넷 달린 시계를 받는다. 줄의 n번째 사람 시계는 바늘마다 정해진 속도로 n칸만큼 돌아가 있다 — 가장 빠른 바늘은 바로 옆 사람과도 각도가 크게 다르고, 가장 느린 바늘은 멀리 떨어진 사람끼리만 차이가 난다. 두 사람이 시계를 맞대면 바늘 각도의 차이만으로 몇 자리 떨어졌는지 안다. 줄 앞쪽에 서 있든 뒤쪽에 서 있든, 세 자리 차이는 언제나 같은 각도 차이다.

줄 선 사람마다 자리만큼 돌아간 시계 줄 선 사람 토큰 벡터 바늘 넷 시계 위치 인코딩 자리 0 자리 1 자리 2 자리 3 1 2 3 각도 차이 = 2자리 어텐션 점수 속 상대 위치 n − m 4 빠른 바늘 = 앞 차원(이웃 구분) 느린 바늘 = 뒤 차원(먼 거리 구분) ① 시계 받기 · ② 자리만큼 돌리기(빠른 바늘 1, 느린 바늘 0.1 라디안씩) · ③ 두 시계 맞대기 · ④ 각도 차이 읽기

그림 1 · 사람마다 자리만큼 돌아간 시계를 받고, 두 시계를 맞대 바늘 각도 차이로 몇 자리 떨어졌는지 읽는다.

줄 서기사람마다 자리 번호가 생김
시계 받기바늘 넷 달린 시계
바늘 돌리기자리만큼 바늘마다 다른 속도
맞대 보기두 사람이 시계를 나란히
차이 읽기각도 차이 = 떨어진 자리 수
어디서나 같음줄 앞이든 뒤든 같은 차이
비유 — 시계 모양은 달라도 각도 차이는 같다 자리 2 자리 5 차이 3 라디안 자리 12 자리 15 차이 3 라디안 = 실제 — RoPE 의 회전 쿼리 q · 자리 m → m · θ 만큼 회전 키 k · 자리 n → n · θ 만큼 회전 두 회전의 내적 = 각도 차이 (n − m) · θ 에만 달림 줄 어디에 서 있는지(m 자체)는 점수에서 사라짐 자리 2 · 5 와 12 · 15 → 같은 점수 빠른 바늘 θ = 1 라디안 · 거리 3 (Su 외 2021)

그림 2 · 자리 2 · 5 쌍과 자리 12 · 15 쌍은 바늘 각도가 달라도 각도 차이가 같아, 회전 방식에서는 두 쌍의 점수가 같다.

비유 속 역할실제 이름실제로 하는 일
줄 선 사람토큰 벡터같은 낱말이면 어느 자리에 있든 같은 벡터로 들어온다
자리 번호위치 pos0 부터 하나씩 붙는 정수
바늘 넷 시계위치 신호(사인 · 코사인 · 회전)위치마다 정해진 값으로 벡터를 바꾼다
바늘 속도차원별 주파수 ω_i앞 차원은 빠르게, 뒤 차원은 느리게 돈다(파장 2π ~ 10000 · 2π)
시계 맞대기쿼리 · 키 내적두 토큰의 점수를 계산한다
각도 차이상대 위치 n − m점수가 떨어진 거리를 반영한다
처음 보는 바늘 각도학습 길이 밖 위치학습 때 본 적 없는 값이 들어와 출력이 흔들린다

⚠ 비유가 맞지 않는 곳: 실제 바늘은 넷이 아니라 차원 쌍 수(d / 2)만큼이고, 사인 · 코사인 절대 방식은 시계를 사람 벡터에 «더해» 내용과 위치가 섞이므로 RoPE 처럼 각도 차이만 깔끔하게 남지는 않는다. ALiBi 는 시계 없이 «멀수록 덜 듣기» 규칙만 둔다.

4구조 — 위치 신호가 들어가는 세 지점

위치 신호를 넣는 곳은 어텐션 계산 순서를 따라 세 군데다 — 투영 전 임베딩에 더하기(A), 투영 뒤 쿼리 · 키 회전(B), 내적 뒤 점수에 편향 더하기(C). 어느 지점에 넣느냐가 점수에 절대 위치가 남는지, 상대 거리만 남는지를 정한다.

토큰 임베딩 x (위치 없음) A 더하기 x + PE(pos) 투영 W^Q · W^K B 회전 R_m q · R_n k 사인 · 코사인 표 또는 학습 표(최대 위치 × d) 차원 쌍마다 각도 m · θ_i θ_i = 10000^(−2i / d) 내적 q · k / √d C 편향 + b(n − m) softmax 어텐션 가중치 Shaw: 거리 ±16 자름 · 학습 벡터 ALiBi: −기울기 × 거리 · 학습 없음 세 지점 모두 비움 = NoPE 디코더의 인과 마스크(앞 토큰만 봄)가 유일한 순서 단서 입력 표현 위치 신호가 들어가는 지점 위치와 무관한 계산 출력

그림 3 · 위치는 임베딩에 더하거나(A), 쿼리 · 키를 돌리거나(B), 점수에 거리 편향을 더해(C) 들어가며, B · C 는 점수에 상대 거리만 남긴다.

요소크기 · 값역할근거
사인 · 코사인 표짝수 차원 sin(pos / 10000^(2i/d)) · 홀수 cos위치마다 고정 벡터 · 매개변수 없음Vaswani 외 2017 3.5절
학습형 위치 표최대 위치 × d_model(BERT 512행)위치마다 학습한 벡터표 3 E행 · Devlin 외 2018
회전 행렬 R_m차원 쌍 d / 2개 · 각도 m · θ_i쿼리 · 키를 돌려 내적에 거리만 남김Su 외 2021
상대 위치 벡터2k + 1개 · base 모델 k = 16거리 clip(n − m, k) 별 벡터를 키에 더함Shaw 외 2018 3.2 · 4.1절
ALiBi 기울기헤드 8개 = 1/2, 1/4, …, 1/256점수에 −기울기 × 거리 · 학습 안 함Press 외 2021 3절
인과 마스크(NoPE)추가 매개변수 0앞 토큰 수가 위치 단서Kazemnejad 외 2023

🔑 위치를 임베딩에 더하면 «어디에 있는가»가 점수까지 따라가고, 쿼리 · 키를 돌리거나 점수에 편향을 더하면 «얼마나 떨어졌는가»만 남는다 — 방식의 차이는 신호의 모양이 아니라 들어가는 지점에서 난다.

5동작 — 같은 두 벡터를 위치만 옮겨 잰 점수

8차원 쿼리 q 와 키 k 를 고정하고 두 토큰의 위치만 바꿔 가며 방식별 점수를 재는 사례다. NumPy default_rng(0) 으로 뽑은 값이고 투영 행렬은 생략했다(직접 실행 · 합성 데이터 · NumPy standard_normal 문서).

  1. 위치 신호 없이 내적을 구하면 q · k = −1.458 이다 — 두 토큰이 어디에 있든 이 값 하나다.
  2. 세 토큰의 첫째 · 둘째를 맞바꿔 셀프 어텐션을 돌리면 셋째 토큰 출력의 차이가 5.6 × 10⁻¹⁷ 로 사실상 0 이다. 사인 · 코사인 PE 를 더하면 같은 차이가 0.129 로 벌어진다.
  3. 절대 방식 점수 (q + PE(m)) · (k + PE(n)) 를 거리 3 인 세 쌍에서 잰다 — 위치 (2, 5) 는 0.838, (12, 15) 는 0.078, (40, 43) 은 −0.314 다.
  4. 같은 세 쌍에 RoPE 를 쓴다 — 차원 쌍 넷의 θ = 1 · 0.1 · 0.01 · 0.001 로 q 를 m · θ, k 를 n · θ 만큼 돌리면 세 쌍 모두 −1.608 이다(소수 6자리까지 같음).
  5. RoPE 에서 거리만 1 로 바꾼 (2, 3) 쌍은 −1.293 이 된다 — 점수를 바꾸는 것은 거리뿐이다.
  6. ALiBi 는 1단계 점수 −1.458 에 −기울기 × 3 을 더한다 — 헤드 1 은 −1.5, 헤드 8 은 −0.0117 을 더해, 헤드마다 먼 토큰을 깎는 세기가 128배 다르다(Press 외 2021 3절).
같은 q · k, 위치만 바꾼 점수 3 1 0 −1 −2 0.838 −1.608 0.078 −1.608 −0.314 −1.608 2.615 −1.293 위치 2 · 5 위치 12 · 15 위치 40 · 43 위치 2 · 3 거리 3 거리 3 거리 3 거리 1 3 4 5 절대 방식(임베딩에 더함) RoPE(회전) 점선 = 위치 없음 −1.458 · 굵은 테두리 = 같은 값 · d = 8 · 시드 0

그림 4 · 거리가 3 으로 같아도 절대 방식 점수는 위치마다 0.838 · 0.078 · −0.314 로 바뀌고, RoPE 점수는 세 쌍 모두 −1.608 이다.

절대 방식 점수가 위치마다 흔들리는 까닭은 식을 펼치면 보인다 — (q + p_m) · (k + p_n) = q · k + q · p_n + p_m · k + p_m · p_n 이다. 마지막 항 p_m · p_n 은 거리에만 달리지만(아래 그림 5), 가운데 두 교차 항은 내용 벡터와 절대 위치를 함께 끌고 들어온다.

위치 벡터끼리의 내적 — 출발 위치와 무관 32 16 0 0 32 64 96 128 거리 k(토큰) k = 0 → 32(= d / 2) k = 64 → 13.9 k = 128 → 9.1 출발 위치 p = 100 출발 위치 p = 500(겹침) d = 64 · PE(p) · PE(p + k) = Σ cos(k · ω_i) · 원문 식 직접 계산(Vaswani 외 2017 3.5절)

그림 5 · 사인 · 코사인 위치 벡터끼리의 내적은 출발 위치 100 과 500 에서 같은 곡선을 그려, 위치끼리의 관계는 거리 k 에만 달린다.

🔑 사인 · 코사인끼리는 이미 거리만 아는데, 내용 벡터에 «더하는» 순간 교차 항이 절대 위치를 다시 넣는다 — RoPE 는 더하지 않고 돌려서 교차 항 자체를 없앴다.

6비교 — 사인 · 학습 · 상대 편향 · RoPE · NoPE

기준사인 · 코사인 절대학습형 절대상대 편향(Shaw · ALiBi)RoPENoPE
점수에 남는 위치절대 + 거리(교차 항)절대거리만거리만마스크로 간접
추가 매개변수0최대 위치 × dShaw (2k + 1) × d_a · ALiBi 000
학습 길이 밖 위치값은 계산되나 처음 보는 조합표에 행이 없음Shaw 거리 k 넘으면 같은 벡터 · ALiBi 벌점만 커짐처음 보는 각도위치 값 자체가 없음
공개 결과학습형과 BLEU 25.8 ↔ 25.7같은 실험Shaw big EN-DE +1.3 BLEU · ALiBi 1,024 학습 → 2,048긴 문서 분류에서 견준 방식보다 나음길이 일반화 과제에서 위 방식들보다 나음
근거Vaswani 외 2017 표 3같은 표 E행Shaw 외 2018 표 1 · Press 외 2021Su 외 2021 초록Kazemnejad 외 2023 초록

분석입력이 학습 길이 안에서만 쓰이는 인코더 분류 모델은 학습형 절대 표로 충분하고, 생성 모델처럼 길이가 늘어나는 쓰임은 거리만 남기는 RoPE · ALiBi 를 고른다. 근거는 표의 「학습 길이 밖」 행 — 학습형 표는 행이 없어 늘릴 수 없고, ALiBi 는 1,024 학습으로 2,048 을 처리했다(Press 외 2021 초록).

7실무 진단 — 위치 신호의 지점별 원인 가르기

분석먼저 위치 번호가 맞게 들어가는지(설정 · 생성 코드)를 보고, 그다음 방식의 길이 한계를 본다. 번호 오류는 입력 하나로 바로 재현되지만 길이 한계는 길이별 평가를 따로 돌려야 하기 때문이다(아래 표 1 · 2행 ↔ 3 · 4행).

#증상의심 원인위치 신호 지점확인 자료판정 기준(근거)
1앞뒤 낱말을 맞바꾼 문장에 같은 답위치 신호를 넣는 단계가 빠짐A · B · C 전부순서만 바꾼 두 입력의 같은 토큰 출력 차차가 부동소수 오차 수준이면 누락(위 2단계 · 5.6 × 10⁻¹⁷)
2캐시를 쓰는 생성에서 둘째 토큰부터 품질 급락생성 단계의 위치 번호가 0 부터 다시 붙음A 또는 B단계 t 의 위치 번호위치 = 이미 넣은 토큰 수 + t 가 아니면 번호 오류
3최대 길이 근처 입력에서 색인 오류학습형 위치 표의 행 부족A표 행 수 ↔ 입력 토큰 수행 수를 넘으면 그 위치 벡터가 없음(BERT 512 · Devlin 외 2018)
4학습 길이를 넘는 입력에서 출력 붕괴처음 보는 회전 각도B길이별 손실학습 길이 뒤에서만 오르면 외삽 한계 → 컨텍스트 윈도우의 위치 보간(Chen 외 2023)
5긴 문서 앞부분 내용을 답에 못 씀큰 기울기 헤드의 거리 벌점C헤드별 기울기 · 거리별 가중치 합기울기 1/2 헤드는 거리 20 에서 점수 −10 · 먼 토큰 가중치가 0 에 가까움(Press 외 2021 3절)

1 · 2행은 입력 하나와 위치 번호 출력으로 끝나고, 3행은 설정 확인이다. 4 · 5행은 길이를 바꿔 가며 평가해야 하므로 마지막에 본다.

8시험 대비

시험에서는 위치 인코딩이 왜 필요하고 사인 · 코사인 식이 무엇인지를 묻는 정의 · 특징형과, 절대 · 상대 · 회전 방식의 차이를 묻는 비교형이 나올 수 있다. 정의형이면 순서 불변 문제 → 식 → 그림 5 의 거리 성질 순으로, 비교형이면 그림 3 의 세 지점을 뼈대로 방식별 표를 붙인다.

답안 목차
  1. 개요 — 정의(셀프 어텐션에 순서 신호) · 필요성(가중합은 순서와 무관 · 순서 바꿔도 같은 출력)
  2. 사인 · 코사인 식 — PE(pos, 2i) = sin(pos / 10000^(2i/d)) · 파장 2π ~ 10000 · 2π · 그림 5 거리 k 에만 달리는 내적
  3. 들어가는 지점 — 그림 3 A 임베딩 더하기 · B 쿼리 · 키 회전 · C 점수 편향 + 요소 표
  4. 방식 비교 — 학습형 · Shaw 상대(k = 16) · RoPE · ALiBi(기울기 1/2 ~ 1/256) · NoPE 표
  5. 사례 — 그림 4 거리 3 세 쌍의 절대 점수 변화 ↔ RoPE −1.608 일정
  6. 한계와 발전 — 학습 길이 밖 위치 · 교차 항 · 위치 보간으로 창 확장

꼭 쓸 키워드
위치 인코딩사인코사인학습형 위치 임베딩절대 위치상대 위치RoPEALiBiNoPE순서 불변길이 외삽

다른 답안과 차이를 내는 한 가지는 교차 항 식이다 — (q + p_m) · (k + p_n) 을 네 항으로 펼쳐 어느 항이 절대 위치를 남기는지 짚고, 그림 4 의 숫자로 RoPE 가 그 항을 없앴음을 보이면 «왜 회전인가»가 한 장으로 설명된다.

9오해와 사실

  • 오해사인 · 코사인 위치 인코딩은 학습형보다 번역 품질이 확실히 높다.
    사실원 논문에서 두 방식의 BLEU 는 25.8 과 25.7 로 거의 같았고, 사인 · 코사인을 고른 이유는 학습 길이 밖으로 늘릴 여지였다(Vaswani 외 2017 3.5절 · 표 3 E행).
  • 오해RoPE 는 임베딩에 회전 벡터를 더하는 절대 위치 인코딩의 한 종류다.
    사실RoPE 는 임베딩이 아니라 투영 뒤의 쿼리 · 키를 돌리며, 그래서 내적에는 거리만 남는다(Su 외 2021 · 위 4단계 세 쌍 −1.608).
  • 오해위치 인코딩이 없으면 트랜스포머는 순서를 전혀 알 수 없다.
    사실양방향 인코더는 그렇지만, 인과 마스크를 쓰는 디코더는 앞 토큰 수에서 위치를 얻어 NoPE 로도 길이 일반화 과제를 풀었다(Kazemnejad 외 2023 초록).

10핵심 정리

방식넣는 지점점수에 남는 것매개변수대표 값약점
사인 · 코사인A 임베딩 더하기절대 + 거리0파장 2π ~ 10000 · 2π교차 항
학습형 절대A 임베딩 더하기절대최대 위치 × dBERT 512행표 밖 위치 없음
Shaw 상대C 키 · 값에 더하기거리(±k 자름)(2k + 1) × d_ak = 16(base)계산 · 메모리 추가
RoPEB 쿼리 · 키 회전거리0θ_i = 10000^(−2i/d)처음 보는 각도
ALiBiC 점수 편향거리(벌점)0기울기 1/2 ~ 1/256먼 토큰 약화
NoPE없음마스크로 간접0인과 마스크만인코더에는 못 씀

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Attention Is All You Need (Vaswani et al.) — 사인 · 코사인 위치 인코딩 식과 학습형 위치 임베딩 비교(3.5절 · 표 3 E행)를 볼 때
    arXiv · NIPS 2017 · 2017-06 · arxiv.org/abs/1706.03762 · 확인 2026-11-13
  3. ★ Self-Attention with Relative Position Representations (Shaw · Uszkoreit · Vaswani) — 거리를 ±k 로 자르는 상대 위치 표현(3.2절)과 절대 방식 대비 BLEU(표 1)를 볼 때
    arXiv · NAACL 2018 · 2018-03 · arxiv.org/abs/1803.02155 · 확인 2026-11-13
  4. ★ RoFormer: Enhanced Transformer with Rotary Position Embedding (Su et al.) — 쿼리 · 키를 위치만큼 회전해 내적이 상대 거리에만 달리게 하는 RoPE 를 볼 때
    arXiv · 2021-04 · arxiv.org/abs/2104.09864 · 확인 2026-11-13
  5. ★ Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (Press · Smith · Lewis) — 임베딩에 아무것도 더하지 않고 점수에 거리 비례 벌점을 주는 ALiBi 기울기(3절)를 볼 때
    arXiv · ICLR 2022 · 2021-08 · arxiv.org/abs/2108.12409 · 확인 2026-11-13
  6. ★ The Impact of Positional Encoding on Length Generalization in Transformers (Kazemnejad et al.) — 위치 인코딩 없는 디코더(NoPE)가 길이 일반화에서 어떻게 견주어지는지 볼 때
    arXiv · NeurIPS 2023 · 2023-05 · arxiv.org/abs/2305.19466 · 확인 2026-11-13
  7. 본문 근거
  8. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) — arXiv · NAACL 2019 · 2018-10 · arxiv.org/abs/1810.04805 · 확인 2026-11-13
  9. Extending Context Window of Large Language Models via Positional Interpolation (Chen et al.) — arXiv · 2023-06 · arxiv.org/abs/2306.15595 · 확인 2026-11-13
  10. NumPy v2.4 Manual - numpy.random.Generator.standard_normal — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generated/numpy.random.Generator.standard_normal.html · 확인 2026-11-13