셀프 어텐션Self-Attention
한 시퀀스 안에서 쿼리 · 키 · 값을 모두 같은 입력으로 만들어, 토큰마다 모든 토큰과의 내적 점수를 softmax 가중치로 바꾼 뒤 값 벡터를 가중합하는 어텐션 연산이다.
1요약
- 셀프 어텐션은 트랜스포머 블록에서 토큰끼리 정보를 섞는 연산으로, 쿼리 · 키 · 값을 한 시퀀스에서 함께 만든다는 점이 교차 어텐션과 다르고(Vaswani 외 2017 3.2.3절), 그 위에서 헤드 h 개가 서로 다른 부분 공간의 관계를 따로 계산한 뒤 이어 붙인다.
- 내적 점수의 분산은 d_k 만큼 커져서, 키 16개 실험에서 √d_k 로 나누지 않으면 d_k 1,024 에서 가장 큰 가중치의 평균이 0.961 로 한 토큰에 몰리고, 나누면 0.246 에 머문다(직접 실행 · 3.2.1절 주석 4).
- 「어텐션이 이상하다」는 가중치 분포의 모양으로 가른다 — 모든 행이 한 키에 몰리면 스케일 누락, 거의 모든 헤드가 첫 토큰에 몰리면 어텐션 싱크(정상일 수 있음), 헤드 여럿을 꺼도 품질이 그대로면 중복 헤드다.
2등장 배경
2014년 Bahdanau 외의 어텐션은 디코더가 인코더 출력을 읽는 «두 시퀀스 사이»의 연결이었고, 한 문장 안의 단어끼리 관계는 여전히 순환 신경망이 차례로 계산했다. 2016년 Cheng 외는 읽는 도중 앞 토큰들을 기억 테이프에 두고 어텐션으로 다시 찾는 intra-attention 을 LSTM 안에 넣었고, 2017년 3월 Lin 외는 문장 하나를 가중치 행 여러 개로 요약하는 self-attentive 문장 임베딩을 냈다 — 행마다 문장의 다른 부분을 본다는 생각이 뒤의 멀티헤드와 같다.
2017년 6월 Vaswani 외는 이 연산을 순환 없이 모델의 유일한 토큰 혼합 수단으로 쓰면서, 내적을 √d_k 로 나누는 스케일드 내적과 헤드 8개(d_k 64)의 멀티헤드를 정했다(3.2.1 · 3.2.2절). 그 뒤 연구는 두 방향으로 나뉘었다 — 헤드가 무엇을 보는지 분석하는 쪽(Clark 외 2019 · Voita 외 2019)과, 디코드 때 키 · 값을 줄이는 다중 쿼리(Shazeer 2019) · 그룹 쿼리(Ainslie 외 2023) 같은 계산 쪽이다.
3쉽게 이해하기 — 서로를 찾아 읽는 책 다섯 권
작은 도서관 서가에 책 다섯 권이 꽂혀 있고, 책마다 «내가 궁금한 것» 쪽지 · «나를 찾을 때 쓰는 말» 색인 카드 · «내 내용» 요약 한 장을 끼워 두었다. 사서 두 명이 저마다 다른 기준으로, 책 한 권의 쪽지를 들고 다섯 권의 색인 카드(자기 것 포함)와 맞대 맞는 정도를 매기고, 그 비율대로 요약을 베껴 메모를 만든다. 두 사서의 메모를 편집자가 한 장으로 합치면 그 책의 새 요약이 되고, 다섯 권 모두가 동시에 이 일을 한다.
그림 1 · 책마다 쪽지 · 색인 · 요약 세 장을 내고, 사서 둘이 따로 맞춰 본 비율대로 베낀 메모를 합쳐 새 요약을 만든다.
그림 2 · 사서마다 맞대 보는 기준이 달라, 같은 책 t3 를 두고 사서 A 는 주제가 같은 책을, 사서 B 는 바로 앞 책을 많이 베낀다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 서가의 책 다섯 권 | 입력 X(토큰 t1 ~ t5) | 직전 블록 출력 n × d_ |
| 찾는 쪽지 | 쿼리 Q = X W^Q | 이 토큰이 무엇과 이어져야 하는지 나타내는 벡터 |
| 표지 색인 | 키 K = X W^K | 다른 토큰의 쿼리와 내적해 맞는 정도를 내는 벡터 |
| 본문 요약 | 값 V = X W^V | 가중치만큼 섞여 출력에 실리는 내용 |
| 맞대 보고 비율 | 점수 ÷ √d_ | 점수의 분산을 1 근처로 되돌린 뒤 행마다 합 1 의 가중치로 바꾼다 |
| 사서 두 명 | 헤드 1 · 헤드 2 | 차원을 d / h 씩 나눠 서로 다른 관계를 따로 계산한다 |
| 메모 합치기 | Concat · W^O | 헤드 출력을 이어 붙이고 한 행렬로 다시 섞는다 |
| 새 요약 | 출력 Y | 토큰마다 문맥이 섞인 n × d_ |
⚠ 비유가 맞지 않는 곳: 세 장은 책이 고르지 않고 학습된 행렬 셋이 같은 벡터에서 기계적으로 만들며, 사서는 «주제 · 바로 앞» 같은 이름표 없이 학습으로 기준이 정해진다. 또 서가에서 책 순서를 바꿔도 결과가 같으므로 «몇 번째 책인가»는 따로 붙여야 한다.
4구조 — 투영 · 헤드 분할 · 출력 투영
셀프 어텐션 한 계층은 학습 행렬 네 개(W^Q · W^K · W^V · W^O)와 학습 매개변수가 없는 계산(내적 · 나누기 · softmax · 가중합)으로 이루어진다. Q · K · V 가 모두 같은 입력 X 에서 나온다는 것이 «셀프»의 뜻이고, 교차 어텐션은 Q 만 디코더에서 · K · V 는 인코더에서 가져온다(Vaswani 외 2017 3.2.3절). 매개변수 수는 4 × d_model²(편향 제외)로 토큰 수 n 과 무관하며, 원 논문 기본형 d_model 512 이면 계층 하나에 1,048,576 개다(원문 식 직접 계산).
그림 3 · 입력 X 하나에서 Q · K · V 를 만들고 헤드마다 n × n 가중치를 따로 구해 가중합한 뒤, 이어 붙여 W^O 로 다시 섞는다.
| 요소 | 크기 | 역할 | 근거 |
|---|---|---|---|
| 입력 X | n × d_ | 직전 블록 출력(첫 블록은 임베딩 + 위치 정보) | 3.2.3절 |
| W^Q_ | d_ | 무엇을 찾는가 · 무엇으로 찾히는가를 정하는 투영 | 3.2.2절 |
| W^V_ | d_ | 섞여 나갈 내용을 고르는 투영 | 3.2.2절 |
| 점수 · 나누기 | n × n · ÷ √d_ | 쌍마다 내적 · 분산을 1 근처로 | 식 (1) · 주석 4 |
| 인과 마스크 | 위 삼각형 −∞ | 디코더에서 뒤 토큰 차단(선택) | 3.2.3절 |
| softmax | 행마다 | 가중치 ≥ 0 · 합 1 | 식 (1) |
| W^O | h · d_ | 헤드 결과를 한 공간으로 다시 섞음 | 3.2.2절 |
두 성질이 이 구조에서 바로 나온다. 첫째, 출력 행 하나는 V 행들의 볼록 결합(가중치 ≥ 0 · 합 1)이라 V 에 없는 방향의 값은 W^O 를 거치기 전까지 만들어지지 않는다. 둘째, 입력 행의 순서를 바꾸면 출력 행도 똑같이 바뀔 뿐 값은 그대로인 순열 등변성을 가져, 순서 정보는 위치 인코딩이 맡는다.
🔑 무엇을 섞을지는 쿼리와 키가 정하고, 무엇이 섞이는지는 값이 정한다 — 가중치 지도가 같아도 W^V 가 다르면 출력은 전혀 다르다.
5동작 — 합성 입력 다섯 토큰 · 헤드 2개
직접 실행(합성 데이터) 사례다. 토큰 t1 ~ t5 의 입력 X(5 × 8)와 W^Q · W^K · W^V · W^O(각 8 × 8)를 시드 0 표준 정규 난수로 만들고(W 는 √8 로 나눔 · NumPy standard_normal 문서), 헤드 2개(d_k 4)로 계산했다.
- X(5 × 8)와 행렬 넷을 만든다 — 학습 매개변수는 4 × 8² = 256 개다.
- X 에 W^Q · W^K · W^V 를 곱해 Q · K · V(각 5 × 8)를 얻고, 열을 4개씩 잘라 헤드 2개(각 5 × 4)로 나눈다.
- 헤드 1 에서 t3 의 쿼리와 키 다섯의 내적은 1.308 · −0.573 · 0.510 · −0.108 · 0.997 이고, √4 = 2 로 나눠 0.654 · −0.286 · 0.255 · −0.054 · 0.498 이 된다(식 (1)).
- softmax 를 취하면 헤드 1 의 t3 행은 0.293 · 0.115 · 0.197 · 0.144 · 0.251 로 t1 이 가장 크고, 헤드 2 의 t3 행은 0.172 · 0.262 · 0.157 · 0.250 · 0.158 로 t2 가 가장 크다.
- 헤드마다 가중치로 V 조각(5 × 4)을 가중합해 이어 붙이고(5 × 8) W^O 를 곱해 출력 Y(5 × 8)를 낸다 — 입력과 같은 모양이라 다음 블록에 그대로 들어간다.
- 입력 순서를 t5 · t4 · t3 · t2 · t1 로 뒤집어 다시 계산하면 출력 행도 같은 순서로 뒤집힐 뿐이고, 값 차이는 최대 2.2 × 10⁻¹⁶(부동소수 반올림)이다.
- 인과 마스크를 켜면 헤드 1 의 t3 행이 0.485 · 0.189 · 0.325 · 0 · 0 이 된다 — t4 · t5 몫이 앞 세 토큰에 다시 나뉘고, 마지막 토큰 t5 행만 마스크 전과 같다.
그림 4 · 같은 입력에서 헤드 1 은 t3 행의 가중치를 t1 에, 헤드 2 는 t2 에 가장 많이 둔다 — 헤드마다 다른 관계를 잡는다.
헤드 둘의 행 평균 엔트로피는 1.506 · 1.421 로 고른 분포(ln 5 = 1.609)보다 조금 낮다. 같은 실험을 시드 0 ~ 9 로 돌리면 헤드별 엔트로피는 1.21 ~ 1.58 로 갈리지만, 6단계의 순서 뒤집기 차이는 모든 시드에서 6.7 × 10⁻¹⁶ 이하다 — 순열 등변성은 무작위 값이 아니라 식의 성질이다.
3단계에서 √d_k 로 나누는 이유는 차원이 커질 때 드러난다. 성분이 평균 0 · 분산 1 인 q · k 의 내적은 분산이 d_k 이므로(Vaswani 외 2017 주석 4), 키 16개에 쿼리 2,000개를 무작위로 넣고 가장 큰 가중치의 평균을 d_k 별로 쟀다(시드 0 · 시드 0 ~ 4 범위 ±0.015 이내).
그림 5 · 나누지 않으면 d_k 만 키워도 가장 큰 가중치가 0.434 에서 0.961 로 올라 한 토큰에 몰리고, √d_k 로 나누면 0.24 근처에 머문다.
내적의 분산은 d_k 4 · 16 · 64 · 256 · 1,024 에서 4.0 · 16.4 · 64.6 · 256.9 · 1,020.5 로 d_k 를 그대로 따랐고, √d_k 로 나누면 1 근처로 돌아온다. 가중치가 0.96 처럼 한 키에 몰리면 softmax 기울기가 거의 0 이 되어 나머지 키로 학습 신호가 가지 않는다.
🔑 가중치를 한 토큰에 몰리게 하는 것은 내용이 아니라 차원이다 — 나누지 않으면 같은 무작위 입력에서도 d_k 만 키워 최대 가중치가 0.43 에서 0.96 으로 오른다.
6비교 — 점수 함수와 키 · 값 공유 방식
| 기준 | 스케일드 내적 멀티헤드 | 가산 어텐션 | 다중 쿼리(MQA) | 그룹 쿼리(GQA) | 선형 어텐션 |
|---|---|---|---|---|---|
| 점수 | q · k ÷ √d_ | 은닉 1계층 순방향 신경망 | 멀티헤드와 같음 | 멀티헤드와 같음 | 특징 사상 φ(q) · φ(k) |
| 쿼리 h 개일 때 KV 헤드 | h | (헤드 구분 없음) | 1 | G(1 < G < h) | h |
| 길이 n 에 대한 계산 | O(n² · d) | O(n²) · 행렬곱 최적화 어려움 | O(n² · d) | O(n² · d) | O(n · d²) |
| 품질 근거 | 기준 | 작은 d_ | dev BLEU 26.7 → 26.5(Shazeer 2019 표 1) | 평균 47.2 → 47.1(Ainslie 외 2023 표 1) | 기준과 비슷 · softmax 아님(초록) |
| 디코드 비용 근거 | 디코더 46 µs/토큰 | — | 3.8 µs/토큰(Shazeer 2019 표 2) | 1.51 → 0.28 초/표본(표 1) | 긴 시퀀스 최대 4,000배 빠름(Katharopoulos 외 2020) |
분석학습 · 프리필이 중심이면 스케일드 내적 멀티헤드를 그대로 두고, 디코드 속도가 병목인 생성 모델은 품질 손실이 가장 작은 GQA 를 먼저 검토하며, softmax 를 버려도 되는 매우 긴 신호에서만 선형 어텐션을 고른다. 근거는 MQA · GQA 가 점수 식을 바꾸지 않고 키 · 값 헤드만 줄여 디코드의 메모리 대역폭 병목을 줄인다는 Shazeer 2019 3절과, GQA-8 이 멀티헤드 평균 47.2 에 0.1 차이로 붙은 Ainslie 외 2023 표 1 이다.
7실무 진단 — 가중치 분포 · 헤드 · 디코드 비용으로 가르기
분석가중치 행렬을 한 번 뽑아 분포 모양(한 키 몰림 · 첫 토큰 몰림)부터 보고, 헤드 기여와 디코드 비용은 그다음에 본다. 모양 확인은 순전파 한 번이면 되지만, 헤드 기여는 헤드를 끄고 다시 평가해야 하기 때문이다(아래 표 1 · 2행 ↔ 3행).
| # | 증상 | 의심 원인 | 구성 요소 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 학습 초반부터 행마다 가중치 하나가 1 에 가깝고 손실이 멈춤 | √d_ | 점수 계산 | 행별 최대 가중치 평균 · 점수 분산 | 점수 분산이 d_ |
| 2 | 거의 모든 헤드 · 계층이 첫 토큰에 가중치를 몰아 둠 | 어텐션 싱크 | softmax | 키 위치별 가중치 평균 | 의미 없는 첫 토큰에도 생기는 현상 · 창 어텐션에서 첫 토큰 키 · 값을 지울 때만 품질이 무너지면 싱크 의존(Xiao 외 2023) |
| 3 | 헤드 여럿을 꺼도 지표 변화가 작음 | 중복 헤드 | 멀티헤드 | 헤드 마스킹 뒤 평가 지표 | 인코더 헤드 48개 중 38개를 지워 BLEU 0.15 하락 사례(Voita 외 2019) → 가지치기 후보 |
| 4 | 생성 때 토큰당 시간이 길어지고 연산 사용률은 낮음 | 키 · 값 다시 읽기의 메모리 대역폭 | KV 헤드 수 | 토큰당 시간 · KV 헤드 수 · 묶음 크기 | 다중 쿼리로 디코더 46 → 3.8 µs/토큰(Shazeer 2019 표 2) → GQA 전환 검토 |
| 5 | 어텐션 지도로 근거를 설명했는데 다른 중요도와 어긋남 | 가중치 ≠ 설명 | 가중치 해석 | 기울기 기반 중요도와의 순위 상관 | 상관이 낮고 전혀 다른 분포로도 같은 예측이 나옴(Jain · Wallace 2019) → 설명은 XAI 기법으로 |
1 · 2행은 가중치를 뽑는 순전파 한 번으로 끝나고, 3행은 헤드를 하나씩 끄며 다시 평가해야 한다. 4행은 학습이 아니라 서빙 지표에서 보이므로 생성 서비스에서만 보고, 5행은 진단이 아니라 해석 단계의 점검이다.
8시험 대비
www.q-net.or.kr시험에서는 Q · K · V 계산 과정을 단계로 설명하는 동작 · 절차 설명형과, 멀티헤드에서 MQA · GQA · 선형 어텐션으로 이어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 절차형이면 그림 3 흐름도에 식 (1)과 그림 4 의 숫자 사례를 붙이고, 발전형이면 비교 표의 KV 헤드 수 · 계산량 두 축으로 정리한 뒤 그림 5 로 √d_k 의 이유를 덧붙인다.
- 개요 — 정의(Q · K · V 를 한 시퀀스에서 만듦) · 교차 어텐션과의 차이 · 등장(2016 intra-attention → 2017 스케일드 내적)
- 구조 — 그림 3 투영 · 헤드 분할 · Concat · W^O 흐름도 + 매개변수 4 × d_model²
- 동작 — 식 (1) 단계 · 그림 4 헤드 2개 가중치 사례(점수 ÷ √d_k → softmax → 가중합)
- 핵심 원리 — 그림 5 √d_k 나누기와 가중치 쏠림 · 순열 등변성(위치 인코딩이 필요한 이유)
- 발전 — 비교 표(멀티헤드 · 가산 · MQA · GQA · 선형) · KV 헤드 수와 디코드 비용
- 한계와 해석 — n² 계산 · 어텐션 싱크 · 중복 헤드 · 가중치 ≠ 설명
꼭 쓸 키워드
쿼리키값스케일드 내적멀티헤드순열 등변성인과 마스크다중 쿼리 어텐션그룹 쿼리 어텐션어텐션 싱크
다른 답안과 차이를 내는 한 가지는 그림 5 다 — d_k 를 4 에서 1,024 로 키울 때 나누지 않은 최대 가중치가 0.434 → 0.961 로 오르고 나눈 쪽은 0.24 근처에 머무는 막대 하나로 √d_k 의 이유를 수치로 보인다.
9오해와 사실
- 오해가중치가 큰 토큰이 곧 모델 예측의 근거다.사실어텐션 가중치는 기울기 기반 중요도와 자주 상관이 없고, 아주 다른 가중치 분포로도 같은 예측이 나온다(Jain · Wallace 2019).
- 오해헤드는 많을수록 좋고 모두 필요하다.사실학습이 끝난 모델에서 헤드 상당수를 지워도 성능이 크게 떨어지지 않고 일부 계층은 헤드 하나로 줄여도 되며(Michel 외 2019), 계산량을 고정하면 헤드 8개 · d_k 16 이 헤드 2개 · d_k 64 보다 BLEU 가 낮았다(Shazeer 2019 표 1 · 25.8 ↔ 26.2).
- 오해첫 토큰에 가중치가 몰리는 것은 고장이다.사실의미가 없는 첫 토큰에도 강한 점수가 몰리는 어텐션 싱크 현상이 알려져 있고, 창 어텐션에서 첫 토큰의 키 · 값만 남겨도 품질이 크게 회복된다(Xiao 외 2023).
10핵심 정리
| 구성 요소 | 식 · 크기 | 정하는 것 | 바꾸면 생기는 일 | 진단에서 볼 것 |
|---|---|---|---|---|
| 쿼리 Q | X W^Q · n × d | 어떤 키와 맞을지 | 가중치 지도가 바뀜 | 행별 최대 가중치 |
| 키 K | X W^K · n × d | 어떤 쿼리에 찾힐지 | 가중치 지도가 바뀜 | 키 위치별 평균 가중치 |
| 값 V | X W^V · n × d | 섞여 나갈 내용 | 같은 지도에서 출력만 바뀜 | 출력 노름 |
| 스케일 1/√d_ | 점수 분산 d_ | 분포의 퍼짐 | 빠지면 한 키 몰림 | 점수 분산 |
| 멀티헤드 | h 개 · d_ | 관계 종류 수 | 일부는 지워도 지표 유지 | 헤드 마스킹 결과 |
| KV 헤드 공유 | MQA 1 · GQA G | 디코드 때 읽는 키 · 값 양 | 속도 ↑ · 품질 소폭 ↓ | 토큰당 시간 |
| 출력 투영 W^O | h · d_ | 헤드 결과 합성 | 출력 공간이 바뀜 | 다음 블록 입력 |
| 인과 마스크 | 위 삼각형 −∞ | 볼 수 있는 키 범위 | 빠지면 뒤 토큰 엿봄 | 위 삼각형 가중치 = 0 |
11참고 문헌
- 먼저 볼 문헌
- ★ Attention Is All You Need (Vaswani et al.) — 스케일드 내적 식(식 1) · √d_k 주석 4 · 멀티헤드(3.2.2절) · 세 가지 쓰임(3.2.3절)을 원문으로 볼 때
- ★ Fast Transformer Decoding: One Write-Head is All You Need (Shazeer) — 디코드가 키 · 값 다시 읽기의 메모리 대역폭에 묶이는 이유와 다중 쿼리 어텐션을 볼 때
- ★ GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al.) — KV 헤드 수를 1 과 h 사이로 두는 그룹 쿼리 어텐션의 품질 · 속도 표(표 1)를 볼 때
- ★ Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned (Voita et al.) — 헤드마다 맡는 역할과 헤드 대부분을 지워도 품질이 유지되는 결과를 볼 때
- ★ Attention is not Explanation (Jain · Wallace) — 어텐션 가중치를 예측 근거로 읽으면 안 되는 이유를 볼 때
- 본문 근거
- Neural Machine Translation by Jointly Learning to Align and Translate (Bahdanau et al.) — arXiv · ICLR 2015 · 2014-09 ·
arxiv.org/abs/1409.0473· 확인 2026-11-13 - Long Short-Term Memory-Networks for Machine Reading (Cheng et al.) — arXiv · EMNLP 2016 · 2016-01 ·
arxiv.org/abs/1601.06733· 확인 2026-11-13 - A Structured Self-attentive Sentence Embedding (Lin et al.) — arXiv · ICLR 2017 · 2017-03 ·
arxiv.org/abs/1703.03130· 확인 2026-11-13 - Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention (Katharopoulos et al.) — arXiv · ICML 2020 · 2020-06 ·
arxiv.org/abs/2006.16236· 확인 2026-11-13 - Are Sixteen Heads Really Better than One? (Michel et al.) — arXiv · NeurIPS 2019 · 2019-05 ·
arxiv.org/abs/1905.10650· 확인 2026-11-13 - What Does BERT Look At? An Analysis of BERT's Attention (Clark et al.) — arXiv · BlackboxNLP 2019 · 2019-06 ·
arxiv.org/abs/1906.04341· 확인 2026-11-13 - Efficient Streaming Language Models with Attention Sinks (Xiao et al.) — arXiv · ICLR 2024 · 2023-09 ·
arxiv.org/abs/2309.17453· 확인 2026-11-13 - NumPy v2.4 Manual - numpy.random.Generator.standard_normal — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generated/numpy.random.Generator.standard_normal.html· 확인 2026-11-13