AI › 인공지능 개요 › 딥러닝 › 모델 구조 › 트랜스포머

셀프 어텐션Self-Attention

한 시퀀스 안에서 쿼리 · 키 · 값을 모두 같은 입력으로 만들어, 토큰마다 모든 토큰과의 내적 점수를 softmax 가중치로 바꾼 뒤 값 벡터를 가중합하는 어텐션 연산이다.

1요약

  1. 셀프 어텐션은 트랜스포머 블록에서 토큰끼리 정보를 섞는 연산으로, 쿼리 · 키 · 값을 한 시퀀스에서 함께 만든다는 점이 교차 어텐션과 다르고(Vaswani 외 2017 3.2.3절), 그 위에서 헤드 h 개가 서로 다른 부분 공간의 관계를 따로 계산한 뒤 이어 붙인다.
  2. 내적 점수의 분산은 d_k 만큼 커져서, 키 16개 실험에서 √d_k 로 나누지 않으면 d_k 1,024 에서 가장 큰 가중치의 평균이 0.961 로 한 토큰에 몰리고, 나누면 0.246 에 머문다(직접 실행 · 3.2.1절 주석 4).
  3. 「어텐션이 이상하다」는 가중치 분포의 모양으로 가른다 — 모든 행이 한 키에 몰리면 스케일 누락, 거의 모든 헤드가 첫 토큰에 몰리면 어텐션 싱크(정상일 수 있음), 헤드 여럿을 꺼도 품질이 그대로면 중복 헤드다.

2등장 배경

2014년 Bahdanau 외의 어텐션은 디코더가 인코더 출력을 읽는 «두 시퀀스 사이»의 연결이었고, 한 문장 안의 단어끼리 관계는 여전히 순환 신경망이 차례로 계산했다. 2016년 Cheng 외는 읽는 도중 앞 토큰들을 기억 테이프에 두고 어텐션으로 다시 찾는 intra-attention 을 LSTM 안에 넣었고, 2017년 3월 Lin 외는 문장 하나를 가중치 행 여러 개로 요약하는 self-attentive 문장 임베딩을 냈다 — 행마다 문장의 다른 부분을 본다는 생각이 뒤의 멀티헤드와 같다.

2017년 6월 Vaswani 외는 이 연산을 순환 없이 모델의 유일한 토큰 혼합 수단으로 쓰면서, 내적을 √d_k 로 나누는 스케일드 내적과 헤드 8개(d_k 64)의 멀티헤드를 정했다(3.2.1 · 3.2.2절). 그 뒤 연구는 두 방향으로 나뉘었다 — 헤드가 무엇을 보는지 분석하는 쪽(Clark 외 2019 · Voita 외 2019)과, 디코드 때 키 · 값을 줄이는 다중 쿼리(Shazeer 2019) · 그룹 쿼리(Ainslie 외 2023) 같은 계산 쪽이다.

3쉽게 이해하기 — 서로를 찾아 읽는 책 다섯 권

작은 도서관 서가에 책 다섯 권이 꽂혀 있고, 책마다 «내가 궁금한 것» 쪽지 · «나를 찾을 때 쓰는 말» 색인 카드 · «내 내용» 요약 한 장을 끼워 두었다. 사서 두 명이 저마다 다른 기준으로, 책 한 권의 쪽지를 들고 다섯 권의 색인 카드(자기 것 포함)와 맞대 맞는 정도를 매기고, 그 비율대로 요약을 베껴 메모를 만든다. 두 사서의 메모를 편집자가 한 장으로 합치면 그 책의 새 요약이 되고, 다섯 권 모두가 동시에 이 일을 한다.

서가의 책 다섯 권 t1 t2 t3 t4 t5 책마다 종이 세 장 찾는 쪽지 쿼리 Q 표지 색인 키 K 본문 요약 값 V 책 다섯 권 = 입력 X 사서 두 명 사서 A 사서 B 헤드 1 · 헤드 2 맞대 보고 비율 점수 ÷ √d_k → softmax 비율대로 요약을 베낌 가중합(가중치 × V) 2 편집과 새 요약 두 메모 합치기 Concat · W^O 책마다 새 요약 출력 Y 다음 모임(블록)에 들고 감 1 3 4 ① 세 장을 사서에게 · ② 사서마다 맞대 보고 비율대로 베낌 · ③ 두 메모를 합쳐 편집 · ④ 책마다 새 요약

그림 1 · 책마다 쪽지 · 색인 · 요약 세 장을 내고, 사서 둘이 따로 맞춰 본 비율대로 베낀 메모를 합쳐 새 요약을 만든다.

세 장 끼우기쪽지 · 색인 · 요약을 책마다
쪽지 들기한 권의 궁금한 것
색인 훑기다섯 권 모두와 맞대 봄
비율 정하기점수를 낮춰 고루 나눔
요약 베끼기비율만큼 받아 적음
메모 합치기두 사서 메모를 한 장으로
비유 — 사서마다 맞대 보는 기준이 다르다 실제 — 헤드마다 다른 투영 사서 A 주제가 같은 책 t1 t2 t3 t4 t5 헤드 1 · t3 행 t1 t2 t3 t4 t5 사서 B 바로 앞 책 t1 t2 t3 t4 t5 헤드 2 · t3 행 t1 t2 t3 t4 t5 같은 입력 X 에 헤드마다 다른 W^Q_i · W^K_i 를 곱해 다른 관계를 잡고, 결과는 이어 붙인다(Vaswani 외 2017 3.2.2절) 막대 = 설명용 모양(값 아님) · 굵은 테두리 = 읽는 책 t3 · 색 테두리 = 많이 베끼는 책

그림 2 · 사서마다 맞대 보는 기준이 달라, 같은 책 t3 를 두고 사서 A 는 주제가 같은 책을, 사서 B 는 바로 앞 책을 많이 베낀다.

비유 속 역할실제 이름실제로 하는 일
서가의 책 다섯 권입력 X(토큰 t1 ~ t5)직전 블록 출력 n × d_model 이 한 번에 들어온다
찾는 쪽지쿼리 Q = X W^Q이 토큰이 무엇과 이어져야 하는지 나타내는 벡터
표지 색인키 K = X W^K다른 토큰의 쿼리와 내적해 맞는 정도를 내는 벡터
본문 요약값 V = X W^V가중치만큼 섞여 출력에 실리는 내용
맞대 보고 비율점수 ÷ √d_k → softmax점수의 분산을 1 근처로 되돌린 뒤 행마다 합 1 의 가중치로 바꾼다
사서 두 명헤드 1 · 헤드 2차원을 d / h 씩 나눠 서로 다른 관계를 따로 계산한다
메모 합치기Concat · W^O헤드 출력을 이어 붙이고 한 행렬로 다시 섞는다
새 요약출력 Y토큰마다 문맥이 섞인 n × d_model 벡터가 다음 블록으로 간다

⚠ 비유가 맞지 않는 곳: 세 장은 책이 고르지 않고 학습된 행렬 셋이 같은 벡터에서 기계적으로 만들며, 사서는 «주제 · 바로 앞» 같은 이름표 없이 학습으로 기준이 정해진다. 또 서가에서 책 순서를 바꿔도 결과가 같으므로 «몇 번째 책인가»는 따로 붙여야 한다.

4구조 — 투영 · 헤드 분할 · 출력 투영

셀프 어텐션 한 계층은 학습 행렬 네 개(W^Q · W^K · W^V · W^O)와 학습 매개변수가 없는 계산(내적 · 나누기 · softmax · 가중합)으로 이루어진다. Q · K · V 가 모두 같은 입력 X 에서 나온다는 것이 «셀프»의 뜻이고, 교차 어텐션은 Q 만 디코더에서 · K · V 는 인코더에서 가져온다(Vaswani 외 2017 3.2.3절). 매개변수 수는 4 × d_model²(편향 제외)로 토큰 수 n 과 무관하며, 원 논문 기본형 d_model 512 이면 계층 하나에 1,048,576 개다(원문 식 직접 계산).

셀프 어텐션 한 계층의 계산 흐름 상자 아래 줄 = 행렬 모양(행 × 열) · n = 토큰 수 · d = h × d_k 입력 X n × d_model × W^Q d_model × d × W^K d_model × d × W^V d_model × d 쿼리 Q n × d 키 K n × d 값 V n × d 열을 d_k 씩 잘라 헤드에 헤드 i 마다(h 번) Q_i K_iᵀ ÷ √d_k 점수 n × n 인과 마스크(선택) softmax 행마다 합 1 가중합 A_i V_i n × d_k Concat n × d × W^O d × d_model 출력 Y n × d_model 입력 · 쿼리 · 키 값 · 섞인 내용 학습 행렬 · 점수 규칙 출력 선택 단계 · 이어 붙이기 학습 매개변수 = W^Q · W^K · W^V · W^O 네 개 = 4 × d_model²(편향 제외) · 점선 = 헤드마다 따로 계산

그림 3 · 입력 X 하나에서 Q · K · V 를 만들고 헤드마다 n × n 가중치를 따로 구해 가중합한 뒤, 이어 붙여 W^O 로 다시 섞는다.

요소크기역할근거
입력 Xn × d_model직전 블록 출력(첫 블록은 임베딩 + 위치 정보)3.2.3절
W^Q_i · W^K_id_model × d_k(헤드마다)무엇을 찾는가 · 무엇으로 찾히는가를 정하는 투영3.2.2절
W^V_id_model × d_v섞여 나갈 내용을 고르는 투영3.2.2절
점수 · 나누기n × n · ÷ √d_k쌍마다 내적 · 분산을 1 근처로식 (1) · 주석 4
인과 마스크위 삼각형 −∞디코더에서 뒤 토큰 차단(선택)3.2.3절
softmax행마다가중치 ≥ 0 · 합 1식 (1)
W^Oh · d_v × d_model헤드 결과를 한 공간으로 다시 섞음3.2.2절

두 성질이 이 구조에서 바로 나온다. 첫째, 출력 행 하나는 V 행들의 볼록 결합(가중치 ≥ 0 · 합 1)이라 V 에 없는 방향의 값은 W^O 를 거치기 전까지 만들어지지 않는다. 둘째, 입력 행의 순서를 바꾸면 출력 행도 똑같이 바뀔 뿐 값은 그대로인 순열 등변성을 가져, 순서 정보는 위치 인코딩이 맡는다.

🔑 무엇을 섞을지는 쿼리와 키가 정하고, 무엇이 섞이는지는 값이 정한다 — 가중치 지도가 같아도 W^V 가 다르면 출력은 전혀 다르다.

5동작 — 합성 입력 다섯 토큰 · 헤드 2개

직접 실행(합성 데이터) 사례다. 토큰 t1 ~ t5 의 입력 X(5 × 8)와 W^Q · W^K · W^V · W^O(각 8 × 8)를 시드 0 표준 정규 난수로 만들고(W 는 √8 로 나눔 · NumPy standard_normal 문서), 헤드 2개(d_k 4)로 계산했다.

  1. X(5 × 8)와 행렬 넷을 만든다 — 학습 매개변수는 4 × 8² = 256 개다.
  2. X 에 W^Q · W^K · W^V 를 곱해 Q · K · V(각 5 × 8)를 얻고, 열을 4개씩 잘라 헤드 2개(각 5 × 4)로 나눈다.
  3. 헤드 1 에서 t3 의 쿼리와 키 다섯의 내적은 1.308 · −0.573 · 0.510 · −0.108 · 0.997 이고, √4 = 2 로 나눠 0.654 · −0.286 · 0.255 · −0.054 · 0.498 이 된다(식 (1)).
  4. softmax 를 취하면 헤드 1 의 t3 행은 0.293 · 0.115 · 0.197 · 0.144 · 0.251 로 t1 이 가장 크고, 헤드 2 의 t3 행은 0.172 · 0.262 · 0.157 · 0.250 · 0.158 로 t2 가 가장 크다.
  5. 헤드마다 가중치로 V 조각(5 × 4)을 가중합해 이어 붙이고(5 × 8) W^O 를 곱해 출력 Y(5 × 8)를 낸다 — 입력과 같은 모양이라 다음 블록에 그대로 들어간다.
  6. 입력 순서를 t5 · t4 · t3 · t2 · t1 로 뒤집어 다시 계산하면 출력 행도 같은 순서로 뒤집힐 뿐이고, 값 차이는 최대 2.2 × 10⁻¹⁶(부동소수 반올림)이다.
  7. 인과 마스크를 켜면 헤드 1 의 t3 행이 0.485 · 0.189 · 0.325 · 0 · 0 이 된다 — t4 · t5 몫이 앞 세 토큰에 다시 나뉘고, 마지막 토큰 t5 행만 마스크 전과 같다.
합성 입력 t1 ~ t5 · 헤드 2개의 가중치(시드 0) 행 = 쿼리 토큰 · 열 = 키 토큰 · 셀 = 가중치(행 합 1) · 진할수록 큼 · 굵은 테두리 = 따라간 t3 행 헤드 1 t1 t2 t3 t4 t5 t1 0.170 0.082 0.428 0.179 0.140 t2 0.117 0.166 0.381 0.229 0.108 t3 0.293 0.115 0.197 0.144 0.251 t4 0.228 0.249 0.152 0.139 0.233 t5 0.212 0.056 0.407 0.162 0.162 헤드 2 t1 t2 t3 t4 t5 t1 0.159 0.261 0.155 0.249 0.176 t2 0.551 0.023 0.018 0.016 0.391 t3 0.172 0.262 0.157 0.250 0.158 t4 0.187 0.134 0.291 0.177 0.211 t5 0.357 0.106 0.115 0.092 0.331 3 점수 ÷ 2 헤드 1 t3 행 1.308 · −0.573 · 0.510 · −0.108 · 0.997 → 각각 ÷ 2 4 softmax 헤드 1 은 t1(0.293), 헤드 2 는 t2(0.262)에 가장 많이 — 위 굵은 테두리 행 6 순서 뒤집기 입력 t5 ~ t1 → 출력 행도 같은 순서로 뒤집힘 · 값 차이 최대 2.2 × 10⁻¹⁶ 7 인과 마스크 헤드 1 t3 행 → 0.485 · 0.189 · 0.325 · 0 · 0(뒤 토큰 몫이 앞 셋으로) 직접 실행(합성 데이터) — n 5 · d_model 8 · 헤드 2 · d_k 4 · 행렬 = 표준 정규 난수(W 는 ÷ √8) · 시드 0

그림 4 · 같은 입력에서 헤드 1 은 t3 행의 가중치를 t1 에, 헤드 2 는 t2 에 가장 많이 둔다 — 헤드마다 다른 관계를 잡는다.

헤드 둘의 행 평균 엔트로피는 1.506 · 1.421 로 고른 분포(ln 5 = 1.609)보다 조금 낮다. 같은 실험을 시드 0 ~ 9 로 돌리면 헤드별 엔트로피는 1.21 ~ 1.58 로 갈리지만, 6단계의 순서 뒤집기 차이는 모든 시드에서 6.7 × 10⁻¹⁶ 이하다 — 순열 등변성은 무작위 값이 아니라 식의 성질이다.

3단계에서 √d_k 로 나누는 이유는 차원이 커질 때 드러난다. 성분이 평균 0 · 분산 1 인 q · k 의 내적은 분산이 d_k 이므로(Vaswani 외 2017 주석 4), 키 16개에 쿼리 2,000개를 무작위로 넣고 가장 큰 가중치의 평균을 d_k 별로 쟀다(시드 0 · 시드 0 ~ 4 범위 ±0.015 이내).

키 16개 · 가장 큰 가중치의 평균 가중치(0 ~ 1) 1 0.5 0 점선 = 고른 분포 1/16 = 0.0625 0.434 0.238 4 0.685 0.245 16 0.845 0.247 64 0.925 0.249 256 0.961 0.246 1,024 d_k(쿼리 · 키 차원) 나누지 않음 — 한 토큰에 몰림 √d_k 로 나눔 — 퍼짐 유지 직접 실행(합성) · 쿼리 2,000개 · 시드 0

그림 5 · 나누지 않으면 d_k 만 키워도 가장 큰 가중치가 0.434 에서 0.961 로 올라 한 토큰에 몰리고, √d_k 로 나누면 0.24 근처에 머문다.

내적의 분산은 d_k 4 · 16 · 64 · 256 · 1,024 에서 4.0 · 16.4 · 64.6 · 256.9 · 1,020.5 로 d_k 를 그대로 따랐고, √d_k 로 나누면 1 근처로 돌아온다. 가중치가 0.96 처럼 한 키에 몰리면 softmax 기울기가 거의 0 이 되어 나머지 키로 학습 신호가 가지 않는다.

🔑 가중치를 한 토큰에 몰리게 하는 것은 내용이 아니라 차원이다 — 나누지 않으면 같은 무작위 입력에서도 d_k 만 키워 최대 가중치가 0.43 에서 0.96 으로 오른다.

6비교 — 점수 함수와 키 · 값 공유 방식

기준스케일드 내적 멀티헤드가산 어텐션다중 쿼리(MQA)그룹 쿼리(GQA)선형 어텐션
점수q · k ÷ √d_k은닉 1계층 순방향 신경망멀티헤드와 같음멀티헤드와 같음특징 사상 φ(q) · φ(k)
쿼리 h 개일 때 KV 헤드h(헤드 구분 없음)1G(1 < G < h)h
길이 n 에 대한 계산O(n² · d)O(n²) · 행렬곱 최적화 어려움O(n² · d)O(n² · d)O(n · d²)
품질 근거기준작은 d_k 에서 내적과 비슷(3.2.1절)dev BLEU 26.7 → 26.5(Shazeer 2019 표 1)평균 47.2 → 47.1(Ainslie 외 2023 표 1)기준과 비슷 · softmax 아님(초록)
디코드 비용 근거디코더 46 µs/토큰—3.8 µs/토큰(Shazeer 2019 표 2)1.51 → 0.28 초/표본(표 1)긴 시퀀스 최대 4,000배 빠름(Katharopoulos 외 2020)

분석학습 · 프리필이 중심이면 스케일드 내적 멀티헤드를 그대로 두고, 디코드 속도가 병목인 생성 모델은 품질 손실이 가장 작은 GQA 를 먼저 검토하며, softmax 를 버려도 되는 매우 긴 신호에서만 선형 어텐션을 고른다. 근거는 MQA · GQA 가 점수 식을 바꾸지 않고 키 · 값 헤드만 줄여 디코드의 메모리 대역폭 병목을 줄인다는 Shazeer 2019 3절과, GQA-8 이 멀티헤드 평균 47.2 에 0.1 차이로 붙은 Ainslie 외 2023 표 1 이다.

7실무 진단 — 가중치 분포 · 헤드 · 디코드 비용으로 가르기

분석가중치 행렬을 한 번 뽑아 분포 모양(한 키 몰림 · 첫 토큰 몰림)부터 보고, 헤드 기여와 디코드 비용은 그다음에 본다. 모양 확인은 순전파 한 번이면 되지만, 헤드 기여는 헤드를 끄고 다시 평가해야 하기 때문이다(아래 표 1 · 2행 ↔ 3행).

#증상의심 원인구성 요소확인 자료판정 기준(근거)
1학습 초반부터 행마다 가중치 하나가 1 에 가깝고 손실이 멈춤√d_k 나누기 누락 · 온도 설정 오류점수 계산행별 최대 가중치 평균 · 점수 분산점수 분산이 d_k 근처면 나누기가 빠짐 · 나눈 뒤 분산 ≈ 1(Vaswani 외 2017 주석 4 · 그림 5)
2거의 모든 헤드 · 계층이 첫 토큰에 가중치를 몰아 둠어텐션 싱크softmax키 위치별 가중치 평균의미 없는 첫 토큰에도 생기는 현상 · 창 어텐션에서 첫 토큰 키 · 값을 지울 때만 품질이 무너지면 싱크 의존(Xiao 외 2023)
3헤드 여럿을 꺼도 지표 변화가 작음중복 헤드멀티헤드헤드 마스킹 뒤 평가 지표인코더 헤드 48개 중 38개를 지워 BLEU 0.15 하락 사례(Voita 외 2019) → 가지치기 후보
4생성 때 토큰당 시간이 길어지고 연산 사용률은 낮음키 · 값 다시 읽기의 메모리 대역폭KV 헤드 수토큰당 시간 · KV 헤드 수 · 묶음 크기다중 쿼리로 디코더 46 → 3.8 µs/토큰(Shazeer 2019 표 2) → GQA 전환 검토
5어텐션 지도로 근거를 설명했는데 다른 중요도와 어긋남가중치 ≠ 설명가중치 해석기울기 기반 중요도와의 순위 상관상관이 낮고 전혀 다른 분포로도 같은 예측이 나옴(Jain · Wallace 2019) → 설명은 XAI 기법으로

1 · 2행은 가중치를 뽑는 순전파 한 번으로 끝나고, 3행은 헤드를 하나씩 끄며 다시 평가해야 한다. 4행은 학습이 아니라 서빙 지표에서 보이므로 생성 서비스에서만 보고, 5행은 진단이 아니라 해석 단계의 점검이다.

8시험 대비

출제 정보 컴퓨터시스템응용(138회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 Q · K · V 계산 과정을 단계로 설명하는 동작 · 절차 설명형과, 멀티헤드에서 MQA · GQA · 선형 어텐션으로 이어진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 절차형이면 그림 3 흐름도에 식 (1)과 그림 4 의 숫자 사례를 붙이고, 발전형이면 비교 표의 KV 헤드 수 · 계산량 두 축으로 정리한 뒤 그림 5 로 √d_k 의 이유를 덧붙인다.

답안 목차
  1. 개요 — 정의(Q · K · V 를 한 시퀀스에서 만듦) · 교차 어텐션과의 차이 · 등장(2016 intra-attention → 2017 스케일드 내적)
  2. 구조 — 그림 3 투영 · 헤드 분할 · Concat · W^O 흐름도 + 매개변수 4 × d_model²
  3. 동작 — 식 (1) 단계 · 그림 4 헤드 2개 가중치 사례(점수 ÷ √d_k → softmax → 가중합)
  4. 핵심 원리 — 그림 5 √d_k 나누기와 가중치 쏠림 · 순열 등변성(위치 인코딩이 필요한 이유)
  5. 발전 — 비교 표(멀티헤드 · 가산 · MQA · GQA · 선형) · KV 헤드 수와 디코드 비용
  6. 한계와 해석 — n² 계산 · 어텐션 싱크 · 중복 헤드 · 가중치 ≠ 설명

꼭 쓸 키워드
쿼리키값스케일드 내적멀티헤드순열 등변성인과 마스크다중 쿼리 어텐션그룹 쿼리 어텐션어텐션 싱크

다른 답안과 차이를 내는 한 가지는 그림 5 다 — d_k 를 4 에서 1,024 로 키울 때 나누지 않은 최대 가중치가 0.434 → 0.961 로 오르고 나눈 쪽은 0.24 근처에 머무는 막대 하나로 √d_k 의 이유를 수치로 보인다.

9오해와 사실

  • 오해가중치가 큰 토큰이 곧 모델 예측의 근거다.
    사실어텐션 가중치는 기울기 기반 중요도와 자주 상관이 없고, 아주 다른 가중치 분포로도 같은 예측이 나온다(Jain · Wallace 2019).
  • 오해헤드는 많을수록 좋고 모두 필요하다.
    사실학습이 끝난 모델에서 헤드 상당수를 지워도 성능이 크게 떨어지지 않고 일부 계층은 헤드 하나로 줄여도 되며(Michel 외 2019), 계산량을 고정하면 헤드 8개 · d_k 16 이 헤드 2개 · d_k 64 보다 BLEU 가 낮았다(Shazeer 2019 표 1 · 25.8 ↔ 26.2).
  • 오해첫 토큰에 가중치가 몰리는 것은 고장이다.
    사실의미가 없는 첫 토큰에도 강한 점수가 몰리는 어텐션 싱크 현상이 알려져 있고, 창 어텐션에서 첫 토큰의 키 · 값만 남겨도 품질이 크게 회복된다(Xiao 외 2023).

10핵심 정리

구성 요소식 · 크기정하는 것바꾸면 생기는 일진단에서 볼 것
쿼리 QX W^Q · n × d어떤 키와 맞을지가중치 지도가 바뀜행별 최대 가중치
키 KX W^K · n × d어떤 쿼리에 찾힐지가중치 지도가 바뀜키 위치별 평균 가중치
값 VX W^V · n × d섞여 나갈 내용같은 지도에서 출력만 바뀜출력 노름
스케일 1/√d_k점수 분산 d_k → 1분포의 퍼짐빠지면 한 키 몰림점수 분산
멀티헤드h 개 · d_k = d / h관계 종류 수일부는 지워도 지표 유지헤드 마스킹 결과
KV 헤드 공유MQA 1 · GQA G디코드 때 읽는 키 · 값 양속도 ↑ · 품질 소폭 ↓토큰당 시간
출력 투영 W^Oh · d_v × d_model헤드 결과 합성출력 공간이 바뀜다음 블록 입력
인과 마스크위 삼각형 −∞볼 수 있는 키 범위빠지면 뒤 토큰 엿봄위 삼각형 가중치 = 0

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Attention Is All You Need (Vaswani et al.) — 스케일드 내적 식(식 1) · √d_k 주석 4 · 멀티헤드(3.2.2절) · 세 가지 쓰임(3.2.3절)을 원문으로 볼 때
    arXiv · NIPS 2017 · 2017-06 · arxiv.org/abs/1706.03762 · 확인 2026-11-13
  3. ★ Fast Transformer Decoding: One Write-Head is All You Need (Shazeer) — 디코드가 키 · 값 다시 읽기의 메모리 대역폭에 묶이는 이유와 다중 쿼리 어텐션을 볼 때
    arXiv · 2019-11 · arxiv.org/abs/1911.02150 · 확인 2026-11-13
  4. ★ GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (Ainslie et al.) — KV 헤드 수를 1 과 h 사이로 두는 그룹 쿼리 어텐션의 품질 · 속도 표(표 1)를 볼 때
    arXiv · EMNLP 2023 · 2023-05 · arxiv.org/abs/2305.13245 · 확인 2026-11-13
  5. ★ Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned (Voita et al.) — 헤드마다 맡는 역할과 헤드 대부분을 지워도 품질이 유지되는 결과를 볼 때
    arXiv · ACL 2019 · 2019-05 · arxiv.org/abs/1905.09418 · 확인 2026-11-13
  6. ★ Attention is not Explanation (Jain · Wallace) — 어텐션 가중치를 예측 근거로 읽으면 안 되는 이유를 볼 때
    arXiv · NAACL 2019 · 2019-02 · arxiv.org/abs/1902.10186 · 확인 2026-11-13
  7. 본문 근거
  8. Neural Machine Translation by Jointly Learning to Align and Translate (Bahdanau et al.) — arXiv · ICLR 2015 · 2014-09 · arxiv.org/abs/1409.0473 · 확인 2026-11-13
  9. Long Short-Term Memory-Networks for Machine Reading (Cheng et al.) — arXiv · EMNLP 2016 · 2016-01 · arxiv.org/abs/1601.06733 · 확인 2026-11-13
  10. A Structured Self-attentive Sentence Embedding (Lin et al.) — arXiv · ICLR 2017 · 2017-03 · arxiv.org/abs/1703.03130 · 확인 2026-11-13
  11. Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention (Katharopoulos et al.) — arXiv · ICML 2020 · 2020-06 · arxiv.org/abs/2006.16236 · 확인 2026-11-13
  12. Are Sixteen Heads Really Better than One? (Michel et al.) — arXiv · NeurIPS 2019 · 2019-05 · arxiv.org/abs/1905.10650 · 확인 2026-11-13
  13. What Does BERT Look At? An Analysis of BERT's Attention (Clark et al.) — arXiv · BlackboxNLP 2019 · 2019-06 · arxiv.org/abs/1906.04341 · 확인 2026-11-13
  14. Efficient Streaming Language Models with Attention Sinks (Xiao et al.) — arXiv · ICLR 2024 · 2023-09 · arxiv.org/abs/2309.17453 · 확인 2026-11-13
  15. NumPy v2.4 Manual - numpy.random.Generator.standard_normal — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generated/numpy.random.Generator.standard_normal.html · 확인 2026-11-13