AI › 인공지능 개요 › 딥러닝 › 모델 구조

트랜스포머Transformer

쿼리 · 키 · 값 벡터의 내적으로 토큰 사이 가중치를 구하는 셀프 어텐션과 위치별 순방향 신경망을 한 블록으로 쌓아, 순환 없이 시퀀스 전체를 한 번에 처리하는 신경망 구조다.

1요약

  1. 트랜스포머는 순환 · 합성곱을 빼고 어텐션만으로 토큰 사이 관계를 계산하는 인코더 · 디코더 구조(Vaswani 외 2017)이고, 그 위에서 BERT 같은 인코더 모델과 LLM 같은 디코더 모델이 돈다.
  2. 순환 신경망은 토큰 n개를 n번 차례로 계산해 먼 토큰 사이 경로가 O(n)이었는데, 셀프 어텐션은 순차 연산과 경로 길이를 O(1)로 줄여(Vaswani 외 2017 표 1) 기본형을 GPU 8장에서 10만 step · 12시간 만에 학습했다(5.2절).
  3. 「긴 입력에서 안 된다」는 무엇이 길이에 묶였는가로 가른다 — 길이 2배에 메모리가 4배면 n × n 점수 행렬, 학습 때보다 먼 위치에서만 품질이 떨어지면 위치 인코딩, 순서를 바꿔도 출력이 같으면 위치 정보 누락이다.

2등장 배경

2014년 무렵 번역 모델은 순환 신경망 인코더가 원문 전체를 고정 길이 벡터 하나에 담아 디코더에 넘겼고, 문장이 길수록 그 벡터 하나에 정보가 다 담기지 않았다. Bahdanau 외(2014)는 이 고정 길이 벡터를 성능의 병목으로 지목하고, 디코더가 단어마다 원문의 관련 위치를 찾아 가중합하는 어텐션을 붙였다. 다만 계산은 여전히 순환이라 토큰을 차례로 처리해야 했다.

2017년 Vaswani 외는 순환을 아예 빼고 내적 어텐션과 위치별 순방향 신경망만으로 인코더 · 디코더를 쌓은 트랜스포머를 냈다 — 기본형은 6개 블록 · d_model 512 · 헤드 8 · 매개변수 6,500만 개다(3.1 · 3.2.2절 · 표 3). 2018년 Devlin 외는 인코더만 12 · 24개 쌓은 BERT(1억 1,000만 · 3억 4,000만 매개변수)를 입력 토큰 15% 를 가리고 맞히게 학습해 GLUE 80.5 를 얻었다.

지금은 디코더만 쌓은 구조가 LLM 의 바탕이 됐고, 남은 약점인 문맥 길이 제곱의 계산은 FlashAttention(Dao 외 2022) 같은 계산 방식과 RoPE(Su 외 2021) 같은 위치 표현이 보완한다.

3쉽게 이해하기 — 원탁 회의

원탁에 참석자 넷이 좌석 번호를 달고 앉아, 저마다 이름표(무엇을 아는가)와 메모(전할 내용)를 앞에 놓았다. 한 사람이 질문 카드를 들고 모든 이름표와 맞대 보며 누구 말에 얼마나 귀 기울일지 비율을 정하고, 그 비율대로 메모를 모아 자기 노트를 고쳐 쓴다. 넷이 이 일을 동시에 하고, 분과 여덟 곳이 서로 다른 질문 카드로 같은 회의를 따로 연다. 회의록을 쓰는 서기 쪽에는 가림판이 있어 이미 적힌 줄까지만 본다.

원탁의 참석자 좌석 번호 1 ~ 4 토큰 벡터 위치 인코딩 질문 카드 · 이름표 서로 맞대 봄 쿼리 Q 키 K 귀 기울일 비율 합이 1 이 되게 어텐션 가중치 softmax(QKᵀ / √d_k) 메모 모으기 비율만큼 모음 값 V 가중합 고쳐 쓴 노트 문맥을 담음 출력 벡터 다음 블록의 입력 회의 규칙 분과 8곳 · 가림판 멀티헤드(헤드 8) 인과 마스크 1 2 3 4 모든 참석자에게 같은 규칙 ① 질문 카드를 듦 · ② 이름표와 맞대기 · ③ 비율 정하기 · ④ 메모를 모아 노트에 · 점선 = 회의 전체 규칙

그림 1 · 참석자는 질문 카드와 이름표를 맞대 귀 기울일 비율을 정하고, 그 비율대로 메모를 모아 노트를 고쳐 쓴다.

자리에 앉기좌석 번호를 달고 앉음
질문 카드무엇이 궁금한지 적음
이름표 훑기모든 이름표와 맞대 봄
비율 정하기누구 말을 얼마나 들을지
메모 모으기비율대로 받아 적음
노트 고쳐 쓰기다음 회의에 들고 감
비유 — 좌석 번호가 없으면 누가 물었는지 모른다 순서 가 순서 나 물었다 노트 좌석 번호 없음 위치 정보 없음 개 사람 물었다 사람 개 물었다 같은 벡터 좌석 번호 붙임 + 위치 인코딩 1 개 2 사람 3 물었다 1 사람 2 개 3 물었다 다른 벡터 실제 — 위치 정보가 없으면 순서만 바꾼 두 입력의 출력이 같다 가중합은 더하는 순서와 무관하다 → 임베딩에 위치 벡터 PE(pos)를 더해 같은 토큰도 자리마다 다르게 만든다 PE(pos, 2i) = sin(pos / 10000^(2i / d_model)) · 홀수 차원은 cos(Vaswani 외 2017 3.5절) · 동그라미 숫자 = 좌석 번호(위치)

그림 2 · 좌석 번호가 없으면 자리를 바꿔 앉아도 같은 노트가 나와, 누가 누구를 물었는지 가리지 못한다.

비유 속 역할실제 이름실제로 하는 일
참석자토큰 벡터(임베딩)토큰마다 d_model 차원 벡터 하나로 블록에 들어간다
좌석 번호위치 인코딩위치마다 정해진 벡터를 임베딩에 더해 순서를 알린다
질문 카드쿼리 Q이 토큰이 찾는 정보를 W^Q 투영으로 만든 벡터
이름표키 K다른 토큰이 쿼리와 맞대 보이는 벡터(W^K 투영)
메모값 V가중치만큼 섞여 출력이 되는 벡터(W^V 투영)
귀 기울일 비율어텐션 가중치QKᵀ 를 √d_k 로 나눈 뒤 softmax 로 합 1 을 만든다
분과 여덟 곳멀티헤드 어텐션차원을 8 조각으로 나눠 서로 다른 관계를 따로 계산한다
서기의 가림판인과 마스크디코더에서 뒤 위치의 점수를 −∞ 로 막아 앞만 보게 한다

⚠ 비유가 맞지 않는 곳: 질문 카드 · 이름표 · 메모는 참석자가 고르지 않고 학습된 투영 행렬이 같은 벡터에서 함께 만들어 내며, 참석자는 자기 자신의 메모에도 귀 기울인다(대각 성분). 회의도 한 번이 아니라 블록 수만큼 6번 거듭된다.

4구조 — 인코더 · 디코더 블록

블록 하나는 서브 계층 두 개(셀프 어텐션 · 위치별 순방향 신경망)로 이루어지고, 서브 계층마다 잔차 연결 뒤 계층 정규화 LayerNorm(x + Sublayer(x)) 를 둔다(Vaswani 외 2017 3.1절). 디코더 블록은 여기에 인코더 출력을 키 · 값으로 쓰는 교차 어텐션을 하나 더 넣는다. 어텐션 식은 Attention(Q, K, V) = softmax(QKᵀ / √d_k) V 이며, d_k 가 크면 내적의 분산이 d_k 로 커져 softmax 기울기가 0 에 가까워지므로 √d_k 로 나눈다(3.2.1절).

인코더 입력 전체를 서로 봄 디코더 앞 토큰 + 인코더 출력을 봄 선형 + softmax → 다음 토큰 확률 × N = 6 더하기 · 정규화 FFN 512 → 2,048 → 512 더하기 · 정규화 교차 어텐션 Q = 디코더 · K · V = 인코더 더하기 · 정규화 마스크 셀프 어텐션 앞 토큰만 · 헤드 8 + 위치 인코딩 출력 임베딩 · 한 토큰 밀림 × N = 6 더하기 · 정규화 FFN 512 → 2,048 → 512 더하기 · 정규화 멀티헤드 셀프 어텐션 모든 토큰 · 헤드 8 + 위치 인코딩 입력 임베딩 · 512차원 인코더 출력 → K · V 계산은 아래에서 위로 토큰 · 위치 모델(어텐션 · FFN) 잔차 더하기 · 계층 정규화 출력 점선 = 6번 쌓는 블록 · 굵은 화살 = 인코더 마지막 블록 출력이 디코더 모든 블록의 교차 어텐션으로

그림 3 · 인코더는 입력 전체를 서로 보게 하는 블록을 6번 쌓고, 디코더는 앞 토큰만 보는 셀프 어텐션 뒤에 인코더 출력을 읽는 교차 어텐션을 더한다.

요소크기(원 논문 기본형)역할근거
임베딩 · 위치 인코딩d_model 512 · 사인 · 코사인토큰과 위치를 같은 차원 벡터로 더함3.4 · 3.5절
멀티헤드 셀프 어텐션헤드 h 8 · d_k = d_v = 64토큰끼리 정보를 섞는 유일한 곳3.2.2절
마스크 셀프 어텐션위 삼각형 −∞디코더가 뒤 토큰을 못 보게 막음3.2.3절
교차 어텐션Q = 디코더 · K · V = 인코더디코더 위치마다 입력 전체를 읽음3.2.3절
위치별 FFN512 → 2,048 → 512 · ReLU위치마다 따로 같은 변환3.3절
잔차 · 계층 정규화서브 계층마다 · 드롭아웃 0.1깊이 6에서도 기울기를 전달3.1 · 5.4절
선형 + softmax임베딩과 가중치 공유다음 토큰 확률3.4절

이 블록을 어떻게 고르느냐에 따라 세 형태가 된다 — 인코더만 쌓으면 양방향으로 보는 BERT(분류 · 추출), 디코더만 쌓으면 앞만 보는 생성 모델(LLM), 둘 다 두면 원 논문의 번역 모델이다(Devlin 외 2018).

🔑 트랜스포머에서 토큰끼리 정보를 섞는 곳은 어텐션뿐이고 FFN 은 위치마다 따로 계산한다 — 그래서 순서 정보는 위치 인코딩으로만 들어오고, 문맥 길이의 부담도 어텐션 한 곳에 몰린다.

5동작 — 네 토큰 문장의 셀프 어텐션 한 헤드

「고양이가 · 생선을 · 물고 · 달아났다」 네 토큰을 인코더 셀프 어텐션 한 헤드가 처리하는 사례다. 행렬 값은 설명용 가정 값(d_k 4 · V = 단위 행렬로 두어 출력이 가중치 그대로 보이게)이고, 계산은 Python 3.14.0 · NumPy 2.4.3 으로 직접 실행했다.

  1. 토큰 임베딩에 위치 0 ~ 3 의 위치 인코딩을 더해 네 벡터를 만든다(3.5절).
  2. 같은 네 벡터에 W^Q · W^K · W^V 를 곱해 4 × 4 행렬 Q · K · V 를 얻는다.
  3. 점수 QKᵀ 를 계산한다 — 「달아났다」 행은 5 · 0 · 3 · 1 이다.
  4. √d_k = 2 로 나눠 2.5 · 0 · 1.5 · 0.5 가 된다(3.2.1절).
  5. 행마다 softmax 를 취해 0.631 · 0.052 · 0.232 · 0.085 를 얻는다 — 「달아났다」는 「고양이가」에 63% 를 둔다.
  6. 가중치로 V 를 가중합해 「달아났다」의 새 벡터를 만든다 — 주어 「고양이가」의 정보가 63% 섞인다.
  7. 헤드 8개의 출력을 이어 붙여 W^O 로 512차원에 되돌리고, 잔차 더하기 · 계층 정규화 뒤 FFN 으로 보낸다(3.2.2절).
  8. 같은 계산을 디코더에서 하면 4단계 점수의 위 삼각형을 −∞ 로 막아 「생선을」 행이 0.182 · 0.818 · 0 · 0 이 된다(3.2.3절).
인코더 셀프 어텐션 — 모든 키를 봄 디코더 마스크 — 앞 키만 봄 행 = 쿼리 토큰 · 열 = 키 토큰 · 셀 = 가중치(행 합 1) 고양이가 생선을 물고 달아났다 고양이가 생선을 물고 달아났다 0.455 0.102 0.276 0.167 0.114 0.510 0.188 0.188 0.297 0.297 0.297 0.109 0.631 0.052 0.232 0.085 고양이가 생선을 물고 달아났다 고양이가 생선을 물고 달아났다 1 0 0 0 0.182 0.818 0 0 0.333 0.333 0.333 0 0.631 0.052 0.232 0.085 3 점수 QKᵀ 「달아났다」 행 = 5 · 0 · 3 · 1 4 ÷ √d_k = ÷ 2 2.5 · 0 · 1.5 · 0.5 5 softmax 0.631 · 0.052 · 0.232 · 0.085 → 「고양이가」 63% (왼쪽 굵은 테두리 행) 8 마스크 위 삼각형 점수 −∞ → 「생선을」 행 0.182 · 0.818 · 0 · 0 (오른쪽 굵은 테두리 행) 설명용 가정 값 — d_k 4 · 헤드 1 · V = 단위 행렬 · 진한 셀 = 큰 가중치 · 점선 셀 = 마스크로 막힘 · 굵은 테두리 = 따라간 행

그림 4 · 「달아났다」 쿼리는 키 넷 가운데 「고양이가」에 0.631 을 두고, 디코더 마스크는 같은 점수에서 뒤 토큰 셀을 0 으로 만든다.

같은 4단계를 √d_k 로 나누지 않고 계산하면 「달아났다」 행이 0.862 · 0.006 · 0.117 · 0.016 으로 한 키에 몰린다. d_k 가 64 처럼 커지면 이 쏠림이 softmax 를 기울기가 거의 없는 구간으로 밀어 학습이 멈추므로 원 논문은 나누기를 식에 넣었다(3.2.1절 주석 4).

셀프 어텐션은 쿼리 n개 × 키 n개 점수 행렬을 계층 · 헤드마다 만든다. 매개변수 수는 문맥 길이와 무관하지만, 이 행렬은 n 의 제곱으로 커진다(Vaswani 외 2017 표 1 · O(n² · d)).

길이 n 을 2배로 → 점수 행렬 메모리 4배 점수 행렬 메모리(로그 눈금) GPU 메모리 24 GiB(가정) 0.25 GiB 1 GiB 4 GiB 16 GiB 64 GiB ×4 ×4 ×4 ×4 넘침 2,048 4,096 8,192 16,384 32,768 문맥 길이 n(토큰) 24 GiB 안 24 GiB 넘침 가정 값 — 한 계층 · 헤드 32 · fp16 2바이트 · 묶음 1 · 메모리 = n × n × 32 × 2바이트(가중치 · 활성값 제외)

그림 5 · 문맥 길이를 2배로 늘릴 때마다 점수 행렬 메모리는 4배가 되어, 16,384 토큰까지 들어가던 24 GiB 가 32,768 토큰에서 넘친다.

🔑 문맥 길이를 2배로 늘려도 매개변수는 그대로이고 점수 행렬만 4배가 된다 — 긴 문맥의 한계는 모델 크기가 아니라 n × n 에서 온다.

FlashAttention 은 이 행렬을 GPU HBM 에 통째로 쓰지 않고 SRAM 크기의 타일로 나눠 계산해 같은 결과를 내며, 길이 1K 의 GPT-2 학습을 3배 빠르게 했다(Dao 외 2022). PyTorch 의 scaled_dot_product_attention 은 FlashAttention-2 · 메모리 효율 · C++ 구현 가운데 하나를 골라 쓴다(PyTorch SDPA).

6비교 — 순환 신경망 · 합성곱 신경망

기준순환 신경망합성곱 신경망트랜스포머(셀프 어텐션)
계층당 계산량O(n · d²)O(k · n · d²)O(n² · d)
순차 연산O(n) — 토큰 차례로O(1)O(1)
먼 두 위치 사이 경로O(n)O(log_k n)(팽창 합성곱)O(1)
순서 정보계산 순서 자체커널 안 상대 위치위치 인코딩을 더해야 생김
길이가 늘 때 먼저 커지는 것학습 시간(병렬 불가)필요한 계층 수점수 행렬 메모리

분석문맥 길이 n 이 표현 차원 d 보다 짧은 문장 · 문서는 트랜스포머를, n 이 d 보다 훨씬 긴 신호(수만 샘플의 센서 열)는 합성곱이나 이웃 r 개만 보는 제한 어텐션을 먼저 검토한다. 근거는 n < d 일 때 셀프 어텐션이 순환 계층보다 계산이 적고, 제한 어텐션은 계산을 O(r · n · d) 로 줄이는 대신 경로가 O(n / r) 로 늘어난다는 원 논문 4절 · 표 1 이다.

7실무 진단 — 어텐션 구성 요소별 원인 가르기

분석메모리 · 마스크처럼 설정과 측정으로 바로 확인되는 것부터 보고, 학습 안정성(정규화 위치)은 그다음에 본다. 길이를 2배로 했을 때 메모리 증가분이 약 4배면 원인은 모델 크기가 아니라 점수 행렬이다(Vaswani 외 2017 표 1 · 아래 표 1행).

#증상의심 원인구성 요소확인 자료판정 기준(근거)
1긴 입력에서만 CUDA 메모리 부족n × n 점수 행렬셀프 어텐션길이별 torch.cuda.max_memory_allocated()(바이트)길이 2배에 증가분 약 4배면 점수 행렬 → SDPA 의 FlashAttention 백엔드(Dao 외 2022)
2학습 손실은 낮은데 생성 결과가 엉망인과 마스크 누락디코더 셀프 어텐션is_causal · attn_mask · 가중치 행렬위 삼각형 가중치가 0 이 아니면 뒤 토큰을 엿봄(3.2.3절) · 두 인자를 함께 주면 SDPA 가 오류
3패딩이 많은 묶음만 결과가 다름불리언 마스크 뜻 뒤집힘마스크마스크의 True 가 뜻하는 것SDPA 는 True = 참여, MultiheadAttention 의 key_padding_mask 는 True = 제외(PyTorch 문서)
4토큰 순서를 섞어도 같은 출력위치 인코딩 누락입력 임베딩순서만 바꾼 두 입력의 같은 토큰 출력차이가 0 이면 위치 정보가 없음(3.5절)
5학습 때보다 먼 위치에서만 품질 급락위치 표현의 외삽 한계위치 인코딩위치별 손실 · 최대 위치 수학습된 위치 임베딩은 학습 길이(BERT 512) 밖 값이 없음(Devlin 외 2018)
6학습 첫 수천 step 에서 손실 발산출력 쪽 큰 기울기 + 큰 학습률정규화 위치학습률 일정 · LayerNorm 위치Post-LN 에서 warmup(원 논문 4,000 step)을 빼면 발산하고 Pre-LN 에서 사라지면 정규화 위치(Xiong 외 2020)

1 · 2 · 3행은 측정 한 번이나 인자 확인으로 끝난다. 4 · 5행은 입력을 바꿔 다시 넣어 보고, 6행은 학습 설정을 바꿔 다시 돌려야 하므로 마지막에 본다.

8시험 대비

출제 정보 정보관리(137회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 인코더 · 디코더 블록과 어텐션 식을 그려 설명하는 구조 · 구성형과, 순환 신경망 · 합성곱 신경망과의 차이를 묻는 비교형이 나올 수 있다. 구조형이면 그림 3 블록도에 Q · K · V 식과 세 가지 어텐션 쓰임을 붙이고, 비교형이면 계산량 · 순차 연산 · 경로 길이 세 축의 표 뒤에 n² 한계와 보완 기술을 쓴다.

답안 목차
  1. 개요 — 정의(어텐션만으로 시퀀스 처리) · 등장(2014 Bahdanau 어텐션 → 2017 트랜스포머 → 2018 BERT)
  2. 구조 — 그림 3 인코더 · 디코더 블록도 + 요소 표(d_model 512 · 헤드 8 · FFN 2,048 · N 6)
  3. 어텐션 원리 — softmax(QKᵀ / √d_k) V 식 · √d_k 로 나누는 이유 · 그림 4 가중치 행렬 계산 사례
  4. 세 가지 어텐션 — 인코더 셀프 · 디코더 마스크 셀프 · 교차 어텐션 · 위치 인코딩(사인 · 코사인)
  5. 비교 — 순환 · 합성곱 대비 표(계산량 O(n² · d) · 순차 O(1) · 경로 O(1))
  6. 한계와 보완 — 그림 5 문맥 길이 제곱 메모리 · FlashAttention · RoPE · Pre-LN

꼭 쓸 키워드
셀프 어텐션쿼리키값스케일드 내적멀티헤드위치 인코딩인과 마스크교차 어텐션잔차 연결

다른 답안과 차이를 내는 한 가지는 그림 4 다 — 점수 5 · 0 · 3 · 1 이 √d_k 나누기와 softmax 를 거쳐 0.631 이 되는 과정을 숫자로 보이고 마스크로 위 삼각형이 0 이 되는 것을 옆에 두면, 식과 디코더 동작이 한 장으로 설명된다.

9오해와 사실

  • 오해멀티헤드 어텐션은 헤드 수만큼 계산량이 늘어난다.
    사실헤드마다 차원을 d_model / h = 64 로 줄여 나누므로 전체 계산량은 512차원 단일 헤드와 비슷하다(Vaswani 외 2017 3.2.2절).
  • 오해트랜스포머는 원래 문장 생성용 디코더 구조다.
    사실원 논문은 번역용 인코더 · 디코더 구조이고, BERT 는 인코더만 24개까지 쌓아 문장 이해에 썼다(Devlin 외 2018) — 디코더만 쓰는 것은 그 뒤에 나온 형태다.
  • 오해FlashAttention 은 어텐션을 근사해 정확도를 조금 내준다.
    사실같은 값을 계산하는 정확한(exact) 어텐션이고, 빨라지는 이유는 HBM 읽기 · 쓰기를 줄인 데 있다(Dao 외 2022).

10핵심 정리

구성 요소있는 곳무엇끼리 섞나학습 매개변수진단에서 볼 것
토큰 임베딩인코더 · 디코더 입력섞지 않음어휘 수 × 512출력 계층과 가중치 공유 여부
위치 인코딩임베딩에 더함섞지 않음(위치를 표시)사인 · 코사인 = 없음순서 바꾼 입력의 출력 차이
셀프 어텐션모든 블록같은 시퀀스의 토큰끼리W^Q · W^K · W^V · W^O점수 행렬 메모리(n²)
마스크 셀프 어텐션디코더 블록앞 토큰끼리만셀프 어텐션과 같음위 삼각형 가중치 = 0
교차 어텐션디코더 블록디코더 쿼리 ↔ 인코더 키 · 값W^Q · W^K · W^V · W^O인코더 출력 연결
위치별 FFN모든 블록섞지 않음(위치마다)W₁ 512 × 2,048 · W₂블록 매개변수의 대부분
잔차 · 계층 정규화서브 계층마다섞지 않음정규화 이득 · 편향Post-LN · Pre-LN · warmup
선형 + softmax디코더 맨 위섞지 않음임베딩과 공유다음 토큰 확률

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Attention Is All You Need (Vaswani et al.) — 어텐션 식 · 멀티헤드 · 위치 인코딩 · 계층 종류별 계산량 표(표 1)를 원문으로 볼 때
    arXiv · NIPS 2017 · 2017-06 · arxiv.org/abs/1706.03762 · 확인 2026-11-03
  3. ★ Neural Machine Translation by Jointly Learning to Align and Translate (Bahdanau et al.) — 고정 길이 벡터의 병목과 어텐션이 처음 들어온 자리를 볼 때
    arXiv · ICLR 2015 · 2014-09 · arxiv.org/abs/1409.0473 · 확인 2026-11-03
  4. ★ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (Devlin et al.) — 인코더만 쌓은 구조와 마스크 언어 모델 학습을 볼 때
    arXiv · NAACL 2019 · 2018-10 · arxiv.org/abs/1810.04805 · 확인 2026-11-03
  5. ★ FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness (Dao et al.) — 문맥 길이 제곱의 메모리 부담을 정확한 계산 그대로 줄이는 방법을 볼 때
    arXiv · NeurIPS 2022 · 2022-05 · arxiv.org/abs/2205.14135 · 확인 2026-11-03
  6. ★ On Layer Normalization in the Transformer Architecture (Xiong et al.) — 정규화 위치(Post-LN · Pre-LN)와 학습률 warmup 의 관계를 볼 때
    arXiv · ICML 2020 · 2020-02 · arxiv.org/abs/2002.04745 · 확인 2026-11-03
  7. 본문 근거
  8. RoFormer: Enhanced Transformer with Rotary Position Embedding (Su et al.) — arXiv · 2021-04 · arxiv.org/abs/2104.09864 · 확인 2026-11-03
  9. PyTorch 2.15 documentation - torch.nn.functional.scaled_dot_product_attention — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.functional.scaled_dot_product_attention.html · 확인 2026-11-03
  10. PyTorch 2.15 documentation - torch.nn.MultiheadAttention — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.MultiheadAttention.html · 확인 2026-11-03
  11. PyTorch 2.15 documentation - torch.cuda.memory.max_memory_allocated — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.cuda.memory.max_memory_allocated.html · 확인 2026-11-03
  12. NumPy v2.4 Manual - numpy.matmul — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/generated/numpy.matmul.html · 확인 2026-11-03