GPU그래픽 처리 장치 · Graphics Processing Unit
수천 개 스레드를 워프 단위로 묶어 같은 명령을 서로 다른 데이터에 함께 실행하는 SIMT 방식 병렬 프로세서다. 넓은 장치 메모리와 행렬 연산 장치를 갖춰 신경망의 학습 · 추론 계산을 맡고, 여러 장을 연결해 큰 모델을 나눠 계산한다.
1요약
- GPU 는 스레드 32개 묶음(워프)이 같은 명령을 함께 실행하는 SIMT 프로세서로, 호스트 CPU 옆 PCIe 에 붙어 HBM 같은 장치 메모리를 따로 갖고, 그 위에서 딥러닝 프레임워크의 행렬 곱 커널과 여러 장을 잇는 집합 통신이 돈다(Jia 2018 2 · 3절).
- 2012년 6천만 매개변수 이미지 분류 신경망은 3 GB GPU 한 장에 들어가지 않아 두 장에 나눠 5 ~ 6일을 학습했고(Krizhevsky 2012 1 · 3.2절), 오늘의 혼합 정밀도 Adam 학습은 매개변수 하나에 16바이트를 써 15억 매개변수 모델도 24 GB 가 든다(Rajbhandari 2020 3.1절).
- 「GPU 를 늘렸는데 빨라지지 않는다」는 한 단계 시간 중 통신 비율로 가른다 — 통신이 계산의 몇 % 인데도 느리면 한 장 안(워프 수 · 메모리), 계산과 맞먹으면 장치 사이 연결, 한 장만 늦으면 그 장치 자체다.
2등장 배경
화면 한 장의 화소 수백만 개는 모두 같은 음영 계산을 거치므로, 그래픽 처리 장치는 처음부터 «같은 계산을 많은 데이터에» 하는 쪽으로 자랐다. 2008년 Lindholm 외는 정점 · 화소를 따로 맡던 처리기를 하나의 프로그래밍 가능한 처리기 배열로 합치고, 같은 배열로 일반 계산도 하는 구조를 냈다(Lindholm 2008). 신경망의 계산 대부분이 행렬 곱이라 이 배열이 그대로 맞았다.
2012년 Krizhevsky 외는 3 GB 장치 메모리 두 장에 신경망 커널을 반씩 나눠 올려 120만 장 학습을 5 ~ 6일에 끝냈다(Krizhevsky 2012 3.2절). 2017년 세대에는 워프 하나가 16 × 16 × 16 반정밀도 행렬 곱을 한 명령으로 맡는 행렬 연산 장치가 들어갔다(Jia 2018 4.3절). 그 뒤 일의 중심은 «여러 장 묶기»로 옮겨 갔다 — 2018년 링 올리듀스로 128장에서 88% 확장 효율(Sergeev 2018 8절), 2019년 83억 매개변수를 512장에서 76% 효율(Shoeybi 2019 1절), 2020년 학습 상태를 장치마다 나눠 담는 방식(Rajbhandari 2020 5절)이 나왔다.
지금 GPU 는 학습과 대규모 추론의 기본 장치이고, 정해진 모델만 돌리는 일은 전용 NPU 가, 한 장 안의 추론 실행 방식은 추론 최적화가 맡는다. 여기서는 GPU 자체의 구조와 여러 장을 묶는 방식을 다룬다.
3쉽게 이해하기 — 전국 모의고사 채점장
교육청 담당자가 채점 지시서를 보내면, 채점실 80곳마다 조장이 32명 한 조에게 지시를 한 번 읽어 주고 32명은 각자 다른 답안지를 동시에 채점한다. 답안지 상자는 지하 서고에서 승강기로 올라와 오래 걸리므로, 조장은 상자를 기다리는 조를 두고 상자가 이미 온 다른 조에게 다음 지시를 읽는다. 채점장이 네 곳이면 마지막에 문항별 합계를 옆 채점장에 차례로 넘겨, 네 곳 모두 같은 점수표를 갖는다.
그림 1 · 담당자의 지시를 조장이 32명 한 조에 한 번 읽어 주고, 서고의 상자를 기다리는 동안 다른 조를 돌리며, 채점장끼리는 합계를 돌려 같은 점수표를 만든다.
그림 2 · 조장이 지시를 한 번만 읽으므로, 답안 종류가 갈리면 두 지시를 차례로 읽고 그동안 절반은 기다린다 — 실제 GPU 의 분기도 같은 방식으로 레인을 끈다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 교육청 담당자 | 호스트 CPU | 커널을 실행 대기열에 넣고 입력을 장치 메모리로 복사한다 |
| 채점실 80곳 | SM(스트리밍 멀티프로세서) | 워프 여러 개를 동시에 붙들고 번갈아 실행한다(한 세대 측정 80개 · Jia 2018 표 3.1) |
| 조장 | 워프 스케줄러 | 클록마다 준비된 워프 하나의 명령을 내보낸다(SM 당 4개) |
| 32명 한 조 | 워프 · 스레드 | 같은 명령을 서로 다른 데이터에 실행하고, 레지스터는 스레드마다 따로 둔다 |
| 책상 서랍 | 레지스터 · 공유 메모리 | 칩 안에서 19 ~ 28 클록에 읽는 작은 저장(Jia 2018 표 3.1) |
| 지하 서고 | HBM 장치 메모리 | 가중치 · 활성값을 담고, 한 번 읽는 데 수백 클록이 든다 |
| 조 바꾸기 | 지연 숨기기 | 메모리를 기다리는 워프 대신 준비된 워프를 실행한다 |
| 채점장끼리 합계 | 올리듀스 | 장치마다 계산한 기울기를 더해 모두 같은 값으로 맞춘다 |
⚠ 비유가 맞지 않는 곳: 실제 조 바꾸기는 레지스터가 워프마다 따로 있어 내용을 옮기지 않고 1클록 정도만 든다(Jia 2018 2.1절). 스레드는 채점원처럼 스스로 판단하지 않고, 분기 결과에 따라 레인이 꺼지고 켜질 뿐이다.
4구조 — SM · 메모리 계층 · 장치 사이 연결
GPU 한 장은 SM 수십 개, 모든 SM 이 나눠 쓰는 L2 캐시, 칩 밖의 HBM, 호스트로 가는 PCIe, 다른 GPU 로 가는 전용 연결로 이루어진다. 아래 값은 2017년 한 세대 데이터센터 GPU 를 마이크로벤치마크로 잰 값이고(Jia 2018 3절 표 3.1), 세대마다 크기는 늘지만 구성 순서는 같다.
그림 3 · 데이터는 HBM → L2 → L1 · 공유 메모리 → 레지스터로 좁아지며 가까워지고, 가까울수록 지연이 수십 분의 일로 준다.
| 요소 | 크기(한 세대 측정) | 역할 | 지연 · 대역폭 | 근거 |
|---|---|---|---|---|
| 워프 스케줄러 | SM 당 4개 | 준비된 워프를 골라 명령을 냄 | 워프 바꾸기 1클록 | Jia 2018 2.1 · 2.2절 |
| 연산 · 행렬 장치 | 처리 블록마다 | 스칼라 곱셈 · 덧셈과 워프 단위 16 × 16 × 16 반정밀도 행렬 곱 | — | Jia 2018 4.3절 |
| 레지스터 | 처리 블록당 64 KiB | 스레드마다 변수 · 워프 바꿀 때 옮기지 않음 | — | Jia 2018 그림 3.1 |
| L1 · 공유 메모리 | SM 당 128 KiB(공유 최대 96 KiB) | 블록 안 스레드가 타일을 나눠 씀 | 28 · 19 클록 · 칩 전체 12,080 GiB/s | Jia 2018 표 3.1 |
| L2 캐시 | 칩 전체 6,144 KiB | 모든 SM 공용 | 약 193 클록 | Jia 2018 표 3.1 |
| HBM 장치 메모리 | 16 GiB | 가중치 · 기울기 · 옵티마이저 상태 · 활성값 | 375 ~ 1,029 클록 · 750 GiB/s(이론 900) | Jia 2018 표 3.1 · 그림 3.2 |
| 장치 사이 연결 | 노드 안 · 노드 사이 | 기울기 · 활성값 교환 | 링크당 300 GB/s · 12.5 GB/s(한 시스템) | Rajbhandari 2020 10.2절 |
🔑 CPU 는 캐시와 분기 예측으로 «스레드 하나의 지연»을 줄이고, GPU 는 워프를 많이 붙들어 «지연 동안 다른 워프»를 돌린다 — 그래서 GPU 성능은 스레드 하나의 속도가 아니라 동시에 붙든 워프 수와 메모리 대역폭이 정한다.
5동작 — GPU 4장 데이터 병렬 학습의 한 단계
10억(1.0 × 10⁹) 매개변수 언어 모델을 GPU 4장에서 학습하는 한 단계다. 장치 메모리 40 GB · 실효 연산 100 TFLOP/s · 장치 사이 링크 100 GB/s 는 설명용 가정 값이고, 메모리 · 연산 · 통신 양은 원문 식으로 계산했다. 링 올리듀스는 NumPy 2.4.3 · default_rng(0) 합성 데이터(장치마다 100만 원소)로 직접 실행해 결과가 단순 합과 float32 더하는 순서 차이(9.5 × 10⁻⁷) 안에서 같음을 확인했다.
- 적재 — 장치마다 FP16 가중치 2 GB · FP16 기울기 2 GB · FP32 사본 · 모멘텀 · 분산 12 GB = 16 GB(16Ψ · Rajbhandari 2020 3.1절)를 올리고, 40 GB 중 24 GB 를 활성값 몫으로 남긴다.
- 배치 나누기 — 전역 배치 32 시퀀스 × 2,048 토큰 = 65,536 토큰을 장치마다 8 시퀀스(16,384 토큰)로 나눈다.
- 순전파 · 역전파 — 계산량 6 × 10⁹ × 16,384 = 9.8 × 10¹³ FLOP(토큰당 6N · Kaplan 2020 2.1절)을 100 TFLOP/s 로 0.98초에 끝낸다 · 순전파가 약 1/3 이다.
- 기울기 묶기 — 역전파가 끝난 층부터 기울기를 25 MiB 묶음(bucket)으로 모아, 남은 역전파와 겹쳐 올리듀스를 시작한다(PyTorch DDP 기본값).
- 링 올리듀스 — 2 GB 기울기를 0.5 GB 조각 4개로 나눠 이웃에게 2 × (4 − 1) = 6번 넘긴다 · 앞 3번은 받은 값을 더하고 뒤 3번은 덮어쓴다(Sergeev 2018 3절) · 장치마다 보내는 양 = 2 × 3/4 × 2 GB = 3 GB → 100 GB/s 에서 30 ms.
- 갱신 — 네 장이 같은 평균 기울기로 FP32 사본을 Adam 갱신하고 FP16 가중치를 다시 만들어, 다음 단계도 같은 가중치로 시작한다.
- 판정 — 통신 30 ms 는 계산 0.98초의 3.1% 라 겹치지 않아도 효율 97% 다 · 같은 통신을 25 Gb/s 이더넷(3.125 GB/s)으로 하면 0.96초로 계산과 맞먹어, 겹치지 않으면 효율 51% · 역전파 0.65초와 다 겹쳐도 0.31초가 남아 76% 다.
그림 4 · 링 올리듀스는 장치마다 3 GB 만 보내 100 GB/s 에서 역전파 안에 묻히지만, 25 Gb/s 연결에서는 통신이 계산만큼 길어진다.
🔑 데이터 병렬에서 장치당 통신량 2(N − 1)/N × 기울기 크기는 장치 수 N 이 늘어도 기울기 크기의 2배를 넘지 않는다 — 그래서 여러 장 확장을 막는 것은 장치 수가 아니라 «계산 시간 대비 링크 대역폭»이다.
GPU 한 장 안에서도 같은 원리가 작은 시간 단위로 돈다. 워프 하나가 계산 100 클록(가정 값) 뒤 L2 를 지나 HBM 을 읽으면 375 클록을 기다리므로(Jia 2018 그림 3.2), 스케줄러가 붙든 워프 수가 사용률을 정한다.
그림 5 · 메모리 대기 375 클록을 워프 1개로는 21% 만 채우고, 4개면 84% · 5개면 빈틈 없이 채운다.
🔑 지연을 숨기는 데 필요한 워프 수는 «대기 클록 ÷ 워프 하나의 계산 클록 + 1»이다 — 스레드마다 레지스터 · 공유 메모리를 많이 쓰는 커널은 SM 에 붙드는 워프 수가 줄어 같은 대기를 숨기지 못한다.
6비교 — 여러 장을 묶는 방식
장치 종류끼리의 비교(CPU · GPU · NPU · FPGA)는 AI 가속기 · NPU 가 다룬다. 이 절은 GPU 여러 장에 학습을 나누는 네 방식을 견준다(Ψ = 매개변수 수 · N = 장치 수).
| 기준 | 데이터 병렬 | 상태 분할 데이터 병렬 | 텐서 병렬 | 파이프라인 병렬 |
|---|---|---|---|---|
| 나누는 것 | 배치 | 배치 + 옵티마이저 상태 · 기울기 · 가중치 | 한 층의 행렬(열 · 행) | 연속한 층 묶음(단계 K 개) |
| 장치당 모델 상태 | 16Ψ 그대로 | 4Ψ + 12Ψ/N(1단계) ~ 16Ψ/N(3단계) | 약 16Ψ ÷ 텐서 병렬 수 | 약 16Ψ ÷ K |
| 단계당 통신 | 기울기 올리듀스 2Ψ 원소 | 1 · 2단계 2Ψ · 3단계 3Ψ(1.5배) | 트랜스포머 블록마다 순전파 2번 · 역전파 2번 올리듀스 | 단계 경계의 활성값 · 기울기만 |
| 연결 요구 | 노드 사이 네트워크로 충분 | 데이터 병렬과 같음 | 노드 안 넓은 연결 · 노드 밖은 효율 급락 | 낮음 |
| 비효율 | 모델 상태가 한 장에 들어가야 함 | 3단계 통신 증가 | 장치 사이 동기화가 잦음 | 거품 (K − 1)/(M + K − 1) · M ≥ 4K 면 무시할 수준 |
| 근거 | Rajbhandari 2020 7.1절 | Rajbhandari 2020 5 · 7.2절 | Shoeybi 2019 3절 · Rajbhandari 2020 1절 | Huang 2019 2.3절(M = 마이크로배치 수) |
사례의 4장에 1단계 상태 분할을 쓰면 장치당 모델 상태는 4 + 12 ÷ 4 = 7 GB 로, 데이터 병렬 16 GB 의 절반 아래가 된다.
분석모델 상태가 한 장에 들어가면 데이터 병렬, 상태만 넘치면 상태 분할을 더하고, 한 층 행렬이 넘치면 노드 안에서 텐서 병렬, 노드를 넘으면 파이프라인을 더한다. 근거는 표의 「연결 요구」 행 — 8.3B 모델은 노드 안 8장 텐서 병렬에 데이터 병렬을 겹쳐 512장 76% 효율을 냈다(Shoeybi 2019 1절).
7실무 진단 — 여러 장 학습이 느리거나 멈출 때
분석한 장 안(메모리 · 워프) → 장치 사이(통신 비율) → 한 장만 늦음(장치 상태) 순서로 본다. 한 장이 이미 막혀 있으면 장치를 늘려도 그 병목이 그대로 곱해지고, 동기식 올리듀스는 가장 늦은 장치에 맞춰 끝나기 때문이다(Sergeev 2018 3절).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 시작하자마자 out of memory | 모델 상태 16Ψ + 활성값이 장치 메모리를 넘음 | 장치 메모리 | max_memory_allocated() ↔ 16Ψ 계산 | 16Ψ 가 용량의 절반을 넘으면 상태 분할 · 활성값 재계산(Rajbhandari 2020 3절) |
| 2 | 학습 도중 out of memory · 예약량이 할당량보다 훨씬 큼 | 캐싱 할당기의 조각화 | 장치 메모리 | PyTorch memory_allocated() ↔ memory_reserved() · memory_summary() | 차이가 크면 PYTORCH_ALLOC_CONF 의 expandable_segments 를 켬(PyTorch 메모리 관리) |
| 3 | 한 장의 사용률은 높은데 연산 성능이 낮음 | 분기 · 적은 워프 수로 지연이 드러남 | SM 안 | 커널 프로파일러의 점유율 · 분기 효율 지표 | 붙든 워프 < 대기 ÷ 계산 + 1 이면 지연 노출(그림 5) |
| 4 | 장치를 늘렸는데 처리량이 비례하지 않음 | 기울기 통신이 계산과 겹치지 않음 | 장치 사이 | torch.profiler 단계별 계산 · 통신 커널 시간 | 통신 ÷ 계산이 수 % 면 정상 · 50% 근처면 연결 대역폭(사례 7단계) |
| 5 | 여러 장 중 한 장만 단계가 늦음 | 발열 · 전력 제한 · 장치 고장 | 장치 하나 | 장치별 단계 시간 · 관리 명령의 클록 · 온도 | 한 장의 단계 시간이 나머지보다 길면 그 장치를 뺀 시험으로 확인 |
프로파일러 · 관리 명령의 이름은 GPU 공급자마다 다르므로, 표는 PyTorch 쪽 이름만 적고 장치 쪽은 지표 이름으로 적었다.
8시험 대비
www.q-net.or.kr시험에서는 SIMT · SM · 메모리 계층을 그리는 구조 · 구성형, 그리고 여러 장 학습의 병렬 방식을 견주는 비교형이 나올 수 있다. 구조형은 CPU 와 다른 설계 목표(지연 숨기기)를 먼저 세우고 메모리 계층 수치로 받치며, 비교형은 장치당 메모리 · 통신량 식을 표에 넣어 «언제 무엇을»로 끝낸다.
- 개요 — 정의(SIMT · 워프 32 스레드) · 그래픽 처리기에서 범용 병렬 계산 장치로 · CPU 와의 설계 목표 차이
- 구조 — 그림 3 SM · 워프 스케줄러 · 레지스터 · L1 · 공유 메모리 · L2 · HBM 과 계층별 지연(19 ~ 1,029 클록)
- 핵심 원리 — 그림 5 워프 전환으로 메모리 대기 숨기기 · 필요 워프 수 식 · SIMT 분기 효율
- 학습 메모리 — 16Ψ 내역 표(가중치 2 · 기울기 2 · 옵티마이저 12바이트)
- 여러 장 묶기 — 그림 4 링 올리듀스 2(N − 1)/N · 데이터 · 상태 분할 · 텐서 · 파이프라인 비교표
- 결론 — 통신 ÷ 계산 비율로 병렬 방식 고르기 · NPU 와의 역할 나눔
꼭 쓸 키워드
SIMT워프SM지연 숨기기점유율공유 메모리HBM행렬 연산 장치링 올리듀스상태 분할
다른 답안과 차이를 내는 한 가지는 «16Ψ 와 2(N − 1)/N» 두 식으로 한 장 메모리와 여러 장 통신을 숫자로 보이는 것이다.
9오해와 사실
- 오해연산 코어가 많은 GPU 일수록 학습이 그만큼 빨라진다.사실코어는 워프가 메모리를 기다리는 동안 놀고, 여러 장이면 통신이 계산과 맞먹으면 효율이 크게 준다 — 사례의 25 Gb/s 연결은 겹치지 않으면 51% 다.
- 오해GPU 를 여러 장 쓰면 한 장에 안 들어가는 모델도 들어간다.사실기본 데이터 병렬은 장치마다 모델 상태 16Ψ 를 통째로 복제해 장치당 메모리가 줄지 않는다(Rajbhandari 2020 1절) — 상태 분할 · 텐서 · 파이프라인 병렬이 따로 필요하다.
- 오해if 문이 있는 코드는 GPU 에서 돌릴 수 없다.사실돌기는 하지만 한 워프 안에서 갈린 경로를 차례로 실행해 그 구간 효율이 떨어진다 — 갈림이 워프 32 스레드 경계와 맞으면 손해가 없다.
10핵심 정리
| 구분 | 맡는 일 | 단위 · 크기 | 대표 값 | 막히면 보이는 신호 |
|---|---|---|---|---|
| 워프 스케줄러 | 준비된 워프의 명령을 냄 | SM 당 4개 | 워프 전환 1클록 | 사용률 낮음 · 대기 노출 |
| 워프 · 스레드 | 같은 명령 · 다른 데이터 | 32 스레드 | 분기 시 경로마다 차례로 | 분기 효율 하락 |
| 행렬 연산 장치 | 워프 단위 행렬 곱 | 16 × 16 × 16 반정밀도 | 2017년 세대부터 | 정밀도 · 모양이 맞지 않으면 쓰이지 않음 |
| 레지스터 · 공유 메모리 | 칩 안 가까운 저장 | 64 KiB · 128 KiB | 19 ~ 28 클록 | 많이 쓰면 붙드는 워프 수 감소 |
| HBM | 모델 상태 · 활성값 | 16 GiB(한 세대) | 375 ~ 1,029 클록 · 750 GiB/s | out of memory · 대역폭 한계 |
| 링 올리듀스 | 기울기 평균 맞추기 | 2 × (N − 1)번 | 장치당 2(N − 1)/N × 기울기 | 통신 ÷ 계산 비율 상승 |
| 상태 분할 | 옵티마이저 상태 · 기울기 · 가중치 나눔 | 1 ~ 3단계 | 4Ψ + 12Ψ/N ~ 16Ψ/N | 3단계 통신 1.5배 |
| 호스트 CPU | 커널 실행 · 입력 준비 | PCIe | 입력 파이프라인 | 장치가 놀며 처리량 낮음 |
11참고 문헌
- 먼저 볼 문헌
- ★ Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking (Technical Report · arXiv:1804.06826) — SM · 워프 스케줄러 · 메모리 계층마다의 크기 · 지연 측정값을 볼 때
- ★ ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (SC20 · arXiv:1910.02054) — 학습 메모리 16Ψ 의 내역과 상태 분할 단계별 장치당 메모리 · 통신량을 볼 때
- ★ Horovod: fast and easy distributed deep learning in TensorFlow (arXiv:1802.05799) — 링 올리듀스가 2 × (N − 1)번 주고받는 방식과 여러 장 확장 효율을 볼 때
- ★ Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (arXiv:1909.08053) — 한 층의 행렬을 여러 장에 나누는 텐서 병렬과 올리듀스 위치를 볼 때
- 본문 근거
- GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism (arXiv:1811.06965) — Huang et al. · 2018-11 ·
arxiv.org/abs/1811.06965· 확인 2026-11-12 - ImageNet Classification with Deep Convolutional Neural Networks (NeurIPS 2012) — Krizhevsky · Sutskever · Hinton · 2012-12 ·
proceedings.neurips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html· 확인 2026-11-12 - Scaling Laws for Neural Language Models (arXiv:2001.08361) — Kaplan et al. · 2020-01 ·
arxiv.org/abs/2001.08361· 확인 2026-11-12 - NVIDIA Tesla: A Unified Graphics and Computing Architecture (IEEE Micro 28(2)) — Lindholm · Nickolls · Oberman · Montrym · 2008-03 ·
doi.org/10.1109/MM.2008.31· 확인 2026-11-12 - DistributedDataParallel (PyTorch 2.15 documentation) — PyTorch · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.nn.parallel.DistributedDataParallel.html· 확인 2026-11-12 - Memory management — CUDA semantics (PyTorch 2.15 documentation) — PyTorch · 2026-11 ·
docs.pytorch.org/docs/2.15/notes/cuda.html· 확인 2026-11-12 - NumPy 2.4 documentation — Random Generator — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12