AI › AI 엔지니어링(AI 시스템 운영) › 추론 · 하드웨어

GPU그래픽 처리 장치 · Graphics Processing Unit

수천 개 스레드를 워프 단위로 묶어 같은 명령을 서로 다른 데이터에 함께 실행하는 SIMT 방식 병렬 프로세서다. 넓은 장치 메모리와 행렬 연산 장치를 갖춰 신경망의 학습 · 추론 계산을 맡고, 여러 장을 연결해 큰 모델을 나눠 계산한다.

1요약

  1. GPU 는 스레드 32개 묶음(워프)이 같은 명령을 함께 실행하는 SIMT 프로세서로, 호스트 CPU 옆 PCIe 에 붙어 HBM 같은 장치 메모리를 따로 갖고, 그 위에서 딥러닝 프레임워크의 행렬 곱 커널과 여러 장을 잇는 집합 통신이 돈다(Jia 2018 2 · 3절).
  2. 2012년 6천만 매개변수 이미지 분류 신경망은 3 GB GPU 한 장에 들어가지 않아 두 장에 나눠 5 ~ 6일을 학습했고(Krizhevsky 2012 1 · 3.2절), 오늘의 혼합 정밀도 Adam 학습은 매개변수 하나에 16바이트를 써 15억 매개변수 모델도 24 GB 가 든다(Rajbhandari 2020 3.1절).
  3. 「GPU 를 늘렸는데 빨라지지 않는다」는 한 단계 시간 중 통신 비율로 가른다 — 통신이 계산의 몇 % 인데도 느리면 한 장 안(워프 수 · 메모리), 계산과 맞먹으면 장치 사이 연결, 한 장만 늦으면 그 장치 자체다.

2등장 배경

화면 한 장의 화소 수백만 개는 모두 같은 음영 계산을 거치므로, 그래픽 처리 장치는 처음부터 «같은 계산을 많은 데이터에» 하는 쪽으로 자랐다. 2008년 Lindholm 외는 정점 · 화소를 따로 맡던 처리기를 하나의 프로그래밍 가능한 처리기 배열로 합치고, 같은 배열로 일반 계산도 하는 구조를 냈다(Lindholm 2008). 신경망의 계산 대부분이 행렬 곱이라 이 배열이 그대로 맞았다.

2012년 Krizhevsky 외는 3 GB 장치 메모리 두 장에 신경망 커널을 반씩 나눠 올려 120만 장 학습을 5 ~ 6일에 끝냈다(Krizhevsky 2012 3.2절). 2017년 세대에는 워프 하나가 16 × 16 × 16 반정밀도 행렬 곱을 한 명령으로 맡는 행렬 연산 장치가 들어갔다(Jia 2018 4.3절). 그 뒤 일의 중심은 «여러 장 묶기»로 옮겨 갔다 — 2018년 링 올리듀스로 128장에서 88% 확장 효율(Sergeev 2018 8절), 2019년 83억 매개변수를 512장에서 76% 효율(Shoeybi 2019 1절), 2020년 학습 상태를 장치마다 나눠 담는 방식(Rajbhandari 2020 5절)이 나왔다.

지금 GPU 는 학습과 대규모 추론의 기본 장치이고, 정해진 모델만 돌리는 일은 전용 NPU 가, 한 장 안의 추론 실행 방식은 추론 최적화가 맡는다. 여기서는 GPU 자체의 구조와 여러 장을 묶는 방식을 다룬다.

3쉽게 이해하기 — 전국 모의고사 채점장

교육청 담당자가 채점 지시서를 보내면, 채점실 80곳마다 조장이 32명 한 조에게 지시를 한 번 읽어 주고 32명은 각자 다른 답안지를 동시에 채점한다. 답안지 상자는 지하 서고에서 승강기로 올라와 오래 걸리므로, 조장은 상자를 기다리는 조를 두고 상자가 이미 온 다른 조에게 다음 지시를 읽는다. 채점장이 네 곳이면 마지막에 문항별 합계를 옆 채점장에 차례로 넘겨, 네 곳 모두 같은 점수표를 갖는다.

교육청 담당자 지시하는 사람 호스트 CPU 채점 지시서 커널(명령) 채점실 × 80 한 곳 = SM 하나 조장 워프 스케줄러 32명 한 조 · 여러 조 워프(32 스레드) 책상 서랍 레지스터 · 공유 메모리 상자가 온 조로 바꿔 채점 3 이웃 채점장 채점장 3곳 다른 GPU 합계 돌리기 올리듀스 지하 서고 답안지 상자 HBM 장치 메모리 수백 클록 1 2 4 역할 색 지시하는 쪽 명령 고르기 · 제어 계산하는 쪽 데이터 저장 결과 맞추기 원 안 숫자 = 이야기 순서

그림 1 · 담당자의 지시를 조장이 32명 한 조에 한 번 읽어 주고, 서고의 상자를 기다리는 동안 다른 조를 돌리며, 채점장끼리는 합계를 돌려 같은 점수표를 만든다.

지시 받기담당자가 채점 지시서를 보냄
한 조 채점32명이 같은 지시로 각자 답안지
상자 기다림서고에서 답안지가 올라옴
조 바꾸기상자가 온 조가 먼저 채점
합계 돌리기채점장끼리 문항별 합계를 넘김
점수표 확정네 곳이 같은 표를 가짐
비유 — 조장이 지시를 한 번 읽음 「객관식을 채점하세요」 「서술형은 이 표로」 — 서술형 답안만 「객관식 마무리」 — 나머지 절반 사람 아이콘 = 채점 중 · 모래시계 = 기다림 8명 = 32명 한 조를 줄여 그림 실제 — SIMT 분기 x = 입력[i] — 32 레인 모두 if (x > 0) 경로 — 절반만 켜짐 else 경로 — 나머지 절반 합류 — 다시 32 레인 분기 구간 효율 50% — 두 경로를 차례로 상자 하나 = 레인 2개 · 점선 상자 = 꺼진 레인

그림 2 · 조장이 지시를 한 번만 읽으므로, 답안 종류가 갈리면 두 지시를 차례로 읽고 그동안 절반은 기다린다 — 실제 GPU 의 분기도 같은 방식으로 레인을 끈다.

비유 속 역할실제 이름실제로 하는 일
교육청 담당자호스트 CPU커널을 실행 대기열에 넣고 입력을 장치 메모리로 복사한다
채점실 80곳SM(스트리밍 멀티프로세서)워프 여러 개를 동시에 붙들고 번갈아 실행한다(한 세대 측정 80개 · Jia 2018 표 3.1)
조장워프 스케줄러클록마다 준비된 워프 하나의 명령을 내보낸다(SM 당 4개)
32명 한 조워프 · 스레드같은 명령을 서로 다른 데이터에 실행하고, 레지스터는 스레드마다 따로 둔다
책상 서랍레지스터 · 공유 메모리칩 안에서 19 ~ 28 클록에 읽는 작은 저장(Jia 2018 표 3.1)
지하 서고HBM 장치 메모리가중치 · 활성값을 담고, 한 번 읽는 데 수백 클록이 든다
조 바꾸기지연 숨기기메모리를 기다리는 워프 대신 준비된 워프를 실행한다
채점장끼리 합계올리듀스장치마다 계산한 기울기를 더해 모두 같은 값으로 맞춘다

⚠ 비유가 맞지 않는 곳: 실제 조 바꾸기는 레지스터가 워프마다 따로 있어 내용을 옮기지 않고 1클록 정도만 든다(Jia 2018 2.1절). 스레드는 채점원처럼 스스로 판단하지 않고, 분기 결과에 따라 레인이 꺼지고 켜질 뿐이다.

4구조 — SM · 메모리 계층 · 장치 사이 연결

GPU 한 장은 SM 수십 개, 모든 SM 이 나눠 쓰는 L2 캐시, 칩 밖의 HBM, 호스트로 가는 PCIe, 다른 GPU 로 가는 전용 연결로 이루어진다. 아래 값은 2017년 한 세대 데이터센터 GPU 를 마이크로벤치마크로 잰 값이고(Jia 2018 3절 표 3.1), 세대마다 크기는 늘지만 구성 순서는 같다.

호스트 CPU PCIe GPU 칩 SM 하나(모두 80개) 워프 스케줄러 연산 · 행렬 장치 레지스터 64 KiB 워프 스케줄러 연산 · 행렬 장치 레지스터 64 KiB 워프 스케줄러 연산 · 행렬 장치 레지스터 64 KiB 워프 스케줄러 연산 · 행렬 장치 레지스터 64 KiB L1 · 공유 메모리 128 KiB 처리 블록 4개 = 스케줄러 4개 19 ~ 28 클록 L2 캐시 6,144 KiB · 모든 SM 공용 · 약 193 클록 375 ~ 1,029 클록 HBM 장치 메모리 16 GiB · 측정 750 GiB/s 다른 GPU 다른 GPU 다른 GPU 장치 사이 연결 노드 안 300 GB/s 노드 사이 12.5 GB/s (링크당 · 한 시스템 예) 역할 색 호스트 명령 고르기 계산 저장(메모리 계층) 다른 장치

그림 3 · 데이터는 HBM → L2 → L1 · 공유 메모리 → 레지스터로 좁아지며 가까워지고, 가까울수록 지연이 수십 분의 일로 준다.

요소크기(한 세대 측정)역할지연 · 대역폭근거
워프 스케줄러SM 당 4개준비된 워프를 골라 명령을 냄워프 바꾸기 1클록Jia 2018 2.1 · 2.2절
연산 · 행렬 장치처리 블록마다스칼라 곱셈 · 덧셈과 워프 단위 16 × 16 × 16 반정밀도 행렬 곱—Jia 2018 4.3절
레지스터처리 블록당 64 KiB스레드마다 변수 · 워프 바꿀 때 옮기지 않음—Jia 2018 그림 3.1
L1 · 공유 메모리SM 당 128 KiB(공유 최대 96 KiB)블록 안 스레드가 타일을 나눠 씀28 · 19 클록 · 칩 전체 12,080 GiB/sJia 2018 표 3.1
L2 캐시칩 전체 6,144 KiB모든 SM 공용약 193 클록Jia 2018 표 3.1
HBM 장치 메모리16 GiB가중치 · 기울기 · 옵티마이저 상태 · 활성값375 ~ 1,029 클록 · 750 GiB/s(이론 900)Jia 2018 표 3.1 · 그림 3.2
장치 사이 연결노드 안 · 노드 사이기울기 · 활성값 교환링크당 300 GB/s · 12.5 GB/s(한 시스템)Rajbhandari 2020 10.2절

🔑 CPU 는 캐시와 분기 예측으로 «스레드 하나의 지연»을 줄이고, GPU 는 워프를 많이 붙들어 «지연 동안 다른 워프»를 돌린다 — 그래서 GPU 성능은 스레드 하나의 속도가 아니라 동시에 붙든 워프 수와 메모리 대역폭이 정한다.

5동작 — GPU 4장 데이터 병렬 학습의 한 단계

10억(1.0 × 10⁹) 매개변수 언어 모델을 GPU 4장에서 학습하는 한 단계다. 장치 메모리 40 GB · 실효 연산 100 TFLOP/s · 장치 사이 링크 100 GB/s 는 설명용 가정 값이고, 메모리 · 연산 · 통신 양은 원문 식으로 계산했다. 링 올리듀스는 NumPy 2.4.3 · default_rng(0) 합성 데이터(장치마다 100만 원소)로 직접 실행해 결과가 단순 합과 float32 더하는 순서 차이(9.5 × 10⁻⁷) 안에서 같음을 확인했다.

  1. 적재 — 장치마다 FP16 가중치 2 GB · FP16 기울기 2 GB · FP32 사본 · 모멘텀 · 분산 12 GB = 16 GB(16Ψ · Rajbhandari 2020 3.1절)를 올리고, 40 GB 중 24 GB 를 활성값 몫으로 남긴다.
  2. 배치 나누기 — 전역 배치 32 시퀀스 × 2,048 토큰 = 65,536 토큰을 장치마다 8 시퀀스(16,384 토큰)로 나눈다.
  3. 순전파 · 역전파 — 계산량 6 × 10⁹ × 16,384 = 9.8 × 10¹³ FLOP(토큰당 6N · Kaplan 2020 2.1절)을 100 TFLOP/s 로 0.98초에 끝낸다 · 순전파가 약 1/3 이다.
  4. 기울기 묶기 — 역전파가 끝난 층부터 기울기를 25 MiB 묶음(bucket)으로 모아, 남은 역전파와 겹쳐 올리듀스를 시작한다(PyTorch DDP 기본값).
  5. 링 올리듀스 — 2 GB 기울기를 0.5 GB 조각 4개로 나눠 이웃에게 2 × (4 − 1) = 6번 넘긴다 · 앞 3번은 받은 값을 더하고 뒤 3번은 덮어쓴다(Sergeev 2018 3절) · 장치마다 보내는 양 = 2 × 3/4 × 2 GB = 3 GB → 100 GB/s 에서 30 ms.
  6. 갱신 — 네 장이 같은 평균 기울기로 FP32 사본을 Adam 갱신하고 FP16 가중치를 다시 만들어, 다음 단계도 같은 가중치로 시작한다.
  7. 판정 — 통신 30 ms 는 계산 0.98초의 3.1% 라 겹치지 않아도 효율 97% 다 · 같은 통신을 25 Gb/s 이더넷(3.125 GB/s)으로 하면 0.96초로 계산과 맞먹어, 겹치지 않으면 효율 51% · 역전파 0.65초와 다 겹쳐도 0.31초가 남아 76% 다.
5 링 올리듀스 GPU 0 GPU 1 GPU 2 GPU 3 0.5 GB 조각 2 GB 기울기 = 조각 4개 2 × (4 − 1) = 6번 넘김 앞 3번 더함 · 뒤 3번 덮어씀 장치당 보냄 3 GB 3 4 6 GPU 0 순전파 역전파 GPU 1 GPU 2 GPU 3 얇은 막대 = 묶음 올리듀스 합 30 ms · 역전파와 겹침 0 0.5 1.0 1.5 2.0 초 25 Gb/s 계산 0.98초 통신 0.96초 · 겹쳐도 남음 7 효율 97%(100 GB/s) ↔ 51%(25 Gb/s) 채운 띠 = 계산 · 빈 띠 = 역전파 · 좁은 띠 = 갱신 · 마지막 줄 = 통신 지연

그림 4 · 링 올리듀스는 장치마다 3 GB 만 보내 100 GB/s 에서 역전파 안에 묻히지만, 25 Gb/s 연결에서는 통신이 계산만큼 길어진다.

🔑 데이터 병렬에서 장치당 통신량 2(N − 1)/N × 기울기 크기는 장치 수 N 이 늘어도 기울기 크기의 2배를 넘지 않는다 — 그래서 여러 장 확장을 막는 것은 장치 수가 아니라 «계산 시간 대비 링크 대역폭»이다.

GPU 한 장 안에서도 같은 원리가 작은 시간 단위로 돈다. 워프 하나가 계산 100 클록(가정 값) 뒤 L2 를 지나 HBM 을 읽으면 375 클록을 기다리므로(Jia 2018 그림 3.2), 스케줄러가 붙든 워프 수가 사용률을 정한다.

계산 100 클록(가정 값) 메모리 대기 375 클록(Jia 2018) 스케줄러가 명령을 냄 워프 1개 W1 사용 스케줄러 사용률 21% — 200 ÷ 950 클록 워프 4개 W1 W2 W3 W4 사용 사용률 84% — 800 ÷ 950 · 워프 5개면 100 × 5 ≥ 100 + 375 로 빈틈 없음

그림 5 · 메모리 대기 375 클록을 워프 1개로는 21% 만 채우고, 4개면 84% · 5개면 빈틈 없이 채운다.

🔑 지연을 숨기는 데 필요한 워프 수는 «대기 클록 ÷ 워프 하나의 계산 클록 + 1»이다 — 스레드마다 레지스터 · 공유 메모리를 많이 쓰는 커널은 SM 에 붙드는 워프 수가 줄어 같은 대기를 숨기지 못한다.

6비교 — 여러 장을 묶는 방식

장치 종류끼리의 비교(CPU · GPU · NPU · FPGA)는 AI 가속기 · NPU 가 다룬다. 이 절은 GPU 여러 장에 학습을 나누는 네 방식을 견준다(Ψ = 매개변수 수 · N = 장치 수).

기준데이터 병렬상태 분할 데이터 병렬텐서 병렬파이프라인 병렬
나누는 것배치배치 + 옵티마이저 상태 · 기울기 · 가중치한 층의 행렬(열 · 행)연속한 층 묶음(단계 K 개)
장치당 모델 상태16Ψ 그대로4Ψ + 12Ψ/N(1단계) ~ 16Ψ/N(3단계)약 16Ψ ÷ 텐서 병렬 수약 16Ψ ÷ K
단계당 통신기울기 올리듀스 2Ψ 원소1 · 2단계 2Ψ · 3단계 3Ψ(1.5배)트랜스포머 블록마다 순전파 2번 · 역전파 2번 올리듀스단계 경계의 활성값 · 기울기만
연결 요구노드 사이 네트워크로 충분데이터 병렬과 같음노드 안 넓은 연결 · 노드 밖은 효율 급락낮음
비효율모델 상태가 한 장에 들어가야 함3단계 통신 증가장치 사이 동기화가 잦음거품 (K − 1)/(M + K − 1) · M ≥ 4K 면 무시할 수준
근거Rajbhandari 2020 7.1절Rajbhandari 2020 5 · 7.2절Shoeybi 2019 3절 · Rajbhandari 2020 1절Huang 2019 2.3절(M = 마이크로배치 수)

사례의 4장에 1단계 상태 분할을 쓰면 장치당 모델 상태는 4 + 12 ÷ 4 = 7 GB 로, 데이터 병렬 16 GB 의 절반 아래가 된다.

분석모델 상태가 한 장에 들어가면 데이터 병렬, 상태만 넘치면 상태 분할을 더하고, 한 층 행렬이 넘치면 노드 안에서 텐서 병렬, 노드를 넘으면 파이프라인을 더한다. 근거는 표의 「연결 요구」 행 — 8.3B 모델은 노드 안 8장 텐서 병렬에 데이터 병렬을 겹쳐 512장 76% 효율을 냈다(Shoeybi 2019 1절).

7실무 진단 — 여러 장 학습이 느리거나 멈출 때

분석한 장 안(메모리 · 워프) → 장치 사이(통신 비율) → 한 장만 늦음(장치 상태) 순서로 본다. 한 장이 이미 막혀 있으면 장치를 늘려도 그 병목이 그대로 곱해지고, 동기식 올리듀스는 가장 늦은 장치에 맞춰 끝나기 때문이다(Sergeev 2018 3절).

#증상의심 원인구분확인 자료판정 기준(근거)
1시작하자마자 out of memory모델 상태 16Ψ + 활성값이 장치 메모리를 넘음장치 메모리max_memory_allocated() ↔ 16Ψ 계산16Ψ 가 용량의 절반을 넘으면 상태 분할 · 활성값 재계산(Rajbhandari 2020 3절)
2학습 도중 out of memory · 예약량이 할당량보다 훨씬 큼캐싱 할당기의 조각화장치 메모리PyTorch memory_allocated() ↔ memory_reserved() · memory_summary()차이가 크면 PYTORCH_ALLOC_CONF 의 expandable_segments 를 켬(PyTorch 메모리 관리)
3한 장의 사용률은 높은데 연산 성능이 낮음분기 · 적은 워프 수로 지연이 드러남SM 안커널 프로파일러의 점유율 · 분기 효율 지표붙든 워프 < 대기 ÷ 계산 + 1 이면 지연 노출(그림 5)
4장치를 늘렸는데 처리량이 비례하지 않음기울기 통신이 계산과 겹치지 않음장치 사이torch.profiler 단계별 계산 · 통신 커널 시간통신 ÷ 계산이 수 % 면 정상 · 50% 근처면 연결 대역폭(사례 7단계)
5여러 장 중 한 장만 단계가 늦음발열 · 전력 제한 · 장치 고장장치 하나장치별 단계 시간 · 관리 명령의 클록 · 온도한 장의 단계 시간이 나머지보다 길면 그 장치를 뺀 시험으로 확인

프로파일러 · 관리 명령의 이름은 GPU 공급자마다 다르므로, 표는 PyTorch 쪽 이름만 적고 장치 쪽은 지표 이름으로 적었다.

8시험 대비

출제 정보 정보관리(138회, 134회, 120회, 111회) · 컴퓨터시스템응용(137회, 126회, 122회, 120회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 SIMT · SM · 메모리 계층을 그리는 구조 · 구성형, 그리고 여러 장 학습의 병렬 방식을 견주는 비교형이 나올 수 있다. 구조형은 CPU 와 다른 설계 목표(지연 숨기기)를 먼저 세우고 메모리 계층 수치로 받치며, 비교형은 장치당 메모리 · 통신량 식을 표에 넣어 «언제 무엇을»로 끝낸다.

답안 목차
  1. 개요 — 정의(SIMT · 워프 32 스레드) · 그래픽 처리기에서 범용 병렬 계산 장치로 · CPU 와의 설계 목표 차이
  2. 구조 — 그림 3 SM · 워프 스케줄러 · 레지스터 · L1 · 공유 메모리 · L2 · HBM 과 계층별 지연(19 ~ 1,029 클록)
  3. 핵심 원리 — 그림 5 워프 전환으로 메모리 대기 숨기기 · 필요 워프 수 식 · SIMT 분기 효율
  4. 학습 메모리 — 16Ψ 내역 표(가중치 2 · 기울기 2 · 옵티마이저 12바이트)
  5. 여러 장 묶기 — 그림 4 링 올리듀스 2(N − 1)/N · 데이터 · 상태 분할 · 텐서 · 파이프라인 비교표
  6. 결론 — 통신 ÷ 계산 비율로 병렬 방식 고르기 · NPU 와의 역할 나눔

꼭 쓸 키워드
SIMT워프SM지연 숨기기점유율공유 메모리HBM행렬 연산 장치링 올리듀스상태 분할

다른 답안과 차이를 내는 한 가지는 «16Ψ 와 2(N − 1)/N» 두 식으로 한 장 메모리와 여러 장 통신을 숫자로 보이는 것이다.

9오해와 사실

  • 오해연산 코어가 많은 GPU 일수록 학습이 그만큼 빨라진다.
    사실코어는 워프가 메모리를 기다리는 동안 놀고, 여러 장이면 통신이 계산과 맞먹으면 효율이 크게 준다 — 사례의 25 Gb/s 연결은 겹치지 않으면 51% 다.
  • 오해GPU 를 여러 장 쓰면 한 장에 안 들어가는 모델도 들어간다.
    사실기본 데이터 병렬은 장치마다 모델 상태 16Ψ 를 통째로 복제해 장치당 메모리가 줄지 않는다(Rajbhandari 2020 1절) — 상태 분할 · 텐서 · 파이프라인 병렬이 따로 필요하다.
  • 오해if 문이 있는 코드는 GPU 에서 돌릴 수 없다.
    사실돌기는 하지만 한 워프 안에서 갈린 경로를 차례로 실행해 그 구간 효율이 떨어진다 — 갈림이 워프 32 스레드 경계와 맞으면 손해가 없다.

10핵심 정리

구분맡는 일단위 · 크기대표 값막히면 보이는 신호
워프 스케줄러준비된 워프의 명령을 냄SM 당 4개워프 전환 1클록사용률 낮음 · 대기 노출
워프 · 스레드같은 명령 · 다른 데이터32 스레드분기 시 경로마다 차례로분기 효율 하락
행렬 연산 장치워프 단위 행렬 곱16 × 16 × 16 반정밀도2017년 세대부터정밀도 · 모양이 맞지 않으면 쓰이지 않음
레지스터 · 공유 메모리칩 안 가까운 저장64 KiB · 128 KiB19 ~ 28 클록많이 쓰면 붙드는 워프 수 감소
HBM모델 상태 · 활성값16 GiB(한 세대)375 ~ 1,029 클록 · 750 GiB/sout of memory · 대역폭 한계
링 올리듀스기울기 평균 맞추기2 × (N − 1)번장치당 2(N − 1)/N × 기울기통신 ÷ 계산 비율 상승
상태 분할옵티마이저 상태 · 기울기 · 가중치 나눔1 ~ 3단계4Ψ + 12Ψ/N ~ 16Ψ/N3단계 통신 1.5배
호스트 CPU커널 실행 · 입력 준비PCIe입력 파이프라인장치가 놀며 처리량 낮음

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Dissecting the NVIDIA Volta GPU Architecture via Microbenchmarking (Technical Report · arXiv:1804.06826) — SM · 워프 스케줄러 · 메모리 계층마다의 크기 · 지연 측정값을 볼 때
    Jia · Maggioni · Staiger · Scarpazza · 2018-04 · arxiv.org/abs/1804.06826 · 확인 2026-11-12
  3. ★ ZeRO: Memory Optimizations Toward Training Trillion Parameter Models (SC20 · arXiv:1910.02054) — 학습 메모리 16Ψ 의 내역과 상태 분할 단계별 장치당 메모리 · 통신량을 볼 때
    Rajbhandari · Rasley · Ruwase · He · 2019-10 · arxiv.org/abs/1910.02054 · 확인 2026-11-12
  4. ★ Horovod: fast and easy distributed deep learning in TensorFlow (arXiv:1802.05799) — 링 올리듀스가 2 × (N − 1)번 주고받는 방식과 여러 장 확장 효율을 볼 때
    Sergeev · Del Balso · 2018-02 · arxiv.org/abs/1802.05799 · 확인 2026-11-12
  5. ★ Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism (arXiv:1909.08053) — 한 층의 행렬을 여러 장에 나누는 텐서 병렬과 올리듀스 위치를 볼 때
    Shoeybi et al. · 2019-09 · arxiv.org/abs/1909.08053 · 확인 2026-11-12
  6. 본문 근거
  7. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism (arXiv:1811.06965) — Huang et al. · 2018-11 · arxiv.org/abs/1811.06965 · 확인 2026-11-12
  8. ImageNet Classification with Deep Convolutional Neural Networks (NeurIPS 2012) — Krizhevsky · Sutskever · Hinton · 2012-12 · proceedings.neurips.cc/paper_files/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html · 확인 2026-11-12
  9. Scaling Laws for Neural Language Models (arXiv:2001.08361) — Kaplan et al. · 2020-01 · arxiv.org/abs/2001.08361 · 확인 2026-11-12
  10. NVIDIA Tesla: A Unified Graphics and Computing Architecture (IEEE Micro 28(2)) — Lindholm · Nickolls · Oberman · Montrym · 2008-03 · doi.org/10.1109/MM.2008.31 · 확인 2026-11-12
  11. DistributedDataParallel (PyTorch 2.15 documentation) — PyTorch · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.nn.parallel.DistributedDataParallel.html · 확인 2026-11-12
  12. Memory management — CUDA semantics (PyTorch 2.15 documentation) — PyTorch · 2026-11 · docs.pytorch.org/docs/2.15/notes/cuda.html · 확인 2026-11-12
  13. NumPy 2.4 documentation — Random Generator — NumPy · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12