AI 가속기AI Accelerator
신경망의 행렬 곱 · 합성곱을 대량의 곱셈 · 덧셈기(MAC)와 넓은 메모리 통로로 처리하도록 만든 전용 프로세서다. CPU 가 맡긴 계산을 받아 GPU · NPU 형태로 학습과 추론을 빠르게 한다.
1요약
- AI 가속기는 신경망 계산의 대부분인 행렬 곱을 수만 개 MAC 이 한 클록에 함께 처리하는 칩으로, 호스트 CPU 옆에 PCIe 등으로 붙고 그 위에서 딥러닝 프레임워크의 학습 · 추론 커널이 돈다.
- 2013년 Google 은 음성 검색 신경망을 사람들이 하루 3분씩 쓰면 데이터센터를 두 배로 늘려야 한다고 추정했고, 그 답으로 2015년부터 쓴 TPU 는 8비트 MAC 65,536개로 최대 92 TOPS 를 냈다(Jouppi 2017 1 · 2절).
- 「가속기가 느리다」는 사용률과 연산 강도로 가른다 — 사용률이 낮으면 호스트 쪽 대기, 높은데 연산 강도가 능선 점보다 낮으면 메모리 대역폭 한계, 능선 점을 넘었는데도 느리면 연산 · 정밀도 쪽이다.
2등장 배경
신경망 한 계층은 가중치 행렬과 입력 벡터의 곱이라, 입력 256개 · 출력 256개 계층 하나도 곱셈 · 덧셈 65,536번이 든다. 범용 CPU 코어는 명령 하나에 값 몇 개만 다루므로, 2013년 Google 의 추정처럼 신경망 사용이 늘면 서버 수가 그대로 늘어야 했다(Jouppi 2017 1절).
먼저 쓰인 것은 GPU 다. GPU 는 스레드 32개 묶음(warp)이 같은 명령을 함께 실행하는 SIMT 방식으로 수천 스레드를 돌린다(CUDA 가이드 1.2절). 2008년 Williams 외는 성능이 연산기 수와 메모리 대역폭 중 어느 쪽에 묶이는지를 한 그래프로 보이는 루프라인 모델을 냈다(Williams 2009 3절). Google 은 15개월 만에 설계한 추론 전용 칩 TPU 를 2015년 데이터센터에 넣었고, 2017년 논문에서 같은 시기 서버 CPU · GPU 보다 15 ~ 30배 빠르고 와트당 성능이 30 ~ 80배라고 보고했다.
같은 논문은 업무 신경망 6개 중 4개가 메모리 대역폭에 묶인다고 적었다(Jouppi 2017 요약). 그래서 메모리 쪽도 바뀌었다 — JEDEC HBM 표준은 JESD235B(2018) 1,024비트 · 핀당 2.4 Gb/s · 307 GB/s 에서 JESD270-4 HBM4(2025) 2,048비트 · 핀당 8 Gb/s · 스택당 2 TB/s 로 넓어졌다.
3쉽게 이해하기 — 틀로 찍는 만두 공장
만두 공장 사장이 주문서를 보내면, 작업대 앞의 작업자 6만 5천 명이 박자에 맞춰 같은 틀로 반죽을 찍는다. 만두 틀은 멀리 떨어진 창고에 있어 좁은 길로 트럭이 한 번에 하나씩 실어 온다. 틀 하나로 반죽을 많이 찍을수록 작업자가 쉬지 않고, 반죽 한 장만 찍고 다음 틀을 기다리면 작업자 대부분이 손을 놓는다.
그림 1 · 사장의 주문으로 창고의 틀이 트럭에 실려 오고, 공장은 선반의 반죽을 그 틀로 한 박자에 찍어 완성품을 돌려보낸다.
그림 2 · 틀 하나로 찍는 반죽 장 수가 작업자가 일하는 비율을 정하고, 실제로는 배치 B 가 능선 점 1,350 을 넘어야 연산기가 다 돈다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 사장 | 호스트 CPU | 모델을 명령으로 바꿔 PCIe 로 보내고 결과를 받는다 |
| 창고 | HBM · DRAM | 가중치 수 GB 를 칩 밖에 담는다 |
| 트럭 길의 폭 | 메모리 대역폭 | 칩 밖에서 초당 가져올 수 있는 바이트(34 GB/s ~ 2 TB/s) |
| 만두 틀 | 가중치 타일 | 행렬 배열에 실리는 256 × 256 가중치 블록 |
| 선반의 반죽 | 온칩 SRAM 의 입력 | 배치로 모은 입력 활성값을 칩 안에 둔다 |
| 작업자 격자 | MAC 배열 | 클록마다 곱셈 · 덧셈 65,536번 |
| 틀 기다림 | 메모리 병목 | 연산 강도가 능선 점보다 낮아 연산기가 쉼 |
| 작은 계량컵 | 낮은 정밀도(INT8 · BF16) | 값 하나를 1 ~ 2바이트로 줄여 같은 길로 더 많이 옮긴다 |
⚠ 비유가 맞지 않는 곳: GPU 는 틀을 한 자리에 고정하지 않고 스레드마다 데이터를 읽어 계산하며, 실제 MAC 은 판단 없이 곱셈 · 덧셈만 하고 결과는 다음 계층 입력으로 칩 안에 남는다.
4구조 — 연산 배열 · 칩 안 메모리 · 칩 밖 메모리
가속기는 계산을 맡는 연산 배열, 칩 안의 SRAM, 칩 밖의 장치 메모리, 호스트 연결 네 부분이다. TPU 다이는 데이터 버퍼 37% · 연산 30% · 제어 2% 로, 제어를 줄이고 면적을 연산과 버퍼에 준다(Jouppi 2017 2절).
그림 3 · 연산 배열(GPU · NPU)은 칩 안 SRAM 과 칩 밖 HBM 에서 데이터를 받으며, 칩 밖 메모리로 가는 길의 폭이 연산 속도를 묶는다.
| 하위 이름 | 푸는 문제 | 계산 단위 | 주 정밀도 | 대표 값(근거) |
|---|---|---|---|---|
| GPU | 여러 모델의 학습 · 추론을 범용 병렬 코어로 | 스레드 32개 warp 의 SIMT | FP32 · FP16 · BF16 | warp = 32 스레드(CUDA 가이드 1.2절) |
| NPU | 정해진 신경망 연산을 고정 MAC 배열로 | 256 × 256 systolic 배열(TPU) | INT8 · BF16 | 700 MHz · 92 TOPS(Jouppi 2017 2절) |
| 온칩 SRAM | 같은 데이터를 칩 밖에서 다시 읽지 않게 | 버퍼 · 캐시 · 누산기 | 32비트 누산 | 통합 버퍼 24 MiB · 누산기 4 MiB |
| HBM | 칩 밖 메모리의 대역폭 | DRAM 다이 4 ~ 16단 · 2,048비트 | — | 스택당 2 TB/s · 32채널(JESD270-4) |
| 호스트 연결 | 명령 · 입력 전달 | PCIe Gen3 x16(TPU) | — | 명령당 평균 10 ~ 20 클록(Jouppi 2017 2절) |
정밀도는 값 하나의 바이트 수라 같은 대역폭으로 옮기는 값의 개수를 정한다. FP16 은 지수 5비트라 최대 65,504 까지만 담고(IEEE 754-2019 binary16), BF16 은 FP32 와 같은 지수 8비트로 범위가 같다(Kalamkar 2019).
그림 4 · BF16 은 FP32 의 지수 8비트를 그대로 두고 가수를 줄여 범위를 지키고, FP16 은 지수를 5비트로 줄여 범위가 좁다.
🔑 곱셈은 좁은 정밀도로, 누적은 넓은 정밀도로 한다 — TPU 는 8비트 곱을 32비트 누산기에 모으고(Jouppi 2017 2절), 클라우드 TPU 도 BF16 곱 · FP32 누적이 기본이다(Google Cloud bfloat16).
5동작 — 행렬 배열에서 계층 하나 계산하기
TPU 논문의 행렬 단위로 입력 256 · 출력 256 인 전결합 계층 하나를 배치 B = 256 으로 계산하는 사례다. 크기 · 속도는 논문 값이고(Jouppi 2017 2절), 시간 · 비율은 그 값으로 계산했다.
- 호스트가 PCIe Gen3 x16 으로 명령을 보내고,
Read_Host_Memory가 입력 256행 × 256바이트(INT8) = 64 KiB 를 통합 버퍼(24 MiB)에 올린다. Read_Weights가 가중치 메모리(DDR3 8 GiB · 34 GB/s)에서 256 × 256 INT8 타일 64 KiB 를 가중치 FIFO(4 타일 깊이)로 읽는다 — 65,536 ÷ 34 GB/s = 1.93 µs.- 타일이 행렬 단위에 미리 실리고(옮기는 256 클록은 이중 버퍼로 숨김),
MatrixMultiply가 입력 행을 왼쪽에서 한 클록에 한 행씩 흘려 대각선 파면으로 지나가게 한다. - 셀 65,536개가 클록마다 8비트 곱셈 · 덧셈을 하고 32비트 누산기(4,096 × 256)에 부분합을 모은다 — 256행 = 256 클록 = 0.37 µs(700 MHz).
Activate가 누산기 값에 ReLU 를 적용해 통합 버퍼에 다시 쓰므로 다음 계층 입력이 칩 밖으로 나가지 않는다.- 마지막 계층 뒤
Write_Host_Memory가 결과를 호스트 메모리로 보낸다. - 판정 — 타일 하나에 계산 0.37 µs · 읽기 1.93 µs 라 행렬 단위는 81% 시간 동안 기다리고, 낼 수 있는 성능은 34 GB/s × 256 = 8.7 T MAC/s(최대 45.9 T 의 19%)다.
그림 5 · 가중치는 위에서 · 입력은 왼쪽에서 행렬 단위로 들어가고, 결과는 누산기와 활성 함수를 거쳐 통합 버퍼로 돌아와 다음 계층 입력이 된다.
그림 6 · 연산 강도가 능선 점 1,350 보다 낮으면 성능은 대역폭 선에 묶이고, B = 256 은 최대의 19% 에 머문다.
🔑 가속기의 속도는 연산기 수가 아니라 «칩 밖에서 가져온 바이트 하나로 몇 번 계산하는가»가 정한다 — 능선 점 왼쪽에서는 MAC 을 늘려도 빨라지지 않는다.
⚠ 92 TOPS 는 곱셈과 덧셈을 2연산으로 센 값이고, 논문의 능선 점 1,350 과 그림 6 은 MAC 하나를 1로 센다(65,536 × 700 MHz = 45.9 T MAC/s · ÷ 34 GB/s ≈ 1,350).
6비교 — CPU · GPU · NPU · FPGA
| 기준 | CPU | GPU | NPU(TPU 류) | FPGA |
|---|---|---|---|---|
| 계산 단위 | 코어 수십 + SIMD | warp 32 스레드 SIMT · 수천 스레드 | 고정 MAC 배열(256 × 256) | 사용자가 짠 회로 |
| 명령 방식 | 스스로 명령을 읽음 | 커널 단위로 실행 | 호스트가 명령을 보냄(CISC 명령 약 12종) | 회로 자체가 동작 |
| 주 정밀도 | FP64 · FP32 | FP32 · FP16 · BF16 · INT8 | INT8(TPU 첫 세대) · BF16 | 설계한 비트 폭 |
| 능선 점(연산 / 가중치 바이트) | 13 | 9 | 1,350 | — |
| 맞는 일 | 전처리 · 분기가 많은 제어 | 모델이 자주 바뀌는 학습 · 추론 | 정해진 모델의 대량 계산 | 낮은 지연 · 맞춤 연산 |
능선 점은 2015년 같은 데이터센터의 서버 칩을 잰 값이다(Jouppi 2017 4절) — GPU 는 메모리 대역폭이 넓어 능선 점이 CPU 보다 왼쪽이다.
분석모델과 연산 종류가 자주 바뀌면 GPU, 같은 모델을 큰 배치로 오래 돌리면 NPU, 배치를 키울 수 없는 저지연 일이면 능선 점이 낮은 쪽을 고른다. 근거는 표의 「능선 점」 행 — 능선 점이 높은 칩은 배치가 그만큼 커야 최대 성능에 닿는다(Williams 2009 3절).
7실무 진단 — 느린 학습 · 추론의 병목 가르기
분석사용률 → 메모리 용량 → 연산 강도 → 정밀도 순으로 본다. 장치가 놀고 있으면 칩 안을 고쳐도 소용없고, 용량이 넘치면 배치를 못 키워 연산 강도도 오르지 않기 때문이다(Williams 2009 3절).
| # | 증상 | 의심 원인 | 구분 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 장치 사용률이 낮고 처리량도 낮음 | 입력 준비 · 호스트 전송 대기 | 호스트 | nvidia-smi -q -d UTILIZATION -l 1(NVIDIA) · amd-smi monitor --gfx(AMD) | 사용률 = 표본 구간 중 커널이 돈 시간 비율(nvidia-smi 문서) — 낮으면 앞단 |
| 2 | out of memory 오류로 멈춤 | 가중치 · 활성값이 장치 메모리 초과 | 메모리 용량 | torch. | 최고 사용량이 장치 용량에 닿음 → 배치 축소 · 16비트 저장 |
| 3 | 사용률은 높은데 최대 성능의 일부 | 낮은 연산 강도 | 메모리 대역폭 | torch. | 연산 수 ÷ 옮긴 바이트 < 능선 점이면 대역폭 한계(Williams 2009 3절) |
| 4 | INT8 변환 뒤 정확도 하락 | 눈금 · 영점이 값 분포와 어긋남 | 정밀도 | 검증 데이터 정확도 FP32 ↔ INT8 대조 | 실제 값 r = S(q − Z)(Jacob 2018 2.1절 식 1) — 계층별로 S · Z 다시 맞춤 |
with_flops 는 행렬 곱 · 2차원 합성곱의 연산 수를 식으로 어림하므로(PyTorch profiler), 옮긴 바이트는 텐서 크기 × 정밀도 바이트로 따로 센다.
8시험 대비
www.q-net.or.kr시험에서는 가속기를 이루는 연산 배열 · 메모리 계층 · 정밀도를 그리는 구조 · 구성형, 그리고 CPU · GPU · NPU 를 기준별로 대는 비교형이 나올 수 있다.
- 개요 — 정의 · 행렬 곱 중심 계산 · 등장 배경(2013 추정 · TPU 2015 배치)
- 구성 요소 — 그림 3 구조(연산 배열 · 온칩 SRAM · HBM · 호스트 연결) + 하위 표(GPU · NPU · HBM 대표 값)
- 동작 — 그림 5 systolic 행렬 단위 데이터 흐름(명령 다섯 · 256 × 256 · 32비트 누산)
- 성능 한계 — 그림 6 루프라인(성능 = min(최대, 대역폭 × 연산 강도) · 능선 점 1,350 · B = 256 = 19%)
- 정밀도 — 그림 4 비트 배치(FP32 · BF16 · FP16 · INT8) · 혼합 정밀도 · INT8 양자화 식
- 비교와 선택 — CPU · GPU · NPU · FPGA 비교표(능선 점 13 · 9 · 1,350) · 선택 기준
꼭 쓸 키워드
행렬 곱MAC 배열systolic 배열SIMT연산 강도루프라인능선 점HBM혼합 정밀도INT8 양자화
다른 답안과 차이를 내는 한 가지는 루프라인 그림에 사례 점(B = 256 → 19%)을 찍어 「연산기를 늘려도 안 빨라지는 구간」을 수치로 보이는 것이다.
9오해와 사실
- 오해TOPS 가 높은 칩일수록 그 비율로 빨리 돈다.사실TPU 는 업무 신경망 6개 중 4개가 메모리 대역폭에 묶였고, 같은 칩에 더 빠른 GDDR5 를 붙이면 실측 TOPS 가 세 배가 된다고 추산됐다(Jouppi 2017 요약).
- 오해16비트 학습은 모든 값을 16비트로만 둔다.사실혼합 정밀도 학습은 가중치의 FP32 사본에 기울기를 누적하고 손실에 배율을 곱해 작은 기울기가 0 으로 사라지지 않게 한다(Micikevicius 2018 3절).
- 오해BF16 과 FP16 은 같은 2바이트라 바꿔 써도 결과가 같다.사실FP16 은 지수 5비트라 65,504 를 넘으면 넘치고, BF16 은 지수 8비트라 FP32 와 같은 범위를 갖는 대신 가수가 7비트다(Kalamkar 2019).
10핵심 정리
| 구분 | 맡는 일 | 단위 · 크기 | 대표 값 | 병목 신호 | 확인 |
|---|---|---|---|---|---|
| 호스트 CPU | 명령 · 입력 전달 | PCIe | 명령당 10 ~ 20 클록(TPU) | 장치 사용률 낮음 | nvidia-smi · amd-smi |
| 연산 배열 | 행렬 곱 · 합성곱 | MAC · warp 32 스레드 | 65,536 MAC · 45.9 T MAC/s | 능선 점 오른쪽인데 느림 | 프로파일러 커널 시간 |
| 온칩 SRAM | 데이터 재사용 | MiB 단위 | 24 MiB 버퍼 · 4 MiB 누산기 | 같은 값 반복 읽기 | 프로파일러 메모리 |
| HBM · DRAM | 가중치 · 활성값 보관 | GB · 2,048비트 | 2 TB/s · 64 GB(HBM4) | out of memory | max_memory_allocated |
| 메모리 대역폭 | 칩 밖 → 칩 안 공급 | GB/s | 34 GB/s(TPU 첫 세대) | 연산 강도 < 능선 점 | with_flops ÷ 바이트 |
| 정밀도 | 값 하나의 바이트 수 | 1 ~ 4바이트 | INT8 곱 · 32비트 누적 | 정확도 하락 · 넘침 | FP32 ↔ INT8 대조 |
11참고 문헌
- 먼저 볼 문헌
- ★ In-Datacenter Performance Analysis of a Tensor Processing Unit (ISCA 2017 · arXiv:1704.04760) — 행렬 단위 · 버퍼 · 명령 다섯 개와 실제 서버 칩의 능선 점을 볼 때
- ★ Roofline: An Insightful Visual Performance Model for Multicore Architectures (Communications of the ACM 52(4)) — 성능 = min(최대 연산 성능, 대역폭 × 연산 강도) 식과 능선 점의 뜻을 볼 때
- ★ Mixed Precision Training (ICLR 2018 · arXiv:1710.03740) — 16비트 학습에서 FP32 사본 · 손실 스케일링을 두는 이유를 볼 때
- ★ Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (arXiv:1712.05877) — INT8 추론의 눈금 · 영점 식과 32비트 누산을 볼 때
- 본문 근거
- Roofline: An Insightful Visual Performance Model for Floating-Point Programs and Multicore Architectures (Technical Report UCB/EECS-2008-134) — UC Berkeley EECS · 2008-10 ·
www2.eecs.berkeley.edu/Pubs/TechRpts/2008/EECS-2008-134.html· 확인 2026-11-03 - JEDEC JESD270-4 HBM4 standard release (press release · StorageNewsletter reprint) — JEDEC · 2025-04 ·
www.storagenewsletter.com/2025/04/17/jedec-and-industry-leaders-collaborate-to-release-jesd270-4-hbm4-standard/· 확인 2026-11-03 - JEDEC updates High Bandwidth Memory standard JESD235B (press release · Design & Reuse reprint) — JEDEC · 2018-12 ·
design-reuse.com/news/39018/jedec-high-bandwidth-memory-hbm-standard.html· 확인 2026-11-03 - IEEE 754-2019 IEEE Standard for Floating-Point Arithmetic — IEEE · 2019-07 ·
standards.ieee.org/ieee/754/6210/· 확인 2026-11-03 - A Study of BFLOAT16 for Deep Learning Training (arXiv:1905.12322) — Kalamkar et al. · 2019-05 ·
arxiv.org/abs/1905.12322· 확인 2026-11-03 - The bfloat16 numerical format (Cloud TPU documentation) — Google Cloud · 2026-11 ·
docs.cloud.google.com/tpu/docs/bfloat16· 확인 2026-11-03 - CUDA Programming Guide 1.2 Programming Model — NVIDIA · 2026-11 ·
docs.nvidia.com/cuda/cuda-programming-guide/01-introduction/programming-model.html· 확인 2026-11-03 - torch.profiler (PyTorch 2.15 documentation) — PyTorch · 2026-11 ·
docs.pytorch.org/docs/2.15/profiler.html· 확인 2026-11-03 - torch.cuda.memory.max_memory_allocated (PyTorch documentation) — PyTorch · 2026-11 ·
docs.pytorch.org/docs/2.15/generated/torch.cuda.memory.max_memory_allocated.html· 확인 2026-11-03 - nvidia-smi documentation — NVIDIA · 2026-11 ·
docs.nvidia.com/deploy/nvidia-smi/index.html· 확인 2026-11-03 - AMD SMI CLI tool (amd-smi) — AMD ROCm · 2026-11 ·
rocm.docs.amd.com/projects/amdsmi/en/latest/how-to/amdsmi-cli-tool.html· 확인 2026-11-03