IT › 컴퓨터 시스템 › 컴퓨터 구조 › 가속기 · 인터커넥트

AI 가속기AI Accelerator

신경망의 행렬 곱 · 합성곱을 대량의 곱셈 · 덧셈기(MAC)와 넓은 메모리 통로로 처리하도록 만든 전용 프로세서다. CPU 가 맡긴 계산을 받아 GPU · NPU 형태로 학습과 추론을 빠르게 한다.

1요약

  1. AI 가속기는 신경망 계산의 대부분인 행렬 곱을 수만 개 MAC 이 한 클록에 함께 처리하는 칩으로, 호스트 CPU 옆에 PCIe 등으로 붙고 그 위에서 딥러닝 프레임워크의 학습 · 추론 커널이 돈다.
  2. 2013년 Google 은 음성 검색 신경망을 사람들이 하루 3분씩 쓰면 데이터센터를 두 배로 늘려야 한다고 추정했고, 그 답으로 2015년부터 쓴 TPU 는 8비트 MAC 65,536개로 최대 92 TOPS 를 냈다(Jouppi 2017 1 · 2절).
  3. 「가속기가 느리다」는 사용률과 연산 강도로 가른다 — 사용률이 낮으면 호스트 쪽 대기, 높은데 연산 강도가 능선 점보다 낮으면 메모리 대역폭 한계, 능선 점을 넘었는데도 느리면 연산 · 정밀도 쪽이다.

2등장 배경

신경망 한 계층은 가중치 행렬과 입력 벡터의 곱이라, 입력 256개 · 출력 256개 계층 하나도 곱셈 · 덧셈 65,536번이 든다. 범용 CPU 코어는 명령 하나에 값 몇 개만 다루므로, 2013년 Google 의 추정처럼 신경망 사용이 늘면 서버 수가 그대로 늘어야 했다(Jouppi 2017 1절).

먼저 쓰인 것은 GPU 다. GPU 는 스레드 32개 묶음(warp)이 같은 명령을 함께 실행하는 SIMT 방식으로 수천 스레드를 돌린다(CUDA 가이드 1.2절). 2008년 Williams 외는 성능이 연산기 수와 메모리 대역폭 중 어느 쪽에 묶이는지를 한 그래프로 보이는 루프라인 모델을 냈다(Williams 2009 3절). Google 은 15개월 만에 설계한 추론 전용 칩 TPU 를 2015년 데이터센터에 넣었고, 2017년 논문에서 같은 시기 서버 CPU · GPU 보다 15 ~ 30배 빠르고 와트당 성능이 30 ~ 80배라고 보고했다.

같은 논문은 업무 신경망 6개 중 4개가 메모리 대역폭에 묶인다고 적었다(Jouppi 2017 요약). 그래서 메모리 쪽도 바뀌었다 — JEDEC HBM 표준은 JESD235B(2018) 1,024비트 · 핀당 2.4 Gb/s · 307 GB/s 에서 JESD270-4 HBM4(2025) 2,048비트 · 핀당 8 Gb/s · 스택당 2 TB/s 로 넓어졌다.

3쉽게 이해하기 — 틀로 찍는 만두 공장

만두 공장 사장이 주문서를 보내면, 작업대 앞의 작업자 6만 5천 명이 박자에 맞춰 같은 틀로 반죽을 찍는다. 만두 틀은 멀리 떨어진 창고에 있어 좁은 길로 트럭이 한 번에 하나씩 실어 온다. 틀 하나로 반죽을 많이 찍을수록 작업자가 쉬지 않고, 반죽 한 장만 찍고 다음 틀을 기다리면 작업자 대부분이 손을 놓는다.

사장 호스트 CPU 주문서를 쓰고 결과를 받음 창고 HBM · DRAM 만두 틀 수천 개 보관 2 틀 운반 메모리 대역폭 만두 공장 가속기 칩 선반의 반죽 온칩 SRAM 작업자 격자 MAC 배열 3 반죽을 한 틀로 한 박자에 찍기 1 주문서 4 완성품 상자

그림 1 · 사장의 주문으로 창고의 틀이 트럭에 실려 오고, 공장은 선반의 반죽을 그 틀로 한 박자에 찍어 완성품을 돌려보낸다.

주문 받기사장이 주문서를 보냄
틀 실어 오기창고의 틀이 좁은 길로 옴
반죽 쌓기작업대 옆 선반에 둠
한 박자 찍기모두가 같은 틀을 누름
틀 기다리기트럭이 늦으면 손을 놓음
상자 출고완성품을 사장에게
비유 — 틀 하나로 찍는 반죽 실제 — 배치와 성능 반죽 1장 작업자 0.07% 일함 B = 1 · 강도 1 MAC/바이트 34 GB/s × 1 = 0.034 T MAC/s 반죽 256장 작업자 19% 일함 · 나머지는 틀 기다림 B = 256 · 강도 256 34 GB/s × 256 = 8.7 T MAC/s 반죽 2048장 작업자 100% 일함 · 트럭이 기다림 B = 2048 · 강도 2048 연산 한계 45.9 T MAC/s 에 닿음 채운 막대 = 작업자가 일하는 비율 · 경계 = 45.9 T ÷ 34 GB/s ≈ 1,350장(능선 점)

그림 2 · 틀 하나로 찍는 반죽 장 수가 작업자가 일하는 비율을 정하고, 실제로는 배치 B 가 능선 점 1,350 을 넘어야 연산기가 다 돈다.

비유 속 역할실제 이름실제로 하는 일
사장호스트 CPU모델을 명령으로 바꿔 PCIe 로 보내고 결과를 받는다
창고HBM · DRAM가중치 수 GB 를 칩 밖에 담는다
트럭 길의 폭메모리 대역폭칩 밖에서 초당 가져올 수 있는 바이트(34 GB/s ~ 2 TB/s)
만두 틀가중치 타일행렬 배열에 실리는 256 × 256 가중치 블록
선반의 반죽온칩 SRAM 의 입력배치로 모은 입력 활성값을 칩 안에 둔다
작업자 격자MAC 배열클록마다 곱셈 · 덧셈 65,536번
틀 기다림메모리 병목연산 강도가 능선 점보다 낮아 연산기가 쉼
작은 계량컵낮은 정밀도(INT8 · BF16)값 하나를 1 ~ 2바이트로 줄여 같은 길로 더 많이 옮긴다

⚠ 비유가 맞지 않는 곳: GPU 는 틀을 한 자리에 고정하지 않고 스레드마다 데이터를 읽어 계산하며, 실제 MAC 은 판단 없이 곱셈 · 덧셈만 하고 결과는 다음 계층 입력으로 칩 안에 남는다.

4구조 — 연산 배열 · 칩 안 메모리 · 칩 밖 메모리

가속기는 계산을 맡는 연산 배열, 칩 안의 SRAM, 칩 밖의 장치 메모리, 호스트 연결 네 부분이다. TPU 다이는 데이터 버퍼 37% · 연산 30% · 제어 2% 로, 제어를 줄이고 면적을 연산과 버퍼에 준다(Jouppi 2017 2절).

호스트 CPU 호스트 메모리 모델 · 입력 원본 PCIe AI 가속기 칩 연산 배열 GPU = SIMT 코어 수천 NPU = 고정 MAC 배열 온칩 SRAM 캐시 · 통합 버퍼 수십 MiB(TPU 28 MiB) 메모리 제어기 · 장치 간 연결 HBM 스택(DRAM 다이를 쌓음) 2,048비트 × 8 Gb/s = 2 TB/s HBM 스택 16단이면 64 GB 대역폭 한계 제어 · 명령 연산(▼ GPU · NPU) 칩 안 사본 칩 밖 메모리(▼ HBM) 병목 자리

그림 3 · 연산 배열(GPU · NPU)은 칩 안 SRAM 과 칩 밖 HBM 에서 데이터를 받으며, 칩 밖 메모리로 가는 길의 폭이 연산 속도를 묶는다.

하위 이름푸는 문제계산 단위주 정밀도대표 값(근거)
GPU여러 모델의 학습 · 추론을 범용 병렬 코어로스레드 32개 warp 의 SIMTFP32 · FP16 · BF16warp = 32 스레드(CUDA 가이드 1.2절)
NPU정해진 신경망 연산을 고정 MAC 배열로256 × 256 systolic 배열(TPU)INT8 · BF16700 MHz · 92 TOPS(Jouppi 2017 2절)
온칩 SRAM같은 데이터를 칩 밖에서 다시 읽지 않게버퍼 · 캐시 · 누산기32비트 누산통합 버퍼 24 MiB · 누산기 4 MiB
HBM칩 밖 메모리의 대역폭DRAM 다이 4 ~ 16단 · 2,048비트—스택당 2 TB/s · 32채널(JESD270-4)
호스트 연결명령 · 입력 전달PCIe Gen3 x16(TPU)—명령당 평균 10 ~ 20 클록(Jouppi 2017 2절)

정밀도는 값 하나의 바이트 수라 같은 대역폭으로 옮기는 값의 개수를 정한다. FP16 은 지수 5비트라 최대 65,504 까지만 담고(IEEE 754-2019 binary16), BF16 은 FP32 와 같은 지수 8비트로 범위가 같다(Kalamkar 2019).

FP32 4바이트 지수 8 가수 23 BF16 2바이트 지수 8 가수 7 범위 = FP32 와 같음 · 정밀도는 낮음 FP16 2바이트 지수 5 가수 10 최대 65,504 · 넘치면 무한대 INT8 1바이트 정수 8 -128 ~ 127 · 실제 값 = 눈금 S × (q - 영점 Z) 부호 1비트 지수(범위) 가수(정밀) 정수(부호 포함) 필드 너비 = 비트 수

그림 4 · BF16 은 FP32 의 지수 8비트를 그대로 두고 가수를 줄여 범위를 지키고, FP16 은 지수를 5비트로 줄여 범위가 좁다.

🔑 곱셈은 좁은 정밀도로, 누적은 넓은 정밀도로 한다 — TPU 는 8비트 곱을 32비트 누산기에 모으고(Jouppi 2017 2절), 클라우드 TPU 도 BF16 곱 · FP32 누적이 기본이다(Google Cloud bfloat16).

5동작 — 행렬 배열에서 계층 하나 계산하기

TPU 논문의 행렬 단위로 입력 256 · 출력 256 인 전결합 계층 하나를 배치 B = 256 으로 계산하는 사례다. 크기 · 속도는 논문 값이고(Jouppi 2017 2절), 시간 · 비율은 그 값으로 계산했다.

  1. 호스트가 PCIe Gen3 x16 으로 명령을 보내고, Read_Host_Memory 가 입력 256행 × 256바이트(INT8) = 64 KiB 를 통합 버퍼(24 MiB)에 올린다.
  2. Read_Weights 가 가중치 메모리(DDR3 8 GiB · 34 GB/s)에서 256 × 256 INT8 타일 64 KiB 를 가중치 FIFO(4 타일 깊이)로 읽는다 — 65,536 ÷ 34 GB/s = 1.93 µs.
  3. 타일이 행렬 단위에 미리 실리고(옮기는 256 클록은 이중 버퍼로 숨김), MatrixMultiply 가 입력 행을 왼쪽에서 한 클록에 한 행씩 흘려 대각선 파면으로 지나가게 한다.
  4. 셀 65,536개가 클록마다 8비트 곱셈 · 덧셈을 하고 32비트 누산기(4,096 × 256)에 부분합을 모은다 — 256행 = 256 클록 = 0.37 µs(700 MHz).
  5. Activate 가 누산기 값에 ReLU 를 적용해 통합 버퍼에 다시 쓰므로 다음 계층 입력이 칩 밖으로 나가지 않는다.
  6. 마지막 계층 뒤 Write_Host_Memory 가 결과를 호스트 메모리로 보낸다.
  7. 판정 — 타일 하나에 계산 0.37 µs · 읽기 1.93 µs 라 행렬 단위는 81% 시간 동안 기다리고, 낼 수 있는 성능은 34 GB/s × 256 = 8.7 T MAC/s(최대 45.9 T 의 19%)다.
호스트 · 명령 칩 안 버퍼 칩 밖 메모리 연산 호스트 PCIe Gen3 x16 통합 버퍼 24 MiB SRAM 활성 함수 · ReLU 가중치 메모리 DDR3 8 GiB · 34 GB/s 가중치 FIFO · 타일 4개 행렬 단위 256 × 256 MAC · 700 MHz 누산기 4 MiB · 32비트 1 2 타일 64 KiB 1.93 µs 3 256행 0.37 µs 4 5 6

그림 5 · 가중치는 위에서 · 입력은 왼쪽에서 행렬 단위로 들어가고, 결과는 누산기와 활성 함수를 거쳐 통합 버퍼로 돌아와 다음 계층 입력이 된다.

성능(T MAC/s · 로그) 100 10 1 0.1 0.01 1 10 100 1,000 10,000 연산 강도(MAC / 가중치 바이트 · 로그) = 이 사례에서는 배치 B 능선 점 1,350 메모리 한계(34 GB/s × 강도) 연산 한계 45.9 T MAC/s B = 1 · 0.034 T B = 256 8.7 T · 최대의 19% B = 2048

그림 6 · 연산 강도가 능선 점 1,350 보다 낮으면 성능은 대역폭 선에 묶이고, B = 256 은 최대의 19% 에 머문다.

🔑 가속기의 속도는 연산기 수가 아니라 «칩 밖에서 가져온 바이트 하나로 몇 번 계산하는가»가 정한다 — 능선 점 왼쪽에서는 MAC 을 늘려도 빨라지지 않는다.

⚠ 92 TOPS 는 곱셈과 덧셈을 2연산으로 센 값이고, 논문의 능선 점 1,350 과 그림 6 은 MAC 하나를 1로 센다(65,536 × 700 MHz = 45.9 T MAC/s · ÷ 34 GB/s ≈ 1,350).

6비교 — CPU · GPU · NPU · FPGA

기준CPUGPUNPU(TPU 류)FPGA
계산 단위코어 수십 + SIMDwarp 32 스레드 SIMT · 수천 스레드고정 MAC 배열(256 × 256)사용자가 짠 회로
명령 방식스스로 명령을 읽음커널 단위로 실행호스트가 명령을 보냄(CISC 명령 약 12종)회로 자체가 동작
주 정밀도FP64 · FP32FP32 · FP16 · BF16 · INT8INT8(TPU 첫 세대) · BF16설계한 비트 폭
능선 점(연산 / 가중치 바이트)1391,350—
맞는 일전처리 · 분기가 많은 제어모델이 자주 바뀌는 학습 · 추론정해진 모델의 대량 계산낮은 지연 · 맞춤 연산

능선 점은 2015년 같은 데이터센터의 서버 칩을 잰 값이다(Jouppi 2017 4절) — GPU 는 메모리 대역폭이 넓어 능선 점이 CPU 보다 왼쪽이다.

분석모델과 연산 종류가 자주 바뀌면 GPU, 같은 모델을 큰 배치로 오래 돌리면 NPU, 배치를 키울 수 없는 저지연 일이면 능선 점이 낮은 쪽을 고른다. 근거는 표의 「능선 점」 행 — 능선 점이 높은 칩은 배치가 그만큼 커야 최대 성능에 닿는다(Williams 2009 3절).

7실무 진단 — 느린 학습 · 추론의 병목 가르기

분석사용률 → 메모리 용량 → 연산 강도 → 정밀도 순으로 본다. 장치가 놀고 있으면 칩 안을 고쳐도 소용없고, 용량이 넘치면 배치를 못 키워 연산 강도도 오르지 않기 때문이다(Williams 2009 3절).

#증상의심 원인구분확인 명령판정 기준(근거)
1장치 사용률이 낮고 처리량도 낮음입력 준비 · 호스트 전송 대기호스트nvidia-smi -q -d UTILIZATION -l 1(NVIDIA) · amd-smi monitor --gfx(AMD)사용률 = 표본 구간 중 커널이 돈 시간 비율(nvidia-smi 문서) — 낮으면 앞단
2out of memory 오류로 멈춤가중치 · 활성값이 장치 메모리 초과메모리 용량torch.cuda.max_memory_allocated()최고 사용량이 장치 용량에 닿음 → 배치 축소 · 16비트 저장
3사용률은 높은데 최대 성능의 일부낮은 연산 강도메모리 대역폭torch.profiler.profile(with_flops=True)연산 수 ÷ 옮긴 바이트 < 능선 점이면 대역폭 한계(Williams 2009 3절)
4INT8 변환 뒤 정확도 하락눈금 · 영점이 값 분포와 어긋남정밀도검증 데이터 정확도 FP32 ↔ INT8 대조실제 값 r = S(q − Z)(Jacob 2018 2.1절 식 1) — 계층별로 S · Z 다시 맞춤

with_flops 는 행렬 곱 · 2차원 합성곱의 연산 수를 식으로 어림하므로(PyTorch profiler), 옮긴 바이트는 텐서 크기 × 정밀도 바이트로 따로 센다.

8시험 대비

출제 정보 컴퓨터시스템응용(140회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 가속기를 이루는 연산 배열 · 메모리 계층 · 정밀도를 그리는 구조 · 구성형, 그리고 CPU · GPU · NPU 를 기준별로 대는 비교형이 나올 수 있다.

답안 목차
  1. 개요 — 정의 · 행렬 곱 중심 계산 · 등장 배경(2013 추정 · TPU 2015 배치)
  2. 구성 요소 — 그림 3 구조(연산 배열 · 온칩 SRAM · HBM · 호스트 연결) + 하위 표(GPU · NPU · HBM 대표 값)
  3. 동작 — 그림 5 systolic 행렬 단위 데이터 흐름(명령 다섯 · 256 × 256 · 32비트 누산)
  4. 성능 한계 — 그림 6 루프라인(성능 = min(최대, 대역폭 × 연산 강도) · 능선 점 1,350 · B = 256 = 19%)
  5. 정밀도 — 그림 4 비트 배치(FP32 · BF16 · FP16 · INT8) · 혼합 정밀도 · INT8 양자화 식
  6. 비교와 선택 — CPU · GPU · NPU · FPGA 비교표(능선 점 13 · 9 · 1,350) · 선택 기준

꼭 쓸 키워드
행렬 곱MAC 배열systolic 배열SIMT연산 강도루프라인능선 점HBM혼합 정밀도INT8 양자화

다른 답안과 차이를 내는 한 가지는 루프라인 그림에 사례 점(B = 256 → 19%)을 찍어 「연산기를 늘려도 안 빨라지는 구간」을 수치로 보이는 것이다.

9오해와 사실

  • 오해TOPS 가 높은 칩일수록 그 비율로 빨리 돈다.
    사실TPU 는 업무 신경망 6개 중 4개가 메모리 대역폭에 묶였고, 같은 칩에 더 빠른 GDDR5 를 붙이면 실측 TOPS 가 세 배가 된다고 추산됐다(Jouppi 2017 요약).
  • 오해16비트 학습은 모든 값을 16비트로만 둔다.
    사실혼합 정밀도 학습은 가중치의 FP32 사본에 기울기를 누적하고 손실에 배율을 곱해 작은 기울기가 0 으로 사라지지 않게 한다(Micikevicius 2018 3절).
  • 오해BF16 과 FP16 은 같은 2바이트라 바꿔 써도 결과가 같다.
    사실FP16 은 지수 5비트라 65,504 를 넘으면 넘치고, BF16 은 지수 8비트라 FP32 와 같은 범위를 갖는 대신 가수가 7비트다(Kalamkar 2019).

10핵심 정리

구분맡는 일단위 · 크기대표 값병목 신호확인
호스트 CPU명령 · 입력 전달PCIe명령당 10 ~ 20 클록(TPU)장치 사용률 낮음nvidia-smi · amd-smi
연산 배열행렬 곱 · 합성곱MAC · warp 32 스레드65,536 MAC · 45.9 T MAC/s능선 점 오른쪽인데 느림프로파일러 커널 시간
온칩 SRAM데이터 재사용MiB 단위24 MiB 버퍼 · 4 MiB 누산기같은 값 반복 읽기프로파일러 메모리
HBM · DRAM가중치 · 활성값 보관GB · 2,048비트2 TB/s · 64 GB(HBM4)out of memorymax_memory_allocated
메모리 대역폭칩 밖 → 칩 안 공급GB/s34 GB/s(TPU 첫 세대)연산 강도 < 능선 점with_flops ÷ 바이트
정밀도값 하나의 바이트 수1 ~ 4바이트INT8 곱 · 32비트 누적정확도 하락 · 넘침FP32 ↔ INT8 대조

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ In-Datacenter Performance Analysis of a Tensor Processing Unit (ISCA 2017 · arXiv:1704.04760) — 행렬 단위 · 버퍼 · 명령 다섯 개와 실제 서버 칩의 능선 점을 볼 때
    Jouppi et al. (Google) · 2017-04 · arxiv.org/abs/1704.04760 · 확인 2026-11-03
  3. ★ Roofline: An Insightful Visual Performance Model for Multicore Architectures (Communications of the ACM 52(4)) — 성능 = min(최대 연산 성능, 대역폭 × 연산 강도) 식과 능선 점의 뜻을 볼 때
    Williams · Waterman · Patterson · 2009-04 · doi.org/10.1145/1498765.1498785 · 확인 2026-11-03
  4. ★ Mixed Precision Training (ICLR 2018 · arXiv:1710.03740) — 16비트 학습에서 FP32 사본 · 손실 스케일링을 두는 이유를 볼 때
    Micikevicius et al. · 2017-10 · arxiv.org/abs/1710.03740 · 확인 2026-11-03
  5. ★ Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (arXiv:1712.05877) — INT8 추론의 눈금 · 영점 식과 32비트 누산을 볼 때
    Jacob et al. · 2017-12 · arxiv.org/abs/1712.05877 · 확인 2026-11-03
  6. 본문 근거
  7. Roofline: An Insightful Visual Performance Model for Floating-Point Programs and Multicore Architectures (Technical Report UCB/EECS-2008-134) — UC Berkeley EECS · 2008-10 · www2.eecs.berkeley.edu/Pubs/TechRpts/2008/EECS-2008-134.html · 확인 2026-11-03
  8. JEDEC JESD270-4 HBM4 standard release (press release · StorageNewsletter reprint) — JEDEC · 2025-04 · www.storagenewsletter.com/2025/04/17/jedec-and-industry-leaders-collaborate-to-release-jesd270-4-hbm4-standard/ · 확인 2026-11-03
  9. JEDEC updates High Bandwidth Memory standard JESD235B (press release · Design & Reuse reprint) — JEDEC · 2018-12 · design-reuse.com/news/39018/jedec-high-bandwidth-memory-hbm-standard.html · 확인 2026-11-03
  10. IEEE 754-2019 IEEE Standard for Floating-Point Arithmetic — IEEE · 2019-07 · standards.ieee.org/ieee/754/6210/ · 확인 2026-11-03
  11. A Study of BFLOAT16 for Deep Learning Training (arXiv:1905.12322) — Kalamkar et al. · 2019-05 · arxiv.org/abs/1905.12322 · 확인 2026-11-03
  12. The bfloat16 numerical format (Cloud TPU documentation) — Google Cloud · 2026-11 · docs.cloud.google.com/tpu/docs/bfloat16 · 확인 2026-11-03
  13. CUDA Programming Guide 1.2 Programming Model — NVIDIA · 2026-11 · docs.nvidia.com/cuda/cuda-programming-guide/01-introduction/programming-model.html · 확인 2026-11-03
  14. torch.profiler (PyTorch 2.15 documentation) — PyTorch · 2026-11 · docs.pytorch.org/docs/2.15/profiler.html · 확인 2026-11-03
  15. torch.cuda.memory.max_memory_allocated (PyTorch documentation) — PyTorch · 2026-11 · docs.pytorch.org/docs/2.15/generated/torch.cuda.memory.max_memory_allocated.html · 확인 2026-11-03
  16. nvidia-smi documentation — NVIDIA · 2026-11 · docs.nvidia.com/deploy/nvidia-smi/index.html · 확인 2026-11-03
  17. AMD SMI CLI tool (amd-smi) — AMD ROCm · 2026-11 · rocm.docs.amd.com/projects/amdsmi/en/latest/how-to/amdsmi-cli-tool.html · 확인 2026-11-03