AI › AI 엔지니어링(AI 시스템 운영) › 추론 · 하드웨어

NPU신경망 처리 장치 · Neural Processing Unit

신경망의 행렬 곱 · 합성곱만 처리하도록 곱셈 · 누산기(MAC)를 격자로 놓고 칩 안 메모리와 정해진 데이터 흐름으로 묶은 전용 프로세서다. 데이터센터 카드로 붙거나 휴대폰 · PC 의 SoC 안에 CPU · GPU 와 함께 들어간다.

1요약

  1. NPU 는 AI 가속기 가운데 범용 병렬 코어(GPU)가 아니라 공간 구조(처리 소자끼리 데이터를 직접 넘기는 배열)로 만든 쪽으로, 컴파일러가 모델 그래프를 타일 명령으로 바꾸면 그 위에서 INT8 · BF16 합성곱 · 행렬 곱 · 활성 함수가 돈다(Sze 2017 5절).
  2. 신경망 계산에서 비싼 것은 곱셈이 아니라 데이터 이동이다 — DRAM 한 번 읽기는 처리 소자 안 레지스터 파일 읽기의 200배 에너지가 들고(Sze 2017 그림 22), AlexNet 의 MAC 7억 2,400만 번을 메모리 계층 없이 돌리면 DRAM 접근이 약 30억 번 필요하다(Sze 2017 5.B절).
  3. 「NPU 를 붙였는데 빠르지 않다」는 연산 배정 · 재사용 · 배치 중 어디서 막혔는가로 가른다 — 일부 연산이 CPU 로 넘어갔으면 컴파일러 지원 범위, 모두 NPU 에서 도는데 한 계층만 느리면 타일이 칩 안 메모리를 넘친 것, 처리량만 낮으면 응답 시간 한도 안에서 묶을 수 있는 배치 크기다.

2등장 배경

CPU · GPU 는 연산기가 메모리 계층에서 값을 읽어 오기만 하고 연산기끼리 직접 주고받지 못한다(Sze 2017 5절). 그래서 같은 가중치를 수십 번 쓰는 합성곱도 쓸 때마다 캐시 · 메모리를 다시 읽고, 그 읽기가 곱셈보다 수십 ~ 수백 배 에너지를 먹는다. 1980년 Kung · Leiserson 은 데이터를 메모리에서 한 번 꺼내 처리 소자 사이로 박자 맞춰 흘리는 시스톨릭 배열을 제안했고(Jouppi 2017 참고 문헌), 1982년 Kung 이 그 설계 원리를 정리했다(Kung 1982).

신경망이 퍼지자 이 원리가 신경망 전용 칩으로 이어졌다 — 2014년 DianNao(가산기 트리) · 2015년 ShiDianNao(출력 고정) · 2016년 Eyeriss(행 고정)가 데이터 흐름별 설계를 냈다(Sze 2017 5.B절). 2015년부터 데이터센터에서 쓴 한 회사의 추론 가속기는 같은 시기 GPU · CPU 보다 평균 15 ~ 30배 빠르고 와트당 성능은 30 ~ 80배였다(Jouppi 2017 초록).

2017년 뒤에는 스마트폰 SoC 에도 NPU 가 들어가, 운영체제의 신경망 API 로 앱이 NPU 를 쓰기 시작했다(Ignatov 2019 2절). 지금은 데이터센터형(독립 카드 · 전용 고대역 메모리)과 기기 내장형(SoC 안 블록 · DRAM 공유) 두 형태로 나뉘어 쓰인다.

3쉽게 이해하기 — 김장 줄의 양념 바르기

마을 사람 아홉이 마당에서 김장을 한다. 배추는 먼 창고에 있어 트럭이 한 번에 실어 와 평상에 내려 둔다. 사람마다 앞에 자기 양념 그릇이 하나씩 있고, 배추는 줄 왼쪽에서 들어와 한 사람이 양념을 한 번 바르고 오른쪽 사람에게 넘긴다. 바른 양념 겹은 아랫사람에게 넘어가 쌓이고, 맨 아래에서 다 된 김치가 평상으로 돌아간다.

작업 순서표 컴파일러 배추 창고 멀리 있음 DRAM 마당 평상 내려 둔 배추 전역 버퍼 1 2 김장 줄 3 4 5 다 된 김치 창고 · 평상 = DRAM · 전역 버퍼 배추 = 입력 활성값 양념 그릇 = 가중치(PE 의 RF) 양념 겹 = 부분합 1 창고에서 평상으로 한 번만 실어 옴 · 2 줄 왼쪽으로 배추를 들여보냄 · 3 배추는 오른쪽 사람에게 넘김 4 양념 겹은 아랫사람에게 넘겨 쌓음 · 5 다 된 김치는 평상으로 · 사람 = PE · 줄 전체 = PE 배열

그림 1 · 배추는 창고에서 한 번만 실어 오고, 줄 안에서는 옆 사람에게 넘기며, 사람마다 자기 양념 그릇은 끝까지 그대로 둔다.

한 번 실어 오기창고의 배추를 평상에 내려 둠
순서 정하기누가 어느 양념을 맡을지
그릇 놓기사람마다 자기 양념 한 가지
옆으로 넘기기배추는 바르고 오른쪽으로
겹 쌓기바른 겹은 아랫사람에게
김치 내기맨 아래에서 평상으로
비유 — 한 사람의 손 윗사람이 바른 양념 겹 그릇 한 번 바름 배추 옆 사람에게 한 겹 더해 아랫사람에게 그릇의 양념은 배추가 64포기 지나가도 그대로 · 창고에 다시 가지 않음 실제 실제 — PE 하나(클록 한 번) p(위에서 온 부분합) PE RF: w 고정 MAC 1회 a(입력) a 그대로 p + a × w 이웃 전달 에너지 2 · DRAM 읽기 200(Sze 2017)

그림 2 · 한 사람이 하는 일은 «받아서 바르고 넘기기» 하나다 — 실제 PE 도 왼쪽 입력 a 와 위쪽 부분합 p 를 받아 p + a × w 를 아래로, a 를 오른쪽으로 넘긴다.

비유 속 역할실제 이름실제로 하는 일
먼 배추 창고DRAM · HBM가중치 · 활성값 전체를 칩 밖에 담는다 · 한 번 읽기가 가장 비싸다
한 번 실어 오기DMA · 전역 버퍼계층에 필요한 값을 칩 안 버퍼(100 ~ 500 kB)로 한 번 옮긴다
작업 순서표컴파일러 · 매퍼계층을 배열 크기에 맞는 타일로 나누고 데이터 흐름을 정한다
자기 양념 그릇PE 의 레지스터 파일가중치 하나를 담아 타일이 끝날 때까지 다시 읽는다
옆 사람에게 넘기기PE 사이 연결입력 값을 이웃 PE 로 바로 넘겨 버퍼를 다시 읽지 않는다
아래로 쌓이는 양념 겹부분합 누산곱한 값을 아래 PE 로 넘기며 더해 출력 하나를 만든다
평상으로 돌아온 김치후처리 · 출력 쓰기활성 함수 · 재양자화 뒤 다음 계층 입력으로 버퍼에 둔다

⚠ 비유가 맞지 않는 곳: 실제 PE 는 클록마다 정확히 한 단계씩 박자를 맞춰 움직이고, 줄 가장자리에서는 값이 다 들어올 때까지 일부 PE 가 쉰다(동작 절 4단계의 채움 비율). 또 양념 그릇은 배추 묶음(타일)이 바뀔 때마다 통째로 갈아 끼운다.

4구조 — 컴파일러 · PE 배열 · 칩 안 메모리

NPU 는 컴파일러가 만든 명령을 받아 DMA 가 칩 밖 메모리에서 전역 버퍼로 값을 옮기고, PE 배열이 버퍼 값을 이웃끼리 넘기며 MAC 을 하고, 후처리 장치가 결과를 버퍼로 되돌리는 구조다. 데이터센터형과 기기 내장형은 이 코어가 같고 «칩 밖» 연결이 다르다.

모델 그래프(ONNX 등) 컴파일러 · 매퍼 연산 분할 · 타일링 · 데이터 흐름 · 명령 명령 NPU 코어 제어기 · DMA 전역 버퍼 100 ~ 500 kB PE 배열 200 ~ 1,000 PE PE = ALU + RF 0.5 ~ 1.0 kB 후처리 활성 함수 재양자화 결과 = 다음 계층 입력(칩 밖으로 나가지 않음) 데이터센터형 호스트 CPU ─ PCIe 카드 칩 밖 HBM · DRAM 전용 큰 배치 · 응답 시간 한도 전력 수백 W 급 · 독립 장치 기기 내장형 SoC 안 CPU · GPU · NPU LPDDR 하나를 나눠 씀 배치 1 · 전력 수 W 안 런타임이 연산을 장치에 배정 메모리(버퍼) 입력 흐름 PE · 가중치 출력 · 후처리 크기 범위 = Sze 2017 그림 22

그림 3 · 코어는 버퍼 → PE 배열 → 후처리 → 버퍼로 값이 돌고, 데이터센터형은 전용 고대역 메모리를 · 기기 내장형은 CPU · GPU 와 DRAM 하나를 나눠 쓴다.

요소크기역할값 · 근거
PEALU + RF 0.5 ~ 1.0 kBMAC 1회 · 값 하나 고정RF 읽기 = 정규화 에너지 1(Sze 2017 그림 22)
PE 배열 · PE 사이 연결200 ~ 1,000 PE이웃에게 입력 · 부분합 전달이웃 전달 = 2
전역 버퍼100 ~ 500 kB계층 단위 입력 · 가중치 · 부분합 보관버퍼 읽기 = 6
칩 밖 메모리GB 단위모델 전체 보관DRAM 읽기 = 200
후처리벡터 장치활성 함수 · 재양자화 · 풀링32비트 누산 → INT8(→ 양자화)
컴파일러 · 매퍼소프트웨어분할 · 타일링 · 데이터 흐름 결정매퍼는 에너지를, 컴파일러는 성능을 맞춘다(Sze 2017 5.B절)

데이터 흐름은 «어느 값을 PE 안에 붙잡아 두는가»로 나뉜다(Sze 2017 5.B절 · 그림 25).

데이터 흐름PE 에 붙잡는 값움직이는 값예
가중치 고정(WS)가중치입력은 방송 · 부분합은 배열을 따라 누산시스톨릭 행렬 배열
출력 고정(OS)부분합입력은 이웃 PE 사이 · 가중치는 방송ShiDianNao
국소 재사용 없음(NLR)없음(그 면적을 버퍼로)모든 값이 버퍼 ↔ 가산기 트리DianNao
행 고정(RS)가중치 행 · 입력 행 · 부분합1차원 합성곱을 PE 하나에Eyeriss · 다른 흐름보다 에너지 1.4 ~ 2.5배 적음

🔑 NPU 의 성능은 MAC 수가 아니라 «값 하나를 비싼 메모리에서 한 번 꺼내 몇 번 쓰는가»가 정하고, 그 횟수를 정하는 것은 하드웨어가 아니라 컴파일러가 고른 타일과 데이터 흐름이다.

5동작 — 64 × 256 입력에 256 × 256 가중치를 곱하는 한 계층

가중치 고정 흐름의 16 × 16 PE 배열에서 Y(64 × 256) = X(64 × 256) · W(256 × 256) 계층 하나를 INT8 로 계산한다. 계층 크기 · 배열 16 × 16 · 전역 버퍼 256 KiB 는 설명용 가정 값이고, 정규화 에너지는 Sze 2017 그림 22 값이다(원문 식 직접 계산 · 타일 사이 겹침이 없는 단순 모델).

  1. 컴파일 — 컴파일러가 W 를 K 방향 16 × N 방향 16 = 타일 256개로 나눈다. 계층 전체 MAC 은 64 × 256 × 256 = 4,194,304번이다.
  2. 적재 — DMA 가 X 16 KiB · W 64 KiB 를 DRAM 에서 전역 버퍼로 한 번만 읽는다. 32비트 부분합 64 KiB 까지 합쳐 144 KiB 로 버퍼 256 KiB 안에 든다.
  3. 가중치 고정 — 타일 하나의 가중치 256개를 PE 256개의 RF 에 하나씩 올린다. 이 값은 X 의 64행이 다 지나갈 때까지 64번 쓰인다.
  4. 입력 흐름 — X 의 64행이 왼쪽에서 한 클록에 한 행씩 들어와 오른쪽 PE 로 넘어가고, 부분합은 아래 PE 로 넘어간다. 타일 하나에 64 + 16 + 16 − 2 = 94 클록이 걸려 PE 가 실제로 계산하는 비율은 64 ÷ 94 = 68%다.
  5. 누산 — K 방향 16 타일의 부분합을 버퍼에서 32비트로 더한다(버퍼 쓰기 262,144번 · 읽기 245,760번).
  6. 후처리 — 누산이 끝난 값에 눈금을 곱하고 활성 함수를 거쳐 INT8 Y 16,384개를 DRAM 에 쓴다.
  7. 집계 — 접근 횟수는 DRAM 98,304 · 버퍼 851,968 · PE 사이 7,864,320 · RF 4,194,304번이고, 정규화 에너지는 4,470만 = MAC 당 10.7 이다. 모든 값을 DRAM 에서 읽고 쓰면 MAC 당 4 × 200 = 800 이라 75배 차이가 난다.
1 컴파일 — W 를 타일 256개(K 16 × N 16) · MAC 4,194,304번 DRAM X · W · Y 2 전역 버퍼 X 16 · W 64 KiB 144 / 256 KiB 3 가중치 256값을 RF 에 고정(64번씩 사용) 4 PE 16 × 16 X 64행 → 한 클록 한 행 · 타일당 94 클록 · 채움 68% 누산 32비트 · K 16 타일 5 6 후처리 · INT8 Y 16,384바이트 7 집계(접근 횟수) DRAM 98,304 버퍼 851,968 PE 사이 7,864,320 RF 4,194,304 MAC 당 에너지 10.7 모두 DRAM 이면 800 → 75배 차이 메모리 가중치 · PE 입력 부분합 · 출력 계층 · 배열 · 버퍼 크기 = 설명용 가정 값

그림 4 · 가중치는 위에서 한 번 실려 고정되고, 입력은 왼쪽에서 흘러 들어오며, 부분합은 아래로 모여 버퍼에서 누산된다 — 타일 256개 × 94 클록.

같은 계층을 «버퍼만 쓰고 PE 안에 아무것도 붙잡지 않는» 흐름으로 돌리면 DRAM 접근 수는 같아도 MAC 마다 버퍼를 네 번 읽고 써서 MAC 당 28.7 이 된다. 가중치 고정은 버퍼 접근을 PE 사이 전달(2)과 RF(1)로 바꿔 2.7배를 더 줄인다.

MAC 하나당 정규화 에너지(RF 읽기 = 1) 모두 DRAM 800 버퍼만(NLR) 28.7 가중치 고정(WS) 10.7 0 10 20 DRAM(200) 전역 버퍼(6) PE 사이(2) RF(1) 괄호 = 접근 한 번의 정규화 에너지(Sze 2017 그림 22) · 계층 64 × 256 × 256 · 배열 16 × 16 = 가정 값 · 점선 = 축 생략(800)

그림 5 · MAC 당 에너지는 DRAM 만 쓰면 800, 버퍼만 쓰면 28.7, 가중치를 PE 에 고정하면 10.7 — 비싼 메모리 접근을 싼 접근으로 바꿀수록 줄어든다.

🔑 DRAM 접근 수(MAC 당 0.023번)는 두 흐름이 같고 차이는 칩 안에서 난다 — 버퍼 대신 이웃 PE 와 자기 RF 에서 값을 다시 쓰게 하는 것이 공간 구조가 시간 구조보다 에너지를 덜 쓰는 이유다.

6비교 — GPU · 데이터센터형 NPU · 기기 내장형 NPU

기준GPU데이터센터형 NPU기기 내장형 NPU
연산기 사이 데이터메모리 계층에서만 읽음 · 연산기끼리 직접 못 줌(Sze 2017 5절)이웃 PE 로 직접 전달(시스톨릭)이웃 PE 전달 · 512 KB 스크래치패드(Ignatov 2019 2.1절)
제어중앙 제어 · 수천 스레드 전환 · 캐시캐시 · 분기 예측 · 비순차 실행 없음(Jouppi 2017 4절)SoC 의 런타임이 연산을 배정
7 ms 응답 한도의 처리량배치 16 · 최대의 37%배치 200 · 최대의 80%(Jouppi 2017 표 4)배치 1 이 기본
와트당 성능기준30 ~ 80배(Jouppi 2017 초록)3.6 ~ 11.5 TOPS/W(Ignatov 2019 2.1절)
새 연산이 나오면커널을 새로 써서 바로 실행컴파일러 · 명령이 받을 때까지 기다림못 받은 연산은 CPU · GPU 로 넘어감
정밀도FP32 · FP16 · BF16 · INT8INT8 · BF16양자화(INT8) 추론만 받는 세대가 있음
자기 최대 처리량 대비 비율 · 99번째 백분위 응답 시간 GPU · 배치 16 6.7 ms 37% GPU · 배치 64 8.3 ms 100% NPU · 배치 200 7.0 ms 80% NPU · 배치 250 10.0 ms 100% 7 ms 한도 안 한도 초과(서비스에 못 씀) 값 = Jouppi 2017 표 4(데이터센터 MLP 모델 하나 · 다이 하나) · 초당 추론 13,461 ↔ 225,000

그림 6 · 같은 7 ms 응답 한도에서 GPU 는 배치 16 에 멈춰 최대 처리량의 37% 를, 전용 가속기는 배치 200 까지 키워 80% 를 쓴다.

분석모델 구조가 자주 바뀌거나 학습까지 같은 장비로 하면 GPU, 정해진 모델을 응답 시간 한도 안에서 많이 돌리면 데이터센터형 NPU, 배터리 · 발열 한도가 먼저인 기기 안 추론이면 기기 내장형 NPU 를 고른다. 근거는 표의 «새 연산» · «응답 한도» 행 — GPU 는 커널만 쓰면 새 연산을 바로 돌리지만 한도 안 배치가 16 에 묶였고, 전용 가속기는 결정적 실행으로 배치 200 에서도 7 ms 를 지켰다(Jouppi 2017 표 4).

7실무 진단 — NPU 가 기대만큼 빠르지 않은 원인 가르기

분석연산 배정 → 계층별 시간 → 배치 → 정밀도 순으로 본다. CPU 로 넘어간 연산이 있으면 NPU 안을 고쳐도 그 연산이 전체 시간을 쥐고, 배정이 맞은 뒤에야 타일 · 배치 문제가 보이기 때문이다(ONNX Runtime EP 문서).

#증상의심 원인단계확인 자료판정 기준(근거)
1일부 계층만 느리고 CPU 사용률이 함께 오름NPU 가 받지 못한 연산이 CPU 로 넘어감연산 배정ONNX Runtime log_severity_level=0 세션 로그 · get_providers()실행 제공자 목록 순서대로 받을 수 있는 노드를 가져가고 나머지는 다음 제공자로(ONNX Runtime EP 문서)
2모두 NPU 에서 도는데 계층 하나가 유난히 느림타일이 전역 버퍼를 넘쳐 DRAM 을 다시 읽음데이터 흐름enable_profiling=True 의 노드별 시간 ↔ 그 계층의 가중치 · 활성값 바이트계층 바이트 > 버퍼 용량이면 재적재 · DRAM 접근 = 200배(Sze 2017 그림 22)
3응답 시간은 여유인데 처리량이 낮음배치가 작아 PE 배열이 비어 있음배치배치 크기별 초당 추론 수 · 응답 시간 꼬리배치를 늘릴 때 처리량이 비례해 오르면 채움 부족(동작 절 4단계 64 ÷ 94)
4변환 뒤 정확도가 떨어짐INT8 만 받는 NPU 에 맞춘 양자화 오차정밀도FP32 출력 ↔ NPU 출력 계층별 대조양자화 추론만 받는 NPU 가 있음(Ignatov 2019 2.1절) · 오차 원인은 → 양자화

로그 · 프로파일 옵션 이름은 ONNX Runtime Python API 문서 기준이고, 기기 SoC 공급자의 런타임도 «연산별 배정 장치 · 연산별 시간»을 같은 뜻으로 보여 준다. 같은 입력 묶음을 넣고 배치 · 실행 제공자를 하나씩 바꾸면 표의 어느 행인지 갈린다.

8시험 대비

출제 정보 컴퓨터시스템응용(140회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 NPU 의 개념 · 구조를 묻는 정의 · 특징형, GPU 와의 차이를 묻는 비교형이 나올 수 있다. 정의형은 «데이터 이동이 에너지를 정한다»를 메모리 계층 값으로 먼저 세우고 시스톨릭 배열 · 데이터 흐름을 붙이며, 비교형은 시간 구조(GPU) ↔ 공간 구조(NPU)를 축으로 응답 시간 한도 안 처리량 · 와트당 성능 · 새 연산 대응을 견준다.

답안 목차
  1. 개요 — 정의(신경망 전용 · MAC 배열 · 칩 안 메모리 · 컴파일러) · 데이터센터형 ↔ 기기 내장형
  2. 구조 — 그림 3 컴파일러 · 제어기 · 전역 버퍼 · PE 배열 · 후처리 + 메모리 계층 에너지 200 · 6 · 2 · 1
  3. 동작 원리 — 그림 4 가중치 고정 시스톨릭 흐름(가중치 고정 · 입력 오른쪽 · 부분합 아래) · 타일 · 채움 비율
  4. 데이터 흐름 — WS · OS · NLR · RS 표 + 그림 5 MAC 당 에너지 800 · 28.7 · 10.7
  5. GPU 와 비교 — 비교표(연산기 사이 데이터 · 제어 · 새 연산) + 그림 6 응답 한도 7 ms 의 배치 16 ↔ 200
  6. 동향 · 과제 — 기기 내장 NPU · 저정밀(INT8 · INT4) · 컴파일러 연산 지원 범위 · CPU 로 넘어가는 연산

꼭 쓸 키워드
시스톨릭 배열공간 구조데이터 흐름가중치 고정(WS)출력 고정(OS)행 고정(RS)처리 소자(PE)전역 버퍼연산 배정TOPS/W

다른 답안과 차이를 내는 한 가지 — 메모리 계층별 에너지(200 · 6 · 2 · 1)로 한 계층의 MAC 당 에너지를 직접 계산해(800 → 28.7 → 10.7) 「NPU 가 빠른 이유는 MAC 수가 아니라 재사용」을 숫자로 보인다.

9오해와 사실

  • 오해NPU 는 MAC 을 많이 넣어서 GPU 보다 빠르다.
    사실차이는 데이터를 어디서 다시 읽느냐에서 나며, 같은 DRAM 접근 수에서도 PE 안 재사용만으로 MAC 당 에너지가 28.7 에서 10.7 로 줄었다(동작 절 · Sze 2017 그림 22).
  • 오해NPU 가 있으면 앱의 모든 연산이 NPU 에서 돈다.
    사실런타임은 장치가 받을 수 있는 노드만 넘기고 나머지는 다음 장치(대개 CPU)에서 실행한다(ONNX Runtime EP 문서).
  • 오해처리량만 보면 GPU 도 배치를 키우면 같아진다.
    사실배치 64 에서 GPU 는 99번째 백분위 응답이 8.3 ms 로 7 ms 한도를 넘어, 서비스에서는 배치 16 · 최대의 37% 로 써야 했다(Jouppi 2017 표 4).

10핵심 정리

구분맡는 일크기 · 단위정규화 에너지 · 대표 값병목 신호확인
PE · RFMAC 1회 · 값 고정0.5 ~ 1.0 kB1채움 비율 낮음배치별 처리량
PE 사이 연결입력 · 부분합 전달200 ~ 1,000 PE2—데이터 흐름 설정
전역 버퍼계층 단위 보관100 ~ 500 kB6타일 넘침노드별 시간 ↔ 바이트
칩 밖 메모리모델 전체GB200재적재프로파일
컴파일러분할 · 타일 · 흐름—재사용 횟수 결정CPU 로 넘어간 연산세션 로그
데이터센터형큰 배치 추론독립 카드7 ms 안 배치 200 · 80%배치 · 응답 꼬리배치별 응답 시간
기기 내장형기기 안 추론SoC 안 블록3.6 ~ 11.5 TOPS/W정밀도 · 연산 지원FP32 ↔ NPU 대조

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Proceedings of the IEEE 105(12) · arXiv:1703.09039) — 시간 구조 ↔ 공간 구조 · 메모리 계층별 에너지 · 데이터 흐름 네 가지(WS · OS · NLR · RS)를 볼 때
    Sze · Chen · Yang · Emer · 2017-03 · arxiv.org/abs/1703.09039 · 확인 2026-11-12
  3. ★ In-Datacenter Performance Analysis of a Tensor Processing Unit (ISCA 2017 · arXiv:1704.04760) — 응답 시간 한도 안에서 GPU 와 전용 가속기의 배치 · 처리량 차이를 볼 때
    Jouppi et al. · 2017-04 · arxiv.org/abs/1704.04760 · 확인 2026-11-12
  4. ★ AI Benchmark: All About Deep Learning on Smartphones in 2019 (arXiv:1910.06663) — 스마트폰 SoC 에 들어간 NPU 의 세대 · 지원 정밀도 · 성능 값을 볼 때
    Ignatov et al. · 2019-10 · arxiv.org/abs/1910.06663 · 확인 2026-11-12
  5. ★ ONNX Runtime Execution Providers — 모델 그래프를 장치별로 나누고 못 받은 노드를 다음 장치로 넘기는 규칙을 볼 때
    ONNX Runtime · 2026-11 · onnxruntime.ai/docs/execution-providers/ · 확인 2026-11-12
  6. 본문 근거
  7. Why Systolic Architectures? (IEEE Computer 15(1)) — H. T. Kung · 1982-01 · doi.org/10.1109/MC.1982.1653825 · 확인 2026-11-12
  8. ONNX Runtime Python API Summary (SessionOptions · InferenceSession) — ONNX Runtime · 2026-11 · onnxruntime.ai/docs/api/python/api_summary.html · 확인 2026-11-12