가속기 · 인터커넥트Accelerators and Interconnects
호스트 CPU 가 맡던 계산 · 네트워크 처리를 떼어 맡는 전용 장치(AI 가속기 · DPU · SmartNIC)와, 그 장치와 메모리를 잇는 링크(PCIe · NVLink · CXL)를 묶은 분류다. 무엇을 떼어 맡기는가와 데이터를 어느 링크로 어떤 방식(복사 · 직접 적재 · 일관성)으로 옮기는가를 함께 다룬다.
1요약
- 가속기 · 인터커넥트는 컴퓨터 구조 분야에서 전용 계산 장치와 장치 사이 링크를 묶은 분류로, 호스트 CPU 옆의 AI 가속기 · CXL 메모리 · DPU 가 PCIe 와 가속기 사이 직통 링크로 데이터를 주고받으며 학습 · 추론 · 네트워크 처리가 그 위에서 돈다.
- 계산이 빨라질수록 데이터를 옮기는 링크가 끝나는 시각을 정한다 — 가속기 4개가 기울기 2 GB 를 맞추는 데 PCIe 5.0 x16 이면 약 47 ms, 방향마다 400 GB/s 인 직통 링크면 7.5 ms 다(nccl-tests 식 · 설명용 가정 값 직접 계산).
- 「가속기를 늘렸는데 느리다」는 데이터가 어느 링크를 지나는가로 가른다 — 가속기 사이 경로가 호스트 브리지를 지나면 PCIe 쪽, 서버 사이에서 막히면 네트워크 · DPU 쪽, 링크 속도 자체가 낮으면 강등이다.
2등장 배경
그래픽 카드 · 네트워크 카드가 공유 버스를 나눠 쓰던 구조는 PCIe 의 점대점 레인으로 바뀌었고, PCIe 는 세대마다 속도를 두 배로 올려 2025년 6월 7.0 에서 레인당 128 GT/s · x16 양방향 512 GB/s 에 이르렀다(PCI-SIG 7.0 발표문). 그러나 PCIe 는 DMA 로 복사해 건네는 입출력 링크라, 장치와 CPU 가 같은 메모리를 일관성 있게 함께 쓰지 못했다.
신경망 학습이 가속기 여러 개로 나뉘자 링크가 갈라졌다. 2019년 CXL 1.0 은 PCIe 배선 위에 캐시 · 메모리 프로토콜을 얹었고(CXL 3.0 백서), 가속기끼리 직접 잇는 스케일업 링크는 2025년 4월 개방 규격 UALink 1.0 이 레인당 200G · 한 묶음 최대 1,024개로 정했다(UALink 1.0 발표문). 네트워크 쪽에서는 가상 네트워크 처리를 FPGA SmartNIC 으로 옮긴 서버가 2015년 말부터 100만 대 넘게 배치됐다(Firestone 2018).
지금 가속기 · 인터커넥트의 질문은 «무엇을 계산하나»보다 «데이터가 어느 링크로 얼마나 자주 움직이나»다.
3쉽게 이해하기 — 큰 식당 주방
큰 식당에서 주방장은 주문을 읽고 재료를 나눠 준다. 굽기 · 튀기기만 하는 조리 기계들이 복도로 재료를 받고, 기계끼리는 반쯤 익은 재료를 주방장 테이블을 거치지 않는 직통 벨트로 넘긴다. 냉장고가 모자라면 복도 끝 공용 창고 선반을 «내 냉장고 둘째 칸»처럼 열어 쓰고, 배달 창구 직원은 바깥 주문 · 포장 · 손님 확인을 맡아 주방장이 요리 지휘에만 손을 쓰게 한다.
그림 1 · 주방장이 나눈 재료는 공용 복도로 조리 기계에 가고, 기계끼리는 직통 벨트로 넘기며, 창고 선반과 배달 창구가 주방장의 손을 덜어 준다.
그림 2 · 기계 A 에서 B 로 넘기는 재료도 복도로 가면 주방장 테이블을 한 번 지나고, 직통 벨트는 바로 건넨다 — 실제로는 호스트 브리지를 지나는 PCIe 경로와 가속기 사이 직통 링크의 차이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 주방장 | 호스트 CPU | 일을 나누고 명령 · 입력을 장치에 보낸다 |
| 조리 기계 | AI 가속기 | 행렬 곱을 대량 연산기로 처리한다 |
| 공용 복도 | PCIe | 장치마다 레인을 주는 점대점 링크로 DMA 복사를 한다 |
| 주방장 테이블 | 호스트 브리지 · 루트 포트 | PCIe 경로가 모이는 곳 · 장치끼리 넘겨도 여기를 지날 수 있다 |
| 직통 벨트 | NVLink · UALink | 가속기끼리 상대 메모리를 적재 · 저장으로 직접 읽고 쓴다 |
| 공용 창고 선반 | CXL 메모리 | 장치 메모리를 호스트 주소 공간의 메모리처럼 쓴다 |
| 배달 창구 직원 | DPU · SmartNIC | 패킷 · 암호 · 저장 프로토콜 처리를 호스트 대신 맡는다 |
| 바깥 배달 | 데이터센터 네트워크 | 서버 사이에 입력 · 기울기를 실어 나른다 |
⚠ 비유가 맞지 않는 곳: 주방의 벨트는 어느 기계든 이을 수 있지만 직통 링크는 한 도메인 안의 정해진 수(72개 · 1,024개)만 잇는다. 또 창고 선반은 복도와 같은 바닥(PCIe 물리 계층)을 쓰면서도 주방장이 손으로 꺼내 오는 것이 아니라 냉장고 칸처럼 바로 열린다.
4구조 — 계산 장치 둘 · 링크 셋
아래 토픽은 «떼어 맡는 장치»와 «잇는 링크»로 나뉜다. 장치(AI 가속기 · DPU · SmartNIC)는 호스트가 하던 일을 가져가고, 링크(PCIe · NVLink · CXL)는 데이터를 복사로 건네는지 · 상대 메모리를 직접 읽는지 · 사본을 일관성 있게 맞추는지를 정한다.
그림 3 · 모든 장치는 PCIe 로 호스트에 붙고, 가속기끼리는 직통 링크로, CXL 메모리는 PCIe 배선 위 메모리 프로토콜로, DPU 는 네트워크 쪽으로 한 번 더 이어진다.
| 토픽 | 맡는 일 | 연결 범위 | 데이터를 다루는 방식 | 대표 값(근거) |
|---|---|---|---|---|
| AI 가속기 | 신경망 행렬 곱 · 합성곱 | 호스트 옆 장치 | 장치 메모리로 받은 데이터를 계산 | 연산 배열 + HBM |
| DPU · SmartNIC | 패킷 · 암호 · 저장 프로토콜 오프로드 | 서버 ↔ 네트워크 | 호스트보다 먼저 패킷을 처리 | 100 ~ 400 Gb/s(Tibbetts 2025) |
| PCIe | 호스트와 장치의 입출력 | 서버 안 슬롯 | DMA 복사 · 설정 공간 | 7.0 = 128 GT/s · x16 양방향 512 GB/s(PCI-SIG 7.0 발표문) |
| NVLink · UALink | 가속기끼리 스케일업 | 한 도메인 72개 · 1,024개 | 상대 메모리 적재 · 저장 | 가속기당 1,800 GB/s(NVLink 소개) · 레인당 200G(UALink 1.0 발표문) |
| CXL | 메모리 확장 · 캐시 일관성 | 서버 안 → 랙 | 적재 · 저장 · 일관성 | PCIe 물리 계층 재사용(CXL 2.0 웨비나) |
🔑 PCIe 는 «복사해 건네는» 링크이고 NVLink · CXL 은 «상대 메모리를 내 것처럼 읽는» 링크다 — CXL 은 PCIe 와 같은 배선을 쓰면서도 이 의미만 바꿔 소프트웨어가 기다리는 방식을 바꾼다.
5동작 — 학습 한 걸음이 지나는 링크
서버 2대 · 서버마다 가속기 4개로 매개변수 10억 개 모델을 데이터 병렬 학습하는 사례다. 기울기 BF16 2 GB · 직통 링크 방향마다 400 GB/s · 가속기마다 400 Gb/s NIC · PCIe 5.0 x16 · 계산 200 ms 는 설명용 가정 값이고, 시간은 all-reduce 전송량 식 2(n − 1)/n × S(nccl-tests)로 직접 계산했다.
- 입력 — 저장 서버의 배치 64 MB 가 400 Gb/s(50 GB/s)로 들어오고, DPU 가 저장 프로토콜 · 암호 처리를 맡아 호스트 메모리에 놓는다 — 약 1.3 ms.
- 올리기 — 호스트가 가속기마다 16 MB 를 PCIe 5.0 x16(32 GT/s × 16 ÷ 8 = 방향마다 64 GB/s)으로 DMA 복사한다 — 0.25 ms.
- 계산 — 가속기 넷이 순전파 · 역전파로 각자 기울기 2 GB 를 만든다(가정 200 ms).
- 서버 안 모으기(reduce-scatter) — 가속기마다 (4 − 1)/4 × 2 GB = 1.5 GB 를 직통 링크로 주고받아 0.5 GB 몫의 합을 갖는다 — 3.75 ms.
- 서버 사이 — 같은 몫을 맡은 두 서버의 가속기가 0.5 GB 를 NIC 로 맞춘다(n = 2 · 2(2 − 1)/2 = 1) — 10 ms.
- 서버 안 나누기(all-gather) — 합친 몫을 1.5 GB 씩 다시 돌려 모두 같은 기울기를 갖는다 — 3.75 ms.
- 판정 — 통신 합 17.5 ms 가운데 서버 사이 10 ms 가 가장 길다 · 4 · 6 단계를 PCIe 로 하면 각 23.4 ms 라 합이 약 57 ms 로 계산 200 ms 의 28 % 에 이른다.
그림 4 · 학습 한 걸음의 통신은 서버 사이 10 ms ⑤ 가 가장 길고, 서버 안 동기화 ④ ⑥ 을 PCIe 로 하면 각 23.4 ms 로 늘어 전체 통신이 세 배가 된다.
🔑 계산 시간이 그대로여도 서버 안 동기화를 PCIe 로 돌리면 통신이 17.5 ms 에서 약 57 ms 로 는다 — 가속기 성능표보다 «기울기가 어느 링크를 지나는가»가 학습 한 걸음의 길이를 정한다.
링크는 연결 범위가 넓을수록 방향마다 대역폭이 좁다. 그래서 4 · 6 단계처럼 서버 안에서 몫을 먼저 줄이고, 서버 사이에는 0.5 GB 만 보내는 계층 순서를 쓴다.
그림 5 · 연결 범위가 서버 안에서 데이터센터로 넓어질수록 방향마다 대역폭은 900 → 256 → 64 → 50 GB/s 로 좁아진다 — 자주 주고받는 데이터는 가장 가까운 링크에 둔다.
6비교 — 관련 기술과의 경계
| 갈래 | 맡는 일 | 가속기 · 인터커넥트와의 경계 | 넘기는 곳 |
|---|---|---|---|
| 가속기 · 인터커넥트 | 떼어 맡는 장치 · 장치 사이 링크 | — | AI 가속기 · CXL · PCIe · NVLink · DPU · SmartNIC |
| CPU | 범용 코어의 명령어 처리 · 멀티코어 칩 | 칩 안 코어 · 명령어 집합은 CPU · 칩 밖 장치로 일을 떼어 보내는 순간부터 가속기 · 인터커넥트 | CPU 명령 처리 과정 |
| 병렬 처리 | 계산을 나누는 수준 · 직렬 몫 · 범용 GPU 병렬 | 일을 어떻게 나누나는 병렬 처리 · 나눈 일의 데이터가 어느 링크로 가나는 가속기 · 인터커넥트 | 파이프라인 |
| 메모리 계층 | 캐시 · DRAM 의 사본과 지연 | CXL 메모리를 몇 번째 계층으로 쓸지는 메모리 계층 · 링크 프로토콜 · 장치 유형은 가속기 · 인터커넥트 | 가상 메모리 |
| 컴퓨터 구조 개요 | 비트 · 논리 회로 · 저장 프로그램의 기본 틀 | 입출력이 있다는 기본 개념은 개요 · 오늘의 장치 링크 세대와 의미는 가속기 · 인터커넥트 | 컴퓨터 구조 개요 |
분석«무엇을 동시에 계산하나»는 병렬 처리, «한 코어 안이 왜 느린가»는 CPU, «어느 장치에 맡기고 어느 링크로 데이터를 옮기나»는 가속기 · 인터커넥트에서 답한다. 표의 「경계」 열이 근거다 — 같은 가속기 서버라도 병목이 링크에 있으면 가속기 · 인터커넥트의 질문이다.
7실무 진단 — 다중 가속기 학습의 링크 가르기
분석링크 상태 → 가속기 사이 경로 → 집단 통신 대역폭 → 네트워크 오프로드 순으로 본다. 강등된 링크는 뒤의 모든 측정을 낮추고, 경로가 호스트 브리지를 지나면 대역폭이 PCIe 몫에 묶이기 때문이다(lspci(8) · nvidia-smi 문서).
| # | 증상 | 의심 원인 | 토픽 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 장치 전송이 계산 상한의 절반 | 레인 폭 · 속도 강등 | PCIe | lspci -vv 의 LnkCap · LnkSta | LnkSta 의 속도 · 폭 < LnkCap 이면 강등(lspci(8)) |
| 2 | 가속기를 늘리자 동기화가 길어짐 | 가속기 사이 경로가 호스트 브리지 · 소켓을 지남 | PCIe · NVLink | nvidia-smi topo -m | 짝 칸이 PHB · SYS 면 PCIe 경로 · NV# 면 직통(nvidia-smi 문서) |
| 3 | 직통 링크인데도 동기화가 느림 | 집단 통신이 링크 최대치를 못 냄 | NVLink · UALink | all_reduce_perf(nccl-tests) | busbw = algbw × 2(n − 1)/n 을 링크 최대 대역폭과 대조(nccl-tests) |
| 4 | 서버를 늘리자 호스트 CPU 사용률이 오름 | 패킷 · 암호 처리가 호스트 코어에 남음 | DPU · SmartNIC | ethtool -k <장치> | 오프로드 기능이 off 면 호스트가 처리(ethtool(8)) |
nvidia-smi 는 한 공급자의 도구이고, 다른 공급자 장치는 amd-smi topology 처럼 각 공급자의 위상 명령으로 같은 경로를 본다(amd-smi).
8시험 대비
시험에는 가속기와 링크를 한 그림으로 묶는 정의 · 특징형, PCIe → CXL → 스케일업 링크로 갈라진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 지도로 장치 둘 · 링크 셋을 세우고, 동향형이면 그림 5 의 범위 ↔ 대역폭 막대로 링크가 갈라진 이유를 쓴다.
- 개요 — 정의(떼어 맡는 장치 + 장치 사이 링크) · 등장 배경(PCIe 점대점 · CXL 2019 · UALink 2025)
- 구성 — 그림 3 지도 + 표(AI 가속기 · DPU · PCIe · NVLink · CXL 의 맡는 일 · 데이터 방식)
- 링크의 의미 — DMA 복사(PCIe) ↔ 적재 · 저장(NVLink · UALink) ↔ 캐시 일관성(CXL)
- 동작 사례 — 그림 4 학습 한 걸음(서버 안 3.75 · 서버 사이 10 · 3.75 ms ↔ PCIe 로 약 57 ms)
- 발전 — 그림 5 범위 ↔ 대역폭(900 · 256 · 64 · 50 GB/s) · PCIe 7.0 128 GT/s · UALink 1,024개
- 선택 기준 — 동기화 빈도 · 데이터 크기 · 연결 범위로 링크 고르기 · DPU 로 호스트 코어 돌려받기
꼭 쓸 키워드
PCIe레인DMANVLinkUALink스케일업스케일아웃CXLDPUSmartNICall-reduce
다른 답안과 차이를 내는 한 가지는 그림 4 처럼 학습 한 걸음을 링크별 시간으로 쪼개 «어느 링크가 끝을 정하나»를 수치로 보이는 것이다.
9오해와 사실
- 오해가속기끼리는 PCIe 로 이어도 직통 링크와 비슷한 속도가 난다.사실이 사례의 서버 안 동기화는 PCIe 5.0 x16 으로 46.9 ms, 방향마다 400 GB/s 직통 링크로 7.5 ms 다 · 경로가 호스트 브리지를 지나면
nvidia-smi topo -m에 PHB 로 나온다(nvidia-smi 문서). - 오해DPU 와 SmartNIC 은 이름만 다른 같은 장치다.사실운영체제를 돌리는 범용 CPU 와 자기 DRAM 을 갖고 호스트와 따로 떨어진 끝점으로 동작하는 장치를 DPU 로 부르고, 이름은 공급자마다 다르다(Tibbetts 2025).
- 오해CXL 은 PCIe 를 대신하는 새 슬롯이다.사실CXL 은 PCIe 물리 계층을 그대로 쓰고 그 위에 캐시 · 메모리 프로토콜을 더한다(CXL 2.0 웨비나).
10핵심 정리
| 구분 | 맡는 일 | 연결 범위 | 데이터 방식 | 대표 값 | 확인 수단 |
|---|---|---|---|---|---|
| AI 가속기 | 행렬 계산 | 호스트 옆 | 장치 메모리 | 연산 배열 + HBM | 장치 사용률 |
| DPU · SmartNIC | 네트워크 · 저장 · 암호 오프로드 | 서버 ↔ 네트워크 | 패킷 선처리 | 100 ~ 400 Gb/s | ethtool -k |
| PCIe | 장치 입출력 | 서버 안 | DMA 복사 | 128 GT/s(7.0) | lspci -vv |
| NVLink · UALink | 가속기 사이 | 한 도메인 | 적재 · 저장 | 72개 · 1,024개 | nvidia-smi topo -m |
| CXL | 메모리 확장 · 일관성 | 서버 안 → 랙 | 적재 · 저장 · 일관성 | PCIe 물리 계층 | cxl list |
| 데이터센터 네트워크 | 서버 사이 | 데이터센터 | 메시지 | 400 Gb/s | all_reduce_perf busbw |
11참고 문헌
- 먼저 볼 문헌
- ★ PCI-SIG Releases PCIe 7.0 Specification to Support the Bandwidth Demands of Artificial Intelligence at 128.0 GT/s Transfer Rates (press release · StorageNewsletter reprint) — PCIe 7.0 의 128 GT/s · x16 양방향 512 GB/s · PAM4 · 플릿 부호화를 볼 때
- ★ UALink Consortium Releases the Ultra Accelerator Link 200G 1.0 Specification (press release · StorageNewsletter reprint) — 가속기 사이 개방 규격의 레인당 200G · 한 묶음 1,024개 · 메모리 의미를 볼 때
- ★ Azure Accelerated Networking: SmartNICs in the Public Cloud (NSDI 2018) — 호스트 네트워크 처리를 FPGA SmartNIC 으로 옮긴 이유와 배치 규모를 볼 때
- ★ A Survey on Heterogeneous Computing Using SmartNICs and Emerging Data Processing Units (arXiv:2504.03653) — DPU 와 SmartNIC 의 차이(범용 CPU · 자기 DRAM · 경로 밖 배치)를 볼 때
- 본문 근거
- NVLink and NVLink Switch (product overview) — NVIDIA · 2026-11 ·
www.nvidia.com/en-us/data-center/nvlink/· 확인 2026-11-14 - A Comprehensive Survey on SmartNICs: Architectures, Development Models, Applications, and Research Directions (arXiv:2405.09499) — Kfoury et al. · 2024-05 ·
arxiv.org/abs/2405.09499· 확인 2026-11-14 - Compute Express Link 3.0 (white paper) — CXL Consortium · 2022-08 ·
computeexpresslink.org/wp-content/uploads/2023/12/CXL_3.0_white-paper_FINAL.pdf· 확인 2026-11-14 - Introducing the Compute Express Link 2.0 Specification (webinar slides) — CXL Consortium · 2020-12 ·
computeexpresslink.org/wp-content/uploads/2023/12/CXL_2.0_webinar_FINAL.pdf· 확인 2026-11-14 - nccl-tests Performance (doc/PERFORMANCE.md · algbw · busbw) — NVIDIA · GitHub · 2026-11 ·
github.com/NVIDIA/nccl-tests/blob/master/doc/PERFORMANCE.md· 확인 2026-11-14 - nvidia-smi documentation (topo -m) — NVIDIA · 2026-11 ·
docs.nvidia.com/deploy/nvidia-smi/index.html· 확인 2026-11-14 - AMD SMI CLI tool (amd-smi) — AMD ROCm · 2026-11 ·
rocm.docs.amd.com/projects/amdsmi/en/latest/how-to/amdsmi-cli-tool.html· 확인 2026-11-14 - lspci(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/lspci.8.html· 확인 2026-11-14 - ethtool(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/ethtool.8.html· 확인 2026-11-14