IT › 컴퓨터 시스템 › 컴퓨터 구조

가속기 · 인터커넥트Accelerators and Interconnects

호스트 CPU 가 맡던 계산 · 네트워크 처리를 떼어 맡는 전용 장치(AI 가속기 · DPU · SmartNIC)와, 그 장치와 메모리를 잇는 링크(PCIe · NVLink · CXL)를 묶은 분류다. 무엇을 떼어 맡기는가와 데이터를 어느 링크로 어떤 방식(복사 · 직접 적재 · 일관성)으로 옮기는가를 함께 다룬다.

1요약

  1. 가속기 · 인터커넥트는 컴퓨터 구조 분야에서 전용 계산 장치와 장치 사이 링크를 묶은 분류로, 호스트 CPU 옆의 AI 가속기 · CXL 메모리 · DPU 가 PCIe 와 가속기 사이 직통 링크로 데이터를 주고받으며 학습 · 추론 · 네트워크 처리가 그 위에서 돈다.
  2. 계산이 빨라질수록 데이터를 옮기는 링크가 끝나는 시각을 정한다 — 가속기 4개가 기울기 2 GB 를 맞추는 데 PCIe 5.0 x16 이면 약 47 ms, 방향마다 400 GB/s 인 직통 링크면 7.5 ms 다(nccl-tests 식 · 설명용 가정 값 직접 계산).
  3. 「가속기를 늘렸는데 느리다」는 데이터가 어느 링크를 지나는가로 가른다 — 가속기 사이 경로가 호스트 브리지를 지나면 PCIe 쪽, 서버 사이에서 막히면 네트워크 · DPU 쪽, 링크 속도 자체가 낮으면 강등이다.

2등장 배경

그래픽 카드 · 네트워크 카드가 공유 버스를 나눠 쓰던 구조는 PCIe 의 점대점 레인으로 바뀌었고, PCIe 는 세대마다 속도를 두 배로 올려 2025년 6월 7.0 에서 레인당 128 GT/s · x16 양방향 512 GB/s 에 이르렀다(PCI-SIG 7.0 발표문). 그러나 PCIe 는 DMA 로 복사해 건네는 입출력 링크라, 장치와 CPU 가 같은 메모리를 일관성 있게 함께 쓰지 못했다.

신경망 학습이 가속기 여러 개로 나뉘자 링크가 갈라졌다. 2019년 CXL 1.0 은 PCIe 배선 위에 캐시 · 메모리 프로토콜을 얹었고(CXL 3.0 백서), 가속기끼리 직접 잇는 스케일업 링크는 2025년 4월 개방 규격 UALink 1.0 이 레인당 200G · 한 묶음 최대 1,024개로 정했다(UALink 1.0 발표문). 네트워크 쪽에서는 가상 네트워크 처리를 FPGA SmartNIC 으로 옮긴 서버가 2015년 말부터 100만 대 넘게 배치됐다(Firestone 2018).

지금 가속기 · 인터커넥트의 질문은 «무엇을 계산하나»보다 «데이터가 어느 링크로 얼마나 자주 움직이나»다.

3쉽게 이해하기 — 큰 식당 주방

큰 식당에서 주방장은 주문을 읽고 재료를 나눠 준다. 굽기 · 튀기기만 하는 조리 기계들이 복도로 재료를 받고, 기계끼리는 반쯤 익은 재료를 주방장 테이블을 거치지 않는 직통 벨트로 넘긴다. 냉장고가 모자라면 복도 끝 공용 창고 선반을 «내 냉장고 둘째 칸»처럼 열어 쓰고, 배달 창구 직원은 바깥 주문 · 포장 · 손님 확인을 맡아 주방장이 요리 지휘에만 손을 쓰게 한다.

배달 창구 직원 DPU · SmartNIC 바깥 주문 · 포장 · 손님 확인 주방장 호스트 CPU 주문을 읽고 재료를 나눔 공용 창고 선반 CXL 내 냉장고 둘째 칸처럼 엶 공용 복도 PCIe 1 2 5 조리 기계 A AI 가속기 조리 기계 B AI 가속기 3 4 직통 벨트 NVLink 1 바깥 주문 접수 · 2 주방장이 나눔 · 3 복도로 기계에 · 4 기계끼리 직통 · 5 창고 선반을 엶

그림 1 · 주방장이 나눈 재료는 공용 복도로 조리 기계에 가고, 기계끼리는 직통 벨트로 넘기며, 창고 선반과 배달 창구가 주방장의 손을 덜어 준다.

주문 읽기주방장이 일을 나눔
복도로 나르기재료를 기계에
기계 조리굽기 · 튀기기만
직통 벨트기계끼리 바로 넘김
창고 선반내 냉장고처럼 엶
배달 창구바깥 주문 · 포장 대신
비유 — 기계끼리 넘기는 두 경로 실제 — 가속기 사이 두 경로 복도로 넘기기 기계 A 주방장 테이블 기계 B 테이블에서 한 번 쉬어 간다 직통 벨트 기계 A 기계 B 거치는 곳 없이 바로 건넨다 PCIe 경로 가속기 0 호스트 브리지 가속기 1 topo 표시 PHB · PCIe 5.0 x16 · 64 GB/s 직통 링크 가속기 0 가속기 1 NVLink topo 표시 NV# · 가정 400 GB/s 같은 기울기 1.5 GB 를 넘길 때 — 위 경로 23.4 ms · 아래 경로 3.75 ms(설명용 가정 값)

그림 2 · 기계 A 에서 B 로 넘기는 재료도 복도로 가면 주방장 테이블을 한 번 지나고, 직통 벨트는 바로 건넨다 — 실제로는 호스트 브리지를 지나는 PCIe 경로와 가속기 사이 직통 링크의 차이다.

비유 속 역할실제 이름실제로 하는 일
주방장호스트 CPU일을 나누고 명령 · 입력을 장치에 보낸다
조리 기계AI 가속기행렬 곱을 대량 연산기로 처리한다
공용 복도PCIe장치마다 레인을 주는 점대점 링크로 DMA 복사를 한다
주방장 테이블호스트 브리지 · 루트 포트PCIe 경로가 모이는 곳 · 장치끼리 넘겨도 여기를 지날 수 있다
직통 벨트NVLink · UALink가속기끼리 상대 메모리를 적재 · 저장으로 직접 읽고 쓴다
공용 창고 선반CXL 메모리장치 메모리를 호스트 주소 공간의 메모리처럼 쓴다
배달 창구 직원DPU · SmartNIC패킷 · 암호 · 저장 프로토콜 처리를 호스트 대신 맡는다
바깥 배달데이터센터 네트워크서버 사이에 입력 · 기울기를 실어 나른다

⚠ 비유가 맞지 않는 곳: 주방의 벨트는 어느 기계든 이을 수 있지만 직통 링크는 한 도메인 안의 정해진 수(72개 · 1,024개)만 잇는다. 또 창고 선반은 복도와 같은 바닥(PCIe 물리 계층)을 쓰면서도 주방장이 손으로 꺼내 오는 것이 아니라 냉장고 칸처럼 바로 열린다.

4구조 — 계산 장치 둘 · 링크 셋

아래 토픽은 «떼어 맡는 장치»와 «잇는 링크»로 나뉜다. 장치(AI 가속기 · DPU · SmartNIC)는 호스트가 하던 일을 가져가고, 링크(PCIe · NVLink · CXL)는 데이터를 복사로 건네는지 · 상대 메모리를 직접 읽는지 · 사본을 일관성 있게 맞추는지를 정한다.

호스트 CPU · DRAM PCIe — 장치마다 레인 · DMA 복사 · 7.0 = 128 GT/s AI 가속기 행렬 계산 · HBM AI 가속기 행렬 계산 · HBM CXL 메모리 적재 · 저장 · 일관성 DPU · SmartNIC 패킷 · 암호 · 저장 NVLink · UALink — 가속기끼리 적재 · 저장 PCIe 배선 위 CXL.mem 데이터센터 네트워크 · 400 Gb/s 호스트 · 제어 링크 계산 장치 메모리 확장 네트워크 오프로드 PCIe 밖 링크

그림 3 · 모든 장치는 PCIe 로 호스트에 붙고, 가속기끼리는 직통 링크로, CXL 메모리는 PCIe 배선 위 메모리 프로토콜로, DPU 는 네트워크 쪽으로 한 번 더 이어진다.

토픽맡는 일연결 범위데이터를 다루는 방식대표 값(근거)
AI 가속기신경망 행렬 곱 · 합성곱호스트 옆 장치장치 메모리로 받은 데이터를 계산연산 배열 + HBM
DPU · SmartNIC패킷 · 암호 · 저장 프로토콜 오프로드서버 ↔ 네트워크호스트보다 먼저 패킷을 처리100 ~ 400 Gb/s(Tibbetts 2025)
PCIe호스트와 장치의 입출력서버 안 슬롯DMA 복사 · 설정 공간7.0 = 128 GT/s · x16 양방향 512 GB/s(PCI-SIG 7.0 발표문)
NVLink · UALink가속기끼리 스케일업한 도메인 72개 · 1,024개상대 메모리 적재 · 저장가속기당 1,800 GB/s(NVLink 소개) · 레인당 200G(UALink 1.0 발표문)
CXL메모리 확장 · 캐시 일관성서버 안 → 랙적재 · 저장 · 일관성PCIe 물리 계층 재사용(CXL 2.0 웨비나)

🔑 PCIe 는 «복사해 건네는» 링크이고 NVLink · CXL 은 «상대 메모리를 내 것처럼 읽는» 링크다 — CXL 은 PCIe 와 같은 배선을 쓰면서도 이 의미만 바꿔 소프트웨어가 기다리는 방식을 바꾼다.

5동작 — 학습 한 걸음이 지나는 링크

서버 2대 · 서버마다 가속기 4개로 매개변수 10억 개 모델을 데이터 병렬 학습하는 사례다. 기울기 BF16 2 GB · 직통 링크 방향마다 400 GB/s · 가속기마다 400 Gb/s NIC · PCIe 5.0 x16 · 계산 200 ms 는 설명용 가정 값이고, 시간은 all-reduce 전송량 식 2(n − 1)/n × S(nccl-tests)로 직접 계산했다.

  1. 입력 — 저장 서버의 배치 64 MB 가 400 Gb/s(50 GB/s)로 들어오고, DPU 가 저장 프로토콜 · 암호 처리를 맡아 호스트 메모리에 놓는다 — 약 1.3 ms.
  2. 올리기 — 호스트가 가속기마다 16 MB 를 PCIe 5.0 x16(32 GT/s × 16 ÷ 8 = 방향마다 64 GB/s)으로 DMA 복사한다 — 0.25 ms.
  3. 계산 — 가속기 넷이 순전파 · 역전파로 각자 기울기 2 GB 를 만든다(가정 200 ms).
  4. 서버 안 모으기(reduce-scatter) — 가속기마다 (4 − 1)/4 × 2 GB = 1.5 GB 를 직통 링크로 주고받아 0.5 GB 몫의 합을 갖는다 — 3.75 ms.
  5. 서버 사이 — 같은 몫을 맡은 두 서버의 가속기가 0.5 GB 를 NIC 로 맞춘다(n = 2 · 2(2 − 1)/2 = 1) — 10 ms.
  6. 서버 안 나누기(all-gather) — 합친 몫을 1.5 GB 씩 다시 돌려 모두 같은 기울기를 갖는다 — 3.75 ms.
  7. 판정 — 통신 합 17.5 ms 가운데 서버 사이 10 ms 가 가장 길다 · 4 · 6 단계를 PCIe 로 하면 각 23.4 ms 라 합이 약 57 ms 로 계산 200 ms 의 28 % 에 이른다.
학습 한 걸음 · 통신 시간(같은 눈금) 1 입력 · DPU 64 MB · 50 GB/s 1.3 ms 2 올리기 · PCIe 16 MB · 64 GB/s 0.25 ms 4 서버 안 모으기 1.5 GB · 400 GB/s 3.75 ms 5 서버 사이 · NIC 0.5 GB · 50 GB/s 10 ms · 가장 긺 6 서버 안 나누기 1.5 GB · 400 GB/s 3.75 ms 4 · 6 을 PCIe 로 1.5 GB · 64 GB/s 각 23.4 ms · 합 약 57 ms 0 5 10 15 20 25 ms 네트워크 · DPU PCIe 직통 링크 PCIe 로 바꾼 손해 번호 = 동작 단계 · 3 계산 200 ms 는 눈금 밖

그림 4 · 학습 한 걸음의 통신은 서버 사이 10 ms ⑤ 가 가장 길고, 서버 안 동기화 ④ ⑥ 을 PCIe 로 하면 각 23.4 ms 로 늘어 전체 통신이 세 배가 된다.

🔑 계산 시간이 그대로여도 서버 안 동기화를 PCIe 로 돌리면 통신이 17.5 ms 에서 약 57 ms 로 는다 — 가속기 성능표보다 «기울기가 어느 링크를 지나는가»가 학습 한 걸음의 길이를 정한다.

링크는 연결 범위가 넓을수록 방향마다 대역폭이 좁다. 그래서 4 · 6 단계처럼 서버 안에서 몫을 먼저 줄이고, 서버 사이에는 0.5 GB 만 보내는 계층 순서를 쓴다.

방향마다 대역폭 ↔ 연결 범위 스케일업 링크(5세대) 한 도메인 · 최대 72개 900 GB/s PCIe 7.0 x16 서버 안 슬롯 256 GB/s PCIe 5.0 x16 서버 안 슬롯 64 GB/s 400 Gb/s 네트워크 데이터센터 전체 50 GB/s 막대 = 방향마다 대역폭(같은 눈금) · 스케일업 900 = 가속기당 1,800 GB/s(NVLink 소개)의 방향마다 값 위에서 아래로 = 연결 범위가 넓어짐

그림 5 · 연결 범위가 서버 안에서 데이터센터로 넓어질수록 방향마다 대역폭은 900 → 256 → 64 → 50 GB/s 로 좁아진다 — 자주 주고받는 데이터는 가장 가까운 링크에 둔다.

6비교 — 관련 기술과의 경계

갈래맡는 일가속기 · 인터커넥트와의 경계넘기는 곳
가속기 · 인터커넥트떼어 맡는 장치 · 장치 사이 링크—AI 가속기 · CXL · PCIe · NVLink · DPU · SmartNIC
CPU범용 코어의 명령어 처리 · 멀티코어 칩칩 안 코어 · 명령어 집합은 CPU · 칩 밖 장치로 일을 떼어 보내는 순간부터 가속기 · 인터커넥트CPU 명령 처리 과정
병렬 처리계산을 나누는 수준 · 직렬 몫 · 범용 GPU 병렬일을 어떻게 나누나는 병렬 처리 · 나눈 일의 데이터가 어느 링크로 가나는 가속기 · 인터커넥트파이프라인
메모리 계층캐시 · DRAM 의 사본과 지연CXL 메모리를 몇 번째 계층으로 쓸지는 메모리 계층 · 링크 프로토콜 · 장치 유형은 가속기 · 인터커넥트가상 메모리
컴퓨터 구조 개요비트 · 논리 회로 · 저장 프로그램의 기본 틀입출력이 있다는 기본 개념은 개요 · 오늘의 장치 링크 세대와 의미는 가속기 · 인터커넥트컴퓨터 구조 개요

분석«무엇을 동시에 계산하나»는 병렬 처리, «한 코어 안이 왜 느린가»는 CPU, «어느 장치에 맡기고 어느 링크로 데이터를 옮기나»는 가속기 · 인터커넥트에서 답한다. 표의 「경계」 열이 근거다 — 같은 가속기 서버라도 병목이 링크에 있으면 가속기 · 인터커넥트의 질문이다.

7실무 진단 — 다중 가속기 학습의 링크 가르기

분석링크 상태 → 가속기 사이 경로 → 집단 통신 대역폭 → 네트워크 오프로드 순으로 본다. 강등된 링크는 뒤의 모든 측정을 낮추고, 경로가 호스트 브리지를 지나면 대역폭이 PCIe 몫에 묶이기 때문이다(lspci(8) · nvidia-smi 문서).

#증상의심 원인토픽확인 명령판정 기준(근거)
1장치 전송이 계산 상한의 절반레인 폭 · 속도 강등PCIelspci -vv 의 LnkCap · LnkStaLnkSta 의 속도 · 폭 < LnkCap 이면 강등(lspci(8))
2가속기를 늘리자 동기화가 길어짐가속기 사이 경로가 호스트 브리지 · 소켓을 지남PCIe · NVLinknvidia-smi topo -m짝 칸이 PHB · SYS 면 PCIe 경로 · NV# 면 직통(nvidia-smi 문서)
3직통 링크인데도 동기화가 느림집단 통신이 링크 최대치를 못 냄NVLink · UALinkall_reduce_perf(nccl-tests)busbw = algbw × 2(n − 1)/n 을 링크 최대 대역폭과 대조(nccl-tests)
4서버를 늘리자 호스트 CPU 사용률이 오름패킷 · 암호 처리가 호스트 코어에 남음DPU · SmartNICethtool -k <장치>오프로드 기능이 off 면 호스트가 처리(ethtool(8))

nvidia-smi 는 한 공급자의 도구이고, 다른 공급자 장치는 amd-smi topology 처럼 각 공급자의 위상 명령으로 같은 경로를 본다(amd-smi).

8시험 대비

시험에는 가속기와 링크를 한 그림으로 묶는 정의 · 특징형, PCIe → CXL → 스케일업 링크로 갈라진 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 그림 3 지도로 장치 둘 · 링크 셋을 세우고, 동향형이면 그림 5 의 범위 ↔ 대역폭 막대로 링크가 갈라진 이유를 쓴다.

답안 목차
  1. 개요 — 정의(떼어 맡는 장치 + 장치 사이 링크) · 등장 배경(PCIe 점대점 · CXL 2019 · UALink 2025)
  2. 구성 — 그림 3 지도 + 표(AI 가속기 · DPU · PCIe · NVLink · CXL 의 맡는 일 · 데이터 방식)
  3. 링크의 의미 — DMA 복사(PCIe) ↔ 적재 · 저장(NVLink · UALink) ↔ 캐시 일관성(CXL)
  4. 동작 사례 — 그림 4 학습 한 걸음(서버 안 3.75 · 서버 사이 10 · 3.75 ms ↔ PCIe 로 약 57 ms)
  5. 발전 — 그림 5 범위 ↔ 대역폭(900 · 256 · 64 · 50 GB/s) · PCIe 7.0 128 GT/s · UALink 1,024개
  6. 선택 기준 — 동기화 빈도 · 데이터 크기 · 연결 범위로 링크 고르기 · DPU 로 호스트 코어 돌려받기

꼭 쓸 키워드
PCIe레인DMANVLinkUALink스케일업스케일아웃CXLDPUSmartNICall-reduce

다른 답안과 차이를 내는 한 가지는 그림 4 처럼 학습 한 걸음을 링크별 시간으로 쪼개 «어느 링크가 끝을 정하나»를 수치로 보이는 것이다.

9오해와 사실

  • 오해가속기끼리는 PCIe 로 이어도 직통 링크와 비슷한 속도가 난다.
    사실이 사례의 서버 안 동기화는 PCIe 5.0 x16 으로 46.9 ms, 방향마다 400 GB/s 직통 링크로 7.5 ms 다 · 경로가 호스트 브리지를 지나면 nvidia-smi topo -m 에 PHB 로 나온다(nvidia-smi 문서).
  • 오해DPU 와 SmartNIC 은 이름만 다른 같은 장치다.
    사실운영체제를 돌리는 범용 CPU 와 자기 DRAM 을 갖고 호스트와 따로 떨어진 끝점으로 동작하는 장치를 DPU 로 부르고, 이름은 공급자마다 다르다(Tibbetts 2025).
  • 오해CXL 은 PCIe 를 대신하는 새 슬롯이다.
    사실CXL 은 PCIe 물리 계층을 그대로 쓰고 그 위에 캐시 · 메모리 프로토콜을 더한다(CXL 2.0 웨비나).

10핵심 정리

구분맡는 일연결 범위데이터 방식대표 값확인 수단
AI 가속기행렬 계산호스트 옆장치 메모리연산 배열 + HBM장치 사용률
DPU · SmartNIC네트워크 · 저장 · 암호 오프로드서버 ↔ 네트워크패킷 선처리100 ~ 400 Gb/sethtool -k
PCIe장치 입출력서버 안DMA 복사128 GT/s(7.0)lspci -vv
NVLink · UALink가속기 사이한 도메인적재 · 저장72개 · 1,024개nvidia-smi topo -m
CXL메모리 확장 · 일관성서버 안 → 랙적재 · 저장 · 일관성PCIe 물리 계층cxl list
데이터센터 네트워크서버 사이데이터센터메시지400 Gb/sall_reduce_perf busbw

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ PCI-SIG Releases PCIe 7.0 Specification to Support the Bandwidth Demands of Artificial Intelligence at 128.0 GT/s Transfer Rates (press release · StorageNewsletter reprint) — PCIe 7.0 의 128 GT/s · x16 양방향 512 GB/s · PAM4 · 플릿 부호화를 볼 때
    PCI-SIG · 2025-06 · www.storagenewsletter.com/?p=292631 · 확인 2026-11-14
  3. ★ UALink Consortium Releases the Ultra Accelerator Link 200G 1.0 Specification (press release · StorageNewsletter reprint) — 가속기 사이 개방 규격의 레인당 200G · 한 묶음 1,024개 · 메모리 의미를 볼 때
    UALink Consortium · 2025-04 · www.storagenewsletter.com/2025/04/15/ualink-consortium-releases-ultra-accelerator-link-200g-1-0-specification/ · 확인 2026-11-14
  4. ★ Azure Accelerated Networking: SmartNICs in the Public Cloud (NSDI 2018) — 호스트 네트워크 처리를 FPGA SmartNIC 으로 옮긴 이유와 배치 규모를 볼 때
    Firestone et al. · USENIX · 2018-04 · www.usenix.org/conference/nsdi18/presentation/firestone · 확인 2026-11-14
  5. ★ A Survey on Heterogeneous Computing Using SmartNICs and Emerging Data Processing Units (arXiv:2504.03653) — DPU 와 SmartNIC 의 차이(범용 CPU · 자기 DRAM · 경로 밖 배치)를 볼 때
    Tibbetts · Ibtisum · Puri · 2025-10 · arxiv.org/abs/2504.03653 · 확인 2026-11-14
  6. 본문 근거
  7. NVLink and NVLink Switch (product overview) — NVIDIA · 2026-11 · www.nvidia.com/en-us/data-center/nvlink/ · 확인 2026-11-14
  8. A Comprehensive Survey on SmartNICs: Architectures, Development Models, Applications, and Research Directions (arXiv:2405.09499) — Kfoury et al. · 2024-05 · arxiv.org/abs/2405.09499 · 확인 2026-11-14
  9. Compute Express Link 3.0 (white paper) — CXL Consortium · 2022-08 · computeexpresslink.org/wp-content/uploads/2023/12/CXL_3.0_white-paper_FINAL.pdf · 확인 2026-11-14
  10. Introducing the Compute Express Link 2.0 Specification (webinar slides) — CXL Consortium · 2020-12 · computeexpresslink.org/wp-content/uploads/2023/12/CXL_2.0_webinar_FINAL.pdf · 확인 2026-11-14
  11. nccl-tests Performance (doc/PERFORMANCE.md · algbw · busbw) — NVIDIA · GitHub · 2026-11 · github.com/NVIDIA/nccl-tests/blob/master/doc/PERFORMANCE.md · 확인 2026-11-14
  12. nvidia-smi documentation (topo -m) — NVIDIA · 2026-11 · docs.nvidia.com/deploy/nvidia-smi/index.html · 확인 2026-11-14
  13. AMD SMI CLI tool (amd-smi) — AMD ROCm · 2026-11 · rocm.docs.amd.com/projects/amdsmi/en/latest/how-to/amdsmi-cli-tool.html · 확인 2026-11-14
  14. lspci(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/lspci.8.html · 확인 2026-11-14
  15. ethtool(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/ethtool.8.html · 확인 2026-11-14