CXL컴퓨트 익스프레스 링크 · Compute Express Link
PCIe 물리 계층을 그대로 쓰면서 그 위에 입출력 · 캐시 · 메모리 세 프로토콜을 섞어 실어, 프로세서와 가속기 · 메모리 장치가 캐시 일관성을 지키며 서로의 메모리를 적재 · 저장 명령으로 쓰게 하는 상호 연결 표준이다.
1요약
- CXL 은 CXL 컨소시엄이 2019년 1.0 을 내고 2025년 4.0(PCIe 7.0 · 128 GT/s)까지 이어 온 개방 표준으로, 가속기의 호스트 메모리 캐시와 메모리 확장 장치의 적재 · 저장 접근이 이 링크 위에서 돈다.
- DDR5 는 채널 하나에 핀 288개가 들어 채널을 늘리기 어렵고, 클라우드 서버 DRAM 의 최대 25 % 가 코어를 다 빌려준 뒤 남는 좌초 메모리가 된다(Sun 2023 · Pond 2023).
- 「CXL 메모리가 느리다」는 링크 · 장치 · 배치로 가른다 — 링크 폭 · 속도가 강등됐는지, 장치 컨트롤러 자체 지연이 큰지, 자주 쓰는 페이지가 CXL 노드에 놓였는지를 차례로 본다.
2등장 배경
서버 메모리는 CPU 패키지의 DDR 채널 수에 묶인다. DDR5 채널은 핀 288개가 들고 최대 대역폭에서는 채널당 DIMM 을 하나만 꽂는다(Sun 2023). 가속기는 PCIe 로 붙지만 PCIe 는 DMA 로 데이터를 복사하는 입출력 길이라, 장치와 CPU 가 같은 메모리를 일관성 있게 함께 쓰지 못했다.
CXL 컨소시엄은 2019년 3월 CXL 1.0(PCIe 5.0 · 32 GT/s)을 내고, 2020년 11월 2.0 에서 스위치 · 메모리 풀링을, 2022년 8월 3.0(PCIe 6.0 · 64 GT/s)에서 메모리 공유 · 패브릭을, 2025년 11월 4.0(PCIe 7.0 · 128 GT/s)에서 묶음 포트를 더했다(CXL 3.0 백서 · CXL 4.0 백서 · CXL 소식 목록).
지금 CXL 은 메모리 확장 장치(Type 3)로 가장 먼저 쓰인다. 리눅스 커널은 CXL 메모리를 CPU 없는 NUMA 노드로 올리는 드라이버를 갖췄다(커널 CXL 개요).
3쉽게 이해하기 — 본사와 바깥 창고를 잇는 세 차선 도로
본사 사무실의 책상 서랍이 꽉 찼다. 본사는 이미 있는 도로로 바깥 창고와 협력 공장을 잇고, 그 도로에 차선 셋을 긋는다. 접수 차선으로 창고와 공장을 등록하고, 서랍 차선으로 창고 선반을 «내 서랍 3번»처럼 열며, 공장은 사본 차선으로 본사 서류 사본을 가져가 작업한다. 공장이 사본을 들고 있는 동안 본사가 원본을 고치면 그 사본은 «옛것» 딱지를 받는다.
그림 1 · 같은 도로에 차선 셋을 그어 등록 · 사본 · 서랍 열기를 나눈다 — 창고 선반은 본사 서랍 번호로 열리고, 공장은 본사 서류 사본을 들고 간다.
그림 2 · 짐 종류마다 트럭을 따로 보내지 않는다 — 트럭 한 대의 짐칸에 접수 서류 · 사본 · 서랍 물건이 섞여 실리고, 실제로는 한 플릿에 세 프로토콜 메시지가 섞인다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 본사 사무실 | 호스트 CPU · 홈 에이전트 | 주소 공간과 캐시 일관성을 책임진다 |
| 이미 있는 도로 | PCIe 물리 계층 | 같은 슬롯 · 배선 · 신호 방식을 그대로 쓴다 |
| 접수 차선 | CXL.io | 장치 발견 · 설정 공간 · 인터럽트 · DMA |
| 서랍 차선 · 서랍 번호 | CXL.mem · HDM 주소 창 | CPU 가 장치 메모리를 적재 · 저장 명령으로 읽고 쓴다 |
| 사본 차선 | CXL.cache | 장치가 호스트 메모리를 자기 캐시에 일관성 있게 둔다 |
| 옛것 딱지 | 무효화 · 역무효화 | 원본이 바뀌면 다른 쪽 캐시 줄을 버리게 한다 |
| 바깥 창고 | Type 3 메모리 확장 장치 | 컨트롤러 뒤 DRAM 을 호스트에 내준다 |
| 섞어 싣는 짐칸 | 플릿 | 세 프로토콜 메시지를 한 전송 단위에 섞는다 |
⚠ 비유가 맞지 않는 곳: 창고 선반은 본사 서랍과 걸리는 시간이 거의 같아 보이지만, 실제 CXL 메모리는 로컬 DRAM 보다 약 70 ns 이상 늦다(Pond 2023). 또 사본 딱지를 붙이는 일은 사람이 아니라 하드웨어가 캐시 줄 64바이트 단위로 한다.
4구조 · 동작 — 메모리 확장 장치 하나를 NUMA 노드로 읽기
CXL 은 PCIe 물리 계층 위에서 세 프로토콜을 동적으로 다중화한다. CXL.io 는 PCIe 방식 그대로 발견 · 설정 · DMA 를 맡고, CXL.cache · CXL.mem 은 지연을 줄인 별도 링크 · 트랜잭션 계층을 쓴다(CXL 2.0 웨비나 · Pond 2023). 장치 유형은 어느 프로토콜을 쓰는지로 나뉜다.
그림 3 · 세 프로토콜은 같은 PCIe 물리 계층을 나눠 쓰고, 장치 유형은 그중 무엇을 쓰는지로 갈린다 — 메모리만 내주는 Type 3 는 CXL.cache 가 없다.
설명용 가정 값 — 소켓 하나 서버 · 로컬 DDR5-4800 8채널 · Type 3 메모리 확장 장치 1개(PCIe 5.0 x8 · 256 GiB). 지연은 Pond 2023 이 인용한 측정이고 대역폭은 원문 식으로 직접 계산했다.
- 펌웨어가 CXL.io 로 장치를 PCIe 엔드포인트처럼 찾고 설정 공간에서 용량 256 GiB 를 읽는다.
- 펌웨어가 장치의 HDM 디코더에 호스트 주소 창을 적고 ACPI CEDT(CFMWS) · SRAT 로 알린다 — 리눅스는 이 창을 CPU 없는 NUMA 노드 1 로 올린다(커널 CXL 개요).
- 응용을
numactl --membind=1로 띄우면 그 페이지가 CXL 주소 창에 놓인다. - 코어의 적재 명령이 LLC 에서 빗나가면 주소가 창 안이므로 홈 에이전트가 CXL.mem 읽기 요청을 플릿에 싣는다 — 페이지 폴트 · DMA 가 없다(Pond 2023).
- 장치 컨트롤러가 호스트 주소를 장치 주소로 바꿔 자기 DRAM 에서 64바이트 캐시 줄을 읽어 돌려준다.
- 지연은 링크 왕복 약 25 ns 를 포함해 로컬 DRAM 보다 약 70 ns 늘고, 스위치를 거친 랙 규모 풀에서는 180 ns 이상 는다(Pond 2023).
- 대역폭은 32 GT/s × 8레인 ÷ 8 = 방향마다 원시 32 GB/s 다 — 읽기 2 : 쓰기 1 이면 DDR5-4800 채널 하나(38.4 GB/s)와 비슷하다(Pond 2023 · Sun 2023).
그림 4 · LLC 빗나감이 곧 CXL.mem 요청이 되므로 운영체제는 끼어들지 않고, 대가는 로컬보다 약 70 ns 긴 지연이다.
🔑 CXL.io 는 장치를 찾고, CXL.mem 은 그 장치 메모리를 호스트 주소 공간에 넣는다. 그래서 CXL 메모리는 드라이버 입출력이 아니라 적재 · 저장 명령으로 읽힌다.
메모리 반도체 쪽에서 보면 Type 3 확장 모듈은 CXL 컨트롤러(PHY · CXL 계층 · DDR 메모리 제어기)와 그 뒤 DRAM 으로 이루어진다. 지연은 컨트롤러 설계가 정해, 측정한 장치 셋의 적재 지연이 원격 소켓 DDR5 보다 1.35 ~ 3배로 갈렸다(Sun 2023).
그림 5 · 확장은 장치 메모리 전체에 주인 하나, 풀링은 영역을 나눠 주인을 여럿 두고, 공유만 같은 영역을 여러 호스트가 함께 보며 하드웨어 일관성이 필요하다.
🔑 풀링은 한 영역에 주인이 하나이고 공유는 한 영역에 주인이 여럿이다. 그래서 공유만 장치가 다른 호스트의 캐시 줄을 거둬들이는 역무효화를 요구한다.
5비교 — 세대별 사양
| 세대 | 발표 | PCIe 기반 · 속도 | 플릿 | 더한 것 |
|---|---|---|---|---|
| 1.0 · 1.1 | 2019 | 5.0 · 32 GT/s | 68바이트 | 직접 연결 · 세 프로토콜 |
| 2.0 | 2020-11 | 5.0 · 32 GT/s | 68바이트 | 단일 단계 스위치 · MLD 풀링(한 장치를 가상 계층 16개에) · 지속 메모리 · IDE |
| 3.0 | 2022-08 | 6.0 · 64 GT/s | 256바이트 | 다단 스위치 · 공유 · 역무효화 · 패브릭 4,096 노드(PBR) |
| 3.1 · 3.2 | 2023-11 · 2024-12 | 3.0 과 같음 | 256바이트 | TSP 보안 · 메모리 장치 RAS · 핫 페이지 감시(CHMU) |
| 4.0 | 2025-11 | 7.0 · 128 GT/s | 256바이트 | 묶음 포트 · 재타이머 4개 · x2 폭 |
분석한 서버의 용량만 늘리면 1.1 · 2.0 장치로 충분하고, 여러 서버가 같은 데이터를 함께 보려면 3.0 이상 장치 · 스위치가 다 갖춰져야 한다. 근거는 표의 2.0 · 3.0 행으로, 공유와 역무효화는 3.0 에서 들어왔다(CXL 3.0 백서).
모든 판은 앞 판과 하위 호환이고 256바이트 플릿도 8 · 16 · 32 GT/s 에서 돈다(CXL 3.0 백서 · CXL 3.2 발표문).
6실무 진단 — 링크 · 장치 · 배치 가르기
분석링크 상태부터 본다. 링크가 강등되면 장치와 배치를 아무리 바꿔도 상한이 낮고, 그다음 영역 · 인터리브 설정, 마지막으로 페이지 배치를 본다(아래 표 1 ~ 4행).
| # | 증상 | 의심 원인 | 구분 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 대역폭이 계산 상한의 절반 이하 | 링크 폭 · 속도 강등 | 링크 | lspci -vv 의 LnkCap · LnkSta | LnkSta 의 속도 · 폭 < LnkCap = 강등(lspci) |
| 2 | 장치는 보이는데 메모리가 늘지 않음 | 영역 미생성 · DAX 모드 | 설정 | cxl list -M -R · numactl -H | memdev 만 있고 region 없음 = 영역 설정(cxl-list) |
| 3 | 장치 둘인데 대역폭이 하나 몫 | 인터리브 미설정 | 설정 | cxl list -R 의 interleave_ | ways = 1 이면 장치 하나만 씀(cxl-list) |
| 4 | 지연에 민감한 서비스의 꼬리 지연 증가 | 자주 쓰는 페이지가 CXL 노드에 | 배치 | numastat -p <PID> | CXL 노드 몫이 크면 배치 문제(Sun 2023) |
7시험 대비
www.q-net.or.kr시험에서는 세 프로토콜과 장치 유형을 묻는 정의 · 특징형, 풀링 → 공유 → 패브릭으로 넓어진 흐름을 묻는 동향 · 발전형이 나올 수 있다.
- 개요 — 정의 · PCIe 물리 계층 재사용 · 배경 수치(DDR5 채널 핀 288 · 좌초 메모리 최대 25 %)
- 구조 — 그림 3 프로토콜 계층 + 장치 유형 표(Type 1 · 2 · 3 × io · cache · mem)
- 동작 — 그림 4 메모리 확장 읽기(HDM 주소 창 → LLC 빗나감 → CXL.mem → 64바이트) · 지연 +70 ns
- 활용 — 그림 5 확장 · 풀링 · 공유 차이 · 역무효화
- 발전 — 세대 표(32 → 64 → 128 GT/s · 68 → 256바이트 플릿 · 4,096 노드)
- 과제 — 지연과 메모리 계층화(핫 페이지) · 보안(IDE · TSP)
꼭 쓸 키워드
CXL.ioCXL.cacheCXL.memType 3HDM메모리 풀링메모리 공유역무효화플릿좌초 메모리
다른 답안과 차이를 내는 한 가지는 그림 5 의 «주인 수» 구분이다 — 풀링과 공유를 같은 말로 쓰는 답안이 많다.
8오해와 사실
- 오해CXL 메모리는 NVMe 처럼 블록 장치로 읽는다.사실LLC 빗나감이 곧 CXL.mem 요청이 되는 적재 · 저장 접근이고 페이지 폴트 · DMA 가 없다(Pond 2023) — 리눅스는 이를 NUMA 노드나 DAX 장치로 올린다(커널 CXL 개요).
- 오해CXL 3.0 장치를 쓰려면 링크가 64 GT/s 여야 한다.사실3.0 의 256바이트 플릿은 8 · 16 · 32 GT/s 와 하위 호환이고(CXL 3.0 백서) 각 판은 1.0 까지 하위 호환이다(CXL 3.0 발표문).
9핵심 정리
| 구분 | 맡는 일 | 쓰는 장치 | 대표 값 | 근거 |
|---|---|---|---|---|
| CXL.io | 발견 · 설정 · 인터럽트 · DMA | Type 1 · 2 · 3 모두 | PCIe 방식 | CXL 2.0 웨비나 |
| CXL.cache | 장치가 호스트 메모리를 캐시 | Type 1 · 2 | 역무효화(3.0) | CXL 3.0 백서 |
| CXL.mem | 호스트가 장치 메모리를 적재 · 저장 | Type 2 · 3 | 로컬 + 약 70 ns | Pond 2023 |
| 물리 계층 | 신호 · 슬롯 | 모든 판 | 32 · 64 · 128 GT/s | CXL 3.0 · 4.0 백서 |
| 플릿 | 세 흐름 다중화 | 모든 판 | 68 → 256바이트 | CXL 3.0 백서 |
| 풀링 | 영역을 호스트마다 나눔 | 2.0 이상 · MLD | 장치 하나를 가상 계층 16개에 | CXL 2.0 웨비나 |
| 공유 | 같은 영역을 여러 호스트가 | 3.0 이상 | 패브릭 4,096 노드 | CXL 3.0 백서 |
| 지연 | 확장의 대가 | Type 3 | 랙 풀 180 ns 이상 | Pond 2023 |
10참고 문헌
- 먼저 볼 문헌
- ★ Compute Express Link 3.0 (white paper) — 세대 흐름 · 256바이트 플릿 · 풀링과 공유의 차이 · 패브릭 4,096 노드를 볼 때
- ★ Introducing the Compute Express Link 2.0 Specification (webinar slides) — 세 프로토콜의 역할과 장치 유형 1 · 2 · 3 · MLD 풀링을 볼 때
- ★ Pond: CXL-Based Memory Pooling Systems for Cloud Platforms (ASPLOS 2023 · arXiv 2203.00241) — 좌초 메모리 25 % · CXL 메모리 지연 70 ~ 180 ns 추가 · 풀 크기를 볼 때
- ★ Demystifying CXL Memory with Genuine CXL-Ready Systems and Devices (MICRO 2023 · arXiv 2303.15375) — 실제 CXL 메모리 장치의 지연 · 대역폭이 컨트롤러마다 갈리는 측정을 볼 때
- 본문 근거
- Introducing Compute Express Link (CXL) 4.0 (white paper) — CXL Consortium · 2025-11 ·
computeexpresslink.org/wp-content/uploads/2025/11/CXL_4.0-White-Paper_FINAL.pdf· 확인 2026-11-09 - CXL Consortium releases Compute Express Link 3.0 specification (press release) — CXL Consortium · 2022-08 ·
computeexpresslink.org/wp-content/uploads/2023/12/CXL_3.0-Specification-Release_FINAL.pdf· 확인 2026-11-09 - CXL Consortium announces Compute Express Link 3.1 specification release (press release) — CXL Consortium · 2023-11 ·
computeexpresslink.org/wp-content/uploads/2024/01/CXL_3.1-Specification-Release_FINAL.pdf· 확인 2026-11-09 - CXL Consortium Announces Compute Express Link 3.2 Specification Release (press release) — CXL Consortium · 2024-12 ·
computeexpresslink.org/wp-content/uploads/2024/12/CXL_3.2-Spec-Announcement_FINAL-1.pdf· 확인 2026-11-09 - CXL Consortium News (press release list · 1.0 · 4.0 release dates) — CXL Consortium · 2026-11 ·
computeexpresslink.org/news· 확인 2026-11-09 - Compute Express Link — Devices and Protocols (Linux kernel driver-api) — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/driver-api/cxl/devices/device-types.html· 확인 2026-11-09 - Compute Express Link — Linux overview (boot · NUMA · DAX · hotplug) — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/driver-api/cxl/linux/overview.html· 확인 2026-11-09 - cxl-list(1) (ndctl Documentation/cxl/cxl-list.txt) — pmem/ndctl · 2026-11 ·
github.com/pmem/ndctl/blob/main/Documentation/cxl/cxl-list.txt· 확인 2026-11-09 - lspci(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/lspci.8.html· 확인 2026-11-09 - numastat(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/numastat.8.html· 확인 2026-11-09