IT › 컴퓨터 시스템 › 컴퓨터 구조 › 가속기 · 인터커넥트

CXL컴퓨트 익스프레스 링크 · Compute Express Link

PCIe 물리 계층을 그대로 쓰면서 그 위에 입출력 · 캐시 · 메모리 세 프로토콜을 섞어 실어, 프로세서와 가속기 · 메모리 장치가 캐시 일관성을 지키며 서로의 메모리를 적재 · 저장 명령으로 쓰게 하는 상호 연결 표준이다.

1요약

  1. CXL 은 CXL 컨소시엄이 2019년 1.0 을 내고 2025년 4.0(PCIe 7.0 · 128 GT/s)까지 이어 온 개방 표준으로, 가속기의 호스트 메모리 캐시와 메모리 확장 장치의 적재 · 저장 접근이 이 링크 위에서 돈다.
  2. DDR5 는 채널 하나에 핀 288개가 들어 채널을 늘리기 어렵고, 클라우드 서버 DRAM 의 최대 25 % 가 코어를 다 빌려준 뒤 남는 좌초 메모리가 된다(Sun 2023 · Pond 2023).
  3. 「CXL 메모리가 느리다」는 링크 · 장치 · 배치로 가른다 — 링크 폭 · 속도가 강등됐는지, 장치 컨트롤러 자체 지연이 큰지, 자주 쓰는 페이지가 CXL 노드에 놓였는지를 차례로 본다.

2등장 배경

서버 메모리는 CPU 패키지의 DDR 채널 수에 묶인다. DDR5 채널은 핀 288개가 들고 최대 대역폭에서는 채널당 DIMM 을 하나만 꽂는다(Sun 2023). 가속기는 PCIe 로 붙지만 PCIe 는 DMA 로 데이터를 복사하는 입출력 길이라, 장치와 CPU 가 같은 메모리를 일관성 있게 함께 쓰지 못했다.

CXL 컨소시엄은 2019년 3월 CXL 1.0(PCIe 5.0 · 32 GT/s)을 내고, 2020년 11월 2.0 에서 스위치 · 메모리 풀링을, 2022년 8월 3.0(PCIe 6.0 · 64 GT/s)에서 메모리 공유 · 패브릭을, 2025년 11월 4.0(PCIe 7.0 · 128 GT/s)에서 묶음 포트를 더했다(CXL 3.0 백서 · CXL 4.0 백서 · CXL 소식 목록).

지금 CXL 은 메모리 확장 장치(Type 3)로 가장 먼저 쓰인다. 리눅스 커널은 CXL 메모리를 CPU 없는 NUMA 노드로 올리는 드라이버를 갖췄다(커널 CXL 개요).

3쉽게 이해하기 — 본사와 바깥 창고를 잇는 세 차선 도로

본사 사무실의 책상 서랍이 꽉 찼다. 본사는 이미 있는 도로로 바깥 창고와 협력 공장을 잇고, 그 도로에 차선 셋을 긋는다. 접수 차선으로 창고와 공장을 등록하고, 서랍 차선으로 창고 선반을 «내 서랍 3번»처럼 열며, 공장은 사본 차선으로 본사 서류 사본을 가져가 작업한다. 공장이 사본을 들고 있는 동안 본사가 원본을 고치면 그 사본은 «옛것» 딱지를 받는다.

본사 사무실 호스트 CPU 꽉 찬 책상 서랍 로컬 DRAM 협력 공장 가속기 Type 1 · 2 서류 사본 바깥 창고 메모리 확장 장치 선반마다 본사 서랍 번호가 붙음 1 접수 차선 — 등록 · 설정 CXL.io 4 사본 차선 — 본사 서류 사본 CXL.cache 2 서랍 차선 — 「서랍 3번」 CXL.mem 3 창고가 선반째 꺼내 준다 이미 있는 도로 하나 — 차선만 새로 긋는다 PCIe 물리 계층 등록 · 설정 사본(캐시) 서랍(메모리) 요청 · 응답 번호 = 일하는 순서 · 4 는 공장이 쓸 때

그림 1 · 같은 도로에 차선 셋을 그어 등록 · 사본 · 서랍 열기를 나눈다 — 창고 선반은 본사 서랍 번호로 열리고, 공장은 본사 서류 사본을 들고 간다.

도로이미 있는 도로를 쓴다
접수창고 · 공장을 등록한다
서랍 번호창고 선반을 서랍 3번으로 연다
사본공장이 서류 사본을 가져간다
옛것 딱지원본이 바뀌면 사본을 버리게 한다
비유 — 섞어 싣는 짐칸 실제 — 섞어 싣는 플릿 짐칸 하나 = 여섯 칸 짐 종류가 달라도 같은 칸에 싣고 빈 칸 없이 한 번에 달린다 플릿 하나(링크 전송 단위) io cache mem mem cache mem 1.x · 2.0 = 68바이트 플릿 3.0 부터 = 256바이트 플릿 슬롯 수 · 배치는 설명용 CXL.io(접수 서류) CXL.cache(사본) CXL.mem(서랍 물건)

그림 2 · 짐 종류마다 트럭을 따로 보내지 않는다 — 트럭 한 대의 짐칸에 접수 서류 · 사본 · 서랍 물건이 섞여 실리고, 실제로는 한 플릿에 세 프로토콜 메시지가 섞인다.

비유 속 역할실제 이름실제로 하는 일
본사 사무실호스트 CPU · 홈 에이전트주소 공간과 캐시 일관성을 책임진다
이미 있는 도로PCIe 물리 계층같은 슬롯 · 배선 · 신호 방식을 그대로 쓴다
접수 차선CXL.io장치 발견 · 설정 공간 · 인터럽트 · DMA
서랍 차선 · 서랍 번호CXL.mem · HDM 주소 창CPU 가 장치 메모리를 적재 · 저장 명령으로 읽고 쓴다
사본 차선CXL.cache장치가 호스트 메모리를 자기 캐시에 일관성 있게 둔다
옛것 딱지무효화 · 역무효화원본이 바뀌면 다른 쪽 캐시 줄을 버리게 한다
바깥 창고Type 3 메모리 확장 장치컨트롤러 뒤 DRAM 을 호스트에 내준다
섞어 싣는 짐칸플릿세 프로토콜 메시지를 한 전송 단위에 섞는다

⚠ 비유가 맞지 않는 곳: 창고 선반은 본사 서랍과 걸리는 시간이 거의 같아 보이지만, 실제 CXL 메모리는 로컬 DRAM 보다 약 70 ns 이상 늦다(Pond 2023). 또 사본 딱지를 붙이는 일은 사람이 아니라 하드웨어가 캐시 줄 64바이트 단위로 한다.

4구조 · 동작 — 메모리 확장 장치 하나를 NUMA 노드로 읽기

CXL 은 PCIe 물리 계층 위에서 세 프로토콜을 동적으로 다중화한다. CXL.io 는 PCIe 방식 그대로 발견 · 설정 · DMA 를 맡고, CXL.cache · CXL.mem 은 지연을 줄인 별도 링크 · 트랜잭션 계층을 쓴다(CXL 2.0 웨비나 · Pond 2023). 장치 유형은 어느 프로토콜을 쓰는지로 나뉜다.

프로토콜 계층 CXL.io 발견 · 설정 인터럽트 · DMA PCIe 방식 CXL.cache 장치가 호스트 메모리를 캐시 CXL.mem 호스트가 장치 메모리를 적재 지연을 줄인 별도 링크 · 트랜잭션 계층 플릿 · 세 흐름 동적 다중화 PCIe 물리 계층(32 · 64 · 128 GT/s) 장치 유형 io cache mem Type 1 스마트 NIC Type 2 메모리 달린 가속기 Type 3 메모리 확장 · 풀 장치 채운 원 = 그 프로토콜을 씀 · 점선 원 = 쓰지 않음 Type 2 · 3 의 장치 메모리 = HDM(호스트 관리 장치 메모리) 설정 · 제어 캐시 사본 메모리 데이터 물리 연결

그림 3 · 세 프로토콜은 같은 PCIe 물리 계층을 나눠 쓰고, 장치 유형은 그중 무엇을 쓰는지로 갈린다 — 메모리만 내주는 Type 3 는 CXL.cache 가 없다.

설명용 가정 값 — 소켓 하나 서버 · 로컬 DDR5-4800 8채널 · Type 3 메모리 확장 장치 1개(PCIe 5.0 x8 · 256 GiB). 지연은 Pond 2023 이 인용한 측정이고 대역폭은 원문 식으로 직접 계산했다.

  1. 펌웨어가 CXL.io 로 장치를 PCIe 엔드포인트처럼 찾고 설정 공간에서 용량 256 GiB 를 읽는다.
  2. 펌웨어가 장치의 HDM 디코더에 호스트 주소 창을 적고 ACPI CEDT(CFMWS) · SRAT 로 알린다 — 리눅스는 이 창을 CPU 없는 NUMA 노드 1 로 올린다(커널 CXL 개요).
  3. 응용을 numactl --membind=1 로 띄우면 그 페이지가 CXL 주소 창에 놓인다.
  4. 코어의 적재 명령이 LLC 에서 빗나가면 주소가 창 안이므로 홈 에이전트가 CXL.mem 읽기 요청을 플릿에 싣는다 — 페이지 폴트 · DMA 가 없다(Pond 2023).
  5. 장치 컨트롤러가 호스트 주소를 장치 주소로 바꿔 자기 DRAM 에서 64바이트 캐시 줄을 읽어 돌려준다.
  6. 지연은 링크 왕복 약 25 ns 를 포함해 로컬 DRAM 보다 약 70 ns 늘고, 스위치를 거친 랙 규모 풀에서는 180 ns 이상 는다(Pond 2023).
  7. 대역폭은 32 GT/s × 8레인 ÷ 8 = 방향마다 원시 32 GB/s 다 — 읽기 2 : 쓰기 1 이면 DDR5-4800 채널 하나(38.4 GB/s)와 비슷하다(Pond 2023 · Sun 2023).
펌웨어 · OS 코어 · 홈 에이전트 장치 컨트롤러 장치 DRAM 1 CXL.io · 256 GiB 2 HDM 주소 창 → NUMA 노드 1 3 페이지를 노드 1 에 4 LLC 빗나감 → CXL.mem 읽기 장치 주소 5 64바이트 캐시 줄 페이지 폴트 · DMA 없음 6 추가 지연 로컬 DRAM = 기준 + 0 CXL 직접 연결 + 약 70 ns 랙 규모 풀(스위치) + 180 ns 이상 굵은 테두리 = 늘어난 지연(1 px ≈ 1 ns · 기준 막대 길이는 설명용) · 값 = Pond 2023 추정 · 측정 인용

그림 4 · LLC 빗나감이 곧 CXL.mem 요청이 되므로 운영체제는 끼어들지 않고, 대가는 로컬보다 약 70 ns 긴 지연이다.

🔑 CXL.io 는 장치를 찾고, CXL.mem 은 그 장치 메모리를 호스트 주소 공간에 넣는다. 그래서 CXL 메모리는 드라이버 입출력이 아니라 적재 · 저장 명령으로 읽힌다.

메모리 반도체 쪽에서 보면 Type 3 확장 모듈은 CXL 컨트롤러(PHY · CXL 계층 · DDR 메모리 제어기)와 그 뒤 DRAM 으로 이루어진다. 지연은 컨트롤러 설계가 정해, 측정한 장치 셋의 적재 지연이 원격 소켓 DDR5 보다 1.35 ~ 3배로 갈렸다(Sun 2023).

확장 — 1.1 풀링 — 2.0 공유 — 3.0 호스트 1 장치 메모리 전체 주인 = 호스트 1 호스트 1 호스트 2 스위치 · 패브릭 관리자 영역 A 호스트 1 만 영역 B 호스트 2 만 호스트 1 호스트 2 캐시 사본 쓰기 영역 S 호스트 1 · 2 함께 역무효화 주인 1 · 소프트웨어 조정 없음 주인 여럿 · 영역은 따로 같은 영역 · 하드웨어 일관성 호스트 1 영역 호스트 2 영역(굵은 테두리) 공유 영역 옛 사본 무효화

그림 5 · 확장은 장치 메모리 전체에 주인 하나, 풀링은 영역을 나눠 주인을 여럿 두고, 공유만 같은 영역을 여러 호스트가 함께 보며 하드웨어 일관성이 필요하다.

🔑 풀링은 한 영역에 주인이 하나이고 공유는 한 영역에 주인이 여럿이다. 그래서 공유만 장치가 다른 호스트의 캐시 줄을 거둬들이는 역무효화를 요구한다.

5비교 — 세대별 사양

세대발표PCIe 기반 · 속도플릿더한 것
1.0 · 1.120195.0 · 32 GT/s68바이트직접 연결 · 세 프로토콜
2.02020-115.0 · 32 GT/s68바이트단일 단계 스위치 · MLD 풀링(한 장치를 가상 계층 16개에) · 지속 메모리 · IDE
3.02022-086.0 · 64 GT/s256바이트다단 스위치 · 공유 · 역무효화 · 패브릭 4,096 노드(PBR)
3.1 · 3.22023-11 · 2024-123.0 과 같음256바이트TSP 보안 · 메모리 장치 RAS · 핫 페이지 감시(CHMU)
4.02025-117.0 · 128 GT/s256바이트묶음 포트 · 재타이머 4개 · x2 폭

분석한 서버의 용량만 늘리면 1.1 · 2.0 장치로 충분하고, 여러 서버가 같은 데이터를 함께 보려면 3.0 이상 장치 · 스위치가 다 갖춰져야 한다. 근거는 표의 2.0 · 3.0 행으로, 공유와 역무효화는 3.0 에서 들어왔다(CXL 3.0 백서).

모든 판은 앞 판과 하위 호환이고 256바이트 플릿도 8 · 16 · 32 GT/s 에서 돈다(CXL 3.0 백서 · CXL 3.2 발표문).

6실무 진단 — 링크 · 장치 · 배치 가르기

분석링크 상태부터 본다. 링크가 강등되면 장치와 배치를 아무리 바꿔도 상한이 낮고, 그다음 영역 · 인터리브 설정, 마지막으로 페이지 배치를 본다(아래 표 1 ~ 4행).

#증상의심 원인구분확인 명령판정 기준(근거)
1대역폭이 계산 상한의 절반 이하링크 폭 · 속도 강등링크lspci -vv 의 LnkCap · LnkStaLnkSta 의 속도 · 폭 < LnkCap = 강등(lspci)
2장치는 보이는데 메모리가 늘지 않음영역 미생성 · DAX 모드설정cxl list -M -R · numactl -Hmemdev 만 있고 region 없음 = 영역 설정(cxl-list)
3장치 둘인데 대역폭이 하나 몫인터리브 미설정설정cxl list -R 의 interleave_waysways = 1 이면 장치 하나만 씀(cxl-list)
4지연에 민감한 서비스의 꼬리 지연 증가자주 쓰는 페이지가 CXL 노드에배치numastat -p <PID>CXL 노드 몫이 크면 배치 문제(Sun 2023)

7시험 대비

출제 정보 정보관리(136회) · 컴퓨터시스템응용(140회, 129회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 세 프로토콜과 장치 유형을 묻는 정의 · 특징형, 풀링 → 공유 → 패브릭으로 넓어진 흐름을 묻는 동향 · 발전형이 나올 수 있다.

답안 목차
  1. 개요 — 정의 · PCIe 물리 계층 재사용 · 배경 수치(DDR5 채널 핀 288 · 좌초 메모리 최대 25 %)
  2. 구조 — 그림 3 프로토콜 계층 + 장치 유형 표(Type 1 · 2 · 3 × io · cache · mem)
  3. 동작 — 그림 4 메모리 확장 읽기(HDM 주소 창 → LLC 빗나감 → CXL.mem → 64바이트) · 지연 +70 ns
  4. 활용 — 그림 5 확장 · 풀링 · 공유 차이 · 역무효화
  5. 발전 — 세대 표(32 → 64 → 128 GT/s · 68 → 256바이트 플릿 · 4,096 노드)
  6. 과제 — 지연과 메모리 계층화(핫 페이지) · 보안(IDE · TSP)

꼭 쓸 키워드
CXL.ioCXL.cacheCXL.memType 3HDM메모리 풀링메모리 공유역무효화플릿좌초 메모리

다른 답안과 차이를 내는 한 가지는 그림 5 의 «주인 수» 구분이다 — 풀링과 공유를 같은 말로 쓰는 답안이 많다.

8오해와 사실

  • 오해CXL 메모리는 NVMe 처럼 블록 장치로 읽는다.
    사실LLC 빗나감이 곧 CXL.mem 요청이 되는 적재 · 저장 접근이고 페이지 폴트 · DMA 가 없다(Pond 2023) — 리눅스는 이를 NUMA 노드나 DAX 장치로 올린다(커널 CXL 개요).
  • 오해CXL 3.0 장치를 쓰려면 링크가 64 GT/s 여야 한다.
    사실3.0 의 256바이트 플릿은 8 · 16 · 32 GT/s 와 하위 호환이고(CXL 3.0 백서) 각 판은 1.0 까지 하위 호환이다(CXL 3.0 발표문).

9핵심 정리

구분맡는 일쓰는 장치대표 값근거
CXL.io발견 · 설정 · 인터럽트 · DMAType 1 · 2 · 3 모두PCIe 방식CXL 2.0 웨비나
CXL.cache장치가 호스트 메모리를 캐시Type 1 · 2역무효화(3.0)CXL 3.0 백서
CXL.mem호스트가 장치 메모리를 적재 · 저장Type 2 · 3로컬 + 약 70 nsPond 2023
물리 계층신호 · 슬롯모든 판32 · 64 · 128 GT/sCXL 3.0 · 4.0 백서
플릿세 흐름 다중화모든 판68 → 256바이트CXL 3.0 백서
풀링영역을 호스트마다 나눔2.0 이상 · MLD장치 하나를 가상 계층 16개에CXL 2.0 웨비나
공유같은 영역을 여러 호스트가3.0 이상패브릭 4,096 노드CXL 3.0 백서
지연확장의 대가Type 3랙 풀 180 ns 이상Pond 2023

10참고 문헌

  1. 먼저 볼 문헌
  2. ★ Compute Express Link 3.0 (white paper) — 세대 흐름 · 256바이트 플릿 · 풀링과 공유의 차이 · 패브릭 4,096 노드를 볼 때
    CXL Consortium · 2022-08 · computeexpresslink.org/wp-content/uploads/2023/12/CXL_3.0_white-paper_FINAL.pdf · 확인 2026-11-09
  3. ★ Introducing the Compute Express Link 2.0 Specification (webinar slides) — 세 프로토콜의 역할과 장치 유형 1 · 2 · 3 · MLD 풀링을 볼 때
    CXL Consortium · 2020-12 · computeexpresslink.org/wp-content/uploads/2023/12/CXL_2.0_webinar_FINAL.pdf · 확인 2026-11-09
  4. ★ Pond: CXL-Based Memory Pooling Systems for Cloud Platforms (ASPLOS 2023 · arXiv 2203.00241) — 좌초 메모리 25 % · CXL 메모리 지연 70 ~ 180 ns 추가 · 풀 크기를 볼 때
    Li · Berger 외 · 2022-10 · arxiv.org/abs/2203.00241 · 확인 2026-11-09
  5. ★ Demystifying CXL Memory with Genuine CXL-Ready Systems and Devices (MICRO 2023 · arXiv 2303.15375) — 실제 CXL 메모리 장치의 지연 · 대역폭이 컨트롤러마다 갈리는 측정을 볼 때
    Sun · Yuan 외 · 2023-10 · arxiv.org/abs/2303.15375 · 확인 2026-11-09
  6. 본문 근거
  7. Introducing Compute Express Link (CXL) 4.0 (white paper) — CXL Consortium · 2025-11 · computeexpresslink.org/wp-content/uploads/2025/11/CXL_4.0-White-Paper_FINAL.pdf · 확인 2026-11-09
  8. CXL Consortium releases Compute Express Link 3.0 specification (press release) — CXL Consortium · 2022-08 · computeexpresslink.org/wp-content/uploads/2023/12/CXL_3.0-Specification-Release_FINAL.pdf · 확인 2026-11-09
  9. CXL Consortium announces Compute Express Link 3.1 specification release (press release) — CXL Consortium · 2023-11 · computeexpresslink.org/wp-content/uploads/2024/01/CXL_3.1-Specification-Release_FINAL.pdf · 확인 2026-11-09
  10. CXL Consortium Announces Compute Express Link 3.2 Specification Release (press release) — CXL Consortium · 2024-12 · computeexpresslink.org/wp-content/uploads/2024/12/CXL_3.2-Spec-Announcement_FINAL-1.pdf · 확인 2026-11-09
  11. CXL Consortium News (press release list · 1.0 · 4.0 release dates) — CXL Consortium · 2026-11 · computeexpresslink.org/news · 확인 2026-11-09
  12. Compute Express Link — Devices and Protocols (Linux kernel driver-api) — The Linux Kernel documentation · 2026-11 · docs.kernel.org/driver-api/cxl/devices/device-types.html · 확인 2026-11-09
  13. Compute Express Link — Linux overview (boot · NUMA · DAX · hotplug) — The Linux Kernel documentation · 2026-11 · docs.kernel.org/driver-api/cxl/linux/overview.html · 확인 2026-11-09
  14. cxl-list(1) (ndctl Documentation/cxl/cxl-list.txt) — pmem/ndctl · 2026-11 · github.com/pmem/ndctl/blob/main/Documentation/cxl/cxl-list.txt · 확인 2026-11-09
  15. lspci(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/lspci.8.html · 확인 2026-11-09
  16. numastat(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/numastat.8.html · 확인 2026-11-09