메모리 인터리빙Memory Interleaving
연속된 메모리 주소를 독립적으로 동작하는 여러 메모리 단위(모듈 · 뱅크 · 채널 · NUMA 노드)에 번갈아 배치하는 주소 배치 기법이다. 한 단위가 접근을 마치고 회복하는 동안 다른 단위가 다음 접근을 받아, 접근 하나의 지연은 그대로 두고 연속 접근의 대역폭을 늘린다.
1요약
- 메모리 인터리빙은 병렬 처리에서 메모리 공급을 맡는 기법으로, 주소 비트 일부(또는 페이지 번호)로 모듈 · 뱅크 · 채널 · NUMA 노드를 골라 그 위에서 캐시 줄 채우기 · 배열 순회 · 대용량 데이터베이스의 페이지 읽기가 여러 단위에 겹쳐 돈다.
- 단위 하나는 접근 뒤 회복 시간이 있어 연속 접근을 한 단위에 몰면 그 시간만큼 줄이 선다 — 뱅크 8개 · 사이클 40 ns 사례에서 64바이트 연속 읽기는 75 ns, 같은 뱅크로 몰리면 320 ns 로 4.3배 차이가 난다(설명용 가정 값 · 직접 계산).
- 「특정 순회만 느리다」는 보폭과 단위 수의 최대공약수로 가른다 — 쓰이는 뱅크 수 = 뱅크 수 ÷ gcd(보폭, 뱅크 수) 이고, 이 값이 1 이면 인터리빙이 없는 것과 같다.
2등장 배경
1950 ~ 60년대 코어 메모리는 한 번 읽으면 내용을 다시 써 넣는 사이클이 끝나야 다음 접근을 받았다. 1961년 납품된 IBM Stretch 는 2.1 µs 사이클 코어 메모리의 앞 64K 워드를 4-way, 다음 32K 워드를 2-way 로 인터리빙해 모듈 여럿을 동시에 움직였다(Smotherman Stretch).
인터리빙이 보폭에 약하다는 문제는 배열 처리기에서 먼저 드러났다. 1982년 Lawrie 와 Vora 는 메모리 개수를 소수로 두어 행 · 열 · 대각선 보폭이 한 메모리에 몰리지 않게 하는 설계를 냈고(Lawrie · Vora 1982), 2000년 Zhang 등은 DRAM 뱅크 번호를 상위 주소 비트와 XOR 해 행 버퍼 충돌을 줄이는 순열 인터리빙을 냈다(Zhang 2000).
운영체제 수준에서는 Linux 2.6.7 의 set_mempolicy(2) 가 페이지를 노드에 번갈아 두는 MPOL_INTERLEAVE 를 제공했고, Linux 6.9 는 노드마다 대역폭이 다른 시스템을 위해 비율을 정하는 MPOL_WEIGHTED_INTERLEAVE 를 더했다(set_mempolicy(2)).
3쉽게 이해하기 — 창구 넷이 있는 은행
은행에 손님이 번호표 100번, 101번, 102번, 103번 순서로 줄을 섰다. 창구 직원은 손님 한 명을 받은 뒤 서류를 정리하느라 한동안 다음 손님을 못 받는다. 안내원은 번호표 끝자리를 4로 나눈 나머지로 창구를 정해, 100번이 창구 0에서 서류를 정리하는 동안 101번은 창구 1로 간다. 그런데 100번, 104번, 108번처럼 네 칸씩 건너뛴 손님만 오면 모두 창구 0으로 가서 줄이 길어진다.
그림 1 · 안내원이 번호표 끝자리로 창구를 정해 주면 창구 넷이 서류 정리 시간을 겹쳐 쓴다 — 번호표는 주소, 창구는 뱅크, 정리 시간은 뱅크 사이클 시간이다.
그림 2 · 번호표 끝자리가 창구를 정하듯 주소의 비트 5 ~ 3 이 뱅크를 정한다 — 그래서 64바이트씩 건너뛴 주소는 그 세 비트가 늘 같아 뱅크 0 하나에 몰린다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 번호표 | 연속 주소 | 캐시 줄 · 배열 원소가 차례로 요청된다 |
| 안내원 | 메모리 제어기 · 주소 배치 함수 | 주소 비트로 뱅크 · 채널을 고른다 |
| 창구 직원 | 뱅크(모듈) | 요청 하나를 받아 데이터를 꺼낸다 |
| 서류 정리 | 뱅크 사이클 시간 | 접근 뒤 다음 접근을 받기까지 걸리는 시간 |
| 네 칸 건너뛴 손님 | 뱅크 충돌 | 보폭이 뱅크 수의 배수라 한 뱅크에 몰린다 |
| 다른 지점 | NUMA 노드 | 운영체제가 페이지를 노드에 번갈아 둔다 |
| 마지막 창구 마감 | 완료 시간 | 가장 늦게 끝난 뱅크가 전체 시간을 정한다 |
⚠ 비유가 맞지 않는 곳: 창구는 같은 손님을 연달아 받으면 늘 느리지만, 실제 DRAM 뱅크는 이미 열어 둔 행(행 버퍼)에 다시 오는 접근이 오히려 빠르다 — 그래서 실제 배치 함수는 «무조건 흩기»가 아니라 같은 행 접근은 모으고 다른 행 접근은 흩도록 짠다(Zhang 2000).
4구조 — 주소 비트와 메모리 단위
인터리빙은 «주소의 어느 부분으로 단위를 고르는가»로 정해진다. 상위 비트로 고르면 연속 주소가 한 단위에 모이고, 하위 비트로 고르면 연속 주소가 단위마다 하나씩 돌아간다.
그림 3 · 같은 16개 주소라도 상위 2비트로 모듈을 고르면 0 ~ 3 이 모듈 0 에 모이고, 하위 2비트로 고르면 0 ~ 3 이 모듈 넷에 하나씩 놓여 동시에 읽힌다.
| 단위 | 나누는 크기 | 고르는 주체 | 고르는 값 | 값 · 근거 |
|---|---|---|---|---|
| 모듈(코어 메모리) | 워드 | 메모리 제어 회로 | 워드 주소 하위 비트 | 64K 워드 4-way · 32K 워드 2-way · 사이클 2.1 µs(Smotherman Stretch) |
| DRAM 뱅크 | 캐시 줄 또는 DRAM 페이지 | 메모리 제어기 | 주소 비트 · 상위 비트 XOR | 캐시 줄 인터리빙 · 페이지 인터리빙 · 순열 인터리빙(Zhang 2000) |
| 메모리 채널 | 캐시 줄 단위 묶음 | 메모리 제어기 · 펌웨어 설정 | 주소 비트 | 채널마다 모듈이 꽂혀야 채널끼리 번갈아 씀 |
| NUMA 노드 | 페이지 | 운영체제 메모리 정책 | 페이지 오프셋 mod 노드 수 | MPOL_ |
🔑 인터리빙은 접근 하나를 빠르게 하지 않는다. 단위 여럿의 회복 시간을 겹쳐 «다음 접근을 기다리는 시간»을 없앨 뿐이다.
5동작 — 8뱅크에서 행 방향과 열 방향 읽기
8바이트 워드 · 뱅크 8개 · 뱅크 사이클 40 ns · 제어기 요청 간격 5 ns 는 설명용 가정 값이다. 뱅크 번호 = 주소 비트 5 ~ 3 이고, 8 × 8 double 행렬이 주소 0x2000 부터 행 우선으로 놓였다.
- 주소 나누기 — 0x2018 은 비트 2 ~ 0 = 000(워드 안 바이트) · 비트 5 ~ 3 = 011 이므로 뱅크 3 이다.
- 행 방향 읽기 — 0x2000 ~ 0x2038 의 8워드(보폭 8바이트)는 비트 5 ~ 3 이 000 ~ 111 로 돌아 뱅크 0 ~ 7 에 하나씩 간다.
- 겹쳐 처리 — 요청이 0, 5, …, 35 ns 에 나가고 뱅크마다 40 ns 가 걸려 마지막 워드가 75 ns 에 끝난다 · 64바이트 ÷ 75 ns ≒ 0.85 GB/s 다.
- 열 방향 읽기 — 0x2000 · 0x2040 · … · 0x21C0(보폭 64바이트)은 비트 5 ~ 3 이 모두 000 이라 8워드가 뱅크 0 에 몰린다.
- 줄 서기 — 뱅크 0 이 40 ns 마다 하나씩만 받아 320 ns 가 걸린다 · 0.2 GB/s 로 행 방향의 4.3배 느리다.
- 덧대기 — 행 길이를 9워드(72바이트)로 늘리면 열 방향 보폭이 9워드가 되고 9 mod 8 = 1 이라 뱅크 0, 1, …, 7 로 다시 돌아 75 ns 로 돌아온다.
- 판정 — 쓰이는 뱅크 수 = 8 ÷ gcd(보폭 워드 수, 8) 이다 · 보폭 8 은 1개, 보폭 9 는 8개다.
그림 4 · 행 방향 읽기는 뱅크 여덟이 40 ns 씩 겹쳐 75 ns ③ 에 끝나고, 열 방향 읽기는 뱅크 0 하나가 차례로 받아 320 ns ⑤ 가 걸린다.
그림 5 · 보폭이 뱅크 수 8 과 서로소이면 늘 75 ns 이고, 공약수가 커질수록 쓰이는 뱅크가 8 → 4 → 2 → 1 로 줄어 완료 시간이 320 ns 까지 늘어난다.
🔑 인터리빙의 이득은 주소 배치가 아니라 «보폭과 단위 수의 관계»가 정한다 — 같은 하드웨어라도 순회 방향 하나로 4.3배가 갈린다.
6비교 — 단위를 고르는 방식
| 방식 | 단위를 고르는 값 | 연속 접근 | 보폭 충돌 | 쓰는 곳(근거) |
|---|---|---|---|---|
| 상위 비트 | 주소 상위 비트 | 한 단위에 몰림 | 해당 없음(병렬 없음) | 용량 확장 · 고장 격리 |
| 하위 비트 | 주소 하위 비트(mod 2ⁿ) | 단위마다 하나씩 | 보폭이 2의 거듭제곱이면 심함 | 코어 메모리 · 캐시 줄 인터리빙(Smotherman Stretch) |
| 소수 개 단위 | 주소 mod 소수 | 단위마다 하나씩 | 보폭이 그 소수의 배수일 때만 | 배열 처리기(Lawrie · Vora 1982) |
| XOR 순열 | 뱅크 비트 XOR 상위 비트 | 같은 행은 모음 | 행 버퍼 충돌을 흩음 | DRAM 제어기(Zhang 2000) |
| OS 페이지 인터리브 | 페이지 오프셋 mod 노드 수 | 페이지마다 노드 교대 | 한 페이지는 한 노드 대역폭 | MPOL_ |
| 가중 인터리브 | 노드별 가중치 비율 | 비율대로 교대 | 느린 노드 몫을 줄임 | MPOL_ |
분석하드웨어 수준에서는 하위 비트 + XOR 순열이 기본이고, 소수 개 단위는 나눗셈 회로 비용 때문에 특정 보폭이 정해진 배열 처리에만 맞는다. 운영체제 수준에서는 여러 스레드가 큰 공유 데이터를 고루 읽을 때 인터리브를, 스레드마다 제 데이터만 쓸 때 지역 할당을 고른다(set_mempolicy(2) 는 인터리브가 지연 대신 대역폭을 고른다고 적는다).
7실무 진단 — 대역폭이 나오지 않는 수준 가르기
분석NUMA 노드 → 채널 설치 → 접근 보폭 순으로 본다. 노드 편중과 채널 비움은 명령 하나로 바로 보이고 코드를 고치지 않아도 되지만, 보폭 충돌은 프로그램을 바꿔 재 봐야 확인되기 때문이다(numastat(8) · perf-stat(1)).
| # | 증상 | 의심 원인 | 수준 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 소켓 둘 서버에서 스레드를 늘려도 대역폭이 그대로 | 페이지가 한 노드에 몰림 | NUMA 노드 | numastat -p <PID> · numactl --interleave= | 한 노드에 메모리가 몰리면 인터리브로 다시 잰다(numactl(8)) |
| 2 | 인터리브를 켠 뒤 지연에 민감한 작업이 느려짐 | 원격 노드 접근 증가 | NUMA 노드 | numastat 의 other_ | interleave_ |
| 3 | 메모리 대역폭이 같은 기종의 절반 | 모듈이 한 채널에만 꽂힘 | 채널 | dmidecode -t memory | 빈 슬롯이 한 채널 쪽에 몰렸는가 · 정보는 BIOS 가 알린 값(dmidecode 페이지) |
| 4 | 행렬 한 방향 순회만 몇 배 느림 | 보폭이 뱅크 수의 배수 | 뱅크 | perf stat -e cycles, 를 행 길이만 바꿔 두 번 | 행 길이에 한 워드를 덧대 사이클이 크게 줄면 보폭 충돌(사례 6단계) |
| 5 | CXL 등 느린 노드를 더한 뒤 평균 대역폭이 떨어짐 | 같은 비율로 페이지를 나눔 | NUMA 노드 | weighted_…/) | 가중치 1 ~ 255 로 빠른 노드 몫을 키움 · 새 할당에만 적용(가중 인터리빙 ABI) |
가중치를 바꾸면 이미 놓인 페이지는 옮겨지지 않으므로 프로그램을 다시 시작한 뒤 잰다(가중 인터리빙 ABI).
8시험 대비
www.q-net.or.kr시험에서는 개념과 배치 방식을 묻는 정의 · 특징형, 또는 연속 접근이 여러 모듈에 겹쳐 처리되는 과정을 묻는 동작 · 절차 설명형이 나올 수 있다. 정의형이면 상위 · 하위 비트 배치 그림으로 차이를 먼저 보이고, 동작형이면 시간축 그림에 완료 시간 숫자를 넣어 겹침을 보인다.
- 개요 — 연속 주소를 여러 단위에 번갈아 두어 회복 시간을 겹치는 기법 · 지연이 아니라 대역폭을 늘림
- 구조 — 상위 비트 · 하위 비트 인터리빙 배치 그림(그림 3) · 모듈 · 뱅크 · 채널 · NUMA 노드 표
- 동작 — 8뱅크 행 방향 · 열 방향 시간축 그림(그림 4) · 75 ns 와 320 ns
- 보폭 충돌 — 쓰이는 뱅크 수 = 뱅크 수 ÷ gcd(보폭, 뱅크 수) 막대 그래프(그림 5) · 덧대기 · 소수 개 단위 · XOR 순열
- 운영체제 수준 — MPOL_INTERLEAVE · 가중 인터리브(Linux 6.9) · 지역 할당과의 선택 기준
- 결론 — 순회 방향 · 데이터 배치를 하드웨어 배치 함수와 맞춰야 이득이 남
꼭 쓸 키워드
하위 비트 인터리빙상위 비트 인터리빙뱅크뱅크 사이클 시간뱅크 충돌보폭행 버퍼XOR 순열MPOL_INTERLEAVE가중 인터리브
다른 답안과 차이를 내는 한 가지는 gcd 식 하나로 «어떤 보폭이 몇 개 뱅크만 쓰는가»를 그림 5 처럼 보이고, 행 길이 덧대기로 같은 코드가 원래 속도를 되찾는 숫자(320 → 75 ns)를 함께 쓰는 것이다.
9오해와 사실
- 오해인터리빙은 메모리 접근 하나의 지연을 줄인다.사실첫 워드는 여전히 뱅크 사이클 40 ns 를 다 기다리고, 줄어드는 것은 연속 접근 전체의 완료 시간이다 · set_mempolicy(2) 도 인터리브를 «지연 대신 대역폭»을 고르는 정책으로 적는다.
- 오해뱅크 수를 늘리면 어떤 접근이든 빨라진다.사실보폭이 뱅크 수의 배수면 뱅크 16개도 하나만 쓰인다 — 쓰이는 수는 뱅크 수 ÷ gcd(보폭, 뱅크 수) 다(사례 7단계).
- 오해운영체제 인터리브를 켜면 큰 페이지 하나도 여러 노드에서 나눠 읽힌다.사실배치 단위가 페이지라 한 페이지 접근은 한 노드의 대역폭에 묶인다(set_mempolicy(2)).
10핵심 정리
| 구분 | 단위를 고르는 값 | 배치 단위 | 정하는 곳 | 대표 값 |
|---|---|---|---|---|
| 상위 비트 인터리빙 | 주소 상위 비트 | 큰 연속 구역 | 메모리 회로 | 연속 접근 병렬 없음 |
| 하위 비트 인터리빙 | 주소 하위 비트 | 워드 · 캐시 줄 | 메모리 제어기 | 8뱅크 연속 8워드 75 ns(사례) |
| 뱅크 충돌 | 보폭과 뱅크 수의 gcd | — | 프로그램의 순회 | 보폭 8워드 320 ns(사례) |
| 소수 개 단위 | 주소 mod 소수 | 워드 | 배열 처리기 | Lawrie · Vora 1982 |
| XOR 순열 | 뱅크 비트 XOR 상위 비트 | DRAM 페이지 | DRAM 제어기 | 행 버퍼 충돌 감소(Zhang 2000) |
| MPOL_ | 페이지 오프셋 mod 노드 수 | 페이지 | 운영체제 | numactl --interleave= |
| 가중 인터리브 | 노드별 가중치 | 페이지 | 운영체제 · sysfs | 1 ~ 255 · Linux 6.9 |
11참고 문헌
- 먼저 볼 문헌
- ★ set_mempolicy(2) Linux manual page — MPOL_INTERLEAVE 가 지연 대신 대역폭을 고른다는 정의와 가중 인터리빙(Linux 6.9)을 볼 때
- ★ Linux kernel documentation · NUMA Memory Policy — 페이지 단위 인터리브 · 노드를 고르는 규칙 · 부팅 중 기본 정책을 볼 때
- ★ IBM Stretch (7030) — Aggressive Uniprocessor Parallelism — 코어 메모리 2.1 µs 사이클과 4-way · 2-way 인터리빙의 초기 사례를 볼 때
- ★ The Prime Memory System for Array Access (IEEE Transactions on Computers C-31(5) 435-442) — 소수 개 메모리로 보폭 충돌을 없애는 배열 접근 설계를 볼 때
- 본문 근거
- A Permutation-based Page Interleaving Scheme to Reduce Row-buffer Conflicts and Exploit Data Locality (MICRO-33 32-41) — Z. Zhang · Z. Zhu · X. Zhang · 2000-12 · 확인 2026-11-14
- numactl(8) Linux manual page — numactl · man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/numactl.8.html· 확인 2026-11-14 - numastat(8) Linux manual page — numactl · man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/numastat.8.html· 확인 2026-11-14 - sysfs-kernel-mm-mempolicy-weighted-interleave (Linux ABI testing) — kernel.org · 2024-01 ·
www.kernel.org/doc/Documentation/ABI/testing/sysfs-kernel-mm-mempolicy-weighted-interleave· 확인 2026-11-14 - dmidecode project page — nongnu.org · 2026-11 ·
www.nongnu.org/dmidecode/· 확인 2026-11-14 - perf-stat(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/perf-stat.1.html· 확인 2026-11-14