IT › 컴퓨터 시스템 › 컴퓨터 구조 › 병렬 처리

메모리 인터리빙Memory Interleaving

연속된 메모리 주소를 독립적으로 동작하는 여러 메모리 단위(모듈 · 뱅크 · 채널 · NUMA 노드)에 번갈아 배치하는 주소 배치 기법이다. 한 단위가 접근을 마치고 회복하는 동안 다른 단위가 다음 접근을 받아, 접근 하나의 지연은 그대로 두고 연속 접근의 대역폭을 늘린다.

1요약

  1. 메모리 인터리빙은 병렬 처리에서 메모리 공급을 맡는 기법으로, 주소 비트 일부(또는 페이지 번호)로 모듈 · 뱅크 · 채널 · NUMA 노드를 골라 그 위에서 캐시 줄 채우기 · 배열 순회 · 대용량 데이터베이스의 페이지 읽기가 여러 단위에 겹쳐 돈다.
  2. 단위 하나는 접근 뒤 회복 시간이 있어 연속 접근을 한 단위에 몰면 그 시간만큼 줄이 선다 — 뱅크 8개 · 사이클 40 ns 사례에서 64바이트 연속 읽기는 75 ns, 같은 뱅크로 몰리면 320 ns 로 4.3배 차이가 난다(설명용 가정 값 · 직접 계산).
  3. 「특정 순회만 느리다」는 보폭과 단위 수의 최대공약수로 가른다 — 쓰이는 뱅크 수 = 뱅크 수 ÷ gcd(보폭, 뱅크 수) 이고, 이 값이 1 이면 인터리빙이 없는 것과 같다.

2등장 배경

1950 ~ 60년대 코어 메모리는 한 번 읽으면 내용을 다시 써 넣는 사이클이 끝나야 다음 접근을 받았다. 1961년 납품된 IBM Stretch 는 2.1 µs 사이클 코어 메모리의 앞 64K 워드를 4-way, 다음 32K 워드를 2-way 로 인터리빙해 모듈 여럿을 동시에 움직였다(Smotherman Stretch).

인터리빙이 보폭에 약하다는 문제는 배열 처리기에서 먼저 드러났다. 1982년 Lawrie 와 Vora 는 메모리 개수를 소수로 두어 행 · 열 · 대각선 보폭이 한 메모리에 몰리지 않게 하는 설계를 냈고(Lawrie · Vora 1982), 2000년 Zhang 등은 DRAM 뱅크 번호를 상위 주소 비트와 XOR 해 행 버퍼 충돌을 줄이는 순열 인터리빙을 냈다(Zhang 2000).

운영체제 수준에서는 Linux 2.6.7 의 set_mempolicy(2) 가 페이지를 노드에 번갈아 두는 MPOL_INTERLEAVE 를 제공했고, Linux 6.9 는 노드마다 대역폭이 다른 시스템을 위해 비율을 정하는 MPOL_WEIGHTED_INTERLEAVE 를 더했다(set_mempolicy(2)).

3쉽게 이해하기 — 창구 넷이 있는 은행

은행에 손님이 번호표 100번, 101번, 102번, 103번 순서로 줄을 섰다. 창구 직원은 손님 한 명을 받은 뒤 서류를 정리하느라 한동안 다음 손님을 못 받는다. 안내원은 번호표 끝자리를 4로 나눈 나머지로 창구를 정해, 100번이 창구 0에서 서류를 정리하는 동안 101번은 창구 1로 간다. 그런데 100번, 104번, 108번처럼 네 칸씩 건너뛴 손님만 오면 모두 창구 0으로 가서 줄이 길어진다.

손님 줄 안내 창구 넷 번호표 든 손님 연속 주소 100번 101번 102번 103번 번호가 하나씩 늘어난다 안내원 메모리 제어기 끝자리 ÷ 4 의 나머지 = 창구 번호 창구 0 — 100번 뱅크 0 서류 정리 창구 1 — 101번 뱅크 1 창구 2 — 102번 뱅크 2 창구 3 — 103번 뱅크 3 뱅크 사이클 시간 1 2 1 번호표 끝자리로 창구를 정하고 · 2 창구 넷이 정리 시간을 겹쳐 쓴다 — 한 창구의 정리 시간은 줄지 않는다

그림 1 · 안내원이 번호표 끝자리로 창구를 정해 주면 창구 넷이 서류 정리 시간을 겹쳐 쓴다 — 번호표는 주소, 창구는 뱅크, 정리 시간은 뱅크 사이클 시간이다.

번호표 받기번호가 하나씩 는다
창구 고르기끝자리 ÷ 4
창구가 받기한 명씩 처리
서류 정리그동안 다음 창구가 받음
건너뛴 손님네 칸 건너면 한 창구로
모두 끝마지막 창구가 끝나는 때
비유 — 번호표 끝자리 실제 — 주소 비트 나누기 1 0 3 → 3 ÷ 4 의 나머지 3 → 창구 3 앞자리는 창구 안 서랍 번호 끝자리만 보고 창구를 고른다 네 칸씩 건너뛴 손님 100 · 104 · 108 → 모두 창구 0 나머지 창구 셋은 논다 주소 0x2018 상위 비트(행 · 열) 011 = 뱅크 3 000 비트 5 ~ 3 비트 2 ~ 0 비트 2 ~ 0 = 8바이트 워드 안의 바이트 64바이트씩 건너뛴 주소 0x2000 · 0x2040 · 0x2080 모두 뱅크 0 64 = 2⁶ 이라 비트 5 ~ 3 은 늘 000 뱅크를 고르는 비트 한 뱅크로 몰림

그림 2 · 번호표 끝자리가 창구를 정하듯 주소의 비트 5 ~ 3 이 뱅크를 정한다 — 그래서 64바이트씩 건너뛴 주소는 그 세 비트가 늘 같아 뱅크 0 하나에 몰린다.

비유 속 역할실제 이름실제로 하는 일
번호표연속 주소캐시 줄 · 배열 원소가 차례로 요청된다
안내원메모리 제어기 · 주소 배치 함수주소 비트로 뱅크 · 채널을 고른다
창구 직원뱅크(모듈)요청 하나를 받아 데이터를 꺼낸다
서류 정리뱅크 사이클 시간접근 뒤 다음 접근을 받기까지 걸리는 시간
네 칸 건너뛴 손님뱅크 충돌보폭이 뱅크 수의 배수라 한 뱅크에 몰린다
다른 지점NUMA 노드운영체제가 페이지를 노드에 번갈아 둔다
마지막 창구 마감완료 시간가장 늦게 끝난 뱅크가 전체 시간을 정한다

⚠ 비유가 맞지 않는 곳: 창구는 같은 손님을 연달아 받으면 늘 느리지만, 실제 DRAM 뱅크는 이미 열어 둔 행(행 버퍼)에 다시 오는 접근이 오히려 빠르다 — 그래서 실제 배치 함수는 «무조건 흩기»가 아니라 같은 행 접근은 모으고 다른 행 접근은 흩도록 짠다(Zhang 2000).

4구조 — 주소 비트와 메모리 단위

인터리빙은 «주소의 어느 부분으로 단위를 고르는가»로 정해진다. 상위 비트로 고르면 연속 주소가 한 단위에 모이고, 하위 비트로 고르면 연속 주소가 단위마다 하나씩 돌아간다.

상위 비트 인터리빙 모듈 번호 = 워드 주소 ÷ 4 하위 비트 인터리빙 모듈 번호 = 워드 주소 mod 4 모듈 0모듈 1모듈 2모듈 3 모듈 0모듈 1모듈 2모듈 3 0123 4567 891011 12131415 0123 4567 891011 12131415 연속 접근 → 모듈 하나만 일함 모듈 추가 · 고장 격리가 쉽다 연속 접근 → 모듈 넷이 겹쳐 일함 굵은 테두리 = 연속 주소 0 ~ 3

그림 3 · 같은 16개 주소라도 상위 2비트로 모듈을 고르면 0 ~ 3 이 모듈 0 에 모이고, 하위 2비트로 고르면 0 ~ 3 이 모듈 넷에 하나씩 놓여 동시에 읽힌다.

단위나누는 크기고르는 주체고르는 값값 · 근거
모듈(코어 메모리)워드메모리 제어 회로워드 주소 하위 비트64K 워드 4-way · 32K 워드 2-way · 사이클 2.1 µs(Smotherman Stretch)
DRAM 뱅크캐시 줄 또는 DRAM 페이지메모리 제어기주소 비트 · 상위 비트 XOR캐시 줄 인터리빙 · 페이지 인터리빙 · 순열 인터리빙(Zhang 2000)
메모리 채널캐시 줄 단위 묶음메모리 제어기 · 펌웨어 설정주소 비트채널마다 모듈이 꽂혀야 채널끼리 번갈아 씀
NUMA 노드페이지운영체제 메모리 정책페이지 오프셋 mod 노드 수MPOL_INTERLEAVE · 가중치 1 ~ 255(메모리 정책 문서 · 가중 인터리빙 ABI)

🔑 인터리빙은 접근 하나를 빠르게 하지 않는다. 단위 여럿의 회복 시간을 겹쳐 «다음 접근을 기다리는 시간»을 없앨 뿐이다.

5동작 — 8뱅크에서 행 방향과 열 방향 읽기

8바이트 워드 · 뱅크 8개 · 뱅크 사이클 40 ns · 제어기 요청 간격 5 ns 는 설명용 가정 값이다. 뱅크 번호 = 주소 비트 5 ~ 3 이고, 8 × 8 double 행렬이 주소 0x2000 부터 행 우선으로 놓였다.

  1. 주소 나누기 — 0x2018 은 비트 2 ~ 0 = 000(워드 안 바이트) · 비트 5 ~ 3 = 011 이므로 뱅크 3 이다.
  2. 행 방향 읽기 — 0x2000 ~ 0x2038 의 8워드(보폭 8바이트)는 비트 5 ~ 3 이 000 ~ 111 로 돌아 뱅크 0 ~ 7 에 하나씩 간다.
  3. 겹쳐 처리 — 요청이 0, 5, …, 35 ns 에 나가고 뱅크마다 40 ns 가 걸려 마지막 워드가 75 ns 에 끝난다 · 64바이트 ÷ 75 ns ≒ 0.85 GB/s 다.
  4. 열 방향 읽기 — 0x2000 · 0x2040 · … · 0x21C0(보폭 64바이트)은 비트 5 ~ 3 이 모두 000 이라 8워드가 뱅크 0 에 몰린다.
  5. 줄 서기 — 뱅크 0 이 40 ns 마다 하나씩만 받아 320 ns 가 걸린다 · 0.2 GB/s 로 행 방향의 4.3배 느리다.
  6. 덧대기 — 행 길이를 9워드(72바이트)로 늘리면 열 방향 보폭이 9워드가 되고 9 mod 8 = 1 이라 뱅크 0, 1, …, 7 로 다시 돌아 75 ns 로 돌아온다.
  7. 판정 — 쓰이는 뱅크 수 = 8 ÷ gcd(보폭 워드 수, 8) 이다 · 보폭 8 은 1개, 보폭 9 는 8개다.
단계 2 · 3 — 행 방향 · 보폭 8바이트 뱅크 0뱅크 1뱅크 2뱅크 3 뱅크 4뱅크 5뱅크 6뱅크 7 75 ns 에 모두 끝 단계 4 · 5 — 열 방향 · 보폭 64바이트 뱅크 0 뱅크 1 ~ 7 쉼 320 ns 04080120160 200240280320 ns 뱅크가 바로 받은 요청(40 ns) 같은 뱅크를 기다린 요청 요청 간격 5 ns · 설명용 가정 값

그림 4 · 행 방향 읽기는 뱅크 여덟이 40 ns 씩 겹쳐 75 ns ③ 에 끝나고, 열 방향 읽기는 뱅크 0 하나가 차례로 받아 320 ns ⑤ 가 걸린다.

080160240320 완료 시간(ns) 759575165 759575320 뱅크 8뱅크 4뱅크 8뱅크 2 뱅크 8뱅크 4뱅크 8뱅크 1 1234 5678 보폭(워드) — 사례 2단계 = 1 · 4단계 = 8 gcd(보폭, 8) = 1 · 뱅크 8개 모두 씀 gcd > 1 · 쓰이는 뱅크 = 8 ÷ gcd

그림 5 · 보폭이 뱅크 수 8 과 서로소이면 늘 75 ns 이고, 공약수가 커질수록 쓰이는 뱅크가 8 → 4 → 2 → 1 로 줄어 완료 시간이 320 ns 까지 늘어난다.

🔑 인터리빙의 이득은 주소 배치가 아니라 «보폭과 단위 수의 관계»가 정한다 — 같은 하드웨어라도 순회 방향 하나로 4.3배가 갈린다.

6비교 — 단위를 고르는 방식

방식단위를 고르는 값연속 접근보폭 충돌쓰는 곳(근거)
상위 비트주소 상위 비트한 단위에 몰림해당 없음(병렬 없음)용량 확장 · 고장 격리
하위 비트주소 하위 비트(mod 2ⁿ)단위마다 하나씩보폭이 2의 거듭제곱이면 심함코어 메모리 · 캐시 줄 인터리빙(Smotherman Stretch)
소수 개 단위주소 mod 소수단위마다 하나씩보폭이 그 소수의 배수일 때만배열 처리기(Lawrie · Vora 1982)
XOR 순열뱅크 비트 XOR 상위 비트같은 행은 모음행 버퍼 충돌을 흩음DRAM 제어기(Zhang 2000)
OS 페이지 인터리브페이지 오프셋 mod 노드 수페이지마다 노드 교대한 페이지는 한 노드 대역폭MPOL_INTERLEAVE(set_mempolicy(2))
가중 인터리브노드별 가중치 비율비율대로 교대느린 노드 몫을 줄임MPOL_WEIGHTED_INTERLEAVE · Linux 6.9

분석하드웨어 수준에서는 하위 비트 + XOR 순열이 기본이고, 소수 개 단위는 나눗셈 회로 비용 때문에 특정 보폭이 정해진 배열 처리에만 맞는다. 운영체제 수준에서는 여러 스레드가 큰 공유 데이터를 고루 읽을 때 인터리브를, 스레드마다 제 데이터만 쓸 때 지역 할당을 고른다(set_mempolicy(2) 는 인터리브가 지연 대신 대역폭을 고른다고 적는다).

7실무 진단 — 대역폭이 나오지 않는 수준 가르기

분석NUMA 노드 → 채널 설치 → 접근 보폭 순으로 본다. 노드 편중과 채널 비움은 명령 하나로 바로 보이고 코드를 고치지 않아도 되지만, 보폭 충돌은 프로그램을 바꿔 재 봐야 확인되기 때문이다(numastat(8) · perf-stat(1)).

#증상의심 원인수준확인 명령 · 자료판정 기준(근거)
1소켓 둘 서버에서 스레드를 늘려도 대역폭이 그대로페이지가 한 노드에 몰림NUMA 노드numastat -p <PID> · numactl --interleave=all한 노드에 메모리가 몰리면 인터리브로 다시 잰다(numactl(8))
2인터리브를 켠 뒤 지연에 민감한 작업이 느려짐원격 노드 접근 증가NUMA 노드numastat 의 other_node · interleave_hitinterleave_hit 가 노드마다 고르면 정책은 동작 중 · 지역 할당으로 되돌려 비교(numastat(8))
3메모리 대역폭이 같은 기종의 절반모듈이 한 채널에만 꽂힘채널dmidecode -t memory빈 슬롯이 한 채널 쪽에 몰렸는가 · 정보는 BIOS 가 알린 값(dmidecode 페이지)
4행렬 한 방향 순회만 몇 배 느림보폭이 뱅크 수의 배수뱅크perf stat -e cycles,instructions ./app 를 행 길이만 바꿔 두 번행 길이에 한 워드를 덧대 사이클이 크게 줄면 보폭 충돌(사례 6단계)
5CXL 등 느린 노드를 더한 뒤 평균 대역폭이 떨어짐같은 비율로 페이지를 나눔NUMA 노드weighted_interleave 설정(…/mempolicy/weighted_interleave/nodeN)가중치 1 ~ 255 로 빠른 노드 몫을 키움 · 새 할당에만 적용(가중 인터리빙 ABI)

가중치를 바꾸면 이미 놓인 페이지는 옮겨지지 않으므로 프로그램을 다시 시작한 뒤 잰다(가중 인터리빙 ABI).

8시험 대비

출제 정보 정보관리(128회) · 컴퓨터시스템응용(96회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 개념과 배치 방식을 묻는 정의 · 특징형, 또는 연속 접근이 여러 모듈에 겹쳐 처리되는 과정을 묻는 동작 · 절차 설명형이 나올 수 있다. 정의형이면 상위 · 하위 비트 배치 그림으로 차이를 먼저 보이고, 동작형이면 시간축 그림에 완료 시간 숫자를 넣어 겹침을 보인다.

답안 목차
  1. 개요 — 연속 주소를 여러 단위에 번갈아 두어 회복 시간을 겹치는 기법 · 지연이 아니라 대역폭을 늘림
  2. 구조 — 상위 비트 · 하위 비트 인터리빙 배치 그림(그림 3) · 모듈 · 뱅크 · 채널 · NUMA 노드 표
  3. 동작 — 8뱅크 행 방향 · 열 방향 시간축 그림(그림 4) · 75 ns 와 320 ns
  4. 보폭 충돌 — 쓰이는 뱅크 수 = 뱅크 수 ÷ gcd(보폭, 뱅크 수) 막대 그래프(그림 5) · 덧대기 · 소수 개 단위 · XOR 순열
  5. 운영체제 수준 — MPOL_INTERLEAVE · 가중 인터리브(Linux 6.9) · 지역 할당과의 선택 기준
  6. 결론 — 순회 방향 · 데이터 배치를 하드웨어 배치 함수와 맞춰야 이득이 남

꼭 쓸 키워드
하위 비트 인터리빙상위 비트 인터리빙뱅크뱅크 사이클 시간뱅크 충돌보폭행 버퍼XOR 순열MPOL_INTERLEAVE가중 인터리브

다른 답안과 차이를 내는 한 가지는 gcd 식 하나로 «어떤 보폭이 몇 개 뱅크만 쓰는가»를 그림 5 처럼 보이고, 행 길이 덧대기로 같은 코드가 원래 속도를 되찾는 숫자(320 → 75 ns)를 함께 쓰는 것이다.

9오해와 사실

  • 오해인터리빙은 메모리 접근 하나의 지연을 줄인다.
    사실첫 워드는 여전히 뱅크 사이클 40 ns 를 다 기다리고, 줄어드는 것은 연속 접근 전체의 완료 시간이다 · set_mempolicy(2) 도 인터리브를 «지연 대신 대역폭»을 고르는 정책으로 적는다.
  • 오해뱅크 수를 늘리면 어떤 접근이든 빨라진다.
    사실보폭이 뱅크 수의 배수면 뱅크 16개도 하나만 쓰인다 — 쓰이는 수는 뱅크 수 ÷ gcd(보폭, 뱅크 수) 다(사례 7단계).
  • 오해운영체제 인터리브를 켜면 큰 페이지 하나도 여러 노드에서 나눠 읽힌다.
    사실배치 단위가 페이지라 한 페이지 접근은 한 노드의 대역폭에 묶인다(set_mempolicy(2)).

10핵심 정리

구분단위를 고르는 값배치 단위정하는 곳대표 값
상위 비트 인터리빙주소 상위 비트큰 연속 구역메모리 회로연속 접근 병렬 없음
하위 비트 인터리빙주소 하위 비트워드 · 캐시 줄메모리 제어기8뱅크 연속 8워드 75 ns(사례)
뱅크 충돌보폭과 뱅크 수의 gcd—프로그램의 순회보폭 8워드 320 ns(사례)
소수 개 단위주소 mod 소수워드배열 처리기Lawrie · Vora 1982
XOR 순열뱅크 비트 XOR 상위 비트DRAM 페이지DRAM 제어기행 버퍼 충돌 감소(Zhang 2000)
MPOL_INTERLEAVE페이지 오프셋 mod 노드 수페이지운영체제numactl --interleave=all
가중 인터리브노드별 가중치페이지운영체제 · sysfs1 ~ 255 · Linux 6.9

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ set_mempolicy(2) Linux manual page — MPOL_INTERLEAVE 가 지연 대신 대역폭을 고른다는 정의와 가중 인터리빙(Linux 6.9)을 볼 때
    man7.org · 2026-11 · man7.org/linux/man-pages/man2/set_mempolicy.2.html · 확인 2026-11-14
  3. ★ Linux kernel documentation · NUMA Memory Policy — 페이지 단위 인터리브 · 노드를 고르는 규칙 · 부팅 중 기본 정책을 볼 때
    kernel.org · 2026-11 · docs.kernel.org/admin-guide/mm/numa_memory_policy.html · 확인 2026-11-14
  4. ★ IBM Stretch (7030) — Aggressive Uniprocessor Parallelism — 코어 메모리 2.1 µs 사이클과 4-way · 2-way 인터리빙의 초기 사례를 볼 때
    M. Smotherman · Clemson University · 2026-11 · mark.people.clemson.edu/stretch.html · 확인 2026-11-14
  5. ★ The Prime Memory System for Array Access (IEEE Transactions on Computers C-31(5) 435-442) — 소수 개 메모리로 보폭 충돌을 없애는 배열 접근 설계를 볼 때
    D. H. Lawrie · C. R. Vora · IEEE · 1982-05 · doi.org/10.1109/TC.1982.1676020 · 확인 2026-11-14
  6. 본문 근거
  7. A Permutation-based Page Interleaving Scheme to Reduce Row-buffer Conflicts and Exploit Data Locality (MICRO-33 32-41) — Z. Zhang · Z. Zhu · X. Zhang · 2000-12 · 확인 2026-11-14
  8. numactl(8) Linux manual page — numactl · man7.org · 2026-11 · man7.org/linux/man-pages/man8/numactl.8.html · 확인 2026-11-14
  9. numastat(8) Linux manual page — numactl · man7.org · 2026-11 · man7.org/linux/man-pages/man8/numastat.8.html · 확인 2026-11-14
  10. sysfs-kernel-mm-mempolicy-weighted-interleave (Linux ABI testing) — kernel.org · 2024-01 · www.kernel.org/doc/Documentation/ABI/testing/sysfs-kernel-mm-mempolicy-weighted-interleave · 확인 2026-11-14
  11. dmidecode project page — nongnu.org · 2026-11 · www.nongnu.org/dmidecode/ · 확인 2026-11-14
  12. perf-stat(1) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man1/perf-stat.1.html · 확인 2026-11-14