메모리 계층Memory Hierarchy
레지스터 · 캐시 · DRAM · SCM 으로 이어지는 기억 장치 단계를, 데이터를 어느 단계에 두는가 · 사본을 어떻게 맞추는가 · 전원이 꺼지면 무엇이 남는가로 묶어 보는 것이다. 단계를 나누는 원리(지역성 · 평균 접근 시간)의 세부는 메모리 계층 구조 토픽이 맡는다.
1요약
- 메모리 계층은 컴퓨터 구조에서 레지스터와 저장 장치 사이의 기억 장치 단계를 맡는 길목으로, 1965년 «작고 빠른 사본 기억 장치» 제안(Wilkes 1965)에서 시작해 지금은 코어마다의 캐시 · 공용 캐시 · DDR5 주 메모리 · SCM 이 64바이트 줄을 단위로 데이터를 주고받는 구성을 다룬다.
- 단계가 하나뿐이면 모든 접근이 가장 느린 장치의 시간을 낸다 — 사례 값으로 접근의 0.6%만 DRAM 까지 가도 평균 접근 시간의 26%가 그 몫이 되며, 이 식을 처음 «메모리 벽»으로 경고한 것이 Wulf · McKee 1995 다.
- 「메모리 쪽이 느리다」는 크기 · 공유 · 전원으로 가른다 — 데이터가 커질 때 계단처럼 느려지면 계층 구조와 캐시, 스레드를 늘릴 때 느려지면 캐시 일관성, 대역폭 · 오류면 DRAM, 장애 뒤 값이 사라지면 SCM 쪽이다.
2등장 배경
1960년대 주 메모리는 연산 회로보다 몇 배 느렸고, 명령어마다 그 시간을 기다렸다. Wilkes 는 1965년 최근 쓴 내용을 작고 빠른 «종속 기억 장치»에 두자고 했고(Wilkes 1965), 1968년 IBM System/360 Model 85 가 이를 «캐시»라는 이름으로 상용 기계에 넣었다(Liptay 1968).
코어마다 캐시를 두자 같은 주소의 사본이 여럿 생겼다. 1984년 각 줄에 수정 · 배타 · 공유 · 무효 네 상태를 매기는 방식이 나와 지금 MESI 계열의 바탕이 됐다(Papamarcos · Patel 1984). 1994년에는 프로세서와 DRAM 의 속도 차가 해마다 벌어져 평균 접근 시간이 성능을 묶는다는 «메모리 벽» 경고가 나왔다(Wulf · McKee 1995).
2008년에는 DRAM 처럼 바이트로 읽고 쓰되 전원이 꺼져도 남는 SCM 이 새 단계로 제안됐다(Freitas · Wilcke 2008). 2020년 DDR5 표준(JESD79-5)이 나오며 주 메모리 단계도 다시 짜였고, 메모리 계층은 그래서 «사본의 속도» 문제에서 «영속» 문제까지 한 줄로 이어진다.
3쉽게 이해하기 — 공구를 나눠 두는 자동차 정비소
정비소 「바퀴살」의 정비사 둘은 자주 쓰는 공구를 허리 벨트에, 그다음 것을 작업 카트에 두고, 둘이 함께 쓰는 공구 벽과 뒷마당 창고를 오간다. 한 정비사가 정비 지시서 사본을 고치면 다른 정비사가 든 같은 사본에는 「폐기」 도장을 찍는다. 불이 나도 남아야 하는 고친 지시서는 내화 금고에 넣고 「보관 확인」을 받아야 끝난다.
그림 1 · 가까운 보관 단계일수록 작고 빠르며, 같은 지시서의 사본은 도장으로 맞추고, 불이 나도 남는 것은 금고에 넣은 것뿐이다.
그림 2 · 벨트에 꽂힌 고친 지시서는 불이 나면 사라지고, 금고에 넣고 확인을 받은 것만 남는다 — 실제로도 캐시 줄을 비우고 순서를 보장해야 SCM 에 남는다.
| 비유 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 정비사의 벨트 · 카트 | 캐시 메모리(L1 · L2) | 코어마다 최근 쓴 줄의 사본을 가장 가까이 둔다 |
| 공용 공구 벽 | 캐시 메모리(L3) | 여러 코어가 함께 쓰는 마지막 캐시 단계 |
| 멀수록 오래 걸림 | 메모리 계층 구조 | 지역성 · 평균 접근 시간으로 단계 수와 크기를 정한다 |
| 다른 사본에 폐기 도장 | 캐시 일관성 | 한 코어가 쓴 줄의 다른 사본을 무효 상태로 바꾼다 |
| 뒷마당 창고 | DRAM · DDR5 | 모든 데이터의 원본을 두는 주 메모리 |
| 내화 금고 | SCM(스토리지 클래스 메모리) | 바이트로 접근하면서 전원이 꺼져도 남는 단계 |
| 보관 확인 | 줄 비우기 · 펜스 | 캐시에 머문 값을 영속 영역까지 내려보냈음을 보장한다 |
⚠ 비유가 맞지 않는 곳: 정비사는 공구를 옮기지만 실제 캐시는 원본을 옮기지 않고 «사본»을 둔다. 폐기 도장도 사람이 찍지 않고 캐시 제어기가 하드웨어 신호로 주고받는다.
4구조 — 단계 · 사본 · 영속의 지도
아래 토픽 다섯은 한 축에 놓인다. 메모리 계층 구조가 단계를 나누는 원리를, 캐시 메모리 · DRAM · DDR5 · SCM 이 각 단계를, 캐시 일관성이 코어마다 생긴 사본 사이의 약속을 맡는다.
그림 3 · 위로 갈수록 작고 빠른 사본, 아래로 갈수록 크고 느린 원본이며, 전원이 꺼져도 남는 경계는 DRAM 과 SCM 사이에 있다.
| 하위 토픽 | 푸는 문제 | 다루는 단위 | 기준 값 |
|---|---|---|---|
| 메모리 계층 구조 | 단계를 몇 개 · 얼마 크기로 두나 | 접근 · 작업 집합 | 평균 접근 시간 식(Wulf · McKee 1995) |
| 캐시 메모리 | 사본을 어디에 두고 언제 내보내나 | 줄 · 세트 · 웨이 | write_ |
| 캐시 일관성 | 코어마다의 사본을 한 값으로 | 줄 상태 | 수정 · 배타 · 공유 · 무효(Papamarcos · Patel 1984) |
| DRAM · DDR5 | 원본을 크게 · 넓은 대역으로 | 채널 · 뱅크 · 버스트 | 서브채널 둘 · 버스트 길이 16(JESD79-5) |
| SCM(스토리지 클래스 메모리) | 바이트 접근과 영속을 함께 | 영속 영역 · 네임스페이스 | MAP_ |
레지스터는 CPU, 주소 변환(TLB · 페이지)은 운영체제의 가상 메모리, 블록 단위 저장은 스토리지가 맡는다. 메모리 계층은 「코어가 낸 주소의 데이터가 어느 단계에 있는가」까지만 다룬다.
🔑 캐시 단계는 속도를 위해 «사본»을 늘리고, 그래서 사본을 맞추는 일(일관성)과 원본까지 내려보내는 일(영속)이 따라 생긴다.
5동작 — 저장 명령 하나가 영속되기까지
설명용 가정 값 = 코어 둘 · L1 데이터 캐시 48 KiB · 12 웨이 · 64바이트 줄(세트 = 48 Ki ÷ (12 × 64) = 64개) · 주소 0x2000_1F40 줄을 두 코어가 공유(S) 상태로 가진 때.
- 코어 0 이 8바이트 값 7 을 0x2000_1F48 에 저장한다. 주소를 나누면 오프셋 8 · 세트 61 · 태그 0x20001 이다(원문 식 직접 계산).
- 세트 61 에서 태그가 맞아 적중하지만 상태가 공유라 바로 쓰지 못한다. 코어 0 이 무효화 요청을 내고 코어 1 의 사본은 무효(I), 코어 0 의 줄은 수정(M)이 된다(Papamarcos · Patel 1984).
- 쓰기 되돌림 정책이라 값 7 은 코어 0 의 L1 에만 있고 DRAM 은 옛 값이다(커널 sysfs 캐시 ABI write_policy).
- 세트 61 에 13번째 줄이 들어올 때 이 줄이 교체되어 DRAM 으로 내려간다. DDR5 서브채널의 데이터 폭 32비트 × 버스트 16 = 512비트 = 64바이트라 줄 하나가 버스트 한 번이다(JESD79-5).
- 이 주소가 DAX 로 매핑한 SCM 파일이면 교체를 기다리지 않고 줄 비우기 명령과 펜스를 실행한다. MAP_SYNC 매핑에서는 그 뒤 장애가 나도 같은 파일 위치에 7 이 남는다(mmap(2)).
그림 4 · 저장 하나가 일관성(공유 → 수정) · 쓰기 되돌림 · DDR5 버스트 · SCM 영속을 차례로 지나며, 네 하위 토픽이 각각 한 단계를 맡는다.
단계가 몇 번 내려가는가는 평균 접근 시간으로 잰다. 식은 «적중 시간 + 미스율 × 아래 단계 시간»을 단계마다 되풀이한 것이다(Wulf · McKee 1995).
그림 5 · DRAM 까지 가는 접근은 0.6% 뿐이어도 평균의 26%를 차지하고, 작업 집합이 커져 L3 미스율이 두 배가 되면 그 몫이 42%로 늘어 평균이 2.04 ns 에서 2.58 ns 가 된다.
🔑 평균 접근 시간을 정하는 것은 가장 자주 가는 단계가 아니라 «가장 먼 단계 × 그곳까지 가는 비율»이다 — 미스 1% 남짓이 평균의 절반 가까이를 낸다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 경계 | 넘기는 곳 | 확인 자료 |
|---|---|---|---|---|
| 메모리 계층 | 캐시 · 일관성 · DRAM · SCM | 주소의 데이터가 어느 단계에 있나 | 주소 변환 → 가상 메모리 | sysfs 캐시 · EDAC |
| CPU | 명령어 집합 · 코어 · 레지스터 | 코어가 주소를 내기까지 | 주소의 데이터 → 메모리 계층 | /proc/cpuinfo |
| 병렬 처리 | 파이프라인 · SMP · NUMA · GPGPU | 여러 흐름을 함께 돌리는 원리 | 공유 줄의 값 → 캐시 일관성 | nproc |
| 가속기 · 인터커넥트 | AI 가속기 · CXL · PCIe | 칩 밖 장치와 통로 | CXL 에 붙은 메모리의 단계 = 메모리 계층 | lspci |
| 가상 메모리(운영체제) | 페이지 · TLB · 교체 | 가상 → 물리 주소 | 물리 주소의 위치 → 메모리 계층 | /proc/meminfo |
| 스토리지 | 블록 · 파일 · 객체 · RAID | 블록 단위 I/O | 바이트 접근 영속 → SCM | lsblk |
분석물리 주소가 정해진 뒤의 일은 메모리 계층, 그 앞(주소 변환)은 가상 메모리, 블록 I/O 는 스토리지에서 본다. 근거는 표의 「경계」 열 — SCM 은 블록 장치가 아니라 바이트 단위 영속 주소 범위(커널 LIBNVDIMM 문서 PMEM 정의)라 메모리 계층에 든다.
7실무 진단 — 메모리 문제를 하위 토픽으로 가르기
분석먼저 오류 · 영속처럼 «값이 틀리는가»를, 다음 «크기 · 공유에 따라 느려지는가»를 본다. 값이 틀린 상태에서 잰 시간은 뜻이 없기 때문이다(커널 RAS 문서 · mmap(2)).
| # | 증상 | 의심 원인 | 하위 토픽 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 장애 뒤 영속 파일의 마지막 쓰기가 없음 | 저장만 하고 줄 비우기 · MAP_ | SCM | mount 의 dax 옵션 · 매핑 플래그 | MAP_ |
| 2 | 가끔 값이 틀리거나 멈춤 | DIMM 비트 오류 | DRAM · DDR5 | cat / | 한 DIMM 의 정정 오류 수만 늘면 그 DIMM(커널 RAS 문서) |
| 3 | 각자 변수만 쓰는 스레드가 늘수록 느림 | 두 변수가 같은 줄 → 무효화 왕복 | 캐시 일관성 | cat …/ | 두 변수 주소 차가 이 값보다 작음(커널 sysfs 캐시 ABI) |
| 4 | 배열을 키우면 어느 크기에서 시간이 계단처럼 뜀 | 한 단계 용량을 넘김 | 메모리 계층 구조 · 캐시 메모리 | lscpu -C · index*/size | 뛰는 크기 ≈ 그 단계 size · shared_ |
1 · 2행은 값의 문제라 3 · 4행 측정 전에 끝낸다. 4행은 데이터 크기를 두 배씩 늘려 재야 단계 경계가 보인다.
8시험 대비
www.q-net.or.kr시험에서는 메모리 계층의 구성과 지역성 · 평균 접근 시간을 묻는 구조 · 구성형, 그리고 캐시 쓰기 정책이나 DRAM · SCM 을 견주는 비교형이 나올 수 있다. 어느 쪽이든 «단계 → 사본 → 영속» 순서를 먼저 세우고 묻는 토픽을 그 위치에 놓는다.
- 개요 — 정의 · 단계(레지스터 · 캐시 · DRAM · SCM · 스토리지) · 종속 기억 장치 제안(1965) · 메모리 벽
- 구성 — 그림 3 하위 토픽 지도 + 하위 토픽 표(단위 · 기준 값)
- 동작 — 그림 4 저장 하나의 경로(세트 61 · S → M · 쓰기 되돌림 · 64바이트 버스트 · 줄 비우기)
- 핵심 원리 — 그림 5 평균 접근 시간 식과 단계별 몫(2.04 → 2.58 ns)
- 비교 — 쓰기 즉시 · 쓰기 되돌림 / DRAM · SCM = 휘발성 · 접근 단위 · 영속 조건
- 동향 — DDR5 서브채널 · CXL 로 붙는 메모리 · SCM 단계
꼭 쓸 키워드
지역성평균 접근 시간캐시 줄세트 연관쓰기 되돌림MESIDDR5 서브채널버스트 길이영속 영역DAX
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «미스율 1%» 가 평균에 주는 몫을 수치로 보이는 것이다.
9오해와 사실
- 오해캐시에 쓴 값은 곧바로 주 메모리에도 있다.사실쓰기 되돌림 캐시는 줄이 교체될 때만 아래 메모리를 고친다(커널 sysfs 캐시 ABI write_policy WriteBack).
- 오해캐시 일관성이 있으니 스레드끼리 같은 줄을 써도 비용이 없다.사실값은 맞춰 주지만 쓸 때마다 다른 사본을 무효로 만드는 왕복이 생긴다(Papamarcos · Patel 1984).
- 오해SCM 에 저장 명령을 내면 바로 영속된다.사실값은 먼저 휘발성 캐시에 머물고, 알맞은 CPU 명령과 MAP_SYNC 매핑이 함께 있어야 장애 뒤에도 남는다(mmap(2)).
10핵심 정리
| 하위 토픽 | 여는 질문 | 단위 | 전원 차단 뒤 | 확인 자료 | 넘기는 것 |
|---|---|---|---|---|---|
| 메모리 계층 구조 | 몇 단계 · 얼마 크기로 | 작업 집합 | — | lscpu -C | 단계별 세부 = 아래 토픽 |
| 캐시 메모리 | 사본을 어디에 · 언제 내보내나 | 64바이트 줄 | 사라짐 | index*/write_policy | 주소 변환 = 가상 메모리 |
| 캐시 일관성 | 사본이 한 값인가 | 줄 상태 M · E · S · I | 사라짐 | coherency_line_size | 스레드 배치 = 병렬 처리 |
| DRAM · DDR5 | 원본을 얼마나 빨리 | 버스트 64바이트 | 사라짐 | dimm_ce_count | 셀 · 소자 = 반도체 |
| SCM(스토리지 클래스 메모리) | 바이트 접근으로 남기나 | 영속 영역 | 남음 | mount dax · MAP_ | 블록 저장 = 스토리지 |
11참고 문헌
- 먼저 볼 문헌
- ★ Linux kernel Documentation/ABI/testing/sysfs-devices-system-cpu — cpu*/cache/index*/ attributes — 캐시 단계 · 줄 크기 · 웨이 · 쓰기 정책(WriteBack)을 내 기계에서 읽는 법을 볼 때
- ★ Wulf and McKee 1995 Hitting the Memory Wall Implications of the Obvious (ACM SIGARCH Computer Architecture News 23(1) · UVA CS-94-48) — 평균 접근 시간 식과 «메모리 벽»이라는 말의 출발을 볼 때
- ★ JEDEC Publishes New DDR5 Standard (JESD79-5) press release — DDR5 의 독립 서브채널 둘 · 버스트 길이 16 을 볼 때
- ★ mmap(2) Linux manual page — MAP_SYNC — 영속 메모리 파일에 쓴 값이 장애 뒤에도 남는 조건을 볼 때
- 본문 근거
- Direct Access for files (DAX) — The Linux Kernel documentation — kernel.org · 2026-11 ·
docs.kernel.org/filesystems/dax.html· 확인 2026-11-14 - LIBNVDIMM Overview — The Linux Kernel documentation (Glossary PMEM · namespace) — kernel.org · 2026-11 ·
docs.kernel.org/driver-api/nvdimm/nvdimm.html· 확인 2026-11-14 - Reliability, Availability and Serviceability (RAS) — EDAC sysfs dimm_ce_count — kernel.org · 2026-11 ·
docs.kernel.org/admin-guide/RAS/main.html· 확인 2026-11-14 - lscpu(1) Linux manual page — util-linux · man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/lscpu.1.html· 확인 2026-11-14 - Wilkes 1965 Slave Memories and Dynamic Storage Allocation (IEEE Transactions on Electronic Computers EC-14(2)) — IEEE · 1965-04 ·
doi.org/10.1109/PGEC.1965.264263· 확인 2026-11-14 - Liptay 1968 Structural aspects of the System/360 Model 85 II The cache (IBM Systems Journal 7(1)) — IBM · 1968-03 ·
doi.org/10.1147/sj.71.0015· 확인 2026-11-14 - Papamarcos and Patel 1984 A Low-Overhead Coherence Solution for Multiprocessors with Private Cache Memories (ISCA 1984) — ACM · IEEE · 1984-06 ·
doi.org/10.1145/800015.808204· 확인 2026-11-14 - Freitas and Wilcke 2008 Storage-class memory The next storage system technology (IBM Journal of Research and Development 52(4.5)) — IBM · 2008-07 ·
doi.org/10.1147/rd.524.0439· 확인 2026-11-14