메모리 계층 구조Memory Hierarchy
레지스터 · 캐시 · 주 메모리 · 저장 장치를 빠르고 작은 것부터 크고 느린 것까지 차례로 쌓고, 자주 쓰는 데이터의 사본을 위 계층에 두어 평균 접근 시간을 가장 빠른 계층 가까이로 낮추는 컴퓨터 구성 방식이다.
1요약
- 메모리 계층 구조는 레지스터 → L1 · L2 · L3 캐시 → DRAM → SSD 로 갈수록 용량은 커지고 지연은 길어지는 계층을 쌓은 구성으로, 1946년 IAS 설계 보고서가 이미 「앞 계층보다 용량이 크고 덜 빠른 계층의 연쇄」를 예고했고(Burks · Goldstine · von Neumann 1946 4.1절) 그 위에서 캐시 · 가상 메모리 · 파일 캐시가 동작한다.
- 계층이 없으면 모든 적재 명령이 주 메모리 지연을 그대로 치른다 — 1996년 300 MHz 기계에서 명령 세 개는 10 ns, 적재 한 번은 400 ns 였다(McVoy · Staelin 1996 6.1절).
- 「데이터가 커지니 느려졌다」는 작업 집합이 어느 계층의 용량을 넘었는가로 가른다 — 느려지는 크기가 L2 · L3 용량과 맞으면 계층 문제이고, 크기와 무관하게 느리면 접근 순서(공간 지역성) 문제다.
2등장 배경
1940년대 저장 장치는 빠른 것이 비쌌다. IAS 설계 보고서는 40비트 수 4,000개를 담을 전자식 메모리를 계획하면서, 그보다 큰 용량은 더 느린 장치로 이어 붙이는 계층 연쇄를 받아들여야 한다고 적었다(Burks · Goldstine · von Neumann 1946 2.3 · 4.1절).
주 메모리와 연산 회로 사이에 둘째 계층을 넣자는 «slave memory» 제안이 Wilkes 의 두 쪽짜리 논문으로 나왔고(Wilkes 1965), 3년 뒤 상용 대형기 Model 85 에 캐시가 처음 실렸다(Liptay 1968 · Denning 2005 표 2). 이 구조가 통하는 근거는 프로그램이 최근 쓴 데이터와 그 이웃을 다시 쓴다는 지역성이었다(Denning 2005).
1995년 Wulf 와 McKee 는 CPU 속도가 DRAM 보다 빨리 오르면 평균 접근 시간이 결국 DRAM 지연에 묶인다는 «메모리 벽»을 경고했다(Wulf · McKee 1995). 지금 계층이 L3 공유 캐시 · HBM · CXL 메모리로 넓어지는 것도 같은 차이를 메우려는 흐름이다.
3쉽게 이해하기 — 가게 진열대와 뒤 창고
동네 가게 점원 민수는 손님이 물건을 찾으면 먼저 계산대 앞 서랍을 보고, 없으면 진열대로, 그래도 없으면 매장 뒤 창고로 간다. 창고에도 없으면 물류 센터에 주문해 하루를 기다린다. 창고에서 건전지 하나를 찾을 때 민수는 8개가 든 상자를 통째로 진열대에 올리고, 많이 팔린 물건은 진열대 앞줄에 남겨 둔다.
그림 1 · 점원은 가까운 곳부터 찾고, 먼 곳에서 찾은 물건은 상자째 가까운 진열대로 옮겨 다음 손님을 빨리 맞는다.
그림 2 · 상자째 옮기면 이웃 물건 일곱 개가 공짜로 따라오고(공간 지역성), 방금 판 물건을 앞줄에 두면 다음 요청이 가깝다(시간 지역성).
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 점원 민수 | CPU 코어 | 적재 · 저장 명령으로 데이터를 요청한다 |
| 계산대 서랍 | 레지스터 | 명령어가 이름으로 가리키는 수십 개의 저장 위치 · 지연 없이 쓴다 |
| 진열대 | L1 · L2 · L3 캐시 | 주 메모리 데이터의 사본을 줄 단위로 둔다 |
| 뒤 창고 | 주 메모리(DRAM) | 실행 중인 프로그램의 원본 데이터를 둔다 |
| 물류 센터 | SSD · 디스크 | 전원이 꺼져도 남는 파일 · 스왑을 둔다 |
| 상자째 올리기 | 줄 채우기 · 공간 지역성 | 요청한 바이트가 든 줄 전체를 위 계층에 복사한다 |
| 앞줄에 남기기 | 교체 · 시간 지역성 | 최근 쓴 줄을 남기고 오래 안 쓴 줄을 내보낸다 |
⚠ 비유가 맞지 않는 곳: 진열대 물건은 하나뿐이지만 캐시는 «사본»이라 주 메모리에도 같은 데이터가 남고, 값을 바꾸면 두 곳을 맞추는 일이 따로 필요하다. 또 실제 하드웨어는 민수처럼 한 곳씩 차례로 걷지 않고 여러 계층을 동시에 찾기 시작한다.
4구조 — 계층별 용량 · 지연 · 들여오는 주체
계층마다 용량 · 지연 · 비트당 값이 다르고, 아래 계층의 데이터를 위로 들여오는 주체도 다르다. 레지스터는 컴파일러가 적재 명령으로, 캐시는 하드웨어가 자동으로, 주 메모리는 운영체제가 페이지 단위로 채운다.
그림 3 · 위로 갈수록 작고 빠르며, 계층 경계마다 데이터를 들여오는 주체와 옮기는 단위가 바뀐다.
| 요소 | 용량(가정 값) | 지연(가정 값) | 옮기는 단위 · 근거 |
|---|---|---|---|
| 레지스터 | 수십 개 × 8 B | 1 사이클 안 | 명령어 피연산자 · 컴파일러가 배정 |
| L1 캐시 | 48 KiB | 5 사이클 | 줄 64 B · 명령어 · 데이터 분리(sysfs type) |
| L2 캐시 | 2 MiB | 15 사이클 | 줄 64 B · 코어마다 |
| L3 캐시 | 16 MiB | 50 사이클 | 줄 64 B · 여러 코어 공유(sysfs shared_ |
| 주 메모리 | 64 GiB | 250 사이클 | 페이지 4 KiB 단위로 운영체제가 채움 |
| SSD · 디스크 | 2 TB | 수십 µs | 블록 · 파일 단위 |
🔑 계층 구조가 줄이는 것은 «가장 느린 계층의 지연»이 아니라 «그 계층까지 내려가는 횟수»다.
5동작 — 8 MiB 배열 두 번 읽기
8바이트 정수 1,048,576개(8 MiB · 131,072줄)를 처음부터 끝까지 두 번 더하는 사례다. 크기 · 사이클은 그림 3 의 설명용 가정 값이고, 하드웨어 프리페치는 끈 상태로 셈한다.
- 첫 순회의 a[0] 적재가 L1 · L2 · L3 를 모두 미스하고 DRAM 까지 간다 — 250 사이클.
- a[0] 이 든 64바이트 줄(a[0] ~ a[7])이 L3 · L2 · L1 에 사본으로 채워진다.
- a[1] ~ a[7] 은 L1 적중(각 5 사이클)이다 — 줄마다 미스 1회 · 적중 7회라 L1 미스율 m1 = 1/8 = 0.125.
- 첫 순회가 끝나면 L1 에는 마지막 768줄(48 KiB), L2 에는 마지막 32,768줄(2 MiB)만 남고, L3 에는 131,072줄 전부가 남는다.
- 둘째 순회의 a[0] 은 L1 · L2 미스(오래된 줄부터 밀려남) · L3 적중 50 사이클이다.
- 평균 접근 시간 = t1 + m1 × (t2 + m2 × (t3 + m3 × t_mem))(Hennessy · Patterson 2017 부록 B) — 첫 순회 5 + 0.125 × (15 + 50 + 250) = 44.375 사이클, 둘째 순회 m3 = 0 이라 5 + 0.125 × 65 = 13.125 사이클.
- 배열을 64 MiB 로 키우면 L3 16 MiB 를 넘어 둘째 순회도 44.375 사이클이 되어 3.4배 느려진다.
그림 4 · 첫 순회는 DRAM 까지 내려가 줄을 채우고, 둘째 순회는 L3 에서 멈춰 같은 데이터를 다섯 배 짧은 길로 읽는다.
그림 5 · 평균 접근 시간은 작업 집합이 계층 용량을 넘는 지점마다 계단처럼 뛰고, 마지막 계단(L3 → DRAM)이 가장 높다.
🔑 작업 집합이 용량 경계를 넘기 전까지는 계층을 키워도 빨라지지 않고, 넘는 순간 한 계층 아래 지연이 미스율만큼 평균에 더해진다.
6비교 — 포함 정책(inclusive · exclusive · NINE)
여러 단계 캐시에서 아래 단계가 위 단계 내용을 함께 갖는가에 따라 세 방식이 갈린다. 실효 용량은 그림 3 가정 값(L2 2 MiB · L3 16 MiB)으로 셈한다.
| 기준 | 포함(inclusive) | 배타(exclusive) | 비포함 · 비배타(NINE) |
|---|---|---|---|
| L2 줄이 L3 에도 있는가 | 늘 있음 | 늘 없음 | 있을 수도 없을 수도 |
| 서로 다른 줄의 실효 용량 | 16 MiB(L3 만큼) | 18 MiB(L2 + L3) | 16 ~ 18 MiB |
| L3 에서 내보낼 때 | 위 단계 사본도 무효화 | 위 단계와 무관 | 위 단계와 무관 |
| DRAM 에서 채울 때 | L3 · L2 · L1 모두 | L1 · L2 만, L3 는 밀려난 줄을 받음 | 구현마다 다름 |
| 다른 코어 사본 찾기 | L3 만 보면 됨 | 각 코어 캐시를 봐야 함 | 따로 목록이 필요 |
분석L3 가 L2 보다 몇 배 크면 포함 방식의 용량 손해가 작아 사본 찾기가 쉬운 포함 방식이 유리하고, L2 가 커져 L3 와 비슷해지면 배타 · NINE 방식으로 중복 용량을 되찾는다. 근거는 표의 「실효 용량」 행과, 포함 방식의 역무효화가 위 단계의 자주 쓰는 줄까지 쫓아낸다는 측정(Jaleel 외 2010).
7실무 진단 — 느려진 계층 가르기
분석먼저 기계의 계층별 용량을 확인하고, 느려지는 데이터 크기가 그 용량과 맞는지 본다. 맞으면 작업 집합을 줄이거나 나누고, 맞지 않으면 접근 순서 · 다른 코어와의 공유를 본다.
| # | 증상 | 의심 원인 | 계층 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 데이터 크기를 키우면 어느 지점에서 계단식으로 느려짐 | 작업 집합 > 캐시 용량 | L2 · L3 | lat_mem_rd 256 64 · cat …/ | 지연의 평평한 구간이 끝나는 크기 = 해당 캐시 크기(lat_ |
| 2 | 같은 양인데 행 · 열 순회 방향만 바꾸면 수 배 느림 | 줄의 이웃 바이트를 쓰지 않음 | L1 | perf stat -e L1-dcache-loads, | 8바이트 순차면 미스 비율 ≈ 1/8, 1 에 가까우면 줄마다 미스(perf-list(1) hwcache) |
| 3 | 혼자는 빠른데 다른 프로그램과 함께 돌면 느려짐 | 공유 L3 자리다툼 | L3 | cat …/ · perf list cache | 같은 L3 를 쓰는 CPU 목록에 두 프로그램이 함께 있음(sysfs shared_ |
| 4 | 줄 크기를 가정한 코드의 성능이 기계마다 다름 | 줄 크기 차이 | L1 ~ L3 | cat …/ · lscpu -C | 값이 코드의 가정(64 B 등)과 다름(sysfs coherency_ |
데이터가 주 메모리도 넘어 디스크까지 내려가는 경우는 페이지 폴트와 스왑 지표로 따로 본다. 프리페처가 켜진 실제 기계에서는 순차 읽기의 계단이 낮아지므로, 계단 위치는 걸음(stride)을 줄 크기 이상으로 둔 측정으로 확인한다(McVoy · Staelin 1996 6.2절).
8시험 대비
www.q-net.or.kr시험에서는 계층 그림에 용량 · 속도 · 비용을 함께 적는 구조 · 구성형, 지역성과 평균 접근 시간을 묻는 정의 · 특징형, 메모리 벽과 HBM · CXL · SCM 으로 계층이 넓어지는 동향 · 발전형이 나올 수 있다.
- 개요 — 정의 · 목적(평균 접근 시간을 빠른 계층 가까이) · 1946 IAS 보고서 · 1968 첫 상용 캐시
- 계층 구성 — 그림 3 여섯 계층 + 표(용량 · 지연 · 옮기는 단위 · 들여오는 주체)
- 동작 원리 — 시간 · 공간 지역성 · 그림 4 순차 읽기 사례(미스 1회 · 적중 7회)
- 성능 식 — 평균 접근 시간 다단 식 · 그림 5 계단 그래프(5 → 13.125 → 44.375 사이클)
- 설계 선택 — 포함 · 배타 · NINE 비교표(실효 용량 16 ↔ 18 MiB)
- 동향 — 메모리 벽 · L3 공유 · HBM · CXL 메모리 · SCM
꼭 쓸 키워드
지역성시간 지역성공간 지역성캐시 줄적중률미스 대가평균 메모리 접근 시간포함 정책작업 집합메모리 벽
차이를 내는 한 가지는 그림 5 처럼 작업 집합 크기에 따라 평균 접근 시간이 계단으로 바뀌는 그래프를 직접 계산한 값과 함께 그리는 것이다.
9오해와 사실
- 오해캐시를 두 배로 키우면 프로그램이 두 배 빨라진다.사실작업 집합이 이미 들어가 있으면 미스율이 그대로라 변화가 없고, 넘는 경계를 지날 때만 계단만큼 빨라진다 — 사례에서 L2 를 2 MiB 에서 4 MiB 로 키워도 8 MiB 배열은 여전히 L2 밖이라 13.125 사이클 그대로다(그림 5).
- 오해위 계층에 있으면 아래 계층에는 없다.사실포함 방식에서는 L1 · L2 의 줄이 L3 에도 늘 있고, 주 메모리에도 원본이 남는다 — 사본이 여러 곳에 있는 것이 계층 구조의 전제다.
- 오해계층 구조는 하드웨어만의 일이다.사실레지스터 배정은 컴파일러, 페이지 단위 채우기는 운영체제가 맡고, 행 · 열 순회 순서 같은 코드 선택이 공간 지역성을 정한다(Denning 2005).
10핵심 정리
| 구분 | 맡는 일 | 단위 | 들여오는 주체 | 확인 방법 |
|---|---|---|---|---|
| 레지스터 | 명령어 피연산자 | 워드 8 B | 컴파일러 | 어셈블리 출력 |
| L1 캐시 | 코어 바로 옆 사본 | 줄 64 B | 하드웨어 | sysfs index0 · index1 |
| L2 캐시 | 코어마다 큰 사본 | 줄 64 B | 하드웨어 | sysfs index2 |
| L3 캐시 | 코어 공유 사본 | 줄 64 B | 하드웨어 | sysfs index3 · shared_ |
| 주 메모리 | 실행 중 원본 | 페이지 4 KiB | 운영체제 | free · lscpu |
| SSD · 디스크 | 영구 보관 | 블록 · 파일 | 파일 시스템 | lsblk |
| 평균 접근 시간 | 계층 전체 성능 | 사이클 | 식으로 셈 | lat_mem_rd |
11참고 문헌
- 먼저 볼 문헌
- ★ Hennessy and Patterson 2017 Computer Architecture A Quantitative Approach Sixth Edition (Chapter 2 · Appendix B Review of Memory Hierarchy) — 평균 메모리 접근 시간 식과 계층별 설계 선택을 정량으로 공부할 때
- ★ McVoy and Staelin 1996 lmbench Portable Tools for Performance Analysis (USENIX 1996 Annual Technical Conference) — 배열 크기를 늘리며 계층마다 지연의 평평한 구간을 재는 방법을 볼 때
- ★ Denning 2005 The Locality Principle (Communications of the ACM 48(7) 19-24) — 시간 · 공간 지역성이 캐시 · 가상 메모리 설계로 이어진 역사를 볼 때
- ★ lat_mem_rd(8) lmbench manual page — 계층별 지연과 용량을 한 그래프로 직접 잴 때
- 본문 근거
- Burks, Goldstine and von Neumann 1946 Preliminary Discussion of the Logical Design of an Electronic Computing Instrument (공개 전사본 · UNC 강의 페이지) — Institute for Advanced Study · U.S. Army Ordnance Department 보고서 · 1946-06 ·
www.cs.unc.edu/~adyilie/comp265/vonNeumann.html· 확인 2026-11-14 - Wilkes 1965 Slave Memories and Dynamic Storage Allocation (IEEE Transactions on Electronic Computers EC-14(2) 270-271) — IEEE · 1965-04 ·
doi.org/10.1109/PGEC.1965.264263· 확인 2026-11-14 - Liptay 1968 Structural Aspects of the System/360 Model 85 Part II The Cache (IBM Systems Journal 7(1) 15-21) — IBM · 1968-03 ·
doi.org/10.1147/sj.71.0015· 확인 2026-11-14 - Wulf and McKee 1995 Hitting the Memory Wall Implications of the Obvious (ACM SIGARCH Computer Architecture News 23(1) 20-24) — ACM · 1995-03 ·
doi.org/10.1145/216585.216588· 확인 2026-11-14 - Jaleel 외 2010 Achieving Non-Inclusive Cache Performance with Inclusive Caches (MICRO-43) — IEEE · ACM · 2010-12 ·
doi.org/10.1109/MICRO.2010.52· 확인 2026-11-14 - sysfs-devices-system-cpu (cpu*/cache/index*/ 속성) — The Linux Kernel documentation · ABI testing · 2026-11 ·
www.kernel.org/doc/Documentation/ABI/testing/sysfs-devices-system-cpu· 확인 2026-11-14 - perf-list(1) Linux manual page — Linux perf project · man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/perf-list.1.html· 확인 2026-11-14 - lscpu(1) Linux manual page (util-linux) — util-linux · man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/lscpu.1.html· 확인 2026-11-14