IT › 컴퓨터 시스템 › 컴퓨터 구조 › 메모리 계층

메모리 계층 구조Memory Hierarchy

레지스터 · 캐시 · 주 메모리 · 저장 장치를 빠르고 작은 것부터 크고 느린 것까지 차례로 쌓고, 자주 쓰는 데이터의 사본을 위 계층에 두어 평균 접근 시간을 가장 빠른 계층 가까이로 낮추는 컴퓨터 구성 방식이다.

1요약

  1. 메모리 계층 구조는 레지스터 → L1 · L2 · L3 캐시 → DRAM → SSD 로 갈수록 용량은 커지고 지연은 길어지는 계층을 쌓은 구성으로, 1946년 IAS 설계 보고서가 이미 「앞 계층보다 용량이 크고 덜 빠른 계층의 연쇄」를 예고했고(Burks · Goldstine · von Neumann 1946 4.1절) 그 위에서 캐시 · 가상 메모리 · 파일 캐시가 동작한다.
  2. 계층이 없으면 모든 적재 명령이 주 메모리 지연을 그대로 치른다 — 1996년 300 MHz 기계에서 명령 세 개는 10 ns, 적재 한 번은 400 ns 였다(McVoy · Staelin 1996 6.1절).
  3. 「데이터가 커지니 느려졌다」는 작업 집합이 어느 계층의 용량을 넘었는가로 가른다 — 느려지는 크기가 L2 · L3 용량과 맞으면 계층 문제이고, 크기와 무관하게 느리면 접근 순서(공간 지역성) 문제다.

2등장 배경

1940년대 저장 장치는 빠른 것이 비쌌다. IAS 설계 보고서는 40비트 수 4,000개를 담을 전자식 메모리를 계획하면서, 그보다 큰 용량은 더 느린 장치로 이어 붙이는 계층 연쇄를 받아들여야 한다고 적었다(Burks · Goldstine · von Neumann 1946 2.3 · 4.1절).

주 메모리와 연산 회로 사이에 둘째 계층을 넣자는 «slave memory» 제안이 Wilkes 의 두 쪽짜리 논문으로 나왔고(Wilkes 1965), 3년 뒤 상용 대형기 Model 85 에 캐시가 처음 실렸다(Liptay 1968 · Denning 2005 표 2). 이 구조가 통하는 근거는 프로그램이 최근 쓴 데이터와 그 이웃을 다시 쓴다는 지역성이었다(Denning 2005).

1995년 Wulf 와 McKee 는 CPU 속도가 DRAM 보다 빨리 오르면 평균 접근 시간이 결국 DRAM 지연에 묶인다는 «메모리 벽»을 경고했다(Wulf · McKee 1995). 지금 계층이 L3 공유 캐시 · HBM · CXL 메모리로 넓어지는 것도 같은 차이를 메우려는 흐름이다.

3쉽게 이해하기 — 가게 진열대와 뒤 창고

동네 가게 점원 민수는 손님이 물건을 찾으면 먼저 계산대 앞 서랍을 보고, 없으면 진열대로, 그래도 없으면 매장 뒤 창고로 간다. 창고에도 없으면 물류 센터에 주문해 하루를 기다린다. 창고에서 건전지 하나를 찾을 때 민수는 8개가 든 상자를 통째로 진열대에 올리고, 많이 팔린 물건은 진열대 앞줄에 남겨 둔다.

가까울수록 작고 빠름 멀수록 크고 느림 점원 민수 CPU 코어 물건을 찾는 사람 계산대 서랍 레지스터 몇 칸 · 손 닿음 진열대 캐시 수천 종 · 몇 걸음 뒤 창고 주 메모리 거의 다 · 뒷문까지 물류 센터 SSD · 디스크 전부 · 하루 1 2 3 4 5 상자째 진열대로 1 서랍부터 본다 → 레지스터 2 없으면 진열대 → 캐시 적중 · 미스 3 그래도 없으면 뒤 창고 → 주 메모리 접근 4 창고에도 없으면 주문 → 저장 장치 5 찾은 것은 가까이 둔다 → 사본 채우기

그림 1 · 점원은 가까운 곳부터 찾고, 먼 곳에서 찾은 물건은 상자째 가까운 진열대로 옮겨 다음 손님을 빨리 맞는다.

손님 요청건전지 하나를 찾음
서랍 보기손 앞에 있으면 바로 줌
진열대 보기몇 걸음이면 찾음
창고 다녀오기뒷문까지 오래 걸음
상자째 올리기8개 든 상자를 진열대에
다음 손님이번에는 진열대에서 바로
비유 — 진열대 실제 — L1 캐시 건전지 하나 찾기 → 8개 상자째 찾음 나머지 7개는 다음 손님 몫 · 따라옴 a[0] 8바이트 읽기 → 64바이트 줄 a[0] a[1] a[7] 미스 1회 뒤 a[1] ~ a[7] 적중 7회 방금 판 물건은 앞줄에 다시 찾을 때 몇 걸음이면 된다 오래 안 팔린 물건부터 창고로 최근 쓴 줄은 L1 에 남김 같은 줄을 다시 읽으면 L1 적중 자리가 차면 오래 안 쓴 줄부터 내보냄 요청한 데이터 함께 들어온 사본 a[i] = 8바이트 정수 배열의 i 번째 원소

그림 2 · 상자째 옮기면 이웃 물건 일곱 개가 공짜로 따라오고(공간 지역성), 방금 판 물건을 앞줄에 두면 다음 요청이 가깝다(시간 지역성).

비유 속 역할실제 이름실제로 하는 일
점원 민수CPU 코어적재 · 저장 명령으로 데이터를 요청한다
계산대 서랍레지스터명령어가 이름으로 가리키는 수십 개의 저장 위치 · 지연 없이 쓴다
진열대L1 · L2 · L3 캐시주 메모리 데이터의 사본을 줄 단위로 둔다
뒤 창고주 메모리(DRAM)실행 중인 프로그램의 원본 데이터를 둔다
물류 센터SSD · 디스크전원이 꺼져도 남는 파일 · 스왑을 둔다
상자째 올리기줄 채우기 · 공간 지역성요청한 바이트가 든 줄 전체를 위 계층에 복사한다
앞줄에 남기기교체 · 시간 지역성최근 쓴 줄을 남기고 오래 안 쓴 줄을 내보낸다

⚠ 비유가 맞지 않는 곳: 진열대 물건은 하나뿐이지만 캐시는 «사본»이라 주 메모리에도 같은 데이터가 남고, 값을 바꾸면 두 곳을 맞추는 일이 따로 필요하다. 또 실제 하드웨어는 민수처럼 한 곳씩 차례로 걷지 않고 여러 계층을 동시에 찾기 시작한다.

4구조 — 계층별 용량 · 지연 · 들여오는 주체

계층마다 용량 · 지연 · 비트당 값이 다르고, 아래 계층의 데이터를 위로 들여오는 주체도 다르다. 레지스터는 컴파일러가 적재 명령으로, 캐시는 하드웨어가 자동으로, 주 메모리는 운영체제가 페이지 단위로 채운다.

들여오는 주체 계층 용량 · 지연(가정 값) 레지스터 L1 캐시 · 코어마다 L2 캐시 · 코어마다 L3 캐시 · 코어 공유 주 메모리(DRAM) SSD · 디스크 컴파일러 하드웨어 줄 64 B 단위 운영체제 페이지 4 KiB 파일 시스템 수십 개 × 8 B 1 사이클 안 48 KiB 5 사이클 2 MiB 15 사이클 16 MiB 50 사이클 64 GiB 250 사이클 2 TB 수십 µs 이름 지정(레지스터) 사본(캐시) 원본 데이터 영구 보관 괄호선 = 하드웨어가 채우는 범위

그림 3 · 위로 갈수록 작고 빠르며, 계층 경계마다 데이터를 들여오는 주체와 옮기는 단위가 바뀐다.

요소용량(가정 값)지연(가정 값)옮기는 단위 · 근거
레지스터수십 개 × 8 B1 사이클 안명령어 피연산자 · 컴파일러가 배정
L1 캐시48 KiB5 사이클줄 64 B · 명령어 · 데이터 분리(sysfs type)
L2 캐시2 MiB15 사이클줄 64 B · 코어마다
L3 캐시16 MiB50 사이클줄 64 B · 여러 코어 공유(sysfs shared_cpu_list)
주 메모리64 GiB250 사이클페이지 4 KiB 단위로 운영체제가 채움
SSD · 디스크2 TB수십 µs블록 · 파일 단위

🔑 계층 구조가 줄이는 것은 «가장 느린 계층의 지연»이 아니라 «그 계층까지 내려가는 횟수»다.

5동작 — 8 MiB 배열 두 번 읽기

8바이트 정수 1,048,576개(8 MiB · 131,072줄)를 처음부터 끝까지 두 번 더하는 사례다. 크기 · 사이클은 그림 3 의 설명용 가정 값이고, 하드웨어 프리페치는 끈 상태로 셈한다.

  1. 첫 순회의 a[0] 적재가 L1 · L2 · L3 를 모두 미스하고 DRAM 까지 간다 — 250 사이클.
  2. a[0] 이 든 64바이트 줄(a[0] ~ a[7])이 L3 · L2 · L1 에 사본으로 채워진다.
  3. a[1] ~ a[7] 은 L1 적중(각 5 사이클)이다 — 줄마다 미스 1회 · 적중 7회라 L1 미스율 m1 = 1/8 = 0.125.
  4. 첫 순회가 끝나면 L1 에는 마지막 768줄(48 KiB), L2 에는 마지막 32,768줄(2 MiB)만 남고, L3 에는 131,072줄 전부가 남는다.
  5. 둘째 순회의 a[0] 은 L1 · L2 미스(오래된 줄부터 밀려남) · L3 적중 50 사이클이다.
  6. 평균 접근 시간 = t1 + m1 × (t2 + m2 × (t3 + m3 × t_mem))(Hennessy · Patterson 2017 부록 B) — 첫 순회 5 + 0.125 × (15 + 50 + 250) = 44.375 사이클, 둘째 순회 m3 = 0 이라 5 + 0.125 × 65 = 13.125 사이클.
  7. 배열을 64 MiB 로 키우면 L3 16 MiB 를 넘어 둘째 순회도 44.375 사이클이 되어 3.4배 느려진다.
코어 L1 L2 L3 DRAM 1 a[0] 첫 순회 미스 미스 미스 250 2 64 B 줄 a[0] ~ a[7] 을 세 캐시에 사본으로 3 a[1] ~ a[7] 적중 7회 · 각 5 사이클 4 마지막 768줄 마지막 32,768줄 131,072줄 전부 첫 순회 끝 5 a[0] 둘째 순회 미스 미스 적중 50 6 같은 줄을 L2 · L1 에 다시 채움 범례 · 숫자 = 사이클(설명용 가정 값) · 줄 = 64바이트 캐시 줄 · 굵은 강조 선 = 요청 · 회색 선 = 채우기

그림 4 · 첫 순회는 DRAM 까지 내려가 줄을 채우고, 둘째 순회는 L3 에서 멈춰 같은 데이터를 다섯 배 짧은 길로 읽는다.

0 20 40 평균 접근 시간(사이클) 48 KiB 2 MiB 16 MiB 16 KiB 128 MiB 작업 집합 크기(로그 눈금) L1 안 L2 안 L3 안 DRAM 까지 5 6.875 13.125 44.375 8 → 64 MiB 에서 3.4배 사례 점(32 KiB · 1 MiB · 8 MiB · 64 MiB) 점선 세로 = 캐시 용량(가정 값) · 순차 읽기 · m1 = 0.125

그림 5 · 평균 접근 시간은 작업 집합이 계층 용량을 넘는 지점마다 계단처럼 뛰고, 마지막 계단(L3 → DRAM)이 가장 높다.

🔑 작업 집합이 용량 경계를 넘기 전까지는 계층을 키워도 빨라지지 않고, 넘는 순간 한 계층 아래 지연이 미스율만큼 평균에 더해진다.

6비교 — 포함 정책(inclusive · exclusive · NINE)

여러 단계 캐시에서 아래 단계가 위 단계 내용을 함께 갖는가에 따라 세 방식이 갈린다. 실효 용량은 그림 3 가정 값(L2 2 MiB · L3 16 MiB)으로 셈한다.

기준포함(inclusive)배타(exclusive)비포함 · 비배타(NINE)
L2 줄이 L3 에도 있는가늘 있음늘 없음있을 수도 없을 수도
서로 다른 줄의 실효 용량16 MiB(L3 만큼)18 MiB(L2 + L3)16 ~ 18 MiB
L3 에서 내보낼 때위 단계 사본도 무효화위 단계와 무관위 단계와 무관
DRAM 에서 채울 때L3 · L2 · L1 모두L1 · L2 만, L3 는 밀려난 줄을 받음구현마다 다름
다른 코어 사본 찾기L3 만 보면 됨각 코어 캐시를 봐야 함따로 목록이 필요

분석L3 가 L2 보다 몇 배 크면 포함 방식의 용량 손해가 작아 사본 찾기가 쉬운 포함 방식이 유리하고, L2 가 커져 L3 와 비슷해지면 배타 · NINE 방식으로 중복 용량을 되찾는다. 근거는 표의 「실효 용량」 행과, 포함 방식의 역무효화가 위 단계의 자주 쓰는 줄까지 쫓아낸다는 측정(Jaleel 외 2010).

7실무 진단 — 느려진 계층 가르기

분석먼저 기계의 계층별 용량을 확인하고, 느려지는 데이터 크기가 그 용량과 맞는지 본다. 맞으면 작업 집합을 줄이거나 나누고, 맞지 않으면 접근 순서 · 다른 코어와의 공유를 본다.

#증상의심 원인계층확인 명령판정 기준(근거)
1데이터 크기를 키우면 어느 지점에서 계단식으로 느려짐작업 집합 > 캐시 용량L2 · L3lat_mem_rd 256 64 · cat …/cpu0/cache/index3/size지연의 평평한 구간이 끝나는 크기 = 해당 캐시 크기(lat_mem_rd(8) · sysfs size)
2같은 양인데 행 · 열 순회 방향만 바꾸면 수 배 느림줄의 이웃 바이트를 쓰지 않음L1perf stat -e L1-dcache-loads,L1-dcache-load-misses ./app8바이트 순차면 미스 비율 ≈ 1/8, 1 에 가까우면 줄마다 미스(perf-list(1) hwcache)
3혼자는 빠른데 다른 프로그램과 함께 돌면 느려짐공유 L3 자리다툼L3cat …/cpu0/cache/index3/shared_cpu_list · perf list cache같은 L3 를 쓰는 CPU 목록에 두 프로그램이 함께 있음(sysfs shared_cpu_list)
4줄 크기를 가정한 코드의 성능이 기계마다 다름줄 크기 차이L1 ~ L3cat …/cpu0/cache/index0/coherency_line_size · lscpu -C값이 코드의 가정(64 B 등)과 다름(sysfs coherency_line_size)

데이터가 주 메모리도 넘어 디스크까지 내려가는 경우는 페이지 폴트와 스왑 지표로 따로 본다. 프리페처가 켜진 실제 기계에서는 순차 읽기의 계단이 낮아지므로, 계단 위치는 걸음(stride)을 줄 크기 이상으로 둔 측정으로 확인한다(McVoy · Staelin 1996 6.2절).

8시험 대비

출제 정보 컴퓨터시스템응용(140회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 계층 그림에 용량 · 속도 · 비용을 함께 적는 구조 · 구성형, 지역성과 평균 접근 시간을 묻는 정의 · 특징형, 메모리 벽과 HBM · CXL · SCM 으로 계층이 넓어지는 동향 · 발전형이 나올 수 있다.

답안 목차
  1. 개요 — 정의 · 목적(평균 접근 시간을 빠른 계층 가까이) · 1946 IAS 보고서 · 1968 첫 상용 캐시
  2. 계층 구성 — 그림 3 여섯 계층 + 표(용량 · 지연 · 옮기는 단위 · 들여오는 주체)
  3. 동작 원리 — 시간 · 공간 지역성 · 그림 4 순차 읽기 사례(미스 1회 · 적중 7회)
  4. 성능 식 — 평균 접근 시간 다단 식 · 그림 5 계단 그래프(5 → 13.125 → 44.375 사이클)
  5. 설계 선택 — 포함 · 배타 · NINE 비교표(실효 용량 16 ↔ 18 MiB)
  6. 동향 — 메모리 벽 · L3 공유 · HBM · CXL 메모리 · SCM

꼭 쓸 키워드
지역성시간 지역성공간 지역성캐시 줄적중률미스 대가평균 메모리 접근 시간포함 정책작업 집합메모리 벽

차이를 내는 한 가지는 그림 5 처럼 작업 집합 크기에 따라 평균 접근 시간이 계단으로 바뀌는 그래프를 직접 계산한 값과 함께 그리는 것이다.

9오해와 사실

  • 오해캐시를 두 배로 키우면 프로그램이 두 배 빨라진다.
    사실작업 집합이 이미 들어가 있으면 미스율이 그대로라 변화가 없고, 넘는 경계를 지날 때만 계단만큼 빨라진다 — 사례에서 L2 를 2 MiB 에서 4 MiB 로 키워도 8 MiB 배열은 여전히 L2 밖이라 13.125 사이클 그대로다(그림 5).
  • 오해위 계층에 있으면 아래 계층에는 없다.
    사실포함 방식에서는 L1 · L2 의 줄이 L3 에도 늘 있고, 주 메모리에도 원본이 남는다 — 사본이 여러 곳에 있는 것이 계층 구조의 전제다.
  • 오해계층 구조는 하드웨어만의 일이다.
    사실레지스터 배정은 컴파일러, 페이지 단위 채우기는 운영체제가 맡고, 행 · 열 순회 순서 같은 코드 선택이 공간 지역성을 정한다(Denning 2005).

10핵심 정리

구분맡는 일단위들여오는 주체확인 방법
레지스터명령어 피연산자워드 8 B컴파일러어셈블리 출력
L1 캐시코어 바로 옆 사본줄 64 B하드웨어sysfs index0 · index1
L2 캐시코어마다 큰 사본줄 64 B하드웨어sysfs index2
L3 캐시코어 공유 사본줄 64 B하드웨어sysfs index3 · shared_cpu_list
주 메모리실행 중 원본페이지 4 KiB운영체제free · lscpu
SSD · 디스크영구 보관블록 · 파일파일 시스템lsblk
평균 접근 시간계층 전체 성능사이클식으로 셈lat_mem_rd

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Hennessy and Patterson 2017 Computer Architecture A Quantitative Approach Sixth Edition (Chapter 2 · Appendix B Review of Memory Hierarchy) — 평균 메모리 접근 시간 식과 계층별 설계 선택을 정량으로 공부할 때
    Morgan Kaufmann · 2017-11 · www.sciencedirect.com/book/9780128119051/computer-architecture · 확인 2026-11-14
  3. ★ McVoy and Staelin 1996 lmbench Portable Tools for Performance Analysis (USENIX 1996 Annual Technical Conference) — 배열 크기를 늘리며 계층마다 지연의 평평한 구간을 재는 방법을 볼 때
    USENIX Association · 1996-01 · www.usenix.org/legacy/publications/library/proceedings/sd96/full_papers/mcvoy.pdf · 확인 2026-11-14
  4. ★ Denning 2005 The Locality Principle (Communications of the ACM 48(7) 19-24) — 시간 · 공간 지역성이 캐시 · 가상 메모리 설계로 이어진 역사를 볼 때
    ACM · 2005-07 · denninginstitute.com/pjd/PUBS/CACMcols/cacmJul05.pdf · 확인 2026-11-14
  5. ★ lat_mem_rd(8) lmbench manual page — 계층별 지연과 용량을 한 그래프로 직접 잴 때
    lmbench · SourceForge · 2026-11 · lmbench.sourceforge.net/man/lat_mem_rd.8.html · 확인 2026-11-14
  6. 본문 근거
  7. Burks, Goldstine and von Neumann 1946 Preliminary Discussion of the Logical Design of an Electronic Computing Instrument (공개 전사본 · UNC 강의 페이지) — Institute for Advanced Study · U.S. Army Ordnance Department 보고서 · 1946-06 · www.cs.unc.edu/~adyilie/comp265/vonNeumann.html · 확인 2026-11-14
  8. Wilkes 1965 Slave Memories and Dynamic Storage Allocation (IEEE Transactions on Electronic Computers EC-14(2) 270-271) — IEEE · 1965-04 · doi.org/10.1109/PGEC.1965.264263 · 확인 2026-11-14
  9. Liptay 1968 Structural Aspects of the System/360 Model 85 Part II The Cache (IBM Systems Journal 7(1) 15-21) — IBM · 1968-03 · doi.org/10.1147/sj.71.0015 · 확인 2026-11-14
  10. Wulf and McKee 1995 Hitting the Memory Wall Implications of the Obvious (ACM SIGARCH Computer Architecture News 23(1) 20-24) — ACM · 1995-03 · doi.org/10.1145/216585.216588 · 확인 2026-11-14
  11. Jaleel 외 2010 Achieving Non-Inclusive Cache Performance with Inclusive Caches (MICRO-43) — IEEE · ACM · 2010-12 · doi.org/10.1109/MICRO.2010.52 · 확인 2026-11-14
  12. sysfs-devices-system-cpu (cpu*/cache/index*/ 속성) — The Linux Kernel documentation · ABI testing · 2026-11 · www.kernel.org/doc/Documentation/ABI/testing/sysfs-devices-system-cpu · 확인 2026-11-14
  13. perf-list(1) Linux manual page — Linux perf project · man7.org · 2026-11 · man7.org/linux/man-pages/man1/perf-list.1.html · 확인 2026-11-14
  14. lscpu(1) Linux manual page (util-linux) — util-linux · man7.org · 2026-11 · man7.org/linux/man-pages/man1/lscpu.1.html · 확인 2026-11-14