IT › 컴퓨터 시스템 › 컴퓨터 구조

메모리 계층Memory Hierarchy

레지스터 · 캐시 · DRAM · SCM 으로 이어지는 기억 장치 단계를, 데이터를 어느 단계에 두는가 · 사본을 어떻게 맞추는가 · 전원이 꺼지면 무엇이 남는가로 묶어 보는 것이다. 단계를 나누는 원리(지역성 · 평균 접근 시간)의 세부는 메모리 계층 구조 토픽이 맡는다.

1요약

  1. 메모리 계층은 컴퓨터 구조에서 레지스터와 저장 장치 사이의 기억 장치 단계를 맡는 길목으로, 1965년 «작고 빠른 사본 기억 장치» 제안(Wilkes 1965)에서 시작해 지금은 코어마다의 캐시 · 공용 캐시 · DDR5 주 메모리 · SCM 이 64바이트 줄을 단위로 데이터를 주고받는 구성을 다룬다.
  2. 단계가 하나뿐이면 모든 접근이 가장 느린 장치의 시간을 낸다 — 사례 값으로 접근의 0.6%만 DRAM 까지 가도 평균 접근 시간의 26%가 그 몫이 되며, 이 식을 처음 «메모리 벽»으로 경고한 것이 Wulf · McKee 1995 다.
  3. 「메모리 쪽이 느리다」는 크기 · 공유 · 전원으로 가른다 — 데이터가 커질 때 계단처럼 느려지면 계층 구조와 캐시, 스레드를 늘릴 때 느려지면 캐시 일관성, 대역폭 · 오류면 DRAM, 장애 뒤 값이 사라지면 SCM 쪽이다.

2등장 배경

1960년대 주 메모리는 연산 회로보다 몇 배 느렸고, 명령어마다 그 시간을 기다렸다. Wilkes 는 1965년 최근 쓴 내용을 작고 빠른 «종속 기억 장치»에 두자고 했고(Wilkes 1965), 1968년 IBM System/360 Model 85 가 이를 «캐시»라는 이름으로 상용 기계에 넣었다(Liptay 1968).

코어마다 캐시를 두자 같은 주소의 사본이 여럿 생겼다. 1984년 각 줄에 수정 · 배타 · 공유 · 무효 네 상태를 매기는 방식이 나와 지금 MESI 계열의 바탕이 됐다(Papamarcos · Patel 1984). 1994년에는 프로세서와 DRAM 의 속도 차가 해마다 벌어져 평균 접근 시간이 성능을 묶는다는 «메모리 벽» 경고가 나왔다(Wulf · McKee 1995).

2008년에는 DRAM 처럼 바이트로 읽고 쓰되 전원이 꺼져도 남는 SCM 이 새 단계로 제안됐다(Freitas · Wilcke 2008). 2020년 DDR5 표준(JESD79-5)이 나오며 주 메모리 단계도 다시 짜였고, 메모리 계층은 그래서 «사본의 속도» 문제에서 «영속» 문제까지 한 줄로 이어진다.

3쉽게 이해하기 — 공구를 나눠 두는 자동차 정비소

정비소 「바퀴살」의 정비사 둘은 자주 쓰는 공구를 허리 벨트에, 그다음 것을 작업 카트에 두고, 둘이 함께 쓰는 공구 벽과 뒷마당 창고를 오간다. 한 정비사가 정비 지시서 사본을 고치면 다른 정비사가 든 같은 사본에는 「폐기」 도장을 찍는다. 불이 나도 남아야 하는 고친 지시서는 내화 금고에 넣고 「보관 확인」을 받아야 끝난다.

정비소 「바퀴살」 — 공구를 거리별로 나눠 둔다 정비사 A 벨트 · 작업 카트 L1 · L2 캐시(코어마다) 정비사 B 같은 지시서 사본 L1 · L2 캐시(코어마다) 폐기 도장 캐시 일관성 공구 벽 두 정비사 공용 L3 캐시(공용) 뒷마당 창고 모든 공구 원본 DRAM · DDR5 내화 금고 불이 나도 남음 SCM(영속) 물류센터 SSD · 스토리지 1 2 3 4 5 가까움 · 작음 · 빠름 멂 · 큼 · 느림 1 벨트 · 2 공구 벽 · 3 창고 · 4 사본에 폐기 도장 · 5 금고에 보관 — 배지 = 실제 기술 이름

그림 1 · 가까운 보관 단계일수록 작고 빠르며, 같은 지시서의 사본은 도장으로 맞추고, 불이 나도 남는 것은 금고에 넣은 것뿐이다.

벨트 보기손 닿는 공구부터 찾음
공구 벽벨트에 없으면 공용 벽
창고 다녀오기벽에도 없으면 뒷마당
폐기 도장고친 지시서의 다른 사본 막기
금고 보관불이 나도 남게 넣기
보관 확인확인을 받아야 끝
비유 실제 불이 남 벨트에만 꽂음 — 사라짐 고친 내용은 정비사 손에만 저장 명령만 실행 값 = L1 의 수정(M) 줄에만 전원 차단 → 값 없어짐 캐시는 휘발성 금고에 넣고 확인 — 남음 확인을 받기 전에는 끝이 아님 줄 비우기 + 펜스 값이 영속 영역(SCM)에 도달 DAX 파일 · MAP_SYNC 매핑 재부팅 뒤 같은 위치에 값

그림 2 · 벨트에 꽂힌 고친 지시서는 불이 나면 사라지고, 금고에 넣고 확인을 받은 것만 남는다 — 실제로도 캐시 줄을 비우고 순서를 보장해야 SCM 에 남는다.

비유실제 이름실제로 하는 일
정비사의 벨트 · 카트캐시 메모리(L1 · L2)코어마다 최근 쓴 줄의 사본을 가장 가까이 둔다
공용 공구 벽캐시 메모리(L3)여러 코어가 함께 쓰는 마지막 캐시 단계
멀수록 오래 걸림메모리 계층 구조지역성 · 평균 접근 시간으로 단계 수와 크기를 정한다
다른 사본에 폐기 도장캐시 일관성한 코어가 쓴 줄의 다른 사본을 무효 상태로 바꾼다
뒷마당 창고DRAM · DDR5모든 데이터의 원본을 두는 주 메모리
내화 금고SCM(스토리지 클래스 메모리)바이트로 접근하면서 전원이 꺼져도 남는 단계
보관 확인줄 비우기 · 펜스캐시에 머문 값을 영속 영역까지 내려보냈음을 보장한다

⚠ 비유가 맞지 않는 곳: 정비사는 공구를 옮기지만 실제 캐시는 원본을 옮기지 않고 «사본»을 둔다. 폐기 도장도 사람이 찍지 않고 캐시 제어기가 하드웨어 신호로 주고받는다.

4구조 — 단계 · 사본 · 영속의 지도

아래 토픽 다섯은 한 축에 놓인다. 메모리 계층 구조가 단계를 나누는 원리를, 캐시 메모리 · DRAM · DDR5 · SCM 이 각 단계를, 캐시 일관성이 코어마다 생긴 사본 사이의 약속을 맡는다.

메모리 계층 구조 — 지역성 · 평균 접근 시간으로 단계를 나누는 원리(전체) 레지스터 — CPU L1 캐시(코어마다) L2 캐시 — 캐시 메모리 L3 캐시(공용) — 64바이트 줄 단위 DRAM · DDR5 — 주 메모리 줄 하나 = 서브채널 버스트 한 번 아래 = 전원이 꺼져도 남음 SCM(스토리지 클래스 메모리) 바이트 단위 접근 · DAX 로 파일을 직접 매핑 스토리지(SSD) — 블록 단위 캐시 일관성 사본마다 M · E · S · I 상태 멀수록 크고 느림 사본(캐시) 원본(주 메모리) 영속 위치 원리 · 규칙 점선 = 따로 토픽 있음

그림 3 · 위로 갈수록 작고 빠른 사본, 아래로 갈수록 크고 느린 원본이며, 전원이 꺼져도 남는 경계는 DRAM 과 SCM 사이에 있다.

하위 토픽푸는 문제다루는 단위기준 값
메모리 계층 구조단계를 몇 개 · 얼마 크기로 두나접근 · 작업 집합평균 접근 시간 식(Wulf · McKee 1995)
캐시 메모리사본을 어디에 두고 언제 내보내나줄 · 세트 · 웨이write_policy WriteBack(커널 sysfs 캐시 ABI)
캐시 일관성코어마다의 사본을 한 값으로줄 상태수정 · 배타 · 공유 · 무효(Papamarcos · Patel 1984)
DRAM · DDR5원본을 크게 · 넓은 대역으로채널 · 뱅크 · 버스트서브채널 둘 · 버스트 길이 16(JESD79-5)
SCM(스토리지 클래스 메모리)바이트 접근과 영속을 함께영속 영역 · 네임스페이스MAP_SYNC(mmap(2))

레지스터는 CPU, 주소 변환(TLB · 페이지)은 운영체제의 가상 메모리, 블록 단위 저장은 스토리지가 맡는다. 메모리 계층은 「코어가 낸 주소의 데이터가 어느 단계에 있는가」까지만 다룬다.

🔑 캐시 단계는 속도를 위해 «사본»을 늘리고, 그래서 사본을 맞추는 일(일관성)과 원본까지 내려보내는 일(영속)이 따라 생긴다.

5동작 — 저장 명령 하나가 영속되기까지

설명용 가정 값 = 코어 둘 · L1 데이터 캐시 48 KiB · 12 웨이 · 64바이트 줄(세트 = 48 Ki ÷ (12 × 64) = 64개) · 주소 0x2000_1F40 줄을 두 코어가 공유(S) 상태로 가진 때.

  1. 코어 0 이 8바이트 값 7 을 0x2000_1F48 에 저장한다. 주소를 나누면 오프셋 8 · 세트 61 · 태그 0x20001 이다(원문 식 직접 계산).
  2. 세트 61 에서 태그가 맞아 적중하지만 상태가 공유라 바로 쓰지 못한다. 코어 0 이 무효화 요청을 내고 코어 1 의 사본은 무효(I), 코어 0 의 줄은 수정(M)이 된다(Papamarcos · Patel 1984).
  3. 쓰기 되돌림 정책이라 값 7 은 코어 0 의 L1 에만 있고 DRAM 은 옛 값이다(커널 sysfs 캐시 ABI write_policy).
  4. 세트 61 에 13번째 줄이 들어올 때 이 줄이 교체되어 DRAM 으로 내려간다. DDR5 서브채널의 데이터 폭 32비트 × 버스트 16 = 512비트 = 64바이트라 줄 하나가 버스트 한 번이다(JESD79-5).
  5. 이 주소가 DAX 로 매핑한 SCM 파일이면 교체를 기다리지 않고 줄 비우기 명령과 펜스를 실행한다. MAP_SYNC 매핑에서는 그 뒤 장애가 나도 같은 파일 위치에 7 이 남는다(mmap(2)).
코어 0 저장 · 값 7 주소 0x2000_1F48 L1 조회 · 적중(S) 오프셋 8 · 세트 61 · 태그 0x20001 무효화 요청 코어 1 사본 S → I 완료 응답 코어 0 줄 = 수정(M) 값 7 은 L1 에만 DRAM = 아직 옛 값 교체 때 DDR5 버스트 한 번 32비트 × 16 = 64바이트 SCM 파일이면 줄 비우기 + 펜스 영속 영역 도달 1 2 3 4 5 주소 · 영속 위치 캐시 사본 일관성 제어 주 메모리 주소 · 캐시 구성 = 설명용 가정 값 · 세트 61 = (0x1F48 ÷ 64)의 아래 6비트

그림 4 · 저장 하나가 일관성(공유 → 수정) · 쓰기 되돌림 · DDR5 버스트 · SCM 영속을 차례로 지나며, 네 하위 토픽이 각각 한 단계를 맡는다.

단계가 몇 번 내려가는가는 평균 접근 시간으로 잰다. 식은 «적중 시간 + 미스율 × 아래 단계 시간»을 단계마다 되풀이한 것이다(Wulf · McKee 1995).

단계별로 평균 접근 시간에 더하는 몫(ns) A L3 미스 30% L1 1.00 0.54 = 2.04 L2 0.20 · L3 0.30 · DRAM 비중 26%(접근의 0.6%) B L3 미스 60% L1 1.00 1.08 = 2.58 L2 0.20 · L3 0.30 · DRAM 비중 42%(접근의 1.2%) L1 적중 L2 L3 DRAM 굵은 테두리 = 바뀐 값 평균 = 1 + 0.05 × (4 + 0.4 × (15 + L3 미스율 × 90)) ns 지연 · 미스율 = 설명용 가정 값 · 1 ns = 막대 180 px

그림 5 · DRAM 까지 가는 접근은 0.6% 뿐이어도 평균의 26%를 차지하고, 작업 집합이 커져 L3 미스율이 두 배가 되면 그 몫이 42%로 늘어 평균이 2.04 ns 에서 2.58 ns 가 된다.

🔑 평균 접근 시간을 정하는 것은 가장 자주 가는 단계가 아니라 «가장 먼 단계 × 그곳까지 가는 비율»이다 — 미스 1% 남짓이 평균의 절반 가까이를 낸다.

6비교 — 관련 기술과의 경계

기술맡는 일경계넘기는 곳확인 자료
메모리 계층캐시 · 일관성 · DRAM · SCM주소의 데이터가 어느 단계에 있나주소 변환 → 가상 메모리sysfs 캐시 · EDAC
CPU명령어 집합 · 코어 · 레지스터코어가 주소를 내기까지주소의 데이터 → 메모리 계층/proc/cpuinfo
병렬 처리파이프라인 · SMP · NUMA · GPGPU여러 흐름을 함께 돌리는 원리공유 줄의 값 → 캐시 일관성nproc
가속기 · 인터커넥트AI 가속기 · CXL · PCIe칩 밖 장치와 통로CXL 에 붙은 메모리의 단계 = 메모리 계층lspci
가상 메모리(운영체제)페이지 · TLB · 교체가상 → 물리 주소물리 주소의 위치 → 메모리 계층/proc/meminfo
스토리지블록 · 파일 · 객체 · RAID블록 단위 I/O바이트 접근 영속 → SCMlsblk

분석물리 주소가 정해진 뒤의 일은 메모리 계층, 그 앞(주소 변환)은 가상 메모리, 블록 I/O 는 스토리지에서 본다. 근거는 표의 「경계」 열 — SCM 은 블록 장치가 아니라 바이트 단위 영속 주소 범위(커널 LIBNVDIMM 문서 PMEM 정의)라 메모리 계층에 든다.

7실무 진단 — 메모리 문제를 하위 토픽으로 가르기

분석먼저 오류 · 영속처럼 «값이 틀리는가»를, 다음 «크기 · 공유에 따라 느려지는가»를 본다. 값이 틀린 상태에서 잰 시간은 뜻이 없기 때문이다(커널 RAS 문서 · mmap(2)).

#증상의심 원인하위 토픽확인 명령판정 기준(근거)
1장애 뒤 영속 파일의 마지막 쓰기가 없음저장만 하고 줄 비우기 · MAP_SYNC 없음SCMmount 의 dax 옵션 · 매핑 플래그MAP_SYNC 가 DAX 아닌 파일에서 EOPNOTSUPP(mmap(2))
2가끔 값이 틀리거나 멈춤DIMM 비트 오류DRAM · DDR5cat /sys/devices/system/edac/mc/mc*/dimm*/dimm_ce_count한 DIMM 의 정정 오류 수만 늘면 그 DIMM(커널 RAS 문서)
3각자 변수만 쓰는 스레드가 늘수록 느림두 변수가 같은 줄 → 무효화 왕복캐시 일관성cat …/cpu0/cache/index0/coherency_line_size두 변수 주소 차가 이 값보다 작음(커널 sysfs 캐시 ABI)
4배열을 키우면 어느 크기에서 시간이 계단처럼 뜀한 단계 용량을 넘김메모리 계층 구조 · 캐시 메모리lscpu -C · index*/size뛰는 크기 ≈ 그 단계 size · shared_cpu_list 로 공유 여부(커널 sysfs 캐시 ABI)

1 · 2행은 값의 문제라 3 · 4행 측정 전에 끝낸다. 4행은 데이터 크기를 두 배씩 늘려 재야 단계 경계가 보인다.

8시험 대비

출제 정보 컴퓨터시스템응용(140회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 메모리 계층의 구성과 지역성 · 평균 접근 시간을 묻는 구조 · 구성형, 그리고 캐시 쓰기 정책이나 DRAM · SCM 을 견주는 비교형이 나올 수 있다. 어느 쪽이든 «단계 → 사본 → 영속» 순서를 먼저 세우고 묻는 토픽을 그 위치에 놓는다.

답안 목차
  1. 개요 — 정의 · 단계(레지스터 · 캐시 · DRAM · SCM · 스토리지) · 종속 기억 장치 제안(1965) · 메모리 벽
  2. 구성 — 그림 3 하위 토픽 지도 + 하위 토픽 표(단위 · 기준 값)
  3. 동작 — 그림 4 저장 하나의 경로(세트 61 · S → M · 쓰기 되돌림 · 64바이트 버스트 · 줄 비우기)
  4. 핵심 원리 — 그림 5 평균 접근 시간 식과 단계별 몫(2.04 → 2.58 ns)
  5. 비교 — 쓰기 즉시 · 쓰기 되돌림 / DRAM · SCM = 휘발성 · 접근 단위 · 영속 조건
  6. 동향 — DDR5 서브채널 · CXL 로 붙는 메모리 · SCM 단계

꼭 쓸 키워드
지역성평균 접근 시간캐시 줄세트 연관쓰기 되돌림MESIDDR5 서브채널버스트 길이영속 영역DAX

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «미스율 1%» 가 평균에 주는 몫을 수치로 보이는 것이다.

9오해와 사실

  • 오해캐시에 쓴 값은 곧바로 주 메모리에도 있다.
    사실쓰기 되돌림 캐시는 줄이 교체될 때만 아래 메모리를 고친다(커널 sysfs 캐시 ABI write_policy WriteBack).
  • 오해캐시 일관성이 있으니 스레드끼리 같은 줄을 써도 비용이 없다.
    사실값은 맞춰 주지만 쓸 때마다 다른 사본을 무효로 만드는 왕복이 생긴다(Papamarcos · Patel 1984).
  • 오해SCM 에 저장 명령을 내면 바로 영속된다.
    사실값은 먼저 휘발성 캐시에 머물고, 알맞은 CPU 명령과 MAP_SYNC 매핑이 함께 있어야 장애 뒤에도 남는다(mmap(2)).

10핵심 정리

하위 토픽여는 질문단위전원 차단 뒤확인 자료넘기는 것
메모리 계층 구조몇 단계 · 얼마 크기로작업 집합—lscpu -C단계별 세부 = 아래 토픽
캐시 메모리사본을 어디에 · 언제 내보내나64바이트 줄사라짐index*/write_policy주소 변환 = 가상 메모리
캐시 일관성사본이 한 값인가줄 상태 M · E · S · I사라짐coherency_line_size스레드 배치 = 병렬 처리
DRAM · DDR5원본을 얼마나 빨리버스트 64바이트사라짐dimm_ce_count셀 · 소자 = 반도체
SCM(스토리지 클래스 메모리)바이트 접근으로 남기나영속 영역남음mount dax · MAP_SYNC블록 저장 = 스토리지

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Linux kernel Documentation/ABI/testing/sysfs-devices-system-cpu — cpu*/cache/index*/ attributes — 캐시 단계 · 줄 크기 · 웨이 · 쓰기 정책(WriteBack)을 내 기계에서 읽는 법을 볼 때
    kernel.org · 2026-11 · github.com/torvalds/linux/blob/master/Documentation/ABI/testing/sysfs-devices-system-cpu · 확인 2026-11-14
  3. ★ Wulf and McKee 1995 Hitting the Memory Wall Implications of the Obvious (ACM SIGARCH Computer Architecture News 23(1) · UVA CS-94-48) — 평균 접근 시간 식과 «메모리 벽»이라는 말의 출발을 볼 때
    University of Virginia · ACM · 1995-03 · libraopen.library.virginia.edu/downloads/4b29b598d · 확인 2026-11-14
  4. ★ JEDEC Publishes New DDR5 Standard (JESD79-5) press release — DDR5 의 독립 서브채널 둘 · 버스트 길이 16 을 볼 때
    JEDEC · 2020-07 · www.jedec.org/news/pressreleases/jedec-publishes-new-ddr5-standard-advancing-next-generation-high-performance · 확인 2026-11-14
  5. ★ mmap(2) Linux manual page — MAP_SYNC — 영속 메모리 파일에 쓴 값이 장애 뒤에도 남는 조건을 볼 때
    man7.org · 2026-11 · man7.org/linux/man-pages/man2/mmap.2.html · 확인 2026-11-14
  6. 본문 근거
  7. Direct Access for files (DAX) — The Linux Kernel documentation — kernel.org · 2026-11 · docs.kernel.org/filesystems/dax.html · 확인 2026-11-14
  8. LIBNVDIMM Overview — The Linux Kernel documentation (Glossary PMEM · namespace) — kernel.org · 2026-11 · docs.kernel.org/driver-api/nvdimm/nvdimm.html · 확인 2026-11-14
  9. Reliability, Availability and Serviceability (RAS) — EDAC sysfs dimm_ce_count — kernel.org · 2026-11 · docs.kernel.org/admin-guide/RAS/main.html · 확인 2026-11-14
  10. lscpu(1) Linux manual page — util-linux · man7.org · 2026-11 · man7.org/linux/man-pages/man1/lscpu.1.html · 확인 2026-11-14
  11. Wilkes 1965 Slave Memories and Dynamic Storage Allocation (IEEE Transactions on Electronic Computers EC-14(2)) — IEEE · 1965-04 · doi.org/10.1109/PGEC.1965.264263 · 확인 2026-11-14
  12. Liptay 1968 Structural aspects of the System/360 Model 85 II The cache (IBM Systems Journal 7(1)) — IBM · 1968-03 · doi.org/10.1147/sj.71.0015 · 확인 2026-11-14
  13. Papamarcos and Patel 1984 A Low-Overhead Coherence Solution for Multiprocessors with Private Cache Memories (ISCA 1984) — ACM · IEEE · 1984-06 · doi.org/10.1145/800015.808204 · 확인 2026-11-14
  14. Freitas and Wilcke 2008 Storage-class memory The next storage system technology (IBM Journal of Research and Development 52(4.5)) — IBM · 2008-07 · doi.org/10.1147/rd.524.0439 · 확인 2026-11-14