메모리Semiconductor Memory
비트를 담는 반도체 칩을 묶은 것으로, 프로세서 안 SRAM 에서 패키지 안 HBM · 보드의 DRAM · CXL 확장 · 저장 장치의 낸드까지 이어지는 메모리 계층을 다룬다. 저항으로 저장하는 차세대 메모리와 메모리 쪽에서 계산하는 PIM 도 메모리에 든다.
1요약
- 메모리는 소자 · 소재 가운데 비트를 담는 칩을 모은 것으로, 휘발 · 비휘발 두 종류의 셀이 프로세서에서 저장 장치까지 계층을 이루고 그 위에서 운영체제 · 응용 · AI 모델의 데이터가 오르내린다(IRDS BC 2024 2.1절).
- 셀 하나로 속도 · 용량 · 보존을 다 얻지 못한다 — 같은 32 GB 를 한 번 읽는 데 HBM3 스택 넷은 약 9.8 ms, SSD 는 약 4.6 s 가 걸려(설명용 가정 값 · JESD238 원문 식 계산), 자주 읽는 데이터만 위 계층으로 올린다.
- 「메모리 문제」는 증상이 가리키는 값으로 살펴볼 메모리를 고른다 — 처리량이 막히면 데이터 폭(HBM · DRAM 채널), 용량이 모자라면 확장(CXL · 낸드), 비트가 틀리면 셀(DRAM 보존 · 낸드 마모 · SRAM 여유)이다.
2등장 배경
1960년대 컴퓨터의 주 메모리는 자기 코어였고, 반도체 RAM 은 1966년 바이폴라 칩으로 고속 임시 기억에 먼저 들어갔다(CHM 1966). 빠르지만 비트당 값이 비싸 주 메모리까지 바꾸지는 못했다.
1970년 1,024비트 MOS DRAM 이 코어를 주 메모리에서 밀어내기 시작했고(CHM 1970), 1987년 셀을 직렬로 묶은 낸드가 발표되어 전원 없이 남는 대용량 계층을 채웠다(Masuoka 1987). 1995년에는 프로세서 속도를 메모리가 따라가지 못하는 문제가 메모리 벽(memory wall) 이라는 이름을 얻었다(Wulf · McKee 1995).
그 뒤 메모리는 셀보다 «놓는 곳»을 바꾸며 종류를 늘렸다. DRAM 다이를 패키지 안에 쌓은 HBM, 메모리를 링크 너머로 늘리는 CXL, 연산을 메모리 쪽으로 옮기는 PIM 이 그렇고, 저항으로 저장하는 차세대 메모리는 플래시를 기준으로 견준다(IRDS BC 2024 2.1절).
3쉽게 이해하기 — 도서관의 책상 · 서가 · 보존 서고
한 연구자가 도서관에서 논문을 쓴다. 지금 펼친 몇 권은 책상 위에, 이번 주에 볼 책은 책상 옆 회전 서가와 열람실 서가에, 나머지 수십만 권은 지하 보존 서고의 봉인 상자에 둔다. 열람실 책은 금방 쓰러져 사서가 쉬지 않고 바로 세우고, 정전이 나면 열람실 정리는 처음부터 다시 하지만 보존 서고의 상자는 그대로 남는다. 서가가 모자라면 복도로 이은 별관 서가를 빌리고, 책 속 숫자만 세면 될 때는 서가 옆 계산대에서 세어 결과만 책상으로 보낸다.
그림 1 · 책은 보존 서고에서 열람실 · 회전 서가를 거쳐 책상으로 올라오고, 가까운 곳일수록 빠르지만 작다.
그림 2 · 열람실 서가와 보존 서고를 가르는 것은 «정전에도 남는가»이고, 남는 쪽은 그 대가로 여닫는 횟수가 정해진다.
| 비유 속 역할 | 메모리 요소 | 실제로 하는 일 |
|---|---|---|
| 책상 | SRAM | 코어 바로 옆에서 지금 쓰는 데이터를 가장 빨리 내준다 |
| 회전 서가 | HBM | DRAM 다이를 쌓아 패키지 안에서 넓은 폭으로 내준다 |
| 열람실 서가 | DRAM | 운영체제 · 응용이 도는 주 메모리 |
| 사서의 바로 세우기 | 리프레시 | 새어 나간 전하를 주기적으로 다시 채운다 |
| 보존 서고 | 낸드 · 3D NAND | 전원 없이 대용량을 남긴다 |
| 금고 서랍 | 차세대 메모리 | 저항 상태로 남기며 로직 칩 안에 들어간다 |
| 별관 서가 | CXL | 채널 밖 장치의 메모리를 주 메모리처럼 늘린다 |
| 계산대 | PIM | 메모리 쪽에서 계산해 옮기는 바이트를 줄인다 |
⚠ 비유가 맞지 않는 곳: 실제로는 책을 옮기지 않고 사본을 올리므로 아래 계층에 원본이 남고, 계산대(PIM)는 숫자 세기보다 넓은 연산(행렬-벡터 곱 등)을 맡는다.
4구조 — 메모리 계층과 종류의 지도
그림 3 · 메모리 종류는 프로세서와의 거리로 줄을 서고, 차세대 메모리와 PIM 은 그 줄 옆에 붙는다.
| 종류 | 푸는 문제 | 셀 | 놓이는 곳 | 전원을 끄면 |
|---|---|---|---|---|
| SRAM | 코어 옆 즉시 응답 | 트랜지스터 6개(6T) | 프로세서 다이 안 | 사라짐 |
| HBM | 가속기 옆 데이터 폭 | 1T1C 다이 적층 · 1,024비트 | 패키지 안 | 사라짐 |
| DRAM | 주 메모리 용량 · 값 | 1T1C | 보드(DIMM) | 사라짐 |
| CXL | 채널 밖으로 용량 늘리기 | 장치 안 셀(대개 DRAM) | PCIe 링크 너머 | 장치 셀을 따름 |
| 낸드 · 3D NAND | 전원 없이 대용량 | 직렬 스트링 · 전하 저장 막 | SSD · 저장 장치 | 남음 |
| 차세대 메모리 | 내장 플래시 · SRAM 자리 | 1T-1R 저항 소자 | 로직 다이 배선 사이 | 남음 |
| PIM | 데이터 이동 줄이기 | 셀 + 연산기 | DRAM 뱅크 옆 · 버퍼 칩 | 셀을 따름 |
5동작 — AI 추론 서버의 가중치 이동
가중치 32 GB 인 모델을 가속기 하나로 추론하는 서버를 따라간다. 32 GB · SSD 7 GB/s · CXL 64 GB/s 는 설명용 가정 값이고, DDR5 · HBM3 폭은 핀 속도 6.4 Gb/s 로 원문 식을 계산했다(JESD79-5 · JESD238).
- SSD → DRAM — 3D 낸드 SSD 에서 32 GB 를 읽어 호스트 DRAM 에 둔다. 7 GB/s 로 약 4.6 s 이고 전원을 켤 때마다 되풀이한다.
- DRAM 폭 — DDR5-6400 채널 하나는 6,400 MT/s × 8 B = 51.2 GB/s, 8채널이면 409.6 GB/s 다.
- DRAM → HBM — 가중치를 가속기 패키지 안 HBM3 스택 넷으로 옮긴다. 스택 하나는 1,024비트 × 6.4 Gb/s ÷ 8 = 819.2 GB/s, 넷이면 3,276.8 GB/s 다.
- 토큰 하나 — 토큰마다 가중치 전체를 HBM 에서 코어 옆 SRAM 으로 흘려 읽는다. 32 GB ÷ 3,276.8 GB/s ≈ 9.8 ms 라 초당 약 102 토큰이 상한이다.
- HBM 이 모자랄 때 — 절반 16 GB 를 CXL 메모리 확장 장치에 두면 그 몫만 16 ÷ 64 = 250 ms 가 걸려 토큰 하나가 약 255 ms(초당 약 4 토큰)로 늘어난다.
- 전원을 끌 때 — SRAM · HBM · DRAM 의 가중치는 모두 사라지고 SSD 의 낸드에만 남아 다음 부팅은 1단계부터 다시 한다.
그림 4 · 가중치는 SSD 에서 DRAM · HBM 을 거쳐 코어 옆 SRAM 으로 흐르고, HBM 에 다 못 올린 몫은 CXL 링크가 시간을 정한다.
그림 5 · 같은 32 GB 를 읽는 시간은 한 계층 내려갈 때마다 6 ~ 9배 늘어, 가중치가 어느 계층에 있느냐가 토큰 속도를 정한다.
🔑 메모리 계층은 셀의 종류보다 프로세서와의 거리 · 데이터 폭으로 나뉜다 — 같은 1T1C DRAM 셀도 보드의 채널에 두면 51.2 GB/s, 패키지 안에 쌓으면 스택 하나가 819.2 GB/s 다.
6비교 — 메모리와 관련 기술의 경계
| 기준 | 메모리 | 트랜지스터 | 웨이퍼 | 웨이퍼 테스트 | 칩 적층 · 접합 |
|---|---|---|---|---|---|
| 묻는 질문 | 비트를 어떤 셀 · 계층에 담나 | 스위치를 어떤 구조로 켜고 끄나 | 무엇 위에 만드나 | 다이의 비트가 맞나 | 다이를 어떻게 쌓아 잇나 |
| 정하는 것 | 셀 · 배열 · 인터페이스 폭 | 게이트 구조 · 문턱 전압 | 기판 결정 · 평탄도 | 시험 패턴 · 리페어 주소 | TSV · 범프 · 본딩 조건 |
| 결과 값 | 보존 시간 · 실패 비트 · 대역폭 | 문턱 전압 · 누설 · 구동 전류 | 결함 밀도 · 비저항 | 웨이퍼 맵 · 여분 사용 수 | 스택 수율 · 휨 |
| 넘기는 곳 | 셀 트랜지스터 사양은 트랜지스터로 · 쌓기는 칩 적층으로 | 접근 트랜지스터를 메모리 셀로 | 기판을 메모리 · 트랜지스터에 | 리페어 주소를 레이저 리페어 장비로 | 완성 스택을 패키지 테스트로 |
분석셀 하나의 전기 값이 목표를 벗어나면 트랜지스터, 셀 값은 맞는데 배열 · 계층에서 실패 비트 · 대역폭이 갈리면 메모리, 웨이퍼 테스트는 통과했는데 쌓은 뒤에 나쁘면 칩 적층을 먼저 본다. 근거는 표의 「결과 값」 행 — 다섯이 보는 값이 서로 다른 공정 단계에서 나온다.
7실무 진단 — 증상을 해당 메모리로 가르기
분석먼저 증상이 처리량 · 용량 · 비트 오류 가운데 무엇인지 가르고, 그다음 해당 메모리의 값을 본다. 처리량 · 용량 문제는 배치를 바꾸면 사라지지만(표 1 · 2행) 비트 오류는 셀에서 오므로(표 3 · 4행) 배치를 먼저 고치면 원인을 가린다.
| # | 증상 | 의심 원인 | 해당 메모리 | 확인 자료 | 판정 기준 |
|---|---|---|---|---|---|
| 1 | 연산기는 놀고 메모리 대역폭이 상한에 붙음 | 데이터 폭 부족 | HBM · DRAM · PIM | 대역폭 계측 · 산술 강도 | 읽은 바이트 ÷ 시간이 스택 · 채널 이론 폭에 가까움(동작 2 · 3단계) |
| 2 | 메모리가 모자라 페이지가 SSD 로 밀려남 | 용량 부족 | CXL · DRAM | 운영체제 메모리 · 스왑 통계 | 스왑 입출력이 0 이 아님 |
| 3 | 온도 · 대기 시간에 따라 낱개 비트 오류 | 셀 전하 누설 | DRAM | 실패 비트 지도 · 온도 기록 | 고온 · 긴 대기에서 오류 수가 늘어남 |
| 4 | 쓰기가 많은 볼륨에서 읽기 재시도 증가 | 셀 마모 | 낸드 · 3D NAND | SSD 마모 지표 · 누적 쓰기량 | TLC 쓰기 · 지우기 약 1,000회에 가까움(Cai 2017 3.4절) |
8현장 포인트
| 값 | 어디서 나오나 | 무엇을 알려 주나 | 단위 · 주기 |
|---|---|---|---|
| 실패 비트 수 · 지도 | 메모리 웨이퍼 테스터 | 셀 · 배열 결함 위치 | 비트 · 다이마다 |
| 리페어 여분 사용 수 | 웨이퍼 테스트 · 레이저 리페어 | 여분 행 · 열이 얼마나 남았나 | 행 · 열 수 · 다이마다 |
| 보존 시간 분포 | DRAM 웨이퍼 · 패키지 시험 | 가장 약한 셀의 여유 | ms · 온도별 |
| 문턱 전압 분포 | 낸드 웨이퍼 테스트 | 상태 사이 간격 | V · 블록마다 |
| 스택 연결 시험 결과 | HBM 적층 뒤 시험 | TSV · 범프 연결 | 채널 · 스택마다 |
- 여분 소진 — 공정 결함이 늘어도 리페어 여분이 남는 동안은 수율이 그대로라, 여분이 바닥나는 순간 수율이 한꺼번에 떨어진다(웨이퍼 테스트 · 레이저 리페어).
- 분포 꼬리 — 평균 셀이 아니라 분포 끝의 약한 셀이 보존 · 문턱 전압 여유를 정해, 공정이 조금 흔들려도 꼬리가 먼저 시험 기준을 넘는다(DRAM · 낸드).
- 적층 수율 곱 — 다이를 쌓으면 다이 수율이 곱해져, 다이 하나 99% 라도 12단이면 0.99¹² ≈ 88.6% 다(설명용 가정 값 · 원문 식 직접 계산).
분석메모리에서 AI 는 웨이퍼 테스트 값을 다이마다 한 줄로 묶어 벗어난 다이를 고르는 데 쓴다 — 실패 비트 수 · 여분 사용 수 · 보존 시간을 함께 넣은 Isolation Forest 로 정상 다이 무리에서 떨어진 다이를 골라 번인 · 신뢰성 시험으로 먼저 보낸다. 근거는 데이터 표 1 ~ 3행 — 세 값이 다이마다 함께 나와, 하나씩 기준과 견주면 놓치는 조합을 한 번에 본다.
현장 키워드
메모리 계층휘발비휘발데이터 폭실패 비트 지도리페어 여분보존 시간적층 수율
9오해와 사실
- 오해HBM 은 DRAM 과 다른 새 메모리 셀이다.사실HBM 은 같은 1T1C DRAM 다이를 쌓아 1,024비트 폭으로 패키지 안에 붙인 것이고, 달라진 것은 놓인 곳과 폭이다(JESD238 · 동작 3단계).
- 오해차세대 메모리가 나오면 DRAM · 낸드는 곧 사라진다.사실IRDS 2024 는 플래시를 비휘발 메모리의 기준으로 두고 새 메모리를 그와 견주며, 상용 STT-MRAM 은 주로 로직 칩의 내장 플래시 자리에 들어간다(IRDS BC 2024 2.1 · 2.2.1.1절).
10핵심 정리
| 종류 | 계층 위치 | 읽기 폭 예 | 전원을 끄면 | 막히는 한계 | 현장 값 |
|---|---|---|---|---|---|
| SRAM | 코어 옆 | 다이 안 배선 | 사라짐 | 셀 면적 · 낮은 전압 여유 | 실패 비트맵 · Vmin |
| HBM | 패키지 안 | 스택당 819.2 GB/s(HBM3) | 사라짐 | 열 · 적층 수율 | 스택 연결 시험 |
| DRAM | 보드 | 채널당 51.2 GB/s(DDR5-6400) | 사라짐 | 커패시터 · 리프레시 | 보존 시간 |
| CXL | 링크 너머 | 링크 폭 · 속도 | 장치 셀을 따름 | 추가 지연 | 링크 폭 · 속도 |
| 낸드 · 3D NAND | 저장 장치 | 장치 인터페이스 | 남음 | 마모 · 깊은 홀 식각 | 문턱 전압 분포 |
| 차세대 메모리 | 로직 다이 배선 사이 | 내장 메모리 폭 | 남음 | 보존 ↔ 쓰기 에너지 | 셀 저항 분포 |
| PIM | 메모리 쪽 연산 | 칩 밖 이동을 줄임 | 셀을 따름 | 산술 강도 | 연산기 불량 위치 |
11참고 문헌
- 먼저 볼 문헌
- ★ International Roadmap for Devices and Systems 2024 Update - Beyond CMOS and Emerging Research Materials — 휘발 · 비휘발로 메모리를 나누고 플래시를 기준으로 새 메모리를 견주는 틀을 볼 때
- ★ JEDEC Publishes HBM3 Update to High Bandwidth Memory (HBM) Standard (JESD238) press release — HBM3 스택 하나의 핀 속도와 데이터 폭을 볼 때
- ★ Error Characterization, Mitigation, and Recovery in Flash-Memory-Based Solid-State Drives (Y. Cai 외) Proceedings of the IEEE 105(9) · arXiv 1706.08642 — 낸드의 쓰기 · 지우기 내구성이 세대마다 어떻게 줄었는지 볼 때
- ★ 1970 - MOS Dynamic RAM Competes with Magnetic Core Memory on Price — 반도체 DRAM 이 자기 코어를 주 메모리에서 밀어낸 과정을 볼 때
- 본문 근거
- JEDEC Publishes New DDR5 Standard (JESD79-5) press release — JEDEC · 2020-07 ·
www.jedec.org/news/pressreleases/jedec-publishes-new-ddr5-standard-advancing-next-generation-high-performance· 확인 2026-11-14 - 1966 - Semiconductor RAMs Serve High-speed Storage Needs — Computer History Museum · 2026-11 ·
www.computerhistory.org/siliconengine/semiconductor-rams-serve-high-speed-storage-needs/· 확인 2026-11-14 - New ultra high density EPROM and flash EEPROM with NAND structure cell (F. Masuoka 외) IEDM Technical Digest — IEEE · 1987-12 ·
doi.org/10.1109/IEDM.1987.191485· 확인 2026-11-14 - Hitting the Memory Wall: Implications of the Obvious (W. A. Wulf · S. A. McKee) ACM SIGARCH Computer Architecture News 23(1) — ACM · 1995-03 ·
doi.org/10.1145/216585.216588· 확인 2026-11-14