반도체 › 소자 · 소재

메모리Semiconductor Memory

비트를 담는 반도체 칩을 묶은 것으로, 프로세서 안 SRAM 에서 패키지 안 HBM · 보드의 DRAM · CXL 확장 · 저장 장치의 낸드까지 이어지는 메모리 계층을 다룬다. 저항으로 저장하는 차세대 메모리와 메모리 쪽에서 계산하는 PIM 도 메모리에 든다.

1요약

  1. 메모리는 소자 · 소재 가운데 비트를 담는 칩을 모은 것으로, 휘발 · 비휘발 두 종류의 셀이 프로세서에서 저장 장치까지 계층을 이루고 그 위에서 운영체제 · 응용 · AI 모델의 데이터가 오르내린다(IRDS BC 2024 2.1절).
  2. 셀 하나로 속도 · 용량 · 보존을 다 얻지 못한다 — 같은 32 GB 를 한 번 읽는 데 HBM3 스택 넷은 약 9.8 ms, SSD 는 약 4.6 s 가 걸려(설명용 가정 값 · JESD238 원문 식 계산), 자주 읽는 데이터만 위 계층으로 올린다.
  3. 「메모리 문제」는 증상이 가리키는 값으로 살펴볼 메모리를 고른다 — 처리량이 막히면 데이터 폭(HBM · DRAM 채널), 용량이 모자라면 확장(CXL · 낸드), 비트가 틀리면 셀(DRAM 보존 · 낸드 마모 · SRAM 여유)이다.

2등장 배경

1960년대 컴퓨터의 주 메모리는 자기 코어였고, 반도체 RAM 은 1966년 바이폴라 칩으로 고속 임시 기억에 먼저 들어갔다(CHM 1966). 빠르지만 비트당 값이 비싸 주 메모리까지 바꾸지는 못했다.

1970년 1,024비트 MOS DRAM 이 코어를 주 메모리에서 밀어내기 시작했고(CHM 1970), 1987년 셀을 직렬로 묶은 낸드가 발표되어 전원 없이 남는 대용량 계층을 채웠다(Masuoka 1987). 1995년에는 프로세서 속도를 메모리가 따라가지 못하는 문제가 메모리 벽(memory wall) 이라는 이름을 얻었다(Wulf · McKee 1995).

그 뒤 메모리는 셀보다 «놓는 곳»을 바꾸며 종류를 늘렸다. DRAM 다이를 패키지 안에 쌓은 HBM, 메모리를 링크 너머로 늘리는 CXL, 연산을 메모리 쪽으로 옮기는 PIM 이 그렇고, 저항으로 저장하는 차세대 메모리는 플래시를 기준으로 견준다(IRDS BC 2024 2.1절).

3쉽게 이해하기 — 도서관의 책상 · 서가 · 보존 서고

한 연구자가 도서관에서 논문을 쓴다. 지금 펼친 몇 권은 책상 위에, 이번 주에 볼 책은 책상 옆 회전 서가와 열람실 서가에, 나머지 수십만 권은 지하 보존 서고의 봉인 상자에 둔다. 열람실 책은 금방 쓰러져 사서가 쉬지 않고 바로 세우고, 정전이 나면 열람실 정리는 처음부터 다시 하지만 보존 서고의 상자는 그대로 남는다. 서가가 모자라면 복도로 이은 별관 서가를 빌리고, 책 속 숫자만 세면 될 때는 서가 옆 계산대에서 세어 결과만 책상으로 보낸다.

가까운 곳일수록 빠르고 작다 — 책은 아래 서고에서 책상 쪽으로 올라온다 책상 SRAM 회전 서가 HBM 열람실 서가 DRAM 보존 서고 낸드 · 3D NAND 1 2 3 금고 서랍 차세대 메모리 사서 리프레시 계산대 PIM 별관 서가 CXL 4 5 전원이 있어야 남는 곳 전원 없이 남는 곳 연결 · 계산 위치 1 서고 → 열람실 · 2 열람실 → 회전 서가 · 3 회전 서가 → 책상 · 4 사서가 늘 바로 세움 · 5 모자라면 별관 · 회색 선 = 곁에 붙은 곳

그림 1 · 책은 보존 서고에서 열람실 · 회전 서가를 거쳐 책상으로 올라오고, 가까운 곳일수록 빠르지만 작다.

보존 서고모든 책을 봉인 상자에
카트로 올리기이번 주 책만
회전 서가책상 바로 옆에 높이
책상지금 펼친 몇 권
바로 세우기사서가 쉬지 않고
별관 빌리기서가가 모자랄 때
비유 — 정전이 오면 실제 — 전원을 끄면 열람실 서가 책이 금방 쓰러져 사서가 늘 세운다 정전이 나면 정리를 처음부터 한다 DRAM 셀(1T1C) 전하가 새어 늘 다시 채운다(리프레시) 전원을 끄면 사라진다 · 보존 ms 단위 경계 — 전원 없이 남는가 보존 서고 봉인 상자라 정전에도 그대로 남는다 대신 상자를 여닫는 횟수가 정해져 있다 낸드 셀(전하 저장 막) 전자를 막에 가둬 전원 없이 남는다 TLC 는 쓰기 · 지우기 약 1,000회에서 닳는다 왼쪽 = 비유 · 오른쪽 = 실제 · 근거 = IRDS BC 2024 2.1절(휘발 메모리 보존 ms 단위) · Cai 2017 3.4절(TLC 내구성)

그림 2 · 열람실 서가와 보존 서고를 가르는 것은 «정전에도 남는가»이고, 남는 쪽은 그 대가로 여닫는 횟수가 정해진다.

비유 속 역할메모리 요소실제로 하는 일
책상SRAM코어 바로 옆에서 지금 쓰는 데이터를 가장 빨리 내준다
회전 서가HBMDRAM 다이를 쌓아 패키지 안에서 넓은 폭으로 내준다
열람실 서가DRAM운영체제 · 응용이 도는 주 메모리
사서의 바로 세우기리프레시새어 나간 전하를 주기적으로 다시 채운다
보존 서고낸드 · 3D NAND전원 없이 대용량을 남긴다
금고 서랍차세대 메모리저항 상태로 남기며 로직 칩 안에 들어간다
별관 서가CXL채널 밖 장치의 메모리를 주 메모리처럼 늘린다
계산대PIM메모리 쪽에서 계산해 옮기는 바이트를 줄인다

⚠ 비유가 맞지 않는 곳: 실제로는 책을 옮기지 않고 사본을 올리므로 아래 계층에 원본이 남고, 계산대(PIM)는 숫자 세기보다 넓은 연산(행렬-벡터 곱 등)을 맡는다.

4구조 — 메모리 계층과 종류의 지도

프로세서 다이 안 — SRAM 패키지 안 — HBM 보드 — DRAM 링크 너머 — CXL 메모리 확장 저장 장치 — 낸드 · 3D NAND 가까울수록 빠르고 작다 멀수록 크고 전원 없이 남는다 차세대 메모리 로직 다이 · 배선 사이 내장 플래시 · SRAM 자리 PIM(메모리 내 연산) DRAM 뱅크 옆 · 버퍼 칩 칩 밖 이동 바이트를 줄임 전원이 있어야 남음 전원 없이 남음 연결 · 연산 위치 왼쪽 화살 = 계층 방향 · 점선 = 그 줄 옆에 붙는 메모리 · 3D NAND 는 낸드를 세로로 쌓은 칩 구조

그림 3 · 메모리 종류는 프로세서와의 거리로 줄을 서고, 차세대 메모리와 PIM 은 그 줄 옆에 붙는다.

종류푸는 문제셀놓이는 곳전원을 끄면
SRAM코어 옆 즉시 응답트랜지스터 6개(6T)프로세서 다이 안사라짐
HBM가속기 옆 데이터 폭1T1C 다이 적층 · 1,024비트패키지 안사라짐
DRAM주 메모리 용량 · 값1T1C보드(DIMM)사라짐
CXL채널 밖으로 용량 늘리기장치 안 셀(대개 DRAM)PCIe 링크 너머장치 셀을 따름
낸드 · 3D NAND전원 없이 대용량직렬 스트링 · 전하 저장 막SSD · 저장 장치남음
차세대 메모리내장 플래시 · SRAM 자리1T-1R 저항 소자로직 다이 배선 사이남음
PIM데이터 이동 줄이기셀 + 연산기DRAM 뱅크 옆 · 버퍼 칩셀을 따름

5동작 — AI 추론 서버의 가중치 이동

가중치 32 GB 인 모델을 가속기 하나로 추론하는 서버를 따라간다. 32 GB · SSD 7 GB/s · CXL 64 GB/s 는 설명용 가정 값이고, DDR5 · HBM3 폭은 핀 속도 6.4 Gb/s 로 원문 식을 계산했다(JESD79-5 · JESD238).

  1. SSD → DRAM — 3D 낸드 SSD 에서 32 GB 를 읽어 호스트 DRAM 에 둔다. 7 GB/s 로 약 4.6 s 이고 전원을 켤 때마다 되풀이한다.
  2. DRAM 폭 — DDR5-6400 채널 하나는 6,400 MT/s × 8 B = 51.2 GB/s, 8채널이면 409.6 GB/s 다.
  3. DRAM → HBM — 가중치를 가속기 패키지 안 HBM3 스택 넷으로 옮긴다. 스택 하나는 1,024비트 × 6.4 Gb/s ÷ 8 = 819.2 GB/s, 넷이면 3,276.8 GB/s 다.
  4. 토큰 하나 — 토큰마다 가중치 전체를 HBM 에서 코어 옆 SRAM 으로 흘려 읽는다. 32 GB ÷ 3,276.8 GB/s ≈ 9.8 ms 라 초당 약 102 토큰이 상한이다.
  5. HBM 이 모자랄 때 — 절반 16 GB 를 CXL 메모리 확장 장치에 두면 그 몫만 16 ÷ 64 = 250 ms 가 걸려 토큰 하나가 약 255 ms(초당 약 4 토큰)로 늘어난다.
  6. 전원을 끌 때 — SRAM · HBM · DRAM 의 가중치는 모두 사라지고 SSD 의 낸드에만 남아 다음 부팅은 1단계부터 다시 한다.
7 GB/s · 4.6 s 32 GB · 9.8 ms SSD(3D 낸드) 32 GB 보관 DRAM 8채널 409.6 GB/s 2 HBM3 스택 4 3,276.8 GB/s 코어 옆 SRAM 읽은 가중치로 연산 1 3 4 CXL 확장 64 GB/s · 16 GB 5 250 ms 6 전원을 끄면 SSD 에만 남는다 DRAM · HBM · SRAM 의 가중치는 사라짐 전원 없이 남음 전원이 있어야 남음 링크 너머 확장 가정 값 = 32 GB · SSD 7 GB/s · CXL 64 GB/s · DDR5 · HBM3 폭 = 핀 속도 6.4 Gb/s 원문 식 계산

그림 4 · 가중치는 SSD 에서 DRAM · HBM 을 거쳐 코어 옆 SRAM 으로 흐르고, HBM 에 다 못 올린 몫은 CXL 링크가 시간을 정한다.

같은 32 GB 를 한 번 읽는 시간(가로 = 로그 눈금) HBM3 스택 4 9.8 ms · 초당 약 102 토큰 DDR5 8채널 78 ms · 약 13 토큰 CXL 확장(가정) 500 ms · 2 토큰 SSD(가정) 4.6 s 1 ms 10 ms 100 ms 1 s 10 s 위로 갈수록 폭이 넓고 용량이 작다 — 자주 읽는 가중치만 HBM 에 올리고, 넘친 몫은 아래 계층이 시간을 정한다

그림 5 · 같은 32 GB 를 읽는 시간은 한 계층 내려갈 때마다 6 ~ 9배 늘어, 가중치가 어느 계층에 있느냐가 토큰 속도를 정한다.

🔑 메모리 계층은 셀의 종류보다 프로세서와의 거리 · 데이터 폭으로 나뉜다 — 같은 1T1C DRAM 셀도 보드의 채널에 두면 51.2 GB/s, 패키지 안에 쌓으면 스택 하나가 819.2 GB/s 다.

6비교 — 메모리와 관련 기술의 경계

기준메모리트랜지스터웨이퍼웨이퍼 테스트칩 적층 · 접합
묻는 질문비트를 어떤 셀 · 계층에 담나스위치를 어떤 구조로 켜고 끄나무엇 위에 만드나다이의 비트가 맞나다이를 어떻게 쌓아 잇나
정하는 것셀 · 배열 · 인터페이스 폭게이트 구조 · 문턱 전압기판 결정 · 평탄도시험 패턴 · 리페어 주소TSV · 범프 · 본딩 조건
결과 값보존 시간 · 실패 비트 · 대역폭문턱 전압 · 누설 · 구동 전류결함 밀도 · 비저항웨이퍼 맵 · 여분 사용 수스택 수율 · 휨
넘기는 곳셀 트랜지스터 사양은 트랜지스터로 · 쌓기는 칩 적층으로접근 트랜지스터를 메모리 셀로기판을 메모리 · 트랜지스터에리페어 주소를 레이저 리페어 장비로완성 스택을 패키지 테스트로

분석셀 하나의 전기 값이 목표를 벗어나면 트랜지스터, 셀 값은 맞는데 배열 · 계층에서 실패 비트 · 대역폭이 갈리면 메모리, 웨이퍼 테스트는 통과했는데 쌓은 뒤에 나쁘면 칩 적층을 먼저 본다. 근거는 표의 「결과 값」 행 — 다섯이 보는 값이 서로 다른 공정 단계에서 나온다.

7실무 진단 — 증상을 해당 메모리로 가르기

분석먼저 증상이 처리량 · 용량 · 비트 오류 가운데 무엇인지 가르고, 그다음 해당 메모리의 값을 본다. 처리량 · 용량 문제는 배치를 바꾸면 사라지지만(표 1 · 2행) 비트 오류는 셀에서 오므로(표 3 · 4행) 배치를 먼저 고치면 원인을 가린다.

#증상의심 원인해당 메모리확인 자료판정 기준
1연산기는 놀고 메모리 대역폭이 상한에 붙음데이터 폭 부족HBM · DRAM · PIM대역폭 계측 · 산술 강도읽은 바이트 ÷ 시간이 스택 · 채널 이론 폭에 가까움(동작 2 · 3단계)
2메모리가 모자라 페이지가 SSD 로 밀려남용량 부족CXL · DRAM운영체제 메모리 · 스왑 통계스왑 입출력이 0 이 아님
3온도 · 대기 시간에 따라 낱개 비트 오류셀 전하 누설DRAM실패 비트 지도 · 온도 기록고온 · 긴 대기에서 오류 수가 늘어남
4쓰기가 많은 볼륨에서 읽기 재시도 증가셀 마모낸드 · 3D NANDSSD 마모 지표 · 누적 쓰기량TLC 쓰기 · 지우기 약 1,000회에 가까움(Cai 2017 3.4절)

8현장 포인트

값어디서 나오나무엇을 알려 주나단위 · 주기
실패 비트 수 · 지도메모리 웨이퍼 테스터셀 · 배열 결함 위치비트 · 다이마다
리페어 여분 사용 수웨이퍼 테스트 · 레이저 리페어여분 행 · 열이 얼마나 남았나행 · 열 수 · 다이마다
보존 시간 분포DRAM 웨이퍼 · 패키지 시험가장 약한 셀의 여유ms · 온도별
문턱 전압 분포낸드 웨이퍼 테스트상태 사이 간격V · 블록마다
스택 연결 시험 결과HBM 적층 뒤 시험TSV · 범프 연결채널 · 스택마다
  • 여분 소진 — 공정 결함이 늘어도 리페어 여분이 남는 동안은 수율이 그대로라, 여분이 바닥나는 순간 수율이 한꺼번에 떨어진다(웨이퍼 테스트 · 레이저 리페어).
  • 분포 꼬리 — 평균 셀이 아니라 분포 끝의 약한 셀이 보존 · 문턱 전압 여유를 정해, 공정이 조금 흔들려도 꼬리가 먼저 시험 기준을 넘는다(DRAM · 낸드).
  • 적층 수율 곱 — 다이를 쌓으면 다이 수율이 곱해져, 다이 하나 99% 라도 12단이면 0.99¹² ≈ 88.6% 다(설명용 가정 값 · 원문 식 직접 계산).

분석메모리에서 AI 는 웨이퍼 테스트 값을 다이마다 한 줄로 묶어 벗어난 다이를 고르는 데 쓴다 — 실패 비트 수 · 여분 사용 수 · 보존 시간을 함께 넣은 Isolation Forest 로 정상 다이 무리에서 떨어진 다이를 골라 번인 · 신뢰성 시험으로 먼저 보낸다. 근거는 데이터 표 1 ~ 3행 — 세 값이 다이마다 함께 나와, 하나씩 기준과 견주면 놓치는 조합을 한 번에 본다.

현장 키워드
메모리 계층휘발비휘발데이터 폭실패 비트 지도리페어 여분보존 시간적층 수율

9오해와 사실

  • 오해HBM 은 DRAM 과 다른 새 메모리 셀이다.
    사실HBM 은 같은 1T1C DRAM 다이를 쌓아 1,024비트 폭으로 패키지 안에 붙인 것이고, 달라진 것은 놓인 곳과 폭이다(JESD238 · 동작 3단계).
  • 오해차세대 메모리가 나오면 DRAM · 낸드는 곧 사라진다.
    사실IRDS 2024 는 플래시를 비휘발 메모리의 기준으로 두고 새 메모리를 그와 견주며, 상용 STT-MRAM 은 주로 로직 칩의 내장 플래시 자리에 들어간다(IRDS BC 2024 2.1 · 2.2.1.1절).

10핵심 정리

종류계층 위치읽기 폭 예전원을 끄면막히는 한계현장 값
SRAM코어 옆다이 안 배선사라짐셀 면적 · 낮은 전압 여유실패 비트맵 · Vmin
HBM패키지 안스택당 819.2 GB/s(HBM3)사라짐열 · 적층 수율스택 연결 시험
DRAM보드채널당 51.2 GB/s(DDR5-6400)사라짐커패시터 · 리프레시보존 시간
CXL링크 너머링크 폭 · 속도장치 셀을 따름추가 지연링크 폭 · 속도
낸드 · 3D NAND저장 장치장치 인터페이스남음마모 · 깊은 홀 식각문턱 전압 분포
차세대 메모리로직 다이 배선 사이내장 메모리 폭남음보존 ↔ 쓰기 에너지셀 저항 분포
PIM메모리 쪽 연산칩 밖 이동을 줄임셀을 따름산술 강도연산기 불량 위치

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ International Roadmap for Devices and Systems 2024 Update - Beyond CMOS and Emerging Research Materials — 휘발 · 비휘발로 메모리를 나누고 플래시를 기준으로 새 메모리를 견주는 틀을 볼 때
    IEEE IRDS · 2024-12 · irds.ieee.org/images/files/pdf/2024/2024IRDS_BC.pdf · 확인 2026-11-14
  3. ★ JEDEC Publishes HBM3 Update to High Bandwidth Memory (HBM) Standard (JESD238) press release — HBM3 스택 하나의 핀 속도와 데이터 폭을 볼 때
    JEDEC · 2022-01 · www.jedec.org/news/pressreleases/jedec-publishes-hbm3-update-high-bandwidth-memory-hbm-standard · 확인 2026-11-14
  4. ★ Error Characterization, Mitigation, and Recovery in Flash-Memory-Based Solid-State Drives (Y. Cai 외) Proceedings of the IEEE 105(9) · arXiv 1706.08642 — 낸드의 쓰기 · 지우기 내구성이 세대마다 어떻게 줄었는지 볼 때
    IEEE · arXiv 저자 공개판 · 2017-09 · arxiv.org/abs/1706.08642 · 확인 2026-11-14
  5. ★ 1970 - MOS Dynamic RAM Competes with Magnetic Core Memory on Price — 반도체 DRAM 이 자기 코어를 주 메모리에서 밀어낸 과정을 볼 때
    Computer History Museum · 2026-11 · www.computerhistory.org/siliconengine/mos-dynamic-ram-competes-with-magnetic-core-memory-on-price/ · 확인 2026-11-14
  6. 본문 근거
  7. JEDEC Publishes New DDR5 Standard (JESD79-5) press release — JEDEC · 2020-07 · www.jedec.org/news/pressreleases/jedec-publishes-new-ddr5-standard-advancing-next-generation-high-performance · 확인 2026-11-14
  8. 1966 - Semiconductor RAMs Serve High-speed Storage Needs — Computer History Museum · 2026-11 · www.computerhistory.org/siliconengine/semiconductor-rams-serve-high-speed-storage-needs/ · 확인 2026-11-14
  9. New ultra high density EPROM and flash EEPROM with NAND structure cell (F. Masuoka 외) IEDM Technical Digest — IEEE · 1987-12 · doi.org/10.1109/IEDM.1987.191485 · 확인 2026-11-14
  10. Hitting the Memory Wall: Implications of the Obvious (W. A. Wulf · S. A. McKee) ACM SIGARCH Computer Architecture News 23(1) — ACM · 1995-03 · doi.org/10.1145/216585.216588 · 확인 2026-11-14