HBM고대역폭 메모리 · High Bandwidth Memory
DRAM 다이 여러 장을 실리콘 관통 전극(TSV)으로 쌓아 프로세서 바로 옆 인터포저에 붙이고, 1,024비트 이상의 넓은 데이터 폭으로 읽고 쓰는 메모리 표준이다.
1요약
- HBM 은 JEDEC 이 JESD235(2013)로 처음 정하고 JESD270-4(HBM4 · 2025)까지 이어 온 패키지 안 메모리로, AI 가속기의 가중치 · 활성값 읽기와 쓰기가 이 위에서 돈다.
- 보드 위 메모리는 핀을 늘리기 어려워 데이터 폭이 막힌다 — 같은 핀 속도 6.4 Gb/s 에서 DDR5 DIMM 채널 하나는 51.2 GB/s, HBM3 스택 하나는 819 GB/s 다(JESD238 · 원문 식 계산).
- 「메모리가 병목이다」는 채널 쏠림 · 열 · 스택 결함으로 가른다 — 채널 사용률이 고르지 않으면 주소 배치, 부하 뒤에 처리량이 떨어지면 열, 오류가 한 채널에 몰리면 스택 쪽을 먼저 본다.
2등장 배경
보드 위 메모리는 칩을 패키지에 담아 배선을 PCB 로 뺀다. 프로세서 코어와 데이터셋이 커져도 패키지 핀과 보드 배선은 쉽게 늘지 않아, 대역폭을 올리려면 핀 속도와 전력을 함께 올려야 했다. JESD235A 발표문은 HBM 의 목적을 «개별 패키지 메모리가 받쳐 주는 수준을 넘어 시스템 대역폭 증가를 잇는 것»으로 적었다(JESD235A).
JEDEC 은 2013년 10월 JESD235(위키백과 HBM 참조 목록) · 2016년 1월 JESD235A(의사 채널 · 8단) · 2022년 1월 JESD238 HBM3(채널 16개 · 온다이 ECC) · 2025년 4월 JESD270-4 HBM4(폭 2,048비트)로 표준을 넓혔다. 공통 재료는 Wide I/O 구조와 TSV 다(JESD235B).
지금 HBM 은 연산 성능이 메모리 대역폭에 묶이는 GPU · NPU 의 패키지에 함께 들어간다. HBM4 표준은 2025년 12월 개정판 JESD270-4A(Version 1.1)까지 나왔다.
3쉽게 이해하기 — 열람실 바로 옆 12층 서고
김 연구원은 열람실에서 하루에 책 수천 권을 훑는다. 예전에는 멀리 있는 창고에서 트럭이 좁은 길로 책을 날랐다. 이제 열람실 바로 옆에 12층 서고를 붙여 넓은 복도로 잇고, 1층 사서실이 신청을 받아 리프트로 각 서가에 전달한다. 복도에 창구가 많아 사서가 빨리 뛰지 않아도 책이 한꺼번에 나온다.
그림 1 · 열람실 신청은 1층 사서실과 리프트를 거쳐 서가에 닿고, 책은 넓은 복도의 많은 창구로 동시에 돌아온다 — 멀리 있는 창고는 길이 좁다.
그림 2 · 걸음 속도가 같아도 창구가 16배면 나르는 양도 16배다 — 실제로는 같은 6.4 Gb/s 에서 64비트와 1,024비트의 차이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 김 연구원 · 열람실 | 호스트 프로세서 · 메모리 제어기 | 읽기 · 쓰기 명령을 내고 데이터를 받는다 |
| 책 | 데이터(HBM3 = 한 번에 32바이트) | 가중치 · 활성값 |
| 12층 서고 | DRAM 스택 | 메모리 칩을 한 덩어리로 쌓아 용량을 만든다 |
| 서가 | 코어 다이 · 뱅크 | 셀에 데이터를 저장한다 |
| 리프트 | TSV | 다이를 뚫고 명령 · 데이터 · 전원을 나른다 |
| 1층 사서실 | 베이스 다이 | 프로세서 쪽 PHY · 시험 로직 · TSV 연결 |
| 넓은 복도 | 실리콘 인터포저 | 프로세서와 스택을 짧고 많은 배선으로 잇는다 |
| 창구 | 채널 · 의사 채널 | 서로 독립으로 요청을 처리해 폭을 나눠 쓴다 |
⚠ 비유가 맞지 않는 곳: 서고는 책을 꺼내도 그대로 남지만 DRAM 은 주기적으로 리프레시하지 않으면 값을 잃고, 온도가 오르면 더 자주 해야 한다. 또 HBM 의 열은 맨 아래 베이스 다이에서 많이 나서 스택 위쪽 방열판까지 모든 다이를 지나야 한다(Sperling 2026).
4구조 — 스택 · 베이스 다이 · 인터포저
그림 3 · 코어 다이의 세로 길(TSV)과 인터포저의 가로 길이 함께 넓어야 1,024비트 이상이 프로세서까지 닿는다 — 패키지 기판까지 내려가면 그 폭이 유지되지 않는다.
| 요소 | 재료 · 크기 | 역할 | 대표 값 | 근거 |
|---|---|---|---|---|
| 코어 다이 | DRAM · 24 · 32 Gb(HBM4) | 데이터 저장 · 리프레시 | 두께 30 ~ 50 µm | JESD270-4 · Moyer 2026 |
| TSV | 다이를 관통하는 구리 전극 | 명령 · 데이터 · 전원의 세로 길 | 스택당 수만 개 | Sperling 2026 |
| 마이크로 범프 | 다이 사이 접합 | 세로 길의 이음매 | 피치 55 µm(HBM2) | Hot Chips 2016 |
| 베이스 다이 | 로직 다이 | PHY · TSV 영역 · 시험(DFT) · 수리 | IEEE 1500 시험 | Hot Chips 2016 |
| 실리콘 인터포저 | 미세 배선 실리콘 판 | 프로세서 ↔ 스택 가로 길 | 1,024비트 이상 | Hot Chips 2016 · JESD238 |
| 채널 · 의사 채널 | 논리 구분 | 서로 독립인 접근 단위 | HBM4 = 채널 32 × 의사 채널 2 | JESD270-4 |
다이를 붙이는 방식은 스택의 열과 수율을 함께 정한다. 대량 생산에는 표의 앞 두 방식을 쓰고, 하이브리드 본딩은 공정 난도와 비용이 더 높다(TCB 백서 2026 · Moyer 2026).
| 방식 | 접합 방법 | 강점 | 어려움 |
|---|---|---|---|
| MR-MUF | 범프를 한 번에 녹이고 언더필을 몰딩 | 언더필 열전도가 높고 한 공정으로 끝남 | 전체 가열 시 휨 · 틈 높이 제어 |
| TC-NCF | 다이마다 열 · 압력 + 필름 | 20 µm 미만 피치 · 틈 높이 · 얇은 다이 휨 제어 | 처리량 · 비용 · 필름 열전도 0.2 W/m·K |
| 하이브리드 본딩 | 범프 없이 구리 패드끼리 직접 | 한 자릿수 µm 피치 · 다이 사이 열 저항 감소 | 패드 표면 오염 · 시험 손상에 민감 |
⚠ 앞 두 방식의 열 우열은 재료 · 틈 높이 조건에 따라 공개 결과가 갈린다. 표의 필름 값은 Song 2025 모델의 값이고, 언더필 쪽 설명은 TCB 백서 2026 의 정성 비교다.
🔑 세로 길(TSV)과 가로 길(인터포저)은 폭을 지키는 짝이다. 어느 한쪽이 PCB 수준 배선으로 나가는 순간 1,024비트를 유지할 핀과 배선이 사라진다.
5동작 — HBM3 스택의 32바이트 읽기
설명용 가정 값 — HBM3 스택 · 12단 · 16 Gb 다이(용량 24 GB) · 핀 속도 6.4 Gb/s · 채널 5 · 의사 채널 1. 폭 · 버스트 값은 JESD238 · HBM3 기술 회보 기준이며, 나머지 계산은 원문 식으로 직접 했다.
- 가속기의 메모리 제어기가 읽을 주소를 채널 5 · 의사 채널 1 · 뱅크 · 행 · 열로 나눈다(나누는 규칙은 제어기 설계 몫).
- 제어기가 활성화(ACT) · 읽기(READ) 명령을 인터포저 배선으로 베이스 다이 PHY 에 보낸다.
- 베이스 다이가 TSV 로 그 명령을 해당 코어 다이까지 올린다.
- 코어 다이의 뱅크에서 256비트를 읽고 온다이 ECC 로 검사한다(JESD238).
- 데이터가 TSV 를 타고 베이스 다이로 내려온다.
- 베이스 다이가 의사 채널 데이터 핀 32개로 8박자를 보낸다 — 32비트 × 8 = 32바이트 · 8 ÷ 6.4 Gb/s = 1.25 ns 다.
- 나머지 의사 채널 31개도 독립으로 움직인다 — 32바이트 ÷ 1.25 ns = 25.6 GB/s · × 32 = 819.2 GB/s 로, 1,024비트 × 6.4 Gb/s ÷ 8 과 같다.
그림 4 · 한 번의 읽기는 32비트 × 8박자 = 32바이트에 1.25 ns 를 쓰고, 의사 채널 32개가 함께 움직여 819.2 GB/s 가 된다.
폭이 넓어 핀 속도를 무리하게 높이지 않아도 되지만, 그 폭을 만드는 다이 쌓기가 제조 쪽 값을 정한다. 단수가 늘면 열 경로가 길어지고 접합 횟수도 늘어난다.
그림 5 왼쪽은 공개 시뮬레이션 값(Song 2025 · 대기 45 ℃ · NCF 틈 모델 · 제품 측정값 아님)으로, DRAM 권고 85 ℃ 아래 · HBM 권장 최대 95 ℃ 와 비교한다. 오른쪽은 접합 하나의 성공률을 99 % · 98 %로 둔 설명용 가정 값의 누적 수율(성공률의 N 제곱 · 직접 계산)이다. 높이도 빠듯하다 — 다이 32 µm + 틈 15 µm(Song 2025) × 16단 = 752 µm 로 한도 775 µm 에 23 µm 만 남아, 16단은 다이와 틈을 더 줄인다(Sperling 2026).
그림 5 · 단수가 늘면 대역폭은 그대로인데 이 모델의 최고 온도는 95 ℃ 를 넘어서고 누적 수율은 계속 떨어진다.
🔑 단을 늘리면 용량만 오르고 대역폭은 그대로다. 그 용량의 값은 길어진 열 경로와 줄어든 누적 수율로 치른다.
6비교 — JEDEC 세대별 표준
| 세대 | 표준 · 발표 | 채널 × 폭(비트) | 핀 속도 | 스택 대역폭 | 최대 단 · 용량 |
|---|---|---|---|---|---|
| HBM | JESD235 · 2013 | 8 × 128 | 1 Gb/s | 128 GB/s | 4단 · 4 GB |
| HBM2 | JESD235A · 2016 | 8 × 128 | 2 Gb/s | 256 GB/s | 8단 · 8 GB |
| HBM2 개정 | JESD235B · 2018 | 8 × 128 | 2.4 Gb/s | 307 GB/s | 12단 · 24 GB |
| HBM2E(통칭) | JESD235C · 2020 | 8 × 128 | 3.2 Gb/s | 410 GB/s | 12단 · 24 GB |
| HBM3 | JESD238 · 2022 | 16 × 64 | 6.4 Gb/s | 819 GB/s | 16단 예약 · 64 GB |
| HBM4 | JESD270-4 · 2025 | 32 × 64 | 8 Gb/s | 2 TB/s | 16단 · 64 GB |
분석대역폭이 먼저 필요하면 세대를, 용량이 먼저 필요하면 단수와 다이 밀도를 고른다. 근거는 표의 「스택 대역폭」 · 「최대 단 · 용량」 행으로, 시스템에 약 4 TB/s 가 필요하다는 가정이면 HBM4 2개 · HBM3 5개다.
HBM3 는 총폭 1,024비트를 유지한 채 채널을 쪼갰고, HBM4 는 총폭을 2,048비트로 늘렸다. 표 값은 JEDEC 발표문 기준(초판 = 위키백과 HBM · JESD235C = JESD235C 기사)이며, JESD235D(2021) · JESD238B.01(2025) · JESD270-4A(2025)는 그 뒤 개정판이다.
7실무 진단 — 대역폭 · 열 · 스택 결함 가르기
분석채널별 사용률부터 본다. 트래픽 쏠림을 먼저 빼야 열과 하드웨어 결함을 구분할 수 있고, 이어서 처리량이 시간에 따라 떨어지는지, 오류가 특정 채널에 몰리는지를 본다(아래 표 1 ~ 3행).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 처리량이 계산 상한보다 한참 낮음 | 주소 배치로 채널 쏠림 | 제어기 · 주소 | 채널별 사용률 카운터 | 일부 채널만 포화면 쏠림(상한 = 폭 × 핀 속도 ÷ 8) |
| 2 | 부하 몇 분 뒤 처리량 하락 | 열 → 리프레시 증가 · 제한 동작 | 열 | 메모리 온도 센서 · 전력 로그 | 85 ℃ 권고 · 95 ℃ 권장 최대(Song 2025) |
| 3 | 정정 ECC 오류가 한 채널에 몰림 | 다이 · TSV 결함 | 스택 | 오류 보고 · 채널별 카운터 | 한 채널 집중 = 스택 쪽 · 전 채널 고른 증가 = 온도 · 전압(JESD238) |
| 4 | 2.5D 조립 뒤 시험에서 불량 | TSV · 범프 접합 끊김 | 조립 | IEEE 1500 시험 결과 | 여분으로 수리 가능하면 수리 · 아니면 폐기(Hot Chips 2016) |
| 5 | 적층 뒤 스택 전체 불량 | 언더필 보이드 · 정렬 어긋남 | 적층 공정 | 초음파 · X선 검사 | 다이 시험 합격인데 적층 후 불량 = 접합 공정(Sperling 2026) |
하나의 결함이 스택 전체를 버리게 할 수 있어(Moyer 2026), 적층 전 양품 다이(KGD) 시험과 적층 후 검사의 어느 쪽에서 걸렸는지가 원인 공정을 정한다.
8현장 포인트
| 값 | 어디서 나오나 | 알려 주는 것 | 단위 · 주기 |
|---|---|---|---|
| 다이 시험 결과 | 웨이퍼 테스터 | 적층 전 양품 · 수리 대상 | 합격 · 불량 · 다이마다 |
| 본딩 온도 · 압력 · 시간 | 본더 장비 로그 | 접합 조건 편차 | ℃ · N · 접합마다 |
| 틈 높이 · 정렬 오차 | 적층 뒤 계측 | 범프 접합 품질 | µm · 표본 |
| 다이 · 웨이퍼 휨 | 휨 측정 장비 | 정렬 · 접합 위험 | µm · 로트 |
| 언더필 보이드 | 초음파 · X선 검사 | 열 · 신뢰성 위험 | 면적 % · 스택 |
| TSV · 범프 수리 수 | IEEE 1500 시험 | 숨은 공정 드리프트 | 개 · 스택 |
| 동작 온도 · ECC 오류 | 스택 안 센서 · 오류 보고 | 운전 중 열과 열화 | ℃ · 건 · 운전 중 |
- 접합 피로 → 온도 순환마다 재료 열팽창 차이로 응력이 쌓임(Lee 2025) → 운전 시간이 늘수록 정정 오류가 서서히 증가한다.
- 본더 헤드 드리프트 → 온도 · 압력 분포가 조금씩 벌어짐 → 틈 높이 편차 증가가 불량보다 먼저 나타난다.
- 언더필 재료 · 조건 변화 → 로트 사이 보이드 면적 증가 → 스택 온도가 같은 부하에서 오른다.
- 방열 재료 열화 → 시스템 조립 뒤 열 저항 증가 → 같은 작업에서 메모리 온도와 리프레시 횟수가 오른다.
분석적층 라인에서 AI 를 먼저 쓸 곳은 본딩 로그 · 휨 · 틈 높이를 스택별로 묶어 불량 스택을 미리 가려내는 이상 탐지다. 스택 하나의 불량이 쌓인 다이 전부를 잃게 하므로 조기 판별의 값이 크다(위 표 2 ~ 5행).
본더 헤드 교체 시점을 추세로 정하는 일은 예지 보전 토픽의 방법을 쓴다.
현장 키워드
TSV마이크로 범프베이스 다이KGD언더필 보이드휨틈 높이의사 채널
9오해와 사실
- 오해HBM 은 핀이 빨라서 대역폭이 높다.사실핀 속도만 보면 HBM3 6.4 Gb/s 는 DDR5-6400 과 같고, 16배의 차이는 1,024비트와 64비트의 폭에서 나온다(JESD238 · JESD79-5D).
- 오해HBM 은 DIMM 처럼 나중에 꽂아 늘릴 수 있다.사실스택은 프로세서와 함께 인터포저에 조립되므로(Hot Chips 2016) 용량과 스택 수는 패키지 설계 때 정해지고 소켓 증설을 하지 않는다.
- 오해JEDEC 표준이 접합 공법까지 정한다.사실표준은 신호 · 전압 · 채널 · 단수 같은 인터페이스를 정하고, MR-MUF · TC-NCF 는 함께 대량 생산에 쓰인다(TCB 백서 2026) — 다만 스택 높이 한도는 공법 선택에 영향을 준다(Moyer 2026).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 | 어디 표준 · 근거 | 막히면 보이는 것 |
|---|---|---|---|---|
| 코어 다이 | 데이터 저장 | 24 · 32 Gb · 4 ~ 16단 | JESD270-4 | ECC 오류 · 리프레시 증가 |
| TSV · 범프 | 세로 연결 | 수만 개 · 피치 55 µm(HBM2) | Sperling 2026 · Hot Chips 2016 | 끊김 · 수리 수 증가 |
| 베이스 다이 | PHY · 시험 · 수리 | IEEE 1500 | Hot Chips 2016 | 시험 실패 · 열원 |
| 인터포저 | 가로 연결 | 1,024 ~ 2,048비트 | JESD238 · JESD270-4 | 조립 불량 · 신호 품질 저하 |
| 채널 · 의사 채널 | 독립 접근 단위 | HBM3 32 · HBM4 64 의사 채널 | JESD238 · JESD270-4 | 채널 쏠림 |
| 열 | 단수의 값 | 85 ℃ · 95 ℃ 기준 | Song 2025 | 제한 동작 · 처리량 하락 |
| 수율 | 단수의 값 | 접합 수만큼 곱 | 직접 계산 · Moyer 2026 | 스택 통째 폐기 |
| 세대 선택 | 대역폭 · 용량 결정 | 819 GB/s → 2 TB/s | JESD238 · JESD270-4 | 스택 수 · 비용 |
11참고 문헌
- 먼저 볼 문헌
- ★ JESD270-4 HBM4 standard release (JEDEC press release · StorageNewsletter reprint) — HBM4 의 폭 · 채널 · 단수 · 용량 · 전압을 볼 때
- ★ JEDEC Publishes HBM3 Update to High Bandwidth Memory (HBM) Standard (JESD238) — HBM3 의 채널 · 의사 채널 · 온다이 ECC 를 볼 때
- ★ What Designers Need to Know About HBM3 (technical bulletin) — 의사 채널 폭과 버스트 길이가 32바이트 접근으로 이어지는 이유를 볼 때
- ★ The Era of High Bandwidth Memory (Hot Chips 28 tutorial) — 베이스 다이 구성 · 범프 피치 · 시험 흐름 · 패키지 뒤 수리를 볼 때
- ★ Comparative Study of Thermal Dissipation in Increasing DRAM Layers of HBM Using 3D FEA Simulations (JSTS 25(2)) — 단수별 최고 온도와 모델 조건을 볼 때
- 본문 근거
- JESD270-4A High Bandwidth Memory (HBM4) DRAM — JEDEC · 2025-12 ·
www.jedec.org/standards-documents/docs/jesd270-4· 확인 2026-11-06 - JESD238B.01 High Bandwidth Memory (HBM3) DRAM — JEDEC · 2025-04 ·
www.jedec.org/standards-documents/docs/jesd238b01· 확인 2026-11-06 - JEDEC Updates Groundbreaking High Bandwidth Memory (HBM) Standard (JESD235B) — JEDEC · 2018-12 ·
www.jedec.org/news/pressreleases/jedec-updates-groundbreaking-high-bandwidth-memory-hbm-standard-0· 확인 2026-11-06 - JEDEC Updates Groundbreaking High Bandwidth Memory (HBM) Standard (JESD235A) — JEDEC · 2016-01 ·
www.jedec.org/node/5916· 확인 2026-11-06 - JESD235D High Bandwidth Memory (HBM) DRAM — JEDEC · 2021-03 ·
www.jedec.org/standards-documents/docs/jesd235a· 확인 2026-11-06 - HBM2E : la 3e génération du JEDEC (JESD235C 요약 기사) — Next · 2020-02 ·
next.ink/3003/hbm2e-3e-generation-jedec-sort-bois-samsung-lance-sa-flashbolt-jusqua-538-gos/· 확인 2026-11-06 - High Bandwidth Memory (참고: 위키백과 항목 · JESD235 초판 연월 · HBM 초판 값 확인) — Wikipedia · 2026-11 ·
en.wikipedia.org/wiki/High_Bandwidth_Memory· 확인 2026-11-06 - JESD79-5D DDR5 SDRAM — JEDEC · 2025-11 ·
www.jedec.org/standards-documents/docs/jesd79-5c· 확인 2026-11-06 - Thermal Issues Related to Hybrid Bonding of 3D-Stacked High Bandwidth Memory: A Comprehensive Review (Electronics 14(13)) — Lee · Kim · Lee · Rhi · 2025-07 ·
doi.org/10.3390/electronics14132682· 확인 2026-11-06 - HBM4 Sticks With Microbumps, Postponing Hybrid Bonding — Semiconductor Engineering · 2026-01 ·
semiengineering.com/hbm4-sticks-with-microbumps-postponing-hybrid-bonding/· 확인 2026-11-06 - Issues Stack Up With More HBM Layers — Semiconductor Engineering · 2026-08 ·
semiengineering.com/issues-stack-up-with-more-hbm-layers/· 확인 2026-11-06 - Thermocompression Bonding with Active Oxide Removal (white paper) — ASMPT · 2026-03 ·
d1c1fyrod5p5bz.cloudfront.net/semi/site/assets/files/22341/26-4090-asmpt_white-paper_tcb_aor_en_260327.pdf· 확인 2026-11-06