PIM(메모리 내 연산)Processing-in-Memory
메모리 칩 안이나 바로 옆에 연산기를 두어, 데이터를 프로세서로 옮기지 않고 데이터가 있는 곳에서 계산하는 메모리 구조다. 네트워크의 멀티캐스트 라우팅 프로토콜 PIM 과는 다른 개념이다.
1요약
- PIM 은 연산기를 프로세서 쪽이 아니라 메모리 쪽(DRAM 뱅크 옆 · 메모리 모듈 버퍼 칩 · 셀 배열 자체)에 두는 구조로, 1969 ~ 1970년 논리-메모리 제안 뒤 2020년대에 AI 추론용 DRAM 시제품이 학회에 보고됐다(Mutlu 외 2025).
- 주기억 장치 접근 한 번의 에너지는 배정밀도 덧셈의 약 800배이고, 모바일 소비자 작업에서 시스템 에너지의 62.7% 가 데이터 이동에 쓰인다(Mutlu 외 2025 4 · 7절).
- PIM 이 이득을 내는지는 산술 강도(옮긴 1바이트당 연산 수)로 가른다 — 1 FLOP/바이트 안팎인 행렬-벡터 곱은 이득이 크고, 같은 가중치를 수십 번 다시 쓰는 행렬-행렬 곱은 프로세서 쪽이 낫다.
2등장 배경
프로세서 연산 성능이 메모리 속도보다 훨씬 빨리 늘어, 1995년 «메모리 벽» 논문은 머지않아 프로그램 실행 시간이 메모리 접근 시간으로 정해진다고 경고했다(Wulf · McKee 1995). 서버 하드웨어의 최대 연산 성능은 지난 20년 동안 2년에 3.0배 늘었지만 DRAM 대역폭은 2년에 1.6배 늘었다(Gholami 외 2024).
메모리 안에 연산을 두자는 생각은 1969 ~ 1970년 논리-메모리 제안과 1997년 IRAM 제안으로 이어졌으나, DRAM 공정에서 만든 로직이 느려 당시에는 널리 쓰이지 못했다(Mutlu 외 2025 참고 문헌). DRAM 은 배선층을 3개만 쓰고 프로세서는 10개 넘게 쓰기 때문이다(Gómez-Luna 외 2022 1절).
다시 주목받은 계기는 3D 적층 메모리의 로직 다이와 대형 AI 모델이다. 언어 모델이 토큰 하나를 만들 때마다 가중치 전체를 메모리에서 한 번씩 읽어야 하므로, 연산기보다 메모리 대역폭이 먼저 한계가 된다(Gholami 외 2024).
3쉽게 이해하기 — 지하 서고의 줄마다 둔 보조원
회계사 윤 씨는 위층 사무실에서 일하고, 장부 4,096권은 지하 서고의 서가 16줄에 꽂혀 있다. 엘리베이터는 한 번에 몇 권만 실을 수 있어서, 장부를 모두 올려 계산하면 하루가 나르는 일로 끝난다. 그래서 윤 씨는 줄마다 보조원을 한 명씩 두고 같은 계산표 사본을 내려보낸다. 보조원들은 동시에 자기 줄 장부 256권을 넘기며 계산표대로 곱해 더하고, 결과를 적은 쪽지 한 장씩만 올려 보낸다.
그림 1 · 장부를 올리지 않고 줄마다 보조원이 계산해 쪽지만 올리듯, PIM 은 가중치를 메모리에 둔 채 뱅크마다 연산하고 결과만 프로세서로 보낸다.
그림 2 · 보조원은 장부 256권을 서가 앞 책상에서만 넘기고 쪽지 한 장을 내놓듯, 뱅크 연산기는 행 256개를 행 버퍼로 열어 곱-누산하고 512바이트만 내보낸다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 회계사 윤 씨 | 호스트 프로세서 | 데이터 배치 · PIM 명령 · 최종 결과를 맡는다 |
| 엘리베이터 | 메모리 채널 · 버스 | 칩 밖으로 나가는 좁은 통로로, 대역폭이 한정된다 |
| 서가 한 줄의 장부 | 뱅크에 둔 가중치 행 | 연산 내내 메모리에 머문다 |
| 줄마다 둔 보조원 | 뱅크 연산기 | 행 버퍼의 데이터를 곱-누산한다 |
| 계산표 사본 | 입력 벡터 방송 | 모든 연산기 레지스터에 같은 값을 둔다 |
| 결과 쪽지 | 부분 결과 | 뱅크마다 행 결과만 채널로 보낸다 |
| 줄끼리 쪽지를 못 주고받음 | 연산기 사이 통신 없음 | 합치기 · 동기화는 호스트를 거친다 |
⚠ 비유가 맞지 않는 곳: 보조원은 아무 계산이나 하지만 뱅크 연산기는 곱-누산 같은 몇 가지 명령만 한다. 또 셀 배열 자체가 전류로 곱을 내는 아날로그 방식은 이 비유의 «보조원» 없이 서가가 스스로 계산하는 셈이다.
4구조 · 동작 — 언어 모델 한 계층의 행렬-벡터 곱
PIM 은 연산기를 데이터에서 얼마나 가까이 두느냐로 나뉜다(Mutlu 외 2025 5.2절). 메모리 근처 연산(PNM)은 모듈 버퍼 칩이나 칩 안 뱅크 옆에 디지털 연산기를 더하고, 메모리 이용 연산(PUM)은 셀 배열의 아날로그 동작 자체를 연산에 쓴다.
| 방식 | 연산기 위치 | 연산 | 보고 값 · 근거 |
|---|---|---|---|
| 버퍼 칩 근처 연산 | 메모리 모듈 버퍼 칩 | 임베딩 합 같은 전용 연산 | 처리량 4.2배 · 메모리 에너지 45.8% 절감(Ke 외 2020) |
| 뱅크 단위 PIM | DRAM 뱅크 옆 | FP16 곱-누산 SIMD | 뱅크 둘에 16레인 하나 · 1.2 TFLOPS(Mutlu 외 2025 8.7절) |
| 칩 안 범용 코어 | 뱅크마다 코어 | 정수 연산 · C 프로그램 | 코어 2,556개 · CPU 대비 평균 93.0배(16개 중 13개 작업 · Gómez-Luna 외 2022) |
| 아날로그 인메모리 연산 | 셀 배열(크로스바) | 행렬-벡터 곱 | 옴 · 키르히호프 법칙 · ADC 4비트 이상(Sebastian 외 2020) |
그림 3 · 연산기는 버퍼 칩 · 뱅크 옆 · 셀 배열로 데이터에 가까워질수록 칩 밖으로 나가는 바이트가 줄지만, 할 수 있는 연산은 좁아진다.
사례는 언어 모델 한 계층의 행렬-벡터 곱이다(값은 설명용 가정 값 · 바이트는 원문 식 직접 계산).
- 가중치 배치 — 4,096 × 4,096 FP16 가중치(32 MiB)를 행 방향으로 나눠 연산기 16개의 뱅크에 256행씩(2 MiB) 미리 둔다.
- 입력 방송 — 호스트가 입력 벡터 4,096개(8 KiB)를 채널로 한 번 보내 모든 연산기 레지스터에 같은 사본을 둔다.
- 모드 전환 — 호스트가 PIM 명령을 보내 뱅크들을 일반 읽기 · 쓰기 대신 연산 모드로 바꾼다.
- 곱-누산 — 뱅크마다 행을 행 버퍼로 열고 연산기가 입력 벡터와 곱-누산한다. 16개 뱅크가 동시에 일하고 가중치 2 MiB 는 칩 밖으로 나가지 않는다.
- 부분 결과 회수 — 뱅크마다 결과 256개(512 B)를 채널로 돌려보내 모두 8 KiB 가 된다.
- 바이트 대조 — 채널로 오간 양은 입력 8 KiB + 결과 8 KiB = 16 KiB 로, 가중치를 모두 읽어 오는 방식(32 MiB 이상)의 약 2,000분의 1 이다.
- 다음 토큰 — 가중치는 뱅크에 그대로 두고 2 ~ 6 을 되풀이한다.
그림 4 · 일반 방식은 토큰마다 가중치 32 MiB 를 채널로 읽어 오지만, PIM 은 입력 8 KiB 를 내려보내고 결과 8 KiB 만 받아 채널 이동이 약 2,000분의 1 로 준다.
같은 가중치를 입력 64개(배치 64)에 함께 쓰면 산술 강도가 약 62 FLOP/바이트로 올라, 프로세서 캐시 안에서 가중치를 여러 번 다시 쓰는 쪽이 유리해진다. 그래서 PIM 의 표준 쓰임은 배치가 작은 추론의 행렬-벡터 곱 · 임베딩 조회처럼 대역폭에 묶인 연산이다(Gómez-Luna 외 2022 · Ke 외 2020).
🔑 PIM 은 연산을 빠르게 하는 기술이 아니라 칩 밖으로 옮기는 바이트를 줄이는 기술이다 — 그래서 이득은 연산기 성능이 아니라 산술 강도가 정한다.
5비교 — GPU 가속기와 PIM
| 기준 | GPU 가속기 | PIM |
|---|---|---|
| 줄이는 것 | 연산 시간(연산기 수 · 넓은 메모리 통로) | 칩 밖으로 옮기는 바이트 |
| 맞는 작업 | 같은 가중치를 여러 입력에 다시 쓰는 큰 배치 | 토큰마다 가중치를 한 번씩 읽는 작은 배치 추론 · 임베딩 조회 |
| 연산 범위 | 범용 · 부동소수점 | 곱-누산 같은 좁은 명령 |
| 할 일 나눔 | 프로세서가 모두 맡음 | 배치 · 합치기 · 제어는 호스트 |
| 언어 모델 추론(8대끼리) | 기준 | CXL 메모리 확장기 근처 연산 — 지연 23% 낮음 · 에너지 효율 2.8배 |
분석가중치를 다시 쓰는 큰 배치 연산은 GPU 가속기, 토큰마다 가중치를 읽는 작은 배치 추론은 PIM 이 맞다. 근거는 표의 「맞는 작업」 행과 8대끼리 견준 추론 보고 값(Mutlu 외 2025 8.7절)이다.
6실무 진단 — PIM 을 켜도 빨라지지 않을 때
분석먼저 그 연산의 산술 강도를 계산하고, 그다음 연산기마다 끝나는 시간 · 호스트 동기화 시간을 본다. 산술 강도가 높으면 PIM 대상이 아니고, 낮은데도 느리면 데이터 배치나 연산기 사이 통신이 원인이기 때문이다(Gómez-Luna 외 2022 3 ~ 5절).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | PIM 결과가 프로세서보다 느림 | 산술 강도 높음(배치 큼) | 작업 선택 | 연산 수 ÷ 옮긴 바이트 | 루프라인에서 메모리 한계 구간 밖이면 프로세서 쪽(Gómez-Luna 외 2022 3.3절) |
| 2 | 일부 연산기만 늦게 끝남 | 가중치 배치 불균형 | 데이터 배치 | 연산기별 작업량 · 시간 | 블록 크기가 같아야 병렬 전송(Gómez-Luna 외 2022 2.1절) |
| 3 | 연산보다 동기화가 길다 | 연산기 사이 직접 통신 없음 | 프로그래밍 모델 | 호스트 전송 시간 비율 | 합치기는 호스트 경유(Gómez-Luna 외 2022 2.3절) |
| 4 | 아날로그 결과 오차가 큼 | ADC 범위 · 전도도 편차 | 셀 · 주변 회로 | 기준 입력 결과 대조 | ADC 4비트 이상 · 입출력 범위 조정(Sebastian 외 2020) |
7현장 포인트
| 값 | 어디서 나오나 | 무엇을 알려 주나 | 단위 · 주기 |
|---|---|---|---|
| 연산기 기능 시험 결과 | 웨이퍼 테스트 · 패키지 테스트 | 연산기 불량이 셀 불량과 따로 나는가 | 합격 · 불합격 · 다이마다 |
| 연산 모드 전류 | 패키지 테스트 · 시스템 전력 측정 | 연산 중 전원 · 발열 한계 | mA · 시험마다 |
| 다이 온도 | 온다이 온도 센서 | 연산 발열이 리프레시 · 동작 조건에 주는 영향 | °C · 동작 중 |
| 셀 전도도 분포 | 아날로그 배열 읽기 시험 | 가중치를 정확히 담았는가 | µS · 프로그램 뒤 |
| 기준 입력 결과 오차 | 시스템 자체 시험 | 연산 결과 정확도 | % · 배치마다 |
- 아날로그 셀 전도도의 시간 변화 · 편차 → 같은 가중치의 결과 오차가 몇 주에 걸쳐 커져 재프로그램이 필요함(셀 배열 · Sebastian 외 2020)
- 연산기를 넣은 다이는 같은 면적에 셀을 덜 담음 → 용량 · 수율 계획이 일반 DRAM 과 달라짐(설계 · 공정)
- DRAM 공정의 적은 배선층 · 느린 로직 → 곱셈 · 부동소수점이 소프트웨어 에뮬레이션으로 빠지기 쉬움(공정 · Gómez-Luna 외 2022)
분석웨이퍼 테스트의 연산기 불량 위치를 다이 좌표로 모아 이상 탐지로 셀 불량 패턴과 가르고, 아날로그 배열은 기준 입력 오차의 추세로 재프로그램 시점을 정한다. 연산기와 셀은 같은 다이에 있어도 불량 원인 공정이 달라, 따로 보아야 수율 원인이 섞이지 않기 때문이다.
현장 키워드
메모리 벽데이터 이동 에너지산술 강도뱅크 병렬성버퍼 칩크로스바ADC 정밀도연산 모드
8오해와 사실
- 오해PIM 은 프로세서를 메모리로 대신하는 기술이다.사실연산기는 곱-누산 · 정수 연산 같은 좁은 명령만 하고, 데이터 배치 · 합치기 · 제어는 호스트가 맡는다(Gómez-Luna 외 2022 2.3절).
- 오해PIM 은 모든 AI 연산을 빠르게 한다.사실이득은 산술 강도가 1 FLOP/바이트 안팎인 행렬-벡터 곱 · 임베딩 조회에서 크고, 가중치를 다시 쓰는 큰 배치 행렬 곱에서는 줄어든다(Gholami 외 2024).
- 오해PIM 은 아날로그 신소자가 있어야 만든다.사실오늘 보고된 시제품 다수는 일반 DRAM 공정에 디지털 연산기를 더한 메모리 근처 연산이다(Mutlu 외 2025 8.7절).
9핵심 정리
| 구분 | 연산기 위치 | 하는 연산 | 칩 밖 이동 | 보는 값 | 과제 |
|---|---|---|---|---|---|
| 일반 방식 | 프로세서 | 모든 연산 | 가중치 전체 | 대역폭 · 캐시 적중 | 메모리 벽 |
| 버퍼 칩 근처 연산 | 모듈 버퍼 칩 | 전용 연산(임베딩 합) | 결과만 | 처리량 · 모듈 에너지 | 연산 종류 좁음 |
| 뱅크 단위 PIM | DRAM 뱅크 옆 | FP16 곱-누산 | 입력 · 결과 | 연산 모드 전류 · 온도 | 셀 면적 감소 |
| 칩 안 범용 코어 | 뱅크마다 코어 | 정수 C 프로그램 | 입력 · 결과 | 코어별 시간 | 곱셈 · 부동소수점 에뮬레이션 |
| 아날로그 인메모리 연산 | 셀 배열 | 행렬-벡터 곱 | 입력 · 결과 | 전도도 · 오차 | ADC · 드리프트 |
| 산술 강도 | — | 연산 ÷ 옮긴 바이트 | — | 1 FLOP/바이트(사례) | 높으면 PIM 이득 없음 |
10참고 문헌
- 먼저 볼 문헌
- ★ A Modern Primer on Processing in Memory (O. Mutlu 외) arXiv:2012.03112v5 — 메모리 이용 연산(PUM)과 메모리 근처 연산(PNM)의 구분 · 데이터 이동 에너지 수치를 볼 때
- ★ Benchmarking a New Paradigm: An Experimental Analysis of a Real Processing-in-Memory Architecture (J. Gómez-Luna 외) arXiv:2105.03814v7 — DRAM 칩 안 코어의 실측 성능 · 프로그래밍 모델 · 잘 맞는 작업을 볼 때
- ★ RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing (L. Ke 외) arXiv:1912.12953 · ISCA 2020 — 메모리 모듈 버퍼 칩에 연산기를 둔 구조와 효과를 볼 때
- ★ Memory devices and applications for in-memory computing (A. Sebastian 외) Nature Nanotechnology 15 · 저자 원고 — 셀 배열에서 아날로그로 행렬-벡터 곱을 하는 원리와 ADC · 정밀도 과제를 볼 때
- 본문 근거
- AI and Memory Wall (A. Gholami 외) arXiv:2403.14123 · IEEE Micro — arXiv · IEEE Micro · 2024-03 ·
arxiv.org/abs/2403.14123· 확인 2026-11-09 - Hitting the Memory Wall: Implications of the Obvious (W. A. Wulf · S. A. McKee) ACM SIGARCH Computer Architecture News 23(1) — ACM · 1995-03 ·
doi.org/10.1145/216585.216588· 확인 2026-11-09