반도체 › 소자 · 소재 › 메모리

PIM(메모리 내 연산)Processing-in-Memory

메모리 칩 안이나 바로 옆에 연산기를 두어, 데이터를 프로세서로 옮기지 않고 데이터가 있는 곳에서 계산하는 메모리 구조다. 네트워크의 멀티캐스트 라우팅 프로토콜 PIM 과는 다른 개념이다.

1요약

  1. PIM 은 연산기를 프로세서 쪽이 아니라 메모리 쪽(DRAM 뱅크 옆 · 메모리 모듈 버퍼 칩 · 셀 배열 자체)에 두는 구조로, 1969 ~ 1970년 논리-메모리 제안 뒤 2020년대에 AI 추론용 DRAM 시제품이 학회에 보고됐다(Mutlu 외 2025).
  2. 주기억 장치 접근 한 번의 에너지는 배정밀도 덧셈의 약 800배이고, 모바일 소비자 작업에서 시스템 에너지의 62.7% 가 데이터 이동에 쓰인다(Mutlu 외 2025 4 · 7절).
  3. PIM 이 이득을 내는지는 산술 강도(옮긴 1바이트당 연산 수)로 가른다 — 1 FLOP/바이트 안팎인 행렬-벡터 곱은 이득이 크고, 같은 가중치를 수십 번 다시 쓰는 행렬-행렬 곱은 프로세서 쪽이 낫다.

2등장 배경

프로세서 연산 성능이 메모리 속도보다 훨씬 빨리 늘어, 1995년 «메모리 벽» 논문은 머지않아 프로그램 실행 시간이 메모리 접근 시간으로 정해진다고 경고했다(Wulf · McKee 1995). 서버 하드웨어의 최대 연산 성능은 지난 20년 동안 2년에 3.0배 늘었지만 DRAM 대역폭은 2년에 1.6배 늘었다(Gholami 외 2024).

메모리 안에 연산을 두자는 생각은 1969 ~ 1970년 논리-메모리 제안과 1997년 IRAM 제안으로 이어졌으나, DRAM 공정에서 만든 로직이 느려 당시에는 널리 쓰이지 못했다(Mutlu 외 2025 참고 문헌). DRAM 은 배선층을 3개만 쓰고 프로세서는 10개 넘게 쓰기 때문이다(Gómez-Luna 외 2022 1절).

다시 주목받은 계기는 3D 적층 메모리의 로직 다이와 대형 AI 모델이다. 언어 모델이 토큰 하나를 만들 때마다 가중치 전체를 메모리에서 한 번씩 읽어야 하므로, 연산기보다 메모리 대역폭이 먼저 한계가 된다(Gholami 외 2024).

3쉽게 이해하기 — 지하 서고의 줄마다 둔 보조원

회계사 윤 씨는 위층 사무실에서 일하고, 장부 4,096권은 지하 서고의 서가 16줄에 꽂혀 있다. 엘리베이터는 한 번에 몇 권만 실을 수 있어서, 장부를 모두 올려 계산하면 하루가 나르는 일로 끝난다. 그래서 윤 씨는 줄마다 보조원을 한 명씩 두고 같은 계산표 사본을 내려보낸다. 보조원들은 동시에 자기 줄 장부 256권을 넘기며 계산표대로 곱해 더하고, 결과를 적은 쪽지 한 장씩만 올려 보낸다.

위층 사무실 윤 씨 호스트 프로세서 계산표 입력 벡터 엘리베이터 채널 1 계산표 사본 3 쪽지만 올림 지하 서고 1번 줄 256권 2번 줄 256권 3번 줄 256권 … 16번 줄 2 줄마다 동시에 곱해 더함 뱅크 = 서가 한 줄 연산기 = 보조원 가중치 = 장부 데이터가 머무는 곳 연산기 호스트 · 채널 내려가는 입력 올라가는 결과

그림 1 · 장부를 올리지 않고 줄마다 보조원이 계산해 쪽지만 올리듯, PIM 은 가중치를 메모리에 둔 채 뱅크마다 연산하고 결과만 프로세서로 보낸다.

일 맡김윤 씨가 합계를 원함
계산표 사본줄마다 같은 표를 내림
줄마다 계산보조원 16명이 동시에
장부는 그대로장부는 서가를 떠나지 않음
쪽지 올림줄마다 결과 한 장
모아 보기윤 씨가 쪽지 16장을 받음
비유 · 서가 한 줄 장부 256권 보조원 책상 곱해 더함 계산표 쪽지 1장 장부는 서가 앞을 떠나지 않는다 실제 · 뱅크 하나 가중치 행 256개 · 2 MiB 행 버퍼(한 행씩) 뱅크 연산기 곱-누산(MAC) 입력 벡터 레지스터 8 KiB 사본 부분 결과 512 B 2 MiB 는 칩 안에서만 움직인다 값 = 설명용 가정 값(4,096 × 4,096 FP16 가중치를 연산기 16개에 나눔) · 1 MiB = 1,048,576바이트

그림 2 · 보조원은 장부 256권을 서가 앞 책상에서만 넘기고 쪽지 한 장을 내놓듯, 뱅크 연산기는 행 256개를 행 버퍼로 열어 곱-누산하고 512바이트만 내보낸다.

비유 속 역할실제 이름실제로 하는 일
회계사 윤 씨호스트 프로세서데이터 배치 · PIM 명령 · 최종 결과를 맡는다
엘리베이터메모리 채널 · 버스칩 밖으로 나가는 좁은 통로로, 대역폭이 한정된다
서가 한 줄의 장부뱅크에 둔 가중치 행연산 내내 메모리에 머문다
줄마다 둔 보조원뱅크 연산기행 버퍼의 데이터를 곱-누산한다
계산표 사본입력 벡터 방송모든 연산기 레지스터에 같은 값을 둔다
결과 쪽지부분 결과뱅크마다 행 결과만 채널로 보낸다
줄끼리 쪽지를 못 주고받음연산기 사이 통신 없음합치기 · 동기화는 호스트를 거친다

⚠ 비유가 맞지 않는 곳: 보조원은 아무 계산이나 하지만 뱅크 연산기는 곱-누산 같은 몇 가지 명령만 한다. 또 셀 배열 자체가 전류로 곱을 내는 아날로그 방식은 이 비유의 «보조원» 없이 서가가 스스로 계산하는 셈이다.

4구조 · 동작 — 언어 모델 한 계층의 행렬-벡터 곱

PIM 은 연산기를 데이터에서 얼마나 가까이 두느냐로 나뉜다(Mutlu 외 2025 5.2절). 메모리 근처 연산(PNM)은 모듈 버퍼 칩이나 칩 안 뱅크 옆에 디지털 연산기를 더하고, 메모리 이용 연산(PUM)은 셀 배열의 아날로그 동작 자체를 연산에 쓴다.

방식연산기 위치연산보고 값 · 근거
버퍼 칩 근처 연산메모리 모듈 버퍼 칩임베딩 합 같은 전용 연산처리량 4.2배 · 메모리 에너지 45.8% 절감(Ke 외 2020)
뱅크 단위 PIMDRAM 뱅크 옆FP16 곱-누산 SIMD뱅크 둘에 16레인 하나 · 1.2 TFLOPS(Mutlu 외 2025 8.7절)
칩 안 범용 코어뱅크마다 코어정수 연산 · C 프로그램코어 2,556개 · CPU 대비 평균 93.0배(16개 중 13개 작업 · Gómez-Luna 외 2022)
아날로그 인메모리 연산셀 배열(크로스바)행렬-벡터 곱옴 · 키르히호프 법칙 · ADC 4비트 이상(Sebastian 외 2020)
호스트 프로세서 채널 메모리 모듈 버퍼 칩 A 연산기 DRAM 칩 뱅크 뱅크 뱅크 뱅크 B 뱅크 연산기 B 뱅크 연산기 C 셀 배열(크로스바) 비휘발 메모리 · SRAM 배열 V1 V2 V3 ADC 셀 = 전도도 G(가중치) 열 전류 I = Σ G × V A → B → C · 데이터에 가까울수록 칩 밖 이동이 줄고 연산 종류는 좁아짐 데이터 · 셀 연산기 · ADC 호스트 · 채널

그림 3 · 연산기는 버퍼 칩 · 뱅크 옆 · 셀 배열로 데이터에 가까워질수록 칩 밖으로 나가는 바이트가 줄지만, 할 수 있는 연산은 좁아진다.

사례는 언어 모델 한 계층의 행렬-벡터 곱이다(값은 설명용 가정 값 · 바이트는 원문 식 직접 계산).

  1. 가중치 배치 — 4,096 × 4,096 FP16 가중치(32 MiB)를 행 방향으로 나눠 연산기 16개의 뱅크에 256행씩(2 MiB) 미리 둔다.
  2. 입력 방송 — 호스트가 입력 벡터 4,096개(8 KiB)를 채널로 한 번 보내 모든 연산기 레지스터에 같은 사본을 둔다.
  3. 모드 전환 — 호스트가 PIM 명령을 보내 뱅크들을 일반 읽기 · 쓰기 대신 연산 모드로 바꾼다.
  4. 곱-누산 — 뱅크마다 행을 행 버퍼로 열고 연산기가 입력 벡터와 곱-누산한다. 16개 뱅크가 동시에 일하고 가중치 2 MiB 는 칩 밖으로 나가지 않는다.
  5. 부분 결과 회수 — 뱅크마다 결과 256개(512 B)를 채널로 돌려보내 모두 8 KiB 가 된다.
  6. 바이트 대조 — 채널로 오간 양은 입력 8 KiB + 결과 8 KiB = 16 KiB 로, 가중치를 모두 읽어 오는 방식(32 MiB 이상)의 약 2,000분의 1 이다.
  7. 다음 토큰 — 가중치는 뱅크에 그대로 두고 2 ~ 6 을 되풀이한다.
호스트 프로세서 뱅크 16개(각 2 MiB · 연산기 하나) … 칩 안 곱-누산 MAC MAC MAC 4 2 입력 벡터 8 KiB 방송 3 PIM 명령(연산 모드) 5 부분 결과 512 B × 16 = 8 KiB 6 · 토큰 하나당 채널 이동량 일반 방식 32 MiB + 16 KiB PIM 16 KiB · 약 2,000분의 1 막대 길이 = 바이트 비례(PIM 막대는 보이게 최소 너비) · 값 = 설명용 가정 값 · 가중치 4,096 × 4,096 × 2바이트

그림 4 · 일반 방식은 토큰마다 가중치 32 MiB 를 채널로 읽어 오지만, PIM 은 입력 8 KiB 를 내려보내고 결과 8 KiB 만 받아 채널 이동이 약 2,000분의 1 로 준다.

같은 가중치를 입력 64개(배치 64)에 함께 쓰면 산술 강도가 약 62 FLOP/바이트로 올라, 프로세서 캐시 안에서 가중치를 여러 번 다시 쓰는 쪽이 유리해진다. 그래서 PIM 의 표준 쓰임은 배치가 작은 추론의 행렬-벡터 곱 · 임베딩 조회처럼 대역폭에 묶인 연산이다(Gómez-Luna 외 2022 · Ke 외 2020).

🔑 PIM 은 연산을 빠르게 하는 기술이 아니라 칩 밖으로 옮기는 바이트를 줄이는 기술이다 — 그래서 이득은 연산기 성능이 아니라 산술 강도가 정한다.

5비교 — GPU 가속기와 PIM

기준GPU 가속기PIM
줄이는 것연산 시간(연산기 수 · 넓은 메모리 통로)칩 밖으로 옮기는 바이트
맞는 작업같은 가중치를 여러 입력에 다시 쓰는 큰 배치토큰마다 가중치를 한 번씩 읽는 작은 배치 추론 · 임베딩 조회
연산 범위범용 · 부동소수점곱-누산 같은 좁은 명령
할 일 나눔프로세서가 모두 맡음배치 · 합치기 · 제어는 호스트
언어 모델 추론(8대끼리)기준CXL 메모리 확장기 근처 연산 — 지연 23% 낮음 · 에너지 효율 2.8배

분석가중치를 다시 쓰는 큰 배치 연산은 GPU 가속기, 토큰마다 가중치를 읽는 작은 배치 추론은 PIM 이 맞다. 근거는 표의 「맞는 작업」 행과 8대끼리 견준 추론 보고 값(Mutlu 외 2025 8.7절)이다.

6실무 진단 — PIM 을 켜도 빨라지지 않을 때

분석먼저 그 연산의 산술 강도를 계산하고, 그다음 연산기마다 끝나는 시간 · 호스트 동기화 시간을 본다. 산술 강도가 높으면 PIM 대상이 아니고, 낮은데도 느리면 데이터 배치나 연산기 사이 통신이 원인이기 때문이다(Gómez-Luna 외 2022 3 ~ 5절).

#증상의심 원인구분확인 자료판정 기준(근거)
1PIM 결과가 프로세서보다 느림산술 강도 높음(배치 큼)작업 선택연산 수 ÷ 옮긴 바이트루프라인에서 메모리 한계 구간 밖이면 프로세서 쪽(Gómez-Luna 외 2022 3.3절)
2일부 연산기만 늦게 끝남가중치 배치 불균형데이터 배치연산기별 작업량 · 시간블록 크기가 같아야 병렬 전송(Gómez-Luna 외 2022 2.1절)
3연산보다 동기화가 길다연산기 사이 직접 통신 없음프로그래밍 모델호스트 전송 시간 비율합치기는 호스트 경유(Gómez-Luna 외 2022 2.3절)
4아날로그 결과 오차가 큼ADC 범위 · 전도도 편차셀 · 주변 회로기준 입력 결과 대조ADC 4비트 이상 · 입출력 범위 조정(Sebastian 외 2020)

7현장 포인트

값어디서 나오나무엇을 알려 주나단위 · 주기
연산기 기능 시험 결과웨이퍼 테스트 · 패키지 테스트연산기 불량이 셀 불량과 따로 나는가합격 · 불합격 · 다이마다
연산 모드 전류패키지 테스트 · 시스템 전력 측정연산 중 전원 · 발열 한계mA · 시험마다
다이 온도온다이 온도 센서연산 발열이 리프레시 · 동작 조건에 주는 영향°C · 동작 중
셀 전도도 분포아날로그 배열 읽기 시험가중치를 정확히 담았는가µS · 프로그램 뒤
기준 입력 결과 오차시스템 자체 시험연산 결과 정확도% · 배치마다
  • 아날로그 셀 전도도의 시간 변화 · 편차 → 같은 가중치의 결과 오차가 몇 주에 걸쳐 커져 재프로그램이 필요함(셀 배열 · Sebastian 외 2020)
  • 연산기를 넣은 다이는 같은 면적에 셀을 덜 담음 → 용량 · 수율 계획이 일반 DRAM 과 달라짐(설계 · 공정)
  • DRAM 공정의 적은 배선층 · 느린 로직 → 곱셈 · 부동소수점이 소프트웨어 에뮬레이션으로 빠지기 쉬움(공정 · Gómez-Luna 외 2022)

분석웨이퍼 테스트의 연산기 불량 위치를 다이 좌표로 모아 이상 탐지로 셀 불량 패턴과 가르고, 아날로그 배열은 기준 입력 오차의 추세로 재프로그램 시점을 정한다. 연산기와 셀은 같은 다이에 있어도 불량 원인 공정이 달라, 따로 보아야 수율 원인이 섞이지 않기 때문이다.

현장 키워드
메모리 벽데이터 이동 에너지산술 강도뱅크 병렬성버퍼 칩크로스바ADC 정밀도연산 모드

8오해와 사실

  • 오해PIM 은 프로세서를 메모리로 대신하는 기술이다.
    사실연산기는 곱-누산 · 정수 연산 같은 좁은 명령만 하고, 데이터 배치 · 합치기 · 제어는 호스트가 맡는다(Gómez-Luna 외 2022 2.3절).
  • 오해PIM 은 모든 AI 연산을 빠르게 한다.
    사실이득은 산술 강도가 1 FLOP/바이트 안팎인 행렬-벡터 곱 · 임베딩 조회에서 크고, 가중치를 다시 쓰는 큰 배치 행렬 곱에서는 줄어든다(Gholami 외 2024).
  • 오해PIM 은 아날로그 신소자가 있어야 만든다.
    사실오늘 보고된 시제품 다수는 일반 DRAM 공정에 디지털 연산기를 더한 메모리 근처 연산이다(Mutlu 외 2025 8.7절).

9핵심 정리

구분연산기 위치하는 연산칩 밖 이동보는 값과제
일반 방식프로세서모든 연산가중치 전체대역폭 · 캐시 적중메모리 벽
버퍼 칩 근처 연산모듈 버퍼 칩전용 연산(임베딩 합)결과만처리량 · 모듈 에너지연산 종류 좁음
뱅크 단위 PIMDRAM 뱅크 옆FP16 곱-누산입력 · 결과연산 모드 전류 · 온도셀 면적 감소
칩 안 범용 코어뱅크마다 코어정수 C 프로그램입력 · 결과코어별 시간곱셈 · 부동소수점 에뮬레이션
아날로그 인메모리 연산셀 배열행렬-벡터 곱입력 · 결과전도도 · 오차ADC · 드리프트
산술 강도—연산 ÷ 옮긴 바이트—1 FLOP/바이트(사례)높으면 PIM 이득 없음

10참고 문헌

  1. 먼저 볼 문헌
  2. ★ A Modern Primer on Processing in Memory (O. Mutlu 외) arXiv:2012.03112v5 — 메모리 이용 연산(PUM)과 메모리 근처 연산(PNM)의 구분 · 데이터 이동 에너지 수치를 볼 때
    ETH Zürich SAFARI · arXiv · 2025-02 · arxiv.org/abs/2012.03112 · 확인 2026-11-09
  3. ★ Benchmarking a New Paradigm: An Experimental Analysis of a Real Processing-in-Memory Architecture (J. Gómez-Luna 외) arXiv:2105.03814v7 — DRAM 칩 안 코어의 실측 성능 · 프로그래밍 모델 · 잘 맞는 작업을 볼 때
    ETH Zürich SAFARI · arXiv · 2022-05 · arxiv.org/abs/2105.03814 · 확인 2026-11-09
  4. ★ RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing (L. Ke 외) arXiv:1912.12953 · ISCA 2020 — 메모리 모듈 버퍼 칩에 연산기를 둔 구조와 효과를 볼 때
    arXiv · ACM/IEEE ISCA · 2019-12 · arxiv.org/abs/1912.12953 · 확인 2026-11-09
  5. ★ Memory devices and applications for in-memory computing (A. Sebastian 외) Nature Nanotechnology 15 · 저자 원고 — 셀 배열에서 아날로그로 행렬-벡터 곱을 하는 원리와 ADC · 정밀도 과제를 볼 때
    Zenodo · Nature Nanotechnology · 2020-03 · zenodo.org/records/3969876 · 확인 2026-11-09
  6. 본문 근거
  7. AI and Memory Wall (A. Gholami 외) arXiv:2403.14123 · IEEE Micro — arXiv · IEEE Micro · 2024-03 · arxiv.org/abs/2403.14123 · 확인 2026-11-09
  8. Hitting the Memory Wall: Implications of the Obvious (W. A. Wulf · S. A. McKee) ACM SIGARCH Computer Architecture News 23(1) — ACM · 1995-03 · doi.org/10.1145/216585.216588 · 확인 2026-11-09