병렬 처리Parallel Processing
하나의 계산을 동시에 실행할 수 있는 단위로 나누어 명령어 · 데이터 · 스레드 · 메모리 접근의 여러 수준에서 겹쳐 처리하는 기법 전체다. 무엇을 나누고(명령 흐름 · 데이터) 나눈 일에 데이터를 어떻게 대 주는가(메모리 공유 · 분산)를 함께 다룬다.
1요약
- 병렬 처리는 컴퓨터 구조 가운데 명령어 · 데이터 · 스레드 · 메모리 공급 네 수준에서 겹쳐 실행하는 기법으로, 그 위에서 행렬 계산 · 과학 계산 · 웹 서버의 요청 처리가 코어 여러 개와 GPU 에 나뉘어 돈다.
- 나눌 수 없는 직렬 몫이 남으면 코어를 늘려도 빨라지지 않는다 — 직렬 몫이 5 % 면 코어 64개의 속도 향상은 약 15.4배에 그치고 상한은 20배다(Amdahl 1967 · 원문 식 직접 계산).
- 「코어를 늘렸는데 빨라지지 않는다」는 계산이 모자란가, 데이터 공급이 모자란가로 가른다 — 코어 사용률이 1 근처면 직렬 몫, 사용률은 높은데 IPC 가 낮으면 메모리 대역폭 · 원격 노드 접근이다.
2등장 배경
1960년대 계산기는 명령어를 하나씩 끝내 계산 속도가 회로 속도에 묶였다. 1966년 Flynn 은 기계를 명령 흐름과 데이터 흐름의 수로 나눠 SISD · SIMD · MISD · MIMD 로 분류했고(Flynn 1966), 1967년 Amdahl 은 직렬 몫이 프로세서 수와 상관없이 속도 향상의 상한을 정한다고 논증했다(Amdahl 1967).
1988년 Gustafson 은 프로세서가 늘면 사람들이 문제 크기를 함께 키운다는 점을 들어, 고정 크기가 아닌 확장 크기 속도 향상 S = N − s(N − 1) 을 내놓았다(Gustafson 1988). 2009년 OpenCL 1.0 은 CPU · GPU 를 한 프로그래밍 모델의 「계산 장치」로 묶었다(OpenCL 3.1.2 3.1절).
지금 병렬 처리의 숙제는 «얼마나 나누는가»보다 «나눈 일에 데이터를 제때 대 주는가»다. 노드마다 메모리를 둔 구조에서는 다른 노드 메모리에 가는 접근이 더 느리고 대역폭도 작다(NUMA 문서).
3쉽게 이해하기 — 마을 김장 잔치
마을 사람들이 배추 천 포기를 하루에 담근다. 이장은 일 분류표로 «같은 동작을 여럿이 함께 할 일»과 «각자 다른 일»을 나누고, 절이기 → 씻기 → 버무리기 줄을 세워 배추가 쉬지 않고 흘러가게 한다. 양념은 집마다 냉장고에서 꺼내는데 이웃집 냉장고까지 가면 오래 걸리고, 큰 양념통 하나를 기다리지 않으려고 통 여러 개를 번갈아 퍼 온다. 혼자 사는 할머니는 절이기와 양념 만들기를 번갈아 하는데, 일이 둘 다 진행되지만 같은 순간에는 하나만 한다.
그림 1 · 이장이 일을 나눠 일꾼에게 맡기고, 일꾼은 냉장고 · 양념통에서 재료를 받아 겹쳐 일한다 — 나누기와 재료 대기가 함께 맞아야 잔치가 빨리 끝난다.
그림 2 · 번갈아 하는 할머니처럼 코어 하나도 두 작업을 함께 진행할 수 있다 — 병행성은 프로그램의 짜임이고, 병렬성은 같은 순간에 실제로 둘이 도는 실행이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 일 분류표 | 플린 분류 | 명령 흐름 · 데이터 흐름의 수로 기계 구조를 나눈다 |
| 번갈아 하는 할머니 | 병행성 | 실행 단위 하나가 여러 작업을 번갈아 진행한다 |
| 각자 다른 일 | 다중 프로세서 · MIMD | 명령 흐름이 따로인 프로세서 여럿이 같은 순간에 돈다 |
| 구령 하나에 여덟 명 | SIMD · GPU | 명령 하나를 데이터 여러 개에 한꺼번에 실행한다 |
| 절이기 → 씻기 → 버무리기 줄 | 파이프라인 | 명령어 처리를 단계로 나눠 다른 명령어를 겹쳐 처리한다 |
| 집마다 냉장고 | NUMA 노드 | 노드마다 메모리를 두고 원격 노드 접근은 느리다 |
| 양념통 번갈아 푸기 | 메모리 인터리빙 | 연속 주소를 뱅크 · 채널 · 노드에 나눠 기다림을 겹친다 |
| 혼자 남은 일 | 직렬 몫 | 나눌 수 없는 부분이 전체 시간의 하한을 정한다 |
⚠ 비유가 맞지 않는 곳: 사람은 일이 밀리면 스스로 옆을 돕지만 실제 코어는 나눈 몫이 고르지 않으면 먼저 끝난 코어가 그냥 기다리고, 구령에 맞춘 여덟 명(SIMD)은 한 명만 다른 동작을 해야 해도 나머지가 함께 멈춘다.
4구조 — 네 수준과 여섯 토픽
하위 토픽은 «무엇을 겹치는가»로 나뉜다. 플린 분류는 그 가운데 명령 흐름 · 데이터 흐름 수준을 나누는 틀이고, 병행성 · 병렬성은 모든 수준에 앞서 «동시에 해도 되는가»를 정하는 설계 개념이다.
그림 3 · 병렬 처리 토픽은 명령어 · 데이터 · 스레드 · 메모리 공급 네 수준에 하나씩 놓이고, 플린 분류는 앞의 세 수준을 흐름 수로 나누며, 병행성 · 병렬성은 네 수준 모두의 전제다.
| 토픽 | 겹치거나 나누는 것 | 수준 | 대표 구분 · 값(근거) |
|---|---|---|---|
| 병행성 · 병렬성 | 독립 실행 단위로 짜기 ↔ 같은 순간 실행 | 설계 개념 | 병행 = 독립 실행의 구성 · 병렬 = 동시 실행(Go 블로그 2013) |
| 플린 분류 | 명령 흐름 · 데이터 흐름의 수 | 분류 틀 | SISD · SIMD · MISD · MIMD(Flynn 1966 · 1972) |
| 파이프라인 | 한 흐름의 명령어 처리 단계 | 명령어 | 이상적 CPI 1 · 해저드가 멈춤을 만듦 |
| GPU · GPGPU | 한 커널을 작업 항목 여럿에 | 데이터 | 작업 그룹 = 계산 단위 하나에서 도는 작업 항목 묶음(OpenCL 3.1.2 용어집) |
| 다중 프로세서 구조 | 프로세서 여럿과 메모리 공유 방식 | 스레드 · 작업 | SMP 균일 공유 · NUMA 노드별 메모리 · MPP 노드 사이 메시지 |
| 메모리 인터리빙 | 연속 주소를 뱅크 · 채널 · 노드에 분산 | 메모리 공급 | 리눅스 MPOL_ |
🔑 위의 세 수준(명령어 · 데이터 · 스레드)은 «계산을 나누는» 방법이고 메모리 인터리빙 · NUMA 는 «나눈 계산에 데이터를 대 주는» 방법이다 — 대 주는 쪽이 따라오지 못하면 나눈 만큼 빨라지지 않는다.
5동작 — 배열 덧셈 하나가 네 수준을 지나는 순서
C = A + B 를 단정밀도 원소 1,048,576개(배열 하나 4 MiB)로 계산하는 사례다. 코어 8개 · SIMD 8레인 · 3 GHz · 메모리 대역폭 50 GB/s · 장치 전송 25 GB/s 는 설명용 가정 값이고, 시간은 이 값으로 직접 계산했다.
- 판단 — 원소 i 의 계산은 다른 원소에 기대지 않으므로 순서를 바꿔도 결과가 같다 · 병행으로 짤 수 있고 코어가 있으면 병렬로 돈다.
- 나누기(MIMD) — 스레드 8개가 131,072개씩 맡는다 · 직렬 몫은 스레드를 만들고 합류하는 부분뿐이다.
- 데이터 수준(SIMD) — 코어마다 256비트 레지스터에 원소 8개를 싣고 벡터 덧셈 16,384번을 낸다 · 적재 2 · 덧셈 1 · 저장 1 명령이 파이프라인 안에서 겹친다.
- 계산 시간 — 덧셈 1,048,576번 ÷ (8코어 × 8레인 × 3 × 10⁹/s) ≒ 5.5 µs 다.
- 메모리 시간 — 읽기 8 MiB + 쓰기 4 MiB = 12,582,912바이트 ÷ 50 GB/s ≒ 252 µs 로 계산의 약 46배다 · 연속 주소가 채널 · 뱅크에 번갈아 놓여 있어야 스레드 8개가 이 대역폭을 나눠 쓴다(쓰기 할당 읽기는 셈에서 뺐다).
- 위치(NUMA) — 소켓 둘 서버에서 배열을 스레드 하나가 초기화하면 페이지가 그 스레드의 노드에 몰린다(리눅스 지역 할당 · NUMA 문서) · 다른 노드 스레드 4개는 원격 접근을 한다.
- 장치로 넘기기 — 같은 12 MiB 를 GPU 로 보내고 받는 데만 약 503 µs 가 들어 CPU 전체 252 µs 를 넘는다 · 데이터가 이미 장치에 있을 때만 이득이다.
그림 4 · 배열 덧셈은 계산 5.5 µs ④ 에 메모리 이동 252 µs ⑤ 가 걸리는 메모리 묶임 계산이고, GPU 로 옮기면 전송만 503 µs ⑦ 라 더 느려진다.
🔑 원소마다 덧셈 1번에 12바이트를 옮기는 계산(0.083 FLOP/바이트)은 기계가 바이트마다 낼 수 있는 계산(192 GFLOP/s ÷ 50 GB/s = 3.84)보다 훨씬 작아, 코어 · 레인을 늘려도 끝나는 시각은 메모리가 정한다.
나눌 수 있는 몫이 충분해도 직렬 몫이 끝을 정한다. 문제 크기를 고정하면 Amdahl 식 1 ÷ (s + (1 − s) ÷ N), 코어 수만큼 문제를 키우면 Gustafson 식 N − s(N − 1) 로 속도 향상을 본다.
그림 5 · 직렬 몫 5 % 에서 문제 크기를 고정하면 코어 64개의 속도 향상은 15.4배로 20배 상한 아래에 묶이고, 문제를 코어 수만큼 키우면 60.9배까지 오른다.
🔑 같은 직렬 몫 5 % 라도 «같은 일을 빨리»가 목표면 상한 20배에 묶이고 «같은 시간에 큰 일»이 목표면 코어 수에 가깝게 늘어난다 — 병렬화의 성과는 목표를 무엇으로 잡느냐에 따라 다르게 읽힌다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 병렬 처리와의 경계 | 넘기는 곳 |
|---|---|---|---|
| 병렬 처리 | 계산을 나누고 겹치는 수준 · 직렬 몫 · 데이터 공급 | — | 수준별 상세 → 아래 토픽 |
| CPU | 코어 하나의 명령어 집합 · 실행 과정 · 멀티코어 칩 구성 | 칩 안 코어 수 · 이기종 코어 배치는 CPU · 여러 코어에 일을 나누는 방식은 병렬 처리 | 멀티코어 프로세서 · 이기종 컴퓨팅 |
| 메모리 계층 | 캐시 · DRAM 의 사본과 지연 | 코어 사이 사본의 값 맞추기는 메모리 계층 · 주소를 채널 · 노드에 나눠 대역폭을 늘리는 일은 병렬 처리 | 캐시 일관성 · 메모리 계층 구조 |
| 가속기 · 인터커넥트 | 전용 계산 장치와 장치 사이 연결 | 범용 데이터 병렬(GPU · GPGPU)은 병렬 처리 · 행렬 전용 칩과 링크 대역폭은 가속기 · 인터커넥트 | AI 가속기 · PCIe · NVLink |
| 프로세스 관리(운영체제) | 스레드를 만들고 코어에 배치 · 동기화 | 무엇을 동시에 돌릴지 짜는 것은 병렬 처리 · 언제 어느 코어에 올릴지와 잠금은 운영체제 | CPU 스케줄링 · 세마포어 |
분석«나눈 일이 왜 빨라지지 않는가»는 병렬 처리에서, «한 코어 안이 왜 느린가»는 CPU 에서, «사본이 왜 어긋나는가»는 메모리 계층에서, «스레드가 왜 기다리는가»는 프로세스 관리에서 답한다. 표의 「병렬 처리와의 경계」 열이 근거다 — 같은 멀티코어 서버라도 묻는 질문이 다루는 곳을 정한다.
7실무 진단 — 병렬화가 효과 없을 때 수준 가르기
분석코어 사용률 → IPC → 노드별 메모리 → 장치 전송 순으로 본다. 앞의 둘이 «나누기가 됐는가 · 계산이 막혔는가»를 먼저 가르고, 그 뒤에야 데이터 공급 문제가 남는지 판단할 수 있기 때문이다(perf-stat(1) · numastat(8)).
| # | 증상 | 의심 원인 | 수준 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 스레드를 8개로 늘려도 시간이 그대로 | 직렬 몫 · 잠금 대기 | 병행성 · 병렬성 | perf stat ./app | task-clock 줄 「CPUs utilized」 가 1 근처(perf-stat(1)) |
| 2 | 사용률은 8 근처인데 처리량이 안 늘어남 | 메모리 대역폭 한계 | 메모리 공급 | perf stat -e cycles, | 「insn per cycle」 이 낮고 스레드 4 → 8 에서 처리량이 그대로(perf-stat(1)) |
| 3 | 소켓 둘 서버에서 한쪽 소켓만 느림 | 페이지가 한 노드에 몰림 | 다중 프로세서(NUMA) | numastat -p <PID> · perf stat -a --per-node | 한 노드에 메모리가 몰리고 other_ |
| 4 | GPU 로 옮겼더니 더 느림 | 전송이 계산보다 큼 | GPU · GPGPU | 프로파일러의 복사 · 커널 시간 | 호스트 ↔ 장치 복사 시간 > CPU 전체 실행 시간 |
NUMA 몰림이 확인되면 초기화도 계산과 같은 나눔으로 여러 스레드가 하게 하거나, 페이지를 노드에 번갈아 두는 인터리브 정책을 쓴다(메모리 정책 문서). 대역폭 한계라면 코어를 더 쓰지 말고 데이터를 한 번 읽을 때 계산을 몰아 하도록 알고리즘을 바꾼다.
8시험 대비
www.q-net.or.kr시험에서는 병렬 처리의 개념과 분류를 묻는 정의 · 특징형, SIMD · MIMD 나 SMP · NUMA · MPP 를 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 의 네 수준으로 지도를 세우고 Amdahl · Gustafson 으로 한계를 말하며, 비교형이면 «나누는 것 · 메모리 공유 방식 · 재는 값» 세 기준으로 표를 만든다.
- 개요 — 정의(계산을 동시 실행 단위로 나눔) · 병행성 ↔ 병렬성 구분 · 등장 배경(Flynn 1966 · Amdahl 1967)
- 분류 — 그림 3 네 수준 지도 + 플린 분류 SISD · SIMD · MISD · MIMD 표
- 구조 — 다중 프로세서 SMP · NUMA · MPP 의 메모리 공유 방식 · 메모리 인터리빙
- 동작 사례 — 그림 4 배열 덧셈(계산 5.5 µs ↔ 메모리 252 µs ↔ 전송 503 µs)
- 성능 한계 — 그림 5 Amdahl 1 ÷ (s + (1 − s)/N) ↔ Gustafson N − s(N − 1) · s = 5 % 에서 15.4배 ↔ 60.9배
- 적용 판단 — 산술 강도 ↔ 기계 균형 · NUMA 지역 할당 · GPU 전송 손익
꼭 쓸 키워드
병행성병렬성플린 분류SIMDMIMD파이프라인SMPNUMA메모리 인터리빙Amdahl 법칙Gustafson 법칙GPGPU
다른 답안과 차이를 내는 한 가지는 «나누기(명령어 · 데이터 · 스레드)»와 «데이터 대기(인터리빙 · NUMA)»를 두 축으로 갈라, 그림 4 처럼 계산 시간과 메모리 시간을 같은 눈금에 놓고 어느 쪽이 끝을 정하는지 보이는 것이다.
9오해와 사실
- 오해병행성과 병렬성은 같은 말이다.사실병행성은 독립 실행 단위로 짜는 구성이고 병렬성은 동시 실행이다(Go 블로그 2013) — 코어 하나에서도 병행 프로그램은 돌지만 병렬로 돌지는 않는다(그림 2).
- 오해Amdahl 법칙 때문에 코어를 많이 쓰는 것은 소용없다.사실Amdahl 식은 문제 크기를 고정한 경우이고, 코어 수만큼 문제를 키우면 직렬 몫 5 % 에서도 코어 64개가 60.9배를 낸다(Gustafson 1988 · 원문 식 직접 계산).
- 오해GPU 로 옮기면 병렬 계산은 언제나 빨라진다.사실배열 덧셈처럼 원소당 계산이 적으면 호스트 ↔ 장치 전송이 계산보다 길다 — 이 사례에서 전송 503 µs 는 CPU 전체 252 µs 의 2배다.
10핵심 정리
| 토픽 | 나누는 단위 | 메모리 | 한계를 정하는 값 | 확인 수단 |
|---|---|---|---|---|
| 병행성 · 병렬성 | 독립 실행 단위 | — | 직렬 몫 s | perf stat CPUs utilized |
| 플린 분류 | 명령 흐름 · 데이터 흐름 수 | — | 분류 틀(SISD · SIMD · MISD · MIMD) | 구조 비교 |
| 파이프라인 | 명령어 처리 단계 | 레지스터 · 캐시 | 해저드 · 멈춤 | insn per cycle |
| GPU · GPGPU | 작업 항목 · 작업 그룹 | 장치 메모리 | 호스트 ↔ 장치 전송 | 복사 · 커널 시간 |
| 다중 프로세서 구조 | 프로세서 · 노드 | SMP 공유 · NUMA 노드별 · MPP 분산 | 원격 접근 · 메시지 | numastat other_ |
| 메모리 인터리빙 | 주소(줄 · 페이지) | 뱅크 · 채널 · 노드 | 대역폭(GB/s) | 스레드 수 ↔ 처리량 |
11참고 문헌
- 먼저 볼 문헌
- ★ Flynn 1972 Some Computer Organizations and Their Effectiveness (IEEE Transactions on Computers C-21(9)) — 명령 흐름 · 데이터 흐름으로 나눈 네 분류의 원래 정의를 볼 때
- ★ Amdahl 1967 Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities (AFIPS Spring Joint Computer Conference) — 직렬 몫이 속도 향상의 상한을 정한다는 논증을 볼 때
- ★ Linux kernel documentation · What is NUMA? — 노드 · 원격 메모리 · 지역 할당이 무엇인지 볼 때
- ★ OpenCL API Specification v3.1.2 · Platform Model · Glossary — 호스트 · 계산 장치 · 작업 항목 · 작업 그룹의 표준 정의를 볼 때
- 본문 근거
- Gustafson 1988 Reevaluating Amdahl's Law (Communications of the ACM 31(5)) — ACM · 1988-05 ·
doi.org/10.1145/42411.42415· 확인 2026-11-14 - Linux kernel documentation · NUMA Memory Policy — kernel.org · 2026-11 ·
docs.kernel.org/admin-guide/mm/numa_memory_policy.html· 확인 2026-11-14 - Concurrency is not parallelism (The Go Blog · Andrew Gerrand) — go.dev · 2013-01 ·
go.dev/blog/waza-talk· 확인 2026-11-14 - Flynn 1966 Very High-Speed Computing Systems (Proceedings of the IEEE 54(12)) — IEEE · 1966-12 ·
doi.org/10.1109/PROC.1966.5273· 확인 2026-11-14 - numastat(8) Linux manual page — numactl · man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/numastat.8.html· 확인 2026-11-14 - perf-stat(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/perf-stat.1.html· 확인 2026-11-14