IT › 컴퓨터 시스템 › 컴퓨터 구조

병렬 처리Parallel Processing

하나의 계산을 동시에 실행할 수 있는 단위로 나누어 명령어 · 데이터 · 스레드 · 메모리 접근의 여러 수준에서 겹쳐 처리하는 기법 전체다. 무엇을 나누고(명령 흐름 · 데이터) 나눈 일에 데이터를 어떻게 대 주는가(메모리 공유 · 분산)를 함께 다룬다.

1요약

  1. 병렬 처리는 컴퓨터 구조 가운데 명령어 · 데이터 · 스레드 · 메모리 공급 네 수준에서 겹쳐 실행하는 기법으로, 그 위에서 행렬 계산 · 과학 계산 · 웹 서버의 요청 처리가 코어 여러 개와 GPU 에 나뉘어 돈다.
  2. 나눌 수 없는 직렬 몫이 남으면 코어를 늘려도 빨라지지 않는다 — 직렬 몫이 5 % 면 코어 64개의 속도 향상은 약 15.4배에 그치고 상한은 20배다(Amdahl 1967 · 원문 식 직접 계산).
  3. 「코어를 늘렸는데 빨라지지 않는다」는 계산이 모자란가, 데이터 공급이 모자란가로 가른다 — 코어 사용률이 1 근처면 직렬 몫, 사용률은 높은데 IPC 가 낮으면 메모리 대역폭 · 원격 노드 접근이다.

2등장 배경

1960년대 계산기는 명령어를 하나씩 끝내 계산 속도가 회로 속도에 묶였다. 1966년 Flynn 은 기계를 명령 흐름과 데이터 흐름의 수로 나눠 SISD · SIMD · MISD · MIMD 로 분류했고(Flynn 1966), 1967년 Amdahl 은 직렬 몫이 프로세서 수와 상관없이 속도 향상의 상한을 정한다고 논증했다(Amdahl 1967).

1988년 Gustafson 은 프로세서가 늘면 사람들이 문제 크기를 함께 키운다는 점을 들어, 고정 크기가 아닌 확장 크기 속도 향상 S = N − s(N − 1) 을 내놓았다(Gustafson 1988). 2009년 OpenCL 1.0 은 CPU · GPU 를 한 프로그래밍 모델의 「계산 장치」로 묶었다(OpenCL 3.1.2 3.1절).

지금 병렬 처리의 숙제는 «얼마나 나누는가»보다 «나눈 일에 데이터를 제때 대 주는가»다. 노드마다 메모리를 둔 구조에서는 다른 노드 메모리에 가는 접근이 더 느리고 대역폭도 작다(NUMA 문서).

3쉽게 이해하기 — 마을 김장 잔치

마을 사람들이 배추 천 포기를 하루에 담근다. 이장은 일 분류표로 «같은 동작을 여럿이 함께 할 일»과 «각자 다른 일»을 나누고, 절이기 → 씻기 → 버무리기 줄을 세워 배추가 쉬지 않고 흘러가게 한다. 양념은 집마다 냉장고에서 꺼내는데 이웃집 냉장고까지 가면 오래 걸리고, 큰 양념통 하나를 기다리지 않으려고 통 여러 개를 번갈아 퍼 온다. 혼자 사는 할머니는 절이기와 양념 만들기를 번갈아 하는데, 일이 둘 다 진행되지만 같은 순간에는 하나만 한다.

일 나누기 일꾼에게 맡기기 재료 대기 일 분류표 플린 분류 같은 동작 · 다른 일로 나눔 번갈아 하는 할머니 병행성 · 병렬성 둘 다 진행 · 한순간엔 하나 무엇을 동시에 할 수 있는지 먼저 가린다 각자 다른 일 다중 프로세서 · MIMD 구령 하나에 여덟 명 SIMD · GPU 절이기 → 씻기 → 버무리기 파이프라인 줄마다 다른 배추가 겹쳐 흐름 집마다 냉장고 NUMA · SMP · MPP 이웃집 냉장고는 멀다 양념통 번갈아 푸기 메모리 인터리빙 한 통이 채워지는 동안 다른 통 1 2 1 일을 나눠 맡기고 · 2 재료를 대 준다 — 둘 중 느린 쪽이 잔치가 끝나는 시각을 정한다

그림 1 · 이장이 일을 나눠 일꾼에게 맡기고, 일꾼은 냉장고 · 양념통에서 재료를 받아 겹쳐 일한다 — 나누기와 재료 대기가 함께 맞아야 잔치가 빨리 끝난다.

일 나누기같은 동작 · 다른 일
맡기기일꾼마다 한 몫
함께 움직이기구령 하나에 여럿
줄 세우기배추가 겹쳐 흐름
재료 대기냉장고 · 양념통
마무리혼자 남은 일이 끝을 정함
비유 — 김장 일손 실제 — 실행 시간축 혼자 번갈아 한다 한 사람 · 한순간엔 한 가지 둘이 동시에 하나씩 두 사람 · 같은 순간에 두 가지 코어 1개 · 스레드 2개(시분할) A B A B A B 병행 = 예 · 병렬 = 아니오 코어 2개 · 스레드 2개 코어 0 — A 코어 1 — B 병행 = 예 · 병렬 = 예 작업 A(절이기) 작업 B(양념) 가로 = 시간 · 같은 세로 위치 = 같은 순간

그림 2 · 번갈아 하는 할머니처럼 코어 하나도 두 작업을 함께 진행할 수 있다 — 병행성은 프로그램의 짜임이고, 병렬성은 같은 순간에 실제로 둘이 도는 실행이다.

비유 속 역할실제 이름실제로 하는 일
일 분류표플린 분류명령 흐름 · 데이터 흐름의 수로 기계 구조를 나눈다
번갈아 하는 할머니병행성실행 단위 하나가 여러 작업을 번갈아 진행한다
각자 다른 일다중 프로세서 · MIMD명령 흐름이 따로인 프로세서 여럿이 같은 순간에 돈다
구령 하나에 여덟 명SIMD · GPU명령 하나를 데이터 여러 개에 한꺼번에 실행한다
절이기 → 씻기 → 버무리기 줄파이프라인명령어 처리를 단계로 나눠 다른 명령어를 겹쳐 처리한다
집마다 냉장고NUMA 노드노드마다 메모리를 두고 원격 노드 접근은 느리다
양념통 번갈아 푸기메모리 인터리빙연속 주소를 뱅크 · 채널 · 노드에 나눠 기다림을 겹친다
혼자 남은 일직렬 몫나눌 수 없는 부분이 전체 시간의 하한을 정한다

⚠ 비유가 맞지 않는 곳: 사람은 일이 밀리면 스스로 옆을 돕지만 실제 코어는 나눈 몫이 고르지 않으면 먼저 끝난 코어가 그냥 기다리고, 구령에 맞춘 여덟 명(SIMD)은 한 명만 다른 동작을 해야 해도 나머지가 함께 멈춘다.

4구조 — 네 수준과 여섯 토픽

하위 토픽은 «무엇을 겹치는가»로 나뉜다. 플린 분류는 그 가운데 명령 흐름 · 데이터 흐름 수준을 나누는 틀이고, 병행성 · 병렬성은 모든 수준에 앞서 «동시에 해도 되는가»를 정하는 설계 개념이다.

병행성 · 병렬성 — 일을 독립 단위로 짜는가 · 같은 순간에 실행하는가 플린 분류 토픽 재는 값 명령어 수준 SISD 파이프라인 한 흐름의 처리 단계를 겹침 CPI · IPC 데이터 수준 SIMD GPU · GPGPU 한 커널을 수많은 작업 항목에 FLOP/s · 작업 항목 수 스레드 · 작업 수준 MIMD 다중 프로세서 구조 SMP · NUMA · MPP 메모리 공유 방식 속도 향상 · 원격 접근 비율 메모리 공급 분류 밖 메모리 인터리빙 연속 주소를 뱅크 · 채널 · 노드에 대역폭(GB/s) 분류 틀 명령어 데이터 스레드 · 작업 메모리 위치 설계 개념(전제) MISD 는 쓰임이 드물어 지도에 넣지 않았다 · 같은 줄 = 같은 수준

그림 3 · 병렬 처리 토픽은 명령어 · 데이터 · 스레드 · 메모리 공급 네 수준에 하나씩 놓이고, 플린 분류는 앞의 세 수준을 흐름 수로 나누며, 병행성 · 병렬성은 네 수준 모두의 전제다.

토픽겹치거나 나누는 것수준대표 구분 · 값(근거)
병행성 · 병렬성독립 실행 단위로 짜기 ↔ 같은 순간 실행설계 개념병행 = 독립 실행의 구성 · 병렬 = 동시 실행(Go 블로그 2013)
플린 분류명령 흐름 · 데이터 흐름의 수분류 틀SISD · SIMD · MISD · MIMD(Flynn 1966 · 1972)
파이프라인한 흐름의 명령어 처리 단계명령어이상적 CPI 1 · 해저드가 멈춤을 만듦
GPU · GPGPU한 커널을 작업 항목 여럿에데이터작업 그룹 = 계산 단위 하나에서 도는 작업 항목 묶음(OpenCL 3.1.2 용어집)
다중 프로세서 구조프로세서 여럿과 메모리 공유 방식스레드 · 작업SMP 균일 공유 · NUMA 노드별 메모리 · MPP 노드 사이 메시지
메모리 인터리빙연속 주소를 뱅크 · 채널 · 노드에 분산메모리 공급리눅스 MPOL_INTERLEAVE = 페이지 단위로 노드에 번갈아(메모리 정책 문서)

🔑 위의 세 수준(명령어 · 데이터 · 스레드)은 «계산을 나누는» 방법이고 메모리 인터리빙 · NUMA 는 «나눈 계산에 데이터를 대 주는» 방법이다 — 대 주는 쪽이 따라오지 못하면 나눈 만큼 빨라지지 않는다.

5동작 — 배열 덧셈 하나가 네 수준을 지나는 순서

C = A + B 를 단정밀도 원소 1,048,576개(배열 하나 4 MiB)로 계산하는 사례다. 코어 8개 · SIMD 8레인 · 3 GHz · 메모리 대역폭 50 GB/s · 장치 전송 25 GB/s 는 설명용 가정 값이고, 시간은 이 값으로 직접 계산했다.

  1. 판단 — 원소 i 의 계산은 다른 원소에 기대지 않으므로 순서를 바꿔도 결과가 같다 · 병행으로 짤 수 있고 코어가 있으면 병렬로 돈다.
  2. 나누기(MIMD) — 스레드 8개가 131,072개씩 맡는다 · 직렬 몫은 스레드를 만들고 합류하는 부분뿐이다.
  3. 데이터 수준(SIMD) — 코어마다 256비트 레지스터에 원소 8개를 싣고 벡터 덧셈 16,384번을 낸다 · 적재 2 · 덧셈 1 · 저장 1 명령이 파이프라인 안에서 겹친다.
  4. 계산 시간 — 덧셈 1,048,576번 ÷ (8코어 × 8레인 × 3 × 10⁹/s) ≒ 5.5 µs 다.
  5. 메모리 시간 — 읽기 8 MiB + 쓰기 4 MiB = 12,582,912바이트 ÷ 50 GB/s ≒ 252 µs 로 계산의 약 46배다 · 연속 주소가 채널 · 뱅크에 번갈아 놓여 있어야 스레드 8개가 이 대역폭을 나눠 쓴다(쓰기 할당 읽기는 셈에서 뺐다).
  6. 위치(NUMA) — 소켓 둘 서버에서 배열을 스레드 하나가 초기화하면 페이지가 그 스레드의 노드에 몰린다(리눅스 지역 할당 · NUMA 문서) · 다른 노드 스레드 4개는 원격 접근을 한다.
  7. 장치로 넘기기 — 같은 12 MiB 를 GPU 로 보내고 받는 데만 약 503 µs 가 들어 CPU 전체 252 µs 를 넘는다 · 데이터가 이미 장치에 있을 때만 이득이다.
C = A + B · 원소 1,048,576개 · 같은 시간 눈금 0 100 µs 200 µs 300 µs 400 µs 500 µs 4 계산 8코어 × 8레인 5.5 µs 5 메모리 이동 12 MiB · 50 GB/s 252 µs · 계산의 46배 7 장치 전송 12 MiB · 25 GB/s 503 µs · CPU 전체의 2배 계산 메모리 공급 넘기는 비용(손해) 번호 = 동작 목록 단계 · 값 = 설명용 가정 값

그림 4 · 배열 덧셈은 계산 5.5 µs ④ 에 메모리 이동 252 µs ⑤ 가 걸리는 메모리 묶임 계산이고, GPU 로 옮기면 전송만 503 µs ⑦ 라 더 느려진다.

🔑 원소마다 덧셈 1번에 12바이트를 옮기는 계산(0.083 FLOP/바이트)은 기계가 바이트마다 낼 수 있는 계산(192 GFLOP/s ÷ 50 GB/s = 3.84)보다 훨씬 작아, 코어 · 레인을 늘려도 끝나는 시각은 메모리가 정한다.

나눌 수 있는 몫이 충분해도 직렬 몫이 끝을 정한다. 문제 크기를 고정하면 Amdahl 식 1 ÷ (s + (1 − s) ÷ N), 코어 수만큼 문제를 키우면 Gustafson 식 N − s(N − 1) 로 속도 향상을 본다.

직렬 몫 s = 5 % 일 때 속도 향상 0 20 40 60 1 2 4 8 16 32 64 코어 수 N(두 배 간격) 상한 20 60.9배 9.1배 15.4배 Gustafson — 문제를 N 배로 키움 Amdahl — 문제 크기 고정 이상(N 배)

그림 5 · 직렬 몫 5 % 에서 문제 크기를 고정하면 코어 64개의 속도 향상은 15.4배로 20배 상한 아래에 묶이고, 문제를 코어 수만큼 키우면 60.9배까지 오른다.

🔑 같은 직렬 몫 5 % 라도 «같은 일을 빨리»가 목표면 상한 20배에 묶이고 «같은 시간에 큰 일»이 목표면 코어 수에 가깝게 늘어난다 — 병렬화의 성과는 목표를 무엇으로 잡느냐에 따라 다르게 읽힌다.

6비교 — 관련 기술과의 경계

기술맡는 일병렬 처리와의 경계넘기는 곳
병렬 처리계산을 나누고 겹치는 수준 · 직렬 몫 · 데이터 공급—수준별 상세 → 아래 토픽
CPU코어 하나의 명령어 집합 · 실행 과정 · 멀티코어 칩 구성칩 안 코어 수 · 이기종 코어 배치는 CPU · 여러 코어에 일을 나누는 방식은 병렬 처리멀티코어 프로세서 · 이기종 컴퓨팅
메모리 계층캐시 · DRAM 의 사본과 지연코어 사이 사본의 값 맞추기는 메모리 계층 · 주소를 채널 · 노드에 나눠 대역폭을 늘리는 일은 병렬 처리캐시 일관성 · 메모리 계층 구조
가속기 · 인터커넥트전용 계산 장치와 장치 사이 연결범용 데이터 병렬(GPU · GPGPU)은 병렬 처리 · 행렬 전용 칩과 링크 대역폭은 가속기 · 인터커넥트AI 가속기 · PCIe · NVLink
프로세스 관리(운영체제)스레드를 만들고 코어에 배치 · 동기화무엇을 동시에 돌릴지 짜는 것은 병렬 처리 · 언제 어느 코어에 올릴지와 잠금은 운영체제CPU 스케줄링 · 세마포어

분석«나눈 일이 왜 빨라지지 않는가»는 병렬 처리에서, «한 코어 안이 왜 느린가»는 CPU 에서, «사본이 왜 어긋나는가»는 메모리 계층에서, «스레드가 왜 기다리는가»는 프로세스 관리에서 답한다. 표의 「병렬 처리와의 경계」 열이 근거다 — 같은 멀티코어 서버라도 묻는 질문이 다루는 곳을 정한다.

7실무 진단 — 병렬화가 효과 없을 때 수준 가르기

분석코어 사용률 → IPC → 노드별 메모리 → 장치 전송 순으로 본다. 앞의 둘이 «나누기가 됐는가 · 계산이 막혔는가»를 먼저 가르고, 그 뒤에야 데이터 공급 문제가 남는지 판단할 수 있기 때문이다(perf-stat(1) · numastat(8)).

#증상의심 원인수준확인 명령 · 자료판정 기준(근거)
1스레드를 8개로 늘려도 시간이 그대로직렬 몫 · 잠금 대기병행성 · 병렬성perf stat ./apptask-clock 줄 「CPUs utilized」 가 1 근처(perf-stat(1))
2사용률은 8 근처인데 처리량이 안 늘어남메모리 대역폭 한계메모리 공급perf stat -e cycles,instructions ./app「insn per cycle」 이 낮고 스레드 4 → 8 에서 처리량이 그대로(perf-stat(1))
3소켓 둘 서버에서 한쪽 소켓만 느림페이지가 한 노드에 몰림다중 프로세서(NUMA)numastat -p <PID> · perf stat -a --per-node한 노드에 메모리가 몰리고 other_node 가 큼(numastat(8))
4GPU 로 옮겼더니 더 느림전송이 계산보다 큼GPU · GPGPU프로파일러의 복사 · 커널 시간호스트 ↔ 장치 복사 시간 > CPU 전체 실행 시간

NUMA 몰림이 확인되면 초기화도 계산과 같은 나눔으로 여러 스레드가 하게 하거나, 페이지를 노드에 번갈아 두는 인터리브 정책을 쓴다(메모리 정책 문서). 대역폭 한계라면 코어를 더 쓰지 말고 데이터를 한 번 읽을 때 계산을 몰아 하도록 알고리즘을 바꾼다.

8시험 대비

출제 정보 정보관리(125회) · 컴퓨터시스템응용(120회, 107회, 89회, 86회, 78회, 75회, 74회, 71회, 66회, 65회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 병렬 처리의 개념과 분류를 묻는 정의 · 특징형, SIMD · MIMD 나 SMP · NUMA · MPP 를 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 의 네 수준으로 지도를 세우고 Amdahl · Gustafson 으로 한계를 말하며, 비교형이면 «나누는 것 · 메모리 공유 방식 · 재는 값» 세 기준으로 표를 만든다.

답안 목차
  1. 개요 — 정의(계산을 동시 실행 단위로 나눔) · 병행성 ↔ 병렬성 구분 · 등장 배경(Flynn 1966 · Amdahl 1967)
  2. 분류 — 그림 3 네 수준 지도 + 플린 분류 SISD · SIMD · MISD · MIMD 표
  3. 구조 — 다중 프로세서 SMP · NUMA · MPP 의 메모리 공유 방식 · 메모리 인터리빙
  4. 동작 사례 — 그림 4 배열 덧셈(계산 5.5 µs ↔ 메모리 252 µs ↔ 전송 503 µs)
  5. 성능 한계 — 그림 5 Amdahl 1 ÷ (s + (1 − s)/N) ↔ Gustafson N − s(N − 1) · s = 5 % 에서 15.4배 ↔ 60.9배
  6. 적용 판단 — 산술 강도 ↔ 기계 균형 · NUMA 지역 할당 · GPU 전송 손익

꼭 쓸 키워드
병행성병렬성플린 분류SIMDMIMD파이프라인SMPNUMA메모리 인터리빙Amdahl 법칙Gustafson 법칙GPGPU

다른 답안과 차이를 내는 한 가지는 «나누기(명령어 · 데이터 · 스레드)»와 «데이터 대기(인터리빙 · NUMA)»를 두 축으로 갈라, 그림 4 처럼 계산 시간과 메모리 시간을 같은 눈금에 놓고 어느 쪽이 끝을 정하는지 보이는 것이다.

9오해와 사실

  • 오해병행성과 병렬성은 같은 말이다.
    사실병행성은 독립 실행 단위로 짜는 구성이고 병렬성은 동시 실행이다(Go 블로그 2013) — 코어 하나에서도 병행 프로그램은 돌지만 병렬로 돌지는 않는다(그림 2).
  • 오해Amdahl 법칙 때문에 코어를 많이 쓰는 것은 소용없다.
    사실Amdahl 식은 문제 크기를 고정한 경우이고, 코어 수만큼 문제를 키우면 직렬 몫 5 % 에서도 코어 64개가 60.9배를 낸다(Gustafson 1988 · 원문 식 직접 계산).
  • 오해GPU 로 옮기면 병렬 계산은 언제나 빨라진다.
    사실배열 덧셈처럼 원소당 계산이 적으면 호스트 ↔ 장치 전송이 계산보다 길다 — 이 사례에서 전송 503 µs 는 CPU 전체 252 µs 의 2배다.

10핵심 정리

토픽나누는 단위메모리한계를 정하는 값확인 수단
병행성 · 병렬성독립 실행 단위—직렬 몫 sperf stat CPUs utilized
플린 분류명령 흐름 · 데이터 흐름 수—분류 틀(SISD · SIMD · MISD · MIMD)구조 비교
파이프라인명령어 처리 단계레지스터 · 캐시해저드 · 멈춤insn per cycle
GPU · GPGPU작업 항목 · 작업 그룹장치 메모리호스트 ↔ 장치 전송복사 · 커널 시간
다중 프로세서 구조프로세서 · 노드SMP 공유 · NUMA 노드별 · MPP 분산원격 접근 · 메시지numastat other_node
메모리 인터리빙주소(줄 · 페이지)뱅크 · 채널 · 노드대역폭(GB/s)스레드 수 ↔ 처리량

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Flynn 1972 Some Computer Organizations and Their Effectiveness (IEEE Transactions on Computers C-21(9)) — 명령 흐름 · 데이터 흐름으로 나눈 네 분류의 원래 정의를 볼 때
    IEEE · 1972-09 · doi.org/10.1109/TC.1972.5009071 · 확인 2026-11-14
  3. ★ Amdahl 1967 Validity of the Single Processor Approach to Achieving Large Scale Computing Capabilities (AFIPS Spring Joint Computer Conference) — 직렬 몫이 속도 향상의 상한을 정한다는 논증을 볼 때
    ACM · AFIPS · 1967-04 · doi.org/10.1145/1465482.1465560 · 확인 2026-11-14
  4. ★ Linux kernel documentation · What is NUMA? — 노드 · 원격 메모리 · 지역 할당이 무엇인지 볼 때
    kernel.org · 2026-11 · docs.kernel.org/mm/numa.html · 확인 2026-11-14
  5. ★ OpenCL API Specification v3.1.2 · Platform Model · Glossary — 호스트 · 계산 장치 · 작업 항목 · 작업 그룹의 표준 정의를 볼 때
    Khronos Group · 2026-09 · registry.khronos.org/OpenCL/specs/3.0-unified/html/OpenCL_API.html · 확인 2026-11-14
  6. 본문 근거
  7. Gustafson 1988 Reevaluating Amdahl's Law (Communications of the ACM 31(5)) — ACM · 1988-05 · doi.org/10.1145/42411.42415 · 확인 2026-11-14
  8. Linux kernel documentation · NUMA Memory Policy — kernel.org · 2026-11 · docs.kernel.org/admin-guide/mm/numa_memory_policy.html · 확인 2026-11-14
  9. Concurrency is not parallelism (The Go Blog · Andrew Gerrand) — go.dev · 2013-01 · go.dev/blog/waza-talk · 확인 2026-11-14
  10. Flynn 1966 Very High-Speed Computing Systems (Proceedings of the IEEE 54(12)) — IEEE · 1966-12 · doi.org/10.1109/PROC.1966.5273 · 확인 2026-11-14
  11. numastat(8) Linux manual page — numactl · man7.org · 2026-11 · man7.org/linux/man-pages/man8/numastat.8.html · 확인 2026-11-14
  12. perf-stat(1) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man1/perf-stat.1.html · 확인 2026-11-14