IT › 컴퓨터 시스템 › 컴퓨터 구조 › 병렬 처리

파이프라인Instruction Pipeline

CPU 가 명령어 하나의 처리를 인출 · 해독 · 실행 · 메모리 접근 · 결과 기록 같은 단계로 나누고, 단계마다 서로 다른 명령어를 겹쳐 처리해 클록마다 명령어 하나씩 끝내게 하는 명령어 수준 병렬 처리 기법이다.

1요약

  1. 파이프라인은 CPU 안에서 명령어 처리를 IF · ID · EX · MEM · WB 다섯 단계 같은 조각으로 나눠 겹쳐 돌리는 구조로(Hennessy · Patterson 2017 부록 C), 1961년 IBM Stretch 이후 RISC-V · ARM · x86 의 거의 모든 코어가 이 위에서 명령어를 실행한다. 데이터 파이프라인이나 CI/CD 파이프라인과는 다른 하드웨어 기법이다.
  2. 겹치지 않으면 다섯 단계 명령어 100개에 500 사이클이 들지만 겹치면 5 + 100 − 1 = 104 사이클로 끝나 약 4.8배가 빨라지고, 그 이득은 앞 명령어의 결과를 기다리는 멈춤 사이클만큼 깎인다.
  3. 「IPC 가 낮다」는 멈춤이 어디서 생기는가로 가른다 — 분기 예측 실패가 많으면 제어 해저드, 로드 직후 사용 · 캐시 미스가 많으면 데이터 해저드 · 메모리, 명령어 인출이 비면 프런트엔드가 원인이다.

2등장 배경

1950년대 컴퓨터는 명령어 하나를 인출 · 해독 · 실행까지 끝낸 뒤에야 다음 명령어를 읽었다. 연산기가 빨라져도 느린 코어 메모리에서 다음 명령어와 피연산자를 가져오는 동안 연산기는 놀았다.

IBM 은 704 보다 100배 빠른 기계를 목표로 한 Stretch(IBM 7030) 에서 인출 · 해독 · 실행을 네 단계로 겹쳐 1.6배를 얻으려 했고(Patterson · Hennessy 2005 6.13절), 첫 기계는 1961년 Los Alamos 에 들어갔다(Smotherman Stretch). 1964년 CDC 6600 은 명령어 집합을 단순하게 두어 겹치기 쉽게 했고, 1967년 IBM 360/91 은 포워딩 · 예약 스테이션으로 데이터 해저드를 하드웨어가 풀게 했다(Tomasulo 1967). 1981년 Smith 는 2비트 카운터 분기 예측을 발표했다(Smith 1981).

1980년대 초 Stanford MIPS 는 이름 그대로 「단계 사이 연동 장치 없는 파이프라인」을 내세워 해저드를 컴파일러가 피하게 했다(Patterson · Hennessy 2005 6.13절). 지금 코어는 이 파이프라인을 여러 줄 두는 슈퍼스칼라 · 비순차 실행으로 넓혔지만, 단계마다 다른 명령어를 겹친다는 바탕은 그대로다.

3쉽게 이해하기 — 다섯 직원이 줄지어 일하는 샌드위치 가게

샌드위치 가게에 직원 다섯이 한 줄로 선다. 첫째는 주문서를 받고, 둘째는 주문서를 읽어 재료를 챙기고, 셋째는 굽고 자르고, 넷째는 냉장고에서 재료를 꺼내거나 넣고, 다섯째는 쟁반에 담아 내놓는다. 종이 한 번 울릴 때마다 모든 주문서가 옆 직원에게 넘어가므로, 주문 하나에 다섯 박자가 걸려도 가게는 박자마다 샌드위치 하나를 내놓는다. 앞 주문의 재료가 아직 손에 있으면 다음 직원에게 바로 건네고, 냉장고 재료처럼 한 박자 늦게 나오면 다음 직원이 한 박자 쉰다. 손님이 「세트 말고 단품」이라고 바꾸면 미리 만들던 두 개를 버린다.

샌드위치 가게 — 직원 다섯이 한 줄 주문 받기 IF 인출 주문서 읽기 ID 해독 굽고 자르기 EX 실행 냉장고 MEM 메모리 쟁반에 내기 WB 기록 되돌려 바로 건넴 1 종이 울리면 모두 옆으로 넘김 클록 · 단계 레지스터 2 앞 주문 재료를 손으로 바로 건넴 포워딩 3 냉장고 재료가 늦어 한 박자 쉼 데이터 해저드 · 스톨 4 오븐 하나를 두 직원이 쓰려 함 구조 해저드 5 주문이 바뀌어 만들던 둘을 버림 제어 해저드 · 플러시 6 단골의 지난 주문으로 미리 짐작 분기 예측 위 줄 = 다섯 단계 · 아래 이름표 = 실제 기술 이름

그림 1 · 다섯 직원이 박자마다 주문서를 옆으로 넘기고, 바로 건네기 · 한 박자 쉬기 · 만들던 것 버리기가 파이프라인의 포워딩 · 스톨 · 플러시에 짝지어진다.

주문 받기다음 주문서를 집어 든다
주문서 읽기무엇이 필요한지 챙긴다
굽고 자르기실제 손일을 한다
냉장고재료를 꺼내거나 넣는다
쟁반에 내기완성품을 내놓는다
비유 — 혼자 다 하기 ↔ 줄지어 하기 1 5 10 15 박자 혼자 주문 A 주문 B 주문 C 15박자 다섯이 줄 주문 A 주문 B 주문 C 7박자 막대 하나 = 다섯 박자 한 박자씩 늦게 시작 실제 — 명령어 3개 · 5단계 겹치지 않음 = 3 × 5 = 15 사이클 파이프라인 = 5 + 3 − 1 = 7 사이클 명령어 하나의 지연 = 두 경우 모두 5 사이클 · 줄어드는 것은 명령어가 끝나는 간격(처리량)

그림 2 · 주문 하나에 걸리는 다섯 박자는 그대로지만, 줄지어 일하면 주문 셋이 15박자가 아니라 7박자에 끝난다 — 파이프라인은 지연이 아니라 처리량을 줄인다.

비유 속 역할실제 이름실제로 하는 일
주문 받기IF(명령어 인출)PC 가 가리키는 주소에서 명령어를 읽고 PC 를 4 늘린다
주문서 읽기ID(해독 · 레지스터 읽기)명령어를 풀고 원본 레지스터 값을 읽으며 해저드를 검사한다
굽고 자르기EX(실행)ALU 가 덧셈 · 비교 · 주소 계산을 하고 분기 여부를 정한다
냉장고MEM(메모리 접근)lw 는 데이터 캐시에서 읽고 sw 는 쓴다
쟁반에 내기WB(결과 기록)결과를 목적 레지스터에 쓴다
종소리클록 · 단계 레지스터사이클마다 단계 사이 레지스터가 값을 다음 단계로 넘긴다
손으로 바로 건넴포워딩WB 전에 결과를 단계 레지스터에서 EX 입력으로 되돌린다
만들던 것 버림플러시잘못 인출한 명령어를 단계 레지스터에서 지워 무효로 만든다

⚠ 비유가 맞지 않는 곳: 가게 직원은 일이 빨리 끝나면 기다리지만, 실제 클록 주기는 가장 느린 단계가 정하므로 단계 사이 일의 양이 고르지 않으면 빠른 단계도 그 주기만큼 묶인다. 버린 샌드위치와 달리 플러시된 명령어는 레지스터 · 메모리에 아무 흔적도 남기지 않는다.

4구조 — 다섯 단계와 해저드 처리 장치

교과서 5단계 파이프라인은 단계 사이에 IF/ID · ID/EX · EX/MEM · MEM/WB 단계 레지스터 넷을 두고, 사이클마다 각 단계의 결과를 여기에 받아 다음 단계로 넘긴다(Hennessy · Patterson 2017 부록 C). 해저드는 구조(자원 다툼) · 데이터(앞 결과 의존) · 제어(분기) 세 종류이며(같은 부록 C.2절), 처리 장치는 그 셋에 하나씩 붙는다.

PC 해저드 검출 멈춤 거품 IF 인출 ID 해독 EX 실행 MEM 접근 WB 기록 IF/ID ID/EX EX/MEM MEM/WB 포워딩 두 경로 플러시 주소(PC) 데이터 경로 · 단계 단계 레지스터(값 사본) 제어(멈춤 · 거품) 포워딩 플러시 분기는 EX 에서 확정하는 설계(설명용 가정) · 오른쪽으로 갈수록 나중 단계

그림 3 · 다섯 단계는 단계 레지스터로 끊기고, 해저드 검출은 앞쪽을 멈추며, 포워딩은 뒤 단계 값을 EX 로 되돌리고, 분기 확정은 앞 두 단계를 비운다.

요소위치역할값 · 근거
다섯 단계IF · ID · EX · MEM · WB명령어 하나를 다섯 사이클로 나눠 처리이상적 CPI 1(부록 C.1절)
단계 레지스터단계 사이 넷앞 단계 결과 · 제어 신호를 한 사이클 붙잡아 넘김IF/ID · ID/EX · EX/MEM · MEM/WB
구조 해저드메모리 · 레지스터 파일두 단계가 한 자원을 같은 사이클에 씀명령어 · 데이터 캐시 분리로 피함(C.2절)
데이터 해저드ID ↔ EX앞 명령어가 쓰기 전에 뒤 명령어가 읽음(RAW)로드 직후 사용은 포워딩해도 1 사이클 멈춤
제어 해저드IF ↔ EX분기 결과 전에 다음 주소를 정해야 함EX 확정이면 잘못 인출한 명령어 2개
해저드 검출IDPC · IF/ID 를 붙잡고 ID/EX 에 거품을 넣음스톨 1 사이클 단위
포워딩EX 입력EX/MEM · MEM/WB 값을 레지스터 파일보다 먼저 씀경로 둘

🔑 포워딩은 «값이 이미 계산된» 데이터 해저드만 없앤다 — 로드 값은 MEM 끝에야 나오므로 바로 다음 명령어는 포워딩이 있어도 한 사이클 기다린다.

5동작 — 로드 직후 사용과 분기 실패가 한 번씩 섞인 다섯 명령어

RV32I 명령어 다섯 개가 5단계 파이프라인을 지나는 사례다(RISC-V 비특권 명세 1.1.5 · 1.1.6절). 분기는 EX 에서 확정하고 «분기하지 않음»으로 예측하는 설계이며, 이 설계와 레지스터 번호는 설명용 가정 값이다. 명령어는 lw x5, 8(x10) · add x6, x5, x7 · sub x8, x6, x9 · beq x8, x0, L1 · L1: addi x11, x8, 1 이고, 이번에는 x8 이 0 이라 분기한다.

  1. 사이클 1 ~ 3 — lw 가 IF · ID · EX 를 지나고, 사이클 3 에 ID 에 있는 add 가 x5 를 읽으려 하자 해저드 검출이 로드 직후 사용을 찾는다.
  2. 사이클 4 — add 는 ID 에, sub 는 IF 에 붙잡히고 ID/EX 에 거품 하나가 들어간다(스톨 1 사이클).
  3. 사이클 5 — lw 가 WB 에 있는 동안 add 가 EX 에 들어가 MEM/WB 레지스터에서 x5 를 포워딩받는다.
  4. 사이클 6 — sub 가 EX 에서 EX/MEM 레지스터의 x6 을 포워딩받는다.
  5. 사이클 7 — beq 가 EX 에서 x8 을 포워딩받아 x8 = 0 을 확인하고 «분기함»으로 확정한다. 이때 IF · ID 에는 beq 뒤 순서대로 인출한 명령어 2개가 들어와 있다.
  6. 사이클 8 — 그 2개를 플러시하고 PC 를 L1 로 바꿔 addi 를 인출한다(벌칙 2 사이클).
  7. 사이클 12 — addi 가 WB 를 마친다. 쓸모 있는 명령어 5개에 12 사이클이 들었고, 이상적 5 + 5 − 1 = 9 사이클보다 3 사이클(스톨 1 + 플러시 2) 늦다. 명령어당 멈춤은 3 ÷ 5 = 0.6 사이클, CPI 는 1.6 이다.
사이클 1 2 3 4 5 6 7 8 9 10 11 12 lw x5, 8(x10) IF ID EX MEM WB add x6, x5, x7 IF ID 멈춤 EX MEM WB sub x8, x6, x9 IF 멈춤 ID EX MEM WB beq x8, x0, L1 IF ID EX MEM WB 다음 명령어 1 IF ID 지움 다음 명령어 2 IF 지움 addi x11, x8, 1 IF ID EX MEM WB 정상 단계 멈춤(스톨) 잘못 인출 → 지움 포워딩 굵은 테두리 = 분기 확정 이상적 9 사이클 + 스톨 1 + 플러시 2 = 12 사이클 · CPI 1.6

그림 4 · lw 뒤 add 가 한 사이클 쉬고, beq 가 EX 에서 분기를 확정하자 뒤따라 인출한 두 명령어가 지워져 다섯 명령어가 12 사이클에 끝났다.

속도 향상은 이상적 CPI 1 과 명령어당 멈춤 사이클로 정해진다 — 단계가 고르게 나뉘고 단계 레지스터 지연을 무시하면 «속도 향상 = 파이프라인 깊이 ÷ (1 + 명령어당 멈춤 사이클)» 이다(Hennessy · Patterson 2017 부록 C.2절).

속도 향상(배) 0 5 10 0 0.5 1.0 1.5 2.0 2.5 명령어당 멈춤 사이클 사례 0.6 → 3.1배 2.2 → 3.1배 같은 3.1배 5단계 · 멈춤 0 = 5배 10단계 · 멈춤 0 = 10배 5단계 = 5 ÷ (1 + 멈춤) 10단계 = 10 ÷ (1 + 멈춤) 속도 향상이 같아지는 점

그림 5 · 사례의 5단계(명령어당 멈춤 0.6)는 3.1배이고, 10단계가 이보다 빠르려면 명령어당 멈춤이 2.2 사이클보다 적어야 한다.

🔑 단계를 늘리면 이상적 처리량은 깊이만큼 늘지만 분기 실패 한 번에 버리는 명령어도 늘어난다 — 깊이의 이득은 멈춤이 그보다 덜 늘 때만 남는다.

⚠ 그림 5 의 식은 단계가 고르게 나뉘고 단계 레지스터 지연이 0 이라는 가정이다. 실제로는 단계 레지스터 지연과 단계 사이 불균형 때문에 클록 주기가 깊이에 반비례해 줄지 않아, 깊이 10 의 이상적 속도 향상은 10배보다 작다(Hennessy · Patterson 2017 부록 C.1절).

분기 예측은 IF 단계에서 분기 결과를 짐작해 미리 인출하는 기능이다. 2비트 포화 카운터처럼 지난 결과를 기록해 짐작하며(Smith 1981), 맞히면 벌칙이 0 이고 틀리면 사례의 6단계처럼 플러시한다.

6비교 — 슈퍼스칼라 · 비순차 실행 · 멀티코어와의 차이

기준파이프라인(단일 발행)슈퍼스칼라비순차 실행멀티코어(MIMD)
겹치는 단위한 명령어 흐름의 단계같은 사이클에 명령어 여러 개 발행준비된 명령어부터 실행독립된 명령어 흐름 여럿
이상적 CPI · IPCCPI 1IPC = 발행 폭(예 2 · 4)발행 폭까지 · 멈춤을 숨김코어 수 × 코어당 IPC
데이터 해저드 처리포워딩 + 스톨같은 사이클 명령어끼리도 검사레지스터 이름 바꾸기 · 예약 스테이션(Tomasulo 1967)코어 사이는 동기화 · 캐시 일관성
필요한 병렬성명령어 수준명령어 수준(더 많이)명령어 수준스레드 · 프로세스 수준
처음 쓰인 기계IBM Stretch 1961IBM Cheetah 제안 · 1990년대 초 상용(6.13절)IBM 360/91(1967)—

분석순서가 바뀌면 안 되는 한 흐름의 코드를 빠르게 하려면 파이프라인 위에 슈퍼스칼라 · 비순차 실행을 얹고, 서로 독립인 작업이 많으면 멀티코어가 맞다. 근거는 표의 「필요한 병렬성」 행 — 앞 셋은 한 명령어 흐름 안의 병렬성을, 멀티코어는 흐름 사이의 병렬성을 쓴다.

7실무 진단 — 낮은 IPC 의 원인 단계 가르기

분석perf stat 으로 사이클 · 명령어 · 분기 실패 · 멈춤 사이클을 함께 세어, 멈춤이 분기 · 메모리 · 인출 가운데 어디서 오는지부터 가른다. 명령어당 멈춤 사이클이 곧 속도 향상을 깎는 값이므로(Hennessy · Patterson 2017 부록 C.2절) 가장 큰 멈춤 원인이 먼저 고칠 곳이다.

#증상의심 원인단계확인 명령판정 기준(근거)
1IPC 가 낮고 분기가 많은 루프에서 느림분기 예측 실패 · 플러시IF ↔ EX(제어 해저드)perf stat -e cycles,instructions,branches,branch-misses ./appbranch-misses × 실패 벌칙 ÷ cycles 가 큼 = 플러시 사이클 비중(perf_event_open(2) · 부록 C.2절)
2로드가 많은 코드에서 백엔드 멈춤이 큼로드 직후 사용 · 캐시 미스MEM(데이터 해저드)perf stat -e stalled-cycles-backend,cache-misses ./appstalled-cycles-backend ÷ cycles 가 큼 = 실행 · 메모리 쪽 대기(perf_event_open(2))
3코드가 크고 분기 목적지가 흩어짐명령어 캐시 미스 · 인출 공백IF(프런트엔드)perf stat -e stalled-cycles-frontend ./appstalled-cycles-frontend ÷ cycles 가 큼 = 발행할 명령어가 없음(perf_event_open(2))
4계산만 하는 짧은 루프인데 IPC 가 1 근처긴 의존 사슬(RAW)ID ↔ EX(데이터 해저드)perf annotate 로 뜨거운 명령어 확인앞 명령어 결과를 바로 쓰는 명령어에 표본이 몰림(perf-annotate(1) · 부록 C.2절)

branch-misses 를 먼저 보는 까닭은 플러시가 한 번에 여러 사이클을 버려 비중이 크게 나오기 쉽고, 데이터를 정렬하거나 분기를 조건부 이동으로 바꾸는 식으로 코드만 고쳐 확인할 수 있기 때문이다. stalled-cycles 이벤트는 CPU 에 따라 지원되지 않으며, 인텔 CPU 는 perf stat --topdown 이 같은 구분을 준다(perf-stat(1)).

8시험 대비

출제 정보 정보관리(139회, 135회, 121회, 113회) · 컴퓨터시스템응용(135회, 129회, 104회, 96회, 78회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 5단계 흐름과 해저드 처리를 묻는 동작 · 절차 설명형, 단계 레지스터 · 해저드 검출 · 포워딩 장치의 구성을 묻는 구조 · 구성형이 나올 수 있다. 슈퍼스칼라 · VLIW 와 견주는 문항이면 비교표를 앞에 둔다.

답안 목차
  1. 개요 — 정의 · 명령어 수준 병렬성 · 처리량 ↔ 지연 구분 · 데이터 · CI/CD 파이프라인과 다름
  2. 구조 — 그림 3 단계 구성(IF · ID · EX · MEM · WB · 단계 레지스터 넷 · 해저드 검출 · 포워딩 경로)
  3. 해저드 세 종류와 대응 — 요소 표(구조 = 자원 분리 · 데이터 = 포워딩 · 스톨 · 제어 = 분기 예측 · 플러시)
  4. 동작 사례 — 그림 4 사이클 표(lw · add 스톨 1 · beq 플러시 2 · 12 사이클 · CPI 1.6)
  5. 성능 — 그림 5 속도 향상 그래프(깊이 ÷ (1 + 멈춤) · 100개 104 사이클 4.8배)
  6. 발전 — 비교표(슈퍼스칼라 · 비순차 실행 · 멀티코어 · 필요한 병렬성)

꼭 쓸 키워드
단계 레지스터CPI처리량구조 해저드데이터 해저드제어 해저드포워딩스톨플러시분기 예측

다른 답안과 차이를 내는 한 가지는 사이클 표에 스톨 · 플러시를 직접 그리고 CPI 1.6 을 셈해 보이는 것이다.

9오해와 사실

  • 오해파이프라인은 명령어 하나를 더 빨리 끝낸다.
    사실명령어 하나는 여전히 다섯 단계를 다 지나고, 단계 레지스터 지연까지 더해 오히려 조금 길어진다 — 늘어나는 것은 사이클마다 끝나는 명령어 수다(부록 C.1절).
  • 오해포워딩이 있으면 데이터 해저드로 인한 멈춤은 없다.
    사실lw 값은 MEM 끝에 나오므로 바로 다음 명령어가 그 값을 쓰면 포워딩이 있어도 1 사이클 멈춘다(사례 2단계).
  • 오해RISC-V 도 MIPS 처럼 분기 뒤 한 명령어를 늘 실행한다.
    사실RV32I 의 분기 · 점프에는 구조상 드러나는 지연 슬롯이 없다(RISC-V 비특권 명세 1.1.5절).

10핵심 정리

구분원인생기는 단계대응멈춤 비용(5단계 사례)
기본 파이프라인명령어를 단계로 나눠 겹침IF ~ WB단계 레지스터 · 클록이상적 CPI 1
구조 해저드한 자원을 두 단계가 동시에 씀IF · MEM명령어 · 데이터 캐시 분리 · 자원 복제다툼마다 1 사이클
데이터 해저드앞 결과를 쓰기 전에 읽음(RAW)ID ↔ EX포워딩 · 스톨 · 명령어 재배치로드 직후 사용 1 사이클
제어 해저드분기 결과 전 다음 주소 필요IF ↔ EX분기 예측 · 플러시실패 1회 2 사이클
포워딩레지스터 파일보다 먼저 값 전달EX 입력EX/MEM · MEM/WB 경로0 사이클(로드 제외)
분기 예측지난 결과로 짐작IF2비트 카운터 등맞히면 0
슈퍼스칼라파이프라인을 여러 줄발행같은 사이클 다중 발행이상적 IPC = 발행 폭

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Computer Architecture: A Quantitative Approach, 6th ed. (Appendix C Pipelining: Basic and Intermediate Concepts) — 파이프라인 속도 향상 식 · 해저드 세 종류 · 포워딩의 정의를 볼 때
    J. L. Hennessy · D. A. Patterson · Morgan Kaufmann · 2017-11 · shop.elsevier.com/books/computer-architecture/hennessy/978-0-12-811905-1 · 확인 2026-11-04
  3. ★ RV32I Base Integer Instruction Set, Version 2.1 (The RISC-V Instruction Set Manual Volume I: Unprivileged Architecture v20260120) — 사례 명령어 lw · add · beq 의 뜻과 지연 슬롯이 없다는 규정을 볼 때
    RISC-V International · 2026-01 · docs.riscv.org/reference/isa/v20260120/unpriv/rv32.html · 확인 2026-11-04
  4. ★ Computer Organization and Design, 3rd ed. — 6.13 Historical Perspective and Further Reading — Stretch · CDC 6600 · 360/91 · MIPS · 슈퍼스칼라로 이어진 역사를 볼 때
    D. A. Patterson · J. L. Hennessy · Morgan Kaufmann · 2005-01 · 확인 2026-11-04
  5. ★ perf_event_open(2) Linux manual page — 분기 예측 실패 · 프런트엔드 · 백엔드 멈춤 사이클 카운터의 뜻을 볼 때
    man7.org · 2026-11 · man7.org/linux/man-pages/man2/perf_event_open.2.html · 확인 2026-11-04
  6. 본문 근거
  7. An Efficient Algorithm for Exploiting Multiple Arithmetic Units — R. M. Tomasulo · IBM Journal of Research and Development 11(1) 25-33 · 1967-01 · doi.org/10.1147/rd.111.0025 · 확인 2026-11-04
  8. A Study of Branch Prediction Strategies — J. E. Smith · 8th Annual Symposium on Computer Architecture 135-148 · 1981-05 · research.cs.wisc.edu/arch/uwarch-wiki2/index.php/PubsUWArch/B2hd-DBLPconfiscaSmith81 · 확인 2026-11-04
  9. IBM Stretch (7030) — Aggressive Uniprocessor Parallelism — M. Smotherman · Clemson University · 2026-11 · mark.people.clemson.edu/stretch.html · 확인 2026-11-04
  10. perf-annotate(1) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man1/perf-annotate.1.html · 확인 2026-11-04
  11. perf-stat(1) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man1/perf-stat.1.html · 확인 2026-11-04