파이프라인Instruction Pipeline
CPU 가 명령어 하나의 처리를 인출 · 해독 · 실행 · 메모리 접근 · 결과 기록 같은 단계로 나누고, 단계마다 서로 다른 명령어를 겹쳐 처리해 클록마다 명령어 하나씩 끝내게 하는 명령어 수준 병렬 처리 기법이다.
1요약
- 파이프라인은 CPU 안에서 명령어 처리를 IF · ID · EX · MEM · WB 다섯 단계 같은 조각으로 나눠 겹쳐 돌리는 구조로(Hennessy · Patterson 2017 부록 C), 1961년 IBM Stretch 이후 RISC-V · ARM · x86 의 거의 모든 코어가 이 위에서 명령어를 실행한다. 데이터 파이프라인이나 CI/CD 파이프라인과는 다른 하드웨어 기법이다.
- 겹치지 않으면 다섯 단계 명령어 100개에 500 사이클이 들지만 겹치면 5 + 100 − 1 = 104 사이클로 끝나 약 4.8배가 빨라지고, 그 이득은 앞 명령어의 결과를 기다리는 멈춤 사이클만큼 깎인다.
- 「IPC 가 낮다」는 멈춤이 어디서 생기는가로 가른다 — 분기 예측 실패가 많으면 제어 해저드, 로드 직후 사용 · 캐시 미스가 많으면 데이터 해저드 · 메모리, 명령어 인출이 비면 프런트엔드가 원인이다.
2등장 배경
1950년대 컴퓨터는 명령어 하나를 인출 · 해독 · 실행까지 끝낸 뒤에야 다음 명령어를 읽었다. 연산기가 빨라져도 느린 코어 메모리에서 다음 명령어와 피연산자를 가져오는 동안 연산기는 놀았다.
IBM 은 704 보다 100배 빠른 기계를 목표로 한 Stretch(IBM 7030) 에서 인출 · 해독 · 실행을 네 단계로 겹쳐 1.6배를 얻으려 했고(Patterson · Hennessy 2005 6.13절), 첫 기계는 1961년 Los Alamos 에 들어갔다(Smotherman Stretch). 1964년 CDC 6600 은 명령어 집합을 단순하게 두어 겹치기 쉽게 했고, 1967년 IBM 360/91 은 포워딩 · 예약 스테이션으로 데이터 해저드를 하드웨어가 풀게 했다(Tomasulo 1967). 1981년 Smith 는 2비트 카운터 분기 예측을 발표했다(Smith 1981).
1980년대 초 Stanford MIPS 는 이름 그대로 「단계 사이 연동 장치 없는 파이프라인」을 내세워 해저드를 컴파일러가 피하게 했다(Patterson · Hennessy 2005 6.13절). 지금 코어는 이 파이프라인을 여러 줄 두는 슈퍼스칼라 · 비순차 실행으로 넓혔지만, 단계마다 다른 명령어를 겹친다는 바탕은 그대로다.
3쉽게 이해하기 — 다섯 직원이 줄지어 일하는 샌드위치 가게
샌드위치 가게에 직원 다섯이 한 줄로 선다. 첫째는 주문서를 받고, 둘째는 주문서를 읽어 재료를 챙기고, 셋째는 굽고 자르고, 넷째는 냉장고에서 재료를 꺼내거나 넣고, 다섯째는 쟁반에 담아 내놓는다. 종이 한 번 울릴 때마다 모든 주문서가 옆 직원에게 넘어가므로, 주문 하나에 다섯 박자가 걸려도 가게는 박자마다 샌드위치 하나를 내놓는다. 앞 주문의 재료가 아직 손에 있으면 다음 직원에게 바로 건네고, 냉장고 재료처럼 한 박자 늦게 나오면 다음 직원이 한 박자 쉰다. 손님이 「세트 말고 단품」이라고 바꾸면 미리 만들던 두 개를 버린다.
그림 1 · 다섯 직원이 박자마다 주문서를 옆으로 넘기고, 바로 건네기 · 한 박자 쉬기 · 만들던 것 버리기가 파이프라인의 포워딩 · 스톨 · 플러시에 짝지어진다.
그림 2 · 주문 하나에 걸리는 다섯 박자는 그대로지만, 줄지어 일하면 주문 셋이 15박자가 아니라 7박자에 끝난다 — 파이프라인은 지연이 아니라 처리량을 줄인다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 주문 받기 | IF(명령어 인출) | PC 가 가리키는 주소에서 명령어를 읽고 PC 를 4 늘린다 |
| 주문서 읽기 | ID(해독 · 레지스터 읽기) | 명령어를 풀고 원본 레지스터 값을 읽으며 해저드를 검사한다 |
| 굽고 자르기 | EX(실행) | ALU 가 덧셈 · 비교 · 주소 계산을 하고 분기 여부를 정한다 |
| 냉장고 | MEM(메모리 접근) | lw 는 데이터 캐시에서 읽고 sw 는 쓴다 |
| 쟁반에 내기 | WB(결과 기록) | 결과를 목적 레지스터에 쓴다 |
| 종소리 | 클록 · 단계 레지스터 | 사이클마다 단계 사이 레지스터가 값을 다음 단계로 넘긴다 |
| 손으로 바로 건넴 | 포워딩 | WB 전에 결과를 단계 레지스터에서 EX 입력으로 되돌린다 |
| 만들던 것 버림 | 플러시 | 잘못 인출한 명령어를 단계 레지스터에서 지워 무효로 만든다 |
⚠ 비유가 맞지 않는 곳: 가게 직원은 일이 빨리 끝나면 기다리지만, 실제 클록 주기는 가장 느린 단계가 정하므로 단계 사이 일의 양이 고르지 않으면 빠른 단계도 그 주기만큼 묶인다. 버린 샌드위치와 달리 플러시된 명령어는 레지스터 · 메모리에 아무 흔적도 남기지 않는다.
4구조 — 다섯 단계와 해저드 처리 장치
교과서 5단계 파이프라인은 단계 사이에 IF/ID · ID/EX · EX/MEM · MEM/WB 단계 레지스터 넷을 두고, 사이클마다 각 단계의 결과를 여기에 받아 다음 단계로 넘긴다(Hennessy · Patterson 2017 부록 C). 해저드는 구조(자원 다툼) · 데이터(앞 결과 의존) · 제어(분기) 세 종류이며(같은 부록 C.2절), 처리 장치는 그 셋에 하나씩 붙는다.
그림 3 · 다섯 단계는 단계 레지스터로 끊기고, 해저드 검출은 앞쪽을 멈추며, 포워딩은 뒤 단계 값을 EX 로 되돌리고, 분기 확정은 앞 두 단계를 비운다.
| 요소 | 위치 | 역할 | 값 · 근거 |
|---|---|---|---|
| 다섯 단계 | IF · ID · EX · MEM · WB | 명령어 하나를 다섯 사이클로 나눠 처리 | 이상적 CPI 1(부록 C.1절) |
| 단계 레지스터 | 단계 사이 넷 | 앞 단계 결과 · 제어 신호를 한 사이클 붙잡아 넘김 | IF/ID · ID/EX · EX/MEM · MEM/WB |
| 구조 해저드 | 메모리 · 레지스터 파일 | 두 단계가 한 자원을 같은 사이클에 씀 | 명령어 · 데이터 캐시 분리로 피함(C.2절) |
| 데이터 해저드 | ID ↔ EX | 앞 명령어가 쓰기 전에 뒤 명령어가 읽음(RAW) | 로드 직후 사용은 포워딩해도 1 사이클 멈춤 |
| 제어 해저드 | IF ↔ EX | 분기 결과 전에 다음 주소를 정해야 함 | EX 확정이면 잘못 인출한 명령어 2개 |
| 해저드 검출 | ID | PC · IF/ID 를 붙잡고 ID/EX 에 거품을 넣음 | 스톨 1 사이클 단위 |
| 포워딩 | EX 입력 | EX/MEM · MEM/WB 값을 레지스터 파일보다 먼저 씀 | 경로 둘 |
🔑 포워딩은 «값이 이미 계산된» 데이터 해저드만 없앤다 — 로드 값은 MEM 끝에야 나오므로 바로 다음 명령어는 포워딩이 있어도 한 사이클 기다린다.
5동작 — 로드 직후 사용과 분기 실패가 한 번씩 섞인 다섯 명령어
RV32I 명령어 다섯 개가 5단계 파이프라인을 지나는 사례다(RISC-V 비특권 명세 1.1.5 · 1.1.6절). 분기는 EX 에서 확정하고 «분기하지 않음»으로 예측하는 설계이며, 이 설계와 레지스터 번호는 설명용 가정 값이다. 명령어는 lw x5, 8(x10) · add x6, x5, x7 · sub x8, x6, x9 · beq x8, x0, L1 · L1: addi x11, x8, 1 이고, 이번에는 x8 이 0 이라 분기한다.
- 사이클 1 ~ 3 — lw 가 IF · ID · EX 를 지나고, 사이클 3 에 ID 에 있는 add 가 x5 를 읽으려 하자 해저드 검출이 로드 직후 사용을 찾는다.
- 사이클 4 — add 는 ID 에, sub 는 IF 에 붙잡히고 ID/EX 에 거품 하나가 들어간다(스톨 1 사이클).
- 사이클 5 — lw 가 WB 에 있는 동안 add 가 EX 에 들어가 MEM/WB 레지스터에서 x5 를 포워딩받는다.
- 사이클 6 — sub 가 EX 에서 EX/MEM 레지스터의 x6 을 포워딩받는다.
- 사이클 7 — beq 가 EX 에서 x8 을 포워딩받아 x8 = 0 을 확인하고 «분기함»으로 확정한다. 이때 IF · ID 에는 beq 뒤 순서대로 인출한 명령어 2개가 들어와 있다.
- 사이클 8 — 그 2개를 플러시하고 PC 를 L1 로 바꿔 addi 를 인출한다(벌칙 2 사이클).
- 사이클 12 — addi 가 WB 를 마친다. 쓸모 있는 명령어 5개에 12 사이클이 들었고, 이상적 5 + 5 − 1 = 9 사이클보다 3 사이클(스톨 1 + 플러시 2) 늦다. 명령어당 멈춤은 3 ÷ 5 = 0.6 사이클, CPI 는 1.6 이다.
그림 4 · lw 뒤 add 가 한 사이클 쉬고, beq 가 EX 에서 분기를 확정하자 뒤따라 인출한 두 명령어가 지워져 다섯 명령어가 12 사이클에 끝났다.
속도 향상은 이상적 CPI 1 과 명령어당 멈춤 사이클로 정해진다 — 단계가 고르게 나뉘고 단계 레지스터 지연을 무시하면 «속도 향상 = 파이프라인 깊이 ÷ (1 + 명령어당 멈춤 사이클)» 이다(Hennessy · Patterson 2017 부록 C.2절).
그림 5 · 사례의 5단계(명령어당 멈춤 0.6)는 3.1배이고, 10단계가 이보다 빠르려면 명령어당 멈춤이 2.2 사이클보다 적어야 한다.
🔑 단계를 늘리면 이상적 처리량은 깊이만큼 늘지만 분기 실패 한 번에 버리는 명령어도 늘어난다 — 깊이의 이득은 멈춤이 그보다 덜 늘 때만 남는다.
⚠ 그림 5 의 식은 단계가 고르게 나뉘고 단계 레지스터 지연이 0 이라는 가정이다. 실제로는 단계 레지스터 지연과 단계 사이 불균형 때문에 클록 주기가 깊이에 반비례해 줄지 않아, 깊이 10 의 이상적 속도 향상은 10배보다 작다(Hennessy · Patterson 2017 부록 C.1절).
분기 예측은 IF 단계에서 분기 결과를 짐작해 미리 인출하는 기능이다. 2비트 포화 카운터처럼 지난 결과를 기록해 짐작하며(Smith 1981), 맞히면 벌칙이 0 이고 틀리면 사례의 6단계처럼 플러시한다.
6비교 — 슈퍼스칼라 · 비순차 실행 · 멀티코어와의 차이
| 기준 | 파이프라인(단일 발행) | 슈퍼스칼라 | 비순차 실행 | 멀티코어(MIMD) |
|---|---|---|---|---|
| 겹치는 단위 | 한 명령어 흐름의 단계 | 같은 사이클에 명령어 여러 개 발행 | 준비된 명령어부터 실행 | 독립된 명령어 흐름 여럿 |
| 이상적 CPI · IPC | CPI 1 | IPC = 발행 폭(예 2 · 4) | 발행 폭까지 · 멈춤을 숨김 | 코어 수 × 코어당 IPC |
| 데이터 해저드 처리 | 포워딩 + 스톨 | 같은 사이클 명령어끼리도 검사 | 레지스터 이름 바꾸기 · 예약 스테이션(Tomasulo 1967) | 코어 사이는 동기화 · 캐시 일관성 |
| 필요한 병렬성 | 명령어 수준 | 명령어 수준(더 많이) | 명령어 수준 | 스레드 · 프로세스 수준 |
| 처음 쓰인 기계 | IBM Stretch 1961 | IBM Cheetah 제안 · 1990년대 초 상용(6.13절) | IBM 360/91(1967) | — |
분석순서가 바뀌면 안 되는 한 흐름의 코드를 빠르게 하려면 파이프라인 위에 슈퍼스칼라 · 비순차 실행을 얹고, 서로 독립인 작업이 많으면 멀티코어가 맞다. 근거는 표의 「필요한 병렬성」 행 — 앞 셋은 한 명령어 흐름 안의 병렬성을, 멀티코어는 흐름 사이의 병렬성을 쓴다.
7실무 진단 — 낮은 IPC 의 원인 단계 가르기
분석perf stat 으로 사이클 · 명령어 · 분기 실패 · 멈춤 사이클을 함께 세어, 멈춤이 분기 · 메모리 · 인출 가운데 어디서 오는지부터 가른다. 명령어당 멈춤 사이클이 곧 속도 향상을 깎는 값이므로(Hennessy · Patterson 2017 부록 C.2절) 가장 큰 멈춤 원인이 먼저 고칠 곳이다.
| # | 증상 | 의심 원인 | 단계 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | IPC 가 낮고 분기가 많은 루프에서 느림 | 분기 예측 실패 · 플러시 | IF ↔ EX(제어 해저드) | perf stat -e cycles, | branch-misses × 실패 벌칙 ÷ cycles 가 큼 = 플러시 사이클 비중(perf_ |
| 2 | 로드가 많은 코드에서 백엔드 멈춤이 큼 | 로드 직후 사용 · 캐시 미스 | MEM(데이터 해저드) | perf stat -e stalled-cycles-backend, | stalled-cycles-backend ÷ cycles 가 큼 = 실행 · 메모리 쪽 대기(perf_ |
| 3 | 코드가 크고 분기 목적지가 흩어짐 | 명령어 캐시 미스 · 인출 공백 | IF(프런트엔드) | perf stat -e stalled-cycles-frontend . | stalled-cycles-frontend ÷ cycles 가 큼 = 발행할 명령어가 없음(perf_ |
| 4 | 계산만 하는 짧은 루프인데 IPC 가 1 근처 | 긴 의존 사슬(RAW) | ID ↔ EX(데이터 해저드) | perf annotate 로 뜨거운 명령어 확인 | 앞 명령어 결과를 바로 쓰는 명령어에 표본이 몰림(perf-annotate(1) · 부록 C.2절) |
branch-misses 를 먼저 보는 까닭은 플러시가 한 번에 여러 사이클을 버려 비중이 크게 나오기 쉽고, 데이터를 정렬하거나 분기를 조건부 이동으로 바꾸는 식으로 코드만 고쳐 확인할 수 있기 때문이다. stalled-cycles 이벤트는 CPU 에 따라 지원되지 않으며, 인텔 CPU 는 perf stat --topdown 이 같은 구분을 준다(perf-stat(1)).
8시험 대비
www.q-net.or.kr시험에서는 5단계 흐름과 해저드 처리를 묻는 동작 · 절차 설명형, 단계 레지스터 · 해저드 검출 · 포워딩 장치의 구성을 묻는 구조 · 구성형이 나올 수 있다. 슈퍼스칼라 · VLIW 와 견주는 문항이면 비교표를 앞에 둔다.
- 개요 — 정의 · 명령어 수준 병렬성 · 처리량 ↔ 지연 구분 · 데이터 · CI/CD 파이프라인과 다름
- 구조 — 그림 3 단계 구성(IF · ID · EX · MEM · WB · 단계 레지스터 넷 · 해저드 검출 · 포워딩 경로)
- 해저드 세 종류와 대응 — 요소 표(구조 = 자원 분리 · 데이터 = 포워딩 · 스톨 · 제어 = 분기 예측 · 플러시)
- 동작 사례 — 그림 4 사이클 표(lw · add 스톨 1 · beq 플러시 2 · 12 사이클 · CPI 1.6)
- 성능 — 그림 5 속도 향상 그래프(깊이 ÷ (1 + 멈춤) · 100개 104 사이클 4.8배)
- 발전 — 비교표(슈퍼스칼라 · 비순차 실행 · 멀티코어 · 필요한 병렬성)
꼭 쓸 키워드
단계 레지스터CPI처리량구조 해저드데이터 해저드제어 해저드포워딩스톨플러시분기 예측
다른 답안과 차이를 내는 한 가지는 사이클 표에 스톨 · 플러시를 직접 그리고 CPI 1.6 을 셈해 보이는 것이다.
9오해와 사실
- 오해파이프라인은 명령어 하나를 더 빨리 끝낸다.사실명령어 하나는 여전히 다섯 단계를 다 지나고, 단계 레지스터 지연까지 더해 오히려 조금 길어진다 — 늘어나는 것은 사이클마다 끝나는 명령어 수다(부록 C.1절).
- 오해포워딩이 있으면 데이터 해저드로 인한 멈춤은 없다.사실lw 값은 MEM 끝에 나오므로 바로 다음 명령어가 그 값을 쓰면 포워딩이 있어도 1 사이클 멈춘다(사례 2단계).
- 오해RISC-V 도 MIPS 처럼 분기 뒤 한 명령어를 늘 실행한다.사실RV32I 의 분기 · 점프에는 구조상 드러나는 지연 슬롯이 없다(RISC-V 비특권 명세 1.1.5절).
10핵심 정리
| 구분 | 원인 | 생기는 단계 | 대응 | 멈춤 비용(5단계 사례) |
|---|---|---|---|---|
| 기본 파이프라인 | 명령어를 단계로 나눠 겹침 | IF ~ WB | 단계 레지스터 · 클록 | 이상적 CPI 1 |
| 구조 해저드 | 한 자원을 두 단계가 동시에 씀 | IF · MEM | 명령어 · 데이터 캐시 분리 · 자원 복제 | 다툼마다 1 사이클 |
| 데이터 해저드 | 앞 결과를 쓰기 전에 읽음(RAW) | ID ↔ EX | 포워딩 · 스톨 · 명령어 재배치 | 로드 직후 사용 1 사이클 |
| 제어 해저드 | 분기 결과 전 다음 주소 필요 | IF ↔ EX | 분기 예측 · 플러시 | 실패 1회 2 사이클 |
| 포워딩 | 레지스터 파일보다 먼저 값 전달 | EX 입력 | EX/MEM · MEM/WB 경로 | 0 사이클(로드 제외) |
| 분기 예측 | 지난 결과로 짐작 | IF | 2비트 카운터 등 | 맞히면 0 |
| 슈퍼스칼라 | 파이프라인을 여러 줄 | 발행 | 같은 사이클 다중 발행 | 이상적 IPC = 발행 폭 |
11참고 문헌
- 먼저 볼 문헌
- ★ Computer Architecture: A Quantitative Approach, 6th ed. (Appendix C Pipelining: Basic and Intermediate Concepts) — 파이프라인 속도 향상 식 · 해저드 세 종류 · 포워딩의 정의를 볼 때
- ★ RV32I Base Integer Instruction Set, Version 2.1 (The RISC-V Instruction Set Manual Volume I: Unprivileged Architecture v20260120) — 사례 명령어 lw · add · beq 의 뜻과 지연 슬롯이 없다는 규정을 볼 때
- ★ Computer Organization and Design, 3rd ed. — 6.13 Historical Perspective and Further Reading — Stretch · CDC 6600 · 360/91 · MIPS · 슈퍼스칼라로 이어진 역사를 볼 때
- ★ perf_event_open(2) Linux manual page — 분기 예측 실패 · 프런트엔드 · 백엔드 멈춤 사이클 카운터의 뜻을 볼 때
- 본문 근거
- An Efficient Algorithm for Exploiting Multiple Arithmetic Units — R. M. Tomasulo · IBM Journal of Research and Development 11(1) 25-33 · 1967-01 ·
doi.org/10.1147/rd.111.0025· 확인 2026-11-04 - A Study of Branch Prediction Strategies — J. E. Smith · 8th Annual Symposium on Computer Architecture 135-148 · 1981-05 ·
research.cs.wisc.edu/arch/uwarch-wiki2/index.php/PubsUWArch/B2hd-DBLPconfiscaSmith81· 확인 2026-11-04 - IBM Stretch (7030) — Aggressive Uniprocessor Parallelism — M. Smotherman · Clemson University · 2026-11 ·
mark.people.clemson.edu/stretch.html· 확인 2026-11-04 - perf-annotate(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/perf-annotate.1.html· 확인 2026-11-04 - perf-stat(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/perf-stat.1.html· 확인 2026-11-04