SRE사이트 신뢰성 엔지니어링 · Site Reliability Engineering
소프트웨어 엔지니어가 운영을 맡아, 서비스 수준 목표와 오류 예산으로 변경 속도와 신뢰성을 맞추고 반복 운영 일을 코드로 없애는 운영 방식이다.
1요약
- SRE 는 2003년 Google 에서 시작해 2016년 책으로 공개된 운영 방식으로, 클라우드 운영의 관측성 · 신뢰성 아래에서 SLI · SLO · 오류 예산 · 토일 · 사후 검토 다섯 장치를 묶고 그 위에서 배포 동결 · 온콜 교대 · 장애 회고가 돈다(SRE Book 1장).
- 개발은 «더 자주 바꾸기», 운영은 «덜 바꾸기»를 원해 싸우는데, SRE 는 목표가 남긴 실패 허용량을 예산으로 정해 다 쓰면 기능 배포를 멈추고(SRE Workbook 부록 B), 운영 일을 엔지니어 시간의 50% 아래로 묶는다 — 실제 평균은 약 33% 였다(SRE Book 5장).
- 「SRE 를 도입했는데 달라진 게 없다」는 예산 정책 · 호출 수 · 토일 비율 셋으로 가른다 — 예산을 넘겨도 배포가 계속되는가, 12시간 교대에 호출이 2건을 넘는가, 엔지니어링 과제가 운영 일에 밀리는가다.
2등장 배경
서비스를 개발팀이 만들고 별도 운영팀이 넘겨받는 구조에서는 서비스가 커질수록 운영 인원을 같은 비율로 늘려야 했고, 개발팀은 출시를, 운영팀은 변경 거부를 성과로 삼아 부딪쳤다. Benjamin Treynor Sloss 는 2003년 Google 에 들어가 엔지니어 7명의 운영 팀을 맡아 «소프트웨어 엔지니어에게 운영 팀 설계를 맡기면 생기는 것»을 SRE 라 부르고, 운영 일 50% 상한과 오류 예산을 규칙으로 삼았다(SRE Book 1장).
책 두 권 — 『Site Reliability Engineering』(2016) · 『The Site Reliability Workbook』(2018) — 이 그 방법과 예산 정책 예시를 공개했다(SRE Workbook 부록 B). Workbook 은 SRE 를 DevOps 의 원칙을 구현한 한 방식으로 보고 «class SRE implements interface DevOps» 라고 적는다(SRE Workbook 1장) — 지금은 클라우드 서비스 운영 조직의 표준 직무 이름이 됐다.
3쉽게 이해하기 — 동네 빵집의 실수 허용분
동네 빵집 하 사장은 손님에게 «아침 8시 전 주문 1,000개 가운데 995개는 제때 내준다»고 약속했다. 늦어도 되는 5개는 실수 허용분이라, 허용분이 남아 있는 동안에는 신메뉴를 내고 다 쓰면 신메뉴를 멈추고 오븐부터 고친다. 날마다 손으로 오븐에 불을 붙이던 당번 제빵사는 그 시간을 모아 자동 점화기를 만들었다. 사고가 나면 누구 잘못인지 대신 무엇이 겹쳤는지를 회고 노트에 적는다.
그림 1 · 빵집은 제때 낸 빵을 세어 약속과 견주고, 남은 실수 허용분으로 신메뉴를 낼지 정하며, 사고는 당번 호출 · 회고 노트 · 자동 점화기로 다시 빵집을 고친다.
그림 2 · 당번 제빵사 넷이 손 점화 시간을 자동 점화기로 절반 줄이자 잡일이 절반 상한 아래로 더 내려가 새 도구 만들 시간이 55% 에서 67.5% 로 늘었다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 장부 | SLI | 좋은 요청 ÷ 전체 요청을 잰다(SRE Workbook 2장) |
| 1,000개 중 995개 약속 | SLO | 정해진 기간에 SLI 가 지킬 목표 값 |
| 실수 허용분 | 오류 예산 | 1 에서 목표를 뺀 몫만큼 실패를 허용한다 |
| 신메뉴를 낼지 멈출지 | 오류 예산 정책 | 예산을 넘기면 기능 배포를 멈춘다 |
| 당번 제빵사 | 온콜 | 정해진 시간 안에 호출에 응답한다 |
| 회고 노트 | 비난 없는 사후 검토 | 사람 대신 기여 원인과 조치 항목을 적는다 |
| 손 점화 | 토일 | 수작업 · 반복 · 자동화 가능한 운영 일 |
| 자동 점화기 | 엔지니어링 작업 | 토일을 코드로 없애 시간을 돌려받는다 |
⚠ 비유가 맞지 않는 곳: 빵집의 허용분은 하루마다 새로 시작하지만 실제 오류 예산은 보통 28일 이동 창이라, 오래전 실패가 창 밖으로 빠져야 예산이 돌아온다.
4구조 — 목표 고리와 사건 고리
SRE 는 두 고리로 돈다. 목표 고리는 SLI 를 재서 SLO 와 견주고 남은 오류 예산으로 변경 속도를 정하며, 사건 고리는 경보에서 온콜 · 사건 대응 · 사후 검토를 거쳐 조치 항목을 다시 변경으로 넣는다. 두 고리를 돌리는 사람의 시간은 운영 일 50% 상한으로 묶인다(SRE Book 1장).
그림 3 · 목표 고리는 예산으로 변경 속도를 정하고 사건 고리는 사후 검토의 조치 항목을 변경으로 돌려보내며, 둘을 돌리는 엔지니어 시간은 운영 일 50% 아래로 묶인다.
| 요소 | 역할 | 기준 값 | 근거 |
|---|---|---|---|
| SLI | 사용자 쪽 품질을 비율로 잼 | 좋은 사건 ÷ 전체 사건 | SRE Workbook 2장 |
| SLO | SLI 의 목표 · 기간 | 100% 는 잘못된 목표 | SRE Workbook 2장 |
| 오류 예산 | 목표가 남긴 실패 허용량 | 99.99% 면 0.01% | SRE Book 1장 |
| 예산 정책 | 예산을 넘었을 때의 행동 | 4주 창 · P0 · 보안 수정만 배포 | SRE Workbook 부록 B |
| 온콜 | 호출에 응답 | 12시간 교대 2건 이하 · 응답 5분(사용자 쪽) | SRE Book 11장 |
| 사건 대응 | 큰 장애의 역할 분담 | 지휘 · 운영 · 소통 · 계획 넷 | SRE Book 14장 |
| 사후 검토 | 기여 원인 · 조치 기록 | 데이터 손실 · 감시 실패 등이면 작성 | SRE Book 15장 |
| 토일 | 없애야 할 운영 일 | 수작업 · 반복 · 자동화 가능 등 여섯 특성 | SRE Book 5장 |
5동작 — 좌석 예약 API 의 28일 예산
도서관 열람실 좌석 예약 API 한 곳의 한 달을 따라간다. 요청 수 · 실패 수 · 팀 시간은 모두 설명용 가정 값이다.
- 1일 — 개발팀 · SRE · 제품 책임자가 SLI = 5xx 가 아닌 응답 ÷ 유효 요청(상태 점검 요청 제외)으로 정하고, SLO 99.5% · 28일 이동 창 · 예산 정책에 합의한다. 28일 유효 요청 120만 건이면 오류 예산은 120만 × 0.005 = 6,000건이다.
- 9일 — 설정 오류가 든 배포로 1,500건이 실패한다. 예산의 25% 라 한 건 20%(1,200건) 기준을 넘어, 근본 원인에 P0 조치 하나 이상을 단 사후 검토가 정해진다(SRE Workbook 부록 B).
- 16일 밤 — 데이터베이스 연결 고갈로 4,800건이 실패해 창 안 누적이 6,300건(105%)이 된다. 예산을 넘었으므로 P0 · 보안 수정 밖의 기능 배포를 멈춘다. 그날 12시간 교대에 호출이 5건 와 2건 상한을 넘었다(SRE Book 11장).
- 18일 — 비난 없는 사후 검토에서 기여 원인 둘(고정된 연결 풀 상한 · 연결 고갈 경보 없음)을 적는다. 사용자 신고로 장애를 처음 알았으므로 «감시 실패»도 작성 조건에 든다(SRE Book 15장).
- 24일 — 팀 6명의 4주 960시간을 적어 보니 운영 일이 432시간(45%)이고 그중 연결 풀 수동 재시작이 120시간이다. 재시작을 자동화하자 운영 일은 312시간(32.5%)으로 준다(SRE Book 5장).
- 37일 — 9일의 실패 1,500건이 28일 창 밖으로 빠져 창 안 누적이 4,800 + 300 = 5,100건(85%)이 되고, 기능 배포를 다시 연다. 남은 예산은 900건이다.
그림 4 · 9일 1,500건은 사후 검토만 부르고 16일 4,800건이 누적을 예산 6,000건 위로 올려 21일 동결이 이어지며, 37일 9일 실패가 창에서 빠져 5,100건으로 내려오자 배포가 재개된다.
그림 5 · 예산 정책은 창 안 누적이 100% 를 넘을 때만 배포를 멈추고, 한 건이 20% 를 넘으면 배포는 둔 채 사후 검토와 P0 조치를 요구한다.
🔑 오류 예산은 장애를 줄이라는 숫자가 아니라 «얼마나 바꿔도 되는가»를 정하는 숫자다. 예산이 남으면 위험한 배포도 하고, 넘으면 신뢰성 작업이 기능보다 먼저다.
6비교 — 변경을 멈추는 장치 넷
| 장치 | 멈추는 근거 | 정하는 주체 | 멈추는 단위 | 약점 |
|---|---|---|---|---|
| 변경 자문 위원회(CAB) 사전 승인 | 위원들의 위험 판단 | 서비스 밖 승인 기구 | 변경 한 건씩 | 배포가 크고 드물어지고 실패율도 낮추지 못함(DORA 변경 승인) |
| 정해진 동결 기간 | 달력(연말 · 행사 기간) | 경영 · 운영 일정 | 기간 전체 | 실제 신뢰성 상태와 무관 |
| 오류 예산 정책 | 창 안 실패 누적 대 예산 | 개발 · SRE · 제품 책임자 합의 | 서비스 하나의 기능 배포 | SLI 가 사용자 경험을 못 재면 판단도 틀림 |
| 카나리 판정 | 일부 트래픽의 지표 비교 | 배포 도구 · 자동 판정 | 배포 한 판 | 짧은 창에서 드러나지 않는 결함 |
분석오류 예산 정책을 서비스 단위의 큰 문으로, 카나리 판정을 배포 한 판의 작은 문으로 함께 둔다. 카나리는 결함에 노출된 트래픽만큼만 예산을 쓰고(SRE Workbook 16장), 외부 승인 기구는 변경 실패를 줄인다는 근거가 없었다(DORA 변경 승인).
7실무 진단 — SRE 가 효과를 못 내는 원인
분석먼저 예산 정책이 실제로 배포를 멈췄는지 보고, 그다음 호출 기록과 시간 기록을 본다. 정책이 작동하지 않으면 나머지 장치도 근거를 잃는다(SRE Workbook 부록 B).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 예산을 넘겨도 기능 배포가 계속됨 | 정책을 합의 · 서명하지 않음 | 예산 정책 | 정책 문서 · 배포 기록 · 창 안 누적 | 넘으면 P0 · 보안 수정 밖 배포 중지(SRE Workbook 부록 B) |
| 2 | 교대마다 호출 5건 이상 · 당번 소진 | 증상 아닌 원인마다 경보 · 인원 부족 | 온콜 | 호출 기록 · 교대 인원 수 | 12시간 교대 2건 이하 · 한 곳 팀이면 8명 이상(SRE Book 11장) |
| 3 | 같은 원인 장애가 분기에 되풀이 | 조치 항목 미완 · 탓하는 회고로 원인 숨김 | 사후 검토 | 조치 항목 완료 기록 · 원인 분류 | 한 원인이 분기 예산 20% 초과면 분기 계획 P0(SRE Workbook 부록 B) |
| 4 | 자동화 과제가 계속 밀림 | 운영 일이 절반을 넘음 | 토일 | 4주 시간 기록(온콜 · 수작업 · 엔지니어링) | 50% 를 넘으면 넘친 일을 개발팀으로(SRE Book 1장) |
8시험 대비
시험에서는 SRE 의 개념과 구성 요소(SLI · SLO · 오류 예산 · 토일 · 사후 검토)를 묻는 정의 · 특징형, DevOps · 전통 운영과의 차이를 묻는 비교형이 나올 수 있다. 정의형이면 그림 3 의 두 고리와 오류 예산 계산 한 줄(120만 × 0.5% = 6,000건)로 시작하고, 비교형이면 «SRE 는 DevOps 원칙의 한 구현»이라는 관계를 먼저 쓰고 변경 통제 장치 표로 차이를 보인다.
- 개요 — 정의 · 등장(2003 Google · 2016 공개) · 운영 일 50% 상한
- 구조 — 그림 3 목표 고리와 사건 고리 · 구성 요소 표(SLI · SLO · 오류 예산 · 예산 정책 · 온콜 · 사후 검토 · 토일)
- 동작 — 그림 4 28일 이동 창의 누적 실패 곡선(예산 6,000건 · 20% 1,200건 · 동결 · 재개)
- 핵심 원리 — 그림 5 예산 정책 상태 전이(계속 · 사후 검토 · 동결 · 재개)
- 비교 — DevOps 와의 관계 · 변경 통제 장치 넷(CAB · 동결 기간 · 예산 정책 · 카나리) 표
- 도입 고려 — 토일 측정 · 온콜 상한(교대 2건) · 비난 없는 사후 검토 문화
꼭 쓸 키워드
SLISLO오류 예산오류 예산 정책토일온콜비난 없는 사후 검토사건 지휘카나리 배포50% 상한
다른 답안과 차이를 내는 한 가지는 예산을 넘었을 때의 «행동»을 그림 5 처럼 상태 전이로 쓰는 것이다 — 예산 계산만 쓰고 정책을 빼면 SLO 설명과 구분되지 않는다.
9오해와 사실
- 오해SRE 는 운영팀의 새 이름이다.사실소프트웨어 엔지니어가 운영을 설계하고, 운영 일이 50% 를 넘으면 넘친 일을 개발팀으로 돌려보내는 규칙이 있어야 SRE 다(SRE Book 1장).
- 오해신뢰성 목표는 100% 가 맞다.사실100% 는 잘못된 목표다 — 장애의 가장 큰 원인이 변경이라 변경을 사실상 막게 되고, 더 나아질 여지도 남지 않는다(SRE Workbook 2장).
- 오해사후 검토는 책임자를 찾는 문서다.사실비난 없는 사후 검토는 개인 · 팀을 탓하지 않고 기여 원인에 집중하며, 모두가 그때 가진 정보로 합리적으로 판단했다고 가정한다(SRE Book 15장).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 | 넘거나 없으면 | 근거 |
|---|---|---|---|---|
| SLI | 사용자 쪽 품질 비율 | 좋은 사건 ÷ 전체 | 목표가 엉뚱한 값을 지킴 | SRE Workbook 2장 |
| SLO | 목표 값 · 기간 | 99.5% · 28일 이동 창(사례) | 100% 면 변경이 막힘 | SRE Workbook 2장 |
| 오류 예산 | 실패 허용량 | 120만 × 0.5% = 6,000건 | 배포 속도의 근거 없음 | SRE Book 1장 |
| 예산 정책 | 넘었을 때의 행동 | 동결 · 한 건 20% → 사후 검토 | 예산이 숫자로만 남음 | SRE Workbook 부록 B |
| 온콜 | 호출 응답 | 12시간 교대 2건 · 응답 5분 | 당번 소진 · 경보 무시 | SRE Book 11장 |
| 사후 검토 | 기여 원인 · 조치 | 비난 없음 · 감시 실패도 작성 | 같은 장애 되풀이 | SRE Book 15장 |
| 토일 | 없앨 운영 일 | 50% 상한 · 실제 평균 약 33% | 엔지니어링 과제 밀림 | SRE Book 5장 |
11참고 문헌
- 먼저 볼 문헌
- ★ Site Reliability Engineering - Chapter 1. Introduction (Benjamin Treynor Sloss) — SRE 의 정의 · 운영 일 50% 상한 · 오류 예산이 나온 이유를 볼 때
- ★ The Site Reliability Workbook - Appendix B. Example Error Budget Policy — 예산을 넘었을 때의 배포 동결 · 20% 규칙 · 다툼 상향을 볼 때
- ★ Site Reliability Engineering - Chapter 5. Eliminating Toil (Vivek Rau) — 토일의 여섯 특성과 실제 평균 비율을 볼 때
- ★ Site Reliability Engineering - Chapter 15. Postmortem Culture: Learning from Failure (John Lunney · Sue Lueder) — 비난 없는 사후 검토의 정의와 작성 조건을 볼 때
- 본문 근거
- The Site Reliability Workbook - Chapter 2. Implementing SLOs (Steven Thurgood · David Ferguson) — Google · O'Reilly · 2018-07 ·
sre.google/workbook/implementing-slos/· 확인 2026-11-14 - Site Reliability Engineering - Chapter 11. Being On-Call (Andrea Spadaccini) — Google · O'Reilly · 2016-04 ·
sre.google/sre-book/being-on-call/· 확인 2026-11-14 - Site Reliability Engineering - Chapter 14. Managing Incidents (Andrew Stribblehill) — Google · O'Reilly · 2016-04 ·
sre.google/sre-book/managing-incidents/· 확인 2026-11-14 - The Site Reliability Workbook - Chapter 1. How SRE Relates to DevOps — Google · O'Reilly · 2018-07 ·
sre.google/workbook/how-sre-relates/· 확인 2026-11-14 - The Site Reliability Workbook - Chapter 16. Canarying Releases — Google · O'Reilly · 2018-07 ·
sre.google/workbook/canarying-releases/· 확인 2026-11-14 - DORA Capabilities - Streamlining change approval — DORA · 2025-10 ·
dora.dev/capabilities/streamlining-change-approval/· 확인 2026-11-14