클라우드 운영Cloud Operations
클라우드에 올린 시스템을 코드로 만들고 바꾸는 일(인프라 · 배포 자동화)과, 내보낸 신호와 신뢰성 목표로 지켜보고 버티게 하며 무너지면 되살리는 일(관측성 · 신뢰성)을 함께 다룬다.
1요약
- 클라우드 운영은 인프라 · 배포 자동화(IaC · GitOps · 배포 전략 · 정책 코드)와 관측성 · 신뢰성(관측성 · OpenTelemetry · SRE · 카오스 엔지니어링 · AIOps · 클라우드 재해 복구) 둘로 나뉘고, 그 위에서 자원 증설 · 새 판 교체 · 장애 경보 · 복구 훈련이 하루에도 여러 번 돈다.
- 바꾸는 쪽과 지켜보는 쪽이 따로 움직이면 «얼마나 자주 바꿔도 되나»를 정할 기준이 없는데, SRE 는 그 기준을 오류 예산(1 − SLO)으로 두고 예산을 다 쓰면 배포를 멈춘다(SRE Book 3장) — 99.9% SLO 의 30일 예산을 1시간에 2% 쓰는 속도(소진 속도 14.4)면 바로 담당자를 호출한다(SRE Workbook 5장 표 5-8).
- 「운영이 불안하다」는 바꾸다 생긴 문제인가 · 원래 버티지 못하는 구조인가로 가른다 — 변경 직후면 인프라 · 배포 자동화(배포 전략 · IaC · 정책 코드), 변경 없이 깨지거나 복구가 느리면 관측성 · 신뢰성(SRE · 카오스 엔지니어링 · 재해 복구)이다.
2등장 배경
서버를 손으로 만들고 고치던 운영에서는 같은 역할의 서버도 설정이 조금씩 달라졌고, 새 판을 낼 때마다 개발 쪽은 «빨리», 운영 쪽은 «덜 바꾸기»를 원해 다툼이 났다. 2003년 Google 에 합류한 Benjamin Treynor Sloss 는 운영을 소프트웨어 엔지니어에게 맡기고 운영 업무를 시간의 50% 로 묶는 SRE 팀을 만들었고(SRE Book 1장), 2016년 책으로 SLO · 오류 예산 방식을 공개했다(SRE Book 3장).
바꾸는 쪽은 인프라를 선언 파일로 적고 미리보기(plan) 뒤 적용하는 IaC 도구(OpenTofu 작업 흐름)와, 그 파일을 Git 저장소 하나로 모으는 GitOps(OpenGitOps v1.0.0 · 2021-10)로 수작업을 줄였다. 지켜보는 쪽은 2019년 5월 OpenTracing 과 OpenCensus 가 OpenTelemetry 로 합쳐지며 신호 수집 형식이 하나로 모였고(CNCF 2019), 2019년 3월 갱신된 카오스 엔지니어링 원칙이 운영 중인 시스템에 장애를 일부러 넣어 보는 실험 절차를 정리했다(Principles of Chaos).
복구 목표 값은 NIST SP 800-34 Rev. 1(2010)이 정의한 MTD · RTO · RPO 를 그대로 쓴다(3.2.1절). 클라우드 운영이 따로 묶이는 이유는 응용을 «어떻게 짓나»(클라우드 네이티브)가 아니라 지은 뒤 «어떻게 바꾸고 지키나»가 매일 되풀이되는 일이기 때문이다.
3쉽게 이해하기 — 지하철 운영 본부의 한 달
지하철 운영 본부는 역을 설계 도면대로만 짓고, 안전 검사관이 도면을 먼저 통과시켜야 공사를 시작한다. 새 열차는 한 번에 바꾸지 않고 몇 편성씩 투입하며, 관제실은 노선 계기판으로 지연을 보고 쏟아지는 경보를 묶어 본다. 본부는 «한 달 지연 허용 시간»을 정해 두고 그 시간을 빨리 쓰면 새 열차 투입을 멈추며, 평소에 비상 훈련을 하고 예비 차량 기지를 둔다.
그림 1 · 도면 · 검사 · 나눠 투입이 노선을 바꾸고, 계기판 · 경보 분류 · 지연 허용 시간이 그 변경을 지켜보며, 허용 시간을 빨리 쓰면 투입이 멈춘다 — 바꾸는 일과 지키는 일이 한 고리로 이어진다.
그림 2 · 지연 허용 시간이 남아 있으면 새 열차를 계속 넣고 다 쓰면 멈춘다 — 오류 예산은 바꾸는 일과 지키는 일 사이의 문이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 설계 도면 | IaC | 서버 · 망 · 저장소를 선언 파일로 적고 plan 으로 미리 본 뒤 적용한다 |
| 도면 보관함 | GitOps | 선언 파일을 Git 저장소 하나에 두고 운영을 저장소의 판에 맞춘다 |
| 안전 검사관 | 정책 코드 | 적용 전 변경 계획을 규칙 언어(Rego 등)로 검사해 위반을 거른다 |
| 몇 편성씩 투입 | 배포 전략 | 롤링 · 카나리 · 블루그린 방식으로 새 판을 나눠 바꾼다 |
| 관제실 계기판 | 관측성 · OpenTelemetry | 지표 · 로그 · 추적을 한 형식으로 모아 어디가 나빠졌는지 본다 |
| 경보 자동 분류 | AIOps | 쏟아지는 경보를 기계 학습으로 묶고 원인 후보를 좁힌다 |
| 월 지연 허용 시간 | SRE · 오류 예산 | SLO 에서 남은 실패 허용량으로 배포 속도를 정한다 |
| 비상 훈련 · 예비 기지 | 카오스 엔지니어링 · 클라우드 재해 복구 | 장애를 일부러 넣어 보고, 다른 리전에 복구 환경을 둔다 |
⚠ 비유가 맞지 않는 곳: 지연 허용 시간은 줄일수록 좋은 값처럼 보이지만, 오류 예산은 SLO 를 지키는 범위에서 배포 · 실험에 «쓰라고» 정한 몫이다(SRE Book 3장). 또 지하철 비상 훈련은 미리 알리고 하지만, 카오스 실험은 운영 트래픽 위에서 영향 범위를 작게 잡아 돌린다(Principles of Chaos).
4구조 — 바꾸는 일 · 지키는 일과 하위 토픽 지도
클라우드 운영은 하위 토픽 둘 아래 기술 열 가지로 이루어진다. 인프라 · 배포 자동화는 «무엇을 어떻게 바꾸나»를, 관측성 · 신뢰성은 «바뀐 결과를 어떻게 보고, 얼마나 버티며, 무너지면 어떻게 되살리나»를 맡는다.
그림 3 · 인프라 · 배포 자동화의 변경이 관측성 · 신뢰성의 신호로 들어가고, SRE 의 판정이 다시 왼쪽 교체를 멈출 수 있다 — 응용을 짓고 띄우는 일은 아래 점선 상자의 관련 기술이 맡는다.
| 하위 토픽 · 기술 | 푸는 문제 | 다루는 값 | 대표 문서 |
|---|---|---|---|
| 자동화 — IaC | 손으로 만든 서버마다 설정이 다름 | 선언 파일 · 상태 · plan 차이 | OpenTofu 작업 흐름 |
| 자동화 — 정책 코드 | 적용한 뒤에야 규정 위반을 앎 | 규칙 · 입력 JSON · 판정 | OPA 문서 |
| 자동화 — GitOps | 누가 언제 무엇을 바꿨는지 남지 않음 | 저장소 커밋 · 조정 | OpenGitOps v1.0.0 |
| 자동화 — 배포 전략 | 새 판 결함이 모든 사용자에게 한꺼번에 퍼짐 | 교체 비율 · 최대 추가 · 최대 중단 | Kubernetes Deployment |
| 신뢰성 — 관측성 · OpenTelemetry | 신호마다 형식이 달라 어디가 나쁜지 못 엮음 | 지표 · 로그 · 추적 | OTel 문서 |
| 신뢰성 — AIOps | 경보가 많아 사람이 원인을 못 좁힘 | 경보 묶음 · 이상 점수 | Dang 외 2019 |
| 신뢰성 — SRE | 얼마나 자주 바꿔도 되는지 기준 없음 | SLO · 오류 예산 · 소진 속도 | SRE Book 3장 · Workbook 5장 |
| 신뢰성 — 카오스 · 재해 복구 | 버티는지 · 되살릴 수 있는지 실제로 모름 | 정상 상태 가설 · RTO · RPO | Principles of Chaos · NIST SP 800-34 |
🔑 인프라 · 배포 자동화는 «바꾸는 속도»를, 관측성 · 신뢰성은 «그 속도를 허락할지»를 정하고, 둘을 잇는 값이 오류 예산이다.
배포 전략은 운영 트래픽을 새 판으로 «어떻게 옮기나»를 맡고, 빌드 · 테스트를 거쳐 배포 승인까지 가는 파이프라인은 소프트웨어 쪽 DevOps · 플랫폼 엔지니어링이 맡는다.
5동작 — 수강 신청 API 의 판 교체 · 경보 · 되돌림 · 복구 훈련
온라인 강의 플랫폼의 수강 신청 API(파드 8개 · 30일 요청 2,000,000건 · SLO 99.9%)를 예로 든다. 서비스 · 요청 수 · 오류율 · 훈련 시간은 설명용 가정 값이고, 경보 기준과 교체 기본값은 원문 값이다.
- 운영 담당자가 새 판에 필요한 캐시 노드 2대를 선언 파일에 더하고
tofu plan -detailed-exitcode를 돌려 종료 코드 2(변경 있음)를 확인한다(OpenTofu plan). - 정책 엔진이 plan 결과 JSON 을 입력으로 받아 «owner 태그 필수 · 공개 접근 저장소 금지» 규칙을 검사해 위반 0건으로 판정하고, 판정은 decision_id 와 함께 결정 기록에 남는다(OPA 문서 · OPA Decision Logs).
- 병합된 판이 적용되고 Deployment 가 롤링 교체를 시작한다 — 기본값 maxSurge 25% · maxUnavailable 25% 라 파드 8개에 최대 2개를 더 띄우고 최소 6개를 살려 둔다(Kubernetes Deployment).
- OpenTelemetry 로 모은 요청 지표에서 새 판 반영 뒤 오류율이 0.04% 에서 1.44% 로 오른다 — 허용 오류율 0.1% 의 14.4배다.
- 1시간 창과 5분 창이 모두 소진 속도 14.4 를 넘어 호출 경보가 울린다 — 30일 예산 2,000건의 2%(40건)를 1시간에 쓴 속도다(SRE Workbook 5장 표 5-8).
- 담당자가
kubectl rollout undo로 직전 판에 되돌리자 오류율이 0.05% 로 내려오고, 이 사고로 쓴 예산은 52건(2.6%)으로 기록된다(Kubernetes Deployment). - 사후 검토 뒤 가용 영역 한 곳의 노드를 끊는 카오스 실험을 대조 · 실험 집단으로 나눠 돌리고, «성공률 99.9% 유지» 가설이 반박되지 않음을 확인한다(Principles of Chaos).
- 주말에 대기 리전 복구 훈련을 한다 — 목표 RTO 60분 · RPO 5분에 대해 웜 스탠바이 환경을 키워 트래픽을 옮기는 데 42분, 마지막 복제 시점과의 차이는 2분이었다(NIST SP 800-34 3.2.1절 · AWS DR 백서).
그림 4 · 한 판의 교체가 인프라 · 배포 자동화 → 운영 시스템 → 관측성 · 신뢰성을 오가며, 경보(5)가 되돌림(6)을 부르고 그 뒤 실험 · 훈련(7 · 8)으로 버팀을 확인한다.
그림 5 · 소진 속도가 클수록 예산이 빨리 바닥나므로 짧은 창으로 바로 호출하고, 작을수록 긴 창으로 티켓을 낸다 — 사례는 2.1일 만에 바닥날 속도였지만 1시간 만에 되돌려 2.6% 만 썼다.
🔑 경보는 «오류가 났나»가 아니라 «이 속도면 예산이 언제 바닥나나»로 울린다 — 같은 오류율도 지속 시간에 따라 호출 · 티켓 · 무시로 갈린다.
6비교 — 클라우드 운영과 관련 기술의 경계
| 기술 | 맡는 일 | 경계(여기까지) | 넘기는 곳 | 확인 자료 |
|---|---|---|---|---|
| 클라우드 운영 | 지은 시스템을 코드로 바꾸고 신호 · 예산으로 지키며 되살림 | 변경 적용 · 경보 · 복구 목표까지 | 응용 설계 → 클라우드 네이티브 · 실행 단위 → 컨테이너 | plan 차이 · 소진 속도 · 훈련 복구 시간 |
| 클라우드 네이티브 | 응용을 바꿔 끼울 단위로 짓는 설계 원칙 · 실행 모델 | 12요소 앱 · 불변 인프라 · 마이크로서비스 · 서버리스 설계까지 | 운영 중 교체 · 경보 · 복구 → 클라우드 운영 | 아키텍처 문서 · 설계 검토 기록 |
| 컨테이너 · 오케스트레이션 | 이미지 · 파드를 노드에 띄우고 죽으면 다시 띄움 | 스케줄링 · 자원 격리 · 노드 상태까지 | 교체 비율 결정 · 경보 기준 → 클라우드 운영 | kubectl get pods · 이벤트 |
| 멀티 · 하이브리드 · 엣지 | 여러 공급자 · 사내 · 현장에 나눠 두는 배치 | 어디에 둘지 · 위치 사이 연결까지 | 복구 목표 · 전환 훈련 → 클라우드 재해 복구 | 배치 구성도 |
| DevOps · 플랫폼 엔지니어링(소프트웨어) | 커밋에서 배포까지의 파이프라인 · 개발자 플랫폼 | 빌드 · 테스트 · 배포 승인까지 | 운영 트래픽 전환 · SLO → 클라우드 운영 | DORA 지표 · 파이프라인 기록 |
분석질문이 «바꿔도 되나 · 지금 버티나 · 되살릴 수 있나»이면 클라우드 운영, «어떻게 짓나 · 어디에 띄우나 · 어디에 두나 · 어떻게 빌드하나»이면 관련 기술로 넘긴다. 근거는 표의 「경계」 열이며, 같은 배포도 승인까지는 파이프라인 지표로, 운영 트래픽을 옮긴 뒤부터는 SLO 소진 속도로 판정한다(SRE Workbook 5장).
7실무 진단 — 운영 이상의 원인 가르기
분석먼저 최근 변경이 있었는지(인프라 · 배포 자동화)를 확정하고, 없으면 신호 · 예산(관측성 · SRE)으로, 복구가 문제면 재해 복구 목표로 내려간다. 변경 중의 신호에는 옛 판과 새 판이 섞여 원인을 잘못 읽기 쉬우므로 plan 차이와 교체 상태부터 본다(OpenTofu plan · Kubernetes Deployment).
| # | 증상 | 의심 원인 | 맡는 쪽 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 코드에 없는 설정이 운영에 있음 | 콘솔 수동 변경(드리프트) | 자동화 · IaC | tofu plan -detailed-exitcode | 코드를 안 바꿨는데 종료 코드 2 면 코드와 실제가 다름(OpenTofu plan) |
| 2 | 규칙 위반 자원이 생김 | 정책 검사를 거치지 않은 변경 경로 | 자동화 · 정책 코드 | OPA 결정 기록 | 그 변경의 decision_ |
| 3 | 판 교체 중 응답 실패 급증 | 새 판 결함 · 준비 안 된 파드에 요청 | 자동화 · 배포 전략 | kubectl rollout status deployment/ | 교체가 멈춤 · 가용 파드가 기본 하한 75% 아래(Kubernetes Deployment) |
| 4 | 경보가 너무 잦거나 늦음 | 원인별 경보 · 한 창만 쓰는 기준 | 신뢰성 · SRE | 경보 규칙 · 소진 속도 기록 | 1시간 14.4 · 6시간 6 · 3일 1 의 두 창 조합과 비교(SRE Workbook 표 5-8) |
| 5 | 복구 훈련이 목표 시간을 넘김 | 대기 환경 없음 · 수동 절차 | 신뢰성 · 클라우드 재해 복구 | 훈련 기록의 복구 시간 · 복제 시점 | 복구 시간 > RTO 면 백업 복구 → 파일럿 라이트 → 웜 스탠바이로 전략을 올림(AWS DR 백서) |
장애가 나기 전에 «버티는지» 자체를 모르면 진단 표가 아니라 카오스 실험의 정상 상태 가설부터 세운다(Principles of Chaos). 경보를 사용자 영향(SLO)에 걸어 두어야 AIOps 로 경보를 묶어도 원인 후보가 줄어든다.
8시험 대비
www.q-net.or.kr시험에서는 SRE · 관측성 · IaC 같은 운영 방식을 한 장으로 묶어 그리게 하는 구조 · 구성형, 서비스에 맞춰 신뢰성 목표와 재해 복구 방식을 정하게 하는 구현 · 설계형으로 나올 수 있다. 구성형이면 «바꾸기(자동화) → 보기(관측성) → 허락하기(오류 예산) → 버티기 · 되살리기(카오스 · 재해 복구)» 고리로 단계를 세우고, 설계형이면 RTO · RPO 값을 먼저 정한 뒤 전략을 고른다.
- 개요 — 범위 · 하위 토픽 둘(바꾸는 일 · 지키는 일) · 등장 배경(SRE 2003 · OpenTelemetry 2019 · 카오스 원칙 2019)
- 구성 — 그림 3 지도 + 토픽별 푸는 문제 · 다루는 값 · 대표 문서 표
- 운영 고리 — 그림 4 사례 흐름(plan → 정책 검사 → 롤링 교체 → 오류율 → 경보 → 되돌림 → 실험 · 훈련)
- 핵심 원리 — 그림 5 소진 속도와 예산이 바닥나는 시간(30일 ÷ 소진 속도 · 14.4 · 6 · 1 경보 기준)
- 재해 복구 설계 — MTD · RTO · RPO 정의(NIST SP 800-34 3.2.1절) · 전략 넷(백업 복구 · 파일럿 라이트 · 웜 스탠바이 · 다중 사이트)
- 과제 · 경계 — 경보 과다와 AIOps · 드리프트 · 클라우드 네이티브 · DevOps 와의 경계
꼭 쓸 키워드
IaC정책 코드롤링 업데이트OpenTelemetrySLO오류 예산소진 속도카오스 엔지니어링RTORPO
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 경보 기준을 «소진 속도 × 창 길이 ÷ 30일 = 쓴 예산»으로 계산해 보여, 호출 · 티켓이 왜 그 숫자에서 갈리는지 설명하는 것이다.
9오해와 사실
- 오해오류 예산은 남길수록 좋다.사실예산은 SLO 를 지키는 범위에서 배포 · 실험에 쓰라고 정한 몫이고, 남아 있는 동안은 새 판을 내도 된다는 신호다(SRE Book 3장).
- 오해카오스 엔지니어링은 운영 서버를 무작위로 끄는 일이다.사실측정 가능한 정상 상태를 먼저 정의하고 대조 집단과 실험 집단을 비교해 가설을 반박해 보는 실험이며, 영향 범위를 최소로 잡는다(Principles of Chaos).
- 오해복제를 실시간으로 하면 RPO 는 0 이다.사실데이터 손상 · 삭제도 그대로 복제되므로 그때는 그 전 시점 백업으로 돌아가야 하고 복구 시점은 0 보다 크다(AWS DR 백서).
10핵심 정리
| 기술 | 하위 토픽 | 정하는 값 | 확인 신호 · 명령 | 대표 실패 | 근거 |
|---|---|---|---|---|---|
| IaC | 자동화 | 선언 파일 · 상태 | tofu plan 종료 코드 | 드리프트 | OpenTofu |
| 정책 코드 | 자동화 | 규칙 · 판정 | decision_ | 검사 밖 변경 | OPA |
| 배포 전략 | 자동화 | maxSurge · maxUnavailable | kubectl rollout status | 결함 판 전체 확산 | Kubernetes Deployment |
| 관측성 · OpenTelemetry | 신뢰성 | 신호 종류 · 속성 | 오류율 · 지연 지표 | 끊긴 신호 | OTel 문서 |
| SRE | 신뢰성 | SLO · 예산 · 소진 속도 | 14.4 · 6 · 1 | 늦거나 잦은 경보 | SRE Workbook 5장 |
| 카오스 엔지니어링 | 신뢰성 | 정상 상태 가설 · 영향 범위 | 대조 · 실험 집단 차이 | 가설 반박 | Principles of Chaos |
| 클라우드 재해 복구 | 신뢰성 | RTO · RPO | 훈련 복구 시간 | RTO 초과 | NIST SP 800-34 |
| AIOps | 신뢰성 | 경보 묶음 · 이상 점수 | 묶인 경보 수 | 잘못 묶은 경보 | Dang 외 2019 |
11참고 문헌
- 먼저 볼 문헌
- ★ Site Reliability Engineering - Chapter 3. Embracing Risk — 오류 예산의 정의와 예산을 다 쓰면 배포를 멈추는 규칙을 볼 때
- ★ The Site Reliability Workbook - Chapter 5. Alerting on SLOs — 소진 속도 14.4 · 6 · 1 과 두 창 경보 조합(표 5-8)을 볼 때
- ★ NIST SP 800-34 Rev. 1 Contingency Planning Guide for Federal Information Systems — MTD · RTO · RPO 의 정의와 관계(3.2.1절)를 볼 때
- ★ Principles of Chaos Engineering — 정상 상태 가설 · 실험 네 단계 · 영향 범위 최소화를 볼 때
- ★ Disaster Recovery of Workloads on AWS - Disaster recovery options in the cloud — 백업 복구 · 파일럿 라이트 · 웜 스탠바이 · 다중 사이트 네 전략의 차이를 볼 때
- 본문 근거
- Site Reliability Engineering - Chapter 1. Introduction — Google · 2016-04 ·
sre.google/sre-book/introduction/· 확인 2026-11-14 - OpenTofu Documentation - The Core OpenTofu Workflow — OpenTofu · Linux Foundation · 2026-11 ·
opentofu.org/docs/intro/core-workflow/· 확인 2026-11-14 - OpenTofu Documentation - Command: plan — OpenTofu · Linux Foundation · 2026-11 ·
opentofu.org/docs/cli/commands/plan/· 확인 2026-11-14 - Open Policy Agent Documentation - Introduction — Open Policy Agent · CNCF · 2026-11 ·
www.openpolicyagent.org/docs/latest/· 확인 2026-11-14 - Open Policy Agent Documentation - Decision Logs — Open Policy Agent · CNCF · 2026-11 ·
www.openpolicyagent.org/docs/management-decision-logs· 확인 2026-11-14 - OpenGitOps Principles v1.0.0 — OpenGitOps · CNCF GitOps Working Group · 2021-10 ·
opengitops.dev/· 확인 2026-11-14 - Deployments — The Kubernetes Authors · 2026-11 ·
kubernetes.io/docs/concepts/workloads/controllers/deployment/· 확인 2026-11-14 - What is OpenTelemetry? — OpenTelemetry · CNCF · 2026-11 ·
opentelemetry.io/docs/what-is-opentelemetry/· 확인 2026-11-14 - A brief history of OpenTelemetry (So Far) — CNCF · 2019-05 ·
www.cncf.io/blog/2019/05/21/a-brief-history-of-opentelemetry-so-far/· 확인 2026-11-14 - AIOps: Real-World Challenges and Research Innovations (ICSE 2019 Companion · pp. 4-5) — Y. Dang · Q. Lin · P. Huang · 2019-05 ·
doi.org/10.1109/ICSE-Companion.2019.00023· 확인 2026-11-14