관측성 · 신뢰성Observability and Reliability
운영 중인 클라우드 서비스가 내보내는 신호로 장애를 알아채고(관측성 · OpenTelemetry · AIOps) 신뢰성 목표로 판정하며(SRE), 일부러 깨 보고 다른 리전에서 되살릴 준비를 하는(카오스 엔지니어링 · 클라우드 재해 복구) 일 전체로, 클라우드 운영 가운데 하나다.
1요약
- 관측성 · 신뢰성은 클라우드 운영 가운데 장애 시간을 다루며, 신호를 모으는 관측성 · OpenTelemetry, 경보를 묶는 AIOps, 목표로 판정하는 SRE, 버팀을 시험하는 카오스 엔지니어링, 리전 단위로 되살리는 클라우드 재해 복구 여섯 토픽이 한 사건의 앞뒤를 나눠 맡는다.
- 서비스가 수십 개로 쪼개지면 장애 하나에 원인 쪽 경보가 수십 건 울려 담당자가 어디부터 볼지 모르게 되는데, SRE 는 경보를 사용자가 겪는 증상(무엇이 깨졌나)에 걸고 원인 신호(왜)는 찾을 때 쓰라고 나눈다(SRE Book 6장).
- 「장애가 길었다」는 완화까지 늦었나 · 복구까지 늦었나로 가른다 — 사용자 영향과 오류 예산 소진은 완화에서 멈추므로, 앞쪽이 길면 감지 · 분류 · 추적 토픽을, 뒤쪽이 길면 재해 복구 · 훈련 토픽을 본다.
2등장 배경
한 대의 서버를 보던 시절에는 CPU · 디스크 경보만으로 장애를 찾았지만, 요청 하나가 서비스 열 곳을 거치게 되자 경보는 많아지고 원인은 오히려 숨었다. 2016년 공개된 SRE 책은 지연 · 트래픽 · 오류 · 포화 네 가지 골든 시그널과 «증상에 경보, 원인은 조사용» 원칙을 정리했고(SRE Book 6장), 사건 선언 조건과 역할 나눔(14장) · 비난 없는 사후 검토(15장)를 운영 절차로 묶었다.
신호 쪽은 2021년 11월 W3C Trace Context 가 서비스 사이에 추적 번호(trace-id 16바이트)를 넘기는 헤더를 권고안으로 정했고(W3C Trace Context), OpenTelemetry 가 추적 · 지표 · 로그 · 배기지를 한 수집 체계로 묶었다(OTel Signals). 2019년에는 경보 묶기 · 이상 탐지에 기계 학습을 쓰는 AIOps 연구 과제가 정리됐고(Dang 외 2019), 같은 해 3월 카오스 엔지니어링 원칙이 «실험을 자동으로 계속 돌린다»를 고급 원칙에 넣었다(Principles of Chaos).
재해 복구는 그보다 오래된 NIST SP 800-34 Rev. 1(2010)의 정의를 쓴다 — 주 시설을 오래 쓸 수 없는 큰 장애에서 다른 장소로 되살리는 계획이다(2.2.6절). 이 여섯을 함께 다루는 이유는 모두 «사건이 얼마나 오래, 얼마나 크게 사용자를 아프게 하나»라는 한 축 위에 놓이기 때문이다.
3쉽게 이해하기 — 중환자실의 하룻밤
중환자실 병상마다 모니터가 붙어 있고, 모니터는 어느 회사 기계든 같은 규격 단자로 중앙 화면에 이어진다. 밤새 알람이 수십 번 울리면 간호사가 같은 환자의 알람을 한 사건으로 묶어 의사에게 올리고, 의사는 «혈압 목표 범위를 벗어났나»로 처치 여부를 정한다. 병원은 평소 모의 응급 훈련을 하고, 정전 · 화재로 병원 전체가 멈출 때를 대비해 다른 병원과 이송 협약을 맺어 둔다.
그림 1 · 모니터 신호가 간호사의 알람 묶기를 거쳐 의사의 기준 판정으로 가고, 훈련이 절차를 고치며, 병원 전체가 멈출 때만 이송한다 — 여섯 토픽이 한 사건의 앞뒤를 나눈다.
그림 2 · 간호사는 알람을 묶어 «어느 환자인가»까지 좁히고, 처치 여부는 의사가 기준으로 정한다 — AIOps 는 후보를 좁히고 사건 판정은 SLO 가 맡는 경계다.
| 아이콘 | 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|---|
| 병상 모니터 | 관측성 | 지표 · 로그 · 추적으로 서비스 안쪽 상태를 밖에서 묻고 답하게 한다 | |
| 같은 규격 단자 | OpenTelemetry | 언어 · 공급자와 상관없이 같은 형식으로 신호를 모아 내보낸다 | |
| 간호사의 알람 묶기 | AIOps | 같은 사건의 경보를 기계 학습으로 묶고 원인 후보를 좁힌다 | |
| 혈압 목표 범위 | SRE · SLO | 사용자가 겪는 지표(SLI)를 목표(SLO)와 대조해 사건을 선언한다 | |
| 의사 · 간호사 역할 분담 | 사건 지휘 · 운영 역할 | 지휘 · 운영 · 소통 · 계획을 사람마다 나눠 맡는다 | |
| 모의 응급 훈련 | 카오스 엔지니어링 | 운영 환경에 장애를 일부러 넣어 정상 상태가 유지되는지 본다 | |
| 다른 병원 이송 | 클라우드 재해 복구 | 리전 전체를 못 쓸 때 다른 리전에서 서비스를 되살린다 | |
| 사고 뒤 사례 회의 | 사후 검토 | 사람을 탓하지 않고 원인과 조치를 기록해 다음 실험 · 훈련에 넣는다 |
⚠ 비유가 맞지 않는 곳: 병원 모의 훈련은 실제 환자에게 하지 않지만, 카오스 실험은 운영 트래픽 위에서 영향 범위를 작게 잡아 돌리는 것을 원칙으로 한다(Principles of Chaos). 또 간호사는 알람을 사람의 판단으로 묶지만 AIOps 의 묶음은 확률 판단이라 틀릴 수 있어, 사건 판정은 SLO 기준으로 따로 한다.
4구조 — 보기 · 정하기 · 버티기의 세 역할과 여섯 토픽
여섯 토픽은 신호를 만드는 쪽(보기), 그 신호로 사건을 판정하는 쪽(정하기), 판정 기준을 버티는지 시험하고 무너지면 되살리는 쪽(버티기 · 되살리기)으로 나뉜다. SRE 가 가운데에서 SLI · SLO 라는 값으로 양쪽을 잇는다.
그림 3 · 서비스가 내보낸 신호가 SLI 로 SRE 에 들어가고, SRE 의 목표 값이 카오스 실험의 가설과 재해 복구 목표가 된다 — 여섯 토픽은 한 고리 위에서 일을 나눈다.
| 토픽 | 일하는 때 | 입력 → 출력 | 줄이는 구간 | 대표 문서 |
|---|---|---|---|---|
| 관측성 | 늘 · 사건 중 | 서비스 안쪽 상태 → 증상 · 원인 신호 | 감지 · 원인 확인 | SRE Book 6장 |
| OpenTelemetry | 늘 | 언어별 계측 → 같은 형식의 추적 · 지표 · 로그 | 원인 확인 | OTel Signals · W3C Trace Context |
| AIOps | 사건 중 | 경보 수십 건 → 사건 1건 · 원인 후보 | 분류 | Dang 외 2019 |
| SRE | 늘 · 사건 중 · 사건 뒤 | SLI → 사건 선언 · 예산 · 사후 검토 | 감지 · 완화 판단 | SRE Book 14 · 15장 |
| 카오스 엔지니어링 | 사건 전 | 정상 상태 가설 → 반박 여부 | 완화(절차를 미리 익힘) | Principles of Chaos |
| 클라우드 재해 복구 | 사건 전 · 큰 장애 중 | RTO · RPO 목표 → 다른 리전의 서비스 | 리전 단위 복구 | NIST SP 800-34 2.2.6절 |
🔑 보기 역할은 «무엇이 깨졌고 왜»를, 정하기 역할은 «사건인가»를, 버티기 역할은 «다음에도 견디나»를 맡고, 셋을 잇는 값은 SLI 하나다.
5동작 — 날씨 조회 API 의 영역 장애 하룻밤
날씨 조회 API(분당 요청 1,000건 · SLI = 400 ms 안에 성공한 요청 비율 · SLO 30일 99%)를 예로 든다. 서비스 · 요청 수 · 시각 · 경보 수 · 지연 값은 설명용 가정 값이다. 30일 요청은 43,200,000건이라 오류 예산은 1% 인 432,000건이다.
- 02:10 가용 영역 b 의 저장 볼륨이 느려져 그 영역 DB 복제본의 쿼리가 늦어지고, 요청의 40% 가 400 ms 를 넘어 SLI 가 99.6% 에서 60% 로 떨어진다.
- 02:14 SLI 가 SLO 아래로 내려가 증상 경보가 울리고, 사용자에게 보이는 장애라 담당자가 사건을 선언해 지휘 · 운영 역할을 나눈다(SRE Book 14장 선언 조건).
- 02:19 디스크 대기 · 연결 풀 고갈 · 재시도 증가 같은 원인 쪽 경보 37건을 AIOps 가 사건 1건으로 묶고 후보를 «영역 b DB 볼륨»으로 좁힌다(Dang 외 2019).
- 02:26 OpenTelemetry 추적에서 같은 trace-id 로 이어진 요청들의 DB span p99 가 2.6초이고 영역 b 노드에서만 늦은 것을 보고 후보를 확정한다(W3C Trace Context · OTel Signals).
- 02:33 영역 b 복제본을 읽기 대상에서 빼고 영역 a 복제본을 주 DB 로 올리자 SLI 가 99.5% 로 돌아온다 — 사용자 영향 23분 · 느린 요청 9,200건 · 예산의 2.1% 를 썼다.
- 03:20 영역 b 새 볼륨에 복제본을 다시 만들어 복구를 마친다 — 리전 전체를 못 쓴 장애가 아니므로 재해 복구 계획은 쓰지 않았다(NIST SP 800-34 2.2.6절).
- 기준을 넘은 성능 저하 · 담당자 개입이 있었으므로 사후 검토를 쓰고(SRE Book 15장), 조치로 «DB 지연 2초를 요청 5% 에 넣어도 SLI 99% 유지» 가설의 카오스 실험을 매주 자동으로 돌린다(Principles of Chaos).
그림 4 · 증상 경보(2)가 사건을 열고, AIOps(3)와 추적(4)이 후보를 좁힌 뒤 완화(5)에서 사용자 영향이 끝나며, 복구(6)와 사후 검토(7)는 그 뒤에 이어진다.
그림 5 · 사용자 영향과 예산 소진은 완화(02:33)에서 멈춘다 — 감지 · 분류 · 원인 확인 · 완화 네 구간을 줄이는 토픽과, 길어도 예산을 쓰지 않는 복구 구간을 맡는 토픽이 다르다.
🔑 사용자가 겪는 시간은 «완화»에서 끝나고 «복구»는 그 뒤의 일이므로, 먼저 줄일 것은 감지에서 완화까지의 23분이다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 경계(여기까지) | 넘기는 곳 | 확인 자료 |
|---|---|---|---|---|
| 관측성 · 신뢰성 | 운영 중 신호 · 판정 · 버팀 시험 · 리전 복구 | 사건 감지에서 완화 · 사후 검토 · 다른 리전 복구까지 | 변경 적용 → 인프라 · 배포 자동화 | SLI · 사건 시간 구간 · 실험 기록 |
| 인프라 · 배포 자동화 | 선언 파일 · 정책 검사 · 새 판 교체 | 변경을 만들고 적용 · 되돌리기까지 | 변경 뒤 신호 판정 → 관측성 · 신뢰성 | 변경 계획 차이 · 교체 상태 |
| 시스템 신뢰성 · 가용성(RAS) | 고장 시간 · 보수 시간 · 가용도 계산과 이중화 구성 | 하드웨어 · 시스템 구성의 고장 확률까지 | 서비스 목표 · 사건 대응 → 관측성 · 신뢰성 | MTBF · MTTR · 가용도 |
| 데이터 백업 · 복구 | 데이터 사본 주기 · 시점 복원 | 데이터를 원하는 시점으로 되돌리기까지 | 리전 전환 · 서비스 재개 → 클라우드 재해 복구 | 백업 주기 · 복원 시험 |
| ITSM | 사건 · 문제 · 변경 관리 절차와 서비스 수준 협약 | 조직의 접수 · 승인 · 보고 절차까지 | 신호 · 판정의 기술 기준 → SRE | 서비스 수준 협약 · 처리 기록 |
분석질문이 «지금 사용자가 아픈가 · 어디가 · 다음에도 견디나»이면 관측성 · 신뢰성, «무엇을 바꾸나»이면 인프라 · 배포 자동화, «부품이 얼마나 자주 고장 나나»이면 RAS, «데이터를 어느 시점으로 되돌리나»이면 백업 · 복구로 넘긴다. 근거는 표의 「경계」 열이며, 같은 장애도 서비스 재개까지는 관측성 · 신뢰성이, 데이터 시점 복원은 백업 · 복구가 판정한다(NIST SP 800-34 2.2.6절).
7실무 진단 — 사건 시간을 구간별로 가르기
분석사건 기록에서 감지 · 분류 · 원인 확인 · 완화 · 복구 시각을 먼저 나눠 적고, 사용자 영향 구간(완화까지) 가운데 가장 긴 구간의 토픽부터 고친다. 평균 사건 시간 하나로는 사건마다 길이 차이가 커서 개선 여부를 가를 수 없다(Davidovič 2021).
| # | 증상 | 의심 원인 | 구간 · 토픽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 사용자 문의가 경보보다 먼저 옴 | 원인 쪽 지표에만 경보 · 증상 경보 없음 | 감지 · 관측성 · SRE | 경보 규칙 목록 · 사건 기록 | 사람이 먼저 발견했으면 감시 실패로 사후 검토 대상(SRE Book 15장) |
| 2 | 경보 수십 건에 어디부터 볼지 모름 | 증상 · 원인 경보를 같은 무게로 호출 | 분류 · AIOps | 사건당 경보 수 · 묶음 결과 | 호출은 증상(무엇이 깨졌나)에만 걸렸는가(SRE Book 6장) |
| 3 | 느린 서비스를 못 찾음 | 서비스 경계에서 추적 문맥이 끊김 | 원인 확인 · OpenTelemetry | 추적의 trace-id 연속성 | 요청 헤더에 traceparent 가 이어지는가(W3C Trace Context) |
| 4 | 완화 절차를 사건마다 새로 찾음 | 장애 주입 실험을 한 번만 함 | 완화 · 카오스 엔지니어링 | 실험 기록 · 주기 | 실험이 자동으로 계속 도는가(Principles of Chaos) |
| 5 | 영역 하나 장애에 리전 전환을 시도 | 재해 복구 적용 범위 혼동 | 복구 · 클라우드 재해 복구 | 재해 복구 계획의 적용 조건 | 주 시설을 오래 못 쓰는 큰 장애인가(NIST SP 800-34 2.2.6절) |
사건마다 이 다섯 행을 같은 순서로 보면, 감지가 길면 경보 규칙을, 분류 · 원인 확인이 길면 신호 연결을, 완화가 길면 훈련 주기를 고치게 되어 고칠 토픽이 하나로 좁혀진다.
8시험 대비
시험에서는 서비스에 관측성 · SRE · 카오스 · 재해 복구 체계를 함께 들이는 방안을 묻는 구현 · 설계형, 장애가 났을 때 감지에서 사후 검토까지의 대응 절차를 묻는 장애 · 보안 대응형이 나올 수 있다. 설계형이면 SLI · SLO 를 먼저 정하고 그 값에서 경보 · 실험 가설 · 복구 목표를 끌어내는 순서로 쓰고, 대응형이면 사건 시간을 다섯 구간으로 나눠 구간마다 맡는 토픽을 적는다.
- 개요 — 범위(보기 · 정하기 · 버티기) · 등장 배경(증상 · 원인 구분 · Trace Context 2021 · 카오스 원칙 2019)
- 구성 — 그림 3 세 역할 지도 + 여섯 토픽의 일하는 때 · 입력 → 출력 · 줄이는 구간 표
- 대응 절차 — 그림 4 순서(증상 경보 → 사건 선언 → 경보 묶기 → 추적 → 완화 → 복구 → 사후 검토)
- 핵심 원리 — 그림 5 사건 시간 구간과 예산 계산(23분 × 분당 1,000건 × 40% = 432,000건의 2.1%)
- 설계 기준 — SLI 정의 · SLO 값 · 경보 대상(증상) · 실험 주기 · 재해 복구 적용 조건(NIST SP 800-34 2.2.6절)
- 과제 · 경계 — 평균 사건 시간의 한계 · AIOps 오판 · 배포 자동화 · RAS · 백업과 경계
꼭 쓸 키워드
증상 경보골든 시그널trace-id사건 선언사건 지휘비난 없는 사후 검토정상 상태 가설완화와 복구재해 복구 계획오류 예산
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 사건 시간을 구간으로 나누고 «완화까지만 예산을 쓴다»를 계산으로 보여, 여섯 토픽이 각각 어느 구간을 줄이는지 한 장으로 짝지어 주는 것이다.
9오해와 사실
- 오해지표 · 로그 · 추적 세 신호를 다 모으면 관측성이 갖춰진다.사실관측성은 «무엇이 깨졌고 왜»에 답하는 능력이고(SRE Book 6장), 신호가 같은 trace-id 로 이어지지 않으면 세 신호가 있어도 원인을 엮지 못한다(W3C Trace Context).
- 오해평균 사건 시간(MTTR)이 줄면 신뢰성이 좋아진 것이다.사실사건 길이는 건마다 차이가 커서 평균의 오르내림은 우연으로도 생기며, 추세 판단에는 맞지 않는다는 분석이 있다(Davidovič 2021).
- 오해재해 복구 계획은 모든 장애에 쓰는 절차다.사실재해 복구 계획은 주 시설을 오래 쓸 수 없는 큰 장애에서 다른 장소로 되살리는 계획이고, 영역 하나의 장애는 리전 안의 완화로 끝낸다(NIST SP 800-34 2.2.6절).
10핵심 정리
| 토픽 | 묻는 질문 | 핵심 값 | 실패 신호 | 근거 |
|---|---|---|---|---|
| 관측성 | 무엇이 깨졌고 왜 | 증상 신호 · 원인 신호 | 사람이 먼저 발견 | SRE Book 6장 |
| OpenTelemetry | 신호가 같은 형식으로 이어지나 | trace-id · span | 서비스 경계에서 추적이 끊김 | W3C Trace Context |
| AIOps | 어느 경보가 같은 사건인가 | 사건당 경보 수 · 원인 후보 | 잘못 묶은 경보 | Dang 외 2019 |
| SRE | 이것이 사건인가 | SLI · SLO · 오류 예산 | 증상 없이 원인 경보로 호출 | SRE Book 14 · 15장 |
| 카오스 엔지니어링 | 다음에도 견디나 | 정상 상태 가설 · 영향 범위 | 가설 반박 · 실험 중단 | Principles of Chaos |
| 클라우드 재해 복구 | 리전을 잃어도 되살리나 | RTO · RPO · 적용 조건 | 작은 장애에 리전 전환 | NIST SP 800-34 2.2.6절 |
| 사건 대응 역할 | 누가 지휘 · 조작 · 소통하나 | 지휘 · 운영 · 소통 · 계획 | 여럿이 동시에 시스템 변경 | SRE Book 14장 |
11참고 문헌
- 먼저 볼 문헌
- ★ Site Reliability Engineering - Chapter 6. Monitoring Distributed Systems — 증상(무엇이 깨졌나)과 원인(왜) 신호의 구분 · 네 가지 골든 시그널을 볼 때
- ★ Site Reliability Engineering - Chapter 14. Managing Incidents — 사건 선언 조건 세 가지와 지휘 · 운영 · 소통 · 계획 역할 나눔을 볼 때
- ★ Principles of Chaos Engineering — 정상 상태 가설 · 실험의 자동 반복 · 영향 범위 최소화 원칙을 볼 때
- ★ NIST SP 800-34 Rev. 1 Contingency Planning Guide for Federal Information Systems — 재해 복구 계획(DRP)이 어떤 장애에 쓰이는지(2.2.6절)를 볼 때
- ★ Incident Metrics in SRE — MTTR 같은 평균 사건 시간이 추세 판단에 맞지 않는 이유를 볼 때
- 본문 근거
- Site Reliability Engineering - Chapter 15. Postmortem Culture: Learning from Failure — Google · 2016-04 ·
sre.google/sre-book/postmortem-culture/· 확인 2026-11-14 - OpenTelemetry Documentation - Signals — OpenTelemetry · CNCF · 2026-11 ·
opentelemetry.io/docs/concepts/signals/· 확인 2026-11-14 - Trace Context (W3C Recommendation 23 November 2021) — W3C · 2021-11 ·
www.w3.org/TR/trace-context/· 확인 2026-11-14 - AIOps: Real-World Challenges and Research Innovations (ICSE 2019 Companion · pp. 4-5) — Y. Dang · Q. Lin · P. Huang · 2019-05 ·
doi.org/10.1109/ICSE-Companion.2019.00023· 확인 2026-11-14