IT › 클라우드 › 클라우드 운영

관측성 · 신뢰성Observability and Reliability

운영 중인 클라우드 서비스가 내보내는 신호로 장애를 알아채고(관측성 · OpenTelemetry · AIOps) 신뢰성 목표로 판정하며(SRE), 일부러 깨 보고 다른 리전에서 되살릴 준비를 하는(카오스 엔지니어링 · 클라우드 재해 복구) 일 전체로, 클라우드 운영 가운데 하나다.

1요약

  1. 관측성 · 신뢰성은 클라우드 운영 가운데 장애 시간을 다루며, 신호를 모으는 관측성 · OpenTelemetry, 경보를 묶는 AIOps, 목표로 판정하는 SRE, 버팀을 시험하는 카오스 엔지니어링, 리전 단위로 되살리는 클라우드 재해 복구 여섯 토픽이 한 사건의 앞뒤를 나눠 맡는다.
  2. 서비스가 수십 개로 쪼개지면 장애 하나에 원인 쪽 경보가 수십 건 울려 담당자가 어디부터 볼지 모르게 되는데, SRE 는 경보를 사용자가 겪는 증상(무엇이 깨졌나)에 걸고 원인 신호(왜)는 찾을 때 쓰라고 나눈다(SRE Book 6장).
  3. 「장애가 길었다」는 완화까지 늦었나 · 복구까지 늦었나로 가른다 — 사용자 영향과 오류 예산 소진은 완화에서 멈추므로, 앞쪽이 길면 감지 · 분류 · 추적 토픽을, 뒤쪽이 길면 재해 복구 · 훈련 토픽을 본다.

2등장 배경

한 대의 서버를 보던 시절에는 CPU · 디스크 경보만으로 장애를 찾았지만, 요청 하나가 서비스 열 곳을 거치게 되자 경보는 많아지고 원인은 오히려 숨었다. 2016년 공개된 SRE 책은 지연 · 트래픽 · 오류 · 포화 네 가지 골든 시그널과 «증상에 경보, 원인은 조사용» 원칙을 정리했고(SRE Book 6장), 사건 선언 조건과 역할 나눔(14장) · 비난 없는 사후 검토(15장)를 운영 절차로 묶었다.

신호 쪽은 2021년 11월 W3C Trace Context 가 서비스 사이에 추적 번호(trace-id 16바이트)를 넘기는 헤더를 권고안으로 정했고(W3C Trace Context), OpenTelemetry 가 추적 · 지표 · 로그 · 배기지를 한 수집 체계로 묶었다(OTel Signals). 2019년에는 경보 묶기 · 이상 탐지에 기계 학습을 쓰는 AIOps 연구 과제가 정리됐고(Dang 외 2019), 같은 해 3월 카오스 엔지니어링 원칙이 «실험을 자동으로 계속 돌린다»를 고급 원칙에 넣었다(Principles of Chaos).

재해 복구는 그보다 오래된 NIST SP 800-34 Rev. 1(2010)의 정의를 쓴다 — 주 시설을 오래 쓸 수 없는 큰 장애에서 다른 장소로 되살리는 계획이다(2.2.6절). 이 여섯을 함께 다루는 이유는 모두 «사건이 얼마나 오래, 얼마나 크게 사용자를 아프게 하나»라는 한 축 위에 놓이기 때문이다.

3쉽게 이해하기 — 중환자실의 하룻밤

중환자실 병상마다 모니터가 붙어 있고, 모니터는 어느 회사 기계든 같은 규격 단자로 중앙 화면에 이어진다. 밤새 알람이 수십 번 울리면 간호사가 같은 환자의 알람을 한 사건으로 묶어 의사에게 올리고, 의사는 «혈압 목표 범위를 벗어났나»로 처치 여부를 정한다. 병원은 평소 모의 응급 훈련을 하고, 정전 · 화재로 병원 전체가 멈출 때를 대비해 다른 병원과 이송 협약을 맺어 둔다.

병상 모니터 관측성 같은 규격 단자 OpenTelemetry 간호사 알람 묶기 알람 수십 번 → 한 사건 AIOps 의사 기준 판정 목표 범위 밖인가 SRE · SLO 1 2 모의 응급 훈련 일부러 상황을 만들어 연습 카오스 엔지니어링 다른 병원으로 이송 병원 전체가 멈출 때만 클라우드 재해 복구 4 3 훈련 결과로 처치 절차를 고침 1 알람이 올라감 · 2 묶은 사건을 넘김 · 3 훈련이 절차를 고침 · 4 병원이 멈추면 이송 · 배지 = 실제 기술 이름

그림 1 · 모니터 신호가 간호사의 알람 묶기를 거쳐 의사의 기준 판정으로 가고, 훈련이 절차를 고치며, 병원 전체가 멈출 때만 이송한다 — 여섯 토픽이 한 사건의 앞뒤를 나눈다.

모니터 보기병상마다 숫자가 흐름
같은 단자어느 기계든 한 화면으로
알람 묶기간호사가 한 사건으로
기준 대조목표 범위를 벗어났나
모의 응급일부러 만들어 연습
이송 협약병원이 멈추면 옮김
비유 — 중환자실 알람 37번 맥박 · 산소 · 혈압 간호사 7번 병상 한 사건 의사 목표 범위 밖 → 처치 실제 — 날씨 조회 API 원인 쪽 경보 37건 디스크 대기 · 연결 풀 재시도 증가 AIOps · 사건 1건 후보 = 영역 b DB 볼륨 SRE · 사건 선언 SLI 60% < SLO 99% 지휘 · 운영 역할 나눔 여기까지 = 후보 좁히기(AIOps) 여기부터 = 기준 판정(SRE) 세로 점선 = 비유와 실제의 짝 · 값은 설명용 가정 값

그림 2 · 간호사는 알람을 묶어 «어느 환자인가»까지 좁히고, 처치 여부는 의사가 기준으로 정한다 — AIOps 는 후보를 좁히고 사건 판정은 SLO 가 맡는 경계다.

아이콘비유 속 역할실제 이름실제로 하는 일
병상 모니터관측성지표 · 로그 · 추적으로 서비스 안쪽 상태를 밖에서 묻고 답하게 한다
같은 규격 단자OpenTelemetry언어 · 공급자와 상관없이 같은 형식으로 신호를 모아 내보낸다
간호사의 알람 묶기AIOps같은 사건의 경보를 기계 학습으로 묶고 원인 후보를 좁힌다
혈압 목표 범위SRE · SLO사용자가 겪는 지표(SLI)를 목표(SLO)와 대조해 사건을 선언한다
의사 · 간호사 역할 분담사건 지휘 · 운영 역할지휘 · 운영 · 소통 · 계획을 사람마다 나눠 맡는다
모의 응급 훈련카오스 엔지니어링운영 환경에 장애를 일부러 넣어 정상 상태가 유지되는지 본다
다른 병원 이송클라우드 재해 복구리전 전체를 못 쓸 때 다른 리전에서 서비스를 되살린다
사고 뒤 사례 회의사후 검토사람을 탓하지 않고 원인과 조치를 기록해 다음 실험 · 훈련에 넣는다

⚠ 비유가 맞지 않는 곳: 병원 모의 훈련은 실제 환자에게 하지 않지만, 카오스 실험은 운영 트래픽 위에서 영향 범위를 작게 잡아 돌리는 것을 원칙으로 한다(Principles of Chaos). 또 간호사는 알람을 사람의 판단으로 묶지만 AIOps 의 묶음은 확률 판단이라 틀릴 수 있어, 사건 판정은 SLO 기준으로 따로 한다.

4구조 — 보기 · 정하기 · 버티기의 세 역할과 여섯 토픽

여섯 토픽은 신호를 만드는 쪽(보기), 그 신호로 사건을 판정하는 쪽(정하기), 판정 기준을 버티는지 시험하고 무너지면 되살리는 쪽(버티기 · 되살리기)으로 나뉜다. SRE 가 가운데에서 SLI · SLO 라는 값으로 양쪽을 잇는다.

보기 — 신호 관측성 · 증상과 원인 OpenTelemetry · 수집 형식 AIOps · 경보 묶기 정하기 — 기준 SRE SLI · SLO 오류 예산 사건 선언 사후 검토 버티기 · 되살리기 카오스 엔지니어링 정상 상태 가설 시험 클라우드 재해 복구 다른 리전에서 되살림 운영 중인 서비스 — 요청 · 노드 · 데이터 신호를 내보냄 SLI 목표 장애 주입 · 리전 전환

그림 3 · 서비스가 내보낸 신호가 SLI 로 SRE 에 들어가고, SRE 의 목표 값이 카오스 실험의 가설과 재해 복구 목표가 된다 — 여섯 토픽은 한 고리 위에서 일을 나눈다.

토픽일하는 때입력 → 출력줄이는 구간대표 문서
관측성늘 · 사건 중서비스 안쪽 상태 → 증상 · 원인 신호감지 · 원인 확인SRE Book 6장
OpenTelemetry늘언어별 계측 → 같은 형식의 추적 · 지표 · 로그원인 확인OTel Signals · W3C Trace Context
AIOps사건 중경보 수십 건 → 사건 1건 · 원인 후보분류Dang 외 2019
SRE늘 · 사건 중 · 사건 뒤SLI → 사건 선언 · 예산 · 사후 검토감지 · 완화 판단SRE Book 14 · 15장
카오스 엔지니어링사건 전정상 상태 가설 → 반박 여부완화(절차를 미리 익힘)Principles of Chaos
클라우드 재해 복구사건 전 · 큰 장애 중RTO · RPO 목표 → 다른 리전의 서비스리전 단위 복구NIST SP 800-34 2.2.6절

🔑 보기 역할은 «무엇이 깨졌고 왜»를, 정하기 역할은 «사건인가»를, 버티기 역할은 «다음에도 견디나»를 맡고, 셋을 잇는 값은 SLI 하나다.

5동작 — 날씨 조회 API 의 영역 장애 하룻밤

날씨 조회 API(분당 요청 1,000건 · SLI = 400 ms 안에 성공한 요청 비율 · SLO 30일 99%)를 예로 든다. 서비스 · 요청 수 · 시각 · 경보 수 · 지연 값은 설명용 가정 값이다. 30일 요청은 43,200,000건이라 오류 예산은 1% 인 432,000건이다.

  1. 02:10 가용 영역 b 의 저장 볼륨이 느려져 그 영역 DB 복제본의 쿼리가 늦어지고, 요청의 40% 가 400 ms 를 넘어 SLI 가 99.6% 에서 60% 로 떨어진다.
  2. 02:14 SLI 가 SLO 아래로 내려가 증상 경보가 울리고, 사용자에게 보이는 장애라 담당자가 사건을 선언해 지휘 · 운영 역할을 나눈다(SRE Book 14장 선언 조건).
  3. 02:19 디스크 대기 · 연결 풀 고갈 · 재시도 증가 같은 원인 쪽 경보 37건을 AIOps 가 사건 1건으로 묶고 후보를 «영역 b DB 볼륨»으로 좁힌다(Dang 외 2019).
  4. 02:26 OpenTelemetry 추적에서 같은 trace-id 로 이어진 요청들의 DB span p99 가 2.6초이고 영역 b 노드에서만 늦은 것을 보고 후보를 확정한다(W3C Trace Context · OTel Signals).
  5. 02:33 영역 b 복제본을 읽기 대상에서 빼고 영역 a 복제본을 주 DB 로 올리자 SLI 가 99.5% 로 돌아온다 — 사용자 영향 23분 · 느린 요청 9,200건 · 예산의 2.1% 를 썼다.
  6. 03:20 영역 b 새 볼륨에 복제본을 다시 만들어 복구를 마친다 — 리전 전체를 못 쓴 장애가 아니므로 재해 복구 계획은 쓰지 않았다(NIST SP 800-34 2.2.6절).
  7. 기준을 넘은 성능 저하 · 담당자 개입이 있었으므로 사후 검토를 쓰고(SRE Book 15장), 조치로 «DB 지연 2초를 요청 5% 에 넣어도 SLI 99% 유지» 가설의 카오스 실험을 매주 자동으로 돌린다(Principles of Chaos).
서비스 · 영역 b OTel 수집 AIOps SRE 판정 운영 담당 1 02:10 지연 신호 2 02:14 SLI 60% 사건 선언 3 원인 경보 37건 02:19 사건 1건 후보 영역 b 4 02:26 추적 조회 DB span 2.6초 5 02:33 완화 영역 b 복제본 제외 6 03:20 복구 복제본 재구축 7 사후 검토 굵은 선 = 사건을 여는 흐름 · 회색 선 = 조회 · 사건 뒤 작업 · 시각 · 값은 설명용 가정 값

그림 4 · 증상 경보(2)가 사건을 열고, AIOps(3)와 추적(4)이 후보를 좁힌 뒤 완화(5)에서 사용자 영향이 끝나며, 복구(6)와 사후 검토(7)는 그 뒤에 이어진다.

구간 시간(02:10 → 03:20) 그 구간을 줄이는 토픽 감지 4분 SRE 증상 경보 · 관측성 분류 5분 AIOps 경보 묶기 원인 확인 7분 OpenTelemetry 추적 완화 7분 카오스로 미리 익힌 절차 복구 47분 재해 복구 · 백업 절차 완화 02:33 사용자 영향 끝 02:10 02:33 03:20 느린 요청 = 23분 × 분당 1,000건 × 40% = 9,200건 → 30일 예산 432,000건의 2.1% 사용자 영향 · 예산을 쓰는 구간 복구 · 예산을 쓰지 않는 구간 굵은 세로선 = 완화 시각

그림 5 · 사용자 영향과 예산 소진은 완화(02:33)에서 멈춘다 — 감지 · 분류 · 원인 확인 · 완화 네 구간을 줄이는 토픽과, 길어도 예산을 쓰지 않는 복구 구간을 맡는 토픽이 다르다.

🔑 사용자가 겪는 시간은 «완화»에서 끝나고 «복구»는 그 뒤의 일이므로, 먼저 줄일 것은 감지에서 완화까지의 23분이다.

6비교 — 관련 기술과의 경계

기술맡는 일경계(여기까지)넘기는 곳확인 자료
관측성 · 신뢰성운영 중 신호 · 판정 · 버팀 시험 · 리전 복구사건 감지에서 완화 · 사후 검토 · 다른 리전 복구까지변경 적용 → 인프라 · 배포 자동화SLI · 사건 시간 구간 · 실험 기록
인프라 · 배포 자동화선언 파일 · 정책 검사 · 새 판 교체변경을 만들고 적용 · 되돌리기까지변경 뒤 신호 판정 → 관측성 · 신뢰성변경 계획 차이 · 교체 상태
시스템 신뢰성 · 가용성(RAS)고장 시간 · 보수 시간 · 가용도 계산과 이중화 구성하드웨어 · 시스템 구성의 고장 확률까지서비스 목표 · 사건 대응 → 관측성 · 신뢰성MTBF · MTTR · 가용도
데이터 백업 · 복구데이터 사본 주기 · 시점 복원데이터를 원하는 시점으로 되돌리기까지리전 전환 · 서비스 재개 → 클라우드 재해 복구백업 주기 · 복원 시험
ITSM사건 · 문제 · 변경 관리 절차와 서비스 수준 협약조직의 접수 · 승인 · 보고 절차까지신호 · 판정의 기술 기준 → SRE서비스 수준 협약 · 처리 기록

분석질문이 «지금 사용자가 아픈가 · 어디가 · 다음에도 견디나»이면 관측성 · 신뢰성, «무엇을 바꾸나»이면 인프라 · 배포 자동화, «부품이 얼마나 자주 고장 나나»이면 RAS, «데이터를 어느 시점으로 되돌리나»이면 백업 · 복구로 넘긴다. 근거는 표의 「경계」 열이며, 같은 장애도 서비스 재개까지는 관측성 · 신뢰성이, 데이터 시점 복원은 백업 · 복구가 판정한다(NIST SP 800-34 2.2.6절).

7실무 진단 — 사건 시간을 구간별로 가르기

분석사건 기록에서 감지 · 분류 · 원인 확인 · 완화 · 복구 시각을 먼저 나눠 적고, 사용자 영향 구간(완화까지) 가운데 가장 긴 구간의 토픽부터 고친다. 평균 사건 시간 하나로는 사건마다 길이 차이가 커서 개선 여부를 가를 수 없다(Davidovič 2021).

#증상의심 원인구간 · 토픽확인 자료판정 기준(근거)
1사용자 문의가 경보보다 먼저 옴원인 쪽 지표에만 경보 · 증상 경보 없음감지 · 관측성 · SRE경보 규칙 목록 · 사건 기록사람이 먼저 발견했으면 감시 실패로 사후 검토 대상(SRE Book 15장)
2경보 수십 건에 어디부터 볼지 모름증상 · 원인 경보를 같은 무게로 호출분류 · AIOps사건당 경보 수 · 묶음 결과호출은 증상(무엇이 깨졌나)에만 걸렸는가(SRE Book 6장)
3느린 서비스를 못 찾음서비스 경계에서 추적 문맥이 끊김원인 확인 · OpenTelemetry추적의 trace-id 연속성요청 헤더에 traceparent 가 이어지는가(W3C Trace Context)
4완화 절차를 사건마다 새로 찾음장애 주입 실험을 한 번만 함완화 · 카오스 엔지니어링실험 기록 · 주기실험이 자동으로 계속 도는가(Principles of Chaos)
5영역 하나 장애에 리전 전환을 시도재해 복구 적용 범위 혼동복구 · 클라우드 재해 복구재해 복구 계획의 적용 조건주 시설을 오래 못 쓰는 큰 장애인가(NIST SP 800-34 2.2.6절)

사건마다 이 다섯 행을 같은 순서로 보면, 감지가 길면 경보 규칙을, 분류 · 원인 확인이 길면 신호 연결을, 완화가 길면 훈련 주기를 고치게 되어 고칠 토픽이 하나로 좁혀진다.

8시험 대비

시험에서는 서비스에 관측성 · SRE · 카오스 · 재해 복구 체계를 함께 들이는 방안을 묻는 구현 · 설계형, 장애가 났을 때 감지에서 사후 검토까지의 대응 절차를 묻는 장애 · 보안 대응형이 나올 수 있다. 설계형이면 SLI · SLO 를 먼저 정하고 그 값에서 경보 · 실험 가설 · 복구 목표를 끌어내는 순서로 쓰고, 대응형이면 사건 시간을 다섯 구간으로 나눠 구간마다 맡는 토픽을 적는다.

답안 목차
  1. 개요 — 범위(보기 · 정하기 · 버티기) · 등장 배경(증상 · 원인 구분 · Trace Context 2021 · 카오스 원칙 2019)
  2. 구성 — 그림 3 세 역할 지도 + 여섯 토픽의 일하는 때 · 입력 → 출력 · 줄이는 구간 표
  3. 대응 절차 — 그림 4 순서(증상 경보 → 사건 선언 → 경보 묶기 → 추적 → 완화 → 복구 → 사후 검토)
  4. 핵심 원리 — 그림 5 사건 시간 구간과 예산 계산(23분 × 분당 1,000건 × 40% = 432,000건의 2.1%)
  5. 설계 기준 — SLI 정의 · SLO 값 · 경보 대상(증상) · 실험 주기 · 재해 복구 적용 조건(NIST SP 800-34 2.2.6절)
  6. 과제 · 경계 — 평균 사건 시간의 한계 · AIOps 오판 · 배포 자동화 · RAS · 백업과 경계

꼭 쓸 키워드
증상 경보골든 시그널trace-id사건 선언사건 지휘비난 없는 사후 검토정상 상태 가설완화와 복구재해 복구 계획오류 예산

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 사건 시간을 구간으로 나누고 «완화까지만 예산을 쓴다»를 계산으로 보여, 여섯 토픽이 각각 어느 구간을 줄이는지 한 장으로 짝지어 주는 것이다.

9오해와 사실

  • 오해지표 · 로그 · 추적 세 신호를 다 모으면 관측성이 갖춰진다.
    사실관측성은 «무엇이 깨졌고 왜»에 답하는 능력이고(SRE Book 6장), 신호가 같은 trace-id 로 이어지지 않으면 세 신호가 있어도 원인을 엮지 못한다(W3C Trace Context).
  • 오해평균 사건 시간(MTTR)이 줄면 신뢰성이 좋아진 것이다.
    사실사건 길이는 건마다 차이가 커서 평균의 오르내림은 우연으로도 생기며, 추세 판단에는 맞지 않는다는 분석이 있다(Davidovič 2021).
  • 오해재해 복구 계획은 모든 장애에 쓰는 절차다.
    사실재해 복구 계획은 주 시설을 오래 쓸 수 없는 큰 장애에서 다른 장소로 되살리는 계획이고, 영역 하나의 장애는 리전 안의 완화로 끝낸다(NIST SP 800-34 2.2.6절).

10핵심 정리

토픽묻는 질문핵심 값실패 신호근거
관측성무엇이 깨졌고 왜증상 신호 · 원인 신호사람이 먼저 발견SRE Book 6장
OpenTelemetry신호가 같은 형식으로 이어지나trace-id · span서비스 경계에서 추적이 끊김W3C Trace Context
AIOps어느 경보가 같은 사건인가사건당 경보 수 · 원인 후보잘못 묶은 경보Dang 외 2019
SRE이것이 사건인가SLI · SLO · 오류 예산증상 없이 원인 경보로 호출SRE Book 14 · 15장
카오스 엔지니어링다음에도 견디나정상 상태 가설 · 영향 범위가설 반박 · 실험 중단Principles of Chaos
클라우드 재해 복구리전을 잃어도 되살리나RTO · RPO · 적용 조건작은 장애에 리전 전환NIST SP 800-34 2.2.6절
사건 대응 역할누가 지휘 · 조작 · 소통하나지휘 · 운영 · 소통 · 계획여럿이 동시에 시스템 변경SRE Book 14장

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Site Reliability Engineering - Chapter 6. Monitoring Distributed Systems — 증상(무엇이 깨졌나)과 원인(왜) 신호의 구분 · 네 가지 골든 시그널을 볼 때
    Google · 2016-04 · sre.google/sre-book/monitoring-distributed-systems/ · 확인 2026-11-14
  3. ★ Site Reliability Engineering - Chapter 14. Managing Incidents — 사건 선언 조건 세 가지와 지휘 · 운영 · 소통 · 계획 역할 나눔을 볼 때
    Google · 2016-04 · sre.google/sre-book/managing-incidents/ · 확인 2026-11-14
  4. ★ Principles of Chaos Engineering — 정상 상태 가설 · 실험의 자동 반복 · 영향 범위 최소화 원칙을 볼 때
    principlesofchaos.org · 2019-03 · principlesofchaos.org/ · 확인 2026-11-14
  5. ★ NIST SP 800-34 Rev. 1 Contingency Planning Guide for Federal Information Systems — 재해 복구 계획(DRP)이 어떤 장애에 쓰이는지(2.2.6절)를 볼 때
    NIST · 2010-05 · nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-34r1.pdf · 확인 2026-11-14
  6. ★ Incident Metrics in SRE — MTTR 같은 평균 사건 시간이 추세 판단에 맞지 않는 이유를 볼 때
    Š. Davidovič · Google · 2021-03 · sre.google/resources/practices-and-processes/incident-metrics-in-sre/ · 확인 2026-11-14
  7. 본문 근거
  8. Site Reliability Engineering - Chapter 15. Postmortem Culture: Learning from Failure — Google · 2016-04 · sre.google/sre-book/postmortem-culture/ · 확인 2026-11-14
  9. OpenTelemetry Documentation - Signals — OpenTelemetry · CNCF · 2026-11 · opentelemetry.io/docs/concepts/signals/ · 확인 2026-11-14
  10. Trace Context (W3C Recommendation 23 November 2021) — W3C · 2021-11 · www.w3.org/TR/trace-context/ · 확인 2026-11-14
  11. AIOps: Real-World Challenges and Research Innovations (ICSE 2019 Companion · pp. 4-5) — Y. Dang · Q. Lin · P. Huang · 2019-05 · doi.org/10.1109/ICSE-Companion.2019.00023 · 확인 2026-11-14