시스템 신뢰성 · 가용성(RAS)Reliability, Availability and Serviceability (RAS)
시스템이 고장 없이 버티는 정도(신뢰성 · MTBF)와 고장 뒤 되살아나는 빠르기(보수성 · MTTR), 그 둘이 만드는 서비스 가능 시간 비율(가용성)을 함께 다루는 것이다. 고가용성 구성은 고장을 사용자에게서 가리고, 장애 관리와 관측성은 복구 시간을 줄인다.
1요약
- 시스템 신뢰성 · 가용성(RAS)은 고장 사이 평균 시간(MTBF) · 평균 복구 시간(MTTR) · 가용률 = MTBF ÷ (MTBF + MTTR) 세 값으로 시스템 아키텍처의 «멈추지 않음»을 다루고, 그 위에서 고가용성(HA) 구성 · 장애 관리 · 관측성이 돈다(Avizienis 외 2004 · SRE Book 3장).
- 목표 없이 운영하면 얼마나 멈춰도 되는지 아무도 모른다 — NIST 는 업무마다 최대 허용 중단 시간(MTD)과 그보다 짧은 복구 목표 시간(RTO)을 시간 단위로 정하게 하고, HA 를 99.999% 이상 가동(연 약 5.3분 중단)으로 적는다(NIST SP 800-34 Rev.1 3.2.1절 · 5장).
- 「가용성이 낮다」는 자주 멈추는가, 길게 멈추는가로 가른다 — 장애 건수가 많으면 MTBF(이중화 · 재발 방지) 쪽, 건당 중단이 길면 MTTR 의 탐지 · 진단 · 복구 가운데 가장 긴 단계 쪽을 고친다.
2등장 배경
서버 한 대로 돌던 시스템은 고장이 나면 담당자가 사용자 전화를 받고서야 알았고, 원인을 찾는 동안 서비스는 멈춰 있었다. 고장을 «줄이는 일»과 «빨리 되살리는 일»이 한 숫자(가용률)를 함께 움직인다는 정리가 필요했다.
2004년 Avizienis · Laprie · Randell · Landwehr 는 결함(fault)이 오류(error)를 낳고 오류가 서비스 실패(failure)로 번지는 사슬과, 가용성 · 신뢰성 · 보수성을 포함한 의존성 속성을 한 체계로 정리했다(Avizienis 외 2004). 2010년 NIST SP 800-34 Rev.1 은 복구 목표를 MTD · RTO · RPO 로 나눴고, 2016년 Google SRE Book 은 가용성 목표와 실제의 차이를 오류 예산으로 쓰게 했다(SRE Book 3장).
클라우드 · 마이크로서비스로 노드가 수백 개가 되자 미리 정한 지표만 보는 모니터링으로는 원인을 좁히기 어려워졌다. OpenTracing 과 OpenCensus 가 합쳐진 CNCF 프로젝트 OpenTelemetry 가 로그 · 메트릭 · 트레이스를 한 규격으로 모으면서, 관측성이 MTTR 을 줄이는 셋째 축이 됐다(OpenTelemetry 소개).
3쉽게 이해하기 — 24시 약국의 문 연 시간
동네 24시 약국에는 약사 한 명이 밤새 일한다. 어느 새벽 약사가 쓰러지자, 문 앞 카메라가 멈춘 계산대를 보고 경보를 울리고, 관리인은 대응 수첩대로 원인을 확인하며, 옆 건물에서 교대 약사가 달려와 문을 다시 연다. 1년이 끝나면 약국 주인은 8,760시간 가운데 문이 열려 있던 시간을 센다.
그림 1 · 약사가 버틴 시간은 신뢰성, 카메라 · 수첩 · 교대 약사가 문을 다시 열기까지 걸린 시간은 보수성, 1년 중 문 연 시간 비율은 가용성이다.
그림 2 · 약사가 덜 쓰러지게 하든 닫힌 문을 빨리 다시 열든, 같은 만큼 줄이면 1년 중 문 연 시간은 똑같이 늘어난다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 쓰러지지 않고 버틴 시간 | 신뢰성 · MTBF | 고장과 고장 사이 정상 가동 시간의 평균 |
| 약사가 쓰러짐 | 결함 → 오류 → 실패 | 내부 결함이 사용자에게 보이는 서비스 중단으로 번진 순간 |
| 문 앞 카메라 | 관측성(로그 · 메트릭 · 트레이스) | 바깥에서 시스템 상태를 묻고 이상을 경보로 알린다 |
| 대응 수첩 | 장애 관리 | 장애 선언 · 역할 · 복구 순서 · 사후 검토를 정해 둔다 |
| 대기하던 교대 약사 | 고가용성(HA) 구성 | 대기 노드가 고장 난 노드의 서비스를 이어받는다 |
| 문 닫힌 시간 | 보수성 · MTTR | 고장에서 서비스 회복까지 걸린 시간의 평균 |
| 연말 결산 | 가용률 · 오류 예산 | 기간 중 서비스 가능 시간 비율과 목표까지 남은 여유 |
⚠ 비유가 맞지 않는 곳: 교대 약사는 다른 사람이라 같은 병에 함께 걸리지 않지만, 실제 대기 노드는 같은 코드 · 같은 설정을 써서 같은 결함으로 함께 멈출 수 있다. 또 약국은 문이 열렸는지만 세지만, 서비스는 열려 있어도 응답이 틀리면 실패로 센다.
4구조 — 한 고장 주기와 세 토픽이 줄이는 구간
한 고장 주기는 정상 가동(MTBF) 뒤 고장 · 탐지 · 진단 · 복구(MTTR)로 이어진다. 세 하위 토픽은 이 주기의 서로 다른 구간을 줄이고, 가용률은 그 결과로 정해진다.
그림 3 · 신뢰성은 정상 구간의 길이, 보수성은 중단 구간의 길이이고, 관측성은 탐지 · 진단을, 장애 관리는 진단 · 복구 절차를, HA 구성은 복구를 전환으로 줄인다.
| 하위 이름 | 푸는 문제 | 줄이는 구간 | 대표 지표 | 대표 표준 · 기술 |
|---|---|---|---|---|
| 고가용성(HA) 구성 | 노드 하나 고장이 곧 서비스 중단 | 복구(사용자에게 보이는 중단) | 전환 시간 · 단일 장애점 수 | 액티브-스탠바이 · 클러스터 · NIST SP 800-34 5장 |
| 장애 관리 | 장애 때 누가 무엇을 하는지 모름 | 진단 · 복구 · 재발 | MTTR · 재발 건수 | 장애 선언 기준 · 사후 검토(SRE Book 14장) |
| 관측성(로그 · 메트릭 · 트레이스) | 사용자 신고로 장애를 앎 · 원인 범위가 넓음 | 탐지 · 진단 | 평균 탐지 시간(MTTD) | 네 가지 황금 신호 · OpenTelemetry |
| RAS 지표 | 얼마나 멈춰도 되는지 모름 | 전체(목표와 결과) | MTBF · MTTR · 가용률 · RTO | 오류 예산(SRE Book 3장) · MTD(NIST SP 800-34 3.2.1절) |
🔑 가용률은 직접 올리는 값이 아니라 결과다 — HA 구성은 고장 수를 줄이지 않고 사용자에게 보이는 중단을 줄이며, 관측성 · 장애 관리는 고장 한 건의 길이를 줄인다.
5동작 — 연간 중단 480분을 예산 안으로
온라인 예약 서비스 하나의 1년을 따라간다. 장애 건수 · 단계별 시간은 설명용 가정 값이고, 가용률은 1년 525,600분 기준으로 직접 계산했다.
- 목표 정리 — 연간 중단 240분 이내(가용률 99.954%)를 서비스 수준 목표로 정하고, 240분을 오류 예산으로 둔다(SRE Book 3장).
- 지난 1년 결산 — 장애 4건, 건당 탐지 40 · 진단 50 · 복구 30분으로 120분, 연 480분이다. MTBF = (525,600 − 480)분 ÷ 4 = 2,188시간, MTTR = 2시간, 가용률 = 2,188 ÷ 2,190 = 99.909% 로 예산을 두 배 넘었다.
- 원인 분류 — 4건 중 3건은 노드 하드웨어 고장, 1건은 배포 결함이다. 건수는 적고 건당 시간이 길어 MTTR 쪽부터 고친다.
- 관측성 — 지연 · 트래픽 · 오류 · 포화 네 신호에 경보를 걸고(SRE Book 6장) 요청마다 트레이스를 남겨, 탐지 5분 · 진단 15분으로 줄인다. 건당 50분, 연 200분(99.962%)으로 예산 안에 든다.
- HA 구성 — 액티브-스탠바이 자동 전환을 넣어 노드 고장 3건은 각 1분 전환으로 끝난다. 연 3 + 50 = 53분(99.990%)이다.
- 장애 관리 — 배포 결함 1건은 두 노드가 같은 코드라 전환으로 가리지 못했다. 사후 검토에서 배포 전 검사를 더해 다음 해 같은 원인의 장애를 없애는 과제로 넘긴다(SRE Book 14장).
- 예산 사용 — 남은 예산 187분을 다음 분기 배포 위험에 쓰고, 예산이 바닥나면 배포를 멈춘다.
그림 4 · 관측성이 탐지 · 진단을 줄여 480분을 200분으로, HA 구성이 노드 고장 3건을 1분 전환으로 바꿔 53분으로 만든다 — 남은 50분은 이중화가 못 가리는 배포 결함이다.
그림 5 · MTBF 2,188시간 · MTTR 2시간에서 MTTR 을 절반으로 줄이는 것과 MTBF 를 두 배로 늘리는 것은 같은 99.954% 에 닿는다.
🔑 MTTR 을 절반으로 줄이면 MTBF 를 두 배로 늘린 것과 같은 가용률이 된다 — 고장 원인은 하나씩 따로 막아야 하지만 탐지 · 전환을 줄이면 모든 고장에 함께 듣는다.
6비교 — 성능 · 용량 관리, 분산 시스템, 시스템 구성 모델과의 경계
| 기준 | 신뢰성 · 가용성(RAS) | 성능 · 용량 관리 | 분산 시스템 | 시스템 구성 모델 |
|---|---|---|---|---|
| 맡는 일 | 고장 빈도와 복구 시간 | 부하에 맞는 처리량 · 응답 시간 | 노드 사이 상태 · 합의 · 투명성 | 중앙 · 클라이언트-서버 · P2P 같은 구성 유형 |
| 대표 지표 | MTBF · MTTR · 가용률 | TPS · p95 응답 · 사용률 | 일관성 수준 · 분할 허용 | 노드 수 · 계층 수 |
| 고장을 보는 눈 | 고장은 반드시 온다 — 길이를 줄인다 | 과부하 때문에 느려짐 | 망 분할 때 무엇을 포기할지(CAP 정리) | 단일 장애점이 어디 생기는지 |
| 넘기는 곳 | 여유 대수 계산 → 성능 · 용량 | 고장 뒤 남는 용량 → RAS | 복제본 전환 판단 → RAS | 이중화 방식 → RAS |
분석질문이 «얼마나 자주 · 얼마나 오래 멈추는가»이면 RAS, «얼마나 빨리 처리하는가»이면 성능 · 용량 관리, «나뉜 노드가 같은 값을 보는가»이면 분산 시스템을 본다. 근거는 표의 「고장을 보는 눈」 행 — 같은 복제본도 전환 시간은 RAS 가, 전환 중 값의 일관성은 분산 시스템이 다룬다.
7실무 진단 — 중단 시간이 쌓이는 구간 가르기
분석장애 기록에서 건수와 건당 시간을 먼저 나누고, 건당 시간은 탐지 · 진단 · 복구 가운데 가장 긴 구간부터 본다. 동작 절 사례처럼 건수가 적고 건당 시간이 길면 MTTR 쪽 조치가 모든 고장에 함께 듣기 때문이다(그림 5).
| # | 증상 | 의심 원인 | 구간 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 사용자 신고가 경보보다 먼저 옴 | 사용자 쪽 신호 없음 | 탐지 | 장애 기록의 「처음 안 경로」 · Prometheus up == 0 경보 시각 | 신고가 먼저인 건이 있으면 외부 관찰(블랙박스) · 오류율 경보를 더함(SRE Book 6장 · Prometheus up) |
| 2 | 경보는 빨랐는데 원인 찾기가 오래 걸림 | 요청 경로가 끊겨 보임 | 진단 | journalctl -u <서비스> -p err --since "-1h" · 트레이스 ID 검색 | 요청 하나가 한 트레이스로 이어지지 않으면 트레이스 전파부터(OpenTelemetry primer · journalctl(1)) |
| 3 | 노드 하나 고장에 서비스가 멈춤 | 단일 장애점 · 전환 미검증 | 복구 | 구성도 · 전환 시험 기록 | 전환 시험이 없거나 실패했으면 HA 구성(NIST SP 800-34 Rev.1 5장) |
| 4 | 대기 노드로 넘어가도 같은 오류 | 공통 원인(같은 코드 · 설정) | 재발 | 배포 기록 · 두 노드 판 비교 | 두 노드 판이 같으면 이중화로 못 가림 → 사후 검토 · 배포 검사(SRE Book 14장) |
탐지 → 진단 → 복구 → 재발 순으로 본다. 앞의 둘은 경보 · 기록 시각만으로 드러나고, 복구는 전환 시험을 해 봐야 알며, 재발은 여러 건의 원인을 모아야 보인다.
8시험 대비
시험에서는 가용성 목표를 주고 MTBF · MTTR 개선안을 세우게 하는 구현 · 설계형과, 장애 탐지 · 대응 체계를 묻는 장애 대응형이 나올 수 있다. 「이중화 · 모니터링 강화」를 나열하지 말고, 가용률 식으로 어느 구간을 몇 분 줄이는지 숫자로 보인다.
- 개요 — RAS 정의 · 결함 → 오류 → 실패 사슬(Avizienis 외 2004) · 가용률 = MTBF ÷ (MTBF + MTTR)
- 구성 — 그림 3 한 고장 주기 위 세 하위 토픽(HA 구성 · 장애 관리 · 관측성)과 줄이는 구간 표
- 목표 — 오류 예산(SRE Book 3장) · MTD · RTO · RPO(NIST SP 800-34 Rev.1 3.2.1절)
- 개선 사례 — 그림 4 480 → 200 → 53분(99.909 → 99.962 → 99.990%)
- 원리 — 그림 5 MTTR 절반 = MTBF 두 배 · 공통 원인 고장의 한계
- 운영 · 동향 — 네 가지 황금 신호 · OpenTelemetry 로그 · 메트릭 · 트레이스 · 사후 검토
꼭 쓸 키워드
MTBFMTTRMTTD가용률오류 예산RTORPO액티브-스탠바이공통 원인 고장네 가지 황금 신호사후 검토
다른 답안과 차이를 내는 한 가지는 그림 4 다 — 중단 시간을 탐지 · 진단 · 복구로 쪼개 각 하위 토픽이 줄인 분을 막대로 보여, «무엇을 넣었나»가 아니라 «몇 분 줄었나»로 답한다.
9오해와 사실
- 오해이중화하면 가용성 문제는 끝난다.사실대기 노드가 같은 코드 · 같은 설정이면 같은 결함으로 함께 멈춘다 — 사례의 배포 결함 1건(50분)은 전환으로 가리지 못했다.
- 오해가용률이 높으면 믿을 만한 서비스다.사실늘 켜져 있어도 사용자가 기대한 일을 하지 못하면 믿을 수 없다(OpenTelemetry primer) — 그래서 시간 기준 대신 성공 요청 비율로 가용성을 재기도 한다(SRE Book 3장).
- 오해모니터링 지표를 늘리면 관측성이 생긴다.사실모니터링은 정해 둔 수치를 모아 보여 주는 일이고(SRE Book 6장), 관측성은 미리 생각하지 못한 질문을 로그 · 메트릭 · 트레이스로 바깥에서 물을 수 있는 성질이다(OpenTelemetry primer).
10핵심 정리
| 구분 | 대표 지표 | 바꾸는 방향 | 맡는 토픽 | 확인 자료 | 사례 값 |
|---|---|---|---|---|---|
| 신뢰성 | MTBF | 늘림 | 장애 관리(재발 방지) | 장애 기록 원인 분류 | 2,188시간 |
| 보수성 | MTTR | 줄임 | 장애 관리 · 관측성 | 단계별 시간 기록 | 120분 → 50분 |
| 탐지 | MTTD | 줄임 | 관측성 | 경보 시각 ↔ 신고 시각 | 40분 → 5분 |
| 전환 | 전환 시간 · 단일 장애점 수 | 줄임 | 고가용성(HA) 구성 | 전환 시험 기록 | 1분 |
| 가용성 | 가용률 · 오류 예산 | 목표 안으로 | 세 토픽의 결과 | SLI · 연간 중단 분 | 99.909% → 99.990% |
| 복구 목표 | MTD · RTO · RPO | 상한 | 업무 영향 분석 | NIST SP 800-34 Rev.1 3.2.1절 | 240분(예산) |
11참고 문헌
- 먼저 볼 문헌
- ★ Basic Concepts and Taxonomy of Dependable and Secure Computing (IEEE TDSC vol.1 no.1 pp.11-33) — 고장 · 오류 · 실패의 사슬과 신뢰성 · 가용성 · 보수성 속성의 정의를 볼 때
- ★ NIST SP 800-34 Rev. 1 Contingency Planning Guide for Federal Information Systems — 최대 허용 중단 시간(MTD) · 복구 목표 시간(RTO) · 복구 목표 시점(RPO)을 정하는 법을 볼 때
- ★ Site Reliability Engineering - Chapter 3 Embracing Risk — 시간 기준 · 요청 기준 가용성과 오류 예산을 볼 때
- ★ Site Reliability Engineering - Chapter 14 Managing Incidents — 장애 대응 역할과 장애 선언 기준을 볼 때
- ★ OpenTelemetry - Observability primer — 로그 · 메트릭 · 트레이스와 SLI · SLO 의 정의를 볼 때
- 본문 근거
- Site Reliability Engineering - Chapter 6 Monitoring Distributed Systems — Google · 2016-04 ·
sre.google/sre-book/monitoring-distributed-systems/· 확인 2026-11-14 - What is OpenTelemetry? — OpenTelemetry (CNCF) · 2026-11 ·
opentelemetry.io/docs/what-is-opentelemetry/· 확인 2026-11-14 - Prometheus - Jobs and instances — Prometheus Authors · 2026-11 ·
prometheus.io/docs/concepts/jobs_instances/· 확인 2026-11-14 - journalctl(1) — systemd project · 2026-11 ·
www.freedesktop.org/software/systemd/man/latest/journalctl.html· 확인 2026-11-14