분산 시스템Distributed Systems
네트워크로 이어진 여러 노드가 공유 메모리 · 공통 시계 없이 메시지만 주고받으며 사용자에게 하나의 시스템처럼 보이게 하는 구성이다. 분할 때 무엇을 포기할지(CAP), 한 값에 어떻게 동의할지(합의), 무엇을 숨길지(투명성)를 정한다.
1요약
- 분산 시스템은 시스템 아키텍처에서 노드 여럿을 하나처럼 움직이는 문제를 다루며, 공통 시계 없이 메시지만으로 사건 순서를 정하는 논리 시계(Lamport 1978)를 전제로 그 위에서 설정 저장소 · 분산 DB · 메시지 브로커의 복제가 돈다.
- 복제본이 둘 이상이면 노드 한 대 고장이나 링크 끊김에 값이 갈리는데, Raft 클러스터 5대는 과반 3대로 2대 고장까지 견디고 6대로 늘려도 견디는 수는 2대 그대로다(etcd FAQ · Ongaro · Ousterhout 2014 5.1절).
- 「분산 저장소가 쓰기를 거부한다 · 옛 값을 준다」는 과반이 살아 있는가 · 지금 분할 중인가로 가른다 — 과반을 잃었으면 합의의 정족수 문제, 분할 중 소수 쪽 거부는 CAP 의 일관성 선택, 평상시 옛 값이면 지연을 고른 복제(PACELC)다.
2등장 배경
1970년대 말 컴퓨터 여러 대를 망으로 잇자 공통 시계가 없어 «어느 사건이 먼저인가»부터 정할 수 없었다. Lamport 는 1978년 메시지 송수신만으로 사건 순서를 매기는 논리 시계를 냈고(Lamport 1978), 1987년 5월 메일에서 분산 시스템을 «있는 줄도 몰랐던 컴퓨터의 고장이 내 컴퓨터를 못 쓰게 만드는 시스템»으로 적었다(Lamport 1987).
한계도 증명됐다. 1985년 Fischer · Lynch · Paterson 은 비동기 시스템에서 프로세스 하나만 멈춰도 합의가 끝나지 않을 수 있음을 보였고(FLP 1985), 2000년 Brewer 가 내놓은 일관성 · 가용성 · 분할 내성의 맞바꿈은 2002년 Gilbert · Lynch 의 증명으로 CAP 정리가 됐다(Gilbert · Lynch 2012). 과반 수락으로 값을 정하는 Paxos 는 1998년 ACM TOCS 16(2)에 실렸다(Lamport 2001 참고 문헌).
2012년 Abadi 는 분할이 없을 때의 지연 · 일관성 맞바꿈까지 넣은 PACELC 를 냈고(Abadi 2012), 2014년 Raft 는 Paxos 와 같은 결과를 내면서 학생 43명 중 33명이 Paxos 보다 Raft 문제를 더 잘 풀 만큼 이해하기 쉽게 다시 짰다(Ongaro · Ousterhout 2014 9.1절). 지금 클라우드의 설정 저장소 · 분산 DB 는 이 세 질문에 각자 답한 설계를 골라 쓴다.
3쉽게 이해하기 — 섬 다섯 곳의 공동 배급 장부
섬 다섯 곳이 같은 배급 장부를 한 권씩 나눠 들고, 전화가 없어 배편 쪽지로만 연락한다. 이장이 「쌀 40포대」를 적어 쪽지를 돌리고, 과반인 세 섬이 받아 적었다는 답이 오면 그 줄을 확정한다. 어느 날 폭풍으로 A · B 두 섬과 C · D · E 세 섬 사이 뱃길이 끊기자, 세 섬은 새 이장을 뽑아 계속 적고 두 섬은 장부를 고치지 않고 기다린다. 주민은 어느 섬 창고에 가든 같은 장부를 보고 배급을 받는다.
그림 1 · 과반인 섬만 장부를 앞으로 적고, 뱃길이 끊긴 작은 쪽은 기다리며, 주민은 어느 창고에서나 같은 장부를 본다.
그림 2 · 폭풍에 갇힌 작은 쪽은 기다리거나 혼자 적거나 둘 중 하나를 고르는데, 이것이 CAP 가 말하는 선택이고 큰 쪽은 합의로 계속 나아간다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 섬 다섯 곳 | 노드 · 복제본 | 같은 데이터를 한 벌씩 들고 메시지로만 연락한다 |
| 배편 쪽지 | 메시지 · 로그 항목 | 늦게 오거나 사라질 수 있는 유일한 연락 수단이다 |
| 이장 · 이장 차례 | 리더 · 임기(term) | 한 임기에 리더 하나가 기록 순서를 정한다 |
| 세 섬이 적으면 확정 | 과반 복제 · 커밋 | 과반이 받은 항목만 되돌리지 않는다 |
| 폭풍 | 네트워크 분할 | 노드는 살아 있는데 서로 닿지 않는다 |
| 기다리기 · 혼자 적기 | CAP 의 일관성 · 가용성 선택 | 분할 동안 소수 쪽이 무엇을 포기할지 정한다 |
| 어느 창고든 같은 장부 | 분산 투명성 | 위치 · 복제 · 고장을 사용자에게 숨긴다 |
| 뱃길이 열리면 따라 적음 | 분할 복구 · 로그 맞춤 | 옛 리더가 새 임기를 보고 팔로워로 돌아간다 |
⚠ 비유가 맞지 않는 곳: 섬은 폭풍을 눈으로 보지만, 실제 노드는 «상대가 죽었는지 느린지 끊겼는지» 구별할 수 없어 시간 초과로만 짐작한다. 또 이장 선거는 사람이 하지 않고 무작위 시간 초과가 먼저 끝난 노드가 후보가 된다.
4구조 — 세 하위 토픽이 맡는 질문
분산 시스템은 같은 전제(메시지 지연 · 유실 · 분할 · 노드 멈춤)에서 세 질문을 나눠 맡는다. 사용자에게 무엇을 숨길지는 분산 투명성이, 숨긴 뒤 복제본을 어떻게 한 순서로 맞출지는 분산 합의가, 맞출 수 없는 분할 때 무엇을 포기할지는 CAP 정리가 답한다.
그림 3 · 위로 갈수록 사용자에게 보이는 약속이고, 아래 전제가 깨질 때 합의가 맞추고 맞출 수 없으면 CAP 가 포기할 것을 정한다.
| 하위 이름 | 푸는 질문 | 장애 전제 | 핵심 값 | 대표 근거 |
|---|---|---|---|---|
| 분산 투명성 | 분산임을 사용자에게 무엇을 숨기나 | 위치 이동 · 복제 · 노드 고장 | 접근 · 위치 · 이주 · 복제 · 장애 투명성 | ITU-T X.903 | ISO/IEC 10746-3 |
| 분산 합의(Raft · Paxos) | 멈출 수 있는 노드끼리 한 값 · 한 순서에 동의 | 멈춤 고장 · 비동기 메시지 | 과반 ⌊N/2⌋+1 · 임기 · 로그 번호 | Lamport 2001 · Ongaro · Ousterhout 2014 |
| CAP 정리 | 분할 때 일관성과 가용성 중 무엇을 지키나 | 메시지 유실 · 분할 | C · A · P · 평상시 L(PACELC) | Gilbert · Lynch 2012 · Abadi 2012 |
| 공통 전제 | 공통 시계 없이 사건 순서를 어떻게 정하나 | 시계 어긋남 | 먼저 일어남(happened-before) · 논리 시계 | Lamport 1978 · FLP 1985 |
🔑 투명성은 «무엇을 숨길지»를, 합의는 «숨긴 대가로 무엇을 맞출지»를, CAP 는 «맞출 수 없을 때 무엇을 포기할지»를 정한다.
5동작 — 노드 5대 저장소가 분할을 겪는 사례
Raft 로 복제하는 키-값 저장소 노드 A ~ E 5대에서 리더 A(임기 7)가 키 stock 을 쓰는 동안 링크가 둘로 끊기는 사례다. 노드 수 · 키 · 로그 번호는 설명용 가정 값이고, 규칙은 Raft 논문 5.2 · 5.3절을 따른다.
- 클라이언트가 리더 A 에
put stock=40을 보낸다. A 는 자기 로그 120번에 임기 7 로 붙인다. - A 가 AppendEntries 를 보내고 B · C 가 받았다고 답한다. A 포함 3/5 = 과반이므로 120번이 커밋되고 응답이 나간다(5.3절).
- A · B 와 C · D · E 사이 링크가 끊긴다. 다섯 대 모두 살아 있다.
- 클라이언트가 A 에
put stock=35를 보낸다. A 는 121번을 붙이지만 B 하나만 닿아 2/5 라 커밋하지 못하고, 클라이언트는 시간 초과를 받는다. - C · D · E 는 A 의 하트비트를 못 받는다. 선거 시간 초과(논문 예 150 ~ 300ms · etcd 기본 1,000ms)가 먼저 끝난 C 가 임기 8 후보가 되어 D · E 표로 리더가 된다(5.2절).
- 다른 클라이언트가 C 에
put stock=35를 보내고, C 는 121번(임기 8)을 D · E 와 복제해 3/5 로 커밋한다. - 링크가 돌아오면 A 는 임기 8 을 보고 팔로워가 되고, 자기 121번(임기 7)을 지우고 C 의 121번으로 바꾼다. 4단계의 쓰기는 커밋된 적이 없어 사라져도 약속을 어긴 것이 아니다.
그림 4 · 분할 뒤 소수 쪽 A 의 쓰기는 과반에 못 닿아 커밋되지 않고, 다수 쪽이 임기 8 리더를 뽑아 121번을 확정한 뒤 A 가 그 로그를 따른다.
그림 5 · 과반은 ⌊N/2⌋+1 이라 짝수로 한 대 늘리면 과반만 커지고 견디는 고장 수는 그대로다 — 5대는 2대, 7대는 3대까지 견딘다.
🔑 과반을 쥔 쪽만 앞으로 나아간다 — 분할에서 소수 쪽이 쓰기를 멈추는 것은 고장이 아니라 일관성을 고른 결과다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 경계 | 넘기는 곳 |
|---|---|---|---|
| 분산 시스템 | 복제본 사이 일관성 · 합의 · 투명성의 원리 | 노드 «사이»의 약속 | — |
| 시스템 신뢰성 · 가용성(RAS) | 이중화 구성 · 장애 조치 · 관측 | 몇 대를 어디에 둘지 · 장애 대응 운영 | 대기 서버 전환에 합의가 필요하면 분산 시스템으로 |
| 미들웨어 · 플랫폼 | 원격 호출 · 메시지 전달 · 런타임 | 메시지를 «나르는» 계층 | 전달 보장 위의 순서 · 일관성은 분산 시스템으로 |
| 시스템 성능 · 용량 관리 | 처리량 · 응답 시간 · 대수 산정 | 한 요청의 속도 | 복제 지연이 응답 시간을 늘리면 PACELC 로 |
| 분산 아키텍처 스타일(소프트웨어) | SOA · ESB · EDA 로 시스템 잇는 방식 | 업무 시스템 사이 결합 | 이벤트 저장소의 복제 · 순서는 분산 시스템으로 |
분석질문이 «이 값이 모든 복제본에서 같은가»이면 분산 시스템, «몇 대를 두고 어떻게 넘길까»이면 RAS, «메시지를 어떻게 나를까»이면 미들웨어 · 플랫폼이다. 근거는 표의 「경계」 열과, 리더 선출 · 커밋 규칙이 전송 수단과 무관하게 정의된다는 Raft 5.2 · 5.3절이다.
7실무 진단 — 분산 저장소 증상을 하위 토픽으로 가르기
분석먼저 «리더가 있는가 · 과반이 응답하는가»를 본다. 리더가 없으면 합의 문제라 일관성 · 투명성 설정을 볼 필요가 없고, 리더가 있는데 값이 다르면 CAP · PACELC 의 읽기 선택 문제다(Ongaro · Ousterhout 2014 5.2 · 8절).
| # | 증상 | 의심 원인 | 하위 구분 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 쓰기만 시간 초과 · 읽기는 됨 | 과반 상실 · 리더 없음 | 분산 합의 | etcdctl --write-out=(IS LEADER) | 응답 멤버 < 과반이면 쓰기 불가(etcd FAQ 표) |
| 2 | 리더가 자주 바뀌고 RAFT TERM 이 빠르게 오름 | 선거 시간 초과가 왕복 지연에 비해 짧음 · 디스크 지연 | 분산 합의 | endpoint status 의 RAFT TERM 추이 · 노드 사이 왕복 지연 | 선거 시간 초과 ≥ 왕복 지연 10배(etcd Tuning) |
| 3 | 다른 노드에서 읽으면 옛 값 | 팔로워 읽기 · 비동기 복제 | CAP · PACELC | 노드별 RAFT INDEX 비교 | 최신 값이 필요하면 리더 확인 읽기(Raft 8절 · Abadi 2012) |
| 4 | 분할 복구 뒤 응답 못 받은 쓰기가 사라짐 | 소수 쪽 옛 리더가 받은 미확정 항목 | 분산 합의 | 클라이언트 오류 기록 · 로그 번호 | 과반 복제 전 항목은 커밋 아님(Raft 5.3절) |
| 5 | 노드 교체 뒤 일부 클라이언트만 실패 | 클라이언트에 노드 주소 하나만 고정 | 분산 투명성 | 클라이언트 설정의 엔드포인트 목록 | 위치 · 장애 투명성은 클라이언트 재연결까지 포함 |
합의 → CAP · PACELC → 투명성 순으로 본다. 앞의 둘은 endpoint status 한 번(IS LEADER · RAFT TERM · RAFT INDEX)으로 가려지고(etcd Maintenance), 투명성 문제는 서버가 정상인데 클라이언트만 실패할 때 남는다.
8시험 대비
www.q-net.or.kr시험에서는 분산 시스템의 구성 · 하위 개념을 묻는 구조 · 구성형과, 정의 · 특징을 묻고 CAP · PACELC 나 Paxos · Raft 를 견주게 하는 정의 · 특징형 · 비교형으로 나올 수 있다. 특징 나열 대신 «숨긴다 · 맞춘다 · 포기한다» 세 질문 구조와 과반 계산으로 답을 짠다.
- 개요 — 정의(메시지만 주고받는 노드 묶음이 하나처럼 보임) · Lamport 1978 · 1987 정의 · FLP 1985
- 구조 — 그림 3(투명성 · 합의 · CAP 와 공통 전제) + 하위 토픽 표(질문 · 장애 전제 · 핵심 값)
- 합의 동작 — 그림 4(노드 5대 · 분할 · 임기 8 선출 · 121번 커밋) · 리더 · 임기 · 과반 복제
- 정족수 원리 — 그림 5(N=1 ~ 7 의 과반 · 견디는 고장 수) · ⌊N/2⌋+1 · 홀수 권장
- CAP · PACELC — 분할 때 CP · AP 선택 · 평상시 지연 · 일관성 맞바꿈(Abadi 2012)
- 투명성 · 동향 — 접근 · 위치 · 이주 · 복제 · 장애 투명성(ITU-T X.903) · Raft 기반 설정 저장소
꼭 쓸 키워드
논리 시계FLP 불가능성과반정족수리더 선출임기로그 복제네트워크 분할CAPPACELC위치 투명성장애 투명성
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 「홀수로 둔다」만 쓰지 말고 N 별 과반 · 견디는 고장 수를 그려 짝수가 왜 손해인지 숫자로 보인다.
9오해와 사실
- 오해CAP 정리 때문에 분산 시스템은 늘 세 가지 중 둘만 가진다.사실CAP 는 분할이 생겼을 때의 선택을 말하고, 분할이 없을 때는 지연과 일관성을 맞바꾸는 PACELC 의 선택이 따로 있다(Abadi 2012).
- 오해노드를 늘릴수록 고장에 강해진다.사실과반이 ⌊N/2⌋+1 이라 4대는 3대처럼 1대, 6대는 5대처럼 2대까지만 견디고 쓰기마다 응답할 노드만 늘어난다(etcd FAQ).
- 오해합의 알고리즘은 시간이 맞아야 안전하다.사실Raft 는 안전성이 시간에 기대지 않게 설계됐고, 시간은 리더를 제때 뽑는 가용성에만 걸린다(broadcastTime ≪ electionTimeout ≪ MTBF · Ongaro · Ousterhout 2014 5.6절).
10핵심 정리
| 구분 | 지키는 것 | 깨지는 조건 | 운영자가 보는 값 | 근거 |
|---|---|---|---|---|
| 논리 시계 | 사건의 앞뒤 순서 | 공통 시계에 기대면 | 사건 번호 · 로그 번호 | Lamport 1978 |
| 분산 합의 | 커밋된 항목은 되돌리지 않음 | 과반 미만만 살아 있음 | IS LEADER · RAFT TERM | Ongaro · Ousterhout 2014 |
| 정족수 | 두 과반은 반드시 겹침 | 짝수로 늘려 과반만 커짐 | N · 과반 · 견디는 고장 수 | etcd FAQ · Lamport 2001 |
| CAP 정리 | 분할 때 C 또는 A 하나 | 분할 중 둘 다 요구 | 거부 응답 · 충돌 병합 수 | Gilbert · Lynch 2012 |
| PACELC | 평상시 L 또는 C 하나 | 팔로워 읽기 · 비동기 복제 | 노드별 RAFT INDEX 차 | Abadi 2012 |
| 분산 투명성 | 사용자는 한 시스템만 봄 | 클라이언트가 노드 주소를 앎 | 엔드포인트 목록 · 재연결 수 | ITU-T X.903 |
| FLP 불가능성 | 비동기에서 종료 보장 없음 | 시간 가정 없이 합의 요구 | 선거 반복 · 리더 없음 시간 | FLP 1985 |
11참고 문헌
- 먼저 볼 문헌
- ★ In Search of an Understandable Consensus Algorithm (Extended Version) · USENIX ATC 2014 — 리더 선출 · 임기 · 과반 복제로 로그 순서에 동의하는 규칙을 볼 때
- ★ Perspectives on the CAP Theorem · IEEE Computer 45(2) — CAP 의 일관성 · 가용성 · 분할 내성 정의와 증명 줄기를 볼 때
- ★ Consistency Tradeoffs in Modern Distributed Database System Design · IEEE Computer 45(2) — 분할이 없을 때의 지연 · 일관성 맞바꿈(PACELC)을 볼 때
- ★ Paxos Made Simple — 제안자 · 수락자 · 학습자와 과반 수락 두 단계를 볼 때
- 본문 근거
- Impossibility of Distributed Consensus with One Faulty Process · Journal of the ACM 32(2) — M. J. Fischer · N. A. Lynch · M. S. Paterson · 1985-04 ·
groups.csail.mit.edu/tds/papers/Lynch/jacm85.pdf· 확인 2026-11-14 - Time, Clocks, and the Ordering of Events in a Distributed System · Communications of the ACM 21(7) — L. Lamport · 1978-07 ·
lamport.azurewebsites.net/pubs/time-clocks.pdf· 확인 2026-11-14 - Distribution (message of 28 May 1987) — L. Lamport · 1987-05 ·
lamport.azurewebsites.net/pubs/distributed-system.txt· 확인 2026-11-14 - ITU-T X.903 | ISO/IEC 10746-3 Open distributed processing - Reference model: Architecture — ITU-T · ISO/IEC JTC 1 · 2009-10 ·
www.itu.int/rec/T-REC-X.903· 확인 2026-11-14 - Distributed Systems 4th Edition (version 4.03) — M. van Steen · A. S. Tanenbaum · 2025-01 ·
www.distributed-systems.net/index.php/books/ds4/· 확인 2026-11-14 - etcd v3.6 Documentation - Frequently Asked Questions (FAQ) — etcd Authors (CNCF) · 2026-11 ·
etcd.io/docs/v3.6/faq/· 확인 2026-11-14 - etcd v3.6 Documentation - Tuning — etcd Authors (CNCF) · 2026-11 ·
etcd.io/docs/v3.6/tuning/· 확인 2026-11-14 - etcd v3.6 Documentation - Maintenance — etcd Authors (CNCF) · 2026-11 ·
etcd.io/docs/v3.6/op-guide/maintenance/· 확인 2026-11-14