분산 DBDistributed Database
데이터를 여러 노드에 나눠 두고 사본을 붙이면서도 응용에는 데이터베이스 하나처럼 보이게 하는 방식을 묶은 것이다. 나누기(샤딩) · 사본(DB 복제) · 샤드를 넘는 거래(NewSQL · 분산 SQL) · 거래와 분석의 공존(HTAP)을 다룬다.
1요약
- 분산 DB 는 DB 종류 가운데 «노드 배치»를 바꾼 것으로, 행을 샤드로 나누고 샤드마다 사본을 두며 그 위에서 샤드를 넘는 거래와 실시간 분석까지 SQL · ACID 로 받는 방식을 모은다 — 주문 · 결제 · 재고처럼 한 노드 용량을 넘는 OLTP 가 이 위에서 돈다.
- 나누고 복제하는 순간 조정 비용이 생긴다 — 어디서나 갱신하는 복제는 노드와 거래량을 10배로 늘리면 교착 · 조정이 약 1,000배 늘어난다(Gray 외 1996 초록).
- 분산 뒤 「느려졌다」는 느린 범위로 가른다 — 한 샤드만 느리면 샤딩(키 쏠림), 쓰기마다 지역 간 왕복만큼 늘면 DB 복제(동기 사본 위치), 샤드 여럿을 건드리는 거래만 느리면 분산 거래(NewSQL · 분산 SQL) 쪽을 본다.
2등장 배경
1970년대 말 SDD-1 은 공유 없음 노드 여럿을 중앙 조정자 하나로 묶은 첫 분산 거래 DBMS 였고, 1980년대 초 System R · INGRES 도 분산판(R* · 분산 INGRES)을 냈다(Pavlo · Aslett 2016 4.2 · 4.3절). 이때 정리된 단편화 · 할당 · 2단계 잠금 · 2단계 커밋이 지금 분산 DB 의 뼈대다.
2000년대 웹 서비스는 한 대를 더 좋은 기계로 바꾸는 수직 확장에 한계가 오자, 단일 노드 DBMS 여럿을 샤딩 미들웨어로 묶었다. 단일 행 읽기 · 쓰기는 잘 됐지만 여러 행을 바꾸는 거래와 조인이 어려워, 2002년 한 전자상거래 회사의 미들웨어는 조인을 모두 응용 코드로 짜게 했다(같은 논문 1절).
트랜잭션을 포기할 수 없는 금융 · 주문 시스템을 위해 2011년 분석 보고서가 NewSQL 이라는 이름을 붙였고(같은 논문 머리말), 2012년에는 GPS · 원자 시계로 시각 오차를 재며 대륙 사이 사본을 강한 일관성으로 맞추는 설계가 공개됐다(Corbett 외 2012 3절). 2016년 Pavlo · Aslett 은 다음 흐름으로 거래 데이터 위의 실시간 분석, 곧 HTAP 를 꼽았다(5절).
3쉽게 이해하기 — 시립 도서관 분관 셋
시립 도서관은 책이 너무 많아 동부 · 서부 · 남부 분관에 저자 이름 순서로 나눠 꽂는다. 이용자는 통합 목록에서 책을 찾으면 어느 분관인지 몰라도 안내를 받고, 인기 책은 두 분관에 복본이 있다. 어느 날 한 이용자가 동부 책 한 권과 남부 책 한 권을 «둘 다 아니면 빌리지 않겠다»고 하고, 그 사이 통계실은 오늘 대출 장부를 바로 세고 싶어 한다.
그림 1 · 책을 분관에 나누고, 인기 책에 복본을 두고, 두 분관 대출을 한 번에 확정하고, 그날 장부로 바로 통계를 내는 일이 분산 DB 가 다루는 네 가지 일이다.
그림 2 · 두 분관 대출은 «둘 다 보류한 뒤 확정»이고, 실제 DB 에서는 이 확인 왕복이 샤드를 넘는 거래의 값이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 통합 목록 | 질의 라우터 · 분산 투명성 | 응용이 샤드 위치를 몰라도 맞는 노드로 보낸다 |
| 분관 셋 | 샤드(샤딩) | 행을 키 범위 · 해시로 나눠 노드마다 일부만 둔다 |
| 저자 이름 순서 | 샤드 키 | 어느 행이 어느 샤드에 갈지 정하는 열 |
| 인기 책 복본 | 사본(DB 복제) | 같은 샤드를 다른 노드에 한 벌 더 둔다 |
| 두 분관 함께 보류 | 준비 단계 | 참여 샤드가 잠금을 잡고 커밋할 수 있다고 답한다 |
| 한 번에 확정 | 커밋 결정(NewSQL · 분산 SQL) | 샤드를 넘는 거래도 전부 반영 또는 전부 취소 |
| 그날 장부로 통계 | HTAP | 거래 데이터를 옮기지 않고 바로 분석한다 |
⚠ 비유가 맞지 않는 곳: 도서관 복본은 늦게 들어와도 큰일이 없지만, DB 사본이 늦으면 장애 조치 때 이미 «성공»이라고 답한 쓰기가 사라질 수 있다(Pavlo · Aslett 2016 4.5절).
4구조 — 나누기 · 사본 · 묶기 · 함께 읽기
네 계층은 아래에서 위로 쌓인다. 샤딩이 나눈 조각마다 DB 복제가 사본을 붙이고, NewSQL · 분산 SQL 이 그 위에서 샤드를 넘는 거래를 묶으며, HTAP 는 사본 하나를 분석 쪽으로 돌린다. 사용자에게 위치 · 사본을 숨기는 분산 투명성과 CAP 정리 · 합의는 분산 시스템의 원리를 가져다 쓴다.
그림 3 · 샤딩이 나누고, 복제가 사본을 붙이고, 분산 SQL 이 거래를 묶고, HTAP 가 사본을 분석에 쓴다 — 아래 계층 없이는 위 계층이 서지 않는다.
| 계층 | 푸는 문제 | 단위 | 설계 선택 | 근거 |
|---|---|---|---|---|
| 샤딩 | 한 노드 용량 · 쓰기 처리량 상한 | 샤드 · 가상 파티션 | 샤드 키 · 범위 또는 해시 · 함께 둘 표 | Pavlo · Aslett 2016 4.2절 |
| DB 복제 | 노드 고장 · 읽기 부하 | 사본 | 동기 · 비동기 · 주 사본 · 능동-수동 | 같은 논문 4.5절 · Gray 외 1996 |
| NewSQL · 분산 SQL | 샤드를 넘는 거래의 ACID | 거래 · 참여 샤드 | 2단계 잠금 · MVCC · 시각 순서 | 같은 논문 4.3절 · Corbett 외 2012 |
| HTAP | 거래 데이터를 늦게 분석함 | 행 저장 + 열 저장 | 별도 DBMS · 람다 · 단일 HTAP | 같은 논문 5절 |
5동작 — 주문 서비스를 샤드 넷으로 나눈 사례
설명용 가정 값이다. 고객 1,200만 명의 주문 DB 를 노드 넷(샤드 0 ~ 3)에 customer_id 해시로 나누고, 샤드마다 사본 셋(주 사본 하나 + 사본 둘)을 둔다. 주문 · 결제 표는 고객 표 아래에 함께 둔다(Pavlo · Aslett 2016 4.2절의 «나무 모양 스키마»).
- 라우터가 고객 1042 의 주문 쓰기를 받아
1042 mod 4 = 2로 샤드 2 의 주 사본에 보낸다. - 샤드 2 주 사본이 쓰기를 기록하고 사본 둘 가운데 하나가 받으면(셋 중 둘) 커밋을 알린다 — 한 샤드 거래라 조정자가 없다.
- 고객 1042 가 고객 2077 에게 포인트를 넘긴다.
2077 mod 4 = 1이라 샤드 1 · 2 가 참여하는 거래가 되고, 조정자가 준비 → 커밋 두 번 왕복한다. - 고객 둘을 무작위로 고르면 서로 다른 샤드일 확률은 3/4 이다 — 고객 사이 거래는 넷 중 셋이 3단계를 거친다.
- 서울 · 부산 두 지역에 사본을 두고 강한 일관성을 지키면, 시각 오차 ε 평균 4 ms 에서 커밋 대기가 최소 2ε = 8 ms 붙는다(Corbett 외 2012 3 · 4.2.1절 · 원문 식 직접 계산).
- 「지난 1시간 매출」 분석 질의는 주 사본이 아니라 열 저장 사본으로 보내 주문 쓰기와 자원을 나눈다(HTAP).
- 노드를 다섯으로 늘릴 때
mod 4→mod 5로 바꾸면 행의 80% 가 자리를 옮긴다(k mod 4 = k mod 5 인 행은 20개 중 4개). 가상 파티션 64개를 노드에 나눠 두면 약 13개(약 20%)만 옮긴다(같은 논문 4.2절).
그림 4 · 한 샤드 주문은 그 샤드 안에서 끝나고, 샤드 1 · 2 를 건드리는 포인트 이전만 조정자의 준비 · 커밋 왕복을 거친다.
그림 5 · 같은 거래도 샤드 키에 따라 건드리는 샤드 수가 1 에서 4 로 바뀐다 — 함께 쓰는 행을 한 샤드에 모으는 것이 분산 DB 설계의 첫 판단이다.
🔑 분산 DB 의 비용은 노드 수가 아니라 거래 하나가 건드리는 샤드 수에서 나온다.
6비교 — 분산 DB와 관련 기술의 경계
| 기술 | 맡는 일 | 분산 DB와의 경계 | 넘기는 곳 |
|---|---|---|---|
| NoSQL | 키-값 · 문서 · 그래프 모델 | 둘 다 나누고 복제하지만, NoSQL 은 약한 일관성을 고르고 분산 DB 는 SQL · ACID 를 지킨다(Pavlo · Aslett 2016 4.5절) | 모델 선택 · 쿼럼 → NoSQL |
| 특수 목적 데이터베이스 | 시간 · 공간 · 벡터 색인 | 데이터 «유형»을 바꾸고 노드 배치는 그대로일 수 있다 | 색인 · 연산 → 특수 목적 데이터베이스 |
| 클라우드 데이터베이스 | 운영 주체 · 과금 | 사업자가 운영해도 샤딩 · 복제 설계는 남는다 | 관리형 · 서버리스 → 클라우드 데이터베이스 |
| 분산 시스템 | CAP 정리 · 합의 · 투명성 원리 | 원리는 그쪽, DB 에 적용한 설계(샤드 키 · 사본 배치)는 여기 | 합의 알고리즘 → 분산 시스템 |
| 트랜잭션 | ACID · 2단계 커밋 절차 | 절차는 그쪽, 그 절차를 언제 피하는가는 여기 | 커밋 · 회복 절차 → 트랜잭션 |
분석한 노드 용량 · 고장이 문제이고 거래 원자성을 지켜야 하면 분산 DB, 원자성을 내려놓을 수 있으면 NoSQL 을 먼저 본다. 강한 일관 복제는 원자적 커밋 · 멈춤 비용을 부르고 약한 일관성은 그 비용을 피한다(Pavlo · Aslett 2016 4.5절).
7실무 진단 — 느린 범위로 원인 가르기
분석먼저 «느린 범위»가 샤드 하나인지 · 모든 쓰기인지 · 일부 거래인지를 본다. 범위마다 원인이 놓인 계층이 다르다(아래 표 · Pavlo · Aslett 2016 4.2 · 4.5절).
| # | 증상 | 의심 원인 | 맡는 쪽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 샤드 하나만 CPU · 지연이 높음 | 샤드 키 쏠림(핫 샤드) | 샤딩 | 샤드별 요청 수 · 키 분포 | 한 샤드 몫이 1/N 을 크게 넘으면 키 · 파티션 재배치(4.2절 재균형) |
| 2 | 모든 쓰기가 지역 간 왕복만큼 느림 | 동기 사본이 먼 지역 | DB 복제 | 커밋 지연 ↔ 지역 간 왕복 시간 | 두 값이 비슷하면 동기 경로 · 비동기 · 사본 배치 검토(4.5절) |
| 3 | 일부 거래만 느리거나 멈춤 | 샤드를 넘는 거래 · 조정자 대기 | NewSQL · 분산 SQL | 거래당 참여 샤드 수 · 준비 상태 거래 수 | 참여 샤드 2 이상 거래가 늘면 함께 둘 표 재설계(4.2절) |
| 4 | 장애 조치 뒤 방금 쓴 값이 없음 | 비동기 사본 지연 | DB 복제 | 사본 지연 시간 · 복제 방식 | 비동기면 승인된 쓰기 유실 가능(4.5절) |
| 5 | 분석 질의 때 주문 지연 증가 | 같은 행 저장에서 분석 | HTAP | 질의별 자원 사용 · 열 저장 사본 유무 | 분석이 거래 자원을 쓰면 열 사본 · 별도 경로(5절) |
순서는 샤드별 지표 → 커밋 지연 분해 → 거래별 참여 샤드 수다. 앞의 둘은 모니터링 지표로 바로 보이고, 마지막은 질의 기록을 모아야 한다.
8시험 대비
www.q-net.or.kr시험에서는 분산 DB 를 구성 요소와 함께 그리게 하는 구조 · 구성형, 주어진 업무에 단편화 · 복제 · 할당을 정하게 하는 구현 · 설계형으로 나올 수 있다. 구조형이면 네 계층 쌓기(그림 3)와 투명성 종류를 함께 쓰고, 설계형이면 샤드 키를 가장 잦은 거래 기준으로 고르는 근거(그림 5)를 숫자로 보인다.
- 개요 — 정의 · 공유 없음 구조 · 등장 흐름(분산 거래 DBMS → 샤딩 미들웨어 → NewSQL)
- 구조 — 그림 3 네 계층 쌓기 · 단편화(수평 · 수직) · 할당 · 복제
- 투명성 — 위치 · 단편화 · 중복 · 병행 · 장애 투명성 표
- 설계 사례 — 그림 4 샤드 넷 · 사본 셋 · 한 샤드 거래와 샤드를 넘는 거래
- 핵심 판단 — 그림 5 샤드 키에 따른 참여 샤드 수 · 노드 증설 때 옮기는 비율
- 동향 — 지역 간 강한 일관 복제(커밋 대기 2ε) · HTAP
꼭 쓸 키워드
수평 단편화수직 단편화샤드 키가상 파티션동기 복제비동기 복제2단계 커밋분산 투명성커밋 대기HTAP
다른 답안과 차이를 내려면 «노드 넷에서 고객 사이 거래 3/4 이 샤드를 넘는다» · «mod 4 → mod 5 에서 80% 이동»처럼 직접 계산한 값을 그림 옆에 둔다.
9오해와 사실
- 오해노드를 늘리면 처리량이 노드 수만큼 늘어난다.사실샤드를 넘는 거래는 준비 · 커밋 왕복 동안 참여 노드가 메시지를 기다리므로, 이런 거래가 많으면 노드를 늘려도 처리량이 따라 늘지 않는다(Pavlo · Aslett 2016 4.3절).
- 오해사본을 어디서나 갱신하게 하면 가용성이 그대로 늘어난다.사실노드 · 거래량 10배에 교착 · 조정이 약 1,000배 늘어, 주 사본 방식이 이 문제를 줄인다(Gray 외 1996 초록).
- 오해HTAP 는 거래 DB 와 데이터 웨어하우스를 ETL 로 잇는 구성이다.사실그것은 별도 DBMS 방식이고, HTAP 는 한 DBMS 안에서 행 · 열 저장을 함께 써 옮기는 지연(수 분 ~ 수 시간)을 없앤다(같은 논문 5절).
10핵심 정리
| 구분 | 맡는 일 | 단위 | 대표 기법 | 치르는 값 | 근거 |
|---|---|---|---|---|---|
| 샤딩 | 용량 · 쓰기 분산 | 샤드 | 범위 · 해시 · 가상 파티션 | 샤드 넘는 질의 · 재균형 | Pavlo · Aslett 2016 4.2절 |
| 동기 복제 | 유실 없는 사본 | 사본 | 주 사본 + 과반 확인 | 쓰기 지연 · 분할 때 멈춤 | 같은 논문 4.5절 |
| 비동기 복제 | 먼 지역 읽기 · 백업 | 사본 | 기록 전달 | 장애 조치 때 유실 | 같은 논문 4.5절 |
| 분산 거래 | 샤드를 넘는 원자성 | 거래 | 준비 → 커밋 | 왕복 · 잠금 대기 | 같은 논문 4.3절 |
| 지역 간 강한 일관 | 대륙 사이 같은 순서 | 커밋 시각 | 시각 오차 측정 · 커밋 대기 | 커밋마다 2ε 이상 | Corbett 외 2012 4.2.1절 |
| HTAP | 거래 데이터 즉시 분석 | 행 + 열 저장 | 열 저장 사본 · 단일 DBMS | 저장 두 벌 | Pavlo · Aslett 2016 5절 |
11참고 문헌
- 먼저 볼 문헌
- ★ What's Really New with NewSQL? (SIGMOD Record 45(2)) — 샤딩 미들웨어에서 NewSQL 까지의 흐름과 분할 · 동시성 제어 · 복제 · HTAP 세 방식을 볼 때
- ★ Spanner: Google's Globally-Distributed Database (OSDI 2012) — 지역을 넘는 강한 일관 복제에서 시각 오차와 커밋 대기가 어떻게 지연이 되는지 볼 때
- ★ The Dangers of Replication and a Solution (SIGMOD 1996) — 어디서나 갱신하는 복제가 규모에 따라 불안정해지는 이유와 주 사본 방식을 볼 때
- 본문 근거