차세대 시스템 전환 테스트Next-Generation System Migration Testing
운영 중인 옛 시스템을 새로 지은 시스템으로 바꾸기 전에, 새 기능 · 옮긴 데이터 · 운영 규모 성능 · 전환 절차와 되돌림 절차를 실제 전환 조건으로 시험해 개통 여부(Go/No-Go)를 판정하는 시험 활동 전체다. 유지보수 테스트 가운데 운영 환경을 옮기는 경우에 해당한다.
1요약
- 차세대 시스템 전환 테스트는 테스트 자동화 전략 가운데 개통 하루를 미리 증명하는 시험으로, 유지보수 테스트의 «운영 환경 이전» 계기(ISTQB CTFL v4.0.1 2.3절) 위에서 기능 · 이관 데이터 · 비기능 · 리허설 · 되돌림 다섯 결과가 Go/No-Go 판정으로 모인다.
- 시험 구성이 운영 구성과 다르면 통과는 증거가 아니다 — 2018년 4월 영국의 한 은행은 두 센터 동시 가동 구성 대신 한 센터에서만 성능 시험을 돌렸고, 개통 뒤 세션 구성 오류로 온라인 뱅킹이 끊겨 4일 만에 민원 10,315건(예상 1,146건)이 들어왔다(FCA 2022 4.25 · 4.192).
- 「개통해도 되나」는 결함 · 시간 · 되돌림 세 기준으로 가른다 — 판정 기준을 넘는 결함이 남았으면 기능 쪽, 리허설 이관 시간이 한도를 넘었으면 절차 쪽, 되돌림을 실측하지 않아 결정 시한을 모르면 그 자체로 No-Go 다.
2등장 배경
옛 시스템을 새 시스템으로 바꾸는 날에는 개발 중 테스트가 다루지 않은 일이 한꺼번에 일어난다. 옛 데이터 전체를 정해진 시간 안에 옮겨야 하고, 옮긴 데이터로 새 기능이 돌아야 하며, 문제가 생기면 업무 재개 시각 전에 옛 시스템으로 돌아가야 한다. 국내에서는 은행 · 보험 · 공공의 기간 시스템을 통째로 다시 짓는 사업을 «차세대»라 부르고, 이 하루를 위한 시험을 따로 계획한다.
ISTQB 는 이 경우를 유지보수 테스트의 계기로 정리해, 플랫폼을 옮길 때는 새 환경 시험과 함께 다른 응용에서 들어오는 데이터 변환 시험이 필요하다고 적는다(ISTQB CTFL v4.0.1 2.3절 · 분류는 ISO/IEC 14764). 2018년 4월 20 ~ 22일 영국의 한 은행이 고객 시스템 전체를 새 플랫폼으로 한 번에 옮긴 사건(FCA 2022 2.5)은 이 시험이 왜 운영과 같은 조건이어야 하는지를 보여 준 대표 사례가 되었다 — 그 전환은 되돌릴 수 없는 계획이었다(4.55).
3쉽게 이해하기 — 병원 이사 날의 개원 회의
종합병원이 옛 병동에서 새 병동으로 옮긴다. 이사 전에 직원들은 모의 환자로 동선을 연습하고, 옛 병동의 실제 진료 차트를 새 접수 화면에 넣어 보고, 정전 · 만실 상황을 점검한 뒤, 실제 이사 시간에 맞춰 이송을 처음부터 끝까지 해 본다. 이사 날 아침 원장은 개원 회의를 열어 «새 병동을 열지, 옛 병동으로 돌아갈지»를 정하는데, 옛 병동 전기를 다시 켜는 데 4시간이 걸리므로 그 회의는 마감 4시간 전에 끝나야 한다.
그림 1 · 이사 전 네 가지 연습(기능 · 이관 데이터 · 비기능 · 리허설)의 결과가 개원 회의에서 Go/No-Go 로 모이고, 회의가 No-Go 면 정해진 시한 안에 옛 병동으로 돌아간다.
그림 2 · 모의 환자 차트로는 통과해도 옛 병동의 실제 차트는 접수에서 막힐 수 있다 — 합성 데이터로 통과한 인수 테스트를 이관 데이터로 한 번 더 돌리는 이유다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 모의 환자 연습 | 통합 · 인수 테스트(UAT) | 합성 데이터로 새 기능이 업무 요구대로 도는지 본다 |
| 실제 차트로 연습 | 이관 데이터 시험(MDT) | 옮긴 실제 데이터로 같은 시나리오를 다시 돌린다 |
| 정전 · 만실 점검 | 비기능 테스트 · 운영 인수(OAT) | 운영 규모 · 운영 구성으로 성능 · 재해 복구를 본다 |
| 시간 맞춘 이송 | 전환 리허설 | 실제 시간대에 전환 전 과정을 돌려 단계별 소요를 잰다 |
| 전기 다시 켜는 4시간 | 되돌림 소요 시간 | 옛 시스템으로 복귀하는 데 걸리는 시간을 실측한다 |
| 개원 회의 | Go/No-Go 판정 | 다섯 결과를 판정 기준과 대조해 개통 여부를 정한다 |
| 개원 첫 주 순회 | 개통 뒤 집중 감시 | 개통 직후 오류 · 문의 추이를 보고 바로 고친다 |
⚠ 비유가 맞지 않는 곳: 병원 이사는 환자를 하나씩 옮기지만, 시스템 전환은 옛 데이터를 한 번에 옮기고 그동안 두 시스템 모두 업무를 받지 않는 시간대가 생긴다. 또 이관 데이터의 건수 · 합계 대사는 데이터 관리가 다루고, 이 시험은 그 결과를 판정 입력으로 받는다.
4구조 — 다섯 시험 영역과 판정
전환 테스트는 개발 중 테스트 단계와 따로 서는 시험이 아니라, 그 결과를 «전환 당일 조건»으로 다시 증명하는 시험이다. 왼쪽에서 오른쪽으로 갈수록 시험 조건이 실제 전환에 가까워진다(FCA 2022 4.93 · 4.97).
그림 3 · 판정 기준이 다섯 시험 영역의 합격선을 정하고, 다섯 결과가 모두 합격선 안일 때만 Go 가 된다 — 오른쪽으로 갈수록 시험 조건이 전환 당일에 가깝다.
| 영역 | 증명하는 것 | 데이터 · 환경 | 사례 합격선 · 근거 |
|---|---|---|---|
| 기능 · 인수 | 새 기능이 업무 요구대로 동작 | 합성 데이터 · 시험 환경 | 결함 1등급 0건 · 2등급 3건 이하(FCA 2022 4.93 a) |
| 이관 데이터 시험 | 옮긴 데이터로도 같은 결과 | 이관본 · 시험 환경 | 같은 시나리오 재실행 통과(4.93 b) |
| 비기능 | 운영 규모 · 운영 구성에서 버팀 | 운영과 같은 구성 | 피크 1.5배에서 p95 1초 이하(4.95) |
| 전환 리허설 | 전환 절차가 시간 안에 끝남 | 운영 규모 이관본 · 실제 시간대 | 이관 11시간 30분 이하(4.97 b) |
| 되돌림 | 시한 안에 옛 시스템 복귀 | 옛 시스템 백업 · 복귀 절차 | 복귀 소요 실측 · 결정 시한 산출 |
| Go/No-Go 판정 | 다섯 결과를 기준과 대조 | 판정 회의 · 서명 | 하나라도 밖이면 No-Go |
🔑 전환 테스트의 통과는 «시험 조건 = 운영 조건»일 때만 증거가 된다. 데이터가 합성이거나 구성이 운영과 다르면, 통과는 그 조건에서의 통과일 뿐이다.
5동작 — 계정계 전환 리허설에서 Go/No-Go 까지
사례는 고객 120만 명 계정계 시스템을 토요일 20:00 ~ 일요일 14:00(18시간) 전환 시간대에 한 번에 바꾸는 설명용 가정 값이다.
- 판정 기준 확정 — 결함 1등급 0건 · 2등급 3건 이하, 이관 대사 차이 0, 피크 1,800 TPS 의 1.5배에서 p95 1초 이하, 이관은 판정 시각 08:00 에서 거꾸로 잡아 11시간 30분 이하로 정한다.
- 통합 · 인수 테스트 — 합성 데이터로 업무 시나리오 2,400건을 돌려 1등급 0건 · 2등급 2건으로 합격선 안에 든다.
- 이관 데이터 시험 — 1차 이관본으로 그중 800건을 다시 돌리자 옛 고객 구분 코드 'Z9' 의 매핑 누락으로 1등급 결함 1건이 나와, 매핑 정의서를 고치고 재실행한다.
- 비기능 — 두 센터 동시 가동 구성 그대로 2,700 TPS 를 걸어 p95 0.8초, 한 센터를 끊는 재해 복구 시험에서 세션 유지를 확인한다.
- 리허설 세 번 — 이관 소요가 14시간 50분 → 12시간 10분 → 10시간 40분으로 줄어 3차에서 한도 안에 50분 여유가 생긴다(인덱스를 적재 뒤로 옮김 · 병렬 처리 4 → 8).
- 되돌림 리허설 — 옛 시스템 복귀에 3시간 40분이 걸려, 되돌림 결정 시한 = 14:00 − 3:40 = 일요일 10:20 으로 정한다.
- 전환 당일 — 06:40 이관 끝 · 07:40 대사 차이 0 · 08:00 판정 회의 Go · 10:00 까지 스모크 테스트와 대외 기관 연계를 확인하고, 10:20 이 지난 뒤로는 되돌리지 않고 개통 뒤 집중 감시 2주로 넘어간다.
그림 4 · 리허설 세 번의 이관 소요가 14시간 50분 → 12시간 10분 → 10시간 40분으로 줄어, 3차에서야 한도 11시간 30분 안에 50분 여유가 생긴다 ⑤.
그림 5 · 되돌림 결정 시한은 «전환 시간대 끝 − 되돌림 소요»로 정해진다 — 사례에서 14:00 − 3:40 = 10:20 이고, 판정 08:00 · 확인 10:00 이 모두 그 앞에 있어야 No-Go 가 실행 가능한 선택지로 남는다 ⑥ ⑦.
🔑 되돌림 소요를 실측하지 않은 전환에는 결정 시한이 없고, 결정 시한이 없으면 Go/No-Go 회의는 Go 하나만 고르는 회의가 된다.
6비교 — 전환 방식별 시험의 초점
| 방식 | 바꾸는 단위 | 시험이 증명할 것 | 되돌림 | 약점(근거) |
|---|---|---|---|---|
| 일시 전환(빅뱅) | 전체를 한 시간대에 | 전 범위 리허설 · 이관 한도 · 결정 시한 | 시한 안 전체 복귀만 | 시험 조건 차이가 한꺼번에 드러남(FCA 2022 4.194) |
| 단계 전환 | 업무 · 지역 · 고객군 묶음씩 | 단계마다 이관 · 연계 · 두 시스템 사이 데이터 동기화 | 그 단계만 복귀 | 공존 기간의 연계 시험이 늘어남 |
| 병행 운영 | 두 시스템에 같은 거래를 함께 | 같은 입력의 결과 대조(잔액 · 수수료 합계) | 옛 시스템이 그대로 운영 | 입력을 두 번 해 운영 부담이 큼 |
| 점진 대체(Strangler Fig) | 기능 하나씩 옛 시스템 둘레에 | 경로를 옮길 때마다 회귀 · 계약 시험 | 경로 되돌리기 | 전환 기간이 길고 옛 시스템이 오래 남음(Fowler Strangler Fig) |
분석업무 데이터가 한 원장에 묶여 나누기 어려우면 일시 전환에 리허설 · 되돌림 시험을 몰아주고, 업무를 나눌 수 있으면 단계 전환이나 점진 대체로 한 번에 드러나는 위험을 줄인다. 일시 전환은 시험 조건이 운영과 한 가지만 달라도 개통 당일 전체가 영향을 받기 때문이다(FCA 2022 4.192 · 4.194 · Fowler Strangler Fig).
7실무 진단 — 리허설 · 개통 뒤 증상의 원인 구분
분석이관 데이터 → 시험 구성 → 리허설 시간 → 되돌림 순으로 본다. 앞의 둘은 «통과했는데 운영에서 깨짐»을 만드는 시험 조건 결함이라, 이것을 먼저 지워야 리허설 시간 · 결정 시한 숫자를 믿을 수 있다(FCA 2022 4.93 · 4.194).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 합성 데이터 인수 테스트는 통과했는데 이관본에서 화면 오류 | 옛 코드 값 · NULL 매핑 누락 | 이관 데이터 시험 | 오류 건의 원천 값 분포 · 매핑 정의서 | 같은 시나리오를 이관본으로 재실행해 통과(FCA 2022 4.93 b) |
| 2 | 개통 직후 로그인 뒤 «세션 만료»가 잦음 | 시험 구성 ≠ 운영 구성(한 센터만 시험) | 비기능 | 시험 구성표 ↔ 운영 구성표 대조 | 운영과 같은 동시 가동 구성으로 성능 시험(4.184 · 4.194) |
| 3 | 리허설마다 이관 시간이 들쭉날쭉 | 단계별 소요 미기록 · 이관본 규모가 운영과 다름 | 전환 리허설 | 단계별 시작 · 끝 시각 기록 · 이관본 건수 | 운영 규모로 실제 시간대에 돌린 값만 씀(4.97 b) |
| 4 | 판정 회의에서 No-Go 를 말하지 못함 | 되돌림 소요 미측정 | 되돌림 | 되돌림 리허설 기록 | 결정 시한이 계산돼 판정 시각보다 뒤(사례 6단계) |
| 5 | 개통 뒤 문의 · 민원이 예상의 몇 배 | 운영 인수 범위에 대응 용량이 빠짐 | 비기능 · OAT | 예상 문의량 ↔ 처리 인력 · 회선 | 4일 만에 예상 1,146건 대비 10,315건(FCA 2022 4.25) |
8시험 대비
시험에서는 차세대 시스템 개통 전 전환 테스트 전략을 세우는 구현 · 설계형, 또는 리허설에서 Go/No-Go 까지의 절차를 묻는 동작 · 절차 설명형이 나올 수 있다. 설계형이면 그림 3 의 다섯 영역과 판정 기준을 먼저 세우고, 절차형이면 사례 7단계를 시각과 숫자로 쓰고 그림 5 로 결정 시한을 보인다.
- 개요 — 유지보수 테스트 중 운영 환경 이전 · 개통 하루를 미리 증명하는 시험 활동(CTFL 2.3절)
- 시험 영역 — 기능 · 인수 · 이관 데이터 · 비기능 · 리허설 · 되돌림 구조 그림(그림 3)과 영역별 합격선 표
- 수행 절차 — 판정 기준 → 인수 → MDT → 비기능 → 리허설 세 번 → 되돌림 → Go/No-Go 막대 그림(그림 4)
- 결정 시한 — 전환 시간대 끝 − 되돌림 소요 시간축 그림(그림 5) · 14:00 − 3:40 = 10:20
- 전환 방식 — 일시 · 단계 · 병행 · 점진 대체 비교 표와 방식별 시험 초점
- 결론 — 시험 조건 = 운영 조건 · 개통 뒤 집중 감시까지 계획에 넣음
꼭 쓸 키워드
데이터 이관MDT전환 리허설되돌림(Rollback)Go/No-Go결정 시한운영 인수 테스트(OAT)빅뱅 전환병행 운영집중 감시
다른 답안과 차이를 내는 한 가지는 Go/No-Go 를 회의 이름으로만 쓰지 않고, 그림 5 의 식(14:00 − 3:40 = 10:20)으로 «No-Go 를 고를 수 있는 마지막 시각»을 숫자로 보이는 것이다.
9오해와 사실
- 오해데이터가 빠짐없이 옮겨졌으면 전환 테스트는 통과다.사실대사가 맞아도 새 기능이 옮긴 데이터로 도는지는 따로 증명해야 해서, 합성 데이터 인수 테스트와 별도로 이관 데이터로 같은 시나리오를 돌린다(FCA 2022 4.93).
- 오해성능 시험은 용량의 절반에서 통과하면 전체 구성에서는 더 여유가 있다.사실한 센터에서 통과한 시험은 두 센터 사이 부하 분산 · 세션 구성을 시험하지 않으며, 바로 그 구성 오류로 개통 뒤 온라인 서비스가 끊긴 사례가 있다(FCA 2022 4.184 · 4.194).
- 오해리허설은 한 번 성공하면 충분하다.사실리허설은 실제 시간대 · 운영 규모로 돌린 이관 시험이며(4.97 b), 고친 뒤 한도 안 여유가 확인될 때까지 되풀이한다 — 사례도 세 번째에서야 50분 여유가 생겼다.
10핵심 정리
| 구분 | 맡는 일 | 데이터 · 조건 | 사례 값 | 흔한 실수 |
|---|---|---|---|---|
| 기능 · 인수 | 새 기능의 업무 적합 | 합성 데이터 | 2,400건 · 1등급 0 | 합성 데이터 통과로 끝냄 |
| 이관 데이터 시험 | 옮긴 데이터로 같은 결과 | 이관본 | 800건 재실행 · 'Z9' 누락 | 대사만 보고 시나리오 생략 |
| 비기능 | 운영 규모 · 구성에서 버팀 | 운영과 같은 구성 | 2,700 TPS · p95 0.8초 | 한 센터만으로 시험 |
| 전환 리허설 | 절차가 시간 안에 끝남 | 운영 규모 · 실제 시간대 | 14:50 → 12:10 → 10:40 | 한 번 성공으로 끝냄 |
| 되돌림 | 시한 안 옛 시스템 복귀 | 백업 · 복귀 절차 | 3:40 · 시한 10:20 | 소요 미측정 |
| Go/No-Go | 다섯 결과의 판정 | 판정 기준 · 회의 | 08:00 Go | 시한 뒤에 회의 |
11참고 문헌
- 먼저 볼 문헌
- ★ Final Notice: TSB Bank plc — 전환 전 시험 단계(UAT · MDT · 비기능 · 리허설)의 구분과, 시험 구성이 운영 구성과 달라 놓친 결함의 경과를 볼 때
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 유지보수 테스트의 계기(변경 · 운영 환경 이전 · 폐기)와 데이터 변환 시험이 들어가는 위치(2.3절)를 볼 때
- ★ Strangler Fig Application (Martin Fowler) — 한 번에 바꾸는 대신 옛 시스템 둘레에 새 기능을 하나씩 붙여 옮기는 전환 방식을 볼 때
- 본문 근거