IT › 소프트웨어 › 테스트 › 테스트 자동화 전략

차세대 시스템 전환 테스트Next-Generation System Migration Testing

운영 중인 옛 시스템을 새로 지은 시스템으로 바꾸기 전에, 새 기능 · 옮긴 데이터 · 운영 규모 성능 · 전환 절차와 되돌림 절차를 실제 전환 조건으로 시험해 개통 여부(Go/No-Go)를 판정하는 시험 활동 전체다. 유지보수 테스트 가운데 운영 환경을 옮기는 경우에 해당한다.

1요약

  1. 차세대 시스템 전환 테스트는 테스트 자동화 전략 가운데 개통 하루를 미리 증명하는 시험으로, 유지보수 테스트의 «운영 환경 이전» 계기(ISTQB CTFL v4.0.1 2.3절) 위에서 기능 · 이관 데이터 · 비기능 · 리허설 · 되돌림 다섯 결과가 Go/No-Go 판정으로 모인다.
  2. 시험 구성이 운영 구성과 다르면 통과는 증거가 아니다 — 2018년 4월 영국의 한 은행은 두 센터 동시 가동 구성 대신 한 센터에서만 성능 시험을 돌렸고, 개통 뒤 세션 구성 오류로 온라인 뱅킹이 끊겨 4일 만에 민원 10,315건(예상 1,146건)이 들어왔다(FCA 2022 4.25 · 4.192).
  3. 「개통해도 되나」는 결함 · 시간 · 되돌림 세 기준으로 가른다 — 판정 기준을 넘는 결함이 남았으면 기능 쪽, 리허설 이관 시간이 한도를 넘었으면 절차 쪽, 되돌림을 실측하지 않아 결정 시한을 모르면 그 자체로 No-Go 다.

2등장 배경

옛 시스템을 새 시스템으로 바꾸는 날에는 개발 중 테스트가 다루지 않은 일이 한꺼번에 일어난다. 옛 데이터 전체를 정해진 시간 안에 옮겨야 하고, 옮긴 데이터로 새 기능이 돌아야 하며, 문제가 생기면 업무 재개 시각 전에 옛 시스템으로 돌아가야 한다. 국내에서는 은행 · 보험 · 공공의 기간 시스템을 통째로 다시 짓는 사업을 «차세대»라 부르고, 이 하루를 위한 시험을 따로 계획한다.

ISTQB 는 이 경우를 유지보수 테스트의 계기로 정리해, 플랫폼을 옮길 때는 새 환경 시험과 함께 다른 응용에서 들어오는 데이터 변환 시험이 필요하다고 적는다(ISTQB CTFL v4.0.1 2.3절 · 분류는 ISO/IEC 14764). 2018년 4월 20 ~ 22일 영국의 한 은행이 고객 시스템 전체를 새 플랫폼으로 한 번에 옮긴 사건(FCA 2022 2.5)은 이 시험이 왜 운영과 같은 조건이어야 하는지를 보여 준 대표 사례가 되었다 — 그 전환은 되돌릴 수 없는 계획이었다(4.55).

3쉽게 이해하기 — 병원 이사 날의 개원 회의

종합병원이 옛 병동에서 새 병동으로 옮긴다. 이사 전에 직원들은 모의 환자로 동선을 연습하고, 옛 병동의 실제 진료 차트를 새 접수 화면에 넣어 보고, 정전 · 만실 상황을 점검한 뒤, 실제 이사 시간에 맞춰 이송을 처음부터 끝까지 해 본다. 이사 날 아침 원장은 개원 회의를 열어 «새 병동을 열지, 옛 병동으로 돌아갈지»를 정하는데, 옛 병동 전기를 다시 켜는 데 4시간이 걸리므로 그 회의는 마감 4시간 전에 끝나야 한다.

옛 병동 옛 시스템 지금 진료 중 새 병동 새 시스템 개원하면 진료 1 모의 환자 연습 기능 · 인수 테스트 2 실제 차트로 연습 이관 데이터 시험 3 정전 · 만실 점검 비기능 테스트 4 실제 시간 이송 전환 리허설 5 개원 회의 Go/No-Go 판정 네 결과 대조 Go 6 No-Go · 시한 안이면 되돌림(Rollback)

그림 1 · 이사 전 네 가지 연습(기능 · 이관 데이터 · 비기능 · 리허설)의 결과가 개원 회의에서 Go/No-Go 로 모이고, 회의가 No-Go 면 정해진 시한 안에 옛 병동으로 돌아간다.

모의 환자새 동선이 맞는가
실제 차트옛 차트도 접수되는가
정전 · 만실붐비는 날도 버티는가
시간 맞춰 이송마감 안에 끝나는가
개원 회의열지 돌아갈지
되돌아가기전기 다시 켜는 4시간 전까지
비유 — 접수 창구 실제 — 같은 시나리오 두 번 모의 환자 차트 모든 칸이 새 양식대로 통과 옛 병동 실제 차트 옛 양식 기호 · 빈 칸 같은 환자 차트 두 장 접수 오류 합성 데이터 · 인수 테스트 코드 값이 새 체계 그대로 통과 이관 데이터 · MDT 옛 코드 값 · NULL 중복 고객 레코드 화면 오류 같은 시나리오라도 데이터가 바뀌면 결과가 바뀐다 — 실제 차트로 한 번 더 돌린다

그림 2 · 모의 환자 차트로는 통과해도 옛 병동의 실제 차트는 접수에서 막힐 수 있다 — 합성 데이터로 통과한 인수 테스트를 이관 데이터로 한 번 더 돌리는 이유다.

비유 속 역할실제 이름실제로 하는 일
모의 환자 연습통합 · 인수 테스트(UAT)합성 데이터로 새 기능이 업무 요구대로 도는지 본다
실제 차트로 연습이관 데이터 시험(MDT)옮긴 실제 데이터로 같은 시나리오를 다시 돌린다
정전 · 만실 점검비기능 테스트 · 운영 인수(OAT)운영 규모 · 운영 구성으로 성능 · 재해 복구를 본다
시간 맞춘 이송전환 리허설실제 시간대에 전환 전 과정을 돌려 단계별 소요를 잰다
전기 다시 켜는 4시간되돌림 소요 시간옛 시스템으로 복귀하는 데 걸리는 시간을 실측한다
개원 회의Go/No-Go 판정다섯 결과를 판정 기준과 대조해 개통 여부를 정한다
개원 첫 주 순회개통 뒤 집중 감시개통 직후 오류 · 문의 추이를 보고 바로 고친다

⚠ 비유가 맞지 않는 곳: 병원 이사는 환자를 하나씩 옮기지만, 시스템 전환은 옛 데이터를 한 번에 옮기고 그동안 두 시스템 모두 업무를 받지 않는 시간대가 생긴다. 또 이관 데이터의 건수 · 합계 대사는 데이터 관리가 다루고, 이 시험은 그 결과를 판정 입력으로 받는다.

4구조 — 다섯 시험 영역과 판정

전환 테스트는 개발 중 테스트 단계와 따로 서는 시험이 아니라, 그 결과를 «전환 당일 조건»으로 다시 증명하는 시험이다. 왼쪽에서 오른쪽으로 갈수록 시험 조건이 실제 전환에 가까워진다(FCA 2022 4.93 · 4.97).

판정 기준 — 결함 등급별 허용 수 · 대사 차이 0 · p95 응답 · 이관 한도 기능 · 인수 새 기능이 업무대로 통합 · 인수 테스트 합성 데이터 이관 데이터 시험 옮긴 데이터로 같은 시나리오 재실행 건수 · 합계 대사 비기능 운영 규모 · 구성 성능 · 재해 복구 운영 인수(OAT) 전환 리허설 실제 시간대로 전환 전 과정 단계별 소요 기록 되돌림 옛 시스템 복귀 복귀 소요 실측 결정 시한 산출 합격선 Go/No-Go 판정 — 다섯 결과 중 하나라도 합격선 밖이면 개통 연기 또는 되돌림 개발 중 시험 조건 전환 당일 조건

그림 3 · 판정 기준이 다섯 시험 영역의 합격선을 정하고, 다섯 결과가 모두 합격선 안일 때만 Go 가 된다 — 오른쪽으로 갈수록 시험 조건이 전환 당일에 가깝다.

영역증명하는 것데이터 · 환경사례 합격선 · 근거
기능 · 인수새 기능이 업무 요구대로 동작합성 데이터 · 시험 환경결함 1등급 0건 · 2등급 3건 이하(FCA 2022 4.93 a)
이관 데이터 시험옮긴 데이터로도 같은 결과이관본 · 시험 환경같은 시나리오 재실행 통과(4.93 b)
비기능운영 규모 · 운영 구성에서 버팀운영과 같은 구성피크 1.5배에서 p95 1초 이하(4.95)
전환 리허설전환 절차가 시간 안에 끝남운영 규모 이관본 · 실제 시간대이관 11시간 30분 이하(4.97 b)
되돌림시한 안에 옛 시스템 복귀옛 시스템 백업 · 복귀 절차복귀 소요 실측 · 결정 시한 산출
Go/No-Go 판정다섯 결과를 기준과 대조판정 회의 · 서명하나라도 밖이면 No-Go

🔑 전환 테스트의 통과는 «시험 조건 = 운영 조건»일 때만 증거가 된다. 데이터가 합성이거나 구성이 운영과 다르면, 통과는 그 조건에서의 통과일 뿐이다.

5동작 — 계정계 전환 리허설에서 Go/No-Go 까지

사례는 고객 120만 명 계정계 시스템을 토요일 20:00 ~ 일요일 14:00(18시간) 전환 시간대에 한 번에 바꾸는 설명용 가정 값이다.

  1. 판정 기준 확정 — 결함 1등급 0건 · 2등급 3건 이하, 이관 대사 차이 0, 피크 1,800 TPS 의 1.5배에서 p95 1초 이하, 이관은 판정 시각 08:00 에서 거꾸로 잡아 11시간 30분 이하로 정한다.
  2. 통합 · 인수 테스트 — 합성 데이터로 업무 시나리오 2,400건을 돌려 1등급 0건 · 2등급 2건으로 합격선 안에 든다.
  3. 이관 데이터 시험 — 1차 이관본으로 그중 800건을 다시 돌리자 옛 고객 구분 코드 'Z9' 의 매핑 누락으로 1등급 결함 1건이 나와, 매핑 정의서를 고치고 재실행한다.
  4. 비기능 — 두 센터 동시 가동 구성 그대로 2,700 TPS 를 걸어 p95 0.8초, 한 센터를 끊는 재해 복구 시험에서 세션 유지를 확인한다.
  5. 리허설 세 번 — 이관 소요가 14시간 50분 → 12시간 10분 → 10시간 40분으로 줄어 3차에서 한도 안에 50분 여유가 생긴다(인덱스를 적재 뒤로 옮김 · 병렬 처리 4 → 8).
  6. 되돌림 리허설 — 옛 시스템 복귀에 3시간 40분이 걸려, 되돌림 결정 시한 = 14:00 − 3:40 = 일요일 10:20 으로 정한다.
  7. 전환 당일 — 06:40 이관 끝 · 07:40 대사 차이 0 · 08:00 판정 회의 Go · 10:00 까지 스모크 테스트와 대외 기관 연계를 확인하고, 10:20 이 지난 뒤로는 되돌리지 않고 개통 뒤 집중 감시 2주로 넘어간다.
이관 한도 11시간 30분 1차 14시간 50분 인덱스를 적재 중에 생성 · 한도를 3시간 20분 넘김 2차 12시간 10분 인덱스를 적재 뒤로 · 병렬 처리 4 → 8 · 아직 40분 넘김 3차 10시간 40분 매핑 보정 뒤 재작업 없음 · 여유 50분 5 0 4시간 8시간 12시간 16시간 한도 초과 한도 안 이관 한도 = 판정 08:00 − 대사 1시간 − 여유 30분에서 거꾸로 잡음

그림 4 · 리허설 세 번의 이관 소요가 14시간 50분 → 12시간 10분 → 10시간 40분으로 줄어, 3차에서야 한도 11시간 30분 안에 50분 여유가 생긴다 ⑤.

전환 작업 이관 10시간 40분 대사 확인 판정 08:00 7 되돌림 3시간 40분 6 결정 시한 10:20 끝 14:00 토 20:00 00:00 04:00 08:00 결정 시한 = 끝 14:00 − 되돌림 3:40 = 10:20 · 판정 08:00 은 시한보다 2시간 20분 앞

그림 5 · 되돌림 결정 시한은 «전환 시간대 끝 − 되돌림 소요»로 정해진다 — 사례에서 14:00 − 3:40 = 10:20 이고, 판정 08:00 · 확인 10:00 이 모두 그 앞에 있어야 No-Go 가 실행 가능한 선택지로 남는다 ⑥ ⑦.

🔑 되돌림 소요를 실측하지 않은 전환에는 결정 시한이 없고, 결정 시한이 없으면 Go/No-Go 회의는 Go 하나만 고르는 회의가 된다.

6비교 — 전환 방식별 시험의 초점

방식바꾸는 단위시험이 증명할 것되돌림약점(근거)
일시 전환(빅뱅)전체를 한 시간대에전 범위 리허설 · 이관 한도 · 결정 시한시한 안 전체 복귀만시험 조건 차이가 한꺼번에 드러남(FCA 2022 4.194)
단계 전환업무 · 지역 · 고객군 묶음씩단계마다 이관 · 연계 · 두 시스템 사이 데이터 동기화그 단계만 복귀공존 기간의 연계 시험이 늘어남
병행 운영두 시스템에 같은 거래를 함께같은 입력의 결과 대조(잔액 · 수수료 합계)옛 시스템이 그대로 운영입력을 두 번 해 운영 부담이 큼
점진 대체(Strangler Fig)기능 하나씩 옛 시스템 둘레에경로를 옮길 때마다 회귀 · 계약 시험경로 되돌리기전환 기간이 길고 옛 시스템이 오래 남음(Fowler Strangler Fig)

분석업무 데이터가 한 원장에 묶여 나누기 어려우면 일시 전환에 리허설 · 되돌림 시험을 몰아주고, 업무를 나눌 수 있으면 단계 전환이나 점진 대체로 한 번에 드러나는 위험을 줄인다. 일시 전환은 시험 조건이 운영과 한 가지만 달라도 개통 당일 전체가 영향을 받기 때문이다(FCA 2022 4.192 · 4.194 · Fowler Strangler Fig).

7실무 진단 — 리허설 · 개통 뒤 증상의 원인 구분

분석이관 데이터 → 시험 구성 → 리허설 시간 → 되돌림 순으로 본다. 앞의 둘은 «통과했는데 운영에서 깨짐»을 만드는 시험 조건 결함이라, 이것을 먼저 지워야 리허설 시간 · 결정 시한 숫자를 믿을 수 있다(FCA 2022 4.93 · 4.194).

#증상의심 원인구분확인 자료판정 기준(근거)
1합성 데이터 인수 테스트는 통과했는데 이관본에서 화면 오류옛 코드 값 · NULL 매핑 누락이관 데이터 시험오류 건의 원천 값 분포 · 매핑 정의서같은 시나리오를 이관본으로 재실행해 통과(FCA 2022 4.93 b)
2개통 직후 로그인 뒤 «세션 만료»가 잦음시험 구성 ≠ 운영 구성(한 센터만 시험)비기능시험 구성표 ↔ 운영 구성표 대조운영과 같은 동시 가동 구성으로 성능 시험(4.184 · 4.194)
3리허설마다 이관 시간이 들쭉날쭉단계별 소요 미기록 · 이관본 규모가 운영과 다름전환 리허설단계별 시작 · 끝 시각 기록 · 이관본 건수운영 규모로 실제 시간대에 돌린 값만 씀(4.97 b)
4판정 회의에서 No-Go 를 말하지 못함되돌림 소요 미측정되돌림되돌림 리허설 기록결정 시한이 계산돼 판정 시각보다 뒤(사례 6단계)
5개통 뒤 문의 · 민원이 예상의 몇 배운영 인수 범위에 대응 용량이 빠짐비기능 · OAT예상 문의량 ↔ 처리 인력 · 회선4일 만에 예상 1,146건 대비 10,315건(FCA 2022 4.25)

8시험 대비

시험에서는 차세대 시스템 개통 전 전환 테스트 전략을 세우는 구현 · 설계형, 또는 리허설에서 Go/No-Go 까지의 절차를 묻는 동작 · 절차 설명형이 나올 수 있다. 설계형이면 그림 3 의 다섯 영역과 판정 기준을 먼저 세우고, 절차형이면 사례 7단계를 시각과 숫자로 쓰고 그림 5 로 결정 시한을 보인다.

답안 목차
  1. 개요 — 유지보수 테스트 중 운영 환경 이전 · 개통 하루를 미리 증명하는 시험 활동(CTFL 2.3절)
  2. 시험 영역 — 기능 · 인수 · 이관 데이터 · 비기능 · 리허설 · 되돌림 구조 그림(그림 3)과 영역별 합격선 표
  3. 수행 절차 — 판정 기준 → 인수 → MDT → 비기능 → 리허설 세 번 → 되돌림 → Go/No-Go 막대 그림(그림 4)
  4. 결정 시한 — 전환 시간대 끝 − 되돌림 소요 시간축 그림(그림 5) · 14:00 − 3:40 = 10:20
  5. 전환 방식 — 일시 · 단계 · 병행 · 점진 대체 비교 표와 방식별 시험 초점
  6. 결론 — 시험 조건 = 운영 조건 · 개통 뒤 집중 감시까지 계획에 넣음

꼭 쓸 키워드
데이터 이관MDT전환 리허설되돌림(Rollback)Go/No-Go결정 시한운영 인수 테스트(OAT)빅뱅 전환병행 운영집중 감시

다른 답안과 차이를 내는 한 가지는 Go/No-Go 를 회의 이름으로만 쓰지 않고, 그림 5 의 식(14:00 − 3:40 = 10:20)으로 «No-Go 를 고를 수 있는 마지막 시각»을 숫자로 보이는 것이다.

9오해와 사실

  • 오해데이터가 빠짐없이 옮겨졌으면 전환 테스트는 통과다.
    사실대사가 맞아도 새 기능이 옮긴 데이터로 도는지는 따로 증명해야 해서, 합성 데이터 인수 테스트와 별도로 이관 데이터로 같은 시나리오를 돌린다(FCA 2022 4.93).
  • 오해성능 시험은 용량의 절반에서 통과하면 전체 구성에서는 더 여유가 있다.
    사실한 센터에서 통과한 시험은 두 센터 사이 부하 분산 · 세션 구성을 시험하지 않으며, 바로 그 구성 오류로 개통 뒤 온라인 서비스가 끊긴 사례가 있다(FCA 2022 4.184 · 4.194).
  • 오해리허설은 한 번 성공하면 충분하다.
    사실리허설은 실제 시간대 · 운영 규모로 돌린 이관 시험이며(4.97 b), 고친 뒤 한도 안 여유가 확인될 때까지 되풀이한다 — 사례도 세 번째에서야 50분 여유가 생겼다.

10핵심 정리

구분맡는 일데이터 · 조건사례 값흔한 실수
기능 · 인수새 기능의 업무 적합합성 데이터2,400건 · 1등급 0합성 데이터 통과로 끝냄
이관 데이터 시험옮긴 데이터로 같은 결과이관본800건 재실행 · 'Z9' 누락대사만 보고 시나리오 생략
비기능운영 규모 · 구성에서 버팀운영과 같은 구성2,700 TPS · p95 0.8초한 센터만으로 시험
전환 리허설절차가 시간 안에 끝남운영 규모 · 실제 시간대14:50 → 12:10 → 10:40한 번 성공으로 끝냄
되돌림시한 안 옛 시스템 복귀백업 · 복귀 절차3:40 · 시한 10:20소요 미측정
Go/No-Go다섯 결과의 판정판정 기준 · 회의08:00 Go시한 뒤에 회의

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Final Notice: TSB Bank plc — 전환 전 시험 단계(UAT · MDT · 비기능 · 리허설)의 구분과, 시험 구성이 운영 구성과 달라 놓친 결함의 경과를 볼 때
    Financial Conduct Authority · 2022-12 · www.fca.org.uk/publication/final-notices/tsb-bank-plc-2022.pdf · 확인 2026-11-14
  3. ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 유지보수 테스트의 계기(변경 · 운영 환경 이전 · 폐기)와 데이터 변환 시험이 들어가는 위치(2.3절)를 볼 때
    ISTQB · 2024-09 · www.istqb.org/certifications/certified-tester-foundation-level-ctfl-v4-0/ · 확인 2026-11-14
  4. ★ Strangler Fig Application (Martin Fowler) — 한 번에 바꾸는 대신 옛 시스템 둘레에 새 기능을 하나씩 붙여 옮기는 전환 방식을 볼 때
    martinfowler.com · 2024-08 · martinfowler.com/bliki/StranglerFigApplication.html · 확인 2026-11-14
  5. 본문 근거