테스트 자동화 전략Test Automation Strategy
어떤 테스트를 자동으로 돌릴지 고르고, 그 테스트를 단위 · 서비스 · UI 레벨에 어떻게 나누어 개발 흐름의 어느 시점에 실행할지 정하는 계획이다. 자동화 기반 위에 E2E 테스트 · 시프트 레프트와 지속적 테스트 · 차세대 시스템 전환 테스트가 이 계획을 이룬다.
1요약
- 테스트 자동화 전략은 테스트 가운데 «무엇을 · 어느 레벨에서 · 언제 자동으로 돌리나»를 정하는 계획으로, 자동화 기반(테스트 자동화) 위에 분포의 꼭대기 = E2E 테스트, 실행 시점 = 시프트 레프트 · 지속적 테스트, 시스템 교체 때의 대규모 비교 = 차세대 시스템 전환 테스트가 선다.
- 자동화는 공짜가 아니다 — ISTQB 는 ROI 를 절감 ÷ 투자로 계산하고, 사업 기간이 회수 지점보다 짧으면 수동 실행이 시간과 노력을 아낀다고 적는다(CT-TAS v1.0 5.1.1절).
- 「자동화했는데 느리고 믿을 수 없다」는 테스트 분포부터 가른다 — UI 테스트가 대부분이면 분포 문제, 분포는 맞는데 같은 테스트가 통과 · 실패를 오가면 불안정 테스트 문제, 둘 다 아니면 파이프라인의 실행 시점 문제다.
2등장 배경
2001년 Larry Smith 는 QA 를 빌드 마감 뒤 회귀 시험에 두지 않고 개발 과제에 붙여, 빌드를 올리기 전에 패치마다 10 ~ 20번 테스트를 돌리는 방식을 「Shift-Left Testing」이라 불렀다(Smith 2001). 이어 Mike Cohn 이 2003 ~ 2004년 Lisa Crispin 과의 대화에서 단위 · 서비스 · UI 세 단계의 «테스트 자동화 피라미드»를 그렸고, 2009년 책에 실었다(Fowler 2012).
2012년 Fowler 는 UI 로 돌리는 E2E 테스트가 깨지기 쉽고 작성 비용이 크며 느리다고 정리하고, UI 테스트에 기댄 반대 모양을 «ice-cream cone»이라 불렀다(Fowler 2012). DORA 는 개발자가 10분 안에 자동 테스트 결과를 받는 것을 기준으로 둔다(DORA 테스트 자동화).
2024년 5월 ISTQB 는 도구 구현이 아니라 대상 선정 · 분포 · 투자 회수 · 조직 도입을 다루는 CT-TAS v1.0 실라버스를 냈다(CT-TAS v1.0). 자동화 «도구»의 문제가 «무엇을 얼마나 언제»라는 계획 문제로 옮겨 왔고, 테스트 자동화 전략의 다섯 토픽이 그 질문을 나눠 맡는다.
3쉽게 이해하기 — 제과 공장의 검사 계획
어느 제과 공장은 출하 직전 검사원 열 명이 포장 상자를 하나씩 열어 시식했는데, 반죽이 잘못돼도 다음 날에야 알았다. 공장장은 반죽 기계마다 저울을 달아 반죽이 나올 때마다 자동으로 재게 하고, 오븐 출구에서는 기계가 굽기 색을 보게 했으며, 시식은 하루 몇 상자로 줄였다. 공장을 새 건물로 옮길 때는 옛 라인과 새 라인에 같은 반죽을 넣어 구운 빵을 나란히 비교했다.
그림 1 · 검사를 반죽 · 오븐 · 상자 세 곳에 나누고 앞쪽에 많이 두며, 공장을 옮길 때는 두 라인을 비교하는 것이 테스트 자동화 전략의 뼈대다.
그림 2 · 같은 검사원 열 명이라도 시식에만 두면 문제를 다음 날 알고, 반죽 쪽에 저울을 많이 두면 몇 분 안에 안다 — 검사를 어느 단계에 몇 개 두느냐가 E2E 테스트와 시프트 레프트의 경계다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 검사 계획을 세우는 공장장 | 테스트 자동화 전략 | 대상 · 분포 · 실행 시점 · 투자 회수를 정한다 |
| 반죽 저울 | 단위 테스트 자동화 | 코드 변경마다 몇 초 안에 결과를 낸다 |
| 오븐 출구 검사 | 서비스 · 계약 테스트 | 서비스 사이 약속(API 계약)을 실제 화면 없이 확인한다 |
| 몇 상자 시식 | E2E 테스트 | 사용자 흐름을 화면 그대로 끝까지 따라간다 |
| 반죽 쪽으로 당긴 검사 | 시프트 레프트 · 지속적 테스트 | 변경 직후 파이프라인 단계마다 테스트 스위트를 돌린다 |
| 출하 판정 | 품질 게이트 | 테스트 결과로 배포 · 되돌리기를 정한다 |
| 남겨 둔 시식원 | 수동 · 탐색적 테스트 | 화면 느낌처럼 자동화가 어려운 조건을 사람이 본다 |
| 두 라인 비교 | 차세대 시스템 전환 테스트 | 옛 시스템 결과를 기대값으로 새 시스템을 비교한다 |
⚠ 비유가 맞지 않는 곳: 저울은 한 번 달면 끝이지만 테스트 스크립트는 제품이 바뀔 때마다 고쳐야 한다. 그래서 자동화는 설치비만이 아니라 회차마다 드는 유지비까지 따져야 하고, 실행 횟수가 적으면 손으로 하는 편이 싸다.
4구조 — 실행 시점 · 테스트 레벨 위의 다섯 토픽
테스트 자동화 전략의 토픽은 테스트 레벨(세로)과 실행 시점(가로) 두 축 위에서 일을 나눈다. 테스트 자동화가 모든 시점이 쓰는 기반을 맡고, 나머지 넷이 각자 다른 시점 · 레벨을 맡는다.
그림 3 · 테스트 자동화가 모든 시점의 기반이 되고, 시프트 레프트 · 지속적 테스트는 앞쪽 시점의 아래 레벨을, E2E 는 배포 전후의 꼭대기 레벨을, 카오스 엔지니어링은 운영 중 장애 견딤을, 전환 테스트는 시스템 교체 시점 전체를 맡는다.
| 토픽 | 답하는 질문 | 자동화 대상 | 실행 시점 | 판정 근거 | 근거 |
|---|---|---|---|---|---|
| 테스트 자동화 | 무엇을 · 무엇으로 자동화하나 | 반복 · 자주 · 오래 걸리는 케이스 | 모든 시점 | 선정 기준 · ROI | CT-TAS v1.0 3.3.1 · 5.1.1절 |
| E2E 테스트(웹 · 모바일) | 사용자 흐름이 끝까지 되나 | 핵심 업무 흐름 몇 개 | 배포 전후 | 화면 결과 | Fowler 2012 |
| 시프트 레프트 · 지속적 테스트 | 언제 · 얼마나 자주 돌리나 | 단위 · 서비스 · 계약 테스트 스위트 | 커밋 · PR · 병합 | 단계별 통과 | CT-TAS v1.0 3.1.3 · 6.1.2절 |
| 카오스 엔지니어링 | 운영 중 장애를 견디나 | 장애 주입 실험 | 운영 | 정상 상태 지표 유지 | 카오스 엔지니어링에서 다룸 |
| 차세대 시스템 전환 테스트 | 새 시스템이 옛 결과와 같은가 | 업무 결과 · 데이터 이행분 | 시스템 교체 | 옛 시스템 결과 | CT-TAS v1.0 3.1.2절 |
🔑 테스트 자동화 전략의 토픽은 같은 일을 다른 도구로 하는 대안이 아니라 맡는 축이 다르다 — 테스트 자동화는 «무엇을», E2E 는 «꼭대기 레벨을», 시프트 레프트 · 지속적 테스트는 «언제», 카오스 엔지니어링은 «운영에서 견디나», 전환 테스트는 «교체 시점의 기준»을 맡는다.
5동작 — 수동 회귀 400건 팀의 자동화 전략 수립 사례
주문 서비스 한 팀이 회귀 테스트를 손으로 돌리다 자동화 전략을 세우는 사례다. 케이스 수 · 시간은 모두 설명용 가정 값이고, ROI 는 CT-TAS 5.1.1절 식(절감 ÷ 투자 · 시간 단위)을 그대로 쓴다.
- 현재 분포 그리기 — 단위 120 · 서비스 30 · UI 450(그중 수동 400)건이다. UI 에 몰린 아이스크림콘 분포다(CT-TAS v1.0 3.1.1절).
- 대상 선정 — 수동 400건을 반복 가능 · 자주 실행 · 유지 쉬움 기준으로 걸러 360건을 자동화하고, 화면 일관성 판단 · 2시간 세션 만료처럼 어려운 40건은 수동으로 남긴다(3.3.1 · 3.3.3절).
- 아래로 내리기 — 자동화할 360건과 기존 자동 UI 50건 가운데 업무 규칙 검증 320건은 API · 계약 테스트로, 계산 규칙 50건은 단위 테스트로 옮기고 E2E 는 사용자 흐름 40건만 둔다. 커버리지가 낮은 모듈에는 단위 테스트 530건을 더해 단위 700 · 서비스 350 · E2E 40 이 된다(3.1.3절).
- 파이프라인 배치 — PR 에 단위 700건(5분), 병합에 서비스 · 계약 350건(10분), 배포 뒤에 E2E 40건(20분)을 건다. 개발자가 받는 첫 결과는 10분 안이다(DORA 테스트 자동화).
- 투자 회수 계산 — 투자 = 구축 80시간 + 스크립트 360건 × 1.5시간 = 620시간, 회당 유지 4시간이다. 절감은 회당 수동 36시간(360건 × 6분) − 자동 실행 0.5시간 = 35.5시간이라, ROI 는 10회 0.54 · 20회 1.01 · 40회 1.82 다.
- 지표 감시 — 첫 달에 통과 · 실패 비율, 결함 하나당 실패 수, 실행 시간을 모으고(5.2.1절), 통과 · 실패를 오가는 테스트는 게이트에서 빼 따로 고친다(DORA 테스트 자동화).
그림 4 · UI 에 몰린 600건을 대상 선정 · 내리기 · 보강으로 단위 700 · 서비스 350 · E2E 40 으로 바꾸고, PR · 병합 · 배포 세 단계에 테스트 스위트를 나눠 건다.
그림 5 · 자동화는 처음 620시간을 먼저 쓰고 회당 4.5시간만 들어, 수동 36시간과의 누적 차이가 20회째에 뒤집힌다 — 그보다 적게 돌릴 사업이면 수동이 싸다.
🔑 자동화의 투자 회수는 케이스 수가 아니라 실행 횟수가 정한다 — 같은 360건도 2주 스프린트마다 한 번 돌리면 20회까지 40주, 매일 돌리면 영업일 20일이 걸린다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 질문 | 테스트 자동화 전략과의 경계 | 넘기는 곳 |
|---|---|---|---|
| 테스트 관리 체계 | 왜 · 무엇을 시험하나(원리 · 프로세스 · 결함 관리) | 케이스와 기대값은 그쪽, 자동으로 돌리는 계획만 여기 | 테스트케이스 · 테스트오라클 |
| 테스트 기법 | 케이스를 어떻게 고르나 · 충분한가 | 설계 · 커버리지는 그쪽, 고른 케이스를 어느 레벨 · 시점에 돌리나는 여기 | 블랙박스 · 화이트박스 · 회귀 테스트 |
| 테스트 레벨 · 유형 | 레벨마다 목적 · 범위 | 레벨의 목적은 그쪽, 레벨 사이 개수 분포는 여기 | 단위 테스트 · 통합 테스트 |
| DevOps · CI/CD | 빌드 · 배포를 어떻게 잇나 | 파이프라인 자체는 그쪽, 거기 얹을 테스트 스위트 · 품질 게이트는 여기 | 지속적 통합(CI) · 지속적 배포(CD) |
분석질문이 «이 케이스가 맞나»면 테스트 기법, «이 레벨이 무엇을 보나»면 테스트 레벨 · 유형, «몇 개를 어디서 언제 얼마에 돌리나»면 테스트 자동화 전략이다. 이 전략만 투자 회수(ROI)와 분포를 판정 기준으로 쓰기 때문이다(CT-TAS v1.0 3.1.1 · 5.1.1절).
7실무 진단 — 자동화 이득이 사라지는 원인 가려내기
분석분포 → 실행 시점 → 신뢰도 → 투자 회수 순으로 본다. 분포가 아이스크림콘이면 시점을 앞당겨도 UI 테스트 실행 시간이 그대로 남아 뒤 단계 조치가 효과를 내지 못한다(CT-TAS v1.0 3.1.1 · 3.1.3절).
| # | 증상 | 의심 원인 | 토픽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | PR 결과가 30분 넘게 걸림 | UI 테스트에 몰린 분포 | E2E 테스트 | 레벨별 케이스 수 · 실행 시간 | 개발자 피드백 10분 안(DORA 테스트 자동화) |
| 2 | 결함 하나에 실패가 수십 건 | 같은 단계(로그인 등)를 케이스마다 복제 | 테스트 자동화 | 결함당 실패 수 | 공통 단계를 재사용 부품으로 묶었나(CT-TAS v1.0 5.2.1 · 6.1.1절) |
| 3 | 재실행하면 통과하는 실패 | 불안정 테스트 · 공유 데이터 | 시프트 레프트 · 지속적 테스트 | 같은 커밋 반복 실행 결과 | 불안정 테스트는 고치거나 빼낸다(DORA 테스트 자동화) |
| 4 | 자동화한 회귀가 처음부터 실패 | 고장 난 수동 케이스를 그대로 옮김 | 테스트 자동화 | 수동 실행 기록 · 실패 원인 | 옮기기 전 수동 케이스가 바르게 도는가(CT-TAS v1.0 6.1.1절) |
| 5 | 사업이 끝나도 회수 못함 | 실행 횟수가 회수 지점보다 적음 | 테스트 자동화 | 구축 · 유지 시간 · 실행 횟수 | 사업 기간 < 회수 지점이면 수동(CT-TAS v1.0 5.1.1절) |
8시험 대비
시험에서는 «조직의 테스트 자동화 전략 수립 방안»을 묻는 구현 · 설계형, 테스트 피라미드와 아이스크림콘 · 시프트 레프트와 시프트 라이트를 견주는 비교형이 나올 수 있다. 설계형이면 그림 3 의 두 축으로 토픽을 나누고 그림 5 의 회수 지점으로 «자동화하지 않을 범위»까지 쓰며, 비교형이면 분포 모양별 결함 발견 시점과 실행 시간 차이를 그림 4 로 보인다.
- 개요 — 정의 · 목표(실행 시간 단축 · 빈도 · 커버리지) · 등장 배경(2001 · 2009 · 2012 · 2024)
- 하위 토픽 지도 — 그림 3 의 실행 시점 × 테스트 레벨 + 다섯 토픽 표
- 대상 선정 — 반복 · 빈도 · 유지 기준 + 자동화가 어려운 조건(화면 느낌 · 긴 시간 의존)
- 분포 설계 — 그림 4 의 현재 → 목표 분포 · 파이프라인 단계 배치(PR · 병합 · 배포)
- 투자 회수 — 그림 5 의 누적 시간 곡선 · ROI = 절감 ÷ 투자 · 회수 지점
- 운영 · 개선 — 통과 · 실패 비율 · 결함당 실패 수 · 실행 시간 · 불안정 테스트 격리
꼭 쓸 키워드
테스트 피라미드아이스크림콘테스트 자동화 아키텍처(TAA)테스트 자동화 프레임워크(TAF)계약 테스트시프트 레프트시프트 라이트지속적 테스트품질 게이트ROI 회수 지점
다른 답안과 차이를 내는 한 가지는 자동화의 효과를 「생산성 향상」으로 끝내지 않고, 그림 5 처럼 실행 횟수에 따라 ROI 가 0.54 에서 1.82 로 갈린다는 계산 하나로 자동화 범위의 경계를 보이는 것이다.
9오해와 사실
- 오해수동 케이스를 전부 자동화하면 커버리지도 100% 가 된다.사실수동 케이스의 100% 자동화는 자동화할 수 있는 모든 케이스의 100% 가 아니며, 아낀 실행 시간으로 새 케이스를 찾아야 커버리지가 는다(CT-TAS v1.0 6.1.1절).
- 오해자동화를 시작하면 바로 비용이 준다.사실옮기는 동안은 수동 · 자동을 함께 돌려 비용이 오히려 늘고, 자동 테스트가 수동을 대신할 만해진 뒤에야 줄어든다(CT-TAS v1.0 6.1.1절).
- 오해피라미드는 어느 시스템에나 바로 맞출 목표다.사실메인프레임처럼 아래 레벨 자동화가 어려운 시스템은 우산형에서 모래시계형처럼 현실적인 중간 목표를 먼저 둔다(CT-TAS v1.0 3.1.2절).
10핵심 정리
| 구분 | 맡는 결정 | 주로 쓰는 레벨 | 실행 시점 | 실패 신호 | 근거 |
|---|---|---|---|---|---|
| 테스트 자동화 | 무엇을 · 무엇으로 | 모든 레벨 | 모든 시점 | 회수 지점 전 사업 종료 | CT-TAS v1.0 3.3.1 · 5.1.1절 |
| E2E 테스트 | 사용자 흐름 확인 | UI | 배포 전후 | 느리고 깨지기 쉬움 | Fowler 2012 |
| 시프트 레프트 · 지속적 테스트 | 언제 · 얼마나 자주 | 단위 · 서비스 · 계약 | 커밋 · PR · 병합 | 피드백 10분 넘김 | DORA 테스트 자동화 |
| 차세대 시스템 전환 테스트 | 교체 뒤 결과가 같은가 | 업무 결과 · 데이터 | 시스템 교체 | 옛 결과와 차이 | CT-TAS v1.0 3.1.2절 |
| 피라미드 분포 | 목표 모양 | 아래 레벨이 가장 많음 | — | — | CT-TAS v1.0 3.1.1절 |
| 아이스크림콘 분포 | 고칠 모양 | UI 가 가장 많음 | — | 결함 발견이 늦음 | CT-TAS v1.0 3.1.1절 |
| ROI 회수 지점 | 자동화할지 말지 | — | — | 절감 ÷ 투자 < 1 | CT-TAS v1.0 5.1.1절 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISTQB Certified Tester Test Automation Strategy (CT-TAS) Syllabus Version 1.0 — 자동화 대상 선정 기준 · 테스트 분포 네 모양 · ROI 식 · 수동에서 지속적 테스트로 옮기는 계획을 볼 때
- ★ TestPyramid (Martin Fowler · bliki) — 테스트 피라미드의 유래(Cohn 2009)와 UI 테스트가 깨지기 쉽고 느린 까닭을 볼 때
- ★ DORA Capabilities: Test automation — 개발자 소유 · 10분 안 피드백 · 불안정 테스트 처리 같은 운영 기준을 볼 때
- 본문 근거
- Shift-Left Testing (Larry Smith) · Dr. Dobb's Journal 26(9) · 보관 사본 — Dr. Dobb's Journal (원 도메인 폐쇄 · 개인 보관 사본) · 2001-09 ·
jacobfilipp.com/DrDobbs/articles/DDJ/2001/0109/0109e/0109e.htm· 확인 2026-11-14