IT › 소프트웨어 › 테스트

테스트 자동화 전략Test Automation Strategy

어떤 테스트를 자동으로 돌릴지 고르고, 그 테스트를 단위 · 서비스 · UI 레벨에 어떻게 나누어 개발 흐름의 어느 시점에 실행할지 정하는 계획이다. 자동화 기반 위에 E2E 테스트 · 시프트 레프트와 지속적 테스트 · 차세대 시스템 전환 테스트가 이 계획을 이룬다.

1요약

  1. 테스트 자동화 전략은 테스트 가운데 «무엇을 · 어느 레벨에서 · 언제 자동으로 돌리나»를 정하는 계획으로, 자동화 기반(테스트 자동화) 위에 분포의 꼭대기 = E2E 테스트, 실행 시점 = 시프트 레프트 · 지속적 테스트, 시스템 교체 때의 대규모 비교 = 차세대 시스템 전환 테스트가 선다.
  2. 자동화는 공짜가 아니다 — ISTQB 는 ROI 를 절감 ÷ 투자로 계산하고, 사업 기간이 회수 지점보다 짧으면 수동 실행이 시간과 노력을 아낀다고 적는다(CT-TAS v1.0 5.1.1절).
  3. 「자동화했는데 느리고 믿을 수 없다」는 테스트 분포부터 가른다 — UI 테스트가 대부분이면 분포 문제, 분포는 맞는데 같은 테스트가 통과 · 실패를 오가면 불안정 테스트 문제, 둘 다 아니면 파이프라인의 실행 시점 문제다.

2등장 배경

2001년 Larry Smith 는 QA 를 빌드 마감 뒤 회귀 시험에 두지 않고 개발 과제에 붙여, 빌드를 올리기 전에 패치마다 10 ~ 20번 테스트를 돌리는 방식을 「Shift-Left Testing」이라 불렀다(Smith 2001). 이어 Mike Cohn 이 2003 ~ 2004년 Lisa Crispin 과의 대화에서 단위 · 서비스 · UI 세 단계의 «테스트 자동화 피라미드»를 그렸고, 2009년 책에 실었다(Fowler 2012).

2012년 Fowler 는 UI 로 돌리는 E2E 테스트가 깨지기 쉽고 작성 비용이 크며 느리다고 정리하고, UI 테스트에 기댄 반대 모양을 «ice-cream cone»이라 불렀다(Fowler 2012). DORA 는 개발자가 10분 안에 자동 테스트 결과를 받는 것을 기준으로 둔다(DORA 테스트 자동화).

2024년 5월 ISTQB 는 도구 구현이 아니라 대상 선정 · 분포 · 투자 회수 · 조직 도입을 다루는 CT-TAS v1.0 실라버스를 냈다(CT-TAS v1.0). 자동화 «도구»의 문제가 «무엇을 얼마나 언제»라는 계획 문제로 옮겨 왔고, 테스트 자동화 전략의 다섯 토픽이 그 질문을 나눠 맡는다.

3쉽게 이해하기 — 제과 공장의 검사 계획

어느 제과 공장은 출하 직전 검사원 열 명이 포장 상자를 하나씩 열어 시식했는데, 반죽이 잘못돼도 다음 날에야 알았다. 공장장은 반죽 기계마다 저울을 달아 반죽이 나올 때마다 자동으로 재게 하고, 오븐 출구에서는 기계가 굽기 색을 보게 했으며, 시식은 하루 몇 상자로 줄였다. 공장을 새 건물로 옮길 때는 옛 라인과 새 라인에 같은 반죽을 넣어 구운 빵을 나란히 비교했다.

반죽 저울 단위 테스트 오븐 출구 서비스 · 계약 상자 시식 E2E 테스트 출하 판정 배포 판정 반죽마다 · 몇 초 판마다 · 몇 분 하루 몇 상자 · 오래 걸림 세 검사 결과로 결정 시식에 맡기던 검사를 반죽 쪽으로 당김 = 시프트 레프트 옛 건물 라인 지금까지 굽던 빵 = 기준 새 건물 라인 차세대 전환 테스트 같은 반죽 → 두 라인 빵 비교 1 2 3 4 5 1 반죽마다 자동 계량 · 2 오븐 출구에서 굽기 색 검사 · 3 하루 몇 상자만 시식 · 4 세 검사 결과로 출하 결정 5 새 건물로 옮길 때 같은 반죽을 두 라인에 넣어 결과 비교

그림 1 · 검사를 반죽 · 오븐 · 상자 세 곳에 나누고 앞쪽에 많이 두며, 공장을 옮길 때는 두 라인을 비교하는 것이 테스트 자동화 전략의 뼈대다.

상자 시식출하 직전에만 검사
반죽 저울반죽마다 자동 계량
오븐 검사판마다 굽기 색
몇 상자 시식손님이 먹는 그대로
출하 판정세 결과로 결정
두 라인 비교새 건물로 옮길 때
비유 — 검사원을 어디에 두나 실제 — 테스트 분포 출하 직전 시식에만 기댐 하루 400 상자를 손으로 엶 잘못된 반죽은 다음 날 앎 아이스크림콘 분포 UI · 수동 테스트가 대부분 결함을 늦게 · 비싸게 찾음 반죽마다 저울 · 시식은 몇 상자 저울이 몇 초 만에 알려 줌 시식은 손님이 먹는 맛만 확인 피라미드 분포 단위 테스트가 가장 많고 빠름 E2E 는 사용자 흐름 몇 개만 검사 총량이 같아도 어느 단계에 두느냐로 알게 되는 시점이 갈린다 위 줄 배지 = 실패 · 늦은 발견 · 아래 줄 배지 = 코드 가까이에서 빠른 검사

그림 2 · 같은 검사원 열 명이라도 시식에만 두면 문제를 다음 날 알고, 반죽 쪽에 저울을 많이 두면 몇 분 안에 안다 — 검사를 어느 단계에 몇 개 두느냐가 E2E 테스트와 시프트 레프트의 경계다.

비유 속 역할실제 이름실제로 하는 일
검사 계획을 세우는 공장장테스트 자동화 전략대상 · 분포 · 실행 시점 · 투자 회수를 정한다
반죽 저울단위 테스트 자동화코드 변경마다 몇 초 안에 결과를 낸다
오븐 출구 검사서비스 · 계약 테스트서비스 사이 약속(API 계약)을 실제 화면 없이 확인한다
몇 상자 시식E2E 테스트사용자 흐름을 화면 그대로 끝까지 따라간다
반죽 쪽으로 당긴 검사시프트 레프트 · 지속적 테스트변경 직후 파이프라인 단계마다 테스트 스위트를 돌린다
출하 판정품질 게이트테스트 결과로 배포 · 되돌리기를 정한다
남겨 둔 시식원수동 · 탐색적 테스트화면 느낌처럼 자동화가 어려운 조건을 사람이 본다
두 라인 비교차세대 시스템 전환 테스트옛 시스템 결과를 기대값으로 새 시스템을 비교한다

⚠ 비유가 맞지 않는 곳: 저울은 한 번 달면 끝이지만 테스트 스크립트는 제품이 바뀔 때마다 고쳐야 한다. 그래서 자동화는 설치비만이 아니라 회차마다 드는 유지비까지 따져야 하고, 실행 횟수가 적으면 손으로 하는 편이 싸다.

4구조 — 실행 시점 · 테스트 레벨 위의 다섯 토픽

테스트 자동화 전략의 토픽은 테스트 레벨(세로)과 실행 시점(가로) 두 축 위에서 일을 나눈다. 테스트 자동화가 모든 시점이 쓰는 기반을 맡고, 나머지 넷이 각자 다른 시점 · 레벨을 맡는다.

커밋 PR 병합 배포 운영 시스템 교체 UI · E2E 서비스 · 계약 단위 기반 시프트 레프트 · 지속적 테스트 변경마다 단위 · 서비스 · 계약 테스트 스위트 E2E 테스트(웹 · 모바일) 시프트 라이트 운영 감시 카오스 엔지니어링 차세대 시스템 전환 테스트 옛 ↔ 새 비교 테스트 자동화 — 대상 선정 · TAA · TAF · 투자 회수(모든 시점이 쓰는 기반) 가로 = 실행 시점 · 세로 = 테스트 레벨 · 칠한 상자 = 하위 토픽 · 연한 상자 = 시프트 레프트 토픽이 함께 다루는 운영 쪽 검사 TAA = 테스트 자동화 아키텍처 · TAF = 테스트 자동화 프레임워크(CT-TAS v1.0 1.1.2절)

그림 3 · 테스트 자동화가 모든 시점의 기반이 되고, 시프트 레프트 · 지속적 테스트는 앞쪽 시점의 아래 레벨을, E2E 는 배포 전후의 꼭대기 레벨을, 카오스 엔지니어링은 운영 중 장애 견딤을, 전환 테스트는 시스템 교체 시점 전체를 맡는다.

토픽답하는 질문자동화 대상실행 시점판정 근거근거
테스트 자동화무엇을 · 무엇으로 자동화하나반복 · 자주 · 오래 걸리는 케이스모든 시점선정 기준 · ROICT-TAS v1.0 3.3.1 · 5.1.1절
E2E 테스트(웹 · 모바일)사용자 흐름이 끝까지 되나핵심 업무 흐름 몇 개배포 전후화면 결과Fowler 2012
시프트 레프트 · 지속적 테스트언제 · 얼마나 자주 돌리나단위 · 서비스 · 계약 테스트 스위트커밋 · PR · 병합단계별 통과CT-TAS v1.0 3.1.3 · 6.1.2절
카오스 엔지니어링운영 중 장애를 견디나장애 주입 실험운영정상 상태 지표 유지카오스 엔지니어링에서 다룸
차세대 시스템 전환 테스트새 시스템이 옛 결과와 같은가업무 결과 · 데이터 이행분시스템 교체옛 시스템 결과CT-TAS v1.0 3.1.2절

🔑 테스트 자동화 전략의 토픽은 같은 일을 다른 도구로 하는 대안이 아니라 맡는 축이 다르다 — 테스트 자동화는 «무엇을», E2E 는 «꼭대기 레벨을», 시프트 레프트 · 지속적 테스트는 «언제», 카오스 엔지니어링은 «운영에서 견디나», 전환 테스트는 «교체 시점의 기준»을 맡는다.

5동작 — 수동 회귀 400건 팀의 자동화 전략 수립 사례

주문 서비스 한 팀이 회귀 테스트를 손으로 돌리다 자동화 전략을 세우는 사례다. 케이스 수 · 시간은 모두 설명용 가정 값이고, ROI 는 CT-TAS 5.1.1절 식(절감 ÷ 투자 · 시간 단위)을 그대로 쓴다.

  1. 현재 분포 그리기 — 단위 120 · 서비스 30 · UI 450(그중 수동 400)건이다. UI 에 몰린 아이스크림콘 분포다(CT-TAS v1.0 3.1.1절).
  2. 대상 선정 — 수동 400건을 반복 가능 · 자주 실행 · 유지 쉬움 기준으로 걸러 360건을 자동화하고, 화면 일관성 판단 · 2시간 세션 만료처럼 어려운 40건은 수동으로 남긴다(3.3.1 · 3.3.3절).
  3. 아래로 내리기 — 자동화할 360건과 기존 자동 UI 50건 가운데 업무 규칙 검증 320건은 API · 계약 테스트로, 계산 규칙 50건은 단위 테스트로 옮기고 E2E 는 사용자 흐름 40건만 둔다. 커버리지가 낮은 모듈에는 단위 테스트 530건을 더해 단위 700 · 서비스 350 · E2E 40 이 된다(3.1.3절).
  4. 파이프라인 배치 — PR 에 단위 700건(5분), 병합에 서비스 · 계약 350건(10분), 배포 뒤에 E2E 40건(20분)을 건다. 개발자가 받는 첫 결과는 10분 안이다(DORA 테스트 자동화).
  5. 투자 회수 계산 — 투자 = 구축 80시간 + 스크립트 360건 × 1.5시간 = 620시간, 회당 유지 4시간이다. 절감은 회당 수동 36시간(360건 × 6분) − 자동 실행 0.5시간 = 35.5시간이라, ROI 는 10회 0.54 · 20회 1.01 · 40회 1.82 다.
  6. 지표 감시 — 첫 달에 통과 · 실패 비율, 결함 하나당 실패 수, 실행 시간을 모으고(5.2.1절), 통과 · 실패를 오가는 테스트는 게이트에서 빼 따로 고친다(DORA 테스트 자동화).
1 현재 분포 — 아이스크림콘 3 목표 분포 — 피라미드 UI 450 · 수동 400 서비스 30 단위 120 2 선정 · 내리기 E2E 40 · 수동 40 서비스 · 계약 350 단위 700 4 파이프라인 배치 — 단계마다 다른 테스트 스위트 PR — 단위 700 5분 병합 — 서비스 · 계약 350 10분 배포 뒤 — E2E 40 20분 막대 길이 = 케이스 수(700건 = 280px) · 색 = 테스트 레벨 · 연한 막대 = 수동 실행 · 원 숫자 = 동작 단계 시간 = 테스트 스위트 한 번 실행 시간 · 케이스 수 · 시간 모두 설명용 가정 값

그림 4 · UI 에 몰린 600건을 대상 선정 · 내리기 · 보강으로 단위 700 · 서비스 350 · E2E 40 으로 바꾸고, PR · 병합 · 배포 세 단계에 테스트 스위트를 나눠 건다.

0 10 20 30 40회 0 400 800 1,200 1,600 누적 시간(시간) 회수 지점 약 20회(ROI 1.0) 수동 36시간 × 회 자동화 620 + 4.5시간 × 회 구축 620시간 ROI = 절감 ÷ 투자(CT-TAS 5.1.1절) · 10회 0.54 · 40회 1.82 · 값 = 설명용 가정 값 · 원문 식 직접 계산

그림 5 · 자동화는 처음 620시간을 먼저 쓰고 회당 4.5시간만 들어, 수동 36시간과의 누적 차이가 20회째에 뒤집힌다 — 그보다 적게 돌릴 사업이면 수동이 싸다.

🔑 자동화의 투자 회수는 케이스 수가 아니라 실행 횟수가 정한다 — 같은 360건도 2주 스프린트마다 한 번 돌리면 20회까지 40주, 매일 돌리면 영업일 20일이 걸린다.

6비교 — 관련 기술과의 경계

기술맡는 질문테스트 자동화 전략과의 경계넘기는 곳
테스트 관리 체계왜 · 무엇을 시험하나(원리 · 프로세스 · 결함 관리)케이스와 기대값은 그쪽, 자동으로 돌리는 계획만 여기테스트케이스 · 테스트오라클
테스트 기법케이스를 어떻게 고르나 · 충분한가설계 · 커버리지는 그쪽, 고른 케이스를 어느 레벨 · 시점에 돌리나는 여기블랙박스 · 화이트박스 · 회귀 테스트
테스트 레벨 · 유형레벨마다 목적 · 범위레벨의 목적은 그쪽, 레벨 사이 개수 분포는 여기단위 테스트 · 통합 테스트
DevOps · CI/CD빌드 · 배포를 어떻게 잇나파이프라인 자체는 그쪽, 거기 얹을 테스트 스위트 · 품질 게이트는 여기지속적 통합(CI) · 지속적 배포(CD)

분석질문이 «이 케이스가 맞나»면 테스트 기법, «이 레벨이 무엇을 보나»면 테스트 레벨 · 유형, «몇 개를 어디서 언제 얼마에 돌리나»면 테스트 자동화 전략이다. 이 전략만 투자 회수(ROI)와 분포를 판정 기준으로 쓰기 때문이다(CT-TAS v1.0 3.1.1 · 5.1.1절).

7실무 진단 — 자동화 이득이 사라지는 원인 가려내기

분석분포 → 실행 시점 → 신뢰도 → 투자 회수 순으로 본다. 분포가 아이스크림콘이면 시점을 앞당겨도 UI 테스트 실행 시간이 그대로 남아 뒤 단계 조치가 효과를 내지 못한다(CT-TAS v1.0 3.1.1 · 3.1.3절).

#증상의심 원인토픽확인 자료판정 기준(근거)
1PR 결과가 30분 넘게 걸림UI 테스트에 몰린 분포E2E 테스트레벨별 케이스 수 · 실행 시간개발자 피드백 10분 안(DORA 테스트 자동화)
2결함 하나에 실패가 수십 건같은 단계(로그인 등)를 케이스마다 복제테스트 자동화결함당 실패 수공통 단계를 재사용 부품으로 묶었나(CT-TAS v1.0 5.2.1 · 6.1.1절)
3재실행하면 통과하는 실패불안정 테스트 · 공유 데이터시프트 레프트 · 지속적 테스트같은 커밋 반복 실행 결과불안정 테스트는 고치거나 빼낸다(DORA 테스트 자동화)
4자동화한 회귀가 처음부터 실패고장 난 수동 케이스를 그대로 옮김테스트 자동화수동 실행 기록 · 실패 원인옮기기 전 수동 케이스가 바르게 도는가(CT-TAS v1.0 6.1.1절)
5사업이 끝나도 회수 못함실행 횟수가 회수 지점보다 적음테스트 자동화구축 · 유지 시간 · 실행 횟수사업 기간 < 회수 지점이면 수동(CT-TAS v1.0 5.1.1절)

8시험 대비

시험에서는 «조직의 테스트 자동화 전략 수립 방안»을 묻는 구현 · 설계형, 테스트 피라미드와 아이스크림콘 · 시프트 레프트와 시프트 라이트를 견주는 비교형이 나올 수 있다. 설계형이면 그림 3 의 두 축으로 토픽을 나누고 그림 5 의 회수 지점으로 «자동화하지 않을 범위»까지 쓰며, 비교형이면 분포 모양별 결함 발견 시점과 실행 시간 차이를 그림 4 로 보인다.

답안 목차
  1. 개요 — 정의 · 목표(실행 시간 단축 · 빈도 · 커버리지) · 등장 배경(2001 · 2009 · 2012 · 2024)
  2. 하위 토픽 지도 — 그림 3 의 실행 시점 × 테스트 레벨 + 다섯 토픽 표
  3. 대상 선정 — 반복 · 빈도 · 유지 기준 + 자동화가 어려운 조건(화면 느낌 · 긴 시간 의존)
  4. 분포 설계 — 그림 4 의 현재 → 목표 분포 · 파이프라인 단계 배치(PR · 병합 · 배포)
  5. 투자 회수 — 그림 5 의 누적 시간 곡선 · ROI = 절감 ÷ 투자 · 회수 지점
  6. 운영 · 개선 — 통과 · 실패 비율 · 결함당 실패 수 · 실행 시간 · 불안정 테스트 격리

꼭 쓸 키워드
테스트 피라미드아이스크림콘테스트 자동화 아키텍처(TAA)테스트 자동화 프레임워크(TAF)계약 테스트시프트 레프트시프트 라이트지속적 테스트품질 게이트ROI 회수 지점

다른 답안과 차이를 내는 한 가지는 자동화의 효과를 「생산성 향상」으로 끝내지 않고, 그림 5 처럼 실행 횟수에 따라 ROI 가 0.54 에서 1.82 로 갈린다는 계산 하나로 자동화 범위의 경계를 보이는 것이다.

9오해와 사실

  • 오해수동 케이스를 전부 자동화하면 커버리지도 100% 가 된다.
    사실수동 케이스의 100% 자동화는 자동화할 수 있는 모든 케이스의 100% 가 아니며, 아낀 실행 시간으로 새 케이스를 찾아야 커버리지가 는다(CT-TAS v1.0 6.1.1절).
  • 오해자동화를 시작하면 바로 비용이 준다.
    사실옮기는 동안은 수동 · 자동을 함께 돌려 비용이 오히려 늘고, 자동 테스트가 수동을 대신할 만해진 뒤에야 줄어든다(CT-TAS v1.0 6.1.1절).
  • 오해피라미드는 어느 시스템에나 바로 맞출 목표다.
    사실메인프레임처럼 아래 레벨 자동화가 어려운 시스템은 우산형에서 모래시계형처럼 현실적인 중간 목표를 먼저 둔다(CT-TAS v1.0 3.1.2절).

10핵심 정리

구분맡는 결정주로 쓰는 레벨실행 시점실패 신호근거
테스트 자동화무엇을 · 무엇으로모든 레벨모든 시점회수 지점 전 사업 종료CT-TAS v1.0 3.3.1 · 5.1.1절
E2E 테스트사용자 흐름 확인UI배포 전후느리고 깨지기 쉬움Fowler 2012
시프트 레프트 · 지속적 테스트언제 · 얼마나 자주단위 · 서비스 · 계약커밋 · PR · 병합피드백 10분 넘김DORA 테스트 자동화
차세대 시스템 전환 테스트교체 뒤 결과가 같은가업무 결과 · 데이터시스템 교체옛 결과와 차이CT-TAS v1.0 3.1.2절
피라미드 분포목표 모양아래 레벨이 가장 많음——CT-TAS v1.0 3.1.1절
아이스크림콘 분포고칠 모양UI 가 가장 많음—결함 발견이 늦음CT-TAS v1.0 3.1.1절
ROI 회수 지점자동화할지 말지——절감 ÷ 투자 < 1CT-TAS v1.0 5.1.1절

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ISTQB Certified Tester Test Automation Strategy (CT-TAS) Syllabus Version 1.0 — 자동화 대상 선정 기준 · 테스트 분포 네 모양 · ROI 식 · 수동에서 지속적 테스트로 옮기는 계획을 볼 때
    ISTQB · 2024-05 · www.istqb.org/wp-content/uploads/2024/11/ISTQB_CT-TAS_Syllabus_v1.0.pdf · 확인 2026-11-14
  3. ★ TestPyramid (Martin Fowler · bliki) — 테스트 피라미드의 유래(Cohn 2009)와 UI 테스트가 깨지기 쉽고 느린 까닭을 볼 때
    martinfowler.com · 2012-05 · martinfowler.com/bliki/TestPyramid.html · 확인 2026-11-14
  4. ★ DORA Capabilities: Test automation — 개발자 소유 · 10분 안 피드백 · 불안정 테스트 처리 같은 운영 기준을 볼 때
    DORA (Google Cloud) · 2026-11 · dora.dev/capabilities/test-automation/ · 확인 2026-11-14
  5. 본문 근거
  6. Shift-Left Testing (Larry Smith) · Dr. Dobb's Journal 26(9) · 보관 사본 — Dr. Dobb's Journal (원 도메인 폐쇄 · 개인 보관 사본) · 2001-09 · jacobfilipp.com/DrDobbs/articles/DDJ/2001/0109/0109e/0109e.htm · 확인 2026-11-14