IT › 소프트웨어 › 테스트 › 테스트 자동화 전략

테스트 자동화Test Automation

테스트 자동화는 도구가 테스트 케이스를 실행하고 실제 결과를 기대 결과와 대조해 판정 · 기록까지 하게 만드는 일이다. 그 실행을 받치는 러너 · 픽스처 · 스텁 묶음을 테스트 하네스라 한다.

1요약

  1. 테스트 자동화는 ISTQB CTAL-TAE v2.0(2024)이 gTAA(일반 테스트 자동화 구조)로 정리한 생성 · 정의 · 실행 · 적응 네 기능의 묶음이고, 그 위에서 xUnit 계열 러너와 WebDriver(W3C 권고 2018) 같은 도구가 케이스를 돌려 판정한다.
  2. 손으로 하는 회귀는 변경마다 같은 데이터를 다시 넣고 결과를 눈으로 맞춰야 해 횟수가 줄고(CTFL 6.2), 자동화해도 판정을 믿지 못하면 소용이 없다 — 개발자 조사에서 비결정 테스트를 겪는 109명의 79% 가 중간 이상의 문제로 꼽았다(Eck 2019 4절).
  3. 「자동 테스트가 빨갛다」는 빨간 까닭으로 가른다 — 기대값과 다르면 실패로 제품을, 판정 전에 예외로 멈췄으면 오류로 하네스 · 환경을, 같은 판에서 결과가 오가면 비결정으로 대기 · 동시성을 본다.

2등장 배경

수동 회귀는 화면에 같은 값을 넣고 결과를 눈으로 대조하는 일을 판이 바뀔 때마다 되풀이하므로, 수정이 잦아질수록 일부만 골라 돌리게 된다. 초기 자동화는 손 조작을 녹화해 다시 트는 캡처/재생 방식이었는데, 녹화본이 녹화한 판의 화면에 매여 화면이 조금만 바뀌어도 다시 떠야 했다(TAE 3.1.4).

1997년 Kent Beck 과 Erich Gamma 가 취리히발 비행기 안에서 JUnit 을 만들어 코드로 쓰는 테스트와 러너를 퍼뜨렸고(Fowler 2006), 2004년 ThoughtWorks 의 Jason Huggins 가 브라우저를 조종하는 Selenium 의 첫 형태를 만들었다(Selenium History). 브라우저 조종 방식은 2018년 W3C WebDriver 권고로 표준이 되었다(W3C WebDriver).

지금은 ISO/IEC/IEEE 29119-5:2024 가 키워드 주도 테스트를, CTAL-TAE v2.0(2024-05)이 gTAA · 프레임워크 계층 · 스크립팅 방식을 정리하며, CI 파이프라인이 변경마다 자동 테스트를 돌린다(TAE 3.1.1 형상 관리 인터페이스).

3쉽게 이해하기 — OMR 판독기로 채점하는 학원

학원 원장 김 선생은 매주 모의고사 답안지 300장을 손으로 채점하다가 판독기를 들였다. 정답표 한 장과 답안지 묶음을 넣으면 판독기가 위치표대로 칸을 읽어 정답과 맞추고 성적표를 뽑는다. 연필이 흐려 읽지 못한 답안지는 오답으로 치지 않고 판독 불가함에 따로 모인다. 시험지 양식이 바뀌면 김 선생은 답안지 300장이 아니라 위치표 한 장만 고친다.

원장 김 선생 테스트 엔지니어 정답표 · 위치표를 만든다 위치표 어댑터 · 로케이터 어느 칸을 읽을지 정답표 오라클 · 기대값 맞는 답을 미리 적음 문제지 묶음 테스트 데이터 같은 흐름 · 다른 입력 학생 시험 대상(SUT) 입력을 받아 답을 냄 답안지 실제 결과 채점할 출력 판독기 러너 · 하네스 읽기 · 맞추기 · 기록 성적표 테스트 보고 맞음 · 오답 수 판독 불가함 오류(error) 오답과 따로 센다 1 2 3 4 5 6 정답과 다르면 오답, 읽지조차 못하면 판독 불가 — 둘은 다른 함으로 간다

그림 1 · 판독기는 위치표로 답안지를 읽어 정답표와 맞추고, 다르면 성적표에 오답으로, 읽지 못하면 판독 불가함으로 나눠 보낸다.

정답 적기원장이 정답표를 만든다
시험 치기문제지 묶음을 나눠 준다
답안 걷기학생 답안지를 모은다
판독위치표대로 읽어 맞춘다
성적표맞음 · 오답을 뽑는다
판독 불가못 읽은 장은 따로 둔다
비유 — 판독기에서 빠진 답안지 실제 — 러너가 세는 세 가지 3번 정답 ②인데 ④에 표시 성적표에 오답 하나 학생을 다시 가르친다 1 실패(failure) 기대값 ≠ 실제값 · 단언이 알림 제품 코드의 결함을 본다 연필이 흐려 칸을 못 읽음 채점 전에 판독 불가함으로 학생 탓이 아니다 2 오류(error) 판정 전에 예외 · 연결 · 픽스처 실패 하네스 · 환경을 먼저 본다 같은 장을 두 번 넣으니 다름 한 번은 맞음 · 한 번은 오답 판독기를 의심한다 3 비결정(flaky) 같은 판에서 통과 · 실패가 오감 대기 · 동시성 · 순서 의존을 본다 점선 배지 = 제품 판정으로 아직 넘기지 않은 결과 · 3번 문항 = 설명용 가정 값

그림 2 · 성적표의 오답은 학생을, 판독 불가는 판독기 쪽을, 두 번 넣어 결과가 다른 장은 판독기 자체를 의심하게 한다 — 실제 러너도 실패 · 오류 · 비결정을 따로 센다.

비유 속 역할실제 이름실제로 하는 일
원장 김 선생테스트 자동화 엔지니어정답표 · 위치표 · 판독 순서를 만들고 고친다
문제지 묶음테스트 데이터 · 케이스같은 스크립트에 넣을 입력 행을 모아 둔다
학생시험 대상(SUT)입력을 받아 실제 결과를 낸다
정답표테스트 오라클 · 기대 결과케이스마다 맞는 결과를 미리 적어 둔다
위치표어댑터 · 로케이터SUT 의 어느 요소를 읽고 누를지 한곳에 적는다
판독기러너 · 하네스준비 → 실행 → 비교 → 정리를 사람 없이 되풀이한다
성적표테스트 보고통과 · 실패 · 오류 수와 실패 내용을 남긴다
판독 불가함오류(error)판정까지 가지 못한 케이스를 실패와 따로 센다

⚠ 비유가 맞지 않는 곳: 학생은 같은 문제도 날마다 다르게 풀지만 자동 테스트의 SUT 는 같은 입력에 같은 결과를 내도록 환경을 고정해야 하고, 판독기는 정답표가 틀려도 그대로 채점하므로 기대값 자체의 오류는 자동화가 잡지 못한다.

4구조 — gTAA 네 기능과 하네스

gTAA 는 자동화가 SUT · 시험 관리 · 형상 관리 · 프로젝트 관리와 맞닿는 네 인터페이스와, 도구가 갖춰야 할 네 기능을 정한 추상 구조다(TAE 3.1.1). 그 구현인 프레임워크(TAF)는 러너라고도 부르는 하네스와 테스트 라이브러리 · 스크립트로 이루어지며, 스크립트는 코어 라이브러리를 직접 부르지 않는다(TAE 3.1.3).

gTAA — 네 기능과 네 인터페이스 테스트 자동화 해법(TAS) 테스트 생성(선택) — 모델에서 케이스를 자동 설계 테스트 정의 — 케이스 · 데이터 · 키워드를 SUT 와 떼어 적음 테스트 실행 — 러너 · 픽스처 · 스텁 · 기대값 비교 · 로그 테스트 적응 — 어댑터로 API · 화면 · 프로토콜에 붙음 페이지 객체 · WebDriver · HTTP 클라이언트 시험 대상(SUT) API · 화면 · 메시지 요청 응답 시험 관리 형상 관리(CI/CD) 프로젝트 관리 로그 · 보고 — 통과 · 실패 · 오류 수 → 시험 관리로 색 = 역할(명세 · 실행 판정 · SUT 를 아는 코드 · 결과) · 점선 상자 = 선택 기능 · 점선 = 인터페이스

그림 3 · 케이스 정의와 실행은 SUT 를 모르고, SUT 에 닿는 코드는 맨 아래 적응 기능 한 곳에만 있다.

요소맡는 일실제 예근거
테스트 정의케이스 · 데이터 · 키워드를 SUT 와 떼어 적음CSV 테스트 데이터 · 키워드 표TAE 3.1.1 · 29119-5
테스트 실행고른 케이스를 돌려 기대값과 비교 · 로그 · 보고unittest · JUnit 러너TAE 3.1.1
테스트 적응어댑터로 SUT 의 API · 화면 · 프로토콜에 붙음WebDriver · HTTP 클라이언트TAE 3.1.1 · W3C WebDriver
하네스 · 픽스처사전 · 사후 조건과 스텁을 갖춰 반복 가능하고 서로 독립인 실행setUp · tearDown · mock.patchTAE 4.1.1
스크립트 계층케이스 저장소 · 비즈니스 로직 계층만 부름테스트 파일 · feature 파일TAE 3.1.3
비즈니스 로직 계층SUT 에 매인 라이브러리 · 설정페이지 객체 · API 래퍼TAE 3.1.3
코어 라이브러리SUT 와 무관해 다른 프로젝트에도 재사용로그 · 암호화 · 드라이버 감싸기TAE 3.1.3

🔑 자동화의 본체는 실행이 아니라 비교다 — 기대 결과를 기계가 대조하지 않으면 사람이 결과 화면을 들여다보는 수동 테스트를 빠르게 돌린 것뿐이다.

5동작 — 소포 요금 표 7행을 하네스로 돌리는 사례

직접 실행(Python 3.14.0 표준 라이브러리 unittest · unittest.mock)이다. 요금 규칙은 설명용 가정 값 「5kg 미만 3,000원 · 10kg 미만 4,000원 · 그 이상 6,000원 · 섬 지역 +3,000원」이고, 섬 할증은 원격 서비스가 준다.

  1. 테스트 데이터 — fee_cases.csv 에 C1 ~ C6 여섯 행(무게 · 지역 · 기대 요금)을 적고 경계 4.9 · 5.0 · 10.0kg 을 넣는다.
  2. 픽스처 · 스텁 — setUp() 이 mock.patch 로 할증 서비스를 「도시 0 · 섬 3,000」만 돌려주는 스텁으로 바꾸고 tearDown() 이 되돌린다(unittest.mock 문서).
  3. 실행 · 비교 — 스크립트 하나가 행마다 subTest 로 parcel_fee() 를 불러 기대 요금과 비교한다. 결과는 C3 한 행 AssertionError: 3000 != 4000 · FAILED (failures=1) 이다.
  4. 결함 수정 — 제품 코드가 5kg 경계를 <= 5 로 비교하고 있었다. < 5 로 고친다.
  5. 재실행 — 같은 데이터로 다시 돌려 여섯 행이 모두 통과해 OK 다.
  6. 하네스 점검 — 스텁을 뺀 채 돌리자 여섯 행 모두 RuntimeError 로 FAILED (errors=6) 이다. 제품 코드는 그대로이고 하네스가 원격 서비스를 대신하지 못한 것이다(unittest 문서 TestResult).
  7. 케이스 늘리기 — 「10.0kg · 섬 · 9,000원」 C7 한 행을 CSV 에 더하자 스크립트를 고치지 않고 일곱 행이 돌아 OK 다(TAE 3.1.4 데이터 주도).
1 2 3 4 5 6 7 데이터 6행 스텁 setUp C3 실패 3000≠4000 경계 수정 <= 5 → < 5 재실행 OK 스텁 없음 errors=6 C7 추가 7행 OK 제품을 본 판정 — 실패 → 제품 코드 수정 하네스 판정 데이터만 ③ FAIL: test_table (case='C3') · AssertionError: 3000 != 4000 → FAILED (failures=1) ⑤ Ran 1 test · OK — 같은 6행, 코드만 바뀜 ⑥ RuntimeError: remote service not available → FAILED (errors=6) ⑦ fee_cases.csv 7행 · 테스트 코드 변경 0줄 → OK 굵은 테두리 = 제품이 아닌 하네스를 가리킨 결과 · 출력 = 이 실행 환경의 값 · 요금 = 설명용 가정 값

그림 4 · ③ 의 빨강은 실패라 제품 코드를 고쳤고, ⑥ 의 빨강은 오류라 하네스를 봤으며, ⑦ 은 코드 0줄로 케이스를 늘렸다.

🔑 실패(failure)는 제품을, 오류(error)는 하네스를 가리킨다 — 둘을 한 숫자로 합쳐 보면 「테스트가 깨졌다」와 「제품이 깨졌다」를 가를 수 없다.

화면이 바뀔 때 고칠 곳의 수는 SUT 를 아는 코드가 몇 곳에 흩어져 있는가로 정해진다. 페이지 객체는 로케이터를 한 클래스에 모아 구조가 바뀌어도 그 한 곳만 고치게 한다(TAE 3.1.5).

화면 변경 — 결제 버튼 id #pay-btn → #checkout 선형 스크립트 — 로케이터가 스크립트마다 구조화 — 페이지 객체 한 곳 스크립트 01 #pay-btn 스크립트 02 #pay-btn 스크립트 03 #pay-btn … 스크립트 40개 모두 같은 줄 고칠 곳 40곳 스크립트 01 스크립트 02 스크립트 03 … 40개 모두 pay() 호출 PaymentPage pay() #pay-btn 고칠 곳 1곳 굵은 테두리 = 화면이 바뀌면 고쳐야 하는 로케이터 · 스크립트 40개 · id = 설명용 가정 값

그림 5 · 결제 버튼 id 가 바뀌면 선형 스크립트는 40곳을, 페이지 객체를 거친 스크립트는 1곳을 고친다 — 스크립트 수와 무관하게 고칠 곳이 하나로 멈춘다.

6비교 — 자동화 스크립팅 방식 여섯

방식케이스를 쓰는 형태쓰는 사람SUT 가 바뀔 때맞는 경우
캡처/재생손 조작 녹화본코드 없이 누구나다시 녹화범위가 작고 거의 안 바뀌는 SUT
선형 스크립트녹화본을 고친 순서 코드프로그래밍 조금스크립트마다 수정짧게 쓰고 버릴 확인
구조화 스크립트재사용 단계 · 라이브러리 호출프로그래머라이브러리 한 곳오래 돌릴 회귀
데이터 주도(DDT)구조화 + 데이터 파일(CSV · DB 덤프)분석가가 데이터 행 추가데이터 관리가 따로 필요흐름은 같고 입력만 다른 케이스가 많을 때
키워드 주도(KDT)사용자 관점 키워드 + 데이터 표업무 · 테스트 분석가키워드 구현을 유지큰 시스템(작은 시스템에는 과함)
BDDGiven · When · Then 문장(feature 파일)개발 · 업무 · 테스터 함께단계 정의 수정인수 조건을 그대로 테스트로

분석한 번 쓰고 버릴 확인이면 캡처/재생 · 선형으로 충분하고, 몇 달 이상 회귀로 돌릴 것은 구조화를 바탕에 두고 입력이 많으면 데이터 주도, 업무 담당이 케이스를 써야 하면 키워드 주도나 BDD 를 얹는다. 근거는 표의 「SUT 가 바뀔 때」 열 — 앞의 두 방식은 유지 · 확장이 어렵다고 TAE 3.1.4 가 밝힌다.

7실무 진단 — 빨간 결과의 원인 가르기

분석빨간 결과는 실패 · 오류 수를 먼저 나누고, 실패라면 같은 판에서 다시 돌려 결정성을 본 뒤에야 제품 결함으로 넘긴다. 오류와 비결정 결과는 제품보다 하네스 · 테스트 코드 쪽 원인이 많기 때문이다(unittest 문서 TestResult · Eck 2019 3절).

#증상의심 원인구분확인 자료판정 기준(근거)
1결과가 실패가 아니라 오류로 몰림스텁 · 연결 · 픽스처 누락하네스러너 요약 failures ↔ errors · setUp 로그오류 = 예상 밖 예외 · 실패 = 단언 불일치(unittest 문서 TestResult)
2같은 커밋에서 통과 · 실패가 오감비동기 대기 · 동시성테스트 코드같은 판 반복 실행 기록Mozilla 200건의 원인 분류(중복 표시 234개)에서 동시성 26% · 비동기 대기 22%(Eck 2019 3절)
3화면이 조금 바뀔 때마다 스크립트 수십 개 수정로케이터가 스크립트에 흩어짐프레임워크 계층로케이터 문자열 검색 건수구조 변경은 페이지 모델 한 곳만 고쳐야 한다(TAE 3.1.5)
4자동 테스트는 늘 통과인데 운영 결함기대값 비교가 약함(상태 코드만 확인)오라클케이스당 단언 수 · 단언 대상사람 판단을 빼고 도구에 기대는 것은 자동화 위험이다(CTFL 6.2)

러너 요약의 오류 수부터 본다 — 0 이 아니면 제품을 보기 전에 하네스 · 환경을 고친다. 실패만 남았으면 같은 판에서 서너 번 다시 돌려, 매번 같은 행이 실패할 때 결함 보고로 넘긴다.

8시험 대비

출제 정보 정보관리(121회, 114회, 77회, 75회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 테스트 자동화의 정의와 효과 · 위험을 묻는 정의 · 특징형과, 테스트 하네스 · 자동화 프레임워크의 구성 요소를 그려 설명하는 구조 · 구성형이 나올 수 있다. 데이터 주도 · 키워드 주도 같은 스크립팅 방식 비교가 붙으면 비교 절 표를 그대로 넣는다.

답안 목차
  1. 개요 — 정의(실행 + 기대값 비교 + 기록) · 효과와 위험(CTFL 6.2) · 테스트 하네스의 뜻
  2. 구조 — 그림 3 gTAA 네 기능(생성 · 정의 · 실행 · 적응) · 네 인터페이스 + 요소 표
  3. 프레임워크 계층 — 스크립트 · 비즈니스 로직 · 코어 라이브러리 + 그림 5 페이지 객체(고칠 곳 40 → 1)
  4. 절차 — 그림 4 데이터 주도 사례(6행 → C3 실패 → 수정 → 오류 6 구분 → 7행)
  5. 스크립팅 방식 비교 — 캡처/재생 · 선형 · 구조화 · DDT · KDT · BDD 표
  6. 운영 고려 — 실패 · 오류 분리 · 비결정 테스트 원인(동시성 · 비동기 대기) · CI 연계

꼭 쓸 키워드
테스트 하네스테스트 러너픽스처스텁gTAA테스트 적응데이터 주도 테스트키워드 주도 테스트페이지 객체비결정 테스트

다른 답안과 차이를 내려면 하네스 구성 요소를 나열하는 데서 멈추지 말고, 그림 4 처럼 같은 빨간 결과를 실패와 오류로 갈라 «자동화 결과를 판정하는 법»까지 보인다.

9오해와 사실

  • 오해자동화하면 수동 테스트가 필요 없어진다.
    사실자동화는 미리 적은 기대값만 대조하므로 새 결함을 찾는 탐색과 사람 판단은 남고, 수동이 더 맞는 곳에 도구를 쓰는 것 자체가 CTFL 6.2 의 위험 목록에 있다.
  • 오해녹화 도구로 만들면 유지비가 들지 않는다.
    사실캡처/재생 녹화본은 녹화한 SUT 판에 매여 화면이 바뀌면 다시 떠야 하므로 유지 · 확장이 가장 어렵다(TAE 3.1.4).
  • 오해빨간 결과는 곧 제품 결함이다.
    사실사례 6단계처럼 스텁이 빠지면 제품 코드가 그대로여도 여섯 행이 모두 오류가 나며, 비결정 결과의 원인 상위 둘(동시성 · 비동기 대기)도 대부분 테스트 쪽에서 고친다(Eck 2019 3절).

10핵심 정리

구분맡는 것바뀌면 고치는 곳대표 도구 · 형식결과에 보이는 값근거
테스트 데이터입력 · 기대값 행데이터 파일CSV · DB 덤프행(하위 테스트) 수TAE 3.1.4
스크립트케이스 흐름업무 흐름이 바뀔 때만테스트 파일 · feature 파일케이스 수TAE 3.1.3
러너수집 · 실행 · 비교 · 보고거의 없음unittest · JUnit통과 · 실패 · 오류 수TAE 3.1.3
픽스처 · 스텁사전 · 사후 조건 · 가짜 상대픽스처 코드setUp · mock.patch오류 수TAE 4.1.1
어댑터 · 페이지 객체SUT 에 붙는 코드이 한 곳WebDriver · API 래퍼로케이터 오류TAE 3.1.5
보고결과 기록 · 공유없음러너 로그 · CI 화면실패 내용 · 추이TAE 3.1.1
비결정 테스트같은 판에서 결과가 오감테스트 코드의 대기 · 동시성반복 실행통과율Eck 2019

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ISTQB Certified Tester Advanced Level Test Automation Engineering (CTAL-TAE) Syllabus v2.0 — gTAA 네 기능 · 프레임워크 세 계층 · 스크립팅 방식 여섯을 원문으로 볼 때
    ISTQB · 2024-05 · www.istqb.org/wp-content/uploads/2024/11/ISTQB_CTAL-TAE_Syllabus_v2.0.pdf · 확인 2026-11-14
  3. ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 자동화의 효과와 위험 목록(6.2절)을 볼 때
    ISTQB · 2024-09 · www.istqb.org/certifications/certified-tester-foundation-level-ctfl-v4-0/ · 확인 2026-11-14
  4. ★ Understanding Flaky Tests: The Developer's Perspective (Eck · Palomba · Castelluccio · Bacchelli · ESEC/FSE 2019) — 비결정 테스트 200건의 원인 분류와 개발자 121명 조사 수치를 볼 때
    arXiv · 2019-07 · arxiv.org/abs/1907.01466 · 확인 2026-11-14
  5. ★ W3C WebDriver Recommendation — 브라우저를 원격 조종하는 표준 인터페이스를 볼 때
    W3C · 2018-06 · www.w3.org/TR/webdriver1/ · 확인 2026-11-14
  6. 본문 근거
  7. ISO/IEC/IEEE 29119-5:2024 Software and systems engineering - Software testing - Part 5: Keyword-Driven Testing — IEEE SA · ISO/IEC · 2024-12 · standards.ieee.org/ieee/29119-5/11042/ · 확인 2026-11-14
  8. Selenium History — Selenium Project · 2026-11 · www.selenium.dev/history/ · 확인 2026-11-14
  9. Xunit (Martin Fowler bliki) — Martin Fowler · 2006-01 · martinfowler.com/bliki/Xunit.html · 확인 2026-11-14
  10. Python documentation - unittest: Unit testing framework — Python Software Foundation · 2026-11 · docs.python.org/3/library/unittest.html · 확인 2026-11-14
  11. Python documentation - unittest.mock: mock object library — Python Software Foundation · 2026-11 · docs.python.org/3/library/unittest.mock.html · 확인 2026-11-14