테스트 자동화Test Automation
테스트 자동화는 도구가 테스트 케이스를 실행하고 실제 결과를 기대 결과와 대조해 판정 · 기록까지 하게 만드는 일이다. 그 실행을 받치는 러너 · 픽스처 · 스텁 묶음을 테스트 하네스라 한다.
1요약
- 테스트 자동화는 ISTQB CTAL-TAE v2.0(2024)이 gTAA(일반 테스트 자동화 구조)로 정리한 생성 · 정의 · 실행 · 적응 네 기능의 묶음이고, 그 위에서 xUnit 계열 러너와 WebDriver(W3C 권고 2018) 같은 도구가 케이스를 돌려 판정한다.
- 손으로 하는 회귀는 변경마다 같은 데이터를 다시 넣고 결과를 눈으로 맞춰야 해 횟수가 줄고(CTFL 6.2), 자동화해도 판정을 믿지 못하면 소용이 없다 — 개발자 조사에서 비결정 테스트를 겪는 109명의 79% 가 중간 이상의 문제로 꼽았다(Eck 2019 4절).
- 「자동 테스트가 빨갛다」는 빨간 까닭으로 가른다 — 기대값과 다르면 실패로 제품을, 판정 전에 예외로 멈췄으면 오류로 하네스 · 환경을, 같은 판에서 결과가 오가면 비결정으로 대기 · 동시성을 본다.
2등장 배경
수동 회귀는 화면에 같은 값을 넣고 결과를 눈으로 대조하는 일을 판이 바뀔 때마다 되풀이하므로, 수정이 잦아질수록 일부만 골라 돌리게 된다. 초기 자동화는 손 조작을 녹화해 다시 트는 캡처/재생 방식이었는데, 녹화본이 녹화한 판의 화면에 매여 화면이 조금만 바뀌어도 다시 떠야 했다(TAE 3.1.4).
1997년 Kent Beck 과 Erich Gamma 가 취리히발 비행기 안에서 JUnit 을 만들어 코드로 쓰는 테스트와 러너를 퍼뜨렸고(Fowler 2006), 2004년 ThoughtWorks 의 Jason Huggins 가 브라우저를 조종하는 Selenium 의 첫 형태를 만들었다(Selenium History). 브라우저 조종 방식은 2018년 W3C WebDriver 권고로 표준이 되었다(W3C WebDriver).
지금은 ISO/IEC/IEEE 29119-5:2024 가 키워드 주도 테스트를, CTAL-TAE v2.0(2024-05)이 gTAA · 프레임워크 계층 · 스크립팅 방식을 정리하며, CI 파이프라인이 변경마다 자동 테스트를 돌린다(TAE 3.1.1 형상 관리 인터페이스).
3쉽게 이해하기 — OMR 판독기로 채점하는 학원
학원 원장 김 선생은 매주 모의고사 답안지 300장을 손으로 채점하다가 판독기를 들였다. 정답표 한 장과 답안지 묶음을 넣으면 판독기가 위치표대로 칸을 읽어 정답과 맞추고 성적표를 뽑는다. 연필이 흐려 읽지 못한 답안지는 오답으로 치지 않고 판독 불가함에 따로 모인다. 시험지 양식이 바뀌면 김 선생은 답안지 300장이 아니라 위치표 한 장만 고친다.
그림 1 · 판독기는 위치표로 답안지를 읽어 정답표와 맞추고, 다르면 성적표에 오답으로, 읽지 못하면 판독 불가함으로 나눠 보낸다.
그림 2 · 성적표의 오답은 학생을, 판독 불가는 판독기 쪽을, 두 번 넣어 결과가 다른 장은 판독기 자체를 의심하게 한다 — 실제 러너도 실패 · 오류 · 비결정을 따로 센다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 원장 김 선생 | 테스트 자동화 엔지니어 | 정답표 · 위치표 · 판독 순서를 만들고 고친다 |
| 문제지 묶음 | 테스트 데이터 · 케이스 | 같은 스크립트에 넣을 입력 행을 모아 둔다 |
| 학생 | 시험 대상(SUT) | 입력을 받아 실제 결과를 낸다 |
| 정답표 | 테스트 오라클 · 기대 결과 | 케이스마다 맞는 결과를 미리 적어 둔다 |
| 위치표 | 어댑터 · 로케이터 | SUT 의 어느 요소를 읽고 누를지 한곳에 적는다 |
| 판독기 | 러너 · 하네스 | 준비 → 실행 → 비교 → 정리를 사람 없이 되풀이한다 |
| 성적표 | 테스트 보고 | 통과 · 실패 · 오류 수와 실패 내용을 남긴다 |
| 판독 불가함 | 오류(error) | 판정까지 가지 못한 케이스를 실패와 따로 센다 |
⚠ 비유가 맞지 않는 곳: 학생은 같은 문제도 날마다 다르게 풀지만 자동 테스트의 SUT 는 같은 입력에 같은 결과를 내도록 환경을 고정해야 하고, 판독기는 정답표가 틀려도 그대로 채점하므로 기대값 자체의 오류는 자동화가 잡지 못한다.
4구조 — gTAA 네 기능과 하네스
gTAA 는 자동화가 SUT · 시험 관리 · 형상 관리 · 프로젝트 관리와 맞닿는 네 인터페이스와, 도구가 갖춰야 할 네 기능을 정한 추상 구조다(TAE 3.1.1). 그 구현인 프레임워크(TAF)는 러너라고도 부르는 하네스와 테스트 라이브러리 · 스크립트로 이루어지며, 스크립트는 코어 라이브러리를 직접 부르지 않는다(TAE 3.1.3).
그림 3 · 케이스 정의와 실행은 SUT 를 모르고, SUT 에 닿는 코드는 맨 아래 적응 기능 한 곳에만 있다.
| 요소 | 맡는 일 | 실제 예 | 근거 |
|---|---|---|---|
| 테스트 정의 | 케이스 · 데이터 · 키워드를 SUT 와 떼어 적음 | CSV 테스트 데이터 · 키워드 표 | TAE 3.1.1 · 29119-5 |
| 테스트 실행 | 고른 케이스를 돌려 기대값과 비교 · 로그 · 보고 | unittest · JUnit 러너 | TAE 3.1.1 |
| 테스트 적응 | 어댑터로 SUT 의 API · 화면 · 프로토콜에 붙음 | WebDriver · HTTP 클라이언트 | TAE 3.1.1 · W3C WebDriver |
| 하네스 · 픽스처 | 사전 · 사후 조건과 스텁을 갖춰 반복 가능하고 서로 독립인 실행 | setUp · tearDown · mock.patch | TAE 4.1.1 |
| 스크립트 계층 | 케이스 저장소 · 비즈니스 로직 계층만 부름 | 테스트 파일 · feature 파일 | TAE 3.1.3 |
| 비즈니스 로직 계층 | SUT 에 매인 라이브러리 · 설정 | 페이지 객체 · API 래퍼 | TAE 3.1.3 |
| 코어 라이브러리 | SUT 와 무관해 다른 프로젝트에도 재사용 | 로그 · 암호화 · 드라이버 감싸기 | TAE 3.1.3 |
🔑 자동화의 본체는 실행이 아니라 비교다 — 기대 결과를 기계가 대조하지 않으면 사람이 결과 화면을 들여다보는 수동 테스트를 빠르게 돌린 것뿐이다.
5동작 — 소포 요금 표 7행을 하네스로 돌리는 사례
직접 실행(Python 3.14.0 표준 라이브러리 unittest · unittest.mock)이다. 요금 규칙은 설명용 가정 값 「5kg 미만 3,000원 · 10kg 미만 4,000원 · 그 이상 6,000원 · 섬 지역 +3,000원」이고, 섬 할증은 원격 서비스가 준다.
- 테스트 데이터 —
fee_cases.csv에 C1 ~ C6 여섯 행(무게 · 지역 · 기대 요금)을 적고 경계 4.9 · 5.0 · 10.0kg 을 넣는다. - 픽스처 · 스텁 —
setUp()이mock.patch로 할증 서비스를 「도시 0 · 섬 3,000」만 돌려주는 스텁으로 바꾸고tearDown()이 되돌린다(unittest.mock 문서). - 실행 · 비교 — 스크립트 하나가 행마다
subTest로parcel_fee()를 불러 기대 요금과 비교한다. 결과는 C3 한 행AssertionError: 3000 != 4000·FAILED (failures=1)이다. - 결함 수정 — 제품 코드가 5kg 경계를
<= 5로 비교하고 있었다.< 5로 고친다. - 재실행 — 같은 데이터로 다시 돌려 여섯 행이 모두 통과해
OK다. - 하네스 점검 — 스텁을 뺀 채 돌리자 여섯 행 모두
RuntimeError로FAILED (errors=6)이다. 제품 코드는 그대로이고 하네스가 원격 서비스를 대신하지 못한 것이다(unittest 문서 TestResult). - 케이스 늘리기 — 「10.0kg · 섬 · 9,000원」 C7 한 행을 CSV 에 더하자 스크립트를 고치지 않고 일곱 행이 돌아
OK다(TAE 3.1.4 데이터 주도).
그림 4 · ③ 의 빨강은 실패라 제품 코드를 고쳤고, ⑥ 의 빨강은 오류라 하네스를 봤으며, ⑦ 은 코드 0줄로 케이스를 늘렸다.
🔑 실패(failure)는 제품을, 오류(error)는 하네스를 가리킨다 — 둘을 한 숫자로 합쳐 보면 「테스트가 깨졌다」와 「제품이 깨졌다」를 가를 수 없다.
화면이 바뀔 때 고칠 곳의 수는 SUT 를 아는 코드가 몇 곳에 흩어져 있는가로 정해진다. 페이지 객체는 로케이터를 한 클래스에 모아 구조가 바뀌어도 그 한 곳만 고치게 한다(TAE 3.1.5).
그림 5 · 결제 버튼 id 가 바뀌면 선형 스크립트는 40곳을, 페이지 객체를 거친 스크립트는 1곳을 고친다 — 스크립트 수와 무관하게 고칠 곳이 하나로 멈춘다.
6비교 — 자동화 스크립팅 방식 여섯
| 방식 | 케이스를 쓰는 형태 | 쓰는 사람 | SUT 가 바뀔 때 | 맞는 경우 |
|---|---|---|---|---|
| 캡처/재생 | 손 조작 녹화본 | 코드 없이 누구나 | 다시 녹화 | 범위가 작고 거의 안 바뀌는 SUT |
| 선형 스크립트 | 녹화본을 고친 순서 코드 | 프로그래밍 조금 | 스크립트마다 수정 | 짧게 쓰고 버릴 확인 |
| 구조화 스크립트 | 재사용 단계 · 라이브러리 호출 | 프로그래머 | 라이브러리 한 곳 | 오래 돌릴 회귀 |
| 데이터 주도(DDT) | 구조화 + 데이터 파일(CSV · DB 덤프) | 분석가가 데이터 행 추가 | 데이터 관리가 따로 필요 | 흐름은 같고 입력만 다른 케이스가 많을 때 |
| 키워드 주도(KDT) | 사용자 관점 키워드 + 데이터 표 | 업무 · 테스트 분석가 | 키워드 구현을 유지 | 큰 시스템(작은 시스템에는 과함) |
| BDD | Given · When · Then 문장(feature 파일) | 개발 · 업무 · 테스터 함께 | 단계 정의 수정 | 인수 조건을 그대로 테스트로 |
분석한 번 쓰고 버릴 확인이면 캡처/재생 · 선형으로 충분하고, 몇 달 이상 회귀로 돌릴 것은 구조화를 바탕에 두고 입력이 많으면 데이터 주도, 업무 담당이 케이스를 써야 하면 키워드 주도나 BDD 를 얹는다. 근거는 표의 「SUT 가 바뀔 때」 열 — 앞의 두 방식은 유지 · 확장이 어렵다고 TAE 3.1.4 가 밝힌다.
7실무 진단 — 빨간 결과의 원인 가르기
분석빨간 결과는 실패 · 오류 수를 먼저 나누고, 실패라면 같은 판에서 다시 돌려 결정성을 본 뒤에야 제품 결함으로 넘긴다. 오류와 비결정 결과는 제품보다 하네스 · 테스트 코드 쪽 원인이 많기 때문이다(unittest 문서 TestResult · Eck 2019 3절).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 결과가 실패가 아니라 오류로 몰림 | 스텁 · 연결 · 픽스처 누락 | 하네스 | 러너 요약 failures ↔ errors · setUp 로그 | 오류 = 예상 밖 예외 · 실패 = 단언 불일치(unittest 문서 TestResult) |
| 2 | 같은 커밋에서 통과 · 실패가 오감 | 비동기 대기 · 동시성 | 테스트 코드 | 같은 판 반복 실행 기록 | Mozilla 200건의 원인 분류(중복 표시 234개)에서 동시성 26% · 비동기 대기 22%(Eck 2019 3절) |
| 3 | 화면이 조금 바뀔 때마다 스크립트 수십 개 수정 | 로케이터가 스크립트에 흩어짐 | 프레임워크 계층 | 로케이터 문자열 검색 건수 | 구조 변경은 페이지 모델 한 곳만 고쳐야 한다(TAE 3.1.5) |
| 4 | 자동 테스트는 늘 통과인데 운영 결함 | 기대값 비교가 약함(상태 코드만 확인) | 오라클 | 케이스당 단언 수 · 단언 대상 | 사람 판단을 빼고 도구에 기대는 것은 자동화 위험이다(CTFL 6.2) |
러너 요약의 오류 수부터 본다 — 0 이 아니면 제품을 보기 전에 하네스 · 환경을 고친다. 실패만 남았으면 같은 판에서 서너 번 다시 돌려, 매번 같은 행이 실패할 때 결함 보고로 넘긴다.
8시험 대비
www.q-net.or.kr시험에서는 테스트 자동화의 정의와 효과 · 위험을 묻는 정의 · 특징형과, 테스트 하네스 · 자동화 프레임워크의 구성 요소를 그려 설명하는 구조 · 구성형이 나올 수 있다. 데이터 주도 · 키워드 주도 같은 스크립팅 방식 비교가 붙으면 비교 절 표를 그대로 넣는다.
- 개요 — 정의(실행 + 기대값 비교 + 기록) · 효과와 위험(CTFL 6.2) · 테스트 하네스의 뜻
- 구조 — 그림 3 gTAA 네 기능(생성 · 정의 · 실행 · 적응) · 네 인터페이스 + 요소 표
- 프레임워크 계층 — 스크립트 · 비즈니스 로직 · 코어 라이브러리 + 그림 5 페이지 객체(고칠 곳 40 → 1)
- 절차 — 그림 4 데이터 주도 사례(6행 → C3 실패 → 수정 → 오류 6 구분 → 7행)
- 스크립팅 방식 비교 — 캡처/재생 · 선형 · 구조화 · DDT · KDT · BDD 표
- 운영 고려 — 실패 · 오류 분리 · 비결정 테스트 원인(동시성 · 비동기 대기) · CI 연계
꼭 쓸 키워드
테스트 하네스테스트 러너픽스처스텁gTAA테스트 적응데이터 주도 테스트키워드 주도 테스트페이지 객체비결정 테스트
다른 답안과 차이를 내려면 하네스 구성 요소를 나열하는 데서 멈추지 말고, 그림 4 처럼 같은 빨간 결과를 실패와 오류로 갈라 «자동화 결과를 판정하는 법»까지 보인다.
9오해와 사실
- 오해자동화하면 수동 테스트가 필요 없어진다.사실자동화는 미리 적은 기대값만 대조하므로 새 결함을 찾는 탐색과 사람 판단은 남고, 수동이 더 맞는 곳에 도구를 쓰는 것 자체가 CTFL 6.2 의 위험 목록에 있다.
- 오해녹화 도구로 만들면 유지비가 들지 않는다.사실캡처/재생 녹화본은 녹화한 SUT 판에 매여 화면이 바뀌면 다시 떠야 하므로 유지 · 확장이 가장 어렵다(TAE 3.1.4).
- 오해빨간 결과는 곧 제품 결함이다.사실사례 6단계처럼 스텁이 빠지면 제품 코드가 그대로여도 여섯 행이 모두 오류가 나며, 비결정 결과의 원인 상위 둘(동시성 · 비동기 대기)도 대부분 테스트 쪽에서 고친다(Eck 2019 3절).
10핵심 정리
| 구분 | 맡는 것 | 바뀌면 고치는 곳 | 대표 도구 · 형식 | 결과에 보이는 값 | 근거 |
|---|---|---|---|---|---|
| 테스트 데이터 | 입력 · 기대값 행 | 데이터 파일 | CSV · DB 덤프 | 행(하위 테스트) 수 | TAE 3.1.4 |
| 스크립트 | 케이스 흐름 | 업무 흐름이 바뀔 때만 | 테스트 파일 · feature 파일 | 케이스 수 | TAE 3.1.3 |
| 러너 | 수집 · 실행 · 비교 · 보고 | 거의 없음 | unittest · JUnit | 통과 · 실패 · 오류 수 | TAE 3.1.3 |
| 픽스처 · 스텁 | 사전 · 사후 조건 · 가짜 상대 | 픽스처 코드 | setUp · mock.patch | 오류 수 | TAE 4.1.1 |
| 어댑터 · 페이지 객체 | SUT 에 붙는 코드 | 이 한 곳 | WebDriver · API 래퍼 | 로케이터 오류 | TAE 3.1.5 |
| 보고 | 결과 기록 · 공유 | 없음 | 러너 로그 · CI 화면 | 실패 내용 · 추이 | TAE 3.1.1 |
| 비결정 테스트 | 같은 판에서 결과가 오감 | 테스트 코드의 대기 · 동시성 | 반복 실행 | 통과율 | Eck 2019 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISTQB Certified Tester Advanced Level Test Automation Engineering (CTAL-TAE) Syllabus v2.0 — gTAA 네 기능 · 프레임워크 세 계층 · 스크립팅 방식 여섯을 원문으로 볼 때
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 자동화의 효과와 위험 목록(6.2절)을 볼 때
- ★ Understanding Flaky Tests: The Developer's Perspective (Eck · Palomba · Castelluccio · Bacchelli · ESEC/FSE 2019) — 비결정 테스트 200건의 원인 분류와 개발자 121명 조사 수치를 볼 때
- ★ W3C WebDriver Recommendation — 브라우저를 원격 조종하는 표준 인터페이스를 볼 때
- 본문 근거
- ISO/IEC/IEEE 29119-5:2024 Software and systems engineering - Software testing - Part 5: Keyword-Driven Testing — IEEE SA · ISO/IEC · 2024-12 ·
standards.ieee.org/ieee/29119-5/11042/· 확인 2026-11-14 - Selenium History — Selenium Project · 2026-11 ·
www.selenium.dev/history/· 확인 2026-11-14 - Xunit (Martin Fowler bliki) — Martin Fowler · 2006-01 ·
martinfowler.com/bliki/Xunit.html· 확인 2026-11-14 - Python documentation - unittest: Unit testing framework — Python Software Foundation · 2026-11 ·
docs.python.org/3/library/unittest.html· 확인 2026-11-14 - Python documentation - unittest.mock: mock object library — Python Software Foundation · 2026-11 ·
docs.python.org/3/library/unittest.mock.html· 확인 2026-11-14