뮤테이션 테스트Mutation Testing
프로그램에 연산자 하나를 바꾼 작은 결함 사본(뮤턴트)을 일부러 만들어 테스트 스위트가 그 결함을 잡아내는지 보고, 잡은 비율로 테스트 스위트의 결함 검출력을 재는 기법이다.
1요약
- 뮤테이션 테스트는 원본 코드의 연산자 · 상수 하나를 바꾼 뮤턴트를 수십 ~ 수천 개 만들고 기존 테스트 스위트를 각 뮤턴트에 돌려 보는 기법으로, DeMillo · Lipton · Sayward 가 1978년에 정리했고 지금은 PIT(Java) · Stryker(JavaScript · C# · Scala) · mutmut(Python) 같은 도구 위에서 돈다.
- 커버리지는 줄이 «실행됐는가»만 재므로 단언이 약해도 100% 가 나오는데, 실제 결함 357건을 쓴 연구에서 뮤턴트 검출률은 문장 커버리지보다 실제 결함 검출률과 더 강하게 상관했다(Just 2014 1절).
- 「뮤테이션 점수가 낮다」는 살아남은 뮤턴트의 종류로 가른다 — 원본과 결과가 갈리는 입력이 있으면 테스트 케이스 누락, 어떤 입력에서도 같으면 등가 뮤턴트라 점수 분모에서 빼고, 로그 · 설정 줄에 몰려 있으면 연산자 범위를 좁힐 일이다.
2등장 배경
테스트 스위트가 통과해도 그 스위트가 결함을 «잡을 수 있는» 스위트인지는 알 수 없었다. 결함 목록을 미리 알 수 없으니, 테스트 효과를 직접 재는 기준이 없었다(Just 2014 1절).
1978년 4월 DeMillo · Lipton · Sayward 는 숙련 개발자의 결함은 정답과 조금만 다르고(유능한 프로그래머 가정), 작은 결함을 모두 잡는 테스트는 복잡한 결함도 잡는다(결합 효과)는 두 가정 위에 «작은 결함을 심어 잡히는지 보는» 기준을 냈다(DeMillo 1978). 1996년 Offutt 등은 연산자 수를 줄여도 검출력이 거의 같다는 선택적 뮤테이션을 실험으로 보였고(Offutt 1996), 이때 정리된 AOR · LCR · ROR · UOI 가 지금 도구의 기본 연산자다(Petrović 2021 표 1).
오래 쓰이지 못한 까닭은 비용이다. 2018년 Google 은 코드 리뷰 때 변경된 줄에만 한 줄당 뮤턴트 하나를 만드는 방식으로 이를 풀었고, 2만 4천 명 넘는 개발자에게 적용해 의견이 달린 뮤턴트의 82% 가 «고칠 만함»으로 표시됐다(Petrović 2021 5.1절).
3쉽게 이해하기 — 보안 검색대의 가짜 위험물 가방
공항 보안 검색대에 점검원이 온다. 점검원은 여행 가방 38개를 준비해 하나에 한 가지씩 가짜 위험물을 숨기고, 검색 요원 몰래 줄에 섞는다. 모든 가방이 X선 기계를 지나가지만, 요원이 화면에서 알아채고 멈춰 세운 가방만 «잡혔다»로 적힌다. 점검이 끝나면 점검원은 놓친 가방을 요원과 함께 열어 보고, 그중 숨긴 물건이 사실 위험물이 아닌 것은 기록에서 뺀다.
그림 1 · 점검원이 가방마다 가짜 위험물을 하나씩 숨기고, 검색대가 잡은 가방 · 놓친 가방 · 애초에 무해한 가방으로 나눠 잡은 비율을 적는다.
그림 2 · 가방이 X선을 «지나는 것»과 요원이 «알아채는 것»은 다른 관문이다 — 실행된 뮤턴트도 결과 값이 달라지고 단언이 그 차이를 봐야 죽는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 점검원 | 뮤테이션 도구(PIT · Stryker · mutmut) | 연산자를 정해 뮤턴트를 만들고 테스트를 돌려 판정한다 |
| 가짜 위험물 | 뮤테이션 연산자가 만든 결함 | > → >= · - → + · 상수 ±1 처럼 한 곳만 바꾼다 |
| 가방 하나 | 뮤턴트 하나 | 결함 하나만 든 원본 사본 — 한 번에 하나씩 테스트한다 |
| 검색대 | 테스트 스위트 | 원본에서 모두 통과하는 같은 스위트를 뮤턴트마다 돌린다 |
| 잡힌 가방 | Killed | 테스트 하나 이상이 실패해 결함을 드러냈다 |
| 놓친 가방 | Survived | 모든 테스트가 통과 — 케이스나 단언이 빠졌다는 신호 |
| 무해한 물건 | 등가 뮤턴트 | 어떤 입력에서도 원본과 같은 결과 — 죽일 수 없다 |
| 기록판 | 뮤테이션 점수 | Killed ÷ (전체 − 등가) × 100 |
⚠ 비유가 맞지 않는 곳: 검색대 점검은 요원을 평가하지만 뮤테이션 테스트는 놓친 뮤턴트마다 그것을 죽일 테스트를 새로 쓰게 해 테스트 스위트 자체를 고친다. 또 «무해한가»는 열어 보면 바로 알지만, 등가 뮤턴트는 일반적으로 자동 판정할 수 없어(Petrović 2021 3.2.2절) 사람이 따지거나 입력 범위를 좁혀 비교한다.
4구조 — 원본 · 연산자 · 뮤턴트 · 판정
뮤테이션 테스트는 원본에서 모두 통과하는 테스트 스위트를 전제로 한다. 도구가 연산자로 뮤턴트를 만들고, 뮤턴트마다 같은 스위트를 돌려 상태를 매긴 뒤 점수를 낸다.
그림 3 · 뮤턴트마다 같은 테스트 스위트를 돌려 네 상태로 나누고, 등가 뮤턴트를 뺀 분모로 점수를 낸다.
| 요소 | 역할 | 사례 값 | 근거 |
|---|---|---|---|
| 원본 · 테스트 스위트 | 뮤턴트와 견줄 기준 · 원본에서 전부 통과해야 함 | 함수 6줄 · 테스트 3건 | DeMillo 1978 |
| 뮤테이션 연산자 | 한 곳을 바꾸는 규칙 · ROR(관계) · AOR(산술) · LCR(논리) · UOI(단항 삽입) · SBR(문장 삭제) | ROR · AOR · 상수 ±1 | Petrović 2021 표 1 |
| 뮤턴트 | 결함 하나만 든 사본(1차 뮤턴트) | 38개 | 직접 실행 |
| Killed · Timeout | 테스트 실패 또는 제한 시간 초과 = 검출 | 31개 | Stryker 문서 |
| Survived · No coverage | 모두 통과 · 실행되지 않음 = 미검출 | 7개 | Stryker 문서 |
| 등가 뮤턴트 | 모든 입력에서 원본과 같은 결과 · 분모에서 뺌 | 3개 | Petrović 2021 3.2.2절 |
| 뮤테이션 점수 | 검출 ÷ 유효 뮤턴트 | 31 ÷ 35 = 88.6% | Stryker 문서 |
🔑 커버리지는 테스트가 그 줄을 «지났는가»를 재고, 뮤테이션 점수는 그 줄이 틀렸을 때 테스트가 «알아채는가»를 잰다.
5동작 — 수하물 요금 함수의 뮤턴트 38개
설명용 가정 값의 수하물 요금 함수다 — 32kg 초과는 실을 수 없어 -1, 23kg 이하는 0원, 그 사이는 초과 1kg당 10,000원(kg 은 정수). 작성자가 Python 3.14.0 ast 모듈로 연산자 3종(ROR 관계 연산자 교체 · AOR 산술 연산자 교체 · 상수 ±1)을 구현해 직접 실행했다.
def baggage_fee(kg):
if kg > 32:
return -1
if kg <= 23:
return 0
return (kg - 23) * 10000
- 테스트 스위트 A = 3건(kg 10 → 0 · 30 → 70,000 · 40 → -1) — 원본에서 모두 통과하고 줄 · 분기 커버리지 100% 다.
- 연산자 3종이 뮤턴트 38개를 만든다 — 비교식 2곳에서 ROR 14개, 산술식 2곳에서 AOR 12개, 상수 6곳에서 12개.
- 스위트 A 를 38개에 돌리면 31개가 죽고 7개가 살아남는다 — 예를 들어
kg - 23→kg + 23은 kg 30 에서 530,000 을 내 죽는다. - 살아남은 7개를 kg 0 ~ 60 정수 전부로 원본과 견준다 — 4개는 결과가 갈리는 입력이 하나씩 있고, 3개(
kg < 23·kg <= 22·kg % 23)는 갈리는 입력이 없어 등가로 판정한다. - 점수 = 31 ÷ (38 − 3) = 88.6% 다(등가를 빼지 않으면 31 ÷ 38 = 81.6%).
- 살아남은 4개가 갈리는 입력은 24 · 32 · 33 세 개뿐이다 —
kg >= 32와kg > 31은 32,kg > 33은 33,kg <= 24는 24 에서만 다르다. 셋 다 경계값이다. - 스위트 B = A + 3건(kg 24 → 10,000 · 32 → 90,000 · 33 → -1)으로 다시 돌리면 35개가 죽어 점수 35 ÷ 35 = 100% 가 된다. 커버리지는 처음부터 100% 였다.
그림 4 · 커버리지 100% 인 3건 스위트는 유효 뮤턴트 35개 중 31개만 죽였고, 경계값 3건을 더하자 35개를 모두 죽였다.
그림 5 · 살아남은 뮤턴트는 원본과 갈리는 입력이 한 점뿐이고, 그 점이 바로 테스트가 비워 둔 경계값이다.
🔑 살아남은 뮤턴트는 «테스트를 하나 더 써라»가 아니라 «이 입력을 써라»를 알려 준다 — 원본과 갈리는 입력이 곧 빠진 테스트 케이스다.
⚠ 등가 판정은 입력 범위에 묶인다. kg <= 22 는 kg 이 정수일 때만 등가이고, 22.5kg 같은 실수를 받으면 원본 0원 ↔ 뮤턴트 -5,000원으로 갈려 죽일 수 있는 뮤턴트가 된다.
6비교 — 뮤턴트 수를 줄이는 방식
| 기준 | 전체 뮤테이션 | 선택적 뮤테이션 | 변경 줄 증분 | 결함 주입 테스트 |
|---|---|---|---|---|
| 무엇을 바꾸나 | 모든 연산자 · 모든 위치 | 연산자 5개 안팎만 | 리뷰 중인 변경 줄 · 한 줄에 하나 | 실행 중 시스템에 오류 · 지연 · 장애 |
| 재는 것 | 테스트 스위트 검출력 | 같음(근사) | 변경 코드의 테스트 보강 지점 | 시스템의 견딤 · 복구 |
| 뮤턴트 규모 | 코드 줄 수 × 연산자 수 | 크게 줄임(Offutt 1996) | 리뷰 1건 중앙값 2개(Petrović 2021 2.4절) | 시나리오 단위 |
| 점수 | 절대 점수 | 절대 점수 | 쓰지 않음 · 살아남은 뮤턴트를 리뷰 의견으로 | 쓰지 않음 |
| 쓰는 곳 | 연구 · 작은 핵심 모듈 | CI 정기 실행 | 대규모 저장소 코드 리뷰 | 운영 · 분산 시스템 |
분석작은 핵심 모듈이면 전체 뮤테이션으로 점수를 재고, 저장소가 크면 변경 줄 증분으로 바꿔 점수 대신 살아남은 뮤턴트를 리뷰 의견으로 받는다. 근거는 표의 「뮤턴트 규모」 행과, 저장소 전체 점수를 커밋마다 다시 계산할 수 없다는 Petrović 2021 1절이다.
7실무 진단 — 점수가 낮거나 실행이 끝나지 않을 때
분석살아남은 뮤턴트를 «원본과 갈리는 입력이 있는가»로 먼저 나눈다. 갈리면 테스트 누락이고, 갈리지 않으면 등가 · 쓸모없는 위치라 테스트를 더 써도 점수가 오르지 않기 때문이다(Petrović 2021 3절).
| # | 증상 | 의심 원인 | 단계 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 커버리지 100% 인데 경계 연산자 뮤턴트가 생존 | 경계값 케이스 누락 | 테스트 설계 | PIT 보고서의 CONDITIONALS_ | 경계를 바꾼 뮤턴트가 살면 경계 양쪽 입력이 없음(PIT 연산자) |
| 2 | 같은 뮤턴트가 어떤 테스트를 더해도 생존 | 등가 뮤턴트 | 판정 | 입력 범위 전수 비교 · 사람 검토 | 갈리는 입력 없음 → 분모에서 뺌(Petrović 2021 3.2.2절) |
| 3 | 생존이 로그 · 캐시 · 대기 시간 줄에 몰림 | 쓸모없는 위치 변이 | 연산자 범위 | # pragma: no mutate(mutmut) · 대상 클래스 지정 | 로그 · 메모이제이션 · 시간 설정은 제외 대상(Petrović 2021 표 2) |
| 4 | No coverage 가 많음 | 테스트가 그 줄을 실행하지 않음 | 커버리지 | 커버리지 보고서 먼저 | 실행 안 된 뮤턴트는 반드시 살아남음(Stryker 문서) |
| 5 | 실행이 몇 시간째 끝나지 않음 | 루프 뮤턴트 · 전체 실행 | 실행 비용 | mvn -DwithHistory test-compile org. | Timeout 은 검출로 셈 · 이력으로 바뀐 곳만 다시(PIT Maven · timeoutConstant 4,000ms) |
No coverage 부터 지우는 까닭은 실행되지 않은 줄의 뮤턴트는 테스트 품질과 상관없이 살아남아 나머지 행의 판단을 흐리기 때문이다. 그다음 경계 · 등가를 가르고, 마지막에 비용을 줄인다.
8시험 대비
www.q-net.or.kr시험에서는 개념 · 가정 · 점수를 묻는 정의 · 특징형과, 커버리지와 무엇이 다른지 묻는 비교형이 나올 수 있다. 정의형은 구조 그림과 점수 식으로, 비교형은 커버리지 100% 인데 점수가 88.6% 인 사례로 답안을 짠다.
- 개요 — 정의 · DeMillo 1978 · 유능한 프로그래머 가정 · 결합 효과
- 구성 요소 — 그림 3 구조도(원본 · 연산자 · 뮤턴트 · 테스트 스위트 · 판정 상태 넷) + 연산자 표(ROR · AOR · LCR · UOI · SBR)
- 절차와 점수 — 생성 → 실행 → 판정 → 등가 제거 → 점수 식 · 그림 4 사례 막대(31 ÷ 35 → 35 ÷ 35)
- 커버리지와 차이 — 그림 5 갈리는 입력 도식(실행 · 값 차이 · 단언 세 조건)
- 한계와 대응 — 등가 뮤턴트 · 실행 비용 → 선택적 뮤테이션 · 변경 줄 증분(리뷰 1건 중앙값 2개)
- 실증 — 실제 결함 357건 · 73% 결합(Just 2014) · 고칠 만함 82%(Petrović 2021)
꼭 쓸 키워드
뮤턴트뮤테이션 연산자뮤테이션 점수KilledSurvived등가 뮤턴트결합 효과유능한 프로그래머 가정선택적 뮤테이션증분 뮤테이션
다른 답안과 차이를 내는 한 가지는 «커버리지 100% · 뮤테이션 점수 88.6%» 한 쌍과 살아남은 뮤턴트가 가리킨 입력 24 · 32 · 33 을 함께 적어, 두 기준이 재는 것이 다르다는 것을 숫자로 보이는 것이다.
9오해와 사실
- 오해뮤테이션 점수 100% 면 결함이 없다.사실점수는 연산자가 만든 작은 결함에 대한 검출력이고, 실제 결함 357건 중 17% 는 어떤 뮤턴트와도 결합되지 않았다(Just 2014 1절).
- 오해살아남은 뮤턴트는 모두 테스트를 더 쓰면 죽일 수 있다.사실등가 뮤턴트는 어떤 입력에서도 원본과 같아 죽일 수 없고, 일반적으로 자동 판정도 되지 않는다(Petrović 2021 3.2.2절).
- 오해뮤테이션 테스트는 운영 시스템에 결함을 넣어 보는 장애 시험이다.사실뮤턴트는 소스 · 바이트코드 사본에만 만들고 단위 테스트로 판정하며, 운영 중 오류를 주입해 견딤을 보는 것은 결함 주입 테스트다(비교 절 표).
10핵심 정리
| 구분 | 무엇 | 판정 · 식 | 사례 값 | 근거 |
|---|---|---|---|---|
| 연산자 | 한 곳을 바꾸는 규칙 | ROR · AOR · LCR · UOI · SBR | 3종 · 38개 | Petrović 2021 표 1 |
| Killed | 테스트 1건 이상 실패 | 검출 | 31 → 35 | Stryker 문서 |
| Survived | 테스트 모두 통과 | 미검출 · 테스트 보강 | 4 → 0 | Stryker 문서 |
| 등가 뮤턴트 | 원본과 언제나 같은 결과 | 분모에서 뺌 | 3 | Petrović 2021 |
| 뮤테이션 점수 | 검출 ÷ 유효 뮤턴트 | (Killed + Timeout) ÷ (전체 − 등가) | 88.6% → 100% | Stryker 문서 |
| 커버리지와 차이 | 실행 ↔ 알아챔 | 커버리지 100% 여도 생존 가능 | 커버리지 100% · 점수 88.6% | Just 2014 |
| 증분 뮤테이션 | 변경 줄 · 한 줄 하나 | 점수 대신 리뷰 의견 | 고칠 만함 82% | Petrović 2021 5.2절 |
11참고 문헌
- 먼저 볼 문헌
- ★ Practical Mutation Testing at Scale: A view from Google (arXiv:2102.11378v2) — 변경 줄만 · 한 줄에 뮤턴트 하나 · 쓸모없는 노드 제외로 대규모 저장소에 적용한 방법을 볼 때
- ★ Are Mutants a Valid Substitute for Real Faults in Software Testing? (FSE 2014) — 뮤턴트 검출과 실제 결함 검출의 상관 · 결합 효과의 실증 수치를 볼 때
- ★ Stryker Mutator - Mutant states and metrics — Killed · Survived · No coverage · Timeout 상태와 점수 식을 볼 때
- ★ PIT - Mutation operators — 경계 · 부정 · 산술 · 반환값 연산자 이름과 기본 연산자 그룹을 볼 때
- 본문 근거
- Hints on Test Data Selection: Help for the Practicing Programmer (IEEE Computer 11(4) 34-41) — R. A. DeMillo · R. J. Lipton · F. G. Sayward · 1978-04 ·
doi.org/10.1109/C-M.1978.218136· 확인 2026-11-14 - An Experimental Determination of Sufficient Mutant Operators (ACM TOSEM 5(2) 99-118) — A. J. Offutt · A. Lee · G. Rothermel · R. H. Untch · C. Zapf · 1996-04 ·
doi.org/10.1145/227607.227610· 확인 2026-11-14 - State of Mutation Testing at Google (ICSE-SEIP 2018) — G. Petrović · M. Ivanković · 2018-05 ·
research.google/pubs/state-of-mutation-testing-at-google/· 확인 2026-11-14 - PIT - Maven quick start — PIT · 2026-11 ·
pitest.org/quickstart/maven/· 확인 2026-11-14 - mutmut - python mutation tester — mutmut · 2026-11 ·
mutmut.readthedocs.io/en/latest/· 확인 2026-11-14 - Python 3 documentation - ast: Abstract Syntax Trees — Python Software Foundation · 2026-11 ·
docs.python.org/3/library/ast.html· 확인 2026-11-14