IT › 소프트웨어 › 테스트 › 테스트 기법

뮤테이션 테스트Mutation Testing

프로그램에 연산자 하나를 바꾼 작은 결함 사본(뮤턴트)을 일부러 만들어 테스트 스위트가 그 결함을 잡아내는지 보고, 잡은 비율로 테스트 스위트의 결함 검출력을 재는 기법이다.

1요약

  1. 뮤테이션 테스트는 원본 코드의 연산자 · 상수 하나를 바꾼 뮤턴트를 수십 ~ 수천 개 만들고 기존 테스트 스위트를 각 뮤턴트에 돌려 보는 기법으로, DeMillo · Lipton · Sayward 가 1978년에 정리했고 지금은 PIT(Java) · Stryker(JavaScript · C# · Scala) · mutmut(Python) 같은 도구 위에서 돈다.
  2. 커버리지는 줄이 «실행됐는가»만 재므로 단언이 약해도 100% 가 나오는데, 실제 결함 357건을 쓴 연구에서 뮤턴트 검출률은 문장 커버리지보다 실제 결함 검출률과 더 강하게 상관했다(Just 2014 1절).
  3. 「뮤테이션 점수가 낮다」는 살아남은 뮤턴트의 종류로 가른다 — 원본과 결과가 갈리는 입력이 있으면 테스트 케이스 누락, 어떤 입력에서도 같으면 등가 뮤턴트라 점수 분모에서 빼고, 로그 · 설정 줄에 몰려 있으면 연산자 범위를 좁힐 일이다.

2등장 배경

테스트 스위트가 통과해도 그 스위트가 결함을 «잡을 수 있는» 스위트인지는 알 수 없었다. 결함 목록을 미리 알 수 없으니, 테스트 효과를 직접 재는 기준이 없었다(Just 2014 1절).

1978년 4월 DeMillo · Lipton · Sayward 는 숙련 개발자의 결함은 정답과 조금만 다르고(유능한 프로그래머 가정), 작은 결함을 모두 잡는 테스트는 복잡한 결함도 잡는다(결합 효과)는 두 가정 위에 «작은 결함을 심어 잡히는지 보는» 기준을 냈다(DeMillo 1978). 1996년 Offutt 등은 연산자 수를 줄여도 검출력이 거의 같다는 선택적 뮤테이션을 실험으로 보였고(Offutt 1996), 이때 정리된 AOR · LCR · ROR · UOI 가 지금 도구의 기본 연산자다(Petrović 2021 표 1).

오래 쓰이지 못한 까닭은 비용이다. 2018년 Google 은 코드 리뷰 때 변경된 줄에만 한 줄당 뮤턴트 하나를 만드는 방식으로 이를 풀었고, 2만 4천 명 넘는 개발자에게 적용해 의견이 달린 뮤턴트의 82% 가 «고칠 만함»으로 표시됐다(Petrović 2021 5.1절).

3쉽게 이해하기 — 보안 검색대의 가짜 위험물 가방

공항 보안 검색대에 점검원이 온다. 점검원은 여행 가방 38개를 준비해 하나에 한 가지씩 가짜 위험물을 숨기고, 검색 요원 몰래 줄에 섞는다. 모든 가방이 X선 기계를 지나가지만, 요원이 화면에서 알아채고 멈춰 세운 가방만 «잡혔다»로 적힌다. 점검이 끝나면 점검원은 놓친 가방을 요원과 함께 열어 보고, 그중 숨긴 물건이 사실 위험물이 아닌 것은 기록에서 뺀다.

점검원 뮤테이션 도구 뮤턴트 가방 38개 가방마다 가짜 하나씩 원래 짐 = 원본 코드 1 검색대 테스트 스위트 요원이 화면을 봄 = 단언 검사 모든 가방이 X선을 지남 = 커버리지 100% 2 3 4 잡힌 가방 Killed 놓친 가방 Survived 보강 무해한 물건 등가 뮤턴트 기록판 — 잡힌 가방 ÷ (전체 − 무해한 가방) = 뮤테이션 점수

그림 1 · 점검원이 가방마다 가짜 위험물을 하나씩 숨기고, 검색대가 잡은 가방 · 놓친 가방 · 애초에 무해한 가방으로 나눠 잡은 비율을 적는다.

가방 꾸리기가방마다 가짜 하나
검색대 통과모든 가방이 지남
화면 확인요원이 알아채나
잡힘 · 놓침가방마다 판정
무해 가려내기놓친 가방을 열어 봄
점수 적기잡은 비율
비유 — 관문 셋 실제 — 뮤턴트가 죽는 조건 가방이 X선을 지남 30kg 가방 = 지남 화면에 숨긴 물건이 보임 30kg 가방 = 안 보임 → 여기서 멈춤 요원이 멈춰 세움 보이는 것을 알아챔 실행 바뀐 줄을 테스트가 지남 커버리지가 재는 것은 여기까지 값 차이 결과가 원본과 달라짐 kg = 30 이면 두 판 모두 70,000 단언 테스트가 차이를 봄 셋을 다 지나야 Killed 30kg 가방 = 테스트 입력 kg = 30 · 숨긴 물건 = 「kg > 32」를 「kg >= 32」로 바꾼 뮤턴트

그림 2 · 가방이 X선을 «지나는 것»과 요원이 «알아채는 것»은 다른 관문이다 — 실행된 뮤턴트도 결과 값이 달라지고 단언이 그 차이를 봐야 죽는다.

비유 속 역할실제 이름실제로 하는 일
점검원뮤테이션 도구(PIT · Stryker · mutmut)연산자를 정해 뮤턴트를 만들고 테스트를 돌려 판정한다
가짜 위험물뮤테이션 연산자가 만든 결함> → >= · - → + · 상수 ±1 처럼 한 곳만 바꾼다
가방 하나뮤턴트 하나결함 하나만 든 원본 사본 — 한 번에 하나씩 테스트한다
검색대테스트 스위트원본에서 모두 통과하는 같은 스위트를 뮤턴트마다 돌린다
잡힌 가방Killed테스트 하나 이상이 실패해 결함을 드러냈다
놓친 가방Survived모든 테스트가 통과 — 케이스나 단언이 빠졌다는 신호
무해한 물건등가 뮤턴트어떤 입력에서도 원본과 같은 결과 — 죽일 수 없다
기록판뮤테이션 점수Killed ÷ (전체 − 등가) × 100

⚠ 비유가 맞지 않는 곳: 검색대 점검은 요원을 평가하지만 뮤테이션 테스트는 놓친 뮤턴트마다 그것을 죽일 테스트를 새로 쓰게 해 테스트 스위트 자체를 고친다. 또 «무해한가»는 열어 보면 바로 알지만, 등가 뮤턴트는 일반적으로 자동 판정할 수 없어(Petrović 2021 3.2.2절) 사람이 따지거나 입력 범위를 좁혀 비교한다.

4구조 — 원본 · 연산자 · 뮤턴트 · 판정

뮤테이션 테스트는 원본에서 모두 통과하는 테스트 스위트를 전제로 한다. 도구가 연산자로 뮤턴트를 만들고, 뮤턴트마다 같은 스위트를 돌려 상태를 매긴 뒤 점수를 낸다.

원본 코드 테스트 모두 통과 뮤테이션 연산자 ROR · AOR · LCR UOI · SBR · 상수 M1 M2 … MN 한 곳만 바꾼 사본 테스트 스위트 뮤턴트마다 실행 같은 스위트 그대로 Killed — 테스트 실패 Timeout — 검출로 셈 Survived — 모두 통과 No coverage — 실행 안 됨 사람 검토 → 등가 점수 = (Killed + Timeout) ÷ (전체 − 등가 − 컴파일 오류) × 100 위 두 상자 = 검출 · 아래 두 상자 = 미검출 · 점선 상자 = 실행조차 안 된 미검출

그림 3 · 뮤턴트마다 같은 테스트 스위트를 돌려 네 상태로 나누고, 등가 뮤턴트를 뺀 분모로 점수를 낸다.

요소역할사례 값근거
원본 · 테스트 스위트뮤턴트와 견줄 기준 · 원본에서 전부 통과해야 함함수 6줄 · 테스트 3건DeMillo 1978
뮤테이션 연산자한 곳을 바꾸는 규칙 · ROR(관계) · AOR(산술) · LCR(논리) · UOI(단항 삽입) · SBR(문장 삭제)ROR · AOR · 상수 ±1Petrović 2021 표 1
뮤턴트결함 하나만 든 사본(1차 뮤턴트)38개직접 실행
Killed · Timeout테스트 실패 또는 제한 시간 초과 = 검출31개Stryker 문서
Survived · No coverage모두 통과 · 실행되지 않음 = 미검출7개Stryker 문서
등가 뮤턴트모든 입력에서 원본과 같은 결과 · 분모에서 뺌3개Petrović 2021 3.2.2절
뮤테이션 점수검출 ÷ 유효 뮤턴트31 ÷ 35 = 88.6%Stryker 문서

🔑 커버리지는 테스트가 그 줄을 «지났는가»를 재고, 뮤테이션 점수는 그 줄이 틀렸을 때 테스트가 «알아채는가»를 잰다.

5동작 — 수하물 요금 함수의 뮤턴트 38개

설명용 가정 값의 수하물 요금 함수다 — 32kg 초과는 실을 수 없어 -1, 23kg 이하는 0원, 그 사이는 초과 1kg당 10,000원(kg 은 정수). 작성자가 Python 3.14.0 ast 모듈로 연산자 3종(ROR 관계 연산자 교체 · AOR 산술 연산자 교체 · 상수 ±1)을 구현해 직접 실행했다.

def baggage_fee(kg):
    if kg > 32:
        return -1
    if kg <= 23:
        return 0
    return (kg - 23) * 10000
  1. 테스트 스위트 A = 3건(kg 10 → 0 · 30 → 70,000 · 40 → -1) — 원본에서 모두 통과하고 줄 · 분기 커버리지 100% 다.
  2. 연산자 3종이 뮤턴트 38개를 만든다 — 비교식 2곳에서 ROR 14개, 산술식 2곳에서 AOR 12개, 상수 6곳에서 12개.
  3. 스위트 A 를 38개에 돌리면 31개가 죽고 7개가 살아남는다 — 예를 들어 kg - 23 → kg + 23 은 kg 30 에서 530,000 을 내 죽는다.
  4. 살아남은 7개를 kg 0 ~ 60 정수 전부로 원본과 견준다 — 4개는 결과가 갈리는 입력이 하나씩 있고, 3개(kg < 23 · kg <= 22 · kg % 23)는 갈리는 입력이 없어 등가로 판정한다.
  5. 점수 = 31 ÷ (38 − 3) = 88.6% 다(등가를 빼지 않으면 31 ÷ 38 = 81.6%).
  6. 살아남은 4개가 갈리는 입력은 24 · 32 · 33 세 개뿐이다 — kg >= 32 와 kg > 31 은 32, kg > 33 은 33, kg <= 24 는 24 에서만 다르다. 셋 다 경계값이다.
  7. 스위트 B = A + 3건(kg 24 → 10,000 · 32 → 90,000 · 33 → -1)으로 다시 돌리면 35개가 죽어 점수 35 ÷ 35 = 100% 가 된다. 커버리지는 처음부터 100% 였다.
1 원본 · 테스트 3건 2 뮤턴트 38개(ROR 14 · AOR 12 · 상수 12) 3 스위트 A 3건 Killed 31 생존 4 등가 3 5 점수 31 ÷ 35 = 88.6% · 줄 · 분기 커버리지 100% 7 스위트 B 6건 Killed 35 등가 3 점수 35 ÷ 35 = 100% · 커버리지 그대로 100% 막대 길이 = 뮤턴트 수(1개 = 14px) · 연한 부분 = 등가(분모에서 뺌)

그림 4 · 커버리지 100% 인 3건 스위트는 유효 뮤턴트 35개 중 31개만 죽였고, 경계값 3건을 더하자 35개를 모두 죽였다.

원본과 결과가 갈리는 입력(kg) kg >= 32 kg > 31 kg > 33 kg <= 24 kg < 23 kg <= 22 (kg − 23) → kg % 23 갈리는 입력 없음 = 등가 10 23 24 30 32 33 40 6 4 점선 = 스위트 A 입력 · 실선 = 스위트 B 가 더한 입력 · 칠한 상자 = 결과가 다른 입력 · 상자 1개 = 1kg(10 은 왼쪽 끝으로 당김)

그림 5 · 살아남은 뮤턴트는 원본과 갈리는 입력이 한 점뿐이고, 그 점이 바로 테스트가 비워 둔 경계값이다.

🔑 살아남은 뮤턴트는 «테스트를 하나 더 써라»가 아니라 «이 입력을 써라»를 알려 준다 — 원본과 갈리는 입력이 곧 빠진 테스트 케이스다.

⚠ 등가 판정은 입력 범위에 묶인다. kg <= 22 는 kg 이 정수일 때만 등가이고, 22.5kg 같은 실수를 받으면 원본 0원 ↔ 뮤턴트 -5,000원으로 갈려 죽일 수 있는 뮤턴트가 된다.

6비교 — 뮤턴트 수를 줄이는 방식

기준전체 뮤테이션선택적 뮤테이션변경 줄 증분결함 주입 테스트
무엇을 바꾸나모든 연산자 · 모든 위치연산자 5개 안팎만리뷰 중인 변경 줄 · 한 줄에 하나실행 중 시스템에 오류 · 지연 · 장애
재는 것테스트 스위트 검출력같음(근사)변경 코드의 테스트 보강 지점시스템의 견딤 · 복구
뮤턴트 규모코드 줄 수 × 연산자 수크게 줄임(Offutt 1996)리뷰 1건 중앙값 2개(Petrović 2021 2.4절)시나리오 단위
점수절대 점수절대 점수쓰지 않음 · 살아남은 뮤턴트를 리뷰 의견으로쓰지 않음
쓰는 곳연구 · 작은 핵심 모듈CI 정기 실행대규모 저장소 코드 리뷰운영 · 분산 시스템

분석작은 핵심 모듈이면 전체 뮤테이션으로 점수를 재고, 저장소가 크면 변경 줄 증분으로 바꿔 점수 대신 살아남은 뮤턴트를 리뷰 의견으로 받는다. 근거는 표의 「뮤턴트 규모」 행과, 저장소 전체 점수를 커밋마다 다시 계산할 수 없다는 Petrović 2021 1절이다.

7실무 진단 — 점수가 낮거나 실행이 끝나지 않을 때

분석살아남은 뮤턴트를 «원본과 갈리는 입력이 있는가»로 먼저 나눈다. 갈리면 테스트 누락이고, 갈리지 않으면 등가 · 쓸모없는 위치라 테스트를 더 써도 점수가 오르지 않기 때문이다(Petrović 2021 3절).

#증상의심 원인단계확인 명령 · 자료판정 기준(근거)
1커버리지 100% 인데 경계 연산자 뮤턴트가 생존경계값 케이스 누락테스트 설계PIT 보고서의 CONDITIONALS_BOUNDARY 행경계를 바꾼 뮤턴트가 살면 경계 양쪽 입력이 없음(PIT 연산자)
2같은 뮤턴트가 어떤 테스트를 더해도 생존등가 뮤턴트판정입력 범위 전수 비교 · 사람 검토갈리는 입력 없음 → 분모에서 뺌(Petrović 2021 3.2.2절)
3생존이 로그 · 캐시 · 대기 시간 줄에 몰림쓸모없는 위치 변이연산자 범위# pragma: no mutate(mutmut) · 대상 클래스 지정로그 · 메모이제이션 · 시간 설정은 제외 대상(Petrović 2021 표 2)
4No coverage 가 많음테스트가 그 줄을 실행하지 않음커버리지커버리지 보고서 먼저실행 안 된 뮤턴트는 반드시 살아남음(Stryker 문서)
5실행이 몇 시간째 끝나지 않음루프 뮤턴트 · 전체 실행실행 비용mvn -DwithHistory test-compile org.pitest:pitest-maven:mutationCoverageTimeout 은 검출로 셈 · 이력으로 바뀐 곳만 다시(PIT Maven · timeoutConstant 4,000ms)

No coverage 부터 지우는 까닭은 실행되지 않은 줄의 뮤턴트는 테스트 품질과 상관없이 살아남아 나머지 행의 판단을 흐리기 때문이다. 그다음 경계 · 등가를 가르고, 마지막에 비용을 줄인다.

8시험 대비

출제 정보 정보관리(133회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 개념 · 가정 · 점수를 묻는 정의 · 특징형과, 커버리지와 무엇이 다른지 묻는 비교형이 나올 수 있다. 정의형은 구조 그림과 점수 식으로, 비교형은 커버리지 100% 인데 점수가 88.6% 인 사례로 답안을 짠다.

답안 목차
  1. 개요 — 정의 · DeMillo 1978 · 유능한 프로그래머 가정 · 결합 효과
  2. 구성 요소 — 그림 3 구조도(원본 · 연산자 · 뮤턴트 · 테스트 스위트 · 판정 상태 넷) + 연산자 표(ROR · AOR · LCR · UOI · SBR)
  3. 절차와 점수 — 생성 → 실행 → 판정 → 등가 제거 → 점수 식 · 그림 4 사례 막대(31 ÷ 35 → 35 ÷ 35)
  4. 커버리지와 차이 — 그림 5 갈리는 입력 도식(실행 · 값 차이 · 단언 세 조건)
  5. 한계와 대응 — 등가 뮤턴트 · 실행 비용 → 선택적 뮤테이션 · 변경 줄 증분(리뷰 1건 중앙값 2개)
  6. 실증 — 실제 결함 357건 · 73% 결합(Just 2014) · 고칠 만함 82%(Petrović 2021)

꼭 쓸 키워드
뮤턴트뮤테이션 연산자뮤테이션 점수KilledSurvived등가 뮤턴트결합 효과유능한 프로그래머 가정선택적 뮤테이션증분 뮤테이션

다른 답안과 차이를 내는 한 가지는 «커버리지 100% · 뮤테이션 점수 88.6%» 한 쌍과 살아남은 뮤턴트가 가리킨 입력 24 · 32 · 33 을 함께 적어, 두 기준이 재는 것이 다르다는 것을 숫자로 보이는 것이다.

9오해와 사실

  • 오해뮤테이션 점수 100% 면 결함이 없다.
    사실점수는 연산자가 만든 작은 결함에 대한 검출력이고, 실제 결함 357건 중 17% 는 어떤 뮤턴트와도 결합되지 않았다(Just 2014 1절).
  • 오해살아남은 뮤턴트는 모두 테스트를 더 쓰면 죽일 수 있다.
    사실등가 뮤턴트는 어떤 입력에서도 원본과 같아 죽일 수 없고, 일반적으로 자동 판정도 되지 않는다(Petrović 2021 3.2.2절).
  • 오해뮤테이션 테스트는 운영 시스템에 결함을 넣어 보는 장애 시험이다.
    사실뮤턴트는 소스 · 바이트코드 사본에만 만들고 단위 테스트로 판정하며, 운영 중 오류를 주입해 견딤을 보는 것은 결함 주입 테스트다(비교 절 표).

10핵심 정리

구분무엇판정 · 식사례 값근거
연산자한 곳을 바꾸는 규칙ROR · AOR · LCR · UOI · SBR3종 · 38개Petrović 2021 표 1
Killed테스트 1건 이상 실패검출31 → 35Stryker 문서
Survived테스트 모두 통과미검출 · 테스트 보강4 → 0Stryker 문서
등가 뮤턴트원본과 언제나 같은 결과분모에서 뺌3Petrović 2021
뮤테이션 점수검출 ÷ 유효 뮤턴트(Killed + Timeout) ÷ (전체 − 등가)88.6% → 100%Stryker 문서
커버리지와 차이실행 ↔ 알아챔커버리지 100% 여도 생존 가능커버리지 100% · 점수 88.6%Just 2014
증분 뮤테이션변경 줄 · 한 줄 하나점수 대신 리뷰 의견고칠 만함 82%Petrović 2021 5.2절

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Practical Mutation Testing at Scale: A view from Google (arXiv:2102.11378v2) — 변경 줄만 · 한 줄에 뮤턴트 하나 · 쓸모없는 노드 제외로 대규모 저장소에 적용한 방법을 볼 때
    G. Petrović · M. Ivanković · G. Fraser · R. Just · 2021-02 · arxiv.org/abs/2102.11378 · 확인 2026-11-14
  3. ★ Are Mutants a Valid Substitute for Real Faults in Software Testing? (FSE 2014) — 뮤턴트 검출과 실제 결함 검출의 상관 · 결합 효과의 실증 수치를 볼 때
    R. Just · D. Jalali · L. Inozemtseva · M. D. Ernst · R. Holmes · G. Fraser · 2014-11 · homes.cs.washington.edu/~rjust/publ/mutants_real_faults_fse_2014.pdf · 확인 2026-11-14
  4. ★ Stryker Mutator - Mutant states and metrics — Killed · Survived · No coverage · Timeout 상태와 점수 식을 볼 때
    Stryker Mutator · 2026-11 · stryker-mutator.io/docs/mutation-testing-elements/mutant-states-and-metrics/ · 확인 2026-11-14
  5. ★ PIT - Mutation operators — 경계 · 부정 · 산술 · 반환값 연산자 이름과 기본 연산자 그룹을 볼 때
    PIT · 2026-11 · pitest.org/quickstart/mutators/ · 확인 2026-11-14
  6. 본문 근거
  7. Hints on Test Data Selection: Help for the Practicing Programmer (IEEE Computer 11(4) 34-41) — R. A. DeMillo · R. J. Lipton · F. G. Sayward · 1978-04 · doi.org/10.1109/C-M.1978.218136 · 확인 2026-11-14
  8. An Experimental Determination of Sufficient Mutant Operators (ACM TOSEM 5(2) 99-118) — A. J. Offutt · A. Lee · G. Rothermel · R. H. Untch · C. Zapf · 1996-04 · doi.org/10.1145/227607.227610 · 확인 2026-11-14
  9. State of Mutation Testing at Google (ICSE-SEIP 2018) — G. Petrović · M. Ivanković · 2018-05 · research.google/pubs/state-of-mutation-testing-at-google/ · 확인 2026-11-14
  10. PIT - Maven quick start — PIT · 2026-11 · pitest.org/quickstart/maven/ · 확인 2026-11-14
  11. mutmut - python mutation tester — mutmut · 2026-11 · mutmut.readthedocs.io/en/latest/ · 확인 2026-11-14
  12. Python 3 documentation - ast: Abstract Syntax Trees — Python Software Foundation · 2026-11 · docs.python.org/3/library/ast.html · 확인 2026-11-14