IT › 소프트웨어 › 테스트 › 테스트 기법

테스트 커버리지Test Coverage

테스트를 실행하는 동안 계측 코드가 센 «실행된 항목 수 ÷ 실행할 수 있는 항목 수»를 백분율로 낸 값이다. 항목을 함수 · 줄 · 분기 · 조건 중 무엇으로 정하느냐가 값과 뜻을 정한다.

1요약

  1. 테스트 커버리지는 테스트를 돌리는 동안 계측 코드가 센 실행된 항목 ÷ 실행할 수 있는 항목이고, gcov · JaCoCo · coverage.py 가 CI 빌드마다 줄 · 분기 단위로 이 값을 낸다.
  2. 실행하지 않은 코드의 결함은 어떤 테스트도 찾지 못하므로 빈 곳을 찾는 지표가 필요하지만, 스위트 31,000개를 잰 연구에서 스위트 크기를 고정하면 커버리지와 결함 검출력의 상관은 낮거나 중간이었다(Inozemtseva · Holmes 2014).
  3. 「커버리지는 높은데 결함이 샌다」는 셋으로 가른다 — 줄은 다 찼는데 분기가 비었으면 측정 단위, 분기까지 찼으면 단언(판정) 부족, 둘 다 찼는데 기능이 없으면 요구사항 추적 누락이다.

2등장 배경

프로그램이 커지자 «테스트를 충분히 했는가»를 감으로 답하던 시절이 끝났다. 1963년 Miller · Maloney 는 프로그램의 흐름 경로를 체계적으로 지나는 시험 분석을 발표했고(CACM 6(2)), 1976년 McCabe 는 흐름 그래프의 독립 경로 수(순환 복잡도)를 시험해야 할 경로의 하한으로 제시했다.

1985년 Rapps · Weyuker 는 변수의 정의와 사용을 잇는 데이터 흐름 기준을 더해, 커버리지 기준이 «무엇을 셀 것인가»의 목록으로 넓어졌다. 오늘은 컴파일러(gcov) · 바이트코드 에이전트(JaCoCo) · 인터프리터 추적(coverage.py)이 측정을 자동으로 맡는다.

남은 질문은 숫자의 뜻이다. 2014년 연구는 높은 커버리지를 품질 목표로 삼지 말라고 결론지었고(Inozemtseva · Holmes 2014 초록), 2019년 대형 인터넷 기업 한 곳은 하루 10억 줄 · 7개 언어를 재면서 전체 비율보다 변경분 · 코드 리뷰 단위로 보이는 방식을 택했다(Ivanković 외 2019 초록).

3쉽게 이해하기 — 박물관 야간 순찰 카드

야간 경비원 이 씨는 순찰을 돌 때마다 전시실 입구의 도장기에 카드를 넣는다. 전시실 1을 지나면 복도가 둘로 나뉘는데, 이 씨는 늘 전시실 2 쪽 문으로 가고 전시실 3 으로 곧장 가는 문은 한 번도 열지 않는다. 아침에 카드를 본 관장은 도장 셋이 다 찍혔어도 곧장 가는 문 기록이 비어 있다는 점을 짚는다.

박물관 순찰 — 카드에 남는 것 이 씨 테스트 실행 1 전시실 1 문장 2 쪽 문 분기 · 참 전시실 2 문장 2 전시실 3 문장 곧장 가는 문 분기 · 거짓 · 0회 한 번도 안 열림 관장의 카드 점검 도장 3/3 · 문 1/2 줄 100% · 분기 50% 3

그림 1 · 도장 셋이 다 찍혀도(줄 100%) 곧장 가는 문은 한 번도 안 열렸다(분기 50%) — 카드는 «어디를 지났는가»만 적는다.

순찰 시작카드를 들고 입구로
도장 찍기전시실마다 하나
갈림 복도문 둘 중 하나를 엶
카드 모으기밤새 찍힌 기록
관장 점검빈 칸을 찾음
진열장 확인카드에는 안 남음
비유 — 순찰 카드 한 장 실제 — 같은 실행, 다른 분모 도장 칸(방마다) 칸 3개 중 3개 — 다 찼다 문 칸(갈림마다 둘) 2 쪽 문 — 지남 곧장 문 — 빈칸 칸 2개 중 1개 — 반만 찼다 if (late) fee = 500; 테스트 1건 late = 참 줄 기준 분모 = 실행할 수 있는 줄 2 / 2 = 100% 분기 기준 분모 = 갈림 방향(참 · 거짓) 1 / 2 = 50% 거짓 방향은 실행할 줄이 없어 줄 기준에 안 보임

그림 2 · 도장 칸과 문 칸은 분모가 다르다 — 같은 순찰이 «방 기준»으로는 다 찼고 «문 기준»으로는 반만 찼다.

비유 속 역할실제 이름실제로 하는 일
경비원의 한 번 순찰테스트 실행(스위트)테스트 케이스를 돌려 코드를 실제로 지나게 한다
전시실 입구 도장기계측 카운터(probe)빌드 · 적재 때 심은 코드가 지날 때마다 횟수를 더한다
갈림 복도의 두 문분기(결정의 참 · 거짓)조건식 결과마다 다른 쪽으로 가는 방향을 센다
순찰 카드커버리지 데이터.gcda · .coverage 파일에 실행 기록이 쌓인다
박물관 평면도분모(실행할 수 있는 항목)흐름 그래프 · 줄 표 · 바이트코드에서 미리 뽑는다
관장의 카드 점검보고서 · 기준 판정비율을 내고 기준 미달이면 빌드를 멈춘다
진열장 안을 들여다봄단언(테스트 오라클)결과가 맞는지 확인하는 일 — 커버리지는 세지 않는다

⚠ 비유가 맞지 않는 곳: 순찰은 문 하나만 보면 되지만, 코드의 조건식은 a && b 처럼 조건 여럿이 한 문을 이루고 앞 조건만으로 결론이 나면 뒤 조건은 평가조차 하지 않는다(단락 평가) — 그래서 «문 기준»도 도구마다 세는 법이 다르다.

4구조 — 분모 · 분자 · 기준

커버리지는 두 숫자를 다른 때에 얻는다. 분모(실행할 수 있는 항목)는 코드에서 정적으로 뽑고 — gcov 는 컴파일 때 흐름 그래프 .gcno, coverage.py 는 .pyc 줄 표와 AST(coverage.py How it works), JaCoCo 는 바이트코드의 if · switch 분기(JaCoCo Counters) — 분자(실행된 항목)는 테스트를 돌리는 동안 계측 카운터가 쌓는다.

소스 코드 fee.c · *.py · *.java 계측 빌드 · 적재 카운터를 코드에 심음 --coverage · Java 에이전트 · 추적 함수 테스트 실행 지날 때마다 카운터 +1 케이스 · 단언은 테스트가 맡음 분모 실행할 수 있는 항목 .gcno · 줄 표 · 바이트코드 분기 분자 실행된 항목 .gcda(누적) · .coverage(SQLite) ÷ 기준 판정 보고서 비율 ≥ 기준 → 통과 · 미달 → 빌드 실패 빌드 때 코드에서 정적으로 실행 때 카운터에서 동적으로

그림 3 · 분모는 빌드 때 코드에서, 분자는 실행 때 카운터에서 나오고, 보고서가 둘을 나눈 뒤 기준과 견주어 빌드를 통과시키거나 멈춘다.

기준분모(항목)대표 도구 출력포함 관계 · 한계근거
함수정의된 함수 · 메서드gcov function … called · JaCoCo Methods가장 약함 · 함수 안 갈림을 못 봄Invoking gcov
문장 · 줄실행할 수 있는 줄 · 명령gcov Lines executed · JaCoCo Lines · Instructions(C0)함수를 포함 · 실행할 줄이 없는 거짓 방향은 안 보임JaCoCo Counters
분기(결정)결정의 참 · 거짓 방향JaCoCo Branches(C1) · coverage.py branch = True문장을 포함coverage.py config
조건조건식마다 참 · 거짓gcov -b 의 목적 코드 갈림(&& 는 조건마다 갈림)분기와 다른 축 · 독립 영향(MC/DC)은 화이트박스 테스트가 다룸Invoking gcov
기본 경로독립 경로 수 v(G)JaCoCo Complexity(B − D + 1)반복문이 있으면 전체 경로는 셀 수 없음McCabe 1976
데이터 흐름정의 → 사용 쌍(all-defs · all-uses)주로 연구 도구변수 값의 흐름을 봄Rapps · Weyuker 1985
요구사항요구 항목요구 ↔ 케이스 추적표코드 밖 · 만들지 않은 기능을 봄추적표

🔑 커버리지 값은 «무엇을 분모로 셌는가»를 함께 적어야 뜻이 있다 — 분모를 바꾸면 같은 실행이 100% 도 50% 도 된다.

5동작 — 연체료 함수의 gcov 측정 세 번

직접 실행 — MinGW GCC 6.3.0 · gcov · gcc -O0 --coverage. 설명용 가정 함수 late_fee(days, vip) 는 연체 하루 500원, 상한 10,000원, VIP 는 0원이다.

int late_fee(int days, int vip)
{
    int fee = 0;
    if (days > 0 && !vip)
        fee = days * 500;
    if (fee > 10000)
        fee = 10000;
    return fee;
}
  1. gcc -O0 --coverage 로 빌드하면 흐름 그래프 fee.gcno(분모)가 생긴다 — 최적화를 끄는 이유는 최적화가 줄을 합쳐 줄마다 횟수를 낼 수 없기 때문이다(Gcov and Optimization).
  2. 케이스 1건 late_fee(30, 0) → 10,000 을 실행하면 fee.gcda(분자)가 생긴다 — 이 파일은 지우지 않으면 다음 실행 횟수가 더해지므로 단계마다 지우고 전체를 다시 돌렸다(Invoking gcov).
  3. gcov -b -c fee.c → Lines executed:100.00% of 7 · Taken at least once:50.00% of 6 — 7줄은 다 지났지만 4 · 6행의 거짓 방향이 taken 0 이다. 결정 둘의 방향 4개로 직접 세면 2/4 = 50% 다.
  4. 거짓 방향을 겨냥한 (3, 0) → 1,500 · (0, 0) → 0 을 더한 3건 → 결정 방향 4/4 = 100% 인데 gcov 는 83.33% of 6 이다.
  5. 남은 하나는 4행 branch 3 taken 0 = vip 가 참인 갈림이다 — (0, 0) 은 days > 0 에서 이미 거짓이라 vip 를 평가하지 않았다(단락 평가).
  6. (5, 1) → 0 을 더한 4건에서 Taken at least once:100.00% of 6 이 된다.
  7. CI 에서는 이 비율을 기준과 견주어 미달이면 빌드를 멈춘다 — coverage.py 는 fail_under 아래면 종료 코드 2 를 돌려준다(coverage.py config).
케이스 수별 커버리지(%) 0 50 100 기준 80% 100 50 50 100 100 83.33 100 100 100 3 1건 4 3건 6 4건 줄 결정(직접 셈) gcov 갈림 굵은 테두리 = 기준은 넘었지만 vip 참 갈림이 비어 있는 상태

그림 4 · 줄 기준은 1건부터 100% 로 멈춰 있고, 결정 기준은 3건에서, gcov 갈림 기준은 4건에서야 100% 가 된다.

4행 결정 하나 = gcov 갈림 넷 4행 if (days > 0 && !vip) days > 0 참 · b0 · 2회 !vip 거짓 · b1 · 1회 거짓(vip 참) b3 · 0회 참 · b2 · 2회 5행 fee = days*500 6행 fee > 10000 참 · 1회 7행 fee = 10000 거짓 · 2회 8행 return 결정 기준 4행 참 · 거짓 + 6행 참 · 거짓 = 4/4 = 100% gcov 갈림 b0 ~ b3 + 6행 둘 = 6개 중 5개 = 83.33% · 점선 = 0회

그림 5 · 3건 상태에서 결정 방향 넷은 다 지났지만, && 가 조건마다 갈림을 만들어 gcov 분모는 6이고 vip 참 갈림 하나가 0회로 남는다.

🔑 커버리지는 «지나갔는가»만 세고 «맞게 나왔는가»는 세지 않는다 — 4건이 100% 여도 단언 없이 돌렸다면 결과가 틀려도 통과한다.

6비교 — 측정 방식(소스 · 바이트코드 · 인터프리터 계측)

기준소스 계측(gcov)바이트코드 계측(JaCoCo)인터프리터 추적(coverage.py)
계측 시점컴파일 때 카운터 삽입(--coverage)클래스 적재 때 Java 에이전트가 바꿔 씀실행 중 추적 함수(sys.settrace) · 3.12 이상은 sys.monitoring
분모를 얻는 곳.gcno 흐름 그래프바이트코드의 if · switch.pyc 줄 표 · AST 의 줄 사이 이동(arc)
분기를 세는 단위목적 코드 갈림(&& 는 조건마다)바이트코드 분기줄 → 줄 이동
다시 빌드필요(최적화 끔 권장)불필요불필요
기록.gcda · 실행마다 누적클래스마다 probe 배열.coverage(SQLite)

분석언어가 측정 방식을 정하므로 고를 여지는 적고, 판단할 것은 «숫자를 섞지 않는 것»이다. 표의 「분기를 세는 단위」 행처럼 세 도구의 분기 정의가 달라, 언어가 섞인 저장소는 언어별 기준과 추세로 보고 하나의 «분기 %»로 합치지 않는다.

결함 검출력 자체를 재는 지표는 뮤테이션 테스트(일부러 심은 결함을 몇 개 잡는가)가 맡는다.

7실무 진단 — 커버리지 숫자가 이상할 때

분석측정 결함(누적 · 최적화) → 단위(줄 ↔ 분기) → 판정(단언) → 요구 순으로 본다. 앞의 둘은 숫자 자체가 틀린 경우라 먼저 지워야 뒤의 «테스트가 약한가»를 판단할 수 있다(Invoking gcov · Gcov and Optimization).

#증상의심 원인구분확인 명령 · 자료판정 기준(근거)
1고친 적 없는데 횟수가 실행마다 늘어남.gcda 가 지난 실행에 더해짐측정실행 전 .gcda 삭제 여부 · gcov -c 횟수지우지 않으면 누적(Invoking gcov)
2같은 줄들이 모두 같은 횟수 · 분기 빈칸이 안 보임최적화 빌드로 줄이 합쳐짐측정빌드 옵션의 -O2 · -O0커버리지 빌드는 최적화 끔(Gcov and Optimization)
3줄 100% 인데 결함이 거짓 방향에서 남줄 기준만 봄단위gcov -b -c 의 taken 0 · coverage.py branch = True분기 방향마다 1회 이상(JaCoCo Counters C1)
4분기까지 높은데 결함이 샘단언 없는 테스트판정테스트 코드의 단언 수 · 뮤테이션 점수커버리지는 검출력 지표가 아님(Inozemtseva · Holmes 2014)
5전체 기준은 통과인데 새 코드가 시험 안 됨전체 비율만 봄운영변경분(diff) 커버리지 · 리뷰 화면변경분 단위로 보임(Ivanković 외 2019)

1 · 2행은 빌드 설정만 보면 몇 분 안에 끝난다. 4행이 의심되면 커버리지 기준을 올리지 말고 단언과 뮤테이션 점수를 먼저 본다.

8시험 대비

출제 정보 정보관리(135회, 127회, 92회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 커버리지 종류와 포함 관계를 묻는 정의 · 특징형, 주어진 코드에서 문장 · 분기 · 조건 커버리지를 계산하거나 100% 를 만드는 최소 케이스를 묻는 구현 · 설계형이 나올 수 있다. 구현 · 설계형은 흐름도에 갈림 방향을 번호로 적고 케이스마다 지난 방향을 표로 채우면 그대로 답이 된다.

답안 목차
  1. 개요 — 정의(실행된 항목 ÷ 실행할 수 있는 항목) · 분모가 값을 정한다는 점
  2. 측정 구조 — 그림 3(분모 = 빌드 때 · 분자 = 실행 때 · 기준 판정)
  3. 종류와 포함 관계 — 함수 · 문장 · 분기 · 조건 · 기본 경로 · 데이터 흐름 · 요구사항 표
  4. 계산 사례 — 그림 4 · 5(1건 줄 100% · 결정 50% → 3건 결정 100% · gcov 83.33% → 4건 100%)
  5. 측정 방식 — 소스 · 바이트코드 · 인터프리터 계측 비교표
  6. 한계와 운영 — 검출력과의 상관(31,000 스위트) · 단언 · 변경분 커버리지

꼭 쓸 키워드
문장 커버리지분기 커버리지조건 커버리지단락 평가순환 복잡도계측(probe)gcovJaCoCo변경분 커버리지결함 검출력

다른 답안과 차이를 내는 한 가지 — 같은 케이스 3건이 결정 기준 100% · 갈림 기준 83.33% 로 갈리는 계산을 그림 5 처럼 보이면 «분모가 값을 정한다»가 한 장으로 증명된다.

9오해와 사실

  • 오해커버리지 100% 면 테스트가 충분하다.
    사실스위트 크기를 고정하면 커버리지와 결함 검출력의 상관은 낮거나 중간이고, 더 강한 커버리지도 더 나은 예측을 주지 않았다(Inozemtseva · Holmes 2014 초록).
  • 오해분기 커버리지 100% 면 모든 조건을 시험했다.
    사실단락 평가에서는 앞 조건만으로 결정이 나므로, 사례의 3건은 결정 4/4 인데 vip 참은 한 번도 평가되지 않았다(사례 4 · 5단계).
  • 오해커버리지 측정은 실행 결과에 영향이 없다.
    사실계측 빌드는 최적화를 끄고 카운터를 더하므로 배포 빌드와 다른 실행물이다 — 최적화하면 줄이 합쳐져 줄마다 횟수를 낼 수 없다(Gcov and Optimization).

10핵심 정리

기준분모사례 값(1건 → 3건 → 4건)놓치는 것대표 출력
함수함수 11/1 부터 100%함수 안의 갈림gcov function … called
문장 · 줄실행 줄 77/7 부터 100%거짓 방향gcov Lines executed
분기(결정)방향 450% → 100% → 100%단락된 뒤 조건JaCoCo Branches · coverage.py branch
목적 코드 갈림갈림 650% → 83.33% → 100%조건의 독립 영향(MC/DC)gcov -b Taken at least once
기본 경로v(G) = 조건 3 + 1 = 4경로 수 기준반복 횟수별 경로JaCoCo Complexity
데이터 흐름정의 → 사용 쌍—흐름과 무관한 결함연구 도구
요구사항요구 항목—코드 속 결함의 종류추적표

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ GCC Online Documentation - Invoking gcov — gcov 의 -b · -c 출력(branch taken)과 .gcda 누적 규칙을 볼 때
    GNU Project · 2026-11 · gcc.gnu.org/onlinedocs/gcc/Invoking-Gcov.html · 확인 2026-11-14
  3. ★ Coverage Is Not Strongly Correlated with Test Suite Effectiveness (ICSE 2014, 435-445) — 스위트 크기를 고정하면 커버리지와 결함 검출력의 상관이 낮다는 결과를 볼 때
    L. Inozemtseva · R. Holmes · University of Waterloo · 2014-06 · cs.ubc.ca/~rtholmes/papers/icse_2014_inozemtseva.pdf · 확인 2026-11-14
  4. ★ Code Coverage at Google (ESEC/FSE 2019, 955-963) — 커버리지를 변경분 · 코드 리뷰 단위로 보이는 운영 방식을 볼 때
    M. Ivanković · G. Petrović · R. Just · G. Fraser · ACM · 2019-08 · research.google/pubs/code-coverage-at-google/ · 확인 2026-11-14
  5. ★ Coverage.py - How coverage.py works — 실행 · 분석 · 보고 세 단계와 분모(줄 표 · AST)를 얻는 법을 볼 때
    Coverage.py · 2026-11 · coverage.readthedocs.io/en/latest/howitworks.html · 확인 2026-11-14
  6. ★ JaCoCo - Coverage Counters — 명령(C0) · 분기(C1) · 순환 복잡도 카운터의 정의를 볼 때
    EclEmma · JaCoCo · 2026-11 · www.jacoco.org/jacoco/trunk/doc/counters.html · 확인 2026-11-14
  7. 본문 근거
  8. GCC Online Documentation - Using gcov with GCC Optimization — GNU Project · 2026-11 · gcc.gnu.org/onlinedocs/gcc/Gcov-and-Optimization.html · 확인 2026-11-14
  9. Coverage.py - Configuration reference — Coverage.py · 2026-11 · coverage.readthedocs.io/en/latest/config.html · 확인 2026-11-14
  10. JaCoCo - Implementation Design — EclEmma · JaCoCo · 2026-11 · www.jacoco.org/jacoco/trunk/doc/implementation.html · 확인 2026-11-14
  11. Systematic mistake analysis of digital computer programs (Communications of the ACM 6(2) 58-63) — J. C. Miller · C. J. Maloney · ACM · 1963-02 · doi.org/10.1145/366246.366248 · 확인 2026-11-14
  12. A Complexity Measure (IEEE Transactions on Software Engineering SE-2(4) 308-320) — T. J. McCabe · IEEE · 1976-12 · doi.org/10.1109/TSE.1976.233837 · 확인 2026-11-14
  13. Selecting Software Test Data Using Data Flow Information (IEEE Transactions on Software Engineering SE-11(4) 367-375) — S. Rapps · E. J. Weyuker · IEEE · 1985-04 · doi.org/10.1109/TSE.1985.232226 · 확인 2026-11-14