테스트 커버리지Test Coverage
테스트를 실행하는 동안 계측 코드가 센 «실행된 항목 수 ÷ 실행할 수 있는 항목 수»를 백분율로 낸 값이다. 항목을 함수 · 줄 · 분기 · 조건 중 무엇으로 정하느냐가 값과 뜻을 정한다.
1요약
- 테스트 커버리지는 테스트를 돌리는 동안 계측 코드가 센 실행된 항목 ÷ 실행할 수 있는 항목이고, gcov · JaCoCo · coverage.py 가 CI 빌드마다 줄 · 분기 단위로 이 값을 낸다.
- 실행하지 않은 코드의 결함은 어떤 테스트도 찾지 못하므로 빈 곳을 찾는 지표가 필요하지만, 스위트 31,000개를 잰 연구에서 스위트 크기를 고정하면 커버리지와 결함 검출력의 상관은 낮거나 중간이었다(Inozemtseva · Holmes 2014).
- 「커버리지는 높은데 결함이 샌다」는 셋으로 가른다 — 줄은 다 찼는데 분기가 비었으면 측정 단위, 분기까지 찼으면 단언(판정) 부족, 둘 다 찼는데 기능이 없으면 요구사항 추적 누락이다.
2등장 배경
프로그램이 커지자 «테스트를 충분히 했는가»를 감으로 답하던 시절이 끝났다. 1963년 Miller · Maloney 는 프로그램의 흐름 경로를 체계적으로 지나는 시험 분석을 발표했고(CACM 6(2)), 1976년 McCabe 는 흐름 그래프의 독립 경로 수(순환 복잡도)를 시험해야 할 경로의 하한으로 제시했다.
1985년 Rapps · Weyuker 는 변수의 정의와 사용을 잇는 데이터 흐름 기준을 더해, 커버리지 기준이 «무엇을 셀 것인가»의 목록으로 넓어졌다. 오늘은 컴파일러(gcov) · 바이트코드 에이전트(JaCoCo) · 인터프리터 추적(coverage.py)이 측정을 자동으로 맡는다.
남은 질문은 숫자의 뜻이다. 2014년 연구는 높은 커버리지를 품질 목표로 삼지 말라고 결론지었고(Inozemtseva · Holmes 2014 초록), 2019년 대형 인터넷 기업 한 곳은 하루 10억 줄 · 7개 언어를 재면서 전체 비율보다 변경분 · 코드 리뷰 단위로 보이는 방식을 택했다(Ivanković 외 2019 초록).
3쉽게 이해하기 — 박물관 야간 순찰 카드
야간 경비원 이 씨는 순찰을 돌 때마다 전시실 입구의 도장기에 카드를 넣는다. 전시실 1을 지나면 복도가 둘로 나뉘는데, 이 씨는 늘 전시실 2 쪽 문으로 가고 전시실 3 으로 곧장 가는 문은 한 번도 열지 않는다. 아침에 카드를 본 관장은 도장 셋이 다 찍혔어도 곧장 가는 문 기록이 비어 있다는 점을 짚는다.
그림 1 · 도장 셋이 다 찍혀도(줄 100%) 곧장 가는 문은 한 번도 안 열렸다(분기 50%) — 카드는 «어디를 지났는가»만 적는다.
그림 2 · 도장 칸과 문 칸은 분모가 다르다 — 같은 순찰이 «방 기준»으로는 다 찼고 «문 기준»으로는 반만 찼다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 경비원의 한 번 순찰 | 테스트 실행(스위트) | 테스트 케이스를 돌려 코드를 실제로 지나게 한다 |
| 전시실 입구 도장기 | 계측 카운터(probe) | 빌드 · 적재 때 심은 코드가 지날 때마다 횟수를 더한다 |
| 갈림 복도의 두 문 | 분기(결정의 참 · 거짓) | 조건식 결과마다 다른 쪽으로 가는 방향을 센다 |
| 순찰 카드 | 커버리지 데이터 | .gcda · .coverage 파일에 실행 기록이 쌓인다 |
| 박물관 평면도 | 분모(실행할 수 있는 항목) | 흐름 그래프 · 줄 표 · 바이트코드에서 미리 뽑는다 |
| 관장의 카드 점검 | 보고서 · 기준 판정 | 비율을 내고 기준 미달이면 빌드를 멈춘다 |
| 진열장 안을 들여다봄 | 단언(테스트 오라클) | 결과가 맞는지 확인하는 일 — 커버리지는 세지 않는다 |
⚠ 비유가 맞지 않는 곳: 순찰은 문 하나만 보면 되지만, 코드의 조건식은 a && b 처럼 조건 여럿이 한 문을 이루고 앞 조건만으로 결론이 나면 뒤 조건은 평가조차 하지 않는다(단락 평가) — 그래서 «문 기준»도 도구마다 세는 법이 다르다.
4구조 — 분모 · 분자 · 기준
커버리지는 두 숫자를 다른 때에 얻는다. 분모(실행할 수 있는 항목)는 코드에서 정적으로 뽑고 — gcov 는 컴파일 때 흐름 그래프 .gcno, coverage.py 는 .pyc 줄 표와 AST(coverage.py How it works), JaCoCo 는 바이트코드의 if · switch 분기(JaCoCo Counters) — 분자(실행된 항목)는 테스트를 돌리는 동안 계측 카운터가 쌓는다.
그림 3 · 분모는 빌드 때 코드에서, 분자는 실행 때 카운터에서 나오고, 보고서가 둘을 나눈 뒤 기준과 견주어 빌드를 통과시키거나 멈춘다.
| 기준 | 분모(항목) | 대표 도구 출력 | 포함 관계 · 한계 | 근거 |
|---|---|---|---|---|
| 함수 | 정의된 함수 · 메서드 | gcov function … called · JaCoCo Methods | 가장 약함 · 함수 안 갈림을 못 봄 | Invoking gcov |
| 문장 · 줄 | 실행할 수 있는 줄 · 명령 | gcov Lines executed · JaCoCo Lines · Instructions(C0) | 함수를 포함 · 실행할 줄이 없는 거짓 방향은 안 보임 | JaCoCo Counters |
| 분기(결정) | 결정의 참 · 거짓 방향 | JaCoCo Branches(C1) · coverage.py branch = True | 문장을 포함 | coverage.py config |
| 조건 | 조건식마다 참 · 거짓 | gcov -b 의 목적 코드 갈림(&& 는 조건마다 갈림) | 분기와 다른 축 · 독립 영향(MC/DC)은 화이트박스 테스트가 다룸 | Invoking gcov |
| 기본 경로 | 독립 경로 수 v(G) | JaCoCo Complexity(B − D + 1) | 반복문이 있으면 전체 경로는 셀 수 없음 | McCabe 1976 |
| 데이터 흐름 | 정의 → 사용 쌍(all-defs · all-uses) | 주로 연구 도구 | 변수 값의 흐름을 봄 | Rapps · Weyuker 1985 |
| 요구사항 | 요구 항목 | 요구 ↔ 케이스 추적표 | 코드 밖 · 만들지 않은 기능을 봄 | 추적표 |
🔑 커버리지 값은 «무엇을 분모로 셌는가»를 함께 적어야 뜻이 있다 — 분모를 바꾸면 같은 실행이 100% 도 50% 도 된다.
5동작 — 연체료 함수의 gcov 측정 세 번
직접 실행 — MinGW GCC 6.3.0 · gcov · gcc -O0 --coverage. 설명용 가정 함수 late_fee(days, vip) 는 연체 하루 500원, 상한 10,000원, VIP 는 0원이다.
int late_fee(int days, int vip)
{
int fee = 0;
if (days > 0 && !vip)
fee = days * 500;
if (fee > 10000)
fee = 10000;
return fee;
}
gcc -O0 --coverage로 빌드하면 흐름 그래프fee.gcno(분모)가 생긴다 — 최적화를 끄는 이유는 최적화가 줄을 합쳐 줄마다 횟수를 낼 수 없기 때문이다(Gcov and Optimization).- 케이스 1건
late_fee(30, 0)→ 10,000 을 실행하면fee.gcda(분자)가 생긴다 — 이 파일은 지우지 않으면 다음 실행 횟수가 더해지므로 단계마다 지우고 전체를 다시 돌렸다(Invoking gcov). gcov -b -c fee.c→Lines executed:·100. 00% of 7 Taken at least once:— 7줄은 다 지났지만 4 · 6행의 거짓 방향이50. 00% of 6 taken 0이다. 결정 둘의 방향 4개로 직접 세면 2/4 = 50% 다.- 거짓 방향을 겨냥한
(3, 0)→ 1,500 ·(0, 0)→ 0 을 더한 3건 → 결정 방향 4/4 = 100% 인데 gcov 는83.33% of 6이다. - 남은 하나는 4행
branch 3 taken 0=vip가 참인 갈림이다 —(0, 0)은days > 0에서 이미 거짓이라vip를 평가하지 않았다(단락 평가). (5, 1)→ 0 을 더한 4건에서Taken at least once:이 된다.100. 00% of 6 - CI 에서는 이 비율을 기준과 견주어 미달이면 빌드를 멈춘다 — coverage.py 는
fail_under아래면 종료 코드 2 를 돌려준다(coverage.py config).
그림 4 · 줄 기준은 1건부터 100% 로 멈춰 있고, 결정 기준은 3건에서, gcov 갈림 기준은 4건에서야 100% 가 된다.
그림 5 · 3건 상태에서 결정 방향 넷은 다 지났지만, && 가 조건마다 갈림을 만들어 gcov 분모는 6이고 vip 참 갈림 하나가 0회로 남는다.
🔑 커버리지는 «지나갔는가»만 세고 «맞게 나왔는가»는 세지 않는다 — 4건이 100% 여도 단언 없이 돌렸다면 결과가 틀려도 통과한다.
6비교 — 측정 방식(소스 · 바이트코드 · 인터프리터 계측)
| 기준 | 소스 계측(gcov) | 바이트코드 계측(JaCoCo) | 인터프리터 추적(coverage.py) |
|---|---|---|---|
| 계측 시점 | 컴파일 때 카운터 삽입(--coverage) | 클래스 적재 때 Java 에이전트가 바꿔 씀 | 실행 중 추적 함수(sys.settrace) · 3.12 이상은 sys.monitoring |
| 분모를 얻는 곳 | .gcno 흐름 그래프 | 바이트코드의 if · switch | .pyc 줄 표 · AST 의 줄 사이 이동(arc) |
| 분기를 세는 단위 | 목적 코드 갈림(&& 는 조건마다) | 바이트코드 분기 | 줄 → 줄 이동 |
| 다시 빌드 | 필요(최적화 끔 권장) | 불필요 | 불필요 |
| 기록 | .gcda · 실행마다 누적 | 클래스마다 probe 배열 | .coverage(SQLite) |
분석언어가 측정 방식을 정하므로 고를 여지는 적고, 판단할 것은 «숫자를 섞지 않는 것»이다. 표의 「분기를 세는 단위」 행처럼 세 도구의 분기 정의가 달라, 언어가 섞인 저장소는 언어별 기준과 추세로 보고 하나의 «분기 %»로 합치지 않는다.
결함 검출력 자체를 재는 지표는 뮤테이션 테스트(일부러 심은 결함을 몇 개 잡는가)가 맡는다.
7실무 진단 — 커버리지 숫자가 이상할 때
분석측정 결함(누적 · 최적화) → 단위(줄 ↔ 분기) → 판정(단언) → 요구 순으로 본다. 앞의 둘은 숫자 자체가 틀린 경우라 먼저 지워야 뒤의 «테스트가 약한가»를 판단할 수 있다(Invoking gcov · Gcov and Optimization).
| # | 증상 | 의심 원인 | 구분 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 고친 적 없는데 횟수가 실행마다 늘어남 | .gcda 가 지난 실행에 더해짐 | 측정 | 실행 전 .gcda 삭제 여부 · gcov -c 횟수 | 지우지 않으면 누적(Invoking gcov) |
| 2 | 같은 줄들이 모두 같은 횟수 · 분기 빈칸이 안 보임 | 최적화 빌드로 줄이 합쳐짐 | 측정 | 빌드 옵션의 -O2 · -O0 | 커버리지 빌드는 최적화 끔(Gcov and Optimization) |
| 3 | 줄 100% 인데 결함이 거짓 방향에서 남 | 줄 기준만 봄 | 단위 | gcov -b -c 의 taken 0 · coverage.py branch = True | 분기 방향마다 1회 이상(JaCoCo Counters C1) |
| 4 | 분기까지 높은데 결함이 샘 | 단언 없는 테스트 | 판정 | 테스트 코드의 단언 수 · 뮤테이션 점수 | 커버리지는 검출력 지표가 아님(Inozemtseva · Holmes 2014) |
| 5 | 전체 기준은 통과인데 새 코드가 시험 안 됨 | 전체 비율만 봄 | 운영 | 변경분(diff) 커버리지 · 리뷰 화면 | 변경분 단위로 보임(Ivanković 외 2019) |
1 · 2행은 빌드 설정만 보면 몇 분 안에 끝난다. 4행이 의심되면 커버리지 기준을 올리지 말고 단언과 뮤테이션 점수를 먼저 본다.
8시험 대비
www.q-net.or.kr시험에서는 커버리지 종류와 포함 관계를 묻는 정의 · 특징형, 주어진 코드에서 문장 · 분기 · 조건 커버리지를 계산하거나 100% 를 만드는 최소 케이스를 묻는 구현 · 설계형이 나올 수 있다. 구현 · 설계형은 흐름도에 갈림 방향을 번호로 적고 케이스마다 지난 방향을 표로 채우면 그대로 답이 된다.
- 개요 — 정의(실행된 항목 ÷ 실행할 수 있는 항목) · 분모가 값을 정한다는 점
- 측정 구조 — 그림 3(분모 = 빌드 때 · 분자 = 실행 때 · 기준 판정)
- 종류와 포함 관계 — 함수 · 문장 · 분기 · 조건 · 기본 경로 · 데이터 흐름 · 요구사항 표
- 계산 사례 — 그림 4 · 5(1건 줄 100% · 결정 50% → 3건 결정 100% · gcov 83.33% → 4건 100%)
- 측정 방식 — 소스 · 바이트코드 · 인터프리터 계측 비교표
- 한계와 운영 — 검출력과의 상관(31,000 스위트) · 단언 · 변경분 커버리지
꼭 쓸 키워드
문장 커버리지분기 커버리지조건 커버리지단락 평가순환 복잡도계측(probe)gcovJaCoCo변경분 커버리지결함 검출력
다른 답안과 차이를 내는 한 가지 — 같은 케이스 3건이 결정 기준 100% · 갈림 기준 83.33% 로 갈리는 계산을 그림 5 처럼 보이면 «분모가 값을 정한다»가 한 장으로 증명된다.
9오해와 사실
- 오해커버리지 100% 면 테스트가 충분하다.사실스위트 크기를 고정하면 커버리지와 결함 검출력의 상관은 낮거나 중간이고, 더 강한 커버리지도 더 나은 예측을 주지 않았다(Inozemtseva · Holmes 2014 초록).
- 오해분기 커버리지 100% 면 모든 조건을 시험했다.사실단락 평가에서는 앞 조건만으로 결정이 나므로, 사례의 3건은 결정 4/4 인데
vip참은 한 번도 평가되지 않았다(사례 4 · 5단계). - 오해커버리지 측정은 실행 결과에 영향이 없다.사실계측 빌드는 최적화를 끄고 카운터를 더하므로 배포 빌드와 다른 실행물이다 — 최적화하면 줄이 합쳐져 줄마다 횟수를 낼 수 없다(Gcov and Optimization).
10핵심 정리
| 기준 | 분모 | 사례 값(1건 → 3건 → 4건) | 놓치는 것 | 대표 출력 |
|---|---|---|---|---|
| 함수 | 함수 1 | 1/1 부터 100% | 함수 안의 갈림 | gcov function … called |
| 문장 · 줄 | 실행 줄 7 | 7/7 부터 100% | 거짓 방향 | gcov Lines executed |
| 분기(결정) | 방향 4 | 50% → 100% → 100% | 단락된 뒤 조건 | JaCoCo Branches · coverage.py branch |
| 목적 코드 갈림 | 갈림 6 | 50% → 83.33% → 100% | 조건의 독립 영향(MC/DC) | gcov -b Taken at least once |
| 기본 경로 | v(G) = 조건 3 + 1 = 4 | 경로 수 기준 | 반복 횟수별 경로 | JaCoCo Complexity |
| 데이터 흐름 | 정의 → 사용 쌍 | — | 흐름과 무관한 결함 | 연구 도구 |
| 요구사항 | 요구 항목 | — | 코드 속 결함의 종류 | 추적표 |
11참고 문헌
- 먼저 볼 문헌
- ★ GCC Online Documentation - Invoking gcov — gcov 의 -b · -c 출력(branch taken)과 .gcda 누적 규칙을 볼 때
- ★ Coverage Is Not Strongly Correlated with Test Suite Effectiveness (ICSE 2014, 435-445) — 스위트 크기를 고정하면 커버리지와 결함 검출력의 상관이 낮다는 결과를 볼 때
- ★ Code Coverage at Google (ESEC/FSE 2019, 955-963) — 커버리지를 변경분 · 코드 리뷰 단위로 보이는 운영 방식을 볼 때
- ★ Coverage.py - How coverage.py works — 실행 · 분석 · 보고 세 단계와 분모(줄 표 · AST)를 얻는 법을 볼 때
- ★ JaCoCo - Coverage Counters — 명령(C0) · 분기(C1) · 순환 복잡도 카운터의 정의를 볼 때
- 본문 근거
- GCC Online Documentation - Using gcov with GCC Optimization — GNU Project · 2026-11 ·
gcc.gnu.org/onlinedocs/gcc/Gcov-and-Optimization.html· 확인 2026-11-14 - Coverage.py - Configuration reference — Coverage.py · 2026-11 ·
coverage.readthedocs.io/en/latest/config.html· 확인 2026-11-14 - JaCoCo - Implementation Design — EclEmma · JaCoCo · 2026-11 ·
www.jacoco.org/jacoco/trunk/doc/implementation.html· 확인 2026-11-14 - Systematic mistake analysis of digital computer programs (Communications of the ACM 6(2) 58-63) — J. C. Miller · C. J. Maloney · ACM · 1963-02 ·
doi.org/10.1145/366246.366248· 확인 2026-11-14 - A Complexity Measure (IEEE Transactions on Software Engineering SE-2(4) 308-320) — T. J. McCabe · IEEE · 1976-12 ·
doi.org/10.1109/TSE.1976.233837· 확인 2026-11-14 - Selecting Software Test Data Using Data Flow Information (IEEE Transactions on Software Engineering SE-11(4) 367-375) — S. Rapps · E. J. Weyuker · IEEE · 1985-04 ·
doi.org/10.1109/TSE.1985.232226· 확인 2026-11-14