테스트 기법Software Test Techniques
모든 입력을 시험할 수 없을 때 명세 · 코드 구조 · 경험을 근거로 적은 수의 테스트 케이스를 체계적으로 고르고, 그 충분함을 커버리지로 재는 설계 규칙 전체다.
1요약
- 테스트 기법은 ISO/IEC/IEEE 29119-4:2021 이 명세 기반 12개 · 구조 기반 7개 · 경험 기반 1개로 정리한 케이스 설계 규칙이고, 단위 · 통합 · 시스템 테스트의 케이스와 커버리지 측정이 이 규칙 위에서 만들어진다.
- 입력 하나가 1 ~ 1,000,000 을 받기만 해도 정수 값이 백만 개라 전부 돌릴 수 없고, 항공 Level A 코드에는 조건이 36개를 넘는 결정도 있어 모든 조합(2^n 건) 대신 MC/DC 처럼 n + 1 건으로 줄이는 기준이 필요했다(NASA/TM-2001-210876 2.3 · 2.5절).
- 「테스트는 다 통과했는데 운영에서 결함」은 결함이 난 곳으로 가른다 — 범위 끝값이면 명세 기반 경계값 누락, 커버리지 보고서에 안 간 분기가 남았으면 구조 기반 측정 누락, 만들지 않은 기능이면 커버리지로는 보이지 않으므로 요구사항 추적 누락이다.
2등장 배경
정수 하나를 받는 함수도 값이 백만 개이고, 입력이 둘이면 그 곱이 된다. 다 돌릴 수 없으니 «어느 값을 고르는가»가 테스트 품질을 정하고, 고르는 규칙이 없으면 같은 기능을 두 사람이 시험해도 결과가 달라진다.
Glenford Myers 는 1979년 『The Art of Software Testing』에서 동등 분할 · 경계값 분석 · 원인-결과 그래프 · 오류 추정을 케이스 설계 방법으로 정리했다. 1992년 12월 RTCA DO-178B 는 표 A-7 목표 5로 항공 Level A 소프트웨어에 MC/DC 를 요구했고(NASA/TM-2001-210876 2.3절 · 지금은 DO-178C 가 대체 · FAA AC 20-115D), 1998년 8월 영국 BS 7925-2 가 컴포넌트 테스트 기법을 표준으로 묶었다.
ISO/IEC/IEEE 29119-4 는 BS 7925-2 를 바탕으로 2015년 12월 국제 표준이 되었고(29119-4 서론), 2021년 10월 2판에서 「테스트 조건」 대신 「테스트 모델」을 만들어 커버리지 항목을 뽑는 절차로 바뀌었다(머리말). ISTQB CTFL v4.0(2023-04)은 같은 기법을 블랙박스 · 화이트박스 · 경험 기반으로 가르치고, coverage.py · gcov 같은 도구가 구조 커버리지를 자동으로 잰다.
3쉽게 이해하기 — 놀이기구 게이트 검사
새 놀이기구를 열기 전, 김 검사관이 「키 120cm 이상 탑승」 안내판을 보고 키가 다른 아이 넷(100 · 119 · 120 · 140cm)을 게이트에 세운다. 120cm 아이가 막히자 정비사가 키 막대를 고치고, 검사관은 넷을 처음부터 다시 세운다. 끝으로 뚜껑을 열어 보니 어떤 아이도 지나가지 않은 배선 한 가닥이 남아 있어 떼어 내고, 옆에서 박 반장이 「까치발 든 아이도 세워 보라」고 한 명을 더한다.
그림 1 · 안내판으로 고른 아이 넷이 경계 결함을 찾고, 고친 뒤 다시 세우고, 뚜껑을 열어 안 쓰인 배선까지 찾는다.
그림 2 · 겉에서는 안내판대로 고른 아이로 문턱을 보고, 속에서는 배선이 다 쓰였는지를 보며, 숨은 배선은 속을 열어야만 보인다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 안내판 「키 120cm 이상」 | 테스트 근거(명세) | 요구사항 · 명세에서 입력 범위와 기대 결과를 읽는다 |
| 키가 다른 아이 무리 | 동등 분할 | 같게 처리될 값의 묶음마다 대표값 하나를 고른다 |
| 119 · 120cm 아이 | 경계값 분석 | 분할의 끝값과 바로 옆 분할의 값을 시험한다 |
| 게이트 속 배선 | 코드 구조 · 분기 | 화이트박스 기법이 문장 · 분기 · 조건을 근거로 케이스를 만든다 |
| 확인한 배선의 비율 | 테스트 커버리지 | 실행한 커버리지 항목 ÷ 전체 항목을 백분율로 낸다 |
| 고친 뒤 넷을 다시 세움 | 확인 · 회귀 테스트 | 고친 결함이 사라졌는지, 다른 곳이 깨지지 않았는지 다시 실행한다 |
| 반장의 「까치발」 | 경험 기반 · 오류 추정 | 지난 결함 유형으로 명세에 없는 케이스를 더한다 |
⚠ 비유가 맞지 않는 곳: 아이 키는 숫자 하나지만 실제 입력은 여러 개라 분할끼리 조합해야 하고(결정 테이블 · 조합 기법), 배선과 달리 코드 커버리지가 100% 여도 «안내판에는 있는데 만들지 않은 기능»은 보이지 않는다(ISTQB CTFL 4.3.3).
4구조 — 근거 · 기법 · 커버리지 항목
29119-4 는 기법마다 같은 순서를 정한다 — 테스트 근거로 테스트 모델을 만들고(TD1), 모델에서 커버리지 항목을 뽑고(TD2), 항목을 덮는 케이스를 만든다(TD3 · 29119-4 서론). 그래서 기법은 근거로 나뉘고, 6절의 커버리지 측정은 그 항목을 센다.
그림 3 · 기법은 근거(명세 · 코드 · 경험)로 나뉘고, 모두 커버리지 항목을 만들어 테스트 커버리지로 세며, 변경 뒤에는 회귀 테스트로 다시 실행한다.
| 하위 이름 | 푸는 문제 | 근거 | 대표 기법 | 커버리지 항목 |
|---|---|---|---|---|
| 블랙박스 테스트 | 명세대로 동작하는가 | 요구사항 · 명세 | 동등 분할 · 경계값 · 결정 테이블 · 상태 전이(29119-4 5.2) | 분할 · 경계값 · 규칙 열 · 전이 |
| 화이트박스 테스트 | 코드가 빠짐없이 실행됐는가 | 코드 · 제어 흐름 그래프 | 문장 · 분기 · 결정 · MC/DC · 데이터 흐름(5.3) | 문장 · 분기 · 조건 결과 |
| 경험 기반 기법 | 명세에 없는 실패를 미리 찾는가 | 결함 이력 · 테스터 지식 | 오류 추정(5.4.1) | 예상 결함 목록 |
| 테스트 커버리지 | 케이스가 충분한가 | 위 세 기법의 항목 | 측정 도구 계측(29119-4 6절) | 실행 항목 ÷ 전체(%) |
| 회귀 테스트 | 변경이 다른 곳을 깨뜨렸는가 | 변경 내역 · 기존 케이스 | 전체 재실행 · 영향 범위 선택(CTFL 2.2.3) | 다시 실행한 케이스 |
🔑 커버리지 100% 는 «그 모델 안에서» 100% 다 — 분할을 잘못 나눴거나 모델에 없는 요구는 세지 않으므로, 숫자는 근거 모델만큼만 믿는다.
5동작 — 배송비 함수 한 건의 설계 · 실행 · 측정
설명용 가정 값의 쇼핑몰 함수 shipping_fee(amount, member) 다. 명세는 「주문 금액 1 ~ 1,000,000원만 받고 밖이면 오류, 50,000원 이상이거나 유료 회원이면 배송비 0원, 그 밖은 3,000원」이고, 처음 코드는 아래와 같다(4 · 5행은 명세에 없는 시험용 코드, 6행은 결함).
def shipping_fee(amount, member):
if amount < 1 or amount > 1_000_000:
raise ValueError("amount")
if amount == 99_999:
return 0
if amount > 50_000 or member:
return 0
return 3000
- 명세에서 입력 범위와 기대 결과를 읽어 금액 · 회원 두 입력의 모델을 만든다(29119-4 TD1).
- 동등 분할 — 금액 분할 4개(무효 ≤ 0 · 유효 1 ~ 49,999 · 유효 50,000 ~ 1,000,000 · 무효 ≥ 1,000,001)와 회원 분할 2개를 Each Choice 로 덮는 4건(-100 · 30,000 · 70,000 회원 · 2,000,000)을 만든다(CTFL 4.2.1).
- 경계값 분석(2-value) — 경계 셋의 양쪽 값 6건(0 · 1 · 49,999 · 50,000 · 1,000,000 · 1,000,001)을 더한다(CTFL 4.2.2).
- 결정 테이블 — 조건 「금액 ≥ 50,000」 · 「회원」의 규칙 4열을 4건으로 더해 모두 14건이 된다(29119-4 5.2.6).
pytest로 14건을 실행하면 50,000원 · 비회원 1건만 실패한다 — 기대 0원 · 실제 3,000원. 6행이 경계를>로 1원 위에 두었고, 분할 대표값 30,000 · 70,000 은 이 결함을 지나친다.- 6행을
>=로 고친 뒤 실패한 1건을 다시 돌려 확인 테스트를 하고, 14건 전부를 다시 돌려 회귀 테스트를 한다 — 14건 통과(CTFL 2.2.3). coverage run --branch -m pytest뒤coverage report -m이 Stmts 8 · Miss 1 · Branch 6 · BrPart 1 · Cover 86% · Missing 5 를 보인다 — 명세 기반 14건 중 어느 것도 99,999 를 넣지 않아 5행이 실행되지 않았다.- 명세에 없는 4 · 5행을 지우고 다시 재면 Stmts 6 · Branch 4 · Cover 100% 이고, 결정
amount >= 50_000 or member는 결정 테이블의 (참, 거짓) · (거짓, 참) · (거짓, 거짓) 3건으로 MC/DC 도 채운다(n + 1 = 3 · NASA/TM-2001-210876 2.3.5절).
그림 4 · 블랙박스 기법이 케이스 14건을 만들어 경계 결함을 찾고, 회귀 테스트로 고침을 확인한 뒤, 커버리지 측정이 명세에 없는 코드를 찾아 화이트박스 쪽에서 마무리한다.
그림 5 · 분할 대표값 30,000 · 70,000 은 결함이 있어도 통과하고, 경계값 50,000 에서만 실패가 드러난다.
그림 6 · 위 기준은 아래 기준을 포함하고, 조건이 5개면 MC/DC 는 6건이지만 다중 조건은 32건이 된다.
🔑 명세 기반 케이스는 «만들어야 할 동작»이 틀렸는지를, 구조 커버리지는 «명세에 없는 코드»가 남았는지를 드러낸다 — 그래서 둘은 서로를 대신하지 못한다.
6비교 — 명세 · 구조 · 경험 기반 기법
| 기준 | 명세 기반(블랙박스) | 구조 기반(화이트박스) | 경험 기반 |
|---|---|---|---|
| 케이스를 만드는 때 | 명세가 나오면 바로 · 구현이 바뀌어도 재사용(CTFL 4.1) | 설계 · 구현 뒤 | 시험 대상을 다루면서 |
| 커버리지 측정 | 분할 · 경계값 · 규칙 열을 사람이 집계 | coverage.py · gcov 가 자동 계측 | 객관 측정이 어려움 |
| 잘 찾는 결함 | 경계 어긋남 · 조합 누락 · 명세 모순 | 실행 안 된 코드 · 조건 논리 오류 | 명세에 없는 실패 유형 |
| 놓치는 결함 | 명세에 없는 코드(사례 4 · 5행) | 만들지 않은 요구 · 누락 결함(CTFL 4.3.3) | 테스터 숙련도에 따라 갈림 |
| 29119-4 범위 | 5.2절 · 12개 | 5.3절 · 7개 | 5.4절 · 오류 추정 1개 |
분석케이스는 명세 기반으로 먼저 만들고, 구조 커버리지로 빈 곳을 찾은 뒤, 보충 케이스는 다시 명세에서 근거를 찾는다. 근거는 표의 「놓치는 결함」 행이 서로 엇갈린다는 점과, NASA/TM-2001-210876 2.4절이 구조 분석에서 나온 추가 시험도 요구사항 기반이어야 한다고 적은 점이다.
단계별 테스트(단위 · 통합 · 시스템 · 인수)는 «언제» 시험하는가의 축이고, 기법은 «무엇으로 케이스를 고르는가»의 축이라 한 단계 안에서 세 분류를 함께 쓴다.
7실무 진단 — 결함이 새어 나간 이유 가르기
분석도구가 자동으로 내는 구조 커버리지부터 보고, 안 간 분기가 없으면 명세 쪽(경계 · 조합 · 요구 추적)으로 넘어간다. 구조 커버리지 100% 는 누락 결함을 보장하지 않으므로(CTFL 4.3.3) 마지막 판정은 요구사항 추적표가 맡는다.
| # | 증상 | 의심 원인 | 분류 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 범위 끝값에서만 운영 결함 | 경계값 케이스 누락 | 명세 기반 | 테스트 설계서의 경계 목록 ↔ 명세 범위 | 경계마다 2개(2-value) 또는 3개 값이 있어야 100%(CTFL 4.2.2) |
| 2 | 케이스는 통과하나 분기가 비어 있음 | 조건의 한쪽만 시험 | 구조 기반 | coverage run --branch -m pytest · coverage report -m | BrPart > 0 · Missing 의 36->38 꼴 = 안 간 분기(coverage.py report) |
| 3 | 조건 여럿인 결정에서 결함 | 결정 커버리지만 충족 | 구조 기반 | gcc --coverage -fcondition-coverage 로 빌드 · gcov -g | condition outcomes covered 가 전부인가(gcov 문서) · MC/DC 최소 n + 1(NASA 2.3.5) |
| 4 | 커버리지 100% 인데 기능이 빠짐 | 만들지 않은 요구 | 구조 기반의 한계 | 요구사항 ↔ 케이스 추적표 | 누락 결함은 화이트박스로 못 찾음(CTFL 4.3.3) → 명세 기반 보충 |
| 5 | 고친 뒤 다른 기능이 깨짐 | 회귀 범위 부족 | 회귀 테스트 | CI 실행 기록 · 변경 파일 목록 | 변경 영향 범위의 케이스를 다시 실행했는가(CTFL 2.2.3) |
1 ~ 3행은 도구 출력과 설계서로 몇 분 안에 끝나고, 4행은 요구사항 문서를 대조해야 하므로 나중에 본다. 같은 결함이 두 번 새면 5행을 의심해 회귀 케이스 목록에 그 결함의 재현 케이스를 더한다.
8시험 대비
www.q-net.or.kr시험에서는 기법의 유형을 나열하고 설명하는 정의 · 특징형, 블랙박스와 화이트박스를 대조하는 비교형, 주어진 사례로 테스트 케이스를 만드는 구현 · 설계형이 나올 수 있다. 구현 · 설계형은 동등 분할 → 경계값 → 결정 테이블 순서로 케이스 표를 그리면 그대로 답이 된다.
- 개요 — 정의 · 모든 입력을 시험할 수 없는 이유(조합 폭발) · ISO/IEC/IEEE 29119-4:2021 · 기법 20개
- 분류 — 그림 3 지도(근거 → 기법 → 커버리지 항목) + 명세 · 구조 · 경험 기반 비교표
- 명세 기반 기법 — 그림 5 금액 수직선(분할 4 · 경계값 6 · 50,000 실패) + 결정 테이블 4규칙 표
- 구조 기반 기법 — 그림 6 포함 관계(문장 ⊂ 결정 ⊂ MC/DC ⊂ 다중 조건 · n + 1 · 2^n · DO-178B Level A)
- 적용 절차 — 그림 4 사례 8단계(설계 14건 → 실행 → 회귀 → 커버리지 86% → 100%)
- 선택과 한계 — 상호 보완(누락 결함 ↔ 명세 밖 코드) · 커버리지 100% 의 뜻 · 경험 기반 보충
꼭 쓸 키워드
테스트 모델동등 분할경계값 분석결정 테이블상태 전이분기 커버리지MC/DC오류 추정ISO/IEC/IEEE 29119-4
9오해와 사실
- 오해커버리지가 100% 이면 결함이 없다.사실문장 커버리지 100% 도 분모가 0일 때만 나는 나눗셈 오류 같은 데이터 의존 결함을 놓치고(CTFL 4.3.1), 만들지 않은 요구는 구조 기반 측정에 나타나지 않는다(CTFL 4.3.3).
- 오해블랙박스 · 화이트박스는 테스트 단계 이름이다.사실둘은 케이스의 근거로 나눈 기법 분류이고, 화이트박스 기법도 API 테스트처럼 높은 테스트 단계에서 쓴다(CTFL 4.3).
- 오해탐색적 테스트는 29119-4 의 경험 기반 기법이다.사실29119-4 가 정의한 경험 기반 기법은 오류 추정 하나이고, 탐색적 테스트는 실천 방식으로 29119-1 에서 다룬다(29119-4 서론).
10핵심 정리
| 기법 | 분류 | 사례 케이스 | 시험 수 | 잘 잡는 결함 | 29119-4 |
|---|---|---|---|---|---|
| 동등 분할 | 명세 기반 | -100 · 30,000 · 70,000 회원 · 2,000,000 | 4건 | 분할 처리 오류 | 5.2.1 |
| 경계값 분석 | 명세 기반 | 0 · 1 · 49,999 · 50,000 · 1,000,000 · 1,000,001 | 6건 | 경계 어긋남(> ↔ >=) | 5.2.3 |
| 결정 테이블 | 명세 기반 | 「금액 ≥ 50,000」 × 「회원」 | 4건 | 조합 누락 · 명세 모순 | 5.2.6 |
| 상태 전이 | 명세 기반 | 상태 · 이벤트 표 | 전이 수만큼 | 잘못된 전이 허용 | 5.2.8 |
| 분기 | 구조 기반 | 14건 · 86% → 100% | 결정마다 2 | 실행 안 된 코드 | 5.3.2 |
| MC/DC | 구조 기반 | (참, 거짓) · (거짓, 참) · (거짓, 거짓) | n + 1 | 조건 논리 오류 | 5.3.6 |
| 오류 추정 | 경험 기반 | 지난 결함 유형 목록 | 목록 수만큼 | 명세에 없는 실패 | 5.4.1 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISO/IEC/IEEE 29119-4:2021 Software and systems engineering - Software testing - Part 4: Test techniques — 명세 · 구조 · 경험 기반 기법 20개의 분류와 커버리지 측정 절을 볼 때
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 동등 분할 · 경계값 · 결정 테이블 · 분기 커버리지의 정의를 무료 원문으로 볼 때
- ★ NASA/TM-2001-210876 A Practical Tutorial on Modified Condition/Decision Coverage — MC/DC 가 조건 n 개를 n + 1 건으로 덮는 방법을 볼 때
- ★ Coverage.py - coverage report command — 분기 커버리지 보고서의 Branch · BrPart · Missing 칸을 읽을 때
- 본문 근거
- Coverage.py - Branch coverage measurement — Coverage.py · 2026-11 ·
coverage.readthedocs.io/en/latest/branch.html· 확인 2026-11-02 - GCC Online Documentation - Invoking gcov — GNU Project · 2026-11 ·
gcc.gnu.org/onlinedocs/gcc/Invoking-Gcov.html· 확인 2026-11-02 - ISO/IEC/IEEE 29119-4:2015 Software and systems engineering - Software testing - Part 4: Test techniques (withdrawn) — ISO/IEC/IEEE · 2015-12 ·
webstore.iec.ch/publication/23892· 확인 2026-11-02 - BS 7925-2:1998 Software testing - Software component testing — BSI · 1998-08 ·
eld.bl.uk/catalog/019881145· 확인 2026-11-02 - The Art of Software Testing, 3rd Edition (1st Edition 1979) — John Wiley & Sons · 2011-11 ·
www.oreilly.com/library/view/the-art-of/9781118133156/· 확인 2026-11-02 - FAA Advisory Circular AC 20-115D Airborne Software Development Assurance Using EUROCAE ED-12( ) and RTCA DO-178( ) — FAA · 2017-07 ·
www.faa.gov/documentLibrary/media/Advisory_Circular/AC_20-115D.pdf· 확인 2026-11-02