블랙박스 테스트Black-Box Testing
시험 대상의 내부 코드와 구조를 보지 않고 요구사항 · 명세만을 근거로 입력과 기대 결과를 정해, 실제 출력이 명세와 맞는지 판정하는 테스트 설계 방식이다.
1요약
- 블랙박스 테스트는 명세 기반 기법의 다른 이름으로, ISO/IEC/IEEE 29119-4:2021 5.2절의 기법 12개가 이 분류에 들고, 단위 · 통합 · 시스템 · 인수 어느 테스트 레벨에서든 케이스의 입력과 기대 결과를 이 기법들로 고른다.
- 입력 넷에 값이 셋씩만 있어도 조합이 3^4 = 81건이라 다 돌리기 어렵고, NIST 조사의 NASA 응용에서는 결함의 93% 가 입력 둘 이하의 조합으로 드러나(SP 800-142 1장 그림 2) 근거 있는 줄이기 규칙이 필요하다.
- 「명세대로 시험했는데 결함이 샌다」는 새어 나간 결함이 명세에 적혀 있었는가로 가른다 — 적혀 있었으면 기법 선택이나 조합 강도가 모자란 것이고, 적혀 있지 않았으면 블랙박스 범위 밖이라 명세 보완이나 구조 측정으로 넘긴다.
2등장 배경
납품받은 프로그램을 검수하는 쪽은 소스 코드를 받지 못하는 때가 많고, 받아도 수만 줄을 읽어 케이스를 만들 수 없다. 그래서 명세가 약속한 입력과 출력만으로 시험할 규칙이 필요했고, 고르는 규칙이 없으면 같은 기능을 검수자마다 다른 값으로 시험해 결과가 갈렸다.
Myers 의 1979년 초판 교과서는 프로그램 내부를 보지 않고 입출력으로 케이스를 고르는 방식을 블랙박스(데이터 주도 · 입출력 주도) 테스트로 부르고 동등 분할 · 경계값 분석 · 원인-결과 그래프를 정리했다(Myers 2011). 1998년 Chen 등은 기대 결과를 미리 알기 어려운 프로그램을 위해 메타모픽 테스트를 내놓았고(Chen 1998), NIST 는 1999년부터 실제 결함을 일으킨 입력 개수를 조사해 2010년 10월 SP 800-142 로 조합 테스트를 정리했다.
29119-4 는 2015년 첫 발행 뒤 2021년 10월 개정(Edition 2.0)에서 명세 기반 기법을 동등 분할부터 요구사항 기반 테스트까지 12개로 정리했다(5.2.1 ~ 5.2.12). ISTQB CTFL v4.0.1 은 그중 동등 분할 · 경계값 분석 · 결정 테이블 · 상태 전이 넷을 기초 과정의 블랙박스 기법으로 가르친다(CTFL 4.2).
3쉽게 이해하기 — 커피 자판기 출고 검사
신제품 커피 자판기를 출고하기 전, 검사원 이 씨가 앞면 안내판만 보고 검사를 맡는다. 뚜껑 열쇠가 없어 안을 볼 수 없고, 안내판에는 「컵 크기 · 온도 · 시럽 · 결제 수단 각 세 가지」가 적혀 있다. 81잔을 다 뽑는 대신 어떤 두 선택이든 한 번은 함께 눌리도록 주문표 9장을 짜고, 장마다 나와야 할 음료를 미리 적은 뒤 실제로 나온 컵과 견준다. 9잔 중 1잔에서 시럽이 빠져 나오자 그 주문표를 결함으로 적어 낸다.
그림 1 · 안내판만 보고 짠 주문표 9장을 자판기에 넣고, 나온 컵을 미리 적은 정답과 견주어 결함 한 건을 찾는다.
그림 2 · 검사원은 누른 것과 나온 것만 보고 안내판과 견주므로, 안내판에 없는 숨은 메뉴는 이 검사로 드러나지 않는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 앞면 안내판 | 테스트 근거(명세) | 요구사항 · 명세에서 입력 종류와 기대 동작을 읽는다 |
| 뚜껑을 못 여는 검사원 | 블랙박스 관점 | 내부 코드 · 구조를 보지 않고 겉으로 드러난 동작만 판정한다 |
| 선택 넷 · 세 가지씩 | 테스트 모델 · 동등 분할 | 입력마다 같게 처리될 값의 묶음을 나눠 대표값을 정한다 |
| 주문표 9장 | 조합 기법(쌍 조합) | 두 입력의 값 쌍을 모두 한 번 이상 덮는 최소 케이스를 고른다 |
| 미리 적은 정답 | 테스트 오라클 | 케이스마다 명세로 기대 결과를 먼저 정한다 |
| 자판기 | 시험 대상 | 케이스를 실행해 실제 출력을 낸다 |
| 시럽 빠진 1잔 | 결함 · 실패 | 기대 결과와 실제 결과가 다른 케이스를 결함 보고로 남긴다 |
| 숨은 관리자 메뉴 | 명세 밖 코드 | 블랙박스로는 안 보이고 구조 측정(화이트박스)이 찾는다 |
⚠ 비유가 맞지 않는 곳: 자판기 안내판은 짧고 분명하지만 실제 명세는 빠지거나 서로 어긋나는 문장이 흔해, 블랙박스 케이스를 만드는 과정 자체가 명세 결함을 찾는 일이 된다. 또 자판기 결과는 눈으로 바로 판정되지만, 검색 결과 · 수치 계산처럼 기대 결과를 미리 적기 어려운 프로그램도 있다(메타모픽 테스트 · 29119-4 5.2.11).
4구조 — 명세의 모양과 기법 12개
블랙박스 기법은 모두 같은 절차를 밟는다 — 명세에서 테스트 모델을 세우고, 모델에서 커버리지 항목을 뽑고, 항목마다 입력과 기대 결과를 짝지은 케이스를 만든다. 기법은 명세가 어떤 모양으로 적혀 있는가로 고르며, 같은 기능 하나에 둘 이상을 겹쳐 쓴다.
그림 3 · 명세의 모양마다 맞는 기법이 있고, 어느 기법이든 커버리지 항목 → 케이스 → 실행 → 오라클 대조라는 같은 절차로 끝난다.
| 명세의 모양 | 기법 | 커버리지 항목 | 근거 |
|---|---|---|---|
| 값 범위 · 종류 | 동등 분할 · 분류 트리 · 경계값 분석 | 분할 · 분류 조합 · 경계값 | 29119-4 5.2.1 ~ 5.2.3 |
| 입력 형식 | 구문 테스트 | 문법 규칙 · 규칙을 어긴 변형 | 5.2.4 |
| 입력 여럿의 조합 | 전체 조합 · 쌍 조합 · Each choice · Base choice | 값 조합 · 값 쌍 | 5.2.5 |
| 조건과 동작 규칙 | 결정 테이블 · 원인-결과 그래프 | 규칙 열 | 5.2.6 · 5.2.7 |
| 순서 · 상태 · 흐름 | 상태 전이 · 시나리오 | 전이 · 기본 흐름과 대안 흐름 | 5.2.8 · 5.2.9 |
| 입력 분포 | 랜덤 테스트 | 운용 분포에서 뽑은 입력 | 5.2.10 |
| 기대 결과 계산이 어려움 | 메타모픽 테스트 | 입력 변형과 출력이 지킬 관계 | 5.2.11 · Chen 1998 |
| 요구사항 문장 | 요구사항 기반 테스트 | 요구 항목 하나하나 | 5.2.12 |
5동작 — 충전 예약 API 의 쌍 조합 설계 · 실행
설명용 가정 값의 전기차 충전 예약 API reserve(charger, minutes, member, channel) 다. 명세는 「충전기 완속 · 급속 · 초급속, 예약 30 ~ 90분, 회원 비회원 · 일반 · 구독, 접수 경로 앱 · 웹 · 단말 — 비회원은 60분까지이고 넘으면 E-LIMIT, 그 밖은 OK」다. 사례는 Python 3.14.0 스크립트(itertools.product · itertools.combinations)로 직접 실행했다.
- 명세에서 입력 넷과 규칙 하나를 읽어 테스트 모델을 세운다 — 내부 코드는 열지 않는다(29119-4 5.2).
- 입력마다 값 셋을 고른다 — 시간은 동등 분할 · 경계값으로 30(한도 안) · 60(한도 경계) · 90(한도 밖), 나머지 셋은 종류마다 하나씩이라 전체 조합은 3^4 = 81건이다.
- 커버리지 항목을 «두 입력의 값 쌍»으로 정한다 — 입력 쌍 6개 × 값 쌍 9개 = 54쌍(29119-4 5.2.5).
- 직교 배열 L9(3^4)로 9건을 만들고 54쌍을 모두 덮는지 스크립트로 센다 — 54 / 54. 같은 방식으로 센 Each choice 3건은 18 / 54 다.
- 9건마다 명세로 기대 결과를 먼저 적는다 — 8건
OK, 6번(급속 · 90분 · 비회원 · 웹) 1건E-LIMIT. - 실행하면 8건 통과 · 1건 실패다 — 6번이
E-LIMIT대신OK를 돌려줘, 비회원 60분 한도 검사가 빠진 결함으로 보고한다. - 견주어 보려고 81건 전체를 돌리면 실패 9건이 모두 「비회원 × 90분」이다 — 9건이 같은 결함을 찾았고, Each choice 3건은 비회원을 30분과만 묶어 실패 0건으로 놓친다.
- 한도 검사를 넣은 뒤 9건을 다시 돌려 모두 통과하면 확인과 회귀를 마친다 — 입력 셋 이상이 얽힌 규칙이 명세에 있으면 강도를 3-way 로 올린다(SP 800-142 1장).
그림 4 · 쌍 조합 9건이 54쌍을 모두 덮고, 기대 결과를 미리 적어 둔 6번 줄만 실제와 달라 한도 검사 누락이 드러난다.
그림 5 · 케이스 수가 아니라 덮은 값 쌍이 결함을 찾고, 쌍 조합이 보장하는 입력 둘까지의 상호작용이 실제 결함 대부분을 덮지만 전부는 아니다.
🔑 블랙박스 케이스의 힘은 건수가 아니라 명세에서 뽑은 커버리지 항목에서 나온다 — 9건이 81건과 같은 결함을 찾은 것은 54쌍을 다 덮었기 때문이고, 3건이 놓친 것은 18쌍만 덮었기 때문이다.
⚠ 쌍 조합은 입력 셋 이상이 함께 얽힌 결함을 보장하지 않는다. SP 800-142 는 쌍 조합이 결함의 10% ~ 40% 이상을 놓칠 수 있어 임무가 중요한 소프트웨어에는 충분하지 않다고 적고, 조사한 응용의 결함은 모두 4 ~ 6-way 안에서 드러났다(SP 800-142 개요 · 1장).
6비교 — 블랙박스 기법 다섯의 선택 기준
블랙박스 ↔ 화이트박스의 짝 비교는 테스트 기법이 맡고, 여기서는 같은 기능에 어떤 블랙박스 기법을 고르는가를 견준다.
| 기준 | 동등 분할 · 경계값 | 결정 테이블 | 상태 전이 | 쌍 조합 | 메타모픽 |
|---|---|---|---|---|---|
| 맞는 명세 | 범위 · 종류가 있는 입력 하나 | 조건 여럿 → 동작 규칙 | 상태와 이벤트의 순서 | 서로 독립인 입력 여럿 | 정답을 미리 알기 어려운 출력 |
| 케이스 수 | 분할 수 + 경계 수 | 규칙 열 수(조건 n 개면 최대 2^n) | 전이 수(0-switch) | 값 v 개면 최소 v^2(사례 9건) | 관계 수 × 원 입력 수 |
| 잘 찾는 결함 | 경계 어긋남 · 분할 처리 오류 | 조합 빠짐 · 규칙 모순 | 허용되면 안 되는 전이 | 두 입력이 얽힌 결함 | 오라클 없는 계산 · 검색 오류 |
| 약점 | 입력 사이 상호작용을 못 봄 | 조건이 늘면 표가 커짐 | 상태 모델이 틀리면 함께 틀림 | 입력 셋 이상 얽힘을 놓칠 수 있음 | 관계를 잘못 세우면 판정 불가 |
| 근거 | 29119-4 5.2.1 · 5.2.3 | 5.2.6 | 5.2.8 · CTFL 4.2.4 | 5.2.5 · SP 800-142 | 5.2.11 · Chen 1998 |
분석입력마다 동등 분할 · 경계값으로 값을 먼저 정하고, 입력 사이에 규칙이 명세에 적혀 있으면 결정 테이블, 규칙 없이 설정만 여럿이면 쌍 조합, 순서가 결과를 바꾸면 상태 전이를 더한다. 근거는 표의 「약점」 행이 기법마다 다른 결함 종류를 놓친다는 점과, 사례에서 경계값으로 고른 60 · 90 을 쌍 조합 9건에 그대로 얹어 결함을 찾은 단계 2 · 6 이다.
7실무 진단 — 블랙박스 케이스가 결함을 놓친 이유 가르기
분석먼저 새어 나간 결함의 재현 입력이 명세에 적힌 동작인지 확인하고, 적혀 있으면 기법 · 강도 쪽(1 ~ 3행), 적혀 있지 않으면 명세 쪽(4행)으로 보낸다. 근거는 블랙박스 케이스가 명세에서만 나온다는 점이다(29119-4 5.2 · 그림 2).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 설정 둘을 함께 고를 때만 운영 결함 | 값 쌍 누락 | 조합 기법 | 케이스 표 ↔ 입력 쌍 목록(쌍 커버리지 집계) | 값 쌍 덮은 비율이 100% 미만이면 누락(29119-4 5.2.5 · 6.2.5) |
| 2 | 쌍 100% 인데 입력 셋이 얽힐 때 결함 | 상호작용 강도 부족 | 조합 기법 | 결함 재현 입력에서 바꿔도 되는 값 · 안 되는 값 | 꼭 필요한 값이 셋 이상이면 3-way 이상으로(SP 800-142 1장) |
| 3 | 특정 순서로 조작할 때만 결함 | 전이 · 무효 전이 누락 | 상태 전이 | 상태 전이 표 ↔ 케이스 | 모든 유효 전이 · 무효 전이 시험 여부(CTFL 4.2.4 · 29119-4 5.2.8) |
| 4 | 명세대로 다 통과했는데 사용자 신고 | 명세 빠짐 · 모순 | 테스트 근거 | 요구사항 추적표 · 리뷰 기록 | 신고 동작이 명세에 없음 = 명세 보완 뒤 케이스 추가(5.2.12) |
| 5 | 결과가 맞는지 판정하지 못함 | 오라클 부재 | 메타모픽 | 원 입력 · 변형 입력의 결과 쌍 | 세운 관계를 어기면 실패(5.2.11 · Chen 1998) |
1 ~ 3행은 케이스 표와 재현 입력만으로 몇 분 안에 가려지고, 4행은 요구사항 문서를 대조해야 해 시간이 든다. 같은 종류 결함이 두 번 새면 그 입력 쌍 · 전이를 회귀 케이스 목록에 고정한다.
8시험 대비
www.q-net.or.kr시험에서는 정의와 기법 종류를 묻는 정의 · 특징형, 화이트박스 테스트와 대조하는 비교형으로 나올 수 있고, 주어진 입력 조건으로 케이스를 만드는 구현 · 설계형으로도 나올 수 있다. 설계형은 입력마다 동등 분할 · 경계값으로 값을 정한 뒤 결정 테이블이나 쌍 조합 표로 묶어 케이스 수와 기대 결과를 함께 적으면 답이 된다.
- 개요 — 정의(명세 기반 · 내부 구조 보지 않음) · 테스트 근거 · 테스트 오라클 · ISO/IEC/IEEE 29119-4:2021 5.2절 기법 12개
- 절차와 기법 지도 — 그림 3(명세 모양 → 기법 → 커버리지 항목 → 케이스 → 오라클 대조) + 기법 표
- 기법 설계 예 — 그림 4 쌍 조합 9건 표(54쌍 · 6번 실패) · 경계값 30 · 60 · 90
- 조합 수와 결함 — 그림 5(81 · 9 · 3건 · 쌍 54/54 · 18/54 · NIST 67 · 93 · 98%)
- 기법 선택 기준 — 동등 분할 · 경계값 / 결정 테이블 / 상태 전이 / 쌍 조합 / 메타모픽 비교표
- 한계와 보완 — 명세 밖 코드는 화이트박스 · 커버리지 · 입력 셋 이상 얽힘은 강도 상향 · 명세 결함은 리뷰
꼭 쓸 키워드
명세 기반테스트 오라클동등 분할경계값 분석결정 테이블상태 전이쌍 조합직교 배열메타모픽 테스트ISO/IEC/IEEE 29119-4
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «81건 → 9건으로 줄여도 54쌍을 다 덮는다»는 수치와 NIST 상호작용 규칙을 함께 적어, 줄이기의 근거와 한계를 한 장에 보이는 것이다.
9오해와 사실
- 오해블랙박스 테스트는 테스터가 떠오르는 값을 넣어 보는 시험이다.사실29119-4 5.2절의 기법마다 테스트 모델 → 커버리지 항목 → 케이스 절차가 있고, 사례의 9건도 54쌍이라는 항목을 세어 고른 것이다.
- 오해쌍 조합 9건이면 전체 81건과 같은 결함을 다 찾는다.사실입력 둘까지 얽힌 결함만 보장하며, SP 800-142 는 쌍 조합이 결함의 10% ~ 40% 이상을 놓칠 수 있다고 적는다.
- 오해기대 결과를 미리 알 수 없으면 블랙박스 테스트를 할 수 없다.사실메타모픽 테스트는 입력을 정해진 방식으로 바꿀 때 출력이 지켜야 할 관계로 판정한다(Chen 1998 · 29119-4 5.2.11).
10핵심 정리
| 기법 | 맞는 명세 | 커버리지 항목 | 케이스 수 기준 | 충전 예약 사례 값 | 29119-4 |
|---|---|---|---|---|---|
| 동등 분할 | 범위 · 종류 | 분할 | 분할마다 하나 | 충전기 · 회원 · 경로 각 3종 | 5.2.1 |
| 경계값 분석 | 범위의 끝 | 경계값 | 경계마다 2 ~ 3개 | 예약 30 · 60 · 90분 | 5.2.3 |
| 쌍 조합 | 독립 입력 여럿 | 두 입력의 값 쌍 | 최소 v^2 | L9 9건 · 54쌍 · 1건 실패 | 5.2.5 |
| 결정 테이블 | 조건 → 동작 규칙 | 규칙 열 | 최대 2^n | — | 5.2.6 |
| 상태 전이 | 상태 · 이벤트 순서 | 전이 | 전이 수 | — | 5.2.8 |
| 메타모픽 | 오라클 없는 출력 | 메타모픽 관계 | 관계 × 원 입력 | — | 5.2.11 |
| 요구사항 기반 | 요구사항 문장 | 요구 항목 | 항목마다 하나 이상 | 비회원 60분 한도 1항목 | 5.2.12 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISO/IEC/IEEE 29119-4:2021 Software and systems engineering - Software testing - Part 4: Test techniques — 명세 기반 기법 12개(5.2.1 ~ 5.2.12)와 기법별 커버리지 측정(6.2)을 볼 때
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 블랙박스 기법 넷(동등 분할 · 경계값 · 결정 테이블 · 상태 전이)을 무료 원문으로 익힐 때
- ★ NIST SP 800-142 Practical Combinatorial Testing — 결함을 일으킨 입력 개수 조사(상호작용 규칙)와 쌍 조합의 한계를 볼 때
- ★ Metamorphic Testing: A New Approach for Generating Next Test Cases (HKUST-CS98-01) — 기대 결과를 미리 알 수 없을 때 입력 사이 관계로 판정하는 방법을 볼 때
- 본문 근거
- The Art of Software Testing, 3rd Edition (1st Edition 1979) — John Wiley & Sons · 2011-11 ·
www.oreilly.com/library/view/the-art-of/9781118133156/· 확인 2026-11-14 - Python 3 Documentation - itertools: Functions creating iterators for efficient looping — Python Software Foundation · 2026-11 ·
docs.python.org/3/library/itertools.html· 확인 2026-11-14