IT › 소프트웨어 › 테스트 › 테스트 기법

블랙박스 테스트Black-Box Testing

시험 대상의 내부 코드와 구조를 보지 않고 요구사항 · 명세만을 근거로 입력과 기대 결과를 정해, 실제 출력이 명세와 맞는지 판정하는 테스트 설계 방식이다.

1요약

  1. 블랙박스 테스트는 명세 기반 기법의 다른 이름으로, ISO/IEC/IEEE 29119-4:2021 5.2절의 기법 12개가 이 분류에 들고, 단위 · 통합 · 시스템 · 인수 어느 테스트 레벨에서든 케이스의 입력과 기대 결과를 이 기법들로 고른다.
  2. 입력 넷에 값이 셋씩만 있어도 조합이 3^4 = 81건이라 다 돌리기 어렵고, NIST 조사의 NASA 응용에서는 결함의 93% 가 입력 둘 이하의 조합으로 드러나(SP 800-142 1장 그림 2) 근거 있는 줄이기 규칙이 필요하다.
  3. 「명세대로 시험했는데 결함이 샌다」는 새어 나간 결함이 명세에 적혀 있었는가로 가른다 — 적혀 있었으면 기법 선택이나 조합 강도가 모자란 것이고, 적혀 있지 않았으면 블랙박스 범위 밖이라 명세 보완이나 구조 측정으로 넘긴다.

2등장 배경

납품받은 프로그램을 검수하는 쪽은 소스 코드를 받지 못하는 때가 많고, 받아도 수만 줄을 읽어 케이스를 만들 수 없다. 그래서 명세가 약속한 입력과 출력만으로 시험할 규칙이 필요했고, 고르는 규칙이 없으면 같은 기능을 검수자마다 다른 값으로 시험해 결과가 갈렸다.

Myers 의 1979년 초판 교과서는 프로그램 내부를 보지 않고 입출력으로 케이스를 고르는 방식을 블랙박스(데이터 주도 · 입출력 주도) 테스트로 부르고 동등 분할 · 경계값 분석 · 원인-결과 그래프를 정리했다(Myers 2011). 1998년 Chen 등은 기대 결과를 미리 알기 어려운 프로그램을 위해 메타모픽 테스트를 내놓았고(Chen 1998), NIST 는 1999년부터 실제 결함을 일으킨 입력 개수를 조사해 2010년 10월 SP 800-142 로 조합 테스트를 정리했다.

29119-4 는 2015년 첫 발행 뒤 2021년 10월 개정(Edition 2.0)에서 명세 기반 기법을 동등 분할부터 요구사항 기반 테스트까지 12개로 정리했다(5.2.1 ~ 5.2.12). ISTQB CTFL v4.0.1 은 그중 동등 분할 · 경계값 분석 · 결정 테이블 · 상태 전이 넷을 기초 과정의 블랙박스 기법으로 가르친다(CTFL 4.2).

3쉽게 이해하기 — 커피 자판기 출고 검사

신제품 커피 자판기를 출고하기 전, 검사원 이 씨가 앞면 안내판만 보고 검사를 맡는다. 뚜껑 열쇠가 없어 안을 볼 수 없고, 안내판에는 「컵 크기 · 온도 · 시럽 · 결제 수단 각 세 가지」가 적혀 있다. 81잔을 다 뽑는 대신 어떤 두 선택이든 한 번은 함께 눌리도록 주문표 9장을 짜고, 장마다 나와야 할 음료를 미리 적은 뒤 실제로 나온 컵과 견준다. 9잔 중 1잔에서 시럽이 빠져 나오자 그 주문표를 결함으로 적어 낸다.

앞면 안내판 선택 넷 · 각 3가지 명세 · 테스트 근거 크기 · 온도 · 시럽 · 결제 모두 고르면 81잔 1 검사원 이 씨 안을 볼 수 없음 테스터 뚜껑 열쇠 없이 안내판 글만 읽는다 2 주문표 9장 81잔 대신 9잔 쌍 조합 케이스 어떤 두 선택이든 한 번은 함께 눌림 3 자판기 속은 보이지 않음 시험 대상 누른 것과 나온 것만 보임 4 나온 컵 9잔 1잔 시럽 빠짐 실제 결과 8잔은 안내판대로 나옴 5 미리 적은 정답 견주어 판정 테스트 오라클 다르면 결함으로 기록

그림 1 · 안내판만 보고 짠 주문표 9장을 자판기에 넣고, 나온 컵을 미리 적은 정답과 견주어 결함 한 건을 찾는다.

안내판 읽기선택 넷 · 각 세 가지
주문표 짜기두 선택이 한 번씩 만남
정답 적기나와야 할 음료를 먼저
뽑아 보기9잔을 차례로
견주기정답과 나온 컵
결함 적기시럽 빠진 주문표 하나
비유 — 자판기 앞에서 보이는 것 실제 — 블랙박스 테스트 누른 버튼 ? 속 안 보임 나온 컵 안내판의 정답 큰 컵 + 시럽 = 시럽 한 번 들어감 견줌 숨은 관리자 메뉴 안내판에 없어 누를 일이 없음 테스트 입력 → 시험 대상 → 실제 출력 근거 = 요구사항 · 명세 · 내부 코드는 안 봄 테스트 오라클 명세에서 미리 정한 기대 결과로 판정 명세에 없는 코드 = 드러나지 않음 구조를 재는 화이트박스 테스트가 맡음

그림 2 · 검사원은 누른 것과 나온 것만 보고 안내판과 견주므로, 안내판에 없는 숨은 메뉴는 이 검사로 드러나지 않는다.

비유 속 역할실제 이름실제로 하는 일
앞면 안내판테스트 근거(명세)요구사항 · 명세에서 입력 종류와 기대 동작을 읽는다
뚜껑을 못 여는 검사원블랙박스 관점내부 코드 · 구조를 보지 않고 겉으로 드러난 동작만 판정한다
선택 넷 · 세 가지씩테스트 모델 · 동등 분할입력마다 같게 처리될 값의 묶음을 나눠 대표값을 정한다
주문표 9장조합 기법(쌍 조합)두 입력의 값 쌍을 모두 한 번 이상 덮는 최소 케이스를 고른다
미리 적은 정답테스트 오라클케이스마다 명세로 기대 결과를 먼저 정한다
자판기시험 대상케이스를 실행해 실제 출력을 낸다
시럽 빠진 1잔결함 · 실패기대 결과와 실제 결과가 다른 케이스를 결함 보고로 남긴다
숨은 관리자 메뉴명세 밖 코드블랙박스로는 안 보이고 구조 측정(화이트박스)이 찾는다

⚠ 비유가 맞지 않는 곳: 자판기 안내판은 짧고 분명하지만 실제 명세는 빠지거나 서로 어긋나는 문장이 흔해, 블랙박스 케이스를 만드는 과정 자체가 명세 결함을 찾는 일이 된다. 또 자판기 결과는 눈으로 바로 판정되지만, 검색 결과 · 수치 계산처럼 기대 결과를 미리 적기 어려운 프로그램도 있다(메타모픽 테스트 · 29119-4 5.2.11).

4구조 — 명세의 모양과 기법 12개

블랙박스 기법은 모두 같은 절차를 밟는다 — 명세에서 테스트 모델을 세우고, 모델에서 커버리지 항목을 뽑고, 항목마다 입력과 기대 결과를 짝지은 케이스를 만든다. 기법은 명세가 어떤 모양으로 적혀 있는가로 고르며, 같은 기능 하나에 둘 이상을 겹쳐 쓴다.

명세에 적힌 모양 기법 · 29119-4 절 모든 기법의 공통 절차 값 범위 · 종류 입력 형식 · 문법 입력 여럿의 조합 조건과 동작 규칙 순서 · 상태 · 흐름 기대 결과 계산이 어려움 동등 분할 · 분류 트리 · 경계값 5.2.1 · 5.2.2 · 5.2.3 구문 테스트 5.2.4 · 문법 규칙과 그 변형 조합 기법 — 전체 · 쌍 · Each choice 5.2.5 · Base choice 포함 · 사례가 쓰는 기법 결정 테이블 · 원인-결과 5.2.6 · 5.2.7 상태 전이 · 시나리오 5.2.8 · 5.2.9 메타모픽 테스트 5.2.11 · 랜덤 5.2.10 · 요구사항 기반 5.2.12 커버리지 항목 분할 · 경계 · 값 쌍 · 규칙 · 전이 테스트 케이스 입력 + 기대 결과(오라클) 시험 대상 실행 내부 코드 · 구조는 보지 않음 실제 ↔ 기대 대조 같으면 통과 · 다르면 실패 실패 = 결함 보고 굵은 테두리 = 6절 사례가 쓰는 기법 · 왼쪽 상자 = 명세(입력 근거) · 오른쪽 위 = 커버리지 · 오른쪽 아래 = 판정

그림 3 · 명세의 모양마다 맞는 기법이 있고, 어느 기법이든 커버리지 항목 → 케이스 → 실행 → 오라클 대조라는 같은 절차로 끝난다.

명세의 모양기법커버리지 항목근거
값 범위 · 종류동등 분할 · 분류 트리 · 경계값 분석분할 · 분류 조합 · 경계값29119-4 5.2.1 ~ 5.2.3
입력 형식구문 테스트문법 규칙 · 규칙을 어긴 변형5.2.4
입력 여럿의 조합전체 조합 · 쌍 조합 · Each choice · Base choice값 조합 · 값 쌍5.2.5
조건과 동작 규칙결정 테이블 · 원인-결과 그래프규칙 열5.2.6 · 5.2.7
순서 · 상태 · 흐름상태 전이 · 시나리오전이 · 기본 흐름과 대안 흐름5.2.8 · 5.2.9
입력 분포랜덤 테스트운용 분포에서 뽑은 입력5.2.10
기대 결과 계산이 어려움메타모픽 테스트입력 변형과 출력이 지킬 관계5.2.11 · Chen 1998
요구사항 문장요구사항 기반 테스트요구 항목 하나하나5.2.12

5동작 — 충전 예약 API 의 쌍 조합 설계 · 실행

설명용 가정 값의 전기차 충전 예약 API reserve(charger, minutes, member, channel) 다. 명세는 「충전기 완속 · 급속 · 초급속, 예약 30 ~ 90분, 회원 비회원 · 일반 · 구독, 접수 경로 앱 · 웹 · 단말 — 비회원은 60분까지이고 넘으면 E-LIMIT, 그 밖은 OK」다. 사례는 Python 3.14.0 스크립트(itertools.product · itertools.combinations)로 직접 실행했다.

  1. 명세에서 입력 넷과 규칙 하나를 읽어 테스트 모델을 세운다 — 내부 코드는 열지 않는다(29119-4 5.2).
  2. 입력마다 값 셋을 고른다 — 시간은 동등 분할 · 경계값으로 30(한도 안) · 60(한도 경계) · 90(한도 밖), 나머지 셋은 종류마다 하나씩이라 전체 조합은 3^4 = 81건이다.
  3. 커버리지 항목을 «두 입력의 값 쌍»으로 정한다 — 입력 쌍 6개 × 값 쌍 9개 = 54쌍(29119-4 5.2.5).
  4. 직교 배열 L9(3^4)로 9건을 만들고 54쌍을 모두 덮는지 스크립트로 센다 — 54 / 54. 같은 방식으로 센 Each choice 3건은 18 / 54 다.
  5. 9건마다 명세로 기대 결과를 먼저 적는다 — 8건 OK, 6번(급속 · 90분 · 비회원 · 웹) 1건 E-LIMIT.
  6. 실행하면 8건 통과 · 1건 실패다 — 6번이 E-LIMIT 대신 OK 를 돌려줘, 비회원 60분 한도 검사가 빠진 결함으로 보고한다.
  7. 견주어 보려고 81건 전체를 돌리면 실패 9건이 모두 「비회원 × 90분」이다 — 9건이 같은 결함을 찾았고, Each choice 3건은 비회원을 30분과만 묶어 실패 0건으로 놓친다.
  8. 한도 검사를 넣은 뒤 9건을 다시 돌려 모두 통과하면 확인과 회귀를 마친다 — 입력 셋 이상이 얽힌 규칙이 명세에 있으면 강도를 3-way 로 올린다(SP 800-142 1장).
4 L9 9건 · 54쌍 덮음 5 명세로 먼저 적음 8 통과 · 1 실패 6 # 충전기 시간(분) 회원 경로 기대 결과 실제 결과 판정 1완속30비회원앱OKOK통과 2완속60일반웹OKOK통과 3완속90구독단말OKOK통과 4급속30일반단말OKOK통과 5급속60구독앱OKOK통과 7초급속30구독웹OKOK통과 8초급속60비회원단말OKOK통과 9초급속90일반앱OKOK통과 6 급속 90 비회원 웹 E-LIMIT OK 실패 비회원 × 90분 = 한도(60분) 밖인데 접수됨 → 한도 검사 누락 결함 굵은 테두리 = 실패한 케이스 · 값 = 설명용 가정 값 · 9건의 값 쌍 54개는 스크립트로 셈(Python 3.14.0)

그림 4 · 쌍 조합 9건이 54쌍을 모두 덮고, 기대 결과를 미리 적어 둔 6번 줄만 실제와 달라 한도 검사 누락이 드러난다.

이 사례 — 케이스 수 · 덮은 값 쌍 · 결함 막대 = 케이스 수(1건 = 3px) 전체 조합 81건 · 쌍 54/54 · 실패 9건(같은 결함) 쌍 조합 L9 9건 · 쌍 54/54 · 실패 1건 → 결함 찾음 Each choice 3건 · 쌍 18/54 · 실패 0건 → 결함 놓침 NIST 조사 — 결함을 일으킨 입력 개수(누적) NASA 응용 · SP 800-142 그림 2 · 막대 = 4px × % 입력 1개 67% 2개까지 93% · 쌍 조합이 보장 3개까지 98% · 3-way 4 ~ 6개 100%(응용마다) 굵은 테두리 = 쌍 조합이 덮는 범위(입력 둘까지) · 나머지 7% 는 강도를 올려야 덮임

그림 5 · 케이스 수가 아니라 덮은 값 쌍이 결함을 찾고, 쌍 조합이 보장하는 입력 둘까지의 상호작용이 실제 결함 대부분을 덮지만 전부는 아니다.

🔑 블랙박스 케이스의 힘은 건수가 아니라 명세에서 뽑은 커버리지 항목에서 나온다 — 9건이 81건과 같은 결함을 찾은 것은 54쌍을 다 덮었기 때문이고, 3건이 놓친 것은 18쌍만 덮었기 때문이다.

⚠ 쌍 조합은 입력 셋 이상이 함께 얽힌 결함을 보장하지 않는다. SP 800-142 는 쌍 조합이 결함의 10% ~ 40% 이상을 놓칠 수 있어 임무가 중요한 소프트웨어에는 충분하지 않다고 적고, 조사한 응용의 결함은 모두 4 ~ 6-way 안에서 드러났다(SP 800-142 개요 · 1장).

6비교 — 블랙박스 기법 다섯의 선택 기준

블랙박스 ↔ 화이트박스의 짝 비교는 테스트 기법이 맡고, 여기서는 같은 기능에 어떤 블랙박스 기법을 고르는가를 견준다.

기준동등 분할 · 경계값결정 테이블상태 전이쌍 조합메타모픽
맞는 명세범위 · 종류가 있는 입력 하나조건 여럿 → 동작 규칙상태와 이벤트의 순서서로 독립인 입력 여럿정답을 미리 알기 어려운 출력
케이스 수분할 수 + 경계 수규칙 열 수(조건 n 개면 최대 2^n)전이 수(0-switch)값 v 개면 최소 v^2(사례 9건)관계 수 × 원 입력 수
잘 찾는 결함경계 어긋남 · 분할 처리 오류조합 빠짐 · 규칙 모순허용되면 안 되는 전이두 입력이 얽힌 결함오라클 없는 계산 · 검색 오류
약점입력 사이 상호작용을 못 봄조건이 늘면 표가 커짐상태 모델이 틀리면 함께 틀림입력 셋 이상 얽힘을 놓칠 수 있음관계를 잘못 세우면 판정 불가
근거29119-4 5.2.1 · 5.2.35.2.65.2.8 · CTFL 4.2.45.2.5 · SP 800-1425.2.11 · Chen 1998

분석입력마다 동등 분할 · 경계값으로 값을 먼저 정하고, 입력 사이에 규칙이 명세에 적혀 있으면 결정 테이블, 규칙 없이 설정만 여럿이면 쌍 조합, 순서가 결과를 바꾸면 상태 전이를 더한다. 근거는 표의 「약점」 행이 기법마다 다른 결함 종류를 놓친다는 점과, 사례에서 경계값으로 고른 60 · 90 을 쌍 조합 9건에 그대로 얹어 결함을 찾은 단계 2 · 6 이다.

7실무 진단 — 블랙박스 케이스가 결함을 놓친 이유 가르기

분석먼저 새어 나간 결함의 재현 입력이 명세에 적힌 동작인지 확인하고, 적혀 있으면 기법 · 강도 쪽(1 ~ 3행), 적혀 있지 않으면 명세 쪽(4행)으로 보낸다. 근거는 블랙박스 케이스가 명세에서만 나온다는 점이다(29119-4 5.2 · 그림 2).

#증상의심 원인구분확인 자료판정 기준(근거)
1설정 둘을 함께 고를 때만 운영 결함값 쌍 누락조합 기법케이스 표 ↔ 입력 쌍 목록(쌍 커버리지 집계)값 쌍 덮은 비율이 100% 미만이면 누락(29119-4 5.2.5 · 6.2.5)
2쌍 100% 인데 입력 셋이 얽힐 때 결함상호작용 강도 부족조합 기법결함 재현 입력에서 바꿔도 되는 값 · 안 되는 값꼭 필요한 값이 셋 이상이면 3-way 이상으로(SP 800-142 1장)
3특정 순서로 조작할 때만 결함전이 · 무효 전이 누락상태 전이상태 전이 표 ↔ 케이스모든 유효 전이 · 무효 전이 시험 여부(CTFL 4.2.4 · 29119-4 5.2.8)
4명세대로 다 통과했는데 사용자 신고명세 빠짐 · 모순테스트 근거요구사항 추적표 · 리뷰 기록신고 동작이 명세에 없음 = 명세 보완 뒤 케이스 추가(5.2.12)
5결과가 맞는지 판정하지 못함오라클 부재메타모픽원 입력 · 변형 입력의 결과 쌍세운 관계를 어기면 실패(5.2.11 · Chen 1998)

1 ~ 3행은 케이스 표와 재현 입력만으로 몇 분 안에 가려지고, 4행은 요구사항 문서를 대조해야 해 시간이 든다. 같은 종류 결함이 두 번 새면 그 입력 쌍 · 전이를 회귀 케이스 목록에 고정한다.

8시험 대비

출제 정보 정보관리(139회, 137회, 134회, 129회, 122회, 114회, 89회, 84회) · 컴퓨터시스템응용(128회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 정의와 기법 종류를 묻는 정의 · 특징형, 화이트박스 테스트와 대조하는 비교형으로 나올 수 있고, 주어진 입력 조건으로 케이스를 만드는 구현 · 설계형으로도 나올 수 있다. 설계형은 입력마다 동등 분할 · 경계값으로 값을 정한 뒤 결정 테이블이나 쌍 조합 표로 묶어 케이스 수와 기대 결과를 함께 적으면 답이 된다.

답안 목차
  1. 개요 — 정의(명세 기반 · 내부 구조 보지 않음) · 테스트 근거 · 테스트 오라클 · ISO/IEC/IEEE 29119-4:2021 5.2절 기법 12개
  2. 절차와 기법 지도 — 그림 3(명세 모양 → 기법 → 커버리지 항목 → 케이스 → 오라클 대조) + 기법 표
  3. 기법 설계 예 — 그림 4 쌍 조합 9건 표(54쌍 · 6번 실패) · 경계값 30 · 60 · 90
  4. 조합 수와 결함 — 그림 5(81 · 9 · 3건 · 쌍 54/54 · 18/54 · NIST 67 · 93 · 98%)
  5. 기법 선택 기준 — 동등 분할 · 경계값 / 결정 테이블 / 상태 전이 / 쌍 조합 / 메타모픽 비교표
  6. 한계와 보완 — 명세 밖 코드는 화이트박스 · 커버리지 · 입력 셋 이상 얽힘은 강도 상향 · 명세 결함은 리뷰

꼭 쓸 키워드
명세 기반테스트 오라클동등 분할경계값 분석결정 테이블상태 전이쌍 조합직교 배열메타모픽 테스트ISO/IEC/IEEE 29119-4

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «81건 → 9건으로 줄여도 54쌍을 다 덮는다»는 수치와 NIST 상호작용 규칙을 함께 적어, 줄이기의 근거와 한계를 한 장에 보이는 것이다.

9오해와 사실

  • 오해블랙박스 테스트는 테스터가 떠오르는 값을 넣어 보는 시험이다.
    사실29119-4 5.2절의 기법마다 테스트 모델 → 커버리지 항목 → 케이스 절차가 있고, 사례의 9건도 54쌍이라는 항목을 세어 고른 것이다.
  • 오해쌍 조합 9건이면 전체 81건과 같은 결함을 다 찾는다.
    사실입력 둘까지 얽힌 결함만 보장하며, SP 800-142 는 쌍 조합이 결함의 10% ~ 40% 이상을 놓칠 수 있다고 적는다.
  • 오해기대 결과를 미리 알 수 없으면 블랙박스 테스트를 할 수 없다.
    사실메타모픽 테스트는 입력을 정해진 방식으로 바꿀 때 출력이 지켜야 할 관계로 판정한다(Chen 1998 · 29119-4 5.2.11).

10핵심 정리

기법맞는 명세커버리지 항목케이스 수 기준충전 예약 사례 값29119-4
동등 분할범위 · 종류분할분할마다 하나충전기 · 회원 · 경로 각 3종5.2.1
경계값 분석범위의 끝경계값경계마다 2 ~ 3개예약 30 · 60 · 90분5.2.3
쌍 조합독립 입력 여럿두 입력의 값 쌍최소 v^2L9 9건 · 54쌍 · 1건 실패5.2.5
결정 테이블조건 → 동작 규칙규칙 열최대 2^n—5.2.6
상태 전이상태 · 이벤트 순서전이전이 수—5.2.8
메타모픽오라클 없는 출력메타모픽 관계관계 × 원 입력—5.2.11
요구사항 기반요구사항 문장요구 항목항목마다 하나 이상비회원 60분 한도 1항목5.2.12

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ISO/IEC/IEEE 29119-4:2021 Software and systems engineering - Software testing - Part 4: Test techniques — 명세 기반 기법 12개(5.2.1 ~ 5.2.12)와 기법별 커버리지 측정(6.2)을 볼 때
    ISO/IEC/IEEE · 2021-10 · webstore.iec.ch/en/publication/71836 · 확인 2026-11-14
  3. ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 블랙박스 기법 넷(동등 분할 · 경계값 · 결정 테이블 · 상태 전이)을 무료 원문으로 익힐 때
    ISTQB · 2024-09 · www.istqb.org/certifications/certified-tester-foundation-level-ctfl-v4-0/ · 확인 2026-11-14
  4. ★ NIST SP 800-142 Practical Combinatorial Testing — 결함을 일으킨 입력 개수 조사(상호작용 규칙)와 쌍 조합의 한계를 볼 때
    NIST (D. R. Kuhn, R. N. Kacker, Y. Lei) · 2010-10 · csrc.nist.gov/pubs/sp/800/142/final · 확인 2026-11-14
  5. ★ Metamorphic Testing: A New Approach for Generating Next Test Cases (HKUST-CS98-01) — 기대 결과를 미리 알 수 없을 때 입력 사이 관계로 판정하는 방법을 볼 때
    T. Y. Chen, S. C. Cheung, S. M. Yiu · HKUST · 1998-01 · arxiv.org/abs/2002.12543 · 확인 2026-11-14
  6. 본문 근거
  7. The Art of Software Testing, 3rd Edition (1st Edition 1979) — John Wiley & Sons · 2011-11 · www.oreilly.com/library/view/the-art-of/9781118133156/ · 확인 2026-11-14
  8. Python 3 Documentation - itertools: Functions creating iterators for efficient looping — Python Software Foundation · 2026-11 · docs.python.org/3/library/itertools.html · 확인 2026-11-14