테스트 레벨 · 유형Test Levels and Test Types
테스트를 대상의 크기와 시점(단위 · 통합 · 시스템 · 인수 레벨)과 확인하는 품질 특성(기능 · 성능 · 보안 등 유형)의 두 축으로 나누고, 한 변경이 어느 레벨 × 유형의 테스트를 거치는지 정하는 분류다.
1요약
- 테스트 레벨 · 유형은 ISTQB CTFL v4.0.1 이 레벨 다섯(컴포넌트 · 컴포넌트 통합 · 시스템 · 시스템 통합 · 인수)과 유형 넷(기능 · 비기능 · 블랙박스 · 화이트박스)으로 정리한 두 축이고, 그 행렬 위에서 단위 · 통합 · 계약 · 성능 · 보안 · 인수 테스트가 일을 나눈다.
- 유형은 대부분 모든 레벨에서 할 수 있어(CTFL 2.2) 레벨만 정하면 유형 축이 빈다 — 가정 사례에서도 단위 · 계약 · 통합을 다 통과한 변경이 시스템 성능 테스트에서 p95 410 ms 로 목표 300 ms 를 넘었다.
- 「테스트는 다 했는데 운영에서 깨졌다」는 빈 셀로 가른다 — 서비스 사이 필드 어긋남이면 계약 테스트, 몰릴 때만 느리면 시스템 × 성능 테스트, 기능은 맞는데 업무에 못 쓰면 인수 테스트가 비어 있었다.
2등장 배경
테스트를 출시 직전에 한꺼번에 하면 실패 하나가 어느 모듈 · 어느 연결에서 났는지 가려지지 않고, 응답 시간 · 접근 통제 같은 비기능 결함은 기능이 다 만들어진 뒤에야 처음 드러난다. CTFL 2.2.2 는 비기능 결함을 늦게 찾는 것을 프로젝트 성공의 심각한 위협으로 적는다.
Brian Marick 는 2003년 테스트를 «업무 쪽 · 기술 쪽»과 «팀 지원 · 제품 비판»으로 나눈 사분면에 레벨과 유형을 함께 놓았다(CTFL 5.1.7). Ian Robinson 은 2006년 6월 소비자가 기대를 밝히고 제공자가 그것을 계약으로 삼는 소비자 주도 계약을 제안했고(Robinson 2006), Mike Cohn 은 2009년 아래쪽 단위 테스트를 가장 많이 두는 테스트 자동화 피라미드를 정리했다(Fowler 2012).
CTFL v4.0(2023)은 레벨 다섯 · 유형 넷으로 정리했고, 비기능 특성은 ISO/IEC 25010:2023 의 여덟 분류(성능 효율성 · 호환성 · 사용성 · 신뢰성 · 보안 · 유지보수성 · 이식성 · 안전성)를 따른다(CTFL 2.2.2). 서비스가 잘게 나뉜 지금은 레벨 사이 경계를 계약 테스트가 따로 맡는다.
3쉽게 이해하기 — 새 메뉴 출시 전 점검
김 셰프가 새 메뉴 「불고기 덮밥」을 내기 전, 주방 벽 점검표에 단계마다 맛 · 속도 · 안전 항목을 적고 하나씩 지워 간다. 먼저 고기와 소스를 따로 맛보고, 홀 직원과 새 주문서 항목 이름을 맞추다가 홀은 「곱빼기」라고 적는데 주방은 「양」 항목만 읽는다는 것을 찾아 고친다. 이어 주문부터 서빙까지 이어 돌리고, 50석이 다 찬 점심 피크를 연습하고, 금고와 뒷문을 확인한 뒤, 단골 다섯 명의 시식으로 출시를 정한다.
그림 1 · 재료에서 손님까지 점검이 커지는 동안, 주문서 맞추기 · 피크 연습 · 문단속처럼 «무엇을 보나»가 다른 점검이 끼어든다.
그림 2 · 홀과 주방이 서로 다른 항목 이름을 쓰는 어긋남을 주문서 한 장으로 찾듯, 계약 테스트는 두 서비스를 함께 띄우지 않고 요청 · 응답 예시로 찾는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 주방 벽 점검표(단계 × 맛 · 속도 · 안전) | 레벨 × 유형 | 어느 레벨 · 유형을 시험했는지 두 축으로 확인한다 |
| 고기 · 소스를 따로 맛봄 | 단위 테스트 | 컴포넌트 하나를 떼어 테스트 더블과 함께 실행한다 |
| 홀 · 주방 주문서 항목 맞추기 | 계약 테스트 | 소비자가 쓰는 요청 · 응답 예시를 제공자가 검증한다 |
| 주문부터 서빙까지 이어 돌림 | 통합 테스트 | 실제 컴포넌트 · 서비스를 이어 인터페이스를 확인한다 |
| 만석 점심 피크 연습 | 성능 · 부하 테스트 | 정한 부하에서 응답 시간 · 처리량 목표를 잰다 |
| 금고 · 뒷문 문단속 | 보안 테스트 | 허가 없는 접근 · 남용을 막는지 시험한다 |
| 단골 시식단 승인 | 시스템 · 인수 테스트 | 전체 동작을 명세와 대조하고 의도한 사용자가 인수한다 |
| 고친 뒤 같은 점검 다시 | 확인 · 회귀 테스트 | 변경 뒤 고친 곳과 다른 곳을 다시 실행한다 |
⚠ 비유가 맞지 않는 곳: 식당 점검은 출시 전 한 번이지만 소프트웨어는 변경마다 같은 테스트를 자동으로 다시 돌리고(CTFL 2.2.3), 보안 테스트는 문단속과 달리 시험 계획에 적은 경로를 체계적으로 확인한다(NIST SP 800-115).
4구조 — 레벨 축 · 유형 축과 여섯 토픽
CTFL 은 레벨을 시험 대상 · 목표 · 근거 · 결함 · 접근과 책임으로 가르고(2.2.1), 유형을 품질 특성으로 묶는다(2.2). 두 축이 만나는 셀마다 테스트 스위트 하나가 서고, 아래 여섯 토픽은 그 가운데 일부 또는 레벨 사이 경계를 맡는다.
그림 3 · 레벨(행)과 유형(열)이 만나는 셀 가운데 여섯 토픽이 주로 맡는 것은 일부이고, 나머지에서도 시험할 수 있다.
| 하위 이름 | 축 | 푸는 문제 | 테스트 근거 | 주로 맡는 셀(근거) |
|---|---|---|---|---|
| 단위 테스트 | 레벨 | 컴포넌트 하나가 맞게 도는가 | 상세 설계 · 코드 | 컴포넌트 × 기능 · 화이트박스(CTFL 2.2.1) |
| 계약 테스트 | 레벨 사이 | 소비자가 쓰는 요청 · 응답을 제공자가 지키는가 | 소비자 테스트가 만든 예시 쌍 | 컴포넌트와 통합의 경계(Pact 문서) |
| 통합 테스트 | 레벨 | 컴포넌트 · 시스템 사이 인터페이스가 맞물리는가 | 인터페이스 설계 · 통합 전략 | 컴포넌트 통합 · 시스템 통합 × 기능(2.2.1) |
| 시스템 · 인수 테스트 | 레벨 | 전체가 명세를 채우는가 · 업무에 쓸 만한가 | 시스템 명세 · 업무 요구 · 계약 · 규제 | 시스템 · 인수 × 기능 · 비기능(2.2.1) |
| 성능 · 부하 테스트 | 유형 | 정한 부하에서 시간 · 자원 목표를 지키는가 | 성능 요구(응답 시간 · 처리량) | 시스템 × 성능 효율성(2.2.2) |
| 보안 테스트 | 유형 | 허가 없는 접근 · 남용을 막는가 | 보안 요구 · 위협 목록 | 시스템 × 보안(NIST SP 800-115 · WSTG 4.2) |
🔑 레벨은 «무엇을 얼마나 크게 묶어 돌리나»를, 유형은 «무엇이 좋아야 하나»를 정한다 — 한 축만 채우면 다른 축이 비고, 그 축의 결함은 그대로 운영으로 샌다.
5동작 — 쿠폰 기능 변경 한 건이 지나는 단계
설명용 가정 값의 쇼핑몰이다. 주문 서비스에 쿠폰 할인을 넣으면서 결제 서비스로 보내는 요청 본문 필드 amount 를 total_amount 로 바꾼 변경 한 건이 아래 단계를 차례로 지난다.
- 단위 · 기능 —
apply_coupon()케이스 24건(정액 · 정률 · 만료 · 최소 주문 금액)을 결제 호출을 테스트 더블로 바꿔 돌린다 — 24건 통과. - 계약 — 주문 쪽 소비자 테스트가 요청 · 응답 예시 3쌍을 계약 파일로 내고, 결제 쪽 검증에서 1쌍이 실패한다 — 결제 서비스는
amount가 없으면 400 을 돌려준다(Pact 문서). - 통합 — 결제 쪽이 두 이름을 모두 받게 고친 뒤 주문 · 쿠폰 · 결제를 실제로 이은 6건이 통과한다(CTFL 2.2.1 컴포넌트 통합).
- 시스템 × 성능 — 가상 사용자 200명 · 10분 부하에서 p95 응답이 410 ms 로 목표 300 ms 를 넘는다. 주문마다 쿠폰 표를 다시 조회하던 것을 캐시로 바꾸자 260 ms 가 된다.
- 시스템 × 보안 — 동적 점검에서 쿠폰 코드 입력의 반복 시도 횟수 제한이 없는 것 1건이 나온다. 1분 5회 제한을 넣고 다시 점검해 통과한다(OWASP WSTG 4.2 업무 논리 시험).
- 인수 — 운영 담당 3명이 업무 시나리오 5건으로 UAT 를 하고 승인한다(CTFL 2.2.1).
- 확인 · 회귀 — 고친 세 곳은 실패했던 시험을 다시 돌려 확인하고, 단위 · 계약 · 통합 33건을 CI 회귀 테스트 스위트에 넣는다(CTFL 2.2.3).
그림 4 · 단위 24건이 모두 통과한 변경이 ② 계약 · ④ 성능 · ⑤ 보안에서 처음 실패했고, 셋 다 단위 레벨만으로는 보이지 않는 결함이었다.
그림 5 · 같은 변경의 테스트가 네 사분면에 모두 놓여야 레벨 · 유형의 빈 셀이 남지 않는다.
🔑 단위 테스트가 모두 통과해도 레벨 사이 경계(계약)와 비기능 유형(성능 · 보안)의 결함은 보이지 않는다 — 빈 셀은 «더 큰 레벨»이 아니라 «다른 셀»이 채운다.
6비교 — 소프트웨어 테스트 · 테스트 기법 · 테스트 자동화 전략과의 경계
| 기술 | 맡는 질문 | 경계 | 넘기는 곳 |
|---|---|---|---|
| 테스트 레벨 · 유형 | 어느 크기 대상에 어떤 품질 특성을 시험하나 | 레벨 × 유형을 정하고 각각의 근거 · 환경 · 담당을 정함 | 그 안의 케이스 고르기 → 테스트 기법 |
| 소프트웨어 테스트 | 왜 · 어떤 절차로 시험하나 | 원리 · 전략 · 프로세스 · 케이스 · 오라클 · 결함 관리 · 29119 | 레벨 · 유형별 계획의 내용 → 테스트 레벨 · 유형 |
| 테스트 기법 | 한 레벨 × 유형 안에서 어떤 입력 · 경로를 고르나 | 블랙박스 · 화이트박스 · 커버리지 · 뮤테이션 · TDD | 어느 레벨에서 돌릴지 → 테스트 레벨 · 유형 |
| 테스트 자동화 전략 | 레벨 · 유형별 테스트를 언제 · 얼마나 자동으로 돌리나 | 자동화 비율(피라미드) · E2E · 전환 테스트 · 시프트 레프트 | 어느 레벨 × 유형이 필요한지 → 테스트 레벨 · 유형 |
분석시험 계획은 이 표의 위에서 아래로 정한다 — 셀(레벨 × 유형)을 먼저 정하고, 셀마다 기법으로 케이스를 고른 뒤, 되풀이할 셀부터 자동화한다. 근거는 유형이 대부분 모든 레벨에서 가능해 레벨 × 유형을 정하지 않으면 기법 · 자동화의 대상이 정해지지 않는다는 점이다(CTFL 2.2).
7실무 진단 — 운영 결함의 빈 셀 가르기
분석운영 결함은 먼저 «서비스 사이에서 났는가»로 계약 · 통합 테스트를, 다음으로 «부하 · 공격 조건에서만 나는가»로 비기능 유형을 본다. 기능 유형은 보통 단위부터 채워져 있고, 비기능 결함은 늦게 찾을수록 위험하다(CTFL 2.2.2).
| # | 증상 | 의심 원인 | 빈 셀 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 한 서비스 배포 뒤 다른 서비스 호출이 400 | 필드 이름 · 형식 어긋남 | 레벨 사이 × 기능(계약) | 소비자 계약 파일 ↔ 제공자 검증 기록 | 소비자가 쓰는 예시 쌍이 모두 검증 통과(Pact 문서) |
| 2 | 평소엔 정상, 몰릴 때만 느림 | 부하 시험 · 목표 값 없음 | 시스템 × 성능 효율성 | 부하 시험 보고서의 p95 · 처리량 | 성능 요구에 목표 값이 있고 그 부하로 쟀는가(CTFL 2.2.2) |
| 3 | 같은 요청 반복이 막히지 않음 | 보안 요구 누락 | 시스템 × 보안 | 보안 시험 계획 · 동적 점검 결과 | 계획한 시험 항목의 결과가 있는가(NIST SP 800-115 · WSTG 4.2) |
| 4 | 시스템 테스트는 통과, 업무에 못 씀 | 업무 요구 확인 없음 | 인수 | UAT 시나리오 · 승인 기록 | 의도한 사용자가 인수했는가(CTFL 2.2.1) |
| 5 | 고친 뒤 다른 곳이 깨짐 | 회귀가 한 레벨에만 | 변경된 모든 레벨 × 회귀 | CI 실행 기록 · 영향 분석 | 변경이 있은 레벨마다 확인 · 회귀(CTFL 2.2.3) |
1행은 계약 파일 대조로 몇 분이면 끝나므로 먼저 보고, 2 · 3행은 시험 환경이 따로 필요해 다음에 본다. 같은 레벨 × 유형에서 결함이 두 번 새면 그 테스트를 CI 회귀 테스트 스위트에 넣는다(5행).
8시험 대비
www.q-net.or.kr시험에서는 단위 · 통합 · 시스템 · 인수 테스트를 대상 · 근거 · 수행자로 견주는 비교형과, 주어진 서비스에 레벨 × 유형 시험 계획을 세우는 구현 · 설계형이 나올 수 있다. 설계형은 레벨 × 유형 표(그림 3)를 먼저 그리고 셀마다 근거 · 환경 · 완료 기준을 적으면 그대로 답이 된다.
- 개요 — 레벨(대상 크기 · 시점)과 유형(품질 특성) 두 축 · CTFL v4.0.1 레벨 다섯 · 유형 넷
- 구조 — 그림 3 레벨 × 유형 행렬 + 여섯 토픽 비교표(근거 · 수행자 · 주로 맡는 셀)
- 레벨 사이 경계 — 계약 테스트(소비자 예시 → 제공자 검증) · 통합 전략(상향 · 하향 · 빅뱅)
- 적용 사례 — 그림 4 변경 한 건 일곱 단계(계약 · 성능 · 보안의 첫 실패)
- 관리 모델 — 그림 5 사분면(Q1 ~ Q4) · 확인 · 회귀 테스트
- 선택 기준 — 빈 셀 가르기 진단표 · 비기능 결함의 늦은 발견 위험
꼭 쓸 키워드
컴포넌트 테스트컴포넌트 통합시스템 통합인수 테스트(UAT)비기능 테스트소비자 주도 계약테스트 사분면확인 테스트회귀 테스트ISO/IEC 25010
9오해와 사실
- 오해성능 · 보안 테스트는 시스템 테스트가 끝난 뒤 따로 하는 단계다.사실유형은 레벨이 아니라 품질 특성 축이라 대부분 모든 레벨에서 할 수 있고, 비기능 테스트를 컴포넌트 테스트 때부터 시작하는 편이 알맞을 때도 있다(CTFL 2.2 · 2.2.2).
- 오해계약 테스트가 있으면 통합 테스트는 필요 없다.사실계약은 소비자가 실제로 쓰는 요청 · 응답 예시만 검증하므로(Pact 문서), 여러 서비스를 이은 흐름의 순서 · 상태 결함은 통합 · 시스템 레벨이 본다.
- 오해확인 테스트와 회귀 테스트는 같은 것이다.사실확인은 고친 결함이 사라졌는지를, 회귀는 그 변경이 다른 곳을 깨지 않았는지를 보며, 둘 다 변경이 있은 모든 레벨에서 필요하다(CTFL 2.2.3).
10핵심 정리
| 하위 | 축 | 수행자 | 환경 | 실패 신호(사례) | 근거 |
|---|---|---|---|---|---|
| 단위 테스트 | 레벨 | 개발자 | 개발 환경 · 테스트 더블 | 케이스 실패(24건 통과) | CTFL 2.2.1 |
| 계약 테스트 | 레벨 사이 | 소비자 · 제공자 팀 | 각 서비스 단독 실행 | 예시 쌍 검증 실패(3쌍 중 1) | Pact 문서 · Robinson 2006 |
| 통합 테스트 | 레벨 | 개발자 · 테스터 | 실제 컴포넌트 · 외부 서비스 | 인터페이스 실패(6건 통과) | CTFL 2.2.1 |
| 시스템 · 인수 테스트 | 레벨 | 독립 팀 · 의도한 사용자 | 운영과 비슷한 환경 | 명세 불일치 · 인수 거부(UAT 5건 승인) | CTFL 2.2.1 |
| 성능 · 부하 테스트 | 유형 | 테스터 · 운영 | 대표 부하 환경 | 목표 초과(p95 410 ms) | CTFL 2.2.2 |
| 보안 테스트 | 유형 | 보안 시험자 | 계획한 시험 범위 | 통제 누락(반복 시도 제한 없음) | NIST SP 800-115 · WSTG 4.2 |
| 확인 · 회귀 | 변경 뒤 | 팀 · CI | 변경된 모든 레벨 | 고친 곳 재실패 · 다른 곳 깨짐(33건 등록) | CTFL 2.2.3 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 레벨 다섯 · 유형 넷 · 확인 · 회귀 테스트(2.2절)와 테스트 사분면(5.1.7)을 무료 원문으로 볼 때
- ★ Pact Docs - Introduction (contract testing · consumer driven contracts) — 소비자 테스트가 요청 · 응답 예시로 계약을 만드는 방식을 볼 때
- ★ NIST SP 800-115 Technical Guide to Information Security Testing and Assessment — 보안 테스트를 계획 · 실행 · 보고하는 기술 기법을 볼 때
- ★ OWASP Web Security Testing Guide v4.2 — 웹 응용의 보안 시험 항목 목록을 볼 때
- 본문 근거
- Consumer-Driven Contracts: A Service Evolution Pattern — martinfowler.com · 2006-06 ·
martinfowler.com/articles/consumerDrivenContracts.html· 확인 2026-11-14 - TestPyramid — martinfowler.com · 2012-05 ·
martinfowler.com/bliki/TestPyramid.html· 확인 2026-11-14 - ISO/IEC 25010:2023 Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Product quality model — ISO/IEC · 2023-11 ·
www.iso.org/standard/78176.html· 확인 2026-11-14