IT › 소프트웨어 › 테스트

테스트 레벨 · 유형Test Levels and Test Types

테스트를 대상의 크기와 시점(단위 · 통합 · 시스템 · 인수 레벨)과 확인하는 품질 특성(기능 · 성능 · 보안 등 유형)의 두 축으로 나누고, 한 변경이 어느 레벨 × 유형의 테스트를 거치는지 정하는 분류다.

1요약

  1. 테스트 레벨 · 유형은 ISTQB CTFL v4.0.1 이 레벨 다섯(컴포넌트 · 컴포넌트 통합 · 시스템 · 시스템 통합 · 인수)과 유형 넷(기능 · 비기능 · 블랙박스 · 화이트박스)으로 정리한 두 축이고, 그 행렬 위에서 단위 · 통합 · 계약 · 성능 · 보안 · 인수 테스트가 일을 나눈다.
  2. 유형은 대부분 모든 레벨에서 할 수 있어(CTFL 2.2) 레벨만 정하면 유형 축이 빈다 — 가정 사례에서도 단위 · 계약 · 통합을 다 통과한 변경이 시스템 성능 테스트에서 p95 410 ms 로 목표 300 ms 를 넘었다.
  3. 「테스트는 다 했는데 운영에서 깨졌다」는 빈 셀로 가른다 — 서비스 사이 필드 어긋남이면 계약 테스트, 몰릴 때만 느리면 시스템 × 성능 테스트, 기능은 맞는데 업무에 못 쓰면 인수 테스트가 비어 있었다.

2등장 배경

테스트를 출시 직전에 한꺼번에 하면 실패 하나가 어느 모듈 · 어느 연결에서 났는지 가려지지 않고, 응답 시간 · 접근 통제 같은 비기능 결함은 기능이 다 만들어진 뒤에야 처음 드러난다. CTFL 2.2.2 는 비기능 결함을 늦게 찾는 것을 프로젝트 성공의 심각한 위협으로 적는다.

Brian Marick 는 2003년 테스트를 «업무 쪽 · 기술 쪽»과 «팀 지원 · 제품 비판»으로 나눈 사분면에 레벨과 유형을 함께 놓았다(CTFL 5.1.7). Ian Robinson 은 2006년 6월 소비자가 기대를 밝히고 제공자가 그것을 계약으로 삼는 소비자 주도 계약을 제안했고(Robinson 2006), Mike Cohn 은 2009년 아래쪽 단위 테스트를 가장 많이 두는 테스트 자동화 피라미드를 정리했다(Fowler 2012).

CTFL v4.0(2023)은 레벨 다섯 · 유형 넷으로 정리했고, 비기능 특성은 ISO/IEC 25010:2023 의 여덟 분류(성능 효율성 · 호환성 · 사용성 · 신뢰성 · 보안 · 유지보수성 · 이식성 · 안전성)를 따른다(CTFL 2.2.2). 서비스가 잘게 나뉜 지금은 레벨 사이 경계를 계약 테스트가 따로 맡는다.

3쉽게 이해하기 — 새 메뉴 출시 전 점검

김 셰프가 새 메뉴 「불고기 덮밥」을 내기 전, 주방 벽 점검표에 단계마다 맛 · 속도 · 안전 항목을 적고 하나씩 지워 간다. 먼저 고기와 소스를 따로 맛보고, 홀 직원과 새 주문서 항목 이름을 맞추다가 홀은 「곱빼기」라고 적는데 주방은 「양」 항목만 읽는다는 것을 찾아 고친다. 이어 주문부터 서빙까지 이어 돌리고, 50석이 다 찬 점심 피크를 연습하고, 금고와 뒷문을 확인한 뒤, 단골 다섯 명의 시식으로 출시를 정한다.

재료 검수대 고기 · 소스 따로 단위 테스트 한 가지씩 떼어 맛봄 1 주문서 항목 맞추기 곱빼기 ↔ 양 계약 테스트 문 열기 전에 어긋남 찾음 2 주방 ↔ 홀 잇기 주문부터 서빙까지 통합 테스트 실제 사람끼리 이어 봄 3 점심 피크 연습 50석 만석 성능 · 부하 테스트 몰려도 15분 안에 나가나 4 문단속 금고 · 뒷문 보안 테스트 허락 없는 손이 닿나 5 단골 시식단 다섯 명이 승인 시스템 · 인수 테스트 먹을 사람이 정함 6 출시 결정

그림 1 · 재료에서 손님까지 점검이 커지는 동안, 주문서 맞추기 · 피크 연습 · 문단속처럼 «무엇을 보나»가 다른 점검이 끼어든다.

재료 맛보기고기 · 소스를 따로
주문서 맞추기곱빼기 ↔ 양 어긋남
주방 · 홀 잇기주문부터 서빙까지
피크 연습50석 만석에도 15분
문단속금고 · 뒷문 확인
시식단단골 다섯 명 승인
비유 — 홀과 주방 사이 주문서 실제 — 계약 테스트 홀 직원 소비자 「곱빼기」라고 씀 주방 김 셰프 제공자 「양」 항목만 읽음 새 주문서 한 장 계약 홀이 쓴 항목 = 곱빼기 · 주방이 읽는 항목 = 양 항목 이름 어긋남 영업일 없이 문 열기 전에 찾음 주문 서비스 소비자 소비자 테스트 예시 3쌍을 만듦 결제 서비스 제공자 제공자 검증 실제 코드로 재생 계약 파일 = 요청 · 응답 예시 요청 본문 total_amount 결제 쪽은 amount 를 기대 → 400 두 서비스를 함께 띄우지 않음 레벨: 단위와 통합 사이의 경계

그림 2 · 홀과 주방이 서로 다른 항목 이름을 쓰는 어긋남을 주문서 한 장으로 찾듯, 계약 테스트는 두 서비스를 함께 띄우지 않고 요청 · 응답 예시로 찾는다.

비유 속 역할실제 이름실제로 하는 일
주방 벽 점검표(단계 × 맛 · 속도 · 안전)레벨 × 유형어느 레벨 · 유형을 시험했는지 두 축으로 확인한다
고기 · 소스를 따로 맛봄단위 테스트컴포넌트 하나를 떼어 테스트 더블과 함께 실행한다
홀 · 주방 주문서 항목 맞추기계약 테스트소비자가 쓰는 요청 · 응답 예시를 제공자가 검증한다
주문부터 서빙까지 이어 돌림통합 테스트실제 컴포넌트 · 서비스를 이어 인터페이스를 확인한다
만석 점심 피크 연습성능 · 부하 테스트정한 부하에서 응답 시간 · 처리량 목표를 잰다
금고 · 뒷문 문단속보안 테스트허가 없는 접근 · 남용을 막는지 시험한다
단골 시식단 승인시스템 · 인수 테스트전체 동작을 명세와 대조하고 의도한 사용자가 인수한다
고친 뒤 같은 점검 다시확인 · 회귀 테스트변경 뒤 고친 곳과 다른 곳을 다시 실행한다

⚠ 비유가 맞지 않는 곳: 식당 점검은 출시 전 한 번이지만 소프트웨어는 변경마다 같은 테스트를 자동으로 다시 돌리고(CTFL 2.2.3), 보안 테스트는 문단속과 달리 시험 계획에 적은 경로를 체계적으로 확인한다(NIST SP 800-115).

4구조 — 레벨 축 · 유형 축과 여섯 토픽

CTFL 은 레벨을 시험 대상 · 목표 · 근거 · 결함 · 접근과 책임으로 가르고(2.2.1), 유형을 품질 특성으로 묶는다(2.2). 두 축이 만나는 셀마다 테스트 스위트 하나가 서고, 아래 여섯 토픽은 그 가운데 일부 또는 레벨 사이 경계를 맡는다.

레벨 ↓ · 유형 → 기능 무엇을 하나 성능 효율성 비기능 보안 비기능 화이트박스 구조 컴포넌트 = 단위 · 개발자 컴포넌트 통합 상향 · 하향 · 빅뱅 시스템 전체 · 독립 팀 시스템 통합 외부 시스템 · 서비스 인수 의도한 사용자 단위 테스트 통합 테스트 계약 테스트 시스템 · 인수 테스트 통합 테스트 시스템 · 인수 테스트 가능 가능 성능 · 부하 테스트 가능 운영 인수 가능 가능 보안 테스트 가능 규제 인수 커버리지 측정 호출 경로 업무 흐름 가능 가능 칠한 셀 = 하위 토픽이 주로 맡음 회색 셀 = 시험할 수 있음(CTFL 2.2) 굵은 테두리 배지 = 레벨 사이 경계

그림 3 · 레벨(행)과 유형(열)이 만나는 셀 가운데 여섯 토픽이 주로 맡는 것은 일부이고, 나머지에서도 시험할 수 있다.

하위 이름축푸는 문제테스트 근거주로 맡는 셀(근거)
단위 테스트레벨컴포넌트 하나가 맞게 도는가상세 설계 · 코드컴포넌트 × 기능 · 화이트박스(CTFL 2.2.1)
계약 테스트레벨 사이소비자가 쓰는 요청 · 응답을 제공자가 지키는가소비자 테스트가 만든 예시 쌍컴포넌트와 통합의 경계(Pact 문서)
통합 테스트레벨컴포넌트 · 시스템 사이 인터페이스가 맞물리는가인터페이스 설계 · 통합 전략컴포넌트 통합 · 시스템 통합 × 기능(2.2.1)
시스템 · 인수 테스트레벨전체가 명세를 채우는가 · 업무에 쓸 만한가시스템 명세 · 업무 요구 · 계약 · 규제시스템 · 인수 × 기능 · 비기능(2.2.1)
성능 · 부하 테스트유형정한 부하에서 시간 · 자원 목표를 지키는가성능 요구(응답 시간 · 처리량)시스템 × 성능 효율성(2.2.2)
보안 테스트유형허가 없는 접근 · 남용을 막는가보안 요구 · 위협 목록시스템 × 보안(NIST SP 800-115 · WSTG 4.2)

🔑 레벨은 «무엇을 얼마나 크게 묶어 돌리나»를, 유형은 «무엇이 좋아야 하나»를 정한다 — 한 축만 채우면 다른 축이 비고, 그 축의 결함은 그대로 운영으로 샌다.

5동작 — 쿠폰 기능 변경 한 건이 지나는 단계

설명용 가정 값의 쇼핑몰이다. 주문 서비스에 쿠폰 할인을 넣으면서 결제 서비스로 보내는 요청 본문 필드 amount 를 total_amount 로 바꾼 변경 한 건이 아래 단계를 차례로 지난다.

  1. 단위 · 기능 — apply_coupon() 케이스 24건(정액 · 정률 · 만료 · 최소 주문 금액)을 결제 호출을 테스트 더블로 바꿔 돌린다 — 24건 통과.
  2. 계약 — 주문 쪽 소비자 테스트가 요청 · 응답 예시 3쌍을 계약 파일로 내고, 결제 쪽 검증에서 1쌍이 실패한다 — 결제 서비스는 amount 가 없으면 400 을 돌려준다(Pact 문서).
  3. 통합 — 결제 쪽이 두 이름을 모두 받게 고친 뒤 주문 · 쿠폰 · 결제를 실제로 이은 6건이 통과한다(CTFL 2.2.1 컴포넌트 통합).
  4. 시스템 × 성능 — 가상 사용자 200명 · 10분 부하에서 p95 응답이 410 ms 로 목표 300 ms 를 넘는다. 주문마다 쿠폰 표를 다시 조회하던 것을 캐시로 바꾸자 260 ms 가 된다.
  5. 시스템 × 보안 — 동적 점검에서 쿠폰 코드 입력의 반복 시도 횟수 제한이 없는 것 1건이 나온다. 1분 5회 제한을 넣고 다시 점검해 통과한다(OWASP WSTG 4.2 업무 논리 시험).
  6. 인수 — 운영 담당 3명이 업무 시나리오 5건으로 UAT 를 하고 승인한다(CTFL 2.2.1).
  7. 확인 · 회귀 — 고친 세 곳은 실패했던 시험을 다시 돌려 확인하고, 단위 · 계약 · 통합 33건을 CI 회귀 테스트 스위트에 넣는다(CTFL 2.2.3).
1 단위 · 기능 24건 통과 결제는 테스트 더블 2 계약 검증 3쌍 중 1 실패 결제 쪽 400 3 통합 6건 통과 주문 · 쿠폰 · 결제 4 성능 · 부하 p95 410 → 260 ms 목표 300 ms · 200명 5 보안 반복 시도 제한 없음 1분 5회 제한 뒤 통과 6 인수 UAT 5건 승인 운영 담당 3명 7 확인 · 회귀 33건 CI 등록 24 + 3 + 6 단위 계약 통합 성능 보안 인수 굵은 테두리 = 처음 실패한 단계

그림 4 · 단위 24건이 모두 통과한 변경이 ② 계약 · ④ 성능 · ⑤ 보안에서 처음 실패했고, 셋 다 단위 레벨만으로는 보이지 않는 결함이었다.

팀 지원 — 개발을 이끎 제품 비판 — 기대와 대조 업무 쪽 사용자가 보는 것 기술 쪽 코드 · 구조가 보는 것 Q2 · 업무 × 팀 지원 기능 · API · 예시 · 인수 기준 수동 또는 자동 통합 6건 Q3 · 업무 × 제품 비판 탐색적 · 사용성 · UAT 사용자 중심 · 주로 수동 UAT 5건 Q1 · 기술 × 팀 지원 컴포넌트 · 컴포넌트 통합 테스트 자동 · CI 에 넣음 단위 24건 계약 3쌍 Q4 · 기술 × 제품 비판 스모크 · 비기능(사용성 제외) 주로 자동 p95 260 ms 반복 시도 제한 사분면 = Marick 2003 · CTFL 5.1.7 · 배지 = 그림 4 사례의 테스트(색 = 하위 토픽)

그림 5 · 같은 변경의 테스트가 네 사분면에 모두 놓여야 레벨 · 유형의 빈 셀이 남지 않는다.

🔑 단위 테스트가 모두 통과해도 레벨 사이 경계(계약)와 비기능 유형(성능 · 보안)의 결함은 보이지 않는다 — 빈 셀은 «더 큰 레벨»이 아니라 «다른 셀»이 채운다.

6비교 — 소프트웨어 테스트 · 테스트 기법 · 테스트 자동화 전략과의 경계

기술맡는 질문경계넘기는 곳
테스트 레벨 · 유형어느 크기 대상에 어떤 품질 특성을 시험하나레벨 × 유형을 정하고 각각의 근거 · 환경 · 담당을 정함그 안의 케이스 고르기 → 테스트 기법
소프트웨어 테스트왜 · 어떤 절차로 시험하나원리 · 전략 · 프로세스 · 케이스 · 오라클 · 결함 관리 · 29119레벨 · 유형별 계획의 내용 → 테스트 레벨 · 유형
테스트 기법한 레벨 × 유형 안에서 어떤 입력 · 경로를 고르나블랙박스 · 화이트박스 · 커버리지 · 뮤테이션 · TDD어느 레벨에서 돌릴지 → 테스트 레벨 · 유형
테스트 자동화 전략레벨 · 유형별 테스트를 언제 · 얼마나 자동으로 돌리나자동화 비율(피라미드) · E2E · 전환 테스트 · 시프트 레프트어느 레벨 × 유형이 필요한지 → 테스트 레벨 · 유형

분석시험 계획은 이 표의 위에서 아래로 정한다 — 셀(레벨 × 유형)을 먼저 정하고, 셀마다 기법으로 케이스를 고른 뒤, 되풀이할 셀부터 자동화한다. 근거는 유형이 대부분 모든 레벨에서 가능해 레벨 × 유형을 정하지 않으면 기법 · 자동화의 대상이 정해지지 않는다는 점이다(CTFL 2.2).

7실무 진단 — 운영 결함의 빈 셀 가르기

분석운영 결함은 먼저 «서비스 사이에서 났는가»로 계약 · 통합 테스트를, 다음으로 «부하 · 공격 조건에서만 나는가»로 비기능 유형을 본다. 기능 유형은 보통 단위부터 채워져 있고, 비기능 결함은 늦게 찾을수록 위험하다(CTFL 2.2.2).

#증상의심 원인빈 셀확인 자료판정 기준(근거)
1한 서비스 배포 뒤 다른 서비스 호출이 400필드 이름 · 형식 어긋남레벨 사이 × 기능(계약)소비자 계약 파일 ↔ 제공자 검증 기록소비자가 쓰는 예시 쌍이 모두 검증 통과(Pact 문서)
2평소엔 정상, 몰릴 때만 느림부하 시험 · 목표 값 없음시스템 × 성능 효율성부하 시험 보고서의 p95 · 처리량성능 요구에 목표 값이 있고 그 부하로 쟀는가(CTFL 2.2.2)
3같은 요청 반복이 막히지 않음보안 요구 누락시스템 × 보안보안 시험 계획 · 동적 점검 결과계획한 시험 항목의 결과가 있는가(NIST SP 800-115 · WSTG 4.2)
4시스템 테스트는 통과, 업무에 못 씀업무 요구 확인 없음인수UAT 시나리오 · 승인 기록의도한 사용자가 인수했는가(CTFL 2.2.1)
5고친 뒤 다른 곳이 깨짐회귀가 한 레벨에만변경된 모든 레벨 × 회귀CI 실행 기록 · 영향 분석변경이 있은 레벨마다 확인 · 회귀(CTFL 2.2.3)

1행은 계약 파일 대조로 몇 분이면 끝나므로 먼저 보고, 2 · 3행은 시험 환경이 따로 필요해 다음에 본다. 같은 레벨 × 유형에서 결함이 두 번 새면 그 테스트를 CI 회귀 테스트 스위트에 넣는다(5행).

8시험 대비

출제 정보 정보관리(133회, 98회, 95회, 81회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 단위 · 통합 · 시스템 · 인수 테스트를 대상 · 근거 · 수행자로 견주는 비교형과, 주어진 서비스에 레벨 × 유형 시험 계획을 세우는 구현 · 설계형이 나올 수 있다. 설계형은 레벨 × 유형 표(그림 3)를 먼저 그리고 셀마다 근거 · 환경 · 완료 기준을 적으면 그대로 답이 된다.

답안 목차
  1. 개요 — 레벨(대상 크기 · 시점)과 유형(품질 특성) 두 축 · CTFL v4.0.1 레벨 다섯 · 유형 넷
  2. 구조 — 그림 3 레벨 × 유형 행렬 + 여섯 토픽 비교표(근거 · 수행자 · 주로 맡는 셀)
  3. 레벨 사이 경계 — 계약 테스트(소비자 예시 → 제공자 검증) · 통합 전략(상향 · 하향 · 빅뱅)
  4. 적용 사례 — 그림 4 변경 한 건 일곱 단계(계약 · 성능 · 보안의 첫 실패)
  5. 관리 모델 — 그림 5 사분면(Q1 ~ Q4) · 확인 · 회귀 테스트
  6. 선택 기준 — 빈 셀 가르기 진단표 · 비기능 결함의 늦은 발견 위험

꼭 쓸 키워드
컴포넌트 테스트컴포넌트 통합시스템 통합인수 테스트(UAT)비기능 테스트소비자 주도 계약테스트 사분면확인 테스트회귀 테스트ISO/IEC 25010

9오해와 사실

  • 오해성능 · 보안 테스트는 시스템 테스트가 끝난 뒤 따로 하는 단계다.
    사실유형은 레벨이 아니라 품질 특성 축이라 대부분 모든 레벨에서 할 수 있고, 비기능 테스트를 컴포넌트 테스트 때부터 시작하는 편이 알맞을 때도 있다(CTFL 2.2 · 2.2.2).
  • 오해계약 테스트가 있으면 통합 테스트는 필요 없다.
    사실계약은 소비자가 실제로 쓰는 요청 · 응답 예시만 검증하므로(Pact 문서), 여러 서비스를 이은 흐름의 순서 · 상태 결함은 통합 · 시스템 레벨이 본다.
  • 오해확인 테스트와 회귀 테스트는 같은 것이다.
    사실확인은 고친 결함이 사라졌는지를, 회귀는 그 변경이 다른 곳을 깨지 않았는지를 보며, 둘 다 변경이 있은 모든 레벨에서 필요하다(CTFL 2.2.3).

10핵심 정리

하위축수행자환경실패 신호(사례)근거
단위 테스트레벨개발자개발 환경 · 테스트 더블케이스 실패(24건 통과)CTFL 2.2.1
계약 테스트레벨 사이소비자 · 제공자 팀각 서비스 단독 실행예시 쌍 검증 실패(3쌍 중 1)Pact 문서 · Robinson 2006
통합 테스트레벨개발자 · 테스터실제 컴포넌트 · 외부 서비스인터페이스 실패(6건 통과)CTFL 2.2.1
시스템 · 인수 테스트레벨독립 팀 · 의도한 사용자운영과 비슷한 환경명세 불일치 · 인수 거부(UAT 5건 승인)CTFL 2.2.1
성능 · 부하 테스트유형테스터 · 운영대표 부하 환경목표 초과(p95 410 ms)CTFL 2.2.2
보안 테스트유형보안 시험자계획한 시험 범위통제 누락(반복 시도 제한 없음)NIST SP 800-115 · WSTG 4.2
확인 · 회귀변경 뒤팀 · CI변경된 모든 레벨고친 곳 재실패 · 다른 곳 깨짐(33건 등록)CTFL 2.2.3

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 레벨 다섯 · 유형 넷 · 확인 · 회귀 테스트(2.2절)와 테스트 사분면(5.1.7)을 무료 원문으로 볼 때
    ISTQB · 2024-09 · www.istqb.org/certifications/certified-tester-foundation-level-ctfl-v4-0/ · 확인 2026-11-14
  3. ★ Pact Docs - Introduction (contract testing · consumer driven contracts) — 소비자 테스트가 요청 · 응답 예시로 계약을 만드는 방식을 볼 때
    Pact Foundation · 2026-11 · docs.pact.io/ · 확인 2026-11-14
  4. ★ NIST SP 800-115 Technical Guide to Information Security Testing and Assessment — 보안 테스트를 계획 · 실행 · 보고하는 기술 기법을 볼 때
    NIST · 2008-09 · csrc.nist.gov/pubs/sp/800/115/final · 확인 2026-11-14
  5. ★ OWASP Web Security Testing Guide v4.2 — 웹 응용의 보안 시험 항목 목록을 볼 때
    OWASP · 2020-12 · owasp.org/www-project-web-security-testing-guide/ · 확인 2026-11-14
  6. 본문 근거
  7. Consumer-Driven Contracts: A Service Evolution Pattern — martinfowler.com · 2006-06 · martinfowler.com/articles/consumerDrivenContracts.html · 확인 2026-11-14
  8. TestPyramid — martinfowler.com · 2012-05 · martinfowler.com/bliki/TestPyramid.html · 확인 2026-11-14
  9. ISO/IEC 25010:2023 Systems and software engineering - Systems and software Quality Requirements and Evaluation (SQuaRE) - Product quality model — ISO/IEC · 2023-11 · www.iso.org/standard/78176.html · 확인 2026-11-14