테스트 전략Test Strategy
테스트 계획의 한 부분으로, 한 프로젝트 · 테스트 레벨 · 테스트 유형에서 테스트를 어떤 방식으로 할지 — 레벨 · 유형 · 설계 기법 · 완료 기준 · 데이터 · 환경 · 산출물 — 를 정한 것이다. 오늘날에는 제품 리스크 분석 결과로 노력과 순서를 나누는 리스크 기반 테스트가 그 중심이다.
1요약
- 테스트 전략은 ISO/IEC/IEEE 29119-3 이 테스트 계획의 한 절(7.2.7)로 정의한 것으로(3.25), 조직 수준의 테스트 정책 · 조직 테스트 관행 아래에서 프로젝트 · 레벨 · 유형마다 하나씩 세워지고, 그 위에서 기법 선택 · 실행 순서 · 종료 판단이 돈다.
- 전략이 없으면 노력은 기능 수대로 나뉜다 — 테스트 전략 사례(가정 값)에서 50 인일을 기능 다섯 개에 똑같이 나누면 금액 계산에 10 인일이 가지만, 리스크 수준 비례로 나누면 20 인일이 간다.
- 「테스트가 부족했다」는 리스크 대장과 노력 배분을 대조해 가른다 — 사고 난 기능이 낮게 평가돼 있었으면 평가 문제, 높게 평가됐는데 노력이 적었으면 배분 문제, 둘 다 맞았는데 샜으면 기법 · 커버리지 문제다.
2등장 배경
일정이 짧은 프로젝트에서 모든 기능을 같은 깊이로 시험하면 시간이 먼저 떨어진다. 그러면 남은 기능은 돌려 보지도 못한 채 출시되고, 그 남은 기능이 돈 · 권한을 다루는 기능이어도 고를 근거가 없었다.
Boehm 은 1991년 리스크 노출 = 나쁜 결과의 확률 × 그 손실로 리스크를 견주는 방법을 정리했고(Boehm 1991), 테스트 쪽은 이 곱을 «어디를 먼저 · 깊게 시험할지»의 근거로 가져왔다. ISO/IEC/IEEE 29119-3 은 2013년 첫 판에 이어 2021년 둘째 판에서 테스트 전략을 «특정 프로젝트 · 테스트 레벨 · 테스트 유형의 테스트 방식을 적은 테스트 계획의 부분»으로 정의했다(3.25).
ISTQB 강의계획서는 2023년 v4.0 에서 리스크 분석 · 리스크 통제로 테스트 활동을 고르고 순서를 정하는 방식을 리스크 기반 테스트라 부른다(CTFL 5.2). 반복 개발에서는 릴리스 계획 때 전략을 세우고 반복마다 사용자 스토리 단위로 리스크를 다시 분석한다(CTFL 5.1.2).
3쉽게 이해하기 — 하루 만에 끝내는 이사 짐 포장
토요일 하루 안에 이사를 마쳐야 하는 가족이 있다. 엄마는 «깨지는 것 없이»라는 집안 규칙을 정하고, 짐마다 깨질 가능성과 깨지면 잃는 값을 곱해 점수를 매긴다. 점수가 높은 그릇 세트 · TV 는 두 겹으로 싸서 직접 옮기고, 책 · 옷은 봉투 하나에 담는다. 포장 도중 액자 유리에 금이 간 것을 보고 액자를 두 겹 쪽으로 옮겼고, 출발 전에는 깨진 것이 없는지 확인한 뒤 «옷 상자는 덜 봤지만 괜찮다»고 가족이 합의했다.
그림 1 · 짐마다 깨질 가능성 × 값으로 점수를 매겨 포장 방식을 셋으로 나누고, 포장 중 새로 안 사실로 점수를 고친 뒤, 출발 전 확인으로 끝낸다.
그림 2 · 점수 하나는 «얼마나 쉽게 깨지나 × 깨지면 얼마를 잃나»의 곱이고, 그 점수가 기준선을 넘는지가 포장 강도를 정한다 — 테스트에서는 같은 곱이 기법 · 커버리지 · 독립성을 정한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 집안 규칙 | 테스트 정책 | 조직이 테스트로 무엇을 기대하는지 적는다(29119-3 3.20) |
| 짐마다 포장 방식을 적은 표 | 테스트 계획 속 테스트 전략 | 레벨 · 유형 · 기법 · 완료 기준을 프로젝트마다 정한다 |
| 깨질 가능성 × 잃는 값 | 리스크 수준 | 가능성과 영향의 곱 또는 리스크 매트릭스로 매긴다 |
| 두 겹 + 직접 운반 | 높은 리스크의 처리 | 강한 설계 기법 · 높은 커버리지 · 독립 테스터 |
| 봉투 하나 | 낮은 리스크의 처리 | 스모크 수준 확인으로 끝내고 그 사실을 적어 둔다 |
| 액자 유리에 금 | 리스크 감시 · 재평가 | 실행 중 나온 결함으로 등급과 노력을 다시 나눈다 |
| 출발 전 확인 · 합의 | 종료 기준 · 잔여 리스크 수용 | 기준 충족 여부를 보고, 남은 리스크는 이해관계자가 받아들인다 |
⚠ 비유가 맞지 않는 곳: 짐은 포장 전에 눈으로 다 보이지만 소프트웨어의 리스크는 시험하기 전에는 다 보이지 않아, 전략은 실행 중 결함 기록으로 계속 고쳐 쓴다. 또 깨진 그릇은 버리면 끝나지만 결함은 고친 뒤 재테스트 · 회귀 테스트까지 전략에 들어간다.
4구조 — 조직 문서와 테스트 계획 속 전략
29119-3 은 조직 수준 문서(테스트 정책 · 조직 테스트 관행)와 프로젝트 수준 문서(테스트 계획)를 나누고, 테스트 계획 안에서 리스크 대장(7.2.6) 바로 다음 절에 테스트 전략(7.2.7)을 둔다. 리스크를 먼저 적고 그 리스크에 맞춰 방식을 고르는 순서가 목차에 박혀 있다.
그림 3 · 정책은 «왜», 조직 관행은 «보통 어떻게», 테스트 계획 속 전략은 «이 프로젝트에서 어떻게»를 정하며, 전략은 바로 앞 절의 리스크 대장을 입력으로 받는다.
| 요소 | 수준 | 정하는 것 | 근거 |
|---|---|---|---|
| 테스트 정책 | 조직 | 테스트의 목적 · 원칙 · 범위(방법은 적지 않음) | 29119-3 3.20 |
| 조직 테스트 관행 | 조직 | 권장 방식 · 방법 · 모바일과 안전 필수처럼 맥락마다 여러 벌 | 29119-3 3.5 |
| 리스크 대장 | 프로젝트 | 제품 리스크 · 프로젝트 리스크와 가능성 · 영향 · 수준 | 29119-3 7.2.6 · CTFL 5.2.1 |
| 테스트 전략 | 프로젝트 · 레벨 · 유형 | 레벨 · 유형 · 기법 · 완료 기준 · 데이터 · 환경 · 산출물 | 29119-3 3.25 |
| 진입 · 종료 기준 | 레벨마다 | 시작 전제 · 끝났다고 말할 측정값 | CTFL 5.1.3 |
| 편차 기록 | 프로젝트 | 정책 · 조직 관행과 다르게 하는 곳과 그 이유 | CTFL 5.1.1 |
5동작 — 출장비 정산 개편의 리스크 기반 전략
사내 출장비 정산 시스템 개편(기능 다섯 · 테스트 노력 50 인일 · 등급 경계 = 15 이상 높음 · 8 ~ 14 중간 · 7 이하 낮음)은 모두 설명용 가정 값이다.
- 근거 모으기 — 테스트 정책의 «금액 결함 출시 0건»과 기능 다섯(R1 정산 금액 계산 · R2 결재 권한 · R3 영수증 첨부 · R4 알림 메일 · R5 통계 화면)을 테스트 기반으로 삼는다.
- 리스크 평가 — 가능성 × 영향을 곱해 R1 4 × 5 = 20 · R2 3 × 5 = 15 · R3 3 × 3 = 9 · R4 2 × 2 = 4 · R5 2 × 1 = 2 를 리스크 대장에 적는다(CTFL 5.2.3 정량 방식).
- 강도 정하기 — 높음(R1 · R2)은 경계값 분석 · 결정 테이블 + 계산 모듈 분기 커버리지 100% + 개발자가 아닌 테스터, 중간(R3)은 동등 분할 + 탐색적 테스트 1회, 낮음(R4 · R5)은 스모크 확인 목록만 쓴다.
- 노력 나누기 — 점수 합 50 에 비례해 R1 20 · R2 15 · R3 9 · R4 4 · R5 2 인일을 배정한다(CTFL 5.2.3 노력 추정).
- 실행 순서 — 스모크 테스트 통과를 진입 기준으로 두고 R1 → R2 → R3 → R4 → R5 순으로 돌린다(CTFL 5.1.5 리스크 기반 우선순위).
- 감시 · 재평가 — R3 에서 결함 6건이 나와 가능성을 3 에서 5 로 올리면 점수가 15 가 되어 높음으로 바뀌고, R4 · R5 에서 1 인일씩 옮겨 R3 를 11 인일로 늘린다(CTFL 5.2.4 · 5.3).
- 완료 판단 — 높음 등급의 미해결 심각 결함 0건 · 분기 커버리지 100% 를 확인하고, R5 를 1 인일만 본 잔여 리스크는 업무 책임자가 수용한다고 기록한다(CTFL 5.1.3).
그림 4 · 정산 개편 사례는 ① 정책에서 출발해 ② 점수 · ③ 강도 · ④ 노력을 정하고, ⑤ 높은 리스크부터 돌리다 ⑥ 결함 기록으로 R3 를 올린 뒤 ⑦ 잔여 리스크 수용으로 끝난다.
리스크 기반 전략의 규칙은 둘이다 — 노력은 리스크 수준에 비례해 나누고, 실행 중 결함이 가능성을 바꾸면 그 자리에서 다시 나눈다.
그림 5 · 리스크 매트릭스에서 R3 가 결함 기록으로 중간에서 높음 셀로 올라가면, 노력 막대는 합 50 인일을 그대로 둔 채 낮은 리스크에서 R3 로 옮겨 간다.
🔑 테스트 전략은 «무엇을 시험하나»보다 «어디를 덜 시험하나»를 정하는 결정이다 — 낮은 리스크를 가볍게 다룬다고 적어 두어야 높은 리스크에 노력이 간다.
6비교 — 시험 순서를 정하는 근거 넷
| 근거 | 순서 · 깊이를 정하는 값 | 강점 | 빈 곳 | 근거 |
|---|---|---|---|---|
| 리스크 기반 | 가능성 × 영향 · 리스크 매트릭스 | 치명 결함을 먼저 찾고 잔여 리스크를 말할 수 있음 | 평가가 틀리면 노력이 엉뚱하게 감 | CTFL 5.2 |
| 요구사항 기반 | 이해관계자가 매긴 요구 우선순위 | 추적표로 빠진 요구를 찾음 | 요구에 없는 실패(성능 · 보안)는 안 보임 | CTFL 5.1.5 |
| 커버리지 기반 | 구문 · 분기 커버리지 증가량 | 코드에서 안 돈 곳을 숫자로 보임 | 업무 손해 크기를 모름 | CTFL 5.1.5 |
| 경험 기반(탐색적) | 테스터의 지식 · 결함 이력 | 명세가 약한 곳에서 빨리 결함을 찾음 | 재현 · 범위 설명이 약함 | CTFL 4.4 |
분석순서 · 노력의 기본은 리스크 기반으로 세우고, 요구사항 추적으로 빠진 요구를, 높은 리스크 모듈의 종료 기준에 커버리지를 붙이며, 리스크를 매기기 어려운 새 기능에 탐색적 세션을 둔다. 리스크 분석 결과가 범위 · 레벨 · 기법 · 커버리지 · 노력 · 순서를 함께 정하도록 정의되어 있어 다른 근거를 받아들일 여지가 있기 때문이다(CTFL 5.2.3).
7실무 진단 — 「테스트가 부족했다」의 원인 가르기
분석운영 결함이 난 기능을 리스크 대장에서 먼저 찾아, 낮게 평가돼 있었으면 평가 문제, 높게 평가됐는데 배정 인일이 적었으면 배분 문제, 둘 다 맞았으면 기법 · 커버리지 문제로 넘긴다. 대장과 노력 표 두 장만 대조하면 되어 확인 비용이 가장 작고, 리스크 감시가 평가 개선을 목적으로 두기 때문이다(CTFL 5.2.4).
| # | 증상 | 의심 원인 | 전략 요소 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 운영 장애가 «낮음» 기능에 몰림 | 가능성 · 영향 과소 평가 | 리스크 평가 | 리스크 대장 ↔ 운영 결함 기록 | 장애 기능의 출시 전 등급이 낮음 = 재평가 대상(CTFL 5.2.4) |
| 2 | 치명 결함이 일정 막바지에 나옴 | 높은 리스크를 뒤에 배치 | 실행 순서 | 실행 일정 ↔ 리스크 순위 | 높음 등급 케이스가 뒤 절반에 있음(CTFL 5.1.5) |
| 3 | 출시 회의에서 «끝났나» 논쟁 | 측정 가능한 종료 기준 없음 | 종료 기준 | 계획서의 종료 기준 절 | 커버리지 · 미해결 결함 같은 값이 없음(CTFL 5.1.3) |
| 4 | 기능마다 인일이 똑같음 | 리스크 없이 n 분의 1 배분 | 노력 배분 | 노력 표 ↔ 리스크 점수 | 점수가 달라도 인일이 같음(CTFL 5.2.3) |
| 5 | 조직 관행과 다른 방식을 설명 못 함 | 편차 미기록 | 편차 기록 | 계획서 ↔ 조직 테스트 관행 | 다른 곳에 이유가 없음(CTFL 5.1.1) |
1행 대조가 먼저다. 평가가 맞았으면 2 · 4행으로 순서 · 배분을 보고, 그것도 맞았으면 결함이 샌 케이스의 설계 기법을 테스트 기법 쪽에서 다시 본다.
8시험 대비
www.q-net.or.kr시험에서는 테스트 정책 · 계획과의 관계와 전략의 구성 요소를 묻는 정의 · 특징형, 주어진 시스템에 리스크 기반 테스트 전략을 세우는 절차를 묻는 구현 · 설계형이 나올 수 있다. 정의형이면 문서 계층(그림 3)과 3.25 정의로 시작하고, 설계형이면 리스크 대장 → 강도 → 노력 → 순서 → 재평가 → 종료를 사례 값으로 이어 쓴다.
- 개요 — 정의(29119-3 3.25 · 테스트 계획의 한 절) · 정책 · 조직 관행과의 관계(그림 3)
- 구성 요소 — 레벨 · 유형 · 기법 · 완료 기준 · 데이터 · 환경 · 진입 · 종료 기준 표
- 리스크 분석 — 제품 · 프로젝트 리스크 · 가능성 × 영향 · 등급 경계 15 · 8 을 적은 리스크 매트릭스 표
- 수립 절차 — 사례 일곱 단계(그림 4) · 등급별 기법 · 커버리지 · 독립성
- 노력 배분 · 재평가 — 점수 비례 인일 · 결함 기록으로 다시 나눔(그림 5 매트릭스 · 노력 막대)
- 종료 · 잔여 리스크 — 종료 기준 · 리스크 수용 · 다른 근거(요구 · 커버리지)와 비교
꼭 쓸 키워드
테스트 정책조직 테스트 관행테스트 계획리스크 대장제품 리스크프로젝트 리스크리스크 수준리스크 기반 테스트종료 기준잔여 리스크
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 노력 총량은 그대로 두고 재평가로 배분 비율이 바뀌는 모습을 숫자로 보이는 것이다.
9오해와 사실
- 오해테스트 전략은 조직에 한 벌만 있다.사실29119-3 은 테스트 전략을 특정 프로젝트 · 테스트 레벨 · 테스트 유형마다 적는 테스트 계획의 부분으로 정의하고, 조직 공통 방식은 조직 테스트 관행으로 따로 둔다(3.5 · 3.25).
- 오해테스트 피라미드를 따르면 전략이 정해진다.사실피라미드는 테스트 크기별 자동화 · 노력 배분을 보이는 모형이고(CTFL 5.1.6), 어느 기능을 얼마나 깊게 볼지는 리스크 분석이 정한다.
- 오해시간이 다 되어 멈춘 테스트는 실패한 테스트다.사실이해관계자가 남은 리스크를 검토하고 수용했다면 시간 · 예산 소진도 정당한 종료 기준이 된다(CTFL 5.1.3).
10핵심 정리
| 구분 | 수준 | 입력 | 결정 · 산출 | 확인 질문 |
|---|---|---|---|---|
| 테스트 정책 | 조직 | 사업 목표 | 테스트 목적 · 원칙 | 왜 시험하는가 |
| 조직 테스트 관행 | 조직 | 정책 · 맥락 | 권장 방식(여러 벌) | 이 맥락의 기본 방식은 |
| 리스크 대장 | 프로젝트 | 요구 · 이력 | 가능성 × 영향 = 수준 | 무엇이 가장 위험한가 |
| 테스트 전략 | 프로젝트 · 레벨 · 유형 | 리스크 대장 | 레벨 · 기법 · 커버리지 · 독립성 | 어디를 얼마나 깊게 |
| 노력 · 순서 | 프로젝트 | 리스크 수준 | 점수 비례 인일 · 높은 것부터 | 노력이 점수를 따르는가 |
| 리스크 감시 | 실행 중 | 결함 기록 | 재평가 · 재배분 | 새 결함이 등급을 바꿨나 |
| 종료 기준 | 레벨마다 | 측정값 | 끝 판정 · 잔여 리스크 수용 | 남은 리스크를 누가 받았나 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 테스트 계획의 내용 · 진입 · 종료 기준 · 리스크 기반 테스트(5.1 · 5.2절)를 무료 원문으로 볼 때
- ★ ISO/IEC/IEEE 29119-3:2021 Software and systems engineering - Software testing - Part 3: Test documentation — 테스트 정책 · 조직 테스트 관행 · 테스트 전략의 정의(3.5 · 3.20 · 3.25)와 테스트 계획 목차를 볼 때
- ★ Software Risk Management: Principles and Practices (IEEE Software 8(1) 32-41) — 리스크 노출 = 발생 확률 × 손실이라는 계산의 출발점을 볼 때
- 본문 근거