테스트 관리 체계Test Management Framework
테스트를 조직 · 관리 · 동적 세 수준의 프로세스로 나누어 계획하고, 진행을 계획과 대조해 바로잡고, 케이스의 판정 결과와 결함을 닫힐 때까지 추적하는 관리 틀이다. 테스트 원리 · 전략 · 프로세스 · 케이스와 오라클 · 결함 관리 · ISO/IEC/IEEE 29119 가 테스트 관리 체계를 이룬다.
1요약
- 테스트 관리 체계는 ISO/IEC/IEEE 29119-2:2021 이 정한 세 수준 — 조직 테스트 프로세스 하나, 관리 프로세스 셋(전략 · 계획, 감시 · 통제, 완료), 동적 프로세스 넷(설계 · 구현, 환경 · 데이터, 실행, 사건 보고) — 으로 이루어지고, 그 위에서 케이스 판정과 결함 추적이 돈다.
- 관리 틀이 없으면 «진행 중»이라는 말만 남는다 — 사례(가정 값)에서 1주 차 실행은 계획 75건에 45건이었고, 주간 진행 보고가 이 차이를 드러내 통제 지시로 3주 차에 계획선을 다시 따라잡았다.
- 「테스트가 끝났는지 모르겠다」는 어느 수준 사이의 보고가 끊겼는가로 가른다 — 실행 기록이 진행 보고로 올라가지 않으면 동적 → 관리, 통제 지시가 일정에 반영되지 않으면 관리 안, 완료 보고의 교훈이 다음 계획에 없으면 관리 → 조직의 끊김이다.
2등장 배경
테스트 활동을 문서 이름으로만 정하던 때에는 계획서 · 설계서 · 보고서가 있어도 그 사이에서 누가 언제 무엇을 넘기는지가 프로젝트마다 달랐다. 진행 점검은 「몇 % 됐나」를 묻는 회의였고, 결함 보고가 쌓여도 그중 몇 건이 실제 결함인지는 출시 직전에야 셌다.
1998년 영국 BS 7925-2 가 컴포넌트 테스트의 프로세스를 정했고, 2013년 ISO/IEC/IEEE 29119-2 첫 판이 조직 · 관리 · 동적 세 수준의 프로세스 모델을 내놓았다(29119-2:2021 부록 D 가 BS 7925-2:1998 과의 대응을 싣는다). 2021년 10월 둘째 판은 설계 · 구현 프로세스의 출발점을 「테스트 조건」에서 「테스트 모델」로 바꿨다(29119-2:2021 서문).
지금은 ISTQB CTFL v4.0.1(2024-09)이 같은 활동을 계획 · 감시 · 통제 · 분석 · 설계 · 구현 · 실행 · 완료로 가르치고 프로세스 세부는 29119-2 로 넘긴다(CTFL 1.4). 표준은 애자일 조직이 「프로젝트」를 「제품」으로 바꿔 읽어도 된다고 적어 반복 개발에도 같은 틀을 쓴다(29119-2:2021 서론).
3쉽게 이해하기 — 아파트 입주 전 하자 점검
입주 한 달 전, 현장 소장은 본사 하자 점검 지침을 펴고 동마다 날짜와 인원을 정한 점검 계획을 세운다. 점검원들은 세대마다 볼 항목과 합격 기준(문틈 2 mm 이하처럼)을 적은 점검표를 들고, 미리 받아 둔 세대 열쇠로 문을 열어 기준을 벗어난 곳에 하자 스티커를 붙인다. 소장은 매일 저녁 «오늘 몇 세대 · 스티커 몇 장»을 진행표에 적어 늦은 동에 점검원을 더 보낸다. 보수팀이 고친 곳은 다시 점검해 스티커를 떼고, 마지막에 소장은 남은 하자와 다음 현장에서 고칠 점을 본사에 보고한다.
그림 1 · 계획은 지침에서 내려오고 점검 숫자는 진행표로 올라가며, 스티커는 보수 · 재점검을 거쳐야 떨어진다.
그림 2 · 스티커 한 장은 하자 한 건이 아니다 — 진짜 하자 · 중복 · 점검표 기준 오류로 나뉘고, 결함 관리는 이 분류부터 한다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 본사 하자 점검 지침 | 조직 테스트 프로세스 · ISO/IEC/IEEE 29119 | 조직이 따를 정책 · 관행을 표준 용어와 양식으로 정한다 |
| 소장의 점검 계획 | 테스트 전략 · 계획 | 범위 · 일정 · 인원 · 완료 기준을 정한다 |
| 점검표의 합격 기준 | 테스트 케이스 · 오라클 | 입력 · 절차와 기대 결과를 미리 적는다 |
| 세대 점검 | 테스트 실행 | 실제 결과를 기대 결과와 맞춰 본다 |
| 하자 스티커 | 사건 보고 | 기대와 다른 곳을 위치 · 값과 함께 남긴다 |
| 보수 → 재점검 | 결함 관리 | 보고를 분류하고 수정 · 확인 테스트를 거쳐 닫는다 |
| 저녁 진행표 | 테스트 감시 · 통제 | 계획 대비 실적을 보고 순서 · 인원을 바꾼다 |
| 스티커 0장 ≠ 하자 0건 | 테스트 원리 | 테스트는 결함이 있음을 보일 뿐 없음을 증명하지 못한다 |
⚠ 비유가 맞지 않는 곳: 하자 점검은 다 지은 건물을 한 번 보지만 소프트웨어 테스트는 같은 관리 틀을 테스트 레벨마다 · 반복마다 한 벌씩 다시 돌리고, 준공 보고 뒤의 교훈이 다음 현장이 아니라 바로 다음 반복의 계획으로 들어간다(CTFL 1.4.1 완료).
4구조 — 세 수준 여덟 프로세스와 여섯 토픽
29119-2 는 테스트를 조직 수준(6절) · 관리 수준(7절) · 동적 수준(8절)의 여덟 프로세스로 정의하고, 각 프로세스를 목적 · 결과 · 활동 · 정보 항목의 같은 틀로 적는다(29119-2:2021 서론). 여섯 토픽은 이 짜임의 서로 다른 위치를 맡는다.
그림 3 · 계획 · 지시는 위에서 아래로, 진행 · 사건 보고와 교훈은 아래에서 위로 흐르며, 여섯 토픽은 이 짜임의 서로 다른 위치를 맡는다.
| 아래 토픽 | 맡는 질문 | 29119-2 위치 | 다른 토픽과 잇는 값 |
|---|---|---|---|
| 테스트 원리 | 테스트로 무엇을 증명할 수 없나 | 세 수준 전체의 판단 근거 | 결함 집중(원리 4) → 리스크 · 순서의 입력(CTFL 1.3) |
| 테스트 전략 | 어떤 방식으로 얼마나 깊게 | 7.2 전략 · 계획 | 완료 기준 → 7.4 판정의 잣대 |
| 테스트 프로세스 | 어떤 활동을 어떤 순서로 | 6 · 7 · 8절 여덟 프로세스 | 진행 보고 · 통제 지시 |
| 테스트 케이스 · 오라클 | 무엇을 넣고 무엇을 기대하나 | 8.2 설계 · 구현 → 8.4 실행 | 기대 결과 → 통과 · 실패 판정 |
| 결함 관리 | 보고된 이상을 어떻게 닫나 | 8.5 사건 보고 이후 | 상태(열림 · 연기 · 중복 · 기각 · 닫힘)(CTFL 5.5) |
| ISO/IEC/IEEE 29119 | 어떤 용어 · 양식을 쓰나 | 1부 개념 · 2부 프로세스 · 3부 문서 · 4부 기법 · 5부 | 3부 양식(진행 · 완료 · 사건 보고서) |
여섯 토픽을 한 틀로 묶는 실은 추적성이다 — 요구 · 리스크 ↔ 케이스 ↔ 실행 결과 ↔ 결함이 이어져 있어야 감시 · 통제가 커버리지와 잔여 리스크를 숫자로 말한다(CTFL 1.4.4).
🔑 관리 수준은 «계획과 실적의 차이»로, 동적 수준은 «기대 결과와 실제 결과의 차이»로 움직이며, 두 차이를 위로 이어 주는 것이 진행 보고와 사건 보고다.
5동작 — 민원 신청 시스템 시스템 테스트 4주의 관리 사례
설명용 가정 값의 «온라인 민원 신청 시스템 개편» 시스템 테스트(테스터 3명 · 4주)다.
- 조직 수준 — 조직 테스트 관행에서 시스템 테스트 완료 기준의 틀(계획 케이스 실행 95% 이상 · 심각도 상 미해결 0건)을 가져온다(29119-2 6절).
- 전략 · 계획 — 테스트 계획에 4주 · 케이스 300건 · 주당 75건 실행과 주간 진행 보고를 적는다(29119-2 7.2).
- 설계 · 구현 — 요구 120개에서 케이스 300건을 만들고 케이스마다 기대 결과를 적어 요구 추적표로 잇는다(29119-2 8.2 · CTFL 1.4.4).
- 실행 · 감시 — 1주 차 실행은 45건(계획 75건)이고 사건 보고 18건 중 11건이 결제 모듈에서 나왔다(CTFL 5.3.1 진행 · 결함 지표).
- 통제 — 결제 케이스 30건을 2주 차 앞쪽으로 당기고 테스터 1명을 더해, 2주 차에 100건을 돌려 누적 145건이 된다(CTFL 5.3 통제 지시).
- 감시 — 3주 차 누적 실행 225건으로 계획선에 닿고, 열린 결함은 2주 차 21건에서 15건으로 꺾인다.
- 결함 관리 — 4주 동안 올라온 사건 보고 62건을 분류해 중복 5건 · 기대 결과(오라클) 오류 3건을 결함 아님으로 닫고, 결함 54건 중 51건을 수정 · 확인 테스트로 닫는다(CTFL 5.5).
- 완료 — 실행 296 / 300(98.7%) · 심각도 상 미해결 0건으로 기준을 채우고, 남은 중 3건을 연기로 완료 보고서에 적은 뒤 교훈(결제 케이스를 계획 앞쪽에)을 조직 관행 개정 안건으로 올린다(29119-2 7.4 · CTFL 5.3.2).
그림 4 · 동적 수준의 숫자가 위로 올라갈 때마다 관리 수준이 계획을 고쳤고, 마지막 교훈은 조직 수준까지 올라갔다.
감시는 누적 실행 수를 계획선과, 열린 결함 수를 주 단위로 본다(CTFL 5.3.1 진행 · 결함 지표). 실행 곡선이 계획선에 닿고 열린 결함이 꺾여 내려온 뒤에야 완료 기준표를 대조할 의미가 생긴다 — 실행이 계획을 넘어도 열린 결함이 늘고 있으면 완료 판정은 아직 이르다.
그림 5 · 1주 차에 벌어진 30건의 차이가 통제 지시로 3주 차에 닫혔고, 열린 결함이 21건에서 3건으로 꺾인 4주 차에야 완료 기준을 채웠다.
🔑 완료는 날짜가 아니라 계획 단계에 적어 둔 기준이 정한다 — 이 사례가 4주 차에 끝난 것은 기간이 다 돼서가 아니라 실행 98.7% · 상 0건이 계획의 기준을 넘었기 때문이다.
6비교 — 관련 기술과의 경계
| 기술 | 맡는 질문 | 테스트 관리 체계와의 경계 | 넘기는 곳 |
|---|---|---|---|
| 테스트 기법 | 케이스를 어떤 근거로 고르나 | 설계 기법 · 커버리지는 그쪽, 고른 케이스를 계획 · 추적하는 틀은 여기 | 블랙박스 테스트 · 화이트박스 테스트 |
| 테스트 레벨 · 유형 | 어느 크기 · 어떤 품질 특성을 보나 | 레벨별 목적은 그쪽, 레벨마다 한 벌씩 도는 관리 프로세스는 여기 | 단위 테스트 · 통합 테스트 |
| 테스트 자동화 전략 | 무엇을 언제 자동으로 돌리나 | 자동 실행의 분포 · 투자 회수는 그쪽, 그 실행 결과를 진행 · 결함 지표로 모으는 일은 여기 | 테스트 자동화 |
| 소프트웨어 품질 보증 체계 | 공정과 산출물을 어떻게 보증하나 | 공정 감사 · 검토는 그쪽, 제품을 실행해 나온 결함을 보고 · 추적하는 관리는 여기 | 소프트웨어 프로세스 품질 |
분석케이스를 고르는 근거는 테스트 기법에, 레벨별 목적은 레벨 · 유형에, 자동 실행의 배치는 자동화 전략에 묻고, «계획 대비 어디까지 왔고 무엇이 아직 열려 있나»는 테스트 관리 체계에 묻는다. 계획 · 감시 · 통제 · 완료를 따로 정의한 관리 수준 프로세스를 여기서 다루기 때문이다(29119-2 7절).
7실무 진단 — 끊긴 보고의 수준 가르기
분석보고가 끊긴 곳을 아래 수준부터 찾는다 — 사건 보고서(동적) → 진행 보고의 계획 · 실적 열(관리) → 완료 보고의 교훈(조직) 순이다. 위 수준의 판단은 아래 수준의 보고를 입력으로 쓰므로 아래가 비면 위의 숫자가 틀리기 때문이다(CTFL 5.3.2 · 아래 표 1 → 5행).
| # | 증상 | 의심 원인 | 수준 · 프로세스 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 개발 쪽이 결함 보고를 «재현 안 됨»으로 자주 돌려보냄 | 대상 · 환경 · 재현 단계 누락 | 동적 — 사건 보고 | 결함 보고서 항목 | 시험 대상 · 환경 식별 · 재현 단계 · 기대 / 실제 결과가 있어야 한다(CTFL 5.5) |
| 2 | 요구가 바뀌었는데 고칠 케이스를 못 찾음 | 요구 ↔ 케이스 추적 끊김 | 동적 — 설계 · 구현 | 요구 추적표 | 추적성이 변경 영향 판단을 돕는다(CTFL 1.4.4) |
| 3 | 주간 보고는 늘 «정상»인데 마지막 주에 실행이 몰림 | 계획 대비 실적 열 없음 | 관리 — 감시 · 통제 | 진행 보고서의 계획 · 실적 · 편차 | 진행 보고에 앞섬 · 뒤처짐과 편차가 있어야 한다(CTFL 5.3.2) |
| 4 | 실행은 계획대로인데 열린 결함이 줄지 않음 | 분류 · 처리 결정 정체 | 관리 — 결함 관리 | 상태별 결함 수 · 상태에 머문 기간 | 기록 → 분석 · 분류 → 처리 결정 → 닫기 흐름을 모두 따른다(CTFL 5.5) |
| 5 | 같은 지연이 다음 프로젝트에서 되풀이 | 교훈이 조직 관행에 안 돌아감 | 조직 — 조직 테스트 프로세스 | 완료 보고서 교훈 · 관행 개정 이력 | 완료 보고서는 다음 테스트에 쓸 정보를 준다(CTFL 5.3.2) |
1행부터 본다. 사건 보고서가 온전하면 3 · 4행으로 진행 · 결함 숫자를, 그것도 맞으면 5행의 교훈 기록을 본다.
8시험 대비
시험에서는 테스트 프로세스의 활동 순서와 활동마다 남는 산출물을 묻는 동작 · 절차 설명형과, ISO/IEC/IEEE 29119-2 의 세 수준 짜임을 묻는 구조 · 구성형이 나올 수 있다. 절차형이면 그림 4 처럼 사례 한 건을 세 수준으로 따라가고, 구조형이면 그림 3 의 여덟 프로세스 위에 아래 토픽의 위치를 얹어 쓴다.
- 개요 — 정의 · 세 수준 · ISO/IEC/IEEE 29119 다섯 부(1 ~ 5부 · 현행 연도)
- 구조 — 그림 3 의 여덟 프로세스 + 아래 토픽 위치 표
- 절차 — 그림 4 사례(계획 → 설계 → 실행 · 감시 → 통제 → 결함 분류 → 완료)
- 감시 · 통제 — 그림 5 의 누적 실행 곡선 · 열린 결함 수 · 통제 지시 예
- 결함 관리 — 사건 보고서 항목 · 상태(열림 · 연기 · 중복 · 기각 · 닫힘)
- 완료 — 완료 기준 대조 · 완료 보고서 · 교훈의 조직 환류
꼭 쓸 키워드
조직 테스트 프로세스테스트 관리 프로세스동적 테스트 프로세스테스트 감시통제진행 보고서완료 보고서사건 보고서추적성완료 기준테스트 모델
다른 답안과 차이를 내는 한 가지는 활동 이름을 늘어놓지 않고, 그림 5 처럼 계획선과 누적 실행 곡선의 차이 하나가 통제 지시로 바뀌는 순간을 숫자로 보이는 것이다.
9오해와 사실
- 오해테스트 관리는 테스트 관리자 혼자 하는 문서 작업이다.사실29119-2 는 관리 수준 프로세스의 입력을 동적 수준의 실행 기록 · 사건 보고로 두므로, 테스터가 남기는 보고 한 건이 곧 감시 · 통제의 숫자가 된다(29119-2 7 · 8절 · CTFL 5.3).
- 오해사건 보고서 한 건은 결함 한 건이다.사실보고된 이상은 실제 결함일 수도, 거짓 양성 · 변경 요청일 수도 있어 결함 관리 프로세스에서 분류한 뒤에야 결함 수가 정해진다(CTFL 5.5) — 사례의 보고 62건은 결함 54건이었다.
- 오해29119 를 따르려면 모든 양식을 다 써야 한다.사실표준은 어느 개발 생명주기에도 쓰도록 만들어졌고 애자일 조직은 프로젝트를 제품으로 바꿔 읽게 하며, 테스트 프로세스는 상황에 맞게 맞춤(tailoring)한다(29119-2:2021 서론 · CTFL 1.4).
10핵심 정리
| 구분 | 수준 | 입력 | 산출물 | 끝났다는 신호 | 근거 |
|---|---|---|---|---|---|
| 조직 테스트 프로세스 | 조직 | 사업 목표 · 완료 보고의 교훈 | 테스트 정책 · 조직 테스트 관행 | 관행 개정 승인 | 29119-2 6절 |
| 전략 · 계획 | 관리 | 조직 관행 · 리스크 | 테스트 계획(전략 · 완료 기준) | 계획 승인 | 29119-2 7.2 · CTFL 1.4.3 |
| 감시 · 통제 | 관리 | 실행 기록 · 사건 보고 | 진행 보고서 · 통제 지시 | 계획 대비 편차 해소 | 29119-2 7.3 · CTFL 5.3 |
| 완료 | 관리 | 진행 보고 · 미해결 결함 | 완료 보고서 · 교훈 | 기준 충족 · 잔여 수용 | 29119-2 7.4 · CTFL 5.3.2 |
| 설계 · 구현 | 동적 | 테스트 기준 · 테스트 모델 | 케이스 · 절차 · 추적표 | 케이스마다 기대 결과 | 29119-2 8.2 · CTFL 1.4.3 |
| 환경 · 데이터 | 동적 | 환경 · 데이터 요구 | 준비된 환경 · 테스트 데이터 | 준비 확인 | 29119-2 8.3 · CTFL 1.4.3 |
| 실행 | 동적 | 절차 · 실행 일정 | 실행 기록 · 실제 결과 | 계획 케이스 실행 | 29119-2 8.4 · CTFL 1.4.1 |
| 사건 보고 | 동적 | 기대 ≠ 실제 | 사건 보고서 | 결함 관리로 넘김 | 29119-2 8.5 · CTFL 5.5 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISO/IEC/IEEE 29119-2:2021 Software and systems engineering - Software testing - Part 2: Test processes (Second edition) — 조직 · 관리 · 동적 세 수준과 여덟 프로세스의 이름 · 절 번호, 2013년 판에서 바뀐 점을 볼 때
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 감시 · 통제 지표, 진행 · 완료 보고서 내용, 결함 보고서 항목과 상태(1.4 · 5.3 · 5.5절)를 무료 원문으로 볼 때
- ★ IEEE/ISO/IEC 29119-1-2021 Software and systems engineering - Software testing - Part 1: General concepts — 29119 시리즈 1 ~ 5부의 현행 연도와 개발 중인 부를 볼 때
- 본문 근거