IT › 소프트웨어 › 테스트

테스트 관리 체계Test Management Framework

테스트를 조직 · 관리 · 동적 세 수준의 프로세스로 나누어 계획하고, 진행을 계획과 대조해 바로잡고, 케이스의 판정 결과와 결함을 닫힐 때까지 추적하는 관리 틀이다. 테스트 원리 · 전략 · 프로세스 · 케이스와 오라클 · 결함 관리 · ISO/IEC/IEEE 29119 가 테스트 관리 체계를 이룬다.

1요약

  1. 테스트 관리 체계는 ISO/IEC/IEEE 29119-2:2021 이 정한 세 수준 — 조직 테스트 프로세스 하나, 관리 프로세스 셋(전략 · 계획, 감시 · 통제, 완료), 동적 프로세스 넷(설계 · 구현, 환경 · 데이터, 실행, 사건 보고) — 으로 이루어지고, 그 위에서 케이스 판정과 결함 추적이 돈다.
  2. 관리 틀이 없으면 «진행 중»이라는 말만 남는다 — 사례(가정 값)에서 1주 차 실행은 계획 75건에 45건이었고, 주간 진행 보고가 이 차이를 드러내 통제 지시로 3주 차에 계획선을 다시 따라잡았다.
  3. 「테스트가 끝났는지 모르겠다」는 어느 수준 사이의 보고가 끊겼는가로 가른다 — 실행 기록이 진행 보고로 올라가지 않으면 동적 → 관리, 통제 지시가 일정에 반영되지 않으면 관리 안, 완료 보고의 교훈이 다음 계획에 없으면 관리 → 조직의 끊김이다.

2등장 배경

테스트 활동을 문서 이름으로만 정하던 때에는 계획서 · 설계서 · 보고서가 있어도 그 사이에서 누가 언제 무엇을 넘기는지가 프로젝트마다 달랐다. 진행 점검은 「몇 % 됐나」를 묻는 회의였고, 결함 보고가 쌓여도 그중 몇 건이 실제 결함인지는 출시 직전에야 셌다.

1998년 영국 BS 7925-2 가 컴포넌트 테스트의 프로세스를 정했고, 2013년 ISO/IEC/IEEE 29119-2 첫 판이 조직 · 관리 · 동적 세 수준의 프로세스 모델을 내놓았다(29119-2:2021 부록 D 가 BS 7925-2:1998 과의 대응을 싣는다). 2021년 10월 둘째 판은 설계 · 구현 프로세스의 출발점을 「테스트 조건」에서 「테스트 모델」로 바꿨다(29119-2:2021 서문).

지금은 ISTQB CTFL v4.0.1(2024-09)이 같은 활동을 계획 · 감시 · 통제 · 분석 · 설계 · 구현 · 실행 · 완료로 가르치고 프로세스 세부는 29119-2 로 넘긴다(CTFL 1.4). 표준은 애자일 조직이 「프로젝트」를 「제품」으로 바꿔 읽어도 된다고 적어 반복 개발에도 같은 틀을 쓴다(29119-2:2021 서론).

3쉽게 이해하기 — 아파트 입주 전 하자 점검

입주 한 달 전, 현장 소장은 본사 하자 점검 지침을 펴고 동마다 날짜와 인원을 정한 점검 계획을 세운다. 점검원들은 세대마다 볼 항목과 합격 기준(문틈 2 mm 이하처럼)을 적은 점검표를 들고, 미리 받아 둔 세대 열쇠로 문을 열어 기준을 벗어난 곳에 하자 스티커를 붙인다. 소장은 매일 저녁 «오늘 몇 세대 · 스티커 몇 장»을 진행표에 적어 늦은 동에 점검원을 더 보낸다. 보수팀이 고친 곳은 다시 점검해 스티커를 떼고, 마지막에 소장은 남은 하자와 다음 현장에서 고칠 점을 본사에 보고한다.

본사 점검 지침 조직 테스트 프로세스 점검 계획 전략 · 계획 저녁 진행표 감시 · 통제 준공 보고 완료 점검표 케이스 · 오라클 항목마다 합격 기준 열쇠 · 도구 환경 · 데이터 점검 전에 갖춤 세대 점검 실행 실제를 기준과 맞춤 하자 스티커 사건 보고 기준을 벗어난 곳 보수 → 재점검 → 스티커 뗌 결함 관리 스티커 0장 ≠ 하자 0건 테스트 원리 1 2 3 세대 · 스티커 수 4 5 6 진행표는 아래에서 올라온 숫자로, 계획은 위에서 내려온 지침으로 움직인다

그림 1 · 계획은 지침에서 내려오고 점검 숫자는 진행표로 올라가며, 스티커는 보수 · 재점검을 거쳐야 떨어진다.

지침 펴기본사 점검 기준
계획 세우기동마다 날짜 · 인원
점검표 들기항목 · 합격 기준
세대 점검문틈 · 수전 · 타일
스티커 붙이기기준을 벗어난 곳
저녁 진행표늦은 동에 인원 추가
비유 — 스티커 한 장의 분류 실제 — 사건 보고서 한 건의 분류 하자 스티커 한 장 거실 문틈 4 mm · 기준 2 mm 이하 1 사건 보고서 기대 ≤ 2 mm · 실제 4 mm · 위치 소장이 셋으로 나눈다 결함 관리 — 분석 · 분류 · 처리 결정 진짜 하자 보수 → 재점검 → 스티커 뗌 2 결함 수정 → 확인 테스트 → 닫힘 같은 문틈에 두 장 앞 스티커에 묶고 뗌 3 중복 앞 보고서에 묶어 닫힘 점검표 기준이 틀림 설계 기준 3 mm · 점검표 정정 4 오라클 오류 기대 결과 수정 · 보고 기각 스티커 62장 = 하자 54 + 중복 5 + 기준 오류 3 — 진행표는 셋을 따로 센다 문틈 값 · 장수 = 설명용 가정 값 · 장수는 동작 절 사례의 사건 보고 수와 같다

그림 2 · 스티커 한 장은 하자 한 건이 아니다 — 진짜 하자 · 중복 · 점검표 기준 오류로 나뉘고, 결함 관리는 이 분류부터 한다.

비유 속 역할실제 이름실제로 하는 일
본사 하자 점검 지침조직 테스트 프로세스 · ISO/IEC/IEEE 29119조직이 따를 정책 · 관행을 표준 용어와 양식으로 정한다
소장의 점검 계획테스트 전략 · 계획범위 · 일정 · 인원 · 완료 기준을 정한다
점검표의 합격 기준테스트 케이스 · 오라클입력 · 절차와 기대 결과를 미리 적는다
세대 점검테스트 실행실제 결과를 기대 결과와 맞춰 본다
하자 스티커사건 보고기대와 다른 곳을 위치 · 값과 함께 남긴다
보수 → 재점검결함 관리보고를 분류하고 수정 · 확인 테스트를 거쳐 닫는다
저녁 진행표테스트 감시 · 통제계획 대비 실적을 보고 순서 · 인원을 바꾼다
스티커 0장 ≠ 하자 0건테스트 원리테스트는 결함이 있음을 보일 뿐 없음을 증명하지 못한다

⚠ 비유가 맞지 않는 곳: 하자 점검은 다 지은 건물을 한 번 보지만 소프트웨어 테스트는 같은 관리 틀을 테스트 레벨마다 · 반복마다 한 벌씩 다시 돌리고, 준공 보고 뒤의 교훈이 다음 현장이 아니라 바로 다음 반복의 계획으로 들어간다(CTFL 1.4.1 완료).

4구조 — 세 수준 여덟 프로세스와 여섯 토픽

29119-2 는 테스트를 조직 수준(6절) · 관리 수준(7절) · 동적 수준(8절)의 여덟 프로세스로 정의하고, 각 프로세스를 목적 · 결과 · 활동 · 정보 항목의 같은 틀로 적는다(29119-2:2021 서론). 여섯 토픽은 이 짜임의 서로 다른 위치를 맡는다.

ISO/IEC/IEEE 29119-2 — 세 수준 · 여덟 프로세스 조직 수준 관리 수준 동적 수준 조직 테스트 프로세스 6절 · 테스트 정책 · 조직 테스트 관행을 만들고 고친다 전략 · 계획 7.2 · 테스트 계획 감시 · 통제 7.3 · 진행 보고 · 지시 완료 7.4 · 완료 보고 설계 · 구현 8.2 · 케이스 환경 · 데이터 8.3 · 환경 실행 8.4 · 실행 기록 사건 보고 8.5 · 보고서 정책 · 관행 교훈 계획 통제 지시 진행 · 사건 보고 테스트 원리 세 수준 모두의 판단 근거 원리 1 ~ 7 결함 집중 → 계획 순서 테스트 전략 7.2 전략 · 계획 안의 한 절 — 방식 · 완료 기준 케이스 · 오라클 8.2 가 만들고 8.4 가 기대 결과로 판정 결함 관리 8.5 사건 보고서를 분류해 닫힐 때까지 추적 테스트 프로세스 위 세 수준 여덟 프로세스의 짜임 29119 점선 틀 — 2부가 이 그림 · 1부 개념 · 3부 문서 · 4부 기법 · 5부 키워드 구동 색 = 수준(조직 · 관리 · 동적) · 오른쪽 상자 = 테스트 원리

그림 3 · 계획 · 지시는 위에서 아래로, 진행 · 사건 보고와 교훈은 아래에서 위로 흐르며, 여섯 토픽은 이 짜임의 서로 다른 위치를 맡는다.

아래 토픽맡는 질문29119-2 위치다른 토픽과 잇는 값
테스트 원리테스트로 무엇을 증명할 수 없나세 수준 전체의 판단 근거결함 집중(원리 4) → 리스크 · 순서의 입력(CTFL 1.3)
테스트 전략어떤 방식으로 얼마나 깊게7.2 전략 · 계획완료 기준 → 7.4 판정의 잣대
테스트 프로세스어떤 활동을 어떤 순서로6 · 7 · 8절 여덟 프로세스진행 보고 · 통제 지시
테스트 케이스 · 오라클무엇을 넣고 무엇을 기대하나8.2 설계 · 구현 → 8.4 실행기대 결과 → 통과 · 실패 판정
결함 관리보고된 이상을 어떻게 닫나8.5 사건 보고 이후상태(열림 · 연기 · 중복 · 기각 · 닫힘)(CTFL 5.5)
ISO/IEC/IEEE 29119어떤 용어 · 양식을 쓰나1부 개념 · 2부 프로세스 · 3부 문서 · 4부 기법 · 5부3부 양식(진행 · 완료 · 사건 보고서)

여섯 토픽을 한 틀로 묶는 실은 추적성이다 — 요구 · 리스크 ↔ 케이스 ↔ 실행 결과 ↔ 결함이 이어져 있어야 감시 · 통제가 커버리지와 잔여 리스크를 숫자로 말한다(CTFL 1.4.4).

🔑 관리 수준은 «계획과 실적의 차이»로, 동적 수준은 «기대 결과와 실제 결과의 차이»로 움직이며, 두 차이를 위로 이어 주는 것이 진행 보고와 사건 보고다.

5동작 — 민원 신청 시스템 시스템 테스트 4주의 관리 사례

설명용 가정 값의 «온라인 민원 신청 시스템 개편» 시스템 테스트(테스터 3명 · 4주)다.

  1. 조직 수준 — 조직 테스트 관행에서 시스템 테스트 완료 기준의 틀(계획 케이스 실행 95% 이상 · 심각도 상 미해결 0건)을 가져온다(29119-2 6절).
  2. 전략 · 계획 — 테스트 계획에 4주 · 케이스 300건 · 주당 75건 실행과 주간 진행 보고를 적는다(29119-2 7.2).
  3. 설계 · 구현 — 요구 120개에서 케이스 300건을 만들고 케이스마다 기대 결과를 적어 요구 추적표로 잇는다(29119-2 8.2 · CTFL 1.4.4).
  4. 실행 · 감시 — 1주 차 실행은 45건(계획 75건)이고 사건 보고 18건 중 11건이 결제 모듈에서 나왔다(CTFL 5.3.1 진행 · 결함 지표).
  5. 통제 — 결제 케이스 30건을 2주 차 앞쪽으로 당기고 테스터 1명을 더해, 2주 차에 100건을 돌려 누적 145건이 된다(CTFL 5.3 통제 지시).
  6. 감시 — 3주 차 누적 실행 225건으로 계획선에 닿고, 열린 결함은 2주 차 21건에서 15건으로 꺾인다.
  7. 결함 관리 — 4주 동안 올라온 사건 보고 62건을 분류해 중복 5건 · 기대 결과(오라클) 오류 3건을 결함 아님으로 닫고, 결함 54건 중 51건을 수정 · 확인 테스트로 닫는다(CTFL 5.5).
  8. 완료 — 실행 296 / 300(98.7%) · 심각도 상 미해결 0건으로 기준을 채우고, 남은 중 3건을 연기로 완료 보고서에 적은 뒤 교훈(결제 케이스를 계획 앞쪽에)을 조직 관행 개정 안건으로 올린다(29119-2 7.4 · CTFL 5.3.2).
착수 전 1주 2주 3주 4주 조직 관리 동적 완료 기준 틀 계획 300건 케이스 300건 실행 45건 45 / 75 결제 앞당김 실행 145건 열린 결함 15 225 / 225 62 중 8 기각 296 / 300 교훈 반영 1 2 3 4 5 6 7 8 1 조직 — 완료 기준 틀: 실행 95% · 상 0건 2 계획 — 300건 · 4주 · 주 75건 3 설계 — 케이스 300건 · 요구 120개 추적 4 감시 — 1주 45 / 75 · 결제 보고 11건 5 통제 — 결제 30건 앞당김 · 1명 추가 6 감시 — 3주 누적 225 · 열린 결함 15 7 결함 관리 — 보고 62 중 중복 5 · 기준 오류 3 8 완료 — 296 / 300 · 상 0건 · 중 3건 연기 열 간격 = 주 단위 · 위로 = 보고 · 아래로 = 지시 · 값 = 설명용 가정 값

그림 4 · 동적 수준의 숫자가 위로 올라갈 때마다 관리 수준이 계획을 고쳤고, 마지막 교훈은 조직 수준까지 올라갔다.

감시는 누적 실행 수를 계획선과, 열린 결함 수를 주 단위로 본다(CTFL 5.3.1 진행 · 결함 지표). 실행 곡선이 계획선에 닿고 열린 결함이 꺾여 내려온 뒤에야 완료 기준표를 대조할 의미가 생긴다 — 실행이 계획을 넘어도 열린 결함이 늘고 있으면 완료 판정은 아직 이르다.

누적 실행 곡선과 열린 결함 — 4주 계획 실적 열린 결함 300 150 0 1주 차 30건 뒤처짐 → 통제 지시 열린 결함 14 21 15 3 착수 1주 2주 3주 4주 4주 끝 완료 판정 실행 296 / 300 = 98.7% ≥ 95% 상 미해결 0건 기준 0건 충족 중 3건 연기 완료 보고서에 기록 → 완료 실행 = 누적 건수 · 열린 결함 = 그 주 끝 건수 · 굵은 세로 선 = 1주 차 차이 · 값 = 설명용 가정 값

그림 5 · 1주 차에 벌어진 30건의 차이가 통제 지시로 3주 차에 닫혔고, 열린 결함이 21건에서 3건으로 꺾인 4주 차에야 완료 기준을 채웠다.

🔑 완료는 날짜가 아니라 계획 단계에 적어 둔 기준이 정한다 — 이 사례가 4주 차에 끝난 것은 기간이 다 돼서가 아니라 실행 98.7% · 상 0건이 계획의 기준을 넘었기 때문이다.

6비교 — 관련 기술과의 경계

기술맡는 질문테스트 관리 체계와의 경계넘기는 곳
테스트 기법케이스를 어떤 근거로 고르나설계 기법 · 커버리지는 그쪽, 고른 케이스를 계획 · 추적하는 틀은 여기블랙박스 테스트 · 화이트박스 테스트
테스트 레벨 · 유형어느 크기 · 어떤 품질 특성을 보나레벨별 목적은 그쪽, 레벨마다 한 벌씩 도는 관리 프로세스는 여기단위 테스트 · 통합 테스트
테스트 자동화 전략무엇을 언제 자동으로 돌리나자동 실행의 분포 · 투자 회수는 그쪽, 그 실행 결과를 진행 · 결함 지표로 모으는 일은 여기테스트 자동화
소프트웨어 품질 보증 체계공정과 산출물을 어떻게 보증하나공정 감사 · 검토는 그쪽, 제품을 실행해 나온 결함을 보고 · 추적하는 관리는 여기소프트웨어 프로세스 품질

분석케이스를 고르는 근거는 테스트 기법에, 레벨별 목적은 레벨 · 유형에, 자동 실행의 배치는 자동화 전략에 묻고, «계획 대비 어디까지 왔고 무엇이 아직 열려 있나»는 테스트 관리 체계에 묻는다. 계획 · 감시 · 통제 · 완료를 따로 정의한 관리 수준 프로세스를 여기서 다루기 때문이다(29119-2 7절).

7실무 진단 — 끊긴 보고의 수준 가르기

분석보고가 끊긴 곳을 아래 수준부터 찾는다 — 사건 보고서(동적) → 진행 보고의 계획 · 실적 열(관리) → 완료 보고의 교훈(조직) 순이다. 위 수준의 판단은 아래 수준의 보고를 입력으로 쓰므로 아래가 비면 위의 숫자가 틀리기 때문이다(CTFL 5.3.2 · 아래 표 1 → 5행).

#증상의심 원인수준 · 프로세스확인 자료판정 기준(근거)
1개발 쪽이 결함 보고를 «재현 안 됨»으로 자주 돌려보냄대상 · 환경 · 재현 단계 누락동적 — 사건 보고결함 보고서 항목시험 대상 · 환경 식별 · 재현 단계 · 기대 / 실제 결과가 있어야 한다(CTFL 5.5)
2요구가 바뀌었는데 고칠 케이스를 못 찾음요구 ↔ 케이스 추적 끊김동적 — 설계 · 구현요구 추적표추적성이 변경 영향 판단을 돕는다(CTFL 1.4.4)
3주간 보고는 늘 «정상»인데 마지막 주에 실행이 몰림계획 대비 실적 열 없음관리 — 감시 · 통제진행 보고서의 계획 · 실적 · 편차진행 보고에 앞섬 · 뒤처짐과 편차가 있어야 한다(CTFL 5.3.2)
4실행은 계획대로인데 열린 결함이 줄지 않음분류 · 처리 결정 정체관리 — 결함 관리상태별 결함 수 · 상태에 머문 기간기록 → 분석 · 분류 → 처리 결정 → 닫기 흐름을 모두 따른다(CTFL 5.5)
5같은 지연이 다음 프로젝트에서 되풀이교훈이 조직 관행에 안 돌아감조직 — 조직 테스트 프로세스완료 보고서 교훈 · 관행 개정 이력완료 보고서는 다음 테스트에 쓸 정보를 준다(CTFL 5.3.2)

1행부터 본다. 사건 보고서가 온전하면 3 · 4행으로 진행 · 결함 숫자를, 그것도 맞으면 5행의 교훈 기록을 본다.

8시험 대비

시험에서는 테스트 프로세스의 활동 순서와 활동마다 남는 산출물을 묻는 동작 · 절차 설명형과, ISO/IEC/IEEE 29119-2 의 세 수준 짜임을 묻는 구조 · 구성형이 나올 수 있다. 절차형이면 그림 4 처럼 사례 한 건을 세 수준으로 따라가고, 구조형이면 그림 3 의 여덟 프로세스 위에 아래 토픽의 위치를 얹어 쓴다.

답안 목차
  1. 개요 — 정의 · 세 수준 · ISO/IEC/IEEE 29119 다섯 부(1 ~ 5부 · 현행 연도)
  2. 구조 — 그림 3 의 여덟 프로세스 + 아래 토픽 위치 표
  3. 절차 — 그림 4 사례(계획 → 설계 → 실행 · 감시 → 통제 → 결함 분류 → 완료)
  4. 감시 · 통제 — 그림 5 의 누적 실행 곡선 · 열린 결함 수 · 통제 지시 예
  5. 결함 관리 — 사건 보고서 항목 · 상태(열림 · 연기 · 중복 · 기각 · 닫힘)
  6. 완료 — 완료 기준 대조 · 완료 보고서 · 교훈의 조직 환류

꼭 쓸 키워드
조직 테스트 프로세스테스트 관리 프로세스동적 테스트 프로세스테스트 감시통제진행 보고서완료 보고서사건 보고서추적성완료 기준테스트 모델

다른 답안과 차이를 내는 한 가지는 활동 이름을 늘어놓지 않고, 그림 5 처럼 계획선과 누적 실행 곡선의 차이 하나가 통제 지시로 바뀌는 순간을 숫자로 보이는 것이다.

9오해와 사실

  • 오해테스트 관리는 테스트 관리자 혼자 하는 문서 작업이다.
    사실29119-2 는 관리 수준 프로세스의 입력을 동적 수준의 실행 기록 · 사건 보고로 두므로, 테스터가 남기는 보고 한 건이 곧 감시 · 통제의 숫자가 된다(29119-2 7 · 8절 · CTFL 5.3).
  • 오해사건 보고서 한 건은 결함 한 건이다.
    사실보고된 이상은 실제 결함일 수도, 거짓 양성 · 변경 요청일 수도 있어 결함 관리 프로세스에서 분류한 뒤에야 결함 수가 정해진다(CTFL 5.5) — 사례의 보고 62건은 결함 54건이었다.
  • 오해29119 를 따르려면 모든 양식을 다 써야 한다.
    사실표준은 어느 개발 생명주기에도 쓰도록 만들어졌고 애자일 조직은 프로젝트를 제품으로 바꿔 읽게 하며, 테스트 프로세스는 상황에 맞게 맞춤(tailoring)한다(29119-2:2021 서론 · CTFL 1.4).

10핵심 정리

구분수준입력산출물끝났다는 신호근거
조직 테스트 프로세스조직사업 목표 · 완료 보고의 교훈테스트 정책 · 조직 테스트 관행관행 개정 승인29119-2 6절
전략 · 계획관리조직 관행 · 리스크테스트 계획(전략 · 완료 기준)계획 승인29119-2 7.2 · CTFL 1.4.3
감시 · 통제관리실행 기록 · 사건 보고진행 보고서 · 통제 지시계획 대비 편차 해소29119-2 7.3 · CTFL 5.3
완료관리진행 보고 · 미해결 결함완료 보고서 · 교훈기준 충족 · 잔여 수용29119-2 7.4 · CTFL 5.3.2
설계 · 구현동적테스트 기준 · 테스트 모델케이스 · 절차 · 추적표케이스마다 기대 결과29119-2 8.2 · CTFL 1.4.3
환경 · 데이터동적환경 · 데이터 요구준비된 환경 · 테스트 데이터준비 확인29119-2 8.3 · CTFL 1.4.3
실행동적절차 · 실행 일정실행 기록 · 실제 결과계획 케이스 실행29119-2 8.4 · CTFL 1.4.1
사건 보고동적기대 ≠ 실제사건 보고서결함 관리로 넘김29119-2 8.5 · CTFL 5.5

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ISO/IEC/IEEE 29119-2:2021 Software and systems engineering - Software testing - Part 2: Test processes (Second edition) — 조직 · 관리 · 동적 세 수준과 여덟 프로세스의 이름 · 절 번호, 2013년 판에서 바뀐 점을 볼 때
    ISO/IEC · IEEE · 2021-10 · standards.ieee.org/ieee/29119-2/7498/ · 확인 2026-11-14
  3. ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 감시 · 통제 지표, 진행 · 완료 보고서 내용, 결함 보고서 항목과 상태(1.4 · 5.3 · 5.5절)를 무료 원문으로 볼 때
    ISTQB · 2024-09 · www.istqb.org/certifications/certified-tester-foundation-level-ctfl-v4-0/ · 확인 2026-11-14
  4. ★ IEEE/ISO/IEC 29119-1-2021 Software and systems engineering - Software testing - Part 1: General concepts — 29119 시리즈 1 ~ 5부의 현행 연도와 개발 중인 부를 볼 때
    IEEE SA · 2022-01 · standards.ieee.org/ieee/29119-1/10779/ · 확인 2026-11-14
  5. 본문 근거