IT › 소프트웨어

테스트Software Testing

소프트웨어 테스트는 프로그램과 그 산출물(요구사항 · 설계 · 코드)을 실행하거나 검토해 결함을 찾고 품질을 평가하는 활동 전체다. 반도체 웨이퍼 테스트 · 최종 테스트 같은 칩 검사와는 다른 분야다.

1요약

  1. 테스트는 ISO/IEC/IEEE 29119 시리즈(1부 개념 2022 · 2부 프로세스 · 3부 문서 · 4부 기법 2021 · 5부 키워드 기반 2024)가 정리한 활동으로, 계획 · 분석 · 설계 · 구현 · 실행 · 완료의 테스트 프로세스 위에서 관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략이 돈다.
  2. 테스트 도구 · 표준 같은 기반이 모자라 미국 경제가 해마다 치르는 비용은 595억 달러로 추정되었고 그중 222억 달러는 결함을 더 일찍 찾으면 줄일 수 있는 몫이었다 — 요구 단계에서 생긴 결함을 출시 뒤에 고치면 그 단계에서 고칠 때의 30배가 든다(NIST 02-3 표 ES-4 · 표 5-1).
  3. 「테스트를 했는데 결함이 샜다」는 어느 갈래가 비었는가로 가른다 — 기대 결과가 적혀 있지 않았거나 완료 기준 없이 일정으로 끝냈으면 관리 체계(오라클 · MTP), 케이스를 고른 근거가 없었으면 기법, 모듈 사이 이음새 · 전체 흐름을 돌리지 않았으면 레벨 · 유형이다.

2등장 배경

초기 프로그래밍에서는 테스트와 디버깅이 한 일이었다. 짠 사람이 돌려 보고 틀린 곳을 고친 뒤 «돌아간다»고 판정했으므로, 끝났다는 기준이 사람마다 달랐고 고친 곳 옆이 깨져도 아무도 다시 보지 않았다.

1969년 10월 로마의 NATO 소프트웨어 공학 기법 회의에서 Dijkstra 는 «테스트는 버그가 있음을 보일 뿐, 없음을 보이지는 못한다»고 말했고(Buxton · Randell 1970), 이 문장은 지금 테스트 원리 1번이다(CTFL 1.3). 1983년 IEEE 829 가 테스트 계획서 · 설계서 · 보고서 같은 테스트 문서의 형식을 표준으로 정했고, 1998 · 2008년 개정을 거쳐 ISO/IEC/IEEE 29119 시리즈(2013년 첫 발행)로 대체되었다(IEEE 829-1998).

지금은 29119-1:2022 가 2013년 것을 대체한 현행 개념 표준이고(ISO/IEC/IEEE 29119-1), ISTQB CTFL v4.0.1(2024-09)이 같은 개념을 무료 강의요목으로 가르친다. 애자일 · DevOps 에서는 회귀 테스트를 CI 에 넣어 변경마다 자동으로 돌린다(CTFL 2.2.3).

3쉽게 이해하기 — 신차 출고 전 검사

자동차 공장의 박 반장은 신차를 내보내기 전에 검사 계획서부터 펼친다. 브레이크는 차체가 없어도 받침대 모형에 물려 따로 검사하고, 조립한 뒤에는 부품끼리 이음새를, 주행 시험장에서는 완성차 전체를, 마지막으로 고객이 직접 시승한다. 검사표의 기대값과 다르게 나오면 검사원은 불량 꼬리표만 붙이고, 고치는 일은 정비반이 맡은 뒤 같은 검사를 다시 받는다.

검사 계획서 MTP · 테스트 계획 1 부품 검사대 단위 테스트 부품 하나 · 받침대 모형 조립 검사 통합 테스트 부품끼리 이음새 주행 시험장 시스템 테스트 완성차 전체 고객 시승 인수 테스트 쓸 사람이 받아들임 2 3 4 검사표 기대값 케이스 · 오라클 모든 검사대의 판정 기준 불량 꼬리표 결함 보고서 기대 · 실제 · 재현 방법 정비반 수리 디버깅 원인을 찾아 고침 5 6 재검사 확인 · 회귀 테스트 검사원은 «다르다»까지 적고 넘기며, 고친 차는 같은 검사대로 다시 들어간다

그림 1 · 계획서가 네 검사대를 정하고, 어느 검사대든 기대값과 다르면 꼬리표 → 정비반 → 재검사로 돌아간다.

계획 펴기무엇을 어디까지 검사할지
부품 검사받침대 위 부품 하나
조립 검사부품끼리 이음새
주행 시험완성차 전체
고객 시승쓸 사람이 받아들임
꼬리표 달기다르면 표시하고 넘김
비유 — 불량 하나가 나왔을 때 실제 — 실패 하나가 나왔을 때 기대 제동 거리 40m · 측정 46m 검사표와 다르다고 판정 1 오라클 판정 기대 결과 ≠ 실제 결과 → 실패 기대 결과가 없으면 판정 자체를 못 한다 불량 꼬리표를 붙여 넘김 어느 검사 · 몇 번째 · 얼마나 다른가 2 결함 보고서 식별자 · 재현 단계 · 기대 / 실제 · 심각도 상태 = 열림 → 수정 대기 점선 안 = 디버깅 · 테스트 밖의 활동 정비반이 원인 부품을 찾아 교체 검사원은 고치지 않는다 3 디버깅 재현 → 진단(결함 찾기) → 수정 개발자의 몫 같은 검사 + 옆 부품도 다시 고친 곳과 주변을 함께 본다 4 확인 · 회귀 테스트 실패한 케이스 재실행 + 영향 범위 재실행 통과하면 보고서 상태 = 닫힘 제동 거리 = 설명용 가정 값 · 오라클 · 결함 관리 · 회귀가 이 경계에서 일을 넘긴다

그림 2 · 검사원은 기대값과 다르다는 것을 적어 넘기는 데까지이고, 원인을 찾아 고치는 일(점선 안)은 디버깅이라 테스트 밖에 있다.

비유 속 역할실제 이름실제로 하는 일
검사 계획서MTP · 테스트 계획범위 · 단계 · 일정 · 진입 · 완료 기준을 정한다
검사표의 기대값테스트 케이스 · 테스트 오라클입력 · 절차와 함께 «맞는 결과»를 미리 적어 둔다
부품 검사대 · 받침대 모형단위 테스트 · 스텁 · 드라이버모듈 하나를 떼어 가짜 상대와 함께 시험한다
조립 이음새 검사통합 테스트모듈 사이 인터페이스와 주고받는 값을 본다
주행 시험장시스템 테스트완성된 시스템의 기능 · 성능을 시스템 명세와 맞춘다
고객 시승인수 테스트쓸 사람이 업무에 쓸 만한지 확인한다
불량 꼬리표결함 보고서 · 결함 관리기대 · 실제 결과와 재현 단계를 남기고 닫힐 때까지 쫓는다
고친 뒤 다시 검사확인 · 회귀 테스트고친 곳과 그 주변이 다시 깨지지 않았는지 돌린다

⚠ 비유가 맞지 않는 곳: 자동차는 다 만든 뒤 검사하지만 소프트웨어 테스트는 코드가 생기기 전 요구사항 · 설계 문서 검토(정적 테스트)부터 시작하고, 부품 검사는 같은 항목을 똑같이 되풀이해도 되지만 같은 케이스만 되풀이하면 새 결함을 점점 못 찾는다(CTFL 1.3 원리 5).

4구조 — 네 갈래와 테스트 프로세스

테스트의 하위 토픽은 테스트 관리 체계 · 테스트 기법 · 테스트 레벨 · 유형 · 테스트 자동화 전략의 네 갈래로, 테스트 프로세스의 같은 활동들을 서로 다른 질문으로 나눠 맡는다. CTFL 1.4.1 · 29119-2 의 프로세스는 계획 → 분석 → 설계 → 구현 → 실행 → 완료와 그 전체를 지켜보는 감시 · 통제로 이루어지고, 레벨(단위 · 통합 · 시스템 · 인수)마다 이 프로세스를 한 벌씩 돈다(CTFL 2.2).

테스트 프로세스 — 단계마다 한 벌씩 돈다 계획 분석 설계 구현 실행 완료 감시 · 통제 — 계획 대비 진행을 계속 대조 갈래마다 주로 쓰는 활동 ↓ 테스트 관리 체계 판정 · 계획 · 기록 테스트 원리 · 전략 테스트 프로세스 MTP · 테스트 조직 테스트 케이스 · 오라클 결함 관리 ISO/IEC/IEEE 29119 테스트 기법 분석 · 설계 · 구현 블랙박스 · 화이트박스 명세 · 구조 · 경험 기반 커버리지 · 뮤테이션 회귀 테스트 Pairwise · 탐색적 TDD · BDD 테스트 레벨 · 유형 대상 크기 · 시점 · 특성 V 모델 단위 테스트 통합 · Stub · Driver 시스템 · 인수 테스트 성능 · 부하 테스트 보안 · 계약 테스트 테스트 자동화 전략 구현 · 실행 · 되풀이 테스트 자동화 Harness E2E(웹 · 모바일) 차세대 시스템 전환 시프트 레프트 지속적 테스트 한 케이스 = 기법의 입력 + 관리 체계의 기대 결과 · 일정 + 레벨의 대상 + 자동화의 실행 시점 색 = 갈래(판정 · 계획 / 입력 고르기 / 대상 크기 · 특성 / 자동 실행)

그림 3 · 테스트 프로세스 여섯 활동 아래에서 관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략 넷이 «판정 · 계획, 고르기, 대상 · 시점, 자동 실행»을 나눠 맡는다.

갈래묻는 질문주된 산출물근거토픽
테스트 관리 체계무엇을 어떤 기준으로 판정 · 기록하고, 누가 어떤 계획으로 꾸리나테스트 케이스 · 결함 보고서 · MTP · 테스트 완료 보고서29119-1 · 2 · 3 · CTFL 1장 · 1.5.3 · 5.1테스트 원리 · 테스트 전략(리스크 기반) · 테스트 프로세스(환경 · MTP · 조직) · 테스트 케이스 · 오라클 · 결함 관리 · ISO/IEC/IEEE 29119
테스트 기법어떤 입력 · 경로로 케이스를 고르나커버리지 항목 · 케이스 표29119-4 · CTFL 4장블랙박스(Pairwise) · 화이트박스 · 명세 · 구조 · 경험 기반(탐색적 · 스크립티드) · 테스트 커버리지 · 뮤테이션 · 회귀 · TDD · BDD
테스트 레벨 · 유형어느 크기의 대상을 언제 · 어떤 품질 특성으로 시험하나레벨별 진입 · 완료 기준CTFL 2.2.1 · 2.2.2 · 5.1.3V 모델 · 단위 테스트 · 통합 테스트(Stub/Driver) · 시스템 · 인수 테스트 · 성능 · 부하 · 보안 · 계약 테스트
테스트 자동화 전략어떤 테스트를 언제 자동으로 돌리나자동화 대상 · 레벨별 배분 · 실행 시점테스트 자동화 전략에서 다룸테스트 자동화(Record and Replay · Harness) · E2E 테스트(웹 · 모바일) · 차세대 시스템 전환 테스트 · 시프트 레프트 · 지속적 테스트

테스트 레벨 · 유형에는 성능 · 보안처럼 «테스트 유형»도 함께 들어 있다 — 유형은 품질 특성으로 나눈 축이라 네 레벨 어디서나 쓴다(CTFL 2.2.2). 변경 뒤 되풀이하는 회귀 테스트는 테스트 기법에 있다. 경계는 품질이 ISO/IEC 25010 품질 특성과 프로세스 중심의 품질 보증을, 개발 방법론이 V 모델 · 애자일 같은 수명주기를 맡고, 테스트는 제품을 실행 · 검토해 결함을 찾는 품질 통제를 맡는다(CTFL 1.2.2 · 2.1.1).

🔑 기법은 «무엇으로 고르나», 레벨 · 유형은 «무엇을 언제», 관리 체계는 «어떻게 판정 · 기록하고 누가 어떤 계획으로», 자동화 전략은 «어느 테스트를 언제 자동으로 돌리나»를 맡으며, 케이스 한 건에는 넷의 답이 모두 붙어 있다.

5동작 — 대출 연장 기능 한 건이 네 단계를 지나는 사례

설명용 가정 값의 도서관 앱 「대출 연장」 기능이다. 요구는 「대출 1건당 연장 1회 · 14일 · 연체 중이면 거부」이고, 연체 정보는 별도 회원 서비스가 준다.

  1. 계획 — MTP 에 단계 넷과 완료 기준(계획한 케이스 100% 실행 · 심각도 상 결함 미해결 0건)을 적는다(CTFL 5.1.3).
  2. 분석 · 설계 — 요구에서 테스트 조건 3개(첫 연장 · 두 번째 연장 · 연체 회원)를 뽑아 케이스 12건을 만들고, 케이스마다 기대 반납일 · 거부 문구를 오라클로 적는다(CTFL 1.4.1).
  3. 단위 테스트 — 개발자가 extend_loan() 케이스 8건을 pytest 로 돌린다. 회원 서비스가 아직 없어 «연체 0일»만 돌려주는 스텁을 쓰고 테스트 코드가 드라이버로 함수를 부른다 — 8건 통과.
  4. 통합 테스트 — 실제 회원 서비스와 이은 4건 중 「연체 회원 거부」 1건이 실패한다. 기대 = 거부, 실제 = 연장됨 — 회원 서비스가 연체 일수를 숫자가 아니라 문자열 "3" 으로 돌려줬다.
  5. 결함 관리 · 디버깅 — 결함 보고서 DEF-031(기대 · 실제 결과 · 재현 단계 · 심각도 상)을 올리고 개발자가 형 변환을 고친다. 원인 찾기와 수정은 디버깅이다(CTFL 1.1.2 · 5.5).
  6. 확인 · 회귀 — pytest --lf 로 실패했던 1건만 다시 돌려 통과를 보고(pytest cache 문서), 영향 분석으로 고른 대출 · 반납 케이스 40건을 다시 돌린다(CTFL 2.2.3).
  7. 시스템 테스트 — 독립 테스트 팀이 화면에서 로그인 → 대출 목록 → 연장까지 종단 간 흐름과 응답 시간(비기능)을 시스템 명세와 맞춘다(CTFL 2.2.1).
  8. 인수 · 완료 — 사서 3명이 업무 시나리오로 인수 테스트를 하고, 완료 기준이 채워지자 DEF-031 을 닫고 테스트 완료 보고서를 낸다(CTFL 1.4.1).
계획 · 설계 단위 통합 결함 · 수정 시스템 · 인수 1 2 3 4 5 6 7 8 MTP 12건 8건 1 실패 DEF 1+40 흐름 UAT ① 계획 — MTP · 완료 기준(심각도 상 미해결 0) ② 설계 — 케이스 12건 · 기대 결과 ③ 단위 — 8건 · 회원 서비스는 스텁 ④ 통합 — 4건 중 1건 실패(문자열 "3") ⑤ 결함 — DEF-031 보고 · 디버깅으로 수정 ⑥ 확인 1건(--lf) · 회귀 40건 ⑦ 시스템 — 종단 간 흐름 · 응답 시간 ⑧ 인수 — 사서 3명 · 완료 보고서 상자 간격 = 차례만 보임(시간 비례 아님) · 값 = 설명용 가정 값

그림 4 · 결함은 스텁을 실제 서비스로 바꾼 ④ 통합에서 처음 드러났고, ⑤ 수정 뒤 ⑥ 확인 · 회귀를 거쳐서야 ⑦⑧ 로 넘어갔다.

🔑 결함은 스텁을 실제 서비스로 바꾼 순간 처음 드러났다 — 단계를 나누는 까닭은 각 단계가 앞 단계에서 «가짜로 믿어 둔 것» 하나씩을 진짜로 바꾸기 때문이다.

V 모델은 왼쪽 개발 활동마다 오른쪽 테스트 단계를 짝지어 각 단계의 근거 문서를 그 짝에서 가져온다(CTFL 2.1.2 「개발 활동마다 대응하는 테스트 활동」). 결함이 생긴 곳과 드러난 곳의 거리가 멀수록 고칠 범위가 커진다 — NIST 02-3 예시는 요구 단계 결함을 코딩 · 단위에서 찾으면 5배, 통합 · 시스템에서 10배, 출시 뒤면 30배로 본다(표 5-1).

요구 정의 시스템 설계 상세 설계 모듈 설계 코딩 인수 테스트 시스템 테스트 통합 테스트 단위 테스트 근거 = 요구 · 인수 기준 근거 = 시스템 명세 근거 = 인터페이스 설계 근거 = 모듈 명세 V 모델 — 내려가며 만들고 올라가며 시험한다 요구 단계 결함의 상대 수리 비용(찾은 때 기준) 1배 5배 10배 15배 30배 요구 · 설계 코딩 · 단위 통합 · 시스템 베타 출시 후 막대 높이 = 배수 비례 · 값 = NIST 02-3 표 5-1 예시

그림 5 · 왼쪽 개발 문서는 오른쪽 같은 높이 단계의 근거가 되고, 요구 단계 결함은 늦게 찾을수록 수리 비용이 1배 → 30배로 커진다.

6비교 — 테스트 · 품질 · 프로그래밍 · 개발 방법론의 경계

기준테스트품질프로그래밍개발 방법론
맡는 일제품을 실행 · 검토해 실패 보고품질 기준 수립 · 공정 보증 · 평가코드 작성 · 디버깅 · 리팩토링단계 · 순서 · 역할의 절차 결정
성격제품 중심 · 시정형 품질 통제(CTFL 1.2.2)프로세스 중심 · 예방형 보증(CTFL 1.2.2)드러난 결함의 원인 제거(CTFL 1.1.2)테스트 시점 · 자동화 정도를 좌우(CTFL 2.1.1)
다루는 단위테스트 케이스 · 결함 보고서 · MTP품질 특성 · 평가 결과 · 감사 기록소스 코드 · 변경분(diff)생명주기 단계 · 반복 주기
대표 하위 토픽테스트오라클 · 회귀테스트 · 인수테스트인스펙션 · CMMI · GS인증디자인패턴 · 정적 분석 · Refactoring폭포수모델 · 스크럼 · DevOps
묻는 질문이 판이 기대대로 동작하나판정 기준과 공정이 제대로 섰나실패 원인을 코드 어디서 고치나테스트를 언제 · 누가 하나
경계실패 보고에서 끝나고 수정은 넘김시험 설계 · 실행은 테스트에 맡김수정 뒤 확인 테스트로 되돌려 보냄단계별 테스트 내용은 테스트에 둠

분석이번 판에 결함이 있는지는 테스트를, 무엇을 합격으로 볼지와 같은 결함이 왜 되풀이되는지는 품질을, 테스트를 넣을 시점과 주기는 개발 방법론을 본다. 근거는 표의 「성격」 행 — 테스트는 제품 중심의 품질 통제이고 품질 보증은 프로세스 중심의 예방 활동이다(CTFL 1.2.2).

7실무 진단 — 운영 결함의 원인 가르기

분석운영에서 결함이 나면 그 결함을 잡았어야 할 케이스가 있었는지부터 보고, 있었으면 판정 · 레벨 쪽, 없었으면 기법 · 계획 쪽으로 내려간다. 케이스가 있었는데 놓쳤다면 기대 결과나 시험 대상이 틀린 것이고, 없었다면 고르는 근거나 계획이 빈 것이기 때문이다(CTFL 1.4.1 · 아래 표 1 ~ 2행 ↔ 3 ~ 5행).

#증상의심 원인맡는 쪽확인 자료판정 기준(근거)
1케이스는 있었는데 테스터마다 통과 · 실패 판정이 다름기대 결과 미기재관리 체계 — 오라클케이스의 기대 결과 항목 · 요구 추적표실제 결과와 비교할 기대 결과가 케이스에 있어야 판정이 된다(CTFL 1.4.1 실행)
2단위는 모두 통과했는데 연결하자 실패스텁 응답 ≠ 실제 응답레벨 — 통합스텁이 돌려준 값 ↔ 실제 서비스 응답 기록통합 테스트는 컴포넌트 사이 인터페이스 · 상호작용을 본다(CTFL 2.2.1)
3고친 결함이 다음 배포에서 다시 나옴재현 케이스를 회귀 케이스 목록에 넣지 않음기법 — 회귀결함 보고서 ↔ 회귀 케이스 목록 · CI 기록수정은 확인 테스트 뒤 회귀 테스트로 지켜야 한다(CTFL 2.2.3)
4같은 케이스는 늘 통과인데 운영 결함이 늘어남케이스 노후관리 체계 — 원리케이스 변경 이력 · 단계별 결함 발견 추이같은 테스트를 되풀이하면 새 결함 검출력이 떨어진다(CTFL 1.3 원리 5)
5출시 직전 결함이 몰리고 출시 판단이 갈림완료 기준 없이 일정으로 종료관리 체계 — MTPMTP 완료 기준 · 미해결 결함 수 · 완료 보고서단계마다 진입 · 완료 기준을 정해야 한다(CTFL 5.1.3)

먼저 결함 보고서의 재현 단계로 같은 입력의 케이스를 찾는다 — 케이스가 있으면 1 · 2행(판정 · 대상)을 보고, 없으면 4 · 5행(케이스 노후 · 계획)을 본다. 3행은 같은 결함 번호가 두 번 열렸을 때만 의심한다.

8시험 대비

출제 정보 정보관리(140회, 139회, 137회, 135회, 134회, 133회, 131회, 129회, 128회, 127회, 126회, 122회, 121회, 120회, 117회, 114회, 108회, 105회, 98회, 96회, 95회, 92회, 89회, 87회, 86회, 84회, 83회, 81회, 78회, 77회, 71회, 68회) · 컴퓨터시스템응용(138회, 131회, 129회, 128회, 122회, 113회, 111회, 98회, 96회, 89회, 86회, 84회, 81회, 77회, 75회, 72회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 테스트의 정의 · 목적 · 원리 7가지를 묻는 정의 · 특징형과, 테스트 프로세스나 단계(단위 → 통합 → 시스템 → 인수)의 흐름을 묻는 동작 · 절차 설명형이 나올 수 있다. 기법 · 단계의 개별 토픽이 나오면 그 토픽 답안을 쓰되, 첫 문단에 «관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략 중 어디이고 프로세스의 어느 활동인가»를 이 분류로 놓으면 답안의 자리가 잡힌다.

답안 목차
  1. 개요 — 정의(결함 발견 · 품질 평가 · 정적 / 동적) · 테스트 ≠ 디버깅 · ISO/IEC/IEEE 29119 다섯 부
  2. 원리 — 원리 7(결함 존재 증명 · 완벽한 테스트 불가 · 조기 테스트 · 결함 집중 · 살충제 · 정황 의존 · 결함 부재의 오류)
  3. 구성 — 그림 3 분류(프로세스 여섯 활동 + 관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략) + 갈래 표
  4. 절차 — 그림 4 사례(계획 → 설계 → 단위 · 스텁 → 통합 실패 → 결함 보고 → 확인 · 회귀 → 시스템 → 인수)
  5. 단계와 비용 — 그림 5 V 모델(근거 문서 짝) + 수리 비용 1 · 5 · 10 · 15 · 30배(NIST 02-3)
  6. 관리 · 자동화 — MTP · 진입 / 완료 기준 · 테스트 독립성 수준 · CI 회귀 자동화

꼭 쓸 키워드
테스트 원리테스트 프로세스테스트 오라클결함 관리V 모델확인 테스트회귀 테스트진입완료 기준테스트 독립성ISO/IEC/IEEE 29119

다른 답안과 차이를 내려면 원리 7가지를 나열하지 말고 그림 5 처럼 V 모델 짝 위에 «늦게 찾을수록 커지는 배수»를 겹쳐 조기 테스트(원리 3)의 근거로 보인다.

9오해와 사실

  • 오해테스트는 프로그램을 실행해 보는 일이다.
    사실요구사항 · 설계 문서 검토와 정적 분석도 테스트(정적 테스트)이고, 실행 없이 결함을 바로 찾으므로 재현 · 진단 단계가 필요 없다(CTFL 1.1 · 1.1.2).
  • 오해결함을 고치는 것까지가 테스트다.
    사실테스트는 실패를 드러내 보고하는 데까지이고, 원인을 찾아 고치는 일은 디버깅이라는 별개 활동이며 그 뒤 확인 테스트가 다시 테스트로 돌아온다(CTFL 1.1.2).
  • 오해명세대로 모두 통과하면 시스템은 성공한다.
    사실명세가 사용자 요구와 어긋나 있으면 결함 0건이어도 쓸모가 없으므로, 검증(verification)과 함께 확인(validation)을 해야 한다(CTFL 1.3 원리 7).

10핵심 정리

구분주로 하는 사람대상근거 문서끝났다는 증거근거
단위 테스트개발자모듈 하나(스텁 · 드라이버)모듈 명세단위 케이스 통과 · 커버리지CTFL 2.2.1
통합 테스트개발자 · 테스터모듈 사이 인터페이스인터페이스 설계연결 케이스 통과CTFL 2.2.1
시스템 테스트독립 테스트 팀시스템 전체 · 비기능시스템 명세기능 · 비기능 결과CTFL 2.2.1
인수 테스트사용자 · 발주자업무 흐름요구 · 계약 · 규제인수 승인CTFL 2.2.1
결함 관리테스터 → 개발자결함 보고서기대 · 실제 결과상태 「닫힘」CTFL 5.5
확인 · 회귀테스터 · CI고친 곳 · 영향 범위결함 보고서 · 변경 내역재실행 통과CTFL 2.2.3
MTP · 완료테스트 관리자단계 전체진입 · 완료 기준테스트 완료 보고서CTFL 5.1.3

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 테스트 원리 7 · 테스트 프로세스 · 단계 · 결함 관리를 무료 원문으로 볼 때
    ISTQB · 2024-09 · www.istqb.org/certifications/certified-tester-foundation-level-ctfl-v4-0/ · 확인 2026-11-09
  3. ★ ISO/IEC/IEEE 29119-1:2022 Software and systems engineering - Software testing - Part 1: General concepts — 29119 시리즈 다섯 부의 범위와 현행 연도를 볼 때
    IEEE SA · ISO/IEC · 2022-01 · standards.ieee.org/ieee/29119-1/10779/ · 확인 2026-11-09
  4. ★ NIST Planning Report 02-3 The Economic Impacts of Inadequate Infrastructure for Software Testing — 결함을 늦게 찾을수록 커지는 수리 비용의 근거를 볼 때
    NIST · RTI · 2002-05 · www.nist.gov/system/files/documents/director/planning/report02-3.pdf · 확인 2026-11-09
  5. 본문 근거
  6. Software Engineering Techniques - Report on a conference sponsored by the NATO Science Committee, Rome 1969 (http 전용 http://homepages.cs.ncl.ac.uk/brian.randell/NATO/nato1969.PDF) — NATO Science Committee · 1970-04 · 확인 2026-11-09
  7. IEEE 829-1998 IEEE Standard for Software Test Documentation (superseded) — IEEE SA · 1998-12 · standards.ieee.org/ieee/112/1218/ · 확인 2026-11-09
  8. pytest documentation - How to re-run failed tests and maintain state between test runs — pytest-dev · 2026-11 · docs.pytest.org/en/stable/how-to/cache.html · 확인 2026-11-09