테스트Software Testing
소프트웨어 테스트는 프로그램과 그 산출물(요구사항 · 설계 · 코드)을 실행하거나 검토해 결함을 찾고 품질을 평가하는 활동 전체다. 반도체 웨이퍼 테스트 · 최종 테스트 같은 칩 검사와는 다른 분야다.
1요약
- 테스트는 ISO/IEC/IEEE 29119 시리즈(1부 개념 2022 · 2부 프로세스 · 3부 문서 · 4부 기법 2021 · 5부 키워드 기반 2024)가 정리한 활동으로, 계획 · 분석 · 설계 · 구현 · 실행 · 완료의 테스트 프로세스 위에서 관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략이 돈다.
- 테스트 도구 · 표준 같은 기반이 모자라 미국 경제가 해마다 치르는 비용은 595억 달러로 추정되었고 그중 222억 달러는 결함을 더 일찍 찾으면 줄일 수 있는 몫이었다 — 요구 단계에서 생긴 결함을 출시 뒤에 고치면 그 단계에서 고칠 때의 30배가 든다(NIST 02-3 표 ES-4 · 표 5-1).
- 「테스트를 했는데 결함이 샜다」는 어느 갈래가 비었는가로 가른다 — 기대 결과가 적혀 있지 않았거나 완료 기준 없이 일정으로 끝냈으면 관리 체계(오라클 · MTP), 케이스를 고른 근거가 없었으면 기법, 모듈 사이 이음새 · 전체 흐름을 돌리지 않았으면 레벨 · 유형이다.
2등장 배경
초기 프로그래밍에서는 테스트와 디버깅이 한 일이었다. 짠 사람이 돌려 보고 틀린 곳을 고친 뒤 «돌아간다»고 판정했으므로, 끝났다는 기준이 사람마다 달랐고 고친 곳 옆이 깨져도 아무도 다시 보지 않았다.
1969년 10월 로마의 NATO 소프트웨어 공학 기법 회의에서 Dijkstra 는 «테스트는 버그가 있음을 보일 뿐, 없음을 보이지는 못한다»고 말했고(Buxton · Randell 1970), 이 문장은 지금 테스트 원리 1번이다(CTFL 1.3). 1983년 IEEE 829 가 테스트 계획서 · 설계서 · 보고서 같은 테스트 문서의 형식을 표준으로 정했고, 1998 · 2008년 개정을 거쳐 ISO/IEC/IEEE 29119 시리즈(2013년 첫 발행)로 대체되었다(IEEE 829-1998).
지금은 29119-1:2022 가 2013년 것을 대체한 현행 개념 표준이고(ISO/IEC/IEEE 29119-1), ISTQB CTFL v4.0.1(2024-09)이 같은 개념을 무료 강의요목으로 가르친다. 애자일 · DevOps 에서는 회귀 테스트를 CI 에 넣어 변경마다 자동으로 돌린다(CTFL 2.2.3).
3쉽게 이해하기 — 신차 출고 전 검사
자동차 공장의 박 반장은 신차를 내보내기 전에 검사 계획서부터 펼친다. 브레이크는 차체가 없어도 받침대 모형에 물려 따로 검사하고, 조립한 뒤에는 부품끼리 이음새를, 주행 시험장에서는 완성차 전체를, 마지막으로 고객이 직접 시승한다. 검사표의 기대값과 다르게 나오면 검사원은 불량 꼬리표만 붙이고, 고치는 일은 정비반이 맡은 뒤 같은 검사를 다시 받는다.
그림 1 · 계획서가 네 검사대를 정하고, 어느 검사대든 기대값과 다르면 꼬리표 → 정비반 → 재검사로 돌아간다.
그림 2 · 검사원은 기대값과 다르다는 것을 적어 넘기는 데까지이고, 원인을 찾아 고치는 일(점선 안)은 디버깅이라 테스트 밖에 있다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 검사 계획서 | MTP · 테스트 계획 | 범위 · 단계 · 일정 · 진입 · 완료 기준을 정한다 |
| 검사표의 기대값 | 테스트 케이스 · 테스트 오라클 | 입력 · 절차와 함께 «맞는 결과»를 미리 적어 둔다 |
| 부품 검사대 · 받침대 모형 | 단위 테스트 · 스텁 · 드라이버 | 모듈 하나를 떼어 가짜 상대와 함께 시험한다 |
| 조립 이음새 검사 | 통합 테스트 | 모듈 사이 인터페이스와 주고받는 값을 본다 |
| 주행 시험장 | 시스템 테스트 | 완성된 시스템의 기능 · 성능을 시스템 명세와 맞춘다 |
| 고객 시승 | 인수 테스트 | 쓸 사람이 업무에 쓸 만한지 확인한다 |
| 불량 꼬리표 | 결함 보고서 · 결함 관리 | 기대 · 실제 결과와 재현 단계를 남기고 닫힐 때까지 쫓는다 |
| 고친 뒤 다시 검사 | 확인 · 회귀 테스트 | 고친 곳과 그 주변이 다시 깨지지 않았는지 돌린다 |
⚠ 비유가 맞지 않는 곳: 자동차는 다 만든 뒤 검사하지만 소프트웨어 테스트는 코드가 생기기 전 요구사항 · 설계 문서 검토(정적 테스트)부터 시작하고, 부품 검사는 같은 항목을 똑같이 되풀이해도 되지만 같은 케이스만 되풀이하면 새 결함을 점점 못 찾는다(CTFL 1.3 원리 5).
4구조 — 네 갈래와 테스트 프로세스
테스트의 하위 토픽은 테스트 관리 체계 · 테스트 기법 · 테스트 레벨 · 유형 · 테스트 자동화 전략의 네 갈래로, 테스트 프로세스의 같은 활동들을 서로 다른 질문으로 나눠 맡는다. CTFL 1.4.1 · 29119-2 의 프로세스는 계획 → 분석 → 설계 → 구현 → 실행 → 완료와 그 전체를 지켜보는 감시 · 통제로 이루어지고, 레벨(단위 · 통합 · 시스템 · 인수)마다 이 프로세스를 한 벌씩 돈다(CTFL 2.2).
그림 3 · 테스트 프로세스 여섯 활동 아래에서 관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략 넷이 «판정 · 계획, 고르기, 대상 · 시점, 자동 실행»을 나눠 맡는다.
| 갈래 | 묻는 질문 | 주된 산출물 | 근거 | 토픽 |
|---|---|---|---|---|
| 테스트 관리 체계 | 무엇을 어떤 기준으로 판정 · 기록하고, 누가 어떤 계획으로 꾸리나 | 테스트 케이스 · 결함 보고서 · MTP · 테스트 완료 보고서 | 29119-1 · 2 · 3 · CTFL 1장 · 1.5.3 · 5.1 | 테스트 원리 · 테스트 전략(리스크 기반) · 테스트 프로세스(환경 · MTP · 조직) · 테스트 케이스 · 오라클 · 결함 관리 · ISO/IEC/IEEE 29119 |
| 테스트 기법 | 어떤 입력 · 경로로 케이스를 고르나 | 커버리지 항목 · 케이스 표 | 29119-4 · CTFL 4장 | 블랙박스(Pairwise) · 화이트박스 · 명세 · 구조 · 경험 기반(탐색적 · 스크립티드) · 테스트 커버리지 · 뮤테이션 · 회귀 · TDD · BDD |
| 테스트 레벨 · 유형 | 어느 크기의 대상을 언제 · 어떤 품질 특성으로 시험하나 | 레벨별 진입 · 완료 기준 | CTFL 2.2.1 · 2.2.2 · 5.1.3 | V 모델 · 단위 테스트 · 통합 테스트(Stub/Driver) · 시스템 · 인수 테스트 · 성능 · 부하 · 보안 · 계약 테스트 |
| 테스트 자동화 전략 | 어떤 테스트를 언제 자동으로 돌리나 | 자동화 대상 · 레벨별 배분 · 실행 시점 | 테스트 자동화 전략에서 다룸 | 테스트 자동화(Record and Replay · Harness) · E2E 테스트(웹 · 모바일) · 차세대 시스템 전환 테스트 · 시프트 레프트 · 지속적 테스트 |
테스트 레벨 · 유형에는 성능 · 보안처럼 «테스트 유형»도 함께 들어 있다 — 유형은 품질 특성으로 나눈 축이라 네 레벨 어디서나 쓴다(CTFL 2.2.2). 변경 뒤 되풀이하는 회귀 테스트는 테스트 기법에 있다. 경계는 품질이 ISO/IEC 25010 품질 특성과 프로세스 중심의 품질 보증을, 개발 방법론이 V 모델 · 애자일 같은 수명주기를 맡고, 테스트는 제품을 실행 · 검토해 결함을 찾는 품질 통제를 맡는다(CTFL 1.2.2 · 2.1.1).
🔑 기법은 «무엇으로 고르나», 레벨 · 유형은 «무엇을 언제», 관리 체계는 «어떻게 판정 · 기록하고 누가 어떤 계획으로», 자동화 전략은 «어느 테스트를 언제 자동으로 돌리나»를 맡으며, 케이스 한 건에는 넷의 답이 모두 붙어 있다.
5동작 — 대출 연장 기능 한 건이 네 단계를 지나는 사례
설명용 가정 값의 도서관 앱 「대출 연장」 기능이다. 요구는 「대출 1건당 연장 1회 · 14일 · 연체 중이면 거부」이고, 연체 정보는 별도 회원 서비스가 준다.
- 계획 — MTP 에 단계 넷과 완료 기준(계획한 케이스 100% 실행 · 심각도 상 결함 미해결 0건)을 적는다(CTFL 5.1.3).
- 분석 · 설계 — 요구에서 테스트 조건 3개(첫 연장 · 두 번째 연장 · 연체 회원)를 뽑아 케이스 12건을 만들고, 케이스마다 기대 반납일 · 거부 문구를 오라클로 적는다(CTFL 1.4.1).
- 단위 테스트 — 개발자가
extend_loan()케이스 8건을 pytest 로 돌린다. 회원 서비스가 아직 없어 «연체 0일»만 돌려주는 스텁을 쓰고 테스트 코드가 드라이버로 함수를 부른다 — 8건 통과. - 통합 테스트 — 실제 회원 서비스와 이은 4건 중 「연체 회원 거부」 1건이 실패한다. 기대 = 거부, 실제 = 연장됨 — 회원 서비스가 연체 일수를 숫자가 아니라 문자열 "3" 으로 돌려줬다.
- 결함 관리 · 디버깅 — 결함 보고서 DEF-031(기대 · 실제 결과 · 재현 단계 · 심각도 상)을 올리고 개발자가 형 변환을 고친다. 원인 찾기와 수정은 디버깅이다(CTFL 1.1.2 · 5.5).
- 확인 · 회귀 —
pytest --lf로 실패했던 1건만 다시 돌려 통과를 보고(pytest cache 문서), 영향 분석으로 고른 대출 · 반납 케이스 40건을 다시 돌린다(CTFL 2.2.3). - 시스템 테스트 — 독립 테스트 팀이 화면에서 로그인 → 대출 목록 → 연장까지 종단 간 흐름과 응답 시간(비기능)을 시스템 명세와 맞춘다(CTFL 2.2.1).
- 인수 · 완료 — 사서 3명이 업무 시나리오로 인수 테스트를 하고, 완료 기준이 채워지자 DEF-031 을 닫고 테스트 완료 보고서를 낸다(CTFL 1.4.1).
그림 4 · 결함은 스텁을 실제 서비스로 바꾼 ④ 통합에서 처음 드러났고, ⑤ 수정 뒤 ⑥ 확인 · 회귀를 거쳐서야 ⑦⑧ 로 넘어갔다.
🔑 결함은 스텁을 실제 서비스로 바꾼 순간 처음 드러났다 — 단계를 나누는 까닭은 각 단계가 앞 단계에서 «가짜로 믿어 둔 것» 하나씩을 진짜로 바꾸기 때문이다.
V 모델은 왼쪽 개발 활동마다 오른쪽 테스트 단계를 짝지어 각 단계의 근거 문서를 그 짝에서 가져온다(CTFL 2.1.2 「개발 활동마다 대응하는 테스트 활동」). 결함이 생긴 곳과 드러난 곳의 거리가 멀수록 고칠 범위가 커진다 — NIST 02-3 예시는 요구 단계 결함을 코딩 · 단위에서 찾으면 5배, 통합 · 시스템에서 10배, 출시 뒤면 30배로 본다(표 5-1).
그림 5 · 왼쪽 개발 문서는 오른쪽 같은 높이 단계의 근거가 되고, 요구 단계 결함은 늦게 찾을수록 수리 비용이 1배 → 30배로 커진다.
6비교 — 테스트 · 품질 · 프로그래밍 · 개발 방법론의 경계
| 기준 | 테스트 | 품질 | 프로그래밍 | 개발 방법론 |
|---|---|---|---|---|
| 맡는 일 | 제품을 실행 · 검토해 실패 보고 | 품질 기준 수립 · 공정 보증 · 평가 | 코드 작성 · 디버깅 · 리팩토링 | 단계 · 순서 · 역할의 절차 결정 |
| 성격 | 제품 중심 · 시정형 품질 통제(CTFL 1.2.2) | 프로세스 중심 · 예방형 보증(CTFL 1.2.2) | 드러난 결함의 원인 제거(CTFL 1.1.2) | 테스트 시점 · 자동화 정도를 좌우(CTFL 2.1.1) |
| 다루는 단위 | 테스트 케이스 · 결함 보고서 · MTP | 품질 특성 · 평가 결과 · 감사 기록 | 소스 코드 · 변경분(diff) | 생명주기 단계 · 반복 주기 |
| 대표 하위 토픽 | 테스트오라클 · 회귀테스트 · 인수테스트 | 인스펙션 · CMMI · GS인증 | 디자인패턴 · 정적 분석 · Refactoring | 폭포수모델 · 스크럼 · DevOps |
| 묻는 질문 | 이 판이 기대대로 동작하나 | 판정 기준과 공정이 제대로 섰나 | 실패 원인을 코드 어디서 고치나 | 테스트를 언제 · 누가 하나 |
| 경계 | 실패 보고에서 끝나고 수정은 넘김 | 시험 설계 · 실행은 테스트에 맡김 | 수정 뒤 확인 테스트로 되돌려 보냄 | 단계별 테스트 내용은 테스트에 둠 |
분석이번 판에 결함이 있는지는 테스트를, 무엇을 합격으로 볼지와 같은 결함이 왜 되풀이되는지는 품질을, 테스트를 넣을 시점과 주기는 개발 방법론을 본다. 근거는 표의 「성격」 행 — 테스트는 제품 중심의 품질 통제이고 품질 보증은 프로세스 중심의 예방 활동이다(CTFL 1.2.2).
7실무 진단 — 운영 결함의 원인 가르기
분석운영에서 결함이 나면 그 결함을 잡았어야 할 케이스가 있었는지부터 보고, 있었으면 판정 · 레벨 쪽, 없었으면 기법 · 계획 쪽으로 내려간다. 케이스가 있었는데 놓쳤다면 기대 결과나 시험 대상이 틀린 것이고, 없었다면 고르는 근거나 계획이 빈 것이기 때문이다(CTFL 1.4.1 · 아래 표 1 ~ 2행 ↔ 3 ~ 5행).
| # | 증상 | 의심 원인 | 맡는 쪽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 케이스는 있었는데 테스터마다 통과 · 실패 판정이 다름 | 기대 결과 미기재 | 관리 체계 — 오라클 | 케이스의 기대 결과 항목 · 요구 추적표 | 실제 결과와 비교할 기대 결과가 케이스에 있어야 판정이 된다(CTFL 1.4.1 실행) |
| 2 | 단위는 모두 통과했는데 연결하자 실패 | 스텁 응답 ≠ 실제 응답 | 레벨 — 통합 | 스텁이 돌려준 값 ↔ 실제 서비스 응답 기록 | 통합 테스트는 컴포넌트 사이 인터페이스 · 상호작용을 본다(CTFL 2.2.1) |
| 3 | 고친 결함이 다음 배포에서 다시 나옴 | 재현 케이스를 회귀 케이스 목록에 넣지 않음 | 기법 — 회귀 | 결함 보고서 ↔ 회귀 케이스 목록 · CI 기록 | 수정은 확인 테스트 뒤 회귀 테스트로 지켜야 한다(CTFL 2.2.3) |
| 4 | 같은 케이스는 늘 통과인데 운영 결함이 늘어남 | 케이스 노후 | 관리 체계 — 원리 | 케이스 변경 이력 · 단계별 결함 발견 추이 | 같은 테스트를 되풀이하면 새 결함 검출력이 떨어진다(CTFL 1.3 원리 5) |
| 5 | 출시 직전 결함이 몰리고 출시 판단이 갈림 | 완료 기준 없이 일정으로 종료 | 관리 체계 — MTP | MTP 완료 기준 · 미해결 결함 수 · 완료 보고서 | 단계마다 진입 · 완료 기준을 정해야 한다(CTFL 5.1.3) |
먼저 결함 보고서의 재현 단계로 같은 입력의 케이스를 찾는다 — 케이스가 있으면 1 · 2행(판정 · 대상)을 보고, 없으면 4 · 5행(케이스 노후 · 계획)을 본다. 3행은 같은 결함 번호가 두 번 열렸을 때만 의심한다.
8시험 대비
www.q-net.or.kr시험에서는 테스트의 정의 · 목적 · 원리 7가지를 묻는 정의 · 특징형과, 테스트 프로세스나 단계(단위 → 통합 → 시스템 → 인수)의 흐름을 묻는 동작 · 절차 설명형이 나올 수 있다. 기법 · 단계의 개별 토픽이 나오면 그 토픽 답안을 쓰되, 첫 문단에 «관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략 중 어디이고 프로세스의 어느 활동인가»를 이 분류로 놓으면 답안의 자리가 잡힌다.
- 개요 — 정의(결함 발견 · 품질 평가 · 정적 / 동적) · 테스트 ≠ 디버깅 · ISO/IEC/IEEE 29119 다섯 부
- 원리 — 원리 7(결함 존재 증명 · 완벽한 테스트 불가 · 조기 테스트 · 결함 집중 · 살충제 · 정황 의존 · 결함 부재의 오류)
- 구성 — 그림 3 분류(프로세스 여섯 활동 + 관리 체계 · 기법 · 레벨 · 유형 · 자동화 전략) + 갈래 표
- 절차 — 그림 4 사례(계획 → 설계 → 단위 · 스텁 → 통합 실패 → 결함 보고 → 확인 · 회귀 → 시스템 → 인수)
- 단계와 비용 — 그림 5 V 모델(근거 문서 짝) + 수리 비용 1 · 5 · 10 · 15 · 30배(NIST 02-3)
- 관리 · 자동화 — MTP · 진입 / 완료 기준 · 테스트 독립성 수준 · CI 회귀 자동화
꼭 쓸 키워드
테스트 원리테스트 프로세스테스트 오라클결함 관리V 모델확인 테스트회귀 테스트진입완료 기준테스트 독립성ISO/IEC/IEEE 29119
다른 답안과 차이를 내려면 원리 7가지를 나열하지 말고 그림 5 처럼 V 모델 짝 위에 «늦게 찾을수록 커지는 배수»를 겹쳐 조기 테스트(원리 3)의 근거로 보인다.
9오해와 사실
- 오해테스트는 프로그램을 실행해 보는 일이다.사실요구사항 · 설계 문서 검토와 정적 분석도 테스트(정적 테스트)이고, 실행 없이 결함을 바로 찾으므로 재현 · 진단 단계가 필요 없다(CTFL 1.1 · 1.1.2).
- 오해결함을 고치는 것까지가 테스트다.사실테스트는 실패를 드러내 보고하는 데까지이고, 원인을 찾아 고치는 일은 디버깅이라는 별개 활동이며 그 뒤 확인 테스트가 다시 테스트로 돌아온다(CTFL 1.1.2).
- 오해명세대로 모두 통과하면 시스템은 성공한다.사실명세가 사용자 요구와 어긋나 있으면 결함 0건이어도 쓸모가 없으므로, 검증(verification)과 함께 확인(validation)을 해야 한다(CTFL 1.3 원리 7).
10핵심 정리
| 구분 | 주로 하는 사람 | 대상 | 근거 문서 | 끝났다는 증거 | 근거 |
|---|---|---|---|---|---|
| 단위 테스트 | 개발자 | 모듈 하나(스텁 · 드라이버) | 모듈 명세 | 단위 케이스 통과 · 커버리지 | CTFL 2.2.1 |
| 통합 테스트 | 개발자 · 테스터 | 모듈 사이 인터페이스 | 인터페이스 설계 | 연결 케이스 통과 | CTFL 2.2.1 |
| 시스템 테스트 | 독립 테스트 팀 | 시스템 전체 · 비기능 | 시스템 명세 | 기능 · 비기능 결과 | CTFL 2.2.1 |
| 인수 테스트 | 사용자 · 발주자 | 업무 흐름 | 요구 · 계약 · 규제 | 인수 승인 | CTFL 2.2.1 |
| 결함 관리 | 테스터 → 개발자 | 결함 보고서 | 기대 · 실제 결과 | 상태 「닫힘」 | CTFL 5.5 |
| 확인 · 회귀 | 테스터 · CI | 고친 곳 · 영향 범위 | 결함 보고서 · 변경 내역 | 재실행 통과 | CTFL 2.2.3 |
| MTP · 완료 | 테스트 관리자 | 단계 전체 | 진입 · 완료 기준 | 테스트 완료 보고서 | CTFL 5.1.3 |
11참고 문헌
- 먼저 볼 문헌
- ★ ISTQB Certified Tester Foundation Level Syllabus v4.0.1 — 테스트 원리 7 · 테스트 프로세스 · 단계 · 결함 관리를 무료 원문으로 볼 때
- ★ ISO/IEC/IEEE 29119-1:2022 Software and systems engineering - Software testing - Part 1: General concepts — 29119 시리즈 다섯 부의 범위와 현행 연도를 볼 때
- ★ NIST Planning Report 02-3 The Economic Impacts of Inadequate Infrastructure for Software Testing — 결함을 늦게 찾을수록 커지는 수리 비용의 근거를 볼 때
- 본문 근거
- Software Engineering Techniques - Report on a conference sponsored by the NATO Science Committee, Rome 1969 (http 전용 http://homepages.cs.ncl.ac.uk/brian.randell/NATO/nato1969.PDF) — NATO Science Committee · 1970-04 · 확인 2026-11-09
- IEEE 829-1998 IEEE Standard for Software Test Documentation (superseded) — IEEE SA · 1998-12 ·
standards.ieee.org/ieee/112/1218/· 확인 2026-11-09 - pytest documentation - How to re-run failed tests and maintain state between test runs — pytest-dev · 2026-11 ·
docs.pytest.org/en/stable/how-to/cache.html· 확인 2026-11-09