IT › 컴퓨터 시스템 › 시스템 아키텍처 › 시스템 성능 · 용량 관리

BMT(벤치마크 테스트)Benchmark Test

도입 후보 시스템(하드웨어 · 소프트웨어)에 같은 작업 부하를 같은 조건으로 걸어 처리량 · 응답 시간을 실측하고 견주는 시험이다. 결과는 «어떤 작업 부하 · 어떤 응답 조건에서의 값»으로만 뜻을 가진다.

1요약

  1. BMT 는 시스템 성능 · 용량 관리에서 후보를 실측으로 가르는 시험으로, 표준 벤치마크(SPEC CPU · TPC-C)나 운영 로그로 만든 업무 혼합을 후보마다 똑같이 걸고 그 결과가 용량 산정 · 도입 판정으로 넘어간다.
  2. 공급자 자료의 최고 값만 견주면 조건이 달라 순위가 뒤집힌다 — 사례에서 후보 A 는 최고 719 TPS 로 B(694)보다 높지만 p90 3.4초로 응답 조건 2초를 넘겨, 조건 안 값으로는 B 694 · A 643 이다(설명용 가정 값).
  3. 「B 가 더 빠르다」는 결과를 믿을지는 부하 발생기 · 데이터 크기 · 응답 조건 세 가지로 가른다 — 발생기가 포화됐거나, 데이터가 캐시에 다 올라갔거나, 응답 조건 없이 최고 값을 썼으면 그 비교는 후보의 차이가 아니다.

2등장 배경

1970 ~ 80년대 구매자는 MIPS 같은 공급자 숫자로 기계를 골랐는데, 명령어 구성이 기계마다 달라 같은 숫자가 같은 일을 뜻하지 않았다. 그래서 같은 프로그램을 돌려 재는 합성 벤치마크가 나왔다 — 부동소수점 연산 중심의 Whetstone(Curnow · Wichmann 1976), 정수 · 문자열 중심의 Dhrystone(Weicker 1984)이다.

거래 처리 쪽에서는 1985년 Jim Gray 등 25명이 익명으로 낸 「A Measure of Transaction Processing Power」가 DebitCredit 시험을 제안했지만, 회사마다 규칙을 바꿔 돌린 결과가 광고에 쓰이는 benchmarketing 이 번졌다. 1988년 8월 TPC 가 세워져 1989년 11월 TPC-A, 1992년 7월 TPC-C 를 냈고, 같은 1988년 워크스테이션 회사들이 SPEC 을 세웠다(TPC History · SPEC About).

지금도 TPC-C 는 Revision 5.11(2010-02)이 현행이고 SPEC 은 2026년 5월 SPEC CPU 2026 을 냈다(SPEC CPU 2026). 다만 TPC-C 스스로 «용량 계획 · 제품 평가의 결정에는 고객 업무 BMT 를 대신하지 않는다»고 적어(TPC-C 5.11 0.1절), 실제 도입 판정은 업무 맞춤형 BMT 가 맡는다.

3쉽게 이해하기 — 구내식당 업체 고르기

시청이 구내식당 운영 업체를 새로 고르려고 후보 두 곳을 같은 시험 주방에 부른다. 지난달 점심 주문 기록으로 만든 주문서를 두 업체에 똑같이 주고, 손님을 300명에서 1,200명까지 늘려 보낸다. 심사위원은 «손님 열 명 중 아홉 명이 2분 안에 받았는가»를 지킨 상태에서 1분에 몇 그릇을 냈는지만 센다. 한 업체는 1,200명일 때 그릇은 더 많이 냈지만 열 명 중 한 명이 3분 넘게 기다려 그 기록은 빠진다.

주문서 작업 부하 지난달 점심 주문 기록 그대로 국 60 · 덮밥 30 · 정식 10 손님 줄 부하 발생기 300 → 600 → 900 → 1,200명 같은 손님을 두 주방에 업체 A 주방 후보 A 같은 화구 · 같은 재료 업체 B 주방 후보 B 같은 화구 · 같은 재료 심사위원 응답 조건 p90 열 명 중 아홉이 2분 안에 받았나 그릇 수 비교 조건 안 처리량 조건 밖 기록은 뺌 1 2 3 4 1 주문서로 손님을 만들고 · 2 두 주방에 똑같이 보내고 · 3 시간을 재고 · 4 조건 안 기록만 견준다

그림 1 · 같은 주문서로 만든 손님을 두 주방에 똑같이 보내고, 심사위원은 «열 명 중 아홉이 2분 안»을 지킨 기록만 견준다 — 주문서는 작업 부하, 손님 줄은 부하 발생기, 주방은 후보 시스템이다.

주문서 만들기지난달 주문 기록대로
손님 보내기300명에서 1,200명까지
두 주방 요리화구 · 재료는 똑같이
시간 재기열 명 중 아홉이 2분 안
기록 빼기조건을 넘긴 기록
견주기남은 기록 중 최고 그릇 수
비유 — 시험 주방 실제 — BMT 환경 주문서 같음 재료 · 손질 정도 같음 화구 · 냄비 · 손님 줄 같음 요리사(업체) 다름 거래 혼합 60 · 30 · 10 같음 데이터 크기 2 TB 같음 스토리지 · 네트워크 · 발생기 같음 후보 시스템(SUT) 다름 한 주방만 재료를 미리 손질 한 후보만 캐시 데우기 · 단독 튜닝 결과 무효 같게 고정한 조건 굵은 테두리 = 견주는 대상 공정성이 깨진 조건

그림 2 · 두 주방에서 다른 것은 요리사뿐이어야 그릇 수 차이가 요리사의 차이다 — 실제 BMT 도 후보 시스템 하나만 다르게 두고, 한쪽만 재료를 미리 손질(캐시 데우기 · 단독 튜닝)하면 결과가 무효다.

비유 속 역할실제 이름실제로 하는 일
주문서작업 부하(시나리오 · 거래 혼합)운영 로그 · 표준 사양으로 무엇을 몇 비율로 보낼지 정한다
손님 줄부하 발생기 · 가상 사용자정해진 생각 시간마다 요청을 보낸다
업체 주방후보 시스템(SUT)같은 환경에서 요청을 처리한다
재료 · 손질데이터 크기 · 캐시 상태운영 규모 데이터 · 같은 워밍업으로 맞춘다
심사위원 시계응답 시간 조건(p90)요청의 90% 가 상한 안에 끝났는지 잰다
빠지는 기록조건 위반 측정 값처리량이 높아도 보고 값에서 뺀다
그릇 수 비교조건 안 최대 처리량후보끼리 견주고 도입 판정에 넘긴다

⚠ 비유가 맞지 않는 곳: 식당 시험은 하루로 끝나지만, 실제 BMT 는 같은 부하 단계를 여러 번 되풀이해 흔들림을 보고(SPEC CPU 2017 Overview = 3회 중앙값), 시험 구성 전체를 공개해 다른 사람이 같은 값을 다시 낼 수 있어야 한다(TPC-C 5.11 8절 Full Disclosure Report).

4구조 — 기준 · 작업 부하 · 측정 · 규칙

BMT 는 «같게 고정하는 것»과 «견주는 것»을 나누는 틀이다. 후보 시스템만 바꾸고 나머지 다섯 요소는 모든 후보에 같은 값으로 둔다.

평가 기준 600 TPS p90 ≤ 2초 작업 부하 혼합 60 · 30 · 10 데이터 2 TB 부하 발생기 3대 · CLI 모드 생각 시간 1초 후보 시스템 A 또는 B SUT 요청 측정 TPS · p90 · 사용률 결과 보고 구성 · 조건 · 원시 값 공개 → 용량 산정 단계별 중앙값 실행 규칙 — 워밍업 15분 · 측정 30분 · 단계마다 3회 · 중앙값 · 모든 후보에 같게 상위 요구 작업 부하 굵은 테두리 = 견주는 대상 측정 · 검증 규칙

그림 3 · 평가 기준이 작업 부하를 정하고, 부하 발생기가 후보 시스템에 요청을 보내 측정 값이 결과 보고로 넘어가며, 실행 규칙은 이 흐름 전체를 모든 후보에 같게 묶는다.

요소정하는 것사례 값 · 근거
평가 기준보고 지표 · 응답 조건 · 오류 허용TPC-C = 거래마다 90% 가 5초 안(Stock-Level 20초)(TPC-C 5.11 5.2.5.3)
작업 부하거래 혼합 · 데이터 크기 · 생각 시간TPC-C 최소 비율 Payment 43% 등(5.2.5.7) · 사례 2 TB
후보 시스템견주는 대상 하나나머지 요소는 후보마다 같은 값
부하 발생기가상 사용자 수 · 요청 간격CLI 모드 · 리스너 최소 · 여러 대 분산(JMeter Best Practices 16.2 · 16.7)
측정처리량 · 백분위 응답 · 자원 사용률평균만이 아니라 p90 을 함께 보고(5.2.5.6)
실행 규칙워밍업 · 측정 구간 · 반복 횟수정상 상태 · 측정 120분 이상(TPC-C 5.5.1) · 3회 중앙값(SPEC CPU 2017 Overview)

🔑 BMT 의 숫자는 그 자체로 뜻이 없다. «어떤 작업 부하에서 · 어떤 응답 조건을 지키며»가 함께 적혀야 후보끼리 견줄 수 있는 값이 된다.

5동작 — DB 서버 후보 둘의 업무 BMT

아래 값은 모두 설명용 가정 값이다. 공공기관이 거래 처리 DB 서버 후보 A · B 를 고른다.

  1. 기준 정하기 — 피크 600 TPS · p90 응답 2초 이하 · 오류율 0.1% 미만. 보고 지표는 «응답 조건을 지킨 최대 TPS» 다.
  2. 작업 부하 — 운영 로그에서 거래 혼합 조회 60 · 등록 30 · 정산 10(%)을 뽑고, 데이터는 운영 규모 2 TB · 생각 시간 평균 1초로 둔다.
  3. 환경 고정 — 같은 스토리지 · 네트워크 · JMeter CLI 부하 발생기 3대 · 공급자별 튜닝 1일을 같은 규칙으로 준다.
  4. 단계 부하 — 가상 사용자 300 → 600 → 900 → 1,200, 단계마다 워밍업 15분 뒤 30분을 잰다.
  5. 측정 — A 는 900명에서 643 TPS · p90 1.5초, 1,200명에서 719 TPS · p90 3.4초다. B 는 1,200명에서 694 TPS · p90 1.9초다.
  6. 반복 — 단계마다 3회 돌려 중앙값을 쓴다(A 900명 = 643 · 639 · 650 → 643). 응답 시간 법칙 R = N ÷ X − Z 로 A 1,200명의 평균 응답은 0.67초인데 p90 은 3.4초여서 꼬리 지연이 있다(Denning · Buzen 1978).
  7. 판정 — 조건을 넘긴 A 1,200명 기록을 빼면 A 643 · B 694 다. 둘 다 600 을 넘지만 여유는 B 16% · A 7% 라 B 를 용량 산정에 넘긴다.
준비 기준 600 TPS · p90 ≤ 2초 작업 부하 60 · 30 · 10 · 2 TB 환경 고정 같은 스토리지 · 발생기 3대 1 2 3 실행 — 후보 A · 가상 사용자 900명 단계 워밍업워밍업워밍업 1회 643 TPS2회 639 TPS3회 650 TPS 015456090105135분 4 · 5 중앙값 643 TPS · p90 1.5초 6 7 판정 — 조건 안 최대값 A 643(900명) · B 694(1,200명) → 여유 B 16% · A 7% → B 워밍업(값 버림) 측정 구간

그림 4 · 준비 ① ~ ③ 을 마친 뒤 한 부하 단계를 «워밍업 15분 + 측정 30분»으로 세 번 돌려 중앙값 643 을 얻고 ⑥, 단계별 중앙값으로 판정한다 ⑦.

p90 응답 시간(초) 01234 응답 조건 2초 A 3.4초 · 위반 B 1.9초 A 1.5초 처리량(TPS) 231221 451441 643608 719694 3006009001,200 가상 사용자(명) — 사례 4 · 5단계 후보 A(실선 · 원) 후보 B(점선 · 네모) 조건 위반 · 보고에서 뺌 굵은 테두리 = 보고 값

그림 5 · 가장 높은 처리량은 A 의 1,200명 719 TPS 지만 p90 3.4초로 응답 조건을 넘어 빠지고, 조건 안 최대값으로 견주면 B 694 · A 643 으로 순서가 뒤집힌다.

🔑 BMT 가 견주는 것은 최고 처리량이 아니라 «응답 조건 안의 마지막 처리량»이다. 처리량 곡선이 아직 오르는 지점에서도 응답 시간 꼬리가 먼저 조건을 넘는다.

6비교 — BMT 방식

방식묻는 질문작업 부하결과 값약점(근거)
표준 벤치마크 · 연산프로세서 · 메모리 · 컴파일러가 얼마나 빠른가정해진 프로그램 묶음기준 기계 대비 비율의 기하 평균I/O · 네트워크는 재지 않음(SPEC CPU 2017 Overview Q6)
표준 벤치마크 · 거래거래 처리 시스템 전체 처리량정해진 거래 5종 혼합tpmC · 가격 대비 성능고객 업무 BMT 를 대신하지 않음(TPC-C 5.11 0.1절)
업무 맞춤형 BMT우리 업무에서 어느 후보가 나은가운영 로그로 만든 혼합응답 조건 안 최대 TPS준비 비용 · 공정성 관리가 큼(사례 3단계)
마이크로벤치마크연산 하나 · 함수 하나의 속도짧은 합성 반복초당 반복 수컴파일러 최적화 · 캐시 크기에 크게 흔들림(Weicker 1984)
부하 · 스트레스 테스트우리 시스템이 목표 부하를 견디나운영 혼합합격 · 한계점후보끼리 견주지 않음 → 소프트웨어 테스트

분석도입 후보를 정할 때는 표준 벤치마크로 후보 목록을 좁히고 업무 맞춤형 BMT 로 최종 판정한다. 표준 결과는 공개 · 감사돼 싸게 견줄 수 있지만 작업 부하가 고정돼 우리 거래 혼합 · 데이터 크기를 대신하지 못하기 때문이다(TPC-C 5.11 0.1절).

7실무 진단 — BMT 결과의 신뢰성 판정

분석부하 발생기 → 데이터 크기 → 정상 상태 → 후보 시스템 순으로 본다. 앞의 셋은 후보와 무관하게 결과를 흔드는 시험 쪽 결함이라, 이것을 먼저 지워야 남은 차이를 후보의 차이로 읽을 수 있다(JMeter Best Practices 16.7 · TPC-C 5.11 5.5.1).

#증상의심 원인구분확인 명령 · 자료판정 기준(근거)
1사용자를 늘려도 TPS 가 그대로인데 서버 CPU 는 한가함부하 발생기 포화부하 발생기발생기에서 mpstat -P ALL 5 · R = N ÷ X − Z발생기 %idle 이 바닥이면 대수를 늘림 · GUI 대신 CLI 모드(JMeter 16.7 · mpstat(1))
2결과가 운영 체감보다 훨씬 좋음데이터가 작아 캐시에 다 올라감작업 부하iostat -x 5 의 r_await · %util읽기 I/O 가 거의 0 이면 데이터를 운영 규모로 늘림(iostat(1))
3같은 단계 3회 값이 5% 넘게 다름정상 상태 전 측정 · 배치 작업 겹침실행 규칙측정 구간 분당 TPS 추이 · sar -u 60측정 구간 TPS 가 평평해야 함(TPC-C 5.11 5.5.1.1)
4후보 둘이 같은 값에서 멈춤네트워크 구간 포화환경sar -n DEV 5 의 %ifutil · rxkB/s%ifutil 이 상한 가까우면 망 병목(sar(1))
5평균 응답은 낮은데 p90 이 조건을 넘음꼬리 지연(체크포인트 · GC)후보 시스템시간대별 p90 · 백분위 분포90% 비율 기준으로 판정(TPC-C 5.11 5.2.5.3)

공급자가 튜닝을 마친 뒤에는 구성 값(커널 매개변수 · DB 설정)을 결과와 함께 받아 두어야 같은 값을 다시 낼 수 있다(TPC-C 5.11 8절).

8시험 대비

출제 정보 정보관리(110회) · 컴퓨터시스템응용(140회, 138회, 129회, 104회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 BMT 의 개념 · 필요성 · 지표를 묻는 정의 · 특징형, 또는 BMT 를 어떤 순서로 수행하고 무엇을 공정하게 맞추는지 묻는 동작 · 절차 설명형으로 나올 수 있다. 정의형이면 그림 3 구조와 «표준 ↔ 업무 맞춤형» 구분을 먼저 보이고, 절차형이면 사례 7단계를 숫자와 함께 쓰고 그림 5 로 판정 규칙을 보인다.

답안 목차
  1. 개요 — 같은 작업 부하 · 같은 조건으로 후보를 실측해 견주는 시험 · 결과는 «조건과 함께»만 뜻을 가짐
  2. 구성 요소 — 평가 기준 · 작업 부하 · 부하 발생기 · 후보 시스템 · 측정 · 실행 규칙 구조 그림(그림 3)
  3. 수행 절차 — 기준 → 부하 정의 → 환경 고정 → 단계 부하 → 측정 → 반복 → 판정 시간축 그림(그림 4)
  4. 판정 원리 — 응답 조건 안 최대 처리량 그래프(그림 5) · A 719 가 빠지고 B 694 · A 643
  5. 종류와 공정성 — 표준 벤치마크(SPEC CPU · TPC-C) · 업무 맞춤형 · 마이크로벤치마크 비교 표 · 데이터 크기 · 캐시 · 튜닝 규칙
  6. 결론 — 결과를 용량 산정에 넘길 때 구성 · 조건 공개로 재현성 확보

꼭 쓸 키워드
작업 부하SUT부하 발생기응답 조건(p90)처리량(TPStpmC)정상 상태워밍업기하 평균SPEC CPUTPC-C

다른 답안과 차이를 내는 한 가지는 «최고 처리량이 이긴다»는 통념을 그림 5 의 숫자(A 719 → 제외 · B 694 > A 643)로 뒤집어 보이고, 응답 시간 법칙 R = N ÷ X − Z 로 평균과 p90 의 차이까지 짚는 것이다.

9오해와 사실

  • 오해처리량이 가장 높게 나온 후보가 BMT 에서 이긴다.
    사실응답 시간 조건을 지킨 값만 보고 값이 된다 — TPC-C 는 거래마다 90% 가 5초 안이어야 하고(5.2.5.3), 사례의 A 719 TPS 는 p90 3.4초라 빠진다.
  • 오해표준 벤치마크 점수가 높으면 우리 업무에서도 그만큼 빠르다.
    사실SPEC CPU 는 프로세서 · 메모리 · 컴파일러만 겨냥하고 I/O 시스템은 재지 않으며(SPEC CPU 2017 Overview Q6), TPC-C 도 고객 업무 BMT 를 대신하지 않는다고 적는다(0.1절).
  • 오해여러 벤치마크의 비율은 산술 평균으로 합친다.
    사실기준 기계로 나눈 비율은 기하 평균이어야 기준 기계를 바꿔도 순위가 같다(Fleming · Wallace 1986) · SPEC CPU 도 기하 평균을 종합 지표로 쓴다.

10핵심 정리

구분맡는 일대표 값 · 지표근거흔한 실수
평가 기준보고 지표 · 응답 조건600 TPS · p90 ≤ 2초(사례)TPC-C 5.2.5.3응답 조건 없이 최고 값 보고
작업 부하거래 혼합 · 데이터 크기60 · 30 · 10 · 2 TB(사례)TPC-C 5.2.5.7데이터가 작아 캐시 적중
후보 시스템유일하게 다른 요소A · B—한쪽만 튜닝 · 캐시 데우기
측정처리량 · 백분위 응답TPS · tpmC · p90TPC-C 5.2.5.6평균만 보고
실행 규칙워밍업 · 측정 구간 · 반복15분 · 30분 · 3회 중앙값TPC-C 5.5.1 · SPEC CPU정상 상태 전 측정
부하 발생기가상 사용자 · 요청 간격3대 · CLI · R = N ÷ X − ZJMeter 16.7 · Denning · Buzen 1978발생기 포화를 후보 한계로 읽음
결과 합치기여러 벤치마크 비율 종합기하 평균Fleming · Wallace 1986산술 평균

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ TPC Benchmark C Standard Specification Revision 5.11 — 응답 시간 조건(5.2.5.3) · 정상 상태 측정(5.5.1) · 맞춤 BMT 를 대신하지 않는다는 문장(0.1)을 볼 때
    Transaction Processing Performance Council · 2010-02 · www.tpc.org/TPC_Documents_Current_Versions/pdf/tpc-c_v5.11.0.pdf · 확인 2026-11-14
  3. ★ SPEC CPU 2017 Overview / What's New — 기준 기계 대비 비율 · 기하 평균 · 3회 중앙값 · 재는 대상(Q6)을 볼 때
    Standard Performance Evaluation Corporation · 2024-09 · www.spec.org/cpu2017/Docs/overview.html · 확인 2026-11-14
  4. ★ History of the TPC — DebitCredit(1985) · benchmarketing · TPC 설립(1988-08)의 배경을 볼 때
    Transaction Processing Performance Council · 2026-11 · www.tpc.org/information/about/history5.asp · 확인 2026-11-14
  5. ★ How not to lie with statistics: the correct way to summarize benchmark results (Communications of the ACM 29(3) 218-221) — 정규화한 비율을 산술 평균이 아니라 기하 평균으로 합치는 이유를 볼 때
    P. J. Fleming · J. J. Wallace · ACM · 1986-03 · doi.org/10.1145/5666.5673 · 확인 2026-11-14
  6. ★ Apache JMeter User Manual · Best Practices — 부하 발생기가 병목이 되지 않게 하는 CLI 모드 · 리스너 · 분산 실행(16.2 · 16.7)을 볼 때
    Apache Software Foundation · 2026-11 · jmeter.apache.org/usermanual/best-practices.html · 확인 2026-11-14
  7. 본문 근거
  8. TPC-C (On-Line Transaction Processing Benchmark) — Transaction Processing Performance Council · 2026-11 · www.tpc.org/tpcc/ · 확인 2026-11-14
  9. SPEC CPU 2026 — Standard Performance Evaluation Corporation · 2026-05 · www.spec.org/cpu2026/ · 확인 2026-11-14
  10. SPEC — About — Standard Performance Evaluation Corporation · 2026-11 · www.spec.org/spec/ · 확인 2026-11-14
  11. A synthetic benchmark (The Computer Journal 19(1) 43-49) — H. J. Curnow · B. A. Wichmann · Oxford University Press · 1976-01 · doi.org/10.1093/comjnl/19.1.43 · 확인 2026-11-14
  12. Dhrystone: a synthetic systems programming benchmark (Communications of the ACM 27(10) 1013-1030) — R. P. Weicker · ACM · 1984-10 · doi.org/10.1145/358274.358283 · 확인 2026-11-14
  13. The Operational Analysis of Queueing Network Models (ACM Computing Surveys 10(3) 225-261) — P. J. Denning · J. P. Buzen · ACM · 1978-09 · doi.org/10.1145/356733.356735 · 확인 2026-11-14
  14. sar(1) Linux manual page — sysstat · man7.org · 2026-11 · man7.org/linux/man-pages/man1/sar.1.html · 확인 2026-11-14
  15. iostat(1) Linux manual page — sysstat · man7.org · 2026-11 · man7.org/linux/man-pages/man1/iostat.1.html · 확인 2026-11-14
  16. mpstat(1) Linux manual page — sysstat · man7.org · 2026-11 · man7.org/linux/man-pages/man1/mpstat.1.html · 확인 2026-11-14