BMT(벤치마크 테스트)Benchmark Test
도입 후보 시스템(하드웨어 · 소프트웨어)에 같은 작업 부하를 같은 조건으로 걸어 처리량 · 응답 시간을 실측하고 견주는 시험이다. 결과는 «어떤 작업 부하 · 어떤 응답 조건에서의 값»으로만 뜻을 가진다.
1요약
- BMT 는 시스템 성능 · 용량 관리에서 후보를 실측으로 가르는 시험으로, 표준 벤치마크(SPEC CPU · TPC-C)나 운영 로그로 만든 업무 혼합을 후보마다 똑같이 걸고 그 결과가 용량 산정 · 도입 판정으로 넘어간다.
- 공급자 자료의 최고 값만 견주면 조건이 달라 순위가 뒤집힌다 — 사례에서 후보 A 는 최고 719 TPS 로 B(694)보다 높지만 p90 3.4초로 응답 조건 2초를 넘겨, 조건 안 값으로는 B 694 · A 643 이다(설명용 가정 값).
- 「B 가 더 빠르다」는 결과를 믿을지는 부하 발생기 · 데이터 크기 · 응답 조건 세 가지로 가른다 — 발생기가 포화됐거나, 데이터가 캐시에 다 올라갔거나, 응답 조건 없이 최고 값을 썼으면 그 비교는 후보의 차이가 아니다.
2등장 배경
1970 ~ 80년대 구매자는 MIPS 같은 공급자 숫자로 기계를 골랐는데, 명령어 구성이 기계마다 달라 같은 숫자가 같은 일을 뜻하지 않았다. 그래서 같은 프로그램을 돌려 재는 합성 벤치마크가 나왔다 — 부동소수점 연산 중심의 Whetstone(Curnow · Wichmann 1976), 정수 · 문자열 중심의 Dhrystone(Weicker 1984)이다.
거래 처리 쪽에서는 1985년 Jim Gray 등 25명이 익명으로 낸 「A Measure of Transaction Processing Power」가 DebitCredit 시험을 제안했지만, 회사마다 규칙을 바꿔 돌린 결과가 광고에 쓰이는 benchmarketing 이 번졌다. 1988년 8월 TPC 가 세워져 1989년 11월 TPC-A, 1992년 7월 TPC-C 를 냈고, 같은 1988년 워크스테이션 회사들이 SPEC 을 세웠다(TPC History · SPEC About).
지금도 TPC-C 는 Revision 5.11(2010-02)이 현행이고 SPEC 은 2026년 5월 SPEC CPU 2026 을 냈다(SPEC CPU 2026). 다만 TPC-C 스스로 «용량 계획 · 제품 평가의 결정에는 고객 업무 BMT 를 대신하지 않는다»고 적어(TPC-C 5.11 0.1절), 실제 도입 판정은 업무 맞춤형 BMT 가 맡는다.
3쉽게 이해하기 — 구내식당 업체 고르기
시청이 구내식당 운영 업체를 새로 고르려고 후보 두 곳을 같은 시험 주방에 부른다. 지난달 점심 주문 기록으로 만든 주문서를 두 업체에 똑같이 주고, 손님을 300명에서 1,200명까지 늘려 보낸다. 심사위원은 «손님 열 명 중 아홉 명이 2분 안에 받았는가»를 지킨 상태에서 1분에 몇 그릇을 냈는지만 센다. 한 업체는 1,200명일 때 그릇은 더 많이 냈지만 열 명 중 한 명이 3분 넘게 기다려 그 기록은 빠진다.
그림 1 · 같은 주문서로 만든 손님을 두 주방에 똑같이 보내고, 심사위원은 «열 명 중 아홉이 2분 안»을 지킨 기록만 견준다 — 주문서는 작업 부하, 손님 줄은 부하 발생기, 주방은 후보 시스템이다.
그림 2 · 두 주방에서 다른 것은 요리사뿐이어야 그릇 수 차이가 요리사의 차이다 — 실제 BMT 도 후보 시스템 하나만 다르게 두고, 한쪽만 재료를 미리 손질(캐시 데우기 · 단독 튜닝)하면 결과가 무효다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 주문서 | 작업 부하(시나리오 · 거래 혼합) | 운영 로그 · 표준 사양으로 무엇을 몇 비율로 보낼지 정한다 |
| 손님 줄 | 부하 발생기 · 가상 사용자 | 정해진 생각 시간마다 요청을 보낸다 |
| 업체 주방 | 후보 시스템(SUT) | 같은 환경에서 요청을 처리한다 |
| 재료 · 손질 | 데이터 크기 · 캐시 상태 | 운영 규모 데이터 · 같은 워밍업으로 맞춘다 |
| 심사위원 시계 | 응답 시간 조건(p90) | 요청의 90% 가 상한 안에 끝났는지 잰다 |
| 빠지는 기록 | 조건 위반 측정 값 | 처리량이 높아도 보고 값에서 뺀다 |
| 그릇 수 비교 | 조건 안 최대 처리량 | 후보끼리 견주고 도입 판정에 넘긴다 |
⚠ 비유가 맞지 않는 곳: 식당 시험은 하루로 끝나지만, 실제 BMT 는 같은 부하 단계를 여러 번 되풀이해 흔들림을 보고(SPEC CPU 2017 Overview = 3회 중앙값), 시험 구성 전체를 공개해 다른 사람이 같은 값을 다시 낼 수 있어야 한다(TPC-C 5.11 8절 Full Disclosure Report).
4구조 — 기준 · 작업 부하 · 측정 · 규칙
BMT 는 «같게 고정하는 것»과 «견주는 것»을 나누는 틀이다. 후보 시스템만 바꾸고 나머지 다섯 요소는 모든 후보에 같은 값으로 둔다.
그림 3 · 평가 기준이 작업 부하를 정하고, 부하 발생기가 후보 시스템에 요청을 보내 측정 값이 결과 보고로 넘어가며, 실행 규칙은 이 흐름 전체를 모든 후보에 같게 묶는다.
| 요소 | 정하는 것 | 사례 값 · 근거 |
|---|---|---|
| 평가 기준 | 보고 지표 · 응답 조건 · 오류 허용 | TPC-C = 거래마다 90% 가 5초 안(Stock-Level 20초)(TPC-C 5.11 5.2.5.3) |
| 작업 부하 | 거래 혼합 · 데이터 크기 · 생각 시간 | TPC-C 최소 비율 Payment 43% 등(5.2.5.7) · 사례 2 TB |
| 후보 시스템 | 견주는 대상 하나 | 나머지 요소는 후보마다 같은 값 |
| 부하 발생기 | 가상 사용자 수 · 요청 간격 | CLI 모드 · 리스너 최소 · 여러 대 분산(JMeter Best Practices 16.2 · 16.7) |
| 측정 | 처리량 · 백분위 응답 · 자원 사용률 | 평균만이 아니라 p90 을 함께 보고(5.2.5.6) |
| 실행 규칙 | 워밍업 · 측정 구간 · 반복 횟수 | 정상 상태 · 측정 120분 이상(TPC-C 5.5.1) · 3회 중앙값(SPEC CPU 2017 Overview) |
🔑 BMT 의 숫자는 그 자체로 뜻이 없다. «어떤 작업 부하에서 · 어떤 응답 조건을 지키며»가 함께 적혀야 후보끼리 견줄 수 있는 값이 된다.
5동작 — DB 서버 후보 둘의 업무 BMT
아래 값은 모두 설명용 가정 값이다. 공공기관이 거래 처리 DB 서버 후보 A · B 를 고른다.
- 기준 정하기 — 피크 600 TPS · p90 응답 2초 이하 · 오류율 0.1% 미만. 보고 지표는 «응답 조건을 지킨 최대 TPS» 다.
- 작업 부하 — 운영 로그에서 거래 혼합 조회 60 · 등록 30 · 정산 10(%)을 뽑고, 데이터는 운영 규모 2 TB · 생각 시간 평균 1초로 둔다.
- 환경 고정 — 같은 스토리지 · 네트워크 · JMeter CLI 부하 발생기 3대 · 공급자별 튜닝 1일을 같은 규칙으로 준다.
- 단계 부하 — 가상 사용자 300 → 600 → 900 → 1,200, 단계마다 워밍업 15분 뒤 30분을 잰다.
- 측정 — A 는 900명에서 643 TPS · p90 1.5초, 1,200명에서 719 TPS · p90 3.4초다. B 는 1,200명에서 694 TPS · p90 1.9초다.
- 반복 — 단계마다 3회 돌려 중앙값을 쓴다(A 900명 = 643 · 639 · 650 → 643). 응답 시간 법칙 R = N ÷ X − Z 로 A 1,200명의 평균 응답은 0.67초인데 p90 은 3.4초여서 꼬리 지연이 있다(Denning · Buzen 1978).
- 판정 — 조건을 넘긴 A 1,200명 기록을 빼면 A 643 · B 694 다. 둘 다 600 을 넘지만 여유는 B 16% · A 7% 라 B 를 용량 산정에 넘긴다.
그림 4 · 준비 ① ~ ③ 을 마친 뒤 한 부하 단계를 «워밍업 15분 + 측정 30분»으로 세 번 돌려 중앙값 643 을 얻고 ⑥, 단계별 중앙값으로 판정한다 ⑦.
그림 5 · 가장 높은 처리량은 A 의 1,200명 719 TPS 지만 p90 3.4초로 응답 조건을 넘어 빠지고, 조건 안 최대값으로 견주면 B 694 · A 643 으로 순서가 뒤집힌다.
🔑 BMT 가 견주는 것은 최고 처리량이 아니라 «응답 조건 안의 마지막 처리량»이다. 처리량 곡선이 아직 오르는 지점에서도 응답 시간 꼬리가 먼저 조건을 넘는다.
6비교 — BMT 방식
| 방식 | 묻는 질문 | 작업 부하 | 결과 값 | 약점(근거) |
|---|---|---|---|---|
| 표준 벤치마크 · 연산 | 프로세서 · 메모리 · 컴파일러가 얼마나 빠른가 | 정해진 프로그램 묶음 | 기준 기계 대비 비율의 기하 평균 | I/O · 네트워크는 재지 않음(SPEC CPU 2017 Overview Q6) |
| 표준 벤치마크 · 거래 | 거래 처리 시스템 전체 처리량 | 정해진 거래 5종 혼합 | tpmC · 가격 대비 성능 | 고객 업무 BMT 를 대신하지 않음(TPC-C 5.11 0.1절) |
| 업무 맞춤형 BMT | 우리 업무에서 어느 후보가 나은가 | 운영 로그로 만든 혼합 | 응답 조건 안 최대 TPS | 준비 비용 · 공정성 관리가 큼(사례 3단계) |
| 마이크로벤치마크 | 연산 하나 · 함수 하나의 속도 | 짧은 합성 반복 | 초당 반복 수 | 컴파일러 최적화 · 캐시 크기에 크게 흔들림(Weicker 1984) |
| 부하 · 스트레스 테스트 | 우리 시스템이 목표 부하를 견디나 | 운영 혼합 | 합격 · 한계점 | 후보끼리 견주지 않음 → 소프트웨어 테스트 |
분석도입 후보를 정할 때는 표준 벤치마크로 후보 목록을 좁히고 업무 맞춤형 BMT 로 최종 판정한다. 표준 결과는 공개 · 감사돼 싸게 견줄 수 있지만 작업 부하가 고정돼 우리 거래 혼합 · 데이터 크기를 대신하지 못하기 때문이다(TPC-C 5.11 0.1절).
7실무 진단 — BMT 결과의 신뢰성 판정
분석부하 발생기 → 데이터 크기 → 정상 상태 → 후보 시스템 순으로 본다. 앞의 셋은 후보와 무관하게 결과를 흔드는 시험 쪽 결함이라, 이것을 먼저 지워야 남은 차이를 후보의 차이로 읽을 수 있다(JMeter Best Practices 16.7 · TPC-C 5.11 5.5.1).
| # | 증상 | 의심 원인 | 구분 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 사용자를 늘려도 TPS 가 그대로인데 서버 CPU 는 한가함 | 부하 발생기 포화 | 부하 발생기 | 발생기에서 mpstat -P ALL 5 · R = N ÷ X − Z | 발생기 %idle 이 바닥이면 대수를 늘림 · GUI 대신 CLI 모드(JMeter 16.7 · mpstat(1)) |
| 2 | 결과가 운영 체감보다 훨씬 좋음 | 데이터가 작아 캐시에 다 올라감 | 작업 부하 | iostat -x 5 의 r_ | 읽기 I/O 가 거의 0 이면 데이터를 운영 규모로 늘림(iostat(1)) |
| 3 | 같은 단계 3회 값이 5% 넘게 다름 | 정상 상태 전 측정 · 배치 작업 겹침 | 실행 규칙 | 측정 구간 분당 TPS 추이 · sar -u 60 | 측정 구간 TPS 가 평평해야 함(TPC-C 5.11 5.5.1.1) |
| 4 | 후보 둘이 같은 값에서 멈춤 | 네트워크 구간 포화 | 환경 | sar -n DEV 5 의 %ifutil · rxkB/s | %ifutil 이 상한 가까우면 망 병목(sar(1)) |
| 5 | 평균 응답은 낮은데 p90 이 조건을 넘음 | 꼬리 지연(체크포인트 · GC) | 후보 시스템 | 시간대별 p90 · 백분위 분포 | 90% 비율 기준으로 판정(TPC-C 5.11 5.2.5.3) |
공급자가 튜닝을 마친 뒤에는 구성 값(커널 매개변수 · DB 설정)을 결과와 함께 받아 두어야 같은 값을 다시 낼 수 있다(TPC-C 5.11 8절).
8시험 대비
www.q-net.or.kr시험에서는 BMT 의 개념 · 필요성 · 지표를 묻는 정의 · 특징형, 또는 BMT 를 어떤 순서로 수행하고 무엇을 공정하게 맞추는지 묻는 동작 · 절차 설명형으로 나올 수 있다. 정의형이면 그림 3 구조와 «표준 ↔ 업무 맞춤형» 구분을 먼저 보이고, 절차형이면 사례 7단계를 숫자와 함께 쓰고 그림 5 로 판정 규칙을 보인다.
- 개요 — 같은 작업 부하 · 같은 조건으로 후보를 실측해 견주는 시험 · 결과는 «조건과 함께»만 뜻을 가짐
- 구성 요소 — 평가 기준 · 작업 부하 · 부하 발생기 · 후보 시스템 · 측정 · 실행 규칙 구조 그림(그림 3)
- 수행 절차 — 기준 → 부하 정의 → 환경 고정 → 단계 부하 → 측정 → 반복 → 판정 시간축 그림(그림 4)
- 판정 원리 — 응답 조건 안 최대 처리량 그래프(그림 5) · A 719 가 빠지고 B 694 · A 643
- 종류와 공정성 — 표준 벤치마크(SPEC CPU · TPC-C) · 업무 맞춤형 · 마이크로벤치마크 비교 표 · 데이터 크기 · 캐시 · 튜닝 규칙
- 결론 — 결과를 용량 산정에 넘길 때 구성 · 조건 공개로 재현성 확보
꼭 쓸 키워드
작업 부하SUT부하 발생기응답 조건(p90)처리량(TPStpmC)정상 상태워밍업기하 평균SPEC CPUTPC-C
다른 답안과 차이를 내는 한 가지는 «최고 처리량이 이긴다»는 통념을 그림 5 의 숫자(A 719 → 제외 · B 694 > A 643)로 뒤집어 보이고, 응답 시간 법칙 R = N ÷ X − Z 로 평균과 p90 의 차이까지 짚는 것이다.
9오해와 사실
- 오해처리량이 가장 높게 나온 후보가 BMT 에서 이긴다.사실응답 시간 조건을 지킨 값만 보고 값이 된다 — TPC-C 는 거래마다 90% 가 5초 안이어야 하고(5.2.5.3), 사례의 A 719 TPS 는 p90 3.4초라 빠진다.
- 오해표준 벤치마크 점수가 높으면 우리 업무에서도 그만큼 빠르다.사실SPEC CPU 는 프로세서 · 메모리 · 컴파일러만 겨냥하고 I/O 시스템은 재지 않으며(SPEC CPU 2017 Overview Q6), TPC-C 도 고객 업무 BMT 를 대신하지 않는다고 적는다(0.1절).
- 오해여러 벤치마크의 비율은 산술 평균으로 합친다.사실기준 기계로 나눈 비율은 기하 평균이어야 기준 기계를 바꿔도 순위가 같다(Fleming · Wallace 1986) · SPEC CPU 도 기하 평균을 종합 지표로 쓴다.
10핵심 정리
| 구분 | 맡는 일 | 대표 값 · 지표 | 근거 | 흔한 실수 |
|---|---|---|---|---|
| 평가 기준 | 보고 지표 · 응답 조건 | 600 TPS · p90 ≤ 2초(사례) | TPC-C 5.2.5.3 | 응답 조건 없이 최고 값 보고 |
| 작업 부하 | 거래 혼합 · 데이터 크기 | 60 · 30 · 10 · 2 TB(사례) | TPC-C 5.2.5.7 | 데이터가 작아 캐시 적중 |
| 후보 시스템 | 유일하게 다른 요소 | A · B | — | 한쪽만 튜닝 · 캐시 데우기 |
| 측정 | 처리량 · 백분위 응답 | TPS · tpmC · p90 | TPC-C 5.2.5.6 | 평균만 보고 |
| 실행 규칙 | 워밍업 · 측정 구간 · 반복 | 15분 · 30분 · 3회 중앙값 | TPC-C 5.5.1 · SPEC CPU | 정상 상태 전 측정 |
| 부하 발생기 | 가상 사용자 · 요청 간격 | 3대 · CLI · R = N ÷ X − Z | JMeter 16.7 · Denning · Buzen 1978 | 발생기 포화를 후보 한계로 읽음 |
| 결과 합치기 | 여러 벤치마크 비율 종합 | 기하 평균 | Fleming · Wallace 1986 | 산술 평균 |
11참고 문헌
- 먼저 볼 문헌
- ★ TPC Benchmark C Standard Specification Revision 5.11 — 응답 시간 조건(5.2.5.3) · 정상 상태 측정(5.5.1) · 맞춤 BMT 를 대신하지 않는다는 문장(0.1)을 볼 때
- ★ SPEC CPU 2017 Overview / What's New — 기준 기계 대비 비율 · 기하 평균 · 3회 중앙값 · 재는 대상(Q6)을 볼 때
- ★ History of the TPC — DebitCredit(1985) · benchmarketing · TPC 설립(1988-08)의 배경을 볼 때
- ★ How not to lie with statistics: the correct way to summarize benchmark results (Communications of the ACM 29(3) 218-221) — 정규화한 비율을 산술 평균이 아니라 기하 평균으로 합치는 이유를 볼 때
- ★ Apache JMeter User Manual · Best Practices — 부하 발생기가 병목이 되지 않게 하는 CLI 모드 · 리스너 · 분산 실행(16.2 · 16.7)을 볼 때
- 본문 근거
- TPC-C (On-Line Transaction Processing Benchmark) — Transaction Processing Performance Council · 2026-11 ·
www.tpc.org/tpcc/· 확인 2026-11-14 - SPEC CPU 2026 — Standard Performance Evaluation Corporation · 2026-05 ·
www.spec.org/cpu2026/· 확인 2026-11-14 - SPEC — About — Standard Performance Evaluation Corporation · 2026-11 ·
www.spec.org/spec/· 확인 2026-11-14 - A synthetic benchmark (The Computer Journal 19(1) 43-49) — H. J. Curnow · B. A. Wichmann · Oxford University Press · 1976-01 ·
doi.org/10.1093/comjnl/19.1.43· 확인 2026-11-14 - Dhrystone: a synthetic systems programming benchmark (Communications of the ACM 27(10) 1013-1030) — R. P. Weicker · ACM · 1984-10 ·
doi.org/10.1145/358274.358283· 확인 2026-11-14 - The Operational Analysis of Queueing Network Models (ACM Computing Surveys 10(3) 225-261) — P. J. Denning · J. P. Buzen · ACM · 1978-09 ·
doi.org/10.1145/356733.356735· 확인 2026-11-14 - sar(1) Linux manual page — sysstat · man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/sar.1.html· 확인 2026-11-14 - iostat(1) Linux manual page — sysstat · man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/iostat.1.html· 확인 2026-11-14 - mpstat(1) Linux manual page — sysstat · man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/mpstat.1.html· 확인 2026-11-14