레드팀AI Red Teaming
AI 시스템이 해로운 · 차별적 · 부정확한 출력이나 의도하지 않은 동작을 내는 결함을 찾으려고, 적대적 역할을 맡은 사람과 도구가 일부러 실패를 끌어내는 구조화된 시험이다. 찾은 결함은 완화와 재시험으로 이어진다.
1요약
- 레드팀은 NIST AI 600-1(2024)이 생성형 AI 위험 관리의 구조화된 시험으로 정한 활동으로, 개발자와 함께 통제된 환경에서 모델 · 시스템 지시 · 도구 · 출력 처리를 포함한 서비스 전체를 상대로 실패를 끌어내며, 프롬프트 인젝션 · 할루시네이션 · 데이터 유출 같은 위험이 실제로 일어나는지를 출시 전에 확인한다.
- 정해진 문항만 재는 평가는 문항 밖의 실패를 보지 못한다 — 2022년 Ganguli 등은 사람 레드팀의 시도 38,961건을 공개해 공격적 언어부터 드러나지 않는 비윤리적 내용까지의 유해 출력을 보였고, EU AI Act 55조는 시스템적 위험이 있는 범용 AI 모델 제공자에게 적대적 시험의 수행 · 문서화를 의무로 둔다.
- 「레드팀 결과가 좋다」는 어떤 세트로 잰 값인가로 가른다 — 고친 결함을 다시 재는 회귀 세트의 성공률은 «고쳤다»의 증거이고, 처음 보는 시도의 성공률만이 «아직 남았다»를 말하며, 둘 다 0 이어도 범위 밖 위험은 말하지 않는다.
2등장 배경
레드팀이라는 이름은 군 모의 훈련에서 적군 역할을 맡는 편에서 왔고, 정보 보안에서는 허가를 받고 실제 공격자처럼 시스템을 뚫어 보는 모의 침투로 쓰였다. 언어 모델이 서비스에 들어가자 문제는 «뚫리는가»에서 «무슨 말을 하는가»로 넓어졌다 — 2022년 2월 Perez 등은 다른 언어 모델이 시험 입력을 만들고 분류기가 답을 판정하게 해 280B 매개변수 대화 모델에서 공격적 답 수만 건을 찾았다(Perez 2022).
같은 해 8월 Ganguli 등은 2.7B · 13B · 52B 모델을 일반 모델 · 지시 프롬프트 · 거절 표본 추출 · RLHF 네 방식으로 나눠 사람 레드팀을 돌렸고, RLHF 모델만 크기가 커질수록 레드팀이 어려워졌다고 보고했다(Ganguli 2022). 2023년 10월 미국 행정명령 14110 은 3조 (d)에서 AI 레드팀을 «AI 시스템의 결함과 취약점을 찾는 구조화된 시험»으로 정의했다(EO 14110) — 이 명령은 2025년 1월 행정명령 14148 로 폐지됐지만(EO 14148), 같은 정의는 NIST AI 600-1 부록 A.1.5 에 남았다.
지금은 시험의 대상이 모델 하나에서 서비스 전체로 옮겨 갔다. 2018년부터 100개 넘는 생성형 AI 제품을 시험한 한 팀은 «레드팀은 안전 벤치마크가 아니다» · «AI 시스템을 지키는 일은 끝나지 않는다»를 교훈으로 꼽았고(Bullwinkel 2025 교훈 3 · 8), OWASP 는 2025년 1월 모델 평가 · 구현 시험 · 기반 시설 평가 · 운영 행동 분석 네 영역의 안내서를 냈다(OWASP 2025).
3쉽게 이해하기 — 개장 전 놀이기구를 일부러 거칠게 타는 점검반
새 놀이기구가 개장을 앞두고 있다. 만든 회사는 안내판대로 타 보고 「문제없다」고 했지만, 운영사는 따로 점검반을 불러 점검 목록을 주고 안내판 밖의 방식으로 일부러 거칠게 타 보게 한다. 점검반이 안전띠가 풀린 순간을 기록지에 적으면 수리반이 고치고, 점검반이 다시 타 본다. 운영사는 기록지에 큰 고장이 남지 않았을 때 개장 깃발을 올린다.
그림 1 · 점검 목록으로 범위를 정한 점검반이 기구를 일부러 거칠게 타고, 기록지 · 수리 · 다시 점검을 돈 뒤에야 개장을 정한다.
그림 2 · 만든 회사는 안내판대로 타 보는 안쪽만 반복해 재고, 점검반은 안내판 밖 바깥쪽에서 고장을 찾으며, 찾은 고장은 다음 점검의 안쪽 목록이 된다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 점검 목록 | 범위 · 위험 분류 | 대상 경계 · 볼 위험 분류 · 성공 판정 기준을 문서로 정함 |
| 점검반 | 레드팀 | 일반 사용자 · 분야 전문가 · 자동 생성 모델이 적 역할을 맡음 |
| 거칠게 타기 | 적대적 시험 | 정상 사용 밖의 입력 · 대화로 실패를 끌어냄 |
| 새 놀이기구 | 대상 AI 시스템 | 모델 · 시스템 지시 · 도구 · 출력 처리를 묶은 서비스 전체 |
| 기록지 | 발견 기록 · 심각도 | 성공한 시도를 고유 결함으로 묶고 크기를 매김 |
| 수리반 | 완화 | 학습 · 시스템 지시 · 권한 · 필터를 고침 |
| 다시 타기 | 재시험 · 회귀 세트 | 고친 결함과 새 시도를 다시 잼 |
| 개장 깃발 | 출시 판단 | 남은 결함과 크기를 보고 출시 여부를 정함 |
⚠ 비유가 맞지 않는 곳: 놀이기구 고장은 고치면 그 자리에 머물지만, AI 시스템은 같은 실패가 다른 표현 · 다른 언어로 다시 나와 「고친 방식 그대로」 다시 타는 것만으로는 확인이 끝나지 않는다(Bullwinkel 2025 교훈 8). 또 점검반의 기록은 고장이 «있다»는 증거일 뿐, 기록이 비었다고 «없다»는 증거가 되지 않는다(Feffer 2024).
4구조 — 범위 · 팀 · 대상 · 판정 · 기록
레드팀 한 회차는 범위를 정하고, 팀이 대상 시스템에 시도를 넣고, 판정이 성공 여부를 가르고, 기록이 결함을 모아 완화로 넘기는 되돌이다. 대상은 모델 하나가 아니라 시스템 지시 · 가드레일 · 연결된 도구 · 화면까지 포함한 서비스 전체이며(OWASP 2025 네 영역), 시도 하나는 «누가(행위자) · 어떤 기법으로 · 어느 약점을 · 무슨 영향으로»로 기록한다(Bullwinkel 2025 위협 모델).
그림 3 · 범위가 팀과 시도를 정하고, 시도는 서비스 전체의 네 영역을 지나 판정 · 기록으로 가며, 기록된 결함은 완화를 거쳐 같은 대상에 다시 들어간다.
| 요소 | 구분 | 맡는 일 | 값 · 근거 |
|---|---|---|---|
| 범위 | 계획 | 위험 분류 · 대상 경계 · 성공 기준 | 시스템이 할 수 있는 일과 쓰이는 곳부터 정함(Bullwinkel 2025 교훈 1) |
| 일반 사용자 레드팀 | 팀 | 실제 이용자의 경험으로 시도 | 많은 인원일수록 효과적(NIST AI 600-1 A.1.5) |
| 전문가 레드팀 | 팀 | 의료 · 보안 같은 분야 위험 | 일반 · 전문가 혼합 = 전문가가 일반 시도를 고치거나 검증(A.1.5) |
| 자동 생성 모델 | 팀 | 시도를 대량으로 만듦 | 사람만보다 비용이 낮음(A.1.5) · 영점 생성부터 강화학습까지(Perez 2022) |
| 대상 시스템 | 대상 | 모델 · 구현 · 기반 시설 · 운영 | OWASP 2025 네 영역 |
| 판정 | 측정 | 성공 여부 · 공격 성공률 | ASR = 시도 중 목표 행동을 끌어낸 비율(Mazeika 2024 3.1절) |
| 기록 | 결과 | 고유 결함 · 심각도 · 재현 정보 | 레드팀 지침 문서화(NIST AI 600-1 MS-2.8-002) |
🔑 레드팀의 단위는 모델이 아니라 서비스다 — 같은 모델도 읽기 전용 상담에서는 틀린 안내에 그치는 실패가, 환불 도구가 붙으면 권한 결함이 되므로 범위에 도구와 화면을 넣지 않은 결과는 출시 판단에 쓸 수 없다.
5동작 — 쇼핑몰 상담 챗봇 출시 전 한 회차
주문 조회 · 환불 접수 도구가 붙은 쇼핑몰 상담 챗봇을 출시 전에 레드팀으로 시험하는 사례다. 시도 수 · 성공 수 · 결함 수 · 거절률은 모두 설명용 가정 값이고, 시도의 내용은 싣지 않고 위험 분류와 건수만 적는다.
- 범위 — 대상을 모델 · 시스템 지시 · 두 도구 · 응답 화면 전체로 잡고, 위험 분류 넷(개인정보 노출 · 도구 오용 · 유해 응답 · 허위 정책 안내)과 분류별 성공 판정 기준을 문서로 정한다. 기간은 5일이다.
- 팀 — 사람 8명(일반 사용자 역 5 · 보안 2 · 상담 업무 전문가 1)과 자동 생성 모델 하나로 «혼합 + 사람과 AI» 유형을 짠다(NIST AI 600-1 A.1.5).
- 시험 — 사람이 600건, 자동 생성 모델이 2,400건을 넣어 분류마다 750건씩 모두 3,000건을 만든다.
- 판정 — 판정 모델이 1차로 가르고, 사람이 성공 판정 전부와 실패 판정의 10%(약 290건)를 다시 본다. 확정 성공은 90건으로 ASR 3.0% 다 — 분류별로 개인정보 12 · 도구 오용 18 · 유해 24 · 허위 안내 36건이다.
- 기록 — 성공 90건을 같은 원인끼리 묶으니 고유 결함 14건이 남는다. 심각도는 높음 3(환불 도구의 본인 확인 누락 2 · 다른 고객 주문 번호 노출 1) · 중간 5 · 낮음 6이다.
- 완화 — 개발팀이 본인 확인을 프롬프트가 아니라 도구 실행 코드에 넣고, 환불 규정 답은 정책 문서 검색 근거로만 내게 하며, 응답 화면 앞에 출력 필터를 더한다.
- 재시험 — 같은 3,000건(회귀 세트)의 ASR 은 0.4%(12건)로 떨어지고, 새로 만든 500건에서는 10건(2.0%)이 성공한다. 정상 질문 400건의 거절률이 1.5% 에서 4.0% 로 올라 필터 기준을 조정하자 2.0% 가 된다.
- 출시 판단 — 심각도 높음 0건 · 남은 중간 2 · 낮음 4건을 문서로 남기고 출시를 정한다. 새 시도에서 성공한 10건(심각도 높음 0)은 회귀 세트에 넣고, 출시 뒤 이용자 신고를 다음 회차 범위에 더한다.
그림 4 · 3,000건 시도에서 성공 90건이 고유 결함 14건으로 묶이고, 완화 뒤 회귀 세트 성공은 12건으로 줄지만 새 시도 500건에서 10건이 다시 나온다.
🔑 회귀 세트 성공률은 «고친 것을 고쳤다»만 말하고 새 시도 성공률이 «남은 것»을 말한다 — 그래서 한 회차의 출력은 숫자 하나가 아니라 두 세트의 값과 정상 질문 거절률 한 쌍이다.
사례 7단계에서 성공률만 보면 완화가 끝난 것처럼 보이지만, 같은 완화가 정상 질문을 더 많이 거절하게 만들었다. 레드팀 결과는 «해로운 출력을 얼마나 줄였나»와 «정상 요청을 얼마나 잃었나»를 함께 재야 출시 판단에 쓸 수 있다.
그림 5 · 완화 뒤 회귀 세트 성공률은 3.0% 에서 0.4% 로 떨어지지만 새 시도는 2.0% 를 찾고, 같은 완화가 정상 질문 거절을 1.5% 에서 4.0% 로 올려 조정이 필요하다.
6비교 — 레드팀과 관련 평가 방식
| 기준 | 레드팀 | 안전 벤치마크 | 보안 침투 시험 | 가드레일 | 현장 시험 |
|---|---|---|---|---|---|
| 묻는 것 | 이 서비스에서 무엇이 잘못될 수 있나 | 정해진 위험을 얼마나 피하나 | 시스템이 뚫리는가 | 지금 들어온 입출력을 막을까 | 실제 이용자에게 어떤 영향이 나나 |
| 입력 | 사람 · 모델이 새로 만드는 시도 | 고정 데이터 세트 | 공격 기법 목록 · 도구 | 운영 중 실제 요청 | 실제 이용 · 실험 설계 |
| 찾는 것 | 새 위험 분류 · 맥락 결함 | 정해진 분류의 점수 | 권한 · 인프라 취약점 | 정책 위반 한 건 | 위험이 생기는 빈도 |
| 결과물 | 결함 목록 · 심각도 · 회귀 세트 | 모델끼리 견줄 점수 | 취약점 보고서 | 차단 · 통과 기록 | 영향 추정 값 |
| 사람 몫 | 큼(Bullwinkel 2025 교훈 5) | 작음 · 반복 쉬움 | 큼 | 작음(규칙 · 분류기) | 큼 · 동의 절차 필요 |
| 한계 | 찾지 못한 것은 말하지 않음 | 목록 밖을 놓침(교훈 3) | 출력 내용 위험은 범위 밖 | 학습하지 않은 꼴을 놓침 | 출시 뒤에야 가능 |
분석출시 전에는 레드팀으로 새 위험 분류를 찾고 그 발견을 벤치마크 · 회귀 세트로 굳혀 반복해 재며, 출시 뒤에는 가드레일로 막고 현장 시험 · 신고로 다음 회차의 범위를 넓힌다. 근거는 표의 한계 행 — 벤치마크는 목록 밖을 놓치고 레드팀은 반복 측정이 어려워 서로를 메우며, 레드팀 발견이 새 벤치마크가 된다는 보고와 같다(Bullwinkel 2025 교훈 3).
7실무 진단 — 레드팀 결과를 믿을 수 있는지 가르기
분석결과가 이상하면 판정부터 의심하고, 그다음 범위 · 팀 · 완화 순으로 좁힌다. 판정이 흔들리면 성공률 자체가 틀리고, 판정이 맞아도 범위가 서비스 전체를 덮지 않으면 그 성공률은 출시 판단에 쓸 수 없기 때문이다(Mazeika 2024 4.3절 · Bullwinkel 2025 교훈 1).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 회차마다 같은 세트의 성공률이 크게 흔들림 | 판정 모델 · 기준 불일치 | 판정 | 사람 재확인 표본과 판정 모델의 일치율 | 일치율이 낮으면 판정 결함 · 판정 지침을 문서화(NIST AI 600-1 MS-2.8-002) |
| 2 | 성공률은 낮았는데 출시 뒤 사고가 남 | 범위 누락(모델만 시험) | 범위 | 범위 문서 · 사고 입력의 위험 분류 | 사고가 범위 밖 분류 · 도구면 범위 결함(Bullwinkel 2025 교훈 1 · OWASP 2025 네 영역) |
| 3 | 자동 생성 시도가 한 분류에 몰림 | 시도 다양성 부족 | 팀 | 위험 분류별 건수 · 비슷한 시도 묶음 수 | 방식마다 다양성 · 난이도가 다름(Perez 2022) · 분류별 최소 건수 미달이면 생성 설정 조정 |
| 4 | 완화 뒤 정상 질문이 자주 거절됨 | 과잉 거절 | 완화 | 정상 질문 세트 거절률 | 완화 전보다 오르면 완화 기준 조정(사례 7단계) |
| 5 | 고친 결함이 다음 출시에 다시 나옴 | 회귀 세트 미등록 · 미세 조정 영향 | 기록 | 회귀 세트 목록 · 변경 이력 | 미세 조정이 안전 통제를 해치지 않았는지 확인(NIST AI 600-1 MS-2.7-008) |
1 · 2행은 숫자 자체의 신뢰 문제라 다른 행보다 먼저 본다 — 판정이 맞지 않으면 아래 행의 비교가 모두 무너진다. 4 · 5행은 완화가 만든 부작용이라 레드팀 회차가 끝난 뒤가 아니라 완화를 넣을 때마다 정상 질문 세트와 회귀 세트를 함께 돌린다.
8시험 대비
시험에서는 개념 · 유형 · 절차를 묻는 정의 · 특징형, 생성형 AI 안전 평가 체계 · 규제 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «구조화된 적대적 시험 + 완화로 이어지는 되돌이»를 먼저 쓰고 구조 그림과 사례 절차로 넘기며, 동향형은 사람 레드팀 → 자동 레드팀 → 서비스 단위 평가로 옮겨 간 흐름과 규제의 적대적 시험 의무를 함께 쓴다. 벤치마크와 함께 물으면 «목록 안을 반복해 재는가, 목록 밖을 찾는가»를 차이로 짚는다.
- 개요 — 정의(NIST AI 600-1 · EO 14110 3조 (d)) · 목적 · 군 · 보안 모의 침투에서 온 이름
- 유형 — 일반 사용자 · 전문가 · 혼합 · 사람과 AI(NIST A.1.5) + 사람 레드팀 ↔ 자동 레드팀 표
- 구조 — 그림 3 범위 · 팀 · 대상 네 영역 · 판정 · 기록의 되돌이
- 절차 — 그림 4 사례(범위 → 시험 → 판정 → 기록 · 심각도 → 완화 → 재시험 → 출시 판단)
- 평가 지표 — 그림 5 ASR(회귀 세트 · 새 시도)과 정상 질문 거절률 한 쌍 + 비교표(벤치마크 · 침투 시험 · 가드레일)
- 한계와 동향 — 찾지 못한 것은 증명하지 않음 · 자동화 · EU AI Act 55조 적대적 시험 의무 · 지속 운영
꼭 쓸 키워드
적대적 시험위험 분류공격 성공률(ASR)자동 레드팀판정 모델회귀 세트과잉 거절심각도서비스 단위 평가NIST AI 600-1
다른 답안과 차이를 내는 한 가지 — 성공률을 하나로 적지 않고 «회귀 세트 0.4% · 새 시도 2.0% · 정상 거절 4.0% → 2.0%»처럼 세 값으로 나눠 「고쳤다 · 남았다 · 잃었다」를 함께 보인다.
9오해와 사실
- 오해레드팀에서 성공한 시도가 없으면 그 모델은 안전하다.사실레드팀은 범위 안에서 찾은 결함만 보고하며, 공개 정의만으로 모든 위험을 덮는 해결책처럼 다루면 보안 연출에 가깝다는 비판이 있다(Feffer 2024).
- 오해모델이 클수록 레드팀이 어려워진다.사실Ganguli 등의 실험에서 크기에 따라 어려워진 것은 RLHF 모델뿐이었고 나머지 세 방식은 크기와 무관했으며, HarmBench 도 같은 모델 계열 안에서 크기와 강건성의 상관이 없었다(Ganguli 2022 · Mazeika 2024 6.1절).
- 오해레드팀은 내부 가중치를 아는 전문가만 할 수 있다.사실실제 제품 시험에서는 기울기 계산 없이 서비스 입력만으로 결함이 나왔고, NIST 는 전문 지식이 없는 일반 이용자 레드팀을 한 유형으로 둔다(Bullwinkel 2025 교훈 2 · NIST AI 600-1 A.1.5).
10핵심 정리
| 구분 | 맡는 일 | 대표 값 · 예 | 실패 꼴 | 확인 지표 |
|---|---|---|---|---|
| 범위 | 대상 경계 · 위험 분류 | 분류 4 · 서비스 전체(사례) | 모델만 시험 | 사고 분류의 범위 포함 여부 |
| 사람 레드팀 | 맥락 · 새 분류 발견 | 일반 · 전문가 · 혼합 | 인원 · 관점 편중 | 분류별 시도 건수 |
| 자동 레드팀 | 시도 대량 생성 | 2,400건(사례) | 같은 꼴 반복 | 비슷한 시도 묶음 수 |
| 판정 | 성공 여부 · ASR | 3.0% → 0.4%(사례) | 판정 기준 흔들림 | 사람 재확인 일치율 |
| 기록 | 고유 결함 · 심각도 | 90건 → 14건(사례) | 회귀 세트 미등록 | 재발 결함 수 |
| 완화 | 학습 · 지시 · 권한 · 필터 | 본인 확인 = 도구 코드 | 과잉 거절 | 정상 질문 거절률 |
| 재시험 | 고친 것 · 남은 것 | 회귀 0.4% · 새 2.0% | 회귀 세트만 봄 | 새 시도 성공률 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — AI 레드팀의 정의와 일반 · 전문가 · 혼합 · 사람과 AI 네 유형(부록 A.1.5)을 볼 때
- ★ Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al.) — 사람 레드팀 38,961건과 모델 크기 · 학습 방식별 결과를 볼 때
- ★ Red Teaming Language Models with Language Models (Perez et al.) — 모델이 시험 입력을 만들고 분류기가 판정하는 자동 레드팀의 출발점을 볼 때
- ★ Lessons From Red Teaming 100 Generative AI Products (Bullwinkel et al.) — 시스템 · 행위자 · 기법 · 약점 · 영향 위협 모델과 교훈 여덟을 볼 때
- 본문 근거
- HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal (Mazeika et al.) — arXiv · 2024-02 ·
arxiv.org/abs/2402.04249· 확인 2026-11-12 - OWASP GenAI Red Teaming Guide 1.0 — OWASP Foundation · 2025-01 ·
genai.owasp.org/resource/genai-red-teaming-guide/· 확인 2026-11-12 - Executive Order 14110 Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (88 FR 75191) — Federal Register · 2023-11 ·
www.govinfo.gov/content/pkg/FR-2023-11-01/pdf/2023-24283.pdf· 확인 2026-11-12 - Executive Order 14148 Initial Rescissions of Harmful Executive Orders and Actions (DCPD-202500115) — U.S. GPO · 2025-01 ·
www.govinfo.gov/app/details/DCPD-202500115/· 확인 2026-11-12 - Regulation (EU) 2024/1689 (Artificial Intelligence Act) Article 55 Obligations of providers of general-purpose AI models with systemic risk — European Commission AI Act Service Desk · 2024-07 ·
ai-act-service-desk.ec.europa.eu/en/ai-act/article-55· 확인 2026-11-12 - Red-Teaming for Generative AI: Silver Bullet or Security Theater? (Feffer et al.) — arXiv · 2024-01 ·
arxiv.org/abs/2401.15897· 확인 2026-11-12