AI › 신뢰할 수 있는 AI › 안전 · 보안

레드팀AI Red Teaming

AI 시스템이 해로운 · 차별적 · 부정확한 출력이나 의도하지 않은 동작을 내는 결함을 찾으려고, 적대적 역할을 맡은 사람과 도구가 일부러 실패를 끌어내는 구조화된 시험이다. 찾은 결함은 완화와 재시험으로 이어진다.

1요약

  1. 레드팀은 NIST AI 600-1(2024)이 생성형 AI 위험 관리의 구조화된 시험으로 정한 활동으로, 개발자와 함께 통제된 환경에서 모델 · 시스템 지시 · 도구 · 출력 처리를 포함한 서비스 전체를 상대로 실패를 끌어내며, 프롬프트 인젝션 · 할루시네이션 · 데이터 유출 같은 위험이 실제로 일어나는지를 출시 전에 확인한다.
  2. 정해진 문항만 재는 평가는 문항 밖의 실패를 보지 못한다 — 2022년 Ganguli 등은 사람 레드팀의 시도 38,961건을 공개해 공격적 언어부터 드러나지 않는 비윤리적 내용까지의 유해 출력을 보였고, EU AI Act 55조는 시스템적 위험이 있는 범용 AI 모델 제공자에게 적대적 시험의 수행 · 문서화를 의무로 둔다.
  3. 「레드팀 결과가 좋다」는 어떤 세트로 잰 값인가로 가른다 — 고친 결함을 다시 재는 회귀 세트의 성공률은 «고쳤다»의 증거이고, 처음 보는 시도의 성공률만이 «아직 남았다»를 말하며, 둘 다 0 이어도 범위 밖 위험은 말하지 않는다.

2등장 배경

레드팀이라는 이름은 군 모의 훈련에서 적군 역할을 맡는 편에서 왔고, 정보 보안에서는 허가를 받고 실제 공격자처럼 시스템을 뚫어 보는 모의 침투로 쓰였다. 언어 모델이 서비스에 들어가자 문제는 «뚫리는가»에서 «무슨 말을 하는가»로 넓어졌다 — 2022년 2월 Perez 등은 다른 언어 모델이 시험 입력을 만들고 분류기가 답을 판정하게 해 280B 매개변수 대화 모델에서 공격적 답 수만 건을 찾았다(Perez 2022).

같은 해 8월 Ganguli 등은 2.7B · 13B · 52B 모델을 일반 모델 · 지시 프롬프트 · 거절 표본 추출 · RLHF 네 방식으로 나눠 사람 레드팀을 돌렸고, RLHF 모델만 크기가 커질수록 레드팀이 어려워졌다고 보고했다(Ganguli 2022). 2023년 10월 미국 행정명령 14110 은 3조 (d)에서 AI 레드팀을 «AI 시스템의 결함과 취약점을 찾는 구조화된 시험»으로 정의했다(EO 14110) — 이 명령은 2025년 1월 행정명령 14148 로 폐지됐지만(EO 14148), 같은 정의는 NIST AI 600-1 부록 A.1.5 에 남았다.

지금은 시험의 대상이 모델 하나에서 서비스 전체로 옮겨 갔다. 2018년부터 100개 넘는 생성형 AI 제품을 시험한 한 팀은 «레드팀은 안전 벤치마크가 아니다» · «AI 시스템을 지키는 일은 끝나지 않는다»를 교훈으로 꼽았고(Bullwinkel 2025 교훈 3 · 8), OWASP 는 2025년 1월 모델 평가 · 구현 시험 · 기반 시설 평가 · 운영 행동 분석 네 영역의 안내서를 냈다(OWASP 2025).

3쉽게 이해하기 — 개장 전 놀이기구를 일부러 거칠게 타는 점검반

새 놀이기구가 개장을 앞두고 있다. 만든 회사는 안내판대로 타 보고 「문제없다」고 했지만, 운영사는 따로 점검반을 불러 점검 목록을 주고 안내판 밖의 방식으로 일부러 거칠게 타 보게 한다. 점검반이 안전띠가 풀린 순간을 기록지에 적으면 수리반이 고치고, 점검반이 다시 타 본다. 운영사는 기록지에 큰 고장이 남지 않았을 때 개장 깃발을 올린다.

점검 목록 무엇을 볼까 볼 고장 네 가지 범위 · 위험 분류 대상 · 성공 기준도 적음 점검반 적 역할 손님 · 전문가 레드팀 일부러 거칠게 적대적 시험 새 놀이기구 개장 전 기구 · 안전띠 AI 시스템 모델 · 지시 · 도구 · 화면 개장 깃발 큰 고장 0 이면 출시 판단 수리반 안전장치 보강 완화 기록지 고장 · 크기 발견 · 심각도 1 2 3 4 5 다시 점검 = 재시험 6 번호 = 이야기 순서 · 배지 = 실제 기술 이름 · 굵은 선 = 고친 뒤 다시 타 보는 되돌이(여러 번 돈다)

그림 1 · 점검 목록으로 범위를 정한 점검반이 기구를 일부러 거칠게 타고, 기록지 · 수리 · 다시 점검을 돈 뒤에야 개장을 정한다.

목록 받기볼 고장 네 가지를 정함
점검반 모임손님 · 전문가가 함께
거칠게 타기안내판 밖으로 일부러
기록지고장과 크기를 적음
수리안전장치를 보강
다시 타기고친 곳과 새 방식
비유 — 점검 범위 안내판 밖 탑승 — 점검반 안내판대로 정원 · 속도 시험 만든 회사가 반복 혼자 탄 어린이 비 오는 날 짐을 든 채 찾으면 목록에 더함 실제 실제 — 평가가 보는 범위 레드팀 — 정해진 목록 밖 벤치마크 기능 시험 정해진 문항 · 반복 측정 새 위험 분류 도구 · 권한 경계 언어 · 맥락 차이 다음 회차 문항으로 안쪽은 정해진 문항이라 반복해 잴 수 있고, 바깥은 사람이 찾아야 목록에 오른다 정해진 시험 목록 밖 고장 · 결함 점선 = 레드팀이 맡는 범위 굵은 선 = 발견이 문항이 됨

그림 2 · 만든 회사는 안내판대로 타 보는 안쪽만 반복해 재고, 점검반은 안내판 밖 바깥쪽에서 고장을 찾으며, 찾은 고장은 다음 점검의 안쪽 목록이 된다.

비유 속 역할실제 이름실제로 하는 일
점검 목록범위 · 위험 분류대상 경계 · 볼 위험 분류 · 성공 판정 기준을 문서로 정함
점검반레드팀일반 사용자 · 분야 전문가 · 자동 생성 모델이 적 역할을 맡음
거칠게 타기적대적 시험정상 사용 밖의 입력 · 대화로 실패를 끌어냄
새 놀이기구대상 AI 시스템모델 · 시스템 지시 · 도구 · 출력 처리를 묶은 서비스 전체
기록지발견 기록 · 심각도성공한 시도를 고유 결함으로 묶고 크기를 매김
수리반완화학습 · 시스템 지시 · 권한 · 필터를 고침
다시 타기재시험 · 회귀 세트고친 결함과 새 시도를 다시 잼
개장 깃발출시 판단남은 결함과 크기를 보고 출시 여부를 정함

⚠ 비유가 맞지 않는 곳: 놀이기구 고장은 고치면 그 자리에 머물지만, AI 시스템은 같은 실패가 다른 표현 · 다른 언어로 다시 나와 「고친 방식 그대로」 다시 타는 것만으로는 확인이 끝나지 않는다(Bullwinkel 2025 교훈 8). 또 점검반의 기록은 고장이 «있다»는 증거일 뿐, 기록이 비었다고 «없다»는 증거가 되지 않는다(Feffer 2024).

4구조 — 범위 · 팀 · 대상 · 판정 · 기록

레드팀 한 회차는 범위를 정하고, 팀이 대상 시스템에 시도를 넣고, 판정이 성공 여부를 가르고, 기록이 결함을 모아 완화로 넘기는 되돌이다. 대상은 모델 하나가 아니라 시스템 지시 · 가드레일 · 연결된 도구 · 화면까지 포함한 서비스 전체이며(OWASP 2025 네 영역), 시도 하나는 «누가(행위자) · 어떤 기법으로 · 어느 약점을 · 무슨 영향으로»로 기록한다(Bullwinkel 2025 위협 모델).

범위 위험 분류 대상 경계 성공 기준 팀 일반 사용자 분야 전문가 자동 생성 모델 시도 대상 시스템 모델 평가 가중치 · 응답 경향 구현 시험 시스템 지시 · 가드레일 기반 시설 API · 저장소 · 연결 운영 행동 사용자 · 에이전트 출력 판정 판정 모델 1차 사람 확인 2차 → 공격 성공률(ASR) 기록 고유 결함 · 심각도 행위자 · 기법 · 약점 · 영향 → 회귀 세트에 등록 완화 → 재시험 범위 · 규칙 사람 · 팀 대상 영역 판정 · 평가 발견된 결함 굵은 선 = 되돌이

그림 3 · 범위가 팀과 시도를 정하고, 시도는 서비스 전체의 네 영역을 지나 판정 · 기록으로 가며, 기록된 결함은 완화를 거쳐 같은 대상에 다시 들어간다.

요소구분맡는 일값 · 근거
범위계획위험 분류 · 대상 경계 · 성공 기준시스템이 할 수 있는 일과 쓰이는 곳부터 정함(Bullwinkel 2025 교훈 1)
일반 사용자 레드팀팀실제 이용자의 경험으로 시도많은 인원일수록 효과적(NIST AI 600-1 A.1.5)
전문가 레드팀팀의료 · 보안 같은 분야 위험일반 · 전문가 혼합 = 전문가가 일반 시도를 고치거나 검증(A.1.5)
자동 생성 모델팀시도를 대량으로 만듦사람만보다 비용이 낮음(A.1.5) · 영점 생성부터 강화학습까지(Perez 2022)
대상 시스템대상모델 · 구현 · 기반 시설 · 운영OWASP 2025 네 영역
판정측정성공 여부 · 공격 성공률ASR = 시도 중 목표 행동을 끌어낸 비율(Mazeika 2024 3.1절)
기록결과고유 결함 · 심각도 · 재현 정보레드팀 지침 문서화(NIST AI 600-1 MS-2.8-002)

🔑 레드팀의 단위는 모델이 아니라 서비스다 — 같은 모델도 읽기 전용 상담에서는 틀린 안내에 그치는 실패가, 환불 도구가 붙으면 권한 결함이 되므로 범위에 도구와 화면을 넣지 않은 결과는 출시 판단에 쓸 수 없다.

5동작 — 쇼핑몰 상담 챗봇 출시 전 한 회차

주문 조회 · 환불 접수 도구가 붙은 쇼핑몰 상담 챗봇을 출시 전에 레드팀으로 시험하는 사례다. 시도 수 · 성공 수 · 결함 수 · 거절률은 모두 설명용 가정 값이고, 시도의 내용은 싣지 않고 위험 분류와 건수만 적는다.

  1. 범위 — 대상을 모델 · 시스템 지시 · 두 도구 · 응답 화면 전체로 잡고, 위험 분류 넷(개인정보 노출 · 도구 오용 · 유해 응답 · 허위 정책 안내)과 분류별 성공 판정 기준을 문서로 정한다. 기간은 5일이다.
  2. 팀 — 사람 8명(일반 사용자 역 5 · 보안 2 · 상담 업무 전문가 1)과 자동 생성 모델 하나로 «혼합 + 사람과 AI» 유형을 짠다(NIST AI 600-1 A.1.5).
  3. 시험 — 사람이 600건, 자동 생성 모델이 2,400건을 넣어 분류마다 750건씩 모두 3,000건을 만든다.
  4. 판정 — 판정 모델이 1차로 가르고, 사람이 성공 판정 전부와 실패 판정의 10%(약 290건)를 다시 본다. 확정 성공은 90건으로 ASR 3.0% 다 — 분류별로 개인정보 12 · 도구 오용 18 · 유해 24 · 허위 안내 36건이다.
  5. 기록 — 성공 90건을 같은 원인끼리 묶으니 고유 결함 14건이 남는다. 심각도는 높음 3(환불 도구의 본인 확인 누락 2 · 다른 고객 주문 번호 노출 1) · 중간 5 · 낮음 6이다.
  6. 완화 — 개발팀이 본인 확인을 프롬프트가 아니라 도구 실행 코드에 넣고, 환불 규정 답은 정책 문서 검색 근거로만 내게 하며, 응답 화면 앞에 출력 필터를 더한다.
  7. 재시험 — 같은 3,000건(회귀 세트)의 ASR 은 0.4%(12건)로 떨어지고, 새로 만든 500건에서는 10건(2.0%)이 성공한다. 정상 질문 400건의 거절률이 1.5% 에서 4.0% 로 올라 필터 기준을 조정하자 2.0% 가 된다.
  8. 출시 판단 — 심각도 높음 0건 · 남은 중간 2 · 낮음 4건을 문서로 남기고 출시를 정한다. 새 시도에서 성공한 10건(심각도 높음 0)은 회귀 세트에 넣고, 출시 뒤 이용자 신고를 다음 회차 범위에 더한다.
단계 사례 값(설명용 가정 값) 1 범위 위험 분류 4 · 대상 = 모델 + 지시 + 도구 2 + 화면 · 5일 2 팀 사람 8명(일반 5 · 보안 2 · 업무 1) + 자동 생성 모델 3 시험 사람 600 + 자동 2,400 = 3,000건(분류마다 750) 4 판정 확정 성공 90건 → ASR 3.0% 5 기록 90건 → 고유 결함 14 높음 3 · 중간 5 · 낮음 6 6 완화 본인 확인 = 도구 코드 · 규정 답 = 검색 근거 · 출력 필터 7 재시험 회귀 0.4% · 새 시도 2.0% · 정상 거절 4.0% → 2.0% 8 출시 판단 높음 0 · 남은 6건 문서화 · 새 10건 → 회귀 세트 범위 · 완화 규칙 사람 · 판단 판정 · 재시험 발견된 결함

그림 4 · 3,000건 시도에서 성공 90건이 고유 결함 14건으로 묶이고, 완화 뒤 회귀 세트 성공은 12건으로 줄지만 새 시도 500건에서 10건이 다시 나온다.

🔑 회귀 세트 성공률은 «고친 것을 고쳤다»만 말하고 새 시도 성공률이 «남은 것»을 말한다 — 그래서 한 회차의 출력은 숫자 하나가 아니라 두 세트의 값과 정상 질문 거절률 한 쌍이다.

사례 7단계에서 성공률만 보면 완화가 끝난 것처럼 보이지만, 같은 완화가 정상 질문을 더 많이 거절하게 만들었다. 레드팀 결과는 «해로운 출력을 얼마나 줄였나»와 «정상 요청을 얼마나 잃었나»를 함께 재야 출시 판단에 쓸 수 있다.

공격 성공률(ASR) 낮을수록 좋음 · 축 0 ~ 5% 1회차 3.0% 회귀 세트 0.4% 새 시도 2.0% 0 5% 회귀 세트만 보면 끝난 것 같지만 새 시도가 남은 결함을 보인다 정상 질문 거절률 낮을수록 좋음 · 축 0 ~ 5% · 정상 질문 400건 완화 전 1.5% 완화 직후 4.0% 조정 뒤 2.0% 0 5% 해로운 출력을 줄인 완화가 정상 요청도 잃게 한다 실패 · 결함 쪽 값 고친 것 확인 정상 기준 조정 뒤 굵은 테두리 = 판단을 바꾸는 값

그림 5 · 완화 뒤 회귀 세트 성공률은 3.0% 에서 0.4% 로 떨어지지만 새 시도는 2.0% 를 찾고, 같은 완화가 정상 질문 거절을 1.5% 에서 4.0% 로 올려 조정이 필요하다.

6비교 — 레드팀과 관련 평가 방식

기준레드팀안전 벤치마크보안 침투 시험가드레일현장 시험
묻는 것이 서비스에서 무엇이 잘못될 수 있나정해진 위험을 얼마나 피하나시스템이 뚫리는가지금 들어온 입출력을 막을까실제 이용자에게 어떤 영향이 나나
입력사람 · 모델이 새로 만드는 시도고정 데이터 세트공격 기법 목록 · 도구운영 중 실제 요청실제 이용 · 실험 설계
찾는 것새 위험 분류 · 맥락 결함정해진 분류의 점수권한 · 인프라 취약점정책 위반 한 건위험이 생기는 빈도
결과물결함 목록 · 심각도 · 회귀 세트모델끼리 견줄 점수취약점 보고서차단 · 통과 기록영향 추정 값
사람 몫큼(Bullwinkel 2025 교훈 5)작음 · 반복 쉬움큼작음(규칙 · 분류기)큼 · 동의 절차 필요
한계찾지 못한 것은 말하지 않음목록 밖을 놓침(교훈 3)출력 내용 위험은 범위 밖학습하지 않은 꼴을 놓침출시 뒤에야 가능

분석출시 전에는 레드팀으로 새 위험 분류를 찾고 그 발견을 벤치마크 · 회귀 세트로 굳혀 반복해 재며, 출시 뒤에는 가드레일로 막고 현장 시험 · 신고로 다음 회차의 범위를 넓힌다. 근거는 표의 한계 행 — 벤치마크는 목록 밖을 놓치고 레드팀은 반복 측정이 어려워 서로를 메우며, 레드팀 발견이 새 벤치마크가 된다는 보고와 같다(Bullwinkel 2025 교훈 3).

7실무 진단 — 레드팀 결과를 믿을 수 있는지 가르기

분석결과가 이상하면 판정부터 의심하고, 그다음 범위 · 팀 · 완화 순으로 좁힌다. 판정이 흔들리면 성공률 자체가 틀리고, 판정이 맞아도 범위가 서비스 전체를 덮지 않으면 그 성공률은 출시 판단에 쓸 수 없기 때문이다(Mazeika 2024 4.3절 · Bullwinkel 2025 교훈 1).

#증상의심 원인단계확인 자료판정 기준(근거)
1회차마다 같은 세트의 성공률이 크게 흔들림판정 모델 · 기준 불일치판정사람 재확인 표본과 판정 모델의 일치율일치율이 낮으면 판정 결함 · 판정 지침을 문서화(NIST AI 600-1 MS-2.8-002)
2성공률은 낮았는데 출시 뒤 사고가 남범위 누락(모델만 시험)범위범위 문서 · 사고 입력의 위험 분류사고가 범위 밖 분류 · 도구면 범위 결함(Bullwinkel 2025 교훈 1 · OWASP 2025 네 영역)
3자동 생성 시도가 한 분류에 몰림시도 다양성 부족팀위험 분류별 건수 · 비슷한 시도 묶음 수방식마다 다양성 · 난이도가 다름(Perez 2022) · 분류별 최소 건수 미달이면 생성 설정 조정
4완화 뒤 정상 질문이 자주 거절됨과잉 거절완화정상 질문 세트 거절률완화 전보다 오르면 완화 기준 조정(사례 7단계)
5고친 결함이 다음 출시에 다시 나옴회귀 세트 미등록 · 미세 조정 영향기록회귀 세트 목록 · 변경 이력미세 조정이 안전 통제를 해치지 않았는지 확인(NIST AI 600-1 MS-2.7-008)

1 · 2행은 숫자 자체의 신뢰 문제라 다른 행보다 먼저 본다 — 판정이 맞지 않으면 아래 행의 비교가 모두 무너진다. 4 · 5행은 완화가 만든 부작용이라 레드팀 회차가 끝난 뒤가 아니라 완화를 넣을 때마다 정상 질문 세트와 회귀 세트를 함께 돌린다.

8시험 대비

시험에서는 개념 · 유형 · 절차를 묻는 정의 · 특징형, 생성형 AI 안전 평가 체계 · 규제 흐름을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 «구조화된 적대적 시험 + 완화로 이어지는 되돌이»를 먼저 쓰고 구조 그림과 사례 절차로 넘기며, 동향형은 사람 레드팀 → 자동 레드팀 → 서비스 단위 평가로 옮겨 간 흐름과 규제의 적대적 시험 의무를 함께 쓴다. 벤치마크와 함께 물으면 «목록 안을 반복해 재는가, 목록 밖을 찾는가»를 차이로 짚는다.

답안 목차
  1. 개요 — 정의(NIST AI 600-1 · EO 14110 3조 (d)) · 목적 · 군 · 보안 모의 침투에서 온 이름
  2. 유형 — 일반 사용자 · 전문가 · 혼합 · 사람과 AI(NIST A.1.5) + 사람 레드팀 ↔ 자동 레드팀 표
  3. 구조 — 그림 3 범위 · 팀 · 대상 네 영역 · 판정 · 기록의 되돌이
  4. 절차 — 그림 4 사례(범위 → 시험 → 판정 → 기록 · 심각도 → 완화 → 재시험 → 출시 판단)
  5. 평가 지표 — 그림 5 ASR(회귀 세트 · 새 시도)과 정상 질문 거절률 한 쌍 + 비교표(벤치마크 · 침투 시험 · 가드레일)
  6. 한계와 동향 — 찾지 못한 것은 증명하지 않음 · 자동화 · EU AI Act 55조 적대적 시험 의무 · 지속 운영

꼭 쓸 키워드
적대적 시험위험 분류공격 성공률(ASR)자동 레드팀판정 모델회귀 세트과잉 거절심각도서비스 단위 평가NIST AI 600-1

다른 답안과 차이를 내는 한 가지 — 성공률을 하나로 적지 않고 «회귀 세트 0.4% · 새 시도 2.0% · 정상 거절 4.0% → 2.0%»처럼 세 값으로 나눠 「고쳤다 · 남았다 · 잃었다」를 함께 보인다.

9오해와 사실

  • 오해레드팀에서 성공한 시도가 없으면 그 모델은 안전하다.
    사실레드팀은 범위 안에서 찾은 결함만 보고하며, 공개 정의만으로 모든 위험을 덮는 해결책처럼 다루면 보안 연출에 가깝다는 비판이 있다(Feffer 2024).
  • 오해모델이 클수록 레드팀이 어려워진다.
    사실Ganguli 등의 실험에서 크기에 따라 어려워진 것은 RLHF 모델뿐이었고 나머지 세 방식은 크기와 무관했으며, HarmBench 도 같은 모델 계열 안에서 크기와 강건성의 상관이 없었다(Ganguli 2022 · Mazeika 2024 6.1절).
  • 오해레드팀은 내부 가중치를 아는 전문가만 할 수 있다.
    사실실제 제품 시험에서는 기울기 계산 없이 서비스 입력만으로 결함이 나왔고, NIST 는 전문 지식이 없는 일반 이용자 레드팀을 한 유형으로 둔다(Bullwinkel 2025 교훈 2 · NIST AI 600-1 A.1.5).

10핵심 정리

구분맡는 일대표 값 · 예실패 꼴확인 지표
범위대상 경계 · 위험 분류분류 4 · 서비스 전체(사례)모델만 시험사고 분류의 범위 포함 여부
사람 레드팀맥락 · 새 분류 발견일반 · 전문가 · 혼합인원 · 관점 편중분류별 시도 건수
자동 레드팀시도 대량 생성2,400건(사례)같은 꼴 반복비슷한 시도 묶음 수
판정성공 여부 · ASR3.0% → 0.4%(사례)판정 기준 흔들림사람 재확인 일치율
기록고유 결함 · 심각도90건 → 14건(사례)회귀 세트 미등록재발 결함 수
완화학습 · 지시 · 권한 · 필터본인 확인 = 도구 코드과잉 거절정상 질문 거절률
재시험고친 것 · 남은 것회귀 0.4% · 새 2.0%회귀 세트만 봄새 시도 성공률

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — AI 레드팀의 정의와 일반 · 전문가 · 혼합 · 사람과 AI 네 유형(부록 A.1.5)을 볼 때
    NIST · 2024-07 · doi.org/10.6028/NIST.AI.600-1 · 확인 2026-11-12
  3. ★ Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al.) — 사람 레드팀 38,961건과 모델 크기 · 학습 방식별 결과를 볼 때
    arXiv · 2022-08 · arxiv.org/abs/2209.07858 · 확인 2026-11-12
  4. ★ Red Teaming Language Models with Language Models (Perez et al.) — 모델이 시험 입력을 만들고 분류기가 판정하는 자동 레드팀의 출발점을 볼 때
    arXiv · 2022-02 · arxiv.org/abs/2202.03286 · 확인 2026-11-12
  5. ★ Lessons From Red Teaming 100 Generative AI Products (Bullwinkel et al.) — 시스템 · 행위자 · 기법 · 약점 · 영향 위협 모델과 교훈 여덟을 볼 때
    arXiv · 2025-01 · arxiv.org/abs/2501.07238 · 확인 2026-11-12
  6. 본문 근거
  7. HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal (Mazeika et al.) — arXiv · 2024-02 · arxiv.org/abs/2402.04249 · 확인 2026-11-12
  8. OWASP GenAI Red Teaming Guide 1.0 — OWASP Foundation · 2025-01 · genai.owasp.org/resource/genai-red-teaming-guide/ · 확인 2026-11-12
  9. Executive Order 14110 Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence (88 FR 75191) — Federal Register · 2023-11 · www.govinfo.gov/content/pkg/FR-2023-11-01/pdf/2023-24283.pdf · 확인 2026-11-12
  10. Executive Order 14148 Initial Rescissions of Harmful Executive Orders and Actions (DCPD-202500115) — U.S. GPO · 2025-01 · www.govinfo.gov/app/details/DCPD-202500115/ · 확인 2026-11-12
  11. Regulation (EU) 2024/1689 (Artificial Intelligence Act) Article 55 Obligations of providers of general-purpose AI models with systemic risk — European Commission AI Act Service Desk · 2024-07 · ai-act-service-desk.ec.europa.eu/en/ai-act/article-55 · 확인 2026-11-12
  12. Red-Teaming for Generative AI: Silver Bullet or Security Theater? (Feffer et al.) — arXiv · 2024-01 · arxiv.org/abs/2401.15897 · 확인 2026-11-12