AI › 신뢰할 수 있는 AI › 안전 · 보안

가드레일Guardrails

LLM 애플리케이션의 입력 · 대화 흐름 · 검색 문서 · 도구 실행 · 출력을 서비스 정책과 대조해 통과 · 고침 · 막음 · 넘김을 정하는 실행 시점 통제 장치다. 모델 가중치를 바꾸지 않고 모델 앞뒤에서 동작한다.

1요약

  1. 가드레일은 LLM 앞뒤에 놓여 입력 · 대화 흐름 · 검색 문서 · 도구 실행 · 출력 다섯 위치에서 서비스 정책을 집행하는 실행 시점 통제 장치로, 공개 도구 NeMo Guardrails 가 이 다섯 위치를 「레일」로 나누며(NeMo Guardrails README) 고객 상담 · 사내 검색 · AI 에이전트가 그 위에서 돈다.
  2. 학습으로 다듬은 모델도 서비스마다 다른 금지 범위를 모르고, 정책을 바꿔 읽는 분류 모델조차 자기 정책 시험 세트의 AUPRC 0.945 가 다른 기준으로 만든 ToxicChat 에서는 0.626 으로 내려간다(Inan 2023 표 2) — 그래서 정책을 모델 밖 파일로 적어 서비스마다 집행한다.
  3. 「가드레일이 이상하다」는 막힌 것이 무엇이었나로 가른다 — 정상 요청이 막혔으면 과잉 거절(정책 문장 · 임계값), 위험 응답이 나갔으면 놓침(정책 범주 누락 · 레일 위치), 답이 늦거나 비었으면 레일 자체의 시간 초과 · 실패 처리다.

2등장 배경

2022년 말 대화형 LLM 서비스가 퍼지자 기업은 모델 하나를 상담 · 검색 · 코드 도우미에 함께 썼다. 모델은 일반적인 유해 답은 줄였지만, 「우리 상담 봇은 투자 조언을 하지 않는다」 · 「관리자 문서는 일반 직원에게 보이지 않는다」 같은 서비스별 규칙은 모델 가중치 안에 없었다.

2023년 10월 Rebedea 등은 대화 관리 방식의 실행기로 주제 제한 · 대화 흐름 · 말투를 모델과 독립적으로 정하는 NeMo Guardrails 를 내놓았다(Rebedea 2023). 같은 해 12월 Inan 등은 위험 범주 6개를 프롬프트로 받는 7B 분류 모델 Llama Guard 를 13,997건의 프롬프트 · 응답으로 학습해 입력과 출력을 따로 판정하게 했다(Inan 2023 2.1절 · 표 1). 2024년 4월 MLCommons 는 위험 분류 체계 13범주를 내놓았고(Vidgen 2024), 7월 NIST AI 600-1 은 「애플리케이션이 거절해야 할 질의의 기준」을 이용 정책에 적으라고 했다(GV-3.2-003).

지금은 레일 자체의 대가가 쟁점이다. Sharma 등은 3,000시간이 넘는 레드팀 시험을 견딘 분류기 방식이 실제 요청 거절률을 0.38%p 올리고 추론 비용을 23.7% 늘렸다고 보고했고(Sharma 2025), NIST 는 새 상황에서 운영할 때 가드레일을 정기적으로 다시 검토하라고 한다(MS-2.5-006).

3쉽게 이해하기 — 생방송 프로그램의 심의 데스크

생방송 토크 프로그램에서 출연자는 대본 없이 자유롭게 말한다. 제작진은 출연자를 바꾸지 않고, 그 둘레에 검사 담당을 세운다 — 시청자 문자를 고르는 담당, 진행 순서를 쥔 작가, 띄울 자료 화면을 검수하는 담당, 무대 장치 조작을 확인하는 담당, 그리고 몇 초 늦게 내보내는 송출 칸에서 문제 발언을 「삐」로 지우는 심의 담당. 이들은 모두 같은 방송 심의 규정집을 보고 판단한다.

시청자 문자 들어오는 것 사연 선별 입력 레일 번호 가림 · 위험 문자 거름 작가 큐시트 진행 순서 정한 꼭지만 대화 레일 벗어난 주제는 다른 꼭지로 자료 화면 띄우는 것 미리 검수 검색 레일 공개 못 할 자료는 뺌 출연자 대본 없이 말함 생방송 발언 LLM 무대 장치 움직이는 것 조작 확인 실행 레일 송출 칸 몇 초 늦게 심의 · 「삐」 출력 레일 시청자 화면 나간 방송 송출된 말 응답 심의 규정집 모두 같은 규정 정책 1 2 3 4 5 6 번호 = 이야기 순서 · 배지 = 실제 기술 이름 · 점선 = 규정 참조 · 규정집은 다섯 검사 담당이 모두 본다

그림 1 · 출연자는 그대로 두고, 같은 규정집을 보는 검사 담당 다섯이 들어오는 것 · 띄우는 것 · 움직이는 것 · 내보내는 것을 각각 붙잡는다.

문자 선별들어온 사연을 고름
큐시트정한 꼭지로 이끎
자료 검수띄울 화면을 확인
생방송 발언출연자가 말함
지연 송출몇 초 붙잡아 둠
「삐」 처리문제 말만 지움
비유 — 생방송 지연 송출 날씨 소식 부적절한 말 다음 소식 지연 칸 — 몇 초 붙잡아 둠 심의 담당 — 규정과 대조 날씨 소식 「삐」 다음 소식 실제 실제 — 출력 레일 재접속 순서 관리자 암호 티켓 안내 출력 버퍼 — 토큰 조각을 모음 조각 = 40토큰(가정 값) 출력 레일 — 정책 범주와 대조 조각마다 점수 · 임계값 재접속 순서 [가림] 티켓 안내 같은 점 — 만든 것과 내보내는 것 사이에 검사 단계가 있고, 문제 조각만 바꾼다 다른 점 — 사람 심의는 맥락을 알지만 레일은 점수로 판정하고, 조각이 작을수록 빨리 보이는 대신 앞 조각이 먼저 나간 뒤에 문제를 알게 된다 그대로 나감 점선 = 문제 조각 굵은 테두리 = 바뀐 값 검사 단계(레일)

그림 2 · 생방송도 LLM 응답도 만든 것과 내보내는 것 사이에 검사 단계를 두고, 문제 조각만 바꿔 나머지는 그대로 내보낸다.

비유 속 역할실제 이름실제로 하는 일
심의 규정집정책위험 범주 · 허용 주제 · 형식 규칙 · 임계값을 한 곳에 적음
시청자 문자 선별입력 레일사용자 입력의 개인정보 가림 · 위험 요청 판정
작가 큐시트대화 레일허용 주제와 정해진 대화 흐름으로 이끔 · 밖이면 다른 흐름으로 넘김
자료 화면 검수검색 레일RAG 로 가져온 문서 조각의 접근 등급 · 내용 확인
출연자LLM모델 자체는 바꾸지 않음
무대 장치 조작 확인실행 레일도구 호출 인수 · 결과를 허용 값과 대조
몇 초 지연 송출출력 버퍼 · 출력 레일화면에 내보내기 전 응답을 붙잡아 판정
「삐」 처리판정 동작(고침 · 막음)문제 조각만 가리거나 거절 문구로 바꿈

⚠ 비유가 맞지 않는 곳: 사람 심의 담당은 농담과 위협을 맥락으로 가르지만 레일은 분류 점수로 판정해 정상 질문을 막는 과잉 거절이 생긴다. 또 방송 지연은 시간만 늦추지만 레일은 판정마다 모델을 한 번 더 부르므로 계산 비용이 든다(Sharma 2025 초록 = 추론 비용 23.7% 증가).

4구조 — 정책 하나 · 레일 다섯 · 판정 넷

가드레일은 정책 파일 하나와 그것을 읽는 레일 다섯, 그리고 레일마다 고르는 판정 동작 넷으로 이뤄진다. 레일 위치 다섯은 NeMo Guardrails 의 정의를 따른다 — 입력 레일은 사용자 입력에, 대화 레일은 LLM 에 프롬프트를 주는 방식에, 검색 레일은 RAG 로 가져온 조각에, 실행 레일은 도구 입출력에, 출력 레일은 LLM 출력에 적용된다(NeMo Guardrails README).

정책 — 위험 범주 · 허용 주제 · 형식 규칙 · 임계값 레일 다섯이 같은 파일을 읽는다 · 바꾸면 모델 학습 없이 바로 적용 사용자 입력 레일 가림 · 분류 대화 레일 주제 · 흐름 LLM 가중치 그대로 출력 레일 안전 · 형식 응답 문서 저장소 RAG 조각 검색 레일 등급 · 내용 실행 레일 인수 · 결과 도구 티켓 · 조회 아래 두 레일도 같은 정책을 읽음 판정 동작 넷 — 레일마다 하나를 고른다 통과 — 그대로 보냄 고침 — 가림 · 재생성 막음 — 거절 문구 넘김 — 사람 · 다른 흐름 레일(검증) 정책 · 모델 데이터 흐름 · 문서 사람 점선 = 정책 참조

그림 3 · 정책은 한 파일이고 레일 다섯이 그것을 읽어 각자 위치에서 통과 · 고침 · 막음 · 넘김 하나를 고르며, LLM 은 어느 판정에도 관여하지 않는다.

요소놓이는 곳맡는 일값 · 근거
정책모델 밖 설정 파일거절 기준 · 위험 범주 · 허용 주제거절할 질의의 기준을 이용 정책에 적음(NIST AI 600-1 GV-3.2-003) · 위험 분류 체계 13범주(Vidgen 2024)
입력 레일사용자 입력 뒤개인정보 가림 · 위험 요청 판정입력 · 출력에 다른 지시문을 주는 분류(Inan 2023 2.1 · 3.1절)
대화 레일프롬프트를 만드는 곳허용 주제 · 정해진 대화 흐름주제 제한 · 대화 경로 · 말투(Rebedea 2023 초록)
검색 레일RAG 조각 수집 뒤접근 등급 · 조각 내용NeMo Guardrails README
실행 레일도구 호출 앞뒤인수 · 결과 확인NeMo Guardrails README
출력 레일화면 전안전 범주 · 출력 형식 판정응답 분류 AUPRC 0.953(Inan 2023 표 2 · 자체 시험 세트)
판정 동작레일마다통과 · 고침 · 막음 · 넘김레일 실패 시 안전 쪽으로 떨어지게(NIST AI 600-1 MEASURE 2.6 「fail safely」)
판정 기록모든 레일범주 · 점수 · 동작 · 처리 시간정기 재검토의 근거(NIST AI 600-1 MS-2.5-006)

🔑 정렬이 모델의 «성향»을 바꾼다면 가드레일은 서비스의 «규칙»을 집행한다 — 규칙은 서비스마다 다르므로 모델 안이 아니라 레일이 읽는 정책 파일에 둔다.

5동작 — 사내 IT 지원 도우미의 요청 한 건

사내 IT 지원 도우미가 「노트북 VPN 이 안 돼요. 연락은 제 휴대폰으로 주세요. 옆자리 동료 계정 잠금도 풀어 주세요」를 받는 사례다. 허용 주제 수 · 점수 · 조각 수는 설명용 가정 값이고, 임계값 0.5 는 그림 5 의 합성 평가에서 고른 값이다.

  1. 입력 레일(개인정보) — 메시지 안 휴대폰 번호 형식 1개를 규칙(정규식)으로 찾아 「[전화번호]」로 바꾼다 → 고침.
  2. 입력 레일(안전 분류) — 위험 범주 6개 기준 점수 0.04 가 임계값 0.5 보다 낮다 → 통과.
  3. 대화 레일(VPN) — 허용 주제 7개 중 「네트워크 접속」으로 0.88 점 분류되어, 정해진 흐름 「VPN 점검 3문항」으로 이끈다 → 통과.
  4. 대화 레일(계정) — 「다른 직원 계정 잠금 해제」는 허용 주제 밖이라 모델에 넘기지 않고 「본인 인증 뒤 담당자 접수」 흐름으로 돌린다 → 넘김.
  5. 검색 레일 — 사내 문서 조각 5개 중 접근 등급 「관리자 전용」 1개를 빼고 4개만 문맥으로 넣는다 → 고침.
  6. 출력 레일(형식) — LLM 이 낸 JSON 답의 우선순위 값 「긴급!!」이 허용 값(낮음 · 보통 · 높음) 밖이라 1회 다시 생성해 「보통」을 받는다 → 고침.
  7. 실행 레일 — 티켓 생성 호출 인수(범주 = 네트워크 · 우선순위 = 보통)가 허용 목록 안이다 → 통과 · 실행.
  8. 기록 — 판정 7건(통과 3 · 고침 3 · 넘김 1 · 막음 0) · LLM 호출 2회(생성 1 · 재생성 1)를 판정 기록에 남긴다.
단계 · 레일 본 것 · 사례 값 판정 1 입력 · 개인정보 휴대폰 번호 형식 1개 → 「[전화번호]」 고침 2 입력 · 안전 분류 위험 범주 6개 점수 0.04 < 임계값 0.5 통과 3 대화 · VPN 「네트워크 접속」 0.88 → VPN 점검 3문항 흐름 통과 4 대화 · 계정 다른 직원 계정 = 허용 주제 밖 → 담당자 접수 넘김 5 검색 조각 5개 중 「관리자 전용」 1개 제외 → 4개 고침 6 출력 · 형식 우선순위 「긴급!!」 허용 밖 → 재생성 1회 → 「보통」 고침 7 실행 티켓 인수(네트워크 · 보통) 허용 목록 안 → 실행 통과 8 기록 판정 7건 = 통과 3 · 고침 3 · 넘김 1 · 막음 0 · LLM 호출 2회 통과 고침 넘김(사람 · 다른 흐름) 점수 · 개수 = 가정 값 · 굵은 테두리 = 합계

그림 4 · 한 요청이 레일 다섯을 지나며 판정 7건을 받고, 막음 없이 고침 3건 · 넘김 1건으로 정상 답과 티켓이 나간다.

🔑 좋은 가드레일은 «막음»보다 «고침 · 넘김»을 많이 쓴다 — 요청 전체를 거절하면 정상인 VPN 질문까지 잃지만, 문제 조각만 가리고 허용 밖 부탁만 다른 흐름으로 돌리면 나머지 일은 끝까지 간다.

판정의 기준인 임계값은 정상 질문을 막는 과잉 거절과 위험 요청을 보내는 놓침을 맞바꾼다. 합성 평가 자료(정상 800건 · 경계 질문 100건 · 위험 100건 · numpy 2.4.3 · default_rng(0) · 직접 실행)에서 임계값을 0.4 → 0.5 → 0.6 으로 올리면 과잉 거절은 123 → 68 → 36건으로 줄고 놓침은 2 → 6 → 20건으로 는다. 0.5 에서 막힌 정상 68건 가운데 55건이 경계 질문이다.

임계값과 두 실패 — 합성 평가(직접 실행) 0% 20% 40% 60% 80% 0.2 0.3 0.4 0.5 0.6 0.7 0.8 임계값(이 점수 이상이면 막음) 운영 0.5 과잉 거절 — 정상 900건 중 놓침 — 위험 100건 중 임계값 과잉 놓침 0.4 123 2 0.5 68 6 0.6 36 20 0.5 의 과잉 68건 중 55건 = 경계 질문 과잉 거절(정상 요청이 막힘) 놓침(위험 요청이 통과) 굵은 테두리 = 운영 값 건수 = 합성 데이터

그림 5 · 임계값을 올리면 과잉 거절은 줄고 놓침은 늘어, 0.5 에서는 과잉 거절 68건 중 55건이 경계 질문이므로 임계값보다 정책 문장을 먼저 고친다.

🔑 임계값 하나로는 두 실패를 함께 줄이지 못한다 — 과잉 거절이 경계 질문에 몰려 있으면 숫자를 내리기 전에 정책 문장과 허용 예시를 고쳐 분포 자체를 떼어 놓는다.

6비교 — 가드레일 구현 방식 다섯

기준규칙 · 정규식전용 분류 모델LLM 판정형식 검증대화 흐름 규칙
판단 근거문자열 꼴 · 목록학습한 위험 범주프롬프트로 받은 정책 문장스키마 · 허용 값미리 정한 주제 · 대화 경로
잘 잡는 것전화번호 · 계좌 형식 · 금칙어학습 범주 안의 위험 표현새 정책 범주 · 문맥 판단필드 누락 · 범위 밖 값주제 이탈 · 허용 밖 부탁
놓치는 것꼴을 바꾼 표현학습에 없던 범주판정 모델 자체의 오류형식 안의 틀린 내용흐름에 없는 정상 요청
정책 바꿀 때목록 수정다시 학습정책 문장만 수정스키마 수정흐름 정의 수정
공개 값—거절률 +0.38%p · 추론 비용 +23.7%(Sharma 2025)자체 정책 0.945 ↔ 다른 정책 0.626 AUPRC(Inan 2023 표 2)사례 6단계 재생성 1회(가정 값)주제 제한 · 대화 경로 · 말투(Rebedea 2023)

분석개인정보 형식 · 출력 스키마처럼 꼴이 정해진 것은 규칙 · 형식 검증으로 먼저 거르고, 문맥이 필요한 위험 판정만 분류 모델이나 LLM 판정에 맡긴다. 근거는 표의 「정책 바꿀 때」 · 「공개 값」 행 — 모델 판정은 정책이 학습 · 시험 기준과 다르면 성능이 0.945 에서 0.626 으로 내려가고 호출마다 비용이 붙지만, 규칙은 비용 없이 결정적으로 동작한다(Inan 2023 표 2 · Sharma 2025 초록).

모델 가중치 안에서 성향을 바꾸는 방법은 AI 정렬, 레일이 실제로 막는지 공격 관점에서 시험하는 일은 레드팀, 레일이 막아야 할 대표 공격 하나는 프롬프트 인젝션이 맡는다.

7실무 진단 — 막힘 · 새어 나감 · 지연 가르기

분석이상이 보이면 판정 기록에서 «어느 레일이 어떤 동작을 골랐나»부터 찾고, 그다음 정책 범주 · 임계값 · 레일 실패 처리 순으로 좁힌다. 같은 증상도 레일이 막았으면 정책 · 임계값 문제이고, 기록이 없으면 레일이 그 요청을 보지 못한 위치 문제이기 때문이다(NeMo Guardrails README 레일 위치 정의).

#증상의심 원인단계확인 자료판정 기준(근거)
1정상 질문이 거절 문구로 끝남과잉 거절입력 · 출력 레일판정 기록의 범주 · 점수 · 막힌 요청 표본 50건막힌 것이 경계 질문에 몰리면 정책 문장 · 허용 예시 보강(Cui 2024 과잉 거절 평가)
2위험한 답이 화면에 나감정책 범주 누락 · 레일 위치정책 · 출력 레일정책 범주 목록 ↔ 위험 분류 체계 13범주범주가 없으면 정책 결함 · 있으면 임계값(Vidgen 2024)
3답이 늦거나 빈 답이 나옴레일 시간 초과 · 실패 처리레일 실행레일별 처리 시간 · 실패 시 동작 설정레일이 실패해도 안전 쪽으로 떨어지는가(NIST AI 600-1 MEASURE 2.6)
4스트리밍 중 문장이 사라졌다 바뀜조각 판정 뒤 회수출력 레일조각 크기 · 회수 기록회수가 잦으면 조각을 키우거나 화면 표시를 판정 뒤로
5모델 교체 뒤 거절률이 바뀜정책 · 모델 조합 변화운영주간 거절률 · 고정 평가 세트배포 상황이 바뀌면 가드레일 재검토(NIST AI 600-1 MS-2.5-006)

1 · 2행은 서로 반대 방향의 실패라 한쪽만 보고 임계값을 움직이면 다른 쪽이 커지므로 같은 평가 세트로 둘을 함께 잰다. 3행은 실패 처리가 «통과»로 되어 있으면 레일이 꺼진 것과 같아, 시간 초과 때 막음 · 넘김으로 떨어지는지 먼저 본다.

8시험 대비

시험에서는 정의 · 구성 요소를 묻는 정의 · 특징형, 생성형 AI 서비스의 안전 대책을 묻는 구조 · 구성형이 나올 수 있다. 정의형은 «모델 가중치를 바꾸지 않는 실행 시점 통제»를 먼저 쓰고 정렬과의 차이(학습 안 ↔ 실행 시점)를 한 줄로 짚으며, 구성형은 정책 하나 · 레일 다섯 · 판정 넷을 그림으로 그린 뒤 과잉 거절과 놓침의 맞바꿈을 덧붙인다.

답안 목차
  1. 개요 — 정의 · 실행 시점 통제 · AI 정렬과 차이 · NIST AI 600-1 GV-3.2-003(거절 기준)
  2. 구조 — 그림 3 정책 · 레일 다섯(입력 · 대화 · 검색 · 실행 · 출력) · 판정 넷 + 요소 표
  3. 동작 — 그림 4 사례(가림 → 주제 흐름 · 넘김 → 조각 제외 → 형식 재생성 → 실행 확인 · 판정 7건)
  4. 구현 방식 — 비교표(규칙 · 분류 모델 · LLM 판정 · 형식 검증 · 대화 흐름)
  5. 운영 — 그림 5 임계값별 과잉 거절 · 놓침(0.5 = 68 · 6) · 실패 처리 · 정기 재검토(MS-2.5-006)
  6. 한계 · 발전 — 정책 불일치(0.945 → 0.626) · 비용(+23.7%) · 위험 분류 체계 표준(13범주)

꼭 쓸 키워드
입력 레일출력 레일대화 레일검색 레일실행 레일안전 분류 모델정책 범주과잉 거절임계값실패 처리

다른 답안과 차이를 내는 한 가지 — 「막는다」로 끝내지 않고 판정 동작을 통과 · 고침 · 막음 · 넘김 넷으로 나눈 뒤, 임계값 표(0.4 · 0.5 · 0.6)로 과잉 거절과 놓침이 맞바뀌는 숫자를 보여 운영 판단까지 쓴다.

9오해와 사실

  • 오해가드레일을 켜면 모델이 안전해진다.
    사실모델 가중치는 그대로이고 레일은 확률 판정이라, 정책을 프롬프트로 받는 분류 모델도 다른 기준으로 만든 자료에서는 AUPRC 0.626 에 그친다(Inan 2023 표 2).
  • 오해임계값을 낮출수록 안전하다.
    사실합성 평가에서 0.5 → 0.4 로 낮추면 놓침은 6 → 2건으로 줄지만 과잉 거절은 68 → 123건으로 늘어 정상 사용자가 막힌다(동작 절 그림 5).
  • 오해가드레일은 출력 필터 하나다.
    사실NeMo Guardrails 는 입력 · 대화 · 검색 · 실행 · 출력 다섯 위치를 따로 두며, 검색 · 실행 레일이 없으면 문서 조각과 도구 호출은 검사 없이 지나간다(NeMo Guardrails README).

10핵심 정리

구분놓이는 곳보는 것대표 방식주로 고르는 동작실패 꼴
정책모델 밖 파일위험 범주 · 허용 주제 · 임계값범주 13(Vidgen 2024) · 거절 기준(GV-3.2-003)—범주 누락
입력 레일사용자 입력 뒤개인정보 · 위험 요청정규식 · 분류 모델고침 · 막음꼴 바꾼 표현
대화 레일프롬프트 만들기주제 · 대화 경로대화 흐름 규칙넘김흐름 밖 정상 요청
검색 레일RAG 조각 뒤접근 등급 · 조각 내용등급 필터 · 분류고침(제외)등급 없는 문서
실행 레일도구 호출 앞뒤인수 · 결과허용 목록 · 스키마막음 · 넘김목록 안의 오용
출력 레일화면 전안전 범주 · 형식분류 모델 · LLM 판정 · 스키마고침(재생성 · 가림)형식 안의 틀린 내용
임계값레일마다점수 경계평가 세트로 정함—과잉 거절 ↔ 놓침

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails (Rebedea et al. · EMNLP 2023 System Demonstrations) — 모델 학습과 분리된 실행 시점 레일의 설계 동기를 볼 때
    arXiv · 2023-10 · arxiv.org/abs/2310.10501 · 확인 2026-11-12
  3. ★ NeMo Guardrails README (GitHub 저장소 · 레일 다섯 종류 정의) — 입력 · 대화 · 검색 · 실행 · 출력 레일의 위치 정의를 볼 때
    NVIDIA · 2026-11 · github.com/NVIDIA/NeMo-Guardrails · 확인 2026-11-12
  4. ★ Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al.) — 정책 범주를 프롬프트로 받는 입력 · 출력 분류 모델과 정책 불일치 성능(표 2)을 볼 때
    arXiv · 2023-12 · arxiv.org/abs/2312.06674 · 확인 2026-11-12
  5. ★ Building Guardrails for Large Language Models (Dong et al. · ICML 2024) — 공개 가드레일 도구의 한계와 요구 사항 정의 · 검증 과제를 볼 때
    arXiv · 2024-02 · arxiv.org/abs/2402.01822 · 확인 2026-11-12
  6. ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 거절 기준 정의(GV-3.2-003)와 가드레일 정기 검토(MS-2.5-006)를 볼 때
    NIST · 2024-07 · nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf · 확인 2026-11-12
  7. 본문 근거
  8. Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming (Sharma et al.) — arXiv · 2025-01 · arxiv.org/abs/2501.18837 · 확인 2026-11-12
  9. Introducing v0.5 of the AI Safety Benchmark from MLCommons (Vidgen et al.) — arXiv · 2024-04 · arxiv.org/abs/2404.12241 · 확인 2026-11-12
  10. OR-Bench: An Over-Refusal Benchmark for Large Language Models (Cui et al. · ICML 2025) — arXiv · 2024-05 · arxiv.org/abs/2405.20947 · 확인 2026-11-12
  11. NumPy Random Generator (numpy.random.default_rng · Generator.beta) — NumPy · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12