가드레일Guardrails
LLM 애플리케이션의 입력 · 대화 흐름 · 검색 문서 · 도구 실행 · 출력을 서비스 정책과 대조해 통과 · 고침 · 막음 · 넘김을 정하는 실행 시점 통제 장치다. 모델 가중치를 바꾸지 않고 모델 앞뒤에서 동작한다.
1요약
- 가드레일은 LLM 앞뒤에 놓여 입력 · 대화 흐름 · 검색 문서 · 도구 실행 · 출력 다섯 위치에서 서비스 정책을 집행하는 실행 시점 통제 장치로, 공개 도구 NeMo Guardrails 가 이 다섯 위치를 「레일」로 나누며(NeMo Guardrails README) 고객 상담 · 사내 검색 · AI 에이전트가 그 위에서 돈다.
- 학습으로 다듬은 모델도 서비스마다 다른 금지 범위를 모르고, 정책을 바꿔 읽는 분류 모델조차 자기 정책 시험 세트의 AUPRC 0.945 가 다른 기준으로 만든 ToxicChat 에서는 0.626 으로 내려간다(Inan 2023 표 2) — 그래서 정책을 모델 밖 파일로 적어 서비스마다 집행한다.
- 「가드레일이 이상하다」는 막힌 것이 무엇이었나로 가른다 — 정상 요청이 막혔으면 과잉 거절(정책 문장 · 임계값), 위험 응답이 나갔으면 놓침(정책 범주 누락 · 레일 위치), 답이 늦거나 비었으면 레일 자체의 시간 초과 · 실패 처리다.
2등장 배경
2022년 말 대화형 LLM 서비스가 퍼지자 기업은 모델 하나를 상담 · 검색 · 코드 도우미에 함께 썼다. 모델은 일반적인 유해 답은 줄였지만, 「우리 상담 봇은 투자 조언을 하지 않는다」 · 「관리자 문서는 일반 직원에게 보이지 않는다」 같은 서비스별 규칙은 모델 가중치 안에 없었다.
2023년 10월 Rebedea 등은 대화 관리 방식의 실행기로 주제 제한 · 대화 흐름 · 말투를 모델과 독립적으로 정하는 NeMo Guardrails 를 내놓았다(Rebedea 2023). 같은 해 12월 Inan 등은 위험 범주 6개를 프롬프트로 받는 7B 분류 모델 Llama Guard 를 13,997건의 프롬프트 · 응답으로 학습해 입력과 출력을 따로 판정하게 했다(Inan 2023 2.1절 · 표 1). 2024년 4월 MLCommons 는 위험 분류 체계 13범주를 내놓았고(Vidgen 2024), 7월 NIST AI 600-1 은 「애플리케이션이 거절해야 할 질의의 기준」을 이용 정책에 적으라고 했다(GV-3.2-003).
지금은 레일 자체의 대가가 쟁점이다. Sharma 등은 3,000시간이 넘는 레드팀 시험을 견딘 분류기 방식이 실제 요청 거절률을 0.38%p 올리고 추론 비용을 23.7% 늘렸다고 보고했고(Sharma 2025), NIST 는 새 상황에서 운영할 때 가드레일을 정기적으로 다시 검토하라고 한다(MS-2.5-006).
3쉽게 이해하기 — 생방송 프로그램의 심의 데스크
생방송 토크 프로그램에서 출연자는 대본 없이 자유롭게 말한다. 제작진은 출연자를 바꾸지 않고, 그 둘레에 검사 담당을 세운다 — 시청자 문자를 고르는 담당, 진행 순서를 쥔 작가, 띄울 자료 화면을 검수하는 담당, 무대 장치 조작을 확인하는 담당, 그리고 몇 초 늦게 내보내는 송출 칸에서 문제 발언을 「삐」로 지우는 심의 담당. 이들은 모두 같은 방송 심의 규정집을 보고 판단한다.
그림 1 · 출연자는 그대로 두고, 같은 규정집을 보는 검사 담당 다섯이 들어오는 것 · 띄우는 것 · 움직이는 것 · 내보내는 것을 각각 붙잡는다.
그림 2 · 생방송도 LLM 응답도 만든 것과 내보내는 것 사이에 검사 단계를 두고, 문제 조각만 바꿔 나머지는 그대로 내보낸다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 심의 규정집 | 정책 | 위험 범주 · 허용 주제 · 형식 규칙 · 임계값을 한 곳에 적음 |
| 시청자 문자 선별 | 입력 레일 | 사용자 입력의 개인정보 가림 · 위험 요청 판정 |
| 작가 큐시트 | 대화 레일 | 허용 주제와 정해진 대화 흐름으로 이끔 · 밖이면 다른 흐름으로 넘김 |
| 자료 화면 검수 | 검색 레일 | RAG 로 가져온 문서 조각의 접근 등급 · 내용 확인 |
| 출연자 | LLM | 모델 자체는 바꾸지 않음 |
| 무대 장치 조작 확인 | 실행 레일 | 도구 호출 인수 · 결과를 허용 값과 대조 |
| 몇 초 지연 송출 | 출력 버퍼 · 출력 레일 | 화면에 내보내기 전 응답을 붙잡아 판정 |
| 「삐」 처리 | 판정 동작(고침 · 막음) | 문제 조각만 가리거나 거절 문구로 바꿈 |
⚠ 비유가 맞지 않는 곳: 사람 심의 담당은 농담과 위협을 맥락으로 가르지만 레일은 분류 점수로 판정해 정상 질문을 막는 과잉 거절이 생긴다. 또 방송 지연은 시간만 늦추지만 레일은 판정마다 모델을 한 번 더 부르므로 계산 비용이 든다(Sharma 2025 초록 = 추론 비용 23.7% 증가).
4구조 — 정책 하나 · 레일 다섯 · 판정 넷
가드레일은 정책 파일 하나와 그것을 읽는 레일 다섯, 그리고 레일마다 고르는 판정 동작 넷으로 이뤄진다. 레일 위치 다섯은 NeMo Guardrails 의 정의를 따른다 — 입력 레일은 사용자 입력에, 대화 레일은 LLM 에 프롬프트를 주는 방식에, 검색 레일은 RAG 로 가져온 조각에, 실행 레일은 도구 입출력에, 출력 레일은 LLM 출력에 적용된다(NeMo Guardrails README).
그림 3 · 정책은 한 파일이고 레일 다섯이 그것을 읽어 각자 위치에서 통과 · 고침 · 막음 · 넘김 하나를 고르며, LLM 은 어느 판정에도 관여하지 않는다.
| 요소 | 놓이는 곳 | 맡는 일 | 값 · 근거 |
|---|---|---|---|
| 정책 | 모델 밖 설정 파일 | 거절 기준 · 위험 범주 · 허용 주제 | 거절할 질의의 기준을 이용 정책에 적음(NIST AI 600-1 GV-3.2-003) · 위험 분류 체계 13범주(Vidgen 2024) |
| 입력 레일 | 사용자 입력 뒤 | 개인정보 가림 · 위험 요청 판정 | 입력 · 출력에 다른 지시문을 주는 분류(Inan 2023 2.1 · 3.1절) |
| 대화 레일 | 프롬프트를 만드는 곳 | 허용 주제 · 정해진 대화 흐름 | 주제 제한 · 대화 경로 · 말투(Rebedea 2023 초록) |
| 검색 레일 | RAG 조각 수집 뒤 | 접근 등급 · 조각 내용 | NeMo Guardrails README |
| 실행 레일 | 도구 호출 앞뒤 | 인수 · 결과 확인 | NeMo Guardrails README |
| 출력 레일 | 화면 전 | 안전 범주 · 출력 형식 판정 | 응답 분류 AUPRC 0.953(Inan 2023 표 2 · 자체 시험 세트) |
| 판정 동작 | 레일마다 | 통과 · 고침 · 막음 · 넘김 | 레일 실패 시 안전 쪽으로 떨어지게(NIST AI 600-1 MEASURE 2.6 「fail safely」) |
| 판정 기록 | 모든 레일 | 범주 · 점수 · 동작 · 처리 시간 | 정기 재검토의 근거(NIST AI 600-1 MS-2.5-006) |
🔑 정렬이 모델의 «성향»을 바꾼다면 가드레일은 서비스의 «규칙»을 집행한다 — 규칙은 서비스마다 다르므로 모델 안이 아니라 레일이 읽는 정책 파일에 둔다.
5동작 — 사내 IT 지원 도우미의 요청 한 건
사내 IT 지원 도우미가 「노트북 VPN 이 안 돼요. 연락은 제 휴대폰으로 주세요. 옆자리 동료 계정 잠금도 풀어 주세요」를 받는 사례다. 허용 주제 수 · 점수 · 조각 수는 설명용 가정 값이고, 임계값 0.5 는 그림 5 의 합성 평가에서 고른 값이다.
- 입력 레일(개인정보) — 메시지 안 휴대폰 번호 형식 1개를 규칙(정규식)으로 찾아 「[전화번호]」로 바꾼다 → 고침.
- 입력 레일(안전 분류) — 위험 범주 6개 기준 점수 0.04 가 임계값 0.5 보다 낮다 → 통과.
- 대화 레일(VPN) — 허용 주제 7개 중 「네트워크 접속」으로 0.88 점 분류되어, 정해진 흐름 「VPN 점검 3문항」으로 이끈다 → 통과.
- 대화 레일(계정) — 「다른 직원 계정 잠금 해제」는 허용 주제 밖이라 모델에 넘기지 않고 「본인 인증 뒤 담당자 접수」 흐름으로 돌린다 → 넘김.
- 검색 레일 — 사내 문서 조각 5개 중 접근 등급 「관리자 전용」 1개를 빼고 4개만 문맥으로 넣는다 → 고침.
- 출력 레일(형식) — LLM 이 낸 JSON 답의 우선순위 값 「긴급!!」이 허용 값(낮음 · 보통 · 높음) 밖이라 1회 다시 생성해 「보통」을 받는다 → 고침.
- 실행 레일 — 티켓 생성 호출 인수(범주 = 네트워크 · 우선순위 = 보통)가 허용 목록 안이다 → 통과 · 실행.
- 기록 — 판정 7건(통과 3 · 고침 3 · 넘김 1 · 막음 0) · LLM 호출 2회(생성 1 · 재생성 1)를 판정 기록에 남긴다.
그림 4 · 한 요청이 레일 다섯을 지나며 판정 7건을 받고, 막음 없이 고침 3건 · 넘김 1건으로 정상 답과 티켓이 나간다.
🔑 좋은 가드레일은 «막음»보다 «고침 · 넘김»을 많이 쓴다 — 요청 전체를 거절하면 정상인 VPN 질문까지 잃지만, 문제 조각만 가리고 허용 밖 부탁만 다른 흐름으로 돌리면 나머지 일은 끝까지 간다.
판정의 기준인 임계값은 정상 질문을 막는 과잉 거절과 위험 요청을 보내는 놓침을 맞바꾼다. 합성 평가 자료(정상 800건 · 경계 질문 100건 · 위험 100건 · numpy 2.4.3 · default_rng(0) · 직접 실행)에서 임계값을 0.4 → 0.5 → 0.6 으로 올리면 과잉 거절은 123 → 68 → 36건으로 줄고 놓침은 2 → 6 → 20건으로 는다. 0.5 에서 막힌 정상 68건 가운데 55건이 경계 질문이다.
그림 5 · 임계값을 올리면 과잉 거절은 줄고 놓침은 늘어, 0.5 에서는 과잉 거절 68건 중 55건이 경계 질문이므로 임계값보다 정책 문장을 먼저 고친다.
🔑 임계값 하나로는 두 실패를 함께 줄이지 못한다 — 과잉 거절이 경계 질문에 몰려 있으면 숫자를 내리기 전에 정책 문장과 허용 예시를 고쳐 분포 자체를 떼어 놓는다.
6비교 — 가드레일 구현 방식 다섯
| 기준 | 규칙 · 정규식 | 전용 분류 모델 | LLM 판정 | 형식 검증 | 대화 흐름 규칙 |
|---|---|---|---|---|---|
| 판단 근거 | 문자열 꼴 · 목록 | 학습한 위험 범주 | 프롬프트로 받은 정책 문장 | 스키마 · 허용 값 | 미리 정한 주제 · 대화 경로 |
| 잘 잡는 것 | 전화번호 · 계좌 형식 · 금칙어 | 학습 범주 안의 위험 표현 | 새 정책 범주 · 문맥 판단 | 필드 누락 · 범위 밖 값 | 주제 이탈 · 허용 밖 부탁 |
| 놓치는 것 | 꼴을 바꾼 표현 | 학습에 없던 범주 | 판정 모델 자체의 오류 | 형식 안의 틀린 내용 | 흐름에 없는 정상 요청 |
| 정책 바꿀 때 | 목록 수정 | 다시 학습 | 정책 문장만 수정 | 스키마 수정 | 흐름 정의 수정 |
| 공개 값 | — | 거절률 +0.38%p · 추론 비용 +23.7%(Sharma 2025) | 자체 정책 0.945 ↔ 다른 정책 0.626 AUPRC(Inan 2023 표 2) | 사례 6단계 재생성 1회(가정 값) | 주제 제한 · 대화 경로 · 말투(Rebedea 2023) |
분석개인정보 형식 · 출력 스키마처럼 꼴이 정해진 것은 규칙 · 형식 검증으로 먼저 거르고, 문맥이 필요한 위험 판정만 분류 모델이나 LLM 판정에 맡긴다. 근거는 표의 「정책 바꿀 때」 · 「공개 값」 행 — 모델 판정은 정책이 학습 · 시험 기준과 다르면 성능이 0.945 에서 0.626 으로 내려가고 호출마다 비용이 붙지만, 규칙은 비용 없이 결정적으로 동작한다(Inan 2023 표 2 · Sharma 2025 초록).
모델 가중치 안에서 성향을 바꾸는 방법은 AI 정렬, 레일이 실제로 막는지 공격 관점에서 시험하는 일은 레드팀, 레일이 막아야 할 대표 공격 하나는 프롬프트 인젝션이 맡는다.
7실무 진단 — 막힘 · 새어 나감 · 지연 가르기
분석이상이 보이면 판정 기록에서 «어느 레일이 어떤 동작을 골랐나»부터 찾고, 그다음 정책 범주 · 임계값 · 레일 실패 처리 순으로 좁힌다. 같은 증상도 레일이 막았으면 정책 · 임계값 문제이고, 기록이 없으면 레일이 그 요청을 보지 못한 위치 문제이기 때문이다(NeMo Guardrails README 레일 위치 정의).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 정상 질문이 거절 문구로 끝남 | 과잉 거절 | 입력 · 출력 레일 | 판정 기록의 범주 · 점수 · 막힌 요청 표본 50건 | 막힌 것이 경계 질문에 몰리면 정책 문장 · 허용 예시 보강(Cui 2024 과잉 거절 평가) |
| 2 | 위험한 답이 화면에 나감 | 정책 범주 누락 · 레일 위치 | 정책 · 출력 레일 | 정책 범주 목록 ↔ 위험 분류 체계 13범주 | 범주가 없으면 정책 결함 · 있으면 임계값(Vidgen 2024) |
| 3 | 답이 늦거나 빈 답이 나옴 | 레일 시간 초과 · 실패 처리 | 레일 실행 | 레일별 처리 시간 · 실패 시 동작 설정 | 레일이 실패해도 안전 쪽으로 떨어지는가(NIST AI 600-1 MEASURE 2.6) |
| 4 | 스트리밍 중 문장이 사라졌다 바뀜 | 조각 판정 뒤 회수 | 출력 레일 | 조각 크기 · 회수 기록 | 회수가 잦으면 조각을 키우거나 화면 표시를 판정 뒤로 |
| 5 | 모델 교체 뒤 거절률이 바뀜 | 정책 · 모델 조합 변화 | 운영 | 주간 거절률 · 고정 평가 세트 | 배포 상황이 바뀌면 가드레일 재검토(NIST AI 600-1 MS-2.5-006) |
1 · 2행은 서로 반대 방향의 실패라 한쪽만 보고 임계값을 움직이면 다른 쪽이 커지므로 같은 평가 세트로 둘을 함께 잰다. 3행은 실패 처리가 «통과»로 되어 있으면 레일이 꺼진 것과 같아, 시간 초과 때 막음 · 넘김으로 떨어지는지 먼저 본다.
8시험 대비
시험에서는 정의 · 구성 요소를 묻는 정의 · 특징형, 생성형 AI 서비스의 안전 대책을 묻는 구조 · 구성형이 나올 수 있다. 정의형은 «모델 가중치를 바꾸지 않는 실행 시점 통제»를 먼저 쓰고 정렬과의 차이(학습 안 ↔ 실행 시점)를 한 줄로 짚으며, 구성형은 정책 하나 · 레일 다섯 · 판정 넷을 그림으로 그린 뒤 과잉 거절과 놓침의 맞바꿈을 덧붙인다.
- 개요 — 정의 · 실행 시점 통제 · AI 정렬과 차이 · NIST AI 600-1 GV-3.2-003(거절 기준)
- 구조 — 그림 3 정책 · 레일 다섯(입력 · 대화 · 검색 · 실행 · 출력) · 판정 넷 + 요소 표
- 동작 — 그림 4 사례(가림 → 주제 흐름 · 넘김 → 조각 제외 → 형식 재생성 → 실행 확인 · 판정 7건)
- 구현 방식 — 비교표(규칙 · 분류 모델 · LLM 판정 · 형식 검증 · 대화 흐름)
- 운영 — 그림 5 임계값별 과잉 거절 · 놓침(0.5 = 68 · 6) · 실패 처리 · 정기 재검토(MS-2.5-006)
- 한계 · 발전 — 정책 불일치(0.945 → 0.626) · 비용(+23.7%) · 위험 분류 체계 표준(13범주)
꼭 쓸 키워드
입력 레일출력 레일대화 레일검색 레일실행 레일안전 분류 모델정책 범주과잉 거절임계값실패 처리
다른 답안과 차이를 내는 한 가지 — 「막는다」로 끝내지 않고 판정 동작을 통과 · 고침 · 막음 · 넘김 넷으로 나눈 뒤, 임계값 표(0.4 · 0.5 · 0.6)로 과잉 거절과 놓침이 맞바뀌는 숫자를 보여 운영 판단까지 쓴다.
9오해와 사실
- 오해가드레일을 켜면 모델이 안전해진다.사실모델 가중치는 그대로이고 레일은 확률 판정이라, 정책을 프롬프트로 받는 분류 모델도 다른 기준으로 만든 자료에서는 AUPRC 0.626 에 그친다(Inan 2023 표 2).
- 오해임계값을 낮출수록 안전하다.사실합성 평가에서 0.5 → 0.4 로 낮추면 놓침은 6 → 2건으로 줄지만 과잉 거절은 68 → 123건으로 늘어 정상 사용자가 막힌다(동작 절 그림 5).
- 오해가드레일은 출력 필터 하나다.사실NeMo Guardrails 는 입력 · 대화 · 검색 · 실행 · 출력 다섯 위치를 따로 두며, 검색 · 실행 레일이 없으면 문서 조각과 도구 호출은 검사 없이 지나간다(NeMo Guardrails README).
10핵심 정리
| 구분 | 놓이는 곳 | 보는 것 | 대표 방식 | 주로 고르는 동작 | 실패 꼴 |
|---|---|---|---|---|---|
| 정책 | 모델 밖 파일 | 위험 범주 · 허용 주제 · 임계값 | 범주 13(Vidgen 2024) · 거절 기준(GV-3.2-003) | — | 범주 누락 |
| 입력 레일 | 사용자 입력 뒤 | 개인정보 · 위험 요청 | 정규식 · 분류 모델 | 고침 · 막음 | 꼴 바꾼 표현 |
| 대화 레일 | 프롬프트 만들기 | 주제 · 대화 경로 | 대화 흐름 규칙 | 넘김 | 흐름 밖 정상 요청 |
| 검색 레일 | RAG 조각 뒤 | 접근 등급 · 조각 내용 | 등급 필터 · 분류 | 고침(제외) | 등급 없는 문서 |
| 실행 레일 | 도구 호출 앞뒤 | 인수 · 결과 | 허용 목록 · 스키마 | 막음 · 넘김 | 목록 안의 오용 |
| 출력 레일 | 화면 전 | 안전 범주 · 형식 | 분류 모델 · LLM 판정 · 스키마 | 고침(재생성 · 가림) | 형식 안의 틀린 내용 |
| 임계값 | 레일마다 | 점수 경계 | 평가 세트로 정함 | — | 과잉 거절 ↔ 놓침 |
11참고 문헌
- 먼저 볼 문헌
- ★ NeMo Guardrails: A Toolkit for Controllable and Safe LLM Applications with Programmable Rails (Rebedea et al. · EMNLP 2023 System Demonstrations) — 모델 학습과 분리된 실행 시점 레일의 설계 동기를 볼 때
- ★ NeMo Guardrails README (GitHub 저장소 · 레일 다섯 종류 정의) — 입력 · 대화 · 검색 · 실행 · 출력 레일의 위치 정의를 볼 때
- ★ Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations (Inan et al.) — 정책 범주를 프롬프트로 받는 입력 · 출력 분류 모델과 정책 불일치 성능(표 2)을 볼 때
- ★ Building Guardrails for Large Language Models (Dong et al. · ICML 2024) — 공개 가드레일 도구의 한계와 요구 사항 정의 · 검증 과제를 볼 때
- ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 거절 기준 정의(GV-3.2-003)와 가드레일 정기 검토(MS-2.5-006)를 볼 때
- 본문 근거
- Constitutional Classifiers: Defending against Universal Jailbreaks across Thousands of Hours of Red Teaming (Sharma et al.) — arXiv · 2025-01 ·
arxiv.org/abs/2501.18837· 확인 2026-11-12 - Introducing v0.5 of the AI Safety Benchmark from MLCommons (Vidgen et al.) — arXiv · 2024-04 ·
arxiv.org/abs/2404.12241· 확인 2026-11-12 - OR-Bench: An Over-Refusal Benchmark for Large Language Models (Cui et al. · ICML 2025) — arXiv · 2024-05 ·
arxiv.org/abs/2405.20947· 확인 2026-11-12 - NumPy Random Generator (numpy.random.default_rng · Generator.beta) — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12