신뢰할 수 있는 AITrustworthy AI
AI 시스템이 법 · 윤리 · 사회의 요구에 맞게 동작하도록 유효성 · 안전 · 보안 · 설명 가능성 · 공정성 · 개인정보 보호 · 책임성 같은 신뢰성 요건을 정하고, 그 요건을 수명 주기 전체에서 재고 관리하는 체계다. 법 · 규제, 윤리 · 공정성, 설명 가능성, 안전 · 보안 네 하위 토픽으로 나뉜다.
1요약
- 신뢰할 수 있는 AI 는 NIST AI 100-1(2023)이 정한 신뢰성 특성 일곱(유효 · 신뢰성을 바탕으로 안전 · 보안 · 설명 가능성 · 공정성 등)을 뼈대로 삼는 체계로, 그 위에서 AI 기본법 · EU AI법 같은 법 의무와 공정성 지표 · XAI · 레드팀 같은 점검 수단이 돈다.
- 특성 하나만 맞춰서는 신뢰가 생기지 않는다 — 합성 응급 분류 사례에서 정확도 0.890 인 모델이 고령 중증 환자의 62% 를 놓쳤고, NIST 는 신뢰성이 «가장 약한 특성만큼만 강하다»고 적었다(NIST AI 100-1 3절).
- 「이 AI 를 믿어도 되나」는 어느 특성의 문제인가로 가른다 — 의무 · 근거 서류는 법 · 규제, 집단별 차이는 윤리 · 공정성, 판정 근거는 설명 가능성, 깨짐 · 악용은 안전 · 보안에서 찾는다.
2등장 배경
2010년대 중반 채용 · 신용 · 재범 예측 모델이 집단마다 다른 오류를 낸다는 보도와 연구가 이어지자, 정확도 하나로는 AI 를 내놓을 근거가 되지 않는다는 문제가 드러났다. 2019년 4월 EU 고위급 전문가 그룹은 신뢰할 수 있는 AI 를 합법 · 윤리 · 견고 세 요소와 사람의 감독 · 기술적 견고성 · 투명성 등 7가지 요건으로 정리했다(EU HLEG 지침).
2023년 1월 NIST 는 이를 위험 관리 틀로 바꿔 특성 일곱과 GOVERN · MAP · MEASURE · MANAGE 네 기능을 냈고(NIST AI 100-1), 2023년 12월 ISO/IEC 42001 이 AI 경영시스템 요구 사항을, 2024년 7월 NIST AI 600-1 이 생성형 AI 위험 목록을 더했다. 지금은 EU AI법(2024)과 한국 인공지능기본법(2026-01-22 시행 · 법 이름에 «신뢰 기반 조성»)이 이 요건 일부를 법 의무로 옮겼다.
3쉽게 이해하기 — 새 해열제가 약국에 놓이기까지
연구원 하늘은 새 해열제를 만들었다. 심사관은 임상시험으로 열이 정말 내리는지부터 보고, 노인 · 어린이에게도 듣는지, 부작용과 위조 포장은 없는지, 설명서에 언제 먹으면 안 되는지 적혔는지를 차례로 묻는다. 허가 규정을 통과해야 약국에 놓이고, 약을 먹은 환자의 부작용 신고는 점검 장부에 쌓여 다음 점검으로 돌아온다.
그림 1 · 새 약은 허가 규정 아래에서 네 가지 점검을 거쳐 환자에게 가고, 부작용 신고는 장부로 돌아온다.
그림 2 · 약효가 증명되지 않으면 기둥이 설 수 없듯 유효 · 신뢰성이 바닥이고, 장부처럼 책임 · 투명성은 모든 기둥에 걸친다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 새 해열제 | AI 시스템 | 모델 · 데이터 · 사용 맥락을 합친 점검 대상 |
| 임상시험 | 유효 · 신뢰성 | 정해진 용도에서 성능이 객관적 증거로 확인되는지 잰다 |
| 노인 · 어린이 시험 | 공정성 | 집단별 오류 차이를 잰다(공정성 지표 · 데이터 편향) |
| 부작용 · 위조 방지 | 안전 · 보안 | 해로운 출력 · 공격 · 오염을 막는다(가드레일 · 레드팀) |
| 설명서 | 설명 가능성 | 판정 근거와 쓰면 안 되는 조건을 적는다(XAI · 모델 카드) |
| 허가 규정 | 법 · 규제 | 용도별 의무를 정한다(AI 기본법 · EU AI법) |
| 점검 장부 | 책임 · 투명성 | 결정 · 기록 · 신고를 남겨 다음 점검으로 잇는다 |
⚠ 비유가 맞지 않는 곳: 약은 한 번 허가받으면 성분이 바뀌지 않지만, AI 는 데이터 분포가 바뀌면 같은 모델도 성능이 떨어지고, 생성형 AI 는 같은 입력에도 출력이 달라 출시 뒤 감시가 훨씬 무겁다.
4구조 — 네 하위 토픽과 신뢰성 특성의 대응
넷은 같은 시스템을 다른 질문으로 본다. 법 · 규제는 «무엇을 해야 하나», 윤리 · 공정성은 «누구에게 불리한가», 설명 가능성은 «왜 그렇게 판정했나», 안전 · 보안은 «깨지거나 악용되면 어떻게 되나»를 묻고, 그 답을 묶는 관리 틀이 NIST AI RMF 네 기능과 ISO/IEC 42001 이다.
그림 3 · 네 하위 토픽은 묻는 질문과 맡는 신뢰성 특성이 다르고, 관리 체계 하나가 넷을 한 수명 주기로 묶는다.
| 하위 토픽 | 묻는 질문 | 대표 토픽 | NIST 특성(3절) | 대표 근거 문서 |
|---|---|---|---|---|
| 법 · 규제 | 어떤 의무 · 서류가 필요한가 | AI 기본법 · EU AI법 · 고위험 AI · AI와 개인정보 · AI와 저작권 | 책임 · 투명(3.4) · 개인정보(3.6) | 인공지능기본법 · EU 2024/1689 |
| 윤리 · 공정성 | 어느 집단이 더 자주 틀리나 | AI 윤리 원칙 · 데이터 편향 · 공정성 지표 · 딥페이크 · AI 생성물 표시 | 공정성(3.7) | OECD · UNESCO 권고 · NIST SP 1270 |
| 설명 가능성 | 판정 근거를 보일 수 있나 | 설명 가능한 AI(XAI) · SHAP · LIME · 모델 카드 | 설명 · 해석(3.5) | NIST IR 8312 · Mitchell 2019 |
| 안전 · 보안 | 해로운 출력 · 공격에 견디나 | 할루시네이션 · 가드레일 · 프롬프트 인젝션 · 적대적 공격 · 데이터 오염 · 레드팀 · AI 정렬 | 안전(3.2) · 보안 · 회복력(3.3) | NIST AI 100-2 · NIST AI 600-1 |
🔑 네 하위 토픽은 «다른 위험»이 아니라 «같은 시스템을 보는 네 질문»이다 — 한 사례의 수치가 넷 모두에 걸린다.
5동작 — 응급 환자 분류 보조 모델 한 건
응급실 중증도 분류를 돕는 모델을 합성 데이터 6,000건(시드 0 · 테스트 1,200건 · 중증 196건)으로 직접 실행해 네 하위 토픽을 차례로 거쳤다. 환자 수 · 기록 편향 비율은 설명용 가정 값이다.
- 분류 — 용도 문구가 EU AI법 부속서 III 5(d) 의 «응급 환자 분류 시스템»과 겹쳐 고위험 검토 대상으로 둔다(판정은 법무 몫 · 자세한 의무는 고위험 AI · EU AI법 토픽).
- 데이터 — 과거 기록에서 고령 중증의 30% 가 비중증으로 적혀 있다(가정) — 고령 중증 기록이 실제의 69.7% 만 남았다.
- 평가 — 기록 그대로 학습한 모델 A 는 정확도 0.890 이지만 중증 민감도가 비고령 0.531 · 고령 0.378, 차이 0.153 이다.
- 설명 — 순열 중요도는 SpO2(0.095) · 호흡수(0.032) 순이고, 「구급차 도착」 특징 가중치가 1.23 으로 커서 비고령 중증과 엮인 대리 특징임을 찾는다.
- 시험 — SpO2 에 표준편차 1 %p 잡음을 넣으면 판정의 4.2% 가 바뀐다.
- 고침 — 레이블을 감사한 모델 B 는 차이가 0.102 로 줄고, 구급차 특징을 빼고 검증 세트 민감도 0.90 이 되는 임계 0.100 을 고른 모델 C 는 민감도 0.878 · 0.918 이 되지만 정확도 0.802 · 중증 표시 32.8% · 잡음 판정 바뀜 8.0% 를 치른다.
그림 4 · 한 모델이 분류 → 데이터 → 평가 → 설명 → 시험 → 고침 순으로 네 하위 토픽을 모두 지나며, 각 단계의 수치가 다음 단계의 근거가 된다.
그림 5 · 놓치는 중증을 줄이자 정확도와 잡음 내성이 내려갔다 — 신뢰성 특성은 함께 오르지 않고 맞바꿔 고른다.
🔑 신뢰성은 지표 하나를 올리는 일이 아니라 맞바꿈을 «보이게 고르는» 일이다 — 모델 C 가 정확도 0.088 을 내준 대가로 고령 중증 놓침을 62.2% 에서 8.2% 로 줄였다는 것을 기록에 남겨야 한다(NIST AI 100-1 3절).
6비교 — 관련 기술과의 경계
| 기술 | 맡는 일 | 신뢰할 수 있는 AI 와의 경계 | 넘기는 곳 |
|---|---|---|---|
| 인공지능 개요 | 학습 원리 · 신경망 · 알고리즘 | 모델이 «어떻게 배우나»까지 · 배운 결과를 믿을지는 여기 | 과적합 · 성능 지표 |
| 생성형 AI | LLM · RAG · 도구 호출 · 멀티모달 | 생성 기능을 만듦 · 환각 · 인젝션 같은 생성 위험은 여기 | 할루시네이션 · 프롬프트 인젝션 |
| AI 엔지니어링 | 데이터 준비 · MLOps · 경량화 · 서빙 | 감시 · 배포 «도구»를 운영 · 무엇을 감시할지 기준은 여기 | 모델 모니터링 · 드리프트 |
| 산업 AI 응용 | 이상 탐지 · 예지 보전 · 비전 검사 | 현장 문제를 풂 · 현장 모델의 점검 틀은 여기 | 모델 카드 · 공정성 지표 |
분석질문이 «무엇을 만들고 어떻게 돌리나»면 관련 기술로, «내놓아도 되는가 · 누가 책임지나»면 신뢰할 수 있는 AI 로 보낸다. 근거는 표의 「경계」 열 — NIST AI 100-1 도 신뢰성 특성을 기술 속성이 아닌 사회 · 기술 시스템 속성으로 적는다(3절).
7실무 진단 — 신뢰 문제의 원인 가르기
분석법 · 규제 분류부터 확인하고, 다음에 집단별 지표, 마지막에 설명 · 강건성을 본다. 분류가 의무 서류와 점검 깊이를 정하므로(NIST GOVERN 1.1), 분류 없이 지표를 먼저 고치면 같은 점검을 다시 하게 된다.
| # | 증상 | 의심 원인 | 맡는 쪽 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 출시 직전 「어떤 서류가 필요하냐」는 질문이 나옴 | 용도 분류를 안 함 | 법 · 규제 | 용도 문구 ↔ 부속서 III · 고영향 정의 대조 | 겹치는 문구가 있으면 법무 검토로 넘김(EU 2024/1689 부속서 III) |
| 2 | 전체 정확도는 높은데 특정 집단 민원이 몰림 | 레이블 편향 · 대리 특징 | 윤리 · 공정성 | 집단별 민감도 · 선발률 표 | 차이 기준을 사람이 미리 정함(NIST AI 100-1 3절) |
| 3 | 판정 이유를 물으면 답을 못 함 | 근거 기록 없음 | 설명 가능성 | 특징 중요도 · 모델 카드 | 범위 밖 사용 · 한계가 문서에 있는가(MEASURE 2.9) |
| 4 | 입력이 조금 흔들려도 판정이 뒤집힘 | 임계 근처 표본 다수 · 잡음 | 안전 · 보안 | 잡음 · 섭동 시험의 판정 바뀜 비율 | 정한 허용 비율 이하인가(MEASURE 2.6 · 2.7) |
사례의 모델 A 는 2 · 4행, 모델 C 는 4행이 다시 커졌다 — 한 행을 고치면 다른 행을 다시 잰다.
8시험 대비
www.q-net.or.kr시험에서는 신뢰할 수 있는 AI 의 정의와 신뢰성 요건을 나열하는 정의 · 특징형, 그리고 EU · 미국 · 한국의 접근을 견주며 앞으로의 과제를 쓰는 동향 · 발전형이 나올 수 있다. 요건 나열에 그치지 않고 요건 사이 맞바꿈을 수치로 보이면 답안이 달라진다.
- 개요 — 정의 · EU HLEG 2019(합법 · 윤리 · 견고) · NIST AI 100-1(2023) · ISO/IEC 42001(2023)
- 신뢰성 요건 — 그림 3 하위 토픽 지도 + 특성 일곱(유효 · 신뢰 바탕 · 책임 · 투명 걸침) 표
- 관리 체계 — GOVERN · MAP · MEASURE · MANAGE 와 수명 주기 · AI 경영시스템
- 적용 흐름 — 그림 4 사례(분류 → 데이터 → 평가 → 설명 → 시험 → 고침)
- 요건 사이 맞바꿈 — 그림 5(정확도 0.890 → 0.802 · 고령 민감도 0.378 → 0.918)
- 동향 — EU AI법 · 인공지능기본법(2026-01-22 시행) · 생성형 AI 위험(NIST AI 600-1)
꼭 쓸 키워드
신뢰성 특성유효신뢰성책임투명성설명 가능성공정성안전보안회복력AI RMFAI 경영시스템고위험 AI맞바꿈
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 요건 하나를 올릴 때 다른 요건이 얼마나 내려가는지를 숫자로 보이는 것이다.
9오해와 사실
- 오해정확도가 높으면 믿을 수 있는 AI 다.사실사례의 모델 A 는 정확도 0.890 이면서 고령 중증의 62.2% 를 놓쳤고, NIST 는 유효 · 신뢰성을 필요조건으로만 둔다(NIST AI 100-1 그림 4).
- 오해신뢰할 수 있는 AI 는 윤리 원칙을 지키는 것과 같은 말이다.사실윤리 원칙은 네 하위 토픽 가운데 윤리 · 공정성에 속하고, 법 의무 · 설명 문서 · 보안 시험과 그것을 묶는 관리 체계(GOVERN · MAP · MEASURE · MANAGE)까지 있어야 한다.
- 오해모든 요건을 동시에 최대로 맞출 수 있다.사실NIST 는 해석 가능성 ↔ 개인정보 · 정확도 ↔ 해석 가능성 같은 맞바꿈을 예로 들고(3절), 사례에서도 민감도를 올리자 정확도 · 잡음 내성이 내려갔다.
10핵심 정리
| 구분 | 맡는 질문 | NIST 특성 | 대표 수단 | 사례 값 | 흔한 실패 |
|---|---|---|---|---|---|
| 유효 · 신뢰성 | 용도에서 성능이 증명되나 | 3.1(바탕) | 테스트 · 검증 | 정확도 0.890 | 정확도만 보고 출시 |
| 법 · 규제 | 어떤 의무가 붙나 | 3.4 · 3.6 | 용도 분류 · 문서 | 부속서 III 5(d) | 분류 없이 개발 |
| 윤리 · 공정성 | 누구에게 불리한가 | 3.7 | 집단별 지표 | 민감도 차이 0.153 | 레이블 편향 방치 |
| 설명 가능성 | 근거를 보일 수 있나 | 3.5 | 중요도 · 모델 카드 | 구급차 가중치 1.23 | 대리 특징 놓침 |
| 안전 · 보안 | 흔들리거나 공격받으면 | 3.2 · 3.3 | 잡음 · 레드팀 시험 | 판정 바뀜 4.2% → 8.0% | 고친 뒤 재시험 안 함 |
| 관리 체계 | 누가 고르고 기록하나 | 3.4(걸침) | AI RMF · ISO/IEC 42001 | 정확도 0.088 내줌 기록 | 맞바꿈을 숨김 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST AI 100-1 Artificial Intelligence Risk Management Framework (AI RMF 1.0) — 신뢰성 특성 일곱과 특성 사이의 맞바꿈(3절)을 볼 때
- ★ Ethics Guidelines for Trustworthy AI (High-Level Expert Group on Artificial Intelligence) — 합법 · 윤리 · 견고 세 요소와 7가지 요건을 볼 때
- ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 생성형 AI 에 맞춘 위험 목록과 조치를 볼 때
- ★ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제20676호 · 2025-01-21 제정 · 2026-01-22 시행) — 국내 법이 정한 신뢰 기반 조성 의무의 원문을 볼 때
- 본문 근거
- Regulation (EU) 2024/1689 (Artificial Intelligence Act) Annex III point 5(d) · AI Act Service Desk 통합 본문 — European Commission · 2024-07 ·
ai-act-service-desk.ec.europa.eu/en/ai-act/annex-3· 확인 2026-11-13 - ISO/IEC 42001:2023 Information technology - Artificial intelligence - Management system — ISO/IEC JTC 1/SC 42 · 2023-12 ·
www.iso.org/standard/42001· 확인 2026-11-13 - NumPy Random Generator 문서(default_rng) — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-13