AI

신뢰할 수 있는 AITrustworthy AI

AI 시스템이 법 · 윤리 · 사회의 요구에 맞게 동작하도록 유효성 · 안전 · 보안 · 설명 가능성 · 공정성 · 개인정보 보호 · 책임성 같은 신뢰성 요건을 정하고, 그 요건을 수명 주기 전체에서 재고 관리하는 체계다. 법 · 규제, 윤리 · 공정성, 설명 가능성, 안전 · 보안 네 하위 토픽으로 나뉜다.

1요약

  1. 신뢰할 수 있는 AI 는 NIST AI 100-1(2023)이 정한 신뢰성 특성 일곱(유효 · 신뢰성을 바탕으로 안전 · 보안 · 설명 가능성 · 공정성 등)을 뼈대로 삼는 체계로, 그 위에서 AI 기본법 · EU AI법 같은 법 의무와 공정성 지표 · XAI · 레드팀 같은 점검 수단이 돈다.
  2. 특성 하나만 맞춰서는 신뢰가 생기지 않는다 — 합성 응급 분류 사례에서 정확도 0.890 인 모델이 고령 중증 환자의 62% 를 놓쳤고, NIST 는 신뢰성이 «가장 약한 특성만큼만 강하다»고 적었다(NIST AI 100-1 3절).
  3. 「이 AI 를 믿어도 되나」는 어느 특성의 문제인가로 가른다 — 의무 · 근거 서류는 법 · 규제, 집단별 차이는 윤리 · 공정성, 판정 근거는 설명 가능성, 깨짐 · 악용은 안전 · 보안에서 찾는다.

2등장 배경

2010년대 중반 채용 · 신용 · 재범 예측 모델이 집단마다 다른 오류를 낸다는 보도와 연구가 이어지자, 정확도 하나로는 AI 를 내놓을 근거가 되지 않는다는 문제가 드러났다. 2019년 4월 EU 고위급 전문가 그룹은 신뢰할 수 있는 AI 를 합법 · 윤리 · 견고 세 요소와 사람의 감독 · 기술적 견고성 · 투명성 등 7가지 요건으로 정리했다(EU HLEG 지침).

2023년 1월 NIST 는 이를 위험 관리 틀로 바꿔 특성 일곱과 GOVERN · MAP · MEASURE · MANAGE 네 기능을 냈고(NIST AI 100-1), 2023년 12월 ISO/IEC 42001 이 AI 경영시스템 요구 사항을, 2024년 7월 NIST AI 600-1 이 생성형 AI 위험 목록을 더했다. 지금은 EU AI법(2024)과 한국 인공지능기본법(2026-01-22 시행 · 법 이름에 «신뢰 기반 조성»)이 이 요건 일부를 법 의무로 옮겼다.

3쉽게 이해하기 — 새 해열제가 약국에 놓이기까지

연구원 하늘은 새 해열제를 만들었다. 심사관은 임상시험으로 열이 정말 내리는지부터 보고, 노인 · 어린이에게도 듣는지, 부작용과 위조 포장은 없는지, 설명서에 언제 먹으면 안 되는지 적혔는지를 차례로 묻는다. 허가 규정을 통과해야 약국에 놓이고, 약을 먹은 환자의 부작용 신고는 점검 장부에 쌓여 다음 점검으로 돌아온다.

허가 규정 법 · 규제 연구원 하늘 새 해열제 AI 모델 · 시스템 1 심사관의 네 점검 2 임상시험 정말 듣나 유효 · 신뢰 노인 · 어린이 누구에게나 공정성 부작용 · 위조 해 · 공격 막기 안전 · 보안 설명서 왜 · 언제 듣나 설명 가능성 점검 장부 책임 · 투명성 3 환자들 약을 먹는 사람 영향받는 사람 4 부작용 신고 모델 평가 · 검증 위험 막기 사람 · 사회 요구 기록

그림 1 · 새 약은 허가 규정 아래에서 네 가지 점검을 거쳐 환자에게 가고, 부작용 신고는 장부로 돌아온다.

약 만들기연구원이 새 해열제를 만듦
임상시험열이 정말 내리나
모두에게노인 · 어린이도 듣나
부작용 · 위조해와 가짜를 막나
설명서언제 먹으면 안 되나
허가규정을 통과하면 약국에
부작용 신고장부에 쌓여 다음 점검으로
비유 — 약 한 알을 받치는 것 실제 — 신뢰성 특성 일곱 점 검 장 부 부작용 없음 위조 방지 설명서 환자 비밀 모두 에게 약효 — 임상으로 증명 책 임 · 투 명 안전 3.2 보안 회복력 3.3 설명 해석 3.5 개인 정보 3.6 공정성 3.7 유효 · 신뢰성(3.1) 기둥 하나가 낮으면 약 전체가 그만큼만 믿을 만하다 가장 약한 특성만큼만 강하다(NIST AI 100-1 3절) 바닥 = 검증 기둥 = 함께 맞출 특성 걸침 = 책임 · 기록

그림 2 · 약효가 증명되지 않으면 기둥이 설 수 없듯 유효 · 신뢰성이 바닥이고, 장부처럼 책임 · 투명성은 모든 기둥에 걸친다.

비유 속 역할실제 이름실제로 하는 일
새 해열제AI 시스템모델 · 데이터 · 사용 맥락을 합친 점검 대상
임상시험유효 · 신뢰성정해진 용도에서 성능이 객관적 증거로 확인되는지 잰다
노인 · 어린이 시험공정성집단별 오류 차이를 잰다(공정성 지표 · 데이터 편향)
부작용 · 위조 방지안전 · 보안해로운 출력 · 공격 · 오염을 막는다(가드레일 · 레드팀)
설명서설명 가능성판정 근거와 쓰면 안 되는 조건을 적는다(XAI · 모델 카드)
허가 규정법 · 규제용도별 의무를 정한다(AI 기본법 · EU AI법)
점검 장부책임 · 투명성결정 · 기록 · 신고를 남겨 다음 점검으로 잇는다

⚠ 비유가 맞지 않는 곳: 약은 한 번 허가받으면 성분이 바뀌지 않지만, AI 는 데이터 분포가 바뀌면 같은 모델도 성능이 떨어지고, 생성형 AI 는 같은 입력에도 출력이 달라 출시 뒤 감시가 훨씬 무겁다.

4구조 — 네 하위 토픽과 신뢰성 특성의 대응

넷은 같은 시스템을 다른 질문으로 본다. 법 · 규제는 «무엇을 해야 하나», 윤리 · 공정성은 «누구에게 불리한가», 설명 가능성은 «왜 그렇게 판정했나», 안전 · 보안은 «깨지거나 악용되면 어떻게 되나»를 묻고, 그 답을 묶는 관리 틀이 NIST AI RMF 네 기능과 ISO/IEC 42001 이다.

신뢰할 수 있는 AI — 바탕 = 유효 · 신뢰성(정해진 용도에서 성능 증명) 법 · 규제 무엇을 해야 하나 AI 기본법 EU AI법 고위험 AI AI와 개인정보 AI와 저작권 책임 · 투명 · 개인정보 윤리 · 공정성 누구에게 불리한가 AI 윤리 원칙 데이터 편향 공정성 지표 딥페이크 AI 생성물 표시 공정성 설명 가능성 왜 그렇게 판정했나 설명 가능한 AI(XAI) SHAP LIME 모델 카드 설명 · 해석 안전 · 보안 깨지거나 악용되면 할루시네이션 가드레일 프롬프트 인젝션 적대적 공격 데이터 오염 레드팀 AI 정렬 안전 · 보안 · 회복력 관리 체계 — GOVERN(전체에 걸침) · MAP · MEASURE · MANAGE · ISO/IEC 42001 AI 경영시스템 사회 요구 평가 · 검증 모델 들여다보기 위험 막기 아래 띠 = 넷 공통

그림 3 · 네 하위 토픽은 묻는 질문과 맡는 신뢰성 특성이 다르고, 관리 체계 하나가 넷을 한 수명 주기로 묶는다.

하위 토픽묻는 질문대표 토픽NIST 특성(3절)대표 근거 문서
법 · 규제어떤 의무 · 서류가 필요한가AI 기본법 · EU AI법 · 고위험 AI · AI와 개인정보 · AI와 저작권책임 · 투명(3.4) · 개인정보(3.6)인공지능기본법 · EU 2024/1689
윤리 · 공정성어느 집단이 더 자주 틀리나AI 윤리 원칙 · 데이터 편향 · 공정성 지표 · 딥페이크 · AI 생성물 표시공정성(3.7)OECD · UNESCO 권고 · NIST SP 1270
설명 가능성판정 근거를 보일 수 있나설명 가능한 AI(XAI) · SHAP · LIME · 모델 카드설명 · 해석(3.5)NIST IR 8312 · Mitchell 2019
안전 · 보안해로운 출력 · 공격에 견디나할루시네이션 · 가드레일 · 프롬프트 인젝션 · 적대적 공격 · 데이터 오염 · 레드팀 · AI 정렬안전(3.2) · 보안 · 회복력(3.3)NIST AI 100-2 · NIST AI 600-1

🔑 네 하위 토픽은 «다른 위험»이 아니라 «같은 시스템을 보는 네 질문»이다 — 한 사례의 수치가 넷 모두에 걸린다.

5동작 — 응급 환자 분류 보조 모델 한 건

응급실 중증도 분류를 돕는 모델을 합성 데이터 6,000건(시드 0 · 테스트 1,200건 · 중증 196건)으로 직접 실행해 네 하위 토픽을 차례로 거쳤다. 환자 수 · 기록 편향 비율은 설명용 가정 값이다.

  1. 분류 — 용도 문구가 EU AI법 부속서 III 5(d) 의 «응급 환자 분류 시스템»과 겹쳐 고위험 검토 대상으로 둔다(판정은 법무 몫 · 자세한 의무는 고위험 AI · EU AI법 토픽).
  2. 데이터 — 과거 기록에서 고령 중증의 30% 가 비중증으로 적혀 있다(가정) — 고령 중증 기록이 실제의 69.7% 만 남았다.
  3. 평가 — 기록 그대로 학습한 모델 A 는 정확도 0.890 이지만 중증 민감도가 비고령 0.531 · 고령 0.378, 차이 0.153 이다.
  4. 설명 — 순열 중요도는 SpO2(0.095) · 호흡수(0.032) 순이고, 「구급차 도착」 특징 가중치가 1.23 으로 커서 비고령 중증과 엮인 대리 특징임을 찾는다.
  5. 시험 — SpO2 에 표준편차 1 %p 잡음을 넣으면 판정의 4.2% 가 바뀐다.
  6. 고침 — 레이블을 감사한 모델 B 는 차이가 0.102 로 줄고, 구급차 특징을 빼고 검증 세트 민감도 0.90 이 되는 임계 0.100 을 고른 모델 C 는 민감도 0.878 · 0.918 이 되지만 정확도 0.802 · 중증 표시 32.8% · 잡음 판정 바뀜 8.0% 를 치른다.
1 분류 · 법 · 규제 용도 = 응급 환자 분류 보조 부속서 III 5(d) 문구와 겹침 → 고위험 검토 대상 2 데이터 · 윤리 · 공정성 과거 기록 6,000건 고령 중증 30% 비중증 기록 설명용 가정 값 3 평가 · 모델 A 정확도 0.890 민감도 비고령 0.531 고령 0.378 · 차이 0.153 4 설명 · 설명 가능성 순열 중요도 1위 SpO2 구급차 도착 가중치 1.23 → 대리 특징 5 시험 · 안전 · 보안 SpO2 잡음 표준편차 1 %p 판정 4.2% 바뀜 테스트 1,200건 기준 6 고침 · 모델 C 감사 · 구급차 뺌 · 임계 0.100 민감도 0.878 · 0.918 정확도 0.802 · 표시 32.8% 법 · 규제 윤리 · 공정성 설명 가능성 안전 · 보안 고침 · 운영(관리 체계)

그림 4 · 한 모델이 분류 → 데이터 → 평가 → 설명 → 시험 → 고침 순으로 네 하위 토픽을 모두 지나며, 각 단계의 수치가 다음 단계의 근거가 된다.

세 모델의 신뢰성 지표 — 테스트 1,200건 · 직접 실행(합성 데이터) 0 0.5 1 .890 .897 .802 정확도 .531 .602 .878 민감도 · 비고령 .378 .500 .918 민감도 · 고령 .042 .043 .080 잡음에 판정 바뀜 .095 .119 .328 중증 표시 비율 C = 놓침은 줄고 정확도 · 잡음 내성은 내려감 A 기록 그대로 B 레이블 감사 C 감사 + 구급차 뺌 + 임계 .100 값 앞 0 생략(.890 = 0.890)

그림 5 · 놓치는 중증을 줄이자 정확도와 잡음 내성이 내려갔다 — 신뢰성 특성은 함께 오르지 않고 맞바꿔 고른다.

🔑 신뢰성은 지표 하나를 올리는 일이 아니라 맞바꿈을 «보이게 고르는» 일이다 — 모델 C 가 정확도 0.088 을 내준 대가로 고령 중증 놓침을 62.2% 에서 8.2% 로 줄였다는 것을 기록에 남겨야 한다(NIST AI 100-1 3절).

6비교 — 관련 기술과의 경계

기술맡는 일신뢰할 수 있는 AI 와의 경계넘기는 곳
인공지능 개요학습 원리 · 신경망 · 알고리즘모델이 «어떻게 배우나»까지 · 배운 결과를 믿을지는 여기과적합 · 성능 지표
생성형 AILLM · RAG · 도구 호출 · 멀티모달생성 기능을 만듦 · 환각 · 인젝션 같은 생성 위험은 여기할루시네이션 · 프롬프트 인젝션
AI 엔지니어링데이터 준비 · MLOps · 경량화 · 서빙감시 · 배포 «도구»를 운영 · 무엇을 감시할지 기준은 여기모델 모니터링 · 드리프트
산업 AI 응용이상 탐지 · 예지 보전 · 비전 검사현장 문제를 풂 · 현장 모델의 점검 틀은 여기모델 카드 · 공정성 지표

분석질문이 «무엇을 만들고 어떻게 돌리나»면 관련 기술로, «내놓아도 되는가 · 누가 책임지나»면 신뢰할 수 있는 AI 로 보낸다. 근거는 표의 「경계」 열 — NIST AI 100-1 도 신뢰성 특성을 기술 속성이 아닌 사회 · 기술 시스템 속성으로 적는다(3절).

7실무 진단 — 신뢰 문제의 원인 가르기

분석법 · 규제 분류부터 확인하고, 다음에 집단별 지표, 마지막에 설명 · 강건성을 본다. 분류가 의무 서류와 점검 깊이를 정하므로(NIST GOVERN 1.1), 분류 없이 지표를 먼저 고치면 같은 점검을 다시 하게 된다.

#증상의심 원인맡는 쪽확인 자료판정 기준(근거)
1출시 직전 「어떤 서류가 필요하냐」는 질문이 나옴용도 분류를 안 함법 · 규제용도 문구 ↔ 부속서 III · 고영향 정의 대조겹치는 문구가 있으면 법무 검토로 넘김(EU 2024/1689 부속서 III)
2전체 정확도는 높은데 특정 집단 민원이 몰림레이블 편향 · 대리 특징윤리 · 공정성집단별 민감도 · 선발률 표차이 기준을 사람이 미리 정함(NIST AI 100-1 3절)
3판정 이유를 물으면 답을 못 함근거 기록 없음설명 가능성특징 중요도 · 모델 카드범위 밖 사용 · 한계가 문서에 있는가(MEASURE 2.9)
4입력이 조금 흔들려도 판정이 뒤집힘임계 근처 표본 다수 · 잡음안전 · 보안잡음 · 섭동 시험의 판정 바뀜 비율정한 허용 비율 이하인가(MEASURE 2.6 · 2.7)

사례의 모델 A 는 2 · 4행, 모델 C 는 4행이 다시 커졌다 — 한 행을 고치면 다른 행을 다시 잰다.

8시험 대비

출제 정보 정보관리(137회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 신뢰할 수 있는 AI 의 정의와 신뢰성 요건을 나열하는 정의 · 특징형, 그리고 EU · 미국 · 한국의 접근을 견주며 앞으로의 과제를 쓰는 동향 · 발전형이 나올 수 있다. 요건 나열에 그치지 않고 요건 사이 맞바꿈을 수치로 보이면 답안이 달라진다.

답안 목차
  1. 개요 — 정의 · EU HLEG 2019(합법 · 윤리 · 견고) · NIST AI 100-1(2023) · ISO/IEC 42001(2023)
  2. 신뢰성 요건 — 그림 3 하위 토픽 지도 + 특성 일곱(유효 · 신뢰 바탕 · 책임 · 투명 걸침) 표
  3. 관리 체계 — GOVERN · MAP · MEASURE · MANAGE 와 수명 주기 · AI 경영시스템
  4. 적용 흐름 — 그림 4 사례(분류 → 데이터 → 평가 → 설명 → 시험 → 고침)
  5. 요건 사이 맞바꿈 — 그림 5(정확도 0.890 → 0.802 · 고령 민감도 0.378 → 0.918)
  6. 동향 — EU AI법 · 인공지능기본법(2026-01-22 시행) · 생성형 AI 위험(NIST AI 600-1)

꼭 쓸 키워드
신뢰성 특성유효신뢰성책임투명성설명 가능성공정성안전보안회복력AI RMFAI 경영시스템고위험 AI맞바꿈

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 요건 하나를 올릴 때 다른 요건이 얼마나 내려가는지를 숫자로 보이는 것이다.

9오해와 사실

  • 오해정확도가 높으면 믿을 수 있는 AI 다.
    사실사례의 모델 A 는 정확도 0.890 이면서 고령 중증의 62.2% 를 놓쳤고, NIST 는 유효 · 신뢰성을 필요조건으로만 둔다(NIST AI 100-1 그림 4).
  • 오해신뢰할 수 있는 AI 는 윤리 원칙을 지키는 것과 같은 말이다.
    사실윤리 원칙은 네 하위 토픽 가운데 윤리 · 공정성에 속하고, 법 의무 · 설명 문서 · 보안 시험과 그것을 묶는 관리 체계(GOVERN · MAP · MEASURE · MANAGE)까지 있어야 한다.
  • 오해모든 요건을 동시에 최대로 맞출 수 있다.
    사실NIST 는 해석 가능성 ↔ 개인정보 · 정확도 ↔ 해석 가능성 같은 맞바꿈을 예로 들고(3절), 사례에서도 민감도를 올리자 정확도 · 잡음 내성이 내려갔다.

10핵심 정리

구분맡는 질문NIST 특성대표 수단사례 값흔한 실패
유효 · 신뢰성용도에서 성능이 증명되나3.1(바탕)테스트 · 검증정확도 0.890정확도만 보고 출시
법 · 규제어떤 의무가 붙나3.4 · 3.6용도 분류 · 문서부속서 III 5(d)분류 없이 개발
윤리 · 공정성누구에게 불리한가3.7집단별 지표민감도 차이 0.153레이블 편향 방치
설명 가능성근거를 보일 수 있나3.5중요도 · 모델 카드구급차 가중치 1.23대리 특징 놓침
안전 · 보안흔들리거나 공격받으면3.2 · 3.3잡음 · 레드팀 시험판정 바뀜 4.2% → 8.0%고친 뒤 재시험 안 함
관리 체계누가 고르고 기록하나3.4(걸침)AI RMF · ISO/IEC 42001정확도 0.088 내줌 기록맞바꿈을 숨김

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ NIST AI 100-1 Artificial Intelligence Risk Management Framework (AI RMF 1.0) — 신뢰성 특성 일곱과 특성 사이의 맞바꿈(3절)을 볼 때
    NIST · 2023-01 · nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf · 확인 2026-11-13
  3. ★ Ethics Guidelines for Trustworthy AI (High-Level Expert Group on Artificial Intelligence) — 합법 · 윤리 · 견고 세 요소와 7가지 요건을 볼 때
    European Commission · 2019-04 · digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai · 확인 2026-11-13
  4. ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 생성형 AI 에 맞춘 위험 목록과 조치를 볼 때
    NIST · 2024-07 · doi.org/10.6028/NIST.AI.600-1 · 확인 2026-11-13
  5. ★ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제20676호 · 2025-01-21 제정 · 2026-01-22 시행) — 국내 법이 정한 신뢰 기반 조성 의무의 원문을 볼 때
    국가법령정보센터(법제처) · 2025-01 · www.law.go.kr/법령/인공지능발전과신뢰기반조성등에관한기본법 · 확인 2026-11-13
  6. 본문 근거
  7. Regulation (EU) 2024/1689 (Artificial Intelligence Act) Annex III point 5(d) · AI Act Service Desk 통합 본문 — European Commission · 2024-07 · ai-act-service-desk.ec.europa.eu/en/ai-act/annex-3 · 확인 2026-11-13
  8. ISO/IEC 42001:2023 Information technology - Artificial intelligence - Management system — ISO/IEC JTC 1/SC 42 · 2023-12 · www.iso.org/standard/42001 · 확인 2026-11-13
  9. NumPy Random Generator 문서(default_rng) — NumPy developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-13