고위험 AIHigh-risk AI
사람의 건강 · 안전 · 기본권에 큰 해를 줄 수 있는 쓰임에 놓인 AI 시스템을 법이 따로 묶은 분류로, EU AI법은 제품 안전 부품과 부속서 III 8개 영역을 고위험으로 정하고 위험 관리 · 데이터 · 기록 · 사람 감독 요건을 지운다.
1요약
- 고위험 AI 는 EU AI법 6조가 정한 분류로, 2026년 개정 통합 본문 기준 부속서 I 제품의 안전 부품과 부속서 III 8개 영역의 쓰임이 여기에 들며, 그 위에서 9 ~ 15조 일곱 요건 · 적합성 평가 · 배포자 의무 · 개인의 설명 요구권이 돈다(6조 · 26조 · 86조).
- 대출 심사 점수처럼 사람의 기회를 가르는 AI 는 오류가 특정 집단에 몰려도 전체 정확도로는 보이지 않는다 — 본문 사례의 합성 데이터에서 전체 AUC 0.764 아래에 상환 고객 오거절률 7.3% 와 13.5% 의 차이가 숨어 있었다(10조 2항 (f)).
- 「우리 AI 가 고위험인가」는 부속서 III 영역 해당 여부보다 그 다음 질문에서 갈린다 — 사람을 프로파일링하면 예외 없이 고위험이고, 프로파일링 없이 좁은 절차 · 준비 작업만 하면 그 판단을 문서로 남기고 벗어날 수 있다(6조 3 · 4항).
2등장 배경
AI 를 모두 같은 강도로 규제하면 스팸 필터와 채용 심사 도구가 같은 서류를 내야 하고, 반대로 규제하지 않으면 채용 · 대출에서 생긴 불이익의 원인을 아무도 증명할 수 없다. 위원회는 2020년 2월 백서(COM(2020) 65)에서 «영역»과 «쓰임» 두 기준을 함께 충족하는 AI 만 고위험으로 묶는 방식을 내놓았다(EC 백서 2020).
이 생각은 2021년 위원회 제안을 거쳐 2024년 Regulation (EU) 2024/1689 의 6조와 부속서 III 로 굳었다 — 영역 목록 대신 «제품 안전 부품» 경로와 «8개 쓰임 영역» 경로 둘로 나뉘었다. 2026년 7월 발효한 개정 규정(Regulation (EU) 2026/1744)은 6조에 1a ~ 1c 항을 더해 편의 · 성능 · 품질 관리 기능만 하는 AI 는 안전 부품이 아니라고 밝혔고, 부속서 III 고위험의 적용일을 2027-12-02 로 미뤘다(AI Act Service Desk · 113조).
한국은 2025년 1월 제정한 인공지능기본법에서 같은 생각을 「고영향 인공지능」이라는 이름으로 받았다(제2조제4호). 법 전체의 구성과 적용 일정은 EU AI법 · AI 기본법이 맡고, 이 글은 «무엇이 고위험이 되고, 고위험이면 무엇을 갖추는가»만 다룬다.
3쉽게 이해하기 — 놀이공원의 기구별 안전 관리
놀이공원에 새 기구가 들어온다. 공원 안전 담당은 기구가 «무엇을 하는지»를 보고 구역을 정한다 — 사람을 높이 태우고 빠르게 도는 롤러코스터는 운행 일지 · 조작원 · 비상 정지 단추 · 탑승 안내판을 모두 갖춰야 하고, 천천히 도는 회전목마는 안내판이면 된다. 키 제한에 걸려 못 탄 손님은 «왜 안 되느냐»고 물을 수 있고, 검사관은 개장 뒤에도 롤러코스터를 돌아본다.
그림 1 · 기구는 쓰임에 따라 구역이 갈리고, 롤러코스터 구역에만 일지 · 조작원 · 안내판이 붙으며, 손님의 질문과 검사관의 순찰도 그 구역으로 향한다.
그림 2 · 정지 단추 앞 조작원이 할 다섯 가지는 사람 감독 조문의 다섯 능력과 하나씩 짝을 이루며, 단추는 제작사가 만들고 조작원은 공원이 세운다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 제작사 | 제공자 | 출시 전 9 ~ 15조 요건을 갖추고 적합성 평가를 거친다(16 · 43조) |
| 구역 판정 | 고위험 분류 | 부속서 I 안전 부품 또는 부속서 III 쓰임이면 고위험(6조 1 · 2항) |
| 회전목마 | 6조 3항 예외 | 좁은 절차 · 준비 작업만이면 고위험 아님 · 판단은 문서로(6조 4항) |
| 운행 일지 | 자동 로그 | 수명 내내 사건을 기록하고 6개월 이상 보관(12 · 19 · 26조) |
| 조작원 · 정지 단추 | 사람 감독 | 출력을 무시 · 뒤집고 시스템을 멈출 수 있다(14조 4항) |
| 탑승 안내판 | 대상자 고지 | 결정을 받는 사람에게 AI 사용을 알린다(26조 11항) |
| 이유 질문 | 설명 요구권 | AI 의 역할과 결정의 주요 요인을 묻는다(86조) |
| 검사관 순찰 | 시판 후 감시 | 출시 뒤에도 로그 · 사고 보고로 위험을 다시 본다(9조 2항 (c)) |
⚠ 비유가 맞지 않는 곳: 놀이기구는 키 · 몸무게 같은 정해진 기준으로 손님을 거르지만, 고위험 AI 는 학습 데이터에서 기준을 스스로 만든다. 그래서 기구에는 없는 «데이터 편향 검사»(10조 2항 (f) · (g))가 요건에 따로 들어 있다.
4구조 — 고위험 요건의 수명주기 배치
고위험 의무는 제공자가 설계 · 개발 단계부터 지는 요건과, 배포자가 운영 단계에서 지는 의무로 나뉜다. 위험 관리 · 정확도 요건은 출시로 끝나지 않고 운영 단계 끝까지 이어진다(9조 1항 · 15조 1항).
그림 3 · 제공자 요건은 설계에서 출시까지 몰리지만 위험 관리 · 정확도 · 로그는 운영 단계까지 이어지고, 배포자 의무는 첫 사용 전 영향평가부터 시작한다.
| 요건 | 조문 | 하는 일 | 값 · 근거 |
|---|---|---|---|
| 위험 관리 | 9조 | 위험 식별 · 추정 · 시판 후 자료 반영 · 조치를 반복 | 설계로 제거 → 완화 → 정보 제공 순(9조 5항) · 18세 미만 · 취약 집단 고려 |
| 데이터 거버넌스 | 10조 · 4a조 | 출처 · 가공 · 가정 · 편향 검사와 대응 | 2항 (a) ~ (h) 여덟 항목 · 민감 정보는 4a조 여섯 조건에서만 |
| 기술 문서 · 설명서 | 11 · 13조 | 평가 근거 문서 · 배포자용 설명서 | 문서 10년 보관(18조) · 정확도 지표 기재(15조) |
| 자동 로그 | 12 · 19조 | 위험 상황 · 큰 수정 · 운영 감시용 사건 기록 | 보관 6개월 이상 · 원격 생체 인식은 사용 시각 · 대조 DB · 확인자까지 |
| 사람 감독 | 14조 | 감독자가 이해 · 해석 · 무시 · 정지할 수단 | 4항 (a) ~ (e) · 원격 생체 인식은 두 사람 확인(5항) |
| 정확도 · 견고성 · 보안 | 15조 | 수명 내내 일정한 성능 · 공격 대비 | 데이터 오염 · 모델 오염 · 적대적 예제 · 기밀성 공격 |
| 배포자 의무 | 26 · 27조 | 설명서대로 사용 · 감독자 지정 · 로그 · 고지 · 영향평가 | 영향평가 = 공공 · 공공 서비스 배포자 + 부속서 III 5(b) · (c) |
🔑 고위험 요건은 출시 전에 한 번 통과하는 시험이 아니라, 로그와 시판 후 자료가 다시 위험 관리로 들어가는 순환이다 — 9조 2항 (c)가 운영 중 자료를 위험 평가의 입력으로 묶는다.
5동작 — 개인 신용 점수 모델의 고위험 대응
설명용 가정 값: 핀테크 D 가 만든 개인 신용 점수 모델을 EU 은행 C 가 대출 심사에 쓴다. 편향 측정 값은 직접 실행(합성 데이터 · Python 3.14 · NumPy default_rng(0) · 로지스틱 회귀 · 검증 6,000건 · 연체 위험 점수 기준점 0.35)으로 얻었다.
- 분류 — 개인의 신용도 평가는 부속서 III 5번 (b)이고 금융 사기 탐지가 아니므로 6조 2항 고위험 후보다. 적용은 2027-12-02 부터다(113조).
- 예외 검토 — 점수가 승인 · 거절에 직접 쓰이고 신청인의 재무 행동을 평가하는 프로파일링이므로 6조 3항 예외를 쓸 수 없다.
- 편향 측정 — 상환한 신청인 중 거절된 비율은 집단 A 7.3%(3,430명 중 251명) · 집단 B 13.5%(1,425명 중 192명)로 차이 6.2%p 다. D 가 시험 전에 정한 한계 3%p(가정 값)를 넘어 10조 2항 (f) 검사에 걸린다(9조 8항 사전 지표).
- 조치 — 합성 설정에서 B 집단은 신용 이력 특징의 잡음이 커서 거절이 몰렸다. D 는 이력 외 특징을 보강하고 같은 지표로 다시 재며, 집단 정보가 민감 정보이면 4a조 여섯 조건(대체 데이터로 불가 · 가명 처리 · 접근 기록 · 제3자 전달 금지 · 삭제 · 처리 기록) 아래에서만 쓴다(10조 2항 (g)).
- 문서 — 전체 AUC 0.764 와 집단별 0.787 · 0.722 를 사용 설명서에 적고, 기술 문서 · 적합성 선언은 출시 뒤 10년 보관한다(13 · 15 · 18조). 내부 통제 평가 뒤 CE 표시 · 등록을 마친다(43 · 49조).
- 첫 사용 전 — 은행 C 는 민간 기업이지만 5번 (b) 배포자라 기본권 영향평가 (a) ~ (f) 여섯 항목을 쓰고 시장 감시 기관에 결과를 알린다(27조).
- 운영 — 권한과 교육을 갖춘 심사역을 감독자로 두고, 자동 로그를 6개월 이상 보관하며, 신청인에게 AI 심사 사실을 알린다(26조 2 · 6 · 11항).
- 거절 뒤 — 거절된 신청인이 설명을 요구하면 C 는 AI 가 결정에서 맡은 역할과 결정의 주요 요인을 설명한다(86조 1항).
⚠ 이 사례는 조문을 따라가는 순서를 보인 것이고, 실제 상품의 해당 여부 · 충분성 판단이 아니다. 고위험 판단의 실무 예시는 위원회 지침(6조 5항)이 1차 자료다.
그림 4 · 제공자 D 의 측정에서 집단 B 의 오거절률이 한계를 넘어 조치가 붙고, 출시 뒤에는 배포자 C 의 영향평가 · 감독 · 고지와 신청인의 설명 요구가 이어진다.
🔑 편향 검사는 전체 정확도가 아니라 집단별 오류율로 한다 — 전체 AUC 0.764 하나로는 집단 B 의 0.722 와 두 배 가까운 오거절률이 보이지 않는다.
고위험인지 아닌지는 아래 네 질문을 차례로 대 보면 정해진다. 2026년 개정은 첫 질문에 «안전 부품»의 범위를 좁히는 세 항을 더했다(6조 1a ~ 1c).
그림 5 · 제품 안전 부품이면 곧바로 고위험이고, 부속서 III 쓰임이면 프로파일링 여부와 6조 3항 예외로 다시 갈리며, 예외로 벗어나도 판단 문서와 등록은 남는다.
6비교 — 쓰임 기준과 규모 기준의 고위험 분류
법이 «특별히 위험한 AI»를 고르는 방식은 쓰임을 보는 것과 모델 규모를 보는 것 두 가지다. EU 고위험 · 한국 고영향은 쓰임을, EU 시스템적 위험 범용 모델 · 한국 제32조 대상은 규모를 본다.
| 기준 | EU 고위험 AI | 한국 고영향 AI | EU 시스템적 위험 범용 모델 | 한국 제32조 대형 시스템 |
|---|---|---|---|---|
| 판정 축 | 쓰임 — 부속서 I 안전 부품 · 부속서 III 8개 영역(6조) | 쓰임 — 11개 영역 + 중대한 영향 우려(제2조제4호) | 규모 — 학습 연산 10²⁵ FLOP 초과 추정(51조) | 규모 — 학습 누적 연산량 10²⁶ FLOP 이상 등(시행령 제24조) |
| 벗어나는 길 | 6조 3항 예외 · 판단 문서(프로파일링 제외) | 과기정통부 확인 요청 · 30일 회신(제33조) | — | — |
| 핵심 요건 | 9 ~ 15조 · 적합성 평가 · CE | 위험관리 · 설명 · 이용자 보호 · 사람 감독 · 문서 등 여섯 항목(제34조①) | 평가 · 사고 보고 · 보안(55조) | 수명주기 위험 식별 · 완화 · 결과 제출(제32조) |
| 기본권 영향평가 | 일부 배포자 의무(27조) | 노력 의무(제35조①) | — | — |
| 문서 보관 | 기술 문서 10년 · 로그 6개월 이상(18 · 19조) | 조치 확인 문서 작성 · 보관(제34조①5호) | 기술 문서(53조) | 이행 결과 제출 |
분석자기 서비스가 사람을 평가 · 선별하면 쓰임 축(EU 고위험 · 한국 고영향)부터 확인하고, 규모 축은 대형 모델을 직접 학습시키는 회사만 본다. 근거는 표의 「판정 축」 행 — 규모 기준 문턱(10²⁵ · 10²⁶ FLOP)은 범용 모델 학습 단계의 값이라 외부 모델을 받아 쓰는 회사에는 걸리지 않고, 쓰임 기준은 모델 크기와 무관하게 걸린다.
7실무 진단 — 고위험 판정이 막히는 원인
분석쓰임 영역 → 프로파일링 → 6조 3항 예외 → 요건 증빙 순서로 본다. 프로파일링이면 예외 검토가 필요 없고(6조 3항 마지막 문단), 예외가 정해져야 9 ~ 15조 증빙 범위가 정해지기 때문이다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 장비 안 AI 가 «안전 부품»인지 다툼 | 기능 목적 미정리 | 제품 경로 | 기능 명세 · 고장 영향 분석 | 편의 · 성능 · 품질 관리만 = 아님 · 고장이 건강 · 안전 위험 = 안전 부품(6조 1a · 1b) |
| 2 | 「보조 기능이라 고위험 아님」 주장에 근거가 없음 | 예외 판단 문서 누락 | 쓰임 경로 예외 | 6조 3항 (a) ~ (d) 대조 기록 · 등록 내역 | 출시 전 문서화 · 49조 2항 등록(6조 4항) |
| 3 | 전체 정확도는 좋은데 특정 집단 민원이 몰림 | 집단별 오류율 미측정 | 데이터 | 집단별 오거절률 · 집단별 AUC | 10조 2항 (f) · (g) · 사전 정한 지표(9조 8항) |
| 4 | 감독자가 AI 결과를 그대로 승인 | 자동화 편향 · 개입 수단 부재 | 사람 감독 | 감독자 교육 기록 · 뒤집기 · 정지 기능 | 14조 4항 (b) · (d) · (e) · 26조 2항 |
| 5 | 거절 신청인의 설명 요구에 답하지 못함 | 결정 요인 기록 부재 | 운영 | 로그 · 결정 요인 출력 | 86조 1항 · 12조 2항 (c) |
표는 조문을 찾는 순서이며 개별 시스템의 해당 여부를 판정하지 않는다. 분류가 애매하면 위원회의 6조 실무 지침과 한국의 고영향 확인 요청(제33조) 같은 공식 경로가 1차다.
8시험 대비
시험에서는 고위험 AI 의 판정 기준과 요건을 묻는 정의 · 특징형, EU 고위험과 한국 고영향 또는 쓰임 기준과 규모 기준을 견주는 비교형이 나올 수 있다. 정의형은 판정 흐름 그림(질문 넷)과 수명주기 요건 그림으로 쓰고, 비교형은 비교표의 판정 축 · 벗어나는 길 · 영향평가 세 행으로 차이를 보인다.
- 개요 — 정의 · EU AI법 6조 · 2020 백서의 두 기준 · 한국 「고영향」 대응어
- 판정 기준 — 그림 5 판정 흐름(부속서 I · III · 프로파일링 · 6조 3항 예외 · 2026 개정 1a ~ 1c)
- 요건 구성 — 그림 3 수명주기 배치 + 요건 표(9 ~ 15조 · 로그 6개월 · 문서 10년)
- 적용 사례 — 그림 4 신용 점수 모델(집단별 오거절률 7.3% · 13.5% · 영향평가 · 86조)
- 국내외 비교 — 비교표(쓰임 기준 ↔ 규모 기준 · 10²⁵ · 10²⁶ FLOP)
- 시사점 — 집단별 지표 · 사람 감독 수단 설계 · 판단 문서화
꼭 쓸 키워드
고위험 AI부속서 III안전 부품프로파일링위험 관리 시스템데이터 거버넌스자동화 편향사람 감독기본권 영향평가설명 요구권
다른 답안과 차이를 내는 한 가지 — 집단별 오거절률처럼 편향을 «숫자로» 재는 예를 넣고, 2026년 개정의 안전 부품 범위(1a ~ 1c)와 4a조 민감 정보 조건을 적어 개정 전 자료만 본 답안과 갈린다.
9오해와 사실
- 오해부속서 III 영역에 쓰이면 무조건 고위험이다.사실프로파일링을 하지 않고 좁은 절차 · 준비 작업만 하는 시스템은 6조 3항으로 벗어날 수 있다 — 단 판단 문서와 등록이 남는다(6조 4항).
- 오해고위험 요건은 큰 모델에만 걸린다.사실고위험은 쓰임으로 정해 작은 로지스틱 회귀 모델도 신용 평가에 쓰면 대상이고, 모델 규모 기준(10²⁵ FLOP)은 범용 AI 모델의 별도 의무에만 쓰인다(6조 · 51조).
- 오해사람이 최종 승인하면 사람 감독 요건을 채운다.사실감독자가 결과를 무시 · 뒤집고 시스템을 멈출 수단과 자동화 편향을 알아챌 정보가 있어야 한다(14조 4항 (b) · (d) · (e)).
10핵심 정리
| 구분 | 근거 | 판정 · 확인 질문 | 남기는 것 | 담당 |
|---|---|---|---|---|
| 제품 경로 | 6조 1항 · 1a ~ 1c · 부속서 I | 안전 부품인가 · 제3자 평가 대상인가 | 기능 명세 · 고장 영향 | 제공자 |
| 쓰임 경로 | 6조 2항 · 부속서 III | 8개 영역의 쓰임인가 · 프로파일링인가 | 사용 목적 문서 | 제공자 |
| 예외 | 6조 3 · 4항 | (a) ~ (d)이고 실질 영향이 없는가 | 판단 문서 · 등록 | 제공자 |
| 데이터 · 편향 | 10조 · 4a조 | 집단별 오류율이 사전 한계 안인가 | 데이터 출처 · 편향 측정 기록 | 제공자 |
| 로그 · 정확도 | 12 · 15 · 19조 | 사건이 자동 기록되는가 · 지표를 밝혔나 | 로그 6개월 이상 · 설명서 지표 | 제공자 · 배포자 |
| 사람 감독 | 14 · 26조 | 무시 · 뒤집기 · 정지가 되는가 | 감독자 지정 · 교육 기록 | 제공자 설계 · 배포자 운영 |
| 영향평가 · 설명 | 27 · 86조 | 첫 사용 전 평가했나 · 주요 요인을 설명하나 | 영향평가 통지 · 설명 기록 | 배포자 |
11참고 문헌
- 먼저 볼 문헌
- ★ Regulation (EU) 2024/1689 (Artificial Intelligence Act) 제6 · 9 ~ 15 · 18 · 19 · 26 · 27 · 86조 · 부속서 III · OJ L 2024/1689 — 고위험 분류(6조) · 부속서 III 원문을 볼 때
- ★ AI Act Explorer — 조문별 통합 본문(Digital Omnibus 개정 표시 포함) 6 · 9 · 10 · 4a · 12 · 14 · 15 · 18 · 19 · 26 · 27 · 86조 · 부속서 III — 개정이 반영된 현행 조문(6조 1a ~ 1c · 4a조 NEW)을 볼 때
- ★ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제21311호 · 2026-07-21 시행) 제2조제4호 · 제34 · 35조 — 한국 고영향 인공지능의 정의와 사업자 조치 원문을 볼 때
- ★ NumPy 2 documentation — Random Generator(default_rng) — 사례의 합성 데이터 생성 방식을 다시 돌려 볼 때
- 본문 근거
- Regulation (EU) 2026/1744 amending Regulation (EU) 2024/1689 (Digital Omnibus on AI) · OJ L 2026/1744 — European Parliament · Council of the EU · 2026-07 ·
eur-lex.europa.eu/legal-content/EN/TXT/?uri=OJ:L_202601744· 확인 2026-11-12 - White Paper on Artificial Intelligence — A European approach to excellence and trust · COM(2020) 65 final — European Commission · 2020-02 ·
eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52020DC0065· 확인 2026-11-12