AI › 신뢰할 수 있는 AI › 윤리 · 공정성

AI 생성물 표시AI-generated Content Labeling

AI 가 만든 글 · 이미지 · 소리 · 영상에 그 사실을 사람이 보는 문구나 기계가 읽는 메타데이터 · 워터마크로 붙이는 기술과 제도다. 한국 인공지능기본법 제31조와 EU AI법 50조가 이 표시를 요구한다.

1요약

  1. AI 생성물 표시는 생성형 AI 의 결과물에 세 겹의 표시 — 사람이 보는 문구, 서명된 출처 메타데이터(C2PA 매니페스트), 내용 속 투명 워터마크 — 를 붙이고, 그 위에서 검증기 · 검출기가 출처를 판정하는 체계다(C2PA 2.5 · 2026-10).
  2. 파일 곁에 붙은 메타데이터는 SNS 에 올리는 순간 지워지는 일이 흔하고(NIST AI 100-4 3.1.2), 그래서 한국 시행령 제23조②와 EU AI법 50조 2항은 사람 인식 표시와 기계 판독 표시를 함께 놓고 고르게 한다.
  3. 「표시가 안 보인다」는 표시를 안 했다 · 메타데이터가 떨어졌다 · 워터마크가 편집으로 약해졌다 셋으로 나뉘며, 매니페스트 검증 → 워터마크 검출 → 분류기 탐지 순으로 대 보면 어느 쪽인지 드러난다.

2등장 배경

생성 이미지가 사진처럼 보이면서 받는 사람은 그것이 찍은 것인지 만든 것인지 가릴 길이 없어졌다. 기존 EXIF 같은 메타데이터는 누구나 고쳐 쓸 수 있고 서명이 없어, 「AI 가 만들지 않았다」고 적어 넣어도 반박할 근거가 남지 않는다.

디지털 워터마크는 원래 저작권 보호 기술로 출발했다 — Cox 등은 1997년 확산 스펙트럼으로 이미지 주파수 성분에 표식을 숨기는 방식을 발표했다(Cox 1997). 출처를 서명으로 묶는 표준은 C2PA 가 2021년 12월 1.0 사양을 내며 시작했고, Kirchenbauer 등은 2023년 LLM 이 다음 토큰을 고를 때 「초록 목록」 토큰을 우대해 글에 통계 신호를 남기는 방법을 제안했다(Kirchenbauer 2023).

제도는 그 뒤에 따라왔다. 합성 콘텐츠의 기계 판독 표시는 EU AI법(2024/1689) 50조 2항이 2026-08-02 적용으로 먼저 정했고, 한국 인공지능기본법은 2026-01-22 시행과 함께 제31조②에서 생성형 결과물 표시를 의무로 정했다. 법 전체의 짜임은 AI 기본법 · EU AI법이 맡고, 이 글은 «무엇으로 어떻게 표시하나»를 다룬다.

3쉽게 이해하기 — 기계 그림 엽서의 세 표시

어느 인쇄소가 기계로 그린 그림 엽서를 찍어 판다. 인쇄소는 엽서 앞면 구석에 「기계 그림」 도장을 찍고, 뒷면에 누가 언제 어떻게 그렸는지 적은 쪽지를 봉인 스티커로 붙이며, 종이 섬유 속에는 빛에 비춰야 보이는 무늬와 번호를 넣는다. 엽서가 우체국 여러 곳을 거치다 쪽지가 떨어져도, 받는 쪽 검사원은 빛에 비춰 무늬 번호를 읽고 인쇄소 장부에서 쪽지 사본을 다시 찾아낸다.

인쇄소 기계 그림 엽서 생성 서비스 엽서 한 장 앞면 도장 사람 인식 표시 봉인된 이력 쪽지 C2PA 매니페스트 종이 속 비침 무늬 투명 워터마크 우체국 여러 손을 거침 메타데이터 제거 쪽지가 떨어짐 도장 · 무늬는 남음 검사원 빛에 비춰 봄 검출기 · 검증기 무늬 번호를 읽음 인쇄소 장부 매니페스트 저장소 쪽지 사본 1 2 3 4 쪽지 사본을 장부에 맡김 ① 엽서 찍기 · 사본 맡김 ② 우체국을 거치며 쪽지가 떨어짐 ③ 빛에 비춰 무늬를 읽음 ④ 무늬 번호로 장부에서 쪽지를 다시 찾음 점선 = 생성 때 미리 해 두는 일 · 실선 = 엽서가 실제로 지나가는 길

그림 1 · 엽서는 도장 · 봉인 쪽지 · 비침 무늬 세 표시를 달고 떠나며, 우체국에서 쪽지가 떨어져도 무늬 번호로 장부의 사본을 찾아 출처를 되살린다.

엽서 찍기기계로 그린 엽서를 찍어 냄
세 표시앞면 도장 · 뒷면 봉인 쪽지 · 종이 속 무늬
장부쪽지 사본을 인쇄소 장부에 둠
우체국여러 손을 거치며 쪽지가 떨어짐
빛 비추기검사원이 무늬 번호를 읽음
이력 확인번호로 장부의 쪽지를 찾아 대조
비유 — 엽서 한 장의 세 표시 실제 — 생성 이미지 파일(JPEG) 앞면 도장 「기계 그림」 눈으로 보임 · 오려 내면 사라짐 뒷면 봉인 쪽지 봉인이 뜯기면 티가 남 · 통째로 떨어질 수 있음 종이 섬유 속 비침 무늬 빛에 비춰야 보임 · 문지르면 흐려짐 쪽지는 엽서 «곁», 무늬는 종이 «속» APP11 세그먼트 · JUMBF C2PA 매니페스트 스토어 단언 · 클레임 · 클레임 서명 이미지 데이터(픽셀) 보이는 문구 「AI 생성」 워터마크 신호 식별 값 32비트 업로드 때 APP11 은 지워질 수 있고 픽셀 속 신호는 재압축 뒤에도 남는다

그림 2 · 쪽지는 엽서 «곁»에 붙어 떨어질 수 있고 무늬는 종이 «속»에 있어 따라간다 — 실제 파일도 매니페스트는 APP11 세그먼트에, 워터마크는 픽셀 안에 있다.

비유 속 역할실제 이름실제로 하는 일
인쇄소생성 서비스(인공지능사업자)결과물을 만들며 표시를 붙인다(인공지능기본법 제31조②)
앞면 도장사람 인식 표시화면 문구 · 로고 · 음성 안내(시행령 제23조②1호)
이력 쪽지C2PA 매니페스트생성 방식 · 도구 · 편집 이력을 단언으로 적는다
봉인 스티커클레임 서명 · 하드 결합X.509 인증서 서명과 파일 해시로 변조를 드러낸다
비침 무늬투명 워터마크픽셀 · 토큰 분포에 식별 값을 숨긴다
우체국SNS · 메신저 · 재압축메타데이터를 지우고 화질을 바꾼다
검사원검증기 · 워터마크 검출기서명 · 해시를 확인하고 신호를 읽는다
인쇄소 장부매니페스트 저장소워터마크 식별 값으로 떨어진 매니페스트를 다시 찾는다

⚠ 비유가 맞지 않는 곳: 종이 무늬는 보이면 있고 안 보이면 없지만, 텍스트 워터마크는 통계 판정이라 짧은 글에서는 「판정 보류」가 나온다. 또 도장 · 쪽지 · 무늬가 모두 없는 엽서도 기계 그림일 수 있다 — 표시가 없다는 것은 사람이 그렸다는 증거가 아니다.

4구조 — 표시 세 방식과 사후 탐지

NIST AI 100-4 는 표시 기술을 생성 때 넣는 출처 추적(워터마크 · 메타데이터 기록)과 나중에 추정하는 합성 콘텐츠 탐지로 나눈다(NIST AI 100-4 3절). 법이 말하는 「사람이 인식할 수 있는 방법」은 첫 행, 「기계가 판독할 수 있는 방법」은 둘째 · 셋째 행이다(시행령 제23조②).

방식 담는 곳 · 형태 읽는 쪽 · 판정 출처 추적 생성 때 넣음 탐지 나중에 추정 사람 인식 표시 문구 · 로고 · 음성 결과물 화면 · 픽셀 · 소리 안 시행령 제23조②1호 사람 눈 · 귀 판독기 없이 바로 읽힘 서명 메타데이터 C2PA 매니페스트 파일 곁 APP11 · JUMBF 단언 · 클레임 · 서명 C2PA 검증기 Well-Formed · Valid · Trusted 투명 워터마크 픽셀 · 토큰 분포 내용 속 통계 신호 사람 눈에는 보이지 않음 워터마크 검출기(키 필요) z 점수가 임계값을 넘으면 검출 사후 탐지 표시 없는 결과물 생성 흔적(주파수 · 문체) 넣은 표시가 아님 분류기 확률 · 오탐 있음 → 딥페이크 「기계 판독 표시」(시행령 제23조②2호 · EU 50조 2항) = 둘째 · 셋째 행 · 두 행은 함께 쓰면 서로의 약점을 메운다(NIST AI 100-4 3절)

그림 3 · 생성 때 넣는 세 표시는 담는 곳과 읽는 쪽이 서로 다르고, 표시가 모두 없을 때만 분류기의 사후 탐지가 남는다.

요소담는 것역할값 · 근거
매니페스트 스토어매니페스트 여러 개파일에 든 출처 기록 묶음 · 마지막 것이 활성 매니페스트JPEG 는 APP11 의 JUMBF(C2PA 2.5 11.2 · 11.6)
단언(assertion)생성 방식 · 편집 동작처음 동작 c2pa.created 에 digitalSourceType 을 적는다생성 AI = IPTC trainedAlgorithmicMedia(16.4.1.2)
클레임 · 서명단언 목록의 해시COSE_Sign1_Tagged 서명 · X.509 인증서 · RFC 3161 시각10.3.2.4 · 12.3
하드 결합파일 바이트 해시이 바이트가 서명 뒤 그대로인가매니페스트마다 정확히 하나(14장 · 없으면 claim.hardBindings.missing)
소프트 결합워터마크 · 지문 값바이트가 달라도 같은 내용을 찾는다하드 결합으로 쓰지 않음(12.2.3.1)
검증 상태검증기 판정Well-Formed ⊂ Valid ⊂ TrustedTrusted = 서명 인증서가 신뢰 목록에 있음(13.3.6)
텍스트 워터마크초록 목록 비율 γ · 우대 δ다음 토큰 확률을 초록 쪽으로 기울인다검출 z = (|s|G − γT) / √(Tγ(1−γ))(Kirchenbauer 2023 식 3)

🔑 하드 결합은 «이 파일이 그대로인가»를, 소프트 결합은 «이 내용이 어느 원본에서 왔는가»를 답한다 — 재압축된 사본은 앞의 질문에 «아니오», 뒤의 질문에 «예»가 나온다.

5동작 — 생성 이미지 한 장의 표시와 재확인

설명용 가정 값: 생성 서비스 을이 1024×1024 이미지 한 장을 만들어 JPEG 로 내보내고, 이용자가 그 파일을 SNS 에 올린 뒤 제3자가 출처를 확인한다.

  1. 생성 직후 모델 뒤 단계에서 픽셀에 투명 워터마크를 넣고, 식별 값 0x3F2A91C4(32비트 가정 값)를 담는다.
  2. 이미지 오른쪽 아래에 「AI 생성」 문구를 넣고 서비스 화면에도 같은 안내를 띄운다 — 사람 인식 표시다(시행령 제23조②1호).
  3. 매니페스트를 만든다 — c2pa.actions 단언의 첫 동작 c2pa.created 에 digitalSourceType = trainedAlgorithmicMedia 를 적고(C2PA 2.5 16.4.1.2), 워터마크 식별 값을 c2pa.soft-binding 단언으로 적는다.
  4. APP11 세그먼트를 뺀 파일 바이트의 SHA-256 을 c2pa.hash.data 하드 결합으로 적고(12.2.2.1), 클레임을 X.509 인증서로 COSE 서명해 매니페스트 스토어를 APP11 에 넣는다 — 같은 매니페스트 사본은 저장소에도 등록한다.
  5. 이용자가 SNS 에 올리자 플랫폼이 재압축하면서 APP11 을 지운다 — 파일 곁 메타데이터가 사라지는 흔한 경우다(NIST AI 100-4 3.1.2).
  6. 제3자의 검증기는 파일에서 매니페스트를 찾지 못하자 워터마크 검출기로 식별 값 0x3F2A91C4 를 읽고, 그 값으로 저장소에서 원 매니페스트를 찾는다(소프트 결합 · 2.4.1 Durable Content Credential).
  7. 찾은 매니페스트의 서명은 Valid 지만 하드 결합 해시는 지금 파일과 맞지 않아 assertion.dataHash.mismatch 가 난다 — 결과는 «원본은 AI 생성 · 이 파일은 서명 뒤 바뀐 사본»이다(C2PA 2.5 14장 · 13.3.5).
생성 서비스 저장소 플랫폼 검증기 1 워터마크 2 보이는 문구 3 단언 작성 4 해시 · 서명 사본 등록 게시 5 재압축 · APP11 삭제 6 식별 값 검출 조회 회신 7 해시 불일치 결과 = 원본은 AI 생성(서명 Valid) · 이 파일은 서명 뒤 바뀐 사본(assertion.dataHash.mismatch) · 값은 설명용 가정 값

그림 4 · 표시는 출시 전 ① ~ ④ 에 모두 붙고, ⑤ 에서 매니페스트가 떨어져도 ⑥ 워터마크 조회로 출처를 되찾으며, ⑦ 해시 대조는 «사본이 바뀌었다»까지 알려 준다.

텍스트에는 픽셀이 없어, 워터마크는 토큰 선택의 치우침으로 남는다. 검출기는 글의 토큰 T 개 가운데 초록 목록 토큰 수 \|s\|G 를 세어 z 점수를 내고, z > 4 이면 워터마크로 판정한다 — 이때 사람이 쓴 글을 잘못 판정할 확률은 3 × 10⁻⁵ 이다(Kirchenbauer 2023 식 3 · 3절).

0 2 4 6 8 0 400 800 1,400 토큰 수 T z 점수 임계값 z = 4 z < 4 = 판정 보류 134 1,200 초록 비율 0.40 — 생성 그대로 초록 비율 0.30 — 고쳐 쓴 뒤 γ = 0.25 · 초록 비율 = 설명용 가정 값 · 원문 식 3 직접 계산

그림 5 · 같은 임계값 z = 4 에서 초록 비율 0.40 인 글은 134 토큰이면 판정되지만, 고쳐 써서 0.30 으로 내려가면 1,200 토큰이 있어야 한다.

🔑 텍스트 워터마크의 판정력은 «신호의 세기 × √길이»로 정해진다 — 고쳐 쓰기로 초록 비율의 초과분이 3분의 1로 줄면 필요한 길이는 9배로 늘어난다.

6비교 — 사람 인식 표시 · 서명 메타데이터 · 투명 워터마크 · 사후 탐지

기준사람 인식 표시서명 메타데이터(C2PA)투명 워터마크사후 탐지(분류기)
담는 것문구 · 로고생성 방식 · 도구 · 편집 이력 · 서명자식별 값 또는 «있음» 1비트넣는 것 없음
업로드 · 재압축 뒤자르면 사라짐APP11 이 지워지기 쉬움(NIST 3.1.2)대부분 남음 · 약해짐영향 없음 · 정확도 떨어짐
위조 · 제거쉽게 지우고 쉽게 붙임서명 없이는 위조 불가 · 통째 삭제는 쉬움고쳐 쓰기 · 잡음 제거로 약화(NIST 3.1.1)회피 · 오탐
읽는 데 필요한 것없음공개 검증기 · 신뢰 목록생성 쪽 키 · 검출기학습된 분류기
법 표시 방법제23조②1호제23조②2호 · EU 50조 2항제23조②2호 · EU 50조 2항표시를 붙이는 방법이 아님

분석생성 쪽은 «워터마크 + 서명 메타데이터»를 함께 넣고 사람 인식 표시를 화면에 더하는 조합이 업로드 뒤에도 출처를 남기는 길이다. 근거는 표의 「업로드 · 재압축 뒤」 행 — 메타데이터만이면 APP11 삭제로 끝나고, 워터마크만이면 서명자와 편집 이력이 빠지며, 둘을 소프트 결합으로 이으면 서로를 메운다(C2PA 2.5 12.2.3.1 · NIST AI 100-4 3절). 표시가 없는 결과물을 판별하는 탐지 기술의 깊은 비교는 딥페이크가 맡는다.

7실무 진단 — 표시가 안 보일 때 원인 가르기

분석파일 안 매니페스트부터 보고, 없으면 워터마크 검출, 둘 다 없을 때만 분류기를 쓴다. 앞의 둘은 생성 쪽이 넣은 사실을 읽는 것이고, 분류기는 확률 추정이라 오탐이 있기 때문이다(NIST AI 100-4 3.2).

#증상의심 원인단계확인 자료판정 기준(근거)
1올린 이미지에 출처 정보가 없음플랫폼이 APP11 삭제메타데이터원본 · 업로드본 C2PA 검증 결과원본 Valid · 업로드본 매니페스트 없음 → 소프트 결합 조회(C2PA 2.5 2.4.1)
2검증기가 「서명 유효 · 신뢰 안 됨」서명 인증서가 신뢰 목록 밖서명서명 인증서 체인 · 신뢰 목록Valid 이지만 signingCredential.trusted 없음(13.3.6)
3편집한 사본에서 해시 불일치편집 도구가 새 매니페스트를 안 만듦하드 결합실패 코드 · 편집 도구 기록assertion.dataHash.mismatch · 편집은 c2pa.opened + 재료 단언(16.4.1.2)
4짧은 답변에서 워터마크 검출 안 됨토큰 수 부족 · 낮은 엔트로피워터마크토큰 수 T · 초록 토큰 수z > 4 미달(Kirchenbauer 2023 식 3 · 4.1절)
5국내 서비스가 기계 판독만 함안내 문구 누락법 표시 방법서비스 화면 · 음성 안내 기록기계 판독이면 1회 이상 안내(시행령 제23조②2호)

표는 원인을 찾는 순서이고 특정 서비스가 의무를 지켰는지의 판단을 대신하지 않는다. 적용 예외(내부 업무 용도 등)는 시행령 제23조④ 원문을 함께 대조한다.

8시험 대비

시험에서는 AI 생성물 표시의 방법과 한계를 묻는 정의 · 특징형, 워터마크 · 메타데이터 · 탐지를 견주는 비교형, 생성 서비스의 표시 체계를 설계하는 구현 · 설계형이 나올 수 있다. 정의형은 세 방식 그림 3 과 법 표시 방법 두 가지로, 설계형은 그림 4 의 삽입 → 서명 → 게시 → 재확인 흐름으로 답한다. 디지털 워터마크를 저작권 보호 기술로 물으면 Cox 1997 확산 스펙트럼부터 생성 AI 표시로 이어지는 흐름을 한 줄로 덧붙인다.

답안 목차
  1. 개요 — 정의 · 필요성(구분 불가 · 메타데이터 삭제) · 인공지능기본법 제31조② · EU 50조 2항
  2. 구조 — 그림 3 세 방식 + 사후 탐지 · 사람 인식 / 기계 판독(시행령 제23조②)
  3. 핵심 기술 — C2PA 매니페스트(단언 · 클레임 · 서명 · 하드 · 소프트 결합) 요소 표
  4. 동작 — 그림 4 이미지 한 장: 워터마크 → 문구 → 서명 → 업로드 삭제 → 조회 → 해시 대조
  5. 한계 — 그림 5 z = 4 판정 길이(134 → 1,200 토큰) · 제거 · 위조 · 오탐
  6. 비교 · 설계 방향 — 비교표 4방식 · 조합 권고(워터마크 + 서명 + 화면 문구)

꼭 쓸 키워드
사람 인식 표시기계 판독 표시C2PA 매니페스트하드 결합소프트 결합투명 워터마크초록 목록z 점수사후 탐지digitalSourceType

다른 답안과 차이를 내는 한 가지 — 그림 5 의 z 식으로 «짧은 글 · 고쳐 쓴 글은 판정이 안 된다»를 숫자(134 → 1,200 토큰)로 보이고, 소프트 결합으로 떨어진 메타데이터를 되찾는 흐름을 함께 적는다.

9오해와 사실

  • 오해표시가 없으면 사람이 만든 결과물이다.
    사실메타데이터는 공유 과정에서 자주 지워지고(NIST AI 100-4 3.1.2) 워터마크는 생성 쪽이 넣은 경우에만 있으므로, 표시 부재는 출처를 알 수 없다는 뜻일 뿐이다.
  • 오해워터마크는 한번 넣으면 지울 수 없다.
    사실이미지는 잡음을 더한 뒤 잡음 제거로, 글은 고쳐 쓰기로 워터마크가 약해진다(NIST AI 100-4 3.1.1) — 그림 5 처럼 같은 글도 초록 비율이 내려가면 판정에 9배 긴 글이 필요하다.
  • 오해C2PA 서명이 유효하면 내용이 사실이다.
    사실Valid 는 서명 뒤 매니페스트가 바뀌지 않았고 그 기록이 서명자의 것이라는 뜻이며(C2PA 2.5 13.3.5), 그림 속 장면이 실제였는지는 말하지 않는다.

10핵심 정리

방식담는 곳읽는 쪽업로드 뒤약점근거
사람 인식 표시화면 · 픽셀 · 소리사람잘리면 사라짐쉽게 지움 · 위조시행령 제23조②1호
C2PA 매니페스트APP11 · JUMBFC2PA 검증기지워지기 쉬움통째 삭제C2PA 2.5 11 · 13.3
하드 결합바이트 해시검증기사본은 불일치편집마다 새 매니페스트12.2.2
소프트 결합워터마크 · 지문저장소 조회남음고유하지 않을 수 있음12.2.3 · 2.4.1
이미지 워터마크픽셀키 가진 검출기대부분 남음잡음 제거로 약화NIST AI 100-4 3.1.1
텍스트 워터마크토큰 분포z 검정남음 · 고쳐 쓰면 약화짧은 글 판정 보류Kirchenbauer 2023 식 3
사후 탐지없음(흔적)분류기정확도 저하오탐 · 회피NIST AI 100-4 3.2

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제21311호 · 2026-01-20 일부개정 · 2026-07-21 시행) 제2조제5호 · 제31 · 43조 — 생성물 표시 · 실제 같은 결과물 고지 의무(제31조) 원문을 볼 때
    국가법령정보센터(법제처) · 2026-01 · www.law.go.kr/법령/인공지능발전과신뢰기반조성등에관한기본법 · 확인 2026-11-12
  3. ★ Regulation (EU) 2024/1689 (Artificial Intelligence Act) Article 50 — AI Act Explorer 통합 본문(2026-07-27 기준) — 합성 콘텐츠의 기계 판독 표시(2항)와 딥페이크 공개(4항) 문장을 볼 때
    European Commission · AI Act Service Desk · 2026-07 · ai-act-service-desk.ec.europa.eu/en/ai-act/article-50 · 확인 2026-11-12
  4. ★ C2PA Technical Specification 2.5 — 매니페스트 · 하드 결합 · 소프트 결합 · 검증 상태의 정의를 볼 때
    Coalition for Content Provenance and Authenticity · 2026-10 · spec.c2pa.org/specifications/specifications/2.5/specs/C2PA_Specification.html · 확인 2026-11-12
  5. ★ A Watermark for Large Language Models (Kirchenbauer et al. · ICML 2023) — 텍스트 워터마크의 초록 목록과 z 검정 식을 볼 때
    arXiv · 2023-01 · arxiv.org/abs/2301.10226 · 확인 2026-11-12
  6. ★ NIST AI 100-4 Reducing Risks Posed by Synthetic Content — An Overview of Technical Approaches to Digital Content Transparency — 워터마크 · 메타데이터 · 탐지 세 방법의 한계를 견줄 때
    NIST · 2024-11 · doi.org/10.6028/NIST.AI.100-4 · 확인 2026-11-12
  7. 본문 근거
  8. 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법 시행령(대통령령 제36580호 · 2026-08-20 시행) 제23조 — 국가법령정보센터(법제처) · 2026-08 · www.law.go.kr/법령/인공지능발전과신뢰기반조성등에관한기본법시행령 · 확인 2026-11-12
  9. Secure spread spectrum watermarking for multimedia (Cox · Kilian · Leighton · Shamoon · IEEE Transactions on Image Processing 6(12)) — IEEE · 1997-12 · doi.org/10.1109/83.650120 · 확인 2026-11-12