적대적 공격Adversarial Attack
학습을 마친 모델의 입력에 사람 눈에는 거의 보이지 않는 계산된 섭동을 더해 틀린 예측을 내게 하는 공격이다. 그렇게 바뀐 입력을 적대적 예제라고 한다.
1요약
- 적대적 공격은 이미 배포된 모델의 추론 입력만 바꿔 예측을 뒤집는 공격으로, NIST AI 100-2 E2025 가 배치 단계의 무결성 위반인 회피(evasion) 공격으로 분류하며(2.1.2 · 2.2절) 영상 분류 · 비전 검사 · 음성 인식 · 악성코드 탐지 모델이 같은 약점을 안고 있다.
- 강건성을 따로 학습하지 않은 모델은 깨끗한 시험 정확도가 높아도 최악의 입력에 무너진다 — CIFAR-10 에서 일반 학습 모델은 95.2% 가 화소당 8/255 이내 섭동 아래 3.5% 로 떨어졌고(Madry 2018 그림 4), 흑백 스티커만 붙인 정지 표지판은 주행 중 찍은 영상 프레임의 84.8% 에서 다른 표지로 읽혔다(Eykholt 2018 초록).
- 「모델이 갑자기 틀린다」는 무엇이 바뀌었는가로 가른다 — 특정 입력만 작게 바뀌어 틀리면 적대적 공격, 학습 데이터가 바뀌어 같은 꼴의 입력이 모두 틀리면 데이터 오염, 라인 · 로트 전체 입력이 함께 옮겨 가 고르게 틀리면 분포 변화다.
2등장 배경
2004년 무렵 Dalvi 등과 Lowd · Meek 은 선형 분류기로 만든 스팸 필터가 낱말 몇 개를 바꾼 메일을 통과시키는 것을 보였다(NIST 2.2절). 2012년 뒤 딥러닝 영상 분류가 사람에 가까운 정확도를 내자, 이런 약점은 단순한 선형 모델의 문제로 여겨졌다.
2013년 Szegedy 등은 영상에 사람 눈에 보이지 않는 섭동을 더하면 심층 신경망이 오분류하고, 학습 데이터의 다른 부분으로 학습한 다른 망도 같은 입력에 틀린다는 것을 보이며 적대적 예제(adversarial examples)라는 이름을 붙였다(Szegedy 2013 초록). 같은 해 Biggio 등도 경사 최적화로 같은 현상을 따로 찾았고(NIST 2.2.1절), 2014년 Goodfellow 등은 원인을 고차원 입력에서의 선형성으로 설명하며 한 걸음 공격 식과 적대적 훈련을 내놓았다(Goodfellow 2014 초록). 2017년 Madry 등은 공격과 방어를 하나의 최소 · 최대 문제로 정식화했다(Madry 2018 식 2.1).
그 뒤 새 방어가 나오면 더 강한 공격에 깨지는 일이 되풀이됐다. ICLR 2018 방어 9개 가운데 7개가 경사를 가리는 효과에 기대고 있었고 6개가 완전히, 1개가 부분적으로 우회됐으며(Athalye 2018 초록), 2020년 공격 묶음 평가는 50여 개 모델 중 하나를 빼고 모두 논문에 적힌 값보다 낮은 강건 정확도를 냈다(Croce 2020 초록). NIST 는 적대적 훈련 · 랜덤 스무딩 · 형식 검증 셋을 유망한 방향으로 두면서도 정확도와의 상충이 남은 열린 문제라고 정리한다(2.2.5절).
3쉽게 이해하기 — 색 견본표로 과일을 가르는 선별장
과일 선별장의 직원은 색 견본표 한 장만 보고 사과는 왼쪽 상자로, 배는 오른쪽 상자로 보낸다. 견본표의 어느 칸에서 판정이 바뀌는지 아는 누군가가 사과 겉에 사람은 알아채지 못할 옅은 물감 점을 골라 찍자, 직원은 그 사과를 배 상자로 보낸다. 그래서 선별장은 교육 때 점 찍힌 사과를 일부러 섞어 보여 주고, 애매한 과일은 여러 번 흔들어 본 뒤 다수결로 정하며, 감독관이 가장 교묘한 점 찍기로 정기 시험을 본다.
그림 1 · 사과에 찍힌 옅은 점이 직원의 판정 선을 넘겨 배 상자로 보내고, 섞어 교육 · 흔들어 다수결 · 감독관 시험이 그 실수를 줄인다.
그림 2 · 판정 선 가까이 있는 사과는 옅은 점 몇 개로 선을 넘고, 실제 입력 공간에서는 한도 ε 상자 안의 모서리 하나가 결정 경계 너머에 있다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 선별 직원 | 분류 모델 | 입력을 받아 레이블을 낸다 |
| 견본표의 판정 선 | 결정 경계 | 예측이 바뀌는 입력 공간의 경계 |
| 옅은 물감 점 | 섭동 δ | 한도 ε 안에서 경계 쪽으로 고른 입력 변화 |
| 사람 눈엔 그대로 | 섭동 한도(ℓp 거리) | 「같은 입력」으로 볼 범위를 ‖δ‖∞ ≤ 8/255 처럼 수로 정한다 |
| 점 찍힌 사과 | 적대적 예제 | 경계를 넘어 오분류되는 입력 x + δ |
| 섞어 교육 | 적대적 훈련 | 학습 중 적대적 예제를 정답 레이블과 함께 넣는다 |
| 흔들어 다수결 | 랜덤 스무딩 | 가우스 잡음을 더한 표본들의 다수결 · 인증 반경 계산 |
| 감독관 시험 | 적응 공격 평가 | 방어를 아는 공격자를 가정해 강건성의 상한을 잰다 |
⚠ 비유가 맞지 않는 곳: 실제 섭동은 점 몇 개가 아니라 화소 전체에 고루 퍼진 작은 값이고, 모델의 경사를 따라 계산해야 효과가 크다. 또 한도 ε 는 평가하는 쪽이 정한 위협 모델의 가정일 뿐이라 실제 공격자가 그 한도를 지킨다는 보장은 없다(Carlini 2019 3절).
4구조 — 공격 단계 · 공격자 지식 · 방어 지점
NIST 는 공격을 먼저 학습 단계 · 배치 단계로 나누고, 목표(가용성 · 무결성 · 프라이버시)와 공격자 지식(화이트 · 그레이 · 블랙박스)으로 다시 나눈다(2.1절). 적대적 공격은 배치 단계에서 시험 데이터만 통제하는 무결성 공격이다 — 학습 데이터를 바꾸는 쪽은 데이터 오염, LLM 의 지시를 밀어내는 쪽은 프롬프트 인젝션이 맡는다.
그림 3 · 적대적 공격은 학습이 끝난 모델 θ 를 그대로 두고 추론 입력만 바꾸며, 방어는 학습(A) · 모델(B) · 질의 창구(C) · 배포 전 평가(D) 네 곳에 놓인다.
| 요소 | 구분 | 맡는 일 | 값 · 근거 |
|---|---|---|---|
| 추론 입력 x | 공격 표면 | 공격자가 바꾸는 곳 | 시험 데이터 통제 능력(NIST 2.1.3절) |
| 섭동 δ | 공격 | 경계를 넘기는 변화 | 영상 ‖δ‖∞ ≤ 8/255 가 흔한 평가 한도(Madry 2018 4절) |
| 모델 θ | 대상 | 예측 · 결정 경계 | 고차원 선형성이 약점의 주원인이라는 설명(Goodfellow 2014 초록) |
| 위협 모델 | 가정 | 목표 · 지식 · 능력 · 한도 | 평가는 위협 모델을 먼저 적는다(Carlini 2019 3절 · 2.2절 항목) |
| 화이트박스 | 공격자 지식 | 구조 · 가중치 · 경사를 앎 | 최악 경우를 재는 기준(NIST 2.1.4절) |
| 블랙박스 | 공격자 지식 | 질의 응답만 봄 | 점수형 · 결정형 · 전이 · 질의 1,000회 미만 사례(NIST 2.2.2 · 2.2.3절) |
| 강건 정확도 | 평가 | 공격 아래 정확도 | 여러 공격 중 가장 낮은 값(Carlini 2019 3절 · 5.4절 항목) |
공격과 방어는 한 식으로 묶인다 — min_θ E(x,(Madry 2018 식 2.1). 안쪽 최대화가 주어진 모델에서 손실을 가장 키우는 입력을 찾는 일이고, 바깥 최소화가 그 최악의 손실을 줄이도록 모델을 학습하는 적대적 훈련이다.
🔑 적대적 공격은 모델을 건드리지 않고 입력만 바꾸므로, 같은 모델도 위협 모델(한도 ε · 공격자 지식)을 바꾸면 강건 정확도가 다른 숫자가 된다 — 강건성은 위협 모델과 함께 적은 숫자만 뜻이 있다.
5동작 — CIFAR-10 분류기 강건성 평가 한 건
공개 논문(Madry 2018)의 CIFAR-10 실험 값으로, 배포 전에 영상 분류 모델의 강건성을 평가하는 흐름이다. 시험 영상 10,000장 · 너비를 10배 넓힌 ResNet 기준이며, 공격 생성 절차와 설정 값은 싣지 않고 평가 판단만 적는다.
- 위협 모델 — 화소 값 0 ~ 255 에서 화소마다 ±8 이내(ℓ∞ ε = 8/255) · 화이트박스 공격자 · 목표 = 아무 오답(비표적)으로 적는다(Madry 2018 4절 · Carlini 2019 3절).
- 기준선 — 일반 학습 모델은 깨끗한 영상 95.2% · 한 걸음 공격(FGSM) 아래 32.7% · 반복 공격(PGD) 아래 3.5% 다(Madry 2018 그림 4(a)).
- 첫 대응의 함정 — FGSM 예제로만 훈련한 모델은 깨끗한 90.3% · FGSM 아래 95.1% 인데 PGD 아래 0.0% 다. 한 걸음 공격 숫자만 오른 결과라 채택하지 않는다(그림 4(b)).
- PGD 적대적 훈련 — 반복 공격 예제로 훈련하자 깨끗한 정확도가 87.3% 로 7.9%p 내려간다(그림 4(c)).
- 화이트박스 평가 — FGSM 56.1% · PGD 7회 반복 50.0% · CW 46.8% · PGD 20회 반복 45.8% 를 얻는다(표 2).
- 전이 대조 — 따로 학습한 같은 구조 사본에서 만든 예제는 64.2%, 일반 학습 사본에서 만든 예제는 86.0% 다(표 2 · 출처 A′ · A_nat).
- 이상 점검 — 반복 공격이 한 걸음 공격보다 강하고(45.8 < 56.1), 전이 공격이 화이트박스보다 약하다(64.2 > 45.8). 둘이 거꾸로면 경사를 가리는 방어를 의심한다(Carlini 2019 3절 · 4.5절 항목).
- 보고 — 가장 낮은 값을 강건 정확도로 삼아 「ℓ∞ 8/255 · 화이트박스 · 강건 45.8% · 깨끗한 87.3%」 한 줄로 위협 모델과 함께 적는다.
그림 4 · PGD 적대적 훈련 모델은 공격이 강해질수록 정확도가 87.3% 에서 45.8% 까지 내려가고, 가장 낮은 값이 강건 정확도로 보고된다.
🔑 강건 정확도는 가장 강한 공격 아래의 값이다 — 약한 공격에서만 높게 나온 숫자는 방어가 강하다는 뜻이 아니라 평가가 약하다는 신호다.
세 가지 훈련 방식을 나란히 놓으면 강건성이 무엇과 맞바뀌는지 보인다. 일반 학습은 깨끗한 정확도가 가장 높지만 반복 공격에 거의 0 이 되고, FGSM 훈련은 한 걸음 공격 숫자만 높이며, PGD 훈련만 반복 공격 아래 정확도를 얻는 대신 깨끗한 정확도를 내준다(NIST 2.2.5절 · 강건성 · 정확도 상충).
그림 5 · 강건성은 깨끗한 정확도를 내주고 얻으며, 한 걸음 공격(FGSM)에서만 높은 숫자는 반복 공격(PGD) 아래 0.0% 로 무너진다.
6비교 — 방어 방식 넷
| 기준 | 적대적 훈련 | 랜덤 스무딩 | 형식 검증 | 입력 변환 · 탐지 |
|---|---|---|---|---|
| 보장 | 경험적 — 평가한 공격까지 | 인증 — ℓ2 반경 R 안은 예측이 그대로 | 인증 — 증명 | 경험적 — 적응 공격에 자주 깨짐 |
| 공개 값 | CIFAR-10 깨끗한 87.3% · 강건 45.8%(Madry 2018 표 2) | ImageNet ℓ2 0.5 이하 인증 top-1 49%(Cohen 2019 초록) | 작은 망에 한정(NIST 2.2.5절) | 탐지 10종 우회 · ICLR 2018 방어 9개 중 7개가 경사 가림(NIST 2.2.5절 · Athalye 2018) |
| 핵심 식 · 값 | 최소 · 최대 식(Madry 2018 식 2.1) | R = σ · Φ⁻¹(p_ | 출력 범위를 해석적으로 계산 | 미분 불가 전처리 · 무작위성 |
| 비용 | 학습 중 공격 반복 생성 · 깨끗한 정확도 하락 | 추론마다 잡음 표본 다수 · 인증 못 받는 입력 남음 | 계산량 · 지원 연산 제한 | 싸지만 평가가 어려움 |
| 맞는 곳 | ℓ∞ 영상 위협 모델의 기본 | 반경을 숫자로 증명해야 할 때 | 안전 필수의 작은 망 | 단독 방어로 쓰지 않음 |
분석출발점은 적대적 훈련이고, «이 반경 안에서는 틀리지 않는다»를 문서로 내야 하면 랜덤 스무딩을 더하며, 입력 변환 · 탐지는 단독 방어로 두지 않는다. 근거는 표의 공개 값 행 — 경사를 가리는 방어는 적응 공격에 깨진 기록이 많고(Athalye 2018), NIST 는 훈련 · 스무딩 · 검증 셋만 유망한 방향으로 둔다(2.2.5절).
7실무 진단 — 강건성 숫자와 현장 오분류 가르기
분석평가 보고서의 숫자가 의심스러우면 공격 목록 · 공격별 값부터, 운영 중 오분류가 늘면 질의 기록 → 오분류 입력 모음 → 기간별 입력 통계 순으로 본다. 앞의 셋은 평가 결함을, 뒤의 셋은 공격과 분포 변화를 가르는 자료라 순서를 섞으면 원인이 겹쳐 보이기 때문이다(Carlini 2019 3절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 보고된 강건 정확도가 다른 팀이 다시 잰 값보다 높음 | 약한 공격으로만 평가 | 평가 | 사용한 공격 목록 · 공격별 값 | 반복 공격이 한 걸음 공격보다 약하면 평가 결함(Carlini 2019 3절 · 5.2절 항목) |
| 2 | 전이 · 블랙박스 공격이 화이트박스보다 잘 통함 | 경사 가림 | 평가 | 공격별 성공률 표 | 전이가 화이트박스보다 성공률이 낮아야 정상(Carlini 2019 4.5절 항목 · Athalye 2018) |
| 3 | 한도를 크게 키워도 정확도가 무작위 수준까지 내려가지 않음 | 공격 구현 · 설정 오류 | 평가 | 한도별 성공률 곡선 | 큰 한도에서는 무작위 추측 수준(10클래스면 10%)에 닿아야 함(Carlini 2019 5.2 · 5.3절 항목) |
| 4 | 한 계정에서 서로 비슷한 입력의 질의가 짧은 시간에 수백 회 | 블랙박스 질의 공격 | 운영 | API 질의 기록 · 입력 사이 거리 | 질의 1,000회 미만으로 우회한 공개 기법이 있음(NIST 2.2.2절) |
| 5 | 스티커 · 패치가 붙은 물체만 다른 클래스로 읽힘 | 물리 적대적 공격 | 입력 | 오분류 영상 모음 · 붙은 물체 | 흑백 스티커만으로 표적 오분류가 성립(Eykholt 2018 초록) |
| 6 | 새 로트 · 새 카메라 뒤 모든 입력의 정확도가 고르게 떨어짐 | 분포 변화(공격 아님) | 데이터 | 기간별 입력 통계 | 특정 입력이 아니라 입력 전체가 옮겨 감 — 드리프트에서 다룸 |
1 ~ 3행은 방어가 약한 것이 아니라 숫자가 틀린 경우라 모델을 고치기 전에 평가를 다시 한다. 4 · 5행은 실제 공격 신호라 질의 제한과 현장 표본 재평가를 함께 하고, 6행은 강건성 평가가 아니라 재학습 · 기준 갱신으로 넘긴다.
8시험 대비
www.q-net.or.kr시험에서는 정의 · 분류 · 원인을 묻는 정의 · 특징형, AI 시스템의 보안 위협과 대응을 묻는 장애 · 보안 대응형이 나올 수 있다. 정의형은 «모델은 그대로 두고 추론 입력만 바꾸는 무결성 공격»으로 시작해 학습 · 배치 단계 분류와 화이트 · 블랙박스로 넘어가고, 대응형은 최소 · 최대 식 하나로 공격과 적대적 훈련을 함께 설명한 뒤 방어 비교표와 평가 점검으로 맺는다. 프롬프트 인젝션과 함께 물으면 «연속 값 입력의 작은 섭동 ↔ 토큰 열 속 지시 문장»을 차이로 짚는다.
- 개요 — 정의 · 적대적 예제 · 등장(2013 명명 · 2014 한 걸음 공격과 적대적 훈련 · 2017 최소 · 최대 식)
- 분류 — 그림 3 학습 · 배치 단계와 공격자 지식(데이터 오염 · 회피 · 프라이버시 공격 구분)
- 원리 — 결정 경계 · ℓ∞ 한도 ε · 최소 · 최대 식 · 고차원 선형성 설명
- 대응 — 비교표(적대적 훈련 · 랜덤 스무딩 · 형식 검증 · 입력 변환 · 탐지) · 인증 반경 식
- 평가 — 그림 4 공격별 정확도 막대(최솟값 45.8%) · 점검 항목(반복 < 한 걸음 · 전이 > 화이트박스)
- 한계 — 그림 5 강건성 · 정확도 상충(95.2% → 87.3%) · 물리 공격(주행 프레임 84.8%)
꼭 쓸 키워드
적대적 예제섭동위협 모델화이트박스블랙박스전이성FGSMPGD적대적 훈련랜덤 스무딩
다른 답안과 차이를 내는 한 가지 — 세 훈련 방식의 3 × 3 숫자(일반 3.5% · FGSM 훈련의 PGD 0.0% · PGD 훈련 45.8%)를 그림 5 로 그려 「한 걸음 공격 숫자는 강건성이 아니다」를 증거로 보인다.
9오해와 사실
- 오해적대적 예제는 잡음이 많은 저화질 입력이다.사실섭동은 화소당 8/255 처럼 사람이 알아채지 못할 만큼 작고, 크기가 아니라 손실이 커지는 방향으로 고른 변화다(Szegedy 2013 초록 · Madry 2018 4절).
- 오해모델 구조와 가중치를 숨기면 안전하다.사실질의 응답만으로 만드는 블랙박스 공격과, 다른 모델에서 만든 예제를 옮겨 쓰는 전이 공격이 있다(NIST 2.2.2 · 2.2.3절).
- 오해적대적 훈련을 하면 모든 공격에 강해진다.사실훈련에 쓴 위협 모델(ℓ∞ 8/255) 안에서만 강건하며, 그 안에서도 CIFAR-10 강건 정확도는 45.8% 였고 깨끗한 정확도는 7.9%p 내려갔다(Madry 2018 표 2 · 그림 4).
10핵심 정리
| 구분 | 성격 | 단계 | 대표 값 | 확인 지표 |
|---|---|---|---|---|
| 회피 · 적대적 예제 | 공격 · 무결성 | 배치 | 일반 모델 95.2% → 3.5% | 강건 정확도 |
| 물리 적대적 공격 | 공격 · 현실 물체 | 배치 | 주행 프레임 84.8% 오분류 | 현장 오분류 표본 |
| 화이트박스 | 공격자 지식 | 평가 기준 | 구조 · 가중치 · 경사 | 최악 경우 정확도 |
| 블랙박스 · 전이 | 공격자 지식 | 운영 | 질의 1,000회 미만 사례 | 질의 기록 |
| 적대적 훈련 | 방어 · 경험적 | 학습 | 깨끗한 87.3% · 강건 45.8% | 두 정확도 함께 |
| 랜덤 스무딩 | 방어 · 인증 | 추론 | ℓ2 0.5 · 인증 49% | 인증 반경 R |
| 적응 공격 평가 | 검증 | 배포 전 | 50여 모델 중 하나 빼고 보고 값보다 낮음 | 공격별 최솟값 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST AI 100-2 E2025 Adversarial Machine Learning: A Taxonomy and Terminology of Attacks and Mitigations — 학습 · 배치 단계 분류와 회피 공격 · 대응 세 가지(2.1 · 2.2절)를 볼 때
- ★ Towards Deep Learning Models Resistant to Adversarial Attacks (Madry et al. · ICLR 2018) — 최소 · 최대 식(2.1)과 CIFAR-10 적대적 훈련 결과(표 2 · 그림 4)를 볼 때
- ★ On Evaluating Adversarial Robustness (Carlini et al.) — 방어 평가에서 빠뜨리기 쉬운 점검 항목(3절 목록)을 볼 때
- ★ Explaining and Harnessing Adversarial Examples (Goodfellow · Shlens · Szegedy · ICLR 2015) — 선형성 설명과 한 걸음 공격 식 · 첫 적대적 훈련을 볼 때
- ★ Certified Adversarial Robustness via Randomized Smoothing (Cohen · Rosenfeld · Kolter · ICML 2019) — 인증 반경 식(정리 1)과 ImageNet 인증 정확도를 볼 때
- 본문 근거
- Intriguing properties of neural networks (Szegedy et al. · ICLR 2014) — arXiv · 2013-12 ·
arxiv.org/abs/1312.6199· 확인 2026-11-12 - Obfuscated Gradients Give a False Sense of Security: Circumventing Defenses to Adversarial Examples (Athalye · Carlini · Wagner · ICML 2018) — arXiv · 2018-02 ·
arxiv.org/abs/1802.00420· 확인 2026-11-12 - Robust Physical-World Attacks on Deep Learning Models (Eykholt et al. · CVPR 2018) — arXiv · 2017-07 ·
arxiv.org/abs/1707.08945· 확인 2026-11-12 - Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks (Croce · Hein · ICML 2020) — arXiv · 2020-03 ·
arxiv.org/abs/2003.01690· 확인 2026-11-12 - RobustBench: a standardized adversarial robustness benchmark (Croce et al.) — arXiv · 2020-10 ·
arxiv.org/abs/2010.09670· 확인 2026-11-12