객체 탐지Object Detection
영상 한 장에서 찾을 대상마다 위치를 나타내는 직사각형 상자와 종류 · 확신 점수를 함께 내는 영상 인식 과제다. 비전 검사에서는 결함이 어디에 · 몇 개 · 무슨 종류로 있는지를 상자로 알려 준다.
1요약
- 객체 탐지는 합성곱 신경망 같은 특징 추출기 위에 «상자 · 종류 · 점수»를 내는 머리를 붙인 영상 인식 과제로, 그 출력 위에서 결함 개수 세기 · 위치별 불량 판정 · 로봇 집기 좌표가 돈다 — 2015년 Faster R-CNN 이 앵커 9개와 후보 300개로 틀을 잡았다(Ren 2015 3.1절).
- 분류만 하면 영상에 결함이 «있다»만 알고 어디에 몇 개인지 모른다 — 탐지기는 영상마다 수천 ~ 10만 개의 후보를 훑는데 그중 물체는 몇 개뿐이라 전경 · 배경 불균형이 학습을 망가뜨리며, RetinaNet 은 이를 초점 손실로 눌러 COCO AP 39.1 을 냈다(Lin 2017a 1절 · 표 2).
- 「잘 찾는데 점수가 낮다」는 IoU 기준별 AP 로 가른다 — AP50 은 높고 AP75 만 낮으면 상자 위치 정밀도 문제, 둘 다 낮으면 놓침 · 오검출 문제, 작은 결함 AP_S 만 낮으면 해상도 · 앵커 크기 문제다.
2등장 배경
예전 비전 검사는 견본과 밝기를 비교해 «이 영상은 불량»까지만 냈다. 결함이 둘이면 둘인지, 기판 어느 부품 옆인지는 사람이 다시 봐야 했고, 같은 장에 종류가 다른 결함이 섞이면 영상 단위 분류는 하나만 골랐다. 2010년 PASCAL VOC 는 정답 상자와 겹친 넓이 비(IoU)가 0.5 를 넘어야 «찾았다»고 세는 평가 규칙을 굳혔다(Everingham 2010).
2014년 R-CNN 은 후보 영역마다 합성곱 신경망을 돌렸지만 후보를 만드는 Selective Search 가 영상당 약 2초였다(Ren 2015 1절). 2015년 Faster R-CNN 은 후보 제안망(RPN)을 특징 맵에 붙여 후보 계산을 10 ms 로 줄였고(Ren 2015 4.1절 표 5), 2016년 YOLO 는 영상을 7×7 격자로 나눠 상자 98개를 한 번에 내는 1단계 방식을 열었다(Redmon 2016 2 · 2.3절). 2014년 공개된 COCO 는 91개 종류 · 32만 8천 장 · 250만 개 물체로 기준 데이터가 됐다(Lin 2014 초록).
1단계 방식은 빨랐지만 정확도가 뒤졌고, 2017년 Lin 외는 원인을 배경 후보가 압도하는 불균형으로 짚었다(Lin 2017a). 같은 해 FPN 은 해상도가 다른 특징 맵을 모두 써 작은 물체를 보강했고(Lin 2017b), 2020년 DETR 은 앵커와 NMS 를 없앤 집합 예측을 내놨다(Carion 2020). 지금 산업 검사에서는 결함 레이블이 상자로 쌓인 곳에서 탐지기를, 결함이 드문 곳에서는 비지도 결함 탐지를 앞에 둔다.
3쉽게 이해하기 — 항공 사진으로 철새 세기
철새 조사단은 갯벌을 찍은 항공 사진 한 장을 받는다. 조사원 셋이 사진 위에 새마다 연필로 네모를 긋고 「청둥오리 · 확신 0.8」처럼 이름표와 확신 점수를 적는데, 같은 새에 셋이 모두 네모를 그어 사진이 네모투성이가 된다. 반장은 많이 겹친 네모 가운데 확신이 가장 높은 하나만 남기고 지운다. 마지막으로 감독관이 정답 네모를 그린 투명 필름을 사진에 겹쳐 «겹친 넓이가 절반을 넘었는가»로 채점하는데, 멀리 있어 쌀알만 한 새는 연필 끝이 조금만 비껴도 낙제가 된다.
그림 1 · 조사원들이 새마다 네모 · 이름표 · 점수를 적고, 반장이 겹친 네모를 하나로 줄이며, 감독관은 정답 필름과 겹친 넓이로 채점한다 — 작은 새는 조금만 비껴도 떨어진다.
그림 2 · 채점은 «겹친 넓이 ÷ 둘을 합친 넓이»로 한다 — 정답 필름과 겹친 몫이 절반을 넘어야 찾은 것으로 세고, 같은 새를 두 번 맞혀도 한 번만 센다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 갯벌 항공 사진 | 입력 영상 | 512×512 같은 고정 크기로 줄여 특징 추출기에 넣는다 |
| 조사원 셋 | 검출 머리 · 앵커 | 특징 맵의 모든 위치에서 앵커마다 상자 보정 값을 낸다 |
| 연필 네모 | 경계 상자 | 왼쪽 위 · 오른쪽 아래 좌표 네 값(x1 · y1 · x2 · y2) |
| 종 이름표 · 확신 | 종류 · 점수 | 결함 종류 확률과 그 상자의 확신 점수 |
| 반장의 겹침 정리 | NMS | 점수 높은 상자와 IoU 가 기준을 넘는 상자를 지운다 |
| 정답 필름 | 정답 상자(레이블) | 검사원이 그린 결함 상자 · 종류 |
| 겹친 넓이 채점 | IoU · AP | IoU 기준으로 참 · 오검출을 가르고 정밀도 · 재현율 곡선의 넓이를 낸다 |
| 쌀알만 한 새 | 작은 결함 | 32×32 화소보다 작은 결함 — 같은 어긋남에 IoU 가 크게 떨어진다 |
⚠ 비유가 맞지 않는 곳: 조사원은 사진을 보며 네모를 «그리지만» 탐지기는 미리 정해 둔 앵커 상자를 조금씩 «고친다». 반장은 두 네모가 같은 새인지 눈으로 알지만 NMS 는 겹친 넓이만 보므로, 바짝 붙은 두 결함은 하나로 지워질 수 있다.
4구조 — 특징 추출 · 후보 · 머리 · 후처리 · 평가
탐지기는 특징 추출기(합성곱 신경망 · FPN) 위에 상자를 내는 머리를 얹고, 후보를 만드는 방법에 따라 셋으로 나뉜다. 2단계는 후보 제안망이 고른 후보 300개만 다시 분류하고, 1단계는 모든 앵커에서 한 번에 종류와 상자를 내며, 집합 예측은 객체 질의 100개가 정답과 일대일로 대응해 NMS 가 필요 없다(Ren 2015 3.1절 · Carion 2020 A.4).
그림 3 · 세 방식은 특징 추출기와 출력 형식이 같고, 후보를 줄이는 방법(후보 제안 · 조밀 예측 · 일대일 대응)과 NMS 유무만 다르다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| 특징 추출기 | 영상을 해상도가 다른 특징 맵으로 바꾼다 | FPN 이 후보 평균 재현율을 8.0 점 올림(Lin 2017b 1절) |
| 앵커 | 위치마다 미리 둔 크기 · 비율별 기준 상자 | 넓이 128² · 256² · 512² × 비율 1:1 · 1:2 · 2:1 = 9개(Ren 2015 3.3절) |
| 후보 제안(2단계) | 물체일 법한 후보만 남김 | IoU 0.7 초과 = 양성 · 0.3 미만 = 음성 · 후보 300개(Ren 2015 3.1.2절) |
| 조밀 머리(1단계) | 모든 앵커에서 종류 · 상자를 바로 냄 | 앵커 약 10만 개 · IoU 0.5 이상 전경 · 0.4 미만 배경(Lin 2017a 4절) |
| NMS | 같은 물체의 중복 상자를 지움 | 점수 순으로 남기고 IoU 기준(후보 단계 0.7) 넘는 상자 제거(Ren 2015 3.3절) |
| 평가(AP) | 정밀도 · 재현율 곡선의 넓이 | IoU 0.50 ~ 0.95 10단계 · 재현율 101점 · 영상당 100개(COCO cocoeval) |
| 넓이 구간 | 크기별 성능을 따로 셈 | 작음 < 32² · 중간 32² ~ 96² · 큼 > 96² 화소(COCO cocoeval) |
5동작 — 기판 영상 40장의 결함 상자 평가
이 사례의 숫자는 합성 데이터를 직접 실행해 얻었다(Python 3.14.0 · NumPy 2.4.3 · 시드 0). 학습한 모델이 아니라, 정답 상자 주변에 탐지기가 낼 법한 출력을 흉내 낸 모의 출력으로 NMS · IoU 판정 · AP 계산을 끝까지 따라간다.
- 512×512 기판 영상 40장에 정답 결함 상자 86개를 둔다 — 이물 38 · 땜납 브리지 48 이고, 작은 결함(넓이 < 32² 화소) 37개 · 큰 결함 49개다(가정 값).
- 모의 탐지기는 작은 결함을 80%, 큰 결함을 95% 확률로 찾고, 찾은 결함마다 좌표에 σ 2화소 흔들림을 준 상자 3개를, 영상마다 평균 1개의 배경 오검출을 낸다 — 원시 출력은 265개다.
- 종류별 NMS(IoU 0.5)를 걸면 265 → 133개가 된다 — 영상 0 에서 큰 결함(46×38 화소)의 상자 셋은 서로 IoU 0.80 ~ 0.86 이라 점수 0.76 하나만 남지만, 작은 결함(7×10 화소)의 상자 셋은 서로 IoU 0.28 ~ 0.42 라 셋 다 남는다.
- 점수 순으로 정답과 대응한다(IoU 0.5 이상 · 정답 하나에 한 번) — 영상 0 의 작은 결함은 0.79 상자(IoU 0.52)가 참 검출, 0.73 상자(IoU 0.44)는 위치 부족 오검출, 0.55 상자(IoU 0.55)는 중복 오검출이고, 82×60 화소 큰 결함은 출력이 없어 미검이다.
- 40장 전체에서 IoU 0.5 기준 참 검출 76 · 오검출 57 이고, 종류별 정밀도 · 재현율 곡선을 101점으로 보간해 평균한 AP50 = 0.806 이다.
- 기준을 0.75 로 올리면 AP75 = 0.493, 0.50 ~ 0.95 10단계 평균 AP = 0.486 으로 떨어진다 — 넓이별로는 작은 결함 AP_S 0.248 · 큰 결함 AP_L 0.730 이고, AP75 만 보면 0.111 대 0.914 다.
- 학습 쪽 불균형을 센다 — 보폭 16 · 앵커 넓이 32² · 64² · 128² × 비율 3 이면 영상당 앵커 9,216개, 40장에서 정답과 IoU 0.5 이상인 앵커는 291개 · 0.4 미만 배경 앵커는 367,377개로 약 1 : 1,262 다.
- 작은 결함 37개는 IoU 0.5 이상인 앵커가 하나도 없다 — 가장 작은 앵커(32×32)도 7×10 화소 결함과 겹친 넓이가 너무 작아, 이 설정으로는 학습 때 양성 표본조차 생기지 않는다.
그림 4 · 큰 결함의 상자 셋은 서로 많이 겹쳐 NMS 로 하나가 되지만, 작은 결함의 상자 셋은 2화소 흔들림만으로 서로 IoU 0.5 아래라 모두 남아 참 검출 1 · 오검출 2 가 된다(영상 0 · 직접 실행 · 합성 데이터).
그림 5 · 가로 · 세로 2화소씩 어긋난 정사각형의 IoU 는 한 변 8화소에서 0.39 로 0.5 기준을 넘지 못하고, 64화소에서는 0.88 이다 — 같은 위치 오차가 작은 결함의 AP 만 무너뜨린다.
🔑 탐지기의 점수는 «찾았는가»와 «얼마나 정확히 감쌌는가»를 함께 센다 — AP50 과 AP75 의 차이가 위치 정밀도이고, 그 차이는 같은 화소 오차에도 작은 결함에서 가장 크게 벌어진다.
6비교 — 탐지 방식 셋과 영상 분할
| 기준 | 2단계(Faster R-CNN) | 1단계(YOLO · RetinaNet) | 집합 예측(DETR) | 영상 분할 |
|---|---|---|---|---|
| 후보 만드는 법 | 후보 제안망이 300개로 줄임(Ren 2015) | 모든 앵커 약 10만 개를 한 번에(Lin 2017a) | 객체 질의 100개 · 일대일 대응(Carion 2020) | 후보 없이 화소마다 분류 |
| 중복 정리 | NMS | NMS | 필요 없음 | 연결 성분으로 덩어리 나눔 |
| 출력 | 상자 · 종류 · 점수 | 상자 · 종류 · 점수 | 상자 · 종류 · 점수 | 화소 지도(결함 모양 · 넓이) |
| 작은 물체 AP_ | 26.6(FPN+ · ResNet-50) | 21.8(RetinaNet · ResNet-101 · test-dev) | 20.5(ResNet-50) | 넓이 지표(IoU · Dice)로 따로 셈 |
| 큰 물체 AP_ | 53.4 | 50.2 | 61.1 | — |
| 학습 부담 | 표준 일정 | 표준 일정 · 불균형 손실 필요 | 500 에폭 일정(Carion 2020 4절) | 화소 단위 레이블 |
분석결함이 작고 빽빽하면 해상도별 특징 맵(FPN)을 쓴 2단계 또는 1단계 탐지기를, 결함이 크고 겹친 넓이 정리가 골칫거리면 집합 예측을, 결함 넓이 · 모양까지 판정에 쓰면 상자 대신 영상 분할을 고른다. 근거는 표의 AP_S · AP_L 행 — 같은 AP 42.0 인 Faster R-CNN-FPN+ 와 DETR 이 작은 물체에서 26.6 대 20.5, 큰 물체에서 53.4 대 61.1 로 엇갈린다(Carion 2020 표 1).
7실무 진단 — 놓침 · 오검출 · 위치 오차 가르기
분석성능이 낮으면 먼저 AP50 · AP75 · AP_S 를 나눠 보고 어느 지표가 낮은지에 따라 위치 · 크기 · 불균형 · 후처리 문제로 가른다. 한 숫자(AP)만 보면 사례처럼 AP50 0.806 과 AP_S 0.248 이 한 값 0.486 에 섞여 원인이 보이지 않는다(COCO cocoeval 넓이 구간).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | AP50 은 높은데 AP75 만 낮음 | 상자 보정이 거침 · 레이블 상자 가장자리가 검사원마다 다름 | 상자 회귀 · 레이블 | 참 검출의 IoU 분포 · 같은 영상 이중 레이블 IoU | 이중 레이블끼리 IoU 가 0.75 아래면 모델보다 레이블 기준을 먼저 맞춤(COCO cocoeval IoU 10단계) |
| 2 | 작은 결함만 미검 | 앵커가 결함보다 큼 · 입력을 줄이며 결함이 몇 화소로 뭉개짐 | 앵커 · 입력 | 결함 크기 분포 ↔ 가장 작은 앵커 · 결함별 최대 앵커 IoU | 양성 기준 IoU 를 넘는 앵커가 없는 결함이 있으면 작은 앵커 · 높은 해상도 맵 추가(사례 37/37 · Lin 2017b) |
| 3 | 같은 결함에 상자 여러 개 | NMS 기준이 높음 · 작은 상자의 흔들림 | 후처리 | 정답 하나에 대응한 상자 수 · NMS 기준별 오검출 수 | 사례 NMS 0.3 · 0.5 · 0.7 에서 오검출 41 · 57 · 90 — 기준을 낮추되 붙은 결함 쌍의 IoU 보다 낮추지 않음 |
| 4 | 바짝 붙은 결함 둘 중 하나만 나옴 | NMS 가 다른 결함 상자를 지움 | 후처리 | 붙은 결함 쌍의 서로 IoU | 그 IoU 가 NMS 기준보다 크면 기준을 올리거나 NMS 없는 방식 검토(Carion 2020 1절) |
| 5 | 학습 손실은 줄어도 재현율이 제자리 | 배경 앵커가 손실을 차지 | 학습 | 영상당 양성 · 음성 앵커 수 | 1 : 1,000 수준이면 초점 손실(γ 2 · α 0.25) 또는 1:1 표본 추출(Lin 2017a 3 · 5.1절 · Ren 2015 3.1.3절) |
가려내는 순서는 레이블 → 앵커 · 입력 크기 → 후처리 → 학습이다. 레이블 상자 기준이 흔들리면 뒤 단계를 아무리 고쳐도 AP75 가 오르지 않으므로, 같은 영상의 이중 레이블부터 맞춘다.
8시험 대비
www.q-net.or.kr시험에서는 경계 상자 · IoU · NMS · mAP 를 정의하고 2단계 · 1단계를 구분하는 정의 · 특징형, 그리고 2단계 ↔ 1단계 ↔ 집합 예측을 후보 방식 · 중복 정리 · 작은 물체로 견주는 비교형이 나올 수 있다. IoU 를 직접 계산한 값과 넓이별 AP 를 붙이면 정의 수준을 넘는다.
- 개요 — 정의(상자 · 종류 · 점수) · 분류 · 분할과의 차이 · 비전 검사 안에서의 위치
- 구조 — 그림 3 세 방식 구성도(특징 추출기 · 후보 · 머리 · NMS · 평가) · 앵커 9개 표
- 핵심 개념 — 그림 2 IoU 정의 · NMS 절차 · 그림 4 중복 상자 정리 사례(원시 7 → 5)
- 평가 — AP50 · AP75 · AP[.50:.95] · 넓이 구간 32² · 96² · 재현율 101점 보간
- 문제와 대응 — 그림 5 작은 결함 IoU 곡선(8화소 0.39) · FPN · 전경 · 배경 불균형 1 : 1,262 · 초점 손실
- 비교 · 동향 — 2단계 · 1단계 · DETR 비교표(AP_S 26.6 · 21.8 · 20.5) · NMS 없는 방식
꼭 쓸 키워드
경계 상자앵커IoUNMS후보 제안망2단계1단계mAPAP50작은 물체초점 손실FPNDETR
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 2화소 오차가 한 변 8화소 상자에서 IoU 0.39 로 기준을 못 넘는다는 계산을 보이고, 작은 결함 대책(작은 앵커 · 고해상도 맵)으로 잇는 것이다.
9오해와 사실
- 오해NMS 기준을 낮출수록 중복이 줄어 성능이 오른다.사실사례에서 NMS 0.3 은 남은 상자를 133 → 113개로 줄였지만 브리지 참 검출도 44 → 40 으로 줄었다 — 기준이 붙은 결함 쌍의 IoU 보다 낮으면 다른 결함 상자를 지운다.
- 오해mAP 하나로 탐지기를 비교하면 충분하다.사실COCO 검증에서 AP 42.0 이 같은 두 모델이 작은 물체 26.6 대 20.5, 큰 물체 53.4 대 61.1 로 갈렸다(Carion 2020 표 1) — 결함 크기 분포에 맞는 넓이별 AP 를 봐야 한다.
- 오해1단계 탐지기는 빠른 대신 늘 덜 정확하다.사실RetinaNet 은 초점 손실로 배경 앵커의 손실을 눌러(p_t 0.9 에서 교차 엔트로피의 1/100) COCO test-dev AP 39.1 로 당시 2단계 단일 모델을 앞섰다(Lin 2017a 3.2절 · 표 2).
10핵심 정리
| 구분 | 맡는 일 | 핵심 값 | 사례 값 | 흔한 실패 |
|---|---|---|---|---|
| 앵커 | 위치마다 기준 상자 | 3 크기 × 3 비율 = 9 | 영상당 9,216개 | 결함보다 큼(작은 결함 37/37 양성 없음) |
| 후보 제안 · 2단계 | 후보를 줄여 다시 분류 | IoU 0.7 · 0.3 · 후보 300 | — | 느림 |
| 조밀 예측 · 1단계 | 모든 앵커에서 바로 출력 | 앵커 약 10만 · γ 2 · α 0.25 | 양성 : 배경 = 1 : 1,262 | 배경 불균형 |
| NMS | 중복 상자 제거 | IoU 기준 0.5 · 0.7 | 265 → 133개 | 작은 상자 중복 잔존 · 붙은 결함 삭제 |
| IoU | 정답 대응 판정 | 교집합 ÷ 합집합 · 0.5 | 작은 결함 0.52 · 큰 결함 0.815 | 작은 상자에서 급락(8화소 0.39) |
| AP | 정밀도 · 재현율 곡선 넓이 | IoU 10단계 · 101점 | AP50 0.806 · AP 0.486 | 한 숫자로 원인 섞임 |
| 넓이별 AP | 크기별 성능 | 32² · 96² 경계 | AP_ | 작은 결함만 낮음 |
| 집합 예측 | NMS 없이 일대일 출력 | 질의 100 · 500 에폭 | — | 작은 물체 AP_ |
11참고 문헌
- 먼저 볼 문헌
- ★ Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks (IEEE TPAMI) — 앵커 9개 · 후보 제안망 · 후보 300개 · NMS 0.7 로 짠 2단계 검출기의 뼈대를 볼 때
- ★ Focal Loss for Dense Object Detection (ICCV 2017) — 1단계 검출기의 전경 · 배경 불균형과 초점 손실(γ 2 · α 0.25)을 볼 때
- ★ End-to-End Object Detection with Transformers (ECCV 2020) — 앵커 · NMS 없이 일대일 대응으로 상자를 내는 방식과 작은 물체 AP 차이를 볼 때
- ★ COCO API — pycocotools cocoeval.py (평가 매개변수 iouThrs · recThrs · areaRng · maxDets) — AP 를 IoU 10단계 · 재현율 101점 · 넓이 구간으로 세는 규칙을 볼 때
- 본문 근거
- You Only Look Once: Unified, Real-Time Object Detection (CVPR 2016) — J. Redmon 외 · IEEE · 2016-06 ·
arxiv.org/abs/1506.02640· 확인 2026-11-12 - Feature Pyramid Networks for Object Detection (CVPR 2017) — T.-Y. Lin 외 · IEEE · 2016-12 ·
arxiv.org/abs/1612.03144· 확인 2026-11-12 - Microsoft COCO: Common Objects in Context (ECCV 2014) — T.-Y. Lin 외 · Springer · 2014-05 ·
arxiv.org/abs/1405.0312· 확인 2026-11-12 - The PASCAL Visual Object Classes (VOC) Challenge (International Journal of Computer Vision 88 303-338) — M. Everingham 외 · Springer · 2010-06 ·
doi.org/10.1007/s11263-009-0275-4· 확인 2026-11-12 - NumPy 2.4 Reference — Random Generator — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12