영상 분할Image Segmentation
영상의 화소마다 배경 · 결함 · 물체 같은 클래스를 붙여 영역의 경계와 넓이를 화소 단위로 나누는 컴퓨터 비전 과제다.
1요약
- 영상 분할은 비전 검사 안에서 화소마다 클래스(배경 · 얼룩 · 긁힘)를 붙이는 출력 형식으로, 2014년 FCN 과 2015년 U-Net 의 인코더-디코더 구조에서 틀이 잡혔고(Long 2015 · Ronneberger 2015), 그 마스크 위에서 결함 면적 · 길이 · 개수 측정이 돈다.
- 상자는 비스듬한 긁힘의 넓이를 재지 못하고, 화소 정확도는 결함을 숨긴다 — 결함 화소가 4.4% 인 사례 영상에서 «전부 배경» 마스크도 화소 정확도 95.6% 가 나와, 평가는 클래스별 IoU · Dice 로 한다(직접 실행).
- 「분할이 부정확하다」는 결함 폭과 오차 종류로 가른다 — 얇은 긁힘만 IoU 가 낮으면 경계 1화소 오차, 덩어리 수가 틀리면 후처리, 면적은 맞는데 IoU 가 낮으면 넘친 화소와 빠진 화소가 서로 지운 위치 오차다.
2등장 배경
상자 검출은 결함이 «어디쯤» 있는지만 알려 준다. 길이 4 mm 로 비스듬히 난 긁힘을 감싼 상자는 긁힘 자체보다 훨씬 넓은 면을 품어, 면적 · 길이로 합격을 가르는 검사에는 화소 단위 경계가 필요하다. 겹침을 재는 식은 오래됐다 — Jaccard(1912)는 두 지역 식물 종의 «공통 ÷ 합집합»을, Dice(1945)는 두 종의 연관을 «2 × 공통 ÷ 두 수의 합»으로 냈고, 이것이 지금의 IoU 와 Dice 계수다.
2014년 Long · Shelhamer · Darrell 은 분류망의 완전 연결 계층을 합성곱으로 바꾼 FCN 으로 임의 크기 입력에 같은 크기의 점수 지도를 내고, 깊은 특징과 얕은 특징을 합쳐 PASCAL VOC 2012 평균 IU 62.2% 를 냈다(Long 2015 초록). 2015년 Ronneberger 외의 U-Net 은 축소 경로와 대칭 확장 경로를 복사 · 연결로 잇고, 부분 레이블 학습 영상 35장으로 ISBI 2015 세포 과제 IoU 0.9203 을 냈다(Ronneberger 2015 4절 표 2). 2016년 V-Net 은 Dice 계수를 손실로 직접 최적화해 전경 · 배경 불균형을 다뤘다(Milletari 2016 초록).
2017년 Mask R-CNN 이 물체마다 마스크를 내는 인스턴스 분할을 정리했고(He 2017), 2019년 Kirillov 외가 클래스와 인스턴스를 한 장에 합친 파놉틱 분할과 PQ 지표를 정했다(Kirillov 2019). 같은 해 Tabernik 외는 표면 결함 분할 학습에 결함 표본 25 ~ 30개면 된다고 보였고(Tabernik 2019 초록), 2023년 SAM 은 1,100만 장 · 마스크 10억 개 이상으로 범용 분할 모델을 학습했다(Kirillov 2023 초록). 지금 비전 검사에서 분할은 결함 면적 · 길이 측정과 위치 표시를 맡고, 상자 위치는 객체 탐지, 정상 영상만으로 찾는 결함은 비지도 결함 탐지가 맡는다.
3쉽게 이해하기 — 항공 사진에 색칠하는 측량 사무소
측량 사무소의 신입 직원은 항공 사진 위에 투명 필름을 덮고 논 · 길 · 집마다 정해진 색으로 칸을 칠한다. 먼저 사진을 줄여 보며 「여기는 논, 저기는 길」을 알아보고, 경계를 그릴 때는 원본 크기 사진을 옆에 대고 논두렁 선을 따라간다. 다 칠하면 선배가 정답 필름을 겹쳐 «겹친 넓이 ÷ 둘 중 한쪽이라도 칠한 넓이»를 재는데, 폭 좁은 논두렁길은 붓이 한 칸만 비껴도 점수가 반으로 준다.
그림 1 · 줄여 본 사진으로 «무엇»을 알고 원본을 옆에 대 경계를 칠한 필름 하나가 번호 매기기 · 겹쳐 채점 · 넓이 재기의 바탕이 된다.
그림 2 · 깊은 특징만 키우면 경계가 화소 4개씩 묶인 계단이 되고, 얕은 특징을 이어 붙여야 경계가 화소 단위로 맞는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 항공 사진 | 입력 영상 | 사례 = 128×128 화소 · 화소 하나 0.05 mm(가정 값) |
| 줄여 본 사진 | 인코더(축소 경로) | 풀링으로 크기를 반씩 줄이며 «무엇»을 담은 특징을 만든다 |
| 옆에 댄 원본 | 스킵 연결 | 같은 크기 단계의 인코더 특징을 디코더에 복사 · 연결한다 |
| 경계 따라 칠하기 | 디코더(확장 경로) | 특징 지도를 다시 키워 원래 크기 점수 지도를 낸다 |
| 색칠한 필름 | 분할 마스크 | 화소마다 클래스 번호 하나 |
| 필지 번호 | 인스턴스 id | 같은 클래스 물체를 하나씩 가른다 |
| 정답 필름 겹치기 | IoU · Dice | 교집합 ÷ 합집합 · 2 × 교집합 ÷ 두 넓이의 합 |
| 넓이 재기 | 면적 · 크기 측정 | 화소 수 × 화소 하나의 넓이 = mm² |
⚠ 비유가 맞지 않는 곳: 직원은 줄인 사진과 원본을 차례로 보지만, 모델은 축소 경로 모든 단계의 특징을 디코더의 같은 단계에 한꺼번에 넘긴다. 또 사람은 애매한 경계를 «아마 여기»로 긋지만, 모델은 화소마다 클래스 점수를 내고 가장 큰 클래스 하나를 고른다.
4구조 — 인코더 · 디코더 · 스킵 연결
U-Net 의 축소 경로는 3×3 합성곱 두 번과 2×2 최대 풀링을 되풀이하며 단계마다 채널을 두 배로 늘리고, 확장 경로는 2×2 업 합성곱으로 크기를 키워 채널을 절반으로 줄인 뒤 같은 단계 축소 경로 특징을 잘라 붙인다 — 합성곱 계층은 모두 23개다(Ronneberger 2015 2절). 패딩 없는 합성곱이라 572×572 입력 타일이 388×388 출력이 되고, 맨 끝 1×1 합성곱이 64채널 특징을 클래스 수만큼의 점수로 바꾼다.
그림 3 · 축소 경로가 「무엇」을, 확장 경로가 「어디」를 맡고, 같은 단계끼리 잇는 스킵 연결이 풀링에서 잃은 경계를 되돌린다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| 입력 타일 | 분할할 영상 조각 | 572×572 · 큰 영상은 타일로 나눠 이어 붙임(Ronneberger 2015 그림 2) |
| 인코더 | 넓은 문맥 — 「무엇」 | 단계마다 크기 1/2 · 채널 2배(64 → 1,024) |
| 디코더 | 크기 되살림 — 「어디」 | 업 합성곱이 채널을 절반으로(2절) |
| 스킵 연결 | 얕은 경계 정보 전달 | 같은 단계 특징을 잘라 연결(2절) |
| 출력 | 화소별 클래스 점수 → 마스크 | 1×1 합성곱 · 화소마다 가장 큰 점수의 클래스 |
| 손실 | 학습 신호 | 교차 엔트로피 + 경계 가중(w0 = 10 · 3절) 또는 Dice 손실(Milletari 2016) |
| 후처리 | 마스크 → 측정값 | 연결 요소 · 최소 크기 · 면적 · 길이 |
5동작 — 합성 표면 영상의 얼룩 · 긁힘 분할 평가
이 사례는 합성 데이터를 Python 3.14.0 · NumPy 2.4.3 의 default_rng(0) 하나로 돌려 얻은 값이다(직접 실행). 학습한 모델 대신 «정답을 흐린 점수 + 잡음»을 모델 출력으로 두고, 평가 · 후처리 · 측정 단계를 따라간다.
- 정답 마스크 = 128×128 화소 · 화소 하나 0.05 mm(설명용 가정 값 · 시야 6.4 mm) — 배경 15,662 · 얼룩 550(두 개 437 · 113) · 긁힘 172화소(폭 2화소 · 세로 4 mm)로, 결함 화소는 전체의 4.4% 다.
- 클래스별 점수 = 정답 마스크를 상자 필터(얼룩 5×5 · 긁힘 3×3)로 흐린 값 + 정규 잡음 σ 0.18, 배경 점수 = 0.5 로 두고 화소마다 점수가 가장 큰 클래스를 고른다.
- 그대로 잰 결과 = 화소 정확도 0.9865 · 얼룩 IoU 0.818(Dice 0.900) · 긁힘 IoU 0.558(Dice 0.716) · 세 클래스 평균 mIoU 0.787 — 얼룩은 덩어리 33개, 긁힘은 54개로 흩어졌고 대부분 1화소 점이다.
- 견줄 기준 = 모든 화소를 배경으로 낸 마스크 — 결함을 하나도 못 찾았는데 화소 정확도 0.9559, 결함 IoU 0 · mIoU 0.319 다.
- 후처리 = 8-이웃 연결 요소로 묶고 6화소 미만 덩어리를 배경으로 돌리면 얼룩 IoU 0.861(Dice 0.925) · 긁힘 IoU 0.704(Dice 0.826) · mIoU 0.852 로 오른다.
- 개수 = 얼룩은 438 · 99화소 두 덩어리로 정답 두 개와 맞지만, 긁힘은 154 · 13화소로 끊겨 하나가 두 개로 세어진다(시드 0 ~ 9 에서 긁힘 덩어리 1 ~ 3개).
- 면적 = 얼룩 정답 1.375 mm² ↔ 예측 1.343 mm²(−2.4%) · 긁힘 0.430 ↔ 0.418 mm²(−2.9%) — 긁힘은 넘친 화소 27개와 빠진 화소 32개가 서로 지워 면적은 거의 맞는데 IoU 는 0.704 다.
그림 4 · 후처리가 점 잡음을 지워 긁힘 IoU 를 0.558 에서 0.704 로 올리지만, 끊긴 긁힘은 두 개로 세어지고 면적 오차 −2.9% 뒤에 넘침 · 빠짐 59화소가 숨는다.
🔑 면적이 맞는다고 경계가 맞은 것은 아니다 — 넘친 화소와 빠진 화소는 면적에서 서로 지워지고 IoU 에서만 함께 드러난다.
IoU = |P ∩ G| ÷ |P ∪ G| · Dice = 2|P ∩ G| ÷ (|P| + |G|) 이고, 둘은 Dice = 2·IoU ÷ (1 + IoU) 로 한 값이 다른 값을 정한다(사례 긁힘 0.704 → 0.826). 경계 오차 화소 수는 둘레에, 대상 화소 수는 넓이에 비례하므로 같은 1화소 팽창도 얇은 대상일수록 IoU 를 크게 깎는다.
그림 5 · 경계가 1화소 넓어지기만 해도 폭 2화소 긁힘의 IoU 는 0.476, 폭 32화소 얼룩은 0.896 이다 — 지표는 얇은 결함에서 가장 엄하다.
🔑 같은 모델이라도 결함 폭이 좁을수록 IoU 가 낮게 나오므로, 긁힘 · 균열의 IoU 는 얼룩의 IoU 와 한 평균으로 묶지 않는다.
6비교 — 의미 · 인스턴스 · 파놉틱 분할과 객체 탐지
| 기준 | 의미 분할 | 인스턴스 분할 | 파놉틱 분할 | 객체 탐지(상자) |
|---|---|---|---|---|
| 출력 | 화소마다 클래스 | 물체마다 마스크 + 클래스 | 화소마다 클래스 + 인스턴스 id | 물체마다 상자 + 클래스 |
| 같은 클래스 물체 둘 | 한 덩어리 — 개수는 후처리(사례 연결 요소) | 따로 | 셀 수 있는 클래스만 따로(Kirillov 2019 3절) | 따로 |
| 겹침 | 없음 | 마스크끼리 겹쳐도 됨(3절) | 없음 — 화소마다 하나 | 상자끼리 겹침 |
| 대표 지표 | 클래스별 IoU · mIoU · Dice | 마스크 기준 AP | PQ = 맞춘 쌍 IoU 합 ÷ (TP + ½FP + ½FN) · 맞춤 = IoU 0.5 초과(4절) | 상자 IoU 기준 AP |
| 대표 모델 | FCN · U-Net | Mask R-CNN(5 fps · He 2017) | 의미 + 인스턴스 출력을 합침 | 객체 탐지에서 다룸 |
| 검사 쓰임 | 결함 면적 · 영역 비율 | 결함 개수 · 개별 크기 | 배경 영역과 결함 개수를 한 장에 | 위치 · 개수 |
분석면적 · 길이로 합격을 가르면 의미 분할에 연결 요소 후처리를 붙이고, 붙어 있는 결함을 하나씩 세고 재야 하면 인스턴스 분할을, 위치와 개수만 필요하면 객체 탐지를 쓴다. 근거는 표의 「같은 클래스 물체 둘」 행 — 사례의 의미 분할은 후처리 뒤에도 긁힘 하나를 두 개로 셌다.
7실무 진단 — 분할 품질 문제의 단계 가르기
분석먼저 지표가 결함 클래스를 보고 있는지, 다음으로 결함 폭에 따라 IoU 가 갈리는지, 마지막으로 마스크에서 측정값으로 가는 후처리를 본다. 지표가 배경에 묻히면 뒤 단계를 고쳐도 숫자에 드러나지 않기 때문이다(사례 «전부 배경» 화소 정확도 0.9559).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 화소 정확도는 높은데 결함을 놓침 | 결함 화소 비율이 작아 배경이 점수를 채움 | 평가 | 클래스별 IoU · 혼동 행렬 | 결함 클래스 IoU 로 판정(사례 4단계 0.9559 ↔ IoU 0) |
| 2 | 얼룩은 좋은데 긁힘 · 균열만 낮음 | 얇은 대상의 경계 오차 · 레이블 경계 1화소 차이 | 레이블 · 평가 | 폭별 IoU · 레이블러 둘의 마스크 IoU | 폭 2화소에서 1화소 오차 = IoU 0.476(그림 5) — 레이블러 간 IoU 보다 높은 목표는 잡지 않음 |
| 3 | 결함 개수가 실제보다 많음 | 점 잡음 · 끊긴 긁힘 | 후처리 | 연결 요소 크기 분포 | 최소 크기 · 연결 규칙을 정함(사례 54 → 2 덩어리) |
| 4 | 경계가 계단처럼 뭉개짐 | 깊은 특징만 키움 · 스킵 연결 없음 | 모델 구조 | 출력 해상도 ↔ 입력 해상도 · 업샘플 배율 | 같은 단계 특징 연결(Ronneberger 2015 2절 · 그림 2) |
| 5 | 면적은 맞는데 위치가 틀림 | 넘침 · 빠짐이 서로 지움 | 측정 | 넘친 · 빠진 화소를 따로 셈 | 면적 오차와 IoU 를 함께 봄(사례 −2.9% · IoU 0.704) |
가려내는 순서는 평가 → 레이블 → 후처리 → 모델 구조다. 모델을 바꾸기 전에 레이블러 둘이 같은 영상에 그린 마스크의 IoU 를 재 두면, 모델 IoU 가 어디까지 오를 수 있는지 상한이 보인다.
8시험 대비
www.q-net.or.kr시험에서는 의미 · 인스턴스 · 파놉틱 분할을 가르고 인코더-디코더 · 스킵 연결을 그리는 정의 · 특징형, 그리고 분할 방식과 객체 탐지를 견주는 비교형이 나올 수 있다. IoU · Dice 식과 그 관계, 얇은 결함에서 지표가 엄해지는 이유를 수치로 보이면 정의 수준을 넘는다.
- 개요 — 정의(화소 단위 클래스) · 분류 · 검출과 출력 차이 · 비전 검사 안의 위치
- 종류 — 의미 · 인스턴스 · 파놉틱 비교표(같은 클래스 물체 · 겹침 · 지표)
- 구조 — 그림 3 U-Net(축소 · 확장 경로 · 스킵 연결 · 합성곱 23계층 · 572 → 388)
- 평가 — IoU · Dice 식 · Dice = 2·IoU ÷ (1 + IoU) · PQ · 화소 정확도 함정(0.9559)
- 검사 적용 — 그림 4 사례(후처리 뒤 긁힘 IoU 0.704 · 면적 −2.9% · 덩어리 수) · 결함 면적 측정
- 한계와 동향 — 그림 5 폭별 IoU · 적은 결함 표본 학습(25 ~ 30개) · 범용 분할 모델
꼭 쓸 키워드
의미 분할인스턴스 분할파놉틱 분할인코더-디코더U-Net스킵 연결IoUDicemIoUPQ연결 요소
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 1화소 오차가 폭에 따라 IoU 를 얼마나 깎는지 곡선으로 보이고, 긁힘과 얼룩의 지표를 따로 잡는다는 결론을 붙이는 것이다.
9오해와 사실
- 오해화소 정확도가 95% 를 넘으면 분할이 잘 된 것이다.사실사례에서 결함을 하나도 찾지 못한 «전부 배경» 마스크도 0.9559 였다 — 결함 화소가 4.4% 이면 정확도는 배경을 맞힌 비율에 가깝다.
- 오해IoU 와 Dice 는 서로 다른 성질을 잰다.사실같은 교집합 · 합집합으로 정해지며 Dice = 2·IoU ÷ (1 + IoU) 이다 — 한 쌍의 마스크에서 둘의 순위는 같고 Dice 가 늘 같거나 크다(사례 긁힘 0.704 ↔ 0.826).
- 오해면적이 정답과 비슷하면 마스크가 맞은 것이다.사실사례 긁힘의 면적 오차 −2.9% 는 넘친 27화소와 빠진 32화소가 서로 지운 값이고, 같은 마스크의 IoU 는 0.704 였다.
10핵심 정리
| 구분 | 맡는 일 | 출력 | 지표 · 식 | 사례 · 원문 값 | 흔한 실패 |
|---|---|---|---|---|---|
| 의미 분할 | 화소마다 클래스 | 클래스 지도 | IoU · mIoU · Dice | 후처리 뒤 mIoU 0.852 | 붙은 결함 · 끊긴 긁힘 개수 |
| 인스턴스 분할 | 물체마다 마스크 | 마스크 + 클래스 | 마스크 기준 AP | Mask R-CNN 5 fps | 마스크 겹침 처리 |
| 파놉틱 분할 | 클래스 + 인스턴스 id | id 지도 | PQ · IoU 0.5 초과 맞춤 | TP + ½FP + ½FN | 셀 수 있는 클래스 정의 |
| 인코더-디코더 | 문맥 ↔ 위치 | 원래 크기 점수 지도 | 합성곱 23계층(U-Net) | 572 → 388 | 계단 경계 |
| IoU | 겹침 비율 | 0 ~ 1 | 교집합 ÷ 합집합 | 긁힘 0.704 | 얇은 대상에서 급락 |
| Dice | 겹침 비율 · 손실 | 0 ~ 1 | 2 × 교집합 ÷ 넓이 합 | 긁힘 0.826 | IoU 와 같은 정보로 이중 보고 |
| 후처리 | 마스크 → 측정값 | 개수 · 면적 | 연결 요소 · 최소 크기 | 덩어리 54 → 2 | 끊긴 긁힘을 둘로 셈 |
| 화소 정확도 | 맞은 화소 비율 | 0 ~ 1 | 맞은 화소 ÷ 전체 | 전부 배경 0.9559 | 결함을 숨김 |
11참고 문헌
- 먼저 볼 문헌
- ★ U-Net: Convolutional Networks for Biomedical Image Segmentation (MICCAI 2015 · arXiv 1505.04597) — 축소 · 확장 경로와 복사 · 연결(2절 · 그림 1), 경계 가중 손실(3절)을 원문으로 볼 때
- ★ Fully Convolutional Networks for Semantic Segmentation (CVPR 2015 · arXiv 1411.4038) — 분류망을 화소 단위 출력으로 바꾸고 깊은 · 얕은 특징을 합치는 출발점을 볼 때
- ★ Panoptic Segmentation (CVPR 2019 · arXiv 1801.00868) — 의미 · 인스턴스 분할의 차이(3절)와 PQ 식 · IoU 0.5 초과 맞춤(4절)을 볼 때
- ★ V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation (3DV 2016 · arXiv 1606.04797) — Dice 계수를 손실로 써서 전경 · 배경 불균형을 다루는 방법을 볼 때
- 본문 근거
- Segmentation-Based Deep-Learning Approach for Surface-Defect Detection (Journal of Intelligent Manufacturing 2019 · arXiv 1903.08536) — D. Tabernik 외 · arXiv · 2019-03 ·
arxiv.org/abs/1903.08536· 확인 2026-11-12 - Mask R-CNN (ICCV 2017 · arXiv 1703.06870) — K. He 외 · arXiv · 2017-03 ·
arxiv.org/abs/1703.06870· 확인 2026-11-12 - Segment Anything (ICCV 2023 · arXiv 2304.02643) — A. Kirillov 외 · arXiv · 2023-04 ·
arxiv.org/abs/2304.02643· 확인 2026-11-12 - Measures of the Amount of Ecologic Association Between Species (Ecology 26(3) 297-302) — L. R. Dice · Ecological Society of America · 1945-07 ·
doi.org/10.2307/1932409· 확인 2026-11-12 - The Distribution of the Flora in the Alpine Zone (New Phytologist 11(2) 37-50) — P. Jaccard · Wiley · 1912-02 ·
doi.org/10.1111/j.1469-8137.1912.tb05611.x· 확인 2026-11-12 - NumPy 2.4 Reference - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12