침입 탐지 · 차단Intrusion Detection and Prevention
구역 경계를 지나는 트래픽을 경로 위에서 거르거나(방화벽 · NGFW · UTM · WAF · 침입 방지 시스템), 사본으로 지켜보거나(IDS), 업무에 쓰지 않는 미끼로 끌어들여(허니팟) 침입을 막고 찾는 네트워크 보안 기술이다. 아래 토픽은 경로와의 관계와 판정 근거로 나뉜다.
1요약
- 침입 탐지 · 차단은 네트워크 보안에서 장비를 경로 위(방화벽 · NGFW · UTM · WAF · 침입 방지 시스템) · 경로 옆(IDS) · 경로 밖(허니팟)에 두어 구역 경계의 트래픽을 거르고 찾는 일이며, SP 800-41 Rev. 1(2009) 과 SP 800-94(2007) 가 틀이고 그 기록 위에서 보안 관제와 사고 대응이 돈다.
- 경계 방화벽은 허용하지 않은 트래픽을 모두 버리지만(기본 거부 · SP 800-41r1 4장 머리) 허용한 포트 안의 내용은 판정하지 못한다(2.3절) — 아래 사례에서 22번 탐색 254건은 경계에서 끝났어도 443 안의 요청 2건은 내용을 보는 장비만 가려낼 수 있었다.
- 「공격이 지나갔다」는 그 흐름이 어느 위치의 장비를 지났는가로 가른다 — 경로 위 장비에 「허용」 기록만 있으면 판정 근거(헤더 · 내용) 문제, 경로 옆 경보만 있으면 차단으로 넘기는 연동 문제, 미끼 경보만 있으면 경계 밖이 아니라 내부에서 출발한 문제다.
2등장 배경
1980년 Anderson 은 컴퓨터 감사 기록을 사람이 넘겨 보는 대신 자동으로 훑어 위협을 감시하자고 제안했고(Anderson 1980), 1987년 Denning 은 감사 기록과 정상 프로파일로 침입 탐지 모델을 세웠다(Denning 1987). 이 흐름은 «들어온 뒤에 찾는» 쪽이었다.
망이 인터넷에 이어지자 호스트마다 결함을 고치기 어려운 기관은 바깥과 안 사이 한 곳에서 거르는 길을 택했고, 1994년 Cheswick · Bellovin 은 그 게이트웨이 설계를 방화벽 책 한 권으로 정리했다(Cheswick · Bellovin 1994). NIST 는 2002년 SP 800-41 로 방화벽을, 2007년 SP 800-94 로 탐지와 차단을 IDPS 하나로 묶어 정리했다(SP 800-94 2장 머리).
2009년 SP 800-41 Rev. 1 은 응용 계층을 분석하는 방화벽(2.1.3절) · 여러 기능을 한 장비에 합친 UTM(2.1.8절) · 웹 서버 앞 WAF(2.1.9절)를 같은 지침에 넣었다. 막는 장비와 찾는 장비의 경계가 흐려진 지금도 «경로 위인가 · 옆인가 · 밖인가»는 장비마다 달라, 아래 토픽은 그 위치로 나뉜다.
3쉽게 이해하기 — 산성 마을의 수비
산성 마을로 들어오는 길은 하나다. 성문 문지기는 통행증만 보고 들이거나 돌려보내고, 문 안 검문소는 짐을 열어 금지 물건을 찾으면 그 자리에서 세운다. 시장 입구에는 장사꾼 짐만 따로 살피는 검사원이 있고, 성벽 망루의 파수꾼은 길 전체를 내려다보며 수상한 사람을 보면 종을 울리지만 직접 막지는 못한다. 성 밖에는 아무도 쓰지 않는 빈 창고를 일부러 남겨 두어, 그 문을 여는 사람은 모두 수상한 사람으로 본다.
그림 1 · 문지기 · 검문소 · 시장 검사원은 길 위에서 세우고, 망루 파수꾼은 길을 내려다보며 알리기만 하며, 빈 창고는 길 밖에서 수상한 사람을 끌어들인다.
그림 2 · 같은 수상한 짐이라도 길 위 검문소는 세우고 길 옆 망루는 종만 울리듯, 인라인 IPS 는 패킷을 버리고 사본을 보는 IDS 는 경보만 낸다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 바깥 길 | 인터넷 · 외부 구간 | 모든 트래픽이 처음 들어오는 경로 |
| 성문 문지기 | 방화벽 | 주소 · 포트 · 연결 상태로 허용 목록 밖을 버린다 |
| 겸임 문지기 | UTM · NGFW | 방화벽에 응용 식별 · 탐지 기능을 한 장비로 더한다 |
| 문 안 검문소 | 침입 방지 시스템 | 경로 위에서 내용을 검사해 공격이면 버린다 |
| 시장 검사원 | WAF | 웹 서버 앞에서 HTTP 요청 내용만 따로 본다 |
| 망루 파수꾼 | IDS | 사본을 보고 경보만 낸다 |
| 성 밖 빈 창고 | 허니팟 | 업무 쓰임이 없어 닿는 접속을 모두 의심으로 기록한다 |
| 종소리 | 경보 · 기록 | 관리 서버 · SIEM 으로 보내 사건 판정에 쓴다 |
⚠ 비유가 맞지 않는 곳: 산성 마을의 길은 하나지만 실제 망에는 무선 · 우회 회선 · 안에서 밖으로 나가는 길이 있어 장비를 여러 경계에 겹쳐 둔다. 또 문지기는 짐을 들여다볼 수 있어도, 실제 장비는 TLS · SSH 로 암호화된 내용을 복호화 지점 뒤에서만 읽는다(SP 800-41r1 2.3절).
4구조 — 배치 지도와 아래 토픽
아래 토픽 일곱은 «경로와의 관계 × 판정 근거»로 놓인다. 경로 위 장비는 버릴 수 있고, 경로 옆 센서는 사본만 받으며, 미끼는 업무 트래픽이 닿지 않는 주소에 둔다(SP 800-94 4.2.2 · 8.3.4절).
그림 3 · 경계 장비 · WAF · 인라인 IPS 는 원본이 지나는 경로 위에, IDS 는 스위치 사본 옆에, 허니팟은 미사용 주소에 놓이고, 모든 기록은 관리 서버로 모인다.
| 아래 토픽 | 경로와의 관계 | 판정 근거 | 탐지 뒤 동작 | 근거 |
|---|---|---|---|---|
| 방화벽 | 경로 위 · 구역 경계 | 주소 · 포트 · 연결 상태 표 | 허용 목록 밖이면 폐기 · 기록 | SP 800-41r1 2.1.1 · 2.1.2절 |
| NGFW | 경로 위 · 구역 경계 | 연결 상태 + 응용 계층 프로토콜 분석 | 응용 · 명령 단위 허용 · 거부 | SP 800-41r1 2.1.3절 |
| UTM | 경로 위 · 장비 하나 | 방화벽 · 악성코드 탐지 · 탐색 차단을 한 장비에 | 기능마다 다름 · 자원을 나눠 씀 | SP 800-41r1 2.1.8절 |
| WAF | 경로 위 · 웹 서버 바로 앞 | HTTP 요청 · 응답 내용 | 요청 거부 | SP 800-41r1 2.1.9절 |
| 침입 방지 시스템 | 경로 위(인라인 센서) | 시그니처 · 이상 · 프로토콜 상태 | 버림 · 세션 끊기 · 다른 장비 설정 바꾸기 | SP 800-94 2.2 · 4.2.2절 |
| IDS | 경로 옆(수동 센서) | 침입 방지 시스템과 같은 엔진 | 경보 · 기록 | SP 800-94 2장 머리 · 4.2.2절 |
| 허니팟 | 경로 밖 · 미사용 자원 | 정당한 이용이 0 — 닿은 접속 전부 | 경보 · 공격 기록 수집 | SP 800-94 8.3.4절 |
NGFW 라는 이름은 SP 800-41r1 에 없고, 지침의 «상태 기반 검사에 응용 프로토콜 분석을 더한 방화벽»(2.1.3절)이 그 기능에 해당한다. 같은 절은 이런 방화벽도 시그니처 · 이상 분석까지 갖춘 IDPS 는 아니라고 적어, NGFW 와 침입 방지 시스템이 따로 남는다.
🔑 침입 탐지 · 차단 장비는 «무엇을 보고 판정하는가»보다 «원본이 그 장비를 지나는가»로 먼저 갈린다 — 같은 탐지 엔진이 경로 위에 있으면 침입 방지 시스템, 옆에 있으면 IDS 다(SP 800-94 2장 머리).
5동작 — 탐색 한 번이 네 장비를 지나 차단 규칙이 되는 흐름
사례는 외부 주소 하나가 DMZ 를 탐색하다 경계에서 막히기까지 아래 토픽이 일을 넘겨주는 흐름이다. 주소 · 건수 · 시간은 설명용 가정 값으로, 바깥 주소는 RFC 5737 의 문서용 블록에서, 안쪽 주소는 RFC 1918 의 10.40.0.0/16 에서 골랐다.
- 203.0.113.66 이 DMZ 10.40.1.0/24 의 TCP 22 를 주소 254개에 차례로 두드린다 — 경계 방화벽은 허용 규칙에 22 가 없어 모두 버리고 거부 기록 254건을 남긴다(SP 800-41r1 4장 머리 · SP 800-94 8.3.3절).
- 같은 출발지가 공개 규칙에 걸린 허니팟 10.40.1.99 의 TCP 443 에 연결한다 — 업무 쓰임이 없는 주소라 이 연결 하나가 경보가 된다(SP 800-94 8.3.4절).
- 웹 서버 10.40.1.10 으로
GET /를 보내자, TLS 를 끝낸 WAF 가 경로 이동 꼴을 찾아 요청을 거부한다(SP 800-41r1 2.1.9절).download?file= . . %2f. . %2fetc%2fpasswd - 인코딩을 한 번 더 감싼
..%252f요청은 WAF 규칙을 지나 웹 서버에 닿고, WAF 뒤 평문 구간 TAP 의 IDS 가 그 꼴을 펼쳐 경보를 내지만 원본은 그대로 간다(수동 센서 · SP 800-94 4.2.2절). - 거부 기록 · 허니팟 경보 · WAF 거부 · IDS 경보 넷이 관리 서버 10.40.9.9 에 모여 출발지 203.0.113.66 하나로 묶인다(SP 800-94 2.2절 · 기록의 중앙 전송).
- 관리 서버가 경계 방화벽에 「203.0.113.66 거부」 규칙을 1,800초 동안 넣는다 — 탐지 쪽이 막는 장비의 설정을 바꾸는 대응이다(SP 800-94 2.2 · 4.3.4절).
- 그 뒤 같은 출발지의 443 연결도 경계에서 버려져 WAF · 허니팟 · IDS 에는 더 오지 않는다.
그림 4 · 경계 방화벽 · 허니팟 · WAF · IDS 가 각자 본 것을 관리 서버가 출발지 하나로 묶어, 막는 장비인 경계 방화벽에 차단 규칙으로 돌려준다.
그림 4 에서 원본을 막은 것은 경로 위 장비뿐이고, 경로 옆 · 밖 장비는 판정 근거를 보탰다. 그림 5 는 위치에 따라 막는 힘과 오탐 한 건의 값이 함께 바뀌는 원리를 보인다.
그림 5 · 경로에서 멀어질수록 막는 힘은 줄지만 오탐 한 건의 값도 줄어, 세 위치는 대안이 아니라 겹쳐 두는 조합이 된다.
🔑 막을 수 있는 위치일수록 오탐이 장애로 바뀌므로, 경로 위에는 판정이 확실한 규칙만 두고 애매한 판정은 경로 옆 · 밖에서 경보로 먼저 본다.
6비교 — 위협 탐지 · 대응(TDR), 원격 접속 보안, 통신 보안과의 경계
| 기술 | 맡는 일 | 보는 위치 | 대표 토픽 | 넘기는 곳 |
|---|---|---|---|---|
| 침입 탐지 · 차단 | 구역 경계를 지나는 트래픽의 허용 · 차단 · 탐지 | 망 경로 위 · 사본 · 미끼 주소 | 방화벽 · IDS · 침입 방지 시스템 | 흩어진 기록의 사건 판정 → TDR · 접속 주체 확인 → 원격 접속 보안 |
| 위협 탐지 · 대응(TDR) | 여러 장비 · 단말 기록을 모아 사건으로 판정 · 대응 | 수집 서버 · 단말 에이전트 | SIEM · SOAR · EDR | 차단 규칙 적용 → 침입 탐지 · 차단 |
| 원격 접속 보안 | 누가 어떤 단말로 들어오는지 확인한 뒤 들임 | 접속 게이트웨이 · 단말 | VPN · 제로 트러스트 · NAC | 들인 뒤 트래픽 검사 → 침입 탐지 · 차단 |
| 통신 보안 | 무선 · 모바일 · VoIP 같은 매체 구간 보호 | 전파 구간 · 서비스망 | 무선랜 보안 · VoIP 보안 | 유선 경계 통제 → 침입 탐지 · 차단 |
분석질문이 «이 패킷을 지금 통과시킬까»이면 침입 탐지 · 차단, «흩어진 기록이 한 사건인가»이면 TDR, «이 사람 · 단말을 들일까»이면 원격 접속 보안으로 넘긴다. 근거 = SP 800-94 2.2절(IDPS 는 기록을 SIEM 같은 별도 시스템으로 보냄)과 위 표 「보는 위치」 행.
7실무 진단 — 공격이 지나간 위치 가르기
분석공격이 서버에 닿았으면 «원본이 지난 경로 위 장비»의 기록부터 보고, 그다음 경로 옆 · 밖 기록으로 넓힌다. 원본을 버릴 수 있는 것은 경로 위 장비뿐이기 때문이다(SP 800-94 4.2.2절).
| # | 증상 | 의심 원인 | 아래 토픽 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 허용 포트 안의 공격이 방화벽에 「허용」으로만 남음 | 헤더 기준 판정의 한계 | 방화벽 → WAF · 침입 방지 시스템 | 같은 시각 · 출발지의 WAF · IPS 기록 대조 | 둘 다 기록이 없으면 내용 검사 장비가 그 경로에 없음(SP 800-41r1 2.3절) |
| 2 | IDS 경보는 쌓이는데 같은 요청이 계속 서버에 닿음 | 수동 센서 · 차단 연동 없음 | IDS | 서버에서 tcpdump -ni eth0 host 203. | 경보 뒤에도 패킷이 보이면 막는 장비 설정을 바꾸는 연동이 없는 것(SP 800-94 4.3.4절) |
| 3 | 허니팟 경보만 있고 경계 장비 기록은 없음 | 내부 단말에서 출발 | 허니팟 | 경보 출발지가 사설 대역인지 확인 | 내부 출발이면 경계가 아니라 내부 구간 센서 · 단말 확인으로(SP 800-94 8.3.4절 · RFC 1918) |
| 4 | 기능을 더 켠 뒤 처리량 · 응답 시간이 나빠짐 | 한 장비 자원 공유 | UTM | 기능별로 켜고 끈 처리량 · CPU 지표 | 기능 하나를 끌 때 회복되면 자원 부족(SP 800-41r1 2.1.8절) |
가려내는 순서는 경로 위 장비 기록 → 서버 쪽 패킷 → 경로 옆 경보 → 미끼 경보다. 앞 단계에서 원본이 어디를 지났는지 정해져야, 뒤 단계 기록이 «놓친 것»인지 «볼 수 없던 것»인지 갈린다.
8시험 대비
시험에서는 방화벽 · IDS · 침입 방지 시스템을 견주어 정의하라는 정의 · 특징형, 공개 서비스 앞 보안 장비 배치를 그리라는 구현 · 설계형으로 나올 수 있다. 정의형이면 장비를 나열하지 말고 «경로 위 · 옆 · 밖» 세 위치에 놓아 차이를 세우고, 설계형이면 그림 3 배치 위에 그림 4 의 연동 흐름을 얹는다.
- 개요 — 침입 탐지 · 차단 정의(SP 800-94 2장 머리) · 경로 위 · 옆 · 밖 세 위치 · 기본 거부(SP 800-41r1 4장)
- 구성 — 그림 3 배치 지도 + 아래 토픽 표(경로와의 관계 · 판정 근거 · 탐지 뒤 동작)
- 연동 흐름 — 그림 4 사례(거부 기록 → 미끼 경보 → WAF 거부 → IDS 경보 → 방화벽 차단 규칙)
- 핵심 원리 — 그림 5 위치별 막는 힘 · 오탐 비용 · 놓치는 것
- 설계 기준 — 복호화 지점 뒤 배치 · 통합(UTM · NGFW)과 분리의 맞바꿈 · 경로 위 규칙은 확실한 것만
- 발전 — 패킷 필터 → 상태 기반 → 응용 분석 → 위협 탐지 · 대응(SIEM · SOAR) 연계
꼭 쓸 키워드
기본 거부인라인 센서수동 센서상태 기반 검사응용 계층 분석오탐미탐방화벽 재설정미끼복호화 지점
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 장비 이름 대신 «원본 경로에서의 거리»로 막는 힘과 오탐 비용이 함께 바뀜을 보이면 겹쳐 쓰는 이유가 한 장으로 선다.
9오해와 사실
- 오해NGFW 나 UTM 을 두면 침입 방지 시스템은 필요 없다.사실SP 800-41r1 2.1.3절은 응용 프로토콜 분석을 더한 방화벽도 시그니처 · 이상 분석까지 갖춘 IDPS 는 아니라고 적고, 2.1.8절은 기능을 합친 장비가 모든 기능을 감당할 자원을 가져야 한다고 적는다.
- 오해허니팟은 IDS 를 대신할 수 있다.사실SP 800-94 8.3.4절은 허니팟을 IDPS 같은 다른 통제의 보완이지 대체가 아니라고 적는다 — 미끼를 건드리지 않은 공격은 허니팟에 남지 않는다.
- 오해탐지 장비는 막는 장비와 따로 논다.사실탐지 쪽이 방화벽 · 라우터 · 스위치에 차단 설정을 넣는 대응이 지침에 있고(SP 800-94 4.3.4절), 사례 6단계가 그 연동이다.
10핵심 정리
| 아래 토픽 | 실패할 때 보이는 모양 | 남기는 기록 | 먼저 볼 자료 | 짝으로 보는 토픽 |
|---|---|---|---|---|
| 방화벽 | 시간 초과 · 허용 포트 안 공격 통과 | 허용 · 거부 기록 | 규칙 표 · 거부 건수 | NGFW |
| NGFW | 응용 오인 차단 | 응용 이름 · 규칙 번호 | 응용 식별 기록 | 침입 방지 시스템 |
| UTM | 기능을 켤 때 처리량 저하 | 기능별 기록 | 장비 자원 지표 | NGFW |
| WAF | 정상 웹 요청 거부 | 규칙 번호 · 요청 일부 | WAF 기록 | 침입 방지 시스템 |
| 침입 방지 시스템 | 정상 연결 끊김 | 차단 경보 · 차단 목록 | 경보 로그 | IDS |
| IDS | 경보는 있는데 공격 도달 | 경보(통과 표시) | 경보 · 패킷 증거 | 허니팟 |
| 허니팟 | 조용함 · 점검 접속 경보 | 미끼 접속 전부 | 미끼 접속 기록 | IDS |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST SP 800-41 Rev. 1 Guidelines on Firewalls and Firewall Policy — 패킷 필터 · 상태 기반 · 응용 방화벽 · UTM · WAF 를 한 지침에서 견줄 때
- ★ NIST SP 800-94 Guide to Intrusion Detection and Prevention Systems (IDPS) — 인라인 · 수동 센서 배치와 차단 대응 세 가지, 허니팟의 쓰임을 볼 때
- ★ An Intrusion-Detection Model (Dorothy E. Denning · IEEE Transactions on Software Engineering SE-13 No. 2) — 침입 탐지를 감사 기록과 정상 프로파일로 모델화한 출발점을 볼 때
- 본문 근거
- Computer Security Threat Monitoring and Surveillance (James P. Anderson) — James P. Anderson Co. · 1980-04 ·
csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/proceedings-of-the-21st-nissc-1998/documents/early-cs-papers/ande80.pdf· 확인 2026-11-14 - Firewalls and Internet Security: Repelling the Wily Hacker (William R. Cheswick · Steven M. Bellovin · Addison-Wesley) — Addison-Wesley · 1994-01 ·
www.wilyhacker.com/· 확인 2026-11-14 - RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 ·
www.rfc-editor.org/rfc/rfc5737· 확인 2026-11-14 - RFC 1918 Address Allocation for Private Internets — IETF · 1996-02 ·
www.rfc-editor.org/rfc/rfc1918· 확인 2026-11-14 - tcpdump(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/tcpdump.1.html· 확인 2026-11-14