IT › 보안 › 네트워크 보안

침입 탐지 · 차단Intrusion Detection and Prevention

구역 경계를 지나는 트래픽을 경로 위에서 거르거나(방화벽 · NGFW · UTM · WAF · 침입 방지 시스템), 사본으로 지켜보거나(IDS), 업무에 쓰지 않는 미끼로 끌어들여(허니팟) 침입을 막고 찾는 네트워크 보안 기술이다. 아래 토픽은 경로와의 관계와 판정 근거로 나뉜다.

1요약

  1. 침입 탐지 · 차단은 네트워크 보안에서 장비를 경로 위(방화벽 · NGFW · UTM · WAF · 침입 방지 시스템) · 경로 옆(IDS) · 경로 밖(허니팟)에 두어 구역 경계의 트래픽을 거르고 찾는 일이며, SP 800-41 Rev. 1(2009) 과 SP 800-94(2007) 가 틀이고 그 기록 위에서 보안 관제와 사고 대응이 돈다.
  2. 경계 방화벽은 허용하지 않은 트래픽을 모두 버리지만(기본 거부 · SP 800-41r1 4장 머리) 허용한 포트 안의 내용은 판정하지 못한다(2.3절) — 아래 사례에서 22번 탐색 254건은 경계에서 끝났어도 443 안의 요청 2건은 내용을 보는 장비만 가려낼 수 있었다.
  3. 「공격이 지나갔다」는 그 흐름이 어느 위치의 장비를 지났는가로 가른다 — 경로 위 장비에 「허용」 기록만 있으면 판정 근거(헤더 · 내용) 문제, 경로 옆 경보만 있으면 차단으로 넘기는 연동 문제, 미끼 경보만 있으면 경계 밖이 아니라 내부에서 출발한 문제다.

2등장 배경

1980년 Anderson 은 컴퓨터 감사 기록을 사람이 넘겨 보는 대신 자동으로 훑어 위협을 감시하자고 제안했고(Anderson 1980), 1987년 Denning 은 감사 기록과 정상 프로파일로 침입 탐지 모델을 세웠다(Denning 1987). 이 흐름은 «들어온 뒤에 찾는» 쪽이었다.

망이 인터넷에 이어지자 호스트마다 결함을 고치기 어려운 기관은 바깥과 안 사이 한 곳에서 거르는 길을 택했고, 1994년 Cheswick · Bellovin 은 그 게이트웨이 설계를 방화벽 책 한 권으로 정리했다(Cheswick · Bellovin 1994). NIST 는 2002년 SP 800-41 로 방화벽을, 2007년 SP 800-94 로 탐지와 차단을 IDPS 하나로 묶어 정리했다(SP 800-94 2장 머리).

2009년 SP 800-41 Rev. 1 은 응용 계층을 분석하는 방화벽(2.1.3절) · 여러 기능을 한 장비에 합친 UTM(2.1.8절) · 웹 서버 앞 WAF(2.1.9절)를 같은 지침에 넣었다. 막는 장비와 찾는 장비의 경계가 흐려진 지금도 «경로 위인가 · 옆인가 · 밖인가»는 장비마다 달라, 아래 토픽은 그 위치로 나뉜다.

3쉽게 이해하기 — 산성 마을의 수비

산성 마을로 들어오는 길은 하나다. 성문 문지기는 통행증만 보고 들이거나 돌려보내고, 문 안 검문소는 짐을 열어 금지 물건을 찾으면 그 자리에서 세운다. 시장 입구에는 장사꾼 짐만 따로 살피는 검사원이 있고, 성벽 망루의 파수꾼은 길 전체를 내려다보며 수상한 사람을 보면 종을 울리지만 직접 막지는 못한다. 성 밖에는 아무도 쓰지 않는 빈 창고를 일부러 남겨 두어, 그 문을 여는 사람은 모두 수상한 사람으로 본다.

작은 마을 UTM · NGFW 문지기 한 사람이 통행증 · 짐을 함께 망루 파수꾼 IDS 내려다보고 종만 울림 멀리서 봄 바깥 길 인터넷 성문 문지기 방화벽 문 안 검문소 침입 방지 시스템 시장 검사원 WAF 시장 웹 서버 1 2 3 4 성 밖 빈 창고 허니팟 문을 열면 모두 수상 길 위 = 세운다 길 옆 = 알린다 길 밖 = 끌어들인다 점선 상자 = 길 밖 미끼 · 점선 화살 = 내려다봄 · 들름

그림 1 · 문지기 · 검문소 · 시장 검사원은 길 위에서 세우고, 망루 파수꾼은 길을 내려다보며 알리기만 하며, 빈 창고는 길 밖에서 수상한 사람을 끌어들인다.

통행증 보기문지기가 통행증만 보고 들인다
짐 열기검문소가 금지 물건이면 세운다
시장 짐 검사장사꾼 짐만 따로 본다
망루 감시파수꾼이 길을 내려다본다
종 울림수상하면 알리기만 한다
빈 창고문을 연 사람을 기록한다
비유 — 길 위와 길 옆 실제 — 인라인과 사본 수상한 짐 검문소 멈춤 수상한 짐 망루 아래 도착 · 종 공격 패킷 원본 인라인 IPS 경로 위 버림 서버 못 감 공격 패킷 사본(TAP) IDS 경로 옆 경보 원본은 도착 세울 힘이 있는 쪽만 «잘못 세움»이 손님을 막는다 그래서 IPS 의 오탐은 장애, IDS 의 오탐은 경보 한 건 같은 짐 · 같은 패킷을 두 줄에 놓았다 — 차이는 판정이 아니라 놓인 위치

그림 2 · 같은 수상한 짐이라도 길 위 검문소는 세우고 길 옆 망루는 종만 울리듯, 인라인 IPS 는 패킷을 버리고 사본을 보는 IDS 는 경보만 낸다.

비유 속 역할실제 이름실제로 하는 일
바깥 길인터넷 · 외부 구간모든 트래픽이 처음 들어오는 경로
성문 문지기방화벽주소 · 포트 · 연결 상태로 허용 목록 밖을 버린다
겸임 문지기UTM · NGFW방화벽에 응용 식별 · 탐지 기능을 한 장비로 더한다
문 안 검문소침입 방지 시스템경로 위에서 내용을 검사해 공격이면 버린다
시장 검사원WAF웹 서버 앞에서 HTTP 요청 내용만 따로 본다
망루 파수꾼IDS사본을 보고 경보만 낸다
성 밖 빈 창고허니팟업무 쓰임이 없어 닿는 접속을 모두 의심으로 기록한다
종소리경보 · 기록관리 서버 · SIEM 으로 보내 사건 판정에 쓴다

⚠ 비유가 맞지 않는 곳: 산성 마을의 길은 하나지만 실제 망에는 무선 · 우회 회선 · 안에서 밖으로 나가는 길이 있어 장비를 여러 경계에 겹쳐 둔다. 또 문지기는 짐을 들여다볼 수 있어도, 실제 장비는 TLS · SSH 로 암호화된 내용을 복호화 지점 뒤에서만 읽는다(SP 800-41r1 2.3절).

4구조 — 배치 지도와 아래 토픽

아래 토픽 일곱은 «경로와의 관계 × 판정 근거»로 놓인다. 경로 위 장비는 버릴 수 있고, 경로 옆 센서는 사본만 받으며, 미끼는 업무 트래픽이 닿지 않는 주소에 둔다(SP 800-94 4.2.2 · 8.3.4절).

IDS 경보만 사본(TAP · SPAN) 인터넷 외부 구간 경계 장비 방화벽 · NGFW · UTM DMZ 스위치 공개 구역 WAF HTTP 내용 웹 서버 공개 서비스 인라인 IPS 내용 검사 · 버림 내부 망 업무 서버 · DB 미사용 주소 허니팟 업무 쓰임 없음 관리 서버 · SIEM — 허용 · 거부 · 경보 기록 수집 사건 판정은 위협 탐지 · 대응이 맡음 경로 위 · 버림 경로 옆 · 사본 경로 밖 · 미끼 기록 수집 굵은 선 = 원본 트래픽 · 점선 = 사본 · 미사용 주소

그림 3 · 경계 장비 · WAF · 인라인 IPS 는 원본이 지나는 경로 위에, IDS 는 스위치 사본 옆에, 허니팟은 미사용 주소에 놓이고, 모든 기록은 관리 서버로 모인다.

아래 토픽경로와의 관계판정 근거탐지 뒤 동작근거
방화벽경로 위 · 구역 경계주소 · 포트 · 연결 상태 표허용 목록 밖이면 폐기 · 기록SP 800-41r1 2.1.1 · 2.1.2절
NGFW경로 위 · 구역 경계연결 상태 + 응용 계층 프로토콜 분석응용 · 명령 단위 허용 · 거부SP 800-41r1 2.1.3절
UTM경로 위 · 장비 하나방화벽 · 악성코드 탐지 · 탐색 차단을 한 장비에기능마다 다름 · 자원을 나눠 씀SP 800-41r1 2.1.8절
WAF경로 위 · 웹 서버 바로 앞HTTP 요청 · 응답 내용요청 거부SP 800-41r1 2.1.9절
침입 방지 시스템경로 위(인라인 센서)시그니처 · 이상 · 프로토콜 상태버림 · 세션 끊기 · 다른 장비 설정 바꾸기SP 800-94 2.2 · 4.2.2절
IDS경로 옆(수동 센서)침입 방지 시스템과 같은 엔진경보 · 기록SP 800-94 2장 머리 · 4.2.2절
허니팟경로 밖 · 미사용 자원정당한 이용이 0 — 닿은 접속 전부경보 · 공격 기록 수집SP 800-94 8.3.4절

NGFW 라는 이름은 SP 800-41r1 에 없고, 지침의 «상태 기반 검사에 응용 프로토콜 분석을 더한 방화벽»(2.1.3절)이 그 기능에 해당한다. 같은 절은 이런 방화벽도 시그니처 · 이상 분석까지 갖춘 IDPS 는 아니라고 적어, NGFW 와 침입 방지 시스템이 따로 남는다.

🔑 침입 탐지 · 차단 장비는 «무엇을 보고 판정하는가»보다 «원본이 그 장비를 지나는가»로 먼저 갈린다 — 같은 탐지 엔진이 경로 위에 있으면 침입 방지 시스템, 옆에 있으면 IDS 다(SP 800-94 2장 머리).

5동작 — 탐색 한 번이 네 장비를 지나 차단 규칙이 되는 흐름

사례는 외부 주소 하나가 DMZ 를 탐색하다 경계에서 막히기까지 아래 토픽이 일을 넘겨주는 흐름이다. 주소 · 건수 · 시간은 설명용 가정 값으로, 바깥 주소는 RFC 5737 의 문서용 블록에서, 안쪽 주소는 RFC 1918 의 10.40.0.0/16 에서 골랐다.

  1. 203.0.113.66 이 DMZ 10.40.1.0/24 의 TCP 22 를 주소 254개에 차례로 두드린다 — 경계 방화벽은 허용 규칙에 22 가 없어 모두 버리고 거부 기록 254건을 남긴다(SP 800-41r1 4장 머리 · SP 800-94 8.3.3절).
  2. 같은 출발지가 공개 규칙에 걸린 허니팟 10.40.1.99 의 TCP 443 에 연결한다 — 업무 쓰임이 없는 주소라 이 연결 하나가 경보가 된다(SP 800-94 8.3.4절).
  3. 웹 서버 10.40.1.10 으로 GET /download?file=..%2f..%2fetc%2fpasswd 를 보내자, TLS 를 끝낸 WAF 가 경로 이동 꼴을 찾아 요청을 거부한다(SP 800-41r1 2.1.9절).
  4. 인코딩을 한 번 더 감싼 ..%252f 요청은 WAF 규칙을 지나 웹 서버에 닿고, WAF 뒤 평문 구간 TAP 의 IDS 가 그 꼴을 펼쳐 경보를 내지만 원본은 그대로 간다(수동 센서 · SP 800-94 4.2.2절).
  5. 거부 기록 · 허니팟 경보 · WAF 거부 · IDS 경보 넷이 관리 서버 10.40.9.9 에 모여 출발지 203.0.113.66 하나로 묶인다(SP 800-94 2.2절 · 기록의 중앙 전송).
  6. 관리 서버가 경계 방화벽에 「203.0.113.66 거부」 규칙을 1,800초 동안 넣는다 — 탐지 쪽이 막는 장비의 설정을 바꾸는 대응이다(SP 800-94 2.2 · 4.3.4절).
  7. 그 뒤 같은 출발지의 443 연결도 경계에서 버려져 WAF · 허니팟 · IDS 에는 더 오지 않는다.
출발지 203.0.113.66 경계 방화벽 경로 위 허니팟 10.40.1.99 WAF · 웹 10.40.1.10 IDS TAP 사본 관리 서버 10.40.9.9 1 22번 · 254곳 버림 2 443 연결 경보 3 ..%2f 요청 거부 4 ..%252f 요청 경보만 원본은 웹 도착 5 기록 넷 묶음 6 거부 1,800초 7 443 도 버림 주소 = RFC 5737 · RFC 1918 · 건수 · 시간 = 설명용 가정 값 · 점선 화살 = 사본 · 5 = 출발지 하나로 묶음 · 기록 전송 선은 생략

그림 4 · 경계 방화벽 · 허니팟 · WAF · IDS 가 각자 본 것을 관리 서버가 출발지 하나로 묶어, 막는 장비인 경계 방화벽에 차단 규칙으로 돌려준다.

그림 4 에서 원본을 막은 것은 경로 위 장비뿐이고, 경로 옆 · 밖 장비는 판정 근거를 보탰다. 그림 5 는 위치에 따라 막는 힘과 오탐 한 건의 값이 함께 바뀌는 원리를 보인다.

경로 위 — 막는다 방화벽 · NGFW · UTM · WAF · IPS 보는 것: 지나는 원본 전부 버릴 수 있음 오탐 한 건 = 정상 요청 차단 곧 서비스 장애 놓침: 허용 규칙 안 · 복호화 앞 구간 경로 옆 — 알린다 IDS 보는 것: 사본 전부 버릴 수 없음 오탐 한 건 = 경보 한 건 사람의 확인 시간 놓침: 막는 장비로 넘기기 전의 공격 경로 밖 — 끌어들인다 허니팟 보는 것: 미끼에 닿은 접속 정당한 이용 = 0 오탐 = 점검 · 오설정 접속 예외 목록으로 뺌 놓침: 미끼를 건드리지 않은 공격 원본 경로에서 멀어질수록 → 막는 힘이 줄고, 오탐 한 건의 비용도 준다 가운데 안쪽 상자 = 오탐 한 건의 결과 · 근거 SP 800-94 2.2 · 4.2.2 · 8.3.4절

그림 5 · 경로에서 멀어질수록 막는 힘은 줄지만 오탐 한 건의 값도 줄어, 세 위치는 대안이 아니라 겹쳐 두는 조합이 된다.

🔑 막을 수 있는 위치일수록 오탐이 장애로 바뀌므로, 경로 위에는 판정이 확실한 규칙만 두고 애매한 판정은 경로 옆 · 밖에서 경보로 먼저 본다.

6비교 — 위협 탐지 · 대응(TDR), 원격 접속 보안, 통신 보안과의 경계

기술맡는 일보는 위치대표 토픽넘기는 곳
침입 탐지 · 차단구역 경계를 지나는 트래픽의 허용 · 차단 · 탐지망 경로 위 · 사본 · 미끼 주소방화벽 · IDS · 침입 방지 시스템흩어진 기록의 사건 판정 → TDR · 접속 주체 확인 → 원격 접속 보안
위협 탐지 · 대응(TDR)여러 장비 · 단말 기록을 모아 사건으로 판정 · 대응수집 서버 · 단말 에이전트SIEM · SOAR · EDR차단 규칙 적용 → 침입 탐지 · 차단
원격 접속 보안누가 어떤 단말로 들어오는지 확인한 뒤 들임접속 게이트웨이 · 단말VPN · 제로 트러스트 · NAC들인 뒤 트래픽 검사 → 침입 탐지 · 차단
통신 보안무선 · 모바일 · VoIP 같은 매체 구간 보호전파 구간 · 서비스망무선랜 보안 · VoIP 보안유선 경계 통제 → 침입 탐지 · 차단

분석질문이 «이 패킷을 지금 통과시킬까»이면 침입 탐지 · 차단, «흩어진 기록이 한 사건인가»이면 TDR, «이 사람 · 단말을 들일까»이면 원격 접속 보안으로 넘긴다. 근거 = SP 800-94 2.2절(IDPS 는 기록을 SIEM 같은 별도 시스템으로 보냄)과 위 표 「보는 위치」 행.

7실무 진단 — 공격이 지나간 위치 가르기

분석공격이 서버에 닿았으면 «원본이 지난 경로 위 장비»의 기록부터 보고, 그다음 경로 옆 · 밖 기록으로 넓힌다. 원본을 버릴 수 있는 것은 경로 위 장비뿐이기 때문이다(SP 800-94 4.2.2절).

#증상의심 원인아래 토픽확인 명령 · 자료판정 기준(근거)
1허용 포트 안의 공격이 방화벽에 「허용」으로만 남음헤더 기준 판정의 한계방화벽 → WAF · 침입 방지 시스템같은 시각 · 출발지의 WAF · IPS 기록 대조둘 다 기록이 없으면 내용 검사 장비가 그 경로에 없음(SP 800-41r1 2.3절)
2IDS 경보는 쌓이는데 같은 요청이 계속 서버에 닿음수동 센서 · 차단 연동 없음IDS서버에서 tcpdump -ni eth0 host 203.0.113.66경보 뒤에도 패킷이 보이면 막는 장비 설정을 바꾸는 연동이 없는 것(SP 800-94 4.3.4절)
3허니팟 경보만 있고 경계 장비 기록은 없음내부 단말에서 출발허니팟경보 출발지가 사설 대역인지 확인내부 출발이면 경계가 아니라 내부 구간 센서 · 단말 확인으로(SP 800-94 8.3.4절 · RFC 1918)
4기능을 더 켠 뒤 처리량 · 응답 시간이 나빠짐한 장비 자원 공유UTM기능별로 켜고 끈 처리량 · CPU 지표기능 하나를 끌 때 회복되면 자원 부족(SP 800-41r1 2.1.8절)

가려내는 순서는 경로 위 장비 기록 → 서버 쪽 패킷 → 경로 옆 경보 → 미끼 경보다. 앞 단계에서 원본이 어디를 지났는지 정해져야, 뒤 단계 기록이 «놓친 것»인지 «볼 수 없던 것»인지 갈린다.

8시험 대비

시험에서는 방화벽 · IDS · 침입 방지 시스템을 견주어 정의하라는 정의 · 특징형, 공개 서비스 앞 보안 장비 배치를 그리라는 구현 · 설계형으로 나올 수 있다. 정의형이면 장비를 나열하지 말고 «경로 위 · 옆 · 밖» 세 위치에 놓아 차이를 세우고, 설계형이면 그림 3 배치 위에 그림 4 의 연동 흐름을 얹는다.

답안 목차
  1. 개요 — 침입 탐지 · 차단 정의(SP 800-94 2장 머리) · 경로 위 · 옆 · 밖 세 위치 · 기본 거부(SP 800-41r1 4장)
  2. 구성 — 그림 3 배치 지도 + 아래 토픽 표(경로와의 관계 · 판정 근거 · 탐지 뒤 동작)
  3. 연동 흐름 — 그림 4 사례(거부 기록 → 미끼 경보 → WAF 거부 → IDS 경보 → 방화벽 차단 규칙)
  4. 핵심 원리 — 그림 5 위치별 막는 힘 · 오탐 비용 · 놓치는 것
  5. 설계 기준 — 복호화 지점 뒤 배치 · 통합(UTM · NGFW)과 분리의 맞바꿈 · 경로 위 규칙은 확실한 것만
  6. 발전 — 패킷 필터 → 상태 기반 → 응용 분석 → 위협 탐지 · 대응(SIEM · SOAR) 연계

꼭 쓸 키워드
기본 거부인라인 센서수동 센서상태 기반 검사응용 계층 분석오탐미탐방화벽 재설정미끼복호화 지점

다른 답안과 차이를 내는 한 가지는 그림 5 다 — 장비 이름 대신 «원본 경로에서의 거리»로 막는 힘과 오탐 비용이 함께 바뀜을 보이면 겹쳐 쓰는 이유가 한 장으로 선다.

9오해와 사실

  • 오해NGFW 나 UTM 을 두면 침입 방지 시스템은 필요 없다.
    사실SP 800-41r1 2.1.3절은 응용 프로토콜 분석을 더한 방화벽도 시그니처 · 이상 분석까지 갖춘 IDPS 는 아니라고 적고, 2.1.8절은 기능을 합친 장비가 모든 기능을 감당할 자원을 가져야 한다고 적는다.
  • 오해허니팟은 IDS 를 대신할 수 있다.
    사실SP 800-94 8.3.4절은 허니팟을 IDPS 같은 다른 통제의 보완이지 대체가 아니라고 적는다 — 미끼를 건드리지 않은 공격은 허니팟에 남지 않는다.
  • 오해탐지 장비는 막는 장비와 따로 논다.
    사실탐지 쪽이 방화벽 · 라우터 · 스위치에 차단 설정을 넣는 대응이 지침에 있고(SP 800-94 4.3.4절), 사례 6단계가 그 연동이다.

10핵심 정리

아래 토픽실패할 때 보이는 모양남기는 기록먼저 볼 자료짝으로 보는 토픽
방화벽시간 초과 · 허용 포트 안 공격 통과허용 · 거부 기록규칙 표 · 거부 건수NGFW
NGFW응용 오인 차단응용 이름 · 규칙 번호응용 식별 기록침입 방지 시스템
UTM기능을 켤 때 처리량 저하기능별 기록장비 자원 지표NGFW
WAF정상 웹 요청 거부규칙 번호 · 요청 일부WAF 기록침입 방지 시스템
침입 방지 시스템정상 연결 끊김차단 경보 · 차단 목록경보 로그IDS
IDS경보는 있는데 공격 도달경보(통과 표시)경보 · 패킷 증거허니팟
허니팟조용함 · 점검 접속 경보미끼 접속 전부미끼 접속 기록IDS

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ NIST SP 800-41 Rev. 1 Guidelines on Firewalls and Firewall Policy — 패킷 필터 · 상태 기반 · 응용 방화벽 · UTM · WAF 를 한 지침에서 견줄 때
    NIST · 2009-09 · csrc.nist.gov/pubs/sp/800/41/r1/final · 확인 2026-11-14
  3. ★ NIST SP 800-94 Guide to Intrusion Detection and Prevention Systems (IDPS) — 인라인 · 수동 센서 배치와 차단 대응 세 가지, 허니팟의 쓰임을 볼 때
    NIST · 2007-02 · csrc.nist.gov/pubs/sp/800/94/final · 확인 2026-11-14
  4. ★ An Intrusion-Detection Model (Dorothy E. Denning · IEEE Transactions on Software Engineering SE-13 No. 2) — 침입 탐지를 감사 기록과 정상 프로파일로 모델화한 출발점을 볼 때
    IEEE · 1987-02 · doi.org/10.1109/TSE.1987.232894 · 확인 2026-11-14
  5. 본문 근거
  6. Computer Security Threat Monitoring and Surveillance (James P. Anderson) — James P. Anderson Co. · 1980-04 · csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/proceedings-of-the-21st-nissc-1998/documents/early-cs-papers/ande80.pdf · 확인 2026-11-14
  7. Firewalls and Internet Security: Repelling the Wily Hacker (William R. Cheswick · Steven M. Bellovin · Addison-Wesley) — Addison-Wesley · 1994-01 · www.wilyhacker.com/ · 확인 2026-11-14
  8. RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 · www.rfc-editor.org/rfc/rfc5737 · 확인 2026-11-14
  9. RFC 1918 Address Allocation for Private Internets — IETF · 1996-02 · www.rfc-editor.org/rfc/rfc1918 · 확인 2026-11-14
  10. tcpdump(1) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man1/tcpdump.1.html · 확인 2026-11-14