VPN가상 사설망 · Virtual Private Network
인터넷 같은 공용 망 위에 터널을 만들어, 사설 망의 패킷을 암호화 · 무결성 보호한 채 다른 패킷 속에 넣어 나르는 기술이다. 떨어진 사이트나 원격 단말을 한 사설 망처럼 잇는다.
1요약
- VPN 은 공용 망 위에 터널을 만들어 사설 주소 패킷을 다른 패킷 속에 넣어 나르는 기술로, IP 계층의 IPsec(RFC 4301 · 2005)이 대표이며 그 위에서 지점 간 사내 망 · 원격 근무자의 사내 시스템 접속 · 클라우드 망 연결이 돈다.
- 사설 주소(10.0.0.0/8)는 인터넷 경로에 실리지 않고(RFC 1918 3절) 평문은 지나는 장비 모두에 보여 터널 없이는 전용선이 필요하며, 거꾸로 인터넷에 열린 VPN 관문은 표적이 되어 2021-09 한 SSL VPN 취약점(CVE-2018-13379)으로 장비 약 87,000대의 접속 정보가 공개됐다(Fortinet PSIRT 2021).
- 「VPN 이 안 된다」는 어느 단계에서 멈췄는가로 가른다 — IKE 응답이 없으면 UDP 500 · 4500 경로를, SA 는 섰는데 일부 대역만 안 되면 트래픽 셀렉터를, 작은 패킷만 통하면 터널 덧붙임에 따른 MTU 를 본다.
2등장 배경
1990년대 초 본사와 지점은 통신 사업자의 전용선 · 프레임 릴레이로 이어져, 지점마다 회선 계약이 하나씩 늘었다. 인터넷은 싸고 어디에나 닿았지만 1996년 2월 RFC 1918 이 정한 사설 주소는 기업 밖 경로에 실리지 않았고, 평문 패킷은 지나는 라우터마다 읽혔다. 사내 주소 패킷을 공인 주소 패킷 안에 넣고 암호로 싸는 터널이 그 틈을 메웠다.
1995년 8월 RFC 1825 가 IPsec 구조를 처음 냈고, 1999년에는 원격 접속용 PPTP(RFC 2637 · 7월)와 사업자 망 안에서 고객 경로를 나누는 BGP/MPLS VPN(RFC 2547 · 3월)이 나왔다. IPsec 구조는 RFC 4301(2005-12), 키 교환은 IKEv2 RFC 7296(2014-10 · 인터넷 표준 STD 79)이 현행이다. 2008년 NIST SP 800-113 이 브라우저로 붙는 SSL VPN 지침을 냈고, 2017년 Donenfeld 가 리눅스 구현 4,000줄 미만의 WireGuard 를 발표했다(Donenfeld 2017).
지금 VPN 은 원격 근무 · 지점 연결 · 클라우드 망 연결에 쓰이지만, 한 번 붙으면 사내 망 대역 전체가 열린다. 그래서 응용마다 세션을 판정하는 ZTNA(제로 트러스트 망 접근)로 원격 접속을 옮기는 흐름이 함께 간다.
3쉽게 이해하기 — 잠금 상자로 사내 서류를 부치는 출장 직원
출장 간 직원이 호텔 객실에서 본사 경리부로 사내 서류를 보낸다. 봉투에는 「경리부」 같은 사내 주소만 있어 택배사가 나를 수 없으므로, 직원은 출발 전에 본사 우편실과 신분을 확인하고 같은 열쇠를 나눠 가졌다. 직원은 봉투를 잠금 상자에 넣고 겉에 본사 우편실 주소와 상자 번호를 붙여 호텔 프런트에 맡긴다. 상자는 택배 길을 지나 본사 우편실에 닿고, 우편실은 번호와 봉인을 확인한 뒤 상자를 열어 봉투를 경리부에 넘긴다.
그림 1 · 출장 직원과 본사 우편실은 미리 열쇠를 나누고, 사내 봉투는 잠금 상자에 든 채 프런트와 택배 길을 지나 우편실에서만 열린다.
그림 2 · 우편실 장부는 최근 64개 상자 번호만 기억해, 이미 찍힌 번호의 사본과 장부보다 옛 번호는 버리고 새 번호만 받는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 신분 확인 · 열쇠 나눔 | IKEv2(IKE_ | 상호 인증 뒤 Diffie-Hellman 으로 키를 맞추고 SA 를 맺는다 |
| 임시 사원 번호표 | 가상 주소(CP · INTERNAL_ | 게이트웨이가 원격 단말에 사내 대역 주소를 준다 |
| 사내 봉투 | 안쪽 IP 패킷 | 사내 주소끼리 오가는 원래 패킷을 그대로 담는다 |
| 잠금 상자 | ESP 터널 모드 | 안쪽 패킷 전체를 암호화하고 무결성 값(ICV)을 붙인다 |
| 상자 번호 · 장부 | 순서 번호 · 재전송 방지 창 | 이미 받은 번호와 창보다 옛 번호를 버린다 |
| 호텔 프런트 | NAT 공유기 | 바깥 출발지 주소 · 포트만 바꾼다 |
| 택배 길 | 인터넷 | 바깥 머리 주소만 보고 나른다 |
| 우편실이 열어 넘김 | VPN 게이트웨이 복호 | 검사 · 복호 뒤 사내 망에 평문으로 내보낸다 |
⚠ 비유가 맞지 않는 곳: 실제 열쇠(SA)는 한 방향에 하나씩이라 오가는 데 둘이 필요하고(RFC 4301 4.1절), 수명이 다하면 새 열쇠로 바꾼다. 상자도 우편실까지만 잠겨 있어 우편실에서 경리부까지는 평문으로 간다.
4구조 — IPsec 구성 요소
IPsec 은 커널 안 두 데이터베이스와 키 교환 데몬으로 나뉜다 — SPD 는 패킷마다 PROTECT · BYPASS · DISCARD 를 판정하는 정렬된 규칙 목록이고, SAD 는 SA 하나마다 키 · 알고리즘 · 순서 번호 · 수명을 둔다(RFC 4301 4.4.1 · 4.4.2절). IKEv2 는 PAD 의 인증 정보로 상대를 확인한 뒤 SA 를 맺어 SAD 를 채운다(4.4.3절).
그림 3 · 원격 단말과 게이트웨이는 같은 네 부품을 갖고, IKE SA 로 키를 맞춘 뒤 Child SA 의 ESP 로만 데이터를 보낸다.
| 요소 | 위치 · 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| SPD | 커널 · 정렬된 규칙 | 보호할 패킷 판정 | PROTECT · BYPASS · DISCARD(RFC 4301 4.4.1절) |
| SAD | 커널 · SA 마다 한 항목 | 키 · 알고리즘 · 순서 번호 · 수명 | 유니캐스트 SA 는 SPI 하나로 찾음(4.1절) |
| PAD | IKE 데몬 | 상대 ID 와 허용 트래픽 셀렉터를 묶음 | 인증서 · PSK · EAP(4.4.3절) |
| IKEv2 | UDP 500 · NAT 때 4500 | 상호 인증 · 키 합의 · SA 갱신 | 첫 SA 까지 메시지 4개(RFC 7296 1.2절) |
| ESP | IP 프로토콜 50 | 기밀성 · 무결성 · 재전송 방지 | SPI 32비트 · 순서 번호 32비트(RFC 4303 2절) |
| AH | IP 프로토콜 51 | 무결성만 · 암호화 없음 | 새 구축 비권장(NIST SP 800-77r1 4.4절) |
| 터널 · 전송 모드 | SA 속성 | 안쪽 IP 머리까지 감싸는가 | 게이트웨이 = 터널 · 호스트 사이 = 전송(RFC 4301 4.1절) |
🔑 SPD 는 «무엇을» 보호할지, SAD 는 «어떤 키로» 보호할지를 정한다 — IKE 가 SA 를 맺어도 SPD 규칙에 없는 대역의 패킷은 터널로 들어가지 않는다(RFC 4301 4.4절).
5동작 — 원격 단말의 IKEv2 · ESP 접속
집 공유기 뒤 노트북(192.168.0.23)이 VPN 게이트웨이 203.0.113.10 을 거쳐 사내 서버 10.10.5.20 의 443번 포트에 붙는 사례다. 공인 주소는 문서용 대역(RFC 5737)이고, 사설 주소 · SPI 0x7a3f1c02 는 설명용 가정 값이다.
- 노트북이 게이트웨이 UDP 500 으로 IKE_SA_INIT 를 보낸다 — SA 제안(AES-GCM 16바이트 ICV · 256비트 키) · KE(Diffie-Hellman 값) · Ni(난수) · NAT 탐지 알림 둘(RFC 7296 1.2 · 2.23절).
- 응답의 NAT 탐지 해시가 자기 주소와 맞지 않아 노트북은 앞에 NAT(198.51.100.7)가 있음을 알고, 다음 메시지부터 UDP 4500 으로 옮긴다(2.23절).
- IKE_AUTH 에서 양쪽이 ID · AUTH 로 서로를 인증하고, 노트북의 CP 요청에 게이트웨이가 INTERNAL_IP4_ADDRESS 10.20.0.15 와 TSr 10.10.0.0/16 을 돌려준다(2.19 · 3.15절). 이 두 왕복으로 IKE SA 와 첫 Child SA 가 함께 선다.
- 노트북이 10.20.0.15 → 10.10.5.20:443 TCP SYN 을 만들면 SPD 가 TSr 범위라 PROTECT 로 판정하고, ESP 터널 모드로 싸서 UDP 4500 에 실어 보낸다(RFC 4301 4.4.1절 · RFC 3948 2.1절).
- NAT 가 바깥 출발지를 198.51.100.7 로 바꿔도 안쪽은 암호문이라 그대로이고, 게이트웨이는 SPI 0x7a3f1c02 로 SA 를 찾아 ICV 를 검사하고 순서 번호가 재전송 방지 창 64 안의 새 번호인지 본 뒤 복호한다(RFC 4303 3.4.3절).
- 게이트웨이는 꺼낸 패킷이 SA 의 트래픽 셀렉터 안인지 다시 확인하고 사내 망에 내보내며, 서버는 출발지 10.20.0.15 만 본다(RFC 4301 5.2절).
- 터널 인터페이스 MTU 를 1,438바이트(1,500 − 덧붙임 62)로 두면 TCP 는 MSS 1,398바이트를 알린다(그림 5).
- 오가는 데이터가 없으면 노트북이 NAT 매핑을 살리는 0xFF 1바이트 keepalive 를 보내고(RFC 3948 2.3절), SA 수명이 다가오면 CREATE_CHILD_SA 로 새 SPI 의 SA 를 맺고 옛 SA 를 지운다(RFC 7296 1.3.3 · 2.8절).
그림 4 · IKE 메시지 4개가 NAT 를 감지하고 가상 주소를 받은 뒤, ESP 는 UDP 4500 에 실려 NAT 를 지나고 게이트웨이에서만 풀린다.
그림 5 · 터널 모드는 안쪽 패킷 앞뒤에 62바이트를 더하므로, 이더넷 MTU 1,500 안에 들어가는 안쪽 패킷은 1,438바이트 · TCP MSS 는 1,398바이트다.
🔑 터널 모드에서 NAT 와 인터넷이 보고 바꾸는 것은 바깥 머리뿐이고, 사내 주소 10.20.0.15 → 10.10.5.20 은 암호문 안에서 게이트웨이까지 그대로 간다.
⚠ 62바이트는 AES-GCM(IV 8 · ICV 16바이트 · RFC 4106 3.1 · 6절) · IPv4 · NAT 통과 기준이다. NAT 가 없으면 UDP 8바이트가 빠지고, CBC 처럼 블록 암호 모드를 쓰면 IV 와 채움이 블록 크기 단위로 늘어난다(RFC 4303 2.4절).
6비교 — VPN 방식별 차이
| 기준 | IPsec VPN | SSL/TLS VPN | WireGuard | MPLS VPN |
|---|---|---|---|---|
| 감싸는 단위 | IP 패킷(ESP) | TLS 레코드 · 포털은 응용 요청 | IP 패킷(UDP 위) | MPLS 레이블 2개(RFC 4364 5절) |
| 키 합의 · 인증 | IKEv2 · 인증서 · PSK · EAP | TLS 핸드셰이크(RFC 9846) + 사용자 인증 | Noise IK · Curve25519 공개 키만 | 없음 — 암호화하지 않음(RFC 4364 1.6절) |
| NAT · 방화벽 통과 | ESP 50 은 NAT 에 막혀 UDP 4500 으로(RFC 3948) | TCP 443 그대로 | UDP 한 포트 | 사업자 망 안이라 해당 없음 |
| 열리는 범위 | 트래픽 셀렉터 대역 | 포털 = 응용별 · 터널 = 망 대역(NIST SP 800-113) | AllowedIPs 대역 | 고객 사이트끼리 VRF |
| 표준 | IETF 인터넷 표준(STD 79) | TLS 만 표준 · 터널 형식은 제품마다 다름 | 공식 표준 문서 없음(NIST SP 800-77r1 8.3절) | IETF RFC 4364 |
| 주 용도 | 사이트 간 · 관리 단말 원격 접속 | 브라우저 · 비관리 단말 원격 접속 | 서버 · 클라우드 사이 · 개인 | 통신 사업자가 파는 지점 간 망 |
분석지점과 데이터 센터를 잇는 상시 터널은 표준 상호 운용이 되는 IPsec, 관리하지 않는 단말이 특정 웹 응용만 쓰면 SSL/TLS VPN 포털, 설정이 단순해야 하는 서버 사이 연결은 WireGuard 가 맞다. 근거는 표의 「열리는 범위」 · 「표준」 행 — MPLS VPN 은 경로만 나누고 암호화하지 않으므로(RFC 4364 1.6절) 기밀성이 필요하면 그 위에 IPsec 을 더한다.
대역을 열지 않고 응용마다 세션을 판정하는 접속은 제로 트러스트의 ZTNA 가 맡는다.
7실무 진단 — 터널이 멈춘 단계 가르기
분석IKE 교환 → SPD 범위 → ESP 크기 순으로 본다. IKE 가 서지 않으면 그 뒤 정책 · MTU 는 볼 필요가 없고, SA 가 선 뒤의 장애는 대부분 SPD 범위 또는 덧붙임 62바이트에서 난다(NIST SP 800-77r1 6.4 · 6.5절).
| # | 증상 | 의심 원인 | 구분 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 터널이 아예 맺히지 않음 | UDP 500 · 4500 차단 · 제안 불일치 | IKE | tcpdump -ni eth0 udp port 500 or udp port 4500 | 요청만 있고 응답 없음 = 경로 차단 · NO_ |
| 2 | 터널은 섰는데 일부 대역만 안 됨 | 트래픽 셀렉터 · SPD 범위 불일치 | SPD | ip xfrm policy | 그 대역이 정책 목록에 없음 = PROTECT 되지 않음(ip-xfrm(8) · RFC 4301 4.4.1절) |
| 3 | 작은 요청은 되고 큰 응답에서 멈춤 | 덧붙임 62바이트로 MTU 초과 · ICMP 차단 | ESP · IP | ping -M do -s 1410 10. | 1,410 성공 · 1,411 실패 = 안쪽 MTU 1,438(ping(8) · 그림 5) |
| 4 | 몇 시간마다 끊겼다 다시 맺힘 | 재키 교환의 DH 그룹 · PFS 불일치 | IKE | ip xfrm state | SPI 가 바뀌는 때 끊김 = 재키 실패 · DH 불일치는 재키 때 드러남(NIST SP 800-77r1 6.4절) |
| 5 | WireGuard 피어로 아무것도 안 감 | 공개 키 · AllowedIPs 불일치 | 암호 키 라우팅 | wg show wg0 latest-handshakes | 0 = 핸드셰이크 없음 → 공개 키 · endpoints · 값이 있으면 allowed-ips 범위(wg(8) · Donenfeld 2017 2절) |
패킷 캡처부터 보는 까닭은 IKE 응답이 없으면 원인이 방화벽 · NAT 경로로 좁혀지기 때문이다. 응답이 오면 ip xfrm state 로 SA 와 SPI 가 섰는지 보고, 그다음 정책 대역과 ping -M do 의 크기 경계를 차례로 잰다.
8시험 대비
www.q-net.or.kr시험에서는 VPN 정의 · 터널링 원리 · 유형을 묻는 정의 · 특징형, IPsec VPN 과 SSL VPN 을 견주는 비교형, 원격 근무 · 지점 연결용 VPN 을 들일 때의 설계 판단을 묻는 구현 · 설계형이 나올 수 있다.
- 개요 — 정의 · 공용 망 위 터널 · 기밀성 · 무결성 · 인증 · 사이트 간 / 원격 접속 / 호스트 간(NIST SP 800-77r1 2.4절)
- 구성 — 그림 3 구성도(SPD · SAD · PAD · IKE · ESP) + 요소 표(ESP 50 · AH 51 · 터널 · 전송 모드)
- 동작 — 그림 4 순서도(IKE_SA_INIT · IKE_AUTH 메시지 4개 · NAT 감지 · UDP 4500 · 가상 주소)
- 캡슐화와 MTU — 그림 5 계단 그림(덧붙임 62바이트 · 안쪽 MTU 1,438 · MSS 1,398) + 재전송 방지 창 64
- 방식 비교 — 비교표 6행(IPsec · SSL/TLS · WireGuard · MPLS VPN) + 용도별 선택 기준
- 설계 고려 · 동향 — IKEv1 · AH 퇴출 · 분할 터널 금지 여부(NIST SP 800-77r1 7.2.1.2절) · 관문 장비 취약점 → ZTNA
꼭 쓸 키워드
터널링캡슐화터널 모드ESPIKEv2SASPDNAT 통과SSL VPNWireGuard
다른 답안과 차이를 내는 한 가지는 그림 5 의 바이트 계산이다 — 덧붙임 62바이트에서 MSS 1,398 을 끌어내면 「VPN 에서 큰 패킷만 멈춘다」는 현장 문제까지 한 번에 답이 된다.
9오해와 사실
- 오해VPN 을 켜면 상대 서버까지 전 구간이 암호화된다.사실터널은 게이트웨이에서 끝나므로 게이트웨이와 사내 서버 사이는 평문이고, NIST 는 사이트 간 구성이 «전 구간을 보호하지 않는다»고 적는다(NIST SP 800-77r1 2.4.1절).
- 오해MPLS VPN 도 VPN 이니 데이터가 암호화된다.사실MPLS VPN 은 VRF 와 레이블로 경로만 나누고 스스로 암호화하지 않는다(RFC 4364 1.6절).
- 오해암호화가 필요 없으면 ESP 대신 AH 를 쓴다.사실AH 는 바깥 IP 머리의 출발지 주소까지 무결성 값에 넣어(RFC 4302 3.3.3.1.1.1절) NAT 가 주소를 바꾸면 검사에 실패하고, NIST 는 AH 대신 null 암호화 ESP 를 권한다(NIST SP 800-77r1 4.4절).
10핵심 정리
| 구분 | 감싸는 위치 | 보호 | 키 · 인증 | 포트 · 번호 | 표준 |
|---|---|---|---|---|---|
| IKEv2 | 제어 채널 | 메시지 암호화 · 상호 인증 | Diffie-Hellman · 인증서 · PSK · EAP | UDP 500 · 4500 | RFC 7296 |
| ESP | IP 위 | 기밀성 · 무결성 · 재전송 방지 | IKE 가 준 SA 키 | IP 50 · NAT 때 UDP 4500 | RFC 4303 · 3948 |
| AH | IP 위 | 무결성만 · NAT 와 충돌 | SA 키 | IP 51 | RFC 4302 · 새 구축 비권장 |
| SPD · SAD | 커널 정책 · SA 표 | 무엇을 · 어떤 키로 보호할지 | — | ip xfrm policy · state | RFC 4301 4.4절 |
| SSL/TLS VPN | TCP 위 TLS | 기밀성 · 무결성 | TLS 핸드셰이크 · 사용자 인증 | TCP 443 | RFC 9846 · NIST SP 800-113 |
| WireGuard | UDP 위 IP 터널 | 기밀성 · 무결성 | Noise IK · Curve25519 공개 키 | UDP 한 포트 | Donenfeld 2017 |
| MPLS VPN | 사업자 망 레이블 | 경로 분리만 · 암호화 없음 | — | 레이블 2개 · RD 8바이트 | RFC 4364 |
11참고 문헌
- 먼저 볼 문헌
- ★ RFC 4301 Security Architecture for the Internet Protocol — SPD · SAD · PAD 구성과 터널 · 전송 모드를 원문으로 볼 때
- ★ RFC 4303 IP Encapsulating Security Payload (ESP) — ESP 패킷 필드 · 채움 · 재전송 방지 창 규정을 볼 때
- ★ RFC 7296 Internet Key Exchange Protocol Version 2 (IKEv2) — IKE_SA_INIT · IKE_AUTH 교환 · NAT 통과 · 내부 주소 배정을 볼 때
- ★ NIST SP 800-77 Rev. 1 Guide to IPsec VPNs — 사이트 간 · 원격 접속 구성과 흔한 설정 실수를 볼 때
- ★ WireGuard: Next Generation Kernel Network Tunnel (Jason A. Donenfeld · NDSS 2017) — 암호 키 라우팅과 1 RTT 핸드셰이크 설계를 볼 때
- 본문 근거
- RFC 4302 IP Authentication Header — IETF · 2005-12 ·
www.rfc-editor.org/rfc/rfc4302· 확인 2026-11-04 - RFC 3948 UDP Encapsulation of IPsec ESP Packets — IETF · 2005-01 ·
www.rfc-editor.org/rfc/rfc3948· 확인 2026-11-04 - RFC 4106 The Use of Galois/Counter Mode (GCM) in IPsec ESP — IETF · 2005-06 ·
www.rfc-editor.org/rfc/rfc4106· 확인 2026-11-04 - RFC 4364 BGP/MPLS IP Virtual Private Networks (VPNs) — IETF · 2006-02 ·
www.rfc-editor.org/rfc/rfc4364· 확인 2026-11-04 - NIST SP 800-113 Guide to SSL VPNs — NIST · 2008-07 ·
csrc.nist.gov/pubs/sp/800/113/final· 확인 2026-11-04 - RFC 9846 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 8446 대체) — IETF · 2026-07 ·
www.rfc-editor.org/rfc/rfc9846· 확인 2026-11-04 - RFC 1918 Address Allocation for Private Internets — IETF · 1996-02 ·
www.rfc-editor.org/rfc/rfc1918· 확인 2026-11-04 - RFC 1825 Security Architecture for the Internet Protocol (RFC 4301 로 대체) — IETF · 1995-08 ·
www.rfc-editor.org/rfc/rfc1825· 확인 2026-11-04 - RFC 2637 Point-to-Point Tunneling Protocol (PPTP) — IETF · 1999-07 ·
www.rfc-editor.org/rfc/rfc2637· 확인 2026-11-04 - RFC 2547 BGP/MPLS VPNs (RFC 4364 로 대체) — IETF · 1999-03 ·
www.rfc-editor.org/rfc/rfc2547· 확인 2026-11-04 - Malicious Actor Discloses FortiGate SSL-VPN Credentials (CVE-2018-13379) — Fortinet PSIRT · 2021-09 ·
www.fortinet.com/blog/psirt-blogs/malicious-actor-discloses-fortigate-ssl-vpn-credentials· 확인 2026-11-04 - ip-xfrm(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/ip-xfrm.8.html· 확인 2026-11-04 - wg(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/wg.8.html· 확인 2026-11-04 - ping(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/ping.8.html· 확인 2026-11-04 - tcpdump(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/tcpdump.1.html· 확인 2026-11-04 - RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 ·
www.rfc-editor.org/rfc/rfc5737· 확인 2026-11-04