3-way 핸드셰이크TCP Three-Way Handshake
TCP 가 연결을 열 때 SYN · SYN+ACK · ACK 세 세그먼트로 양쪽의 초기 순서 번호(ISN)를 주고받고 서로 확인받는 연결 수립 절차다.
1요약
- RFC 9293 3.5절(RFC 793 1981 대체)의 연결 수립 절차로, 여기서 MSS · 창 배율이 정해진 뒤에야 TLS 핸드셰이크와 HTTP 요청이 그 연결 위에서 시작된다.
- 순서 번호는 망 전체 시계에 묶여 있지 않아 첫 SYN 을 받은 쪽은 그것이 지난 연결의 옛 복제인지 알 수 없으므로, 양쪽이 32비트 ISN 을 서로 확인받아야 한다(RFC 9293 3.4.1 · ISN 시계 4 µs · 한 바퀴 약 4.55시간).
- 「접속이 안 된다」는 SYN 에 무엇이 돌아오는가로 가른다 — 곧바로 RST 면 그 포트에 듣는 소켓이 없고, 아무것도 오지 않고 SYN 재전송만 쌓이면 경로가 버리며, 연결은 되는데 늦으면 서버 대기열이 넘친다.
2등장 배경
1970년대 패킷망에서는 세그먼트가 늦게 도착하거나 복제되고 호스트가 기억을 잃은 채 재부팅되었다. 받는 쪽이 늦게 온 옛 연결 요청을 새 요청으로 받아들이면 이미 끝난 대화의 데이터가 새 연결에 섞인다(RFC 9293 3.4.1).
Dalal · Sunshine 은 1978년 12월 논문에서 전송 프로토콜의 연결 관리를 다뤘고, RFC 793(1981-09)은 이 논문을 인용해 세 메시지 교환을 「three-way hand shake」라 불렀다. 1985년 Morris 가 ISN 을 예측해 연결을 위조하는 공격을 보고했고(RFC 6528 1절), 1996년 9월에는 SYN 플러딩이 한 ISP 의 메일 서버를 멈춰 CERT 권고 CA-96.21 이 나왔다(RFC 4987 2.1절).
RFC 6528(2012)이 ISN 생성식을 정했고, RFC 9293(2022-08)은 RFC 793 을 대체하며 절차를 그대로 두었다. 지금도 TCP 연결은 이 왕복 한 번 뒤에 데이터를 보내고, TCP Fast Open(RFC 7413)은 이 왕복을 줄이려는 확장이다.
3쉽게 이해하기 — 거래를 트기 전에 문서 번호 맞추기
서울 문구점 윤 사장이 대구 공장 장 부장과 처음 거래를 튼다. 윤 사장은 편지로 「우리 쪽 문서는 100번부터 매깁니다」라고 알리고, 장 부장은 「100번 잘 받았습니다, 저희 쪽은 300번부터입니다」라고 답장한다. 윤 사장이 「300번 받았습니다」라고 한 통 더 보내면, 그다음 주문서부터 두 사람은 번호를 보고 빠진 문서와 늦게 온 옛 문서를 가려낸다.
그림 1 · 편지 세 통으로 양쪽이 서로의 첫 문서 번호를 확인받고 나서야 주문서가 오가기 시작한다.
그림 2 · 확인과 내 번호를 한 통에 실으므로, 네 통이 필요한 번호 맞추기가 세 통으로 끝난다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 공장 접수 창구 | LISTEN 소켓 | 서버가 listen() 으로 포트를 열고 SYN 을 기다린다 |
| 먼저 편지 쓰는 문구점 | 클라이언트 · connect() | 능동 열기로 첫 SYN 을 보낸다 |
| 「100번부터」 첫 편지 | SYN · ISN | 자기 초기 순서 번호를 알린다 |
| 확인 + 「300번부터」 답장 | SYN+ACK | 받은 ISN 에 1을 더해 확인하고 자기 ISN 을 함께 싣는다 |
| 「300번 받았습니다」 | ACK | 서버 ISN 을 확인해 양쪽이 ESTABLISHED 가 된다 |
| 101번부터 매기는 주문서 | 데이터 세그먼트 | 순서 번호로 빠진 바이트와 순서를 가린다 |
| 지난달 늦게 온 옛 편지 | 옛 복제 SYN · RST | 확인이 맞지 않으면 RST 로 거부해 새 연결로 오인하지 않는다 |
⚠ 비유가 맞지 않는 곳: 실제 ISN 은 100 · 300 처럼 보기 좋은 수가 아니라 32비트 범위의 예측하기 어려운 값이고, 번호는 문서 한 통이 아니라 데이터 1바이트마다 하나씩 쓰며 SYN 자체도 번호 하나를 차지한다.
4구조 · 동작 — 포트 49832 → 443 연결의 수립 과정
세그먼트 셋은 같은 TCP 헤더(RFC 9293 3.1절)에 제어 비트 · 두 번호 · 옵션만 달리 채운다. MSS · 창 배율은 SYN 에서만 보내므로 연결의 성질이 여기서 정해진다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| SYN 비트 | 1비트 | 「내 ISN 을 받아라」 · 순서 번호 하나 차지 | RFC 9293 3.1 · 3.4절 |
| ACK 비트 | 1비트 | 확인 번호 필드가 유효함 · 번호 차지 안 함 | 3.4절 |
| 순서 번호 | 32비트 | SYN 이 있으면 그 값이 ISN | 3.1절 |
| 확인 번호 | 32비트 | 다음에 받을 번호 = 상대 ISN + 1 | 3.5절 그림 6 |
| ISN | 32비트 | 4 µs 시계 + 4-튜플 · 비밀 키 의사 난수 | 3.4.1절 · RFC 6528 |
| MSS 옵션 | 4바이트 | 받을 수 있는 최대 세그먼트 · SYN 에서만 | 3.2 · 3.7.1절 · 없으면 536 |
| 창 배율 옵션 | 3바이트 | 16비트 창을 최대 30비트로 넓힘 · SYN 에서만 | RFC 7323 2.1 · 2.2절 |
사례는 클라이언트 192.0.2.15:49832 가 서버 198.51.100.7:443 에 연결하는 흐름이다(주소 = RFC 5737 문서용 대역 · ISN 은 설명용 가정 값).
- 서버가 listen() 으로 443 번 포트를 열어 LISTEN 이 된다.
- 클라이언트 connect() 가 SYN(SEQ=1820461002 · MSS 1460)을 보내고 SYN-SENT 가 된다 — MSS 1460 = MTU 1500 − IP 20 − TCP 20.
- 서버는 자기 ISS=4012773510 을 골라 SYN+ACK(SEQ=4012773510 · ACK=1820461003)를 보내고 SYN-RECEIVED 가 된다(3.10.7.2절).
- 클라이언트는 ACK 값이 ISS < ACK ≤ SND.NXT 인지 검사해 통과하면 ESTABLISHED 가 되고 ACK(SEQ=1820461003 · ACK=4012773511)를 보낸다(3.10.7.3절).
- 서버는 ACK 를 받아 ESTABLISHED 가 되고, accept() 가 새 소켓을 돌려준다(그림 5).
- 클라이언트의 첫 데이터(TLS ClientHello · RFC 9846 4.2.2절)는 SEQ=1820461003 그대로 나간다 — ④의 ACK 가 번호를 쓰지 않았기 때문이다.
그림 3 · 클라이언트는 SYN+ACK 를 받은 순간, 서버는 마지막 ACK 를 받은 순간 ESTABLISHED 가 되고, 첫 데이터는 1 RTT 뒤에 나간다.
🔑 SYN 은 순서 번호 하나를 쓰고 ACK 는 쓰지 않는다 — 그래서 확인 번호는 늘 상대 ISN + 1 이고, 세 번째 ACK 와 첫 데이터의 SEQ 는 같다.
옛 SYN 이 먼저 닿아도(그림 4 의 A) 클라이언트는 보낸 적 없는 번호의 확인을 RST 로 거절하고, 서버는 LISTEN 으로 돌아간다(3.5절 그림 8).
그림 4 · 옛 SYN 에 대한 SYN+ACK 는 클라이언트의 ACK 범위 검사에서 걸러져 RST 로 끝나고, 서버는 LISTEN 으로 돌아가 새 SYN 을 정상으로 받는다.
리눅스 서버는 반쯤 열린 연결과 다 열린 연결을 다른 대기열에 둔다(표준에는 대기열이 없음 · RFC 4987 2.2절). SYN 플러딩은 앞 대기열을 채우고, 느린 응용은 뒤 대기열을 채운다.
그림 5 · SYN 대기열이 차면 SYN 쿠키로 버티고, accept 대기열이 차면 SYN 을 버리므로 증상과 계수기가 서로 다르다.
🔑 세 번인 이유는 양쪽 ISN 을 각자 확인받기 때문이고, 확인과 자기 번호를 한 세그먼트에 싣는 SYN+ACK 덕분에 네 번이 세 번이 된다(RFC 9293 3.4.1절).
5비교 — 기본 3-way · 동시 열기 · TCP Fast Open
| 기준 | 기본 3-way | 동시 열기 | TCP Fast Open |
|---|---|---|---|
| 세그먼트 | 3 | 4(양쪽 SYN · 양쪽 SYN+ACK · 3.5절 그림 7) | 3(SYN 에 데이터 · 쿠키) |
| 첫 데이터를 응용에 넘기는 때 | ESTABLISHED 뒤 | ESTABLISHED 뒤 | 쿠키가 맞으면 SYN 도착 즉시 |
| 옛 복제 SYN | ISN 확인 · RST 로 거름 | 같음 | SYN 의 데이터가 두 번 전달될 수 있음(RFC 7413 2.1절) |
| 지위 | 표준 | 구현 필수(MUST-10) | 실험(RFC 7413 · 2014) |
분석일반 연결은 기본 3-way 로 두고, 같은 서버에 짧은 요청을 자주 다시 여는 경우에만 TFO 를 검토하되 SYN 데이터가 두 번 처리돼도 결과가 같은 요청에 한정한다. 근거는 표의 「옛 복제 SYN」 행이다 — TFO 는 중복 SYN 거르기를 포기하고 왕복 한 번을 얻는다(RFC 7413 6.1절).
6실무 진단 — SYN 응답으로 가르는 원인 위치
분석클라이언트에서 SYN 에 돌아온 것을 먼저 보고, 그다음 서버 대기열 계수기를 본다. 돌아온 것이 RST 인지 · 없음인지 · 늦은 SYN+ACK 인지가 원인 위치(서버 응용 · 경로 · 서버 커널)를 바로 나누기 때문이다(RFC 9293 3.10.7.1 · 3.10.7.3절).
| # | 증상 | 의심 원인 | 구분 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 곧바로 Connection refused | 포트에 LISTEN 소켓 없음 | 서버 응용 | ss -lnt 'sport = :443' | LISTEN 줄 없음 · SYN 에 RST,ACK 응답(RFC 9293 3.10.7.1 · connect(2) ECONNREFUSED) |
| 2 | 오래 기다리다 시간 초과 | 방화벽이 SYN · SYN+ACK 를 버림 | 경로 | ss -tn state syn-sent · tcpdump -n 'tcp[tcpflags] & tcp-syn != 0' | SYN 재전송만 보임 · 리눅스 기본 6번 재전송 뒤 약 131초에 실패(ip-sysctl tcp_ |
| 3 | 가끔 1초 이상 늦게 연결 | accept 대기열 넘침 · SYN 플러딩 | 서버 커널 | nstat -az TcpExtListenOverflows TcpExtSyncookiesSent | 값이 늘면 대기열 넘침(snmp_ |
7시험 대비
www.q-net.or.kr시험에서는 연결 수립 순서와 상태 변화를 그리는 동작 · 절차 설명형, 그리고 이 절차의 약점을 노린 SYN 플러딩과 대책(RFC 4987)을 묻는 장애 · 보안 대응형이 나올 수 있다.
- 개요 — 정의 · RFC 9293 3.5절 · 목적 = 양쪽 ISN 동기화와 옛 복제 SYN 차단(3.4.1절)
- 절차 — 그림 3 순서도(SYN · SYN+ACK · ACK · 상태 LISTEN → SYN-RECEIVED → ESTABLISHED) + 번호 계산(ACK = ISN + 1)
- 세 번인 이유 — 네 메시지에서 두 번째 · 세 번째를 합침 + 그림 4 옛 SYN 을 RST 로 거르는 과정
- 구성 요소 — 요소 표(SYN · ACK 비트 · 32비트 번호 · MSS · 창 배율 옵션) · ISN 생성식(RFC 6528)
- 약점과 대책 — 그림 5 대기열 + SYN 플러딩 · SYN 쿠키 · 대기열 상한 · TFO 와의 차이(왕복 한 번)
꼭 쓸 키워드
SYNSYN+ACKISN초기 순서 번호확인 번호SYN-RECEIVED옛 복제 SYNRSTSYN 플러딩SYN 쿠키
8오해와 사실
- 오해세 번 주고받는 목적은 상대가 살아 있는지 확인하는 것이다.사실RFC 9293 3.5절은 주된 이유를 옛 연결 요청의 복제를 막는 데 두며, 받는 쪽은 첫 SYN 이 옛것인지 몰라 보낸 쪽에 확인을 구한다(3.4.1절).
- 오해핸드셰이크가 끝나기 전에는 세그먼트에 데이터를 실을 수 없다.사실RFC 9293 3.5절은 연결 수립 세그먼트에 데이터를 싣는 것을 허용하되 ESTABLISHED 전에는 응용에 넘기지 않게 하며, TFO 는 쿠키가 맞으면 SYN 의 데이터를 바로 넘긴다(RFC 7413 2절).
- 오해순서 번호는 0 이나 1 에서 시작한다.사실ISN 은 32비트 시계와 의사 난수로 정하고(RFC 6528), tcpdump 가 보여 주는 작은 수는 첫 번호를 뺀 상대 값이다(tcpdump(8) -S).
9핵심 정리
| 구분 | 보내는 쪽 · 가진 쪽 | 핵심 값 | 보낸 · 받은 뒤 상태 | 잃거나 넘치면 |
|---|---|---|---|---|
| SYN | 클라이언트 | SEQ = 자기 ISN · MSS · 창 배율 | SYN-SENT · 서버 SYN-RECEIVED | 1초부터 간격을 두 배로 늘려 재전송(RFC 6298 2.1 · 5.5) |
| SYN+ACK | 서버 | SEQ = 자기 ISN · ACK = 상대 ISN + 1 | 클라이언트 ESTABLISHED | 서버가 재전송 · 리눅스 기본 5번 |
| ACK | 클라이언트 | ACK = 서버 ISN + 1 · 번호 차지 안 함 | 서버 ESTABLISHED | 서버가 SYN+ACK 를 다시 보냄 |
| RST | 확인이 맞지 않은 쪽 | 옛 SYN 의 확인 거부 · 닫힌 포트 응답 | LISTEN 복귀 · 연결 거부 | — |
| ISN | 양쪽 | 32비트 · 4 µs 시계 + 의사 난수 | — | 예측되면 연결 위조(RFC 6528) |
| SYN 대기열 | 서버 커널 | SYN-RECEIVED 요청 · 하나 약 304바이트 | ACK 오면 accept 대기열로 | SYN 쿠키로 응답 |
| accept 대기열 | 서버 커널 | ESTABLISHED · accept() 전 | accept() 로 응용에 | SYN 을 버림 |
10참고 문헌
- 먼저 볼 문헌
- ★ RFC 9293 Transmission Control Protocol (TCP) — 세그먼트 셋의 번호 · 상태 변화 · 옛 SYN 처리 규칙을 원문으로 확인할 때
- ★ RFC 6528 Defending against Sequence Number Attacks — ISN 을 예측하기 어렵게 만드는 생성식과 그 배경을 볼 때
- ★ RFC 4987 TCP SYN Flooding Attacks and Common Mitigations — SYN 플러딩의 원리와 SYN 쿠키 · 대기열 대책을 비교할 때
- ★ IP Sysctl (tcp_syn_retries · tcp_synack_retries · tcp_max_syn_backlog · tcp_syncookies) — 리눅스의 SYN 재전송 횟수 · 대기열 상한 · SYN 쿠키 기본값을 볼 때
- ★ RFC 7413 TCP Fast Open — SYN 에 데이터를 실어 왕복 한 번을 줄이는 방식과 조건을 볼 때
- 본문 근거
- RFC 793 Transmission Control Protocol — IETF · 1981-09 ·
www.rfc-editor.org/rfc/rfc793· 확인 2026-11-02 - Connection Management in Transport Protocols (Computer Networks Vol. 2 No. 6) — Y. Dalal · C. Sunshine · 1978-12 ·
doi.org/10.1016/0376-5075(78)90053-3· 확인 2026-11-02 - RFC 6298 Computing TCP's Retransmission Timer — IETF · 2011-06 ·
www.rfc-editor.org/rfc/rfc6298· 확인 2026-11-02 - RFC 7323 TCP Extensions for High Performance — IETF · 2014-09 ·
www.rfc-editor.org/rfc/rfc7323· 확인 2026-11-02 - RFC 9846 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 8446 대체) — IETF · 2026-07 ·
www.rfc-editor.org/rfc/rfc9846· 확인 2026-11-02 - RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 ·
www.rfc-editor.org/rfc/rfc5737· 확인 2026-11-02 - SNMP counter (TcpExtListenOverflows · TcpExtSyncookiesSent) — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/networking/snmp_counter.html· 확인 2026-11-02 - listen(2) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man2/listen.2.html· 확인 2026-11-02 - connect(2) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man2/connect.2.html· 확인 2026-11-02 - ss(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/ss.8.html· 확인 2026-11-02 - nstat(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/nstat.8.html· 확인 2026-11-02 - tcpdump(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/tcpdump.8.html· 확인 2026-11-02 - pcap-filter(7) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man7/pcap-filter.7.html· 확인 2026-11-02