IT › 네트워크 › 프로토콜 › L4 전송

3-way 핸드셰이크TCP Three-Way Handshake

TCP 가 연결을 열 때 SYN · SYN+ACK · ACK 세 세그먼트로 양쪽의 초기 순서 번호(ISN)를 주고받고 서로 확인받는 연결 수립 절차다.

1요약

  1. RFC 9293 3.5절(RFC 793 1981 대체)의 연결 수립 절차로, 여기서 MSS · 창 배율이 정해진 뒤에야 TLS 핸드셰이크와 HTTP 요청이 그 연결 위에서 시작된다.
  2. 순서 번호는 망 전체 시계에 묶여 있지 않아 첫 SYN 을 받은 쪽은 그것이 지난 연결의 옛 복제인지 알 수 없으므로, 양쪽이 32비트 ISN 을 서로 확인받아야 한다(RFC 9293 3.4.1 · ISN 시계 4 µs · 한 바퀴 약 4.55시간).
  3. 「접속이 안 된다」는 SYN 에 무엇이 돌아오는가로 가른다 — 곧바로 RST 면 그 포트에 듣는 소켓이 없고, 아무것도 오지 않고 SYN 재전송만 쌓이면 경로가 버리며, 연결은 되는데 늦으면 서버 대기열이 넘친다.

2등장 배경

1970년대 패킷망에서는 세그먼트가 늦게 도착하거나 복제되고 호스트가 기억을 잃은 채 재부팅되었다. 받는 쪽이 늦게 온 옛 연결 요청을 새 요청으로 받아들이면 이미 끝난 대화의 데이터가 새 연결에 섞인다(RFC 9293 3.4.1).

Dalal · Sunshine 은 1978년 12월 논문에서 전송 프로토콜의 연결 관리를 다뤘고, RFC 793(1981-09)은 이 논문을 인용해 세 메시지 교환을 「three-way hand shake」라 불렀다. 1985년 Morris 가 ISN 을 예측해 연결을 위조하는 공격을 보고했고(RFC 6528 1절), 1996년 9월에는 SYN 플러딩이 한 ISP 의 메일 서버를 멈춰 CERT 권고 CA-96.21 이 나왔다(RFC 4987 2.1절).

RFC 6528(2012)이 ISN 생성식을 정했고, RFC 9293(2022-08)은 RFC 793 을 대체하며 절차를 그대로 두었다. 지금도 TCP 연결은 이 왕복 한 번 뒤에 데이터를 보내고, TCP Fast Open(RFC 7413)은 이 왕복을 줄이려는 확장이다.

3쉽게 이해하기 — 거래를 트기 전에 문서 번호 맞추기

서울 문구점 윤 사장이 대구 공장 장 부장과 처음 거래를 튼다. 윤 사장은 편지로 「우리 쪽 문서는 100번부터 매깁니다」라고 알리고, 장 부장은 「100번 잘 받았습니다, 저희 쪽은 300번부터입니다」라고 답장한다. 윤 사장이 「300번 받았습니다」라고 한 통 더 보내면, 그다음 주문서부터 두 사람은 번호를 보고 빠진 문서와 늦게 온 옛 문서를 가려낸다.

서울 문구점 먼저 편지를 쓰는 쪽 윤 사장 클라이언트 거래 신청 connect() 대구 공장 답장하는 쪽 장 부장 서버 접수 창구 엶 LISTEN 1 「우리 쪽 문서 번호는 100번부터」 SYN · 내 첫 번호 2 「100번 받음 · 저희는 300번부터」 SYN+ACK · 확인 + 내 번호 3 「300번 받았습니다」 ACK · 확인 4 주문서 101번부터 오감 데이터 · 연결 성립 새 번호를 알리는 편지 확인 답장 주문서(데이터) 100 · 300 = 각자 고른 첫 번호(실제 ISN)

그림 1 · 편지 세 통으로 양쪽이 서로의 첫 문서 번호를 확인받고 나서야 주문서가 오가기 시작한다.

창구 열기공장이 편지를 기다림
첫 편지우리 번호는 100번부터
답장100번 확인 · 저희는 300번부터
확인 편지300번 받았습니다
주문서 교환101번부터 번호를 매김
비유 — 편지 네 통 실제 — 세그먼트 세 개 윤 사장 장 부장 1 「우리 번호는 100번부터」 2 「100번 받았습니다」 3 「저희 번호는 300번부터」 4 「300번 받았습니다」 한 통에 합침 클라이언트 서버 1 SYN · SEQ=x 2+3 SYN+ACK · SEQ=y ACK=x+1 4 ACK · ACK=y+1 새 번호를 알림(SYN) 받은 번호 확인(ACK) x · y = 각자 고른 첫 번호(ISN) · +1 = 다음에 기다리는 번호

그림 2 · 확인과 내 번호를 한 통에 실으므로, 네 통이 필요한 번호 맞추기가 세 통으로 끝난다.

비유 속 역할실제 이름실제로 하는 일
공장 접수 창구LISTEN 소켓서버가 listen() 으로 포트를 열고 SYN 을 기다린다
먼저 편지 쓰는 문구점클라이언트 · connect()능동 열기로 첫 SYN 을 보낸다
「100번부터」 첫 편지SYN · ISN자기 초기 순서 번호를 알린다
확인 + 「300번부터」 답장SYN+ACK받은 ISN 에 1을 더해 확인하고 자기 ISN 을 함께 싣는다
「300번 받았습니다」ACK서버 ISN 을 확인해 양쪽이 ESTABLISHED 가 된다
101번부터 매기는 주문서데이터 세그먼트순서 번호로 빠진 바이트와 순서를 가린다
지난달 늦게 온 옛 편지옛 복제 SYN · RST확인이 맞지 않으면 RST 로 거부해 새 연결로 오인하지 않는다

⚠ 비유가 맞지 않는 곳: 실제 ISN 은 100 · 300 처럼 보기 좋은 수가 아니라 32비트 범위의 예측하기 어려운 값이고, 번호는 문서 한 통이 아니라 데이터 1바이트마다 하나씩 쓰며 SYN 자체도 번호 하나를 차지한다.

4구조 · 동작 — 포트 49832 → 443 연결의 수립 과정

세그먼트 셋은 같은 TCP 헤더(RFC 9293 3.1절)에 제어 비트 · 두 번호 · 옵션만 달리 채운다. MSS · 창 배율은 SYN 에서만 보내므로 연결의 성질이 여기서 정해진다.

요소크기역할값 · 근거
SYN 비트1비트「내 ISN 을 받아라」 · 순서 번호 하나 차지RFC 9293 3.1 · 3.4절
ACK 비트1비트확인 번호 필드가 유효함 · 번호 차지 안 함3.4절
순서 번호32비트SYN 이 있으면 그 값이 ISN3.1절
확인 번호32비트다음에 받을 번호 = 상대 ISN + 13.5절 그림 6
ISN32비트4 µs 시계 + 4-튜플 · 비밀 키 의사 난수3.4.1절 · RFC 6528
MSS 옵션4바이트받을 수 있는 최대 세그먼트 · SYN 에서만3.2 · 3.7.1절 · 없으면 536
창 배율 옵션3바이트16비트 창을 최대 30비트로 넓힘 · SYN 에서만RFC 7323 2.1 · 2.2절

사례는 클라이언트 192.0.2.15:49832 가 서버 198.51.100.7:443 에 연결하는 흐름이다(주소 = RFC 5737 문서용 대역 · ISN 은 설명용 가정 값).

  1. 서버가 listen() 으로 443 번 포트를 열어 LISTEN 이 된다.
  2. 클라이언트 connect() 가 SYN(SEQ=1820461002 · MSS 1460)을 보내고 SYN-SENT 가 된다 — MSS 1460 = MTU 1500 − IP 20 − TCP 20.
  3. 서버는 자기 ISS=4012773510 을 골라 SYN+ACK(SEQ=4012773510 · ACK=1820461003)를 보내고 SYN-RECEIVED 가 된다(3.10.7.2절).
  4. 클라이언트는 ACK 값이 ISS < ACK ≤ SND.NXT 인지 검사해 통과하면 ESTABLISHED 가 되고 ACK(SEQ=1820461003 · ACK=4012773511)를 보낸다(3.10.7.3절).
  5. 서버는 ACK 를 받아 ESTABLISHED 가 되고, accept() 가 새 소켓을 돌려준다(그림 5).
  6. 클라이언트의 첫 데이터(TLS ClientHello · RFC 9846 4.2.2절)는 SEQ=1820461003 그대로 나간다 — ④의 ACK 가 번호를 쓰지 않았기 때문이다.
클라이언트 192.0.2.15 : 49832 서버 198.51.100.7 : 443 CLOSED ① LISTEN ② SYN · SEQ=1820461002 · MSS 1460 SYN-SENT SYN-RECEIVED ③ SYN+ACK · SEQ=4012773510 · ACK=1820461003 ESTABLISHED ④ ACK · SEQ=1820461003 · ACK=4012773511 ESTABLISHED ⑤ accept() 반환 ⑥ 데이터 · SEQ=1820461003 1 RTT SYN 이 실린 세그먼트 확인(ACK)만 데이터 굵은 글자 상태 = 그 세그먼트를 보내거나 받은 뒤의 상태

그림 3 · 클라이언트는 SYN+ACK 를 받은 순간, 서버는 마지막 ACK 를 받은 순간 ESTABLISHED 가 되고, 첫 데이터는 1 RTT 뒤에 나간다.

🔑 SYN 은 순서 번호 하나를 쓰고 ACK 는 쓰지 않는다 — 그래서 확인 번호는 늘 상대 ISN + 1 이고, 세 번째 ACK 와 첫 데이터의 SEQ 는 같다.

옛 SYN 이 먼저 닿아도(그림 4 의 A) 클라이언트는 보낸 적 없는 번호의 확인을 RST 로 거절하고, 서버는 LISTEN 으로 돌아간다(3.5절 그림 8).

클라이언트 ISS 1820461002 서버 LISTEN SYN-SENT 망에 남아 있던 옛 SYN 지난 연결의 복제 A SYN · SEQ=1755310440 SYN-RECEIVED B SYN+ACK · ACK=1755310441 ACK 검사 실패 ISS < ACK ≤ SND.NXT 에 맞지 않음 C RST · SEQ=1755310441 LISTEN 복귀 지연됐거나 재전송한 새 SYN D SYN · SEQ=1820461002 SYN-RECEIVED → 그림 3 의 ③ 부터 옛 복제 · 거부(RST) 새 연결 요청 응답 · 확인 A ~ D = 이 그림의 순서

그림 4 · 옛 SYN 에 대한 SYN+ACK 는 클라이언트의 ACK 범위 검사에서 걸러져 RST 로 끝나고, 서버는 LISTEN 으로 돌아가 새 SYN 을 정상으로 받는다.

리눅스 서버는 반쯤 열린 연결과 다 열린 연결을 다른 대기열에 둔다(표준에는 대기열이 없음 · RFC 4987 2.2절). SYN 플러딩은 앞 대기열을 채우고, 느린 응용은 뒤 대기열을 채운다.

클라이언트 SYN · ACK SYN SYN 대기열 SYN-RECEIVED · ACK 대기 상한 tcp_max_syn_backlog ACK accept 대기열 ESTABLISHED · accept() 전 상한 backlog ≤ somaxconn accept() 응용 새 소켓 넘치면 SYN 쿠키로 응답 tcp_syncookies = 1 TcpExtSyncookiesSent 증가 넘치면 SYN 을 버림 클라이언트 SYN 재전송 TcpExtListenOverflows 증가 = 대기 중인 연결 하나 = 빈칸 리눅스 커널 기준 · somaxconn 기본 4096(5.4 이후)

그림 5 · SYN 대기열이 차면 SYN 쿠키로 버티고, accept 대기열이 차면 SYN 을 버리므로 증상과 계수기가 서로 다르다.

🔑 세 번인 이유는 양쪽 ISN 을 각자 확인받기 때문이고, 확인과 자기 번호를 한 세그먼트에 싣는 SYN+ACK 덕분에 네 번이 세 번이 된다(RFC 9293 3.4.1절).

5비교 — 기본 3-way · 동시 열기 · TCP Fast Open

기준기본 3-way동시 열기TCP Fast Open
세그먼트34(양쪽 SYN · 양쪽 SYN+ACK · 3.5절 그림 7)3(SYN 에 데이터 · 쿠키)
첫 데이터를 응용에 넘기는 때ESTABLISHED 뒤ESTABLISHED 뒤쿠키가 맞으면 SYN 도착 즉시
옛 복제 SYNISN 확인 · RST 로 거름같음SYN 의 데이터가 두 번 전달될 수 있음(RFC 7413 2.1절)
지위표준구현 필수(MUST-10)실험(RFC 7413 · 2014)

분석일반 연결은 기본 3-way 로 두고, 같은 서버에 짧은 요청을 자주 다시 여는 경우에만 TFO 를 검토하되 SYN 데이터가 두 번 처리돼도 결과가 같은 요청에 한정한다. 근거는 표의 「옛 복제 SYN」 행이다 — TFO 는 중복 SYN 거르기를 포기하고 왕복 한 번을 얻는다(RFC 7413 6.1절).

6실무 진단 — SYN 응답으로 가르는 원인 위치

분석클라이언트에서 SYN 에 돌아온 것을 먼저 보고, 그다음 서버 대기열 계수기를 본다. 돌아온 것이 RST 인지 · 없음인지 · 늦은 SYN+ACK 인지가 원인 위치(서버 응용 · 경로 · 서버 커널)를 바로 나누기 때문이다(RFC 9293 3.10.7.1 · 3.10.7.3절).

#증상의심 원인구분확인 명령판정 기준(근거)
1곧바로 Connection refused포트에 LISTEN 소켓 없음서버 응용ss -lnt 'sport = :443'LISTEN 줄 없음 · SYN 에 RST,ACK 응답(RFC 9293 3.10.7.1 · connect(2) ECONNREFUSED)
2오래 기다리다 시간 초과방화벽이 SYN · SYN+ACK 를 버림경로ss -tn state syn-sent · tcpdump -n 'tcp[tcpflags] & tcp-syn != 0'SYN 재전송만 보임 · 리눅스 기본 6번 재전송 뒤 약 131초에 실패(ip-sysctl tcp_syn_retries)
3가끔 1초 이상 늦게 연결accept 대기열 넘침 · SYN 플러딩서버 커널nstat -az TcpExtListenOverflows TcpExtSyncookiesSent값이 늘면 대기열 넘침(snmp_counter 문서 · 그림 5)

7시험 대비

출제 정보 정보관리(133회) · 컴퓨터시스템응용(125회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 연결 수립 순서와 상태 변화를 그리는 동작 · 절차 설명형, 그리고 이 절차의 약점을 노린 SYN 플러딩과 대책(RFC 4987)을 묻는 장애 · 보안 대응형이 나올 수 있다.

답안 목차
  1. 개요 — 정의 · RFC 9293 3.5절 · 목적 = 양쪽 ISN 동기화와 옛 복제 SYN 차단(3.4.1절)
  2. 절차 — 그림 3 순서도(SYN · SYN+ACK · ACK · 상태 LISTEN → SYN-RECEIVED → ESTABLISHED) + 번호 계산(ACK = ISN + 1)
  3. 세 번인 이유 — 네 메시지에서 두 번째 · 세 번째를 합침 + 그림 4 옛 SYN 을 RST 로 거르는 과정
  4. 구성 요소 — 요소 표(SYN · ACK 비트 · 32비트 번호 · MSS · 창 배율 옵션) · ISN 생성식(RFC 6528)
  5. 약점과 대책 — 그림 5 대기열 + SYN 플러딩 · SYN 쿠키 · 대기열 상한 · TFO 와의 차이(왕복 한 번)

꼭 쓸 키워드
SYNSYN+ACKISN초기 순서 번호확인 번호SYN-RECEIVED옛 복제 SYNRSTSYN 플러딩SYN 쿠키

8오해와 사실

  • 오해세 번 주고받는 목적은 상대가 살아 있는지 확인하는 것이다.
    사실RFC 9293 3.5절은 주된 이유를 옛 연결 요청의 복제를 막는 데 두며, 받는 쪽은 첫 SYN 이 옛것인지 몰라 보낸 쪽에 확인을 구한다(3.4.1절).
  • 오해핸드셰이크가 끝나기 전에는 세그먼트에 데이터를 실을 수 없다.
    사실RFC 9293 3.5절은 연결 수립 세그먼트에 데이터를 싣는 것을 허용하되 ESTABLISHED 전에는 응용에 넘기지 않게 하며, TFO 는 쿠키가 맞으면 SYN 의 데이터를 바로 넘긴다(RFC 7413 2절).
  • 오해순서 번호는 0 이나 1 에서 시작한다.
    사실ISN 은 32비트 시계와 의사 난수로 정하고(RFC 6528), tcpdump 가 보여 주는 작은 수는 첫 번호를 뺀 상대 값이다(tcpdump(8) -S).

9핵심 정리

구분보내는 쪽 · 가진 쪽핵심 값보낸 · 받은 뒤 상태잃거나 넘치면
SYN클라이언트SEQ = 자기 ISN · MSS · 창 배율SYN-SENT · 서버 SYN-RECEIVED1초부터 간격을 두 배로 늘려 재전송(RFC 6298 2.1 · 5.5)
SYN+ACK서버SEQ = 자기 ISN · ACK = 상대 ISN + 1클라이언트 ESTABLISHED서버가 재전송 · 리눅스 기본 5번
ACK클라이언트ACK = 서버 ISN + 1 · 번호 차지 안 함서버 ESTABLISHED서버가 SYN+ACK 를 다시 보냄
RST확인이 맞지 않은 쪽옛 SYN 의 확인 거부 · 닫힌 포트 응답LISTEN 복귀 · 연결 거부—
ISN양쪽32비트 · 4 µs 시계 + 의사 난수—예측되면 연결 위조(RFC 6528)
SYN 대기열서버 커널SYN-RECEIVED 요청 · 하나 약 304바이트ACK 오면 accept 대기열로SYN 쿠키로 응답
accept 대기열서버 커널ESTABLISHED · accept() 전accept() 로 응용에SYN 을 버림

10참고 문헌

  1. 먼저 볼 문헌
  2. ★ RFC 9293 Transmission Control Protocol (TCP) — 세그먼트 셋의 번호 · 상태 변화 · 옛 SYN 처리 규칙을 원문으로 확인할 때
    IETF · 2022-08 · www.rfc-editor.org/rfc/rfc9293 · 확인 2026-11-02
  3. ★ RFC 6528 Defending against Sequence Number Attacks — ISN 을 예측하기 어렵게 만드는 생성식과 그 배경을 볼 때
    IETF · 2012-02 · www.rfc-editor.org/rfc/rfc6528 · 확인 2026-11-02
  4. ★ RFC 4987 TCP SYN Flooding Attacks and Common Mitigations — SYN 플러딩의 원리와 SYN 쿠키 · 대기열 대책을 비교할 때
    IETF · 2007-08 · www.rfc-editor.org/rfc/rfc4987 · 확인 2026-11-02
  5. ★ IP Sysctl (tcp_syn_retries · tcp_synack_retries · tcp_max_syn_backlog · tcp_syncookies) — 리눅스의 SYN 재전송 횟수 · 대기열 상한 · SYN 쿠키 기본값을 볼 때
    The Linux Kernel documentation · 2026-11 · docs.kernel.org/networking/ip-sysctl.html · 확인 2026-11-02
  6. ★ RFC 7413 TCP Fast Open — SYN 에 데이터를 실어 왕복 한 번을 줄이는 방식과 조건을 볼 때
    IETF · 2014-12 · www.rfc-editor.org/rfc/rfc7413 · 확인 2026-11-02
  7. 본문 근거
  8. RFC 793 Transmission Control Protocol — IETF · 1981-09 · www.rfc-editor.org/rfc/rfc793 · 확인 2026-11-02
  9. Connection Management in Transport Protocols (Computer Networks Vol. 2 No. 6) — Y. Dalal · C. Sunshine · 1978-12 · doi.org/10.1016/0376-5075(78)90053-3 · 확인 2026-11-02
  10. RFC 6298 Computing TCP's Retransmission Timer — IETF · 2011-06 · www.rfc-editor.org/rfc/rfc6298 · 확인 2026-11-02
  11. RFC 7323 TCP Extensions for High Performance — IETF · 2014-09 · www.rfc-editor.org/rfc/rfc7323 · 확인 2026-11-02
  12. RFC 9846 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 8446 대체) — IETF · 2026-07 · www.rfc-editor.org/rfc/rfc9846 · 확인 2026-11-02
  13. RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 · www.rfc-editor.org/rfc/rfc5737 · 확인 2026-11-02
  14. SNMP counter (TcpExtListenOverflows · TcpExtSyncookiesSent) — The Linux Kernel documentation · 2026-11 · docs.kernel.org/networking/snmp_counter.html · 확인 2026-11-02
  15. listen(2) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man2/listen.2.html · 확인 2026-11-02
  16. connect(2) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man2/connect.2.html · 확인 2026-11-02
  17. ss(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/ss.8.html · 확인 2026-11-02
  18. nstat(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/nstat.8.html · 확인 2026-11-02
  19. tcpdump(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/tcpdump.8.html · 확인 2026-11-02
  20. pcap-filter(7) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man7/pcap-filter.7.html · 확인 2026-11-02