TLS 1.3전송 계층 보안 · Transport Layer Security 1.3
TCP 같은 신뢰 전송 위에서 1 왕복 핸드셰이크로 키를 합의하고 서버를 인증한 뒤, 응용 데이터를 AEAD 로 암호화 · 무결성 보호하는 IETF 보안 프로토콜의 1.3 판이다.
1요약
- TLS 1.3 은 TCP 위에서 응용 바이트를 암호화하는 IETF 표준(RFC 9846 · 2026-07, 첫 판 RFC 8446 · 2018-08)으로, 그 위에서 HTTPS · SMTP 의 STARTTLS 가 돌고 QUIC 은 이 핸드셰이크를 빌려 쓴다.
- TLS 1.2 이하의 RSA 키 전송은 서버 개인키 하나로 녹화된 과거 세션까지 풀리게 했고(RFC 7457 2.8절), CBC 패딩을 노린 POODLE(CVE-2014-3566)은 SSL 3.0 을 사용 금지(RFC 7568)로 몰았다.
- 「재개가 느리다」는 서버가 보낸 핸드셰이크 메시지로 가른다 — Certificate 가 오면 재개 실패, Certificate 없이 EncryptedExtensions 에 early_data 가 없으면 재개 성공 · 0-RTT 거절, early_data 가 있으면 0-RTT 수락이다.
2등장 배경
TLS 1.2 까지는 클라이언트가 비밀값을 서버 RSA 공개키로 감싸 보내는 키 전송을 허용했고, 인증서와 협상 내용이 평문으로 지나갔으며, 첫 응용 데이터까지 2 왕복이 들었다. 서버 개인키가 유출되면 그 서버와 맺었던 세션을 모두 풀 수 있었다(RFC 7457 2.8절).
Netscape 의 SSL 3.0(1996 · RFC 6101)을 IETF 가 이어받아 TLS 1.0(RFC 2246 · 1999)과 TLS 1.2(RFC 5246 · 2008)를 냈지만, BEAST(2011) · Lucky Thirteen · POODLE(2014) 같은 CBC 공격과 RC4 약점이 이어졌다(RFC 7457 2.3 ~ 2.5절). Rescorla 가 편집한 RFC 8446(2018-08)은 정적 RSA · CBC · 압축 · 재협상을 없애고 AEAD 와 전방 비밀성(forward secrecy) 키 교환만 남겼다(RFC 9846 1.3절).
2021년 RFC 8996 이 TLS 1.0 · 1.1 을 폐기했고, 2026년 7월 RFC 9846 이 판 번호 1.3 을 그대로 둔 채 RFC 8446 과 RFC 5246 문서를 대체했다 — 연결 사이 KeyShare 재사용 금지 · 「master」 대신 「main」 용어가 바뀐 점이다(1.2절).
3쉽게 이해하기 — 번호표를 주는 은행 창구
고객이 은행 창구에 처음 가서 직원과 각자 반쪽 번호를 내어 섞고, 둘만 아는 자물쇠 번호를 만든다. 직원은 사원증을 보여 주고 마지막에 확인 도장을 찍은 뒤, 나가는 고객에게 다음 방문용 번호표를 준다. 다음 날 고객은 번호표와 「잔액 조회」 쪽지를 한 봉투에 넣어 인사도 하기 전에 내밀고, 창구는 곧바로 처리한다. 누군가 그 봉투를 복사해 다시 내밀면, 직원은 접수 대장에서 같은 봉투를 찾아 돌려보낸다 — 그래서 고객은 「송금」 쪽지는 먼저 내밀지 않는다.
그림 1 · 첫 방문에 섞은 번호로 대화를 가리고, 번호표를 받아 다음 방문에는 쪽지를 먼저 내밀며, 복사된 봉투는 접수 대장이 걸러 낸다.
그림 2 · 번호표 번호로만 잠근 봉투는 복사본도 열리고, 오늘 섞은 번호로 잠근 봉투는 열리지 않는다 — 0-RTT 키와 1-RTT 키의 차이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 반쪽 번호 섞기 | ECDHE 키 교환(key_ | 양쪽 공개값으로 이번 연결에서만 쓰는 공유 비밀을 계산한다 |
| 사원증 | Certificate · CertificateVerify | 인증서를 보내고 지금까지의 대화에 개인키로 서명한다 |
| 확인 도장 | Finished | 대화 전체를 묶은 MAC 으로 협상이 바뀌지 않았음을 증명한다 |
| 번호표 | NewSessionTicket · PSK | 다음 연결에 쓸 재개 비밀을 최대 7일 맡긴다 |
| 먼저 내민 쪽지 | 0-RTT 데이터(early_ | 첫 비행에 PSK 로 만든 키로 암호화해 함께 보낸다 |
| 접수 대장 | ClientHello 기록 · 신선도 검사 | 이미 받은 첫 비행 · 시간이 맞지 않는 티켓의 0-RTT 를 거절한다 |
| 나가는 인사 | close_ | 더 보낼 데이터가 없음을 알리고 연결을 닫는다 |
⚠ 비유가 맞지 않는 곳: 실제로는 섞은 번호(공유 비밀)가 망에 흐르지 않고 공개값만 오가며, 번호표 내용은 서버만 풀 수 있게 암호화된 값이다. 접수 대장도 서버가 고르는 방법 가운데 하나이고, 티켓을 한 번만 받는 방법도 있다(RFC 9846 8.1절).
4구조 — 하위 프로토콜과 레코드
TLS 1.3 은 핸드셰이크 · 경고 · 응용 데이터 세 하위 프로토콜이 모두 레코드 프로토콜에 실리는 구조다. 레코드 하나는 평문 2^14바이트 이하를 담고, 암호화 뒤 길이는 2^14 + 256바이트를 넘지 못한다(RFC 9846 5.1 · 5.2절).
그림 3 · 세 하위 프로토콜은 모두 레코드에 실리고, 레코드 헤더 5바이트만 평문이며 실제 종류(type)는 암호문 안에 숨는다.
| 요소 | 크기 · 값 | 역할 | 근거 |
|---|---|---|---|
| supported_ | 0x0304 | 실제 판 번호 협상(헤더 0x0303 은 고정) | 4.3.1절 |
| key_ | X25519 공개값 32B 등 | 이번 연결의 공유 비밀 재료 | 4.3.8절 |
| pre_ | 티켓 · 나이 · binder | 재개 비밀 지목 · ClientHello 와 묶음 | 4.3.11절 |
| psk_ | psk_ | PSK 에 ECDHE 를 섞을지 고름 | 4.3.9절 |
| early_ | 한도 max_ | 0-RTT 제안 · 수락 표시 | 4.3.10절 |
| NewSessionTicket | 수명 604,800초 이하 | 다음 연결용 PSK 발급 | 4.7.1절 |
| 암호 모음 | 0x1301 ~ 0x1305 다섯 | AEAD + HKDF 해시 한 쌍 | B.4 · 9.1절 |
🔑 TLS 1.3 에서 평문으로 지나가는 핸드셰이크 메시지는 ClientHello · ServerHello 둘뿐이고, 인증서부터는 핸드셰이크 키로 암호화된다(RFC 9846 1.3 · 2절).
5동작 — 재개 연결의 0-RTT 수락과 재전송 거절
휴대폰 앱 198.51.100.23 이 90초 전에 맺었던 연결의 티켓으로 api.example.org:443 에 다시 붙어 잔액을 조회하는 사례다. 주소는 문서용 값(RFC 5737 · RFC 2606)이고 티켓 값 · 시간은 설명용 가정 값이다.
- 지난 연결 끝에 서버가 NewSessionTicket 을 보냈다 — 수명 7,200초 · ticket_age_add 1,000,000,000 · max_early_data_size 16,384바이트(RFC 9846 4.7.1 · 4.3.10절).
- 앱은 ClientHello 에 key_share(X25519) · psk_dhe_ke · early_data · pre_shared_key(obfuscated_ticket_age = 90,000ms + 1,000,000,000 = 1,000,090,000)를 싣고, 바로 뒤에
GET /v1/balance220바이트를 0-RTT 키로 보낸다(4.3.11.1절). - 서버는 binder 를 검증하고 나이 90,000ms 를 되살려 도착 예상 시각과 자기 시계의 차이 0.3초가 허용 범위 10초 안임을 확인한다(8.3절).
- 같은 ClientHello.random 기록이 없으므로 기록하고 0-RTT 를 받아들여, ServerHello · {EncryptedExtensions + early_data} · {Finished} 와 잔액 응답을 보낸다(8.2 · 4.3.10절).
- 앱은 0-RTT 키로 (EndOfEarlyData) 를, 핸드셰이크 키로 {Finished} 를 보낸다(4.6절).
- 양쪽은 application_traffic_secret_0 에서 뽑은 키로 다음 요청을 주고받는다(7.1절).
- 망에서 ② 를 복사한 공격자가 2초 뒤 같은 비행을 보낸다. binder · 나이는 맞지만 random 이 이미 기록되어 서버는 PSK 만 받고 0-RTT 를 거절하며,
GET은 다시 처리되지 않는다(8.2절). 공격자는 ECDHE 비밀값이 없어 Finished 도 만들지 못한다.
그림 4 · 첫 비행은 0.3초 차이로 신선도를 통과해 0-RTT 로 처리되었고, 2초 뒤 같은 비행은 ClientHello 기록에 걸려 0-RTT 없이 끝났다.
그림 5 · 키 스케줄은 PSK → ECDHE 공유 비밀 → 0 을 차례로 섞고, 0-RTT 키만 첫 단계에서 나와 이번 연결의 키 교환 · 서버 난수를 모른다.
🔑 0-RTT 키는 PSK 하나에서 나오고 1-RTT 키에는 이번 연결의 ECDHE 비밀과 서버 난수가 섞인다 — 그래서 재전송 · 전방 비밀성 약점은 0-RTT 데이터에만 남는다(RFC 9846 2.3 · 7.1절).
6비교 — SSL 3.0 · TLS 1.2 와의 차이
| 기준 | SSL 3.0 | TLS 1.2 | TLS 1.3 |
|---|---|---|---|
| 표준 상태 | RFC 6101(역사 기록) · 사용 금지(RFC 7568) | RFC 5246 · 문서는 RFC 9846 이 대체 | RFC 9846(2026) |
| 첫 응용 데이터 전 왕복 | 2 RTT | 2 RTT | 1 RTT · 재개 시 0 RTT(2 · 2.3절) |
| 키 교환 | RSA 키 전송 · DH | RSA 키 전송 허용 | (EC)DHE · PSK 만 — 공개키 방식은 모두 전방 비밀성 |
| 레코드 암호 | CBC · RC4 | CBC · RC4 · AEAD | AEAD 다섯 모음만(B.4절) |
| 핸드셰이크 암호화 | 없음 | 없음 — 인증서 평문 | ServerHello 뒤 전부 |
| 세션 재개 | 세션 ID | 세션 ID · 티켓(RFC 5077) | PSK 교환 하나 |
분석새 서비스는 TLS 1.3 만 열고, 옛 단말 때문에 TLS 1.2 를 남길 때는 AEAD · ECDHE 모음으로 좁힌다. 근거는 표의 「키 교환」 · 「레코드 암호」 행 — TLS 1.2 의 RSA 키 전송 · CBC 는 RFC 7457 2.4 · 2.8절의 공격이 그대로 통한다.
7실무 진단 — 재개 · 0-RTT 실패 원인 가르기
분석서버가 돌려준 핸드셰이크 메시지 종류로 협상 · 재개 · 0-RTT · 응용 가운데 막힌 단계를 가른다. 재개는 Certificate 를 생략하고(RFC 9846 2.2절) 0-RTT 수락은 EncryptedExtensions 의 early_data 로만 알리므로(4.3.10절) 메시지 유무가 곧 판정이다.
| # | 증상 | 의심 원인 | 단계 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 접속 직후 protocol_ | 서버가 TLS 1.2 이하만 지원 | 협상 | openssl s_client -connect api. | 경고 70 = 판 협상 실패(6.2 · 4.3.1절) |
| 2 | 매번 인증서를 다시 받음 | 티켓 미발급 · 서버마다 다른 티켓 키 · SNI 불일치 | 재개 | -sess_out t.pem 접속 뒤 -sess_in t.pem -msg | 두 번째 접속에 Certificate 가 있으면 재개 실패(2.2 · 4.7.1절) |
| 3 | 재개는 되나 0-RTT 가 늘 거절 | 티켓 나이 허용 범위 밖 · ALPN 불일치 · 서버 기록 저장소 공유 안 됨 | 0-RTT | -sess_in t. | EncryptedExtensions 에 early_ |
| 4 | 주문 · 송금이 두 번 처리됨 | 0-RTT 로 받은 비멱등 요청의 재전송 | 응용 | 웹 서버 로그의 Early-Data: 1 요청 | 비멱등 요청은 425 로 돌려보내야 함(RFC 8470 5.1 · 5.2절) |
협상 단계부터 보는 까닭은 판 번호가 맞지 않으면 재개 · 0-RTT 시험이 아예 시작되지 않기 때문이다. 그다음 같은 세션 파일로 두 번 접속해 Certificate 유무를 보고, 재개가 확인된 뒤에만 -early_data 로 0-RTT 를 시험한다.
8시험 대비
www.q-net.or.kr시험에서는 TLS 1.2 와 핸드셰이크 · 키 교환 · 암호 모음을 견주는 비교형, 0-RTT 의 재전송 위험과 서버 · 응용의 대책을 묻는 장애 · 보안 대응형이 나올 수 있다. 인증서 체인 검증 절차는 PKI 가 맡는다.
- 개요 — 정의 · RFC 9846(RFC 8446 대체 · 2026) · 하위 프로토콜 셋 + 레코드 · 그림 3 구조
- TLS 1.2 비교 — 비교표 6행(왕복 2 → 1 · 정적 RSA 제거 · AEAD 다섯 · 핸드셰이크 암호화 · PSK 재개)
- 1-RTT · 재개 핸드셰이크 — 메시지 순서와 보호 키 표기 () · {} · [] · 그림 4 순서도
- 키 스케줄 — 그림 5(PSK → ECDHE → 0 · HKDF-Extract 세 단계 · 트래픽 비밀 셋)
- 0-RTT 재전송 공격 — 위협 두 가지(복사 재전송 · 재시도 유도) + 서버 대책 셋(티켓 1회 · ClientHello 기록 · 신선도 10초 창)
- 응용 대책 · 정리 — 멱등 요청만 0-RTT · HTTP 425 Too Early(RFC 8470) · 서버당 1회 수락 의무(8절)
꼭 쓸 키워드
1-RTT 핸드셰이크전방 비밀성AEADHKDF 키 스케줄PSK 재개NewSessionTicket0-RTT재전송 공격ClientHello 기록425 Too Early
다른 답안과 차이를 내는 한 가지는 그림 5 키 스케줄에 「0-RTT 키는 PSK 에서만 나온다」를 표시해 재전송 · 전방 비밀성 약점의 원인을 구조로 보이는 것이다.
9오해와 사실
- 오해0-RTT 데이터도 1-RTT 데이터처럼 재전송 공격에서 보호된다.사실TLS 는 연결 사이의 0-RTT 재전송을 스스로 막지 않으며, 서버는 같은 0-RTT 핸드셰이크를 인스턴스마다 최대 한 번만 받아들여야 한다(RFC 9846 2.3 · 8절).
- 오해레코드 헤더의 판 번호가 0x0303 이면 TLS 1.2 연결이다.사실TLS 1.3 레코드도 이 필드를 0x0303 으로 고정하고, 실제 판은 supported_versions 확장의 0x0304 로 정한다(RFC 9846 5.1 · 4.3.1절).
- 오해PSK 로 재개하면 전방 비밀성을 잃는다.사실psk_dhe_ke 모드는 ECDHE 를 함께 섞어 전방 비밀성을 지키고, PSK 만 쓰는 psk_ke 모드에서만 잃는다(RFC 9846 2.2 · 4.3.9절).
10핵심 정리
| 구성 | 맡는 일 | 보호 키 | 메시지 · 확장 | 확인 명령 · 근거 |
|---|---|---|---|---|
| 키 교환 | 판 · 모음 협상 · 공유 비밀 | 없음(평문) | ClientHello · ServerHello · key_ | -msg · 4.2절 |
| 서버 인증 | 신원 · 대화 서명 | 핸드셰이크 키 | Certificate · CertificateVerify | -brief · 4.5절 |
| 키 확인 | 협상 변조 검출 | 핸드셰이크 키 | Finished | -msg · 4.5.3절 |
| 레코드 보호 | 응용 데이터 암호화 | 응용 트래픽 키 | AEAD 다섯 모음 | -brief · 5.2절 |
| 세션 재개 | 다음 연결 비밀 발급 | 응용 트래픽 키 | NewSessionTicket · pre_ | -sess_out · -sess_in · 4.7.1절 |
| 0-RTT | 첫 비행에 데이터 | 초기 트래픽 키 | early_ | -early_data · 2.3절 |
| 재전송 방지 | 0-RTT 중복 거절 | — | 티켓 1회 · ClientHello 기록 · 신선도 | 서버 로그 · 425 · 8절 |
11참고 문헌
- 먼저 볼 문헌
- ★ RFC 9846 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 8446 대체) — 핸드셰이크 순서 · 키 스케줄 · 0-RTT 재전송 방지 규정을 원문으로 볼 때
- ★ RFC 8470 Using Early Data in HTTP — 0-RTT 로 받은 HTTP 요청을 425 로 돌려보내는 규칙을 볼 때
- ★ RFC 7457 Summarizing Known Attacks on Transport Layer Security (TLS) and Datagram TLS (DTLS) — TLS 1.3 이 없앤 기능마다 어떤 공격이 있었는지 볼 때
- ★ openssl-s_client(1) OpenSSL 3.5 manual page — 재개 · 0-RTT 를 명령으로 시험하는 옵션을 볼 때
- 본문 근거
- RFC 8446 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 9846 으로 대체) — IETF · 2018-08 ·
www.rfc-editor.org/rfc/rfc8446· 확인 2026-11-03 - RFC 5246 The Transport Layer Security (TLS) Protocol Version 1.2 (RFC 9846 으로 대체) — IETF · 2008-08 ·
www.rfc-editor.org/rfc/rfc5246· 확인 2026-11-03 - RFC 2246 The TLS Protocol Version 1.0 — IETF · 1999-01 ·
www.rfc-editor.org/rfc/rfc2246· 확인 2026-11-03 - RFC 6101 The Secure Sockets Layer (SSL) Protocol Version 3.0 — IETF · 2011-08 ·
www.rfc-editor.org/rfc/rfc6101· 확인 2026-11-03 - RFC 7568 Deprecating Secure Sockets Layer Version 3.0 — IETF · 2015-06 ·
www.rfc-editor.org/rfc/rfc7568· 확인 2026-11-03 - RFC 8996 Deprecating TLS 1.0 and TLS 1.1 — IETF · 2021-03 ·
www.rfc-editor.org/rfc/rfc8996· 확인 2026-11-03 - RFC 2606 Reserved Top Level DNS Names — IETF · 1999-06 ·
www.rfc-editor.org/rfc/rfc2606· 확인 2026-11-03 - RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 ·
www.rfc-editor.org/rfc/rfc5737· 확인 2026-11-03