IT › 보안 › 애플리케이션 · 클라우드 보안 › 애플리케이션 보안

TLS 1.3전송 계층 보안 · Transport Layer Security 1.3

TCP 같은 신뢰 전송 위에서 1 왕복 핸드셰이크로 키를 합의하고 서버를 인증한 뒤, 응용 데이터를 AEAD 로 암호화 · 무결성 보호하는 IETF 보안 프로토콜의 1.3 판이다.

1요약

  1. TLS 1.3 은 TCP 위에서 응용 바이트를 암호화하는 IETF 표준(RFC 9846 · 2026-07, 첫 판 RFC 8446 · 2018-08)으로, 그 위에서 HTTPS · SMTP 의 STARTTLS 가 돌고 QUIC 은 이 핸드셰이크를 빌려 쓴다.
  2. TLS 1.2 이하의 RSA 키 전송은 서버 개인키 하나로 녹화된 과거 세션까지 풀리게 했고(RFC 7457 2.8절), CBC 패딩을 노린 POODLE(CVE-2014-3566)은 SSL 3.0 을 사용 금지(RFC 7568)로 몰았다.
  3. 「재개가 느리다」는 서버가 보낸 핸드셰이크 메시지로 가른다 — Certificate 가 오면 재개 실패, Certificate 없이 EncryptedExtensions 에 early_data 가 없으면 재개 성공 · 0-RTT 거절, early_data 가 있으면 0-RTT 수락이다.

2등장 배경

TLS 1.2 까지는 클라이언트가 비밀값을 서버 RSA 공개키로 감싸 보내는 키 전송을 허용했고, 인증서와 협상 내용이 평문으로 지나갔으며, 첫 응용 데이터까지 2 왕복이 들었다. 서버 개인키가 유출되면 그 서버와 맺었던 세션을 모두 풀 수 있었다(RFC 7457 2.8절).

Netscape 의 SSL 3.0(1996 · RFC 6101)을 IETF 가 이어받아 TLS 1.0(RFC 2246 · 1999)과 TLS 1.2(RFC 5246 · 2008)를 냈지만, BEAST(2011) · Lucky Thirteen · POODLE(2014) 같은 CBC 공격과 RC4 약점이 이어졌다(RFC 7457 2.3 ~ 2.5절). Rescorla 가 편집한 RFC 8446(2018-08)은 정적 RSA · CBC · 압축 · 재협상을 없애고 AEAD 와 전방 비밀성(forward secrecy) 키 교환만 남겼다(RFC 9846 1.3절).

2021년 RFC 8996 이 TLS 1.0 · 1.1 을 폐기했고, 2026년 7월 RFC 9846 이 판 번호 1.3 을 그대로 둔 채 RFC 8446 과 RFC 5246 문서를 대체했다 — 연결 사이 KeyShare 재사용 금지 · 「master」 대신 「main」 용어가 바뀐 점이다(1.2절).

3쉽게 이해하기 — 번호표를 주는 은행 창구

고객이 은행 창구에 처음 가서 직원과 각자 반쪽 번호를 내어 섞고, 둘만 아는 자물쇠 번호를 만든다. 직원은 사원증을 보여 주고 마지막에 확인 도장을 찍은 뒤, 나가는 고객에게 다음 방문용 번호표를 준다. 다음 날 고객은 번호표와 「잔액 조회」 쪽지를 한 봉투에 넣어 인사도 하기 전에 내밀고, 창구는 곧바로 처리한다. 누군가 그 봉투를 복사해 다시 내밀면, 직원은 접수 대장에서 같은 봉투를 찾아 돌려보낸다 — 그래서 고객은 「송금」 쪽지는 먼저 내밀지 않는다.

고객 찾아가는 쪽 고객 클라이언트 번호표 세션 티켓 · PSK 먼저 내민 쪽지 0-RTT 데이터 은행 창구 맞는 쪽 창구 직원 서버 사원증 · 도장 인증서 · Finished 접수 대장 ClientHello 기록 1 반쪽 번호를 섞어 자물쇠 번호 ECDHE · 1 왕복 2 나갈 때 번호표 NewSessionTicket 3 다음 날 번호표 + 쪽지 0-RTT 4 복사꾼이 봉투를 복사해 다시 내밂 재전송 공격 5 대장에 있어 돌려보냄 0-RTT 거절

그림 1 · 첫 방문에 섞은 번호로 대화를 가리고, 번호표를 받아 다음 방문에는 쪽지를 먼저 내밀며, 복사된 봉투는 접수 대장이 걸러 낸다.

번호 섞기반쪽 번호를 하나씩 내어 자물쇠 번호를 만듦
사원증직원이 사원증을 보이고 확인 도장
번호표나가는 고객에게 다음 방문용 번호표
먼저 내밀기번호표와 조회 쪽지를 한 봉투에
대장 확인같은 봉투가 왔었는지 찾음
복사본 거절두 번째 봉투는 처리하지 않음
비유 — 두 가지 봉투 실제 — 두 가지 키 번호표 번호로만 잠근 봉투 복사본도 똑같이 열림 0-RTT 키 = PSK 하나 재전송을 막지 못함 · 전방 비밀성 없음 오늘 섞은 번호로 잠근 봉투 어제 번호표만으로는 못 엶 1-RTT 키 = PSK + ECDHE + 서버 난수 다시 보낸 비행은 새 연결의 키와 맞지 않음 0-RTT 쪽을 지키는 장치 접수 대장 + 시계 같은 봉투 · 오래된 번호표를 거름 ClientHello 기록 · 신선도 검사 같은 첫 비행을 서버마다 한 번만 받음 PSK = 지난 연결에서 받은 재개 비밀 · ECDHE = 이번 연결에서 새로 만든 공유 비밀 · 비행 = 한 번에 보내는 메시지 묶음

그림 2 · 번호표 번호로만 잠근 봉투는 복사본도 열리고, 오늘 섞은 번호로 잠근 봉투는 열리지 않는다 — 0-RTT 키와 1-RTT 키의 차이다.

비유 속 역할실제 이름실제로 하는 일
반쪽 번호 섞기ECDHE 키 교환(key_share)양쪽 공개값으로 이번 연결에서만 쓰는 공유 비밀을 계산한다
사원증Certificate · CertificateVerify인증서를 보내고 지금까지의 대화에 개인키로 서명한다
확인 도장Finished대화 전체를 묶은 MAC 으로 협상이 바뀌지 않았음을 증명한다
번호표NewSessionTicket · PSK다음 연결에 쓸 재개 비밀을 최대 7일 맡긴다
먼저 내민 쪽지0-RTT 데이터(early_data)첫 비행에 PSK 로 만든 키로 암호화해 함께 보낸다
접수 대장ClientHello 기록 · 신선도 검사이미 받은 첫 비행 · 시간이 맞지 않는 티켓의 0-RTT 를 거절한다
나가는 인사close_notify 경고더 보낼 데이터가 없음을 알리고 연결을 닫는다

⚠ 비유가 맞지 않는 곳: 실제로는 섞은 번호(공유 비밀)가 망에 흐르지 않고 공개값만 오가며, 번호표 내용은 서버만 풀 수 있게 암호화된 값이다. 접수 대장도 서버가 고르는 방법 가운데 하나이고, 티켓을 한 번만 받는 방법도 있다(RFC 9846 8.1절).

4구조 — 하위 프로토콜과 레코드

TLS 1.3 은 핸드셰이크 · 경고 · 응용 데이터 세 하위 프로토콜이 모두 레코드 프로토콜에 실리는 구조다. 레코드 하나는 평문 2^14바이트 이하를 담고, 암호화 뒤 길이는 2^14 + 256바이트를 넘지 못한다(RFC 9846 5.1 · 5.2절).

하위 프로토콜 쌓기 응용 — HTTP/1.1 · HTTP/2 · SMTP 핸드셰이크 · type 22 키 교환 · 인증 · 티켓 경고 · type 21 close_notify · 오류 알림 응용 데이터 · type 23 응용이 쓴 바이트 레코드 프로토콜 — 2^14바이트 이하 조각 · AEAD 암호화 TCP(L4 전송) — 순서대로 바이트 전달 레코드 한 개(TLSCiphertext) 종류 23 · 1B 판 번호 0x0303 · 2B 길이 2B content 2^14B 이하 실제 type 0 채움 선택 AEAD 태그 평문 헤더 5바이트 암호화된 본문 — 길이 2^14 + 256B 이하 협상 · 인증 경고 · 거부 암호문 무결성 평문 선택 B = 바이트 · 종류 · 판 번호는 옛 장비 호환용 고정값

그림 3 · 세 하위 프로토콜은 모두 레코드에 실리고, 레코드 헤더 5바이트만 평문이며 실제 종류(type)는 암호문 안에 숨는다.

요소크기 · 값역할근거
supported_versions0x0304실제 판 번호 협상(헤더 0x0303 은 고정)4.3.1절
key_shareX25519 공개값 32B 등이번 연결의 공유 비밀 재료4.3.8절
pre_shared_key티켓 · 나이 · binder재개 비밀 지목 · ClientHello 와 묶음4.3.11절
psk_key_exchange_modespsk_ke(0) · psk_dhe_ke(1)PSK 에 ECDHE 를 섞을지 고름4.3.9절
early_data한도 max_early_data_size0-RTT 제안 · 수락 표시4.3.10절
NewSessionTicket수명 604,800초 이하다음 연결용 PSK 발급4.7.1절
암호 모음0x1301 ~ 0x1305 다섯AEAD + HKDF 해시 한 쌍B.4 · 9.1절

🔑 TLS 1.3 에서 평문으로 지나가는 핸드셰이크 메시지는 ClientHello · ServerHello 둘뿐이고, 인증서부터는 핸드셰이크 키로 암호화된다(RFC 9846 1.3 · 2절).

5동작 — 재개 연결의 0-RTT 수락과 재전송 거절

휴대폰 앱 198.51.100.23 이 90초 전에 맺었던 연결의 티켓으로 api.example.org:443 에 다시 붙어 잔액을 조회하는 사례다. 주소는 문서용 값(RFC 5737 · RFC 2606)이고 티켓 값 · 시간은 설명용 가정 값이다.

  1. 지난 연결 끝에 서버가 NewSessionTicket 을 보냈다 — 수명 7,200초 · ticket_age_add 1,000,000,000 · max_early_data_size 16,384바이트(RFC 9846 4.7.1 · 4.3.10절).
  2. 앱은 ClientHello 에 key_share(X25519) · psk_dhe_ke · early_data · pre_shared_key(obfuscated_ticket_age = 90,000ms + 1,000,000,000 = 1,000,090,000)를 싣고, 바로 뒤에 GET /v1/balance 220바이트를 0-RTT 키로 보낸다(4.3.11.1절).
  3. 서버는 binder 를 검증하고 나이 90,000ms 를 되살려 도착 예상 시각과 자기 시계의 차이 0.3초가 허용 범위 10초 안임을 확인한다(8.3절).
  4. 같은 ClientHello.random 기록이 없으므로 기록하고 0-RTT 를 받아들여, ServerHello · {EncryptedExtensions + early_data} · {Finished} 와 잔액 응답을 보낸다(8.2 · 4.3.10절).
  5. 앱은 0-RTT 키로 (EndOfEarlyData) 를, 핸드셰이크 키로 {Finished} 를 보낸다(4.6절).
  6. 양쪽은 application_traffic_secret_0 에서 뽑은 키로 다음 요청을 주고받는다(7.1절).
  7. 망에서 ② 를 복사한 공격자가 2초 뒤 같은 비행을 보낸다. binder · 나이는 맞지만 random 이 이미 기록되어 서버는 PSK 만 받고 0-RTT 를 거절하며, GET 은 다시 처리되지 않는다(8.2절). 공격자는 ECDHE 비밀값이 없어 Finished 도 만들지 못한다.
클라이언트 198.51.100.23 공격자 망 구간 서버 api.example.org:443 ① NewSessionTicket · 수명 7,200초 ② ClientHello + pre_shared_key + early_data (GET /v1/balance 220B) — 0-RTT 키 공격자가 복사해 둠 ③ binder 확인 · 나이 90,000ms 시계 차이 0.3초 < 허용 10초 ④ random 기록 없음 → 기록 0-RTT 수락 ServerHello · {EncryptedExtensions} + early_data · {Finished} · [잔액 응답] ⑤ (EndOfEarlyData) · {Finished} ⑥ [응용 데이터] — application_traffic_secret_0 키 ⑦ 2초 뒤 ② 를 그대로 보냄 random 이미 기록 → PSK 만 0-RTT 거절 · GET 처리 안 함 early_data 없는 응답 · 키가 없어 Finished 불가 시간 클라이언트 비행 서버 비행 재전송 공격 () = 0-RTT 키 · {} = 핸드셰이크 키 · [] = 응용 키

그림 4 · 첫 비행은 0.3초 차이로 신선도를 통과해 0-RTT 로 처리되었고, 2초 뒤 같은 비행은 ClientHello 기록에 걸려 0-RTT 없이 끝났다.

입력 비밀 HKDF-Extract 단계 뽑아낸 트래픽 비밀 PSK 지난 연결의 비밀 Early Secret client_early_traffic_secret 0-RTT 데이터 · ClientHello 만 섞임 Derive-Secret("derived") ECDHE 공유 비밀 이번 연결에서 계산 Handshake Secret c · s handshake_traffic_secret EncryptedExtensions · 인증서 · Finished Derive-Secret("derived") 0(새 비밀 없음) Main Secret c · s application_traffic_secret_0 응용 데이터 · 서버 Finished 까지 섞임 resumption_secret → 다음 PSK NewSessionTicket 으로 다음 연결에 넘김 비밀 원천 재전송 · 키 유출에 약함 핸드셰이크 보호 응용 데이터 보호 c = 클라이언트 · s = 서버

그림 5 · 키 스케줄은 PSK → ECDHE 공유 비밀 → 0 을 차례로 섞고, 0-RTT 키만 첫 단계에서 나와 이번 연결의 키 교환 · 서버 난수를 모른다.

🔑 0-RTT 키는 PSK 하나에서 나오고 1-RTT 키에는 이번 연결의 ECDHE 비밀과 서버 난수가 섞인다 — 그래서 재전송 · 전방 비밀성 약점은 0-RTT 데이터에만 남는다(RFC 9846 2.3 · 7.1절).

6비교 — SSL 3.0 · TLS 1.2 와의 차이

기준SSL 3.0TLS 1.2TLS 1.3
표준 상태RFC 6101(역사 기록) · 사용 금지(RFC 7568)RFC 5246 · 문서는 RFC 9846 이 대체RFC 9846(2026)
첫 응용 데이터 전 왕복2 RTT2 RTT1 RTT · 재개 시 0 RTT(2 · 2.3절)
키 교환RSA 키 전송 · DHRSA 키 전송 허용(EC)DHE · PSK 만 — 공개키 방식은 모두 전방 비밀성
레코드 암호CBC · RC4CBC · RC4 · AEADAEAD 다섯 모음만(B.4절)
핸드셰이크 암호화없음없음 — 인증서 평문ServerHello 뒤 전부
세션 재개세션 ID세션 ID · 티켓(RFC 5077)PSK 교환 하나

분석새 서비스는 TLS 1.3 만 열고, 옛 단말 때문에 TLS 1.2 를 남길 때는 AEAD · ECDHE 모음으로 좁힌다. 근거는 표의 「키 교환」 · 「레코드 암호」 행 — TLS 1.2 의 RSA 키 전송 · CBC 는 RFC 7457 2.4 · 2.8절의 공격이 그대로 통한다.

7실무 진단 — 재개 · 0-RTT 실패 원인 가르기

분석서버가 돌려준 핸드셰이크 메시지 종류로 협상 · 재개 · 0-RTT · 응용 가운데 막힌 단계를 가른다. 재개는 Certificate 를 생략하고(RFC 9846 2.2절) 0-RTT 수락은 EncryptedExtensions 의 early_data 로만 알리므로(4.3.10절) 메시지 유무가 곧 판정이다.

#증상의심 원인단계확인 명령판정 기준(근거)
1접속 직후 protocol_version 경고서버가 TLS 1.2 이하만 지원협상openssl s_client -connect api.example.org:443 -tls1_3 -brief경고 70 = 판 협상 실패(6.2 · 4.3.1절)
2매번 인증서를 다시 받음티켓 미발급 · 서버마다 다른 티켓 키 · SNI 불일치재개-sess_out t.pem 접속 뒤 -sess_in t.pem -msg두 번째 접속에 Certificate 가 있으면 재개 실패(2.2 · 4.7.1절)
3재개는 되나 0-RTT 가 늘 거절티켓 나이 허용 범위 밖 · ALPN 불일치 · 서버 기록 저장소 공유 안 됨0-RTT-sess_in t.pem -early_data req.txt -msgEncryptedExtensions 에 early_data 없음 = 거절(4.3.10 · 8.3절)
4주문 · 송금이 두 번 처리됨0-RTT 로 받은 비멱등 요청의 재전송응용웹 서버 로그의 Early-Data: 1 요청비멱등 요청은 425 로 돌려보내야 함(RFC 8470 5.1 · 5.2절)

협상 단계부터 보는 까닭은 판 번호가 맞지 않으면 재개 · 0-RTT 시험이 아예 시작되지 않기 때문이다. 그다음 같은 세션 파일로 두 번 접속해 Certificate 유무를 보고, 재개가 확인된 뒤에만 -early_data 로 0-RTT 를 시험한다.

8시험 대비

출제 정보 정보관리(136회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 TLS 1.2 와 핸드셰이크 · 키 교환 · 암호 모음을 견주는 비교형, 0-RTT 의 재전송 위험과 서버 · 응용의 대책을 묻는 장애 · 보안 대응형이 나올 수 있다. 인증서 체인 검증 절차는 PKI 가 맡는다.

답안 목차
  1. 개요 — 정의 · RFC 9846(RFC 8446 대체 · 2026) · 하위 프로토콜 셋 + 레코드 · 그림 3 구조
  2. TLS 1.2 비교 — 비교표 6행(왕복 2 → 1 · 정적 RSA 제거 · AEAD 다섯 · 핸드셰이크 암호화 · PSK 재개)
  3. 1-RTT · 재개 핸드셰이크 — 메시지 순서와 보호 키 표기 () · {} · [] · 그림 4 순서도
  4. 키 스케줄 — 그림 5(PSK → ECDHE → 0 · HKDF-Extract 세 단계 · 트래픽 비밀 셋)
  5. 0-RTT 재전송 공격 — 위협 두 가지(복사 재전송 · 재시도 유도) + 서버 대책 셋(티켓 1회 · ClientHello 기록 · 신선도 10초 창)
  6. 응용 대책 · 정리 — 멱등 요청만 0-RTT · HTTP 425 Too Early(RFC 8470) · 서버당 1회 수락 의무(8절)

꼭 쓸 키워드
1-RTT 핸드셰이크전방 비밀성AEADHKDF 키 스케줄PSK 재개NewSessionTicket0-RTT재전송 공격ClientHello 기록425 Too Early

다른 답안과 차이를 내는 한 가지는 그림 5 키 스케줄에 「0-RTT 키는 PSK 에서만 나온다」를 표시해 재전송 · 전방 비밀성 약점의 원인을 구조로 보이는 것이다.

9오해와 사실

  • 오해0-RTT 데이터도 1-RTT 데이터처럼 재전송 공격에서 보호된다.
    사실TLS 는 연결 사이의 0-RTT 재전송을 스스로 막지 않으며, 서버는 같은 0-RTT 핸드셰이크를 인스턴스마다 최대 한 번만 받아들여야 한다(RFC 9846 2.3 · 8절).
  • 오해레코드 헤더의 판 번호가 0x0303 이면 TLS 1.2 연결이다.
    사실TLS 1.3 레코드도 이 필드를 0x0303 으로 고정하고, 실제 판은 supported_versions 확장의 0x0304 로 정한다(RFC 9846 5.1 · 4.3.1절).
  • 오해PSK 로 재개하면 전방 비밀성을 잃는다.
    사실psk_dhe_ke 모드는 ECDHE 를 함께 섞어 전방 비밀성을 지키고, PSK 만 쓰는 psk_ke 모드에서만 잃는다(RFC 9846 2.2 · 4.3.9절).

10핵심 정리

구성맡는 일보호 키메시지 · 확장확인 명령 · 근거
키 교환판 · 모음 협상 · 공유 비밀없음(평문)ClientHello · ServerHello · key_share-msg · 4.2절
서버 인증신원 · 대화 서명핸드셰이크 키Certificate · CertificateVerify-brief · 4.5절
키 확인협상 변조 검출핸드셰이크 키Finished-msg · 4.5.3절
레코드 보호응용 데이터 암호화응용 트래픽 키AEAD 다섯 모음-brief · 5.2절
세션 재개다음 연결 비밀 발급응용 트래픽 키NewSessionTicket · pre_shared_key-sess_out · -sess_in · 4.7.1절
0-RTT첫 비행에 데이터초기 트래픽 키early_data · EndOfEarlyData-early_data · 2.3절
재전송 방지0-RTT 중복 거절—티켓 1회 · ClientHello 기록 · 신선도서버 로그 · 425 · 8절

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ RFC 9846 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 8446 대체) — 핸드셰이크 순서 · 키 스케줄 · 0-RTT 재전송 방지 규정을 원문으로 볼 때
    IETF · 2026-07 · www.rfc-editor.org/rfc/rfc9846 · 확인 2026-11-03
  3. ★ RFC 8470 Using Early Data in HTTP — 0-RTT 로 받은 HTTP 요청을 425 로 돌려보내는 규칙을 볼 때
    IETF · 2018-09 · www.rfc-editor.org/rfc/rfc8470 · 확인 2026-11-03
  4. ★ RFC 7457 Summarizing Known Attacks on Transport Layer Security (TLS) and Datagram TLS (DTLS) — TLS 1.3 이 없앤 기능마다 어떤 공격이 있었는지 볼 때
    IETF · 2015-02 · www.rfc-editor.org/rfc/rfc7457 · 확인 2026-11-03
  5. ★ openssl-s_client(1) OpenSSL 3.5 manual page — 재개 · 0-RTT 를 명령으로 시험하는 옵션을 볼 때
    OpenSSL Project · 2026-11 · docs.openssl.org/3.5/man1/openssl-s_client/ · 확인 2026-11-03
  6. 본문 근거
  7. RFC 8446 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 9846 으로 대체) — IETF · 2018-08 · www.rfc-editor.org/rfc/rfc8446 · 확인 2026-11-03
  8. RFC 5246 The Transport Layer Security (TLS) Protocol Version 1.2 (RFC 9846 으로 대체) — IETF · 2008-08 · www.rfc-editor.org/rfc/rfc5246 · 확인 2026-11-03
  9. RFC 2246 The TLS Protocol Version 1.0 — IETF · 1999-01 · www.rfc-editor.org/rfc/rfc2246 · 확인 2026-11-03
  10. RFC 6101 The Secure Sockets Layer (SSL) Protocol Version 3.0 — IETF · 2011-08 · www.rfc-editor.org/rfc/rfc6101 · 확인 2026-11-03
  11. RFC 7568 Deprecating Secure Sockets Layer Version 3.0 — IETF · 2015-06 · www.rfc-editor.org/rfc/rfc7568 · 확인 2026-11-03
  12. RFC 8996 Deprecating TLS 1.0 and TLS 1.1 — IETF · 2021-03 · www.rfc-editor.org/rfc/rfc8996 · 확인 2026-11-03
  13. RFC 2606 Reserved Top Level DNS Names — IETF · 1999-06 · www.rfc-editor.org/rfc/rfc2606 · 확인 2026-11-03
  14. RFC 5737 IPv4 Address Blocks Reserved for Documentation — IETF · 2010-01 · www.rfc-editor.org/rfc/rfc5737 · 확인 2026-11-03