암호 시스템Cryptosystem
데이터의 기밀성 · 무결성 · 출처 인증을 지키기 위해 암호 알고리즘 · 키 · 키 관리 절차를 묶은 체계다. 대칭키 · 비대칭키 · 해시 · 전자서명 · 공개키 기반 구조가 그 부품이다.
1요약
- 암호 시스템은 다섯 부품으로, AES(FIPS 197 · 2001) · SHA-256(FIPS 180-4) · ECDSA(FIPS 186-5) · X.509 인증서(RFC 5280) 위에서 TLS 1.3(RFC 9846) 연결 하나가 다섯 부품을 모두 차례로 쓴다.
- 알고리즘이 맞아도 키가 짧으면 깨진다 — 1977년 채택한 DES 는 56비트 키가 대규모 병렬 전수 조사에 취약해져 2005년 표준에서 폐기됐고, NIST 는 양자 컴퓨터에 대비해 RSA · ECC 를 2030년 뒤 사용 중단 권고 · 2035년 뒤 금지로 정했다(NIST IR 8547 · 2026).
- 「암호 오류」는 어느 부품의 검증이 실패했는가로 가른다 — 인증서 경고는 공개키 기반 구조, 키 쌍 불일치는 비대칭키, 다이제스트 불일치는 해시, 인증 태그 실패는 대칭키 쪽이다.
2등장 배경
대칭키만 있던 시절에는 두 사람이 통신하기 전에 같은 키를 미리 나눠 가져야 했다. 지점 1,000곳이 서로 비밀 통신을 하려면 키가 499,500개(n(n-1)/2) 필요하고, 그 키를 사람이 직접 들고 가 전달해야 했다. 미국 연방 정부가 1977년 표준으로 채택한 DES 도 키를 나누는 문제는 풀지 못했다(연방 관보 2004).
1976년 Diffie 와 Hellman 은 공개된 값만 주고받아 두 쪽이 같은 비밀을 만드는 키 합의를 발표했고, 1978년 Rivest · Shamir · Adleman 은 공개키로 암호화하고 개인키로 서명하는 RSA 를 내놓았다. 공개키가 정말 그 주인의 것인지는 인증 기관(CA)이 서명한 X.509 인증서가 보증하게 되었고, 인터넷용 인증서 형식과 경로 검증 규칙은 RFC 5280(2008)으로 정리됐다.
DES 는 56비트 키가 대규모 병렬 계산의 전수 조사에 취약해져 2005년 FIPS 46-3 이 폐기되었고(NIST 2005), 그 뒤를 AES(FIPS 197 · 2001)가 이었다. 국내에서는 KISA 의 SEED(128비트 블록 · RFC 4269)와 국가표준 ARIA(KS X 1213 · 2004 · RFC 5794)가 쓰이며, 2024년 8월 NIST 는 양자 내성 표준 FIPS 203 ~ 205 를 발행했고, 2026년 10월 NIST IR 8547 은 RSA · ECC 를 2030년 뒤 사용 중단 권고 · 2035년 뒤 금지로 정했다(4.1.1 · 4.1.2절).
3쉽게 이해하기 — 제주 협력사로 보내는 설계 도면
서울 디자인 회사의 한 팀장이 제주 협력사 오 대표에게 설계 도면을 보낸다. 오 대표는 구청 확인 도장이 붙은 «열린 자물쇠»를 먼저 보내 주는데, 이 자물쇠는 누구나 채울 수 있지만 여는 열쇠는 오 대표만 가졌다. 한 팀장은 새로 깎은 작은 열쇠를 그 자물쇠로 채워 보내고, 도면은 작은 열쇠로 잠근 상자에 넣은 뒤 도면에서 뜬 지문 번호에 자기 인감을 찍어 함께 보낸다. 오 대표는 작은 열쇠로 상자를 열고, 지문 번호를 다시 떠 인감 찍힌 번호와 맞춰 본다.
그림 1 · 무거운 자물쇠는 작은 열쇠를 옮길 때 한 번만 쓰고, 도면은 작은 열쇠로 잠그며, 지문 번호와 인감이 변조와 보낸 사람을 확인한다.
그림 2 · 같은 열쇠 자물쇠는 빠르지만 사람마다 열쇠가 늘고, 열린 자물쇠는 한 쌍이면 되지만 무거워서, 실제로는 자물쇠로 열쇠만 옮긴다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 구청 확인 도장 | 인증 기관 · 인증서 | CA 가 「이 공개키는 이 이름의 것」이라고 서명해 보증한다 |
| 열린 자물쇠 | 공개키 | 누구나 받아 키를 실어 보내거나 서명을 검증한다 |
| 오 대표만 가진 열쇠 | 개인키 | 공개키로 채운 것을 혼자 열고 서명을 만든다 |
| 작은 열쇠 | 대칭키(세션 키) | 같은 키 하나로 데이터를 암호화 · 복호화한다 |
| 열쇠로 잠근 도면 상자 | 암호문 · 인증 태그 | 평문을 감추고, 열 때 상자가 뜯겼는지도 알려 준다 |
| 지문 번호 | 해시 다이제스트 | 도면 전체를 256비트 값으로 줄여 글자 하나만 바뀌어도 드러낸다 |
| 인감 날인 | 전자서명 | 다이제스트를 개인키로 서명해 보낸 사람을 증명한다 |
| 열고 맞춰 보기 | 복호화 · 검증 | 키로 열고 다이제스트 · 서명 · 인증서를 다시 확인한다 |
⚠ 비유가 맞지 않는 곳: 실제 키 확립(ECDH · ML-KEM)은 열쇠를 상자에 넣어 보내지 않고 두 쪽이 같은 값을 각자 계산해 내며, 지문 번호(해시)는 누구나 다시 계산할 수 있어 인감(서명) 없이는 보낸 사람을 증명하지 못한다.
4구조 — 다섯 부품과 쓰임 관계
다섯 부품 가운데 대칭키 · 비대칭키 · 해시는 혼자 동작하는 기본 부품이고, 전자서명과 공개키 기반 구조는 그 위에 쌓인다. 전자서명은 해시 다이제스트에 개인키 서명을 하고(FIPS 186-5 6.4절), 인증서는 CA 의 전자서명으로 공개키와 이름을 묶는다(RFC 5280 4.1절).
그림 3 · 해시 · 대칭키 · 비대칭키가 기본 부품이고, 전자서명은 해시와 비대칭키를, 공개키 기반 구조는 전자서명을 가져다 쓴다.
| 하위 이름 | 푸는 문제 | 입력 → 출력 | 키 | 대표 표준 |
|---|---|---|---|---|
| 대칭키 암호 시스템 | 대량 데이터의 기밀성 | 평문 128비트 블록 → 암호문 | 양쪽이 같은 비밀 키 128 · 192 · 256비트 | AES(FIPS 197 5절 · 라운드 10 · 12 · 14) · ARIA(RFC 5794) · SEED(RFC 4269) |
| 비대칭키 암호 시스템 | 만난 적 없는 두 쪽의 키 확립 | 공개값 교환 → 공유 비밀 32바이트 | 공개키는 공개 · 개인키는 혼자 | ML-KEM(FIPS 203) · X25519(RFC 7748) · RSA |
| 해시 알고리즘 | 변조 탐지 · 고정 길이 요약 | 임의 길이 → 다이제스트 256비트 | 없음 | SHA-256(FIPS 180-4) · SHA3-256(FIPS 202) |
| 전자서명 | 보낸 사람 증명 · 부인 방지 | 다이제스트 + 개인키 → 서명값 | 개인키로 서명 · 공개키로 검증 | ECDSA · EdDSA(FIPS 186-5) · ML-DSA(FIPS 204) · SLH-DSA(FIPS 205) |
| 공개키 기반 구조 | 공개키의 주인 확인 | 공개키 + 이름 → CA 서명 인증서 | CA 개인키 · 신뢰 앵커(루트) | X.509 v3 · 경로 검증(RFC 5280 6.1절) |
🔑 암호는 비밀을 키 하나로 옮겨 놓을 뿐이다 — 데이터가 안전한 정도는 알고리즘보다 그 키를 누가 어떻게 가졌는가로 정해진다(SP 800-57 6.1절).
5동작 — TLS 1.3 연결 하나에서 다섯 부품이 일하는 순서
브라우저가 https://www.example.com/ 에 처음 접속해 TLS 1.3 연결을 맺고 HTTP 요청 하나를 보내는 사례다. 키 교환 X25519 · 서버 서명 ECDSA P-256 · 암호 모음 TLS_AES_128_GCM_SHA256 조합이며, RFC 9846 9.1절이 필수(P-256 서명 · AES-128-GCM) 또는 권장(X25519)으로 정한 값이다.
- ClientHello — 브라우저가 X25519 공개값 32바이트(key_share) · 암호 모음
TLS_AES_128_GCM_SHA256(0x1301) · 서명 방식ecdsa_secp256r1_sha256(0x0403)을 보낸다(RFC 9846 4.3.8 · B.4 · 4.3.3절). - ServerHello — 서버도 자기 X25519 공개값 32바이트를 돌려준다(RFC 7748 6.1절).
- 두 쪽이 상대 공개값과 자기 비밀값으로 같은 32바이트 공유 비밀을 각자 계산하고, HKDF-SHA256 으로 AES-128 키 16바이트 · IV 12바이트를 뽑는다(RFC 9846 7.1 · 7.3절) — 이후 메시지는 이 키로 암호화된다.
- Certificate — 서버가 자기 인증서(ECDSA P-256 공개키 · CA 서명)와 중간 CA 인증서를 보내고, 브라우저는 신뢰 저장소의 루트까지 서명과 유효 기간을 검증하고(RFC 5280 6.1 · 4.1.2.5절) 이름이 www.example.com 인지 확인한다(RFC 9525).
- CertificateVerify — 서버가 지금까지 오간 메시지의 SHA-256 해시 32바이트에 개인키로 ECDSA 서명을 하고, 브라우저는 4 의 공개키로 검증한다(RFC 9846 4.5.2절 · FIPS 186-5 6.4절).
- Finished — 두 쪽이 대화 해시에 HMAC-SHA256 32바이트를 붙여 키 교환과 대화가 바뀌지 않았음을 확인한다(RFC 9846 4.5.3절).
- 브라우저가 HTTP 요청을 AES-128-GCM 으로 암호화하고 인증 태그 16바이트를 붙인 레코드로 보낸다(RFC 5116 5.1절 · RFC 9846 5.2절).
그림 4 · 공개키 연산은 ①~⑤ 의 키 확립 · 인증서 · 서명 검증에만 쓰이고, ⑦ 의 HTTP 요청은 ③ 에서 뽑은 AES 키가 암호화한다.
그림 5 · 같은 강도에서 RSA 키는 AES 키의 24 ~ 40배이고, 양자 컴퓨터 앞에서는 RSA · ECC 만 금지 대상이 되어 키 확립이 ML-KEM 으로 옮겨 간다.
🔑 공개키 연산은 연결마다 몇 번(키 확립 · 서명 · 인증서 검증)뿐이고, HTTP 요청 · 응답의 모든 바이트는 대칭키가 처리한다.
6비교 — 접근 통제 · 권한 제어와의 차이
| 기준 | 암호 시스템 | 접근 통제 · 권한 제어 |
|---|---|---|
| 지키는 대상 | 데이터 자체(암호문 · 다이제스트 · 서명값) | 데이터에 닿는 경로(누가 · 무엇을 · 어떤 동작으로) |
| 판정 근거 | 올바른 키를 가졌는가 — 계산으로 판정 | 주체 · 객체 · 정책 — 참조 모니터가 판정 |
| 디스크를 통째로 가져가면 | 키가 없으면 암호문만 남음 | 운영체제 밖에서는 정책이 적용되지 않음 |
| 망을 지날 때 | 중간 장비도 내용을 읽지 못함(TLS) | 망 구간에는 효력이 없음 |
| 주요 실패 원인 | 키 유출 · 짧은 키 · 폐기된 알고리즘 | 권한 설정 오류 · 권한 상승 |
분석저장 매체 · 망처럼 시스템 통제 밖으로 나가는 데이터는 암호로, 시스템 안에서 누가 무엇을 하는지는 접근 통제로 지키고, 실제 설계는 둘을 겹친다. 근거는 표의 「디스크」 · 「망」 행이며, 키 자체는 접근 통제로 지켜야 하는 비밀 정보다(SP 800-57 6.1절).
7실무 진단 — 암호 오류의 부품 가르기
분석오류가 가리키는 부품부터 보되 인증서(PKI) → 키 쌍(비대칭키) → 데이터(해시 · 대칭키) 순으로 내려간다. TLS 1.3 은 인증서 · 서명 검증이 실패하면 응용 데이터를 보내기 전에 연결을 끊으므로(RFC 9846 4.5.2 · 4.5.3절), 앞 단계가 실패한 상태의 데이터 오류는 결과다.
| # | 증상 | 의심 원인 | 부품 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 브라우저 인증서 경고 | 중간 CA 인증서 누락 | 공개키 기반 구조 | openssl s_client -connect www. | unable to get local issuer certificate = 루트까지 체인이 이어지지 않음(X509_ |
| 2 | 어제까지 되던 접속이 일제히 실패 | 인증서 유효 기간 끝 | 공개키 기반 구조 | openssl x509 -in server. | notAfter 가 현재 시각보다 앞 = certificate has expired(RFC 5280 4.1.2.5절) |
| 3 | 인증서 교체 뒤 서버가 기동하지 않음 | 인증서와 개인키가 다른 쌍 | 비대칭키 | openssl x509 -in server. · openssl pkey -in server. | 두 공개키 출력이 다르면 쌍이 아님(openssl-x509(1) · openssl-pkey(1)) |
| 4 | 내려받은 설치 파일 검증 실패 | 전송 중 손상 · 변조 | 해시 | sha256sum -c SHA256SUMS | 계산한 다이제스트가 목록과 다르면 FAILED · 종료 상태 0 아님(coreutils --check) |
| 5 | 보안 점검에서 인증서 지적 | SHA-1 서명 인증서 | 전자서명 | openssl x509 -in server. | Signature Algorithm 이 sha1WithRSAEncryption = 서명 생성 금지 대상(SP 800-131A R2 9절 표 8) |
TLS 연결 오류는 대부분 1 · 2행에서 갈리고, 3행은 인증서를 바꾼 직후에 몰린다. 파일 배포처럼 TLS 밖의 무결성 문제는 4행 다이제스트부터 보고, 다이제스트는 맞는데 서명 검증이 실패하면 5행처럼 서명 알고리즘과 서명자 인증서를 본다.
8시험 대비
www.q-net.or.kr시험에서는 DES · SEED · DSA 처럼 알고리즘 하나의 원리와 특징을 묻는 정의 · 특징형, 그리고 2024년 FIPS 203 ~ 205 발행과 NIST 전환 일정에 따른 양자 내성 암호 전환을 묻는 동향 · 발전형이 나올 수 있다.
- 개요 — 정의 · 보호 목표 넷(기밀성 · 무결성 · 인증 · 부인 방지) · 알고리즘은 공개하고 키만 비밀로 두는 원칙
- 구성 — 그림 3 하위 토픽 지도 + 다섯 부품 표(입력 → 출력 · 키 · 대표 표준)
- 동작 — 그림 4 TLS 1.3 사례(X25519 키 확립 → HKDF → 인증서 검증 → ECDSA 서명 → AES-128-GCM)
- 보안 강도 — 그림 5 키 길이 막대(SP 800-57 표 2 · 128비트 = AES-128 · P-256 · RSA 3,072)
- 국내 표준 — SEED(128비트 블록 · RFC 4269) · ARIA(KS X 1213 · 라운드 12 · 14 · 16 · RFC 5794)
- 동향 — 양자 내성 표준 FIPS 203 ~ 205(2024) · RSA · ECC 2030년 뒤 사용 중단 권고 · 2035년 뒤 금지(NIST IR 8547)
꼭 쓸 키워드
기밀성무결성부인 방지혼합 암호 방식보안 강도AEAD인증서 경로 검증양자 내성 암호ML-KEM키 관리
9오해와 사실
- 오해암호화하면 변조도 함께 막힌다.사실기밀성만 주는 암호 방식은 암호문 비트가 바뀌어도 알아채지 못하며, 변조 탐지는 인증 태그(AES-GCM 16바이트 · RFC 5116 5.1절) · MAC · 전자서명이 맡는다.
- 오해해시는 키 없는 암호화라 되돌릴 수 있다.사실해시는 임의 길이 입력을 고정 길이(SHA-256 = 256비트)로 줄이는 일방향 함수이고 복호화 연산이 없으며, 원상 저항성이 요구 성질이다(SP 800-57 5.6.1.2절).
- 오해양자 컴퓨터가 나오면 AES 도 함께 버려야 한다.사실NIST 는 AES-128 키 탐색을 양자 보안 범주 1 의 기준으로 삼아 AES 를 그대로 두고, 2035년 뒤 금지 대상은 RSA · ECDSA · ECDH 같은 공개키 방식이다(NIST IR 8547 표 1 · 2 · 6).
10핵심 정리
| 구분 | 보호 목표 | n명이 쓸 키 | 쓰는 빈도 | 양자 컴퓨터 이후 | 대표 실패 증상 |
|---|---|---|---|---|---|
| 대칭키 | 기밀성(AEAD 면 무결성까지) | n(n-1)/2 개 | 데이터 모든 바이트 | AES-128 범주 1 · 유지 | 인증 태그 검증 실패 |
| 비대칭키 | 키 확립 | n 쌍 | 연결마다 한 번 | RSA · ECDH 2035 금지 → ML-KEM | 인증서 · 개인키 불일치 |
| 해시 | 무결성 | 없음 | 데이터 모든 바이트 | SHA-256 범주 2 · 유지 | 다이제스트 불일치 |
| 전자서명 | 보낸 사람 증명 · 부인 방지 | n 쌍 | 메시지 · 연결마다 한 번 | ECDSA · RSA 2035 금지 → ML-DSA · SLH-DSA | 서명 검증 실패 |
| 공개키 기반 구조 | 공개키 주인 보증 | CA 키 + 루트 신뢰 앵커 | 연결마다 체인 검증 | 인증서 서명도 같은 일정으로 교체 | 체인 끊김 · 만료 |
| 키 관리 | 키 생성 · 보관 · 폐기 | 키마다 수명 주기 | 상시 | 전환 계획 · 재암호화 | 키 유출 · 짧은 키 |
11참고 문헌
- 먼저 볼 문헌
- ★ FIPS 197 Advanced Encryption Standard (AES) (FIPS 197-upd1) — AES 의 블록 크기 · 키 길이 · 라운드 수를 원문으로 확인할 때
- ★ SP 800-57 Part 1 Rev. 5 Recommendation for Key Management: Part 1 - General — 알고리즘별 보안 강도와 같은 강도의 키 길이를 비교할 때
- ★ RFC 9846 The Transport Layer Security (TLS) Protocol Version 1.3 (RFC 8446 대체) — 다섯 부품이 연결 하나에서 쓰이는 순서를 볼 때
- ★ FIPS 203 Module-Lattice-Based Key-Encapsulation Mechanism Standard — 양자 내성 키 확립 ML-KEM 의 매개변수와 키 크기를 볼 때
- ★ NIST IR 8547 Transition to Post-Quantum Cryptography Standards — RSA · ECC 에서 양자 내성 암호로 옮기는 일정을 볼 때
- 본문 근거
- FIPS 180-4 Secure Hash Standard (SHS) — NIST · 2015-08 ·
csrc.nist.gov/pubs/fips/180-4/upd1/final· 확인 2026-11-02 - FIPS 202 SHA-3 Standard: Permutation-Based Hash and Extendable-Output Functions — NIST · 2015-08 ·
csrc.nist.gov/pubs/fips/202/final· 확인 2026-11-02 - FIPS 186-5 Digital Signature Standard (DSS) — NIST · 2023-02 ·
csrc.nist.gov/pubs/fips/186-5/final· 확인 2026-11-02 - FIPS 204 Module-Lattice-Based Digital Signature Standard — NIST · 2024-08 ·
csrc.nist.gov/pubs/fips/204/final· 확인 2026-11-02 - FIPS 205 Stateless Hash-Based Digital Signature Standard — NIST · 2024-08 ·
csrc.nist.gov/pubs/fips/205/final· 확인 2026-11-02 - SP 800-131A Rev. 2 Transitioning the Use of Cryptographic Algorithms and Key Lengths — NIST · 2019-03 ·
csrc.nist.gov/pubs/sp/800/131/a/r2/final· 확인 2026-11-02 - RFC 5280 Internet X.509 Public Key Infrastructure Certificate and Certificate Revocation List (CRL) Profile — IETF · 2008-05 ·
www.rfc-editor.org/rfc/rfc5280· 확인 2026-11-02 - RFC 9525 Service Identity in TLS — IETF · 2023-11 ·
www.rfc-editor.org/rfc/rfc9525· 확인 2026-11-02 - RFC 5116 An Interface and Algorithms for Authenticated Encryption — IETF · 2008-01 ·
www.rfc-editor.org/rfc/rfc5116· 확인 2026-11-02 - RFC 7748 Elliptic Curves for Security — IETF · 2016-01 ·
www.rfc-editor.org/rfc/rfc7748· 확인 2026-11-02 - RFC 4269 The SEED Encryption Algorithm — IETF · 2005-12 ·
www.rfc-editor.org/rfc/rfc4269· 확인 2026-11-02 - RFC 5794 A Description of the ARIA Encryption Algorithm — IETF · 2010-03 ·
www.rfc-editor.org/rfc/rfc5794· 확인 2026-11-02 - Federal Register Vol. 69 No. 142 - Proposed Withdrawal of FIPS 46-3 (DES) — NIST · U.S. Federal Register · 2004-07 ·
www.govinfo.gov/content/pkg/FR-2004-07-26/html/04-16894.htm· 확인 2026-11-02 - Withdrawal of FIPS 46-3, FIPS 74 and FIPS 81 — NIST · 2005-06 ·
csrc.nist.gov/news/2005/withdrawal-of-fips-46-3-fips-74-and-fips-81· 확인 2026-11-02 - Diffie and Hellman 1976 New Directions in Cryptography (IEEE Transactions on Information Theory 22(6)) — IEEE · 1976-11 ·
doi.org/10.1109/TIT.1976.1055638· 확인 2026-11-02 - Rivest, Shamir and Adleman 1978 A Method for Obtaining Digital Signatures and Public-Key Cryptosystems (CACM 21(2)) — ACM · 1978-02 ·
doi.org/10.1145/359340.359342· 확인 2026-11-02 - openssl-s_client(1) OpenSSL 3.0 manual — OpenSSL · 2026-11 ·
docs.openssl.org/3.0/man1/openssl-s_client/· 확인 2026-11-02 - openssl-x509(1) OpenSSL 3.0 manual — OpenSSL · 2026-11 ·
docs.openssl.org/3.0/man1/openssl-x509/· 확인 2026-11-02 - openssl-pkey(1) OpenSSL 3.0 manual — OpenSSL · 2026-11 ·
docs.openssl.org/3.0/man1/openssl-pkey/· 확인 2026-11-02 - X509_STORE_CTX_get_error(3) OpenSSL 3.0 manual (verify error strings) — OpenSSL · 2026-11 ·
docs.openssl.org/3.0/man3/X509_STORE_CTX_get_error/· 확인 2026-11-02 - GNU Coreutils manual - cksum common options (--check) — GNU Project · 2026-11 ·
www.gnu.org/software/coreutils/manual/html_node/cksum-common-options.html· 확인 2026-11-02