보안 운영체제(Secure OS)Secure Operating System
커널이 모든 프로세스의 접근을 관리자가 정한 강제 정책으로 판정하게 하여, root 권한으로 도는 프로세스도 정책 밖의 파일 · 포트 · 프로세스에 닿지 못하게 만든 운영체제다. 식별 · 인증 · 감사 · 객체 재사용 방지 같은 평가 기준 요건을 함께 갖춘다.
1요약
- 보안 운영체제는 일반 커널에 강제 접근 통제(MAC) 판정 장치를 더한 운영체제로, TCSEC(1985)의 B1 등급이 레이블과 MAC 을 처음 요구했고, 리눅스에서는 커널 훅 틀(LSM · 2003) 위에 SELinux · AppArmor · Smack · Landlock 이 올라가 웹 서버 · 데이터베이스 · 컨테이너 프로세스를 가둔다.
- 임의 접근 통제(DAC)만 있는 커널에서는 root 로 도는 프로세스 하나를 빼앗기면 파일 권한이 모두 무력해지므로, Android 는 SELinux 를 4.3 허용 모드 → 4.4 일부 강제 → 5.0 전체 강제 모드(60개가 넘는 도메인)로 넓혀 root 프로세스까지 정책에 묶었다(AOSP SELinux).
- 보안 운영체제가 실제로 막는지는 프로세스가 어느 도메인에서 도는가로 가른다 — 좁은 도메인에 갇힌 프로세스는 탈취돼도 그 도메인 규칙까지만 닿고, 제한 없는 도메인(unconfined)으로 돌면 DAC 만 있는 커널과 같다(AppArmor 문서).
2등장 배경
1980년대 상용 UNIX 는 root 계정 하나가 모든 파일 · 프로세스 · 장치를 다뤘고, 파일 주인이 권한 비트를 스스로 바꿀 수 있어 주인을 속인 프로그램이 자료를 다른 파일로 옮겨도 커널은 막지 않았다. 미 국방부 TCSEC(DoD 5200.28-STD · 1985-12)은 C1 에 식별 · 인증과 DAC, C2 에 객체 재사용 방지와 감사, B1 에 레이블과 MAC, B2 에 신뢰 경로와 은닉 채널 분석, B3 에 신뢰 복구를 등급마다 붙였다(TCSEC 2.1 ~ 3.3절).
리눅스에서는 2001년 3월 미 국가안보국(NSA)이 SELinux 를 발표하자, 커널 쪽은 모델 하나를 넣는 대신 커널 객체 작업마다 보안 훅을 부르는 범용 틀을 제안했고, 그 LSM 이 2003년 12월 주류 커널에 들어갔다(LSM 문서). 2021년 Linux 5.13 의 Landlock 은 권한 없는 프로세스가 스스로를 가두는 방식을 더했다(Landlock 문서).
지금은 TCSEC 등급 대신 공통평가기준(CC · ISO/IEC 15408)이 운영체제 평가를 맡는다. Android 처럼 처음부터 강제 모드로 출하하는 플랫폼이 생기면서, 보안 운영체제는 따로 사는 제품이라기보다 범용 커널에서 켜 두는 기능이 되었다.
3쉽게 이해하기 — 마스터키가 통하지 않는 박물관 수장고
박물관 관리인은 모든 문을 여는 마스터키를 갖고 있다. 사무동은 마스터키나 방 주인의 허락만 있으면 어느 방이든 들어가지만, 수장고 구역은 문마다 경비 게이트가 출입증 색을 보안실 규칙표와 대조해 규칙표에 없는 사람은 마스터키를 꽂아도 들이지 않는다. 게이트는 열어 준 일과 막은 일을 모두 출입 장부에 적고, 새 규칙표를 시험하는 첫 주에는 막지 않고 위반만 적는다.
그림 1 · 사무동에서는 마스터키 하나로 모든 방이 열리지만, 수장고 구역에서는 게이트가 출입증 색을 규칙표와 대조해 마스터키를 든 관리인도 규칙 밖의 방에는 들이지 않는다.
그림 2 · 같은 위반이라도 시범 주간에는 장부에 적히기만 하고, 정식 운영에서만 문이 닫힌다 — 실제로는 허용 모드와 강제 모드의 차이다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 마스터키 든 관리인 | root 프로세스 | DAC 검사는 모두 통과하지만 MAC 정책은 그대로 받는다 |
| 출입증 색 | 보안 컨텍스트(레이블) | 프로세스 · 파일 · 포트마다 붙어 판정의 입력이 된다 |
| 경비 게이트 | LSM 훅 · 보안 모듈 | 파일 열기 · 포트 묶기 같은 작업 직전에 커널이 모듈에 묻는다 |
| 보안실 규칙표 | 정책 | 관리자가 올리고, 갇힌 프로세스는 고칠 수 없다 |
| 열리지 않는 문 | 거부(EACCES) | 규칙이 없는 접근을 시스템 콜 오류로 돌려준다 |
| 출입 장부 | 감사 로그 | 거부와 허용 모드 위반을 AVC 기록으로 남긴다 |
| 시범 주간 | 허용 모드(permissive) | 정책을 올려 두되 막지 않고 위반만 기록한다 |
⚠ 비유가 맞지 않는 곳: 실제 게이트는 구역 입구 한 곳이 아니라 파일 · 소켓 · 프로세스 작업마다 따로 열린다. 또 root 프로세스가 정책을 다시 올리거나 모드를 바꾸는 일까지 막으려면 그 관리 작업 자체를 정책으로 묶어 두어야 한다.
4구조 — 커널 안의 판정 경로
시스템 콜은 커널의 기본 검사(DAC · 권한 능력)를 먼저 지나고, 통과한 요청만 LSM 훅이 켜진 보안 모듈에 넘어간다(SELinux Notebook). 커널 객체마다 보안 필드(blob)가 붙어 레이블을 들고 있고, 모듈을 검사하는 순서는 빌드 설정 CONFIG_LSM 이나 부팅 인자 lsm= 이 정한다(LSM 문서 · LSM 사용 문서).
그림 3 · 커널은 기본 검사를 통과한 요청만 보안 모듈에 묻고, 모듈은 관리자가 올린 정책과 객체 레이블로 허용 · 거부를 정해 그 결과를 감사 로그에 남긴다.
| 요소 | 역할 | 실제 예 | 근거 |
|---|---|---|---|
| 보안 컨텍스트 | 주체 · 객체마다 붙는 판정 입력 | system_u: | SELinux Type Enforcement |
| LSM 훅 | 커널 작업 직전에 모듈을 부르는 자리 | security_inode_permission() | LSM 문서 |
| 보안 모듈 | 정책으로 허용 · 거부를 계산 | 목록 = / | LSM 사용 문서 |
| 정책 | 어느 유형이 어느 유형에 무엇을 하는가 | allow 규칙 · 프로그램별 프로파일 | SELinux Type Enforcement |
| 감사 | 보안 관련 사건 기록 | AVC 거부 기록 | TCSEC 2.2.2.2 |
| 식별 · 인증 | 사용자를 확인하고 주체에 묶음 | 로그인 · 사용자 레이블 부여 | TCSEC 2.1.2.1 |
| 객체 재사용 방지 | 해제된 저장 공간의 옛 내용을 다음 주체에 넘기지 않음 | 메모리 · 디스크 재할당 | TCSEC 2.2.1.2 |
| 신뢰 경로 | 사용자와 보안 기능 사이의 위조 불가 통로 | 로그인 · 권한 변경 화면 | TCSEC 3.2.2.1.1 |
5동작 — 새 포트에서 웹 서버가 거부되고 풀리는 과정
사례는 설명용 가정 값이다 — 강제 모드 서버 · 웹 서버 도메인 httpd_t · 새 수신 포트 TCP 8090. 명령은 SELinux 프로젝트 man 페이지를 따른다.
- 관리자가 웹 서버의 수신 포트를 80 에서 8090 으로 바꾸고 다시 시작한다 —
sestatus의 Current mode 는 enforcing 이다(sestatus(8)). httpd_t프로세스가bind()로 TCP 8090 을 요청한다 — 1024 이상 포트는 CAP_NET_BIND_SERVICE 가 필요 없어 커널 기본 검사를 통과한다(capabilities(7)).- LSM 훅이 SELinux 를 부르고, SELinux 는 포트 8090 의 레이블이
httpd_t에name_bind가 허용된 포트 유형http_port_t가 아님을 확인한다. - 강제 모드라
bind()는 EACCES 로 실패해 웹 서버가 뜨지 못하고, 감사 로그에avc: denied { name_bind }가 남는다. - 관리자는 모드를 끄지 않고 감사 로그에서 그 거부를 찾아, 막힌 대상이 파일이 아니라 포트 레이블임을 확인한다.
semanage port -a -t http_port_t -p tcp 8090으로 포트에 레이블을 붙인다(semanage-port(8)) — 정책 규칙은 그대로 두고 객체 레이블만 바꾼다.- 웹 서버를 다시 시작하면 같은
bind()가 허용되고 새 AVC 거부는 생기지 않는다.
그림 4 · 포트 8090 은 커널 기본 검사를 통과하고 SELinux 에서 막혔다가, 관리자가 정책이 아닌 포트 레이블을 고치자 같은 요청이 허용된다.
그림 5 · 같은 요청 넷을 세 모드에 넣으면, 실제로 막히는 셀은 강제 모드의 «규칙 없음» 하나와 모드와 무관한 DAC 거부뿐이고, 제한 없는 도메인은 어느 모드에서도 막히지 않는다.
🔑 보안 운영체제가 줄이는 것은 root 의 «권한»이 아니라 탈취된 프로세스가 닿는 «범위»다 — 범위는 그 프로세스 도메인의 허용 규칙이 정하고, 제한 없는 도메인은 범위를 줄이지 않는다.
🔑 허용 모드는 정책을 시험하는 모드이지 보호가 켜진 모드가 아니다 — 위반은 감사 로그에 남지만 요청은 모두 수행된다(SELinux Modes).
6비교 — SELinux · AppArmor · Smack · Landlock
| 기준 | SELinux | AppArmor | Smack | Landlock |
|---|---|---|---|---|
| 정책 단위 | 모든 주체 · 객체의 유형(Type Enforcement) | 프로그램마다 프로파일 | 주체 레이블 · 객체 레이블 쌍마다 규칙 한 줄 | 프로세스가 스스로 만든 규칙 묶음 |
| 레이블 | user:role:type:level 네 필드 | 프로파일이 프로그램에 붙음 | 구조 없는 문자열 · 같은지만 비교 | 레이블 없음 |
| 규칙이 없을 때 | 허용 규칙이 없는 작업은 거부 | 프로파일 없는 프로그램은 DAC 그대로 | 거부 | 규칙 묶음이 다루는 작업만 거부 |
| 정책을 쓰는 사람 | 관리자 | 관리자 | 관리자 | 응용 자신(권한 없는 프로세스 포함) |
| 시험 운영 | 허용 모드 · 도메인 단위 허용 | complain 모드 | 별도 모드 없음(규칙 추가로 조정) | 감사 기록 제어 플래그 |
| 공개 사용 예 | 모바일 OS 전체 강제(AOSP) | 프로그램 단위 가두기 | Tizen 운영체제 | 응용 안의 샌드박스 |
분석서버 전체와 root 프로세스까지 한 정책으로 가두려면 SELinux, 몇몇 프로그램만 빨리 가두려면 AppArmor, 정책을 아주 작게 유지해야 하는 기기는 Smack, 응용이 제 권한을 스스로 줄이려면 Landlock 이 맞다. 근거는 표의 「규칙이 없을 때」 행 — 프로파일이 없는 프로그램을 DAC 그대로 두는 AppArmor 는 프로파일을 빠뜨린 프로그램이 곧 빈틈이다(AppArmor 문서).
7실무 진단 — 켜져 있지만 막지 않는 상태 가르기
분석모드 → 실행 도메인 → 모듈 목록 → 레이블 순으로 본다. 허용 모드이거나 제한 없는 도메인이면 거부 기록을 찾기 전에 보호 자체가 꺼진 상태이므로(SELinux Modes · AppArmor 문서), 모드와 도메인을 먼저 확인해야 뒤의 확인이 의미를 가진다.
| # | 증상 | 의심 원인 | 구분 | 확인 명령 | 판정 기준 |
|---|---|---|---|---|---|
| 1 | 강제로 설정했는데 위반이 수행됨 | 실행 중 모드가 허용 | 모드 | sestatus | Current mode 가 Mode from config file 과 다르면 실행 중에 바뀐 것(sestatus(8)) |
| 2 | 탈취 시험에서 서비스가 아무 파일이나 읽음 | 제한 없는 도메인으로 실행 | 도메인 | ps -eZ | 보안 열이 unconfined 이면 DAC 만 적용(ps(1) · AppArmor 문서) |
| 3 | 정책을 올렸는데 거부 기록이 전혀 없음 | 모듈이 커널에서 켜지지 않음 | 모듈 | cat / | 목록에 모듈 이름이 없으면 CONFIG_LSM · lsm= 문제(LSM 사용 문서) |
| 4 | 다른 폴더에서 옮겨 온 파일만 거부 | 옛 레이블이 그대로 따라옴 | 레이블 | restorecon -n -v <경로> | 바뀔 레이블이 출력되면 기본값과 불일치(restorecon(8)) |
8시험 대비
www.q-net.or.kr시험에서는 보안 운영체제의 구성 요소와 판정 흐름을 그림으로 묻는 구조 · 구성형, 일반 운영체제와 무엇이 다른지를 기능 요건으로 묻는 정의 · 특징형이 나올 수 있다. 구조형이면 커널 판정 경로를 그림 한 장에 놓고, 특징형이면 TCSEC 등급별 기능(식별 · 인증 → 감사 → MAC → 신뢰 경로)과 리눅스 모듈을 한 표로 잇는다.
- 개요 — 정의(커널 안의 강제 판정) · DAC 만 있는 커널의 한계(root 전능) · TCSEC B1(1985) · 오늘의 평가 기준 CC
- 기능 요건 — 표: 식별 · 인증 · DAC · 객체 재사용 방지 · 감사 · MAC · 신뢰 경로와 처음 요구한 TCSEC 등급
- 구조 — 그림 3 시스템 콜 → 기본 검사 → LSM 훅 → 보안 모듈 · 정책 · 레이블 · 감사 로그
- 동작 — 그림 4 포트 레이블 거부와 해제 사례(bind · EACCES · AVC · semanage port)
- 운영 모드 — 그림 5 꺼짐 · 허용 · 강제 모드별 결과와 제한 없는 도메인의 빈틈
- 구현 비교 — 표: SELinux · AppArmor · Smack · Landlock 의 정책 단위 · 규칙이 없을 때
꼭 쓸 키워드
강제 접근 통제보안 컨텍스트LSMType Enforcement허용 모드강제 모드감사 로그객체 재사용 방지신뢰 경로최소 권한
다른 답안과 차이를 내는 한 가지는 그림 5 의 «요청 넷 × 모드 셋» 표다 — 모듈이 켜져 있다는 것과 실제로 막는다는 것이 다르다는 점을 한 장으로 보인다.
9오해와 사실
- 오해보안 운영체제를 쓰면 root 권한을 빼앗겨도 안전하다.사실보호 범위는 탈취된 프로세스 도메인의 규칙까지이고, 프로파일 · 정책이 없는 프로그램은 표준 DAC 권한으로 돈다(AppArmor 문서).
- 오해허용 모드로 돌려도 기록이 남으니 보호는 된다.사실허용 모드는 정책을 올려 두되 규칙을 집행하지 않아 위반이 AVC 로 기록만 되고 수행된다(SELinux Modes).
- 오해커널에는 보안 모듈을 하나만 켤 수 있다.사실커널은
CONFIG_LSM목록 순서대로 검사하며 «부» 모듈은 여럿, «주» 모듈은 하나까지 함께 켠다(LSM 사용 문서).
10핵심 정리
| 구분 | 맡는 일 | 판정 입력 | 확인 | 근거 |
|---|---|---|---|---|
| 보안 컨텍스트 | 주체 · 객체 식별 | 프로세스 · 파일 · 포트 레이블 | ps -eZ · ls -Z | SELinux Type Enforcement |
| LSM 훅 · 모듈 | 작업 직전 판정 | 컨텍스트 + 정책 | / | LSM 사용 문서 |
| 정책 | 허용 규칙 집합 | allow 규칙 · 프로파일 | 정책 모듈 목록 | SELinux Type Enforcement |
| 감사 로그 | 거부 · 위반 기록 | AVC 기록 | 감사 로그 검색 | TCSEC 2.2.2.2 |
| 모드 | 집행 여부 | 꺼짐 · 허용 · 강제 | sestatus | SELinux Modes |
| 제한 없는 도메인 | 보호 빈틈 | unconfined | ps -eZ | AppArmor 문서 |
| TCSEC B1 | MAC 을 처음 요구한 등급 | 레이블 · MAC | 등급표 | TCSEC 3.1.1.4 |
11참고 문헌
- 먼저 볼 문헌
- ★ DoD 5200.28-STD Department of Defense Trusted Computer System Evaluation Criteria — C1 ~ A1 등급마다 어떤 보안 기능이 처음 요구되는지 볼 때
- ★ Linux Security Module Usage — 커널에 들어 있는 보안 모듈 목록과 켜는 순서를 볼 때
- ★ The SELinux Notebook - SELinux Modes — 강제 · 허용 · 꺼짐 모드와 도메인 단위 허용 모드를 볼 때
- ★ Android Security-Enhanced Linux — 모바일 OS 가 허용 모드에서 전체 강제 모드로 넓혀 간 과정을 볼 때
- 본문 근거
- Linux Security Modules: General Security Hooks for Linux — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/security/lsm.html· 확인 2026-11-14 - The SELinux Notebook - Type Enforcement — SELinux Project · 2026-11 ·
github.com/SELinuxProject/selinux-notebook/blob/main/src/type_enforcement.md· 확인 2026-11-14 - The SELinux Notebook - Mandatory Access Control — SELinux Project · 2026-11 ·
github.com/SELinuxProject/selinux-notebook/blob/main/src/mac.md· 확인 2026-11-14 - AppArmor — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/admin-guide/LSM/apparmor.html· 확인 2026-11-14 - AppArmor project home — AppArmor Project · 2026-11 ·
apparmor.net/· 확인 2026-11-14 - Smack — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/admin-guide/LSM/Smack.html· 확인 2026-11-14 - Landlock: unprivileged access control — The Linux Kernel documentation · 2026-11 ·
docs.kernel.org/userspace-api/landlock.html· 확인 2026-11-14 - sestatus(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/sestatus.8.html· 확인 2026-11-14 - semanage-port(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/semanage-port.8.html· 확인 2026-11-14 - restorecon(8) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man8/restorecon.8.html· 확인 2026-11-14 - capabilities(7) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man7/capabilities.7.html· 확인 2026-11-14 - ps(1) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man1/ps.1.html· 확인 2026-11-14 - ISO/IEC 15408-1:2022 Information security, cybersecurity and privacy protection - Evaluation criteria for IT security - Part 1 — ISO/IEC · 2022-08 ·
www.iso.org/standard/72891.html· 확인 2026-11-14