IT › 보안 › 시스템 보안 › 컴퓨팅 플랫폼 보안

보안 운영체제(Secure OS)Secure Operating System

커널이 모든 프로세스의 접근을 관리자가 정한 강제 정책으로 판정하게 하여, root 권한으로 도는 프로세스도 정책 밖의 파일 · 포트 · 프로세스에 닿지 못하게 만든 운영체제다. 식별 · 인증 · 감사 · 객체 재사용 방지 같은 평가 기준 요건을 함께 갖춘다.

1요약

  1. 보안 운영체제는 일반 커널에 강제 접근 통제(MAC) 판정 장치를 더한 운영체제로, TCSEC(1985)의 B1 등급이 레이블과 MAC 을 처음 요구했고, 리눅스에서는 커널 훅 틀(LSM · 2003) 위에 SELinux · AppArmor · Smack · Landlock 이 올라가 웹 서버 · 데이터베이스 · 컨테이너 프로세스를 가둔다.
  2. 임의 접근 통제(DAC)만 있는 커널에서는 root 로 도는 프로세스 하나를 빼앗기면 파일 권한이 모두 무력해지므로, Android 는 SELinux 를 4.3 허용 모드 → 4.4 일부 강제 → 5.0 전체 강제 모드(60개가 넘는 도메인)로 넓혀 root 프로세스까지 정책에 묶었다(AOSP SELinux).
  3. 보안 운영체제가 실제로 막는지는 프로세스가 어느 도메인에서 도는가로 가른다 — 좁은 도메인에 갇힌 프로세스는 탈취돼도 그 도메인 규칙까지만 닿고, 제한 없는 도메인(unconfined)으로 돌면 DAC 만 있는 커널과 같다(AppArmor 문서).

2등장 배경

1980년대 상용 UNIX 는 root 계정 하나가 모든 파일 · 프로세스 · 장치를 다뤘고, 파일 주인이 권한 비트를 스스로 바꿀 수 있어 주인을 속인 프로그램이 자료를 다른 파일로 옮겨도 커널은 막지 않았다. 미 국방부 TCSEC(DoD 5200.28-STD · 1985-12)은 C1 에 식별 · 인증과 DAC, C2 에 객체 재사용 방지와 감사, B1 에 레이블과 MAC, B2 에 신뢰 경로와 은닉 채널 분석, B3 에 신뢰 복구를 등급마다 붙였다(TCSEC 2.1 ~ 3.3절).

리눅스에서는 2001년 3월 미 국가안보국(NSA)이 SELinux 를 발표하자, 커널 쪽은 모델 하나를 넣는 대신 커널 객체 작업마다 보안 훅을 부르는 범용 틀을 제안했고, 그 LSM 이 2003년 12월 주류 커널에 들어갔다(LSM 문서). 2021년 Linux 5.13 의 Landlock 은 권한 없는 프로세스가 스스로를 가두는 방식을 더했다(Landlock 문서).

지금은 TCSEC 등급 대신 공통평가기준(CC · ISO/IEC 15408)이 운영체제 평가를 맡는다. Android 처럼 처음부터 강제 모드로 출하하는 플랫폼이 생기면서, 보안 운영체제는 따로 사는 제품이라기보다 범용 커널에서 켜 두는 기능이 되었다.

3쉽게 이해하기 — 마스터키가 통하지 않는 박물관 수장고

박물관 관리인은 모든 문을 여는 마스터키를 갖고 있다. 사무동은 마스터키나 방 주인의 허락만 있으면 어느 방이든 들어가지만, 수장고 구역은 문마다 경비 게이트가 출입증 색을 보안실 규칙표와 대조해 규칙표에 없는 사람은 마스터키를 꽂아도 들이지 않는다. 게이트는 열어 준 일과 막은 일을 모두 출입 장부에 적고, 새 규칙표를 시험하는 첫 주에는 막지 않고 위반만 적는다.

사무동 일반 커널 관리인 root 프로세스 마스터키 DAC 우회 세 방이 모두 열림 파일 전체 노출 방 주인도 열쇠를 빌려줌 수장고 구역 보안 운영체제 관리인 출입증 색 보안 컨텍스트 1 경비 게이트 LSM 훅 보안실 규칙표 정책 2 규칙표와 대조 전시실 허용 수장고 거부 3 마스터키도 거절 4 출입 장부 감사 로그 열린 일 · 막힌 일 모두 기록 규칙표는 보안실만 고침 = 갇힌 프로세스는 정책을 못 바꿈 1 출입증 확인 · 2 규칙표 대조 · 3 규칙 밖이면 마스터키도 거절 · 4 모든 시도를 장부에 기록

그림 1 · 사무동에서는 마스터키 하나로 모든 방이 열리지만, 수장고 구역에서는 게이트가 출입증 색을 규칙표와 대조해 마스터키를 든 관리인도 규칙 밖의 방에는 들이지 않는다.

출입증사람마다 색을 받음
게이트문마다 따로 검사
규칙표보안실만 고침
마스터키 거절규칙에 없으면 닫힘
장부열고 막은 일 모두
시범 주간막지 않고 적기만
비유 — 같은 위반, 세 시기 실제 — 보안 모듈 모드 관리인이 규칙표에 없는 수장고 문을 연다 게이트 공사 중 열림 장부 없음 꺼짐 정책 없음 · DAC 만 시범 주간 열림 장부 기록 허용 모드 수행 + AVC 기록 정식 운영 닫힘 장부 기록 강제 모드 EACCES + AVC 기록 위반이 실제로 막히는 줄은 강제 모드 하나뿐 · 허용 모드는 정책을 시험하는 기간 · 점선 상자 = 기록 없음

그림 2 · 같은 위반이라도 시범 주간에는 장부에 적히기만 하고, 정식 운영에서만 문이 닫힌다 — 실제로는 허용 모드와 강제 모드의 차이다.

비유 속 역할실제 이름실제로 하는 일
마스터키 든 관리인root 프로세스DAC 검사는 모두 통과하지만 MAC 정책은 그대로 받는다
출입증 색보안 컨텍스트(레이블)프로세스 · 파일 · 포트마다 붙어 판정의 입력이 된다
경비 게이트LSM 훅 · 보안 모듈파일 열기 · 포트 묶기 같은 작업 직전에 커널이 모듈에 묻는다
보안실 규칙표정책관리자가 올리고, 갇힌 프로세스는 고칠 수 없다
열리지 않는 문거부(EACCES)규칙이 없는 접근을 시스템 콜 오류로 돌려준다
출입 장부감사 로그거부와 허용 모드 위반을 AVC 기록으로 남긴다
시범 주간허용 모드(permissive)정책을 올려 두되 막지 않고 위반만 기록한다

⚠ 비유가 맞지 않는 곳: 실제 게이트는 구역 입구 한 곳이 아니라 파일 · 소켓 · 프로세스 작업마다 따로 열린다. 또 root 프로세스가 정책을 다시 올리거나 모드를 바꾸는 일까지 막으려면 그 관리 작업 자체를 정책으로 묶어 두어야 한다.

4구조 — 커널 안의 판정 경로

시스템 콜은 커널의 기본 검사(DAC · 권한 능력)를 먼저 지나고, 통과한 요청만 LSM 훅이 켜진 보안 모듈에 넘어간다(SELinux Notebook). 커널 객체마다 보안 필드(blob)가 붙어 레이블을 들고 있고, 모듈을 검사하는 순서는 빌드 설정 CONFIG_LSM 이나 부팅 인자 lsm= 이 정한다(LSM 문서 · LSM 사용 문서).

사용자 공간 프로세스 · 도메인 httpd_t 커널 시스템 콜 — bind · open · exec DAC · 권한 능력 검사 통과 LSM 훅 → 보안 모듈 SELinux · AppArmor · Smack · Landlock 허용 파일 · 포트 · 프로세스 작업 수행 정책(관리자 작성) 객체 레이블 · 보안 필드 거부 — EACCES 실패 규칙 없음(강제 모드) 감사 로그 — AVC 기록 거부와 허용 모드 위반을 함께 기록 레이블 관리자 정책 모듈 판정 허용 거부 기록 굵은 테두리 = 일반 커널에도 있는 검사

그림 3 · 커널은 기본 검사를 통과한 요청만 보안 모듈에 묻고, 모듈은 관리자가 올린 정책과 객체 레이블로 허용 · 거부를 정해 그 결과를 감사 로그에 남긴다.

요소역할실제 예근거
보안 컨텍스트주체 · 객체마다 붙는 판정 입력system_u:system_r:httpd_t:s0SELinux Type Enforcement
LSM 훅커널 작업 직전에 모듈을 부르는 자리security_inode_permission()LSM 문서
보안 모듈정책으로 허용 · 거부를 계산목록 = /sys/kernel/security/lsmLSM 사용 문서
정책어느 유형이 어느 유형에 무엇을 하는가allow 규칙 · 프로그램별 프로파일SELinux Type Enforcement
감사보안 관련 사건 기록AVC 거부 기록TCSEC 2.2.2.2
식별 · 인증사용자를 확인하고 주체에 묶음로그인 · 사용자 레이블 부여TCSEC 2.1.2.1
객체 재사용 방지해제된 저장 공간의 옛 내용을 다음 주체에 넘기지 않음메모리 · 디스크 재할당TCSEC 2.2.1.2
신뢰 경로사용자와 보안 기능 사이의 위조 불가 통로로그인 · 권한 변경 화면TCSEC 3.2.2.1.1

5동작 — 새 포트에서 웹 서버가 거부되고 풀리는 과정

사례는 설명용 가정 값이다 — 강제 모드 서버 · 웹 서버 도메인 httpd_t · 새 수신 포트 TCP 8090. 명령은 SELinux 프로젝트 man 페이지를 따른다.

  1. 관리자가 웹 서버의 수신 포트를 80 에서 8090 으로 바꾸고 다시 시작한다 — sestatus 의 Current mode 는 enforcing 이다(sestatus(8)).
  2. httpd_t 프로세스가 bind() 로 TCP 8090 을 요청한다 — 1024 이상 포트는 CAP_NET_BIND_SERVICE 가 필요 없어 커널 기본 검사를 통과한다(capabilities(7)).
  3. LSM 훅이 SELinux 를 부르고, SELinux 는 포트 8090 의 레이블이 httpd_t 에 name_bind 가 허용된 포트 유형 http_port_t 가 아님을 확인한다.
  4. 강제 모드라 bind() 는 EACCES 로 실패해 웹 서버가 뜨지 못하고, 감사 로그에 avc: denied { name_bind } 가 남는다.
  5. 관리자는 모드를 끄지 않고 감사 로그에서 그 거부를 찾아, 막힌 대상이 파일이 아니라 포트 레이블임을 확인한다.
  6. semanage port -a -t http_port_t -p tcp 8090 으로 포트에 레이블을 붙인다(semanage-port(8)) — 정책 규칙은 그대로 두고 객체 레이블만 바꾼다.
  7. 웹 서버를 다시 시작하면 같은 bind() 가 허용되고 새 AVC 거부는 생기지 않는다.
관리자 웹 서버 httpd_t 커널 · LSM 훅 SELinux · 감사 로그 1 포트 8090 으로 재시작 2 bind(TCP 8090) 1024 이상 = 기본 검사 통과 3 name_bind 질의 포트 레이블 ≠ http_port_t 4 거부 EACCES AVC denied 기록 5 감사 로그에서 거부 찾기 — 막힌 것 = 포트 레이블 6 semanage port — 8090 에 http_port_t 7 bind(TCP 8090) 다시 허용 · 기록 없음 성공

그림 4 · 포트 8090 은 커널 기본 검사를 통과하고 SELinux 에서 막혔다가, 관리자가 정책이 아닌 포트 레이블을 고치자 같은 요청이 허용된다.

요청 넷 × 모드 셋 꺼짐 허용 모드 강제 모드 허용 규칙 있음 수행 수행 수행 규칙 없음 수행 · 기록 없음 수행 + AVC 거부 + AVC DAC 가 먼저 거부 거부 · AVC 없음 거부 · AVC 없음 거부 · AVC 없음 제한 없는 도메인 수행 수행 수행 · 빈틈 보안 모듈이 막는 셀 = 1개(강제 모드 · 규칙 없음) · DAC 행은 모듈 앞에서 끝나 기록이 없다 수행 거부 점선 = 막지 않고 기록만 굵은 테두리 = 보안 모듈이 막은 셀

그림 5 · 같은 요청 넷을 세 모드에 넣으면, 실제로 막히는 셀은 강제 모드의 «규칙 없음» 하나와 모드와 무관한 DAC 거부뿐이고, 제한 없는 도메인은 어느 모드에서도 막히지 않는다.

🔑 보안 운영체제가 줄이는 것은 root 의 «권한»이 아니라 탈취된 프로세스가 닿는 «범위»다 — 범위는 그 프로세스 도메인의 허용 규칙이 정하고, 제한 없는 도메인은 범위를 줄이지 않는다.

🔑 허용 모드는 정책을 시험하는 모드이지 보호가 켜진 모드가 아니다 — 위반은 감사 로그에 남지만 요청은 모두 수행된다(SELinux Modes).

6비교 — SELinux · AppArmor · Smack · Landlock

기준SELinuxAppArmorSmackLandlock
정책 단위모든 주체 · 객체의 유형(Type Enforcement)프로그램마다 프로파일주체 레이블 · 객체 레이블 쌍마다 규칙 한 줄프로세스가 스스로 만든 규칙 묶음
레이블user:role:type:level 네 필드프로파일이 프로그램에 붙음구조 없는 문자열 · 같은지만 비교레이블 없음
규칙이 없을 때허용 규칙이 없는 작업은 거부프로파일 없는 프로그램은 DAC 그대로거부규칙 묶음이 다루는 작업만 거부
정책을 쓰는 사람관리자관리자관리자응용 자신(권한 없는 프로세스 포함)
시험 운영허용 모드 · 도메인 단위 허용complain 모드별도 모드 없음(규칙 추가로 조정)감사 기록 제어 플래그
공개 사용 예모바일 OS 전체 강제(AOSP)프로그램 단위 가두기Tizen 운영체제응용 안의 샌드박스

분석서버 전체와 root 프로세스까지 한 정책으로 가두려면 SELinux, 몇몇 프로그램만 빨리 가두려면 AppArmor, 정책을 아주 작게 유지해야 하는 기기는 Smack, 응용이 제 권한을 스스로 줄이려면 Landlock 이 맞다. 근거는 표의 「규칙이 없을 때」 행 — 프로파일이 없는 프로그램을 DAC 그대로 두는 AppArmor 는 프로파일을 빠뜨린 프로그램이 곧 빈틈이다(AppArmor 문서).

7실무 진단 — 켜져 있지만 막지 않는 상태 가르기

분석모드 → 실행 도메인 → 모듈 목록 → 레이블 순으로 본다. 허용 모드이거나 제한 없는 도메인이면 거부 기록을 찾기 전에 보호 자체가 꺼진 상태이므로(SELinux Modes · AppArmor 문서), 모드와 도메인을 먼저 확인해야 뒤의 확인이 의미를 가진다.

#증상의심 원인구분확인 명령판정 기준
1강제로 설정했는데 위반이 수행됨실행 중 모드가 허용모드sestatusCurrent mode 가 Mode from config file 과 다르면 실행 중에 바뀐 것(sestatus(8))
2탈취 시험에서 서비스가 아무 파일이나 읽음제한 없는 도메인으로 실행도메인ps -eZ보안 열이 unconfined 이면 DAC 만 적용(ps(1) · AppArmor 문서)
3정책을 올렸는데 거부 기록이 전혀 없음모듈이 커널에서 켜지지 않음모듈cat /sys/kernel/security/lsm목록에 모듈 이름이 없으면 CONFIG_LSM · lsm= 문제(LSM 사용 문서)
4다른 폴더에서 옮겨 온 파일만 거부옛 레이블이 그대로 따라옴레이블restorecon -n -v <경로>바뀔 레이블이 출력되면 기본값과 불일치(restorecon(8))

8시험 대비

출제 정보 컴퓨터시스템응용(137회, 81회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 보안 운영체제의 구성 요소와 판정 흐름을 그림으로 묻는 구조 · 구성형, 일반 운영체제와 무엇이 다른지를 기능 요건으로 묻는 정의 · 특징형이 나올 수 있다. 구조형이면 커널 판정 경로를 그림 한 장에 놓고, 특징형이면 TCSEC 등급별 기능(식별 · 인증 → 감사 → MAC → 신뢰 경로)과 리눅스 모듈을 한 표로 잇는다.

답안 목차
  1. 개요 — 정의(커널 안의 강제 판정) · DAC 만 있는 커널의 한계(root 전능) · TCSEC B1(1985) · 오늘의 평가 기준 CC
  2. 기능 요건 — 표: 식별 · 인증 · DAC · 객체 재사용 방지 · 감사 · MAC · 신뢰 경로와 처음 요구한 TCSEC 등급
  3. 구조 — 그림 3 시스템 콜 → 기본 검사 → LSM 훅 → 보안 모듈 · 정책 · 레이블 · 감사 로그
  4. 동작 — 그림 4 포트 레이블 거부와 해제 사례(bind · EACCES · AVC · semanage port)
  5. 운영 모드 — 그림 5 꺼짐 · 허용 · 강제 모드별 결과와 제한 없는 도메인의 빈틈
  6. 구현 비교 — 표: SELinux · AppArmor · Smack · Landlock 의 정책 단위 · 규칙이 없을 때

꼭 쓸 키워드
강제 접근 통제보안 컨텍스트LSMType Enforcement허용 모드강제 모드감사 로그객체 재사용 방지신뢰 경로최소 권한

다른 답안과 차이를 내는 한 가지는 그림 5 의 «요청 넷 × 모드 셋» 표다 — 모듈이 켜져 있다는 것과 실제로 막는다는 것이 다르다는 점을 한 장으로 보인다.

9오해와 사실

  • 오해보안 운영체제를 쓰면 root 권한을 빼앗겨도 안전하다.
    사실보호 범위는 탈취된 프로세스 도메인의 규칙까지이고, 프로파일 · 정책이 없는 프로그램은 표준 DAC 권한으로 돈다(AppArmor 문서).
  • 오해허용 모드로 돌려도 기록이 남으니 보호는 된다.
    사실허용 모드는 정책을 올려 두되 규칙을 집행하지 않아 위반이 AVC 로 기록만 되고 수행된다(SELinux Modes).
  • 오해커널에는 보안 모듈을 하나만 켤 수 있다.
    사실커널은 CONFIG_LSM 목록 순서대로 검사하며 «부» 모듈은 여럿, «주» 모듈은 하나까지 함께 켠다(LSM 사용 문서).

10핵심 정리

구분맡는 일판정 입력확인근거
보안 컨텍스트주체 · 객체 식별프로세스 · 파일 · 포트 레이블ps -eZ · ls -ZSELinux Type Enforcement
LSM 훅 · 모듈작업 직전 판정컨텍스트 + 정책/sys/kernel/security/lsmLSM 사용 문서
정책허용 규칙 집합allow 규칙 · 프로파일정책 모듈 목록SELinux Type Enforcement
감사 로그거부 · 위반 기록AVC 기록감사 로그 검색TCSEC 2.2.2.2
모드집행 여부꺼짐 · 허용 · 강제sestatusSELinux Modes
제한 없는 도메인보호 빈틈unconfinedps -eZAppArmor 문서
TCSEC B1MAC 을 처음 요구한 등급레이블 · MAC등급표TCSEC 3.1.1.4

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ DoD 5200.28-STD Department of Defense Trusted Computer System Evaluation Criteria — C1 ~ A1 등급마다 어떤 보안 기능이 처음 요구되는지 볼 때
    U.S. Department of Defense · 1985-12 · csrc.nist.gov/csrc/media/publications/conference-paper/1998/10/08/proceedings-of-the-21st-nissc-1998/documents/early-cs-papers/dod85.pdf · 확인 2026-11-14
  3. ★ Linux Security Module Usage — 커널에 들어 있는 보안 모듈 목록과 켜는 순서를 볼 때
    The Linux Kernel documentation · 2026-11 · docs.kernel.org/admin-guide/LSM/index.html · 확인 2026-11-14
  4. ★ The SELinux Notebook - SELinux Modes — 강제 · 허용 · 꺼짐 모드와 도메인 단위 허용 모드를 볼 때
    SELinux Project · 2026-11 · github.com/SELinuxProject/selinux-notebook/blob/main/src/modes.md · 확인 2026-11-14
  5. ★ Android Security-Enhanced Linux — 모바일 OS 가 허용 모드에서 전체 강제 모드로 넓혀 간 과정을 볼 때
    Android Open Source Project · 2026-11 · source.android.com/docs/security/features/selinux · 확인 2026-11-14
  6. 본문 근거
  7. Linux Security Modules: General Security Hooks for Linux — The Linux Kernel documentation · 2026-11 · docs.kernel.org/security/lsm.html · 확인 2026-11-14
  8. The SELinux Notebook - Type Enforcement — SELinux Project · 2026-11 · github.com/SELinuxProject/selinux-notebook/blob/main/src/type_enforcement.md · 확인 2026-11-14
  9. The SELinux Notebook - Mandatory Access Control — SELinux Project · 2026-11 · github.com/SELinuxProject/selinux-notebook/blob/main/src/mac.md · 확인 2026-11-14
  10. AppArmor — The Linux Kernel documentation · 2026-11 · docs.kernel.org/admin-guide/LSM/apparmor.html · 확인 2026-11-14
  11. AppArmor project home — AppArmor Project · 2026-11 · apparmor.net/ · 확인 2026-11-14
  12. Smack — The Linux Kernel documentation · 2026-11 · docs.kernel.org/admin-guide/LSM/Smack.html · 확인 2026-11-14
  13. Landlock: unprivileged access control — The Linux Kernel documentation · 2026-11 · docs.kernel.org/userspace-api/landlock.html · 확인 2026-11-14
  14. sestatus(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/sestatus.8.html · 확인 2026-11-14
  15. semanage-port(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/semanage-port.8.html · 확인 2026-11-14
  16. restorecon(8) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man8/restorecon.8.html · 확인 2026-11-14
  17. capabilities(7) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man7/capabilities.7.html · 확인 2026-11-14
  18. ps(1) Linux manual page — man7.org · 2026-11 · man7.org/linux/man-pages/man1/ps.1.html · 확인 2026-11-14
  19. ISO/IEC 15408-1:2022 Information security, cybersecurity and privacy protection - Evaluation criteria for IT security - Part 1 — ISO/IEC · 2022-08 · www.iso.org/standard/72891.html · 확인 2026-11-14