시스템 호출System Call
사용자 모드에서 도는 프로그램이 파일 · 프로세스 · 장치 · 통신 같은 커널 기능을 쓰려고 호출 번호와 인자를 넘기며 커널 모드로 들어가는 정해진 입구다.
1요약
- 시스템 호출은 사용자 모드 프로그램이 커널 기능을 쓰는 정식 입구로, 리눅스 x86-64 는
syscall명령 하나와 rax 에 넣은 호출 번호로 약 400개 호출을 가르며(syscall(2) · syscalls(2)) 그 위에서 glibc 의 open() · read() 같은 포장 함수와 POSIX.1-2024 인터페이스가 돈다. - 응용이 장치 · 다른 프로그램 메모리를 직접 만지지 못하게 막는 대가로 들어갈 때마다 모드 전환 비용이 붙는다 — 2018년 Meltdown(Lipp 외 2018) 대응으로 들어온 PTI 는 커널 진입 · 복귀마다 약 100 사이클짜리 CR3 쓰기를 더했다(커널 PTI 문서).
- 「프로그램이 느리다 · 멈췄다」는 호출 수와 호출 시간으로 가른다 — 같은 작은 호출이 수십만 번이면 호출 묶기 문제, 호출 하나가 끝나지 않으면 커널 안 대기(장치 · 잠금 · 망), 호출이 거의 없는데 느리면 사용자 공간 계산이다.
2등장 배경
1960 ~ 70년대 시분할 기계에서는 사용자 여럿의 프로그램이 한 기계를 나눠 썼고, 프로그램이 장치 레지스터를 직접 다루면 장치마다 코드가 달라지고 한 사람의 실수가 기계 전체를 세웠다. Ritchie · Thompson 은 1974년 7월 CACM 논문에서 UNIX 의 입출력 시스템 호출(open · creat · read · write · seek · close)이 장치와 접근 방식의 차이를 없애도록 설계됐다고 밝혔고, PDP-11 의 잘못된 메모리 참조 같은 오류도 트랩으로 시스템 루틴에 넘겼다(Ritchie · Thompson 1974 3.6 · 7절).
유닉스 계열마다 호출 이름과 인자가 조금씩 달라지자 IEEE 가 1988년 9월 IEEE 1003.1-1988(POSIX)로 공통 인터페이스를 정했고, 지금 판은 POSIX.1-2024 다. POSIX 는 C 함수 모양만 정하므로 호출 번호 · 레지스터 규약은 운영체제와 아키텍처가 따로 정한다 — 리눅스 x86-64 에서 read 는 0번, arm64 에서는 63번이다(syscall_64.tbl · asm-generic unistd.h).
남은 숙제는 비용이다. 32비트 x86 은 소프트웨어 인터럽트 int $0x80 으로 들어갔고, x86-64 는 전용 명령 syscall 을 쓴다(syscall(2)). 시각 읽기처럼 잦은 호출은 커널에 들어가지 않는 vDSO 로 옮겼고(vdso(7)), 리눅스 5.1 의 io_uring 은 요청 여럿을 공유 링 버퍼에 쌓아 한 번에 넘긴다(syscalls(2) · io_uring(7)).
3쉽게 이해하기 — 닫힌 서고가 있는 도서관
이용자는 열람실까지만 들어갈 수 있고 책이 있는 서고는 잠겨 있다. 책이 필요하면 신청서에 양식 번호와 항목을 채워 창구 벨을 누르고, 사서가 신청서를 확인한 뒤 서고에서 책을 꺼내 결과 쪽지와 함께 돌려준다. 없는 책이면 「없음」 쪽지가 돌아온다. 지금 시각처럼 자주 묻는 것은 열람실 벽시계로 바로 보고, 바깥 전화는 이용자가 부르지 않아도 울려 사서를 멈춰 세운다.
그림 1 · 이용자는 서고에 들어가지 못하고 번호를 적은 신청서로 사서를 부르며, 벽시계는 창구 없이 보고 바깥 전화는 부르지 않아도 사서를 멈춘다.
그림 2 · 신청서의 양식 번호와 항목 여섯은 그대로 CPU 레지스터 rax 와 인자 레지스터 여섯이며, 책 이름처럼 긴 값은 쪽지가 놓인 위치(주소)만 적는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 열람실 이용자 | 사용자 모드 프로그램 | 특권 수준 3에서 돌며 장치 · 커널 메모리에 직접 닿지 못한다 |
| 신청서 양식 번호 · 항목 | 호출 번호 · 인자 레지스터 | rax 에 번호, rdi · rsi · rdx · r10 · r8 · r9 에 인자를 넣는다 |
| 창구 벨 | 트랩 명령(syscall) | 특권 수준을 0으로 바꾸고 커널이 정한 진입 주소로 뛴다 |
| 사서의 확인 | 시스템 호출 표 · 인자 검사 | 번호로 처리 함수를 찾고 주소 · 권한을 검사한다 |
| 서고의 책 | 파일 · 장치 · 커널 자료 | 커널 모드에서만 읽고 쓰는 자원이다 |
| 결과 · 「없음」 쪽지 | 반환값 · errno | rax 로 결과를 돌려주고 실패면 포장 함수가 -1 과 errno 를 남긴다 |
| 열람실 벽시계 | vDSO | 시각 읽기를 커널 진입 없이 사용자 공간 함수로 끝낸다 |
| 바깥 전화 | 하드웨어 인터럽트 | 프로그램이 부르지 않아도 장치가 아무 때나 커널을 부른다 |
⚠ 비유가 맞지 않는 곳: 사서는 다른 사람이 아니라 같은 실행 흐름이 커널 모드로 바뀌어 일하는 것이라, 창구에 줄을 서거나 다른 이용자에게 차례가 넘어가는 일은 커널 안에서 기다릴 때만 생긴다.
4구조 — 포장 함수에서 서비스 함수까지
시스템 호출 한 번은 사용자 공간의 포장 함수, CPU 의 트랩 명령, 커널의 진입 코드 · 호출 표 · 서비스 함수를 차례로 지난다(intro(2) · entry_64 문서). 호출이 다루는 대상은 POSIX 기준으로 프로세스 제어(fork · execve) · 파일(open · read) · 장치(ioctl) · 정보(getpid · clock_gettime) · 통신(pipe · socket)으로 나뉜다(POSIX.1-2024).
그림 3 · 응용은 번호와 인자만 넘기고 특권 경계 아래의 진입 코드 · 호출 표가 무엇을 할지 정하며, vDSO 는 경계를 넘지 않고 인터럽트 · 예외는 다른 입구로 들어온다.
| 요소 | 위치 | 역할 | 값 · 근거 |
|---|---|---|---|
| 포장 함수 | 사용자 공간(glibc) | 번호 · 인자를 레지스터에 넣고 트랩 명령 실행 | 음수 반환값 → −1 + errno(intro(2)) |
| 호출 번호 | rax(arm64 = w8) | 어떤 서비스인지 가림 | x86-64 read 0 · write 1 · openat 257(syscall_ |
| 인자 | rdi · rsi · rdx · r10 · r8 · r9 | 값 또는 사용자 메모리 주소 | 최대 6개(syscall(2)) |
| 트랩 명령 | CPU | 특권 수준 3 → 0 · 진입 주소로 이동 | x86-64 syscall · arm64 svc #0 · RISC-V ecall · i386 int $0x80(syscall(2)) |
| 진입 코드 | 커널 | 사용자 레지스터 저장 · 커널 GS 로 교체 | 다음 명령 주소 → RCX · RFLAGS → R11 · 진입 주소 = IA32_ |
| 시스템 호출 표 | 커널 | 번호 → 서비스 함수 | 없는 번호 = ENOSYS(syscall(2)) |
| 반환값 | rax(arm64 = x0) | 결과 또는 −errno | 실패 = −1 · errno(intro(2)) |
| vDSO | 사용자 공간에 커널이 붙인 페이지 | 커널 진입 없이 시각 읽기 | x86-64 = clock_ |
🔑 응용이 정하는 것은 번호와 인자뿐이고, 무엇을 실행할지 · 해도 되는지는 경계 아래의 진입 주소와 호출 표가 정한다 — 그래서 사용자 코드는 커널의 아무 주소로나 뛰어들 수 없다.
5동작 — 파일 하나를 열어 읽고 닫는 프로그램 추적
직접 실행 환경 = WSL2 Ubuntu 22.04 · 리눅스 5.15.167 · x86-64 · gcc 11.4.0 · glibc 2.35 · strace 5.16. 13바이트 파일 note.txt 를 열어 읽고 화면에 쓴 뒤 닫고, 시각을 한 번 읽고, 없는 파일 missing.txt 를 연 다음 끝나는 C 프로그램을 strace 로 본다. main 앞 동적 링커의 호출 33개(execve · mmap 등)는 뺀다.
- 프로그램이 open("note.txt", O_RDONLY) 를 부르면 glibc 포장 함수가 openat 으로 바꿔 rax = 257, rdi = AT_FDCWD, rsi = 문자열 주소, rdx = O_RDONLY 를 채운다(syscall_64.tbl · open(2)).
syscall명령이 다음 명령 주소를 RCX, RFLAGS 를 R11 에 남기고 특권 수준을 0으로 바꿔 IA32_LSTAR 의 진입 주소로 뛴다(Intel SDM SYSCALL).- 진입 코드가 레지스터를 저장하고 호출 표 257번의 openat 서비스 함수가 경로 문자열을 사용자 메모리에서 읽어 권한을 확인한 뒤, 비어 있는 가장 작은 번호 3을 rax 에 넣고 사용자 모드로 돌아온다(open(2)) — strace 줄
openat(AT_FDCWD, "note.txt", O_RDONLY) = 3. - read(3, buf, 64) 는 0번으로 13을, write(1, buf, 13) 은 1번으로 13을, close(3) 은 3번으로 0을 돌려준다(1 ~ 3 과 같은 길).
- clock_gettime(CLOCK_MONOTONIC) 은 vDSO 함수로 사용자 모드에서 끝나 strace 출력에 줄이 없다(vdso(7)).
- openat(AT_FDCWD, "missing.txt", O_RDONLY) 에서 커널이 rax = −2 를 돌려주고 포장 함수가 errno = ENOENT 로 바꿔 −1 을 반환한다(intro(2)) — strace 줄
= -1 ENOENT (No such file or directory). - main 이 끝나면 exit_group(0) 231번이 프로세스를 끝내고 돌아오지 않는다 — strace 줄
exit_group(0) = ?.
그림 4 · openat 한 번은 포장 함수가 레지스터를 채우고 syscall 명령이 경계를 넘긴 뒤 커널이 rax 로 결과를 돌려주며, 실패는 −2 가 포장 함수에서 −1 · ENOENT 로 바뀐다.
그림 5 · 특권 수준은 시스템 호출마다 3 → 0 → 3 으로 오르내리지만 vDSO 호출에서는 그대로이며, 커널 진입 수는 호출 수가 아니라 실제 시스템 호출 수만큼 는다.
🔑 시스템 호출은 모드 전환이지 문맥 교환이 아니다 — 같은 실행 환경에서 getpid 를 1,000,000번 부르는 동안 /proc/self/status 의 문맥 교환 수 두 항목(자발 · 비자발)은 모두 0 이었고, 교환은 호출이 커널 안에서 기다릴 때만 생긴다.
같은 환경에서 잰 한 번 비용은 getpid 시스템 호출 약 60 ns, vDSO clock_gettime 약 16 ns, syscall() 로 직접 부른 clock_gettime 약 88 ns 였다(이 실행 환경의 값 · 100만 번 평균). 문맥 교환 자체의 비용 · 고르는 규칙은 프로세스 · 스레드와 CPU 스케줄링이 맡는다.
6비교 — 인터럽트 · 예외 · vDSO 호출과의 차이
| 기준 | 시스템 호출 | 하드웨어 인터럽트 | 예외 | vDSO 호출 |
|---|---|---|---|---|
| 일으키는 쪽 | 응용이 명령으로 | 장치 | 실행 중인 명령(페이지 폴트 · 0 나누기) | 응용이 함수 호출로 |
| 때 | 동기 — 코드가 정한 위치 | 비동기 — 아무 명령 사이 | 동기 — 문제가 된 명령에서 | 동기 |
| x86-64 입구 | syscall → IA32_ | IDT 벡터(entry_ | IDT 의 예외 벡터(divide_ | 없음 — 사용자 공간 코드 |
| 모드 전환 | 있음 | 사용자 모드 중이면 있음 | 사용자 모드 중이면 있음 | 없음 |
| 끝난 뒤 | 트랩 다음 명령 · 결과는 rax | 끊긴 명령으로 돌아감 | 고치면 그 명령 다시 · 못 고치면 시그널(SIGSEGV 등) | 바로 반환 |
| strace 에 보이나 | 보임 | 보이지 않음 | 시그널로만 보임 | 보이지 않음(vdso(7)) |
분석프로그램이 «부른» 커널 진입만 시스템 호출이고, 장치가 부른 것은 인터럽트 · 명령이 잘못돼 생긴 것은 예외로 나눠야 원인을 바로 찾는다. 근거는 표의 「일으키는 쪽」 · 「x86-64 입구」 행 — 셋은 입구부터 다르고(entry_64 문서), 32비트 int $0x80 만 소프트웨어 인터럽트 꼴로 시스템 호출을 들어간다(syscall(2)).
7실무 진단 — 느림과 멈춤을 호출 단위로 가르기
분석먼저 strace -c 로 호출 «수»를 보고, 다음에 -T · -p 로 «오래 걸린 하나»를 본다. strace 자체가 호출마다 추적을 끼워 넣어 이 실행 환경에서 getpid 한 번이 약 60 ns 에서 11 µs 로 늘었으므로(strace(1) -c 출력), 추적 중 시간 값보다 calls · errors 열이 믿을 만하다.
| # | 증상 | 의심 원인 | 구분 | 확인 명령 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 응답 없이 멈춤 | 커널 안에서 끝나지 않는 호출(read · futex · poll 대기) | 커널 대기 | strace -f -p <PID> | 마지막 줄이 read( 처럼 반환 없이 멈춤 = 그 호출이 기다리는 자원(strace(1)) |
| 2 | CPU 의 시스템 시간이 높고 처리량은 낮음 | 작은 read · write 를 수십만 번 | 호출 수 | strace -c -f -p <PID> | 한 호출 이름의 calls 가 압도적 · usecs/call 작음 → 버퍼 키우기 · 묶어 쓰기(strace(1)) |
| 3 | 「파일이 없다」 오류만 남김 | 실제로 연 경로가 예상과 다름 | 호출 인자 | strace -f -e trace= | = -1 ENOENT 줄의 경로 문자열(intro(2) · strace(1)) |
| 4 | 새 기능이 특정 서버에서만 실패 | 커널에 없는 호출(예: 5.1 이전 커널의 io_ | 커널 판 | strace -e trace= · uname -r | = -1 ENOSYS = 그 번호 미구현(syscall(2) · syscalls(2)) |
멈춤부터 보는 까닭은 기다리는 호출 이름이 볼 곳(장치 · 잠금 · 망)을 정하기 때문이다. 멈춤이 아니면 호출 수를 보고, 호출이 거의 없는데 느리면 사용자 공간 계산(프로파일러) 쪽이다.
8시험 대비
www.q-net.or.kr시험에서는 사용자 모드에서 커널 모드로 들어갔다 나오는 과정을 묻는 동작 · 절차 설명형, 포장 함수 · 트랩 · 호출 표 · 종류를 묻는 구조 · 구성형이 나올 수 있다. 동작형이면 한 호출의 레지스터 값을 순서도로 따라가고, 구조형이면 구성 요소 그림 다음에 다섯 종류 표와 인터럽트 비교를 붙인다.
- 개요 — 정의 · 사용자 모드(CPL 3) ↔ 커널 모드(CPL 0) · 포장 함수와 POSIX.1-2024
- 구조 — 그림 3 구조도(포장 함수 · 트랩 명령 · 진입 코드 · 시스템 호출 표 · 서비스 함수 · vDSO) + 요소 표
- 호출 절차 — 그림 4 순서도(rax 호출 번호 · 인자 레지스터 6 · RCX · R11 저장 · 반환값 · −1 과 errno)
- 종류 — 프로세스 · 파일 · 장치 · 정보 · 통신 다섯 종류 표 + x86-64 번호 예(read 0 · openat 257)
- 비용과 개선 — 그림 5 특권 수준 그래프 + 수치(getpid 약 60 ns · vDSO 약 16 ns · PTI CR3 쓰기 약 100 사이클) · vDSO · io_uring
- 인터럽트 · 예외와 비교 — 비교표(일으키는 쪽 · 동기 여부 · 입구 · 끝난 뒤)
꼭 쓸 키워드
사용자 모드커널 모드트랩호출 번호시스템 호출 표포장 함수errnovDSO모드 전환strace
차이를 내는 한 가지는 그림 5 처럼 호출 수 · 커널 진입 수 · 문맥 교환 수를 숫자로 가르는 것이다.
9오해와 사실
- 오해시스템 호출은 소프트웨어 인터럽트로 들어간다.사실x86-64 는 IDT 를 거치지 않는 전용 명령
syscall과 진입점을 쓰고,int $0x80은 32비트 호환 입구다(entry_64 문서 · syscall(2)). - 오해호출 번호는 리눅스라면 어디서나 같다.사실번호는 아키텍처마다 달라 write 는 x86-64 에서 1번, arm64 · RISC-V 가 쓰는 공통 표에서는 64번이다(syscall_64.tbl · asm-generic unistd.h).
- 오해C 의 open() 은 open 시스템 호출을 부른다.사실이 실행 환경의 glibc 2.35 는 open() 을 openat(257번)으로 바꿔 불렀고 strace 에도 openat 만 보였다 — 이름이 같아도 포장 함수와 실제 호출은 일대일이 아니다(open(2)).
10핵심 정리
| 종류 | 대표 호출(x86-64 번호) | 다루는 것 | strace 묶음 | 오래 막힐 수 있는 때 | 흔한 실패 |
|---|---|---|---|---|---|
| 프로세스 제어 | fork 57 · execve 59 · wait4 61 · exit_ | 생성 · 교체 · 종료 · 기다림 | %process | wait4 = 자식이 끝날 때까지 | EAGAIN(프로세스 수 한도) |
| 파일 관리 | openat 257 · read 0 · write 1 · close 3 | 파일 · 디렉터리 | %file · %desc | 디스크 · 네트워크 파일 시스템 응답 | ENOENT · EACCES |
| 장치 관리 | ioctl 16 · read · write | 장치 파일 제어 · 입출력 | %desc | 장치 응답 대기 | ENOTTY(장치가 모르는 요청) |
| 정보 유지 | getpid 39 · uname 63 · clock_ | 식별 · 시스템 정보 · 시각 | 이름 지정(clock_ | 거의 없음 | 거의 없음 |
| 통신 | pipe 22 · socket 41 · connect 42 · kill 62 | 파이프 · 소켓 · 시그널 | %ipc · %network · %signal | connect · 받기 대기 | ECONNREFUSED |
| 메모리 관리 | mmap 9 · munmap · mprotect | 주소 공간 붙이기 · 권한 | %memory | 거의 없음 | ENOMEM |
11참고 문헌
- 먼저 볼 문헌
- ★ syscall(2) Linux manual page — 아키텍처별 트랩 명령 · 호출 번호 · 인자 · 반환값 레지스터 표를 볼 때
- ★ intro(2) Linux manual page — 포장 함수가 음수 반환값을 -1 과 errno 로 바꾸는 규칙을 볼 때
- ★ vdso(7) Linux manual page — 커널에 들어가지 않고 끝나는 호출과 그 목록 · strace 에 안 보이는 까닭을 볼 때
- ★ strace(1) Linux manual page — -c · -T · -f · -e trace= 로 호출을 관찰하는 법을 볼 때
- ★ The UNIX Time-Sharing System (Dennis M. Ritchie · Ken Thompson) — 장치 차이를 없애는 입출력 호출 설계가 나온 배경을 볼 때
- 본문 근거
- syscalls(2) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man2/syscalls.2.html· 확인 2026-11-04 - open(2) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man2/open.2.html· 확인 2026-11-04 - io_uring(7) Linux manual page — man7.org · 2026-11 ·
man7.org/linux/man-pages/man7/io_uring.7.html· 확인 2026-11-04 - Linux kernel documentation · x86 Kernel Entries (entry_64) — kernel.org · 2026-11 ·
docs.kernel.org/arch/x86/entry_64.html· 확인 2026-11-04 - Linux kernel documentation · Page Table Isolation (PTI) — kernel.org · 2026-11 ·
docs.kernel.org/arch/x86/pti.html· 확인 2026-11-04 - Linux kernel arch/x86/entry/syscalls/syscall_64.tbl — kernel.org · 2026-11 ·
github.com/torvalds/linux/blob/master/arch/x86/entry/syscalls/syscall_64.tbl· 확인 2026-11-04 - Linux kernel include/uapi/asm-generic/unistd.h — kernel.org · 2026-11 ·
github.com/torvalds/linux/blob/master/include/uapi/asm-generic/unistd.h· 확인 2026-11-04 - Intel 64 and IA-32 Architectures Software Developer's Manual · SYSCALL — Intel · 2026-11 ·
www.intel.com/content/www/us/en/developer/articles/technical/intel-sdm.html· 확인 2026-11-04 - IEEE 1003.1-1988 Portable Operating System Interface for Computer Environments — IEEE · 1988-09 ·
standards.ieee.org/ieee/1003.1/1388/· 확인 2026-11-04 - The Open Group Base Specifications Issue 8 (IEEE Std 1003.1-2024) System Interfaces — The Open Group · IEEE · 2024-06 ·
pubs.opengroup.org/onlinepubs/9799919799/· 확인 2026-11-04 - Meltdown: Reading Kernel Memory from User Space (Lipp 외) — USENIX Security Symposium 2018 · 2018-08 ·
www.usenix.org/conference/usenixsecurity18/presentation/lipp· 확인 2026-11-04