온디바이스 AIOn-device AI
휴대폰 · PC · 웨어러블 같은 개인 기기 안에서 학습된 모델을 직접 실행해, 입력 데이터를 서버로 보내지 않고 추론하는 방식이다. 기기의 메모리 · 전력 · 발열 한도 안에 모델을 맞추고, 기기가 감당하지 못하는 요청만 클라우드로 넘긴다.
1요약
- 온디바이스 AI 는 AI 운영의 경량화 끝에서 모델을 사용자 손 안의 기기로 옮기는 배치 방식으로, 앱 · 런타임 · CPU · GPU · NPU 가 한 칩과 한 DRAM 을 나눠 쓰며 그 위에서 키보드 다음 낱말 예측 · 사진 분류 · 10억 매개변수 안팎의 대화 모델이 돈다.
- 휴대폰 DRAM 은 6 ~ 12 GB 이고 운영체제 · 다른 앱과 나눠 쓰므로 앱 하나는 DRAM 의 10% 안에 머물러야 하며, 7B 모델은 토큰당 0.7 J 을 써서 50 kJ 배터리로 초당 10토큰 대화를 2시간도 이어 가지 못한다(Liu 2024 1절).
- 「기기에서 AI 가 느리다」는 메모리 · 발열 · 연산 배정 중 어디서 막혔는가로 가른다 — 처음부터 느리면 모델 크기 대비 메모리 대역폭, 몇 분 뒤 느려지면 발열 제한, 일부 연산만 느리면 NPU 가 못 받은 연산이 CPU 로 넘어간 것이다.
2등장 배경
2010년대 초 음성 비서 · 사진 분류는 입력을 서버로 보내 처리했다. 망이 끊기면 기능이 멈췄고, 음성 · 사진 같은 개인 데이터가 기기 밖으로 나갔으며, 왕복 지연이 응답마다 붙었다.
2016년 2월 McMahan 외는 데이터를 기기에 둔 채 각 기기에서 학습한 모델만 평균하는 방법을 내놓아 통신 횟수를 동기식 SGD 대비 10 ~ 100분의 1로 줄였고(McMahan 2017 초록), 2018년 휴대폰 키보드 다음 낱말 예측이 이 방식으로 학습됐다(Hard 2018). 2017년 4월 Howard 외의 MobileNets 는 깊이별 분리 합성곱으로 모바일용 경량 구조를 정리했고(Howard 2017 초록), 같은 해 Kang 외는 신경망을 계층 단위로 잘라 앞부분은 휴대폰, 뒷부분은 서버에서 돌리는 분담을 제안했다(Kang 2017).
거대 언어 모델이 나오며 문제는 «기기 메모리에 들어가는가»로 옮겨 갔다. Alizadeh 외(2023)는 DRAM 의 두 배 크기 모델을 플래시에서 나눠 읽어 돌렸고(Alizadeh 2024 초록), Liu 외(2024)는 10억 개 미만 매개변수 모델의 구조를 기기 예산에 맞춰 설계했다. 지금은 작은 모델을 기기에, 큰 모델을 클라우드에 두는 하이브리드 분담이 일반적인 형태다.
3쉽게 이해하기 — 포켓 사전을 챙긴 등산객
등산객 하린은 말이 통하지 않는 나라의 산길을 걷는다. 배낭 한 칸에 1.2 kg 까지만 넣을 수 있어 두꺼운 사전 대신 얇은 포켓 사전을 챙겼다. 길 묻기 같은 쉬운 문장은 사전을 펴 바로 해결하고, 숙소 계약서처럼 어려운 글은 신호가 잡힐 때 통역 센터에 전화한다. 산속에서 신호가 끊겨도 사전은 그대로 쓰고, 일기장 내용은 누구에게도 읽어 주지 않는다.
그림 1 · 하린은 쉬운 문장은 배낭 속 사전으로, 어려운 글은 신호가 있을 때만 통역 센터로 풀고, 일기장은 밖으로 내보내지 않는다.
그림 2 · 배낭 한 칸 1.2 kg 에 6 kg 사전은 넘치고 0.5 kg 요약본은 메모장까지 들어가듯, 앱 몫 1.2 GB 에 3B FP16 은 넘치고 1B 4비트는 KV 캐시까지 들어간다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 하린 | 사용자 · 개인 기기 | 휴대폰 · PC · 웨어러블에서 입력을 만든다 |
| 배낭 한 칸 1.2 kg | 앱 몫 메모리 예산 | DRAM 의 약 10% 안에 가중치 · KV 캐시를 둔다 |
| 얇은 포켓 사전 | 경량 모델 | 양자화 · 가지치기 · 지식 증류로 줄인 모델 |
| 사전으로 바로 찾기 | 기기 안 추론 | 망 왕복 없이 CPU · GPU · NPU 에서 실행 |
| 신호 확인 | 라우팅 규칙 | 망 상태 · 요청 크기 · 동의로 처리 위치를 정한다 |
| 통역 센터 | 클라우드 모델 | 기기가 감당 못 하는 긴 문맥 · 큰 모델 요청 |
| 일기장 | 개인 데이터 | 기기 밖으로 보내지 않는 입력 |
| 지치는 체력 | 배터리 · 발열 | 오래 돌리면 클럭이 내려가 느려진다 |
⚠ 비유가 맞지 않는 곳: 사전은 펼쳐 읽기만 하지만 모델은 토큰 하나를 낼 때마다 가중치 전부를 메모리에서 다시 읽는다. 그래서 기기에서는 «들어가는가»뿐 아니라 «얼마나 빨리 읽는가»(메모리 대역폭)가 속도를 정한다(그림 5).
4구조 — 한 칩 · 한 DRAM 을 나눠 쓰는 실행 단위
개인 기기는 CPU · GPU · NPU 가 한 SoC 안에 있고 DRAM 하나를 함께 쓴다. 그래서 모델 크기는 연산기가 아니라 «운영체제 · 다른 앱이 남겨 준 메모리»가 먼저 정한다(Liu 2024 1절).
그림 3 · 기기 안 모델은 앱 몫 DRAM 에 올라가 CPU · GPU · NPU 가 나눠 계산하고, 런타임의 라우팅 규칙이 넘치는 요청만 클라우드로 보낸다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| DRAM 앱 몫 | 가중치 · KV 캐시를 담는 예산 | DRAM 6 ~ 12 GB · 앱 몫 10% 안(Liu 2024 1절) |
| 플래시 저장소 | 모델 파일 보관 · 실행 때 적재 | DRAM 2배 모델을 나눠 읽기 · CPU 4 ~ 5배 빨라짐(Alizadeh 2024 초록) |
| 런타임 | 모델 형식 해석 · 연산을 CPU · GPU · NPU 에 배정 | 못 받는 연산은 CPU 로 대체 실행 |
| NPU | 정수 행렬 곱 전용 연산기 | 세부 구조는 NPU 에서 다룸 |
| 배터리 · 발열 | 지속 성능의 상한 | 토큰당 0.1 J × 10억 매개변수(Liu 2024 1절 추정) |
| 라우팅 규칙 | 기기 · 클라우드 처리 위치 결정 | 계층 단위 분할의 출발(Kang 2017) |
모델을 줄이는 방법 자체는 양자화 · 가지치기 · 지식 증류에서, 공장 장비 · 게이트웨이 쪽 배치는 엣지 AI 에서 다루고, 온디바이스 AI 는 «개인 기기의 예산 안에 무엇을 두고 무엇을 넘기나»를 맡는다.
5동작 — 휴대폰에서 메시지 요약하기
아래 값은 원문 식으로 직접 계산한 것이다 — DRAM 12 GB 는 Liu 2024 1절의 기기 범위, 메모리 대역폭 60 GB/s · NPU 실효 10 TOPS · 모델 구성(16 계층 · KV 헤드 8 · 헤드 차원 64)은 설명용 가정 값이다.
- 예산 — DRAM 12 GB × 10% = 1.2 GB 를 앱 몫으로 잡는다(Liu 2024 1절).
- 모델 고르기 — 3B FP16 은 6 GB, 3B 4비트는 1.5 GB 로 둘 다 넘친다 · 1B 4비트 = 0.5 GB 를 고른다.
- KV 캐시 — 토큰당 2 × 16 × 8 × 64 × 2 B = 32,768 B · 문맥 2,048 토큰이면 64 MiB → 합 약 0.57 GB 로 예산 안(KV 헤드 공유 = Ainslie 2023).
- 프리필 — 메시지 500 토큰 × 2 × 10억 = 1조 회 연산 ÷ 10 TOPS = 약 0.1 s 뒤 첫 토큰.
- 디코드 — 토큰마다 가중치 0.5 GB 를 읽으므로 60 ÷ 0.5 = 상한 120 토큰/s · 요약 200 토큰 = 약 1.7 s(대역폭 상한 = Williams 2009).
- 에너지 — 1B 모델 = 토큰당 0.1 J · 200 토큰 = 20 J = 배터리 50 kJ 의 0.04%(Liu 2024 1절 추정 계수).
- 분담 — 6,000 토큰 문서는 문맥 2,048 을 넘어 클라우드 전송 동의를 묻고, 망이 없으면 앞 2,048 토큰만 기기에서 요약한 뒤 그 사실을 알린다.
그림 4 · 짧은 메시지는 프리필 0.1 s · 디코드 1.7 s 로 기기 안에서 끝나고, 문맥을 넘는 문서만 동의를 받은 뒤 클라우드로 간다.
그림 5 · 같은 대역폭 60 GB/s 에서 토큰 속도 상한은 모델 바이트 수에 반비례하고, 앱 몫 1.2 GB 선 왼쪽에 든 모델만 기기에서 돈다.
🔑 기기에서 토큰 속도를 정하는 것은 연산기 성능보다 «토큰마다 다시 읽는 모델 바이트 수»다 — 같은 기기에서 4비트 1B 모델은 FP16 1B 모델보다 상한이 4배 높다.
🔑 온디바이스 AI 의 설계는 «무엇을 기기에 두는가»가 아니라 «무엇을 기기 밖으로 넘기지 않아도 되는가»를 정하는 일이다 — 예산 밖 요청은 동의 · 망 조건이 붙은 클라우드 몫이다.
6비교 — 실행 위치별 배치
| 기준 | 온디바이스 AI | 하이브리드 분담 | 클라우드 추론 | 엣지 AI(현장 장비) |
|---|---|---|---|---|
| 실행 위치 | 개인 기기 SoC | 기기 + 클라우드 | 데이터센터 GPU | 공장 장비 · 게이트웨이 |
| 모델 크기 | 앱 몫 1.2 GB 안(사례) | 작은 모델 + 큰 모델 | 수십 ~ 수백 GB | 장비 전원 · 메모리 안 |
| 망이 끊기면 | 그대로 동작 | 기기 몫만 동작 | 멈춤 | 현장 안에서 동작 |
| 개인 데이터 | 기기 밖으로 안 나감 | 넘길 때 동의 필요 | 서버로 전송 | 현장 데이터 · 사업장 관리 |
| 비용 부담 | 사용자 배터리 · 기기 | 나눠 짐 | 서비스 운영자 서버 | 장비 운영자 |
| 모델 갱신 | 앱 갱신 · 내려받기 | 서버 쪽은 바로 | 서버에서 바로 | 장비별 배포 |
분석입력이 개인 데이터이고 망 없이도 돌아야 하면 온디바이스, 요청 대부분이 짧고 일부만 긴 문맥이면 하이브리드, 모델이 앱 몫 예산을 넘는 일이면 클라우드를 고른다. 근거는 표의 「모델 크기」 · 「망이 끊기면」 행과 사례 2 · 7단계 — 예산을 넘는 3B 모델은 기기에서 돌 수 없고, 넘기는 요청만 동의 · 망 조건을 진다.
7실무 진단 — 기기에서 AI 가 느리거나 멈출 때
분석메모리 → 적재 → 연산 배정 → 발열 → 품질 순으로 본다. 메모리 초과는 앱 종료로 다른 증상을 모두 가리므로 먼저 걸러야 하고, 발열은 몇 분이 지나야 드러나므로 짧은 시험으로는 잡히지 않는다(Liu 2024 1절 · 표 1행 · 4행).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 앱이 실행 중 강제 종료 | 가중치 + KV 캐시가 앱 몫 초과 | 메모리 | 프로세스 메모리 사용량 · 문맥 길이별 기록 | DRAM 의 10% 안(Liu 2024 1절) |
| 2 | 첫 응답까지 수 초 | 모델 파일을 플래시에서 통째로 적재 | 적재 | 첫 실행 · 두 번째 실행 시간 비교 | 나눠 읽기로 CPU 4 ~ 5배(Alizadeh 2024) |
| 3 | 토큰 속도가 상한의 절반 아래 | NPU 가 못 받은 연산이 CPU 로 대체 실행 | 연산 배정 | 프로파일러의 연산별 배정 · 시간 | 대역폭 ÷ 모델 바이트(Williams 2009) |
| 4 | 몇 분 뒤 속도가 떨어짐 | 발열 제한으로 클럭 하향 | 발열 | 기기 온도 상태 값 · 시간별 토큰 속도 | 첫 1분과 10분 뒤 속도 비교 |
| 5 | 서버 쪽보다 답 품질이 낮음 | 작은 모델 · 양자화 오차 | 품질 | 같은 입력의 기기 · 서버 출력 대조 | 차이가 크면 라우팅 기준 조정 |
연산 배정 문제는 모델을 바꾸지 않고 런타임 설정 · 연산 종류만 바꿔 풀리는 경우가 많아, 모델을 더 줄이기 전에 먼저 본다. 양자화 오차 자체를 가르는 순서는 양자화에서 다룬다.
8시험 대비
www.q-net.or.kr시험에서는 온디바이스 AI 의 정의 · 등장 이유 · 제약(메모리 · 전력 · 개인정보 · 오프라인)을 묻는 정의 · 특징형, 그리고 작은 언어 모델 · 하이브리드 분담 · 연합 학습으로 가는 흐름을 묻는 동향 · 발전형이 나올 수 있다. 제약을 낱말로 나열하기보다 앱 몫 예산과 대역폭 상한을 숫자로 보이면 정의 수준을 넘는다.
- 개요 — 정의 · 클라우드 추론과의 차이 · 등장 배경(MobileNets 2017 · 연합 학습 2016)
- 구조 — 그림 3 앱 · 런타임 · CPU · GPU · NPU · 공유 DRAM · 플래시 · 클라우드 라우팅
- 제약 — 앱 몫 10% · 토큰당 에너지 0.1 J × 10억 매개변수 · 발열 제한
- 동작 사례 — 그림 4 예산 → 모델 고르기 → 프리필 · 디코드 → 분담
- 핵심 원리 — 그림 5 토큰 속도 상한 = 대역폭 ÷ 모델 바이트 · 경량화 기법과의 관계
- 비교와 동향 — 온디바이스 · 하이브리드 · 클라우드 · 엣지 AI 표 · 작은 언어 모델 · 플래시 나눠 읽기
꼭 쓸 키워드
앱 몫 메모리 예산메모리 대역폭토큰당 에너지발열 제한하이브리드 분담라우팅 규칙오프라인 동작연합 학습작은 언어 모델
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «같은 기기에서 1B 4비트 120 토큰/s · 3B FP16 은 예산 초과»를 한 그래프로 보이는 것이다 — 「기기 성능이 낮다」 대신 무엇이 속도와 실행 여부를 정하는지를 숫자로 가른다.
9오해와 사실
- 오해기기에서 돌리면 서버보다 언제나 빠르다.사실망 왕복은 없어지지만 디코드 속도는 기기 메모리 대역폭에 묶여, 사례 가정에서 3B FP16 의 상한은 10 토큰/s 였다(Williams 2009 · 그림 5).
- 오해메모리가 12 GB 면 10 GB 모델도 돌릴 수 있다.사실DRAM 은 운영체제 · 다른 앱과 나눠 쓰므로 앱 하나는 10% 안에 머물러야 한다(Liu 2024 1절).
- 오해온디바이스 AI 는 학습을 하지 않는다.사실연합 학습은 데이터를 기기에 둔 채 기기에서 학습한 모델만 모으며, 휴대폰 키보드 예측이 이 방식으로 학습됐다(McMahan 2017 · Hard 2018).
10핵심 정리
| 구분 | 맡는 일 | 제약 · 값 | 넘기는 곳 | 근거 |
|---|---|---|---|---|
| 앱 몫 메모리 | 가중치 · KV 캐시 보관 | DRAM 6 ~ 12 GB 의 10% | 넘치면 더 작은 모델 · 클라우드 | Liu 2024 1절 |
| 대역폭 상한 | 디코드 속도 결정 | 60 ÷ 0.5 = 120 토큰/s(가정) | 경량화 · 추론 최적화 | Williams 2009 |
| 배터리 · 발열 | 지속 성능 상한 | 토큰당 0.1 J × 10억 매개변수 | 짧은 요청만 기기에서 | Liu 2024 1절 |
| 플래시 적재 | DRAM 밖 모델 보관 · 나눠 읽기 | DRAM 2배 모델 | 첫 응답 지연 관리 | Alizadeh 2024 |
| 라우팅 규칙 | 기기 · 클라우드 분담 | 문맥 2,048 초과 = 넘김(사례) | 클라우드 추론 | Kang 2017 |
| 개인 데이터 | 기기 안에서 처리 | 넘길 때 동의 | AI와 개인정보 | McMahan 2017 |
| 연합 학습 | 기기에서 학습 · 모델만 모음 | 통신 10 ~ 100분의 1 | 연합 학습 | McMahan 2017 |
11참고 문헌
- 먼저 볼 문헌
- ★ MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases (ICML 2024 · arXiv:2402.14905) — 휴대폰 DRAM 의 앱 몫 10% · 토큰당 에너지 추정 계수를 볼 때
- ★ LLM in a flash: Efficient Large Language Model Inference with Limited Memory (ACL 2024 · arXiv:2312.11514) — DRAM 보다 큰 모델을 플래시에서 나눠 읽는 방법을 볼 때
- ★ Communication-Efficient Learning of Deep Networks from Decentralized Data (AISTATS 2017 · arXiv:1602.05629) — 데이터를 기기에 둔 채 모델을 학습하는 방법의 출발점을 볼 때
- ★ MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (arXiv:1704.04861) — 모바일용 경량 신경망 구조의 출발점을 볼 때
- 본문 근거
- Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge (ASPLOS 2017) — Kang et al. · ACM · 2017-04 ·
doi.org/10.1145/3037697.3037698· 확인 2026-11-12 - Federated Learning for Mobile Keyboard Prediction (arXiv:1811.03604) — Hard et al. · 2018-11 ·
arxiv.org/abs/1811.03604· 확인 2026-11-12 - Roofline: An Insightful Visual Performance Model for Multicore Architectures (Communications of the ACM 52(4)) — Williams · Waterman · Patterson · 2009-04 ·
doi.org/10.1145/1498765.1498785· 확인 2026-11-12 - GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (EMNLP 2023 · arXiv:2305.13245) — Ainslie et al. · 2023-05 ·
arxiv.org/abs/2305.13245· 확인 2026-11-12