AI › AI 엔지니어링(AI 시스템 운영) › 경량화

온디바이스 AIOn-device AI

휴대폰 · PC · 웨어러블 같은 개인 기기 안에서 학습된 모델을 직접 실행해, 입력 데이터를 서버로 보내지 않고 추론하는 방식이다. 기기의 메모리 · 전력 · 발열 한도 안에 모델을 맞추고, 기기가 감당하지 못하는 요청만 클라우드로 넘긴다.

1요약

  1. 온디바이스 AI 는 AI 운영의 경량화 끝에서 모델을 사용자 손 안의 기기로 옮기는 배치 방식으로, 앱 · 런타임 · CPU · GPU · NPU 가 한 칩과 한 DRAM 을 나눠 쓰며 그 위에서 키보드 다음 낱말 예측 · 사진 분류 · 10억 매개변수 안팎의 대화 모델이 돈다.
  2. 휴대폰 DRAM 은 6 ~ 12 GB 이고 운영체제 · 다른 앱과 나눠 쓰므로 앱 하나는 DRAM 의 10% 안에 머물러야 하며, 7B 모델은 토큰당 0.7 J 을 써서 50 kJ 배터리로 초당 10토큰 대화를 2시간도 이어 가지 못한다(Liu 2024 1절).
  3. 「기기에서 AI 가 느리다」는 메모리 · 발열 · 연산 배정 중 어디서 막혔는가로 가른다 — 처음부터 느리면 모델 크기 대비 메모리 대역폭, 몇 분 뒤 느려지면 발열 제한, 일부 연산만 느리면 NPU 가 못 받은 연산이 CPU 로 넘어간 것이다.

2등장 배경

2010년대 초 음성 비서 · 사진 분류는 입력을 서버로 보내 처리했다. 망이 끊기면 기능이 멈췄고, 음성 · 사진 같은 개인 데이터가 기기 밖으로 나갔으며, 왕복 지연이 응답마다 붙었다.

2016년 2월 McMahan 외는 데이터를 기기에 둔 채 각 기기에서 학습한 모델만 평균하는 방법을 내놓아 통신 횟수를 동기식 SGD 대비 10 ~ 100분의 1로 줄였고(McMahan 2017 초록), 2018년 휴대폰 키보드 다음 낱말 예측이 이 방식으로 학습됐다(Hard 2018). 2017년 4월 Howard 외의 MobileNets 는 깊이별 분리 합성곱으로 모바일용 경량 구조를 정리했고(Howard 2017 초록), 같은 해 Kang 외는 신경망을 계층 단위로 잘라 앞부분은 휴대폰, 뒷부분은 서버에서 돌리는 분담을 제안했다(Kang 2017).

거대 언어 모델이 나오며 문제는 «기기 메모리에 들어가는가»로 옮겨 갔다. Alizadeh 외(2023)는 DRAM 의 두 배 크기 모델을 플래시에서 나눠 읽어 돌렸고(Alizadeh 2024 초록), Liu 외(2024)는 10억 개 미만 매개변수 모델의 구조를 기기 예산에 맞춰 설계했다. 지금은 작은 모델을 기기에, 큰 모델을 클라우드에 두는 하이브리드 분담이 일반적인 형태다.

3쉽게 이해하기 — 포켓 사전을 챙긴 등산객

등산객 하린은 말이 통하지 않는 나라의 산길을 걷는다. 배낭 한 칸에 1.2 kg 까지만 넣을 수 있어 두꺼운 사전 대신 얇은 포켓 사전을 챙겼다. 길 묻기 같은 쉬운 문장은 사전을 펴 바로 해결하고, 숙소 계약서처럼 어려운 글은 신호가 잡힐 때 통역 센터에 전화한다. 산속에서 신호가 끊겨도 사전은 그대로 쓰고, 일기장 내용은 누구에게도 읽어 주지 않는다.

하린과 배낭 사용자 · 개인 기기 얇은 포켓 사전 경량 모델 한 칸 1.2 kg 까지 메모리 예산 1 쉬운 문장 사전을 펴 바로 해결 기기 안 추론 2 어려운 계약서 신호 있을 때 전화 통역 클라우드 모델 3 산속 · 신호 없음 사전은 그대로 쓴다 오프라인 동작 4 일기장 누구에게도 읽어 주지 않음 개인 데이터는 기기 안 5 오래 걸으면 지친다 사전을 오래 뒤지면 걸음이 느려짐 배터리 · 발열 한도 사람 · 기기 모델 예산 · 개인 데이터 처리 흐름 제약 · 끊김

그림 1 · 하린은 쉬운 문장은 배낭 속 사전으로, 어려운 글은 신호가 있을 때만 통역 센터로 풀고, 일기장은 밖으로 내보내지 않는다.

배낭 싸기한 칸 1.2 kg
얇은 사전두꺼운 사전은 두고 감
바로 찾기길 묻기 · 메뉴
신호 확인있으면 전화 · 없으면 사전만
통역 센터계약서만 맡김
일기장끝까지 혼자 봄
비유 — 배낭 한 칸 실제 — 앱 몫 메모리 두꺼운 사전 6 kg 한도의 5배 · 들어가지 않음 얇은 요약본 0.5 kg + 메모장 사전 합 0.57 kg · 들어감 한도 1.2 kg 3B 매개변수 · FP16 = 6 GB 앱 몫의 5배 · 실행 불가 1B 매개변수 · 4비트 + KV 캐시 0.5 GB 합 약 0.57 GB · 실행 앱 몫 1.2 GB 대응 — 배낭 한 칸 = DRAM 의 앱 몫(12 GB × 10%) · 사전 = 모델 가중치 · 메모장 = KV 캐시 막대 길이 = 1.2 를 폭 240 으로 그린 비례 · 6 kg · 6 GB 막대는 잘라 그림 모델 가중치 문맥 · KV 캐시 한도 초과(점선 테두리)

그림 2 · 배낭 한 칸 1.2 kg 에 6 kg 사전은 넘치고 0.5 kg 요약본은 메모장까지 들어가듯, 앱 몫 1.2 GB 에 3B FP16 은 넘치고 1B 4비트는 KV 캐시까지 들어간다.

비유 속 역할실제 이름실제로 하는 일
하린사용자 · 개인 기기휴대폰 · PC · 웨어러블에서 입력을 만든다
배낭 한 칸 1.2 kg앱 몫 메모리 예산DRAM 의 약 10% 안에 가중치 · KV 캐시를 둔다
얇은 포켓 사전경량 모델양자화 · 가지치기 · 지식 증류로 줄인 모델
사전으로 바로 찾기기기 안 추론망 왕복 없이 CPU · GPU · NPU 에서 실행
신호 확인라우팅 규칙망 상태 · 요청 크기 · 동의로 처리 위치를 정한다
통역 센터클라우드 모델기기가 감당 못 하는 긴 문맥 · 큰 모델 요청
일기장개인 데이터기기 밖으로 보내지 않는 입력
지치는 체력배터리 · 발열오래 돌리면 클럭이 내려가 느려진다

⚠ 비유가 맞지 않는 곳: 사전은 펼쳐 읽기만 하지만 모델은 토큰 하나를 낼 때마다 가중치 전부를 메모리에서 다시 읽는다. 그래서 기기에서는 «들어가는가»뿐 아니라 «얼마나 빨리 읽는가»(메모리 대역폭)가 속도를 정한다(그림 5).

4구조 — 한 칩 · 한 DRAM 을 나눠 쓰는 실행 단위

개인 기기는 CPU · GPU · NPU 가 한 SoC 안에 있고 DRAM 하나를 함께 쓴다. 그래서 모델 크기는 연산기가 아니라 «운영체제 · 다른 앱이 남겨 준 메모리»가 먼저 정한다(Liu 2024 1절).

개인 기기(휴대폰 · PC · 웨어러블) 앱 — 사용자 입력 · 개인 데이터 런타임 모델 형식 · 연산 배정 · 라우팅 규칙 CPU GPU NPU 공유 DRAM · 앱 몫 약 10% 가중치 · KV 캐시 · 대역폭 공유 플래시 모델 파일 적재 동의 · 망 상태 조건 클라우드 모델 긴 문맥 · 큰 모델 망 왕복 지연 배터리 · 발열 클럭 제한 → 속도 저하 모델 · 규칙 데이터 제약 사용자

그림 3 · 기기 안 모델은 앱 몫 DRAM 에 올라가 CPU · GPU · NPU 가 나눠 계산하고, 런타임의 라우팅 규칙이 넘치는 요청만 클라우드로 보낸다.

요소역할값 · 근거
DRAM 앱 몫가중치 · KV 캐시를 담는 예산DRAM 6 ~ 12 GB · 앱 몫 10% 안(Liu 2024 1절)
플래시 저장소모델 파일 보관 · 실행 때 적재DRAM 2배 모델을 나눠 읽기 · CPU 4 ~ 5배 빨라짐(Alizadeh 2024 초록)
런타임모델 형식 해석 · 연산을 CPU · GPU · NPU 에 배정못 받는 연산은 CPU 로 대체 실행
NPU정수 행렬 곱 전용 연산기세부 구조는 NPU 에서 다룸
배터리 · 발열지속 성능의 상한토큰당 0.1 J × 10억 매개변수(Liu 2024 1절 추정)
라우팅 규칙기기 · 클라우드 처리 위치 결정계층 단위 분할의 출발(Kang 2017)

모델을 줄이는 방법 자체는 양자화 · 가지치기 · 지식 증류에서, 공장 장비 · 게이트웨이 쪽 배치는 엣지 AI 에서 다루고, 온디바이스 AI 는 «개인 기기의 예산 안에 무엇을 두고 무엇을 넘기나»를 맡는다.

5동작 — 휴대폰에서 메시지 요약하기

아래 값은 원문 식으로 직접 계산한 것이다 — DRAM 12 GB 는 Liu 2024 1절의 기기 범위, 메모리 대역폭 60 GB/s · NPU 실효 10 TOPS · 모델 구성(16 계층 · KV 헤드 8 · 헤드 차원 64)은 설명용 가정 값이다.

  1. 예산 — DRAM 12 GB × 10% = 1.2 GB 를 앱 몫으로 잡는다(Liu 2024 1절).
  2. 모델 고르기 — 3B FP16 은 6 GB, 3B 4비트는 1.5 GB 로 둘 다 넘친다 · 1B 4비트 = 0.5 GB 를 고른다.
  3. KV 캐시 — 토큰당 2 × 16 × 8 × 64 × 2 B = 32,768 B · 문맥 2,048 토큰이면 64 MiB → 합 약 0.57 GB 로 예산 안(KV 헤드 공유 = Ainslie 2023).
  4. 프리필 — 메시지 500 토큰 × 2 × 10억 = 1조 회 연산 ÷ 10 TOPS = 약 0.1 s 뒤 첫 토큰.
  5. 디코드 — 토큰마다 가중치 0.5 GB 를 읽으므로 60 ÷ 0.5 = 상한 120 토큰/s · 요약 200 토큰 = 약 1.7 s(대역폭 상한 = Williams 2009).
  6. 에너지 — 1B 모델 = 토큰당 0.1 J · 200 토큰 = 20 J = 배터리 50 kJ 의 0.04%(Liu 2024 1절 추정 계수).
  7. 분담 — 6,000 토큰 문서는 문맥 2,048 을 넘어 클라우드 전송 동의를 묻고, 망이 없으면 앞 2,048 토큰만 기기에서 요약한 뒤 그 사실을 알린다.
사용자 기기(런타임 · NPU) 클라우드 1 예산 1.2 GB 2 1B 4비트 0.5 GB 3 KV 64 MiB · 합 0.57 GB 메시지 500 토큰 요약 4 프리필 1조 회 ÷ 10 TOPS = 0.1 s 5 디코드 200 토큰 · 120 토큰/s 요약 · 약 1.8 s 6 20 J · 배터리 0.04% 7 6,000 토큰 · 동의 뒤 전송 결과 · 망 없으면 앞 2,048 토큰만 기기에서 굵은 선 = 요청 · 회색 선 = 응답 · 점선 굵은 선 = 클라우드로 넘김(조건부)

그림 4 · 짧은 메시지는 프리필 0.1 s · 디코드 1.7 s 로 기기 안에서 끝나고, 문맥을 넘는 문서만 동의를 받은 뒤 클라우드로 간다.

토큰 속도 상한 = 대역폭 ÷ 모델 바이트 · 60 GB/s(가정) 0 60 120 180 0 1 2 3 4 5 6 GB 모델 가중치 크기(토큰마다 다시 읽는 양) 앱 몫 1.2 GB ← 350M 8비트 · 171 ← 1B 4비트 · 120 3B 4비트 · 40 1B FP16 · 30 3B FP16 · 10 예산 안 예산 초과 상한 곡선 굵은 테두리 = 사례 모델

그림 5 · 같은 대역폭 60 GB/s 에서 토큰 속도 상한은 모델 바이트 수에 반비례하고, 앱 몫 1.2 GB 선 왼쪽에 든 모델만 기기에서 돈다.

🔑 기기에서 토큰 속도를 정하는 것은 연산기 성능보다 «토큰마다 다시 읽는 모델 바이트 수»다 — 같은 기기에서 4비트 1B 모델은 FP16 1B 모델보다 상한이 4배 높다.

🔑 온디바이스 AI 의 설계는 «무엇을 기기에 두는가»가 아니라 «무엇을 기기 밖으로 넘기지 않아도 되는가»를 정하는 일이다 — 예산 밖 요청은 동의 · 망 조건이 붙은 클라우드 몫이다.

6비교 — 실행 위치별 배치

기준온디바이스 AI하이브리드 분담클라우드 추론엣지 AI(현장 장비)
실행 위치개인 기기 SoC기기 + 클라우드데이터센터 GPU공장 장비 · 게이트웨이
모델 크기앱 몫 1.2 GB 안(사례)작은 모델 + 큰 모델수십 ~ 수백 GB장비 전원 · 메모리 안
망이 끊기면그대로 동작기기 몫만 동작멈춤현장 안에서 동작
개인 데이터기기 밖으로 안 나감넘길 때 동의 필요서버로 전송현장 데이터 · 사업장 관리
비용 부담사용자 배터리 · 기기나눠 짐서비스 운영자 서버장비 운영자
모델 갱신앱 갱신 · 내려받기서버 쪽은 바로서버에서 바로장비별 배포

분석입력이 개인 데이터이고 망 없이도 돌아야 하면 온디바이스, 요청 대부분이 짧고 일부만 긴 문맥이면 하이브리드, 모델이 앱 몫 예산을 넘는 일이면 클라우드를 고른다. 근거는 표의 「모델 크기」 · 「망이 끊기면」 행과 사례 2 · 7단계 — 예산을 넘는 3B 모델은 기기에서 돌 수 없고, 넘기는 요청만 동의 · 망 조건을 진다.

7실무 진단 — 기기에서 AI 가 느리거나 멈출 때

분석메모리 → 적재 → 연산 배정 → 발열 → 품질 순으로 본다. 메모리 초과는 앱 종료로 다른 증상을 모두 가리므로 먼저 걸러야 하고, 발열은 몇 분이 지나야 드러나므로 짧은 시험으로는 잡히지 않는다(Liu 2024 1절 · 표 1행 · 4행).

#증상의심 원인구분확인 자료판정 기준(근거)
1앱이 실행 중 강제 종료가중치 + KV 캐시가 앱 몫 초과메모리프로세스 메모리 사용량 · 문맥 길이별 기록DRAM 의 10% 안(Liu 2024 1절)
2첫 응답까지 수 초모델 파일을 플래시에서 통째로 적재적재첫 실행 · 두 번째 실행 시간 비교나눠 읽기로 CPU 4 ~ 5배(Alizadeh 2024)
3토큰 속도가 상한의 절반 아래NPU 가 못 받은 연산이 CPU 로 대체 실행연산 배정프로파일러의 연산별 배정 · 시간대역폭 ÷ 모델 바이트(Williams 2009)
4몇 분 뒤 속도가 떨어짐발열 제한으로 클럭 하향발열기기 온도 상태 값 · 시간별 토큰 속도첫 1분과 10분 뒤 속도 비교
5서버 쪽보다 답 품질이 낮음작은 모델 · 양자화 오차품질같은 입력의 기기 · 서버 출력 대조차이가 크면 라우팅 기준 조정

연산 배정 문제는 모델을 바꾸지 않고 런타임 설정 · 연산 종류만 바꿔 풀리는 경우가 많아, 모델을 더 줄이기 전에 먼저 본다. 양자화 오차 자체를 가르는 순서는 양자화에서 다룬다.

8시험 대비

출제 정보 정보관리(127회) · 컴퓨터시스템응용(137회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 온디바이스 AI 의 정의 · 등장 이유 · 제약(메모리 · 전력 · 개인정보 · 오프라인)을 묻는 정의 · 특징형, 그리고 작은 언어 모델 · 하이브리드 분담 · 연합 학습으로 가는 흐름을 묻는 동향 · 발전형이 나올 수 있다. 제약을 낱말로 나열하기보다 앱 몫 예산과 대역폭 상한을 숫자로 보이면 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의 · 클라우드 추론과의 차이 · 등장 배경(MobileNets 2017 · 연합 학습 2016)
  2. 구조 — 그림 3 앱 · 런타임 · CPU · GPU · NPU · 공유 DRAM · 플래시 · 클라우드 라우팅
  3. 제약 — 앱 몫 10% · 토큰당 에너지 0.1 J × 10억 매개변수 · 발열 제한
  4. 동작 사례 — 그림 4 예산 → 모델 고르기 → 프리필 · 디코드 → 분담
  5. 핵심 원리 — 그림 5 토큰 속도 상한 = 대역폭 ÷ 모델 바이트 · 경량화 기법과의 관계
  6. 비교와 동향 — 온디바이스 · 하이브리드 · 클라우드 · 엣지 AI 표 · 작은 언어 모델 · 플래시 나눠 읽기

꼭 쓸 키워드
앱 몫 메모리 예산메모리 대역폭토큰당 에너지발열 제한하이브리드 분담라우팅 규칙오프라인 동작연합 학습작은 언어 모델

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «같은 기기에서 1B 4비트 120 토큰/s · 3B FP16 은 예산 초과»를 한 그래프로 보이는 것이다 — 「기기 성능이 낮다」 대신 무엇이 속도와 실행 여부를 정하는지를 숫자로 가른다.

9오해와 사실

  • 오해기기에서 돌리면 서버보다 언제나 빠르다.
    사실망 왕복은 없어지지만 디코드 속도는 기기 메모리 대역폭에 묶여, 사례 가정에서 3B FP16 의 상한은 10 토큰/s 였다(Williams 2009 · 그림 5).
  • 오해메모리가 12 GB 면 10 GB 모델도 돌릴 수 있다.
    사실DRAM 은 운영체제 · 다른 앱과 나눠 쓰므로 앱 하나는 10% 안에 머물러야 한다(Liu 2024 1절).
  • 오해온디바이스 AI 는 학습을 하지 않는다.
    사실연합 학습은 데이터를 기기에 둔 채 기기에서 학습한 모델만 모으며, 휴대폰 키보드 예측이 이 방식으로 학습됐다(McMahan 2017 · Hard 2018).

10핵심 정리

구분맡는 일제약 · 값넘기는 곳근거
앱 몫 메모리가중치 · KV 캐시 보관DRAM 6 ~ 12 GB 의 10%넘치면 더 작은 모델 · 클라우드Liu 2024 1절
대역폭 상한디코드 속도 결정60 ÷ 0.5 = 120 토큰/s(가정)경량화 · 추론 최적화Williams 2009
배터리 · 발열지속 성능 상한토큰당 0.1 J × 10억 매개변수짧은 요청만 기기에서Liu 2024 1절
플래시 적재DRAM 밖 모델 보관 · 나눠 읽기DRAM 2배 모델첫 응답 지연 관리Alizadeh 2024
라우팅 규칙기기 · 클라우드 분담문맥 2,048 초과 = 넘김(사례)클라우드 추론Kang 2017
개인 데이터기기 안에서 처리넘길 때 동의AI와 개인정보McMahan 2017
연합 학습기기에서 학습 · 모델만 모음통신 10 ~ 100분의 1연합 학습McMahan 2017

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases (ICML 2024 · arXiv:2402.14905) — 휴대폰 DRAM 의 앱 몫 10% · 토큰당 에너지 추정 계수를 볼 때
    Liu et al. · 2024-02 · arxiv.org/abs/2402.14905 · 확인 2026-11-12
  3. ★ LLM in a flash: Efficient Large Language Model Inference with Limited Memory (ACL 2024 · arXiv:2312.11514) — DRAM 보다 큰 모델을 플래시에서 나눠 읽는 방법을 볼 때
    Alizadeh et al. · 2023-12 · arxiv.org/abs/2312.11514 · 확인 2026-11-12
  4. ★ Communication-Efficient Learning of Deep Networks from Decentralized Data (AISTATS 2017 · arXiv:1602.05629) — 데이터를 기기에 둔 채 모델을 학습하는 방법의 출발점을 볼 때
    McMahan et al. · 2016-02 · arxiv.org/abs/1602.05629 · 확인 2026-11-12
  5. ★ MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications (arXiv:1704.04861) — 모바일용 경량 신경망 구조의 출발점을 볼 때
    Howard et al. · 2017-04 · arxiv.org/abs/1704.04861 · 확인 2026-11-12
  6. 본문 근거
  7. Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge (ASPLOS 2017) — Kang et al. · ACM · 2017-04 · doi.org/10.1145/3037697.3037698 · 확인 2026-11-12
  8. Federated Learning for Mobile Keyboard Prediction (arXiv:1811.03604) — Hard et al. · 2018-11 · arxiv.org/abs/1811.03604 · 확인 2026-11-12
  9. Roofline: An Insightful Visual Performance Model for Multicore Architectures (Communications of the ACM 52(4)) — Williams · Waterman · Patterson · 2009-04 · doi.org/10.1145/1498765.1498785 · 확인 2026-11-12
  10. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (EMNLP 2023 · arXiv:2305.13245) — Ainslie et al. · 2023-05 · arxiv.org/abs/2305.13245 · 확인 2026-11-12