엣지 AIEdge AI
학습된 모델을 공장 카메라 · 센서 옆 게이트웨이 · 현장 서버처럼 데이터가 생기는 곳 가까이에 두고 추론하는 배치 구조다. 현장은 판정과 결과 요약을 맡고, 클라우드는 학습 · 모델 저장 · 장비 관리를 맡아 서명된 모델을 내려보낸다.
1요약
- 엣지 AI 는 AI 운영 가운데 추론 · 하드웨어에서 모델을 공장 카메라 · 게이트웨이 · 현장 서버처럼 데이터가 생기는 곳 가까이에 두는 배치 구조로, 그 위에서 외관 판정 · 이상 경보처럼 수십 ms 안에 답해야 하는 추론이 돌고 학습 · 모델 관리는 클라우드에 남는다.
- 카메라 1대의 1080p · 30 fps 영상은 압축하지 않으면 초당 1.49 Gbit 이고, 장치 · 엣지 · 클라우드에 신경망을 나눠 둔 방식은 원본을 클라우드로 보내는 방식보다 통신량을 20배 넘게 줄였다(Teerapittayanon 2017 초록).
- 「엣지로 옮길까」는 지연 예산 · 상향 대역폭 · 망 단절 허용 셋으로 가른다 — 판정이 왕복 지연이나 단절을 견디지 못하거나 원본이 회선 몫을 넘으면 현장에서, 셋 다 견디면 클라우드에서 판정한다.
2등장 배경
클라우드가 퍼진 2000년대 후반, 센서 · 카메라 데이터는 멀리 있는 데이터센터로 올라가 처리됐다. 왕복 지연이 판정마다 붙었고, 회선이 끊기면 판정이 멈췄으며, 영상처럼 큰 원본은 회선 비용이 컸다.
2009년 10월 Satyanarayanan 외는 무선 LAN 한 구간 거리에 둔 작은 데이터센터(클라우드렛)에 가상 머신으로 서비스를 띄워 먼 클라우드의 지연을 피하자고 제안했다(Satyanarayanan 2009). 통신 업계는 2016년 3월 기지국 쪽 서버 구조를 GS MEC 003 첫 판으로 정했고 지금 V3.2.1(2024-04)이 현행이다(ETSI GS MEC 003). 2017년 9월 Teerapittayanon 외는 신경망 앞부분을 장치에, 뒷부분을 엣지 · 클라우드에 두는 분산 구조를 내놓았고(Teerapittayanon 2017), NIST 는 2018년 3월 게이트웨이 · 스위치 · 서버를 포그 노드로 정의했다(NIST SP 500-325 2.2절).
2019년 Zhou 외는 이 흐름을 «엣지 인텔리전스»로 묶어 엣지의 학습 · 추론 기술을 정리했다(Zhou 2019). 지금은 공장 · 매장 · 도로의 카메라 판정처럼 지연과 단절에 약한 일이 엣지로, 재학습 · 모델 관리가 클라우드로 나뉘는 분담이 일반적인 형태다.
3쉽게 이해하기 — 택배 분류 센터의 반장과 본사
택배 회사 지역 분류 센터의 반장 민호는 컨베이어 앞 카메라 화면을 보며 찌그러진 상자를 그 자리에서 빼낸다. 본사에 일일이 전화로 묻지 않고, 본사가 보낸 판정 매뉴얼을 따른다. 하루가 끝나면 영상 테이프 대신 한 장짜리 보고서와 불량 사진 몇 장만 본사로 부친다. 본사 전화가 끊긴 날에도 판정은 계속하고 보고서는 서랍에 쌓아 두며, 새 매뉴얼은 본사 봉인 도장과 일련번호가 맞는 것만 받는다.
그림 1 · 판정은 분류 센터의 반장이 매뉴얼로 그 자리에서 하고, 본사로는 보고서만 올라가며, 본사는 봉인된 새 매뉴얼을 내려보낸다.
그림 2 · 영상 테이프 전부를 부치면 트럭 16대분이고 보고서 · 불량 사진만 부치면 1대분이듯, 카메라 4대의 압축 영상 16 Mbps 는 판정 결과 · 불량 사진 1.02 Mbps 로 준다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 컨베이어 카메라 | 장치 엣지 | 촬영 · 센서 값 생성 · 연산은 거의 없음 |
| 반장 민호 | 엣지 게이트웨이 · 현장 서버 | 모델로 현장에서 추론 · 판정 |
| 판정 매뉴얼 | 배포된 모델 | 클라우드에서 학습해 내려보낸 모델 파일 |
| 불량 빼내기 | 현장 제어 | PLC 에 배출 신호 · 지연 예산 안 |
| 일일 보고서 | 결과 · 요약 상향 | 판정 결과 · 불량 사진 · 통계만 전송 |
| 보고서 서랍 | 저장 후 전송 버퍼 | 망 단절 동안 결과를 쌓고 복구 뒤 전송 |
| 본사 연구실 | 클라우드 | 재학습 · 모델 저장소 · 장비 상태 관리 |
| 봉인 도장 · 일련번호 | 서명 · 시퀀스 번호 | 위조 · 옛 모델로 되돌리기를 거부 |
⚠ 비유가 맞지 않는 곳: 반장은 애매한 상자를 보면 스스로 판단을 늘리지만, 엣지 모델은 배포된 판 그대로 판정하고 현장 조명 · 제품이 바뀌어도 스스로 배우지 않는다. 그래서 현장 판정 분포를 클라우드가 계속 보고 재학습 시점을 정해야 한다(그림 4 의 8단계).
4구조 — 장치 · 현장 · 근거리 · 클라우드 네 계층
엣지 AI 는 데이터가 생기는 장치에서 클라우드까지를 네 계층으로 나누고, 계층마다 맡는 연산과 오가는 데이터를 정한다. NIST 는 장치 바로 위 마이크로컨트롤러 단을 미스트, 게이트웨이 · 서버 단을 포그로 부른다(NIST SP 500-325 2.2 · 2.9절).
그림 3 · 판정은 현장 엣지에서 끝나고, 클라우드로는 결과 · 요약이 올라가며, 클라우드에서는 서명된 모델 · 설정이 내려온다.
| 요소 | 역할 | 값 · 근거 |
|---|---|---|
| 장치 엣지 | 촬영 · 센서 값 · 제어 신호 | 미스트 = 마이크로컨트롤러 단(NIST SP 500-325 2.9절) |
| 현장 엣지 | 추론 · 판정 · 버퍼 · 전처리 | 포그 노드 = 게이트웨이 · 스위치 · 서버(NIST SP 500-325 2.2절) |
| 근거리 엣지(MEC) | 여러 현장이 공유하는 통신망 쪽 서버 | 조정기가 지연 · 자원 조건으로 호스트 선택(ETSI GS MEC 003 7.1.4.1절) |
| 클라우드 | 학습 · 재학습 · 모델 저장소 | 상태 추적기 = 새 판 알림 · 장비 정보 수집(RFC 9019 2.3절) |
| 매니페스트 | 모델 파일의 서명 · 대상 · 번호 | 시퀀스 번호 단조 증가 필수(RFC 9124 4.3.1절) |
| 결과 · 요약 상향 | 판정 결과 · 불량 사진 · 분포 통계 | 사례 1.02 Mbps(동작 5단계) |
모델을 줄이는 기법은 양자화, 개인 기기 안 실행은 온디바이스 AI, 가속기 구조는 NPU · AI 가속기가 다룬다. 엣지 AI 는 «현장 장비 무리에 무엇을 두고 무엇을 올리며 모델을 어떻게 내려보내나»를 맡는다.
5동작 — 검사 카메라 4대 라인의 판정과 모델 갱신
아래 값은 원문 식으로 직접 계산한 것이다 — 모델 연산량 1.8 × 10^9 회(ResNet-18 · He 2016 표 1)만 원문 값이고, 라인 속도 · 카메라 수 · 가속기 실효 속도 · 불량률 · 사진 크기 · 압축 영상 4 Mbps 는 설명용 가정 값이다. 판정 방법 자체는 비전 검사가 다룬다.
- 지연 예산 — 컨베이어 0.5 m/s · 카메라에서 배출기까지 0.3 m → 판정은 600 ms 안에 끝나야 한다.
- 촬영 — 카메라 4대 × 30 fps = 초당 120장을 224 × 224 로 줄여 현장 게이트웨이로 보낸다.
- 추론 — 장당 1.8 × 10^9 회 ÷ 실효 1조 회/s = 1.8 ms · 초당 120장이면 216 ms 로 가속기의 22% 를 쓴다.
- 배출 — 불량 판정은 PLC 배출 신호로 바로 간다 · 프레임 간격 33 ms + 추론 1.8 ms + 신호 10 ms ≈ 45 ms 로 예산의 1/13 이다.
- 상향 — 결과 64 B × 120 = 61 kbps, 불량 1% × 100 KB JPEG = 0.96 Mbps → 합 1.02 Mbps 로 압축 영상 16 Mbps 의 1/16 이다.
- 단절 — 클라우드 회선이 4시간 끊기면 1.02 Mbps × 14,400 s = 1.84 GB 를 게이트웨이 저장소에 쌓고 판정은 그대로 이어 간다.
- 갱신 — 클라우드가 재학습한 모델 12 MB 에 시퀀스 번호 42 → 43 · 장비 종류 식별자를 넣고 서명한 매니페스트를 보내면, 게이트웨이는 서명 · 대상 · 번호를 검사한 뒤 내려받는다(RFC 9124 4.3.1 · 4.3.2절).
- 전환 — 새 모델을 옛 모델 옆에서 1시간 섀도로 돌려 판정 일치율을 본 뒤 바꾸고, 옛 모델 파일은 복구용으로 남긴다(RFC 9019 4절).
그림 4 · 판정은 촬영부터 약 45 ms 에 현장에서 끝나고, 클라우드 회선이 끊겨도 결과만 쌓일 뿐이며, 새 모델은 서명 · 번호 검사와 섀도 운전을 거쳐 바뀐다.
그림 5 · 신경망을 자르는 위치의 출력 크기가 전송량을 정한다 — 카메라 1대 몫 15 Mbps 아래로 내려오는 것은 conv4_x 뒤부터다.
🔑 엣지 AI 에서 클라우드로 올라가는 것은 원본 데이터가 아니라 판정이고, 내려오는 것은 명령이 아니라 서명된 모델이다.
🔑 분할 추론의 전송량은 자르는 계층의 출력 크기가 정한다 — conv1 출력 802,816 값은 입력 150,528 값의 5.3배라서, 앞에서 자르면 원본보다 더 많이 보낸다(He 2016 표 1 직접 계산).
6비교 — 엣지와 클라우드의 분담 방식
| 기준 | 원본 전송 · 클라우드 판정 | 엣지 판정 · 결과 전송 | 분할 추론 | 계단식(조기 종료) | 연합 학습 |
|---|---|---|---|---|---|
| 올리는 것 | 영상 · 센서 원본 | 판정 결과 · 불량 사진 | 중간 계층 출력 | 엣지가 확신 못 한 표본 | 모델 갱신값 |
| 카메라 1대 상향(사례) | 압축 4 Mbps | 0.26 Mbps | 6 ~ 193 Mbps(그림 5) | 넘기는 비율에 비례 | 학습 주기마다 |
| 회선이 끊기면 | 판정 멈춤 | 판정 계속 · 결과 버퍼 | 판정 멈춤 | 엣지 몫만 판정 | 학습만 늦어짐 |
| 판정 지연 | 회선 왕복 + 대기 | 현장 약 45 ms(사례) | 앞부분 + 전송 + 뒷부분 | 대부분 현장 · 일부 왕복 | 추론과 무관 |
| 모델 | 큰 모델 그대로 | 장비에 맞춘 모델 | 큰 모델을 나눔 | 작은 모델 + 큰 모델 | 데이터는 현장에 남음 |
| 근거 | 동작 5단계 | 동작 4 · 5단계 | He 2016 표 1 | 통신량 20배 넘게 감소(Teerapittayanon 2017) | 통신 횟수 10 ~ 100분의 1(McMahan 2017) |
분석판정이 회선 단절 중에도 이어져야 하는 제어 일이면 엣지 판정 · 결과 전송, 엣지 장비로는 정확도가 모자라고 애매한 표본이 적으면 계단식, 회선 여유가 크고 지연 예산이 넉넉한 사후 분석이면 원본 전송을 고른다. 근거는 표의 「회선이 끊기면」 · 「판정 지연」 행이며, 분할 추론은 그림 5 처럼 뒤쪽 계층에서 자를 때만 원본 전송보다 전송이 준다.
개인 기기 · 클라우드 · 현장 장비라는 실행 위치끼리의 비교는 온디바이스 AI 에서 다룬다.
7실무 진단 — 현장 판정이 늦거나 어긋날 때
분석지연 → 모델 판 → 데이터 분포 → 회선 · 버퍼 → 갱신 순으로 본다. 지연 초과는 불량이 배출기를 지나쳐 다른 증상을 모두 가리므로 먼저 거르고, 모델 판이 장비마다 다르면 분포 비교가 무의미해지므로 그다음에 맞춘다(표 1 · 2행 · RFC 9124 4.3.1절).
| # | 증상 | 의심 원인 | 구분 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 불량이 배출기를 지나침 | 추론 대기열 적체 · 가속기 대신 CPU 실행 | 지연 | 프레임별 촬영 → 신호 시간 기록 | 장당 처리 < 프레임 간격 33 ms · 전체 < 예산(사례 1 · 4단계) |
| 2 | 한 게이트웨이만 판정률이 다름 | 모델 판 불일치 · 갱신 누락 | 모델 판 | 장비별 매니페스트 시퀀스 번호 목록 | 모든 장비 같은 번호(RFC 9124 4.3.1절) |
| 3 | 모든 장비의 불량률이 서서히 변함 | 조명 · 제품 변경에 따른 입력 분포 변화 | 데이터 분포 | 판정 신뢰도 분포 · 불량 사진 표본 | 기준 기간 분포와 차이 → 드리프트의 절차 |
| 4 | 클라우드 화면에 결과 공백 | 회선 단절 · 버퍼 넘침 | 회선 · 버퍼 | 게이트웨이 버퍼 사용량 · 재전송 기록 | 단절 시간 × 1.02 Mbps < 저장소(사례 6단계) |
| 5 | 갱신 뒤 옛 모델로 되돌릴 수 없음 | 옛 매니페스트를 장비가 거부 | 갱신 | 갱신 상태 보고 · 거부 사유 | 옛 번호 거부는 정상 · 새 번호로 다시 서명(RFC 9124 3.2절) |
설치 중 전원이 끊겨 장비가 켜지지 않으면 복구 이미지 보관 여부부터 본다 — 갱신 구조는 중단에도 장비가 멈추지 않을 것을 요구한다(RFC 9019 3 · 4절).
8시험 대비
시험에서는 엣지 AI 의 정의 · 등장 이유 · 클라우드와의 차이를 묻는 정의 · 특징형, 그리고 장치 · 엣지 · 클라우드 분담 구조와 모델 배포 방법을 묻는 구조 · 구성형이 나올 수 있다. 「지연이 짧다」를 낱말로 쓰기보다 지연 예산 · 상향 전송량을 숫자로 보이면 정의 수준을 넘는다.
- 개요 — 정의 · 온디바이스 AI · 클라우드 추론과의 차이 · 등장 배경(클라우드렛 2009 · MEC 2016 · 분산 신경망 2017)
- 구조 — 그림 3 장치 · 현장 · 근거리 · 클라우드 네 계층 · 상향 결과 · 하향 모델
- 동작 사례 — 그림 4 지연 예산 600 ms → 추론 → 배출 45 ms → 상향 1.02 Mbps → 단절 버퍼 → 서명 갱신
- 핵심 원리 — 그림 5 자르는 위치별 전송량 · 앞 계층 출력이 입력보다 큼
- 분담 방식 비교 — 원본 전송 · 엣지 판정 · 분할 추론 · 계단식 · 연합 학습 표
- 운영 과제 — 서명 · 시퀀스 번호 · 복구 이미지 · 판정 분포 감시 · 동향(MEC · 5G 1 ms 요구)
꼭 쓸 키워드
지연 예산상향 대역폭저장 후 전송포그 노드MEC분할 추론조기 종료서명된 매니페스트시퀀스 번호섀도 전환
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «앞에서 자르면 원본보다 더 많이 보낸다»를 계층별 출력 크기로 보이는 것이다 — 「엣지는 전송을 줄인다」를 조건이 붙은 판단으로 바꾼다.
9오해와 사실
- 오해엣지 AI 와 온디바이스 AI 는 같은 말이다.사실온디바이스 AI 는 개인 기기 안 실행이고, 엣지 AI 는 게이트웨이 · 스위치 · 서버 같은 포그 노드가 여러 장치의 데이터를 모아 추론하는 현장 배치다(NIST SP 500-325 2.2절).
- 오해엣지에 두면 클라우드는 필요 없다.사실재학습 · 모델 저장 · 새 판 알림 · 장비 정보 수집은 클라우드 쪽 상태 추적기와 저장소가 맡는다(RFC 9019 2.3절).
- 오해5G 는 지연이 1 ms 이므로 클라우드 판정도 충분하다.사실1 ms 는 무선 구간 한쪽 방향 · 부하 없는 조건의 최소 요구이고 유선 구간 · 서버 처리는 들어 있지 않다(ITU-R M.2410 4.7.1절).
10핵심 정리
| 구분 | 맡는 일 | 값(사례 · 표준) | 넘기는 곳 | 근거 |
|---|---|---|---|---|
| 장치 엣지 | 촬영 · 센서 · 제어 신호 | 카메라 4대 × 30 fps(가정) | 현장 엣지 | NIST SP 500-325 |
| 현장 엣지 | 추론 · 판정 · 버퍼 | 1.8 ms/장 · 판정 45 ms | 결과를 클라우드로 | He 2016 표 1 |
| 근거리 엣지 | 여러 현장 공유 서버 | 무선 구간 1 ms 요구 | 지연 조건으로 호스트 선택 | ETSI GS MEC 003 · ITU-R M.2410 |
| 클라우드 | 재학습 · 모델 저장 · 장비 관리 | 왕복 수십 ms | 서명된 모델을 현장으로 | RFC 9019 |
| 상향 전송 | 결과 · 불량 사진 · 분포 | 1.02 Mbps(압축 영상의 1/16) | 모델 모니터링 · 드리프트 | 사례 5단계 |
| 매니페스트 | 서명 · 대상 · 번호 검사 | 번호 42 → 43 | 옛 번호 거부 | RFC 9124 4.3.1절 |
| 분할 위치 | 엣지 · 클라우드 연산 나눔 | conv1 = 입력의 5.3배 | 뒤쪽 계층에서 자름 | Teerapittayanon 2017 |
11참고 문헌
- 먼저 볼 문헌
- ★ Edge Intelligence: Paving the Last Mile of Artificial Intelligence with Edge Computing (Proceedings of the IEEE · arXiv:1905.10083) — 엣지 AI 의 구조 · 학습 · 추론 기술 전체를 개관할 때
- ★ Distributed Deep Neural Networks over the Cloud, the Edge and End Devices (ICDCS 2017 · arXiv:1709.01921) — 장치 · 엣지 · 클라우드에 신경망을 나눠 두고 전송량을 줄이는 방식을 볼 때
- ★ NIST SP 500-325 Fog Computing Conceptual Model — 포그 노드 · 미스트 계층의 정의와 배치 모델을 볼 때
- ★ RFC 9019 A Firmware Update Architecture for Internet of Things — 현장 장비 무리에 서명된 갱신을 안전하게 배포하는 구조를 볼 때
- 본문 근거
- ETSI GS MEC 003 V3.2.1 Multi-access Edge Computing (MEC); Framework and Reference Architecture — ETSI · 2024-04 ·
www.etsi.org/deliver/etsi_gs/MEC/001_099/003/03.02.01_60/gs_MEC003v030201p.pdf· 확인 2026-11-12 - RFC 9124 A Manifest Information Model for Firmware Updates in Internet of Things (IoT) Devices — IETF · 2022-01 ·
www.rfc-editor.org/rfc/rfc9124· 확인 2026-11-12 - Report ITU-R M.2410-0 Minimum requirements related to technical performance for IMT-2020 radio interface(s) — ITU-R · 2017-11 ·
www.itu.int/pub/R-REP-M.2410-2017· 확인 2026-11-12 - Deep Residual Learning for Image Recognition (CVPR 2016 · arXiv:1512.03385) — He et al. · 2015-12 ·
arxiv.org/abs/1512.03385· 확인 2026-11-12 - The Case for VM-Based Cloudlets in Mobile Computing (IEEE Pervasive Computing 8(4)) — Satyanarayanan · Bahl · Caceres · Davies · 2009-10 ·
doi.org/10.1109/MPRV.2009.82· 확인 2026-11-12 - Communication-Efficient Learning of Deep Networks from Decentralized Data (AISTATS 2017 · arXiv:1602.05629) — McMahan et al. · 2016-02 ·
arxiv.org/abs/1602.05629· 확인 2026-11-12