AI › AI 엔지니어링(AI 시스템 운영) › 추론 · 하드웨어

엣지 AIEdge AI

학습된 모델을 공장 카메라 · 센서 옆 게이트웨이 · 현장 서버처럼 데이터가 생기는 곳 가까이에 두고 추론하는 배치 구조다. 현장은 판정과 결과 요약을 맡고, 클라우드는 학습 · 모델 저장 · 장비 관리를 맡아 서명된 모델을 내려보낸다.

1요약

  1. 엣지 AI 는 AI 운영 가운데 추론 · 하드웨어에서 모델을 공장 카메라 · 게이트웨이 · 현장 서버처럼 데이터가 생기는 곳 가까이에 두는 배치 구조로, 그 위에서 외관 판정 · 이상 경보처럼 수십 ms 안에 답해야 하는 추론이 돌고 학습 · 모델 관리는 클라우드에 남는다.
  2. 카메라 1대의 1080p · 30 fps 영상은 압축하지 않으면 초당 1.49 Gbit 이고, 장치 · 엣지 · 클라우드에 신경망을 나눠 둔 방식은 원본을 클라우드로 보내는 방식보다 통신량을 20배 넘게 줄였다(Teerapittayanon 2017 초록).
  3. 「엣지로 옮길까」는 지연 예산 · 상향 대역폭 · 망 단절 허용 셋으로 가른다 — 판정이 왕복 지연이나 단절을 견디지 못하거나 원본이 회선 몫을 넘으면 현장에서, 셋 다 견디면 클라우드에서 판정한다.

2등장 배경

클라우드가 퍼진 2000년대 후반, 센서 · 카메라 데이터는 멀리 있는 데이터센터로 올라가 처리됐다. 왕복 지연이 판정마다 붙었고, 회선이 끊기면 판정이 멈췄으며, 영상처럼 큰 원본은 회선 비용이 컸다.

2009년 10월 Satyanarayanan 외는 무선 LAN 한 구간 거리에 둔 작은 데이터센터(클라우드렛)에 가상 머신으로 서비스를 띄워 먼 클라우드의 지연을 피하자고 제안했다(Satyanarayanan 2009). 통신 업계는 2016년 3월 기지국 쪽 서버 구조를 GS MEC 003 첫 판으로 정했고 지금 V3.2.1(2024-04)이 현행이다(ETSI GS MEC 003). 2017년 9월 Teerapittayanon 외는 신경망 앞부분을 장치에, 뒷부분을 엣지 · 클라우드에 두는 분산 구조를 내놓았고(Teerapittayanon 2017), NIST 는 2018년 3월 게이트웨이 · 스위치 · 서버를 포그 노드로 정의했다(NIST SP 500-325 2.2절).

2019년 Zhou 외는 이 흐름을 «엣지 인텔리전스»로 묶어 엣지의 학습 · 추론 기술을 정리했다(Zhou 2019). 지금은 공장 · 매장 · 도로의 카메라 판정처럼 지연과 단절에 약한 일이 엣지로, 재학습 · 모델 관리가 클라우드로 나뉘는 분담이 일반적인 형태다.

3쉽게 이해하기 — 택배 분류 센터의 반장과 본사

택배 회사 지역 분류 센터의 반장 민호는 컨베이어 앞 카메라 화면을 보며 찌그러진 상자를 그 자리에서 빼낸다. 본사에 일일이 전화로 묻지 않고, 본사가 보낸 판정 매뉴얼을 따른다. 하루가 끝나면 영상 테이프 대신 한 장짜리 보고서와 불량 사진 몇 장만 본사로 부친다. 본사 전화가 끊긴 날에도 판정은 계속하고 보고서는 서랍에 쌓아 두며, 새 매뉴얼은 본사 봉인 도장과 일련번호가 맞는 것만 받는다.

분류 센터(현장) 1 카메라 앞 소포 사진을 찍음 장치 · 센서 2 반장 민호 매뉴얼 보고 판정 엣지 게이트웨이 불량 빼냄 그 자리에서 현장 판정 보고서 서랍 끊긴 동안 쌓아 둠 저장 후 전송(버퍼) 5 전화 끊김 판정은 계속됨 본사 망 단절 본사(멀리) 본사 연구실 클라우드 · 학습 일일 보고서 결과 · 요약 수신 봉인 매뉴얼 서명된 모델 갱신 3 요약만 4 새 매뉴얼 데이터 · 장치 모델 · 학습 판정 · 결과 서명 · 번호 단절

그림 1 · 판정은 분류 센터의 반장이 매뉴얼로 그 자리에서 하고, 본사로는 보고서만 올라가며, 본사는 봉인된 새 매뉴얼을 내려보낸다.

카메라 보기컨베이어 앞 소포
반장 판정매뉴얼대로 바로
불량 빼기전화 없이 그 자리에서
보고서 부치기테이프 대신 한 장
서랍에 쌓기전화 끊긴 날
새 매뉴얼 받기도장 · 번호 확인
비유 — 본사로 부치는 짐 실제 — 카메라 4대의 상향 전송 하루 영상 테이프 전부 트럭 16대분 한 장 보고서 + 불량 사진 트럭 1대분 압축 영상 4 Mbps × 4대 16 Mbps · 한 달 5.18 TB 판정 결과 + 불량 사진 1% 1.02 Mbps · 한 달 0.33 TB 대응 — 테이프 = 영상 원본 · 보고서 = 판정 결과(장당 64 B) · 불량 사진 = 1% 장면만 올린 JPEG 막대 길이 = 16 을 폭 320 으로 그린 비례 · 값은 사례의 설명용 가정 값으로 계산 원본 데이터 판정 결과 · 요약

그림 2 · 영상 테이프 전부를 부치면 트럭 16대분이고 보고서 · 불량 사진만 부치면 1대분이듯, 카메라 4대의 압축 영상 16 Mbps 는 판정 결과 · 불량 사진 1.02 Mbps 로 준다.

비유 속 역할실제 이름실제로 하는 일
컨베이어 카메라장치 엣지촬영 · 센서 값 생성 · 연산은 거의 없음
반장 민호엣지 게이트웨이 · 현장 서버모델로 현장에서 추론 · 판정
판정 매뉴얼배포된 모델클라우드에서 학습해 내려보낸 모델 파일
불량 빼내기현장 제어PLC 에 배출 신호 · 지연 예산 안
일일 보고서결과 · 요약 상향판정 결과 · 불량 사진 · 통계만 전송
보고서 서랍저장 후 전송 버퍼망 단절 동안 결과를 쌓고 복구 뒤 전송
본사 연구실클라우드재학습 · 모델 저장소 · 장비 상태 관리
봉인 도장 · 일련번호서명 · 시퀀스 번호위조 · 옛 모델로 되돌리기를 거부

⚠ 비유가 맞지 않는 곳: 반장은 애매한 상자를 보면 스스로 판단을 늘리지만, 엣지 모델은 배포된 판 그대로 판정하고 현장 조명 · 제품이 바뀌어도 스스로 배우지 않는다. 그래서 현장 판정 분포를 클라우드가 계속 보고 재학습 시점을 정해야 한다(그림 4 의 8단계).

4구조 — 장치 · 현장 · 근거리 · 클라우드 네 계층

엣지 AI 는 데이터가 생기는 장치에서 클라우드까지를 네 계층으로 나누고, 계층마다 맡는 연산과 오가는 데이터를 정한다. NIST 는 장치 바로 위 마이크로컨트롤러 단을 미스트, 게이트웨이 · 서버 단을 포그로 부른다(NIST SP 500-325 2.2 · 2.9절).

장치 엣지 카메라 · 센서 PLC · 배출기 촬영 · 신호 연산 거의 없음 현장 엣지 게이트웨이 · 산업 PC 추론 · 판정 버퍼 · 전처리 현장망 안 수 ms 근거리 엣지 MEC 호스트(선택) 여러 현장 공유 무선 구간 1 ms 요구 ITU-R M.2410 클라우드 학습 · 재학습 모델 저장소 장비 상태 관리 왕복 수십 ms 판정 결과 · 요약 · 불량 사진(상향) 서명된 모델 · 설정(하향) 데이터 원천 모델 · 추론 · 학습(굵은 테두리 = 판정 계층) 선택 계층 상향 하향

그림 3 · 판정은 현장 엣지에서 끝나고, 클라우드로는 결과 · 요약이 올라가며, 클라우드에서는 서명된 모델 · 설정이 내려온다.

요소역할값 · 근거
장치 엣지촬영 · 센서 값 · 제어 신호미스트 = 마이크로컨트롤러 단(NIST SP 500-325 2.9절)
현장 엣지추론 · 판정 · 버퍼 · 전처리포그 노드 = 게이트웨이 · 스위치 · 서버(NIST SP 500-325 2.2절)
근거리 엣지(MEC)여러 현장이 공유하는 통신망 쪽 서버조정기가 지연 · 자원 조건으로 호스트 선택(ETSI GS MEC 003 7.1.4.1절)
클라우드학습 · 재학습 · 모델 저장소상태 추적기 = 새 판 알림 · 장비 정보 수집(RFC 9019 2.3절)
매니페스트모델 파일의 서명 · 대상 · 번호시퀀스 번호 단조 증가 필수(RFC 9124 4.3.1절)
결과 · 요약 상향판정 결과 · 불량 사진 · 분포 통계사례 1.02 Mbps(동작 5단계)

모델을 줄이는 기법은 양자화, 개인 기기 안 실행은 온디바이스 AI, 가속기 구조는 NPU · AI 가속기가 다룬다. 엣지 AI 는 «현장 장비 무리에 무엇을 두고 무엇을 올리며 모델을 어떻게 내려보내나»를 맡는다.

5동작 — 검사 카메라 4대 라인의 판정과 모델 갱신

아래 값은 원문 식으로 직접 계산한 것이다 — 모델 연산량 1.8 × 10^9 회(ResNet-18 · He 2016 표 1)만 원문 값이고, 라인 속도 · 카메라 수 · 가속기 실효 속도 · 불량률 · 사진 크기 · 압축 영상 4 Mbps 는 설명용 가정 값이다. 판정 방법 자체는 비전 검사가 다룬다.

  1. 지연 예산 — 컨베이어 0.5 m/s · 카메라에서 배출기까지 0.3 m → 판정은 600 ms 안에 끝나야 한다.
  2. 촬영 — 카메라 4대 × 30 fps = 초당 120장을 224 × 224 로 줄여 현장 게이트웨이로 보낸다.
  3. 추론 — 장당 1.8 × 10^9 회 ÷ 실효 1조 회/s = 1.8 ms · 초당 120장이면 216 ms 로 가속기의 22% 를 쓴다.
  4. 배출 — 불량 판정은 PLC 배출 신호로 바로 간다 · 프레임 간격 33 ms + 추론 1.8 ms + 신호 10 ms ≈ 45 ms 로 예산의 1/13 이다.
  5. 상향 — 결과 64 B × 120 = 61 kbps, 불량 1% × 100 KB JPEG = 0.96 Mbps → 합 1.02 Mbps 로 압축 영상 16 Mbps 의 1/16 이다.
  6. 단절 — 클라우드 회선이 4시간 끊기면 1.02 Mbps × 14,400 s = 1.84 GB 를 게이트웨이 저장소에 쌓고 판정은 그대로 이어 간다.
  7. 갱신 — 클라우드가 재학습한 모델 12 MB 에 시퀀스 번호 42 → 43 · 장비 종류 식별자를 넣고 서명한 매니페스트를 보내면, 게이트웨이는 서명 · 대상 · 번호를 검사한 뒤 내려받는다(RFC 9124 4.3.1 · 4.3.2절).
  8. 전환 — 새 모델을 옛 모델 옆에서 1시간 섀도로 돌려 판정 일치율을 본 뒤 바꾸고, 옛 모델 파일은 복구용으로 남긴다(RFC 9019 4절).
카메라 · PLC 현장 게이트웨이 클라우드 1 판정 예산 600 ms 2 초당 120장 · 224×224 3 추론 1.8 ms/장 · 가속기 22% 4 배출 신호 · 촬영부터 약 45 ms 5 결과 + 불량 사진 1.02 Mbps × 6 4시간 단절 · 1.84 GB 쌓음 7 모델 12 MB · 번호 43 · 서명 8 섀도 1시간 → 전환 · 옛 모델 보관 굵은 선 = 데이터 · 결과 흐름 · 회색 선 = 신호 · 모델 하향 · 점선 = 끊긴 회선

그림 4 · 판정은 촬영부터 약 45 ms 에 현장에서 끝나고, 클라우드 회선이 끊겨도 결과만 쌓일 뿐이며, 새 모델은 서명 · 번호 검사와 섀도 운전을 거쳐 바뀐다.

자르는 위치별 상향 전송량 · ResNet-18 · 30 fps · 값당 1 B 0.01 0.1 1 10 100 1000 Mbps 카메라 1대 몫 15 Mbps(가정) 36.1 192.7 48.2 24.1 12.0 6.0 0.12 0.015 입력 conv1 conv2_x conv3_x conv4_x conv5_x 평균 풀링 판정 결과 자르는 위치(왼쪽 = 엣지 연산 적음 · 오른쪽 = 엣지가 거의 다 계산) 회선 몫 초과 회선 몫 안 굵은 테두리 = 처음 들어오는 위치 · 출력 값 수 × 30 × 8 비트 · 압축 전 값

그림 5 · 신경망을 자르는 위치의 출력 크기가 전송량을 정한다 — 카메라 1대 몫 15 Mbps 아래로 내려오는 것은 conv4_x 뒤부터다.

🔑 엣지 AI 에서 클라우드로 올라가는 것은 원본 데이터가 아니라 판정이고, 내려오는 것은 명령이 아니라 서명된 모델이다.

🔑 분할 추론의 전송량은 자르는 계층의 출력 크기가 정한다 — conv1 출력 802,816 값은 입력 150,528 값의 5.3배라서, 앞에서 자르면 원본보다 더 많이 보낸다(He 2016 표 1 직접 계산).

6비교 — 엣지와 클라우드의 분담 방식

기준원본 전송 · 클라우드 판정엣지 판정 · 결과 전송분할 추론계단식(조기 종료)연합 학습
올리는 것영상 · 센서 원본판정 결과 · 불량 사진중간 계층 출력엣지가 확신 못 한 표본모델 갱신값
카메라 1대 상향(사례)압축 4 Mbps0.26 Mbps6 ~ 193 Mbps(그림 5)넘기는 비율에 비례학습 주기마다
회선이 끊기면판정 멈춤판정 계속 · 결과 버퍼판정 멈춤엣지 몫만 판정학습만 늦어짐
판정 지연회선 왕복 + 대기현장 약 45 ms(사례)앞부분 + 전송 + 뒷부분대부분 현장 · 일부 왕복추론과 무관
모델큰 모델 그대로장비에 맞춘 모델큰 모델을 나눔작은 모델 + 큰 모델데이터는 현장에 남음
근거동작 5단계동작 4 · 5단계He 2016 표 1통신량 20배 넘게 감소(Teerapittayanon 2017)통신 횟수 10 ~ 100분의 1(McMahan 2017)

분석판정이 회선 단절 중에도 이어져야 하는 제어 일이면 엣지 판정 · 결과 전송, 엣지 장비로는 정확도가 모자라고 애매한 표본이 적으면 계단식, 회선 여유가 크고 지연 예산이 넉넉한 사후 분석이면 원본 전송을 고른다. 근거는 표의 「회선이 끊기면」 · 「판정 지연」 행이며, 분할 추론은 그림 5 처럼 뒤쪽 계층에서 자를 때만 원본 전송보다 전송이 준다.

개인 기기 · 클라우드 · 현장 장비라는 실행 위치끼리의 비교는 온디바이스 AI 에서 다룬다.

7실무 진단 — 현장 판정이 늦거나 어긋날 때

분석지연 → 모델 판 → 데이터 분포 → 회선 · 버퍼 → 갱신 순으로 본다. 지연 초과는 불량이 배출기를 지나쳐 다른 증상을 모두 가리므로 먼저 거르고, 모델 판이 장비마다 다르면 분포 비교가 무의미해지므로 그다음에 맞춘다(표 1 · 2행 · RFC 9124 4.3.1절).

#증상의심 원인구분확인 자료판정 기준(근거)
1불량이 배출기를 지나침추론 대기열 적체 · 가속기 대신 CPU 실행지연프레임별 촬영 → 신호 시간 기록장당 처리 < 프레임 간격 33 ms · 전체 < 예산(사례 1 · 4단계)
2한 게이트웨이만 판정률이 다름모델 판 불일치 · 갱신 누락모델 판장비별 매니페스트 시퀀스 번호 목록모든 장비 같은 번호(RFC 9124 4.3.1절)
3모든 장비의 불량률이 서서히 변함조명 · 제품 변경에 따른 입력 분포 변화데이터 분포판정 신뢰도 분포 · 불량 사진 표본기준 기간 분포와 차이 → 드리프트의 절차
4클라우드 화면에 결과 공백회선 단절 · 버퍼 넘침회선 · 버퍼게이트웨이 버퍼 사용량 · 재전송 기록단절 시간 × 1.02 Mbps < 저장소(사례 6단계)
5갱신 뒤 옛 모델로 되돌릴 수 없음옛 매니페스트를 장비가 거부갱신갱신 상태 보고 · 거부 사유옛 번호 거부는 정상 · 새 번호로 다시 서명(RFC 9124 3.2절)

설치 중 전원이 끊겨 장비가 켜지지 않으면 복구 이미지 보관 여부부터 본다 — 갱신 구조는 중단에도 장비가 멈추지 않을 것을 요구한다(RFC 9019 3 · 4절).

8시험 대비

시험에서는 엣지 AI 의 정의 · 등장 이유 · 클라우드와의 차이를 묻는 정의 · 특징형, 그리고 장치 · 엣지 · 클라우드 분담 구조와 모델 배포 방법을 묻는 구조 · 구성형이 나올 수 있다. 「지연이 짧다」를 낱말로 쓰기보다 지연 예산 · 상향 전송량을 숫자로 보이면 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의 · 온디바이스 AI · 클라우드 추론과의 차이 · 등장 배경(클라우드렛 2009 · MEC 2016 · 분산 신경망 2017)
  2. 구조 — 그림 3 장치 · 현장 · 근거리 · 클라우드 네 계층 · 상향 결과 · 하향 모델
  3. 동작 사례 — 그림 4 지연 예산 600 ms → 추론 → 배출 45 ms → 상향 1.02 Mbps → 단절 버퍼 → 서명 갱신
  4. 핵심 원리 — 그림 5 자르는 위치별 전송량 · 앞 계층 출력이 입력보다 큼
  5. 분담 방식 비교 — 원본 전송 · 엣지 판정 · 분할 추론 · 계단식 · 연합 학습 표
  6. 운영 과제 — 서명 · 시퀀스 번호 · 복구 이미지 · 판정 분포 감시 · 동향(MEC · 5G 1 ms 요구)

꼭 쓸 키워드
지연 예산상향 대역폭저장 후 전송포그 노드MEC분할 추론조기 종료서명된 매니페스트시퀀스 번호섀도 전환

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «앞에서 자르면 원본보다 더 많이 보낸다»를 계층별 출력 크기로 보이는 것이다 — 「엣지는 전송을 줄인다」를 조건이 붙은 판단으로 바꾼다.

9오해와 사실

  • 오해엣지 AI 와 온디바이스 AI 는 같은 말이다.
    사실온디바이스 AI 는 개인 기기 안 실행이고, 엣지 AI 는 게이트웨이 · 스위치 · 서버 같은 포그 노드가 여러 장치의 데이터를 모아 추론하는 현장 배치다(NIST SP 500-325 2.2절).
  • 오해엣지에 두면 클라우드는 필요 없다.
    사실재학습 · 모델 저장 · 새 판 알림 · 장비 정보 수집은 클라우드 쪽 상태 추적기와 저장소가 맡는다(RFC 9019 2.3절).
  • 오해5G 는 지연이 1 ms 이므로 클라우드 판정도 충분하다.
    사실1 ms 는 무선 구간 한쪽 방향 · 부하 없는 조건의 최소 요구이고 유선 구간 · 서버 처리는 들어 있지 않다(ITU-R M.2410 4.7.1절).

10핵심 정리

구분맡는 일값(사례 · 표준)넘기는 곳근거
장치 엣지촬영 · 센서 · 제어 신호카메라 4대 × 30 fps(가정)현장 엣지NIST SP 500-325
현장 엣지추론 · 판정 · 버퍼1.8 ms/장 · 판정 45 ms결과를 클라우드로He 2016 표 1
근거리 엣지여러 현장 공유 서버무선 구간 1 ms 요구지연 조건으로 호스트 선택ETSI GS MEC 003 · ITU-R M.2410
클라우드재학습 · 모델 저장 · 장비 관리왕복 수십 ms서명된 모델을 현장으로RFC 9019
상향 전송결과 · 불량 사진 · 분포1.02 Mbps(압축 영상의 1/16)모델 모니터링 · 드리프트사례 5단계
매니페스트서명 · 대상 · 번호 검사번호 42 → 43옛 번호 거부RFC 9124 4.3.1절
분할 위치엣지 · 클라우드 연산 나눔conv1 = 입력의 5.3배뒤쪽 계층에서 자름Teerapittayanon 2017

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Edge Intelligence: Paving the Last Mile of Artificial Intelligence with Edge Computing (Proceedings of the IEEE · arXiv:1905.10083) — 엣지 AI 의 구조 · 학습 · 추론 기술 전체를 개관할 때
    Zhou et al. · 2019-05 · arxiv.org/abs/1905.10083 · 확인 2026-11-12
  3. ★ Distributed Deep Neural Networks over the Cloud, the Edge and End Devices (ICDCS 2017 · arXiv:1709.01921) — 장치 · 엣지 · 클라우드에 신경망을 나눠 두고 전송량을 줄이는 방식을 볼 때
    Teerapittayanon · McDanel · Kung · 2017-09 · arxiv.org/abs/1709.01921 · 확인 2026-11-12
  4. ★ NIST SP 500-325 Fog Computing Conceptual Model — 포그 노드 · 미스트 계층의 정의와 배치 모델을 볼 때
    NIST · 2018-03 · nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.500-325.pdf · 확인 2026-11-12
  5. ★ RFC 9019 A Firmware Update Architecture for Internet of Things — 현장 장비 무리에 서명된 갱신을 안전하게 배포하는 구조를 볼 때
    IETF · 2021-04 · www.rfc-editor.org/rfc/rfc9019 · 확인 2026-11-12
  6. 본문 근거
  7. ETSI GS MEC 003 V3.2.1 Multi-access Edge Computing (MEC); Framework and Reference Architecture — ETSI · 2024-04 · www.etsi.org/deliver/etsi_gs/MEC/001_099/003/03.02.01_60/gs_MEC003v030201p.pdf · 확인 2026-11-12
  8. RFC 9124 A Manifest Information Model for Firmware Updates in Internet of Things (IoT) Devices — IETF · 2022-01 · www.rfc-editor.org/rfc/rfc9124 · 확인 2026-11-12
  9. Report ITU-R M.2410-0 Minimum requirements related to technical performance for IMT-2020 radio interface(s) — ITU-R · 2017-11 · www.itu.int/pub/R-REP-M.2410-2017 · 확인 2026-11-12
  10. Deep Residual Learning for Image Recognition (CVPR 2016 · arXiv:1512.03385) — He et al. · 2015-12 · arxiv.org/abs/1512.03385 · 확인 2026-11-12
  11. The Case for VM-Based Cloudlets in Mobile Computing (IEEE Pervasive Computing 8(4)) — Satyanarayanan · Bahl · Caceres · Davies · 2009-10 · doi.org/10.1109/MPRV.2009.82 · 확인 2026-11-12
  12. Communication-Efficient Learning of Deep Networks from Decentralized Data (AISTATS 2017 · arXiv:1602.05629) — McMahan et al. · 2016-02 · arxiv.org/abs/1602.05629 · 확인 2026-11-12