AI › 인공지능 개요 › 머신러닝 › 학습 방식

연합 학습Federated Learning

학습 데이터를 각 기기 · 기관에 그대로 둔 채 그 자리에서 모델을 학습하고, 서버는 모델 갱신값만 모아 하나의 전역 모델로 합치는 머신러닝 방식이다.

1요약

  1. 연합 학습은 2016년 McMahan 등이 이름 붙인 학습 방식으로, 서버가 전역 모델을 내려보내고 클라이언트가 자기 데이터로 고친 갱신값만 받아 합치는 라운드를 되풀이하며, 그 위에서 FedAvg · FedProx · 보안 집계 · 차등 프라이버시 같은 방법이 돈다(McMahan 2017 2절).
  2. 데이터를 한곳에 모을 수 없을 때 생기는 공백을 메운다 — 사례에서 스마트폰 사용자 21명의 특징 원본은 16.5 MB 이지만, 정확도 0.90 까지 서버로 올라간 것은 모델 갱신값 0.54 MB(3.3%) 였고 마지막 정확도 0.946 은 데이터를 모은 중앙 학습 0.951 에 가까웠다.
  3. 「연합 학습이 잘 안 된다」는 클라이언트 갱신이 서로 같은 쪽을 가리키는가로 가른다 — 갱신 방향이 갈리면 알고리즘보다 먼저 클라이언트 사이 데이터 분포(비독립 동일 분포)를 의심한다.

2등장 배경

휴대폰 자판 · 사진 · 음성 기록은 모델을 크게 좋게 만들 수 있지만 사적이고 양도 많아, 데이터 센터로 올려 학습하는 기존 방식이 막혔다. 2016년 2월 McMahan 등은 학습 데이터를 기기에 둔 채 기기에서 계산한 갱신을 모아 공유 모델을 배우는 방식을 「Federated Learning」이라 부르고, 모델 평균을 되풀이하는 FedAvg 로 동기식 SGD 보다 통신 라운드를 10 ~ 100배 줄였다고 보고했다(McMahan 2017 초록). 같은 해 Konečný 등은 올려 보내는 갱신을 저랭크 · 무작위 마스크 · 양자화로 줄여 통신 비용을 약 100분의 1 로 낮췄다(Konecny 2016).

갱신값도 학습 데이터의 흔적을 담는다는 문제가 남아, 2016년 11월 Bonawitz 등은 서버가 갱신의 합만 알고 개별 값은 모르게 하는 보안 집계 프로토콜을 내놓았고(Bonawitz 2016), 2017년 McMahan 등은 사용자 한 명의 갱신 전체를 숨기는 사용자 단위 차등 프라이버시를 FedAvg 에 얹었다(McMahan 2018 DP). 2018 ~ 2020년에는 클라이언트마다 데이터가 다른 문제를 다루는 FedProx · SCAFFOLD 가 나왔다(Li 2020 FedProx · Karimireddy 2020).

지금은 휴대폰 · IoT 기기가 참여하는 교차 기기(cross-device) 연합 학습과, 병원 · 은행 같은 기관이 참여하는 교차 기관(cross-silo) 연합 학습으로 나뉘어 쓰인다(Kairouz 2021 표 1). 개인정보 보호법상 판단은 AI와 개인정보가 맡는다.

3쉽게 이해하기 — 손님 기록은 두고 레시피만 오가는 체인점

한 국숫집 본점은 전국 분점 21곳의 맛을 모아 표준 레시피를 고치고 싶지만, 분점마다 단골 손님의 주문 기록은 가게 밖으로 내지 않기로 약속했다. 그래서 본점은 매주 레시피 한 장을 분점 다섯 곳에 보내고, 분점은 자기 손님 주문 기록으로 저녁 장사를 다섯 번 해 보며 레시피를 고친 뒤 고친 레시피만 돌려보낸다. 본점은 손님이 많은 분점의 레시피에 더 무게를 두어 평균을 내고 다음 주에 다른 다섯 곳을 고른다. 다만 한 분점은 매운 국수만, 다른 분점은 맑은 국수만 팔면 고친 방향이 서로 엇갈려 표준 레시피가 주마다 출렁인다.

본점 표준 레시피 한 장 레시피 손님 기록은 받지 않음 손님 수만큼 무게 고친 레시피 평균 4 서버 · 전역 모델 가중 평균(FedAvg) 1 레시피 3 고친 것만 분점 가 손님 360 분점 나 손님 366 분점 다 손님 281 주문 기록은 가게 안에 장사 다섯 번 레시피 고침 2 고친 레시피만 봉해서 보냄 로컬 데이터 로컬 학습 E 5 갱신값 전송 쉬는 분점 이번 주 빠짐 16곳 다음 주에 다른 다섯 곳 5 부분 참여 C 모델 · 학습 규칙 데이터 갱신 · 출력 참여자 식별 · 선택 올라가는 갱신 내려가는 모델

그림 1 · 손님 기록은 분점 안에 남고 레시피만 오가며, 본점은 손님 수만큼 무게를 두어 고친 레시피를 합친다.

레시피 보내기본점이 뽑은 다섯 곳에
기록은 그대로주문 기록은 가게 안
장사하며 고치기저녁 다섯 번
고친 것만 보내기레시피 한 장
무게 두어 합치기손님 수만큼
다음 주 다시다른 다섯 곳
비유 — 언제 본점에 보고하나 실제 — 정확도 0.90 까지의 상향 통신 한 숟갈마다 전화 맛 한 번 보고 바로 보고 … 왕복 186번 한 번에 고치는 폭이 작아 여러 번 오감 장사 다섯 번 뒤 보고 가게 안에서 여러 번 고쳐 봄 왕복 8번 한 번 보고에 담기는 고침이 큼 갱신 1건 = 3,372 파라미터 = 13,488 B 라운드마다 5명 · 상향 = 라운드 × 5 × 13,488 B FedSGD · E 1 · B 전체 186라운드 상향 12.5 MB · 원본의 76% FedAvg · E 5 · B 32 8라운드 상향 0.54 MB · 원본의 3.3% 특징 원본 16.5 MB 통신 많음 갱신 전송 보고 한 번 막대 길이 = 상향 바이트(원본 16.5 MB 를 오른쪽 점선에 맞춤)

그림 2 · 한 숟갈 맛볼 때마다 전화하면 왕복이 186번 들지만, 다섯 번 장사해 보고 보고하면 8번이면 된다 — 실제 사례의 통신량은 12.5 MB 와 0.54 MB 다.

비유 속 역할실제 이름실제로 하는 일
본점서버(조정자)참여자를 고르고 갱신을 합칠 뿐 원본 데이터는 받지 않는다
표준 레시피전역 모델 w_t라운드마다 참여 클라이언트에 내려보내는 파라미터
분점 21곳클라이언트 K휴대폰 · 기관 · 장비처럼 자기 데이터를 가진 참여자
가게 안 주문 기록로컬 데이터 n_k클라이언트 밖으로 나가지 않는 학습 표본
장사 다섯 번로컬 학습 E · B · η자기 데이터로 SGD 를 여러 걸음 돌린다
봉한 레시피갱신값 · 보안 집계고친 모델만 보내고, 보안 집계를 쓰면 서버는 합만 본다
손님 수만큼 무게가중 평균 n_k / m표본이 많은 클라이언트의 모델에 더 큰 몫을 준다
쉬는 분점부분 참여 C라운드마다 일부만 참여하고 빠진 곳은 다음에 뽑힌다

⚠ 비유가 맞지 않는 곳: 분점 주인은 레시피를 보고 무엇을 고쳤는지 알 수 있지만, 갱신값은 수천 개 숫자라 사람이 읽을 수 없다. 반대로 숫자만 오가도 그 안에 학습 데이터의 흔적이 남을 수 있어, 「기록을 안 보냈으니 안전하다」는 비유 속 약속보다 실제 보호가 약하다.

4구조 — 서버 · 클라이언트 · 라운드 · 보호 장치

서버 — 조정만 하고 원본은 보지 않음 참여자 선택 m = max(C · K, 1) 전역 모델 w_t 라운드 t 의 파라미터 집계 w_t+1 = Σ (n_k / m) w_k 선택 보호 장치 보안 집계 합만 공개 차등 프라이버시 자르기 + 잡음 견고 집계 중앙값 · 절사 평균 갱신이 서버에 닿기 전 거침 w_t 배포 갱신 Δk 클라이언트 k 클라이언트 j 로컬 데이터 n_k · 밖으로 안 나감 로컬 학습 E · B · η 갱신 Δk = w_k − w_t 로컬 데이터 n_j 로컬 학습 E · B · η 갱신 Δj 클라이언트 i — 탈락 전원 · 회선 · 유휴 조건이 깨져 응답 없음 이번 집계에서 빠짐 선택 모델 · 학습 규칙 데이터 갱신 실패 점선 = 선택 장치 · 탈락 올라가는 갱신

그림 3 · 원본 데이터는 클라이언트 상자를 떠나지 않고, 서버와 클라이언트 사이를 오가는 것은 전역 모델과 갱신값 두 가지뿐이다.

요소역할값 · 손잡이근거
참여자 선택라운드마다 클라이언트 일부를 뽑는다비율 C · 사례 5/21McMahan 2017 알고리즘 1
전역 모델내려보내는 공통 파라미터사례 3,372개 · 13,488 B사례 2단계
로컬 데이터클라이언트 안의 학습 표본 · 분포가 서로 다름사례 281 ~ 409창Kairouz 2021 3.1절
로컬 학습자기 데이터로 SGD 여러 걸음E · B · η · 걸음 수 u_k = E n_k / BMcMahan 2017 2절
집계갱신을 하나로 합친다가중 평균 n_k / m · 중앙값 · 절사 평균McMahan 2017 · Yin 2018
보안 집계서버가 갱신의 합만 알게 한다사용자 1/3 탈락까지 견딤 · 통신 1.73배(2^10명)Bonawitz 2016
차등 프라이버시사용자 한 명의 기여를 숨긴다갱신 노름 S 로 자르기 · 잡음 표준편차 = z × 민감도McMahan 2018 DP 2절

교차 기기와 교차 기관은 같은 구조를 다르게 쓴다. 교차 기기는 클라이언트가 최대 10^10 대이고 한 라운드 참여자의 5% 이상이 탈락하며 대개 한 번만 참여하는 상태 없는 참여자이고, 교차 기관은 2 ~ 100곳이 거의 늘 참여하며 라운드 사이 상태를 들고 갈 수 있다(Kairouz 2021 표 1).

🔑 연합 학습에서 서버가 받는 것은 데이터가 아니라 «그 데이터로 모델을 얼마나 움직였는가»이고, 그래서 데이터 보호는 데이터를 안 보내는 것으로 끝나지 않고 갱신값을 무엇으로 감추는가(보안 집계 · 차등 프라이버시)까지 간다.

5동작 — 스마트폰 사용자 21명으로 FedAvg 200라운드

UCI HAR 데이터를 사용자별로 나눠 FedAvg 를 직접 실행(시드 0)한 사례다. 모델은 소프트맥스 회귀이고 중앙 학습도 같은 모델이다.

  1. 데이터 — 허리에 스마트폰을 찬 30명의 6가지 활동(걷기 · 계단 오르내리기 · 앉기 · 서기 · 눕기) 기록을 2.56초 창마다 특징 561개로 만든 것이다. 학습은 21명 7,352창, 시험은 다른 9명 2,947창이고, 학습 21명을 그대로 클라이언트 21개로 둔다 — 클라이언트당 281 ~ 409창(중앙값 347)이다(UCI HAR).
  2. 모델 — 특징 561 × 활동 6 + 편향 6 = 3,372 파라미터 · float32 13,488 B 이고, 전역 모델 w0 은 0 에서 시작한다.
  3. 라운드 1 선택 — C = 5/21 로 클라이언트 5개(사용자 번호 19 · 16 · 8 · 11 · 23 · 창 360 · 366 · 281 · 316 · 372 · 합 m = 1,695)를 뽑아 w0 을 보낸다.
  4. 로컬 학습 — 클라이언트마다 E = 5, B = 32, η = 0.1 로 SGD 를 돌린다 — 걸음 수는 281창이 9 묶음 × 5 = 45, 372창이 12 묶음 × 5 = 60 이다(McMahan 2017 2절 u_k).
  5. 집계 — w1 = Σ (n_k / 1,695) w_k 로, 몫은 0.166(281창) ~ 0.219(372창)다. 라운드 1 전역 모델의 시험 정확도는 0.851 이다.
  6. 반복 — 라운드 8 에 처음 0.90 을 넘고(0.906), 라운드 200 에 0.946 이다. 같은 모델을 7,352창을 모아 20 에포크 학습한 중앙 학습은 0.951 이다. 시드 0 ~ 4 에서 첫 0.90 라운드는 7 ~ 13 이다.
  7. 통신 — 0.90 까지 상향 통신은 8 × 5 × 13,488 = 539,520 B(0.54 MB)로 21명 특징 원본 16,497,888 B 의 3.3% 다. 로컬 한 걸음인 FedSGD(E = 1 · B = 전체 · η = 0.5)는 같은 0.90 에 186라운드 · 12.5 MB 가 들었다(시드 0 ~ 4 에서 159 ~ 195라운드 · 두 시드는 200라운드 안 미도달).
1 사용자별 분할 학습 21명 · 7,352창 시험 다른 9명 · 2,947창 클라이언트당 281 ~ 409 2 전역 모델 w0 561 × 6 + 6 = 3,372 파라미터 float32 13,488 B 3 라운드 1 선택 5명 창 360 · 366 · 281 · 316 · 372 합 m = 1,695 4 로컬 학습 E 5 · B 32 · η 0.1 걸음 45 ~ 60 데이터는 그 자리 5 가중 평균 몫 n_k / 1,695 = 0.166 ~ 0.219 라운드 1 정확도 0.851 6 반복 · 시험 9명 라운드 8 · 0.906 라운드 200 · 0.946 중앙 학습 0.951 7 상향 0.54 MB 원본 16.5 MB 의 3.3% 라운드 2 부터 3 → 4 → 5 를 다시 — 매번 다른 5명 0.90 까지 8라운드 · 시드 0 ~ 4 에서 7 ~ 13라운드 데이터 선택 모델 · 학습 규칙 평가 올라가는 갱신

그림 4 · 라운드 하나는 선택 → 배포 → 로컬 5 에포크 → 표본 수 가중 평균이고, 이것을 8번 돌리면 시험 정확도 0.90 을 넘는다.

클라이언트 분할에 따른 시험 정확도 — FedAvg · C 5/21 · E 5 · B 32 1.0 0.9 0.8 0.6 0.4 0.2 0.90 중앙 0.951 1 5 10 49 100 200 통신 라운드(로그 눈금) 5 8 49 151 ~ 200라운드 0.773 ~ 0.947 활동 2가지 분할은 처음 10라운드 최고 0.627 섞어 나눔(독립 동일 분포) 사용자별(사례) 클라이언트당 활동 2가지 처음 0.90

그림 5 · 같은 FedAvg 라도 클라이언트마다 활동이 두 가지뿐인 분할은 0.90 에 49라운드가 걸리고 그 뒤에도 출렁인다 — 사용자별 실제 분할은 8라운드, 섞어 나눈 분할은 5라운드다.

사용자별 분할은 활동 비율이 비슷하고(사용자 1 은 6활동 47 ~ 95창) 같은 활동의 움직임 모양이 사람마다 다른 특징 분포 치우침이고, 활동 두 가지 분할은 McMahan 2017 3절의 «병적 비독립 분할»을 따라 레이블을 정렬해 42조각으로 나눈 레이블 분포 치우침이다(Kairouz 2021 3.1절). 라운드 10 전역 모델에서 21개 클라이언트 갱신과 평균 갱신의 코사인 유사도는 섞은 분할 0.714 · 사용자별 0.409 · 활동 두 가지 0.139(최저 −0.421)로 내려간다. 클라이언트마다 한 클래스만 가진 극단 분할에서는 신경망 정확도가 최대 55% 떨어진다는 보고도 있다(Zhao 2018).

🔑 FedAvg 가 통신을 줄이는 원리(로컬에서 여러 걸음)가 곧 약점이다 — 클라이언트 데이터가 다를수록 각자 자기 쪽으로 멀리 걸어가 평균이 어느 클라이언트에도 맞지 않는 곳에 떨어진다.

6비교 — 연합 학습 안의 집계 · 최적화 방식

방식클라이언트가 하는 일서버가 하는 일푸는 문제대가 · 한계
FedSGD기울기 한 번(E 1 · B 전체)가중 평균 뒤 한 걸음기준선 · 분석이 단순라운드가 많음(사례 186 · McMahan 2017)
FedAvg로컬 SGD E 에포크모델 가중 평균 n_k / m통신 라운드 감소(사례 8)비독립 분포에서 표류 · 출렁임(그림 5)
FedProx로컬 목적에 근접 항 (μ/2)‖w − w_t‖² · 일을 덜 끝내도 보고FedAvg 와 같음데이터 · 장비 이질성μ 조정 필요 · 이질성 큰 설정에서 평균 22% 정확도 개선(Li 2020 FedProx)
SCAFFOLD제어 변수 c_i 로 로컬 기울기 보정제어 변수 평균 c 유지클라이언트 표류클라이언트가 c_i 를 라운드 사이 기억 · c_i = 0 이면 FedAvg(Karimireddy 2020 3절)
중앙값 · 절사 평균FedAvg 와 같음좌표마다 중앙값 · 양 끝을 뺀 평균비정상 · 악성 갱신정상인 소수 분포 갱신도 깎임(Yin 2018)
DP-FedAvg갱신을 노름 S 로 자르기평균에 정규 잡음(표준편차 z × 민감도)사용자 한 명의 기여 숨김사용자가 많아야 정확도 유지 · 763,430명 사례에서 계산 약 60배(McMahan 2018 DP)

분석클라이언트가 늘 같은 기관이고 데이터가 크게 다르면 상태를 들고 가는 SCAFFOLD 를, 참여자가 매번 바뀌는 휴대폰 규모면 FedAvg 또는 FedProx 를 기본으로 두고, 갱신 조작이 걱정되면 견고 집계를, 사용자 단위 보호가 요구되면 DP-FedAvg 를 얹는다. 근거는 교차 기기 클라이언트가 상태 없는 참여자라는 Kairouz 2021 표 1 과 표의 「대가 · 한계」 열이다.

견고 집계로 막는 갱신 조작의 종류와 탐지는 데이터 오염, 엣지 판정 · 분할 추론과의 분담 비교는 엣지 AI, 지도 · 비지도 · 강화 학습끼리의 비교는 지도 학습이 맡는다.

7실무 진단 — 연합 학습 결과가 중앙 학습보다 크게 나쁠 때

분석먼저 같은 모델 · 같은 데이터로 중앙 학습 기준선을 재고, 다음에 클라이언트 갱신의 방향(코사인 유사도), 참여 수, 보호 장치 설정 순으로 본다. 중앙 기준선이 없으면 «연합이라서 나쁜가, 모델이 원래 이 정도인가»를 가를 수 없다 — 사례도 중앙 0.951 을 옆에 두고서야 활동 두 가지 분할의 출렁임이 분할 탓으로 갈렸다(그림 5).

#증상의심 원인단계확인 자료판정 기준(근거)
1정확도가 라운드마다 크게 출렁임레이블 분포 치우침 + 적은 참여집계라운드별 시험 정확도 · 클라이언트별 레이블 분포사례 활동 2가지 분할 0.773 ~ 0.947 → 전원 참여(21명)면 0.927 ~ 0.936 · 참여 수 · FedProx(Kairouz 2021 3.1절)
20.90 같은 목표까지 라운드가 너무 많음로컬 계산이 적음로컬 학습E · B · u_kE 1 · B 전체(FedSGD) 186라운드 ↔ E 5 · B 32 8라운드(McMahan 2017 2절)
3일부 클라이언트 갱신이 평균과 반대 방향레이블 치우침 또는 조작된 갱신클라이언트 데이터갱신과 평균 갱신의 코사인 유사도 · 갱신 노름음수가 소수 클라이언트에 몰리면 분포부터 확인 · 노름까지 튀면 데이터 오염에서 다루는 절차(Yin 2018)
4차등 프라이버시를 켠 뒤 정확도 급락참여 사용자 수 부족 · 자르기 S 과소보호 장치라운드당 사용자 수 · 잘린 갱신 비율거의 모든 갱신이 S 아래가 되게 S 를 잡고 사용자 수를 늘림(McMahan 2018 DP 2절)
5전역 정확도는 높은데 일부 클라이언트만 낮음평균이 소수 분포를 가림평가클라이언트별 정확도 분포사례 전체 0.946 에서도 시험 사용자 9명 중 최저 0.823 · 최고 0.997 — 사용자별 최저값을 함께 보고(Kairouz 2021 6절)

8시험 대비

출제 정보 정보관리(128회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 연합 학습의 정의 · 구성 요소 · 중앙 학습과의 차이를 쓰는 정의 · 특징형, 그리고 FedAvg 에서 FedProx · 보안 집계 · 차등 프라이버시로 넓어진 흐름을 쓰는 동향 · 발전형이 나올 수 있다.

답안 목차
  1. 개요 — 정의(데이터는 그 자리 · 갱신만 집계 · McMahan 2017) · 교차 기기 ↔ 교차 기관(Kairouz 2021 표 1)
  2. 구조 — 그림 3 서버 · 클라이언트 · 보호 장치(갱신만 오감) + 요소 표
  3. 동작 — 그림 4 FedAvg 한 라운드(선택 C · 로컬 E · B · 가중 평균 n_k / m) · 통신 0.54 MB ↔ 원본 16.5 MB
  4. 핵심 문제 — 그림 5 비독립 동일 분포에 따른 수렴 차이(5 · 8 · 49라운드) · 클라이언트 표류
  5. 개선 기법 — FedProx · SCAFFOLD · 견고 집계 · DP-FedAvg · 보안 집계 비교표
  6. 적용 · 한계 — 휴대폰 자판 · 병원 공동 학습 · 갱신값의 정보 노출 · 평가 지표(클라이언트별)

꼭 쓸 키워드
FedAvg통신 라운드부분 참여로컬 에포크비독립 동일 분포(non-IID)클라이언트 표류가중 평균보안 집계차등 프라이버시교차 기관

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 같은 알고리즘을 분할만 바꿔 돌린 수렴 곡선이다 — «non-IID 에서 성능이 떨어진다»는 문장을 5 · 8 · 49라운드라는 숫자와 출렁임 폭으로 보이면 개선 기법이 왜 필요한지가 답 안에서 이어진다.

9오해와 사실

  • 오해원본 데이터를 보내지 않으니 개인정보는 완전히 보호된다.
    사실갱신값에도 학습 데이터의 정보가 남을 수 있어, 서버가 합만 보게 하는 보안 집계와 사용자 기여를 숨기는 차등 프라이버시를 따로 얹는다(Bonawitz 2016 · McMahan 2018 DP · Kairouz 2021 4절).
  • 오해연합 학습은 중앙 학습보다 정확도가 크게 낮다.
    사실사례의 사용자별 분할은 200라운드에 0.946 으로 중앙 학습 0.951 과 0.005 차이였고, 차이를 크게 만드는 것은 분산 자체보다 클라이언트 사이 레이블 치우침이었다(그림 5).
  • 오해매 라운드 참여 클라이언트를 늘릴수록 빨리 배운다.
    사실McMahan 2017 1절은 일정 수를 넘으면 더 넣어도 이득이 줄어든다고 보고했고, 사례도 5명 → 21명에서 첫 0.90 라운드가 8 → 7 로 거의 같았다.

10핵심 정리

구분맡는 일사례 값손잡이 · 식흔한 실패
참여자 선택라운드마다 일부 클라이언트21명 중 5명C · m = max(C · K, 1)적은 참여 + 치우침 = 출렁임
로컬 데이터그 자리에 남는 표본281 ~ 409창분할 꼴(특징 · 레이블 치우침)레이블 치우침 49라운드
로컬 학습자기 데이터로 여러 걸음E 5 · B 32 · 45 ~ 60걸음u_k = E n_k / BE 과다 → 클라이언트 표류
집계갱신을 하나로몫 0.166 ~ 0.219Σ (n_k / m) w_k조작 갱신 → 견고 집계
통신모델 · 갱신만 오감0.54 MB(원본의 3.3%)라운드 × 참여 × 모델 크기FedSGD 186라운드 12.5 MB
보호 장치갱신 감추기보안 집계 1.73배 · DP 자르기 S합만 공개 · 자르기 + 잡음사용자 적은데 DP → 정확도 급락
평가중앙 기준선 · 클라이언트별0.946 ↔ 중앙 0.951시험 정확도 · 하위 클라이언트평균만 보고

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Communication-Efficient Learning of Deep Networks from Decentralized Data (AISTATS 2017 · PMLR 54 · arXiv 1602.05629) — FedAvg 의 세 손잡이 C · E · B 와 FedSGD 기준선(2절 · 알고리즘 1)을 볼 때
    arXiv · 2016-02 · arxiv.org/abs/1602.05629 · 확인 2026-11-12
  3. ★ Advances and Open Problems in Federated Learning (Foundations and Trends in Machine Learning 14(1-2) · arXiv 1912.04977) — 교차 기기 · 교차 기관 구분(표 1)과 비독립 동일 분포의 다섯 꼴(3.1절)을 볼 때
    arXiv · 2021-03 · arxiv.org/abs/1912.04977 · 확인 2026-11-12
  4. ★ Federated Optimization in Heterogeneous Networks (MLSys 2020 · arXiv 1812.06127) — 근접 항으로 이질성을 다루는 FedProx 와 FedAvg 의 차이를 볼 때
    arXiv · 2018-12 · arxiv.org/abs/1812.06127 · 확인 2026-11-12
  5. ★ Learning Differentially Private Recurrent Language Models (ICLR 2018 · arXiv 1710.06963) — 사용자 단위 차등 프라이버시를 FedAvg 에 얹는 자르기 · 잡음(2절)을 볼 때
    arXiv · 2017-10 · arxiv.org/abs/1710.06963 · 확인 2026-11-12
  6. ★ Human Activity Recognition Using Smartphones (UCI Machine Learning Repository · DOI 10.24432/C54S4K · CC BY 4.0) — 사례 데이터(30명 · 6활동 · 특징 561)를 내려받아 따라 해 볼 때
    UCI Machine Learning Repository · 2012-12 · archive.ics.uci.edu/dataset/240/human+activity+recognition+using+smartphones · 확인 2026-11-12
  7. 본문 근거
  8. Federated Learning: Strategies for Improving Communication Efficiency (arXiv 1610.05492) — arXiv · 2016-10 · arxiv.org/abs/1610.05492 · 확인 2026-11-12
  9. Practical Secure Aggregation for Federated Learning on User-Held Data (NIPS 2016 Workshop on Private Multi-Party Machine Learning · arXiv 1611.04482) — arXiv · 2016-11 · arxiv.org/abs/1611.04482 · 확인 2026-11-12
  10. SCAFFOLD: Stochastic Controlled Averaging for Federated Learning (ICML 2020 · arXiv 1910.06378) — arXiv · 2019-10 · arxiv.org/abs/1910.06378 · 확인 2026-11-12
  11. Federated Learning with Non-IID Data (arXiv 1806.00582) — arXiv · 2018-06 · arxiv.org/abs/1806.00582 · 확인 2026-11-12
  12. Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates (ICML 2018 · arXiv 1803.01498) — arXiv · 2018-03 · arxiv.org/abs/1803.01498 · 확인 2026-11-12