전문가 혼합(MoE)Mixture of Experts
트랜스포머 블록의 순방향 신경망(FFN)을 여러 전문가 FFN 으로 바꾸고, 라우터가 토큰마다 점수가 높은 몇 개 전문가만 골라 계산해 그 출력을 게이트 값으로 가중합하는 신경망 구조다.
1요약
- 전문가 혼합(MoE)은 LLM 트랜스포머 블록의 FFN 하나를 전문가 FFN N 개와 라우터로 바꾼 조건부 계산 구조로(Shazeer 외 2017), 그 위에서 수백억 ~ 1조 매개변수 언어 모델이 토큰마다 매개변수 일부만 계산하며 돈다.
- 밀집 모델은 매개변수를 늘리면 토큰당 계산도 같은 비율로 늘지만, 전문가 8개 중 2개만 쓰는 공개 모델은 전체 47B 가운데 활성 13B 만 토큰마다 계산한다(Jiang 외 2024 초록).
- 「MoE 가 기대만큼 안 된다」는 어느 수가 문제인가로 가른다 — 메모리 부족이면 전체 매개변수, 한 전문가의 배정 비율이 1/N 을 크게 넘으면 부하 쏠림, 버린 토큰 비율이 높으면 용량 계수다.
2등장 배경
밀집 신경망은 입력 하나마다 모든 매개변수를 계산하므로, 매개변수를 10배 늘리면 학습 · 추론 계산도 10배가 됐다. Jacobs · Jordan · Nowlan · Hinton(1991)은 작은 신경망 여러 개(전문가)와 그중 누구를 쓸지 정하는 게이트 신경망을 함께 학습하는 전문가 혼합을 냈지만, 게이트는 모든 전문가의 출력을 섞는 밀집 softmax 였다.
2017년 Shazeer 외는 게이트가 상위 k 개만 남기고 나머지를 −∞ 로 막는 잡음 상위 k 게이트를 넣어, LSTM 계층 사이에 전문가 수천 개 · 최대 1,370억 매개변수의 MoE 계층을 두고도 계산은 적게 들게 했다(초록 · 2.1절). 2020년 GShard 는 트랜스포머에 MoE 를 넣어 6,000억 매개변수 번역 모델을 TPU v3 2,048개로 4일에 학습했고(Lepikhin 외 2020), 2021년 Switch Transformer 는 k = 1 로 줄여 같은 계산으로 사전 학습을 최대 7배 빠르게 하며 1조 매개변수까지 키웠다(Fedus 외 2021 초록).
지금은 공개 논문의 LLM 도 블록 32개마다 전문가 8개 · 상위 2 구조를 쓰고(Jiang 외 2024 표 1), 남은 과제는 부하 쏠림 · 학습 발산 · 서빙 메모리다.
3쉽게 이해하기 — 종합병원 접수 창구
종합병원에 전문의 여덟 명이 출근해 있다. 환자가 문진표를 내면 접수 창구가 여덟 진료실마다 점수를 매겨 가장 맞는 두 곳으로만 보내고, 두 전문의의 소견을 점수 비율대로 합쳐 소견서 한 장을 만든다. 진료실마다 한 번에 볼 정원이 있어, 한 진료실에 환자가 몰려 정원이 차면 넘친 환자는 그 진료실 진료 없이 다음 창구로 넘어간다.
그림 1 · 접수 창구는 환자마다 여덟 전문의 중 두 명만 고르고, 두 소견을 점수 비율대로 합쳐 다음 진료과로 보낸다.
그림 2 · 병원에는 여덟 명이 모두 출근해 있어야 하지만 환자 한 명은 두 명의 시간만 쓴다 — 실제 모델도 메모리는 47B, 토큰당 계산은 13B 다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 환자 · 문진표 | 토큰 · 은닉 상태 x | 블록마다 4,096차원 벡터 하나로 MoE 계층에 들어간다 |
| 접수 창구 | 라우터(게이트 신경망) | x · W_ |
| 두 진료실 고르기 | 상위 k 선택 | 로짓 상위 k 개만 남기고 나머지를 −∞ 로 막는다 |
| 전문의 | 전문가 FFN | 블록 안 FFN 과 같은 모양의 신경망 N 개 |
| 소견 비율 | 게이트 값 | 남긴 k 개 로짓의 softmax · 합 1 |
| 소견서 한 장 | 가중합 출력 | Σ 게이트 값 × 전문가 출력에 잔차를 더한다 |
| 진료 정원 | 전문가 용량 | 배치에서 전문가 하나가 받는 토큰 수 상한 |
| 출근한 8명 | 전체 매개변수 | 쓰지 않는 전문가도 메모리에 올라가 있다 |
⚠ 비유가 맞지 않는 곳: 병원은 진료과를 주제(내과 · 외과)로 나누지만, MoE 의 전문가는 사람이 정한 주제가 없고 학습으로 나뉘며 실제 배정은 주제보다 문법 · 낱말 모양을 더 따른다(Jiang 외 2024 5절). 또 환자는 블록 32개를 지날 때마다 접수를 새로 해 매번 다른 두 명을 만날 수 있다.
4구조 — 라우터 · 전문가 FFN · 가중합
MoE 계층은 트랜스포머 블록에서 FFN 한 곳만 바꾼다 — 셀프 어텐션 · 잔차 연결 · 정규화는 밀집 블록 그대로다. 출력은 y = Σ_{i∈T} g_i(x) · E_i(x) 이고, T 는 라우터 로짓 x · W_r 의 상위 k 개 번호, 게이트 g 는 G(x) = Softmax(TopK(x · W_g)) 다(Jiang 외 2024 2.1절 · Shazeer 외 2017 식 3).
그림 3 · MoE 블록은 어텐션 뒤 FFN 을 라우터와 전문가 8개로 바꾸고, 고른 두 전문가 출력만 게이트 값으로 더한 뒤 잔차와 합친다.
| 요소 | 크기 · 값(공개 모델 기준) | 역할 | 근거 |
|---|---|---|---|
| 라우터 W_ | 4,096 × 8 · 블록마다 | 전문가마다 로짓을 낸다 | Jiang 2.1절 |
| 전문가 FFN | 8개 · 4,096 → 14,336 → 4,096 | 고른 토큰만 계산 | Jiang 표 1 |
| 게이트 값 | 상위 2 로짓의 softmax | 두 출력의 섞는 비율 | Jiang 2.1절 |
| 전문가 용량 | (배치 토큰 수 / N) × 용량 계수 | 전문가 하나가 받는 토큰 상한 | Fedus 식 3 |
| 보조 부하 균형 손실 | α · N · Σ f_ | 배정을 1/N 쪽으로 민다 | Fedus 식 4 |
| 라우터 z 손실 | 로짓 log-sum-exp 제곱 · c_ | 큰 로짓을 막아 발산을 줄인다 | Zoph 3.3절 |
| 전문가 병렬 | 전문가를 장치마다 나눠 둠 | 장치 하나에 다 안 올라갈 때 | Lepikhin 2020 |
🔑 MoE 는 토큰당 계산을 활성 매개변수에, 서버 메모리를 전체 매개변수에 묶는다 — 비용은 k 가, 올릴 크기는 N 이 정한다.
토큰화 · 컨텍스트 윈도우는 입력 길이와 토큰 수를 정하고, MoE 는 그 토큰 하나가 블록 안에서 쓰는 계산량을 정한다.
5동작 — 토큰 32개의 상위 2 라우팅 한 묶음
학습 전 무작위 라우터가 토큰 32개를 전문가 8개에 나누는 사례다. 은닉 16차원 합성 데이터(설명용 가정 값)를 NumPy 2.4.3(Python 3.14.0)의 default_rng(0) 생성기 하나로 만들어 직접 실행했다.
- 토큰 32개(32 × 16)와 라우터 W_r(16 × 8)을 만든다 — 전문가 N 8 · k 2 · 용량 계수 1.25.
- 로짓 x · W_r 을 계산한다 — 토큰 0 은 여덟 값 중 전문가 2(3.01)와 전문가 7(2.73)이 상위 둘이다.
- 두 로짓만 softmax 해 게이트 0.569 · 0.431 을 얻는다 — 여덟 개 전체 softmax 로는 0.352 · 0.266 이라 고른 둘의 합이 1 이 되게 다시 나눈 셈이다(Jiang 2.1절).
- 32 토큰 × 2 = 64 배정을 전문가별로 센다 — 14 · 9 · 5 · 10 · 8 · 6 · 6 · 6 이고 고르게 나뉘면 8 이다.
- 용량 = 64 / 8 × 1.25 = 10 이다(Fedus 식 3 · 배정 수 기준) — 전문가 1 에서 배정 4개가 넘쳐 버려지고(6.3%), 전체 칸 80개 가운데 20개(25%)는 비어 계산만 낭비된다.
- 보조 손실을 계산한다 — 배정 비율 f_1 0.219 · 확률 평균 P_1 0.224 처럼 전문가 1 이 둘 다 크고, N · Σ f_i · P_i = 1.131(고르면 1.0)에 α 0.01 을 곱한 0.0113 이 손실에 더해진다(Fedus 식 4).
- 토큰 0 의 출력 y = 0.569 · E_2(x) + 0.431 · E_7(x) 에 잔차를 더해 다음 블록으로 보낸다 — 두 전문가 모두에서 버려진 토큰은 잔차 값만 지난다(Fedus 2.2절).
그림 4 · 전문가 1 에 배정 14개가 몰려 용량 10 을 넘긴 4개가 버려지고, 전문가 3 은 5개만 받아 용량 절반이 빈다.
시드를 0 ~ 19 로 바꿔 돌리면 가장 많이 받은 전문가의 배정은 9 ~ 15, 보조 손실 값은 1.014 ~ 1.132, 버린 비율은 0 ~ 9.4% 로 갈린다 — 학습 전 라우터는 매번 다른 전문가로 쏠린다. 용량 계수를 바꾸면 버림과 빈칸이 서로 반대로 움직인다.
그림 5 · 용량 계수를 1.0 에서 2.0 으로 올리면 버린 배정은 14.1% 에서 0 으로 줄지만 빈칸은 14.1% 에서 50% 로 늘어난다.
🔑 용량 계수를 올리면 버림이 줄고 빈칸이 늘어난다 — 둘을 함께 줄이는 것은 용량 계수가 아니라 라우터의 부하 균형이다.
Fedus 외(2021)는 보조 손실로 균형을 맞춘 뒤 버린 토큰을 보통 1% 미만으로 보고했고, 용량 계수 1.0 · 1.25 처럼 작은 값에서 더 좋은 결과를 얻었다(2.2절 · 표 1).
6비교 — 밀집 FFN · 라우팅 방식
| 기준 | 밀집 FFN | 토큰이 상위 2 선택 | 토큰이 상위 1 선택 | 전문가가 토큰 선택 |
|---|---|---|---|---|
| 대표 문헌 | 트랜스포머 기본형 | Shazeer 2017 · Jiang 2024 | Fedus 2021 | Zhou 2022 |
| 토큰당 계산하는 FFN | 1(블록 전체) | 2 | 1 | 토큰마다 0개 이상 · 고정 아님 |
| 매개변수를 늘릴 때 계산 | 같은 비율로 늘어남 | 전문가 수와 무관 | 전문가 수와 무관 · 라우터 계산 최소 | 전문가 수와 무관 |
| 부하 균형 | 해당 없음 | 보조 손실 필요 | 보조 손실 α 0.01 · 용량 계수 | 전문가마다 받는 수가 고정 |
| 버려지는 토큰 | 없음 | 용량을 넘치면 생김 | 같음 · 보통 1% 미만 | 어느 전문가에도 안 뽑히는 토큰이 생길 수 있음 |
| 보고된 효과 | 기준 | 같은 활성 크기 밀집 대비 품질 향상 | 같은 계산에 사전 학습 최대 7배 빠름 | 같은 계산의 상위 1 · 상위 2 대비 수렴 2배 이상 빠름 |
분석메모리가 넉넉하고 토큰당 계산을 줄여야 하면 MoE 를, 장치 메모리가 작거나 배치 1 로 응답 하나의 속도가 중요하면 같은 활성 크기의 밀집 모델을 먼저 검토한다. 근거는 MoE 의 서빙 메모리가 전체 매개변수에 비례하고 라우팅 · 메모리 읽기 부담 때문에 배치가 큰 작업에 더 맞는다는 Jiang 외 2024 3절이다.
라우팅 방식 셋 가운데 상위 1 은 계산 · 통신이 가장 적고, 상위 2 는 전문가 둘을 비교해 라우터 기울기가 생긴다는 원래 근거(Shazeer 외 2017 2.1절)를 지키며, 전문가 선택은 버림 대신 균형을 구조로 보장한다.
7실무 진단 — 라우팅 · 용량 · 메모리 원인 가르기
분석배정 비율 · 버림 비율처럼 학습 로그에서 바로 읽히는 수부터 보고, 정밀도 · 손실 설정은 그다음에 바꿔 본다. 전문가 하나의 f_i 가 1/N 의 두 배를 넘으면 원인은 용량 계수가 아니라 라우터 쏠림이다(Fedus 식 4 · 아래 표 1행).
| # | 증상 | 의심 원인 | 구성 요소 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 몇 전문가만 배정을 받고 나머지 손실이 정체 | 부하 쏠림 · 라우터 붕괴 | 라우터 | 블록별 f_ | 고르면 f_ |
| 2 | 같은 계산의 밀집보다 품질이 낮음 | 버림 과다 | 전문가 용량 | 블록별 버린 토큰 비율 | 보통 1% 미만이면 정상 범위(Fedus 2.2절) · 넘으면 균형부터 · 그다음 용량 계수 |
| 3 | bfloat16 학습 중 손실이 갑자기 발산 | 라우터 로짓 · 반올림 오차 | 라우터 softmax | 라우터 로짓 크기 · 정밀도 | 라우터만 float32(Fedus 2.4절) · z 손실 c_ |
| 4 | 추론 계산은 작은데 메모리 부족 | 전체 매개변수 상주 | 전문가 FFN 전체 | 장치 메모리 · 전체 매개변수 수 | 메모리는 전체(47B)에 비례(Jiang 3절) → 양자화 · 전문가 병렬 |
| 5 | 배치 1 응답이 기대만큼 빠르지 않음 | 라우팅 · 전문가 가중치 읽기 | 서빙 | 배치 크기별 토큰당 지연 | 배치가 클 때 이득(Jiang 3절) · 배치 · 캐시 조정은 추론 최적화가 다룬다 |
1 · 2행은 학습 로그 한 번으로 끝난다. 3행은 설정을 바꿔 다시 학습해야 하고, 4 · 5행은 학습과 무관한 서빙 쪽이라 따로 본다.
8시험 대비
www.q-net.or.kr시험에서는 라우터 · 전문가 · 가중합을 그려 설명하는 구조 · 구성형과, 밀집 모델 · 라우팅 방식과의 차이를 묻는 비교형이 나올 수 있다. 구조형이면 그림 3 블록도에 게이트 식과 활성 · 전체 매개변수 구분을 붙이고, 비교형이면 계산 · 메모리 · 부하 균형 세 축의 표 뒤에 용량 계수의 맞바꿈을 쓴다.
- 개요 — 정의(조건부 계산 · FFN 을 전문가 N 개로) · 등장(1991 전문가 혼합 → 2017 희소 게이트 → 2021 상위 1 → 2024 공개 LLM)
- 구조 — 그림 3 블록도(라우터 · 전문가 8 · 상위 2 · 가중합 · 잔차) + 게이트 식 Softmax(TopK(x · W_g))
- 계산과 메모리 — 활성 13B ↔ 전체 47B · 전문가 FFN 하나 1억 7,616만 계산 표
- 부하 균형 — 그림 4 배정 막대 · 용량 식 · 보조 손실 α · N · Σ f_i · P_i · z 손실
- 비교 — 밀집 FFN · 상위 2 · 상위 1 · 전문가 선택 표
- 한계와 대응 — 그림 5 용량 계수 맞바꿈 · 학습 발산 · 서빙 메모리 · 전문가 병렬
꼭 쓸 키워드
조건부 계산라우터게이트 값상위 k 라우팅활성 매개변수전문가 용량용량 계수보조 부하 균형 손실라우터 z 손실전문가 병렬
다른 답안과 차이를 내는 한 가지는 3번 계산 표다 — 전문가 FFN 하나 = 3 × 4,096 × 14,336 에서 전체 45.1B 와 활성 11.3B 를 직접 셈해 원문 47B · 13B 와 맞추면 「계산은 k, 메모리는 N」이 숫자로 증명된다.
9오해와 사실
- 오해전문가마다 수학 · 코드 · 철학 같은 주제를 하나씩 맡는다.사실공개 모델의 라우팅 분석에서 논문 · 의학 초록 · 철학 문서의 전문가 배정 분포는 거의 같았고, 배정은 주제보다 문법 구조를 더 따랐다(Jiang 외 2024 5절).
- 오해MoE 는 같은 품질의 밀집 모델보다 메모리를 덜 쓴다.사실줄어드는 것은 토큰당 계산이고, 서빙 메모리는 전체 매개변수 47B 에 비례한다(Jiang 외 2024 3절).
- 오해전문가 하나는 따로 떼어 쓸 수 있는 작은 언어 모델이다.사실바뀌는 것은 블록마다 FFN 하나이고 어텐션 · 임베딩은 모든 전문가가 함께 쓰며, 토큰은 블록 32개마다 다른 전문가 조합을 지난다(Jiang 외 2024 2절).
10핵심 정리
| 구성 요소 | 있는 곳 | 값(공개 모델 · 논문) | 토큰당 계산 | 진단에서 볼 것 |
|---|---|---|---|---|
| 라우터 | 블록마다 FFN 앞 | 4,096 × 8 | 듦(작음) | 로짓 크기 · f_ |
| 전문가 FFN | 블록마다 8개 | 1억 7,616만 × 8 × 32 | k = 2 개만 | 블록별 배정 수 |
| 게이트 값 | 라우터 출력 | 상위 2 softmax · 합 1 | 듦 | 두 값 차이 |
| 어텐션 · 임베딩 | 모든 블록 · 입출력 | 1.6B | 모두 듦 | 밀집 블록과 같음 |
| 전문가 용량 | 배치마다 | 배치 토큰 / N × 1.0 ~ 1.25 | 칸만큼 계산 | 버림 · 빈칸 비율 |
| 보조 부하 균형 손실 | 학습 손실 | α 0.01 · 고르면 1 × α | 학습만 | 1 보다 큰 정도 |
| 라우터 z 손실 | 학습 손실 | c_ | 학습만 | 발산 여부 |
| 전체 ↔ 활성 매개변수 | 모델 전체 | 47B ↔ 13B | 활성만 | 장치 메모리 · 지연 |
11참고 문헌
- 먼저 볼 문헌
- ★ Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (ICLR 2017 · arXiv:1701.06538) — 잡음 상위 k 게이트 식 · 줄어드는 배치 문제 · 중요도 손실을 원문으로 볼 때
- ★ Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (JMLR 2022 · arXiv:2101.03961) — 상위 1 라우팅 · 전문가 용량 식 · 보조 부하 균형 손실(식 3 ~ 6)을 볼 때
- ★ Mixtral of Experts (arXiv:2401.04088) — 전문가 8 · 상위 2 구조 표와 전체 47B · 활성 13B, 라우팅 분석(5절)을 볼 때
- ★ ST-MoE: Designing Stable and Transferable Sparse Expert Models (arXiv:2202.08906) — 학습 발산과 라우터 z 손실(3.3절 식 5 · 6)을 볼 때
- 본문 근거
- Mixture-of-Experts with Expert Choice Routing (NeurIPS 2022 · arXiv:2202.09368) — Zhou et al. · 2022-02 ·
arxiv.org/abs/2202.09368· 확인 2026-11-12 - GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (arXiv:2006.16668) — Lepikhin et al. · 2020-06 ·
arxiv.org/abs/2006.16668· 확인 2026-11-12 - Adaptive Mixtures of Local Experts (Neural Computation 3(1)) — Jacobs · Jordan · Nowlan · Hinton · 1991 ·
doi.org/10.1162/neco.1991.3.1.79· 확인 2026-11-12 - NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 ·
numpy.org/doc/2.4/reference/random/generator.html· 확인 2026-11-12