AI › 생성형 AI › LLM › 모델 구조

전문가 혼합(MoE)Mixture of Experts

트랜스포머 블록의 순방향 신경망(FFN)을 여러 전문가 FFN 으로 바꾸고, 라우터가 토큰마다 점수가 높은 몇 개 전문가만 골라 계산해 그 출력을 게이트 값으로 가중합하는 신경망 구조다.

1요약

  1. 전문가 혼합(MoE)은 LLM 트랜스포머 블록의 FFN 하나를 전문가 FFN N 개와 라우터로 바꾼 조건부 계산 구조로(Shazeer 외 2017), 그 위에서 수백억 ~ 1조 매개변수 언어 모델이 토큰마다 매개변수 일부만 계산하며 돈다.
  2. 밀집 모델은 매개변수를 늘리면 토큰당 계산도 같은 비율로 늘지만, 전문가 8개 중 2개만 쓰는 공개 모델은 전체 47B 가운데 활성 13B 만 토큰마다 계산한다(Jiang 외 2024 초록).
  3. 「MoE 가 기대만큼 안 된다」는 어느 수가 문제인가로 가른다 — 메모리 부족이면 전체 매개변수, 한 전문가의 배정 비율이 1/N 을 크게 넘으면 부하 쏠림, 버린 토큰 비율이 높으면 용량 계수다.

2등장 배경

밀집 신경망은 입력 하나마다 모든 매개변수를 계산하므로, 매개변수를 10배 늘리면 학습 · 추론 계산도 10배가 됐다. Jacobs · Jordan · Nowlan · Hinton(1991)은 작은 신경망 여러 개(전문가)와 그중 누구를 쓸지 정하는 게이트 신경망을 함께 학습하는 전문가 혼합을 냈지만, 게이트는 모든 전문가의 출력을 섞는 밀집 softmax 였다.

2017년 Shazeer 외는 게이트가 상위 k 개만 남기고 나머지를 −∞ 로 막는 잡음 상위 k 게이트를 넣어, LSTM 계층 사이에 전문가 수천 개 · 최대 1,370억 매개변수의 MoE 계층을 두고도 계산은 적게 들게 했다(초록 · 2.1절). 2020년 GShard 는 트랜스포머에 MoE 를 넣어 6,000억 매개변수 번역 모델을 TPU v3 2,048개로 4일에 학습했고(Lepikhin 외 2020), 2021년 Switch Transformer 는 k = 1 로 줄여 같은 계산으로 사전 학습을 최대 7배 빠르게 하며 1조 매개변수까지 키웠다(Fedus 외 2021 초록).

지금은 공개 논문의 LLM 도 블록 32개마다 전문가 8개 · 상위 2 구조를 쓰고(Jiang 외 2024 표 1), 남은 과제는 부하 쏠림 · 학습 발산 · 서빙 메모리다.

3쉽게 이해하기 — 종합병원 접수 창구

종합병원에 전문의 여덟 명이 출근해 있다. 환자가 문진표를 내면 접수 창구가 여덟 진료실마다 점수를 매겨 가장 맞는 두 곳으로만 보내고, 두 전문의의 소견을 점수 비율대로 합쳐 소견서 한 장을 만든다. 진료실마다 한 번에 볼 정원이 있어, 한 진료실에 환자가 몰려 정원이 차면 넘친 환자는 그 진료실 진료 없이 다음 창구로 넘어간다.

환자 문진표를 냄 토큰 은닉 상태 x 접수 창구 점수 매기기 라우터 W_r 상위 2 고르기 전문의 1 · 대기 전문의 2 · 진료 전문의 3 · 대기 전문의 4 · 대기 전문의 5 · 대기 전문의 6 · 대기 전문의 7 · 진료 전문의 8 · 대기 전문가 FFN 8개 소견 합치기 0.57 · 0.43 가중합 y 다음 진료과 다음 블록 1 2 3 4 ① 문진표를 냄 · ② 점수 높은 두 진료실로만 · ③ 소견을 점수 비율대로 합침 · ④ 다음 진료과로 · 진한 색 = 환자를 본 전문의

그림 1 · 접수 창구는 환자마다 여덟 전문의 중 두 명만 고르고, 두 소견을 점수 비율대로 합쳐 다음 진료과로 보낸다.

문진표증상을 적어 창구에 냄
점수 매기기여덟 진료실마다 맞는 정도
두 전문의점수 높은 두 곳만 진료
소견 비율점수대로 무게를 나눔
소견서 한 장두 소견을 합침
정원 마감넘친 환자는 진료 없이 통과
비유 — 출근은 8명, 진료는 2명 병원에 출근한 전문의 = 8명분 공간 · 월급 굵은 테두리 = 이 환자를 본 2명(진료 시간 = 2명분) 환자 한 명이 쓰는 비용 = 출근한 인원이 아니라 만난 인원 실제 — 전문가 8 · 상위 2 모델 전체 46.7B · 메모리에 모두 올림 전문가 FFN 45.1B 활성 12.9B · 토큰마다 계산 전문가 FFN 2개분 11.3B 전문가 FFN 어텐션 · 임베딩 1.6B(양쪽 같음) 전문가 FFN 하나 = 3 × 4,096 × 14,336 = 1억 7,616만 매개변수 · 블록 32개 × 전문가 8개 = 45.1B 토큰 하나는 블록마다 2개만 계산 → 32 × 2 × 1억 7,616만 = 11.3B Jiang 외 2024 표 1 값으로 계산 · SwiGLU 행렬 셋 · 막대 길이 = 매개변수 수 비례 · 원문 값 47B · 13B

그림 2 · 병원에는 여덟 명이 모두 출근해 있어야 하지만 환자 한 명은 두 명의 시간만 쓴다 — 실제 모델도 메모리는 47B, 토큰당 계산은 13B 다.

비유 속 역할실제 이름실제로 하는 일
환자 · 문진표토큰 · 은닉 상태 x블록마다 4,096차원 벡터 하나로 MoE 계층에 들어간다
접수 창구라우터(게이트 신경망)x · W_r 로 전문가마다 로짓 하나를 낸다
두 진료실 고르기상위 k 선택로짓 상위 k 개만 남기고 나머지를 −∞ 로 막는다
전문의전문가 FFN블록 안 FFN 과 같은 모양의 신경망 N 개
소견 비율게이트 값남긴 k 개 로짓의 softmax · 합 1
소견서 한 장가중합 출력Σ 게이트 값 × 전문가 출력에 잔차를 더한다
진료 정원전문가 용량배치에서 전문가 하나가 받는 토큰 수 상한
출근한 8명전체 매개변수쓰지 않는 전문가도 메모리에 올라가 있다

⚠ 비유가 맞지 않는 곳: 병원은 진료과를 주제(내과 · 외과)로 나누지만, MoE 의 전문가는 사람이 정한 주제가 없고 학습으로 나뉘며 실제 배정은 주제보다 문법 · 낱말 모양을 더 따른다(Jiang 외 2024 5절). 또 환자는 블록 32개를 지날 때마다 접수를 새로 해 매번 다른 두 명을 만날 수 있다.

4구조 — 라우터 · 전문가 FFN · 가중합

MoE 계층은 트랜스포머 블록에서 FFN 한 곳만 바꾼다 — 셀프 어텐션 · 잔차 연결 · 정규화는 밀집 블록 그대로다. 출력은 y = Σ_{i∈T} g_i(x) · E_i(x) 이고, T 는 라우터 로짓 x · W_r 의 상위 k 개 번호, 게이트 g 는 G(x) = Softmax(TopK(x · W_g)) 다(Jiang 외 2024 2.1절 · Shazeer 외 2017 식 3).

은닉 상태 h 4,096차원 셀프 어텐션 밀집 그대로 라우터 W_r · softmax 상위 k = 2 전문가 1 전문가 2 · g 0.57 전문가 3 전문가 4 전문가 5 전문가 6 전문가 7 · g 0.43 전문가 8 전문가 FFN × 8 가중합 Σ g · E(h) 더하기 · 정규화 잔차 연결 — 용량을 넘친 토큰은 이 길로만 지남 → 다음 블록 토큰 표현 라우터(채움) · 고른 전문가(굵은 테두리) 출력 밀집 블록과 같은 부분 · 쉬는 전문가 점선 = 잔차 연결 · 굵은 화살 = 이 토큰의 계산 경로 · 블록 32개마다 같은 구조(Jiang 외 2024 표 1)

그림 3 · MoE 블록은 어텐션 뒤 FFN 을 라우터와 전문가 8개로 바꾸고, 고른 두 전문가 출력만 게이트 값으로 더한 뒤 잔차와 합친다.

요소크기 · 값(공개 모델 기준)역할근거
라우터 W_r4,096 × 8 · 블록마다전문가마다 로짓을 낸다Jiang 2.1절
전문가 FFN8개 · 4,096 → 14,336 → 4,096고른 토큰만 계산Jiang 표 1
게이트 값상위 2 로짓의 softmax두 출력의 섞는 비율Jiang 2.1절
전문가 용량(배치 토큰 수 / N) × 용량 계수전문가 하나가 받는 토큰 상한Fedus 식 3
보조 부하 균형 손실α · N · Σ f_i · P_i · α 0.01배정을 1/N 쪽으로 민다Fedus 식 4
라우터 z 손실로짓 log-sum-exp 제곱 · c_z 0.001큰 로짓을 막아 발산을 줄인다Zoph 3.3절
전문가 병렬전문가를 장치마다 나눠 둠장치 하나에 다 안 올라갈 때Lepikhin 2020

🔑 MoE 는 토큰당 계산을 활성 매개변수에, 서버 메모리를 전체 매개변수에 묶는다 — 비용은 k 가, 올릴 크기는 N 이 정한다.

토큰화 · 컨텍스트 윈도우는 입력 길이와 토큰 수를 정하고, MoE 는 그 토큰 하나가 블록 안에서 쓰는 계산량을 정한다.

5동작 — 토큰 32개의 상위 2 라우팅 한 묶음

학습 전 무작위 라우터가 토큰 32개를 전문가 8개에 나누는 사례다. 은닉 16차원 합성 데이터(설명용 가정 값)를 NumPy 2.4.3(Python 3.14.0)의 default_rng(0) 생성기 하나로 만들어 직접 실행했다.

  1. 토큰 32개(32 × 16)와 라우터 W_r(16 × 8)을 만든다 — 전문가 N 8 · k 2 · 용량 계수 1.25.
  2. 로짓 x · W_r 을 계산한다 — 토큰 0 은 여덟 값 중 전문가 2(3.01)와 전문가 7(2.73)이 상위 둘이다.
  3. 두 로짓만 softmax 해 게이트 0.569 · 0.431 을 얻는다 — 여덟 개 전체 softmax 로는 0.352 · 0.266 이라 고른 둘의 합이 1 이 되게 다시 나눈 셈이다(Jiang 2.1절).
  4. 32 토큰 × 2 = 64 배정을 전문가별로 센다 — 14 · 9 · 5 · 10 · 8 · 6 · 6 · 6 이고 고르게 나뉘면 8 이다.
  5. 용량 = 64 / 8 × 1.25 = 10 이다(Fedus 식 3 · 배정 수 기준) — 전문가 1 에서 배정 4개가 넘쳐 버려지고(6.3%), 전체 칸 80개 가운데 20개(25%)는 비어 계산만 낭비된다.
  6. 보조 손실을 계산한다 — 배정 비율 f_1 0.219 · 확률 평균 P_1 0.224 처럼 전문가 1 이 둘 다 크고, N · Σ f_i · P_i = 1.131(고르면 1.0)에 α 0.01 을 곱한 0.0113 이 손실에 더해진다(Fedus 식 4).
  7. 토큰 0 의 출력 y = 0.569 · E_2(x) + 0.431 · E_7(x) 에 잔차를 더해 다음 블록으로 보낸다 — 두 전문가 모두에서 버려진 토큰은 잔차 값만 지난다(Fedus 2.2절).
전문가별 배정 수 — 64 배정 · 용량 10 0 8 10 16 +4 14 9 5 10 8 6 6 6 용량 10 고른 배정 8 1 2 3 4 5 6 7 8 전문가 5 넘친 4개 버림(6.3%) · 잔차로만 통과 4 배정 집계 · 합 64 처리한 배정 용량을 넘쳐 버린 배정 직접 실행 · 학습 전 라우터 · 용량 = 64 / 8 × 1.25

그림 4 · 전문가 1 에 배정 14개가 몰려 용량 10 을 넘긴 4개가 버려지고, 전문가 3 은 5개만 받아 용량 절반이 빈다.

시드를 0 ~ 19 로 바꿔 돌리면 가장 많이 받은 전문가의 배정은 9 ~ 15, 보조 손실 값은 1.014 ~ 1.132, 버린 비율은 0 ~ 9.4% 로 갈린다 — 학습 전 라우터는 매번 다른 전문가로 쏠린다. 용량 계수를 바꾸면 버림과 빈칸이 서로 반대로 움직인다.

용량 계수 — 버림과 빈칸의 맞바꿈 0% 25% 50% 1.0 1.25 1.5 2.0 용량 계수 사례 ⑤ 빈칸 35.4% 빈칸 50% 25.0% 버림 6.3% 14.1% 빈칸(계산 낭비) · 현재 라우터 버린 배정 · 현재 라우터 버린 배정 · 고르게 무작위 배정 200회 평균 직접 실행 · 64 배정 · 전문가 8 · 빈칸 = (전체 칸 − 처리 배정) / 전체 칸 · 버림 = 버린 배정 / 64

그림 5 · 용량 계수를 1.0 에서 2.0 으로 올리면 버린 배정은 14.1% 에서 0 으로 줄지만 빈칸은 14.1% 에서 50% 로 늘어난다.

🔑 용량 계수를 올리면 버림이 줄고 빈칸이 늘어난다 — 둘을 함께 줄이는 것은 용량 계수가 아니라 라우터의 부하 균형이다.

Fedus 외(2021)는 보조 손실로 균형을 맞춘 뒤 버린 토큰을 보통 1% 미만으로 보고했고, 용량 계수 1.0 · 1.25 처럼 작은 값에서 더 좋은 결과를 얻었다(2.2절 · 표 1).

6비교 — 밀집 FFN · 라우팅 방식

기준밀집 FFN토큰이 상위 2 선택토큰이 상위 1 선택전문가가 토큰 선택
대표 문헌트랜스포머 기본형Shazeer 2017 · Jiang 2024Fedus 2021Zhou 2022
토큰당 계산하는 FFN1(블록 전체)21토큰마다 0개 이상 · 고정 아님
매개변수를 늘릴 때 계산같은 비율로 늘어남전문가 수와 무관전문가 수와 무관 · 라우터 계산 최소전문가 수와 무관
부하 균형해당 없음보조 손실 필요보조 손실 α 0.01 · 용량 계수전문가마다 받는 수가 고정
버려지는 토큰없음용량을 넘치면 생김같음 · 보통 1% 미만어느 전문가에도 안 뽑히는 토큰이 생길 수 있음
보고된 효과기준같은 활성 크기 밀집 대비 품질 향상같은 계산에 사전 학습 최대 7배 빠름같은 계산의 상위 1 · 상위 2 대비 수렴 2배 이상 빠름

분석메모리가 넉넉하고 토큰당 계산을 줄여야 하면 MoE 를, 장치 메모리가 작거나 배치 1 로 응답 하나의 속도가 중요하면 같은 활성 크기의 밀집 모델을 먼저 검토한다. 근거는 MoE 의 서빙 메모리가 전체 매개변수에 비례하고 라우팅 · 메모리 읽기 부담 때문에 배치가 큰 작업에 더 맞는다는 Jiang 외 2024 3절이다.

라우팅 방식 셋 가운데 상위 1 은 계산 · 통신이 가장 적고, 상위 2 는 전문가 둘을 비교해 라우터 기울기가 생긴다는 원래 근거(Shazeer 외 2017 2.1절)를 지키며, 전문가 선택은 버림 대신 균형을 구조로 보장한다.

7실무 진단 — 라우팅 · 용량 · 메모리 원인 가르기

분석배정 비율 · 버림 비율처럼 학습 로그에서 바로 읽히는 수부터 보고, 정밀도 · 손실 설정은 그다음에 바꿔 본다. 전문가 하나의 f_i 가 1/N 의 두 배를 넘으면 원인은 용량 계수가 아니라 라우터 쏠림이다(Fedus 식 4 · 아래 표 1행).

#증상의심 원인구성 요소확인 자료판정 기준(근거)
1몇 전문가만 배정을 받고 나머지 손실이 정체부하 쏠림 · 라우터 붕괴라우터블록별 f_i · 보조 손실 값고르면 f_i = 1/N · N · Σ f_i P_i = 1 · α 를 10⁻² 근처로(Fedus 2.2절)
2같은 계산의 밀집보다 품질이 낮음버림 과다전문가 용량블록별 버린 토큰 비율보통 1% 미만이면 정상 범위(Fedus 2.2절) · 넘으면 균형부터 · 그다음 용량 계수
3bfloat16 학습 중 손실이 갑자기 발산라우터 로짓 · 반올림 오차라우터 softmax라우터 로짓 크기 · 정밀도라우터만 float32(Fedus 2.4절) · z 손실 c_z 0.001(Zoph 3.3절)
4추론 계산은 작은데 메모리 부족전체 매개변수 상주전문가 FFN 전체장치 메모리 · 전체 매개변수 수메모리는 전체(47B)에 비례(Jiang 3절) → 양자화 · 전문가 병렬
5배치 1 응답이 기대만큼 빠르지 않음라우팅 · 전문가 가중치 읽기서빙배치 크기별 토큰당 지연배치가 클 때 이득(Jiang 3절) · 배치 · 캐시 조정은 추론 최적화가 다룬다

1 · 2행은 학습 로그 한 번으로 끝난다. 3행은 설정을 바꿔 다시 학습해야 하고, 4 · 5행은 학습과 무관한 서빙 쪽이라 따로 본다.

8시험 대비

출제 정보 정보관리(137회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 라우터 · 전문가 · 가중합을 그려 설명하는 구조 · 구성형과, 밀집 모델 · 라우팅 방식과의 차이를 묻는 비교형이 나올 수 있다. 구조형이면 그림 3 블록도에 게이트 식과 활성 · 전체 매개변수 구분을 붙이고, 비교형이면 계산 · 메모리 · 부하 균형 세 축의 표 뒤에 용량 계수의 맞바꿈을 쓴다.

답안 목차
  1. 개요 — 정의(조건부 계산 · FFN 을 전문가 N 개로) · 등장(1991 전문가 혼합 → 2017 희소 게이트 → 2021 상위 1 → 2024 공개 LLM)
  2. 구조 — 그림 3 블록도(라우터 · 전문가 8 · 상위 2 · 가중합 · 잔차) + 게이트 식 Softmax(TopK(x · W_g))
  3. 계산과 메모리 — 활성 13B ↔ 전체 47B · 전문가 FFN 하나 1억 7,616만 계산 표
  4. 부하 균형 — 그림 4 배정 막대 · 용량 식 · 보조 손실 α · N · Σ f_i · P_i · z 손실
  5. 비교 — 밀집 FFN · 상위 2 · 상위 1 · 전문가 선택 표
  6. 한계와 대응 — 그림 5 용량 계수 맞바꿈 · 학습 발산 · 서빙 메모리 · 전문가 병렬

꼭 쓸 키워드
조건부 계산라우터게이트 값상위 k 라우팅활성 매개변수전문가 용량용량 계수보조 부하 균형 손실라우터 z 손실전문가 병렬

다른 답안과 차이를 내는 한 가지는 3번 계산 표다 — 전문가 FFN 하나 = 3 × 4,096 × 14,336 에서 전체 45.1B 와 활성 11.3B 를 직접 셈해 원문 47B · 13B 와 맞추면 「계산은 k, 메모리는 N」이 숫자로 증명된다.

9오해와 사실

  • 오해전문가마다 수학 · 코드 · 철학 같은 주제를 하나씩 맡는다.
    사실공개 모델의 라우팅 분석에서 논문 · 의학 초록 · 철학 문서의 전문가 배정 분포는 거의 같았고, 배정은 주제보다 문법 구조를 더 따랐다(Jiang 외 2024 5절).
  • 오해MoE 는 같은 품질의 밀집 모델보다 메모리를 덜 쓴다.
    사실줄어드는 것은 토큰당 계산이고, 서빙 메모리는 전체 매개변수 47B 에 비례한다(Jiang 외 2024 3절).
  • 오해전문가 하나는 따로 떼어 쓸 수 있는 작은 언어 모델이다.
    사실바뀌는 것은 블록마다 FFN 하나이고 어텐션 · 임베딩은 모든 전문가가 함께 쓰며, 토큰은 블록 32개마다 다른 전문가 조합을 지난다(Jiang 외 2024 2절).

10핵심 정리

구성 요소있는 곳값(공개 모델 · 논문)토큰당 계산진단에서 볼 것
라우터블록마다 FFN 앞4,096 × 8듦(작음)로짓 크기 · f_i
전문가 FFN블록마다 8개1억 7,616만 × 8 × 32k = 2 개만블록별 배정 수
게이트 값라우터 출력상위 2 softmax · 합 1듦두 값 차이
어텐션 · 임베딩모든 블록 · 입출력1.6B모두 듦밀집 블록과 같음
전문가 용량배치마다배치 토큰 / N × 1.0 ~ 1.25칸만큼 계산버림 · 빈칸 비율
보조 부하 균형 손실학습 손실α 0.01 · 고르면 1 × α학습만1 보다 큰 정도
라우터 z 손실학습 손실c_z 0.001학습만발산 여부
전체 ↔ 활성 매개변수모델 전체47B ↔ 13B활성만장치 메모리 · 지연

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer (ICLR 2017 · arXiv:1701.06538) — 잡음 상위 k 게이트 식 · 줄어드는 배치 문제 · 중요도 손실을 원문으로 볼 때
    Shazeer et al. · 2017-01 · arxiv.org/abs/1701.06538 · 확인 2026-11-12
  3. ★ Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity (JMLR 2022 · arXiv:2101.03961) — 상위 1 라우팅 · 전문가 용량 식 · 보조 부하 균형 손실(식 3 ~ 6)을 볼 때
    Fedus · Zoph · Shazeer · 2021-01 · arxiv.org/abs/2101.03961 · 확인 2026-11-12
  4. ★ Mixtral of Experts (arXiv:2401.04088) — 전문가 8 · 상위 2 구조 표와 전체 47B · 활성 13B, 라우팅 분석(5절)을 볼 때
    Jiang et al. · 2024-01 · arxiv.org/abs/2401.04088 · 확인 2026-11-12
  5. ★ ST-MoE: Designing Stable and Transferable Sparse Expert Models (arXiv:2202.08906) — 학습 발산과 라우터 z 손실(3.3절 식 5 · 6)을 볼 때
    Zoph et al. · 2022-02 · arxiv.org/abs/2202.08906 · 확인 2026-11-12
  6. 본문 근거
  7. Mixture-of-Experts with Expert Choice Routing (NeurIPS 2022 · arXiv:2202.09368) — Zhou et al. · 2022-02 · arxiv.org/abs/2202.09368 · 확인 2026-11-12
  8. GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding (arXiv:2006.16668) — Lepikhin et al. · 2020-06 · arxiv.org/abs/2006.16668 · 확인 2026-11-12
  9. Adaptive Mixtures of Local Experts (Neural Computation 3(1)) — Jacobs · Jordan · Nowlan · Hinton · 1991 · doi.org/10.1162/neco.1991.3.1.79 · 확인 2026-11-12
  10. NumPy 2.4 Reference Random Generator — NumPy Developers · 2026-11 · numpy.org/doc/2.4/reference/random/generator.html · 확인 2026-11-12