활성화 함수Activation Function
신경망의 각 단위가 가중합 z = w·x + b 에 원소마다 적용하는 비선형 함수 g(z)이고, 계층을 쌓은 망이 직선 · 평면이 아닌 경계를 나타내게 하면서 역전파 때 곱해지는 미분 g′(z)로 학습 속도를 정한다.
1요약
- 활성화 함수는 신경망 단위 안에서 가중합 z 와 다음 계층 입력 a 사이에 놓이는 함수 a = g(z)이고(Goodfellow 2016 6.1절), 은닉 계층의 ReLU · GELU 와 출력 계층의 시그모이드 · 소프트맥스가 그 위에서 회귀 · 분류 · 언어 모델을 돌린다.
- g 를 빼면 64단위 은닉 계층도 선형 회귀와 같아져, 사례에서 손실이 선형 최소 제곱 값 0.8706 에서 멈췄고 같은 망에 ReLU 를 넣자 0.0633 까지 내려갔다.
- 「활성화 함수를 바꿔야 하나」는 미분 g′(z)가 0이 되는 구간에 단위가 얼마나 머무는가로 가른다 — 모든 표본에서 z ≤ 0 인 ReLU 단위는 다시 살아나지 않고, |z| 가 큰 시그모이드 단위는 미분이 0.018 아래로 떨어져 학습이 느려진다.
2등장 배경
1943년 McCulloch · Pitts 의 논리 뉴런과 1958년 퍼셉트론은 0 · 1 을 내는 계단 함수를 썼는데, 미분이 거의 모든 곳에서 0이라 여러 계층의 가중치를 기울기로 고칠 수 없었다. 1986년 Rumelhart 외는 미분 가능한 로지스틱(시그모이드) 함수로 바꿔 역전파를 돌렸고(Rumelhart 1986), 1993년 Leshno 외는 활성화 함수가 다항식이 아니면 은닉 계층 하나로 연속 함수를 원하는 만큼 가깝게 나타낼 수 있음을 증명했다(Leshno 1993).
시그모이드는 |z| 가 크면 포화해 기울기가 작아졌다. 2010년 Nair · Hinton 이 max{0, z} 꼴 ReLU 를 쓰고(Nair 2010), 2011년 Glorot 외가 ReLU 망이 사전 학습 없이도 깊게 학습되며 참 0을 내는 희소 활성을 만든다고 보이면서(Glorot 2011) 은닉 계층의 기본값이 바뀌었다. 그 뒤 음수 쪽에 작은 기울기를 둔 Leaky ReLU(Maas 2013) · 그 기울기를 배우는 PReLU(He 2015) · 지수 꼴 ELU(Clevert 2015)가 나왔다.
2016년 GELU(Hendrycks 2016)와 2017년 Swish(Ramachandran 2017)는 z 의 부호가 아니라 크기로 입력을 가중하는 매끄러운 함수이고, Shazeer 2020 은 트랜스포머 피드포워드 계층에 흔히 쓰던 ReLU · GELU 대신 게이트를 곱하는 GLU 변종이 품질을 높인다고 보고했다. 지금도 은닉 계층 함수는 구조 · 과제마다 고르는 설계 값이고, 출력 계층 함수는 손실 함수와 짝으로 정해진다(Goodfellow 2016 6.2.2절).
3쉽게 이해하기 — 소식 릴레이의 목소리 규칙
마을 광장에 전달자들이 여러 줄로 서 있다. 전달자는 앞줄 사람들 목소리를 듣고 믿는 만큼 곱해 점수로 합한 뒤, 자기 «목소리 규칙»대로 크기를 정해 뒷줄에 외친다. 어떤 규칙은 「합이 0 이하면 침묵」이고, 어떤 규칙은 「아무리 확신해도 정해 둔 최대 목소리까지만」이다. 맨 끝에서 소식이 틀렸다고 쪽지가 거꾸로 돌아오면, 전달자는 «내 목소리가 점수에 얼마나 민감했는지»를 곱해 앞쪽으로 넘긴다.
그림 1 · 전달자는 들은 합을 규칙으로 목소리로 바꾸고, 돌아온 쪽지에는 그 규칙의 민감도가 곱해진다 — 규칙이 없으면 줄 전체가 한 사람과 같다.
그림 2 · 늘 침묵하는 전달자에게는 쪽지에 0이 곱해져 아무도 고쳐 주지 못하고, 속삭이는 전달자는 작은 민감도 덕에 다시 말하게 될 수 있다.
| 비유 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 앞줄 목소리 | 입력 x | 앞 계층 단위들의 출력 |
| 믿는 만큼 합산 | 가중합 z = w·x + b | 활성화 함수에 들어가는 사전 활성 값 |
| 목소리 규칙 | 활성화 함수 g | z 를 비선형으로 바꿈(ReLU · GELU · 시그모이드) |
| 뒷줄에 외친 소리 | 활성 값 a = g(z) | 다음 계층의 입력 · 출력 계층이면 예측 |
| 돌아온 쪽지 | ∂L/∂a | 손실에서 거꾸로 온 기울기 |
| 민감도를 곱해 넘김 | ∂L/∂z = ∂L/∂a × g′(z) | 역전파가 활성화 함수 미분을 곱함 |
| 늘 침묵하는 전달자 | 죽은 ReLU 단위 | 모든 입력에서 0을 내고 기울기도 0(Lu 2019) |
| 규칙 없는 줄 | 선형(항등) 활성화 | 몇 계층을 쌓아도 행렬 하나와 같음 |
⚠ 비유가 맞지 않는 곳: 전달자는 그날 기분으로 규칙을 바꿀 수 있지만 활성화 함수는 설계 때 정해 학습 중 바뀌지 않는다(PReLU 처럼 기울기 하나를 배우는 예외는 있다). 또 쪽지는 말이 아니라 단위마다 붙는 실수 하나이고, 표본 수백 개의 쪽지를 평균해 한 번에 고친다.
4구조 — 단위 안의 위치와 출력 계층의 짝
활성화 함수는 단위마다 따로 있는 것이 아니라 계층 전체에 원소별로 적용되는 같은 함수이고, 학습되는 값이 없다(PReLU · Swish 의 β 같은 예외 제외). 은닉 계층에서는 표현력과 기울기 흐름을, 출력 계층에서는 예측 값의 범위를 정하므로 두 위치의 선택 기준이 다르다.
그림 3 · 순전파에서 g 는 z 를 a 로 바꾸고, 역전파에서는 g′(z) 가 기울기에 곱해진다 — 출력 계층의 g 는 손실 함수와 짝으로 고른다.
| 요소 | 위치 | 역할 | 값 · 근거 |
|---|---|---|---|
| 사전 활성 z | 단위 안 | g 의 입력 | z = w·x + b(Goodfellow 2016 6.1절) |
| 은닉 활성화 g | 은닉 계층 | 비선형 · 기울기 통로 | 기본 권장 ReLU(Goodfellow 2016 6.1절) · 다항식이 아니어야 함(Leshno 1993) |
| 미분 g′(z) | 역전파 | 기울기에 곱해지는 값 | 시그모이드 최대 0.25 · ReLU 0 또는 1 |
| 출력 활성화 | 출력 계층 | 예측 값의 범위 | 항등 · 시그모이드(0, 1) · 소프트맥스(합 1)(6.2.2절) |
| 짝 손실 | 출력 뒤 | 포화를 상쇄 | 시그모이드 ↔ 이진 교차 엔트로피 · 소프트맥스 ↔ 교차 엔트로피 |
| 설계 값 | 하이퍼파라미터 | 함수 모양 | Leaky 기울기 기본 0.01(PyTorch LeakyReLU) · GELU 근사 'none' · 'tanh'(PyTorch GELU) |
🔑 은닉 계층의 활성화 함수는 «무엇을 나타낼 수 있나»와 «기울기가 얼마나 지나가나»를 함께 정하고, 출력 계층의 활성화 함수는 손실 함수가 정한다.
5동작 — 같은 망에서 활성화 함수만 바꾼 학습
직접 실행(합성 데이터 · default_rng(0) · NumPy Random Generator)으로, 은닉 계층 함수 하나만 바꾸고 나머지는 모두 같게 두었다.
- 준비 — 입력 512점 x ~ N(0, 1)², 목표 y = sin(2x1) + 0.5·x2², 2-64-1 망(W1 ~ N(0, 1) · W2 ~ N(0, 1/64) · 편향 0), 출력 활성화 = 항등 · 평균 제곱 오차 · 전체 배치 경사 하강 학습률 0.02 · 3,000회. 처음 ReLU 단위가 켜진(z > 0) 비율은 49.8% 다.
- 활성화 없음(항등) — 손실이 300회부터 0.8706 에서 멈춘다. 같은 데이터에 x1 · x2 로 선형 최소 제곱을 풀어도 0.8706 이라, 은닉 64단위가 선형 회귀 하나로 줄었다.
- 시그모이드 — 손실 0.2 아래로 2,564회째에 내려가고 3,000회에 0.1525 다. 미분이 0.25 를 넘지 않아 같은 학습률에서 한 번에 움직이는 양이 작다.
- tanh — 0.2 아래 737회 · 3,000회 0.0639.
- ReLU · Leaky ReLU(0.01) — 0.2 아래 445회 · 451회, 3,000회 0.0633 · 0.0636 으로 거의 같다. 이 학습률에서는 모든 표본에서 꺼진 단위가 0개라 음수 쪽 기울기가 쓰일 일이 없었다.
- GELU(tanh 근사식 · PyTorch GELU) — 0.2 아래 366회 · 3,000회 0.0403 으로 여섯 가운데 가장 낮다.
- 시드 0 ~ 9 확인 — 항등은 9번 최소 제곱 값(0.749 ~ 1.066)에서 멈추고 1번은 발산했다. 0.2 도달은 시그모이드 1,753 ~ 2,564회 · ReLU 314 ~ 480회, GELU 는 10번 모두 가장 낮게 끝났고(0.017 ~ 0.043), tanh 는 9번 ReLU 보다 낮게 끝났다 — 이 순위는 이 과제 · 학습률의 값이다.
그림 4 · 활성화가 없으면 ② 손실이 선형 최소 제곱 값에서 멈추고, 비선형 함수 가운데 ③ 시그모이드가 가장 느리며 ⑥ GELU 가 가장 낮게 끝난다.
그림 5 · 미분 g′(z)가 0에 가까운 구간이 곧 학습이 멈추는 구간이다 — 시그모이드는 어디서나 0.25 이하, ReLU 는 z ≤ 0 전체가 0, GELU 는 음수 쪽에서도 0이 아닌 값을 남긴다.
🔑 활성화 함수는 값보다 미분이 학습을 정한다 — 같은 망 · 같은 학습률에서 손실 0.2 까지 걸린 횟수가 시그모이드 2,564회 · ReLU 445회로 갈린 것은 g′(z)의 크기 차이다.
6비교 — 은닉 계층용 ReLU 계열 다섯
시그모이드 · tanh · ReLU 세 함수의 비교는 딥러닝이 맡고, 여기서는 오늘 은닉 계층에서 고르는 ReLU 계열을 견준다.
| 기준 | ReLU | Leaky ReLU | ELU | GELU | SiLU(Swish) |
|---|---|---|---|---|---|
| 식 | max{0, z} | z > 0 이면 z · 아니면 αz | z > 0 이면 z · 아니면 α(eᶻ − 1) | z·Φ(z) | z·σ(βz) · β = 1 이면 SiLU |
| 음수 쪽 출력 | 0(참 0 · 희소) | αz(α 0.01 · Goodfellow 2016 6.3.1절) | −α 쪽으로 포화 | 최소 −0.17(z ≈ −0.75) | 작은 음수 |
| 음수 쪽 미분 | 0 → 죽은 단위 가능 | α | αeᶻ | 0이 아님(최소 −0.13) | 0이 아님 |
| z = 0 매끄러움 | 꺾임 | 꺾임 | α = 1 이면 미분 이어짐 | 매끄러움 | 매끄러움 |
| 계산 | 비교 하나 | 비교 · 곱 | 지수 | erf 또는 tanh 근사 | 지수 |
| 보고된 위치 | 은닉 계층 기본 권장(Goodfellow 2016 6.1절) | 음성 인식 망(Maas 2013) | 5계층 넘는 망에서 ReLU 보다 빠른 학습(Clevert 2015) | 트랜스포머 계열 피드포워드(Shazeer 2020) | ReLU 대체 시 ImageNet top-1 +0.6 ~ 0.9%p(Ramachandran 2017) |
분석처음 짜는 망은 ReLU 로 시작하고, 죽은 단위 비율이 높으면 Leaky ReLU 로, 트랜스포머처럼 매끄러운 함수의 선례가 있는 구조면 GELU · SiLU 로 바꾼다. 근거는 표의 「음수 쪽 미분」 · 「계산」 행과 사례의 GELU 최저 손실(10번 중 10번)이며, 순위가 과제마다 바뀌므로 바꾼 뒤에는 같은 시드 묶음으로 다시 잰다.
7실무 진단 — 활성화 함수 때문에 학습이 어긋날 때
분석출력 계층 함수와 손실의 짝을 먼저 보고, 다음에 은닉 단위별 «모든 표본에서 꺼진 비율», 마지막에 |z| 분포(포화)를 본다. 출력 짝이 어긋나면 은닉 쪽 손질이 소용없고(Goodfellow 2016 6.2.2절), 꺼진 단위는 기울기가 정확히 0이라 저절로 돌아오지 않기 때문이다(Lu 2019).
| # | 증상 | 의심 원인 | 위치 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 손실이 선형 모델 수준에서 멈춤 | 은닉 활성화가 빠졌거나 항등 | 은닉 계층 | 같은 데이터의 선형 최소 제곱 손실 | 두 값이 같으면(사례 0.8706 = 0.8706) 은닉 g 를 넣음(Leshno 1993) |
| 2 | 손실이 아주 천천히 줄어듦 | 은닉 시그모이드 · 큰 |z| 의 포화 | 은닉 계층 | 계층별 |z| 분포 · g′(z) 평균 | g′ 평균이 0.25 를 넘지 못함 → ReLU 계열(Goodfellow 2016 6.3.2절 · 사례 2,564회 ↔ 445회) |
| 3 | 학습률을 올린 뒤 손실은 줄지만 단위 다수가 0만 냄 | 죽은 ReLU | 은닉 단위 | 단위별 「전체 표본에서 z ≤ 0」 개수 | 학습률 0.1 · 시드 0 에서 64 중 47 · 회복 0 → 학습률 · 초기화 조정 · Leaky ReLU(57 중 26 회복)(Lu 2019) |
| 4 | 출력 확률이 0 · 1 로 쏠리고 손실이 inf · NaN | 출력 시그모이드 · 소프트맥스 뒤 로그를 따로 계산 | 출력 계층 | 손실에 넣는 값이 확률인지 로짓인지 | 로짓을 받는 BCEWithLogitsLoss · CrossEntropyLoss 로 합침(PyTorch BCEWithLogitsLoss · CrossEntropyLoss) |
3행은 시드 0 ~ 9 가운데 발산하지 않은 8번 모두 ReLU 의 꺼진 단위가 22 ~ 52 개였고 회복은 0이었다. 4행의 TensorFlow 쪽 같은 기능은 from_logits=True 옵션을 쓰는 교차 엔트로피 손실이다.
8시험 대비
www.q-net.or.kr시험에서는 활성화 함수의 역할 · 종류를 쓰는 정의 · 특징형과, 시그모이드 · ReLU · GELU 같은 함수를 기준별로 견주는 비교형이 나올 수 있다. 정의형이면 «비선형이 왜 필요한가»를 선형 최소 제곱과 같아진 사례 값으로 먼저 보이고, 비교형이면 미분 그래프 한 장으로 포화 · 죽은 단위를 함께 설명한다.
- 개요 — 정의 a = g(z) · 위치(가중합과 다음 계층 사이) · 비선형 필요성(Leshno 1993)
- 구조 — 그림 3 단위 안의 g · 역전파의 g′(z) · 출력 계층 짝(항등 · 시그모이드 · 소프트맥스)
- 종류 — 계단 → 시그모이드 · tanh → ReLU 계열(Leaky · ELU) → GELU · SiLU 식과 범위
- 학습에 주는 영향 — 그림 5 미분 그래프(0.25 · 0 · −0.13) · 그림 4 사례(0.8706 · 2,564회 ↔ 445회)
- 비교 — ReLU 계열 다섯 비교표 · 선택 기준(기본 ReLU · 죽은 단위면 Leaky · 트랜스포머는 GELU)
- 문제와 대응 — 죽은 ReLU(47/64 · 회복 0) · 포화 · 출력 짝 어긋남(로짓 손실)
꼭 쓸 키워드
비선형성사전 활성 값포화기울기 소실ReLU죽은 ReLULeaky ReLUGELU소프트맥스보편 근사
다른 답안과 차이를 내는 한 가지는 그림 5 의 미분 그래프다 — 함수 모양만 그리는 대신 g′(z)를 겹쳐 그리면 시그모이드 포화 · ReLU 의 0 구간 · GELU 의 음수 미분이 한 장에서 학습 속도 차이로 이어진다.
9오해와 사실
- 오해ReLU 는 z = 0 에서 미분할 수 없어 경사 하강에 쓰면 안 된다.사실z 가 정확히 0이 되는 일은 드물고 구현은 그 점의 미분을 0 또는 1로 정해 쓰며, Goodfellow 2016 6.3절도 미분 불가능한 점이 학습을 막지 않는다고 설명한다.
- 오해활성화 함수를 바꾸면 모델 정확도가 언제나 오른다.사실사례에서 Leaky ReLU 는 ReLU 와 손실이 0.0636 · 0.0633 으로 같았다 — 꺼진 단위가 없으면 음수 쪽 기울기가 쓰일 일이 없다.
- 오해출력 계층에도 은닉 계층과 같은 ReLU 를 쓰면 된다.사실출력 함수는 예측 범위와 손실이 정한다 — 확률이면 시그모이드 · 소프트맥스, 실수 회귀면 항등이다(Goodfellow 2016 6.2.2절).
10핵심 정리
| 구분 | 식 | 출력 범위 | 미분 특징 | 주로 쓰는 위치 | 흔한 실패 |
|---|---|---|---|---|---|
| 항등(없음) | z | 실수 전체 | 늘 1 | 회귀 출력 계층 | 은닉에 쓰면 선형 모델(0.8706) |
| 시그모이드 | 1/(1 + e⁻ᶻ) | (0, 1) | 최대 0.25 | 이진 분류 출력 | 은닉 포화 · 느림(2,564회) |
| tanh | tanh z | (−1, 1) | 최대 1 · 양 끝 포화 | 순환 신경망 은닉 상태 | 큰 |z| 포화 |
| ReLU | max{0, z} | [0, ∞) | 0 또는 1 | 은닉 기본(445회) | 죽은 단위(47/64) |
| Leaky ReLU | 음수 쪽 αz | 실수 전체 | α · 1 | 죽은 단위 대책 | α 조정 필요 |
| GELU | z·Φ(z) | 약 −0.17 이상 | 음수 쪽도 0 아님 | 트랜스포머 피드포워드 | 계산 비용 |
| 소프트맥스 | eᶻⁱ/Σeᶻʲ | 합 1 | 교차 엔트로피와 짝 | 다중 분류 출력 | 로그 따로 계산 시 NaN |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6 Deep Feedforward Networks — 은닉 단위(6.3절) · 출력 단위와 손실의 짝(6.2.2절)을 식으로 볼 때
- ★ Rectified Linear Units Improve Restricted Boltzmann Machines (ICML 2010) — ReLU 가 신경망 단위로 처음 쓰인 논문을 볼 때
- ★ Deep Sparse Rectifier Neural Networks (PMLR 15 315-323) — ReLU 의 참 0(희소 활성)과 사전 학습 없는 깊은 망 학습을 볼 때
- ★ Gaussian Error Linear Units (GELUs) — GELU = x·Φ(x) 정의와 tanh 근사식을 볼 때
- ★ Dying ReLU and Initialization: Theory and Numerical Examples — 모든 입력에 0만 내는 죽은 ReLU 의 정의와 초기화 대책을 볼 때
- 본문 근거
- Rectifier Nonlinearities Improve Neural Network Acoustic Models (ICML 2013 Workshop on Deep Learning for Audio, Speech and Language Processing) — ICML · 2013-06 ·
ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf· 확인 2026-11-12 - Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (He et al.) — arXiv · 2015-02 ·
arxiv.org/abs/1502.01852· 확인 2026-11-12 - Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) — arXiv · 2015-11 ·
arxiv.org/abs/1511.07289· 확인 2026-11-12 - Searching for Activation Functions — arXiv · 2017-10 ·
arxiv.org/abs/1710.05941· 확인 2026-11-12 - GLU Variants Improve Transformer — arXiv · 2020-02 ·
arxiv.org/abs/2002.05202· 확인 2026-11-12 - Multilayer feedforward networks with a nonpolynomial activation function can approximate any function (Neural Networks 6(6) 861-867) — Elsevier · 1993 ·
doi.org/10.1016/S0893-6080(05)80131-5· 확인 2026-11-12 - Learning representations by back-propagating errors (Nature 323 533-536) — Nature · 1986-10 ·
www.nature.com/articles/323533a0· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.LeakyReLU — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/stable/generated/torch.nn.LeakyReLU.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.GELU — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/stable/generated/torch.nn.GELU.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.BCEWithLogitsLoss — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html· 확인 2026-11-12 - PyTorch 2.15 documentation - torch.nn.CrossEntropyLoss — PyTorch Foundation · 2026-11 ·
docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html· 확인 2026-11-12 - NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12