AI › 인공지능 개요 › 딥러닝 › 신경망 기본

활성화 함수Activation Function

신경망의 각 단위가 가중합 z = w·x + b 에 원소마다 적용하는 비선형 함수 g(z)이고, 계층을 쌓은 망이 직선 · 평면이 아닌 경계를 나타내게 하면서 역전파 때 곱해지는 미분 g′(z)로 학습 속도를 정한다.

1요약

  1. 활성화 함수는 신경망 단위 안에서 가중합 z 와 다음 계층 입력 a 사이에 놓이는 함수 a = g(z)이고(Goodfellow 2016 6.1절), 은닉 계층의 ReLU · GELU 와 출력 계층의 시그모이드 · 소프트맥스가 그 위에서 회귀 · 분류 · 언어 모델을 돌린다.
  2. g 를 빼면 64단위 은닉 계층도 선형 회귀와 같아져, 사례에서 손실이 선형 최소 제곱 값 0.8706 에서 멈췄고 같은 망에 ReLU 를 넣자 0.0633 까지 내려갔다.
  3. 「활성화 함수를 바꿔야 하나」는 미분 g′(z)가 0이 되는 구간에 단위가 얼마나 머무는가로 가른다 — 모든 표본에서 z ≤ 0 인 ReLU 단위는 다시 살아나지 않고, |z| 가 큰 시그모이드 단위는 미분이 0.018 아래로 떨어져 학습이 느려진다.

2등장 배경

1943년 McCulloch · Pitts 의 논리 뉴런과 1958년 퍼셉트론은 0 · 1 을 내는 계단 함수를 썼는데, 미분이 거의 모든 곳에서 0이라 여러 계층의 가중치를 기울기로 고칠 수 없었다. 1986년 Rumelhart 외는 미분 가능한 로지스틱(시그모이드) 함수로 바꿔 역전파를 돌렸고(Rumelhart 1986), 1993년 Leshno 외는 활성화 함수가 다항식이 아니면 은닉 계층 하나로 연속 함수를 원하는 만큼 가깝게 나타낼 수 있음을 증명했다(Leshno 1993).

시그모이드는 |z| 가 크면 포화해 기울기가 작아졌다. 2010년 Nair · Hinton 이 max{0, z} 꼴 ReLU 를 쓰고(Nair 2010), 2011년 Glorot 외가 ReLU 망이 사전 학습 없이도 깊게 학습되며 참 0을 내는 희소 활성을 만든다고 보이면서(Glorot 2011) 은닉 계층의 기본값이 바뀌었다. 그 뒤 음수 쪽에 작은 기울기를 둔 Leaky ReLU(Maas 2013) · 그 기울기를 배우는 PReLU(He 2015) · 지수 꼴 ELU(Clevert 2015)가 나왔다.

2016년 GELU(Hendrycks 2016)와 2017년 Swish(Ramachandran 2017)는 z 의 부호가 아니라 크기로 입력을 가중하는 매끄러운 함수이고, Shazeer 2020 은 트랜스포머 피드포워드 계층에 흔히 쓰던 ReLU · GELU 대신 게이트를 곱하는 GLU 변종이 품질을 높인다고 보고했다. 지금도 은닉 계층 함수는 구조 · 과제마다 고르는 설계 값이고, 출력 계층 함수는 손실 함수와 짝으로 정해진다(Goodfellow 2016 6.2.2절).

3쉽게 이해하기 — 소식 릴레이의 목소리 규칙

마을 광장에 전달자들이 여러 줄로 서 있다. 전달자는 앞줄 사람들 목소리를 듣고 믿는 만큼 곱해 점수로 합한 뒤, 자기 «목소리 규칙»대로 크기를 정해 뒷줄에 외친다. 어떤 규칙은 「합이 0 이하면 침묵」이고, 어떤 규칙은 「아무리 확신해도 정해 둔 최대 목소리까지만」이다. 맨 끝에서 소식이 틀렸다고 쪽지가 거꾸로 돌아오면, 전달자는 «내 목소리가 점수에 얼마나 민감했는지»를 곱해 앞쪽으로 넘긴다.

앞줄 사람들 들은 목소리 입력 x 1 전달자 믿는 만큼 합산 가중합 z 2 목소리 규칙 합 → 목소리 크기 활성화 함수 g 3 외침 규칙대로 낸 소리 출력 a = g(z) 뒷줄 사람들 다음 전달자 다음 계층 4 돌아온 쪽지 × 규칙의 민감도 기울기 × g′(z) 0 이하면 침묵 넘으면 들은 만큼 ReLU 최대 목소리 한계 더 확신해도 그대로 시그모이드 포화 규칙 없음 줄 전체 = 한 사람 선형 → 한 계층 데이터 모델 · 학습 규칙 출력 실패 쪽지가 돌아오는 길(역전파)

그림 1 · 전달자는 들은 합을 규칙으로 목소리로 바꾸고, 돌아온 쪽지에는 그 규칙의 민감도가 곱해진다 — 규칙이 없으면 줄 전체가 한 사람과 같다.

목소리 듣기앞줄 여러 명
점수 합하기믿는 만큼 곱해 더함
규칙 적용합을 목소리 크기로
뒷줄에 외치기다음 전달자에게
쪽지 받기소식이 틀린 정도
민감도 곱해 넘기기앞쪽으로 되돌림
비유 — 침묵 규칙의 끝 실제 — z ≤ 0 의 미분 늘 침묵하는 전달자 합이 늘 0 이하 → 소리 0 돌아온 쪽지 × 0 = 0 아무도 고쳐 주지 못해 계속 침묵 속삭이는 전달자 0 이하면 100분의 1 크기로 돌아온 쪽지 × 0.01 → 조금씩 고쳐짐 다시 말하게 될 수 있음 ReLU z ≤ 0 → g′(z) = 0 ∂L/∂w = 0 · 다시 안 바뀜 64 단위 중 47 멈춤 · 회복 0 Leaky ReLU z ≤ 0 → g′(z) = 0.01 기울기가 작지만 0 아님 57 단위 중 26 회복 학습률 0.1 · 시드 0 · 3,000회

그림 2 · 늘 침묵하는 전달자에게는 쪽지에 0이 곱해져 아무도 고쳐 주지 못하고, 속삭이는 전달자는 작은 민감도 덕에 다시 말하게 될 수 있다.

비유실제 이름실제로 하는 일
앞줄 목소리입력 x앞 계층 단위들의 출력
믿는 만큼 합산가중합 z = w·x + b활성화 함수에 들어가는 사전 활성 값
목소리 규칙활성화 함수 gz 를 비선형으로 바꿈(ReLU · GELU · 시그모이드)
뒷줄에 외친 소리활성 값 a = g(z)다음 계층의 입력 · 출력 계층이면 예측
돌아온 쪽지∂L/∂a손실에서 거꾸로 온 기울기
민감도를 곱해 넘김∂L/∂z = ∂L/∂a × g′(z)역전파가 활성화 함수 미분을 곱함
늘 침묵하는 전달자죽은 ReLU 단위모든 입력에서 0을 내고 기울기도 0(Lu 2019)
규칙 없는 줄선형(항등) 활성화몇 계층을 쌓아도 행렬 하나와 같음

⚠ 비유가 맞지 않는 곳: 전달자는 그날 기분으로 규칙을 바꿀 수 있지만 활성화 함수는 설계 때 정해 학습 중 바뀌지 않는다(PReLU 처럼 기울기 하나를 배우는 예외는 있다). 또 쪽지는 말이 아니라 단위마다 붙는 실수 하나이고, 표본 수백 개의 쪽지를 평균해 한 번에 고친다.

4구조 — 단위 안의 위치와 출력 계층의 짝

활성화 함수는 단위마다 따로 있는 것이 아니라 계층 전체에 원소별로 적용되는 같은 함수이고, 학습되는 값이 없다(PReLU · Swish 의 β 같은 예외 제외). 은닉 계층에서는 표현력과 기울기 흐름을, 출력 계층에서는 예측 값의 범위를 정하므로 두 위치의 선택 기준이 다르다.

x1 x2 Σ z z = w·x + b 활성화 함수 g 원소마다 · 학습 값 없음 a 다음 계층 입력 은닉 계층이면 역전파 ∂L/∂z = ∂L/∂a × g′(z) 출력 계층이면 — g 와 손실 함수의 짝 항등 회귀 + 평균 제곱 오차 시그모이드 이진 분류 + 이진 교차 엔트로피 소프트맥스 다중 분류 + 교차 엔트로피 입력 데이터 모델 · 함수 활성 값 · 출력 기울기 흐름

그림 3 · 순전파에서 g 는 z 를 a 로 바꾸고, 역전파에서는 g′(z) 가 기울기에 곱해진다 — 출력 계층의 g 는 손실 함수와 짝으로 고른다.

요소위치역할값 · 근거
사전 활성 z단위 안g 의 입력z = w·x + b(Goodfellow 2016 6.1절)
은닉 활성화 g은닉 계층비선형 · 기울기 통로기본 권장 ReLU(Goodfellow 2016 6.1절) · 다항식이 아니어야 함(Leshno 1993)
미분 g′(z)역전파기울기에 곱해지는 값시그모이드 최대 0.25 · ReLU 0 또는 1
출력 활성화출력 계층예측 값의 범위항등 · 시그모이드(0, 1) · 소프트맥스(합 1)(6.2.2절)
짝 손실출력 뒤포화를 상쇄시그모이드 ↔ 이진 교차 엔트로피 · 소프트맥스 ↔ 교차 엔트로피
설계 값하이퍼파라미터함수 모양Leaky 기울기 기본 0.01(PyTorch LeakyReLU) · GELU 근사 'none' · 'tanh'(PyTorch GELU)

🔑 은닉 계층의 활성화 함수는 «무엇을 나타낼 수 있나»와 «기울기가 얼마나 지나가나»를 함께 정하고, 출력 계층의 활성화 함수는 손실 함수가 정한다.

5동작 — 같은 망에서 활성화 함수만 바꾼 학습

직접 실행(합성 데이터 · default_rng(0) · NumPy Random Generator)으로, 은닉 계층 함수 하나만 바꾸고 나머지는 모두 같게 두었다.

  1. 준비 — 입력 512점 x ~ N(0, 1)², 목표 y = sin(2x1) + 0.5·x2², 2-64-1 망(W1 ~ N(0, 1) · W2 ~ N(0, 1/64) · 편향 0), 출력 활성화 = 항등 · 평균 제곱 오차 · 전체 배치 경사 하강 학습률 0.02 · 3,000회. 처음 ReLU 단위가 켜진(z > 0) 비율은 49.8% 다.
  2. 활성화 없음(항등) — 손실이 300회부터 0.8706 에서 멈춘다. 같은 데이터에 x1 · x2 로 선형 최소 제곱을 풀어도 0.8706 이라, 은닉 64단위가 선형 회귀 하나로 줄었다.
  3. 시그모이드 — 손실 0.2 아래로 2,564회째에 내려가고 3,000회에 0.1525 다. 미분이 0.25 를 넘지 않아 같은 학습률에서 한 번에 움직이는 양이 작다.
  4. tanh — 0.2 아래 737회 · 3,000회 0.0639.
  5. ReLU · Leaky ReLU(0.01) — 0.2 아래 445회 · 451회, 3,000회 0.0633 · 0.0636 으로 거의 같다. 이 학습률에서는 모든 표본에서 꺼진 단위가 0개라 음수 쪽 기울기가 쓰일 일이 없었다.
  6. GELU(tanh 근사식 · PyTorch GELU) — 0.2 아래 366회 · 3,000회 0.0403 으로 여섯 가운데 가장 낮다.
  7. 시드 0 ~ 9 확인 — 항등은 9번 최소 제곱 값(0.749 ~ 1.066)에서 멈추고 1번은 발산했다. 0.2 도달은 시그모이드 1,753 ~ 2,564회 · ReLU 314 ~ 480회, GELU 는 10번 모두 가장 낮게 끝났고(0.017 ~ 0.043), tanh 는 9번 ReLU 보다 낮게 끝났다 — 이 순위는 이 과제 · 학습률의 값이다.
학습 손실(평균 제곱 오차 · 로그 눈금) — 은닉 함수만 바꿈 10 1 0.1 0.03 0 10 100 300 1000 2000 3000 반복 횟수(기록한 시점 · 간격 고르지 않음) 손실 0.2 ② 항등 0.8706 ③ 시그모이드 0.1525 ④ tanh 0.0639 ⑤ ReLU 0.0633 ⑥ GELU 0.0403 Leaky 는 ReLU 와 겹침

그림 4 · 활성화가 없으면 ② 손실이 선형 최소 제곱 값에서 멈추고, 비선형 함수 가운데 ③ 시그모이드가 가장 느리며 ⑥ GELU 가 가장 낮게 끝난다.

활성화 함수의 미분 g′(z) — 역전파가 곱하는 값 1 0.5 0.25 0 −4 −2 0 2 4 사전 활성 값 z z ≤ −3 이면 시그모이드 · tanh · ReLU 미분 ≈ 0 시그모이드 최대 0.25 · z = ±4 0.018 tanh 최대 1 · z = ±3 0.0099 ReLU z ≤ 0 이면 0 · 아니면 1 Leaky ReLU z ≤ 0 이면 0.01 GELU 최소 −0.13 · 최대 1.13 (z = ∓√2)

그림 5 · 미분 g′(z)가 0에 가까운 구간이 곧 학습이 멈추는 구간이다 — 시그모이드는 어디서나 0.25 이하, ReLU 는 z ≤ 0 전체가 0, GELU 는 음수 쪽에서도 0이 아닌 값을 남긴다.

🔑 활성화 함수는 값보다 미분이 학습을 정한다 — 같은 망 · 같은 학습률에서 손실 0.2 까지 걸린 횟수가 시그모이드 2,564회 · ReLU 445회로 갈린 것은 g′(z)의 크기 차이다.

6비교 — 은닉 계층용 ReLU 계열 다섯

시그모이드 · tanh · ReLU 세 함수의 비교는 딥러닝이 맡고, 여기서는 오늘 은닉 계층에서 고르는 ReLU 계열을 견준다.

기준ReLULeaky ReLUELUGELUSiLU(Swish)
식max{0, z}z > 0 이면 z · 아니면 αzz > 0 이면 z · 아니면 α(eᶻ − 1)z·Φ(z)z·σ(βz) · β = 1 이면 SiLU
음수 쪽 출력0(참 0 · 희소)αz(α 0.01 · Goodfellow 2016 6.3.1절)−α 쪽으로 포화최소 −0.17(z ≈ −0.75)작은 음수
음수 쪽 미분0 → 죽은 단위 가능ααeᶻ0이 아님(최소 −0.13)0이 아님
z = 0 매끄러움꺾임꺾임α = 1 이면 미분 이어짐매끄러움매끄러움
계산비교 하나비교 · 곱지수erf 또는 tanh 근사지수
보고된 위치은닉 계층 기본 권장(Goodfellow 2016 6.1절)음성 인식 망(Maas 2013)5계층 넘는 망에서 ReLU 보다 빠른 학습(Clevert 2015)트랜스포머 계열 피드포워드(Shazeer 2020)ReLU 대체 시 ImageNet top-1 +0.6 ~ 0.9%p(Ramachandran 2017)

분석처음 짜는 망은 ReLU 로 시작하고, 죽은 단위 비율이 높으면 Leaky ReLU 로, 트랜스포머처럼 매끄러운 함수의 선례가 있는 구조면 GELU · SiLU 로 바꾼다. 근거는 표의 「음수 쪽 미분」 · 「계산」 행과 사례의 GELU 최저 손실(10번 중 10번)이며, 순위가 과제마다 바뀌므로 바꾼 뒤에는 같은 시드 묶음으로 다시 잰다.

7실무 진단 — 활성화 함수 때문에 학습이 어긋날 때

분석출력 계층 함수와 손실의 짝을 먼저 보고, 다음에 은닉 단위별 «모든 표본에서 꺼진 비율», 마지막에 |z| 분포(포화)를 본다. 출력 짝이 어긋나면 은닉 쪽 손질이 소용없고(Goodfellow 2016 6.2.2절), 꺼진 단위는 기울기가 정확히 0이라 저절로 돌아오지 않기 때문이다(Lu 2019).

#증상의심 원인위치확인 자료판정 기준(근거)
1손실이 선형 모델 수준에서 멈춤은닉 활성화가 빠졌거나 항등은닉 계층같은 데이터의 선형 최소 제곱 손실두 값이 같으면(사례 0.8706 = 0.8706) 은닉 g 를 넣음(Leshno 1993)
2손실이 아주 천천히 줄어듦은닉 시그모이드 · 큰 |z| 의 포화은닉 계층계층별 |z| 분포 · g′(z) 평균g′ 평균이 0.25 를 넘지 못함 → ReLU 계열(Goodfellow 2016 6.3.2절 · 사례 2,564회 ↔ 445회)
3학습률을 올린 뒤 손실은 줄지만 단위 다수가 0만 냄죽은 ReLU은닉 단위단위별 「전체 표본에서 z ≤ 0」 개수학습률 0.1 · 시드 0 에서 64 중 47 · 회복 0 → 학습률 · 초기화 조정 · Leaky ReLU(57 중 26 회복)(Lu 2019)
4출력 확률이 0 · 1 로 쏠리고 손실이 inf · NaN출력 시그모이드 · 소프트맥스 뒤 로그를 따로 계산출력 계층손실에 넣는 값이 확률인지 로짓인지로짓을 받는 BCEWithLogitsLoss · CrossEntropyLoss 로 합침(PyTorch BCEWithLogitsLoss · CrossEntropyLoss)

3행은 시드 0 ~ 9 가운데 발산하지 않은 8번 모두 ReLU 의 꺼진 단위가 22 ~ 52 개였고 회복은 0이었다. 4행의 TensorFlow 쪽 같은 기능은 from_logits=True 옵션을 쓰는 교차 엔트로피 손실이다.

8시험 대비

출제 정보 정보관리(133회, 113회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 활성화 함수의 역할 · 종류를 쓰는 정의 · 특징형과, 시그모이드 · ReLU · GELU 같은 함수를 기준별로 견주는 비교형이 나올 수 있다. 정의형이면 «비선형이 왜 필요한가»를 선형 최소 제곱과 같아진 사례 값으로 먼저 보이고, 비교형이면 미분 그래프 한 장으로 포화 · 죽은 단위를 함께 설명한다.

답안 목차
  1. 개요 — 정의 a = g(z) · 위치(가중합과 다음 계층 사이) · 비선형 필요성(Leshno 1993)
  2. 구조 — 그림 3 단위 안의 g · 역전파의 g′(z) · 출력 계층 짝(항등 · 시그모이드 · 소프트맥스)
  3. 종류 — 계단 → 시그모이드 · tanh → ReLU 계열(Leaky · ELU) → GELU · SiLU 식과 범위
  4. 학습에 주는 영향 — 그림 5 미분 그래프(0.25 · 0 · −0.13) · 그림 4 사례(0.8706 · 2,564회 ↔ 445회)
  5. 비교 — ReLU 계열 다섯 비교표 · 선택 기준(기본 ReLU · 죽은 단위면 Leaky · 트랜스포머는 GELU)
  6. 문제와 대응 — 죽은 ReLU(47/64 · 회복 0) · 포화 · 출력 짝 어긋남(로짓 손실)

꼭 쓸 키워드
비선형성사전 활성 값포화기울기 소실ReLU죽은 ReLULeaky ReLUGELU소프트맥스보편 근사

다른 답안과 차이를 내는 한 가지는 그림 5 의 미분 그래프다 — 함수 모양만 그리는 대신 g′(z)를 겹쳐 그리면 시그모이드 포화 · ReLU 의 0 구간 · GELU 의 음수 미분이 한 장에서 학습 속도 차이로 이어진다.

9오해와 사실

  • 오해ReLU 는 z = 0 에서 미분할 수 없어 경사 하강에 쓰면 안 된다.
    사실z 가 정확히 0이 되는 일은 드물고 구현은 그 점의 미분을 0 또는 1로 정해 쓰며, Goodfellow 2016 6.3절도 미분 불가능한 점이 학습을 막지 않는다고 설명한다.
  • 오해활성화 함수를 바꾸면 모델 정확도가 언제나 오른다.
    사실사례에서 Leaky ReLU 는 ReLU 와 손실이 0.0636 · 0.0633 으로 같았다 — 꺼진 단위가 없으면 음수 쪽 기울기가 쓰일 일이 없다.
  • 오해출력 계층에도 은닉 계층과 같은 ReLU 를 쓰면 된다.
    사실출력 함수는 예측 범위와 손실이 정한다 — 확률이면 시그모이드 · 소프트맥스, 실수 회귀면 항등이다(Goodfellow 2016 6.2.2절).

10핵심 정리

구분식출력 범위미분 특징주로 쓰는 위치흔한 실패
항등(없음)z실수 전체늘 1회귀 출력 계층은닉에 쓰면 선형 모델(0.8706)
시그모이드1/(1 + e⁻ᶻ)(0, 1)최대 0.25이진 분류 출력은닉 포화 · 느림(2,564회)
tanhtanh z(−1, 1)최대 1 · 양 끝 포화순환 신경망 은닉 상태큰 |z| 포화
ReLUmax{0, z}[0, ∞)0 또는 1은닉 기본(445회)죽은 단위(47/64)
Leaky ReLU음수 쪽 αz실수 전체α · 1죽은 단위 대책α 조정 필요
GELUz·Φ(z)약 −0.17 이상음수 쪽도 0 아님트랜스포머 피드포워드계산 비용
소프트맥스eᶻⁱ/Σeᶻʲ합 1교차 엔트로피와 짝다중 분류 출력로그 따로 계산 시 NaN

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Deep Learning (Ian Goodfellow · Yoshua Bengio · Aaron Courville) 6 Deep Feedforward Networks — 은닉 단위(6.3절) · 출력 단위와 손실의 짝(6.2.2절)을 식으로 볼 때
    MIT Press · 2016-11 · www.deeplearningbook.org/contents/mlp.html · 확인 2026-11-12
  3. ★ Rectified Linear Units Improve Restricted Boltzmann Machines (ICML 2010) — ReLU 가 신경망 단위로 처음 쓰인 논문을 볼 때
    ICML · 2010-06 · www.cs.toronto.edu/~hinton/absps/reluICML.pdf · 확인 2026-11-12
  4. ★ Deep Sparse Rectifier Neural Networks (PMLR 15 315-323) — ReLU 의 참 0(희소 활성)과 사전 학습 없는 깊은 망 학습을 볼 때
    PMLR · 2011-04 · proceedings.mlr.press/v15/glorot11a.html · 확인 2026-11-12
  5. ★ Gaussian Error Linear Units (GELUs) — GELU = x·Φ(x) 정의와 tanh 근사식을 볼 때
    arXiv · 2016-06 · arxiv.org/abs/1606.08415 · 확인 2026-11-12
  6. ★ Dying ReLU and Initialization: Theory and Numerical Examples — 모든 입력에 0만 내는 죽은 ReLU 의 정의와 초기화 대책을 볼 때
    arXiv · 2019-03 · arxiv.org/abs/1903.06733 · 확인 2026-11-12
  7. 본문 근거
  8. Rectifier Nonlinearities Improve Neural Network Acoustic Models (ICML 2013 Workshop on Deep Learning for Audio, Speech and Language Processing) — ICML · 2013-06 · ai.stanford.edu/~amaas/papers/relu_hybrid_icml2013_final.pdf · 확인 2026-11-12
  9. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification (He et al.) — arXiv · 2015-02 · arxiv.org/abs/1502.01852 · 확인 2026-11-12
  10. Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) — arXiv · 2015-11 · arxiv.org/abs/1511.07289 · 확인 2026-11-12
  11. Searching for Activation Functions — arXiv · 2017-10 · arxiv.org/abs/1710.05941 · 확인 2026-11-12
  12. GLU Variants Improve Transformer — arXiv · 2020-02 · arxiv.org/abs/2002.05202 · 확인 2026-11-12
  13. Multilayer feedforward networks with a nonpolynomial activation function can approximate any function (Neural Networks 6(6) 861-867) — Elsevier · 1993 · doi.org/10.1016/S0893-6080(05)80131-5 · 확인 2026-11-12
  14. Learning representations by back-propagating errors (Nature 323 533-536) — Nature · 1986-10 · www.nature.com/articles/323533a0 · 확인 2026-11-12
  15. PyTorch 2.15 documentation - torch.nn.LeakyReLU — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.LeakyReLU.html · 확인 2026-11-12
  16. PyTorch 2.15 documentation - torch.nn.GELU — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.GELU.html · 확인 2026-11-12
  17. PyTorch 2.15 documentation - torch.nn.BCEWithLogitsLoss — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.BCEWithLogitsLoss.html · 확인 2026-11-12
  18. PyTorch 2.15 documentation - torch.nn.CrossEntropyLoss — PyTorch Foundation · 2026-11 · docs.pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html · 확인 2026-11-12
  19. NumPy v2.4 Manual - Random Generator (numpy.random.default_rng) — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/random/generator.html · 확인 2026-11-12