로지스틱 회귀Logistic Regression
특징의 가중 합을 로그 승산(로짓)으로 보고 시그모이드 함수로 0 ~ 1 확률로 바꿔 두 클래스 가운데 하나일 확률을 예측하는 분류 모델이며, 가중치는 최대우도로 정한다.
1요약
- 로지스틱 회귀는 지도 학습의 분류에서 로그 승산을 특징의 선형 식으로 두는 일반화 선형 모델로(Cox 1958 · ESL 4.4절), 신경망의 시그모이드 출력 · 소프트맥스 분류기가 같은 꼴을 쓰고 신용 점수 · 의료 진단의 기준선 모델로 남아 있다.
- 0 · 1 결과에 직선을 맞추면 확률이 범위를 벗어난다 — 챌린저호 사고 전 비행 23회의 O-링 손상에 직선을 맞추면 31°F 에서 확률 1.75 가 나오지만, 로지스틱 회귀는 0.9996 과 구간 0.48 ~ 1.00 을 낸다(UCI Challenger · 직접 실행).
- 「계수가 이상하다」는 반복마다 커지는 계수(완전 분리) · 라이브러리 기본 규제 · 데이터 범위 밖 예측 셋으로 가른다(Albert 1984 · scikit-learn API).
2등장 배경
생물 검정(bio-assay)에서는 약의 용량에 따라 «죽었다 · 살았다»처럼 두 값만 나오는 결과를 다뤘는데, 확률을 직선으로 놓으면 큰 용량에서 1 을 넘고 작은 용량에서 0 아래로 내려가 해석이 안 됐다. 로지스틱 함수 자체는 Verhulst 가 1838년 인구 증가 곡선으로 처음 쓰고 1845년 「logistique」라고 이름 붙였으며, 1920년 Pearl · Reed 가 미국 인구 연구에서 다시 찾아냈다(Cramer 2002).
Berkson 은 1944년 이 함수를 생물 검정에 쓰자고 제안하며 프로빗(probit)에 빗대 「로짓(logit)」이라는 말을 만들었다(Berkson 1944 · Cramer 2002). Cox 는 1958년 두 값 결과를 설명 변수로 회귀하는 틀을 정리했고, 1972년 Nelder · Wedderburn 의 일반화 선형 모델이 반복 재가중 최소제곱(IRLS)을 공통 해법으로 묶었다(Cox 1958 · Nelder 1972).
지금 로지스틱 회귀는 계수가 승산비로 바로 읽혀 해석이 필요한 분류의 첫 모델로 쓰인다. scikit-learn 은 이 모델을 «회귀가 아니라 분류용 선형 모델»로 분류하고 기본으로 L2 규제를 건다(scikit-learn 1.1.11 · scikit-learn API).
3쉽게 이해하기 — 점수표를 확률로 바꾸는 소방 점검관
소방 점검관 다온은 건물마다 점검표를 채운다. 낡은 배선은 +2, 소화기 없음은 +1.5, 새로 지은 건물은 −1 처럼 항목마다 배점을 더해 점수 합을 내고, S 모양으로 휜 환산 자에 그 점수를 대어 «화재 확률 92%» 를 읽는다. 확률이 50% 를 넘으면 경보 딱지를 붙이고, 배점은 지난 장부에 적힌 «불이 난 건물 · 안 난 건물» 기록과 가장 잘 맞도록 해마다 다시 맞춘다.
그림 1 · 배점을 더한 점수 합이 S 모양 환산 자를 거쳐 0 ~ 100% 확률이 되고, 배점은 지난 기록과 가장 잘 맞게 정한다.
그림 2 · 점수 1점은 확률을 늘 같은 폭으로 올리지 않지만, 승산은 어디서든 같은 배수(e = 2.72)로 바꾼다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 점검 항목 | 특징 xⱼ | 한 표본을 이루는 입력 값(온도 · 나이 · 금액) |
| 항목별 배점 | 가중치 bⱼ | 특징이 1 늘 때 로그 승산이 바뀌는 양 |
| 점수 합 | 선형 점수 z(로짓) | b₀ + Σbⱼxⱼ · −∞ ~ +∞ 값 |
| S 모양 환산 자 | 시그모이드 σ(z) | 점수를 0 ~ 1 확률로 바꿈 |
| 경보 기준 50% | 임계값 τ | 확률을 클래스로 나누는 선 · 바꿀 수 있음 |
| 지난 장부 | 레이블 y · 학습 데이터 | 실제 결과 0 · 1 |
| 배점 다시 맞추기 | 최대우도 · IRLS | 기록이 나올 확률이 가장 커지는 가중치를 찾음 |
| 점검관 다온 | 분석가 | 항목을 고르고 기준을 정함 |
⚠ 비유가 맞지 않는 곳: 점검관은 배점을 경험으로 정하지만 모델은 장부에서 계산으로 정하고, 장부의 불난 건물과 안 난 건물이 점수 하나로 깔끔히 갈리면 배점이 끝없이 커져 정해지지 않는다(그림 5). 환산 자의 모양도 늘 같은 S 곡선이라, 점수와 확률 사이가 다른 모양이면 맞지 않는다.
4구조 — 선형 점수에서 확률 · 학습까지
그림 3 · 예측은 선형 점수를 시그모이드에 통과시킬 뿐이고, 학습은 로그 손실의 기울기와 곡률로 가중치를 고치는 반복이다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 특징 x | n × p | 입력 · 절편용 1 열을 붙여 설계 행렬 X | ESL 4.4절 |
| 선형 점수 z | n | log(p / (1 − p)) = b₀ + Σbⱼxⱼ · 로짓 | ESL 4.4절 · Berkson 1944 |
| 시그모이드 σ | — | σ(z) = 1 / (1 + e⁻ᶻ) · 출력 0 ~ 1 | scikit-learn 1.1.11.1 |
| 확률 p | n | P(y = 1 | x) · 교재 기호는 p 위에 hat | scikit-learn 1.1.11.1 |
| 로그 손실 | 1 | −Σ[y log p + (1 − y) log(1 − p)] = 음의 로그 우도 | ESL 4.4.1절 |
| IRLS · 뉴턴 | (p+1) × (p+1) 행렬 | 가중 W = p(1 − p) 로 가중 최소제곱을 되풀이 | ESL 4.4.1절 · Nelder 1972 |
| 임계값 τ | 1 | p ≥ τ 이면 1 · 기본 0.5 · 비용에 따라 바꿈 | scikit-learn 1.1.11 |
로그 손실은 볼록 함수라 해가 있으면 하나뿐이고, 뉴턴 갱신은 매번 가중치 W 로 다시 맞추는 가중 최소제곱과 같아 IRLS 라고 부른다(ESL 4.4.1절). 절편이 있으면 최대우도 해에서 예측 확률의 합 = 실제 1 의 개수 가 성립해, 학습 데이터 전체로는 확률이 실제 비율에 맞는다(ESL 4.4.1절).
🔑 가중치는 확률이 아니라 로그 승산에 더해진다 — 같은 계수라도 확률 변화는 p = 0.5 에서 가장 크고(b/4) 양 끝에서 0 에 가깝다.
5동작 — 챌린저호 이전 비행 23회의 O-링 손상
UCI Challenger 의 「erosion or blowby」 파일 23행으로 직접 실행한 사례다 — 비행마다 O-링 열 손상이 하나라도 있으면 y = 1 로 두고, IRLS 를 NumPy 로 구현했다(난수 없음). 발사 전날 예보 온도는 31°F 였다(UCI Challenger).
- 데이터 — 비행 23회 · 손상 7회(53 · 57 · 58 · 63 · 70 · 70 · 75°F) · 발사 온도 53 ~ 81°F · 특징은 온도 하나다.
- 시작 — b = (0, 0) 이면 모든 확률이 0.5 이고 로그 우도는 23 × ln 0.5 = −15.94 다.
- IRLS — 1회 만에 −10.59, 5회째에 b₀ = 15.043 · b₁ = −0.2322 · 로그 우도 −10.158 로 멈춘다. 예측 확률의 합은 7.00 으로 손상 횟수와 같다.
- 해석 — b₁ 의 표준오차 0.108 · Wald z = −2.14 · p = 0.032 이고, 승산비 e^b₁ = 0.793(95% 구간 0.641 ~ 0.980)이라 온도가 10°F 내려가면 손상 승산이 10.2배가 된다.
- 적합도 — 이탈도가 28.27(절편만)에서 20.32 로 줄어 우도비 χ² = 7.95(자유도 1 · p = 0.0048)이고, 표본당 로그 손실은 0.614 → 0.442 다.
- 분류 — p = 0.5 경계는 −b₀/b₁ = 64.8°F 다. 임계값 0.5 로는 손상 7회 중 4회를 맞히고 3회(70 · 70 · 75°F)를 놓치며, 75°F 비행 하나(p = 0.086)가 로그 손실 합의 24% 를 차지한다 · AUC 0.781.
- 외삽 — 31°F 의 예측 확률은 0.9996 이지만 로짓 표준오차가 4.04 라 95% 구간은 0.48 ~ 1.00 이다 · 같은 데이터에 직선(선형 확률 모형)을 맞추면 31°F 에서 1.75 가 된다.
그림 4 · 기온이 내려갈수록 손상 확률이 오르고 64.8°F 에서 0.5 를 지나지만, 데이터 밖 31°F 의 0.9996 은 구간이 0.48 ~ 1.00 으로 넓다.
그림 5 · 두 클래스가 섞이면 기울기가 5회 만에 0.232 로 정해지지만, 한 온도에서 완전히 갈리면 25회 뒤에도 14.1 로 계속 커진다 — 최대우도 해가 없다.
가상 레이블은 65°F 미만 비행을 모두 1 로 바꾼 것이다. 이때 로그 우도는 0 으로 다가가고 b₁ 표준오차는 25회째 19,000 을 넘으며, scikit-learn 기본값과 같은 L2 규제(C = 1)를 걸면 기울기가 1.03 에서 멈춘다(Albert 1984 · scikit-learn API).
🔑 최대우도 해는 두 클래스가 특징 공간에서 겹칠 때만 존재한다 — 완전히 갈리는 데이터에서 반복을 늘리면 계수는 커지기만 한다.
6비교 — 이진 로지스틱 · 규제 · 다항 · 프로빗
| 기준 | 이진 로지스틱(최대우도) | L2 규제 | L1 규제 | 다항(소프트맥스) | 프로빗 |
|---|---|---|---|---|---|
| 손실 · 연결 함수 | 로그 손실 · 로짓 | + ‖b‖² / 2 를 C 로 저울질 | + ‖b‖₁ 을 C 로 저울질 | 교차 엔트로피 · 소프트맥스 | 정규 누적분포 Φ |
| 계수(사례 · 1°F) | −0.232 · 승산비로 읽음 | 0 쪽으로 줄어듦 · −0.162(C = 1 · 표준화) | 일부가 정확히 0 | 클래스마다 벡터 · K − 1 개면 충분 | −0.135 · 로짓 계수의 약 1/1.72 |
| 완전 분리 | 해 없음(발산) | 유한한 해 | 유한한 해 | 해 없음(발산) | 해 없음(발산) |
| 사례 적합 | 로그 우도 −10.158 · 경계 64.8°F | 경계 63.4°F(C = 1) | — (특징 하나) | 두 클래스면 이진과 같음 | 로그 우도 −10.189 · 경계 65.0°F |
| 쓰는 곳 | 해석이 필요한 이진 분류 | 특징이 많거나 서로 겹칠 때 | 쓸 특징을 추릴 때 | 클래스 셋 이상 | 잠재 정규 변수를 가정하는 분야 |
분석확률과 승산비 해석이 필요하고 표본이 특징보다 충분하면 최대우도 로지스틱을, 특징이 많거나 분리가 의심되면 L2, 특징을 추리려면 L1, 클래스가 셋 이상이면 소프트맥스를 쓴다. 프로빗은 사례에서 로그 우도 · 경계가 거의 같아, 계수를 승산비로 바로 읽을 수 있는 로지스틱이 흔히 먼저다(표의 「계수」 · 「사례 적합」 행 · scikit-learn 1.1.11).
선형 회귀 · SVM · 결정 트리와의 비교는 선형 회귀 · 퍼셉트론의 비교 표가 맡는다.
7실무 진단 — 로지스틱 회귀의 문제 가르기
분석수렴 경고와 반복별 계수부터 보고, 다음에 라이브러리 규제 설정, 예측할 입력의 범위, 임계값 · 보정 순으로 내려간다. 분리나 규제 때문에 계수 자체가 틀리면 그 뒤의 승산비 · 구간 해석이 모두 틀린 값 위에 서기 때문이다(Albert 1984).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 수렴 경고 · 계수와 표준오차가 반복마다 커짐 | 완전 · 준완전 분리 | 데이터 | 반복별 계수 · 클래스별 특징 범위 | 한 경계로 클래스가 갈리면 최대우도 해 없음 · 규제 또는 특징 점검(Albert 1984) · 사례 가상 레이블 25회 14.1 |
| 2 | 라이브러리 계수가 통계 패키지 · 교재 값보다 작음 | 기본 L2 규제 | 설정 | 함수 기본값 · C · 특징 표준화 여부 | scikit-learn 기본 C = 1.0 · L2(scikit-learn API) · 사례 −0.162 대 −0.232 · 해석용이면 규제를 끄고 비교 |
| 3 | 학습 범위 밖 입력에서 0.99 이상 · 0.01 이하 | 외삽 | 입력 | 학습 특징 범위 · 로짓 표준오차 | 구간 폭을 함께 냄 · 사례 31°F 는 최저 53°F 보다 22°F 밖 · 구간 0.48 ~ 1.00 |
| 4 | 정확도는 높은데 양성을 놓침 | 임계값 0.5 · 클래스 불균형 | 판정 | 혼동 행렬 · 임계값별 재현율 | 놓치는 비용이 크면 τ 를 낮춤 · 사례 FN 3 / 7 · 지표 선택은 성능 지표에서 다룸 |
| 5 | 0.8 로 예측한 묶음의 실제 비율이 0.5 | 보정 깨짐(규제 · 표본 차이 · 분포 변화) | 출력 | 구간별 평균 예측 대 실제 비율 | 절편 있는 최대우도면 학습 데이터에서 Σp = Σy · 새 데이터에서 어긋나면 재적합 · 보정(ESL 4.4.1절) |
사례 실제 데이터는 5회에 수렴하고 특징 범위 안의 예측은 구간이 좁아, 남는 문제는 4행(놓친 손상 3회)이다.
8시험 대비
www.q-net.or.kr시험에서는 시그모이드 · 로짓 · 최대우도를 쓰는 정의 · 특징형, 그리고 선형 회귀와 «출력 · 손실 · 해법»을 가르는 비교형이 나올 수 있다. 승산비로 계수를 해석하고 완전 분리 한계를 한 줄 넣으면 정의 수준을 넘는다.
- 개요 — 정의(로그 승산의 선형 모델) · 이진 분류 · 일반화 선형 모델 안의 위치
- 구조 — 그림 3 선형 점수 → 시그모이드 → 확률 → 임계값 + 로그 손실 · IRLS 학습 흐름
- 학습 절차 — 최대우도 · 뉴턴(IRLS) · 그림 4 사례(b₁ −0.232 · 승산비 0.793 · 경계 64.8°F)
- 해석 — 승산비 e^b · 확률 변화 최대 b/4 · Wald 검정 · 이탈도(28.27 → 20.32)
- 비교 — 선형 회귀(31°F 1.75) · 규제 L1 · L2 · 소프트맥스 · 프로빗 표
- 한계와 대응 — 그림 5 완전 분리 · 외삽 구간 · 임계값 · 보정
꼭 쓸 키워드
시그모이드로짓승산비최대우도로그 손실IRLS결정 경계완전 분리L2 규제소프트맥스
다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «클래스가 완전히 갈리면 최대우도 해가 없다»를 반복별 계수로 보이는 것이다 — 정확도가 100% 인데 모델이 정해지지 않는 역설을 숫자로 짚는다.
9오해와 사실
- 오해이름이 회귀이니 실수 값을 예측한다.사실출력은 클래스 확률이고 임계값으로 클래스를 고른다 — scikit-learn 도 이 모델을 «분류용 선형 모델»로 둔다(scikit-learn 1.1.11).
- 오해계수는 특징 1 단위당 확률이 바뀌는 양이다.사실계수는 로그 승산의 변화량이고 확률 변화는 b · p(1 − p) 다 — 사례에서 1°F 당 확률 변화는 70°F(p 0.23) 근처 4.1%p, 81°F(p 0.023)에서 0.5%p 다(직접 실행).
- 오해수렴하지 않으면 반복 횟수를 늘리면 된다.사실완전 분리면 해가 없어 반복을 늘릴수록 계수만 커진다 — 사례 가상 레이블은 25회에 14.1 이고 규제를 걸어야 1.03 에서 멈춘다(Albert 1984).
10핵심 정리
| 구분 | 맡는 일 | 식 | 사례 값(챌린저 23회) | 흔한 실패 |
|---|---|---|---|---|
| 선형 점수 z | 증거를 더함 | b₀ + Σbⱼxⱼ | 15.043 − 0.2322 × 온도 | 확률로 읽음 |
| 시그모이드 | 0 ~ 1 로 바꿈 | 1 / (1 + e⁻ᶻ) | 64.8°F 에서 0.5 | 끝에서 기울기 0 |
| 승산비 | 계수 해석 | e^b | 0.793 · 10°F 에 × 10.2 | 확률 비와 혼동 |
| 로그 손실 · 최대우도 | 학습 기준 | −Σ[y log p + (1−y) log(1−p)] | −15.94 → −10.158 | 제곱 오차로 학습 |
| IRLS · 뉴턴 | 해 구하기 | b ← b + (XᵀWX)⁻¹Xᵀ(y−p) | 5회 수렴 | 분리 데이터에서 발산 |
| 임계값 τ | 클래스 판정 | p ≥ τ | 0.5 에서 놓침 3 / 7 | 0.5 고정 |
| 완전 분리 | 해 존재 조건 | 한 경계로 클래스가 갈림 | 가상 레이블 25회 14.1 | 반복만 늘림 |
| L2 규제 | 계수 줄임 | 손실 + ‖b‖² / 2C | −0.162(C = 1) | 기본값인 줄 모름 |
11참고 문헌
- 먼저 볼 문헌
- ★ The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman · corrected 12th printing) — 로지스틱 회귀의 최대우도 적합 · IRLS(4.4.1절)와 계수 해석 사례(4.4.2절)를 볼 때
- ★ scikit-learn 1.9.1 User Guide 1.1.11 Logistic regression — 이진(1.1.11.1) · 다항(1.1.11.2) 식과 규제 항 · 해법 선택을 볼 때
- ★ scikit-learn 1.9.1 API Reference - sklearn.linear_model.LogisticRegression — 기본값(C = 1.0 · L2 규제 · lbfgs · max_iter 100)을 확인할 때
- ★ Challenger USA Space Shuttle O-Ring (UCI Machine Learning Repository · DOI 10.24432/C5PW2T · CC BY 4.0) — 사례 데이터 23회 비행(발사 온도 · 열 손상 O-링 수)을 내려받아 따라 해 볼 때
- ★ The Origins of Logistic Regression (Tinbergen Institute Discussion Paper TI 2002-119/4) — 로지스틱 함수와 로짓이라는 이름의 기원을 볼 때
- 본문 근거
- Risk Analysis of the Space Shuttle: Pre-Challenger Prediction of Failure (Journal of the American Statistical Association 84(408) 945-957) — American Statistical Association · 1989-12 ·
doi.org/10.1080/01621459.1989.10478858· 확인 2026-11-12 - The Regression Analysis of Binary Sequences (Journal of the Royal Statistical Society Series B 20(2) 215-242) — Royal Statistical Society · 1958 ·
doi.org/10.1111/j.2517-6161.1958.tb00292.x· 확인 2026-11-12 - Application of the Logistic Function to Bio-Assay (Journal of the American Statistical Association 39(227) 357-365) — American Statistical Association · 1944-09 ·
doi.org/10.1080/01621459.1944.10500699· 확인 2026-11-12 - On the Existence of Maximum Likelihood Estimates in Logistic Regression Models (Biometrika 71(1) 1-10) — Biometrika Trust · 1984-04 ·
doi.org/10.1093/biomet/71.1.1· 확인 2026-11-12 - Generalized Linear Models (Journal of the Royal Statistical Society Series A 135(3) 370-384) — Royal Statistical Society · 1972 ·
doi.org/10.2307/2344614· 확인 2026-11-12