AI › 인공지능 개요 › 머신러닝 › 알고리즘

로지스틱 회귀Logistic Regression

특징의 가중 합을 로그 승산(로짓)으로 보고 시그모이드 함수로 0 ~ 1 확률로 바꿔 두 클래스 가운데 하나일 확률을 예측하는 분류 모델이며, 가중치는 최대우도로 정한다.

1요약

  1. 로지스틱 회귀는 지도 학습의 분류에서 로그 승산을 특징의 선형 식으로 두는 일반화 선형 모델로(Cox 1958 · ESL 4.4절), 신경망의 시그모이드 출력 · 소프트맥스 분류기가 같은 꼴을 쓰고 신용 점수 · 의료 진단의 기준선 모델로 남아 있다.
  2. 0 · 1 결과에 직선을 맞추면 확률이 범위를 벗어난다 — 챌린저호 사고 전 비행 23회의 O-링 손상에 직선을 맞추면 31°F 에서 확률 1.75 가 나오지만, 로지스틱 회귀는 0.9996 과 구간 0.48 ~ 1.00 을 낸다(UCI Challenger · 직접 실행).
  3. 「계수가 이상하다」는 반복마다 커지는 계수(완전 분리) · 라이브러리 기본 규제 · 데이터 범위 밖 예측 셋으로 가른다(Albert 1984 · scikit-learn API).

2등장 배경

생물 검정(bio-assay)에서는 약의 용량에 따라 «죽었다 · 살았다»처럼 두 값만 나오는 결과를 다뤘는데, 확률을 직선으로 놓으면 큰 용량에서 1 을 넘고 작은 용량에서 0 아래로 내려가 해석이 안 됐다. 로지스틱 함수 자체는 Verhulst 가 1838년 인구 증가 곡선으로 처음 쓰고 1845년 「logistique」라고 이름 붙였으며, 1920년 Pearl · Reed 가 미국 인구 연구에서 다시 찾아냈다(Cramer 2002).

Berkson 은 1944년 이 함수를 생물 검정에 쓰자고 제안하며 프로빗(probit)에 빗대 「로짓(logit)」이라는 말을 만들었다(Berkson 1944 · Cramer 2002). Cox 는 1958년 두 값 결과를 설명 변수로 회귀하는 틀을 정리했고, 1972년 Nelder · Wedderburn 의 일반화 선형 모델이 반복 재가중 최소제곱(IRLS)을 공통 해법으로 묶었다(Cox 1958 · Nelder 1972).

지금 로지스틱 회귀는 계수가 승산비로 바로 읽혀 해석이 필요한 분류의 첫 모델로 쓰인다. scikit-learn 은 이 모델을 «회귀가 아니라 분류용 선형 모델»로 분류하고 기본으로 L2 규제를 건다(scikit-learn 1.1.11 · scikit-learn API).

3쉽게 이해하기 — 점수표를 확률로 바꾸는 소방 점검관

소방 점검관 다온은 건물마다 점검표를 채운다. 낡은 배선은 +2, 소화기 없음은 +1.5, 새로 지은 건물은 −1 처럼 항목마다 배점을 더해 점수 합을 내고, S 모양으로 휜 환산 자에 그 점수를 대어 «화재 확률 92%» 를 읽는다. 확률이 50% 를 넘으면 경보 딱지를 붙이고, 배점은 지난 장부에 적힌 «불이 난 건물 · 안 난 건물» 기록과 가장 잘 맞도록 해마다 다시 맞춘다.

점검관 다온의 화재 위험 판정 점수를 더하고, 환산 자로 확률을 읽는다 점검표 낡은 배선+2 소화기 없음+1.5 새로 지음−1 점수 합 2.5 환산 자 화재 확률 92% 50% 넘음 → 경보 지난 장부 불이 났던 건물 · 안 난 건물 기록과 가장 잘 맞게 배점 조정 12345 1 점검 항목 · 배점 특징 x · 가중치 b 2 점수 합 선형 점수 z(로짓) 3 S 모양 환산 자 시그모이드 σ(z) 4 확률 · 경보 기준 확률 p · 임계값 0.5 5 지난 장부로 배점 맞춤 레이블 y · 최대우도 입력 계산 규칙 출력 확률 정답 기록 사람

그림 1 · 배점을 더한 점수 합이 S 모양 환산 자를 거쳐 0 ~ 100% 확률이 되고, 배점은 지난 기록과 가장 잘 맞게 정한다.

점검표 채우기항목마다 배점
점수 더하기합 2.5
환산 자 대기S 곡선에서 읽음
경보 붙이기50% 넘으면
장부와 맞추기배점을 다시 정함
비유 — 같은 1점, 다른 확률 폭 실제 — 승산은 늘 같은 배수 0 50 100 -4-2024 점수 합 확률(%) +23%p 0 → 1점 · 50 → 73% +3%p 3 → 4점 · 95 → 98% 끝으로 갈수록 눈금이 촘촘 점수 0 → 1 승산 1.00 → 2.72 확률 50% → 73% × 2.72 점수 3 → 4 승산 20.1 → 54.6 확률 95% → 98% × 2.72 가중치 b = 로그 승산을 b 만큼 옮김 승산 = p / (1 − p) · 1점마다 × e^b 환산 규칙(S 곡선 · 배수) 1점으로 오른 확률 폭 e = 2.718 · 승산 = 확률 ÷ (1 − 확률)

그림 2 · 점수 1점은 확률을 늘 같은 폭으로 올리지 않지만, 승산은 어디서든 같은 배수(e = 2.72)로 바꾼다.

비유 속 역할실제 이름실제로 하는 일
점검 항목특징 xⱼ한 표본을 이루는 입력 값(온도 · 나이 · 금액)
항목별 배점가중치 bⱼ특징이 1 늘 때 로그 승산이 바뀌는 양
점수 합선형 점수 z(로짓)b₀ + Σbⱼxⱼ · −∞ ~ +∞ 값
S 모양 환산 자시그모이드 σ(z)점수를 0 ~ 1 확률로 바꿈
경보 기준 50%임계값 τ확률을 클래스로 나누는 선 · 바꿀 수 있음
지난 장부레이블 y · 학습 데이터실제 결과 0 · 1
배점 다시 맞추기최대우도 · IRLS기록이 나올 확률이 가장 커지는 가중치를 찾음
점검관 다온분석가항목을 고르고 기준을 정함

⚠ 비유가 맞지 않는 곳: 점검관은 배점을 경험으로 정하지만 모델은 장부에서 계산으로 정하고, 장부의 불난 건물과 안 난 건물이 점수 하나로 깔끔히 갈리면 배점이 끝없이 커져 정해지지 않는다(그림 5). 환산 자의 모양도 늘 같은 S 곡선이라, 점수와 확률 사이가 다른 모양이면 맞지 않는다.

4구조 — 선형 점수에서 확률 · 학습까지

예측 흐름 특징 xn × p 선형 점수 zb₀ + Σbⱼxⱼ 시그모이드σ(z) = 1/(1+e⁻ᶻ) 확률 pP(y = 1 | x) 임계값 τ기본 0.5 예측 클래스p ≥ τ 이면 1 학습 흐름 IRLS · 뉴턴 갱신b ← b + (XᵀWX)⁻¹Xᵀ(y − p) 기울기 · 곡률Xᵀ(y − p) · W = p(1 − p) 로그 손실−Σ[y log p + (1−y) log(1−p)] 레이블 y0 또는 1 b 고침p 를 손실로 필요한 조건 로짓이 x 에 선형어기면 곡선 관계를 놓침 관측끼리 독립어기면 표준오차가 작게 나옴 두 클래스가 겹침어기면 계수 발산(그림 5) 입력 데이터 모델 · 학습 규칙 출력 레이블 학습 중간 값 조건(점선)

그림 3 · 예측은 선형 점수를 시그모이드에 통과시킬 뿐이고, 학습은 로그 손실의 기울기와 곡률로 가중치를 고치는 반복이다.

요소크기역할값 · 근거
특징 xn × p입력 · 절편용 1 열을 붙여 설계 행렬 XESL 4.4절
선형 점수 znlog(p / (1 − p)) = b₀ + Σbⱼxⱼ · 로짓ESL 4.4절 · Berkson 1944
시그모이드 σ—σ(z) = 1 / (1 + e⁻ᶻ) · 출력 0 ~ 1scikit-learn 1.1.11.1
확률 pnP(y = 1 | x) · 교재 기호는 p 위에 hatscikit-learn 1.1.11.1
로그 손실1−Σ[y log p + (1 − y) log(1 − p)] = 음의 로그 우도ESL 4.4.1절
IRLS · 뉴턴(p+1) × (p+1) 행렬가중 W = p(1 − p) 로 가중 최소제곱을 되풀이ESL 4.4.1절 · Nelder 1972
임계값 τ1p ≥ τ 이면 1 · 기본 0.5 · 비용에 따라 바꿈scikit-learn 1.1.11

로그 손실은 볼록 함수라 해가 있으면 하나뿐이고, 뉴턴 갱신은 매번 가중치 W 로 다시 맞추는 가중 최소제곱과 같아 IRLS 라고 부른다(ESL 4.4.1절). 절편이 있으면 최대우도 해에서 예측 확률의 합 = 실제 1 의 개수 가 성립해, 학습 데이터 전체로는 확률이 실제 비율에 맞는다(ESL 4.4.1절).

🔑 가중치는 확률이 아니라 로그 승산에 더해진다 — 같은 계수라도 확률 변화는 p = 0.5 에서 가장 크고(b/4) 양 끝에서 0 에 가깝다.

5동작 — 챌린저호 이전 비행 23회의 O-링 손상

UCI Challenger 의 「erosion or blowby」 파일 23행으로 직접 실행한 사례다 — 비행마다 O-링 열 손상이 하나라도 있으면 y = 1 로 두고, IRLS 를 NumPy 로 구현했다(난수 없음). 발사 전날 예보 온도는 31°F 였다(UCI Challenger).

  1. 데이터 — 비행 23회 · 손상 7회(53 · 57 · 58 · 63 · 70 · 70 · 75°F) · 발사 온도 53 ~ 81°F · 특징은 온도 하나다.
  2. 시작 — b = (0, 0) 이면 모든 확률이 0.5 이고 로그 우도는 23 × ln 0.5 = −15.94 다.
  3. IRLS — 1회 만에 −10.59, 5회째에 b₀ = 15.043 · b₁ = −0.2322 · 로그 우도 −10.158 로 멈춘다. 예측 확률의 합은 7.00 으로 손상 횟수와 같다.
  4. 해석 — b₁ 의 표준오차 0.108 · Wald z = −2.14 · p = 0.032 이고, 승산비 e^b₁ = 0.793(95% 구간 0.641 ~ 0.980)이라 온도가 10°F 내려가면 손상 승산이 10.2배가 된다.
  5. 적합도 — 이탈도가 28.27(절편만)에서 20.32 로 줄어 우도비 χ² = 7.95(자유도 1 · p = 0.0048)이고, 표본당 로그 손실은 0.614 → 0.442 다.
  6. 분류 — p = 0.5 경계는 −b₀/b₁ = 64.8°F 다. 임계값 0.5 로는 손상 7회 중 4회를 맞히고 3회(70 · 70 · 75°F)를 놓치며, 75°F 비행 하나(p = 0.086)가 로그 손실 합의 24% 를 차지한다 · AUC 0.781.
  7. 외삽 — 31°F 의 예측 확률은 0.9996 이지만 로짓 표준오차가 4.04 라 95% 구간은 0.48 ~ 1.00 이다 · 같은 데이터에 직선(선형 확률 모형)을 맞추면 31°F 에서 1.75 가 된다.
30 40 50 60 70 80 0 0.5 1 발사 온도(°F)손상 확률 0.48 31°F 데이터 밖 1367 53 ~ 81°F 2시작 b = (0, 0)로그 우도 −15.94 · 모두 p 0.5 3IRLS 5회 수렴b₀ 15.04 · b₁ −0.232 4승산비(1°F)0.793 · 10°F 내리면 × 10.2 5이탈도28.27 → 20.32 · p = 0.0048 6경계 64.8°F손상 7회 중 3회 놓침 731°F 외삽0.9996 · 구간 0.48 ~ 1.00 손상 있음(1) 손상 없음(0) 적합 곡선 95% 구간 31°F 예측 구간 같은 온도의 점은 겹치지 않게 쌓음

그림 4 · 기온이 내려갈수록 손상 확률이 오르고 64.8°F 에서 0.5 를 지나지만, 데이터 밖 31°F 의 0.9996 은 구간이 0.48 ~ 1.00 으로 넓다.

레이블 두 가지(같은 23회 온도) 뉴턴 반복별 기울기 크기 |b₁| 실제 레이블66 ~ 75°F 에서 두 클래스가 섞임 50 60 70 80 가상 레이블(65°F 미만 = 1)63 ~ 66°F 빈틈에서 완전히 갈림 50 60 70 80 섞이면 가장 그럴듯한 기울기가 하나로 정해지고, 갈리면 기울기를 키울수록 우도가 계속 오른다. 0 5 10 15 20 25 0 5 10 15 반복 횟수 25회 14.1 · 아직 커짐 가상 레이블 · 25회에도 커짐 실제 레이블 · 5회에 0.232 L2 규제(C = 1) · 1.03 손상(1) 정상(0) 섞임 · 빈틈 구간

그림 5 · 두 클래스가 섞이면 기울기가 5회 만에 0.232 로 정해지지만, 한 온도에서 완전히 갈리면 25회 뒤에도 14.1 로 계속 커진다 — 최대우도 해가 없다.

가상 레이블은 65°F 미만 비행을 모두 1 로 바꾼 것이다. 이때 로그 우도는 0 으로 다가가고 b₁ 표준오차는 25회째 19,000 을 넘으며, scikit-learn 기본값과 같은 L2 규제(C = 1)를 걸면 기울기가 1.03 에서 멈춘다(Albert 1984 · scikit-learn API).

🔑 최대우도 해는 두 클래스가 특징 공간에서 겹칠 때만 존재한다 — 완전히 갈리는 데이터에서 반복을 늘리면 계수는 커지기만 한다.

6비교 — 이진 로지스틱 · 규제 · 다항 · 프로빗

기준이진 로지스틱(최대우도)L2 규제L1 규제다항(소프트맥스)프로빗
손실 · 연결 함수로그 손실 · 로짓+ ‖b‖² / 2 를 C 로 저울질+ ‖b‖₁ 을 C 로 저울질교차 엔트로피 · 소프트맥스정규 누적분포 Φ
계수(사례 · 1°F)−0.232 · 승산비로 읽음0 쪽으로 줄어듦 · −0.162(C = 1 · 표준화)일부가 정확히 0클래스마다 벡터 · K − 1 개면 충분−0.135 · 로짓 계수의 약 1/1.72
완전 분리해 없음(발산)유한한 해유한한 해해 없음(발산)해 없음(발산)
사례 적합로그 우도 −10.158 · 경계 64.8°F경계 63.4°F(C = 1)— (특징 하나)두 클래스면 이진과 같음로그 우도 −10.189 · 경계 65.0°F
쓰는 곳해석이 필요한 이진 분류특징이 많거나 서로 겹칠 때쓸 특징을 추릴 때클래스 셋 이상잠재 정규 변수를 가정하는 분야

분석확률과 승산비 해석이 필요하고 표본이 특징보다 충분하면 최대우도 로지스틱을, 특징이 많거나 분리가 의심되면 L2, 특징을 추리려면 L1, 클래스가 셋 이상이면 소프트맥스를 쓴다. 프로빗은 사례에서 로그 우도 · 경계가 거의 같아, 계수를 승산비로 바로 읽을 수 있는 로지스틱이 흔히 먼저다(표의 「계수」 · 「사례 적합」 행 · scikit-learn 1.1.11).

선형 회귀 · SVM · 결정 트리와의 비교는 선형 회귀 · 퍼셉트론의 비교 표가 맡는다.

7실무 진단 — 로지스틱 회귀의 문제 가르기

분석수렴 경고와 반복별 계수부터 보고, 다음에 라이브러리 규제 설정, 예측할 입력의 범위, 임계값 · 보정 순으로 내려간다. 분리나 규제 때문에 계수 자체가 틀리면 그 뒤의 승산비 · 구간 해석이 모두 틀린 값 위에 서기 때문이다(Albert 1984).

#증상의심 원인단계확인 자료판정 기준(근거)
1수렴 경고 · 계수와 표준오차가 반복마다 커짐완전 · 준완전 분리데이터반복별 계수 · 클래스별 특징 범위한 경계로 클래스가 갈리면 최대우도 해 없음 · 규제 또는 특징 점검(Albert 1984) · 사례 가상 레이블 25회 14.1
2라이브러리 계수가 통계 패키지 · 교재 값보다 작음기본 L2 규제설정함수 기본값 · C · 특징 표준화 여부scikit-learn 기본 C = 1.0 · L2(scikit-learn API) · 사례 −0.162 대 −0.232 · 해석용이면 규제를 끄고 비교
3학습 범위 밖 입력에서 0.99 이상 · 0.01 이하외삽입력학습 특징 범위 · 로짓 표준오차구간 폭을 함께 냄 · 사례 31°F 는 최저 53°F 보다 22°F 밖 · 구간 0.48 ~ 1.00
4정확도는 높은데 양성을 놓침임계값 0.5 · 클래스 불균형판정혼동 행렬 · 임계값별 재현율놓치는 비용이 크면 τ 를 낮춤 · 사례 FN 3 / 7 · 지표 선택은 성능 지표에서 다룸
50.8 로 예측한 묶음의 실제 비율이 0.5보정 깨짐(규제 · 표본 차이 · 분포 변화)출력구간별 평균 예측 대 실제 비율절편 있는 최대우도면 학습 데이터에서 Σp = Σy · 새 데이터에서 어긋나면 재적합 · 보정(ESL 4.4.1절)

사례 실제 데이터는 5회에 수렴하고 특징 범위 안의 예측은 구간이 좁아, 남는 문제는 4행(놓친 손상 3회)이다.

8시험 대비

출제 정보 정보관리(124회, 113회) · 컴퓨터시스템응용(120회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 시그모이드 · 로짓 · 최대우도를 쓰는 정의 · 특징형, 그리고 선형 회귀와 «출력 · 손실 · 해법»을 가르는 비교형이 나올 수 있다. 승산비로 계수를 해석하고 완전 분리 한계를 한 줄 넣으면 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의(로그 승산의 선형 모델) · 이진 분류 · 일반화 선형 모델 안의 위치
  2. 구조 — 그림 3 선형 점수 → 시그모이드 → 확률 → 임계값 + 로그 손실 · IRLS 학습 흐름
  3. 학습 절차 — 최대우도 · 뉴턴(IRLS) · 그림 4 사례(b₁ −0.232 · 승산비 0.793 · 경계 64.8°F)
  4. 해석 — 승산비 e^b · 확률 변화 최대 b/4 · Wald 검정 · 이탈도(28.27 → 20.32)
  5. 비교 — 선형 회귀(31°F 1.75) · 규제 L1 · L2 · 소프트맥스 · 프로빗 표
  6. 한계와 대응 — 그림 5 완전 분리 · 외삽 구간 · 임계값 · 보정

꼭 쓸 키워드
시그모이드로짓승산비최대우도로그 손실IRLS결정 경계완전 분리L2 규제소프트맥스

다른 답안과 차이를 내는 한 가지는 그림 5 처럼 «클래스가 완전히 갈리면 최대우도 해가 없다»를 반복별 계수로 보이는 것이다 — 정확도가 100% 인데 모델이 정해지지 않는 역설을 숫자로 짚는다.

9오해와 사실

  • 오해이름이 회귀이니 실수 값을 예측한다.
    사실출력은 클래스 확률이고 임계값으로 클래스를 고른다 — scikit-learn 도 이 모델을 «분류용 선형 모델»로 둔다(scikit-learn 1.1.11).
  • 오해계수는 특징 1 단위당 확률이 바뀌는 양이다.
    사실계수는 로그 승산의 변화량이고 확률 변화는 b · p(1 − p) 다 — 사례에서 1°F 당 확률 변화는 70°F(p 0.23) 근처 4.1%p, 81°F(p 0.023)에서 0.5%p 다(직접 실행).
  • 오해수렴하지 않으면 반복 횟수를 늘리면 된다.
    사실완전 분리면 해가 없어 반복을 늘릴수록 계수만 커진다 — 사례 가상 레이블은 25회에 14.1 이고 규제를 걸어야 1.03 에서 멈춘다(Albert 1984).

10핵심 정리

구분맡는 일식사례 값(챌린저 23회)흔한 실패
선형 점수 z증거를 더함b₀ + Σbⱼxⱼ15.043 − 0.2322 × 온도확률로 읽음
시그모이드0 ~ 1 로 바꿈1 / (1 + e⁻ᶻ)64.8°F 에서 0.5끝에서 기울기 0
승산비계수 해석e^b0.793 · 10°F 에 × 10.2확률 비와 혼동
로그 손실 · 최대우도학습 기준−Σ[y log p + (1−y) log(1−p)]−15.94 → −10.158제곱 오차로 학습
IRLS · 뉴턴해 구하기b ← b + (XᵀWX)⁻¹Xᵀ(y−p)5회 수렴분리 데이터에서 발산
임계값 τ클래스 판정p ≥ τ0.5 에서 놓침 3 / 70.5 고정
완전 분리해 존재 조건한 경계로 클래스가 갈림가상 레이블 25회 14.1반복만 늘림
L2 규제계수 줄임손실 + ‖b‖² / 2C−0.162(C = 1)기본값인 줄 모름

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The Elements of Statistical Learning 2nd ed. (Hastie · Tibshirani · Friedman · corrected 12th printing) — 로지스틱 회귀의 최대우도 적합 · IRLS(4.4.1절)와 계수 해석 사례(4.4.2절)를 볼 때
    Springer · 2017-01 · hastie.su.domains/ElemStatLearn/ · 확인 2026-11-12
  3. ★ scikit-learn 1.9.1 User Guide 1.1.11 Logistic regression — 이진(1.1.11.1) · 다항(1.1.11.2) 식과 규제 항 · 해법 선택을 볼 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/linear_model.html#logistic-regression · 확인 2026-11-12
  4. ★ scikit-learn 1.9.1 API Reference - sklearn.linear_model.LogisticRegression — 기본값(C = 1.0 · L2 규제 · lbfgs · max_iter 100)을 확인할 때
    scikit-learn developers · 2026-11 · scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html · 확인 2026-11-12
  5. ★ Challenger USA Space Shuttle O-Ring (UCI Machine Learning Repository · DOI 10.24432/C5PW2T · CC BY 4.0) — 사례 데이터 23회 비행(발사 온도 · 열 손상 O-링 수)을 내려받아 따라 해 볼 때
    UCI Machine Learning Repository · 1993-08 · archive.ics.uci.edu/dataset/92/challenger+usa+space+shuttle+o+ring · 확인 2026-11-12
  6. ★ The Origins of Logistic Regression (Tinbergen Institute Discussion Paper TI 2002-119/4) — 로지스틱 함수와 로짓이라는 이름의 기원을 볼 때
    Tinbergen Institute · 2002-11 · papers.tinbergen.nl/02119.pdf · 확인 2026-11-12
  7. 본문 근거
  8. Risk Analysis of the Space Shuttle: Pre-Challenger Prediction of Failure (Journal of the American Statistical Association 84(408) 945-957) — American Statistical Association · 1989-12 · doi.org/10.1080/01621459.1989.10478858 · 확인 2026-11-12
  9. The Regression Analysis of Binary Sequences (Journal of the Royal Statistical Society Series B 20(2) 215-242) — Royal Statistical Society · 1958 · doi.org/10.1111/j.2517-6161.1958.tb00292.x · 확인 2026-11-12
  10. Application of the Logistic Function to Bio-Assay (Journal of the American Statistical Association 39(227) 357-365) — American Statistical Association · 1944-09 · doi.org/10.1080/01621459.1944.10500699 · 확인 2026-11-12
  11. On the Existence of Maximum Likelihood Estimates in Logistic Regression Models (Biometrika 71(1) 1-10) — Biometrika Trust · 1984-04 · doi.org/10.1093/biomet/71.1.1 · 확인 2026-11-12
  12. Generalized Linear Models (Journal of the Royal Statistical Society Series A 135(3) 370-384) — Royal Statistical Society · 1972 · doi.org/10.2307/2344614 · 확인 2026-11-12