퍼셉트론Perceptron
입력에 가중치를 곱해 더한 값이 0보다 크면 +1, 아니면 -1 을 내는 선형 분류기이고, 틀린 표본이 나올 때만 그 표본을 가중치에 더하거나 빼서 배운다.
1요약
- 퍼셉트론은 신경망 기본 단위로, 가중합 z = w·x + b 의 부호로 두 클래스를 가르는 선형 분류기다 — 1958년 Rosenblatt 가 내놓았고(Rosenblatt 1958), 그 위에 은닉 계층을 쌓은 다층 퍼셉트론과 오늘의 딥러닝이 선다.
- 손으로 정한 규칙 대신 틀린 표본만 더하고 빼는 갱신으로 배우며, 데이터가 직선(초평면) 하나로 나뉘면 오분류 횟수가 (R/γ)² 이하로 끝난다(Freund 1999 3.1절) — 사례의 AND 는 상한 51 보다 훨씬 적은 18번 만에 멈췄다.
- 「학습이 끝나지 않는다」는 에포크마다 오분류 수가 0에 닿는지로 가른다 — 줄다가 0이면 분리 가능 · 같은 수가 되풀이되면 XOR 처럼 직선으로 안 나뉘는 데이터이고, 이때는 학습률이 아니라 모델(은닉 계층 · 다른 손실)을 바꾼다.
2등장 배경
1943년 McCulloch · Pitts 는 입력 합이 정해 둔 값을 넘으면 켜지는 논리 뉴런으로 AND · OR 를 회로처럼 짰지만(McCulloch 1943), 가중치는 사람이 정했다. 1958년 Rosenblatt 는 예측이 틀릴 때 가중치를 스스로 고치는 퍼셉트론을 내놓아(Rosenblatt 1958) 「데이터로 가중치를 배운다」는 첫 학습 기계를 만들었다. 1962년 Block · Novikoff 는 분리 가능한 데이터에서 오분류가 유한 번에 끝남을 증명했다(Freund 1999 3.1절).
1969년 Minsky · Papert 는 단층 퍼셉트론이 XOR 와 도형의 연결성처럼 직선 하나로 나뉘지 않는 문제를 풀 수 없음을 보였고(Minsky 1969), 신경망 연구는 한동안 줄었다. 1986년 Rumelhart 외가 은닉 단위를 둔 망을 역전파로 학습하면서(Rumelhart 1986) 퍼셉트론은 다층 신경망의 한 단위로 다시 쓰였다. IT 쪽에서 「신경망 회로」라고 부르던 것도 여기서 다루고, 여러 계층을 쌓은 구조와 그 학습은 딥러닝 · 역전파가 맡는다.
지금도 퍼셉트론은 두 자리에 남는다. 하나는 신경망 한 단위(가중합 + 활성화 함수)의 원형이고, 다른 하나는 표본을 하나씩 받아 바로 고치는 온라인 학습 · 여유 이론의 출발점이다(Freund 1999 1절 · 투표 퍼셉트론).
3쉽게 이해하기 — 지원서 한 장으로 합격을 가르는 심사관
동아리 심사관 한 명이 지원서를 받는다. 항목마다 점수표의 점수를 곱해 더하고, 기본 감점을 빼서 0보다 크면 합격 도장을 찍는다. 나중에 실제로 활동을 잘했는지(정답)가 나오면, 틀린 지원서만 꺼내 그 지원서에 체크된 항목의 점수를 올리거나(놓친 합격자) 내린다(잘못 붙인 사람). 맞힌 지원서는 점수표를 건드리지 않는다.
그림 1 · 지원서는 점수표 · 합계 · 도장을 거쳐 판정이 되고, 정답과 다를 때만 그 지원서가 점수표를 고친다.
그림 2 · 자 한 자루로 합격자를 가를 수 있으면 심사관 한 명으로 되지만, 대각선의 두 지원서가 합격인 표는 자가 두 자루 있어야 한다.
| 비유 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 지원서 항목 체크 | 입력 벡터 x | 특징 값(사례는 0 · 1 두 개) |
| 항목 점수표 | 가중치 w | 특징마다 곱하는 실수 |
| 기본 감점 | 편향 b | 경계를 원점에서 옮기는 상수 |
| 0보다 크면 도장 | 계단 함수(부호 함수) | z > 0 → +1 · 아니면 −1 |
| 실제 활동 결과 | 레이블 t | 학습 데이터의 정답 ±1 |
| 틀린 지원서만 반영 | 갱신 규칙 | t·z ≤ 0 일 때 w ← w + t·x · b ← b + t |
| 자 두 자루가 필요한 표 | 선형 분리 불가 | 단층으로는 끝나지 않음 → 은닉 계층 |
⚠ 비유가 맞지 않는 곳: 심사관은 점수를 얼마나 고칠지 사정을 보아 정하지만, 퍼셉트론은 틀린 정도와 상관없이 언제나 그 표본 x 를 학습률만큼 그대로 더하거나 뺀다. 또 심사관은 「아슬아슬한 합격」을 알지만 퍼셉트론 출력은 ±1 두 값뿐이라 확신 정도를 내지 않는다.
4구조 — 가중합 · 계단 함수 · 오분류 갱신
퍼셉트론 하나는 입력 d 개와 편향 하나, 곱해 더하는 단위, 부호를 내는 계단 함수로 이루어진다. 학습할 때만 정답과 대조하는 고리가 붙는다.
그림 3 · 판정은 가중합의 부호 하나로 정해지고, 가중치는 정답과 부호가 어긋난 표본에서만 그 표본만큼 움직인다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| 입력 x | d 개 실수 | 특징 | 사례 d = 2(0 · 1) |
| 가중치 w · 편향 b | d + 1 개 | 결정 경계 w·x + b = 0 의 방향 · 위치 | 시작 0 · 사례 끝 (3, 2) · −4 |
| 계단 함수 | — | 부호를 ±1 로 | 미분이 0 이라 경사로 학습할 수 없음 |
| 레이블 t | ±1 | 정답 | 레이블 0 · 1 이면 2t − 1 로 바꿈 |
| 학습률 η | 실수 하나 | 갱신 크기 | 시작 w = 0 이면 η 는 경계를 바꾸지 않음(크기만 배수) |
| 여유 γ | 실수 하나 | 경계에서 가장 가까운 표본까지 거리 | 상한 (R/γ)² 의 분모(Freund 1999 정리 1) |
계단 함수를 시그모이드 · ReLU 같은 미분 가능한 함수로 바꾸고 손실을 정해 경사로 학습하는 일은 활성화 함수 · 손실 함수 · 경사 하강법이 맡고, 여러 계층에 기울기를 나누는 일은 역전파가 맡는다.
5동작 — AND 게이트를 배우고 XOR 에서 멈추지 못하는 학습
사례는 직접 실행했다(Python 3.14.0 · NumPy 2.4.3 · 표본 순서 고정 · 무작위 요소 없음).
- 준비 — 표본 넷을 (0,0) · (0,1) · (1,0) · (1,1) 순서로 두고 AND 레이블을 −1 · −1 · −1 · +1 로 정한다. w = (0, 0) · b = 0 · η = 1 에서 시작하고, t·z ≤ 0 이면 오분류로 센다(z = 0 도 틀림).
- 에포크 1 — (0,0) 에서 z = 0 → b = −1, (1,1) 에서 z = −1 → w = (1, 1) · b = 0. 오분류 2.
- 에포크 2 — (0,0) · (0,1) · (1,1) 에서 차례로 틀려 w = (2, 1) · b = −1 이 된다. 오분류 3.
- 에포크 3 ~ 7 — 오분류가 3 · 2 · 2 · 3 · 2 로, (1,0) 과 (0,1) 을 번갈아 밀어내며 b 가 −1 → −3 으로 내려간다.
- 에포크 8 — (0,1) 하나만 틀려 w = (3, 2) · b = −4 가 된다.
- 에포크 9 — 네 표본을 모두 맞혀 멈춘다. 누적 오분류 18 · 상한 (R/γ)² = 3 ÷ (1/17) = 51(R² = 3 · γ = 1/√17 · 원문 식 직접 계산).
- 확인 — z = 3x1 + 2x2 − 4 는 (1,1) 에서 +1, (1,0) 에서 −1, (0,1) 에서 −2, (0,0) 에서 −4 라 모두 맞지만, 가장 가까운 두 표본이 경계에서 거리 1/√13 ≈ 0.277 로 최대 여유 경계 x1 + x2 = 1.5 의 거리 1/(2√2) ≈ 0.354 보다 가깝다.
- XOR — 같은 절차를 레이블 −1 · +1 · +1 · −1 에 돌리면 에포크마다 네 번 모두 틀리고, 에포크가 끝날 때마다 w = (0, 0) · b = 0 으로 돌아온다. 8에포크 누적 32 · 13에포크째 52 로 AND 상한 51 을 넘는다 — 분리 가능한 데이터라면 상한을 넘을 수 없다.
그림 4 · AND 학습에서 경계는 에포크마다 기울기와 위치를 바꾸다가 3x1 + 2x2 = 4 에서 네 표본을 모두 가르고 멈춘다.
그림 5 · 직선으로 나뉘는 AND 는 누적 오분류가 18 에서 멈추고, 나뉘지 않는 XOR 은 에포크마다 4씩 늘어 상한 51 을 넘는다.
🔑 퍼셉트론이 멈추느냐는 학습률이 아니라 데이터가 직선 하나로 나뉘느냐가 정하고, 멈춘 경계는 «가르는 직선 하나»일 뿐 가장 넓게 가르는 직선이 아니다.
6비교 — 선형 분류기 넷과 다층 퍼셉트론
| 기준 | 퍼셉트론 | ADALINE | 로지스틱 회귀 | 선형 SVM | 다층 퍼셉트론 |
|---|---|---|---|---|---|
| 갱신하는 때 | 오분류 표본만 | 모든 표본(계단 앞 선형 출력 오차) | 모든 표본(확률 오차) | 여유 안쪽 표본 | 모든 표본(역전파) |
| 줄이는 값 | 오분류(손실 식 없이 규칙) | 제곱 오차(Widrow 1960) | 로그 손실 | 힌지 손실 + 가중치 크기 | 정한 손실 함수 |
| 분리 불가 데이터 | 끝나지 않음 · 마지막 w 가 흔들림 | 오차 최소점으로 수렴 | 수렴 | 슬랙으로 허용 | 비선형 경계로 풀 수 있음 |
| 멈춘 경계 | 가르는 직선 아무거나(사례 거리 0.277) | 제곱 오차 최소 직선 | 로그 손실 최소 직선 | 여유 최대 직선(사례 0.354) | 굽은 경계 |
| 확신 정도 | 없음(±1) | 없음 | 확률 0 ~ 1 | 경계까지 거리 | 출력 함수에 따름 |
분석표본이 줄지어 들어와 하나씩 바로 고쳐야 하고 분리 가능성이 높으면 퍼셉트론(또는 평균 · 투표 퍼셉트론)을, 확률이 필요하면 로지스틱 회귀를, 경계 여유로 일반화를 챙기려면 선형 SVM 을, XOR 처럼 직선으로 안 나뉘면 다층 퍼셉트론을 고른다. 근거는 표의 「분리 불가 데이터」 · 「멈춘 경계」 행과 사례의 거리 0.277 ↔ 0.354 이다.
7실무 진단 — 퍼셉트론 학습이 끝나지 않거나 흔들릴 때
분석에포크별 오분류 수부터 보고, 다음에 특징 크기, 표본 순서 순으로 내려간다. 분리 불가이면 뒤의 손질이 모두 소용없고(Minsky 1969), 분리 가능이면 상한 (R/γ)² 이 특징 크기 R 에 달려 있기 때문이다(Freund 1999 정리 1).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 오분류 수가 0에 닿지 않고 같은 수가 되풀이 | 선형 분리 불가 · 레이블 오류 | 데이터 | 에포크별 오분류 수 · 에포크 끝 가중치 | 같은 가중치로 돌아오면(사례 XOR) 분리 불가 → 포켓 알고리즘(Gallant 1990) · 다른 모델 |
| 2 | 수렴은 하지만 에포크가 아주 많음 | 특징 크기 차이로 R 이 큼 · 여유 γ 작음 | 전처리 | 특징별 최댓값 · 표준편차 | 큰 특징 하나가 R 을 키우면 표준화 뒤 다시 셈(상한 (R/γ)²) |
| 3 | 같은 데이터인데 실행마다 경계가 다름 | 표본 순서에 따라 마지막 w 가 바뀜 | 학습 | 순서를 바꾼 실행의 w · 검증 오류 | 검증 오류 편차가 크면 평균 · 투표 퍼셉트론(Freund 1999) |
| 4 | 학습 오류 0 인데 새 표본에서 자주 틀림 | 경계가 표본에 붙어 여유가 작음 | 평가 | 가장 가까운 표본까지 거리 | 거리가 최대 여유보다 작으면(사례 0.277 < 0.354) SVM 과 비교 |
| 5 | 「확률이 얼마냐」에 답하지 못함 | 출력이 ±1 뿐 | 설계 | 요구 사항 | 확률이 필요하면 로지스틱 회귀 · 시그모이드 출력 |
8시험 대비
www.q-net.or.kr시험에서는 퍼셉트론의 구조 · 학습 규칙 · 한계를 쓰는 정의 · 특징형, 그리고 단층의 XOR 한계에서 다층 퍼셉트론 · 딥러닝으로 이어진 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 갱신 과정을 실제 수로 따라가고 수렴 상한을 숫자로 보이면 답안이 정의 수준을 넘는다.
- 개요 — 정의(가중합의 부호 · Rosenblatt 1958) · McCulloch-Pitts 뉴런과의 차이(가중치를 배움)
- 구조 — 그림 3 입력 · 가중치 · 편향 · Σ · 계단 함수 · 갱신 고리 + 요소 표
- 학습 규칙 — t·z ≤ 0 이면 w ← w + η·t·x · 그림 4 AND 사례(에포크 9 · w = (3, 2) · b = −4)
- 수렴과 한계 — 정리 (R/γ)² · 그림 5 누적 오분류(AND 18 ≤ 51 · XOR 끝없음)
- 발전 — XOR → 은닉 계층(OR · AND) · 역전파 · 비교 표(ADALINE · 로지스틱 회귀 · SVM)
- 활용과 유의점 — 온라인 학습 · 평균 · 투표 퍼셉트론 · 특징 표준화 · 확률 출력 없음
꼭 쓸 키워드
가중합편향계단 함수결정 경계선형 분리오분류 갱신수렴 정리여유XOR 문제다층 퍼셉트론
다른 답안과 차이를 내는 한 가지는 그림 5 의 누적 오분류 곡선이다 — 「XOR 을 풀 수 없다」 한 줄 대신 AND 는 18 에서 멈추고 XOR 은 에포크마다 원점으로 돌아와 상한 51 을 넘는 것을 숫자로 보인다.
9오해와 사실
- 오해학습률을 줄이면 퍼셉트론이 XOR 도 결국 배운다.사실시작 가중치가 0 이면 학습률은 가중치 크기만 배수로 바꾸고 경계는 그대로라, 사례 XOR 은 어떤 η 에서도 에포크마다 원점으로 돌아온다.
- 오해퍼셉트론이 찾은 경계는 데이터를 가장 잘 가르는 경계다.사실처음 찾은 가르는 직선에서 멈출 뿐이라, 사례 경계는 가장 가까운 표본까지 0.277 로 최대 여유 0.354 보다 좁다(SVM 이 찾는 쪽).
- 오해특징이 많으면 수렴이 느리다.사실오분류 상한 (R/γ)² 에는 차원 d 가 없다(Freund 1999 3.1절) — 느리게 만드는 것은 특징 수가 아니라 큰 R 과 작은 γ 다.
10핵심 정리
| 구분 | 맡는 일 | 식 · 값 | 사례 값 | 흔한 실패 |
|---|---|---|---|---|
| 입력 x | 특징 | d 개 실수 | (0,0) ~ (1,1) | 크기 차이로 R 이 커짐 |
| 가중치 · 편향 | 결정 경계 | w·x + b = 0 | (3, 2) · −4 | 순서에 따라 흔들림 |
| 계단 함수 | 부호 판정 | z > 0 → +1 | z = +1 · −1 · −2 · −4 | 확률 없음 · 미분 0 |
| 레이블 t | 정답 | ±1 | AND −1 −1 −1 +1 | 0 · 1 그대로 씀 |
| 갱신 규칙 | 틀릴 때만 고침 | w ← w + η·t·x | 누적 18 번 | 분리 불가면 끝없음 |
| 수렴 상한 | 오분류 횟수 보장 | (R/γ)² | 51 | 분리 가능일 때만 성립 |
| XOR | 단층의 한계 | 직선 하나로 안 나뉨 | 에포크마다 4 · 원점 복귀 | 은닉 계층 필요 |
11참고 문헌
- 먼저 볼 문헌
- ★ The perceptron: A probabilistic model for information storage and organization in the brain (Psychological Review 65(6) 386-408) — 퍼셉트론을 처음 내놓은 원 논문(감각 · 연합 · 반응 단위)을 볼 때
- ★ Large Margin Classification Using the Perceptron Algorithm (Machine Learning 37(3) 277-296) — 갱신 규칙 · 오분류 상한 (R/γ)² 정리(3.1절) · 투표 퍼셉트론을 식으로 볼 때
- ★ Perceptrons (Marvin Minsky · Seymour Papert · reissue of the 1988 expanded edition) — 단층 퍼셉트론이 풀 수 없는 문제(XOR · 연결성)의 원 논증을 볼 때
- ★ Learning representations by back-propagating errors (Nature 323 533-536) — 은닉 단위를 둔 다층 퍼셉트론을 역전파로 학습하는 출발점을 볼 때
- 본문 근거
- A logical calculus of the ideas immanent in nervous activity (Bulletin of Mathematical Biophysics 5(4) 115-133) — Springer · 1943-12 ·
doi.org/10.1007/BF02478259· 확인 2026-11-12 - Perceptron-based learning algorithms (IEEE Transactions on Neural Networks 1(2) 179-191) — IEEE · 1990-06 ·
doi.org/10.1109/72.80230· 확인 2026-11-12 - Adaptive Switching Circuits (IRE WESCON Convention Record Part 4 96-104) — IRE · 1960-08 ·
www-isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf· 확인 2026-11-12 - NumPy v2.4 Manual - numpy.dot — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.dot.html· 확인 2026-11-12