AI › 인공지능 개요 › 딥러닝 › 신경망 기본

퍼셉트론Perceptron

입력에 가중치를 곱해 더한 값이 0보다 크면 +1, 아니면 -1 을 내는 선형 분류기이고, 틀린 표본이 나올 때만 그 표본을 가중치에 더하거나 빼서 배운다.

1요약

  1. 퍼셉트론은 신경망 기본 단위로, 가중합 z = w·x + b 의 부호로 두 클래스를 가르는 선형 분류기다 — 1958년 Rosenblatt 가 내놓았고(Rosenblatt 1958), 그 위에 은닉 계층을 쌓은 다층 퍼셉트론과 오늘의 딥러닝이 선다.
  2. 손으로 정한 규칙 대신 틀린 표본만 더하고 빼는 갱신으로 배우며, 데이터가 직선(초평면) 하나로 나뉘면 오분류 횟수가 (R/γ)² 이하로 끝난다(Freund 1999 3.1절) — 사례의 AND 는 상한 51 보다 훨씬 적은 18번 만에 멈췄다.
  3. 「학습이 끝나지 않는다」는 에포크마다 오분류 수가 0에 닿는지로 가른다 — 줄다가 0이면 분리 가능 · 같은 수가 되풀이되면 XOR 처럼 직선으로 안 나뉘는 데이터이고, 이때는 학습률이 아니라 모델(은닉 계층 · 다른 손실)을 바꾼다.

2등장 배경

1943년 McCulloch · Pitts 는 입력 합이 정해 둔 값을 넘으면 켜지는 논리 뉴런으로 AND · OR 를 회로처럼 짰지만(McCulloch 1943), 가중치는 사람이 정했다. 1958년 Rosenblatt 는 예측이 틀릴 때 가중치를 스스로 고치는 퍼셉트론을 내놓아(Rosenblatt 1958) 「데이터로 가중치를 배운다」는 첫 학습 기계를 만들었다. 1962년 Block · Novikoff 는 분리 가능한 데이터에서 오분류가 유한 번에 끝남을 증명했다(Freund 1999 3.1절).

1969년 Minsky · Papert 는 단층 퍼셉트론이 XOR 와 도형의 연결성처럼 직선 하나로 나뉘지 않는 문제를 풀 수 없음을 보였고(Minsky 1969), 신경망 연구는 한동안 줄었다. 1986년 Rumelhart 외가 은닉 단위를 둔 망을 역전파로 학습하면서(Rumelhart 1986) 퍼셉트론은 다층 신경망의 한 단위로 다시 쓰였다. IT 쪽에서 「신경망 회로」라고 부르던 것도 여기서 다루고, 여러 계층을 쌓은 구조와 그 학습은 딥러닝 · 역전파가 맡는다.

지금도 퍼셉트론은 두 자리에 남는다. 하나는 신경망 한 단위(가중합 + 활성화 함수)의 원형이고, 다른 하나는 표본을 하나씩 받아 바로 고치는 온라인 학습 · 여유 이론의 출발점이다(Freund 1999 1절 · 투표 퍼셉트론).

3쉽게 이해하기 — 지원서 한 장으로 합격을 가르는 심사관

동아리 심사관 한 명이 지원서를 받는다. 항목마다 점수표의 점수를 곱해 더하고, 기본 감점을 빼서 0보다 크면 합격 도장을 찍는다. 나중에 실제로 활동을 잘했는지(정답)가 나오면, 틀린 지원서만 꺼내 그 지원서에 체크된 항목의 점수를 올리거나(놓친 합격자) 내린다(잘못 붙인 사람). 맞힌 지원서는 점수표를 건드리지 않는다.

1 지원서 항목 체크 0 · 1 입력 x 2 항목 점수표 항목마다 점수 가중치 w 3 합계 − 기본 감점 점수를 곱해 더함 가중합 + 편향 b 4 합격 도장 0보다 크면 합격 계단 함수 실제 결과 활동을 잘했나 정답 t 대조 5 점수표 고침 틀린 지원서 항목만 ± 1 갱신 규칙 틀릴 때만 데이터 모델 · 학습 규칙 출력 레이블 고치는 길(틀릴 때만)

그림 1 · 지원서는 점수표 · 합계 · 도장을 거쳐 판정이 되고, 정답과 다를 때만 그 지원서가 점수표를 고친다.

지원서 받기항목마다 체크
점수 곱하기항목별 점수표
합계 내기기본 감점까지
도장 찍기0보다 크면 합격
결과 보기실제 활동과 대조
점수표 고치기틀린 지원서만
비유 — 자 한 자루로 가를 수 있나 실제 — 선형 분리 AND 꼴 표 XOR 꼴 표 자 한 자루로 끝 자 두 자루가 필요 합격(+1) 불합격(−1) 자 = 결정 경계(직선) 단층 퍼셉트론 AND = 직선 하나로 나뉨 x1 + x2 = 1.5 가 경계 분리 불가 XOR = 직선 하나로 안 나뉨 갱신이 끝없이 되풀이됨 은닉 단위 2 + 출력 OR 과 AND 를 따로 낸 뒤 OR − AND > 0.5 → XOR

그림 2 · 자 한 자루로 합격자를 가를 수 있으면 심사관 한 명으로 되지만, 대각선의 두 지원서가 합격인 표는 자가 두 자루 있어야 한다.

비유실제 이름실제로 하는 일
지원서 항목 체크입력 벡터 x특징 값(사례는 0 · 1 두 개)
항목 점수표가중치 w특징마다 곱하는 실수
기본 감점편향 b경계를 원점에서 옮기는 상수
0보다 크면 도장계단 함수(부호 함수)z > 0 → +1 · 아니면 −1
실제 활동 결과레이블 t학습 데이터의 정답 ±1
틀린 지원서만 반영갱신 규칙t·z ≤ 0 일 때 w ← w + t·x · b ← b + t
자 두 자루가 필요한 표선형 분리 불가단층으로는 끝나지 않음 → 은닉 계층

⚠ 비유가 맞지 않는 곳: 심사관은 점수를 얼마나 고칠지 사정을 보아 정하지만, 퍼셉트론은 틀린 정도와 상관없이 언제나 그 표본 x 를 학습률만큼 그대로 더하거나 뺀다. 또 심사관은 「아슬아슬한 합격」을 알지만 퍼셉트론 출력은 ±1 두 값뿐이라 확신 정도를 내지 않는다.

4구조 — 가중합 · 계단 함수 · 오분류 갱신

퍼셉트론 하나는 입력 d 개와 편향 하나, 곱해 더하는 단위, 부호를 내는 계단 함수로 이루어진다. 학습할 때만 정답과 대조하는 고리가 붙는다.

x1 x2 1 편향 입력 w1 w2 b Σ z z = w·x + b 계단 함수 · z > 0 → +1 ŷ = ±1 t 정답과 대조 t·z ≤ 0 이면 오분류 갱신 w ← w + η·t·x · b ← b + η·t 오분류 표본에서만 · 맞히면 그대로 입력 데이터 모델 · 학습 규칙 출력 레이블 학습 때만 도는 갱신 길

그림 3 · 판정은 가중합의 부호 하나로 정해지고, 가중치는 정답과 부호가 어긋난 표본에서만 그 표본만큼 움직인다.

요소크기역할값 · 근거
입력 xd 개 실수특징사례 d = 2(0 · 1)
가중치 w · 편향 bd + 1 개결정 경계 w·x + b = 0 의 방향 · 위치시작 0 · 사례 끝 (3, 2) · −4
계단 함수—부호를 ±1 로미분이 0 이라 경사로 학습할 수 없음
레이블 t±1정답레이블 0 · 1 이면 2t − 1 로 바꿈
학습률 η실수 하나갱신 크기시작 w = 0 이면 η 는 경계를 바꾸지 않음(크기만 배수)
여유 γ실수 하나경계에서 가장 가까운 표본까지 거리상한 (R/γ)² 의 분모(Freund 1999 정리 1)

계단 함수를 시그모이드 · ReLU 같은 미분 가능한 함수로 바꾸고 손실을 정해 경사로 학습하는 일은 활성화 함수 · 손실 함수 · 경사 하강법이 맡고, 여러 계층에 기울기를 나누는 일은 역전파가 맡는다.

5동작 — AND 게이트를 배우고 XOR 에서 멈추지 못하는 학습

사례는 직접 실행했다(Python 3.14.0 · NumPy 2.4.3 · 표본 순서 고정 · 무작위 요소 없음).

  1. 준비 — 표본 넷을 (0,0) · (0,1) · (1,0) · (1,1) 순서로 두고 AND 레이블을 −1 · −1 · −1 · +1 로 정한다. w = (0, 0) · b = 0 · η = 1 에서 시작하고, t·z ≤ 0 이면 오분류로 센다(z = 0 도 틀림).
  2. 에포크 1 — (0,0) 에서 z = 0 → b = −1, (1,1) 에서 z = −1 → w = (1, 1) · b = 0. 오분류 2.
  3. 에포크 2 — (0,0) · (0,1) · (1,1) 에서 차례로 틀려 w = (2, 1) · b = −1 이 된다. 오분류 3.
  4. 에포크 3 ~ 7 — 오분류가 3 · 2 · 2 · 3 · 2 로, (1,0) 과 (0,1) 을 번갈아 밀어내며 b 가 −1 → −3 으로 내려간다.
  5. 에포크 8 — (0,1) 하나만 틀려 w = (3, 2) · b = −4 가 된다.
  6. 에포크 9 — 네 표본을 모두 맞혀 멈춘다. 누적 오분류 18 · 상한 (R/γ)² = 3 ÷ (1/17) = 51(R² = 3 · γ = 1/√17 · 원문 식 직접 계산).
  7. 확인 — z = 3x1 + 2x2 − 4 는 (1,1) 에서 +1, (1,0) 에서 −1, (0,1) 에서 −2, (0,0) 에서 −4 라 모두 맞지만, 가장 가까운 두 표본이 경계에서 거리 1/√13 ≈ 0.277 로 최대 여유 경계 x1 + x2 = 1.5 의 거리 1/(2√2) ≈ 0.354 보다 가깝다.
  8. XOR — 같은 절차를 레이블 −1 · +1 · +1 · −1 에 돌리면 에포크마다 네 번 모두 틀리고, 에포크가 끝날 때마다 w = (0, 0) · b = 0 으로 돌아온다. 8에포크 누적 32 · 13에포크째 52 로 AND 상한 51 을 넘는다 — 분리 가능한 데이터라면 상한을 넘을 수 없다.
0 1 x1 0 1 x2 2 3 5 경계가 움직인 자리 ② 에포크 1 끝 · x1 + x2 = 0 ③ 에포크 2 끝 · 2x1 + x2 = 1 ⑤ 에포크 8 끝 · 3x1 + 2x2 = 4 마지막 경계의 z = 3x1 + 2x2 − 4 (1,1) → +1 · 맞음 (1,0) → −1 · (0,1) → −2 · (0,0) → −4 누적 오분류 18 · 상한 51 +1(AND 참) −1 점선 = 중간 경계

그림 4 · AND 학습에서 경계는 에포크마다 기울기와 위치를 바꾸다가 3x1 + 2x2 = 4 에서 네 표본을 모두 가르고 멈춘다.

0 2 4 6 8 10 12 14 에포크 0 20 40 누적 AND 오분류 상한 (R/γ)² = 51 AND · 에포크 9 오분류 0 → 멈춤(누적 18) XOR · 에포크 13 누적 52 > 51 XOR · 에포크마다 4 번 모두 틀림 분리 가능(AND) 분리 불가(XOR)

그림 5 · 직선으로 나뉘는 AND 는 누적 오분류가 18 에서 멈추고, 나뉘지 않는 XOR 은 에포크마다 4씩 늘어 상한 51 을 넘는다.

🔑 퍼셉트론이 멈추느냐는 학습률이 아니라 데이터가 직선 하나로 나뉘느냐가 정하고, 멈춘 경계는 «가르는 직선 하나»일 뿐 가장 넓게 가르는 직선이 아니다.

6비교 — 선형 분류기 넷과 다층 퍼셉트론

기준퍼셉트론ADALINE로지스틱 회귀선형 SVM다층 퍼셉트론
갱신하는 때오분류 표본만모든 표본(계단 앞 선형 출력 오차)모든 표본(확률 오차)여유 안쪽 표본모든 표본(역전파)
줄이는 값오분류(손실 식 없이 규칙)제곱 오차(Widrow 1960)로그 손실힌지 손실 + 가중치 크기정한 손실 함수
분리 불가 데이터끝나지 않음 · 마지막 w 가 흔들림오차 최소점으로 수렴수렴슬랙으로 허용비선형 경계로 풀 수 있음
멈춘 경계가르는 직선 아무거나(사례 거리 0.277)제곱 오차 최소 직선로그 손실 최소 직선여유 최대 직선(사례 0.354)굽은 경계
확신 정도없음(±1)없음확률 0 ~ 1경계까지 거리출력 함수에 따름

분석표본이 줄지어 들어와 하나씩 바로 고쳐야 하고 분리 가능성이 높으면 퍼셉트론(또는 평균 · 투표 퍼셉트론)을, 확률이 필요하면 로지스틱 회귀를, 경계 여유로 일반화를 챙기려면 선형 SVM 을, XOR 처럼 직선으로 안 나뉘면 다층 퍼셉트론을 고른다. 근거는 표의 「분리 불가 데이터」 · 「멈춘 경계」 행과 사례의 거리 0.277 ↔ 0.354 이다.

7실무 진단 — 퍼셉트론 학습이 끝나지 않거나 흔들릴 때

분석에포크별 오분류 수부터 보고, 다음에 특징 크기, 표본 순서 순으로 내려간다. 분리 불가이면 뒤의 손질이 모두 소용없고(Minsky 1969), 분리 가능이면 상한 (R/γ)² 이 특징 크기 R 에 달려 있기 때문이다(Freund 1999 정리 1).

#증상의심 원인단계확인 자료판정 기준(근거)
1오분류 수가 0에 닿지 않고 같은 수가 되풀이선형 분리 불가 · 레이블 오류데이터에포크별 오분류 수 · 에포크 끝 가중치같은 가중치로 돌아오면(사례 XOR) 분리 불가 → 포켓 알고리즘(Gallant 1990) · 다른 모델
2수렴은 하지만 에포크가 아주 많음특징 크기 차이로 R 이 큼 · 여유 γ 작음전처리특징별 최댓값 · 표준편차큰 특징 하나가 R 을 키우면 표준화 뒤 다시 셈(상한 (R/γ)²)
3같은 데이터인데 실행마다 경계가 다름표본 순서에 따라 마지막 w 가 바뀜학습순서를 바꾼 실행의 w · 검증 오류검증 오류 편차가 크면 평균 · 투표 퍼셉트론(Freund 1999)
4학습 오류 0 인데 새 표본에서 자주 틀림경계가 표본에 붙어 여유가 작음평가가장 가까운 표본까지 거리거리가 최대 여유보다 작으면(사례 0.277 < 0.354) SVM 과 비교
5「확률이 얼마냐」에 답하지 못함출력이 ±1 뿐설계요구 사항확률이 필요하면 로지스틱 회귀 · 시그모이드 출력

8시험 대비

출제 정보 정보관리(113회)문제 원문 — 큐넷 자료실 「기출문제(기술사)」 www.q-net.or.kr

시험에서는 퍼셉트론의 구조 · 학습 규칙 · 한계를 쓰는 정의 · 특징형, 그리고 단층의 XOR 한계에서 다층 퍼셉트론 · 딥러닝으로 이어진 흐름을 쓰는 동향 · 발전형이 나올 수 있다. 갱신 과정을 실제 수로 따라가고 수렴 상한을 숫자로 보이면 답안이 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의(가중합의 부호 · Rosenblatt 1958) · McCulloch-Pitts 뉴런과의 차이(가중치를 배움)
  2. 구조 — 그림 3 입력 · 가중치 · 편향 · Σ · 계단 함수 · 갱신 고리 + 요소 표
  3. 학습 규칙 — t·z ≤ 0 이면 w ← w + η·t·x · 그림 4 AND 사례(에포크 9 · w = (3, 2) · b = −4)
  4. 수렴과 한계 — 정리 (R/γ)² · 그림 5 누적 오분류(AND 18 ≤ 51 · XOR 끝없음)
  5. 발전 — XOR → 은닉 계층(OR · AND) · 역전파 · 비교 표(ADALINE · 로지스틱 회귀 · SVM)
  6. 활용과 유의점 — 온라인 학습 · 평균 · 투표 퍼셉트론 · 특징 표준화 · 확률 출력 없음

꼭 쓸 키워드
가중합편향계단 함수결정 경계선형 분리오분류 갱신수렴 정리여유XOR 문제다층 퍼셉트론

다른 답안과 차이를 내는 한 가지는 그림 5 의 누적 오분류 곡선이다 — 「XOR 을 풀 수 없다」 한 줄 대신 AND 는 18 에서 멈추고 XOR 은 에포크마다 원점으로 돌아와 상한 51 을 넘는 것을 숫자로 보인다.

9오해와 사실

  • 오해학습률을 줄이면 퍼셉트론이 XOR 도 결국 배운다.
    사실시작 가중치가 0 이면 학습률은 가중치 크기만 배수로 바꾸고 경계는 그대로라, 사례 XOR 은 어떤 η 에서도 에포크마다 원점으로 돌아온다.
  • 오해퍼셉트론이 찾은 경계는 데이터를 가장 잘 가르는 경계다.
    사실처음 찾은 가르는 직선에서 멈출 뿐이라, 사례 경계는 가장 가까운 표본까지 0.277 로 최대 여유 0.354 보다 좁다(SVM 이 찾는 쪽).
  • 오해특징이 많으면 수렴이 느리다.
    사실오분류 상한 (R/γ)² 에는 차원 d 가 없다(Freund 1999 3.1절) — 느리게 만드는 것은 특징 수가 아니라 큰 R 과 작은 γ 다.

10핵심 정리

구분맡는 일식 · 값사례 값흔한 실패
입력 x특징d 개 실수(0,0) ~ (1,1)크기 차이로 R 이 커짐
가중치 · 편향결정 경계w·x + b = 0(3, 2) · −4순서에 따라 흔들림
계단 함수부호 판정z > 0 → +1z = +1 · −1 · −2 · −4확률 없음 · 미분 0
레이블 t정답±1AND −1 −1 −1 +10 · 1 그대로 씀
갱신 규칙틀릴 때만 고침w ← w + η·t·x누적 18 번분리 불가면 끝없음
수렴 상한오분류 횟수 보장(R/γ)²51분리 가능일 때만 성립
XOR단층의 한계직선 하나로 안 나뉨에포크마다 4 · 원점 복귀은닉 계층 필요

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ The perceptron: A probabilistic model for information storage and organization in the brain (Psychological Review 65(6) 386-408) — 퍼셉트론을 처음 내놓은 원 논문(감각 · 연합 · 반응 단위)을 볼 때
    American Psychological Association · 1958-11 · doi.org/10.1037/h0042519 · 확인 2026-11-12
  3. ★ Large Margin Classification Using the Perceptron Algorithm (Machine Learning 37(3) 277-296) — 갱신 규칙 · 오분류 상한 (R/γ)² 정리(3.1절) · 투표 퍼셉트론을 식으로 볼 때
    Springer · 1999-12 · cseweb.ucsd.edu/~yfreund/papers/LargeMarginsUsingPerceptron.pdf · 확인 2026-11-12
  4. ★ Perceptrons (Marvin Minsky · Seymour Papert · reissue of the 1988 expanded edition) — 단층 퍼셉트론이 풀 수 없는 문제(XOR · 연결성)의 원 논증을 볼 때
    The MIT Press · 2017-09 · doi.org/10.7551/mitpress/11301.001.0001 · 확인 2026-11-12
  5. ★ Learning representations by back-propagating errors (Nature 323 533-536) — 은닉 단위를 둔 다층 퍼셉트론을 역전파로 학습하는 출발점을 볼 때
    Nature · 1986-10 · www.nature.com/articles/323533a0 · 확인 2026-11-12
  6. 본문 근거
  7. A logical calculus of the ideas immanent in nervous activity (Bulletin of Mathematical Biophysics 5(4) 115-133) — Springer · 1943-12 · doi.org/10.1007/BF02478259 · 확인 2026-11-12
  8. Perceptron-based learning algorithms (IEEE Transactions on Neural Networks 1(2) 179-191) — IEEE · 1990-06 · doi.org/10.1109/72.80230 · 확인 2026-11-12
  9. Adaptive Switching Circuits (IRE WESCON Convention Record Part 4 96-104) — IRE · 1960-08 · www-isl.stanford.edu/~widrow/papers/c1960adaptiveswitching.pdf · 확인 2026-11-12
  10. NumPy v2.4 Manual - numpy.dot — NumPy Developers · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.dot.html · 확인 2026-11-12