규제Regularization
학습 목적 함수에 데이터 손실과 함께 계수 크기 벌점(L2 · L1 노름 등)을 더해, 데이터를 조금 덜 맞추는 대신 계수를 작고 안정되게 만드는 방법이다.
1요약
- 규제는 지도 학습의 목적 함수를 데이터 손실 J(w) + α · Ω(w) 로 바꾸는 방법으로(DL 7장 식 7.1), 그 위에서 리지(L2) · 라쏘(L1) · 엘라스틱넷 · 신경망의 가중치 감쇠가 돌며, 법 · 제도로 AI 를 다루는 「AI 규제」(AI 기본법 · EU AI Act)와는 다른 개념이다.
- 특징끼리 상관이 크면 최소제곱 계수는 서로 반대 부호로 부풀어 오른다 — 당뇨 데이터 30명만으로 맞추면 혈청 지표 S1 · S2 의 계수가 −169.3 · +104.1 로 갈리고 테스트 RMSE 가 61.97 인데, 리지 벌점 하나로 57.48 로 내려간다(직접 실행).
- 규제를 걸었는데 효과가 없다는 말은 표본 수 ÷ 특징 수와 계수의 흔들림으로 가른다 — 비율이 크고 계수가 안정돼 있으면 규제의 이득은 예측이 아니라 특징 선택 · 해석 쪽에서 나온다.
2등장 배경
최소제곱 회귀는 XᵀX 의 역행렬로 계수를 구하므로, 특징끼리 거의 겹치면 작은 잡음에도 계수가 크게 흔들리고 특징이 표본보다 많으면 해가 하나로 정해지지 않는다. 1970년 Hoerl 과 Kennard 는 XᵀX 대각선에 작은 양수를 더해 편향을 조금 받아들이고 평균 제곱 오차를 줄이는 리지 회귀를 냈고(Hoerl 1970), 같은 생각은 다른 분야에서 Tikhonov 규제라는 이름으로 쓰였다(DL 7장 7.1.1절).
신경망 쪽에서는 1992년 Krogh 와 Hertz 가 가중치 제곱합 벌점(가중치 감쇠)이 쓸모없는 가중치 성분을 누르고 목표 잡음의 영향을 줄여 일반화를 높인다는 것을 선형 망에서 증명했다(Krogh 1992). 1996년 Tibshirani 는 절댓값 합 벌점으로 계수 일부를 정확히 0 으로 만드는 라쏘를 냈고(Tibshirani 1996), 2005년 Zou 와 Hastie 는 상관 높은 특징 묶음에서 라쏘가 하나만 고르는 한계를 L1 · L2 를 섞은 엘라스틱넷으로 메웠다(Zou 2005 1절).
2019년 Loshchilov 와 Hutter 는 Adam 같은 적응형 옵티마이저에서는 손실에 더한 L2 벌점과 가중치를 직접 줄이는 감쇠가 같지 않다는 것을 보이고 둘을 떼어 낸 AdamW 를 냈다(Loshchilov 2019 초록). 지금 규제는 선형 모델의 특징 선택부터 대형 신경망 학습 설정의 기본 항목까지 쓰이고, 강도 α 는 교차 검증으로 고른다.
3쉽게 이해하기 — 수하물 요금표를 받은 출장자
출장자 수아는 지난 출장 342번의 메모를 보고 가방에 물건 10가지를 얼마나 챙길지 정한다. 메모만 믿으면 «그때 아쉬웠던 것»을 전부 넉넉히 넣어 가방이 터진다. 그런데 갑 항공은 1kg 마다 같은 요금을, 을 항공은 무게의 제곱만큼 요금을 받는다. 갑 항공으로 가는 날 수아는 덜 쓰는 물건을 아예 빼고, 을 항공으로 가는 날은 모든 물건을 조금씩 줄여 챙긴다.
그림 1 · 지난 메모만 보고 싸면 가방이 터지고, 무게 요금을 매기면 덜 쓰는 물건을 빼거나 모두 조금씩 줄여 처음 가는 곳에서도 곤란하지 않다.
그림 2 · 요금이 kg 당 같으면 덜 쓰는 물건은 0kg 이 되고, 요금이 제곱이면 모든 물건이 절반 정도로 줄 뿐 남는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 지난 출장 메모 | 학습 데이터 | 계수를 맞추는 표본 · 사례는 당뇨 환자 342명 |
| 물건 10가지의 양 | 계수 w | 특징 10개에 곱하는 값 · 표준화한 뒤 크기를 견준다 |
| 무게 요금 | 벌점 Ω(w) | 손실에 더하는 계수 크기의 값 · 절편은 넣지 않는다 |
| 갑 항공 · kg 요금 | L1 벌점(라쏘) | 절댓값 합 · 작은 계수를 정확히 0 으로 |
| 을 항공 · 제곱 요금 | L2 벌점(리지 · 가중치 감쇠) | 제곱합 · 모든 계수를 0 쪽으로 줄임 |
| 요금 세기 | 강도 α | 0 이면 최소제곱 · 크면 모든 계수 0 · 교차 검증으로 고름 |
| 덜 쓰는 물건 빼기 | 특징 선택 | 라쏘 경로에서 0 으로 남는 특징을 뺀다 |
| 다음 출장 | 테스트 데이터 | 학습에 쓰지 않은 100명으로 RMSE 를 잰다 |
⚠ 비유가 맞지 않는 곳: 요금은 실제 돈이라 덜 낼수록 좋지만, 벌점은 일부러 만든 가짜 비용이라 너무 세면 필요한 계수까지 줄어 예측이 나빠진다. 물건은 서로 무관하지만 특징은 상관이 있어, 라쏘는 비슷한 두 특징 중 하나만 남기기도 한다.
4구조 — 목적 함수의 두 항과 벌점 종류
규제는 목적 함수에 벌점 항 하나를 더한다. 데이터 손실은 «맞추라», 벌점은 «작게 두라»고 당기고, 강도 α 가 둘의 비중을 정한다(DL 7장 식 7.1). 벌점은 가중치에만 걸고 절편 · 편향은 빼는데, 편향은 변수 하나만 다뤄 적은 데이터로도 분산이 크지 않기 때문이다(DL 7장 7.1절).
그림 3 · 규제 해는 데이터 손실과 벌점의 합을 최소로 하는 계수이고, 벌점의 모양(L2 · L1 · 섞음)이 계수를 줄이는 방식을 정하며, 강도 α 는 검증으로 고른다.
| 요소 | 역할 | 사례 값(당뇨 342명) | 근거 |
|---|---|---|---|
| 표준화 | 특징마다 평균 0 · 표준편차 1 · 벌점이 단위에 휘둘리지 않게 | 학습 표본의 평균 · 표준편차로 변환 | DL 7장 7.1절 |
| 데이터 손실 J | 잔차 제곱합 ÷ 2n · 맞추는 힘 | 최소제곱 학습 RMSE 52.75 | Efron 2004 표 1 |
| L2 벌점 | ½‖w‖² · 고유값 λᵢ 방향 계수를 λᵢ ÷ (λᵢ + α) 배로 줄임 | α 0.0794 · ‖w‖₂ 51.0 → 41.0 | DL 7장 식 7.13 |
| L1 벌점 | ‖w‖₁ · α 보다 약한 계수를 0 으로 | α 0.781 · 0 이 아닌 계수 9개 | DL 7장 식 7.23 |
| 엘라스틱넷 | L1 · L2 를 섞음 · 상관 특징을 함께 남김 | 섞음 비 0.5 · α 0.156 · 10개 | Zou 2005 2.3절 |
| 강도 α | 0 = 최소제곱 · α 최댓값 이상 = 모든 계수 0 | 라쏘 α 최댓값 49.28 | DL 7장 7.2절 |
🔑 L2 는 모든 계수를 «비율»로 줄이고 L1 은 모든 계수에서 «같은 양»을 빼므로, 0 이 되는 계수는 L1 에서만 생긴다.
5동작 — 당뇨 데이터 442명에 라쏘 · 리지 맞추기
Efron 2004 표 1 의 당뇨 데이터(환자 442명 · 나이 · 성별 · BMI · 혈압 · 혈청 지표 S1 ~ S6 · 목표 = 1년 뒤 질병 진행 정도)로 직접 실행(공개 데이터)한 사례다. 리지는 닫힌 식, 라쏘 · 엘라스틱넷은 좌표 하강을 직접 구현했고 값은 테스트 RMSE 다.
- 시드 0 으로 섞어 학습 342명 · 테스트 100명으로 나누고, 학습 표본의 평균 · 표준편차로 특징을 표준화하며 목표에서 평균을 뺀다(절편은 벌점 밖).
- 최소제곱은 학습 52.75 · 테스트 57.05 이고, 상관 0.894 인 혈청 지표 S1 · S2 의 계수가 −20.65 · +7.80 으로 부호가 갈린다(XᵀX 조건수 500).
- 라쏘 강도를 α 최댓값 49.28 에서 낮추면 계수가 0 에서 하나씩 떨어져 나오는데, 순서는 BMI(α 비율 0.977) · S5(0.831) · BP(0.379) · S3(0.362) 이다 — 비율 0.5 에서 계수 2개로 테스트 61.19, 계수가 모두 0 이면 71.05 다.
- 학습 342명 안에서 5겹 교차 검증으로 α 를 고르면 라쏘 α 0.781 은 S2 를 0 으로 두고 S1 을 −6.51 로 줄여 테스트 56.93, 리지 α 0.0794 는 S1 · S2 를 −3.44 · −4.81 로 줄여 56.97 이다.
- 엘라스틱넷(섞음 비 0.5 · α 0.156)은 S1 · S2 를 −3.29 · −4.72 로 같은 부호로 나눠 남겨 56.94 다 — 상관 묶음을 함께 남기는 묶음 효과다(Zou 2005 2.3절).
- 342명 학습에서는 테스트 차이가 0.12 에 그치고, 분할을 시드 0 ~ 19 로 바꾸면 라쏘가 최소제곱보다 나은 분할은 20번 중 10번이다.
- 같은 분할에서 학습을 30명으로 줄이면 최소제곱은 S1 · S2 가 −169.3 · +104.1 로 부풀어 학습 40.24 · 테스트 61.97, 리지는 57.48, 라쏘는 계수 4개(BMI · BP · S5 · S6)로 57.41 이 된다 — 시드 0 ~ 19 에서 리지가 나은 분할은 19번, 테스트 RMSE 중앙값은 71.25 → 66.05 다.
그림 4 · 라쏘 벌점을 약하게 할수록 BMI · S5 · BP · S3 순으로 계수가 0 에서 떨어져 나오고, 교차 검증이 고른 α 에서는 S1 과 상관 높은 S2 만 0 으로 남는다.
그림 5 · 손실 등고선이 L1 의 마름모와는 모서리에서 만나 계수 하나가 0 이 되고, L2 의 원과는 축 밖에서 만나 두 계수가 함께 줄어든다.
그림 5 는 손실이 2차식인 계수 두 개짜리 설명용 가정 값이다. 같은 손실 등고선이 L1 예산의 모서리에서 먼저 만나면 그 축의 계수가 정확히 0 이 되고, 둥근 L2 예산에는 모서리가 없어 두 계수가 함께 줄어든다(DL 7장 7.2절).
🔑 규제의 예측 이득은 표본 수 ÷ 특징 수가 작을수록 커진다 — 같은 데이터에서 342명이면 테스트 RMSE 차이가 0.12, 30명이면 4.49 다.
6비교 — L2 · L1 · 엘라스틱넷 · 분리형 가중치 감쇠
규제를 조기 종료 · 드롭아웃 · 데이터 추가와 견주는 표는 과적합이 맡는다. 여기서는 규제 안의 방식끼리 견준다.
| 기준 | L2(리지) | L1(라쏘) | 엘라스틱넷 | 분리형 가중치 감쇠(AdamW) |
|---|---|---|---|---|
| 벌점 | ½‖w‖² | ‖w‖₁ | L1 · L2 섞음 | 손실 밖에서 매 단계 ηλw 를 따로 뺌 |
| 계수 모양 | 모두 0 이 아닌 채 축소 | 일부 정확히 0(희소) | 희소 + 상관 묶음 유지 | 모두 축소 |
| 해 구하기 | 닫힌 식 | 좌표 하강 · LARS | 좌표 하강 · LARS-EN | 옵티마이저 갱신식 |
| 특징 > 표본 | 풀림 | 계수 표본 수까지만 고름(Zou 2005 1절) | 그 한계가 없음 | 신경망 대상 |
| 상관 특징 | 나눠 가짐(S1 · S2 = −3.44 · −4.81) | 하나만 남김(S2 = 0) | 같은 부호로 나눔(−3.29 · −4.72) | 해당 없음 |
| 쓰는 곳 | 선형 모델 · SGD 신경망 | 특징 선택 · 해석 | 유전자 · 센서처럼 묶음 특징 | Adam 계열로 학습하는 신경망 |
분석모든 특징이 조금씩 쓸모 있고 예측이 목표면 L2 를, 쓸 특징을 줄여 해석해야 하면 L1 을, 상관 높은 특징 묶음이 많으면 엘라스틱넷을, Adam 계열로 신경망을 학습하면 손실에 L2 를 더하지 말고 분리형 감쇠를 쓴다. 근거는 표의 「상관 특징」 행(사례 값)과 적응형 옵티마이저에서 L2 벌점과 감쇠가 같지 않다는 결과다(Loshchilov 2019 초록).
7실무 진단 — 규제 설정 문제 가르기
분석먼저 표준화와 절편 처리부터 보고, 그다음 α 경로 위 위치, 마지막으로 옵티마이저와 벌점의 짝을 본다. 앞의 둘이 틀리면 α 를 어떻게 골라도 벌점이 특징마다 다르게 걸려 결과를 해석할 수 없기 때문이다(DL 7장 7.1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 단위가 큰 특징만 살아남음 | 표준화 없이 벌점 | 데이터 | 특징별 표준편차 · 계수 × 표준편차 | 표준화 뒤 다시 맞춰 선택된 특징이 바뀌면 단위 문제(DL 7장 7.1절) |
| 2 | 학습 · 테스트 오차가 함께 높고 계수가 거의 0 | α 가 너무 큼 | 학습 | α 경로 위 교차 검증 곡선 | 고른 α 가 격자 끝(가장 큰 값)이면 격자를 넓힌다 · α 최댓값 이상은 모든 계수 0(DL 7장 7.2절) |
| 3 | 실행마다 남는 특징이 바뀜 | 상관 묶음에서 라쏘가 하나만 고름 | 모델 | 특징 상관 행렬 · 부트스트랩 선택 빈도 | 상관 0.9 근처 쌍이 번갈아 0 이면 엘라스틱넷으로 비교(Zou 2005 1절) |
| 4 | Adam 에서 감쇠 값을 바꾸면 최적 학습률도 바뀜 | 손실에 L2 를 더한 결합형 | 학습 | 옵티마이저 설정 · 갱신식 | 분리형 감쇠로 바꾸면 두 값을 따로 고를 수 있다(Loshchilov 2019 초록) |
| 5 | 규제를 걸어도 테스트가 그대로 | 표본이 특징보다 충분히 많음 | 데이터 | 표본 수 ÷ 특징 수 · 계수 흔들림 | 사례 342 ÷ 10 에서 차이 0.12 · 30 ÷ 10 에서 4.49(직접 실행) |
순서는 1행 → 2행 → 3행 → 4행이다. 5행은 고장이 아니라 정상인 경우라, 예측 이득이 없어도 L1 경로로 특징을 고르는 쓰임은 남는다.
8시험 대비
www.q-net.or.kr시험에서는 규제의 정의 · 목적과 L1 · L2 의 수식을 묻는 정의 · 특징형, 그리고 리지 · 라쏘 · 엘라스틱넷의 차이를 묻는 비교형이 나올 수 있다. 「과적합 방지 기법」 한 줄 대신 목적 함수 식과 등고선 그림으로 희소성이 생기는 이유를 보이면 답안이 갈린다.
- 개요 — 목적 함수 J(w) + α · Ω(w) · 편향을 조금 받아들여 분산을 줄임 · 법 · 제도의 AI 규제와 다른 뜻
- 구조 — 그림 3 목적 함수와 벌점 종류(L2 · L1 · 엘라스틱넷) · 절편 제외 · 표준화
- 원리 — 그림 5 등고선과 마름모 · 원 예산(모서리 = 계수 0) · 직교일 때 해 z ÷ (1 + α) · 소프트 임계값
- 사례 — 그림 4 당뇨 데이터 라쏘 경로(BMI · S5 · BP · S3 순) · 30명에서 테스트 61.97 → 57.48
- 비교 — L2 · L1 · 엘라스틱넷 · 분리형 가중치 감쇠 표(계수 모양 · 상관 특징 · 쓰는 곳)
- 선택과 주의 — 교차 검증으로 α · 표준화 · Adam 에서는 분리형 감쇠 · 베이즈 해석(가우스 · 라플라스 사전)
꼭 쓸 키워드
L2 규제L1 규제리지 회귀라쏘엘라스틱넷가중치 감쇠희소성계수 경로소프트 임계값최대 사후 추정
다른 답안과 차이를 내는 한 가지는 그림 5 의 등고선 그림이다 — 같은 손실 등고선이 마름모 모서리에서 만나 계수가 0 이 되는 모습을 값과 함께 보인다.
9오해와 사실
- 오해규제를 걸면 테스트 성능이 언제나 좋아진다.사실당뇨 데이터 342명 학습에서는 라쏘가 최소제곱보다 나은 분할이 20번 중 10번뿐이었고, 이득이 뚜렷한 것은 30명처럼 표본이 특징에 비해 적을 때였다(직접 실행).
- 오해L2 벌점을 더하는 것과 가중치 감쇠는 어떤 옵티마이저에서나 같다.사실둘은 학습률로 맞춘 SGD 에서만 같고 Adam 같은 적응형 방법에서는 다르다(Loshchilov 2019 초록).
- 오해라쏘가 0 으로 만든 특징은 목표와 관계가 없다.사실S2 는 S1 과 상관 0.894 라 라쏘에서 0 이 됐지만, 엘라스틱넷은 −4.72 로 남겼다 — 0 은 «다른 특징이 대신 설명함»일 수 있다(Zou 2005 1절).
10핵심 정리
| 구분 | 벌점 Ω(w) | 계수 모양 | 사례 값(당뇨) | 해 구하기 | 고를 값 |
|---|---|---|---|---|---|
| 최소제곱 | 없음 | 상관 쌍이 반대 부호로 부풂 | 30명 S1 · S2 −169.3 · +104.1 · 테스트 61.97 | 닫힌 식 | — |
| L2 · 리지 | ½‖w‖² | 모두 비율로 축소 | 30명 테스트 57.48 · 342명 56.97 | 닫힌 식 | α |
| L1 · 라쏘 | ‖w‖₁ | 일부 정확히 0 | 342명 9개 · 30명 4개 | 좌표 하강 · LARS | α |
| 엘라스틱넷 | L1 + L2 | 희소 + 묶음 유지 | S1 · S2 −3.29 · −4.72 | 좌표 하강 | α · 섞음 비 |
| 분리형 가중치 감쇠 | 손실 밖 감쇠 | 모두 축소 | (신경망 · Adam 계열) | 옵티마이저 갱신식 | 감쇠 계수 |
| 강도 α | 벌점의 세기 | 0 = 최소제곱 · 최댓값 = 모두 0 | 라쏘 α 최댓값 49.28 · 고른 값 0.781 | 교차 검증 | 격자 범위 |
11참고 문헌
- 먼저 볼 문헌
- ★ Deep Learning (Goodfellow · Bengio · Courville) Chapter 7 Regularization for Deep Learning — 벌점 목적 함수(식 7.1) · L2 의 고유 방향 축소(식 7.13) · L1 의 소프트 임계값(식 7.23) · 라플라스 사전 분포(식 7.24)를 볼 때
- ★ Regularization and variable selection via the elastic net (Journal of the Royal Statistical Society Series B 67(2) 301-320) — 라쏘의 한계 둘(특징 > 표본이면 표본 수까지만 · 상관 묶음에서 하나만)과 묶음 효과(2.3절)를 볼 때
- ★ Decoupled Weight Decay Regularization (ICLR 2019 · arXiv 1711.05101) — Adam 에서 L2 벌점과 가중치 감쇠가 같지 않은 이유와 분리형 감쇠(AdamW)를 볼 때
- ★ Least Angle Regression (The Annals of Statistics 32(2) 407-499) — 사례의 당뇨 데이터(표 1 · 442명 · 특징 10개)와 라쏘 계수 경로(그림 1)를 볼 때
- 본문 근거
- A Simple Weight Decay Can Improve Generalization (Advances in Neural Information Processing Systems 4) — NeurIPS · 1992 ·
proceedings.neurips.cc/paper_files/paper/1991/file/8eefcfdf5990e441f0fb6f3fad709e21-Paper.pdf· 확인 2026-11-13 - Regression Shrinkage and Selection via the Lasso (Journal of the Royal Statistical Society Series B 58(1) 267-288) — Royal Statistical Society · 1996-01 ·
doi.org/10.1111/j.2517-6161.1996.tb02080.x· 확인 2026-11-13 - Ridge Regression: Biased Estimation for Nonorthogonal Problems (Technometrics 12(1) 55-67) — American Statistical Association · ASQ · 1970-02 ·
doi.org/10.1080/00401706.1970.10488634· 확인 2026-11-13 - LARS diabetes data (diabetes.data · 442 x 11 tab-separated) — T. Hastie · Stanford University · 2004-04 ·
hastie.su.domains/Papers/LARS/diabetes.data· 확인 2026-11-13 - NumPy v2.5 Manual - numpy.linalg.solve — NumPy Developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.linalg.solve.html· 확인 2026-11-13