LoRA저순위 적응 · Low-Rank Adaptation
사전 학습 가중치는 얼려 두고, 가중치 행렬마다 순위 r 의 작은 두 행렬 B · A 를 덧붙여 그 곱 BA 만 학습하는 파라미터 효율 미세 조정 방식이다. 학습 뒤 BA 를 원래 가중치에 더해 합치면 추론 연산이 늘지 않는다.
1요약
- LoRA 는 2021년 Hu 등이 낸 파라미터 효율 미세 조정 방식으로, 트랜스포머의 가중치 행렬마다 순위 r 의 두 행렬 B · A 를 곁에 붙여 그 곱만 학습하며, 지시 튜닝 · 도메인 적응 · 과제별 어댑터 교체 서빙이 이 위에서 돈다.
- 변화량을 낮은 순위로 묶어도 되는 근거는 고유 차원이다 — RoBERTa 는 무작위 사영한 매개변수 200개만 학습해도 MRPC 에서 전체 성능의 90%에 이르렀고(Aghajanyan 2020 초록), GPT-3 의 Wq · Wv 는 r = 1 로도 WikiSQL 73.4%를 냈다(Hu 2021 표 6).
- 「LoRA 가 전체 미세 조정만 못하다」는 학습률 · 배율 · 순위 · 대상 행렬 가운데 어디가 막혔는가로 가른다 — r 을 올려도 그대로면 α / r 배율을, 형식은 맞는데 새 능력이 모자라면 MLP 를 빼고 붙였는지를 본다(Biderman 2024 4.7절).
2등장 배경
2020년 무렵의 질문은 수억 매개변수 모델을 수천 건 데이터로 미세 조정해도 왜 무너지지 않는가였다. 2018년 Li 등은 무작위로 고른 작은 부분공간에서만 학습시켜 해가 처음 나타나는 차원을 고유 차원이라 부르고, 많은 문제의 고유 차원이 매개변수 수보다 훨씬 작음을 보였다(Li 2018 초록). 2020년 Aghajanyan 등은 사전 학습 언어 모델에서 같은 현상을 확인하고, 같은 사전 학습 횟수에서 큰 모델일수록 고유 차원이 작다고 보고했다(Aghajanyan 2020 초록).
2021년 Hu 등은 이 관찰을 «가중치의 변화량도 순위가 낮다»는 가정으로 옮겨 변화량을 ΔW = BA 로 제한했다(Hu 2021 4.1절). GPT-3 에서 학습 매개변수 18M 을 Wq 하나에 r 8 로 몰면 WikiSQL 70.4%, Wq · Wv 둘에 r 4 로 나누면 73.7%여서, 순위를 키우기보다 행렬을 넓게 덮는 편이 나았다(Hu 2021 표 5).
그 뒤 배율을 고친 rsLoRA(2023) · A 와 B 의 학습률을 달리한 LoRA+(2024) · 크기와 방향을 나눈 DoRA(2024)가 나왔고, 기반 모델 한 벌로 어댑터 수천 개를 함께 서빙하는 S-LoRA 가 나왔다(Sheng 2023 초록). 2024년 Biderman 등은 코드 · 수학 과제에서 LoRA 가 전체 미세 조정보다 덜 배우지만 원래 능력을 덜 잊는다고 정리했다(Biderman 2024 초록).
3쉽게 이해하기 — 투어 공연을 맞는 극장 조명 감독
극장에는 조명 64개를 어떻게 켤지 적은 기본 조명표가 있고, 조명 감독은 이 표를 잠가 둔다. 투어 공연팀이 오면 감독은 조명을 하나씩 다시 돌리지 않고, 콘솔에 장면 페이더 몇 개를 단다 — 페이더 하나를 올리면 정해진 무늬대로 여러 조명이 함께 밝아진다. 리허설에서 관객 반응을 보며 페이더 무늬만 고치고, 팀이 바뀌면 페이더 카드만 갈아 끼운다. 오래 머무는 팀이면 그 값을 기본표에 새겨 넣는다.
그림 1 · 감독은 잠근 기본 조명표를 두고 장면 페이더 몇 개만 맞춰 공연팀의 장면을 만들고, 팀이 바뀌면 페이더 카드만 바꾼다.
그림 2 · 조명 64개를 하나씩 돌리는 대신 페이더 하나가 세로 무늬 × 가로 무늬로 전체를 움직이듯, 64 × 64 행렬도 순위 4 의 두 띠 값 512개로 바꾼다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 잠근 기본 조명표 | 얼린 가중치 W0 | 사전 학습 값을 그대로 두고 기울기를 계산하지 않는다 |
| 장면 페이더(개수 = 순위) | 저순위 행렬 B · A · 순위 r | 곱 BA 가 W0 와 같은 크기의 변화량이 되고, 바꿀 수 있는 방향은 r 개다 |
| 페이더 감도 | 배율 α / r | 변화량 BAx 를 얼마나 크게 더할지 정한다 |
| 공연팀 장면 목록 | 과제 데이터 | 입력과 원하는 출력의 짝이다 |
| 관객 반응 | 손실 · 기울기 | B · A 만 고치는 방향을 알려 준다 |
| 페이더 카드 교체 | 어댑터 교체 | 기반 모델 한 벌에 과제별 B · A 만 바꿔 끼운다 |
| 기본표에 새겨 넣기 | 병합 | W0 + (α / r)BA 한 장으로 합쳐 추가 연산 없이 추론한다 |
⚠ 비유가 맞지 않는 곳: 실제 B · A 는 손으로 정한 무늬가 아니라 기울기로 학습하는 숫자 행렬이고, 처음에는 B 가 0 이라 페이더를 달아도 장면이 바뀌지 않는다. 또 블록 하나에도 행렬이 여럿이라 콘솔이 행렬마다 하나씩 있는 셈이다.
4구조 — 얼린 경로와 저순위 우회로
LoRA 모듈은 입력 x 를 두 경로로 보낸다 — 얼린 W0 를 지나는 원래 경로와, A 로 r 차원까지 줄였다가 B 로 되돌리는 우회로다. 두 출력을 더한 h = W0x + (α / r)BAx 가 다음 연산으로 간다(Hu 2021 식 3 · 4.1절).
그림 3 · 입력은 얼린 W0 경로와 A → B 우회로로 갈라졌다가 더해지고, 학습은 우회로의 두 행렬에서만 일어난다.
| 요소 | 크기 | 역할 | 값 · 근거 |
|---|---|---|---|
| W0 | d × k | 사전 학습 값 · 얼림 | 학습 매개변수 0 · 병합 전까지 그대로(Hu 2021 4.1절) |
| A | r × k | 입력을 r 차원으로 줄임 | 가우스 초기화(Hu 2021 4.1절) |
| B | d × r | r 차원을 d 차원으로 되돌림 | 0 초기화 → 시작 때 BA = 0(Hu 2021 4.1절) |
| 순위 r | 정수 | 변화량이 가질 수 있는 방향 수 · 학습 매개변수 r(d + k) | 논문 대부분 8 ~ 64(Biderman 2024 4.1절) |
| 배율 α / r | 상수 | BAx 에 곱하는 크기 | 원 논문 = α 를 처음 고른 r 로 고정(Hu 2021 4.1절) · 큰 r 은 α = 2r(Biderman 2024 4.7절) |
| 대상 행렬 | 블록마다 | B · A 를 붙일 행렬 | 원 논문 = 어텐션만(Hu 2021 4.2절) · 지금은 어텐션 + MLP 전부가 흔함(Biderman 2024 2절) |
| 병합 W | d × k | W0 + (α / r)BA | 추론 연산 증가 0 · 과제를 바꿀 때 빼고 다시 더함(Hu 2021 4.1절) |
🔑 LoRA 가 제한하는 것은 바꿀 «값»이 아니라 변화량의 «순위»다 — BA 는 d × k 의 모든 값을 바꾸지만, 바꿀 수 있는 방향은 r 개뿐이다.
5동작 — 순위 4 과제 변화를 LoRA 로 찾기
직접 실행(합성 데이터 · NumPy · 시드 0) 사례다. 사전 학습 대신 무작위로 만든 64 × 64 행렬을 W0 로 두고, 과제가 요구하는 변화 ΔW* 를 순위 4(크기 = W0 의 절반)로 만든 설명용 가정 설정이다.
- 과제 만들기 — 입력 x 학습 2,000개 · 시험 500개에 y = (W0 + ΔW*)x + 잡음(σ 0.1)을 붙인다. 잡음 때문에 어떤 방법도 시험 MSE 0.0100 아래로 내려가지 못한다.
- 기반 점수 — W0 를 그대로 쓰면 시험 MSE 가 0.2611 이다.
- 학습 매개변수 정하기 — r = 4 이면 4 × (64 + 64) = 512개로, 행렬 전체 4,096개의 8분의 1이다.
- 초기화 — A 는 가우스, B 는 0 으로 둔다. 첫 학습 손실은 W0 만 쓴 값 0.2636 과 같고, α = 2r 이라 배율은 2 다.
- 학습 — Adam(학습률 0.01 · 가정 값)으로 B · A 만 1,500회 갱신한다. W0 는 한 번도 바뀌지 않고, 100회 만에 학습 손실이 0.0100 에 닿는다.
- 순위 비교 — 같은 절차를 r 1 · 2 · 8 · 16 으로 되풀이하면 시험 MSE 는 0.1539 · 0.0863 · 0.0102 · 0.0103 이다. r = 4 의 0.0102 가 값 4,096개 전부를 최소 제곱으로 푼 0.0104 보다 낮다(시드 0 ~ 9 에서 r 4 = 0.0100 ~ 0.0102).
- 특이값 확인 — r = 16 이 배운 변화량의 특이값은 2.592 · 2.058 · 1.651 · 1.497 다음에 0.033 이하로 떨어진다. 남는 12개 방향은 잡음만 맞춘 것이다.
- 병합 — r = 4 결과를 W = W0 + 2BA 한 장으로 합치면 두 경로 출력과의 최대 차이가 2.7 × 10⁻¹⁵ 다. 같은 병합을 fp16 으로 하면 차이가 0.0021 까지 커진다.
그림 4 · 값 4,096개의 8분의 1인 512개만 학습해 잡음 바닥에 닿고, 병합하면 한 장의 행렬로 돌아간다.
그림 5 · 시험 오차는 r = 4 에서 잡음 바닥에 닿고 그 뒤로는 줄지 않으며, r = 16 이 배운 변화량도 큰 특이값은 4개뿐이다.
🔑 순위가 과제 변화의 순위에 닿으면 매개변수를 더 줘도 오차는 줄지 않고, 남는 방향은 잡음을 배운다 — r 은 «클수록 안전»이 아니라 «맞으면 충분»이다.
6비교 — LoRA 와 변종(rsLoRA · LoRA+ · DoRA · AdaLoRA)
전체 미세 조정 · 어댑터 · 프롬프트 튜닝과의 비교는 미세 조정이 맡고, 여기서는 LoRA 를 고친 변종끼리 견준다. 4비트로 얼린 W0 위에서 학습하는 QLoRA 는 양자화 쪽 변형이라 미세 조정 · 양자화에서 다룬다.
| 기준 | LoRA | rsLoRA | LoRA+ | DoRA | AdaLoRA |
|---|---|---|---|---|---|
| 바꾼 곳 | 원형 | 배율 α / r → α / √r | B 학습률 = λ × A 학습률 | W0 를 크기 · 방향으로 나누고 방향에 LoRA | 행렬마다 순위를 다르게 · 특이값 가지치기 |
| 고친 병목 | — | 큰 r 에서 갱신이 작아져 학습이 더딤 | 폭이 넓은 모델에서 같은 학습률의 비효율 | 전체 미세 조정과의 정확도 차이 | 중요도가 다른 행렬에 예산을 똑같이 나눔 |
| 보고된 효과 | GPT-3 Wq · Wv r 1 = WikiSQL 73.4% | r 을 키운 만큼 성능이 오르고 추론 비용은 그대로 | 성능 1 ~ 2% 향상 · 학습 속도 최대 2배 | LLaMA-7B 상식 추론 평균 74.7 → 78.4% | 낮은 예산에서 차이가 큼 |
| 더 정할 것 | r · α · 대상 행렬 | 같음 | 비 λ(RoBERTa 약 2⁴ · LLaMA 2¹ ~ 2²) | 크기 벡터(학습 매개변수 0.83 → 0.84%) | 목표 예산 · 가지치기 일정 |
근거 — Hu 2021 표 6 · Kalajdzievski 2023 초록 · Hayou 2024 초록 · 5.3절 · Liu 2024 표 1 · Zhang 2023 초록.
분석LoRA 에 α = 2r 로 시작하고, r 을 크게 키울 때는 rsLoRA 배율로, 전체 미세 조정과의 정확도 차이가 남으면 DoRA 로 옮긴다. 근거는 표의 「고친 병목」 행 — 변종마다 고친 곳이 달라 지금 막힌 한 곳(배율 · 학습률 · 표현력 · 예산 배분)만 바꿔야 원인을 가릴 수 있다.
7실무 진단 — LoRA 가 기대만큼 배우지 못할 때
분석학습률 → 배율 · 순위 → 대상 행렬 → 병합 · 서빙 순으로 좁힌다. LoRA 는 전체 미세 조정보다 학습률에 민감하고 최적 학습률이 한 자릿수 높으므로(Biderman 2024 4.7절), 구조를 바꾸기 전에 학습률부터 훑는다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 손실이 수백 step 동안 거의 안 내려감 | 학습률이 전체 미세 조정 값 그대로 | 학습 설정 | 학습률 3 ~ 5개 값의 손실 곡선 | LoRA 최적 학습률 = 전체 조정의 약 10배 · 5e-5 ~ 5e-4(Biderman 2024 4.7절) |
| 2 | r 을 16 → 256 으로 올려도 점수가 그대로 | α 고정 · α / r 로 변화량이 줄어듦 | 배율 · 순위 | r 별 같은 step 의 손실 · 설정의 α | α = 2r 또는 α / √r 로 바꾸면 순위 효과가 살아남(Biderman 2024 4.7절 · Kalajdzievski 2023 초록) |
| 3 | 답 형식은 맞는데 코드 · 수학 정답률이 모자람 | 어텐션만 대상 · 낮은 순위 | 대상 행렬 | 대상 모듈 목록 · r 별 정답률 | 어텐션만 대상 < MLP · 전체 대상 · 전체 조정의 변화량 순위는 LoRA 설정의 10 ~ 100배(Biderman 2024 초록 · 4.7절) |
| 4 | r 을 키울수록 시험 오차가 조금씩 오름 | 남는 순위가 잡음을 학습 | 순위 | 학습한 BA 의 특이값 분포 | 큰 특이값 뒤 급락 = 그 개수가 필요한 순위(사례 단계 7) |
| 5 | 병합한 모델의 출력이 병합 전과 다름 | 낮은 정밀도에서 병합 | 병합 | 같은 입력의 병합 전후 출력 차이 | fp64 차이 10⁻¹⁵ 대 ↔ fp16 0.0021(사례 단계 8) |
| 6 | 과제별 모델 수백 개를 띄우면 GPU 메모리 부족 | 과제마다 병합한 모델을 한 벌씩 올림 | 서빙 | 올린 모델 수 · 어댑터 크기 | 병합하지 않고 기반 한 벌 + 어댑터 묶음 처리 = GPU 한 장에 어댑터 수천 개(Sheng 2023 초록) |
8시험 대비
시험에서는 LoRA 의 원리와 효율을 묻는 정의 · 특징형, 파라미터 효율 미세 조정의 흐름과 변종을 묻는 동향 · 발전형이 나올 수 있다. 정의형은 h = W0x + (α / r)BAx 와 매개변수 수 r(d + k) 를 적고 «값이 아니라 순위를 제한한다»는 한 줄로 효율의 이유를 대며, 동향형은 고유 차원 → LoRA → 변종(배율 · 학습률 · 크기와 방향 · 예산) → 다중 어댑터 서빙 순으로 세운다.
- 개요 — 정의 · 필요성(과제마다 모델 한 벌) · 근거 = 고유 차원(매개변수 200개로 90% · Aghajanyan 2020)
- 구조 — 그림 3 두 경로(W0 얼림 · A → B 우회로 · α / r) + 초기화(A 가우스 · B = 0)
- 원리 — 순위 제한 + 그림 5 순위별 시험 MSE · 특이값(큰 값 4개에서 멈춤)
- 절차 — 그림 4 과제 → 초기화 → 학습 → 순위 비교 → 병합(fp16 차이)
- 동향 — 변종 비교표(rsLoRA · LoRA+ · DoRA · AdaLoRA) · S-LoRA 다중 어댑터 서빙
- 한계와 대응 — 덜 배우고 덜 잊음(Biderman 2024) · 대상 행렬에 MLP 포함 · 학습률 약 10배
꼭 쓸 키워드
저순위 분해고유 차원순위 r배율 αB = 0 초기화병합대상 행렬rsLoRADoRA다중 어댑터 서빙
다른 답안과 차이를 내는 한 가지 — 순위별 시험 오차 그래프 한 장으로 «r 이 과제 변화의 순위에 닿으면 멈춘다»를 보이고, 학습한 BA 의 특이값으로 필요한 순위를 읽는 법까지 적는다.
9오해와 사실
- 오해순위 r 은 클수록 전체 미세 조정에 가까워져 늘 낫다.사실GPT-3 Wq · Wv 에서 r 1 은 73.4%, r 64 는 73.5%로 거의 같았고(Hu 2021 표 6), 배율을 α / r 로 두면 큰 r 이 오히려 덜 배운다(Kalajdzievski 2023 초록).
- 오해LoRA 는 학습 매개변수가 적을 뿐 전체 미세 조정과 같은 것을 배운다.사실코드 · 수학 실험에서 LoRA 는 전체 미세 조정보다 덜 배웠고, 대신 대상 밖 과제의 성능을 더 지켰다(Biderman 2024 초록).
- 오해LoRA 는 어텐션 행렬에만 붙인다.사실원 논문이 어텐션만 다룬 것은 범위를 줄인 선택이고(Hu 2021 4.2절), 뒤 실험에서는 MLP 를 포함한 쪽이 어텐션만 붙인 쪽보다 높았다(Biderman 2024 4.7절).
10핵심 정리
| 구성 · 설정 | 무엇 | 크기 · 값 | 학습 여부 | 고를 때 보는 것 |
|---|---|---|---|---|
| W0 | 사전 학습 가중치 | d × k | 얼림 | 병합 전까지 그대로 |
| A · B | 저순위 두 행렬 | r × k · d × r | 학습 | A 가우스 · B 0 초기화 |
| 순위 r | 변화량의 방향 수 | 흔히 8 ~ 64 | 설정 | 학습한 BA 특이값이 급락하는 자리 |
| 배율 | α / r(rsLoRA = α / √r) | α = 2r 이면 2 | 설정 | r 을 바꿀 때 함께 바꿈 |
| 대상 행렬 | B · A 를 붙일 곳 | 어텐션 · MLP | 설정 | 새 능력이 필요하면 MLP 포함 |
| 병합 | W0 + (α / r)BA | d × k 한 장 | — | 추론 연산 증가 0 · 높은 정밀도에서 |
| 다중 어댑터 | 기반 한 벌 + 과제별 B · A | 과제당 r(d + k) × 행렬 수 | — | 병합하지 않고 묶어서 서빙 |
11참고 문헌
- 먼저 볼 문헌
- ★ LoRA: Low-Rank Adaptation of Large Language Models (Hu et al.) — h = W0x + BAx 식과 대상 행렬 · 순위 r 실험(표 5 · 표 6)을 볼 때
- ★ Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning (Aghajanyan · Zettlemoyer · Gupta) — 왜 작은 부분공간만 학습해도 되는가(고유 차원)를 볼 때
- ★ LoRA Learns Less and Forgets Less (Biderman et al. · TMLR 2024) — 전체 미세 조정과의 차이 · 학습률 · 대상 행렬 · α 설정 권고를 볼 때
- ★ DoRA: Weight-Decomposed Low-Rank Adaptation (Liu et al. · ICML 2024) — 크기 · 방향 분해 변종과 LLaMA-7B 상식 추론 비교(표 1)를 볼 때
- 본문 근거
- Measuring the Intrinsic Dimension of Objective Landscapes (Li et al. · ICLR 2018) — arXiv · 2018-04 ·
arxiv.org/abs/1804.08838· 확인 2026-11-12 - A Rank Stabilization Scaling Factor for Fine-Tuning with LoRA (Kalajdzievski) — arXiv · 2023-12 ·
arxiv.org/abs/2312.03732· 확인 2026-11-12 - LoRA+: Efficient Low Rank Adaptation of Large Models (Hayou · Ghosh · Yu · ICML 2024) — arXiv · 2024-02 ·
arxiv.org/abs/2402.12354· 확인 2026-11-12 - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning (Zhang et al. · ICLR 2023) — arXiv · 2023-03 ·
arxiv.org/abs/2303.10512· 확인 2026-11-12 - S-LoRA: Serving Thousands of Concurrent LoRA Adapters (Sheng et al.) — arXiv · 2023-11 ·
arxiv.org/abs/2311.03285· 확인 2026-11-12 - NumPy Random Generator (numpy.random.default_rng) — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generator.html· 확인 2026-11-12