비전 언어 모델(VLM)Vision-Language Model
이미지를 패치 특징으로 바꾸는 이미지 인코더와 언어 모델을 연결부로 이어, 사진과 글을 함께 받아 글로 답하거나 사진과 문장의 유사도를 내는 모델이다.
1요약
- 비전 언어 모델은 이미지 인코더 · 연결부 · LLM 세 부품으로 사진을 토큰으로 바꿔 언어 모델이 읽게 하는 모델로, 이중 인코더(CLIP 2021) · 교차 어텐션(Flamingo 2022) · 질의 압축(BLIP-2 2023) · 투영 연결(LLaVA 2023) 네 구성이 있고 그 위에서 사진 질의응답 · 문서 읽기 · 화면 이해가 돈다.
- 질문 글만으로 답이 맞는 데이터가 많아 사진을 정말 보는지를 따로 재야 한다 — 「Do you see a …」로 시작하는 질문은 사진을 보지 않고 「yes」만 답해도 정확도 87% 였다(Goyal 2017 1절).
- 「사진을 잘못 읽는다」는 세부 크기 ÷ 축소 비율로 가른다 — 세부가 인코더 입력에서 1픽셀 아래로 줄었으면 해상도, 넉넉한데 틀리면 연결부 · 학습 데이터, 사진에 없는 물체를 말하면 환각 쪽이다.
2등장 배경
2015년 VQA 데이터셋은 사진 204,721장에 질문 약 76만 개를 붙여 «사진을 보고 질문에 답하기»를 하나의 과제로 만들었고(Antol 2015), 그때 모델은 합성곱 신경망 특징과 순환 신경망 질문 표현을 이어 붙여 정해진 답 후보 가운데 하나를 골랐다. 그런데 「What sport is」 질문의 41% 가 「tennis」였듯 답이 질문 글에 치우쳐, 모델이 사진을 덜 봐도 점수가 올랐다(Goyal 2017 1절).
2017년 Goyal 외는 같은 질문에 답이 다른 짝 사진을 모아 약 110만 쌍으로 균형을 맞췄다(Goyal 2017 1절). 2021년 CLIP 은 이미지 · 텍스트 두 인코더를 배치 32,768 의 대조 학습으로 맞춰 ImageNet 0샷 정확도 76.2% 를 냈고(Radford 2021 2.5 · 3.1.3절), 2022년 Flamingo 는 웹 문서 약 4,300만 쪽의 사진 · 글 섞인 자료로 고정 언어 모델에 사진을 읽혔다(Alayrac 2022 2.4절).
2023년 BLIP-2 와 LLaVA 가 «이미 학습된 인코더와 LLM 을 고정하고 연결부만 새로 학습»하는 길을 넓혔다. 이미지 · 멀티모달이 LLaVA 처음 구성(선형 W)을 다뤘으므로, 이 글은 그 뒤의 연결부 방식 비교와 해상도 · 토큰 비용의 맞바꿈을 맡는다(Liu 2023b 3.3 · 3.4절).
3쉽게 이해하기 — 사진을 못 보는 전화 상담원
전화 상담원 민호는 사진을 볼 수 없다. 공장의 조수 지아가 계기판 사진을 바둑판처럼 칸으로 나눠 칸마다 한 줄 메모를 쓰고, 편집자가 그 메모를 민호가 읽는 말투로 고쳐 쪽지 묶음으로 보낸다. 민호는 메모 묶음과 「바늘이 가리키는 값은?」 질문 쪽지를 차례로 읽고 답을 말한다. 사진을 너무 작게 줄여 칸이 크면 가는 바늘이 메모에 흐리게만 남아, 민호는 그럴듯한 숫자를 짐작한다.
그림 1 · 조수가 사진을 칸 메모로 바꾸고 편집자가 말투를 맞추면, 사진을 못 보는 상담원은 메모와 질문만 읽고 답한다.
그림 2 · 사진 한 장을 통째로 줄이면 패치 하나가 원본 53픽셀을 덮어 바늘이 옅어지고, 조각으로 나눠 보면 패치가 27픽셀로 좁아져 바늘이 남는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 계기판 사진 | 입력 이미지 | 인코더 입력 크기(336 × 336 등)로 줄이거나 조각으로 나뉜다 |
| 바둑판 칸 | 패치 | 14 × 14 픽셀 칸 · 336 이면 24 × 24 = 576개 |
| 조수 지아 | 이미지 인코더(ViT) | 패치마다 특징 벡터를 낸다 · 대개 학습을 고정한다 |
| 편집자 | 연결부 | 특징을 LLM 임베딩 공간으로 옮기거나 개수를 줄인다 |
| 상담원 민호 | LLM | 시각 토큰과 질문 토큰을 한 줄로 읽고 답 토큰을 생성한다 |
| 질문 쪽지 | 질문 토큰 | 사용자 질문을 토큰화한 것 |
| 흐린 메모 | 해상도 부족 · 환각 | 사라진 세부를 언어 지식으로 메운 답 |
⚠ 비유가 맞지 않는 곳: 조수는 칸마다 낱말로 메모하지만 인코더는 사람이 읽을 수 없는 1,024차원 같은 벡터를 내고, 메모끼리도 셀프 어텐션으로 서로 섞인다. 또 이중 인코더(CLIP)는 상담원 없이 사진 벡터와 문장 벡터의 거리만 재므로 이 장면 밖에 있다.
4구조 — 이미지 인코더 · 연결부 · LLM
모든 구성의 앞단은 비전 트랜스포머(ViT)다 — 이미지를 고정 크기 패치로 잘라 토큰처럼 처리하는 구조 자체는 트랜스포머 · 합성곱 신경망이 맡는다(Dosovitskiy 2020). VLM 의 차이는 그 특징을 언어 모델에 어떻게 넘기는가, 곧 연결부에 있다.
그림 3 · 연결부 셋은 패치 특징을 LLM 에 넘기는 방식만 다르고, 이중 인코더는 LLM 없이 사진 벡터와 문장 벡터의 유사도만 낸다.
| 요소 | 역할 | 값 | 근거 |
|---|---|---|---|
| 이미지 인코더 | 패치 특징 추출 | ViT-L/14 · 224 입력이면 257 × 1,024(분류 토큰 포함) | Li 2023 3.1절 |
| 투영 연결 | 패치 특징 하나를 시각 토큰 하나로 | 두 계층 MLP · 336 입력 576개 | Liu 2023b 3.3절 |
| 질의 압축 | 학습 질의가 특징을 골라 담음 | 질의 32 × 768 · Q-Former 188M 파라미터 | Li 2023 3.1절 |
| 교차 어텐션 | 고정 LLM 계층 사이에 새 계층 | 시각 토큰 64 · tanh(α) 게이트 α 초기값 0 | Alayrac 2022 2.1 · 2.2절 |
| LLM | 시각 토큰 + 질문 토큰 → 답 | 학습 2단계 558K · 665K 건 | Liu 2023b 표 3 |
| 이중 인코더 | 사진 · 문장 벡터의 유사도 | 배치 32,768 대조 학습 · 0샷 76.2% | Radford 2021 2.5 · 3.1.3절 |
🔑 LLM 은 사진을 보지 않는다 — 연결부가 넘긴 시각 토큰만 읽으므로, 인코더 입력 단계에서 사라진 세부는 뒤 단계를 아무리 고쳐도 되살아나지 않는다.
5동작 — 계기판 사진 한 장의 해상도와 토큰 비용
LLaVA-1.5 설정으로 계기판 사진의 바늘 값을 묻는 사례다. 사진 1,280 × 960 · 바늘 굵기 2픽셀 · 질문 토큰 30개는 설명용 가정 값이고, 토큰 수는 원문 식으로 직접 셈했으며 바늘 대비는 합성 이미지를 면적 평균으로 줄여 직접 실행한 값이다(직접 실행(합성 이미지) · NumPy matmul 문서).
- 사진을 1,280 × 1,280 으로 채운 뒤 인코더 입력 336 × 336 으로 줄인다 — 축소 비율 3.81(Liu 2023b 3.3절 336 입력).
- ViT-L/14 가 14픽셀 패치 24 × 24 = 576개 특징을 낸다.
- 두 계층 MLP 가 576개를 시각 토큰으로 옮기고, 질문 토큰 30개와 이어 606개 줄로 LLM 에 넣는다 — 입력의 95% 가 시각 토큰이다.
- 굵기 2픽셀 바늘의 대비(바탕과의 밝기 차)는 원본 1.00 에서 0.58 로 옅어진다.
- 격자 분할 고해상도(LLaVA-1.5-HD)는 4 : 3 사진에 3 × 2 격자 672 × 448 을 골라 224 × 224 조각 6개를 따로 인코딩하고(6 × 256 = 1,536), 전체 축소본 224 × 224 의 256개를 더해 1,792개를 만든다(Liu 2023b 부록 A.1 · 줄 끝 토큰 · 패딩 제거 전 셈).
- 조각 쪽 바늘 대비는 0.89, 전체 축소본만 보면 0.40 이다.
- 대가는 입력 606 → 1,822 토큰(3.0배)과 셀프 어텐션 쌍 약 9.0배이고, 논문 값으로 13B 모델 TextVQA 는 61.3 → 62.5 였다(Liu 2023b 표 3).
그림 4 · 한 장으로 줄이면 토큰 606개에 바늘 대비 0.58, 조각으로 나누면 토큰 1,822개에 대비 0.89 — 세부를 얻는 만큼 LLM 입력이 세 배로 는다.
그림 5 · 인코더 입력을 한 변 두 배로 키우면 투영 연결의 시각 토큰은 네 배가 되지만 질의 압축 · 교차 어텐션은 32 · 64 로 그대로다.
🔑 세부를 더 보려면 둘 중 하나를 치른다 — 투영 연결은 해상도의 제곱만큼 LLM 입력이 늘고, 질의 압축 · 교차 어텐션은 토큰 수를 묶는 대신 토큰 32 · 64개에 들어가지 못한 세부를 버린다.
6비교 — 연결 방식 넷과 전용 비전 모델
| 방식 | 출력 | LLM 이 받는 시각 정보 | 새로 학습하는 부분 | 강한 일 · 수치 |
|---|---|---|---|---|
| 이중 인코더(CLIP) | 유사도(분류 · 검색) | 없음 · 벡터 하나 | 두 인코더 전체(대조 학습) | ImageNet 0샷 76.2%(Radford 2021 3.1.3절) |
| 투영 연결(LLaVA-1.5) | 답 텍스트 | 패치 수만큼 · 336 에서 576 | MLP + LLM 미세 조정 | 8 A100 으로 약 6 + 20시간(Liu 2023b 3.3절) |
| 질의 압축(BLIP-2) | 답 텍스트 | 32 고정 | Q-Former(인코더 · LLM 고정) | 학습 파라미터 108M 으로 0샷 VQAv2 65.0 ↔ Flamingo80B 56.3(Li 2023 표 2) |
| 교차 어텐션(Flamingo) | 답 텍스트 | 64 고정 · 계층마다 참조 | 재표본기 + 게이트 계층(LLM 고정) | 32샷으로 16과제 중 6개에서 미세 조정 최고 성능을 앞섬(Alayrac 2022 1절) |
| 전용 비전 모델 | 정해진 클래스 · 위치 | — | 과제별 전체 | 정해진 결함 판정 · 속도 → 비전 검사 |
분석사진 분류 · 검색만 필요하면 생성기가 없는 이중 인코더가 가장 싸고, 작은 글자 · 눈금처럼 세부가 답을 정하면 투영 연결에 격자 분할을, 사진이 여러 장 섞인 문서나 짧은 예시 학습이면 토큰 수가 묶인 교차 어텐션 · 질의 압축을 먼저 본다. 근거는 표의 「LLM 이 받는 시각 정보」 열과 그림 5 — 고정 32 · 64 는 장 수가 늘어도 비용이 장 수에만 비례한다.
7실무 진단 — 해상도 · 연결부 · 언어 편향 가르기
분석사진을 빈 이미지로 바꿔 같은 질문을 먼저 던진다. 답이 그대로면 모델이 사진을 보지 않는 것이어서 해상도 · 연결부를 고쳐도 소용없고, 답이 바뀌면 그다음 세부 크기 ÷ 축소 비율을 본다(Goyal 2017 1절 · 그림 2).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 사진을 바꿔도 같은 답 | 언어 편향 · 사진 무시 | LLM · 학습 데이터 | 빈 이미지 · 짝 이미지에 같은 질문 | 사진 없이 맞히는 비율이 높으면 편향 · 「Do you see a」 yes 만으로 87%(Goyal 2017 1절) |
| 2 | 가는 바늘 · 작은 글자를 틀림 | 인코더 입력 해상도 부족 | 이미지 인코더 전처리 | 원본 크기 · 축소 비율 · 세부 픽셀 폭 | 세부 폭 ÷ 축소 비율이 1픽셀 아래면 해상도 의심(사례 4단계 대비 0.58) · 격자 분할 검토(Liu 2023b 3.4절) |
| 3 | 설명에 사진에 없는 물체 | 객체 환각 | 디코딩 · 학습 데이터 | 언급 물체 대비 환각 물체 비율 CHAIRi | CHAIRi = 환각 물체 ÷ 언급 물체(Rohrbach 2018 2.1절) · 448 입력에서 크게 줄었다(Liu 2023b 5.2절) |
| 4 | 0샷 분류가 자기 클래스에서 낮음 | 클래스 이름만 넣음 · 낱말 뜻 겹침 | 텍스트 인코더 입력 | 「A photo of a {label}.」 · 템플릿 앙상블 | 템플릿 하나로 +1.3%p · 80개 앙상블로 +3.5%p(Radford 2021 3.1.4절) |
3행에서 환각이 해상도와 함께 줄었다는 점이 가르는 순서를 정한다 — 해상도를 먼저 확인하고, 그래도 남는 환각을 디코딩 · 데이터 쪽으로 넘긴다.
8시험 대비
시험에서는 VLM 의 구성 요소와 연결 방식을 묻는 정의 · 특징형, 그리고 이중 인코더 · 투영 · 질의 압축 · 교차 어텐션을 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 의 세 부품을, 비교형이면 비교 표의 시각 토큰 수와 그림 5 의 해상도 · 토큰 관계를 중심에 둔다.
- 개요 — 정의(이미지 인코더 · 연결부 · LLM) · LLM 과의 경계 · VQA 2015 에서 CLIP · Flamingo · BLIP-2 · LLaVA 로 이어진 흐름
- 구조 — 그림 3 구성도 · 요소 표(257 × 1,024 · 576 · 32 · 64)
- 연결 방식 비교 — 비교 표(출력 · 시각 토큰 · 학습 부분 · 수치)와 선택 기준
- 해상도와 비용 — 그림 5(토큰 = (한 변 ÷ 14)²) · 그림 4 사례(606 ↔ 1,822 토큰 · 바늘 대비 0.58 ↔ 0.89)
- 한계와 평가 — 언어 편향(VQA v2 짝 이미지) · 객체 환각(CHAIR) · 0샷 프롬프트 템플릿
- 활용 — 문서 · 계기 판독 · 제조 사진 질의 · 정해진 판정은 비전 검사와 나눔
꼭 쓸 키워드
이미지 인코더패치연결부시각 토큰Q-FormerPerceiver Resampler게이트 교차 어텐션이중 인코더0샷 분류격자 분할언어 편향CHAIR
다른 답안과 차이를 내는 한 가지는 그림 5 의 토큰 식이다 — 방식 이름을 나열하는 대신 «해상도를 두 배로 올리면 무엇이 몇 배가 되나»로 연결 방식의 차이를 한 줄 식으로 보인다.
9오해와 사실
- 오해CLIP 도 VLM 이니 사진 질문에 문장으로 답한다.사실CLIP 은 사진 벡터와 문장 벡터의 코사인 유사도만 내는 이중 인코더라 정해진 후보 문장 가운데 고를 뿐이고, 문장을 생성하려면 LLM 디코더를 연결해야 한다(Radford 2021 3.1.2절).
- 오해사진을 읽게 하려면 언어 모델 전체를 다시 학습해야 한다.사실BLIP-2 는 이미지 인코더와 LLM 을 고정하고 Q-Former 등 약 108M 파라미터만 학습했고(Li 2023 표 2), Flamingo 는 새 계층 출력에 tanh(0) = 0 을 곱해 학습 시작 때 원래 언어 모델과 같은 출력을 냈다(Alayrac 2022 2.2절).
- 오해해상도는 인식 정확도만 바꾼다.사실LLaVA-1.5 저자들은 입력을 448 로 키웠을 때 상세 설명의 환각이 크게 줄었다고 보고했다 — 보이지 않는 세부를 학습 데이터가 요구하면 모델이 지어내기를 배운다(Liu 2023b 5.2절).
10핵심 정리
| 구분 | LLM 이 받는 것 | 시각 토큰 수 | 새로 학습 | 대표 수치 | 흔한 실패 |
|---|---|---|---|---|---|
| 이미지 인코더 | (공통 앞단) 패치 특징 | 224 → 257 × 1,024 | 대개 고정 | 패치 14픽셀 | 축소로 세부 소실 |
| 이중 인코더 | 없음 · 유사도만 | 벡터 1 | 두 인코더 전체 | 0샷 76.2% | 낱말 뜻 겹침 |
| 투영 연결 | 패치마다 토큰 | (한 변 ÷ 14)² · 576 | MLP + LLM | TextVQA 61.3 | 토큰 비용 |
| 격자 분할 | 조각 + 전체 토큰 | 1,792(3 × 2) | 투영 연결과 같음 | TextVQA 62.5 | 조각 경계 · 비용 3배 |
| 질의 압축 | 학습 질의 출력 | 32 고정 | Q-Former 188M | VQAv2 0샷 65.0 | 토큰 32개 밖 세부 |
| 교차 어텐션 | 계층마다 참조 | 64 고정 | 재표본기 + 게이트 계층 | 16과제 중 6개 최고 | 학습 규모 큼 |
| 평가 축 | 언어 편향 · 객체 환각 | — | — | yes 만으로 87% · CHAIRi | 사진 무시 |
11참고 문헌
- 먼저 볼 문헌
- ★ Improved Baselines with Visual Instruction Tuning (LLaVA-1.5 · CVPR 2024) — MLP 연결부 · 336 픽셀 입력 · 격자 분할 고해상도와 환각의 관계를 볼 때
- ★ BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (ICML 2023) — 학습 질의 32개로 시각 특징을 눌러 담는 Q-Former 를 볼 때
- ★ Flamingo: a Visual Language Model for Few-Shot Learning (NeurIPS 2022) — 고정 언어 모델 사이에 끼우는 게이트 교차 어텐션과 시각 토큰 64개를 볼 때
- ★ Learning Transferable Visual Models From Natural Language Supervision (CLIP · ICML 2021) — 이중 인코더 0샷 분류와 프롬프트 앙상블 효과를 볼 때
- ★ Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering (CVPR 2017) — 사진을 보지 않고 맞히는 언어 편향과 짝 이미지 균형 데이터를 볼 때
- 본문 근거
- VQA: Visual Question Answering (ICCV 2015) — arXiv · 2015-05 ·
arxiv.org/abs/1505.00468· 확인 2026-11-13 - Object Hallucination in Image Captioning (EMNLP 2018) — arXiv · 2018-09 ·
arxiv.org/abs/1809.02156· 확인 2026-11-13 - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR 2021) — arXiv · 2020-10 ·
arxiv.org/abs/2010.11929· 확인 2026-11-13 - NumPy Reference — numpy.matmul — NumPy developers · 2026-11 ·
numpy.org/doc/stable/reference/generated/numpy.matmul.html· 확인 2026-11-13