AI › 생성형 AI › 이미지 · 멀티모달 › 멀티모달

비전 언어 모델(VLM)Vision-Language Model

이미지를 패치 특징으로 바꾸는 이미지 인코더와 언어 모델을 연결부로 이어, 사진과 글을 함께 받아 글로 답하거나 사진과 문장의 유사도를 내는 모델이다.

1요약

  1. 비전 언어 모델은 이미지 인코더 · 연결부 · LLM 세 부품으로 사진을 토큰으로 바꿔 언어 모델이 읽게 하는 모델로, 이중 인코더(CLIP 2021) · 교차 어텐션(Flamingo 2022) · 질의 압축(BLIP-2 2023) · 투영 연결(LLaVA 2023) 네 구성이 있고 그 위에서 사진 질의응답 · 문서 읽기 · 화면 이해가 돈다.
  2. 질문 글만으로 답이 맞는 데이터가 많아 사진을 정말 보는지를 따로 재야 한다 — 「Do you see a …」로 시작하는 질문은 사진을 보지 않고 「yes」만 답해도 정확도 87% 였다(Goyal 2017 1절).
  3. 「사진을 잘못 읽는다」는 세부 크기 ÷ 축소 비율로 가른다 — 세부가 인코더 입력에서 1픽셀 아래로 줄었으면 해상도, 넉넉한데 틀리면 연결부 · 학습 데이터, 사진에 없는 물체를 말하면 환각 쪽이다.

2등장 배경

2015년 VQA 데이터셋은 사진 204,721장에 질문 약 76만 개를 붙여 «사진을 보고 질문에 답하기»를 하나의 과제로 만들었고(Antol 2015), 그때 모델은 합성곱 신경망 특징과 순환 신경망 질문 표현을 이어 붙여 정해진 답 후보 가운데 하나를 골랐다. 그런데 「What sport is」 질문의 41% 가 「tennis」였듯 답이 질문 글에 치우쳐, 모델이 사진을 덜 봐도 점수가 올랐다(Goyal 2017 1절).

2017년 Goyal 외는 같은 질문에 답이 다른 짝 사진을 모아 약 110만 쌍으로 균형을 맞췄다(Goyal 2017 1절). 2021년 CLIP 은 이미지 · 텍스트 두 인코더를 배치 32,768 의 대조 학습으로 맞춰 ImageNet 0샷 정확도 76.2% 를 냈고(Radford 2021 2.5 · 3.1.3절), 2022년 Flamingo 는 웹 문서 약 4,300만 쪽의 사진 · 글 섞인 자료로 고정 언어 모델에 사진을 읽혔다(Alayrac 2022 2.4절).

2023년 BLIP-2 와 LLaVA 가 «이미 학습된 인코더와 LLM 을 고정하고 연결부만 새로 학습»하는 길을 넓혔다. 이미지 · 멀티모달이 LLaVA 처음 구성(선형 W)을 다뤘으므로, 이 글은 그 뒤의 연결부 방식 비교와 해상도 · 토큰 비용의 맞바꿈을 맡는다(Liu 2023b 3.3 · 3.4절).

3쉽게 이해하기 — 사진을 못 보는 전화 상담원

전화 상담원 민호는 사진을 볼 수 없다. 공장의 조수 지아가 계기판 사진을 바둑판처럼 칸으로 나눠 칸마다 한 줄 메모를 쓰고, 편집자가 그 메모를 민호가 읽는 말투로 고쳐 쪽지 묶음으로 보낸다. 민호는 메모 묶음과 「바늘이 가리키는 값은?」 질문 쪽지를 차례로 읽고 답을 말한다. 사진을 너무 작게 줄여 칸이 크면 가는 바늘이 메모에 흐리게만 남아, 민호는 그럴듯한 숫자를 짐작한다.

계기판 사진 바늘 · 눈금 · 숫자 이미지 조수 지아 칸마다 메모 한 줄 이미지 인코더 편집자 상담원 말투로 고침 연결부 · 시각 토큰 상담원 민호 사진은 못 봄 LLM 1 2 3 질문 쪽지 질문 토큰 4 답 「3.2」 답 텍스트 5 너무 줄이면 바늘이 흐린 메모로 데이터 모델 토큰 출력 실패

그림 1 · 조수가 사진을 칸 메모로 바꾸고 편집자가 말투를 맞추면, 사진을 못 보는 상담원은 메모와 질문만 읽고 답한다.

사진 받기계기판 한 장
칸 나누기바둑판처럼
칸 메모칸마다 한 줄
말투 고치기상담원이 읽는 말로
함께 읽기메모 묶음 + 질문 쪽지
답하기「바늘은 3.2」
비유 — 칸 크기와 바늘 실제 — 축소 비율과 패치 큰 칸 — 바늘이 옅음 작은 칸 — 바늘이 남음 칸 = 패치 · 메모 = 시각 토큰 작은 칸은 메모 수가 늘어 상담원이 읽을 양도 는다 원본 사진 1,280 × 960 한 장으로 줄임 336 × 336 · ÷ 3.81 패치 = 원본 약 53픽셀 바늘 2픽셀 → 0.5픽셀 조각 3 × 2 + 전체 672 × 448 · ÷ 1.90 패치 = 원본 약 27픽셀 바늘 2픽셀 → 1.05픽셀 시각 토큰 576 시각 토큰 1,792 패치 14픽셀 × 축소 비율 = 원본에서 덮는 폭 · 굵은 테두리 = 고해상도 쪽

그림 2 · 사진 한 장을 통째로 줄이면 패치 하나가 원본 53픽셀을 덮어 바늘이 옅어지고, 조각으로 나눠 보면 패치가 27픽셀로 좁아져 바늘이 남는다.

비유 속 역할실제 이름실제로 하는 일
계기판 사진입력 이미지인코더 입력 크기(336 × 336 등)로 줄이거나 조각으로 나뉜다
바둑판 칸패치14 × 14 픽셀 칸 · 336 이면 24 × 24 = 576개
조수 지아이미지 인코더(ViT)패치마다 특징 벡터를 낸다 · 대개 학습을 고정한다
편집자연결부특징을 LLM 임베딩 공간으로 옮기거나 개수를 줄인다
상담원 민호LLM시각 토큰과 질문 토큰을 한 줄로 읽고 답 토큰을 생성한다
질문 쪽지질문 토큰사용자 질문을 토큰화한 것
흐린 메모해상도 부족 · 환각사라진 세부를 언어 지식으로 메운 답

⚠ 비유가 맞지 않는 곳: 조수는 칸마다 낱말로 메모하지만 인코더는 사람이 읽을 수 없는 1,024차원 같은 벡터를 내고, 메모끼리도 셀프 어텐션으로 서로 섞인다. 또 이중 인코더(CLIP)는 상담원 없이 사진 벡터와 문장 벡터의 거리만 재므로 이 장면 밖에 있다.

4구조 — 이미지 인코더 · 연결부 · LLM

모든 구성의 앞단은 비전 트랜스포머(ViT)다 — 이미지를 고정 크기 패치로 잘라 토큰처럼 처리하는 구조 자체는 트랜스포머 · 합성곱 신경망이 맡는다(Dosovitskiy 2020). VLM 의 차이는 그 특징을 언어 모델에 어떻게 넘기는가, 곧 연결부에 있다.

이미지 이미지 인코더 ViT-L/14 · 고정 257 × 1,024 연결부 투영 · 두 계층 MLP 패치 수만큼 · 576 LLaVA-1.5 질의 압축 · Q-Former 학습 질의 32 × 768 BLIP-2 교차 어텐션 시각 토큰 64 · 계층 사이 Flamingo 질문 토큰 LLM 디코더 답 텍스트 이미지 벡터 1개 코사인 유사도 → 분류 · 검색 텍스트 벡터 · 클래스 문장 이중 인코더 CLIP · 생성 없음 데이터 모델 토큰 · 연결부 출력 점선 = 같은 인코더를 이중 인코더에서도 씀

그림 3 · 연결부 셋은 패치 특징을 LLM 에 넘기는 방식만 다르고, 이중 인코더는 LLM 없이 사진 벡터와 문장 벡터의 유사도만 낸다.

요소역할값근거
이미지 인코더패치 특징 추출ViT-L/14 · 224 입력이면 257 × 1,024(분류 토큰 포함)Li 2023 3.1절
투영 연결패치 특징 하나를 시각 토큰 하나로두 계층 MLP · 336 입력 576개Liu 2023b 3.3절
질의 압축학습 질의가 특징을 골라 담음질의 32 × 768 · Q-Former 188M 파라미터Li 2023 3.1절
교차 어텐션고정 LLM 계층 사이에 새 계층시각 토큰 64 · tanh(α) 게이트 α 초기값 0Alayrac 2022 2.1 · 2.2절
LLM시각 토큰 + 질문 토큰 → 답학습 2단계 558K · 665K 건Liu 2023b 표 3
이중 인코더사진 · 문장 벡터의 유사도배치 32,768 대조 학습 · 0샷 76.2%Radford 2021 2.5 · 3.1.3절

🔑 LLM 은 사진을 보지 않는다 — 연결부가 넘긴 시각 토큰만 읽으므로, 인코더 입력 단계에서 사라진 세부는 뒤 단계를 아무리 고쳐도 되살아나지 않는다.

5동작 — 계기판 사진 한 장의 해상도와 토큰 비용

LLaVA-1.5 설정으로 계기판 사진의 바늘 값을 묻는 사례다. 사진 1,280 × 960 · 바늘 굵기 2픽셀 · 질문 토큰 30개는 설명용 가정 값이고, 토큰 수는 원문 식으로 직접 셈했으며 바늘 대비는 합성 이미지를 면적 평균으로 줄여 직접 실행한 값이다(직접 실행(합성 이미지) · NumPy matmul 문서).

  1. 사진을 1,280 × 1,280 으로 채운 뒤 인코더 입력 336 × 336 으로 줄인다 — 축소 비율 3.81(Liu 2023b 3.3절 336 입력).
  2. ViT-L/14 가 14픽셀 패치 24 × 24 = 576개 특징을 낸다.
  3. 두 계층 MLP 가 576개를 시각 토큰으로 옮기고, 질문 토큰 30개와 이어 606개 줄로 LLM 에 넣는다 — 입력의 95% 가 시각 토큰이다.
  4. 굵기 2픽셀 바늘의 대비(바탕과의 밝기 차)는 원본 1.00 에서 0.58 로 옅어진다.
  5. 격자 분할 고해상도(LLaVA-1.5-HD)는 4 : 3 사진에 3 × 2 격자 672 × 448 을 골라 224 × 224 조각 6개를 따로 인코딩하고(6 × 256 = 1,536), 전체 축소본 224 × 224 의 256개를 더해 1,792개를 만든다(Liu 2023b 부록 A.1 · 줄 끝 토큰 · 패딩 제거 전 셈).
  6. 조각 쪽 바늘 대비는 0.89, 전체 축소본만 보면 0.40 이다.
  7. 대가는 입력 606 → 1,822 토큰(3.0배)과 셀프 어텐션 쌍 약 9.0배이고, 논문 값으로 13B 모델 TextVQA 는 61.3 → 62.5 였다(Liu 2023b 표 3).
한 장으로 줄임 — 336 × 336 1 1,280 × 960 → 336² · ÷ 3.81 2 ViT-L/14 24 × 24 = 576 3 MLP + 질문 30 LLM 입력 606 4 바늘 대비 0.58 격자 분할 — 672 × 448 조각 6 + 전체 1 5 3 × 2 격자 224² 조각 6 + 1 1,536 + 256 = 1,792 MLP + 질문 30 LLM 입력 1,822 6 바늘 대비 0.89 7 토큰 3.0배 · 셀프 어텐션 쌍 약 9.0배 · TextVQA 61.3 → 62.5(13B · 논문 값) 막대 = 원본 대비 1.00 에 대한 비율 · 굵은 테두리 = 격자 분할로 바뀐 단계 · 전체 축소본만의 대비 = 0.40

그림 4 · 한 장으로 줄이면 토큰 606개에 바늘 대비 0.58, 조각으로 나누면 토큰 1,822개에 대비 0.89 — 세부를 얻는 만큼 LLM 입력이 세 배로 는다.

인코더 입력 한 변 ↔ LLM 이 받는 시각 토큰 0 1,000 2,000 256 224 576 336 1,024 448 2,304 32 64 672 한 변 × 2 → 투영 토큰 × 4 토큰 수 = (한 변 ÷ 14)² 투영 연결(패치 수) 질의 압축 32 교차 어텐션 64 가로 축 = 인코더 입력 한 변(픽셀)

그림 5 · 인코더 입력을 한 변 두 배로 키우면 투영 연결의 시각 토큰은 네 배가 되지만 질의 압축 · 교차 어텐션은 32 · 64 로 그대로다.

🔑 세부를 더 보려면 둘 중 하나를 치른다 — 투영 연결은 해상도의 제곱만큼 LLM 입력이 늘고, 질의 압축 · 교차 어텐션은 토큰 수를 묶는 대신 토큰 32 · 64개에 들어가지 못한 세부를 버린다.

6비교 — 연결 방식 넷과 전용 비전 모델

방식출력LLM 이 받는 시각 정보새로 학습하는 부분강한 일 · 수치
이중 인코더(CLIP)유사도(분류 · 검색)없음 · 벡터 하나두 인코더 전체(대조 학습)ImageNet 0샷 76.2%(Radford 2021 3.1.3절)
투영 연결(LLaVA-1.5)답 텍스트패치 수만큼 · 336 에서 576MLP + LLM 미세 조정8 A100 으로 약 6 + 20시간(Liu 2023b 3.3절)
질의 압축(BLIP-2)답 텍스트32 고정Q-Former(인코더 · LLM 고정)학습 파라미터 108M 으로 0샷 VQAv2 65.0 ↔ Flamingo80B 56.3(Li 2023 표 2)
교차 어텐션(Flamingo)답 텍스트64 고정 · 계층마다 참조재표본기 + 게이트 계층(LLM 고정)32샷으로 16과제 중 6개에서 미세 조정 최고 성능을 앞섬(Alayrac 2022 1절)
전용 비전 모델정해진 클래스 · 위치—과제별 전체정해진 결함 판정 · 속도 → 비전 검사

분석사진 분류 · 검색만 필요하면 생성기가 없는 이중 인코더가 가장 싸고, 작은 글자 · 눈금처럼 세부가 답을 정하면 투영 연결에 격자 분할을, 사진이 여러 장 섞인 문서나 짧은 예시 학습이면 토큰 수가 묶인 교차 어텐션 · 질의 압축을 먼저 본다. 근거는 표의 「LLM 이 받는 시각 정보」 열과 그림 5 — 고정 32 · 64 는 장 수가 늘어도 비용이 장 수에만 비례한다.

7실무 진단 — 해상도 · 연결부 · 언어 편향 가르기

분석사진을 빈 이미지로 바꿔 같은 질문을 먼저 던진다. 답이 그대로면 모델이 사진을 보지 않는 것이어서 해상도 · 연결부를 고쳐도 소용없고, 답이 바뀌면 그다음 세부 크기 ÷ 축소 비율을 본다(Goyal 2017 1절 · 그림 2).

#증상의심 원인단계확인 자료판정 기준(근거)
1사진을 바꿔도 같은 답언어 편향 · 사진 무시LLM · 학습 데이터빈 이미지 · 짝 이미지에 같은 질문사진 없이 맞히는 비율이 높으면 편향 · 「Do you see a」 yes 만으로 87%(Goyal 2017 1절)
2가는 바늘 · 작은 글자를 틀림인코더 입력 해상도 부족이미지 인코더 전처리원본 크기 · 축소 비율 · 세부 픽셀 폭세부 폭 ÷ 축소 비율이 1픽셀 아래면 해상도 의심(사례 4단계 대비 0.58) · 격자 분할 검토(Liu 2023b 3.4절)
3설명에 사진에 없는 물체객체 환각디코딩 · 학습 데이터언급 물체 대비 환각 물체 비율 CHAIRiCHAIRi = 환각 물체 ÷ 언급 물체(Rohrbach 2018 2.1절) · 448 입력에서 크게 줄었다(Liu 2023b 5.2절)
40샷 분류가 자기 클래스에서 낮음클래스 이름만 넣음 · 낱말 뜻 겹침텍스트 인코더 입력「A photo of a {label}.」 · 템플릿 앙상블템플릿 하나로 +1.3%p · 80개 앙상블로 +3.5%p(Radford 2021 3.1.4절)

3행에서 환각이 해상도와 함께 줄었다는 점이 가르는 순서를 정한다 — 해상도를 먼저 확인하고, 그래도 남는 환각을 디코딩 · 데이터 쪽으로 넘긴다.

8시험 대비

시험에서는 VLM 의 구성 요소와 연결 방식을 묻는 정의 · 특징형, 그리고 이중 인코더 · 투영 · 질의 압축 · 교차 어텐션을 견주는 비교형이 나올 수 있다. 정의형이면 그림 3 의 세 부품을, 비교형이면 비교 표의 시각 토큰 수와 그림 5 의 해상도 · 토큰 관계를 중심에 둔다.

답안 목차
  1. 개요 — 정의(이미지 인코더 · 연결부 · LLM) · LLM 과의 경계 · VQA 2015 에서 CLIP · Flamingo · BLIP-2 · LLaVA 로 이어진 흐름
  2. 구조 — 그림 3 구성도 · 요소 표(257 × 1,024 · 576 · 32 · 64)
  3. 연결 방식 비교 — 비교 표(출력 · 시각 토큰 · 학습 부분 · 수치)와 선택 기준
  4. 해상도와 비용 — 그림 5(토큰 = (한 변 ÷ 14)²) · 그림 4 사례(606 ↔ 1,822 토큰 · 바늘 대비 0.58 ↔ 0.89)
  5. 한계와 평가 — 언어 편향(VQA v2 짝 이미지) · 객체 환각(CHAIR) · 0샷 프롬프트 템플릿
  6. 활용 — 문서 · 계기 판독 · 제조 사진 질의 · 정해진 판정은 비전 검사와 나눔

꼭 쓸 키워드
이미지 인코더패치연결부시각 토큰Q-FormerPerceiver Resampler게이트 교차 어텐션이중 인코더0샷 분류격자 분할언어 편향CHAIR

다른 답안과 차이를 내는 한 가지는 그림 5 의 토큰 식이다 — 방식 이름을 나열하는 대신 «해상도를 두 배로 올리면 무엇이 몇 배가 되나»로 연결 방식의 차이를 한 줄 식으로 보인다.

9오해와 사실

  • 오해CLIP 도 VLM 이니 사진 질문에 문장으로 답한다.
    사실CLIP 은 사진 벡터와 문장 벡터의 코사인 유사도만 내는 이중 인코더라 정해진 후보 문장 가운데 고를 뿐이고, 문장을 생성하려면 LLM 디코더를 연결해야 한다(Radford 2021 3.1.2절).
  • 오해사진을 읽게 하려면 언어 모델 전체를 다시 학습해야 한다.
    사실BLIP-2 는 이미지 인코더와 LLM 을 고정하고 Q-Former 등 약 108M 파라미터만 학습했고(Li 2023 표 2), Flamingo 는 새 계층 출력에 tanh(0) = 0 을 곱해 학습 시작 때 원래 언어 모델과 같은 출력을 냈다(Alayrac 2022 2.2절).
  • 오해해상도는 인식 정확도만 바꾼다.
    사실LLaVA-1.5 저자들은 입력을 448 로 키웠을 때 상세 설명의 환각이 크게 줄었다고 보고했다 — 보이지 않는 세부를 학습 데이터가 요구하면 모델이 지어내기를 배운다(Liu 2023b 5.2절).

10핵심 정리

구분LLM 이 받는 것시각 토큰 수새로 학습대표 수치흔한 실패
이미지 인코더(공통 앞단) 패치 특징224 → 257 × 1,024대개 고정패치 14픽셀축소로 세부 소실
이중 인코더없음 · 유사도만벡터 1두 인코더 전체0샷 76.2%낱말 뜻 겹침
투영 연결패치마다 토큰(한 변 ÷ 14)² · 576MLP + LLMTextVQA 61.3토큰 비용
격자 분할조각 + 전체 토큰1,792(3 × 2)투영 연결과 같음TextVQA 62.5조각 경계 · 비용 3배
질의 압축학습 질의 출력32 고정Q-Former 188MVQAv2 0샷 65.0토큰 32개 밖 세부
교차 어텐션계층마다 참조64 고정재표본기 + 게이트 계층16과제 중 6개 최고학습 규모 큼
평가 축언어 편향 · 객체 환각——yes 만으로 87% · CHAIRi사진 무시

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Improved Baselines with Visual Instruction Tuning (LLaVA-1.5 · CVPR 2024) — MLP 연결부 · 336 픽셀 입력 · 격자 분할 고해상도와 환각의 관계를 볼 때
    arXiv · 2023-10 · arxiv.org/abs/2310.03744 · 확인 2026-11-13
  3. ★ BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models (ICML 2023) — 학습 질의 32개로 시각 특징을 눌러 담는 Q-Former 를 볼 때
    arXiv · 2023-01 · arxiv.org/abs/2301.12597 · 확인 2026-11-13
  4. ★ Flamingo: a Visual Language Model for Few-Shot Learning (NeurIPS 2022) — 고정 언어 모델 사이에 끼우는 게이트 교차 어텐션과 시각 토큰 64개를 볼 때
    arXiv · 2022-04 · arxiv.org/abs/2204.14198 · 확인 2026-11-13
  5. ★ Learning Transferable Visual Models From Natural Language Supervision (CLIP · ICML 2021) — 이중 인코더 0샷 분류와 프롬프트 앙상블 효과를 볼 때
    arXiv · 2021-02 · arxiv.org/abs/2103.00020 · 확인 2026-11-13
  6. ★ Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering (CVPR 2017) — 사진을 보지 않고 맞히는 언어 편향과 짝 이미지 균형 데이터를 볼 때
    arXiv · 2016-12 · arxiv.org/abs/1612.00837 · 확인 2026-11-13
  7. 본문 근거
  8. VQA: Visual Question Answering (ICCV 2015) — arXiv · 2015-05 · arxiv.org/abs/1505.00468 · 확인 2026-11-13
  9. Object Hallucination in Image Captioning (EMNLP 2018) — arXiv · 2018-09 · arxiv.org/abs/1809.02156 · 확인 2026-11-13
  10. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR 2021) — arXiv · 2020-10 · arxiv.org/abs/2010.11929 · 확인 2026-11-13
  11. NumPy Reference — numpy.matmul — NumPy developers · 2026-11 · numpy.org/doc/stable/reference/generated/numpy.matmul.html · 확인 2026-11-13