이미지 · 멀티모달Image Generation and Multimodal AI
생성형 AI 가운데, 잡음과 조건에서 이미지 · 음성을 만드는 생성 모델과, 이미지 · 음성 · 텍스트를 함께 다루는 멀티모달 모델을 묶은 것이다.
1요약
- 이미지 · 멀티모달은 생성형 AI 안에서 텍스트 밖의 모달(이미지 · 음성)을 맡는 것으로, 생성 모델 셋(VAE 2013 · GAN 2014 · 확산 모델 2015 · 2020)과 멀티모달 셋(비전 언어 모델 · 음성 인식 · 음성 합성)이 있고, 그 위에서 글로 그림 만들기 · 사진 질의응답 · 음성 대화가 돈다.
- 언어 모델은 토큰만 읽으므로 사진 · 소리를 넣고 꺼내려면 모달과 토큰 사이를 바꾸는 모델이 따로 필요하다 — CLIP 은 이미지 · 텍스트 4억 쌍으로(Radford 2021), Whisper 는 음성 68만 시간으로 그 변환을 배웠다(Radford 2022).
- 「생성 결과가 나쁘다」는 품질 · 다양성 · 속도 가운데 무엇이 빠졌는지로 가른다 — 흐리면 압축 · VAE 쪽, 같은 모양만 나오면 GAN 의 모드 붕괴, 한 장에 수십 초면 확산 단계 수다.
2등장 배경
2010년대 초까지 이미지 생성 · 음성 인식 · 음성 합성은 서로 다른 모델과 손으로 만든 특징으로 따로 풀었고, 사진을 보고 질문에 답하려면 검출기 · 분류기 · 문장 틀을 이어 붙여야 했다. 생성 쪽은 Kingma · Welling 의 VAE(2013-12 · Kingma 2013)와 Goodfellow 외의 GAN(2014-06 · Goodfellow 2014)이 신경망으로 데이터 분포를 배우는 두 길을 열었다.
Sohl-Dickstein 외(2015)는 데이터에 잡음을 조금씩 더하고 그 역과정을 배우는 확산 모델을 제안했고, Ho 외(2020)의 DDPM 은 1,000 단계로 CIFAR-10 FID 3.17 을 냈다(Ho 2020 4절). 음성은 WaveNet(2016 · van den Oord 2016)과 Tacotron 2(2017 · MOS 4.53 ↔ 녹음 4.58 · Shen 2017)가 합성을, Whisper(2022)가 대규모 약지도 인식을 바꿨다.
2021년 CLIP 이 이미지와 텍스트를 한 벡터 공간에 맞추고 잠재 확산(Rombach 2021)이 압축 공간에서 텍스트 조건 생성을 싸게 만들면서, 2023년 LLaVA 처럼 시각 인코더를 언어 모델에 잇는 구성이 퍼졌다(Liu 2023). 지금 생성물의 위험 관리는 NIST AI 600-1(2024-07) 같은 AI 신뢰 쪽 문서가 다룬다.
3쉽게 이해하기 — 박물관의 보는 · 말하는 안내실
관람객 수진은 박물관 그림 앞에서 그림 속 파란 배가 몇 척인지 말로 묻는다. 안내실의 속기사가 그 말을 글로 받아 적고, 해설사는 그림을 작은 칸 카드로 옮겨 받은 뒤 질문 글과 함께 읽고 답을 쓴다. 방송원이 그 답을 소리로 읽어 주고, 뒤편 작업실에서는 화가가 먼지 덮인 캔버스를 조금씩 닦아 내며 안내 책자에 넣을 새 삽화를 만든다.
그림 1 · 말은 속기사가 글로, 그림은 해설사가 카드로 바꿔 읽고, 답은 방송원이 소리로 되돌리며 새 그림은 뒤편 작업실이 만든다.
그림 2 · 해설사는 그림을 직접 보지 않는다 — 칸마다 카드 한 장으로 옮긴 뒤 글 카드와 같은 줄에 놓고 읽으며, 새로 훈련하는 것은 번역 창구 하나다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 관람객 수진 | 사용자 · 입력 모달 | 말(음성)과 사진(이미지)으로 묻는다 |
| 속기사 | 음성 인식 | 소리를 텍스트 토큰으로 바꾼다 |
| 그림 카드 | 시각 토큰 | 이미지 조각의 특징을 언어 모델이 읽는 벡터로 옮긴 것 |
| 해설사 | 비전 언어 모델(VLM) | 시각 토큰과 질문 토큰을 함께 읽고 답 텍스트를 쓴다 |
| 방송원 | 음성 합성 | 답 텍스트를 소리 파형으로 바꾼다 |
| 먼지를 닦는 화가 | 확산 모델 | 잡음을 단계마다 조금씩 걷어 이미지를 만든다 |
| 위조 화가와 감정사 | GAN | 생성자는 진짜 같은 표본을 만들고 판별자는 진짜와 가짜를 가린다 |
| 요약 카드로 다시 그리기 | VAE | 이미지를 짧은 잠재 값으로 줄였다가 되살린다 |
⚠ 비유가 맞지 않는 곳: 해설사는 그림의 뜻을 이해하는 사람이지만 모델은 학습한 이미지 · 텍스트 짝의 통계로 답을 고를 뿐이라, 그림에 없는 물체를 말하기도 한다(Li 2023). 화가가 닦아 내는 «먼지»는 원래 그림이 있던 것이 아니라 처음부터 무작위 잡음이고, 그 아래 그림은 모델이 새로 만든다.
4구조 — 생성 모델 · 멀티모달 하위 토픽 지도
둘은 방향이 반대다. 멀티모달의 음성 인식 · 비전 언어 모델은 모달을 토큰으로 바꾸는 «이해» 쪽, 음성 합성과 생성 모델 셋은 토큰 · 잡음에서 모달을 만드는 «생성» 쪽이고, 가운데 텍스트 토큰 처리는 LLM 이 맡는다.
그림 3 · 이해 쪽은 음성 · 이미지를 토큰으로 바꾸고 생성 쪽은 토큰 · 잡음에서 음성 · 이미지를 만들며, 가운데 토큰 처리는 LLM 이 다룬다.
| 하위 토픽 | 푸는 문제 | 입력 → 출력 | 대표 모델(근거) |
|---|---|---|---|
| 생성 모델 확산 모델 | 잡음을 단계마다 걷어 표본 만들기 | 잡음 + 조건 → 이미지 | DDPM(Ho 2020) · 잠재 확산(Rombach 2021) |
| 생성 모델 GAN | 생성자 · 판별자 대결로 분포 맞추기 | 잡음 z → 이미지 | 최소 최대 게임 V(D, G)(Goodfellow 2014 3절) |
| 생성 모델 VAE | 잠재 변수로 압축 · 복원 | 이미지 ↔ 잠재 z | 재매개변수화 · 하한 최적화(Kingma 2013) |
| 멀티모달 비전 언어 모델(VLM) | 이미지를 보고 글로 답하기 | 이미지 + 텍스트 → 텍스트 | CLIP(Radford 2021) · LLaVA(Liu 2023) |
| 멀티모달 음성 인식 | 소리를 글로 | 음성 → 텍스트 | Whisper 39M ~ 1,550M 파라미터(Radford 2022) |
| 멀티모달 음성 합성 | 글을 소리로 | 텍스트 → 음성 | WaveNet(van den Oord 2016) · Tacotron 2(Shen 2017) |
🔑 이해는 모달을 토큰으로 바꾸고 생성은 토큰에서 모달로 되돌린다 — 가운데 언어 모델은 어느 쪽이든 토큰만 본다.
5동작 — 사진 한 장에 말로 묻고 소리로 답 듣기
하위 토픽 여섯이 한 요청 안에서 이어지는 사례다. 질문 4초 · 답 2초 · 사진 224 × 224 는 설명용 가정 값이고, 표본 · 프레임 · 패치 수는 각 논문의 설정 값으로 직접 셈한 값이다.
- 질문 녹음 4초를 16 kHz 로 다시 표본화해 64,000 표본으로 만들고, 30초 구간에 넣어 25 ms 창 · 10 ms 간격의 log-Mel 80채널 × 3,000 프레임으로 바꾼다(Radford 2022 2.2절).
- Whisper 인코더의 둘째 합성곱(stride 2)이 프레임을 1,500 위치로 줄이고, 디코더가 바이트 단위 BPE 토큰으로 질문 텍스트를 낸다(Radford 2022 2.3절).
- 사진 224 × 224 를 CLIP ViT-L/14 가 14픽셀 패치 16 × 16 = 256개의 특징으로 바꾸고, 선형 층 W 가 그 특징을 언어 모델의 낱말 임베딩 공간으로 옮겨 시각 토큰 256개를 만든다(Liu 2023 4.1절).
- 언어 모델이 시각 토큰 256개와 질문 토큰을 한 줄로 읽고 답 텍스트를 생성한다 — 이 단계의 토큰 처리 · 디코딩은 LLM 이 다룬다.
- Tacotron 2 가 답 텍스트를 12.5 ms 간격 멜 80채널로 바꿔 답 2초 = 160 프레임을 만들고, WaveNet 보코더가 24 kHz 로 48,000 표본의 파형을 낸다(Shen 2017 2.1 · 2.3절).
- 안내 책자 삽화는 잠재 확산이 맡는다 — 압축 비율 f = 8 이면 512 × 512 이미지가 64 × 64 잠재 격자가 되고, DDIM 200 단계로 그 격자에서 잡음을 걷은 뒤 디코더가 픽셀로 되살린다(Rombach 2021 4절 · 그림 5).
그림 4 · 질문 음성과 사진은 각각 토큰이 되어 한 언어 모델로 들어가고, 답 텍스트는 다시 음성 파형과 삽화로 바뀐다.
사례의 새 학습 부분은 3단계의 W 하나에서 시작한다 — LLaVA 1단계는 이미지 · 텍스트 약 59.5만 쌍으로 W 만 학습하고 시각 인코더 · 언어 모델은 고정하며, 2단계에서 지시 데이터 15.8만 건으로 W 와 언어 모델을 함께 고친다(Liu 2023 4.2절).
그림 5 · 생성 모델 셋은 품질 · 다양성 · 속도 가운데 둘씩만 갖추고, 빠진 쪽이 곧 그 모델의 흔한 증상이다.
🔑 확산 모델이 느린 것은 모델이 커서가 아니라 한 장을 위해 신경망을 단계 수만큼 되풀이해 부르기 때문이다 — DDPM 은 1,000번 부르고, 잠재 확산은 같은 단계를 픽셀 수 1/64 의 격자에서 돈다.
6비교 — 관련 기술과 맡는 일의 경계
| 기술 | 맡는 일 | 경계 | 넘기는 곳 |
|---|---|---|---|
| 이미지 · 멀티모달 | 모달 ↔ 토큰 변환 · 이미지 · 음성 생성 | — | 하위 여섯(확산 모델 · GAN · VAE · VLM · 음성 인식 · 음성 합성) |
| LLM | 토큰 줄을 읽고 다음 토큰을 생성 | 사례 4단계 — 시각 토큰이 들어간 뒤의 처리는 LLM | 트랜스포머 · 토큰화 · 디코딩 |
| AI 에이전트 | 계획 · 도구 호출로 여러 단계를 실행 | 음성 인식 · 이미지 생성은 에이전트가 부르는 도구 하나 | 도구 호출 |
| 딥러닝 | 합성곱 · 트랜스포머 같은 신경망 구조와 학습법 | ViT · U-Net 구조 자체는 딥러닝, 그 구조로 모달을 잇고 만드는 방법이 이미지 · 멀티모달 | 합성곱 신경망 · 트랜스포머 · 임베딩 |
| 비전 검사 | 제조 사진에서 정해진 결함을 찾고 분류 | 정해진 분류 · 위치 판정은 비전 검사, 자유 질의 · 합성 이미지 생성은 이미지 · 멀티모달 | 비전 검사 |
| AI 신뢰 | 생성물 표시 · 딥페이크 대응 · 위험 관리 | 만드는 기술까지가 이미지 · 멀티모달, 표시 · 규제 판단은 AI 신뢰 | NIST AI 600-1 |
분석질문이 «모달을 어떻게 토큰으로 바꾸고 다시 꺼내나»면 이미지 · 멀티모달, «토큰을 어떻게 이어 쓰나»면 LLM, «무엇을 어떤 순서로 부르나»면 AI 에이전트로 보낸다. 근거는 사례 3 · 4단계 경계 — LLaVA 는 언어 모델을 그대로 두고 W 만 더해 이미지를 읽게 했다(Liu 2023 4.1절).
7실무 진단 — 생성 · 변환 실패의 단계 가르기
분석입력 변환(표본화 · 패치 · 압축)부터 보고, 다음에 모델 학습 상태, 마지막에 디코딩 · 표본 추출 설정을 본다. 입력이 30초 구간 · 224 픽셀 같은 모델 설정과 어긋나면 뒤 단계 설정을 바꿔도 결과가 나아지지 않기 때문이다(Radford 2022 2.2절 · Liu 2023 4.1절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 생성 이미지가 흐리고 세부가 뭉개짐 | 잠재 압축 비율이 큼 · VAE 계열 디코더 | 입력 변환 · 생성 | 같은 조건에서 f 만 바꾼 표본 · FID | f 4 ~ 8 이 품질과 효율의 균형(Rombach 2021 4.1절) |
| 2 | 다른 잡음을 넣어도 비슷한 모양만 나옴 | GAN 모드 붕괴 | 생성 · 학습 | 잡음 z 여러 개로 뽑은 표본의 다양성 | 많은 z 가 같은 x 로 모이면 붕괴(Goodfellow 2014 6절) |
| 3 | 한 장 생성에 수십 초 | 확산 단계 수 · 픽셀 공간 생성 | 생성 · 표본 추출 | 단계 수 · 장당 시간 | DDPM 1,000 단계 · 256장 17초(TPU v3-8 · Ho 2020 4절) → DDIM 단계 · 잠재 공간 |
| 4 | 받아 적기가 같은 구절을 되풀이 · 소리와 무관한 문장 | 긴 음성 디코딩 실패 | 음성 인식 · 디코딩 | 30초 구간 경계 · 타임스탬프 · 탐욕 ↔ 빔 탐색 | 반복 · 앞뒤 낱말 누락 · 완전 환각(Radford 2022 4.5 · 6절) |
| 5 | 사진에 없는 물체를 답에 넣음 | 객체 환각 — 자주 함께 나오는 물체 | 비전 언어 모델 | 물체 있음 · 없음 예 · 아니오 질의(POPE) | 질의 응답의 «예» 비율이 실제보다 높음(Li 2023) |
4행은 모델을 바꾸기 전에 디코딩부터 본다 — Whisper 논문도 탐욕 디코딩에서 반복이 더 잦아 빔 탐색으로 줄였다고 적는다(Radford 2022 4.5절).
8시험 대비
시험에서는 생성 모델 셋의 원리와 장단점을 가르는 비교형, 그리고 텍스트 · 이미지 · 음성을 함께 다루는 모델의 구성을 묻는 정의 · 특징형이 나올 수 있다. 동향을 물으면 VAE · GAN 에서 확산 · 잠재 확산, CLIP 에서 VLM 으로 이어지는 흐름을 연도와 함께 쓴다.
- 개요 — 정의(생성 모델 + 멀티모달) · 생성형 AI 안 위치 · LLM 과의 경계 한 줄
- 하위 지도 — 그림 3(이해 = 모달 → 토큰 · 생성 = 토큰 · 잡음 → 모달)과 하위 여섯 표
- 생성 모델 비교 — 그림 5(품질 · 다양성 · 속도 셋 중 둘) · VAE 2013 · GAN 2014 · DDPM 2020 1,000 단계
- 멀티모달 연결 — 그림 4 사례(log-Mel 80 × 3,000 · 패치 256 · 선형 W · 멜 160 프레임)
- 실패와 대응 — 모드 붕괴 · 흐림 · 느린 표본 추출 · 음성 인식 환각 · 객체 환각(POPE)
- 동향과 신뢰 — 잠재 확산 · CLIP · VLM 흐름 · 생성물 표시 · NIST AI 600-1
꼭 쓸 키워드
확산 모델잠재 확산GAN모드 붕괴VAE잠재 변수CLIP시각 토큰log-Mel보코더객체 환각
다른 답안과 차이를 내는 한 가지는 그림 5 의 «셋 중 둘» 표다 — 장단점을 모델마다 따로 나열하는 대신 같은 세 기준에 놓아 무엇이 빠졌는지를 한눈에 보인다.
9오해와 사실
- 오해멀티모달 모델은 이미지를 그대로 본다.사실사진은 14픽셀 패치 특징으로 바뀐 뒤 선형 W 를 거쳐 언어 모델 낱말 공간의 시각 토큰이 되고, 언어 모델은 그 토큰만 읽는다(Liu 2023 4.1절).
- 오해확산 모델은 GAN 보다 모든 면에서 낫다.사실품질 · 다양성은 앞서지만 표본 하나에 신경망을 단계 수만큼 불러 느리며, 이 약점을 줄이려 GAN 을 단계 안에 다시 넣은 모델은 CIFAR-10 에서 약 2,000배 빨랐다(Xiao 2021).
- 오해음성 인식은 소리에 없는 말을 만들지 않는다.사실Whisper 논문은 소리와 전혀 무관한 받아 적기를 «완전 환각»으로 따로 적었다(Radford 2022 6절).
10핵심 정리
| 구분 | 학습 신호 | 한 번 출력의 계산 | 평가 지표(예) | 흔한 실패 |
|---|---|---|---|---|
| 확산 모델 | 더한 잡음 ε 예측 오차 | 단계 수만큼(DDPM 1,000) | FID 3.17(Ho 2020) | 느린 표본 추출 |
| GAN | 판별자를 속이는 대결 | 한 번 | FID · 다양성 | 모드 붕괴 |
| VAE | 재구성 + 하한(ELBO) | 디코더 한 번 | 재구성 오차 | 흐린 표본 |
| 비전 언어 모델 | 이미지 · 텍스트 짝 · 지시 데이터 | 시각 토큰 256 + 언어 모델 | ScienceQA 92.53%(Liu 2023) | 객체 환각 |
| 음성 인식 | 음성 · 전사 약지도 68만 시간 | 30초 구간마다 | WER 6.7(39M · LibriSpeech) | 반복 · 환각 |
| 음성 합성 | 텍스트 · 녹음 짝 24.6시간 | 멜 프레임 → 파형 표본 | MOS 4.53(녹음 4.58) | 끊김 · 발음 오류 |
11참고 문헌
- 먼저 볼 문헌
- ★ Denoising Diffusion Probabilistic Models (NeurIPS 2020) — 확산 모델의 단계 수 · 잡음 일정 · 학습 목표를 볼 때
- ★ Generative Adversarial Networks — 생성자 · 판별자 대결과 모드 붕괴의 원전을 볼 때
- ★ Learning Transferable Visual Models From Natural Language Supervision (CLIP) — 이미지와 텍스트를 한 벡터 공간에 맞추는 사전 학습을 볼 때
- ★ Robust Speech Recognition via Large-Scale Weak Supervision (Whisper) — 음성 인식 입력 처리 · 실패 유형을 볼 때
- ★ Tackling the Generative Learning Trilemma with Denoising Diffusion GANs (ICLR 2022) — 생성 모델 셋의 품질 · 다양성 · 속도 비교를 볼 때
- 본문 근거
- Auto-Encoding Variational Bayes — arXiv · 2013-12 ·
arxiv.org/abs/1312.6114· 확인 2026-11-09 - Deep Unsupervised Learning using Nonequilibrium Thermodynamics (ICML 2015) — arXiv · 2015-03 ·
arxiv.org/abs/1503.03585· 확인 2026-11-09 - High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022) — arXiv · 2021-12 ·
arxiv.org/abs/2112.10752· 확인 2026-11-09 - Visual Instruction Tuning (LLaVA · NeurIPS 2023) — arXiv · 2023-04 ·
arxiv.org/abs/2304.08485· 확인 2026-11-09 - WaveNet: A Generative Model for Raw Audio — arXiv · 2016-09 ·
arxiv.org/abs/1609.03499· 확인 2026-11-09 - Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions (Tacotron 2 · ICASSP 2018) — arXiv · 2017-12 ·
arxiv.org/abs/1712.05884· 확인 2026-11-09 - Evaluating Object Hallucination in Large Vision-Language Models (POPE · EMNLP 2023) — arXiv · 2023-05 ·
arxiv.org/abs/2305.10355· 확인 2026-11-09 - NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — NIST · 2024-07 ·
www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence· 확인 2026-11-09