AI › 생성형 AI

이미지 · 멀티모달Image Generation and Multimodal AI

생성형 AI 가운데, 잡음과 조건에서 이미지 · 음성을 만드는 생성 모델과, 이미지 · 음성 · 텍스트를 함께 다루는 멀티모달 모델을 묶은 것이다.

1요약

  1. 이미지 · 멀티모달은 생성형 AI 안에서 텍스트 밖의 모달(이미지 · 음성)을 맡는 것으로, 생성 모델 셋(VAE 2013 · GAN 2014 · 확산 모델 2015 · 2020)과 멀티모달 셋(비전 언어 모델 · 음성 인식 · 음성 합성)이 있고, 그 위에서 글로 그림 만들기 · 사진 질의응답 · 음성 대화가 돈다.
  2. 언어 모델은 토큰만 읽으므로 사진 · 소리를 넣고 꺼내려면 모달과 토큰 사이를 바꾸는 모델이 따로 필요하다 — CLIP 은 이미지 · 텍스트 4억 쌍으로(Radford 2021), Whisper 는 음성 68만 시간으로 그 변환을 배웠다(Radford 2022).
  3. 「생성 결과가 나쁘다」는 품질 · 다양성 · 속도 가운데 무엇이 빠졌는지로 가른다 — 흐리면 압축 · VAE 쪽, 같은 모양만 나오면 GAN 의 모드 붕괴, 한 장에 수십 초면 확산 단계 수다.

2등장 배경

2010년대 초까지 이미지 생성 · 음성 인식 · 음성 합성은 서로 다른 모델과 손으로 만든 특징으로 따로 풀었고, 사진을 보고 질문에 답하려면 검출기 · 분류기 · 문장 틀을 이어 붙여야 했다. 생성 쪽은 Kingma · Welling 의 VAE(2013-12 · Kingma 2013)와 Goodfellow 외의 GAN(2014-06 · Goodfellow 2014)이 신경망으로 데이터 분포를 배우는 두 길을 열었다.

Sohl-Dickstein 외(2015)는 데이터에 잡음을 조금씩 더하고 그 역과정을 배우는 확산 모델을 제안했고, Ho 외(2020)의 DDPM 은 1,000 단계로 CIFAR-10 FID 3.17 을 냈다(Ho 2020 4절). 음성은 WaveNet(2016 · van den Oord 2016)과 Tacotron 2(2017 · MOS 4.53 ↔ 녹음 4.58 · Shen 2017)가 합성을, Whisper(2022)가 대규모 약지도 인식을 바꿨다.

2021년 CLIP 이 이미지와 텍스트를 한 벡터 공간에 맞추고 잠재 확산(Rombach 2021)이 압축 공간에서 텍스트 조건 생성을 싸게 만들면서, 2023년 LLaVA 처럼 시각 인코더를 언어 모델에 잇는 구성이 퍼졌다(Liu 2023). 지금 생성물의 위험 관리는 NIST AI 600-1(2024-07) 같은 AI 신뢰 쪽 문서가 다룬다.

3쉽게 이해하기 — 박물관의 보는 · 말하는 안내실

관람객 수진은 박물관 그림 앞에서 그림 속 파란 배가 몇 척인지 말로 묻는다. 안내실의 속기사가 그 말을 글로 받아 적고, 해설사는 그림을 작은 칸 카드로 옮겨 받은 뒤 질문 글과 함께 읽고 답을 쓴다. 방송원이 그 답을 소리로 읽어 주고, 뒤편 작업실에서는 화가가 먼지 덮인 캔버스를 조금씩 닦아 내며 안내 책자에 넣을 새 삽화를 만든다.

관람객 수진 그림 앞에서 말로 질문 사용자 속기사 말을 글로 받아 적음 음성 인식 해설사 그림 카드 + 질문 글 비전 언어 모델(VLM) 듣는 답 · 삽화 귀로 듣고 눈으로 봄 출력 · 소리와 이미지 방송원 답 글을 소리로 읽음 음성 합성 뒤편 작업실 먼지를 닦아 새 그림 생성 모델 · 확산 · GAN · VAE 1 2 3 4 5 6 사람 모델 출력

그림 1 · 말은 속기사가 글로, 그림은 해설사가 카드로 바꿔 읽고, 답은 방송원이 소리로 되돌리며 새 그림은 뒤편 작업실이 만든다.

묻기그림 앞에서 말로
받아 적기말을 글로
카드 만들기그림을 작은 칸 카드로
해설 쓰기그림 카드 + 질문 글
방송답을 소리로
삽화 닦기먼지를 조금씩 걷음
비유 — 그림을 카드로 옮기는 창구 실제 — VLM 의 연결부 그림을 칸으로 자름 칸마다 카드 한 장 그림 카드 묶음 번역 창구 여기만 새로 훈련 해설사 책상 그림 카드 글 사진 224 × 224 픽셀 ViT-L/14 — 14픽셀 패치 · 학습 고정 패치 특징 16 × 16 = 256개 선형 W — 1단계에서 이것만 학습 시각 토큰 256 질문 토큰 LLM — 한 줄로 이어진 토큰만 읽음 굵은 테두리 = 새로 학습하는 부분 · 칸 = 패치 · 카드 = 특징 · 창구 = W · 책상 = LLM

그림 2 · 해설사는 그림을 직접 보지 않는다 — 칸마다 카드 한 장으로 옮긴 뒤 글 카드와 같은 줄에 놓고 읽으며, 새로 훈련하는 것은 번역 창구 하나다.

비유 속 역할실제 이름실제로 하는 일
관람객 수진사용자 · 입력 모달말(음성)과 사진(이미지)으로 묻는다
속기사음성 인식소리를 텍스트 토큰으로 바꾼다
그림 카드시각 토큰이미지 조각의 특징을 언어 모델이 읽는 벡터로 옮긴 것
해설사비전 언어 모델(VLM)시각 토큰과 질문 토큰을 함께 읽고 답 텍스트를 쓴다
방송원음성 합성답 텍스트를 소리 파형으로 바꾼다
먼지를 닦는 화가확산 모델잡음을 단계마다 조금씩 걷어 이미지를 만든다
위조 화가와 감정사GAN생성자는 진짜 같은 표본을 만들고 판별자는 진짜와 가짜를 가린다
요약 카드로 다시 그리기VAE이미지를 짧은 잠재 값으로 줄였다가 되살린다

⚠ 비유가 맞지 않는 곳: 해설사는 그림의 뜻을 이해하는 사람이지만 모델은 학습한 이미지 · 텍스트 짝의 통계로 답을 고를 뿐이라, 그림에 없는 물체를 말하기도 한다(Li 2023). 화가가 닦아 내는 «먼지»는 원래 그림이 있던 것이 아니라 처음부터 무작위 잡음이고, 그 아래 그림은 모델이 새로 만든다.

4구조 — 생성 모델 · 멀티모달 하위 토픽 지도

둘은 방향이 반대다. 멀티모달의 음성 인식 · 비전 언어 모델은 모달을 토큰으로 바꾸는 «이해» 쪽, 음성 합성과 생성 모델 셋은 토큰 · 잡음에서 모달을 만드는 «생성» 쪽이고, 가운데 텍스트 토큰 처리는 LLM 이 맡는다.

이해 — 모달을 토큰으로 생성 — 토큰을 모달로 음성 음성 인식 이미지 비전 언어 모델 텍스트 토큰 LLM 이 맡음 따로 토픽 있음 · 점선 음성 합성 음성 생성 모델 확산 모델 GAN VAE 이미지 잡음 z · 조건 멀티모달 하위 토픽 생성 모델 토픽 입력 모달 토큰 출력 모달

그림 3 · 이해 쪽은 음성 · 이미지를 토큰으로 바꾸고 생성 쪽은 토큰 · 잡음에서 음성 · 이미지를 만들며, 가운데 토큰 처리는 LLM 이 다룬다.

하위 토픽푸는 문제입력 → 출력대표 모델(근거)
생성 모델 확산 모델잡음을 단계마다 걷어 표본 만들기잡음 + 조건 → 이미지DDPM(Ho 2020) · 잠재 확산(Rombach 2021)
생성 모델 GAN생성자 · 판별자 대결로 분포 맞추기잡음 z → 이미지최소 최대 게임 V(D, G)(Goodfellow 2014 3절)
생성 모델 VAE잠재 변수로 압축 · 복원이미지 ↔ 잠재 z재매개변수화 · 하한 최적화(Kingma 2013)
멀티모달 비전 언어 모델(VLM)이미지를 보고 글로 답하기이미지 + 텍스트 → 텍스트CLIP(Radford 2021) · LLaVA(Liu 2023)
멀티모달 음성 인식소리를 글로음성 → 텍스트Whisper 39M ~ 1,550M 파라미터(Radford 2022)
멀티모달 음성 합성글을 소리로텍스트 → 음성WaveNet(van den Oord 2016) · Tacotron 2(Shen 2017)

🔑 이해는 모달을 토큰으로 바꾸고 생성은 토큰에서 모달로 되돌린다 — 가운데 언어 모델은 어느 쪽이든 토큰만 본다.

5동작 — 사진 한 장에 말로 묻고 소리로 답 듣기

하위 토픽 여섯이 한 요청 안에서 이어지는 사례다. 질문 4초 · 답 2초 · 사진 224 × 224 는 설명용 가정 값이고, 표본 · 프레임 · 패치 수는 각 논문의 설정 값으로 직접 셈한 값이다.

  1. 질문 녹음 4초를 16 kHz 로 다시 표본화해 64,000 표본으로 만들고, 30초 구간에 넣어 25 ms 창 · 10 ms 간격의 log-Mel 80채널 × 3,000 프레임으로 바꾼다(Radford 2022 2.2절).
  2. Whisper 인코더의 둘째 합성곱(stride 2)이 프레임을 1,500 위치로 줄이고, 디코더가 바이트 단위 BPE 토큰으로 질문 텍스트를 낸다(Radford 2022 2.3절).
  3. 사진 224 × 224 를 CLIP ViT-L/14 가 14픽셀 패치 16 × 16 = 256개의 특징으로 바꾸고, 선형 층 W 가 그 특징을 언어 모델의 낱말 임베딩 공간으로 옮겨 시각 토큰 256개를 만든다(Liu 2023 4.1절).
  4. 언어 모델이 시각 토큰 256개와 질문 토큰을 한 줄로 읽고 답 텍스트를 생성한다 — 이 단계의 토큰 처리 · 디코딩은 LLM 이 다룬다.
  5. Tacotron 2 가 답 텍스트를 12.5 ms 간격 멜 80채널로 바꿔 답 2초 = 160 프레임을 만들고, WaveNet 보코더가 24 kHz 로 48,000 표본의 파형을 낸다(Shen 2017 2.1 · 2.3절).
  6. 안내 책자 삽화는 잠재 확산이 맡는다 — 압축 비율 f = 8 이면 512 × 512 이미지가 64 × 64 잠재 격자가 되고, DDIM 200 단계로 그 격자에서 잡음을 걷은 뒤 디코더가 픽셀로 되살린다(Rombach 2021 4절 · 그림 5).
1 질문 녹음 4초 · 16 kHz 64,000 표본 log-Mel 80 × 3,000 2 음성 인식 Whisper 인코더 stride 2 → 1,500 위치 → 질문 텍스트 토큰 3 비전 언어 모델 연결부 사진 224 × 224 → 14픽셀 패치 256개 선형 W → 시각 토큰 256개 CLIP ViT-L/14 고정 · LLaVA 구성 4 LLM 시각 256 + 질문 토큰 → 답 텍스트 따로 토픽 있음 5 음성 합성 Tacotron 2 · 답 2초 멜 80 × 160 프레임 WaveNet 24 kHz · 48,000 6 잠재 확산 삽화 512² → 잠재 64 × 64 f = 8 · DDIM 200 단계 디코더 → 픽셀 이미지 가정 값 = 질문 4초 · 답 2초 · 사진 224 × 224 · 나머지는 논문 설정 값과 그 식으로 셈한 값 · 512² = 512 × 512

그림 4 · 질문 음성과 사진은 각각 토큰이 되어 한 언어 모델로 들어가고, 답 텍스트는 다시 음성 파형과 삽화로 바뀐다.

사례의 새 학습 부분은 3단계의 W 하나에서 시작한다 — LLaVA 1단계는 이미지 · 텍스트 약 59.5만 쌍으로 W 만 학습하고 시각 인코더 · 언어 모델은 고정하며, 2단계에서 지시 데이터 15.8만 건으로 W 와 언어 모델을 함께 고친다(Liu 2023 4.2절).

표본 품질 다양성 표본 속도 빠진 쪽의 증상 VAE 약함 갖춤 갖춤 흐린 표본 GAN 갖춤 약함 갖춤 · 한 번 계산 모드 붕괴 확산 모델 FID 3.17 갖춤 약함 · 1,000 단계 한 장에 수십 초 셋 중 둘 — 한 모델이 셋을 다 갖추기 어렵다(Xiao 2021). 잠재 확산은 압축(f = 8)으로, DDIM 은 단계 수(10 ~ 200)로 확산의 속도 약점을 메운다. 갖춤 약함(실패 쪽) FID 3.17 · 1,000 단계 = DDPM CIFAR-10(Ho 2020)

그림 5 · 생성 모델 셋은 품질 · 다양성 · 속도 가운데 둘씩만 갖추고, 빠진 쪽이 곧 그 모델의 흔한 증상이다.

🔑 확산 모델이 느린 것은 모델이 커서가 아니라 한 장을 위해 신경망을 단계 수만큼 되풀이해 부르기 때문이다 — DDPM 은 1,000번 부르고, 잠재 확산은 같은 단계를 픽셀 수 1/64 의 격자에서 돈다.

6비교 — 관련 기술과 맡는 일의 경계

기술맡는 일경계넘기는 곳
이미지 · 멀티모달모달 ↔ 토큰 변환 · 이미지 · 음성 생성—하위 여섯(확산 모델 · GAN · VAE · VLM · 음성 인식 · 음성 합성)
LLM토큰 줄을 읽고 다음 토큰을 생성사례 4단계 — 시각 토큰이 들어간 뒤의 처리는 LLM트랜스포머 · 토큰화 · 디코딩
AI 에이전트계획 · 도구 호출로 여러 단계를 실행음성 인식 · 이미지 생성은 에이전트가 부르는 도구 하나도구 호출
딥러닝합성곱 · 트랜스포머 같은 신경망 구조와 학습법ViT · U-Net 구조 자체는 딥러닝, 그 구조로 모달을 잇고 만드는 방법이 이미지 · 멀티모달합성곱 신경망 · 트랜스포머 · 임베딩
비전 검사제조 사진에서 정해진 결함을 찾고 분류정해진 분류 · 위치 판정은 비전 검사, 자유 질의 · 합성 이미지 생성은 이미지 · 멀티모달비전 검사
AI 신뢰생성물 표시 · 딥페이크 대응 · 위험 관리만드는 기술까지가 이미지 · 멀티모달, 표시 · 규제 판단은 AI 신뢰NIST AI 600-1

분석질문이 «모달을 어떻게 토큰으로 바꾸고 다시 꺼내나»면 이미지 · 멀티모달, «토큰을 어떻게 이어 쓰나»면 LLM, «무엇을 어떤 순서로 부르나»면 AI 에이전트로 보낸다. 근거는 사례 3 · 4단계 경계 — LLaVA 는 언어 모델을 그대로 두고 W 만 더해 이미지를 읽게 했다(Liu 2023 4.1절).

7실무 진단 — 생성 · 변환 실패의 단계 가르기

분석입력 변환(표본화 · 패치 · 압축)부터 보고, 다음에 모델 학습 상태, 마지막에 디코딩 · 표본 추출 설정을 본다. 입력이 30초 구간 · 224 픽셀 같은 모델 설정과 어긋나면 뒤 단계 설정을 바꿔도 결과가 나아지지 않기 때문이다(Radford 2022 2.2절 · Liu 2023 4.1절).

#증상의심 원인단계확인 자료판정 기준(근거)
1생성 이미지가 흐리고 세부가 뭉개짐잠재 압축 비율이 큼 · VAE 계열 디코더입력 변환 · 생성같은 조건에서 f 만 바꾼 표본 · FIDf 4 ~ 8 이 품질과 효율의 균형(Rombach 2021 4.1절)
2다른 잡음을 넣어도 비슷한 모양만 나옴GAN 모드 붕괴생성 · 학습잡음 z 여러 개로 뽑은 표본의 다양성많은 z 가 같은 x 로 모이면 붕괴(Goodfellow 2014 6절)
3한 장 생성에 수십 초확산 단계 수 · 픽셀 공간 생성생성 · 표본 추출단계 수 · 장당 시간DDPM 1,000 단계 · 256장 17초(TPU v3-8 · Ho 2020 4절) → DDIM 단계 · 잠재 공간
4받아 적기가 같은 구절을 되풀이 · 소리와 무관한 문장긴 음성 디코딩 실패음성 인식 · 디코딩30초 구간 경계 · 타임스탬프 · 탐욕 ↔ 빔 탐색반복 · 앞뒤 낱말 누락 · 완전 환각(Radford 2022 4.5 · 6절)
5사진에 없는 물체를 답에 넣음객체 환각 — 자주 함께 나오는 물체비전 언어 모델물체 있음 · 없음 예 · 아니오 질의(POPE)질의 응답의 «예» 비율이 실제보다 높음(Li 2023)

4행은 모델을 바꾸기 전에 디코딩부터 본다 — Whisper 논문도 탐욕 디코딩에서 반복이 더 잦아 빔 탐색으로 줄였다고 적는다(Radford 2022 4.5절).

8시험 대비

시험에서는 생성 모델 셋의 원리와 장단점을 가르는 비교형, 그리고 텍스트 · 이미지 · 음성을 함께 다루는 모델의 구성을 묻는 정의 · 특징형이 나올 수 있다. 동향을 물으면 VAE · GAN 에서 확산 · 잠재 확산, CLIP 에서 VLM 으로 이어지는 흐름을 연도와 함께 쓴다.

답안 목차
  1. 개요 — 정의(생성 모델 + 멀티모달) · 생성형 AI 안 위치 · LLM 과의 경계 한 줄
  2. 하위 지도 — 그림 3(이해 = 모달 → 토큰 · 생성 = 토큰 · 잡음 → 모달)과 하위 여섯 표
  3. 생성 모델 비교 — 그림 5(품질 · 다양성 · 속도 셋 중 둘) · VAE 2013 · GAN 2014 · DDPM 2020 1,000 단계
  4. 멀티모달 연결 — 그림 4 사례(log-Mel 80 × 3,000 · 패치 256 · 선형 W · 멜 160 프레임)
  5. 실패와 대응 — 모드 붕괴 · 흐림 · 느린 표본 추출 · 음성 인식 환각 · 객체 환각(POPE)
  6. 동향과 신뢰 — 잠재 확산 · CLIP · VLM 흐름 · 생성물 표시 · NIST AI 600-1

꼭 쓸 키워드
확산 모델잠재 확산GAN모드 붕괴VAE잠재 변수CLIP시각 토큰log-Mel보코더객체 환각

다른 답안과 차이를 내는 한 가지는 그림 5 의 «셋 중 둘» 표다 — 장단점을 모델마다 따로 나열하는 대신 같은 세 기준에 놓아 무엇이 빠졌는지를 한눈에 보인다.

9오해와 사실

  • 오해멀티모달 모델은 이미지를 그대로 본다.
    사실사진은 14픽셀 패치 특징으로 바뀐 뒤 선형 W 를 거쳐 언어 모델 낱말 공간의 시각 토큰이 되고, 언어 모델은 그 토큰만 읽는다(Liu 2023 4.1절).
  • 오해확산 모델은 GAN 보다 모든 면에서 낫다.
    사실품질 · 다양성은 앞서지만 표본 하나에 신경망을 단계 수만큼 불러 느리며, 이 약점을 줄이려 GAN 을 단계 안에 다시 넣은 모델은 CIFAR-10 에서 약 2,000배 빨랐다(Xiao 2021).
  • 오해음성 인식은 소리에 없는 말을 만들지 않는다.
    사실Whisper 논문은 소리와 전혀 무관한 받아 적기를 «완전 환각»으로 따로 적었다(Radford 2022 6절).

10핵심 정리

구분학습 신호한 번 출력의 계산평가 지표(예)흔한 실패
확산 모델더한 잡음 ε 예측 오차단계 수만큼(DDPM 1,000)FID 3.17(Ho 2020)느린 표본 추출
GAN판별자를 속이는 대결한 번FID · 다양성모드 붕괴
VAE재구성 + 하한(ELBO)디코더 한 번재구성 오차흐린 표본
비전 언어 모델이미지 · 텍스트 짝 · 지시 데이터시각 토큰 256 + 언어 모델ScienceQA 92.53%(Liu 2023)객체 환각
음성 인식음성 · 전사 약지도 68만 시간30초 구간마다WER 6.7(39M · LibriSpeech)반복 · 환각
음성 합성텍스트 · 녹음 짝 24.6시간멜 프레임 → 파형 표본MOS 4.53(녹음 4.58)끊김 · 발음 오류

11참고 문헌

  1. 먼저 볼 문헌
  2. ★ Denoising Diffusion Probabilistic Models (NeurIPS 2020) — 확산 모델의 단계 수 · 잡음 일정 · 학습 목표를 볼 때
    arXiv · 2020-06 · arxiv.org/abs/2006.11239 · 확인 2026-11-09
  3. ★ Generative Adversarial Networks — 생성자 · 판별자 대결과 모드 붕괴의 원전을 볼 때
    arXiv · 2014-06 · arxiv.org/abs/1406.2661 · 확인 2026-11-09
  4. ★ Learning Transferable Visual Models From Natural Language Supervision (CLIP) — 이미지와 텍스트를 한 벡터 공간에 맞추는 사전 학습을 볼 때
    arXiv · 2021-02 · arxiv.org/abs/2103.00020 · 확인 2026-11-09
  5. ★ Robust Speech Recognition via Large-Scale Weak Supervision (Whisper) — 음성 인식 입력 처리 · 실패 유형을 볼 때
    arXiv · 2022-12 · arxiv.org/abs/2212.04356 · 확인 2026-11-09
  6. ★ Tackling the Generative Learning Trilemma with Denoising Diffusion GANs (ICLR 2022) — 생성 모델 셋의 품질 · 다양성 · 속도 비교를 볼 때
    arXiv · 2021-12 · arxiv.org/abs/2112.07804 · 확인 2026-11-09
  7. 본문 근거
  8. Auto-Encoding Variational Bayes — arXiv · 2013-12 · arxiv.org/abs/1312.6114 · 확인 2026-11-09
  9. Deep Unsupervised Learning using Nonequilibrium Thermodynamics (ICML 2015) — arXiv · 2015-03 · arxiv.org/abs/1503.03585 · 확인 2026-11-09
  10. High-Resolution Image Synthesis with Latent Diffusion Models (CVPR 2022) — arXiv · 2021-12 · arxiv.org/abs/2112.10752 · 확인 2026-11-09
  11. Visual Instruction Tuning (LLaVA · NeurIPS 2023) — arXiv · 2023-04 · arxiv.org/abs/2304.08485 · 확인 2026-11-09
  12. WaveNet: A Generative Model for Raw Audio — arXiv · 2016-09 · arxiv.org/abs/1609.03499 · 확인 2026-11-09
  13. Natural TTS Synthesis by Conditioning WaveNet on Mel Spectrogram Predictions (Tacotron 2 · ICASSP 2018) — arXiv · 2017-12 · arxiv.org/abs/1712.05884 · 확인 2026-11-09
  14. Evaluating Object Hallucination in Large Vision-Language Models (POPE · EMNLP 2023) — arXiv · 2023-05 · arxiv.org/abs/2305.10355 · 확인 2026-11-09
  15. NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — NIST · 2024-07 · www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence · 확인 2026-11-09