생성형 AIGenerative Artificial Intelligence
학습 데이터의 분포를 익혀 글 · 이미지 · 음성 같은 새 결과물과 도구 호출 같은 다음 행동을 만들어 내는 AI 로, LLM · AI 에이전트 · 이미지 · 멀티모달 생성 모델의 원리와 쓰임을 묶는다.
1요약
- 생성형 AI 는 AI 가운데 새 결과물을 만드는 모델을 맡으며, 글을 만드는 LLM · 도구를 부르며 일을 이어 가는 AI 에이전트 · 이미지와 음성을 다루는 이미지 · 멀티모달 하위 토픽 셋이 있고, 그 위에서 대화 · 요약 · 코드 작성 · 그림 생성이 돈다.
- 판별 모델은 입력에 맞는 답 하나를 고를 뿐 새 표본을 만들지 못하므로, 데이터 분포 자체를 배우는 모델이 필요했다 — 넓은 데이터로 한 번 학습해 많은 과제에 맞춰 쓰는 이 방식을 2021년 기반 모델이라 불렀다(Bommasani 2021).
- 「생성형 AI 결과가 이상하다」는 무엇을 만드는 단계에서 생겼는가로 가른다 — 틀린 사실은 글 생성(LLM), 승인 없는 변경은 행동 실행(에이전트), 비슷한 그림만 나오면 표본 추출(생성 모델), 느림과 비용은 AI 운영 쪽이다.
2등장 배경
2000년대까지 실무 AI 는 주로 분류 · 예측을 하는 판별 모델이었다. Ng · Jordan(2001)은 판별 학습이 점근 오차가 더 낮고 생성 모델은 그 오차에 더 빨리 다가간다고 비교했지만, 두 쪽 모두 새 데이터를 만드는 일이 목적은 아니었다.
신경망이 분포를 배우는 길은 VAE(2013-12 · Kingma 2013)와 GAN(2014-06 · Goodfellow 2014)이 열었다. 2017년 트랜스포머(Vaswani 2017), 2020년 예시 몇 개로 과제를 푸는 대형 언어 모델(Brown 2020)과 확산 모델 DDPM(Ho 2020), 2022년 생각과 도구 행동을 엮은 ReAct(Yao 2022)가 차례로 하위 토픽 셋의 뼈대가 됐다.
2024-07 NIST AI 600-1 은 생성형 AI 를 «입력 데이터의 구조와 특성을 흉내 내 파생된 합성 콘텐츠를 만드는 AI 모델의 부류»로 정의한 행정명령 문구를 따라 위험 12가지를 정리했다(NIST AI 600-1 1절 각주 1). 한국 인공지능기본법도 제2조제5호에 생성형 인공지능을 따로 정의하고 제31조에 결과물 표시 의무를 둔다.
3쉽게 이해하기 — 요리 연구소의 세 사람과 감식가
손님 지우가 연구소에 「비 오는 날 저녁 메뉴」를 부탁한다. 요리책 수만 권을 읽은 요리사가 책에 없던 새 조리법을 쓰고, 주방 보조는 그 조리법대로 냉장고를 확인하고 장보기 주문을 넣으며, 푸드 스타일리스트는 부탁받은 완성 사진을 그린다. 옆방 감식가는 음식을 보고 「한식」이라고 정확히 말하지만, 새 요리는 하나도 만들지 못한다.
그림 1 · 요리사는 새 글을, 보조는 바깥에서 행동을, 스타일리스트는 그림을 만들고, 감식가는 맞히기만 한다.
그림 2 · 세 사람이 주고받는 물건이 곧 하위 토픽의 경계다 — 글은 요리사, 바깥을 바꾸는 손은 보조, 그림과 사진은 스타일리스트가 맡는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 요리책 서가 | 학습 데이터 · 사전 학습 | 넓은 데이터에서 분포를 익혀 기반 모델을 만든다 |
| 손님의 부탁 | 프롬프트 · 조건 | 무엇을 만들지 정하는 입력이다 |
| 요리사 | LLM | 앞 글에 이어질 토큰을 뽑아 새 글을 만든다 |
| 주방 보조 | AI 에이전트 | 모델이 고른 행동을 도구로 실행하고 결과를 다시 넣는다 |
| 푸드 스타일리스트 | 이미지 · 멀티모달 | 이미지 · 음성을 토큰으로 읽거나 새로 만든다 |
| 주문서 · 사진 카드 | 도구 호출 요청 · 시각 토큰 | 하위 토픽 사이에 넘기는 표현이다 |
| 감식가 | 판별 모델 | 입력에 맞는 레이블 하나를 고를 뿐 표본을 만들지 않는다 |
⚠ 비유가 맞지 않는 곳: 요리사는 맛을 알고 조리법을 쓰지만 모델은 학습 분포에서 그럴듯한 토큰을 뽑을 뿐이라, 그럴듯하게 틀린 내용도 같은 방식으로 나온다(NIST AI 600-1 2.2절). 실제 시스템에서는 세 사람이 따로 있지 않고 한 모델이 글과 이미지를 함께 다루기도 한다.
4구조 — 하위 토픽 셋과 갈래 지도
하위 토픽 셋은 출력이 다르다. LLM 은 토큰, AI 에이전트는 바깥에서 실행되는 행동, 이미지 · 멀티모달은 픽셀 · 소리를 만들고, 셋 모두 AI 기초의 신경망 구조와 자기 지도 학습 위에 선다.
그림 3 · 생성형 AI 는 출력 단위로 하위 토픽 셋으로 나뉘고, 각 하위 토픽 안 갈래가 학습 · 구성 · 활용을 나눠 맡는다.
| 갈래 | 푸는 문제 | 대표 하위 토픽 |
|---|---|---|
| LLM 학습 | 넓은 말뭉치로 기반 모델을 만들고 지시에 맞춤 | 사전 학습 · 지시 튜닝 · RLHF |
| LLM 활용 | 가중치를 바꾸지 않고 입력 · 뽑는 법으로 답을 바꿈 | 프롬프트 엔지니어링 · RAG · 디코딩 |
| 에이전트 구성 | 모델이 고른 행동을 도구로 실행 · 기억 | 도구 호출 · MCP · 에이전트 메모리 |
| 에이전트 멀티 · 평가 | 여러 에이전트의 분담과 성공률 측정 | 멀티 에이전트 · A2A · 에이전트 평가 |
| 이미지 생성 모델 | 잡음 · 조건에서 이미지 표본 만들기 | 확산 모델 · GAN · VAE |
| 이미지 멀티모달 | 이미지 · 음성과 텍스트 토큰 사이 변환 | 비전 언어 모델(VLM) · 음성 인식 · 음성 합성 |
🔑 하위 토픽 셋은 같은 원리를 다른 단위로 되풀이한다 — LLM 은 토큰 하나, 확산 모델은 이미지 전체, 에이전트는 바깥에서 실행되는 행동 하나를 매번 뽑는다.
5동작 — 분포를 배우고 조건으로 뽑는 한 번의 실험
하위 토픽 셋에 공통인 «분포 학습 → 조건부 표본 추출 → 검사» 흐름을 작은 실험 하나로 따라간다. 직접 실행(합성 데이터 · 시드 0) — 2차원 점 세 묶음 A · B · C 를 정해 둔 가우스 분포에서 뽑았고, 분포의 평균 · 공분산은 설명용 가정 값이다.
- 묶음마다 학습 200점 · 시험 100점을 뽑아 학습 600점 · 시험 300점을 만든다.
- 판별 모델(소프트맥스 회귀)을 학습하면 시험 정확도는 91.3% 다. 이 모델은 p(y | x) 만 알아 새 점을 만들 수 없다.
- 생성 모델(묶음별 가우스 분포 p(x | y) 와 비율 p(y))을 학습한다. 베이즈 규칙으로 분류하면 시험 정확도 91.0%, 시험 점 평균 로그 가능도는 −3.47 이다.
- 조건 「C」를 주고 C 의 분포(평균 0.98, 3.43)에서 300점을 뽑는다 — 프롬프트가 출력 분포를 고르는 것과 같은 조건부 생성이다(NumPy multivariate_normal 문서). 판별 모델은 그중 90.0% 를 C 로 판정한다.
- 복제 검사 — 학습 점과 똑같은 점은 0개이고, 가장 가까운 학습 점까지 평균 거리는 0.118 로 실제 시험 점의 0.126 과 비슷하다. 모델이 학습 점을 외워 내놓은 것이 아니라 분포에서 새로 뽑았다는 뜻이다.
- 공분산에 배율 τ = 0.5 를 곱해 다시 뽑으면 판정 일치는 98.3% 로 오르고 점의 퍼짐(표준편차 평균)은 0.855 에서 0.573 으로 준다 — 정확도와 다양성을 맞바꾸는 이 손잡이는 LLM 의 디코딩 설정과 같은 역할이다.
시드 0 ~ 19 에서 판별 정확도 90.0 ~ 94.3%, 4단계 일치 89.7 ~ 97.3%, 복제 0개는 모든 시드에서 같았다.
그림 4 · 판별 모델은 세 영역의 경계선만 남기지만, 생성 모델은 조건 「C」를 받아 학습 점과 겹치지 않는 새 점을 C 영역 안에 뽑는다.
그림 5 · 판별 모델은 답 하나로 끝나고, 생성형 AI 의 하위 토픽 셋은 «조건 → 표본 하나 → 다시 조건»을 저마다의 단위로 되풀이한다.
🔑 생성 모델이 그럴듯하게 틀리는 것은 고장이 아니라 설계의 결과다 — 학습 분포를 흉내 내 뽑을 뿐 사실 여부를 따로 검사하지 않기 때문이다(NIST AI 600-1 2.2절).
6비교 — 관련 기술과 맡는 일의 경계
| 기술 | 맡는 일 | 경계 | 넘기는 곳 |
|---|---|---|---|
| 생성형 AI | 새 글 · 이미지 · 음성 · 행동을 만드는 모델과 그 활용 | — | LLM · AI 에이전트 · 이미지 · 멀티모달 |
| AI 기초 | 학습 원리 · 신경망 구조 | 트랜스포머 구조 자체는 기초, 그 구조로 표본을 만드는 방법이 생성형 AI | 트랜스포머 · 자기 지도 학습 |
| AI 운영 | 데이터 준비 · 서빙 · 경량화 · 모니터링 | 무엇을 만드나는 생성형 AI, 얼마나 빠르고 싸게 돌리나는 운영 | 추론 최적화 · LLMOps |
| AI 신뢰 | 법 · 윤리 · 설명 가능성 · 안전 | 만드는 기술까지가 생성형 AI, 표시 의무 · 환각 평가는 신뢰 | 할루시네이션 · AI 생성물 표시 |
| AI 응용 | 제조 데이터로 품질 · 설비 · 공정 판정 | 정해진 판정 · 예측(주로 판별 모델)은 응용, 생성형 AI 를 현장 업무에 붙인 토픽도 응용에 있다 | 제조 AI 에이전트 |
분석질문이 «새로 무엇을 만들고 어떤 단위로 뽑나»면 생성형 AI, «정해진 답을 맞히나»면 AI 기초 · AI 응용, «만든 것을 어떻게 돌리고 책임지나»면 AI 운영 · AI 신뢰로 보낸다. 근거는 사례 2 · 3단계 — 같은 데이터에서 판별 모델과 생성 모델의 분류 정확도는 91% 대로 같았지만 새 점을 만든 것은 생성 모델뿐이었다.
7실무 진단 — 문제가 생긴 생성 단계 가르기
분석먼저 결과물의 종류(글 · 행동 · 이미지)로 하위 토픽을 고르고, 그다음 학습 · 조건 · 표본 추출 가운데 어디서 생겼는지 본다. 같은 증상이라도 행동은 바깥 상태를 바꿔 되돌리기 어렵기 때문에 에이전트 쪽 확인을 가장 먼저 한다(NIST AI 600-1 2.7절).
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 그럴듯하지만 틀린 사실 · 없는 출처 | 학습 분포 근사의 결과 | LLM 활용 | 출처 대조 · 같은 질문 반복 응답 | 확신에 찬 오류 = 작화(NIST AI 600-1 2.2절) → RAG |
| 2 | 생성 결과를 검토 없이 반영해 사고 | 사람의 과의존 · 자동화 편향 | AI 에이전트 · 운영 절차 | 사람 확인 단계 유무 · 실행 기록 | 사람-AI 구성 위험(NIST AI 600-1 2.7절) |
| 3 | 이미지 · 문장이 비슷한 것만 나옴 | 표본 추출 폭이 좁음 · 생성 모델 붕괴 | 이미지 · 멀티모달 · 디코딩 | 여러 시드 표본의 퍼짐 | 퍼짐이 기준보다 작음(사례 6단계 0.855 → 0.573) |
| 4 | 결과물이 학습 자료와 거의 같음 | 암기 · 복제 | 학습 · 표본 추출 | 가장 가까운 학습 표본 거리 | 새 데이터 거리보다 뚜렷이 작음(사례 5단계) · 지식재산 위험(NIST AI 600-1 2.10절) |
| 5 | 응답이 느리고 비용이 큼 | 모델 크기 · 토큰 수 · 단계 수 | AI 운영으로 넘김 | 요청당 토큰 · 단계 수 | 높은 연산 사용 = 환경 영향 위험(NIST AI 600-1 2.5절) |
8시험 대비
www.q-net.or.kr시험에서는 생성형 AI 의 개념 · 판별 모델과의 차이 · 하위 기술을 묻는 정의 · 특징형과, VAE · GAN 에서 트랜스포머 · 확산 · 에이전트로 이어진 흐름과 위험 관리를 묻는 동향 · 발전형이 나올 수 있다. 정의형이면 «분포 학습 + 조건부 표본 추출»을 먼저 쓰고 출력 단위로 하위 토픽 셋을 나눈다.
- 개요 — 정의(분포를 배워 새 결과물 생성) · 판별 모델과의 차이 p(y | x) ↔ p(x) · 기반 모델(Bommasani 2021)
- 하위 지도 — 그림 3(LLM · AI 에이전트 · 이미지 · 멀티모달)과 갈래 표
- 공통 원리 — 그림 5(조건 → 표본 하나 → 되풀이 · 단위 = 토큰 · 이미지 · 행동)
- 동작 사례 — 그림 4(조건부 생성 일치 90.0% · 복제 0개 · τ = 0.5 퍼짐 0.573)
- 위험과 대응 — NIST AI 600-1 위험 12가지 중 작화 · 지식재산 · 사람-AI 구성 · 표시 의무(인공지능기본법 제31조)
- 동향 — VAE 2013 · GAN 2014 · 트랜스포머 2017 · DDPM 2020 · ReAct 2022 · 관련 기술로 넘기는 곳
꼭 쓸 키워드
생성 모델판별 모델기반 모델조건부 생성표본 추출작화(환각)멀티모달도구 호출생성물 표시
다른 답안과 차이를 내는 한 가지는 그림 5 다 — 하위 토픽 셋을 따로 나열하지 않고 «무엇을 단위로 되풀이하나» 한 축에 놓아, 에이전트만 바깥 상태를 바꾼다는 위험 차이까지 한 번에 보인다.
9오해와 사실
- 오해생성형 AI 는 학습한 문서를 찾아 붙여 넣는다.사실생성 모델은 분포에서 새 표본을 뽑으며, 사례에서도 학습 점과 똑같은 점은 300개 중 0개였다 — 다만 학습 자료와 거의 같은 결과가 나오는 경우가 있어 지식재산 위험으로 따로 관리한다(NIST AI 600-1 2.10절).
- 오해생성 모델은 분류를 못 한다.사실묶음별 분포를 배운 생성 모델도 베이즈 규칙으로 분류해 사례에서 판별 모델과 같은 91% 대 정확도를 냈고, 두 방식의 차이는 학습 데이터 양에 따라 갈린다(Ng · Jordan 2001).
- 오해에이전트는 LLM 과 다른 종류의 모델이다.사실에이전트의 판단은 같은 LLM 이 다음 행동을 뽑는 일이고, 달라지는 것은 그 행동을 바깥에서 실행하는 프로그램과 결과를 다시 넣는 반복이다(Yao 2022).
10핵심 정리
| 구분 | 조건 · 입력 | 한 번에 뽑는 것 | 바깥 상태 변경 | 대표 위험(NIST AI 600-1) |
|---|---|---|---|---|
| LLM | 프롬프트 + 앞 토큰 | 토큰 하나 | 없음 | 작화(2.2절) |
| AI 에이전트 | 목표 + 관찰 기록 | 행동(도구 호출) 하나 | 있음 · 사람 확인 | 사람-AI 구성(2.7절) · 정보 보안(2.9절) |
| 생성 모델 | 잡음 + 글 조건 | 이미지 전체(단계마다) | 없음 | 지식재산(2.10절) · 정보 무결성(2.8절) |
| 멀티모달 | 이미지 · 음성 + 글 | 토큰 · 소리 | 없음 | 작화 · 데이터 프라이버시(2.4절) |
| 기반 모델 | 넓은 데이터 | 다른 과제로 맞출 모델 | — | 결함이 맞춘 모델로 이어짐(Bommasani 2021) |
| 판별 모델 | 입력 x | 레이블 하나 | 없음 | 비교 대상 · 새 표본 없음 |
11참고 문헌
- 먼저 볼 문헌
- ★ NIST AI 600-1 Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile — 생성형 AI 의 정의 각주와 위험 12가지(2.1 ~ 2.12절)를 볼 때
- ★ On the Opportunities and Risks of Foundation Models — 기반 모델 개념과 창발 · 동질화를 볼 때
- ★ On Discriminative vs. Generative Classifiers: A comparison of logistic regression and naive Bayes (NIPS 2001) — 판별 모델과 생성 모델의 차이를 볼 때
- 본문 근거
- Generative Adversarial Networks — arXiv · 2014-06 ·
arxiv.org/abs/1406.2661· 확인 2026-11-13 - Auto-Encoding Variational Bayes — arXiv · 2013-12 ·
arxiv.org/abs/1312.6114· 확인 2026-11-13 - Attention Is All You Need — arXiv · 2017-06 ·
arxiv.org/abs/1706.03762· 확인 2026-11-13 - Language Models are Few-Shot Learners — arXiv · 2020-05 ·
arxiv.org/abs/2005.14165· 확인 2026-11-13 - Denoising Diffusion Probabilistic Models (NeurIPS 2020) — arXiv · 2020-06 ·
arxiv.org/abs/2006.11239· 확인 2026-11-13 - ReAct: Synergizing Reasoning and Acting in Language Models — arXiv · 2022-10 ·
arxiv.org/abs/2210.03629· 확인 2026-11-13 - 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(법률 제21311호 · 2026-07-21 시행) 제2조제5호 · 제31조 — 국가법령정보센터(법제처) · 2026-01 ·
www.law.go.kr/법령/인공지능발전과신뢰기반조성등에관한기본법· 확인 2026-11-13 - NumPy Reference — numpy.random.Generator.multivariate_normal — NumPy · 2026-11 ·
numpy.org/doc/stable/reference/random/generated/numpy.random.Generator.multivariate_normal.html· 확인 2026-11-13