월드 모델World Models
영상 · 센서 값 · 행동 기록으로 환경이 행동에 따라 어떻게 바뀌는지를 학습해, 에이전트가 움직이기 전에 결과를 미리 굴려 보게 하는 모델이다.
1요약
- 월드 모델은 관찰을 줄인 표현 위에서 «이 행동을 하면 다음에 무엇이 되나»를 맞히는 행동 조건 예측 모델이고, 그 위에서 로봇 · 자율 주행 · 게임 에이전트의 계획과 상상 속 학습이 돈다 — 가트너는 2026-10 「2027 전략 기술 트렌드」의 비텍스트 AI 에 넣었다(Network World 2026-10).
- 실제 환경에서만 배우면 시행 하나하나가 시간 · 비용 · 사고 위험이다 — 2018년 VizDoom 실험의 제어기는 실제 게임을 한 번도 하지 않고 모델이 만든 꿈 속에서만 학습해 평균 1,092 시간 단계를 버텼다(기준 750 · Ha 2018 웹판).
- 「월드 모델이 쓸 만한가」는 상상 속 점수가 아니라 가상 점수와 실제 점수의 차이로 가른다 — 가상 2,086 · 실제 193 처럼 벌어지면 계획기가 모델의 빈틈을 악용하고 있다는 뜻이다.
2등장 배경
모델 없이 배우는 강화 학습은 실제 환경에서 행동을 수없이 해 보고 보상으로만 배운다. 게임은 빨리 되풀이할 수 있지만, 로봇 팔 · 자동차는 한 번 시행에 몇 초가 걸리고 실패가 곧 파손이다. 2018-03 Ha · Schmidhuber 는 관찰을 32차원 벡터로 줄이고 그 위에서 다음 상태를 예측하는 «월드 모델»을 따로 학습해, 그 안에서 제어기를 기르는 길을 보였다(Ha 2018).
2023-01 DreamerV3 는 같은 원리로 설정 하나를 150개가 넘는 과제에 그대로 써서, 사람 데이터 없이 Minecraft 에서 다이아몬드를 처음 모았다(Hafner 2023). 2024-02 Genie 는 레이블 없는 인터넷 영상만으로 110억 매개변수 모델을 학습해 프레임마다 행동으로 조종되는 환경을 만들었다(Bruce 2024). 2025-01 Cosmos 는 범용 «월드 기반 모델»을 공개 가중치로 내고 각자의 장면에 맞게 후속 학습하는 틀을 함께 냈고(Agarwal 2025), 2025-06 V-JEPA 2 는 100만 시간이 넘는 영상으로 사전 학습한 뒤 로봇 영상 62시간 미만만 더해 처음 보는 실험실에서 물건을 집어 옮겼다(Assran 2025).
가트너는 로봇 · 자율 주행 · 공간 컴퓨팅 투자와 앞으로 3년의 학습 비용 하락을 근거로 들었다(CXOToday 2026-10) — 2030년 로봇 응용의 40% 가 적응형 환경의 결정에 월드 모델을 쓰고, 2025년에는 1% 미만이었다(가트너 · 2026-10 · 전망 · 보도 인용).
3쉽게 이해하기 — 운전 연습생의 머릿속 트랙
운전 연습생 서진은 경주 트랙에 나가기 전, 앞 유리로 본 장면을 「왼쪽 급커브 · 길 가장자리 가까움」 같은 짧은 메모로 줄여 기억한다. 눈을 감고 「여기서 핸들을 왼쪽으로 꺾으면 다음에 무엇이 보일까」를 머릿속으로 그려 보며 수십 번 연습한다. 연습에서 고른 핸들 동작을 들고 실제 트랙을 달리고, 달리며 본 장면은 다음 연습의 재료가 된다.
그림 1 · 서진은 보고 · 줄이고 · 굴려 보고 · 고르고 · 달리는 다섯 일을 되풀이하고, 3 과 4 사이의 상상 속 반복이 월드 모델이 하는 일이다.
그림 2 · 지금 장면만 보는 연습생은 커브마다 들쭉날쭉하고, 메모와 기억을 함께 쓰는 연습생만 기준 점수 900 을 넘는다.
| 비유 속 역할 | 실제 이름 | 실제로 하는 일 |
|---|---|---|
| 앞 유리 장면 | 관찰 | 카메라 영상 · 센서 값 한 프레임 |
| 짧은 메모 | 인코더 V · 잠재 벡터 z | 화면 한 장을 32 ~ 64차원 벡터로 줄인다 |
| 지난 장면 기억 | 은닉 상태 h | 지금까지의 z · 행동 흐름을 담는 LSTM 상태 |
| 머릿속으로 굴려 보기 | 동역학 모델 M | z · 행동 · h 로 다음 z 의 확률 분포를 낸다 |
| 연습 되풀이 | 상상 속 롤아웃 · 꿈 속 학습 | 실제 환경 없이 모델 안에서 행동 후보를 굴린다 |
| 고른 핸들로 달리기 | 제어기 · 계획기 C | z · h 로 핸들 · 가속 · 제동을 고른다 |
| 새 장면을 연습 재료로 | 데이터 수집 · 재학습 | 실제로 달린 기록을 모아 V · M 을 다시 학습한다 |
⚠ 비유가 맞지 않는 곳: 서진은 머릿속 트랙이 틀렸다는 것을 스스로 느끼지만 제어기는 모르고, 모델의 빈틈에서 점수가 잘 나오면 그 빈틈을 그대로 파고든다. 또 메모는 사람이 정한 낱말이지만 z 는 학습이 정한 숫자 벡터라 숫자 하나하나에 정해진 뜻이 없다.
4구조 · 동작 — CarRacing · VizDoom 의 V · M · C
월드 모델 에이전트는 관찰을 작은 벡터로 줄이는 인코더 V, 그 벡터와 행동으로 다음 벡터를 맞히는 동역학 모델 M, 예측을 보고 행동을 고르는 제어기 · 계획기 C 로 나뉜다. 아래 값은 Ha · Schmidhuber 의 공개 실험 값이다(Ha 2018 웹판).
- 무작위 정책으로 롤아웃 10,000회를 모아 V · M 의 학습 데이터로 쓴다.
- V(VAE)가 화면 한 장을 z 로 줄인다 — CarRacing 32차원 · VizDoom 64차원.
- M(LSTM + 혼합 밀도 출력)이 지금 z · 행동 · 은닉 상태 h 로 다음 z 의 분포를 낸다 — LSTM 은 CarRacing 256 · VizDoom 512 단위다.
- 선형 제어기 C 는 z 와 h 만 보고 행동을 고르고, 매개변수가 CarRacing 867개 · VizDoom 1,088개뿐이다.
- CarRacing 무작위 트랙 100개 평균은 z 만 쓰면 632 ± 251, z 와 h 를 함께 쓰면 906 ± 21 로 해결 기준 900 을 넘었다.
- VizDoom 에서는 C 를 M 이 만든 꿈 환경 안에서만 학습시켰다 — 온도 τ 1.15 에서 실제 게임 평균 1,092 ± 556 시간 단계로 기준 750 을 넘었다(그림 4).
그림 3 · 인코더가 관찰을 줄이고, 동역학 모델이 행동 뒤 상태를 맞히며, 계획기는 실제 환경 대신 그 예측 안에서 행동 후보를 먼저 굴려 본다.
꿈 속 학습에는 함정이 있다. 동역학 모델이 너무 확실하게(τ 가 낮게) 예측하면 제어기는 모델의 오류를 파고드는 정책을 찾아, 가상 점수는 오르고 실제 점수는 무너진다. τ 를 올려 모델의 무작위성을 키우면 악용이 어려워지지만, 너무 올리면 꿈이 어려워져 배우지 못한다(Ha 2018 웹판).
그림 4 · τ 0.10 에서는 가상 2,086 · 실제 193 으로 벌어지고, τ 를 1.00 이상으로 올려야 실제 점수가 기준 750 을 넘으며 1.15 에서 1,092 로 가장 높다.
🔑 월드 모델의 값은 그럴듯한 장면이 아니라 «이 행동을 하면 다음에 무엇이 되나»를 맞히는 데 있고(행동을 입력으로 받지 않는 영상 생성은 예측이 아니라 묘사다), 그 예측은 실제 환경 점수로만 검증한다 — 꿈 속 점수는 모델이 틀린 곳까지 점수로 쳐 준다.
5비교 — 모델 없는 강화 학습 · 영상 생성 · 디지털 트윈
| 기준 | 월드 모델 | 모델 없는 강화 학습 | 영상 생성(확산 모델) | 디지털 트윈 |
|---|---|---|---|---|
| 입력 | 관찰 + 행동 | 관찰 + 보상 | 글 · 이미지 조건 | 특정 설비의 센서 값 |
| 출력 | 행동 뒤 다음 상태 | 행동 정책 | 그럴듯한 영상 프레임 | 그 설비의 현재 · 미래 상태 |
| 모델을 만드는 법 | 많은 관찰에서 규칙을 학습 | 환경 모델을 두지 않음 | 데이터 분포를 학습 | 물리 식 · 실측 값으로 짓고 보정 |
| 실제 환경 시행 | 모델 학습용 데이터만 · 정책은 꿈 속에서도 학습(VizDoom) | 정책 학습 전부를 실제 · 시뮬레이터에서 | 없음 | 운전 데이터로 동기화 |
| 대표 쓰임 | 로봇 · 자율 주행 계획 · 에이전트 학습 환경 | 빨리 되풀이되는 게임 · 시뮬레이터 | 장면 · 학습 데이터 생성 | 설비 감시 · what-if · 제어 |
분석실제 시행이 싸고 빠르면 모델 없는 강화 학습으로 충분하고, 시행이 비싸거나 위험하면 월드 모델로 상상 속 시행을 늘리며, 특정 설비 하나를 오래 따라가야 하면 디지털 트윈이 맞다. 근거는 표의 「실제 환경 시행」 · 「모델을 만드는 법」 행 — 월드 모델은 실제 데이터를 모델 학습에만 쓰고, 디지털 트윈은 한 대상의 물리 식을 맞춘다.
자기 지도 학습은 V-JEPA 2 처럼 인코더 · 예측기를 레이블 없이 사전 학습하는 방법이고(Assran 2025), 비전 언어 모델(VLM)은 장면을 말로 설명할 뿐 행동 뒤 장면을 예측하지 않는다.
6실무 진단 — 표현 · 동역학 · 계획 가르기
분석가상 점수와 실제 점수의 차이 → 기억 유무 → 대상 환경 데이터 순으로 본다. 차이가 크면 모델을 키우기 전에 악용부터 막아야 하고(Ha 2018 웹판 τ 0.10 · 가상 2,086 · 실제 193), 차이가 작은데 실제 점수가 낮을 때만 표현 · 데이터를 의심한다.
| # | 증상 | 의심 원인 | 단계 | 확인 자료 | 판정 기준(근거) |
|---|---|---|---|---|---|
| 1 | 꿈 속 점수는 높은데 실제 점수가 무작위 정책 수준 | 계획기가 동역학 모델의 오류를 악용 | 계획 | 같은 정책의 가상 · 실제 점수 | 가상이 실제의 몇 배면 τ 를 올리거나 실제 데이터를 더함(Ha 2018 웹판 · τ 1.15 에서 1,092) |
| 2 | 커브 · 장애물처럼 앞일이 필요한 곳만 실패 · 점수 편차 큼 | 지금 관찰만 쓰고 기억 h 를 안 씀 | 동역학 | z 만 · z + h 제어기 점수 · 표준 편차 | z 만 632 ± 251 → z + h 906 ± 21 처럼 편차가 줄면 기억을 넣음(Ha 2018 웹판) |
| 3 | 처음 보는 장면 · 로봇에서 예측이 무너짐 | 사전 학습 데이터에 없는 환경 | 표현 | 대상 환경 영상 · 행동 기록 양 | 기반 모델을 대상 데이터로 후속 학습(Agarwal 2025 · 로봇 영상 62시간 미만 · Assran 2025) |
7시험 대비
시험에서는 월드 모델의 정의와 V · M · C 구성을 묻는 정의 · 특징형, 그리고 2018 꿈 속 학습에서 영상 기반 모델 · 물리 AI 로 넘어온 흐름을 묻는 동향 · 발전형이 나올 수 있다. 가상 점수와 실제 점수를 나란히 놓아 «예측 모델은 실제 환경으로 검증한다»를 보이면 정의 수준을 넘는다.
- 개요 — 정의(행동 조건 다음 상태 예측) · 모델 없는 강화 학습의 시행 비용 · LLM · 영상 생성과의 차이
- 구성 — 그림 3 인코더 V · 동역학 모델 M · 제어기 C · 상상 속 반복 고리
- 동작 — CarRacing 값(z 32차원 · LSTM 256 · 제어기 867개 · 906 ± 21) · 꿈 속 학습(VizDoom 1,092)
- 한계 — 그림 4 τ 별 가상 · 실제 점수 · 모델 악용과 대응
- 동향 — DreamerV3 · Genie · Cosmos · V-JEPA 2 · 2030년 로봇 응용 40%(가트너 전망)
꼭 쓸 키워드
월드 모델잠재 벡터동역학 모델꿈 속 학습모델 기반 강화 학습상상 속 롤아웃모델 악용온도 τ월드 기반 모델물리 AI
다른 답안과 차이를 내는 한 가지는 그림 4 처럼 같은 실험의 가상 점수 · 실제 점수를 함께 적어, 「꿈 속 점수는 검증이 아니다」를 수치로 보이는 것이다.
8오해와 사실
- 오해사실처럼 보이는 영상을 만들면 월드 모델이다.사실월드 모델의 입력에는 행동이 들어가고 출력은 그 행동 뒤의 상태이며(CXOToday 2026-10), 그 예측으로 계획한다 — 행동 조건이 없는 영상 생성은 묘사다.
- 오해모델 안에서 점수가 높으면 실제에서도 잘한다.사실VizDoom 에서 τ 0.10 정책은 꿈 속 2,086 · 실제 193 으로 무작위 정책(210)보다 못했다(Ha 2018 웹판).
- 오해월드 모델은 큰 모델에서만 효과가 있다.사실2018년 실험의 제어기는 매개변수 867개짜리 선형 모델이었고, 성능은 인코더 · 동역학 모델이 만든 z · h 에서 나왔다(Ha 2018 웹판).
9핵심 정리
| 구분 | 맡는 일 | 입력 → 출력 | 사례 값 | 흔한 실패 |
|---|---|---|---|---|
| 관찰 데이터 | 모델 학습 재료 | 영상 · 센서 · 행동 기록 | 무작위 롤아웃 10,000회 | 대상 환경 데이터 부족 |
| 인코더 V | 관찰을 줄임 | 화면 → z | 32 · 64차원 | 중요한 물체가 z 에서 빠짐 |
| 동역학 모델 M | 행동 뒤 상태 예측 | z · 행동 · h → 다음 z 분포 | LSTM 256 · 512 단위 | 너무 확실한 예측 → 악용 |
| 기억 h | 앞일 짐작 | 지난 z · 행동 → 상태 | z 만 632 → z + h 906 | 기억 없이 지금만 봄 |
| 제어기 · 계획기 C | 행동 고르기 | z · h → 행동 | 매개변수 867 · 1,088개 | 모델 빈틈 파고듦 |
| 꿈 속 학습 | 실제 없이 정책 학습 | M 안의 롤아웃 | τ 1.15 · 실제 1,092 | 가상 점수만 보고 판단 |
| 모델 악용 | 실패 신호 | 가상 ≫ 실제 | 2,086 ↔ 193 | 실제 검증 생략 |
이 글은 2026-10 가트너 「2027 전략 기술 트렌드」 발표 기준이다 · 다음 트렌드 발표 때 다시 본다.
10참고 문헌
- 먼저 볼 문헌
- ★ Gartner Identifies the Top Strategic Technology Trends for 2027 (보도자료 재게시본) — 가트너가 밝힌 월드 모델의 정의와 성장 동인을 볼 때
- ★ Gartner's top tech trends for 2027 expand—and constrain—AI capabilities (Network World · Ann Bednarz) — 트렌드 세 주제와 2030년 로봇 응용 전망 숫자를 볼 때
- ★ World Models (Ha · Schmidhuber) — 관찰 압축 · 다음 상태 예측 · 제어기 세 부분과 꿈 속 학습을 볼 때
- ★ World Models - interactive version (Ha · Schmidhuber) — CarRacing 점수표와 VizDoom 온도별 가상 · 실제 점수표를 볼 때
- ★ V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning (Assran et al.) — 인터넷 영상 사전 학습 뒤 로봇 영상 소량으로 계획하는 방식을 볼 때
- 본문 근거
- Mastering Diverse Domains through World Models (Hafner et al.) — arXiv · 2023-01 ·
arxiv.org/abs/2301.04104· 확인 2026-11-18 - Genie: Generative Interactive Environments (Bruce et al.) — arXiv · 2024-02 ·
arxiv.org/abs/2402.15391· 확인 2026-11-18 - Cosmos World Foundation Model Platform for Physical AI (Agarwal et al.) — arXiv · 2025-01 ·
arxiv.org/abs/2501.03575· 확인 2026-11-18