AI › 생성형 AI › 이미지 · 멀티모달 › 멀티모달

월드 모델World Models

영상 · 센서 값 · 행동 기록으로 환경이 행동에 따라 어떻게 바뀌는지를 학습해, 에이전트가 움직이기 전에 결과를 미리 굴려 보게 하는 모델이다.

1요약

  1. 월드 모델은 관찰을 줄인 표현 위에서 «이 행동을 하면 다음에 무엇이 되나»를 맞히는 행동 조건 예측 모델이고, 그 위에서 로봇 · 자율 주행 · 게임 에이전트의 계획과 상상 속 학습이 돈다 — 가트너는 2026-10 「2027 전략 기술 트렌드」의 비텍스트 AI 에 넣었다(Network World 2026-10).
  2. 실제 환경에서만 배우면 시행 하나하나가 시간 · 비용 · 사고 위험이다 — 2018년 VizDoom 실험의 제어기는 실제 게임을 한 번도 하지 않고 모델이 만든 꿈 속에서만 학습해 평균 1,092 시간 단계를 버텼다(기준 750 · Ha 2018 웹판).
  3. 「월드 모델이 쓸 만한가」는 상상 속 점수가 아니라 가상 점수와 실제 점수의 차이로 가른다 — 가상 2,086 · 실제 193 처럼 벌어지면 계획기가 모델의 빈틈을 악용하고 있다는 뜻이다.

2등장 배경

모델 없이 배우는 강화 학습은 실제 환경에서 행동을 수없이 해 보고 보상으로만 배운다. 게임은 빨리 되풀이할 수 있지만, 로봇 팔 · 자동차는 한 번 시행에 몇 초가 걸리고 실패가 곧 파손이다. 2018-03 Ha · Schmidhuber 는 관찰을 32차원 벡터로 줄이고 그 위에서 다음 상태를 예측하는 «월드 모델»을 따로 학습해, 그 안에서 제어기를 기르는 길을 보였다(Ha 2018).

2023-01 DreamerV3 는 같은 원리로 설정 하나를 150개가 넘는 과제에 그대로 써서, 사람 데이터 없이 Minecraft 에서 다이아몬드를 처음 모았다(Hafner 2023). 2024-02 Genie 는 레이블 없는 인터넷 영상만으로 110억 매개변수 모델을 학습해 프레임마다 행동으로 조종되는 환경을 만들었다(Bruce 2024). 2025-01 Cosmos 는 범용 «월드 기반 모델»을 공개 가중치로 내고 각자의 장면에 맞게 후속 학습하는 틀을 함께 냈고(Agarwal 2025), 2025-06 V-JEPA 2 는 100만 시간이 넘는 영상으로 사전 학습한 뒤 로봇 영상 62시간 미만만 더해 처음 보는 실험실에서 물건을 집어 옮겼다(Assran 2025).

가트너는 로봇 · 자율 주행 · 공간 컴퓨팅 투자와 앞으로 3년의 학습 비용 하락을 근거로 들었다(CXOToday 2026-10) — 2030년 로봇 응용의 40% 가 적응형 환경의 결정에 월드 모델을 쓰고, 2025년에는 1% 미만이었다(가트너 · 2026-10 · 전망 · 보도 인용).

3쉽게 이해하기 — 운전 연습생의 머릿속 트랙

운전 연습생 서진은 경주 트랙에 나가기 전, 앞 유리로 본 장면을 「왼쪽 급커브 · 길 가장자리 가까움」 같은 짧은 메모로 줄여 기억한다. 눈을 감고 「여기서 핸들을 왼쪽으로 꺾으면 다음에 무엇이 보일까」를 머릿속으로 그려 보며 수십 번 연습한다. 연습에서 고른 핸들 동작을 들고 실제 트랙을 달리고, 달리며 본 장면은 다음 연습의 재료가 된다.

1 앞 유리로 보기 트랙 장면 한 장 관찰 2 짧은 메모로 줄이기 왼쪽 급커브 · 가장자리 인코더 V 3 머릿속으로 굴려 보기 꺾으면 다음엔 무엇이 동역학 모델 M 4 연습 속 핸들 고르기 수십 번 굴려 본 뒤 제어기 C 5 실제 트랙 달리기 고른 핸들 그대로 실제 행동 상상 반복 달리며 본 장면이 다음 연습 재료로 실제 트랙 · 장면 줄인 표현 예측 모델 행동 선택 점선 = 실제 트랙 없이 머릿속에서만 도는 반복

그림 1 · 서진은 보고 · 줄이고 · 굴려 보고 · 고르고 · 달리는 다섯 일을 되풀이하고, 3 과 4 사이의 상상 속 반복이 월드 모델이 하는 일이다.

보기앞 유리 장면
메모급커브 · 가장자리
굴려 보기꺾으면 다음은
연습수십 번 되풀이
달리기고른 핸들로
새 장면다음 연습 재료
비유 — 메모만 · 메모 + 기억 실제 — CarRacing 평균 점수 지금 장면 메모만 보는 연습생 커브가 눈앞에 와서야 핸들을 꺾음 트랙마다 점수가 크게 흔들림 메모 + 지난 장면 기억 다음 커브가 올 것을 미리 짐작 트랙이 바뀌어도 점수가 고름 0 500 1000 해결 기준 900 632 906 z 만 z + 기억 h 세로 선 = ± 표준 편차(251 · 21) · 무작위 트랙 100개 평균 관찰을 줄인 표현만 표현 + 동역학 모델의 기억

그림 2 · 지금 장면만 보는 연습생은 커브마다 들쭉날쭉하고, 메모와 기억을 함께 쓰는 연습생만 기준 점수 900 을 넘는다.

비유 속 역할실제 이름실제로 하는 일
앞 유리 장면관찰카메라 영상 · 센서 값 한 프레임
짧은 메모인코더 V · 잠재 벡터 z화면 한 장을 32 ~ 64차원 벡터로 줄인다
지난 장면 기억은닉 상태 h지금까지의 z · 행동 흐름을 담는 LSTM 상태
머릿속으로 굴려 보기동역학 모델 Mz · 행동 · h 로 다음 z 의 확률 분포를 낸다
연습 되풀이상상 속 롤아웃 · 꿈 속 학습실제 환경 없이 모델 안에서 행동 후보를 굴린다
고른 핸들로 달리기제어기 · 계획기 Cz · h 로 핸들 · 가속 · 제동을 고른다
새 장면을 연습 재료로데이터 수집 · 재학습실제로 달린 기록을 모아 V · M 을 다시 학습한다

⚠ 비유가 맞지 않는 곳: 서진은 머릿속 트랙이 틀렸다는 것을 스스로 느끼지만 제어기는 모르고, 모델의 빈틈에서 점수가 잘 나오면 그 빈틈을 그대로 파고든다. 또 메모는 사람이 정한 낱말이지만 z 는 학습이 정한 숫자 벡터라 숫자 하나하나에 정해진 뜻이 없다.

4구조 · 동작 — CarRacing · VizDoom 의 V · M · C

월드 모델 에이전트는 관찰을 작은 벡터로 줄이는 인코더 V, 그 벡터와 행동으로 다음 벡터를 맞히는 동역학 모델 M, 예측을 보고 행동을 고르는 제어기 · 계획기 C 로 나뉜다. 아래 값은 Ha · Schmidhuber 의 공개 실험 값이다(Ha 2018 웹판).

  1. 무작위 정책으로 롤아웃 10,000회를 모아 V · M 의 학습 데이터로 쓴다.
  2. V(VAE)가 화면 한 장을 z 로 줄인다 — CarRacing 32차원 · VizDoom 64차원.
  3. M(LSTM + 혼합 밀도 출력)이 지금 z · 행동 · 은닉 상태 h 로 다음 z 의 분포를 낸다 — LSTM 은 CarRacing 256 · VizDoom 512 단위다.
  4. 선형 제어기 C 는 z 와 h 만 보고 행동을 고르고, 매개변수가 CarRacing 867개 · VizDoom 1,088개뿐이다.
  5. CarRacing 무작위 트랙 100개 평균은 z 만 쓰면 632 ± 251, z 와 h 를 함께 쓰면 906 ± 21 로 해결 기준 900 을 넘었다.
  6. VizDoom 에서는 C 를 M 이 만든 꿈 환경 안에서만 학습시켰다 — 온도 τ 1.15 에서 실제 게임 평균 1,092 ± 556 시간 단계로 기준 750 을 넘었다(그림 4).
상상 속 반복 — 행동 후보마다 다음 z 를 굴려 봄 실제 환경 게임 · 도로 · 작업대 인코더 V 관찰 → 잠재 벡터 z 동역학 모델 M z · 행동 · h → 다음 z 계획기 C 행동 선택 관찰 z z · h 실제로 보내는 행동 — 핸들 · 가속 · 로봇 팔 관절 굵은 화살 = 실제로 오가는 데이터 · 점선 = 실제 환경 없이 예측 안에서만 도는 반복 환경 · 데이터 입력 표현 모델 출력 · 행동 선택

그림 3 · 인코더가 관찰을 줄이고, 동역학 모델이 행동 뒤 상태를 맞히며, 계획기는 실제 환경 대신 그 예측 안에서 행동 후보를 먼저 굴려 본다.

꿈 속 학습에는 함정이 있다. 동역학 모델이 너무 확실하게(τ 가 낮게) 예측하면 제어기는 모델의 오류를 파고드는 정책을 찾아, 가상 점수는 오르고 실제 점수는 무너진다. τ 를 올려 모델의 무작위성을 키우면 악용이 어려워지지만, 너무 올리면 꿈이 어려워져 배우지 못한다(Ha 2018 웹판).

VizDoom 온도 τ 별 꿈 속 점수 · 실제 점수(평균 시간 단계) 0 1000 2000 해결 기준 750 2086 193 2060 196 1145 868 918 1092 732 753 τ 0.10 τ 0.50 τ 1.00 τ 1.15 τ 1.30 모델 악용 구간(τ 0.10 · 0.50) 꿈 속에서만 잘 버팀 꿈 속 가상 점수(모델 안) 실제 게임 점수 굵은 테두리 = 가장 높은 실제 점수 · 무작위 정책 = 210

그림 4 · τ 0.10 에서는 가상 2,086 · 실제 193 으로 벌어지고, τ 를 1.00 이상으로 올려야 실제 점수가 기준 750 을 넘으며 1.15 에서 1,092 로 가장 높다.

🔑 월드 모델의 값은 그럴듯한 장면이 아니라 «이 행동을 하면 다음에 무엇이 되나»를 맞히는 데 있고(행동을 입력으로 받지 않는 영상 생성은 예측이 아니라 묘사다), 그 예측은 실제 환경 점수로만 검증한다 — 꿈 속 점수는 모델이 틀린 곳까지 점수로 쳐 준다.

5비교 — 모델 없는 강화 학습 · 영상 생성 · 디지털 트윈

기준월드 모델모델 없는 강화 학습영상 생성(확산 모델)디지털 트윈
입력관찰 + 행동관찰 + 보상글 · 이미지 조건특정 설비의 센서 값
출력행동 뒤 다음 상태행동 정책그럴듯한 영상 프레임그 설비의 현재 · 미래 상태
모델을 만드는 법많은 관찰에서 규칙을 학습환경 모델을 두지 않음데이터 분포를 학습물리 식 · 실측 값으로 짓고 보정
실제 환경 시행모델 학습용 데이터만 · 정책은 꿈 속에서도 학습(VizDoom)정책 학습 전부를 실제 · 시뮬레이터에서없음운전 데이터로 동기화
대표 쓰임로봇 · 자율 주행 계획 · 에이전트 학습 환경빨리 되풀이되는 게임 · 시뮬레이터장면 · 학습 데이터 생성설비 감시 · what-if · 제어

분석실제 시행이 싸고 빠르면 모델 없는 강화 학습으로 충분하고, 시행이 비싸거나 위험하면 월드 모델로 상상 속 시행을 늘리며, 특정 설비 하나를 오래 따라가야 하면 디지털 트윈이 맞다. 근거는 표의 「실제 환경 시행」 · 「모델을 만드는 법」 행 — 월드 모델은 실제 데이터를 모델 학습에만 쓰고, 디지털 트윈은 한 대상의 물리 식을 맞춘다.

자기 지도 학습은 V-JEPA 2 처럼 인코더 · 예측기를 레이블 없이 사전 학습하는 방법이고(Assran 2025), 비전 언어 모델(VLM)은 장면을 말로 설명할 뿐 행동 뒤 장면을 예측하지 않는다.

6실무 진단 — 표현 · 동역학 · 계획 가르기

분석가상 점수와 실제 점수의 차이 → 기억 유무 → 대상 환경 데이터 순으로 본다. 차이가 크면 모델을 키우기 전에 악용부터 막아야 하고(Ha 2018 웹판 τ 0.10 · 가상 2,086 · 실제 193), 차이가 작은데 실제 점수가 낮을 때만 표현 · 데이터를 의심한다.

#증상의심 원인단계확인 자료판정 기준(근거)
1꿈 속 점수는 높은데 실제 점수가 무작위 정책 수준계획기가 동역학 모델의 오류를 악용계획같은 정책의 가상 · 실제 점수가상이 실제의 몇 배면 τ 를 올리거나 실제 데이터를 더함(Ha 2018 웹판 · τ 1.15 에서 1,092)
2커브 · 장애물처럼 앞일이 필요한 곳만 실패 · 점수 편차 큼지금 관찰만 쓰고 기억 h 를 안 씀동역학z 만 · z + h 제어기 점수 · 표준 편차z 만 632 ± 251 → z + h 906 ± 21 처럼 편차가 줄면 기억을 넣음(Ha 2018 웹판)
3처음 보는 장면 · 로봇에서 예측이 무너짐사전 학습 데이터에 없는 환경표현대상 환경 영상 · 행동 기록 양기반 모델을 대상 데이터로 후속 학습(Agarwal 2025 · 로봇 영상 62시간 미만 · Assran 2025)

7시험 대비

시험에서는 월드 모델의 정의와 V · M · C 구성을 묻는 정의 · 특징형, 그리고 2018 꿈 속 학습에서 영상 기반 모델 · 물리 AI 로 넘어온 흐름을 묻는 동향 · 발전형이 나올 수 있다. 가상 점수와 실제 점수를 나란히 놓아 «예측 모델은 실제 환경으로 검증한다»를 보이면 정의 수준을 넘는다.

답안 목차
  1. 개요 — 정의(행동 조건 다음 상태 예측) · 모델 없는 강화 학습의 시행 비용 · LLM · 영상 생성과의 차이
  2. 구성 — 그림 3 인코더 V · 동역학 모델 M · 제어기 C · 상상 속 반복 고리
  3. 동작 — CarRacing 값(z 32차원 · LSTM 256 · 제어기 867개 · 906 ± 21) · 꿈 속 학습(VizDoom 1,092)
  4. 한계 — 그림 4 τ 별 가상 · 실제 점수 · 모델 악용과 대응
  5. 동향 — DreamerV3 · Genie · Cosmos · V-JEPA 2 · 2030년 로봇 응용 40%(가트너 전망)

꼭 쓸 키워드
월드 모델잠재 벡터동역학 모델꿈 속 학습모델 기반 강화 학습상상 속 롤아웃모델 악용온도 τ월드 기반 모델물리 AI

다른 답안과 차이를 내는 한 가지는 그림 4 처럼 같은 실험의 가상 점수 · 실제 점수를 함께 적어, 「꿈 속 점수는 검증이 아니다」를 수치로 보이는 것이다.

8오해와 사실

  • 오해사실처럼 보이는 영상을 만들면 월드 모델이다.
    사실월드 모델의 입력에는 행동이 들어가고 출력은 그 행동 뒤의 상태이며(CXOToday 2026-10), 그 예측으로 계획한다 — 행동 조건이 없는 영상 생성은 묘사다.
  • 오해모델 안에서 점수가 높으면 실제에서도 잘한다.
    사실VizDoom 에서 τ 0.10 정책은 꿈 속 2,086 · 실제 193 으로 무작위 정책(210)보다 못했다(Ha 2018 웹판).
  • 오해월드 모델은 큰 모델에서만 효과가 있다.
    사실2018년 실험의 제어기는 매개변수 867개짜리 선형 모델이었고, 성능은 인코더 · 동역학 모델이 만든 z · h 에서 나왔다(Ha 2018 웹판).

9핵심 정리

구분맡는 일입력 → 출력사례 값흔한 실패
관찰 데이터모델 학습 재료영상 · 센서 · 행동 기록무작위 롤아웃 10,000회대상 환경 데이터 부족
인코더 V관찰을 줄임화면 → z32 · 64차원중요한 물체가 z 에서 빠짐
동역학 모델 M행동 뒤 상태 예측z · 행동 · h → 다음 z 분포LSTM 256 · 512 단위너무 확실한 예측 → 악용
기억 h앞일 짐작지난 z · 행동 → 상태z 만 632 → z + h 906기억 없이 지금만 봄
제어기 · 계획기 C행동 고르기z · h → 행동매개변수 867 · 1,088개모델 빈틈 파고듦
꿈 속 학습실제 없이 정책 학습M 안의 롤아웃τ 1.15 · 실제 1,092가상 점수만 보고 판단
모델 악용실패 신호가상 ≫ 실제2,086 ↔ 193실제 검증 생략

이 글은 2026-10 가트너 「2027 전략 기술 트렌드」 발표 기준이다 · 다음 트렌드 발표 때 다시 본다.

10참고 문헌

  1. 먼저 볼 문헌
  2. ★ Gartner Identifies the Top Strategic Technology Trends for 2027 (보도자료 재게시본) — 가트너가 밝힌 월드 모델의 정의와 성장 동인을 볼 때
    CXOToday · 2026-10 · cxotoday.com/others/gartner-identifies-the-top-strategic-technology-trends-for-2027/ · 확인 2026-11-18
  3. ★ Gartner's top tech trends for 2027 expand—and constrain—AI capabilities (Network World · Ann Bednarz) — 트렌드 세 주제와 2030년 로봇 응용 전망 숫자를 볼 때
    Network World · 2026-10-20 · www.networkworld.com/article/4238030/gartners-top-tech-trends-for-2027-expand-and-constrain-ai-capabilities.html · 확인 2026-11-18
  4. ★ World Models (Ha · Schmidhuber) — 관찰 압축 · 다음 상태 예측 · 제어기 세 부분과 꿈 속 학습을 볼 때
    arXiv · 2018-03 · arxiv.org/abs/1803.10122 · 확인 2026-11-18
  5. ★ World Models - interactive version (Ha · Schmidhuber) — CarRacing 점수표와 VizDoom 온도별 가상 · 실제 점수표를 볼 때
    worldmodels.github.io · 2018-03 · worldmodels.github.io/ · 확인 2026-11-18
  6. ★ V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning (Assran et al.) — 인터넷 영상 사전 학습 뒤 로봇 영상 소량으로 계획하는 방식을 볼 때
    arXiv · 2025-06 · arxiv.org/abs/2506.09985 · 확인 2026-11-18
  7. 본문 근거
  8. Mastering Diverse Domains through World Models (Hafner et al.) — arXiv · 2023-01 · arxiv.org/abs/2301.04104 · 확인 2026-11-18
  9. Genie: Generative Interactive Environments (Bruce et al.) — arXiv · 2024-02 · arxiv.org/abs/2402.15391 · 확인 2026-11-18
  10. Cosmos World Foundation Model Platform for Physical AI (Agarwal et al.) — arXiv · 2025-01 · arxiv.org/abs/2501.03575 · 확인 2026-11-18