생성형 AI - 월드 모델 (World Model)

(개념) ‘다양한 입력 데이터’를 받아서 물리학, 공간 역학, 인과 관계 (최소한 기본적 인과 관계) 등 실제 환경의 ‘내부 표현 (Internal Representation)을 학습’하는 ‘생성형 AI 시스템’

 

Figure 18: Conceptual overview of a world model system. The agent interacts with the environment by observing its current state(t) and taking action(t) to achieve a given objective. In parallel, the agent learns an internal world model, which serves as a mental simulation of the environment, which allows it to predict outcomes and plan actions before executing them in the real world.

 

Figure 19: Example of code execution tracing in the Code World Model (CWM). The model predicts how variable states evolve step by step as each line of code executes. Here, the model effectively simulates the code’s behavior .  Annotated figure from https://www.arxiv.org/abs/2510.02387.

 

 

Figure 20: Performance of the code world model (CWM) compared to other popular LLMs on a coding benchmark (SWE-bench). Annotated figure from https://www.arxiv.org/abs/2510.02387.

 

 

Image Credit: 월드 모델 (World Models) 오리지널 논문

 

월드 모델을 만드는 4가지의 패러다임.

 

• 암시적 모델 (Implicit Models)
  세계가 어떻게 변화하는지, 그리고 어떻게 관찰되는지 두 가지를 분리하지 않고, 미래의 결과를 예측하기 위해서 하나의 큰 신경망을 - 마치 블랙박스처럼 - 사용합니다. 이런 프레임웍은 에이전트가 압축된 이미지와 예측을 사용해서 미래의 행동을 "꿈"처럼 그릴 수 있게 합니다. 많은 바둑 대국을 보고 다음 수를 패턴으로 예측하는 모델을 예로 들 수 있겠습니다.
• 명시적 모델 (Explicit Models)
  세계가 어떻게 변화하는지 (상태의 전이), 그리고 에이전트가 무엇을 보고 있는지 (관찰 내용)를 명확하게 분리합니다. 이런 구조는, 시스템의 해석 가능성, 그리고 디버깅 용이성이 높아집니다. 이 방식은, 자동차를 운전할 때, 물리 법칙(가속과 브레이크가 차량 속도에 미치는 영향)과 관찰(백미러와 사이드미러로 보이는 것)을 분리해서 이해하는 것과 같습니다.
• 시뮬레이터 기반 모델(Simulator-based Models)
  처음부터 학습을 진행하는 대신, 시뮬레이터나 실제 환경을 사용해서 행동과 결과를 테스트합니다. 매우 정확한 방법이라고 할 수 있지만, 대신 진행이 느리고 비용이 많이 들 수 있습니다. 비행기 조종사가 실제 비행 전에 비행 시뮬레이터에서 다양한 시나리오를 연습하는 것과 같습니다.
• 하이브리드 및 지시 기반 모델(Hybrid and Instruction-driven Models)
  학습된 모델과 외부의 규칙, 매뉴얼 또는 언어 모델을 결합합니다. 신경망이 예측하는 것, 그리고 규칙 기반 지침을 조합하는 이 방식은, 새로운 - 이전에 보지 못한 - 상황에서 모델을 더 유연하게 만들어 줍니다. GPS 내비게이션이 도로 규칙(속도 제한, 일방통행)과 실시간 학습(교통 패턴)을 모두 사용해서 최적의 경로를 제안하는 것과 유사합니다.

 

AI 프론티어 국제 심포지엄 2025

AI가 진화하기 위해서는 단순한 텍스트 예측을 넘어 '관찰(Observation)·예측(Prediction)·추론(Reasoning)'이 결합된 월드 모델(World Model) 기반 학습이 필요하다

 

월드 모델을 구축하는 4가지의 일반적인 방법, 패러다임 (https://arxiv.org/abs/2504.01990)

 

https://github.com/FoundationAgents/awesome-foundation-agents

 

 

 

 

 

 

 

 

 

 

 

 

 

 

월드 모델은 왜 중요할까요? 바로, 월드 모델이 AI에게 꼭 필요하고 목표로 삼을 만한 핵심적인 기능을 얻도록 해 줄 단초를 제공하기 때문입니다:

• 계획 및 의사 결정 (Planning & Decision Making)
  에이전트는 ‘월드 모델’을 통해서 다양한 행동 전략의 결과로 나타날 미래 상태의 시퀀스를 ‘상상’하고 최선의 계획을 선택할 수 있습니다. 이게 바로 모델 기반 강화학습의 본질이고, 멀리 내다보는 의사결정이라든지 여러 단계 앞을 계획하는데 도움을 줄 수 있습니다.
• 효율성 (Efficiency)
  실세계 (또는 시뮬레이터)에서 시행착오를 통해 학습한다는 건, 의미는 크지만 비용이 많이 들고 속도를 빠르게 하기가 쉬운 작업이 아닙니다. 월드 모델은, 에이전트가 시뮬레이션된 경험 (일종의 ‘정신적 연습’이라고 할까요?)으로부터 학습을 할 수 있게 해서, 실제로 필요한 상호작용의 양을 극적으로 줄일 수 있습니다.
• 일반화 및 유연성 (Generalization & Flexibility)
  좋은 월드 모델은 환경의 일반적인 속성을 포착해 내서 에이전트가 새로운 상황에 적응하는 데 도움을 줍니다. 기본 역학을 이해함으로써, 에이전트는 모델 내에서 추론을 통해 훈련에서 명시적으로 보지 못한 조건을 처리할 수 있습니다.
• 풍부한 근거 제공 (Richer Grounding in Reality)
  월드 모델은 언어 모델보다 비디오 스트림 같은 더 많은 원시 정보를 가지고 훈련할 수 있기 때문에, 현실에서 더 풍부한 근거를 제공할 수 있는 가능성이 있습니다.
• 일반 지능 (General Intelligence)을 향한 디딤돌
  많은 연구자들이 ‘월드 모델은 더 일반적인 AI 인식으로 향하는 디딤돌’이라고 인식합니다. 월드 모델은, AI 시스템에 세계가 작동하는 방식에 대한 일종의 ‘상상력’과 ‘직관적 이해’를 제공합니다 - 이게 바로 사람과 같은 상식, 추론, 문제 해결을 하기 위한 전제 조건이겠죠.

 

 

https://magazine.sebastianraschka.com/p/beyond-standard-llms

https://arxiv.org/abs/2504.01990

https://turingpost.co.kr/p/topic-35-world-models

https://zdnet.co.kr/view/?no=20251027181617