피지컬 AI (Physical AI) - 로봇 공학을 위한 통합 세계 모델링 기법 Masked Visual Actions

https://arxiv.org/abs/2607.19343

2026.7.21
[Masked Visual Actions for Unified World Modeling]

이 연구는 로봇 공학을 위한 통합 세계 모델링 기법인 Masked Visual Actions를 제안하며, 비디오 모델이 학습한 시각적 물리 법칙을 로봇 제어에 효과적으로 활용하는 방법을 다룹니다. 핵심 아이디어는 로봇의 동작이나 사물의 움직임을 비디오상의 픽셀 공간 마스크(masked trajectory)로 표현하여, 단일 모델이 상황에 따라 순방향 역학 모델(forward model) 또는 역방향 모델(inverse model)로 기능하게 하는 것입니다. 로봇의 움직임을 마스킹하여 입력하면 미래의 상호작용 결과를 예측하고, 반대로 사물의 목표 움직임을 입력하면 이를 달성하기 위한 로봇의 행동을 생성해 냅니다. 단 15시간의 데이터만으로 미세 조정된 이 모델은 미학습된 로봇 형태(unseen embodiments)에도 유연하게 적응하며, 로봇의 경로 계획(planning), 정책 평가, 그리고 행동 추출 등 다양한 실제 작업에서 탁월한 성능과 범용성을 입증했습니다.

 

 

 

 

 

Overview

이 논문은 비디오 모델이 시각 세계가 움직이고 상호작용하고 접촉에 반응하는 방식에 대한 풍부한 사전지식을 담고 있어 로봇 세계 모델의 유망한 토대가 될 수 있다는 문제의식에서 출발한다. 관건은 이런 모델이 이미 학습한 시각 공간과 정합되면서도 실제 물리적 조작에 근거한 형태로 '행동(action)'을 전달하는 방법이다. 저자들은 비디오 속 임의 개체의 부분적으로 드러난 궤적으로 행동을 표현하는 픽셀 공간 제어 인터페이스인 Masked Visual Actions(MVA)를 제안한다. 로봇의 움직임을 드러내면 모델은 저수준 로봇 행동에 대한 장면의 반응을 예측하는 순방향 동역학 모델처럼 동작하고, 원하는 물체 움직임을 드러내면 같은 모델이 그 결과에 부합하는 로봇 행동을 복원한다. 실제 영상과 시뮬레이션에서 얻은 15시간 분량의 마스킹 예시만으로 파인튜닝했음에도, 단일 체크포인트가 다양한 장면과 여러 embodiment(로봇 형태)에 걸쳐 높은 시각적 충실도와 제어 가능성을 보였다. Stanford, University of Maryland, Harvard 소속 저자들이 2026년 7월 21일 arXiv에 공개했다.

 

Background

기존 비디오 기반 로봇 제어 신호들은 텍스트, 궤적(track), 힘, 키포인트, 모터 명령 등으로 조건화되는데, 이런 신호들은 대체로 희소하거나 embodiment에 특화되어 있거나 모델이 사전학습에서 익힌 시각적 표현과 어긋난다는 한계가 있다. 저자들은 이 문제를 관련 연구를 세 갈래로 나눠 짚는다.

• 비디오 생성을 로봇 인터페이스로 쓰는 연구: 물리적 힘, 워프된 플로우, 손 자세, 포인트/궤적 트랙, 목표 이미지 등을 제어 신호로 추가해 비디오 모델을 시뮬레이터로 바꾸는 시도들이지만, 이 신호들 중 어느 것도 밀도가 높고 픽셀 정합적이며 embodiment 간 공유 가능한 형태는 아니다.
• 픽셀 기반 행동 조건화: 대부분의 로봇 비디오 세계 모델은 end-effector 자세, 관절 벡터, 스켈레톤 같은 embodiment 특화 채널로 행동을 전달하는데, 최근에는 로봇을 URDF로 렌더링해 마스크나 포인트맵으로 주입하거나(BridgeV2W, Kinema4D), 다시점 가우시안 히트맵으로 인코딩하거나(Action Images), 4D occupancy로 조건화하는(ORV) 등 픽셀 기반 신호로 대체하는 흐름이 늘고 있다. 다만 이런 연구들은 모두 로봇을 능동 개체로 두고 순방향으로만 학습한다는 공통점이 있다.
• 통합 비디오-행동 모델: UVA, UWM, AIM, X-WAM, MotuBrain 등은 모달리티 채널(행동 벡터 대 비디오)을 마스킹하거나 디퓨전 타임스텝을 조작해 순방향/역방향 동역학과 정책, 비디오 생성을 한 모델에 통합하지만, 마스킹이 채널 단위이기 때문에 행동은 여전히 저차원 벡터로 남고 embodiment 간 통합은 이뤄지지 않는다.

 

이 논문은 여기서 마스킹을 공간적으로 수행한다는 점에서 차별화된다. 능동/수동 개체가 동일한 픽셀 캔버스 위에 존재하기 때문에, 같은 순방향/역방향 전환이 embodiment 간극도 함께 메운다는 것이다.

 

Methods

정식화. 장면을 개체들의 집합으로 보고, 비디오 모델이 전체 개체 궤적에 대한 결합분포를 포착한다고 가정한다. 개체 부분집합에 조건화하면 초기 장면의 참조 이미지가 주어졌을 때 나머지 개체들에 대한 조건부 분포를 얻는다.

마스킹 구현. 이 조건화는 이진 마스크로 실현되는데, 마스크는 조건화 대상 개체들이 차지하는 픽셀 영역들의 합집합이며, 모델은 마스킹된 비디오와 참조 이미지를 함께 입력받아 학습 중 다양한 마스크를 샘플링하며 조건부 분포를 학습한다.

능동/수동 구분. 로봇 팔이나 사람처럼 스스로의 행위력으로 장면에 작용하는 개체를 '능동', 조작 대상 물체처럼 능동 개체와의 상호작용으로 움직이는 개체를 '수동'으로 나눈다.

• 순방향 모델: 능동 개체에 조건화해 수동 개체를 예측하는 것으로, 로봇 동작이 주어졌을 때 장면 반응을 시뮬레이션하는 표준적인 행동 조건 동역학 모델링에 해당한다.
• 역방향 모델: 반대로 수동 개체에 조건화해 능동 개체를 예측하는데, 이는 기존 행동 조건 세계 모델에는 없던 방향으로, 원하는 결과가 주어지면 그에 부합하는 행위자 행동을 모델이 복원해낸다.

흥미로운 점은 학습은 로봇(능동 개체)에 대한 마스크로만 이뤄졌는데도 수동 개체 조건 질의에 제로샷으로 일반화된다는 것이고, 저자들은 이 특성이 저수준 행동 명령이나 스켈레톤 같은 더 희소한 신호로는 나타나지 않는, 마스킹된 시각적 행동 조건화만의 특징이라고 본다.

 

데이터셋 구성. DROID의 실제 로봇 영상과 Robocasa 시뮬레이션 데이터를 성공·실패 궤적 모두 포함해 결합했다. 두 가지 방식으로 마스크를 만드는데, 하나는 SAM 3로 "A robotic arm" 프롬프트를 써서 로봇을 분할하는 세그멘테이션 기반 방식이고, 다른 하나는 DROID의 로봇 상태 기록과 카메라 캘리브레이션을 이용해 로봇 URDF 메시를 정렬해 렌더링하는 방식이다. 렌더링 시에는 로봇을 반투명하게 표시하고 그리퍼만 밝은 빨강으로 처리해 자기 가림 없이 행동이 잘 보이게 했다.

 

학습 설정. 기반 모델은 Wan-Fun-Control 2.2 14B이며, 전체 파인튜닝 대신 rank 256의 LoRA를 사용했고, H200 GPU 8장으로 배치 크기 4, 약 10,000스텝을 4일에 걸쳐 학습했다.

 

Experiments

제어 가능 비디오 생성 비교. Image-to-Video(Wan2.2), 궤적 조건화 방식인 Wan-move, end-effector 상태 조건화 SoTA인 Ctrl-World와 비교했다. DROID(학습에 포함된 embodiment)와 BEHAVIOR(양팔 로봇 R1-Pro, 학습에 없던 embodiment) 모두에서 MVA가 우수했다. 구체적으로 DROID에서 MVA는 LPIPS 0.0945·SSIM 0.887·PSNR 23.74로, Ctrl-World의 0.362·0.708·18.15보다 크게 개선됐고, BEHAVIOR에서도 MVA 0.123·0.843·22.90 대 Ctrl-World 0.196·0.837·18.39로 우위를 유지했다.

 

조건화 신호 비교(ablation). end-effector 시각화, 스켈레톤 시각화와 비교했을 때 DROID 학습 분포 내에서는 세 방식이 비슷하게 동작하지만, 학습에 없던 그리퍼를 단 실제 로봇이나 BEHAVIOR의 미지 embodiment로 갈수록 스켈레톤·end-effector 조건화는 로봇을 학습 때 본 형태로 변형시키거나 아예 다른 로봇을 장면에 그려 넣는 문제를 보였다. 반면 MVA는 실제 환경 데이터에서 LPIPS 0.148, BEHAVIOR에서 0.123으로 두 대안보다 낮은 오차를 유지했다.

 

로보틱스 응용 세 가지.

• 플래닝: Diffusion Policy에서 여러 후보 궤적을 샘플링한 뒤 비디오 모델로 각각을 시뮬레이션하고 Gemini 3.1 Pro를 심사자로 써서 최선의 궤적을 고르는 Best-of-N 방식으로, 샘플 수가 늘수록 과제 성공률이 꾸준히 개선됐다.
  
  
• 정책 평가: RoboCasa에서 비디오 모델 안에서의 정책 성공률과 실제(GT) 성공률 사이 상관계수가 r=0.982로 매우 강한 상관을 보였다. 실제 환경에서도 4개 과제, 과제당 20개 시연으로 평가했을 때 진행도 분포가 실제와 밀접하게 맞아떨어졌지만, 시뮬레이션과 마찬가지로 모델이 과제 진행도를 다소 낙관적으로 평가하는 편향이 관찰됐다.
  
  
• 행동 추출(역모델링): 원하는 물체 움직임이 주어지면 비디오 모델이 그 결과를 만들어내는 로봇 영상을 생성하고, 학습된 역동역학 모델로 실행 가능한 저수준 행동을 뽑아낸다. 이때 별도의 역모델링 파인튜닝 없이도 순방향 예시만으로 학습한 모델이 제로샷으로 이 설정에 일반화됐다. RoboCasa의 CoffeeServeMug 과제에서 Diffusion Policy·ACT·SmolVLA(각 100개 시연으로 학습)와 비교해 20회 시행 중 90%로 가장 높은 성공률을 기록했는데, 정작 비디오 모델 자체는 이 과제를 한 번도 학습한 적이 없다는 점이 특징이다.
  
  

Conclusion

사전학습된 비디오 모델을 소량의 Masked Visual Actions 데이터로 파인튜닝함으로써, 장면 개체 부분집합에 조건화해 반사실(counterfactual)을 합성하는 능력을 효율적으로 끌어낸다. 로봇 embodiment 시각화에 조건화하면 행동 조건 순방향 모델로, 역모델로 쓰이면 물체를 조작하는 데 필요한 로봇 동작을 합성한다.

한계. 기존 생성 모델들과 마찬가지로 이 모델도 물체 상호작용 사이의 상관관계를 학습할 뿐 인과관계를 학습하는 것은 아니며, 이는 여전히 열린 연구 문제다. 또한 이 방법은 기반 비디오 모델의 능력을 확장하기보다 재활용하는 방식이라, 추론 속도와 표현 가능 범위 모두 기반 모델의 한계에 묶여 있다.

사회적 영향. 비디오 기반 정책 평가·플래닝·역모델링을 가능하게 함으로써 로봇 시스템 개발 비용을 낮추고 접근성을 높일 수 있지만, 같은 능력이 안전하지 않거나 승인되지 않은 로봇 행동에도 쓰일 수 있어 책임 있는 사용과 배포가 필요하다.