VLM과 월드모델의 차이, 컵을 본 뒤 로봇은 무엇을 더 예측할까?

로봇이 컵을 알아보는 일과, 컵을 집어 들었을 때 주변 물체가 어떻게 움직일지 판단하는 일은 다릅니다.

앞의 능력은 시각 정보를 이해하는 VLM에, 뒤의 능력은 행동에 따른 변화를 예측하는 월드모델에 가깝습니다.

두 기술은 경쟁 관계라기보다 로봇이 상황을 파악하고 행동을 계획하도록 함께 쓰이는 기술입니다.

VLM은 이미지·영상 속 사물의 종류와 위치, 주변 관계를 파악하고 질문에 답합니다.

공장 작업대 사진을 보고 부품의 종류와 배치를 설명하는 식입니다.

월드모델은 물체를 밀거나 들어 올렸을 때 생길 움직임과 환경 변화를 예측합니다.

미래 영상을 만들거나 시각적 특징이 어떻게 바뀔지 계산하는 방식으로 구현할 수 있습니다.

여기에 시각 정보와 언어 지시를 바탕으로 로봇의 동작을 만드는 비전언어행동 모델(VLA)이 더해지면, 이해와 예측을 실제 행동으로 연결할 수 있습니다.

다만 세 기능이 언제나 별도 모델로 구현되는 것은 아닙니다. 인식·예측·행동 생성을 하나로 통합하려는 연구도 진행 중입니다.

메타 기초AI연구소(FAIR) 등이 2025년 9월 공개한 비전언어 월드모델 VLWM은 작업 목표와 영상 속 상황을 이해하고, 행동 뒤의 상태 변화를 언어로 예측합니다.

여러 미래 시나리오를 검토하는 방식은 연구진의 인간 평가에서 즉각적으로 다음 행동을 만드는 방식보다 엘로 점수가 27% 높았습니다.

다만 이는 언어로 추상화한 계획 평가이지, 실제 로봇 제어 성능을 입증한 결과는 아닙니다.

메타가 2025년 6월 공개한 V-JEPA 2는 100만 시간 이상의 영상 데이터로 학습해 물체의 움직임과 상호작용을 바탕으로 미래 상태를 예측합니다.

로봇 행동 데이터를 더 학습한 V-JEPA 2-AC는 새로운 환경에서 물체를 집어 옮기는 시연에도 활용됐습니다.

2026년 3월 공개된 V-JEPA 2.1은 물체의 위치와 움직임을 더 세밀하게 학습하도록 개선됐고, 연구진은 실제 물체 잡기 실험에서 V-JEPA 2-AC보다 성공률이 20%포인트 높았다고 보고했습니다.

미래를 잘 예측한다고 안전한 행동이 자동으로 보장되는 것은 아닙니다.

여러 선택지를 검토하면 연산비용이 늘 수 있고, 틀린 예측은 충돌이나 작업 실패로 이어질 수 있습니다.

결국 VLM은 현재 상황을 읽고, 월드모델은 행동 뒤의 변화를 가늠하며, VLA는 그 정보를 동작으로 옮깁니다.