PAN 2:讓代理先預演行動再決定下一步

PAN 2 可把圖片、文字與行動指令轉成最長 20 秒的影片,協助代理比較不同方案可能帶來的結果。

PAN 2

PAN 2 把「如果採取這個行動,會發生甚麼」變成可觀看的影片。這個由 MBZUAI 基礎模型研究所(Institute of Foundation Models,IFM)開發的世界模型(world model),會接收現有畫面、可選文字描述及以文字表達的行動,模擬最多 20 秒的變化,方便代理(agent)先比較不同選擇再採取行動。

它的設計取捨在於把語意與視覺分工處理。大型語言模型(large language model,LLM)負責理解情境、列出事件時序與鏡頭運動,再由 latent diffusion model 把結構化描述轉成影片;當中的 29B 參數 MMDiT(Multimodal Diffusion Transformer)負責細節生成。這種安排不是單靠影片模型猜測物理與因果,而是先建立可檢查的行動與時間關係。

目前模型可透過 Hugging Face、Diffusers 與 vLLM 使用,亦有本地部署文件,毋須自行拼接推理流程。不過 29B 參數版本對 GPU 記憶體和運算資源要求不低,影片生成速度亦會限制逐個方案試算的實務節奏。

PAN 2 採用的 Generative Latent Prediction(GLP)架構,源自《Critique of World Models》研究;模型資料頁亦涵蓋多步計劃、人手評估、安全護欄與已知訓練限制。

  • 輸入可包含圖片、文字及文字行動描述
  • 模擬影片長度可達 20 秒
  • LLM 負責概念推理,latent diffusion model 負責視覺生成
  • 29B 參數模型提供公開權重與部署路徑

研究團隊、影片生成開發者,以及需要預先推演操作後果的 robotic(機器人)與 Agentic 系統團隊,都可把 PAN 2 當作方案評估工具。

GitHub · 模型

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Google, NVIDIA, Video, Image, Robotic, 工具, 安全, 蘋果