WorldFoundry:影片、3D 世界放進同一模型工作流

研究團隊將會可以用同一套工作流探索模型、執行生成、檢查產物及比較評測結果;不同模型的輸入方式與評測協議仍各自保留。

WorldFoundry WeChat Group 1

WorldFoundry,一套用於影片、3D 與 4D、具身動作及互動式世界系統之可重現推論與評估的開源基礎設施。WorldFoundry 把影片生成、互動世界、3D/4D 重建及具身動作模型放進同一套推理與評測工作流,屬於開源框架。它處理的問題是:模型種類繁多,如何整理執行條件、檢查生成結果,並在保留各自協議的情況下比較評測資料。

推理可透過命令列、終端介面或瀏覽器版 Studio 執行。Studio 亦可檢視任務狀態、生成媒體與幾何資料,評測則以模型和基準的組合執行,並整理正規化指標、就緒狀態及資格評分卡。

它沒有把不同模型硬塞進相同的評測方式,共享的是目錄、素材格式與結果計算流程,原生輸入、執行語義和評測協議仍按模型保留;評分亦區分文件宣告的支援、操作就緒程度與已驗證表現,避免把列入目錄或展示範例當成基準成績。

執行環境要求 Linux 和支援 CUDA 的 NVIDIA GPU;預設統一環境需要支援 CUDA 12.8 或以上的驅動。推理、Studio、評測及開發共用 CUDA 環境,但 ABI 或模擬器等個別模型需求可能需要不同環境。

  • 目錄涵蓋影片、互動世界、3D/4D、VLA/VA/WAM 等模型類別。
  • 可在 CLI、終端介面及瀏覽器版 Studio 執行目錄內的推理流程。
  • 生成影片、幾何資料與執行紀錄可供檢查,亦可在生成後重新評分。
  • 比較結果時需留意各模型仍採用不同輸入方式與評測協議。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, AI productions, 模型, 世界模型, NVIDIA, DeepSeek, Video, VLA, World-Action Model, 框架, 3D, Linux