MotionBricks 讓動畫或機械人即時串接自然動作

只需提供角色最近的姿勢和目標姿勢,MotionBricks 就能生成中間動作,並把行走、跨越或坐下等行為組合成連貫場景。

MotionBricks animates characters and robots with one model

機械人或遊戲角色要由一個姿勢自然移動到另一個姿勢,MotionBricks 可以即時補出中間動作。這個模組化潛在生成模型(modular latent generative model)支援角色與機械人動畫,透過最近四個姿勢作為上下文,再以一至四個目標姿勢控制終點及抵達時的動作方式。

它提供 SOMA 人體模型和 Unitree G1 機械人的預訓練模型,並附有 Python 執行環境、動作示範及場景編輯器。使用者可在 Inbetweener 放置姿勢來生成動作,也可用 Scene Preview 測試角色在場景中行走、奔跑、跨越、躲避和坐下;編輯器則可製作 Smart Primitives,將導航與物件互動動作組合起來,無須為新行為重新訓練模型。

MotionBricks 的做法,是讓三個學習模組分工生成動作,再以 Smart Primitives 提供可組合的行為積木。研究團隊表示,模型涵蓋超過 35 萬段動作,並可用於新任務而無須微調或逐項標記;這有助遊戲動畫、機械人模擬及互動場景製作,但實際效果仍取決於目標姿勢和場景設定。

項目網站報告最高每秒 15,000 FPS、延遲 2 毫秒。執行環境依賴 NVIDIA GPU 和 TensorRT,示範曾在 Windows 及 Linux x86-64、配備 GeForce RTX 4090 的系統測試;首次載入模型與精度設定時,還要建立 TensorRT 執行計劃,因此這些數字不宜直接視為所有硬件上的保證。

  • 支援 SOMA 人體模型及 Unitree G1 預訓練模型,模型以 ONNX 提供,檢查點則放在 Hugging Face。
  • Python 執行環境以 Warp、Newton 和 TensorRT 串接多次生成,形成連續動作。
  • 附有 Inbetweener、Scene Preview,以及 Smart Primitives 和場景編輯器。
  • 儲存庫提供導覽教學;但執行需要 NVIDIA GPU,設定亦涉及 Git LFS、uv 和首次建立 TensorRT 計劃。

對需要快速製作可控角色動畫、驗證機械人動作或搭建互動場景的團隊,MotionBricks 提供由姿勢控制到行為組合的一套研究原型。它減少了手工編排動作轉場及為每個任務重新訓練的需要,但硬件門檻和場景設定工作仍需納入製作流程。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, 教學, Linux, Python, 庫, 動畫, Dataset 數據集