SimWAM:把 AI 影片變成自動駕駛規劃

華中科大與東風研發團隊提出的 SimWAM,將影片專家和動作專家共同訓練,再丟掉影片分支只保留規劃器。它把未來畫面學到的動態先驗,轉成較低延遲的軌跡預測。

Overview of the SimWAM architecture with isolated attention

華中科技大學與東風研究團隊合作提出 SimWAM,重點是把影片生成的能力轉成自動駕駛規劃訊號,而不是在推理時硬做未來影像生成。它屬於 World-Action Model (WAM),直接處理端到端自動駕駛中的軌跡預測與規劃問題,目標是減少延遲,同時保留對交通動態的理解。

訓練時,系統會把預訓練影片專家和輕量動作 DiT 一起做 joint flow matching,讓未來畫面學到的動態先驗滲入動作表示。兩邊共享注意力流,但用 isolated attention mask 令未來片段和動作 token 不會互相偷看,推理時就可以直接丟掉影片分支,只留下動作專家。

  • 研究團隊來自 Huazhong University of Science & Technology 和 Dongfeng Research & Development Institute。
  • 推理階段不需要未來場景生成,也不需要額外動作模組。
  • 動作專家可獨立縮放,影片骨幹亦可替換,結構相對靈活。
  • 在 NAVSIM 上取得 91.5 PDMS,並可 zero-shot 遷移到 nuScenes。
  • 強化學習部分用 FlowGRPO 去優化組合式駕駛獎勵,只更新動作專家的 LoRA adapters。

它最值得留意的地方,不在於把模型堆得更大,而是把訓練用的影片訊號和部署用的規劃器切開,令系統在保留動態理解的同時減少推理負擔。官方沒有完整列出安裝步驟,因此較適合先按論文與程式庫說明理解其訓練和部署流程。

GitHub · 模型

Categories: 開源, 視覺模型, 中國, VLA