
鏡頭一動,生成影片就要即時跟上;等幾秒才看到新畫面,互動體驗便會中斷。FastFrames 是一組自回歸影片生成模型,逐幀根據新輸入生成畫面,處理文字生成影片及鏡頭控制所需的速度問題。
它提供 1.3B 的 FastFrames-S 和 14B 的 FastFrames-L。兩者以兩步影片 diffusion 生成 480p 影片;團隊也把 FastFrames 加速方法套用到 LingBot 1.3B,讓模型依鏡頭輸入控制畫面。和只加快生成步驟的做法不同,FastFrames 重新處理 KV cache 更新和 VAE 解碼;KV cache 是模型保留前文資訊的記憶,VAE 解碼則把內部表示轉回影像。這些環節原本常被當成固定成本,研究團隊的剖析顯示,它們合計可佔端到端延遲一半以上。
測試數字顯示,FastFrames-S 在單張 B200 GPU 上每幀約 36 毫秒,約每秒回應 28 次,生成品質可匹配一個慢近八倍的同級模型。FastFrames-L 在八張 B200 GPU 上每幀約 45 毫秒,約每秒回應 22 次,畫面質素和真實感則更高。這些結果依賴指定的高階 GPU;不能直接推斷一般工作站也能達到同樣速度。
開發者可在 Linux x86-64、NVIDIA GPU 及相容 CUDA 12.8 的環境下載權重,測試文字生成,或啟動 LingBot 互動示範。項目提供延遲剖析及 VBench 評估流程,方便比較速度和生成品質;團隊亦展示 RealWonder 的物理互動案例,但完整體驗仍需按文件配置相關模型權重。
需要即時回應的互動影片研究團隊,會較容易直接測試這套流程;只想在普通 GPU 上生成短片的人,則要先核對硬件與權重需求。公開資料列出主要測試平台和指標,未提供一般消費級顯示卡的對照數字,因此部署前應以自己的硬件重新量度延遲。