FilmFlow: 虛擬電影攝影機代理

FilmFlow 讓創作者用文字指示或參考影片,為 3D 場景生成鏡頭移動。它會結合場景理解與渲染後的視覺回饋,逐步修整鏡頭位置、方向和構圖。

FilmFlow accepts text or a reference video and a 3D scene. Interpreter, Scout, Director, and Critic agents refine camera motion through visual feedback.

想為 3D 場景安排推鏡、環繞或特定構圖,FilmFlow 可將文字指示轉成可執行的鏡頭軌跡,也能把參考影片中的運鏡轉移到另一個場景。這套電影攝影代理系統面向動態 3D 環境,處理的是如何把拍攝意圖落實成有時間安排、能在場景中執行的鏡頭動作。

FilmFlow 由四個代理協作:Interpreter 理解場景並整理鏡頭意圖,Scout 尋找合適的起始視點,Director 安排鏡頭操作及其時間和參數,Critic 則檢視渲染結果並提供修正方向。Director 可同時組合多項基本操作,控制鏡頭平移、旋轉和取景;整個流程會根據畫面回饋反覆調整,而非只輸出一段抽象描述。

兩種輸入方式適合不同工作流程:文字導向生成讓創作者直接描述鏡頭動作與構圖要求;參考影片導向生成則適合借用既有片段的運鏡,並套用到另一個 3D 場景。這可用於虛擬場景分鏡、動畫預演及 3D 鏡頭設計,但生成效果仍取決於指示能否表達清楚,以及場景是否提供所需的視覺條件。

研究團隊同時推出 CinemaBench,涵蓋 150 個 Blender 場景、750 項文字導向任務和 60 段參考影片,用來評估文字導向與影片導向的鏡頭生成。提供的資料沒有列出基準測試成績,也未交代安裝或使用流程,因此目前可確認的是系統設計與評估集規模,不能據此判斷其性能表現。

  • 支援文字指示與參考影片兩種鏡頭生成方式。
  • 以四個代理分工處理場景理解、起始視點、鏡頭規劃和畫面檢視。
  • 可組合平移、旋轉與取景操作,並以渲染結果反覆修整。
  • 適合 3D 場景的鏡頭設計、分鏡及動畫預演。
  • CinemaBench 收錄 150 個 Blender 場景、750 項文字任務及 60 段參考影片。

項目主頁

Categories: 開源, Agentic, AI productions, Video, 框架, Content Creator, 3D, 動畫