GRNEdit 用少量參數做通用影片編輯

想改影片風格、背景或局部內容,又唔想整段重生成,GRNEdit 提出一條較慳參數的路線。它把可編輯範圍先用 binary evidence 拆清,再逐步細修畫面。

Xidian University

一段影片要改風格、換背景、刪走局部人物,最難通常唔係生成新畫面,而係改得準之餘,原本動作、主體身份同未編輯部分都要保持穩定。GRNEdit 屬於影片編輯框架,處理的正是這類通用影片編輯問題,而且走的是 Generative Refinement Networks 配合 binary evidence 的路線,不是靠大幅加參數去硬推效果。

GRNEdit 先用 binary evidence 分開哪些區域應該被改、哪些內容要盡量維持,之後再沿住 refinement 過程逐步生成目標語意、結構同細節。這樣做的取捨,在於它把編輯能力壓縮到相當輕量的增量上;公開資訊表示,相對 GRN backbone 只增加少於 3% 額外參數,但聲稱可跟領先的影片編輯模型競爭。

從示例看,GRNEdit覆蓋 global style、背景替換、local removal、加入新元素,以及移除字幕等多種任務,重點不是單一特效,而是同一套框架處理不同編輯指令。較適合研究影片生成、內容製作流程,或者想把多種編輯模式收斂到同一模型系統的團隊參考;不過目前公開內容仍以推理程式碼和預印本為主,training code 與 model weights 都未提供,部署與重現門檻仍然存在。

  • 以 binary evidence 先界定可編輯範圍,再逐步 refinement
  • 相對 GRN backbone,只需少於 3% 額外參數
  • 同一框架支援風格化、換背景、移除、添加與複合編輯
  • 公開資料主打推理與結果展示,完整訓練與權重尚未釋出

模型權重暫未開放,但有足夠資訊足夠理解它的方法定位。對關注影片編輯模型的人來說,GRNEdit最有意思的地方,是它把「改動範圍判定」放到生成前段處理,嘗試用更小的參數成本換取更穩定的時序保留與更通用的編輯能力。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, 視覺模型, 視頻模型