WaveForcing:讓多步影片生成每秒 134.8 幀

WaveForcing 讓多段影片同步去噪,持續輸出畫面;高速度背後,仍要付出多張高階 GPU 的成本。

Wave Forcing logo

WaveForcing 讓影片不同片段同步去噪,毋須逐段完成才繼續。這套串流影片擴散方法在流水線填滿後,每輪前向運算便輸出一個片段,適合研究連續影片生成的團隊。

Wave Parallelism 讓各張圖形處理器(Graphics Processing Unit,GPU)持有完整模型,分工處理不同片段與去噪階段,而非拆開模型。較嘈雜的新片段可參考較乾淨的舊片段,Wave Runtime(WaveRT)則把資料傳送與運算重疊,減少等待。

  • WaveForcing-1.3B 提供 4-step、5-step 權重。
  • 推理程式與 WaveRT 已開源。
  • 快速開始範例採用八張 GPU,並非單卡配置。

測試環境已驗證 Python 3.12、PyTorch 2.11.0+cu128、SGLang diffusion runtime 及 Hopper GPU。準備測試須下載基礎模型與 WaveForcing 權重。

4-step 版本在八張 H200、832×480 解像度下,連同解碼達每秒 134.8 幀。這個結果展示多卡串流吞吐量,不能當作單卡速度或首幀延遲;硬件成本仍是採用門檻。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, AI productions, 模型, 視頻模型, Video, Python, 中國

387 篇獨特論文與資源,關於影片生成遇上 Harness

想了解 AI 影片生成如何由單次生成走向規劃、互動和持續改進,這份研究索引整理了 387 篇論文與相關資源,並提供三條互補的閱讀路徑。

Video Rebirth

由創作影片、探索生成世界,到改進生成系統,研究者關心的問題各不相同。Awesome Agentic Video Generation 是一份論文與資源索引,整理 Agent harness 如何連接目標、工具、記憶、回饋與執行流程,協助讀者追蹤 Agentic Video Generation、Agentic World Modeling 和 Recursive Self-Improvement(RSI)相關研究。

三條閱讀路徑分別聚焦影片創作流程、生成世界中的行動與狀態,以及資料整理、模型訓練、評估和改進程序。它們代表不同研究情境,而非能力排名;同一項資源亦可能出現在多條路徑中,387 是去重後的總數。

索引收錄的題目涵蓋從創作簡報規劃影片、生成鏡頭和後期剪輯,到讓代理在生成世界中行動並維持狀態。例如 CutVerse 聚焦媒體後期剪輯的 GUI agents benchmark;CineAGI 探討以 LLM 編排多模態生成及跨場景整合。這些題目讓讀者可以按工作流程或研究問題尋找相關方向,但索引本身不代表每個項目都已證明具備 RSI。

  • 創作:查找規劃、素材、鏡頭生成、剪輯與來源追蹤相關研究。
  • 互動:追蹤動作條件影片、語意控制、狀態記憶及互動世界評估。
  • 改進:了解資料、訓練、評估和 harness 改進如何支援未來的 RSI 研究。
  • 延伸閱讀:資源連結通往論文或項目;整理者亦提供貢獻入口,方便提交新資源。

對研究者、影片生成系統開發團隊,以及需要快速掌握相關文獻的讀者,這份索引可作為分類閱讀的起點。它的價值在於整理與導覽,而非提供可直接執行的影片生成工具。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, Video, World-Action Model, 工具, Dataset 數據集

ReGap-Bench:視覺與推理分開評測

模型看見物件,不代表能逐步追蹤它們。ReGap-Bench 用可配對的視覺參照,測出多模態推理究竟卡在哪裏。

Teaser

模型明明看見圖中所有物件,數數時卻會重複計算;ReGap-Bench 是一個針對 multimodal large language models(MLLMs)的資料集與評測項目,專門檢查語言推理能否正確對應視覺中的物件、區域和位置,並將問題命名為 reference gap。

它把同一場景、問題和答案固定,只更換額外參照,形成 paired reference-intervention benchmark。編號讓物件可以被索引,陰影標示有界區域,網格線則協助定位、追蹤邊界和比較位移;參照是否配合任務,會直接影響推理結果。

  • 涵蓋 shape counting、angle ranking、size ranking、clock ranking 和 transformation prediction 五項任務
  • 共 200 個場景及 3,400 張圖片,設有 plain、numbering、shading 和 grid 條件
  • task-matched references 可令所有受測模型在所有任務提升,最高達 25%
  • mismatched references 幫助有限,甚至會令表現下降

測試可用 OpenAI、Google Gemini API,亦可透過 vLLM 執行 Qwen3.5;後者需要 GPU,API 模型則只需設定相應金鑰。Python 3.10 環境和 requirements 已列明,輸出會保存到 outputs,方便比較同一模型在不同參照條件下的差異。

ReGap-Bench 的價值不在於再加一個總分,而是把視覺感知和語言推理之間的接合問題單獨拉出來。結果支持一個務實判斷:改善模型未必只靠更強的視覺編碼器,為任務建立合適的外部視覺參照,也可能成為不需重新訓練的 visual skill;不過參照錯配會反過來干擾模型,因此它更適合研究團隊、MLLM 評測人員和需要分析多步視覺推理失誤的開發者。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 模型, 多模態模型, 模型訓練, Qwen, Google, OpenAI, Gemini, API, Image, Python, Dataset 數據集, Skill 技能

GLOW-FM:單步提升低光影像質素

GLOW-FM 把低光影像增強壓縮至一次網絡運算,兼顧生成質感與推理效率,適合資源有限的影像處理場景。

Low-light kitchen scene

低光相片往往同時缺乏細節和自然色彩,逐步生成雖然有助改善觀感,卻增加運算成本。GLOW-FM 是一個低光影像增強(Low-Light Image Enhancement, LLIE)模型項目,透過一次網絡評估恢復影像,處理高質素與低延遲之間的取捨。

項目把影像先映射到緊湊的 latent space,再由輕量 Tiny-VAE 和 Hourglass Diffusion Transformer(HDiT)合作完成修復。HDiT 以 Terminal Velocity Matching(TVM)訓練,推理時只需一步;GLOW-FM-S 的公開規模為 34 GFLOPs 及 9.1M 參數,對邊緣裝置或需要批量處理的工作流程較有吸引力。

  • 一次 function evaluation,避免傳統 diffusion 反覆採樣
  • 在 LSD-DLL 等資料集展示具競爭力的影像質素
  • TVM 專門用於低光增強,並與其他單步目標作比較
  • 跨資料集結果在比較方法中具較強泛化能力

GLOW-FM 延續曾於 NTIRE 2026 Low-Light Image Enhancement Challenge 取得第一名的 LFM-LLIE,但更集中處理效率與單步推理。儲存庫要求 Python 3.11 或 3.12,以及具 CUDA 支援的 PyTorch 環境;README 提供 setup.sh 和依賴安裝方向,但目前提供的資料未足以確認預訓練權重、完整推理指令或 CPU 執行方案。研究團隊、影像增強開發者,以及需要在 GPU 資源受限環境處理夜景相片的團隊,可先按其環境要求建立測試環境,再核對模型權重和推理流程。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, 影像處理, Python, 庫, Dataset 數據集

FrameForge「換場景、不換主角」統一三種影像生成

FrameForge 把 HunyuanVideo 1.5 的影片時間帶入影像生成,讓同一套模型處理主體生成、邊緣圖生圖和指令式編輯。

Repository image for Lyne1/FrameForge

同一張參考圖可以用來保留主體、遵循 Canny 邊緣結構,或按照文字指令改變內容,但三種任務對「要保留多少、要改變多少」的要求並不相同。

FrameForge 是一個「給它一張參考圖,再用文字指示生成或修改圖片」的 AI 研究專案。它的特色是借用影片模型理解畫面變化的能力,來處理靜態圖片。

它用同一個模型處理三種工作:

功能 你提供什麼 可以做什麼
參考主體生成 一張人物、動物或物件的參考圖,加上文字描述 保留主體的辨識特徵,重新生成不同場景,例如把同一隻狗放到海灘上
邊緣圖轉圖片 一張 Canny 邊緣圖,也就是描出物件輪廓的線條圖,加上文字描述 依照既有輪廓、姿勢與構圖生成完整圖片
文字指令修圖 原始圖片,加上修改指令 改變動作、加入物件或轉換風格,例如「把貓的動作改成睡覺」,同時盡量保留其餘內容

這三種功能分別適合「保留是誰/是什麼」、「保留畫面結構」以及「修改指定內容」的需求;不是每次都從文字重新生一張毫無關聯的圖。

技術上有兩個重點:
– MoTE:動態選擇不同的虛擬時間間隔,對應不同程度的畫面變化。
– CoTR:加入一個潛在中間狀態,作為原圖轉換到目標圖的中間路徑。

官方已提供推論程式及模型下載方式,環境需要 Linux、Python 3.10 和支援 CUDA 的 GPU;公開流程以 512 × 512 輸入及輸出圖片、50 次去噪步驟運行,部分模型下載也需要先申請存取權。

注意「同一個模型整合三類圖片工作流程」,可作為評估自建圖像生成/編輯服務的 PoC 起點。官網目前提供的是研究結果與部署入口,不能直接視為已具備完整產品能力。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Stable Diffusion, Video, Image, 影像模型, Linux, Python, 庫, 中國, LoRA

DSH Superagent Prototype 超級智能接單、改碼並自動回覆團隊

團隊在 GitHub 的改碼工作,將會由代理獨立處理並回覆成果。

Repository image for deepseek-ai/dsh-superagent-prototype

DeepSeek Harness 透過 dsh-superagent 套件,讓團隊在 GitHub 交辦工作後,由編程代理獨立處理工作,再於原對話回覆。這個研究原型服務單一GitHub Repo,亦可選接 Feishu。

先留意:作者明確標示佢係研究原型,唔係正式 DeepSeek 產品,亦未達 production-ready;首次試用唔好直接駁客戶正式 repo。

dsh-superagent 能減少團隊打擾納入工作流程:只有獲授權者提出要求,或團隊規則允許,代理才會行動;需要人手介入或有可用成果才發言。

  • 獨立處理每個工作項目
  • 網頁面板集中展示待人手處理事項
  • 按 SETUP.md 由編程代理協助安裝及配置

維護單一儲存庫的團隊可用它試驗代理協作,但設定涉及多個步驟;006 Deployment 文件涵蓋手動設定、升級及故障排查。開發檢查包括型別檢查、測試及建置,未提供量化效能結果。

GitHub

Categories: 開源, Agentic, DeepSeek, 庫, 編程

ai-manju-skills 一句故事點子延伸成動漫製作流程

由企劃、分集劇本一路寫到分鏡提示詞和發布文案,這套模板把 AI 漫劇製作拆成可逐步推進的工作流程。21 種題材可供選用,但測試覆蓋程度不一,生成內容仍需自行檢查。

Repository image for zhanghao123vip/ai-manju-skills

由一句故事點子開始,創作者可以逐步整理出企劃、人物與世界設定、分集劇本、分鏡和影片提示詞,再準備封面及發布文案。ai-manju-skills 是一套 AI 漫劇創作模板,針對製作流程中不同階段的內容整理,提供 21 種題材的 SKILL.md,不需要安裝依賴。

流程分成五部分:企劃案、人物與場景等資產提示詞、分集劇本、分集導演手冊,以及發布包。預設規格為 30 集、每集約 4 分鐘和 9:16 直屏,亦可以在故事點子中指定其他設定;篇幅較長的輸出會分批生成,再用「繼續」推進。這讓創作者能逐段修改內容,而不是一次處理整部作品。

模板可貼到 DeepSeek 等聊天工具使用,也支援 Claude Code 和 WorkBuddy。聊天工具的做法是選定題材、貼上完整模板,待模板就緒後再提供故事點子;一部劇建議使用獨立對話,減少不同故事設定混在一起。Claude Code 則可把所需題材資料夾放入 ~/.claude/skills/;使用其他影片工具時,提示詞用 {{Mixed N}} 引用第 N 張參考圖,換工具時需改成相應寫法。

目前版本已在 WorkBuddy 測試;玄幻修仙版曾作實際使用測試,宮斗、宅斗、年代文、系統無限流、總裁甜寵、重生復仇和職場商戰完成安裝檢查或階段試跑,其餘題材尚未逐一測試。模板要求人物和設定保持原創,但生成內容的品質、版權和平台合規仍需創作者自行把關,懸疑刑偵與民俗怪談亦要留意平台規則及 AI 生成標示。

  • 21 種題材模板,涵蓋幻想、古代、現代和類型片。
  • 由故事企劃延伸至劇本、分鏡提示詞和發布文案。
  • 可在聊天工具、Claude Code 或 WorkBuddy 使用,毋須安裝依賴。
  • 預設每部 30 集、每集約 4 分鐘,可按故事需要調整。
  • 測試並未涵蓋全部題材,發布前須自行核對內容與平台要求。

GitHub

Categories: 開源, AI productions, DeepSeek, Video, 提示詞, 工具, Content Creator, Anthropic, Skill 技能

RGB MoCap:把影片動作變成可編輯角色動畫

拍一段影片即可重建人體動作,再修正接觸點、套用角色並匯出動畫。

RGB MoCap workspace showing video tracking and a 3D motion preview

拍攝一段人物影片後,RGB MoCap 會重建人體動作,讓你在 3D 預覽中檢查身體網格與骨骼,再輸出可編輯的人體動畫。這個項目屬於本地運行的 Windows 動作捕捉工具,主要處理由普通影片取得角色動作、修正滑步,以及套用到不同角色格式的工作。

它不只追蹤身體,還提供腳掌和手掌接觸修正,接觸時間可以手動調整;動作可重新套用到 Mixamo FBX、VRM 和 PMX 人形角色,並輸出 FBX,亦可選擇是否連同網格一併匯出。多個 AI 模型的結果能分開保存,方便比較和重做。

安裝需要 Git for Windows、Blender、FFmpeg,以及 ExMR、FlowHMR、GVHMR 等模型運行環境;模型權重和註冊的人體檔案要在 Model Manager 另行準備,部分模型需要帳戶登記和手動下載。MAMMA 與 PromptHMR 屬於可選運行環境,另需 Visual Studio 2022 C++ Build Tools、Windows SDK 和 CUDA Toolkit 12.8;PEAR 則可用於 webcam 或影片中的單人即時身體及手指骨骼預覽。

  • AI 處理在本機完成,適合重視素材私隱的 Windows 使用者
  • 支援多人重建、動作骨骼預覽和 Multi Cam MoCap 工作流程
  • 接觸修正可減少滑步,但仍需人工檢查時間點和追蹤結果
  • 角色重定向涵蓋 Mixamo FBX、VRM、PMX,方便接入 3D 製作流程

提供安裝、更新、模型準備和恢復指引,也附有動作捕捉及角色重定向示例。適合視為可本地測試的製作工具,而不是已有完整性能保證的商用捕捉系統;動畫師、VRM/PMX 角色創作者,以及需要把影片動作帶入 Blender 的團隊會較容易受益。

GitHub

Categories: 開源, AI productions, 模型, NVIDIA, API, Video, 工具, Content Creator, 3D, 庫, 動畫, Dataset 數據集

agent-desktop:讓 AI 代理讀取並操作桌面應用程式

以 OS accessibility tree 取代像素定位,讓 AI 代理操作桌面應用程式並逐步核對結果。

Repository image for vercel-labs/agent-desktop

要讓 AI 代理操作桌面應用程式,agent-desktop 讀取 OS accessibility tree,以 ref 指向按鈕、輸入框等元素,再用 JSON snapshot 核對結果。這個跨 macOS、Windows、Linux 的 CLI 與 C library 不靠 pixel matching,將控制循環留在 agent。

可透過 npm 安裝並先確認 version;macOS 要 Accessibility permission,Linux 要 graphical session 及 at-spi2-core,Windows 受終端機 integrity level 限制。macOS command host 保留 native accessibility objects,減低舊 identifier 誤連到已移除元素的風險。

  • 適合:需要 AI 控制桌面軟件、並自行編排 agent 的團隊。
  • 限制:沒有 benchmark 或成功率;JEV helper 與 native CLI 分開,headless calls 亦禁止 foreground activation 和 synthesized input。
  • 私隱:snapshot、screenshots、剪貼簿及 debug artifacts 可能含私人內容,不應放入公開 logs。

項目更像桌面操作底層而非完整代理,是否適合取決於目標程式的 accessibility 支援、權限和資料處理方式。

GitHub

Categories: 開源, Agentic, 軟件, Mac, Linux, 庫, Dataset 數據集

h3-motion:沿路徑移動照片主體並重生成影片局部

沿路徑移動照片主體,或為影片局部加上遮罩再重新生成;h3-motion 透過自架 ComfyUI 串連影像理解與動畫模型。

Select step: a gloved hand picked out with SAM 3.1

想沿路徑移動照片主體,或只重做影片局部,h3-motion 把兩種編輯流程整合在獨立 React app,透過 Comfy SDK 操作自架 ComfyUI。流程只用開放權重模型,不依賴 Comfy Router、合作夥伴節點或封閉 API。

照片流程以 SAM 3.1 選取主體,並可用點擊修整遮罩;Qwen3-VL 描述主體,Qwen Image 2.1 清除主體並補回背景。使用者設定路徑、大小或翻轉後,由 MiniMax H3 透過 Time-to-Move 生成動畫與聲音。

影片可用矩形或橢圓標出範圍,設定 keyframe 路徑或讓遮罩跟隨物件,並加入描述及可選參考圖。H3 重生成遮罩區域後,由 app 合成回原片;原有聲音可保留、參照或替換。

  • 照片:主體分割、背景清除,再沿路徑生成動畫。
  • 影片:局部遮罩、路徑或物件跟隨,並合成回來源影片。
  • 模型串連 SAM 3.1、Qwen3-VL、Qwen Image 2.1 與 MiniMax H3。

需要 NVIDIA 或 AMD GPU、近期 ComfyUI、ComfyUI-vlo 0.3.0 或更新版本,以及 Node.js 22.12 或更新版本;原生 Windows 尚未測試。文件未提供速度或畫質評測,較適合熟悉 ComfyUI、需要精細編輯影像局部的創作者。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Qwen, NVIDIA, API, Video, Image, Audio, Content Creator, 動畫, MiniMax

Page 3 of 118
1 2 3 4 5 … 118