Audio

RelayVSR：用稀疏關鍵幀加速 4×影片超解像

2026 年 11 月 7 日

RelayVSR 讓大型生成模型只處理稀疏關鍵幀，再交由輕量網絡完成串流放大，兼顧細節、速度與記憶體用量。

低清影片要放大四倍，往往要在細節真實感與處理速度之間取捨。RelayVSR 屬於影片超解像模型項目，讓大型 Wan 模型產生稀疏參考，再由輕量 Dual-Memory Video Transformer 重建其餘畫面，減少逐幀使用生成模型的成本。

RelayVSR 的流程不只是把兩個模型串起來：Video-Aware Reference Optimization（VARO）以影片層面及關鍵幀層面的獎勵，透過強化學習改善參考品質，降低錯誤關鍵幀在後續畫面累積的風險。輕量模型會結合關鍵幀細節與近期影片內容，支援有限前看及雙端點條件。

在單張 NVIDIA A100 80GB、1080p 及 15 幀關鍵幀間隔下，雙端點 RelayVSR 達到 29.29 FPS，峰值 GPU 記憶體為 13.82 GB，首幀模型延遲 0.327 秒；FlashVSR-Tiny 則為 7.80 FPS、24.447 GB 及 2.83 秒。這個比較反映它把速度和記憶體壓力放在系統協作，而非單一大型模型硬撐。

支援 4×輸出，保留輸入影片 FPS
Linux、Python 3.11–3.13 及 NVIDIA GPU
Wan 與 Flash 兩個 safetensors 權重分開載入
可處理 MP4 或按順序排列的圖片資料夾
不會複製原影片音訊，長片可用 --max-frames 限制處理量

要試用項目，需要先取得兩個 Hugging Face 權重，再以 inference.py 指定輸入影片；預設每 15 幀產生參考端點，也可調整 --window-size。它較適合需要串流處理、長影片放大或受 GPU 記憶體限制的研究者與影像工作流程，但輸出沒有音訊，亦仍依賴 NVIDIA GPU，未必適合一般消費級電腦直接處理高解像長片。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 視頻模型, NVIDIA, Video, Image, Audio, Linux, Python, 中國, 強化學習

VidDub：用兩步去噪讓影片嘴形跟隨新配音

2026 年 11 月 6 日

換了配音，嘴形也要跟着改。VidDub 嘗試保留人物與場景，同時縮短影片生成所需步驟。

替訪談或角色影片換上新配音，VidDub 這套音訊驅動影片配音系統會調整嘴形，目標是保留原有人物、頭部姿態與背景，適合需要沿用原片表演的創作流程。

原音重建訓練會要求模型重現錄下的嘴形，換成另一段說話後便可能形成衝突。VidDub 以 replacement-aware cross-audio supervision，在替換語音樣本中遮蔽原嘴部的重建監督，改由聲畫同步訊號引導發音動作。

完整上下文教師模型再經蒸餾訓練出兩步去噪學生模型，壓縮生成步驟。項目報告單張 H20 達 11.3 FPS，但限於輸入已完成預處理的測量，不能視為端到端即時速度。

長片透過重疊窗口推理。
提供模型權重與訓練程式碼。
可透過社群示範或 OpenDub 應用體驗。

三個訓練種子的實驗中，移除衝突嘴部監督令替換音訊 Sync-C 同步評分提升 0.833±0.04。配音團隊仍宜用自己的素材檢查嘴形、人物一致性及長片接縫；同步分數不足以代表整段成片品質。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, NVIDIA, Video, Audio, 語音, Dataset 數據集

VeriSpoof 偵測深偽語音並追查來源

2026 年 11 月 5 日

VeriSpoof 不只判斷錄音是真是假，也能比對生成來源、定位合成片段，並用可核對的短句解釋判斷依據。

面對疑似深偽語音，單一真假分數往往不足以支援鑑證；調查者還要追查生成系統、比較兩段錄音是否同源，並確認結論依據。VeriSpoof 是一個語音鑑證音訊語言模型項目，以同一組權重處理這些問題，並將判斷寫成可對照音訊與資料標籤的短句。

它不另設偵測或來源驗證專用輸出頭，而是比較模型對不同答案句子的可能性，將差值用作分數。解釋可涵蓋頻寬、訊噪比、音量、聲道影響、合成片段位置與來源特徵；這令使用者能檢查模型提出的線索，而非只收到「真」或「假」的結論。

VeriSpoof-Plus 在 Speech-DF-Arena 的 14 個測試集取得 2.14% pooled EER，在 28 個系統中排第三，並在開放權重系統中排名第一。同一組權重亦能比較訓練時未見過的生成器來源，EER 為 6.2%；在 PartialEdit 測試中，經推理的理由能找出 99.6% 的局部偽造片段，一步作答則為 78.4%。

項目同時提供 VeriSpoof-Base 和 VeriSpoof-Plus 模型、推理套件、線上示範及 VeriSpoof-Bench 資料集；可先用示範查看錄音分析結果，再以推理套件離線處理測試音訊。訓練只更新 2.85B 參數中的 29.7M，項目稱可在一張 24 GB GPU 上完成訓練，但這不代表推理資源需求相同。

一套權重支援真假判斷、來源比對與語音鑑證解釋。
局部偽造定位有助檢查整段錄音中只被修改的部分。
開放權重版本在指定基準取得具競爭力的結果，不能直接推論為適用所有語言、錄音條件或生成器。
鑑證團隊與研究人員可用示範、離線推理套件及基準資料集檢查輸出；關鍵判斷仍應回到音訊與來源證據核實。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, Qwen, Audio, 語音, Dataset 數據集

ComfyUI-ShotWorkspace：把分鏡素材整理與影片提示詞寫作納入 ComfyUI

2026 年 11 月 4 日

準備角色、道具和場景參考圖，再整理分鏡描述、撰寫 MiniMax H3 影片提示詞，並接上原有的 ComfyUI 生成流程。模型、取樣與解碼仍由接收工作流程負責。

Shot Workspace inside the ComfyUI canvas

整理分鏡時，參考圖、描述和生成提示詞往往分散在不同步驟；ComfyUI-ShotWorkspace 把這些創作工作同時放進 ComfyUI，讓創作者準備素材、修訂鏡頭描述，再撰寫 H3 影片提示詞。這是個實驗階段的 Custom Node，負責生成前的寫作及整理，不取代影片生成工作流程。

創作者可分別上載角色、道具和場景圖片，使用影像分析產生可編輯描述，再挑選當前鏡頭的參考圖並按次序送往接收工作流程。文字生成和圖片分析透過 API 連接 LLM 伺服器呼叫；影片模型權重、取樣及解碼則由原有工作流程處理，兩者需要分開安裝和測試。

每次佇列只處理一個鏡頭，項目不負責編排完整影片序列。前一鏡頭的輸出不會自動成為下一鏡頭的輸入，使用者須自行選擇前置鏡頭；工作流程之間傳遞的 LATENT 格式亦必須相容。音訊、影片和 LATENT 接口可傳遞媒體，但不會自動把這些內容加入大型語言模型提示詞。

需要 ComfyUI、Python 3.10 或以上版本，以及符合要求的 aiohttp 和 Pillow，依賴項須安裝到執行 ComfyUI 的 Python 環境。
項目不附帶模型權重；LLM 伺服器、接收工作流程所需節點及 H3 權重都要另行準備。
H3 輸入影格按 24 fps 的 17k+5 網格安排；取樣時長在上下文裁切前設定，交付影片可能短於指定時長。
工作流程會保存創作資料、檔名和伺服器網址；圖片本身留在 ComfyUI 的輸入目錄，分享前宜檢查保存內容。

這套工具較適合已經使用 ComfyUI、希望把分鏡準備和提示詞撰寫納入既有流程的創作者或小型製作團隊。它減少素材與文字在工作流程間來回整理的需要，但不提供完整序列編排，也不能單靠 LLM 連線測試確認影片生成正常。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Video, Image, Audio, 提示詞, 工具, Content Creator, MiniMax

TaoMate-FVSR：用音訊與稀疏參考修復人臉影片

2026 年 11 月 4 日

小臉在影片中容易失去細節，換上新配音時口形也可能對不上。TaoMate-FVSR 把音訊、參考畫面與生成歷史一併用於人臉修復，亦支援視覺配音。

影片中的人臉太小或細節模糊，單純放大未必能還原自然的面貌；換上新語音後，嘴形亦要配合音訊。TaoMate-FVSR 是一套人臉影片修復推理工具，利用音訊、稀疏的視覺參考和生成畫面歷史重建臉部，支援保留原聲修復，以及配合替換語音進行視覺配音。

它把臉部細節與口部動作放在同一個重建流程處理，並以來源影片保留場景結構，再由高質素參考提供外觀線索、目標音訊引導嘴部動態。相比先做超解像、再交給另一個配音模型的分段流程，這種聯合處理方式有機會減少修復結果與口形之間的不一致。

畫面可用 GPEN 處理首幀作參考，也可以提供自行編輯的首幀或完成的參考圖。推理流程會先以 DWPose 裁切人臉，再做修復、色彩與遮罩融合，最後貼回原影片；模型可按 1× 或 2× 尺寸運算，合成前會縮回 512×512，因此輸出場景維持原有尺寸。全場景比較也有助檢查修復臉部與原本畫面是否協調，但身體和背景不會一併提升解像度。

支援原始音訊修復及替換語音配音。
可用 GPEN、外部編輯首幀或完成的參考圖提供外觀線索。
1× 與 2× 推理分別使用 512×512 與 1024×1024 處理尺寸。
執行需要支援 BF16 的 NVIDIA CUDA GPU，以及 CUDA 版本相容的 PyTorch 2.6 或更新版本和 torchvision 0.21 或更新版本。

這套工具較適合需要修復 AI 生成影片人臉、製作配音版本，或比較局部臉部細節與完整場景效果的創作者及研究團隊。參考畫面質素和場景合成效果都會影響最後成果，正式製作前宜用自己的素材測試。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, NVIDIA, Video, Audio, 工具, Content Creator, 線上服務, 語音

Garden Skills：讓 AI coding agents 承接影片、設計與寫作流程

2026 年 11 月 4 日

從程式生成短片、網頁設計到整理知識庫，Garden Skills 把多種工作流程包成可供 AI coding agents 使用的技能。創作型工作尤其著重分階段確認與一致的輸出控制。

想用 AI coding agent 製作短片、網頁簡報或整理本地知識庫，Garden Skills 提供一組可加入工作流程的 Agent Skills，適用於 Claude Code、Cursor、Codex 等工具。它不是單一模型，而是涵蓋影片製作、前端設計、影像提示、文章生成與知識檢索的技能集合；各技能如何安裝可按項目文件提供的方式處理，但這份資料未列出完整操作步驟。

影片相關技能的重點，是把畫面與聲音放進同一條時間軸，並由同一個頁面產生不同階段的輸出，包括靜態畫面、聯絡表、預覽代理檔及成品。創作者可以選擇多種視覺風格，調整動態、鏡頭語法和聲音方向；配樂可由內置合成器或 Tone.js 產生，也可以配合自備音軌及節拍、段落變化剪輯。

創作流程設有兩個確認點：先確認需求，再確認風格畫面；若未指定風格，會提供三個方向供選擇，之後才進入自主製作。長片支援分章製作，最長可達 20 分鐘；Gemini 或 MiniMax TTS 只會朗讀使用者提供的稿件，錄音則以實際時間戳記對齊，音樂與音效亦會為旁白讓位。這些安排適合需要反覆檢視視覺方向、又希望聲畫時間一致的內容團隊，但資料沒有提供效能測試或品質評分，成品仍需自行檢查。

其他技能分別處理網頁影片簡報、前端設計、GPT Image 2 提示與影像生成、美化文章，以及本地知識檢索。對需要把重複創作步驟交由 AI coding agent 執行的設計師、影片製作者及內容團隊，這種技能集合比只提供單一功能的工具涵蓋更廣；取捨是各項工作的品質和適用程度，仍取決於所選技能、模型與輸入內容。

【经验开源】AI 做动画视频完全指南：原理、技巧、Skill 一次给全

Watch this video on YouTube

六種技能涵蓋影片、網頁、影像、文章及本地知識檢索。
影片輸出由同一頁面生成，畫面與聲音共用時間軸。
風格確認後才開始自主製作，未指定時可先比較三個方向。
長片支援分章製作至 20 分鐘，旁白須使用者提供稿件。
項目文件列出多種安裝途徑，但目前提供的資料未包含完整安裝流程或評測結果。

GitHub

Categories: 開源, Agentic, AI productions, Gemini, Video, Image, Audio, Vibe Coding, Content Creator, IDE, 庫, 編程, 音樂, MiniMax, Skill 技能

[技術文章] 影片生成的背後故事：Kling 的多模態理解觀察與見解

2026 年 11 月 4 日

影片生成的瓶頸正由畫面渲染轉向語意控制。Kling 團隊拆解資料、提示、對齊與評估環節，說明如何令生成結果更貼合使用者意圖。

當影片生成要跟從複雜描述、維持人物與物件一致，單靠提升畫面品質並不足夠。Kling 團隊的技術報告聚焦多模態理解，分析資料、條件輸入、對齊和評估如何共同影響生成結果，適合關注可控影片生成的研究者與產品團隊參考。

研究以 Kling-MLLM 為共用基礎模型，處理圖片、影片、音訊、同步影音及交錯輸入，再按不同下游任務作專門調整。團隊指出，DiT 的訓練樣本遠少於語言模型，因此字幕不能只求流暢，而要作為高密度的語意契約；延伸出的 reference-grounded captioning，亦會明確標示描述與參考內容的對應關係。

提示詞增強負責把使用者意圖轉成生成模型較能處理的描述分佈。基本方法由優質影片字幕整理而成，再配合文字層面的強化學習及生成器迴圈微調；agentic prompt enhancement 則會進一步整理故事，並檢索具參考價值的例子。報告亦指出，可靠的 text encoder 需要感知訓練，單純提升語言能力並不足夠。

報告涵蓋的技術重點包括：
– 以共享多模態模型支援不同輸入形式及下游模組。
– 用高密度字幕和明確參考綁定，補足訓練語意與素材之間的連結。
– 以可解釋、能定位問題的通用 reward model，配合快速多維評分的 decision reward model。
– 設計任務專用自動評估，揭露評分捷徑，並協助追查上游失誤。

這套思路適合用於影片生成系統的資料整理、提示處理、模型對齊和品質診斷；團隊也強調，感知能力、描述品質與評估協定需要一併設計。內容屬於 Kling 團隊對其多代系統經驗的整理；提供的資料亦未列出可供外部讀者直接重現的完整流程。

Paper

Categories: Agentic, AI productions, 多模態模型, 視頻模型, 模型訓練, Video, Image, Audio, 提示詞, 強化學習

h3-motion：沿路徑移動照片主體並重生成影片局部

2026 年 10 月 31 日

沿路徑移動照片主體，或為影片局部加上遮罩再重新生成；h3-motion 透過自架 ComfyUI 串連影像理解與動畫模型。

Select step: a gloved hand picked out with SAM 3.1

想沿路徑移動照片主體，或只重做影片局部，h3-motion 把兩種編輯流程整合在獨立 React app，透過 Comfy SDK 操作自架 ComfyUI。流程只用開放權重模型，不依賴 Comfy Router、合作夥伴節點或封閉 API。

照片流程以 SAM 3.1 選取主體，並可用點擊修整遮罩；Qwen3-VL 描述主體，Qwen Image 2.1 清除主體並補回背景。使用者設定路徑、大小或翻轉後，由 MiniMax H3 透過 Time-to-Move 生成動畫與聲音。

影片可用矩形或橢圓標出範圍，設定 keyframe 路徑或讓遮罩跟隨物件，並加入描述及可選參考圖。H3 重生成遮罩區域後，由 app 合成回原片；原有聲音可保留、參照或替換。

照片：主體分割、背景清除，再沿路徑生成動畫。
影片：局部遮罩、路徑或物件跟隨，並合成回來源影片。
模型串連 SAM 3.1、Qwen3-VL、Qwen Image 2.1 與 MiniMax H3。

需要 NVIDIA 或 AMD GPU、近期 ComfyUI、ComfyUI-vlo 0.3.0 或更新版本，以及 Node.js 22.12 或更新版本；原生 Windows 尚未測試。文件未提供速度或畫質評測，較適合熟悉 ComfyUI、需要精細編輯影像局部的創作者。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Qwen, NVIDIA, API, Video, Image, Audio, Content Creator, 動畫, MiniMax

CoSTA：壓縮語音生成序列，提升對話模型推理速度

2026 年 10 月 31 日

語音對話模型可以先產生較短的語音 token 序列，再還原成原有格式的合成波形。CoSTA 在中英文基準測試中提升生成速度，並保留原有語音 tokenizer 和 decoder。

CoSTA separates compressed speech-token generation from original-token synthesis.

語音對話模型要逐個生成語音 token，序列較長時會拖慢回應。CoSTA 是一套語音模型適配方法，透過壓縮生成序列加快推理，同時保留原有語音 tokenizer 和 decoder，讓壓縮後的 token 可在合成波形前還原。

CoSTA 使用 byte-pair encoding（BPE）學習合併語音 token，並以原有 token 的 embedding 和 LM head 權重平均值初始化新增詞彙。適配分階段進行：先訓練發音，再調整語音對話輸出，讓模型生成交錯的文字與語音內容。它改變的是生成時使用的 token 空間，而非取代負責語音合成的原有元件。

在中英文基準結果中，CoSTA-ZH 的壓縮序列保留原 token 數量的 66.81%，擴展後語音 token 生成速度為每秒 101.99 個；CoSTA-EN 分別為 70.17% 和每秒 99.05 個。兩者相對 Step-Audio 2 mini 的速度為 173.63% 和 165.94%；這些結果反映特定基準測試，不能直接當成所有模型或硬件上的延遲保證。

對已有語音對話模型、希望提高回應速度而不重建語音合成流程的研究團隊，CoSTA 提供了一條可評估的適配路徑。GitHub 提供程式碼與論文連結，但模型權重及資料集仍標示為即將推出，現有資訊亦未列出完整安裝及測試流程。

壓縮自回歸生成用的語音 token 序列，再於合成前確定性還原。
保留原有語音 tokenizer 和 speech decoder。
中英文基準測試均報告高於 Step-Audio 2 mini 的生成速度。
權重與資料集尚未提供，現階段難以直接復現完整流程。

項目主頁 · GitHub

Categories: 開源, Embedding, 模型, 模型訓練, Audio, 語音, Tokenize

Iching 64 Motion：《易經》六十四卦結構動畫

2026 年 10 月 28 日

想看懂六十四卦如何生成、相互轉換，這部約三分鐘的動畫把卦象、數學關係與經典次序串成一條視覺線索。畫面和配樂均由程式生成，亦可自行預覽及渲染。

由陰陽爻逐步生成六十四卦，再看卦象如何倒轉、互換和變化，iching-64-motion 把《易經》的符號關係整理成一部約三分鐘的知識動畫。它是以程式製作的動畫項目，處理的是如何把抽象卦序和結構轉成可觀看的畫面；內容聚焦符號系統，不提供占卜解讀。

全片分成七章，從邵雍「加一倍法」帶出六十四卦的生成，再以方圓圖、錯卦與綜卦、互卦、變卦、文王卦序、十二消息卦和京房八宮呈現不同關係。陰爻記作 0、陽爻記作 1，六爻卦可讀成六位二進制數；改變一爻，則可視為在六維立方體的頂點之間移動。這些呈現方式讓讀者能從圖像理解卦與卦之間的連結，而非只看靜態卦名。

畫面由 React、SVG 和 three.js 生成，Remotion 負責把場景渲染成影片；六十四卦、卦序等資料由程式推導，配樂則以 Python、numpy 和 scipy 合成，並按畫面事件安排聲音。項目沒有使用外部圖片、影片或音訊素材，視覺與音樂都能納入同一條可重現的製作流程。這對製作資料驅動動畫、教學影片或展覽內容的創作者，提供了可參考的做法。

本機預覽需要 Node.js 18 或以上；可在 Remotion Studio 預覽，再渲染 MP4；不生成配樂仍可預覽畫面。

資料由定義推導生成，涵蓋 384 爻及本卦、之卦的 4096 種組合。
可預覽並渲染影片；生成配樂需要額外安裝 Python 科學運算套件。

GitHub

Categories: 開源, AI productions, Video, Image, Audio, 教學, 工具, Content Creator, Python, 動畫, 音樂

Page 1 of 12

1 2 3 … 12 Next »