線上服務 – Page 32

Wan-Animate-2 把角色動畫推向即時互動

2026 年 8 月 9 日

同一張角色圖，已經可以跟住驅動影片做出更穩定動作，連鏡頭角度都可另外控制。Wan-Animate-2想解決的，不只是畫面靚唔靚，仲包括直播同數字人能否即時用。

一張角色圖片配合一段驅動影片，便可以生成動作自然、表情細緻的角色動畫，這正是 Wan-Animate-2 想處理的核心場景。它屬於角色動畫生成框架，重點不只放在畫質，還試圖解決身份容易走樣、動作細節流失，以及難以支援即時互動這幾個長期卡位。

跟不少依賴中間動作表示的方法不同，Wan-Animate-2 直接把 driving video 餵入重新設計的 Diffusion Transformer，避開 motion extractor 帶來的誤差與 identity drift。這種端到端做法的好處，是角色外觀保持得更穩，細微表情、複雜肢體動作，甚至角色與場景之間較合理的互動，都更容易保留下來。

它另一個值得留意的能力，是加入 text-driven viewpoint control，令輸出鏡頭角度可以跟驅動影片分開控制。對數字人、直播主持、虛擬角色演出這類互動工作流來說，這代表同一段驅動內容不一定要綁死原本視角，使用時更容易配合不同畫面需求。

直接使用 driving video，而不是先抽取中間動作表示
主打更穩定的 identity preservation 與 motion fidelity
支援 text-driven viewpoint control，可分離鏡頭視角與驅動動作
推出 Wan-Animate-2-Lite，目標是把推理延遲壓到即時門檻
預告公開 Wan-Animate-2-Base 權重，方便社群延伸研究

為了走向即時應用，團隊亦提出 Wan-Animate-2-Lite，並用三階段訓練流程去降低 inference latency，包括 teacher forcing pretraining、error buffer mechanism，以及 Self-Forcing distillation 配合 chunk-wise backpropagation。現有結果與使用者研究顯示，它在多種角色和動作模式下都有不錯的高保真表現；不過目前公開資訊仍以研究展示為主，部署成本、硬件需求與長時間串流穩定性，仍要等更多公開細節驗證。

項目主頁

Categories: 阿里巴巴, 視覺模型, Video, Image, 動畫

ComfyUI-MiniMaxH3-Easy：幫 H3 補回可用性

2026 年 8 月 7 日

把 MiniMax H3 放進 ComfyUI 後，最麻煩的接線、引用同提示編排，被整理成較順手的一套介面。

做影片生成時，最阻手往往唔係模型能力，而係節點圖愈接愈亂、參考素材愈加愈難管理。ComfyUI-MiniMaxH3-Easy 屬於 ComfyUI 自訂節點工具，集中處理 MiniMax H3 的 text-to-video、image-to-video 同 reference-to-video 工作流，將原本分散嘅媒體接線、參考標記同提示編輯收埋到同一個操作面。

呢個項目最實際嘅改動，在於保留 ComfyUI 彈性之餘，減少你每次都要手動整理素材順序。主節點用一個 Media 輸入口同時接收圖片、影片同音訊，仲會分開追蹤各自次序；一張圖會走 image-to-video，兩張圖就可用作 first/last-frame generation。做 reference-to-video 時，提示編輯器支援 @ 揀選已連接素材，執行時再自動轉成 MiniMax 建議嘅 <Picture N>、<Video N>、<Audio N> 格式，唔使自己逐個標籤維護。

將多種媒體收進單一 Media 入口，節點圖會乾淨得多
@ 參考編輯器有預覽，較適合需要反覆改 prompt 嘅影片生成流程
# 對話區塊可直接寫成可編輯 block，送出時自動轉成 <d>...</d>
可接 model-only LoRA、Sage Attention patch，亦可直接連到模型相關節點

同類做法通常要求使用者自己記住引用格式、接線順序同素材對應，ComfyUI-MiniMaxH3-Easy 選擇用較重介面包裝，換來較低出錯率同較高可讀性。代價亦明顯：它改善嘅係 MiniMax H3 在 ComfyUI 入面嘅操作層，不是另起一個新模型，也未見提供生成品質、速度或資源佔用測試數字，因此價值主要落在工作流整理，而唔係模型性能突破。

較受惠嘅會係已經用開 ComfyUI、但又嫌 MiniMax H3 節點圖太碎太亂嘅創作者、影片實驗團隊同需要反覆比對參考素材嘅人。部署方式亦唔複雜，理解上可以當成安裝到 ComfyUI 內嘅一組工作流節點：接好模型或 LoRA、把圖片或影片餵入 Media、再用內建編輯器整理引用同對話內容，就可以直接進入生成流程。

GitHub

Categories: 開源, ComfyUI, 視頻模型, Video, Image, Audio, MiniMax

MiniMax-H3 Turbo LoRA 移植 ComfyUI，4 步生成同步聲畫

2026 年 8 月 6 日

呢個版本唔係重新訓練主模型，而係把 MiniMax-H3 Turbo LoRA 轉成 ComfyUI 可直接載入的格式。重點在於 4-step 加速生成，同時保留聲畫同步能力。

想用更少步數生成影片同音訊，呢個頁面最值得留意的地方，是它明確基於 Comfy-Org/MiniMax-H3，而且屬於 adapter 形式的 LoRA，不是完整基礎模型。它針對 ComfyUI 使用的 pruned/curve-form MiniMax-H3 checkpoint 做兼容轉換，目的是讓原本由 larryvrh 發佈的 MiniMax-H3 Turbo LoRA — 4-step audio-video generation preview，可以透過 ComfyUI 內建的 MiniMax-H3 LoRA 載入流程使用。

技術上，核心價值在於把原始 Turbo LoRA 的 four-step distillation 和 dual video/audio sampling 帶入 ComfyUI 工作流。4-step 代表生成步數大幅壓縮，推理延遲有機會下降；頁面同時指出 non-EMA 權重較銳利、較能保持快速動作，EMA 權重則較平滑，但因為當時 EMA 未完全成熟，畫面會較柔。呢種取捨直接影響你想要的觀感：動態表現優先，可先看 non-EMA；畫面過渡想更順，EMA 版本更值得比較。

檔案方面，頁面列出 4 個 .safetensors LoRA 權重，包括初始兼容轉換版，以及兩個 further-trained checkpoint-500 變體：minimax_h3_turbo_4step_pruned_comfyui.safetensors、minimax_h3_turbo_4step_ema_pruned_comfyui.safetensors、minimax_h3_turbo_4step_ckpt500_pruned_comfyui.safetensors，以及對應的 EMA checkpoint-500 版本。

基礎模型已明示為 Comfy-Org/MiniMax-H3，屬於 LoRA adapter 兼容轉換
主要能力是 text-to-video，並帶有 text-to-audio、audio-video、synchronized-audio 標籤
重點方法來自原作者的 four-step distillation，目標是加速推理
頁面提供 ComfyUI workflow 範例下載，定位很明確：直接服務 ComfyUI 用戶

這個 Hugging Face 頁面是第三方整理的 ComfyUI 相容版本，價值在於把原始 MiniMax-H3 Turbo LoRA 接入 ComfyUI 生態，方便直接測試 4-step 聲畫同步生成與 checkpoint-500 變體之間的差異。

項目主頁

Categories: 開源, ComfyUI, 視頻模型, Video, Audio, MiniMax

Ego2Robot 把人類影片轉成機械人訓練數據

2026 年 8 月 6 日

Ego2Robot將第一身人類操作影片轉化成大規模機械人訓練數據，改善 VLA 模型面對陌生環境時的泛化能力。

機械人要應付陌生場景，往往需要大量而且多樣化的示範數據；Ego2Robot選擇從第一身人類操作影片取材，將人手動作轉換成不同機械人形態可以使用的訓練資料。這個數據合成項目面向 Vision-Language-Action（VLA）模型預訓練，處理人類影片與機械人動作、視覺外觀不一致的問題。

流程分為動作對齊、視覺對齊和品質篩選三部分。系統會把拇指、食指、中指指尖及手腕等關鍵點重新映射到夾爪的 TCP、開合幅度和方向，再以 Savitzky–Golay 及 SLERP 平滑動作；視覺處理則結合 SAM 3、ProPainter、機械人底座姿態搜尋和 IK solving，把機械人手臂合成到已修補的人類場景中。

項目支援已有手部姿態標註的數據集，也可以從原始影片估算姿態，後者使用 WiLoR 逐幀重建和 DynHaMR 時序最佳化。統一流程可以平行產生 15 種 robot morphologies，累積 18,561 小時訓練數據，涵蓋較多任務、場景和機械人配置。

重點包括：
– 同時支援 curated datasets 和 in-the-wild videos
– 以多層 quality curation 篩走動作及視覺合成中的低質資料
– RoboTwin 2.0 加入視覺外觀、場景佈局、機械人形態和任務語義等干擾軸
– 與機械人數據聯合預訓練後，多種 out-of-distribution 情況下的泛化能力提升
– 改善效果亦在真實機械人部署中獲得驗證

對需要建立通用機械人操作模型的研究團隊，Ego2Robot提供了一條減少真人示範收集成本的路線。不過，合成數據的品質仍取決於手部姿態估算、動作重定向、逆運動學和場景合成是否準確，因此它較適合作為真實機械人數據的補充，而不是完全取代實體部署資料。

項目主頁

Categories: 阿里巴巴, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, 中國, Dataset 數據集

HelloWorld：按一下 F，讓影片世界角色回望你

2026 年 8 月 6 日

HelloWorld 讓影片世界模型中的角色回應鏡頭，並以時間控制維持場景與鏡頭運動的連貫性。

按一下 F，畫面角色可以轉身望向鏡頭、揮手、點頭或作簡短問候，同時維持場景細節和鏡頭軌跡。HelloWorld 屬於 video world model，處理的是虛擬角色如何對使用者作出具時間位置的社交回應，而不只是生成一段靜態互動片段。

它以 self-distillation training 微調基礎影片生成模型，使用模型自行合成、同時包含社交互動和 camera motion 的資料，讓模型學會 camera-pose conditioning，並減少互動品質下降的取捨。推理階段加入 training-free temporal control，透過 temporal cross-attention mask 將角色回應限制在 F 按鍵觸發的時間窗口內。

目前 Code & Benchmark 標示為 Coming soon，因此讀者暫時較適合先觀看 Demo Video 和論文，了解互動效果及方法；現有資料未提供安裝流程、硬件要求或可直接部署的版本。這亦意味著它更接近研究原型，尚未能按一般開源工具的方式即時整合到自己的工作流。

HelloWorldBench 包含 400 個樣本，除了三項傳統指標，亦加入 ActAcc、TimeAcc 和 GazeDev，分別聚焦動作準確度、時間準確度及視線偏差。較適合研究影片世界模型、遊戲角色互動或虛擬場景控制的團隊；對需要現成產品方案的人，程式碼尚未公開仍是主要限制。

單一 F 按鍵觸發角色面向鏡頭回應
self-distillation 同時保留互動品質和鏡頭運動
temporal cross-attention mask 不需重新訓練即可控制回應時段
HelloWorldBench 以 400 個樣本量度社交互動
程式碼與基準測試仍未提供，部署可行性有待確認

GitHub · Paper

Categories: 開源, 世界模型, 模型訓練, Video, Dataset 數據集

MiniMax H3：全模態影音生成說明書

2026 年 8 月 6 日

MiniMax H3 把文字、圖片、影片與聲音整合到同一套生成流程，並支援同步影音輸出。

MiniMax H3 面向需要由多種媒體素材生成影片的場景，輸入可包括文字、圖片、影片及聲音，輸出則涵蓋影片與同步音訊。它屬於通用 omni-modal generative system，並非只處理 text-to-video，亦標示支援 image-to-video、video-to-video、audio-to-audio-video 等流程。提供的內容未載明它基於哪個 base model，亦無法確認是否由其他模型 fine-tuned from。

這種統一處理方式適合將參考圖片、動態片段或聲音一併納入生成條件，減少工作流程需要分拆成多個模型的情況。metadata 指向 Diffusers，並列出 multimodal、synchronized-audio-video 及 reference-to-audio-video 等能力；不過目前資料未交代模型架構、參數規模、上下文長度、訓練方法或效能指標。

可留意的使用重點包括：
– 支援 text-to-video、image-to-video、image-text-to-video 及 video-to-video。
– 可處理文字、圖片、影片與音訊，並生成 audio-video 組合內容。
– 提供 Global 與中國地區的 Online API，以及 Hailuo AI 網頁和桌面 App。
– 標示使用 MiniMax H3 Community License Agreement，部署前應查閱 LICENSE。

項目主頁

Categories: 開源, 多模態模型, 視頻模型, Video, Image, Audio, 3D, Ollama, MiniMax

ComfyTV 把 ComfyUI 拉進完整媒體工作流

2026 年 8 月 6 日

想用 ComfyUI 做圖、剪片同整理素材，通常要在多個介面之間跳來跳去。ComfyTV 把這些步驟收進同一個畫布，重點不只生成，仲包括挑選、編修同輸出。

做生成內容唔少人最怕流程一長就難改、難追版本，ComfyTV 針對的正是這個卡位。它屬於建基於 ComfyUI 的畫布式媒體工作台，將生成、挑圖、編輯、合成到輸出串成同一條流程，處理範圍橫跨 image、video、audio、music、panorama、2D layers 同 3D，而唔係停留喺單次出圖。

跟一般要靠 ComfyUI 全域 queue 推整條鏈不同，ComfyTV 採用 per-node run，每個 stage 可以獨立重跑，下游只會接住上游最近一次輸出的 snapshot。這種做法減少反覆測一小步時牽動全流程的等待，代價是你要更清楚每個節點當下吃的是哪個版本輸出，但對長流程調整明顯更順手。

它的另一個重點是以項目為中心管理素材與歷史。每個 stage 都掛在同一個項目內，輸出會連同歷史保留，重新載入後可還原；再加上 asset library、resource library 同 prompt fragments，可直接在提示詞用 @ 引用。README 亦提到可匯入任何 ComfyUI workflow JSON，在側邊欄綁定輸入、保存 stage preset，並透過 Bridge nodes 接第三方插件，甚至登記遠端 ComfyUI 機器做 runner。

內容深度比一般前端殼再走前一步，現時提供約 190 個 stages，而且不少節點內置真正編輯器，例如 layer editor、storyboard workbench、piano rolls、3D viewports 同 scopes，部分 video effects 亦有 live preview。2D 編輯一段還延伸到 PSD import/export、Fountain script import 這類偏製作流程的功能，顯示它瞄準的是需要持續迭代的創作項目，而唔係一次性玩效果。

把 ComfyUI 擴展成完整媒體工作台，覆蓋生成、編修、合成與輸出
per-node run 減少重跑整條流程的等待，適合長鏈路反覆微調
以項目保存 stage 歷史、素材與資源，較方便追版本同回復狀態
可匯入 ComfyUI workflow JSON，兼容 subgraphs、第三方 plugins 同遠端 runners
約 190 個 stages，加上節點內編輯器，定位比純工作流編排器更完整

它依賴你現有的 ComfyUI 生態與本地模型，較像建在 ComfyUI 之上的創作界面層，而唔係獨立模型服務。適合已經有一批 workflows、想將 image、video、audio 放入同一項目管理的團隊或創作者；純粹只求最快出一張圖的人，未必需要它這麼重的工作台結構。

GitHub

Categories: 開源, ComfyUI, Video, Image, Audio, 3D, 庫

free-claude-code：一個代理層打通 Claude Code 與 Codex

2026 年 8 月 5 日

想保留原生開發代理體驗，又想自由換模型與供應商，free-claude-code 正正補上這個缺口。它把 Claude Code、Codex 同 Pi 接到同一個可管理入口。

用開 Claude Code 或 Codex 的人，最在意通常唔係再裝多一個聊天介面，而係可否繼續用原生 model picker、串流回應、tool use 同 image input，同時改用自己揀的模型供應商。free-claude-code 就係一個 proxy 工具，把 Claude Code、Codex、Pi 及其 IDE 擴充功能接到自管入口，處理多供應商切換同路由分發。

它的價值在於工作流幾乎唔使重學。你可以照用 fcc-claude、fcc-codex 或 fcc-pi 啟動對應代理，Windows 同 macOS 亦可放在背景執行，再到本地 Admin UI 揀選並驗證供應商。可在 31 個 cloud 與本地 providers 之間切換，亦可把 Fable、Opus、Sonnet、Haiku 同 fallback 流量分別導向不同模型，這點對想控制成本、速度同能力分工的團隊幾實用。

跟直接綁死單一 API 的做法相比，這個項目押注在「保留原生客戶端體驗，再用 proxy 抽換後端」。代價是相容性要靠代理層維持，所以它明確強調只會在兼容模型上保留 streaming、tool use、reasoning 同 image input；換句話說，模型可揀得更自由，但不是每個後端都保證功能完全一致。

支援 Claude Code、Codex、Pi，同時保留各自原生 model picker
透過本地 Admin UI 管理與驗證 31 個 cloud／本地 providers
可把不同流量類型分流到不同模型，方便平衡成本與能力
適合想用本地模型、付費模型或免費模型混搭的開發團隊

安裝與測試方式偏向開發者工具鏈：項目以 Python 3.14、uv、Pytest、Ruff、Ty 組成，部署重點不是雲端託管，而是先在本機跑起 proxy，再讓代理客戶端經它連線。現階段最適合已經在用 Claude Code 或 Codex、又想統一管理模型入口的人；追求零設定即用的讀者，會覺得它比較像一層需要自己維護的基建。

GitHub

Categories: 開源, NVIDIA, API, Image, 工具, IDE, Mac, Python, 編程, Anthropic, UI/UX

Vision-DeepResearch：由靜態圖片走向連續影片的 DeepResearch Agent

2026 年 8 月 5 日

Video-DeepResearch 將視覺搜尋延伸至連續影片，要求模型先理解跨畫面的證據，再進行網絡探索。

面對需要翻查影片內容、再結合網絡資料回答的問題，單靠文字搜尋往往會漏掉關鍵畫面。Video-DeepResearch 是一個多模態研究型 Agent 項目，透過 Video-DeepResearch（Video-DR）處理連續影片中的時空資訊，並把視覺理解與網絡探索分開安排。

它修正了兩個常見卡位：模型偏向使用文字工具，較少主動檢視影片；模型亦可能直接依賴內部記憶，未有真正完成工具輔助搜尋。Pipeline 先逐階段解鎖視覺工具，要求模型完成跨畫面 grounding，再進入網絡檢索，取捨是流程較嚴謹，但推理成本和執行時間亦可能增加。

訓練流程先以 Supervised Fine-Tuning（SFT）建立基本能力，再使用 Group Relative Policy Optimization（GRPO）強化自主探索。項目同時提供 30 K 個 video-grounded QA pairs、7 K 條整理後的 trajectories，以及程式碼、資料集和模型權重，研究團隊可按需要測試基準、重現訓練或直接載入模型。

Video-DR-35B-A3B 在 Video-DR 達到 68.0% accuracy
比 Claude-4.5-Sonnet 的 63.0% 高 5.0 個百分點
GPT-5 和 Gemini 2.5 Pro 分別為 57.0% 和 62.0%
Vision-DeepResearch-30B-A3B 延續同一研究方向，另有 SFT-only 的 8B 版本

現有結果反映它在影片證據與網絡資料需要互相驗證的工作較有價值，例如研究、媒體核查和長片段問答；但 68.0% 仍代表部分問題會出錯，較適合作為研究平台和可檢驗的 Agent 架構，而不是無需監督的影片分析服務。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港理工大學, Agentic, 多模態模型, 模型訓練, Qwen, OpenAI, Gemini, Video, 香港, Anthropic, Dataset 數據集

JoyAI 把即時串流影片編輯推向 720p

2026 年 8 月 5 日

影片逐幀抵達便可按文字指令修改，JoyAI-Video-Edit 以 30.19 FPS 連接即時攝影與生成式編輯。

直播畫面或上載影片不必等到完整片段準備好，便能一邊輸入自然語言指令、一邊看到修改結果。JoyAI-Video-Edit 屬於開源影片生成及影像處理模型，處理的是影片串流中延遲高、必須預先知道片長，以及難以維持連貫性的編輯流程。

它支援主體修改、局部區域調整、背景替換、風格轉換、動作改變和參考影像引導，適合互動示範、直播效果及需要即時預覽的創作工具。系統以 Multimodal Large Language Model（MLLM）條件編碼器、causal video Variational Autoencoder（VAE）及 16B-parameter Multimodal Diffusion Transformer（MMDiT）組成，逐段處理新抵達的畫面。

同類影片生成方法往往先取得完整影片，再一次過進行離線處理；JoyAI-Video-Edit 改用 autoregressive diffusion，配合 aligned autoregressive distribution matching distillation、long-horizon optimization、bounded Key-Value state（KV-state）inference 和 deployment-oriented scheduling，換取串流速度。不過，這種設計仍要留意長時間輸出可能出現的 temporal drift，而且消費級 GPU 支援仍列為待辦工作。

部署基準在 720×1280 解像度達到 30.19 FPS end-to-end throughput，代表系統已接近互動式影片處理所需的速度，但不能直接等同於所有硬件和指令下都能保持相同表現。Hugging Face 提供 JoyAI-Video-Edit checkpoint，GitHub 同時提供部署程式碼和線上 Demo，較適合具備 GPU 資源、希望整合影片工作流，或研究 Computer Vision 與串流生成的團隊。

即時串流：畫面逐幀處理，不要求預先提供完整影片或固定片長。
指令範圍廣：涵蓋主體、局部、背景、風格、動作及參考影像編輯。
速度指標：720×1280 下達到 30.19 FPS 的完整流程吞吐量。
部署取捨：透過 bounded KV-state inference 控制計算量，但消費級 GPU 支援仍未完成。
適用人群：影片工具開發者、直播創作者及需要即時預覽的研究團隊。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, 蘋果, Dataset 數據集

Page 32 of 55

« Previous 1 … 30 31 32 33 34 … 55 Next »