InferNews

Wan Streamer v0.2 提升實時視頻對話畫質

Share to X Facebook

想做會講話、會望向場景嘅即時 AI 角色，畫面清晰度同延遲通常要二揀一。Wan Streamer v0.2 嘗試保住低延遲，同時把視訊互動提升到更自然可用。

Wan Streamer framework

做即時音視頻互動時，最麻煩往往唔係模型識唔識回應，而係畫面一清晰，延遲就容易升高。Wan Streamer v0.2 屬於原生流式 audio-visual interaction model，針對呢個取捨下手：把輸出由 192×336 提升到 640×368，仍維持 25 fps，同時把模型側延遲控制在約 200 ms。

它延續 v0.1 的做法，將文字、音訊、影片放在同一條 causal timeline，用單一 Transformer 協調，並以 block-causal attention 處理串流互動。重點唔係換掉整個架構，而係在低延遲預算不變下，令畫面由近景視像通話，擴展到更有場景感的中景 agent，連姿勢、視線、手部同附近物件都更易看清。

為咗撐起更高解析度而唔增加可見等待時間，v0.2 把高成本 latent 生成路徑移到 Ulysses-style context-parallel performer；另一邊的 thinker 仍留在單 GPU，負責流式感知、狀態更新、KV 建構同最終解碼。呢種分工代表項目唔係單靠堆硬件換速度，而係重新安排推理拓撲，把重負載部分放到更適合並行處理的位置。

  • 輸出解析度由 192×336 提升到 640×368
  • 幀率維持 25 fps，模型側延遲約 200 ms
  • 支援 scene-grounded mid-shot agents，而唔只係近景通話畫面
  • 保留單一 Transformer 的 native-streaming formulation
  • 以 thinker + performer 分工處理低延遲與高成本生成

呢個項目最適合想做即時數字人、互動客服、教學導覽或直播型 agent 的團隊，因為使用者會直接感受到畫面資訊量增加，但對話節奏未必因此變慢。現有資料主要強調架構升級同延遲維持，更完整畫質穩定性、部署成本與長時間使用表現，仍要配合論文與示範一齊判斷。

項目主頁 · Paper

Categories: 阿里巴巴, Agentic, 多模態模型, Video, Audio

GigaWorld-1：機械人世界模型開源路線圖

Share to X Facebook

GigaWorld-1 不只是模型，亦是一套圍繞機械人世界模型的訓練與推理流程。它的重點是用模擬 rollout 協助評估 robot policy。

GigaWorld-1 Teaser

GigaWorld-1 是一個面向 robot world models 的開源工具鏈與研究原型。它主要用來訓練、推理、處理資料，並把世界模型當成 robot policy evaluation 的替代評估器，減少每次都要落真機做 rollout 的成本。

現有做法通常依賴真實機械人測試，或者用偏重短片畫質的 video world models 觀察結果；作者認為這種範式未必足夠反映 policy 是否可靠，因為短期視覺真實感不等於長時序、動作一致的 rollout 準確度。這個項目連同 WMBench 一齊提出較清晰的評測框架，重點放在 long-horizon、action-faithful rollout consistency，而不是只看畫面似唔似真。

和一般只放模型權重的 GitHub 項目相比，GigaWorld-1 較完整地公開了訓練、inference、資料處理、checkpoint conversion 及 LoRA merge 流程，取向明顯偏向可重現與可擴充。基礎模型亦不是由零開始孤立建立，而是結合 Wan、Diffusers、Helios、Genesis 等元件，反映它更像一條可調整的工作流程，而不只是單一模型展示。

  • 重點不在短期畫面好看，而在 rollout 是否長時間維持動作一致性
  • 提供 training、inference、data processing、checkpoint conversion、LoRA merge 等完整流程
  • 相關模型與元件包括 Wan、Diffusers、Helios、Genesis
  • 配套有 ToyDataset、CVPR 2026 WorldModel Track Dataset 與 WMBench benchmark

部署思路相對明確：環境以 Python 3.10+、PyTorch 2.x、Linux 為主，再按 README 準備資料、模型與推理流程；需要下載模型或資料時，亦已有獨立工具說明。硬件需求未算輕量，但首頁提到 1.3B / 5B 變體與低於 24GB 記憶體的生成設定，代表它並非只面向超大規模研究機構。

較適合受益的群體，是做 embodied AI、robotics、world model research 的團隊，以及想建立 policy evaluator 管線的人。現有資訊顯示它背後有 12,000+ 小時訓練影片、324,000+ 模擬 rollout 配對真機執行，以及 7 類 video world models、4 種 action representations 的比較；這些數字未必等於任何場景都會即插即用，但足以說明它的價值在於提供一套有 benchmark 支撐的評估方法，而不只是再多一個生成模型。

項目主頁 · GitHub · Paper

Categories: 開源, 模型, 世界模型, 模型訓練, Video, VLA, Robotic, 框架, Linux, Python, Dataset 數據集

LiveEdit：串流影片編輯走向即時化

Share to X Facebook

LiveEdit 把文字指令變成串流影片編輯，重點放在速度與畫面穩定。它嘗試兼顧即時反應，以及背景與非編輯區域的保留。

Image 1

LiveEdit 是一個 diffusion-based streaming video editing 系統，屬於影片編輯模型與方法項目。它的核心任務是根據來源影片加上文字指令，逐段完成 causal chunk-by-chunk editing，並盡量保留背景與沒有修改的區域。

這個項目不是追求離線影片慢慢算到最靚，而是針對接近即時的串流編輯。它建基於 Wan2.1 和 Self-Forcing codebase，並用 three-stage distillation，把雙向編輯 teacher 的能力轉移到串流 student，再配合 AR-oriented Mask Cache 減少重複運算，換來較低延遲。

部署與測試資訊算是完整，提供 inference scripts、training code、checkpoint instructions，也講明建議在 Linux 配合 NVIDIA GPUs 執行；單 GPU 可做 inference，多 GPU torchrun 主要用於訓練。輸入方式是準備一個 JSON，填入 source video 路徑和 instruction，然後配合已釋出的權重與 Wan2.1 base model 進行推理。

有一個相當關鍵的參考值：項目頁列出 12.66 FPS，並表示透過 4-step distilled diffusion generation 達成 real-time streaming inference。這個成績對互動式影片編輯很重要，不過公開資訊未見更完整的硬件條件、顯存需求或不同解析度下的比較，因此判斷效能時仍要保留一點。

  • 重點不是一般文字生片，而是保留原片內容的串流影片編輯
  • 主要技術包括 three-stage distillation、Causal DiT、AR-oriented Mask Cache
  • 已公開 inference 與 training 程式碼，也提供 Hugging Face checkpoint 指引
  • 已知較適合 Linux、NVIDIA GPU 環境，研究團隊或影像生成工程師較易受益
  • 相關模型與基礎包括 Wan2.1-T2V-1.3B、bidirectional editing teacher、streaming student

整體來看，LiveEdit 的價值在於把 streaming video editing 做得更接近可互動系統，而不只是展示級效果。它較適合研究即時影片編輯、互動內容製作、直播視覺處理或需要低延遲生成的團隊；一般用家若想直接在圖形介面一鍵開用，現有資料未提供管理後台整合、免手動設定流程，仍然比較像面向研究與開發者的項目。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 模型, 視覺模型, 視頻模型, NVIDIA, Video, 框架, Linux, 蘋果

AnyGroundBench 點出影片定位模型盲點

Share to X Facebook

AnyGroundBench不是新模型，而是專門測試影片理解能力的 benchmark。它把專業場景放入同一套規則，直接揭示現有 VLMs 的適應落差。

Repository image for rinost081/AnyGroundBench

AnyGroundBench 是一個影片 grounding benchmark，也是面向專業領域的資料集與評測基準。它主要用來測試 Vision-Language Models（VLMs）在 animal、industry、sports、surgery、public security 幾類場景中，能否把文字描述準確對應到影片中的時間、位置，以及時空同時發生的事件。

現有做法多數停留在 general、daily-life benchmark 的 zero-shot 測試，重點是看模型有沒有通用理解力；作者認為這種範式無法反映專門場景，因為稀有視覺概念、複雜動作關係與領域術語，通常不會在通用資料裡被充分學到。AnyGroundBench 因而把評測重心轉去 domain adaptation，並加入 dedicated training subsets，令測試不再只問模型「有沒有見過」，而是進一步量度它「能不能適應新領域」。

這個項目的差異，在於它把 temporal、spatial、spatio-temporal annotations 用統一方式整理，並混合 newly captured videos 與 existing datasets。資料來源涵蓋 mouse、american_football、Animal-Kingdom、MECCANO、EgoSurgery 等，覆蓋面比單一領域 benchmark 廣，亦更接近研究團隊、產業分析、醫療影像研究與安全監測場景會遇到的資料分佈。

項目提供 Hugging Face dataset、project page：這不是即插即用應用程式，而是供研究與模型比較的 benchmark。部署重點不是介面安裝，而是按 domain 讀取整理後的資料，然後以 STVG、TVG、SVG 三類任務跑推理與評分；指標分別用 vIoU@0.3、tIoU@0.3、sIoU@0.3。

  • 類型屬於 benchmark / 資料集，目的是測量 VLMs 的 specialized-domain video grounding 能力
  • 舊範式以 zero-shot general benchmark 為主，新設計改為檢查 domain adaptation 與 In-Context Learning（ICL）是否真的有效
  • 評測涵蓋 temporal、spatial、spatio-temporal 三層，較容易看出模型究竟是看錯時間、找錯位置，還是兩邊都失準
  • 已評測 15 個 state-of-the-art VLMs，結果指出現有模型在 specialized domains 的 zero-shot 與 ICL 表現都不穩定

建議模型包括 GPT-4o、GPT-5.1、Gemini-2.5-Flash 等 proprietary VLMs；現有結果顯示，加入 2-shot ICL 雖然在部分 domain 有改善，但整體仍未解決 specialized-domain spatio-temporal reasoning 的缺口。對研究 VLM evaluation、video grounding、視覺模型遷移能力的團隊來說，這個項目最有價值的地方，是它把「通用測試看似可用」與「專業場景仍然失手」之間的差距量化出來。

項目主頁 · GitHub · Paper

Categories: 開源, 視覺模型, 多模態模型, 模型訓練, Qwen, NVIDIA, OpenAI, Gemini, Video, 安全, Dataset 數據集

OpenMontage：AI 代理拍片流程

Share to X Facebook

OpenMontage 想把 AI coding assistant 變成自動化影片製作流程。它重點不只生圖做片，亦會搜集真實動態素材再完成剪輯。

影片製作最花時間的，往往不是按下生成按鈕，而是串接研究、腳本、素材、配音與剪接。OpenMontage Studio 是一個由 AI agents 驅動的創意工作空間，處理影片、圖片、音訊、動畫與 3D 內容，亦可從既有素材開始完成單一任務。

它把製作拆成 8 個階段及 1 個審批關卡：Brief、Research、Script、Scene Plan、The Gate、Narration、Music、Compose 與 Render。系統會先整理受眾、时长、語氣與訊息，再研究產品畫面、參考影片及競爭對手，繼而產出附旁白與 B-roll 指示的劇本。The Gate 會列出將使用的素材、模型、旁白及音樂，待確認或修改後才繼續製作。

  • 研究與定位資料會寫入 decision log，保留決策依據。
  • 場景可混合採用現有素材、素材庫、Stock 素材或生成內容。
  • 旁白可按句子加入修改意見，不必重寫整篇內容。
  • 音樂可按氣氛、每分鐘拍數及能量配對，亦可另行生成。
  • 製作可在 OpenMontage Studio、Claude Code 或 ChatGPT Codex 進行。

這種做法適合已有品牌資料、產品錄影或商品素材的團隊，可由一個構思直接建立完整短片，也可只處理配音、音訊清理或視覺生成。代價是製作仍需經過 The Gate 審批，AI 的研究、定位與場景選擇亦不代表最終成品必然準確；創作者仍要核對品牌訊息、素材授權及輸出質素。

GitHub

Categories: 開源, Agentic, 微軟, Video, Image, txt2img, Content Creator, IDE, Anthropic

SimFoundry：單段影片變機械人模擬場景

Share to X Facebook

這是 NVIDIA 的 real-to-sim 項目，可把真實場景影片自動轉成可互動模擬環境。它主打機械人策略訓練、評測與 sim-to-real 遷移。

Digital twin and cousins of the wooden drawer organizer

這是一個由 NVIDIA Research 推出的 robot learning 項目。它的主要用途是把單一真實場景的圖片或影片，自動轉成可供機械人策略訓練與評估的互動式 simulation environment，減少真實世界收集數據與反覆測試的成本。

SimFoundry 的核心做法是建立 modular and automated 的 zero-shot real-to-sim pipeline，從單一影像或影片生成 sim-ready digital twins，並支援 object、scene 與 task editing。除了重建原場景，系統亦可自動產生多種 digital cousins，讓同一個任務在不同物件配置、場景條件或操作要求下擴展訓練資料，提升策略泛化能力。

和常見要大量人工建模、手動調參或依賴多視角掃描的做法相比，這個項目強調以較低輸入門檻快速建立可用模擬場景。頁面亦提到 hybrid scene 表示方式，結合 3D Gaussian Splat 背景與 textured object meshes，重點不只在視覺重建，而是要讓場景可直接用於 policy learning and evaluation。

重點摘要：
– 以單一 image 或 video 建立 real-to-sim 場景
– 可生成 sim-ready digital twins，並編輯 object、scene、task
– digital cousins 有助擴充訓練變化，改善 sim-to-real 泛化
– 在 7 個 manipulation tasks、5 個 policies 上，simulation evaluation 與真實表現高度相關
– object、scene、task cousins 分別帶來平均 17%、21%、50% 任務成功率提升

評測結果顯示，SimFoundry 在 7 項 manipulation tasks 與 5 個 policies 上，simulation evaluation 對真實世界表現具有很強預測力，mean Pearson correlation 為 0.928，mean maximum ranking violation 為 0.018；用於評估真實策略時，頁面亦列出 mean Pearson correlation 0.911。文中提及的策略包括 DreamZero、Gr00t N1.7、π 0.5，顯示這個項目適合用於機械人操作研究、policy benchmarking，以及想以較低成本建立可重複測試流程的團隊。

項目主頁 · Paper

Categories: 模型訓練, NVIDIA, Video, Robotic, 3D

PhysisForcing 提升機械人世界模擬可靠性

Share to X Facebook

這是一個強化影片生成物理一致性的訓練框架，用來改善機械人操作模擬的可信度。

Teaser Figure

這是一個用於機械人操作的世界模擬訓練框架，名為 PhysisForcing。它主要解決影片生成模型在模擬抓取、推動與物件互動時，常出現動作軌跡不連續、物件變形和互動不合物理規律的問題。

PhysisForcing 的做法不是單靠生成更像真的畫面，而是把訓練重點放在與物理相關的區域，並同時加入像素層與語意層兩種約束。像素層的 trajectory alignment loss 會用參考點軌跡監督 DiT features，語意層的 relational alignment loss 則利用凍結的影片理解編碼器，對齊區域之間的互動關係，令機械臂與物件之間的時空關聯更穩定。

和一般通用影片生成模型，或只針對機械人資料做微調的方法相比，這個框架更集中處理「物理合理性」而非單純畫面觀感。它可套用在標準 diffusion video backbones 之上，已展示於 Wan2.2-I2V-A14B 與 Cosmos3-Nano 這兩個基礎模型。

  • 核心重點是分層物理對齊：同時改善運動一致性與互動關係一致性
  • 適合用於 embodied world simulation、robotic manipulation 與下游動作規劃
  • 在 R-Bench、PAI-Bench、EZS-Bench 都較強基線有提升
  • R-Bench 上，Wan2.2-I2V-A14B 提升 +22.3%，Cosmos3-Nano 提升 +9.2%
  • 納入 WorldArena action-planner protocol 後，closed-loop success rate 由 16.0% 升至 24.0%

這項工作對需要用影片模型做機械人訓練、模擬驗證或策略學習的人較有參考價值，因為它不只改善生成片段的外觀，亦提升作為 world model 的可用性。現有資料顯示，物理對齊後的影片表徵亦能帶動下游 policy success，說明這類方法不只是視覺修飾，而是直接影響機械人操作結果。

項目主頁 · Paper

Categories: 開源, 北京大學, 模型, 視頻模型, 世界模型, 模型訓練, NVIDIA, Video, Robotic, 框架

GauntletBench 評測框架點出 Agent 盲點

Share to X Facebook

這是用來測試 agent 泛化能力的評測工具。它避開常見應用，專攻視覺密集又偏專業的網頁任務。

GauntletBench logo

GauntletBench 是一個極具挑戰性的基於 Web 的基準測試，用於衡量智能體系統在複雜、基於視覺的專業任務中的泛化能力。

GauntletBench 圍繞著五個鮮為人知的應用場景構建——視頻編輯器、工作流程構建器、3D 建模器、飛行分析器和電路設計器——評估了三個尚未充分探索的能力：時間感知、圖形理解和3D 推理。該基準測試涵蓋100 項人類可完成的任務、模組化的評估流程以及自動化的領域特定評分，揭示了前沿智能體與人類表現之間存在顯著差距：被評估的最強智能體的成功率僅為19.1%，而非專家人類標註者的成功率則超過80%，這表明當前的智能體在復雜的真實世界中仍可達到可靠的真實世界的性能水平。

現有 benchmark 多數放在熱門應用和較直接的任務，容易令新一代 agents 出現分數飽和，未必真能反映它們離真實工作有幾遠。GauntletBench 的取向剛好相反：刻意避開常見 app，改用 Circuit Designer、Flight Analyser、Video Editor、3D Modeller、Workflow Builder 五類較少被覆蓋的環境，重新把問題定義成「能否在不熟悉介面完成視覺密集工作」。

這個 GitHub 項目本身不是模型，而是跑評測的框架；README 已交代可按單一 task、整個 application，甚至用 JSON 批次執行實驗，也支援並行執行與 YAML task file。底層 agent run mechanics 直接沿用 REAL 的 browser harness 與 task loop，這個項目新增的重點則是 evaluation framework、batch runner、objective and LLM-as-a-judge evaluators，以及新的 task suites。

  • 100 個任務，每個應用 20 個，全部屬 vision-intensive tasks
  • 預設模型參數 可指定 --model，預設為 o3
  • 可擴充測試方式，支援 YAML 任務檔與 JSON 批量設定
  • 結果訊號清楚：最佳 agent 約 19.1% 至 20.9% success，非專業人類標註者超過 80% 至 90%

最值得留意的是它反映出一個很實際的落差：agent framework 普遍比單純 raw models 好，但整體距離人類仍然很遠；open-source models 甚至普遍低於 1%。Video Editor 屬較可處理的範圍，Circuit Designer 則接近「幾乎做不到」，所以這套工具特別適合研究 Agentic、Computer-use agents、網頁自動化與多模態能力的團隊，用來找出模型不是「答錯」，而是根本看不懂時間、圖形與空間結構的位置。

項目主頁 · GitHub · Paper

Categories: 開源, 香港中文大學, Agentic, 模型, 多模態模型, Qwen, Gemini, Video, 框架, 香港, 工具, 3D, Anthropic

Robust-TO：更穩陣的影片理解代理框架

Share to X Facebook

Robust-TO 針對 Video-LLMs 在受干擾影片中的誤判問題，用信心分數協調工具與證據。重點不只準確率，還包括出錯時能否有節制地退化。

Repository image for ROVA-V2/Robust-TO

Robust-TO 是一個面向影片理解的 agentic framework 研究原型。它主要解決 Video-LLMs 在模糊、過暗、遮擋等干擾下，仍然盲目相信每一格畫面，導致答案與自信程度脫節的 Blind Trust Problem。

現有做法常把所有影格近乎同等對待，再交由單一模型或固定流程推理；作者認為這種範式忽略了畫面可靠度，所以提出 Confidence-Aware Tool Orchestration。它先用不需額外參數的 profiler 為每格評估 blur、brightness、occlusion，只保留較可靠片段，再把問題拆成子查詢，交由 track_temporal、detect_objects、read_text 等工具處理，最後用 High / Mid / Low 三層證據整合答案。

這個項目最值得留意的，不是單靠更大模型硬推結果，而是把 (result, confidence, source) 當成統一介面，連工具成本與可靠度一併納入。取捨也很明顯：流程比直接問一個 Video-LLM 更複雜，但換來對受污染影片更穩定的表現，而且官方指出在乾淨輸入上延遲開銷低於 5%。

  • 平均準確率比最強開源基線高 +10.6
  • clean-to-corrupted accuracy drop 最小，重點在抗干擾而非只看乾淨數據
  • 使用 GRPO 訓練 policy，獎勵同時考慮正確性、證據可靠度與計算成本
  • 相關組件與模型角色包括 profiler、Router，以及工具如 track_temporal、detect_objects、read_text

目前較適合把它理解為方法框架與研究結果，而不是立即可部署的成品。較受用的會是做 Video-LLMs、Computer-use agents、CUAs 式多工具協作、影片問答或魯棒性評測的研究團隊，特別是想把「模型知道自己何時不可靠」納入系統設計的人。

GitHub

項目主頁

Paper

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, Video, 框架
Page 27 of 32
1 … 25 26 27 28 29 … 32