S²VOPD 讓小模型看少一點，Qwen3.5-4B 反而看得更準

2026 年 8 月 18 日 Share to X Facebook Copy link

S²VOPD 透過削弱學生模型的視覺資訊，在零標註下提升細粒度感知與數學推理表現。

小模型面對圖片時，減少它能看到的資訊，竟然可以帶來更好的學習訊號。Self-Supervised Visual On-Policy Distillation（S²VOPD）是一種視覺模型訓練方法，透過讓學生模型觀看低解析度、加入隨機 Gaussian noise 的圖片，處理沒有標註、獎勵或更強教師模型可用的限制。

訓練期間，學生模型會根據受干擾的圖片產生回答；採用 Exponential Moving Average（EMA）的教師模型則以原始圖片評分相同的生成前綴，再利用 top-k generalized Jensen-Shannon divergence（JSD）把較完整的 token 分佈傳給學生。教師與學生之間的資訊差異，來自學生少看一點，而不是額外加入 privileged information。

• Qwen3.5-4B 在六項細粒度感知基準的平均準確率，由 70.7% 升至 77.4%
• 4B 模型表現高於 Qwen3-VL-Instruct-235B 的 75.8% 和 GPT-5.4 的 72.8%
• 不需要 labels、rewards、region annotations 或更強教師模型
• 4B 同時提升感知表現 5.7% 和數學推理 3.7%

S²VOPD 使用學生視角縮放至原圖 0.3 至 0.6 倍，並加入 stochastic Gaussian noise。結果顯示，這種做法不只改善視覺感知，也能避免部分 privileged-information 方法在數學推理上的退步；例如 Oₚₛd 和 ZwZ 在部分 MathVision、MathVerse 測試中出現明顯下降。

這項方法較適合研究小型多模態模型訓練、視覺推理和自監督學習的讀者。現有結果集中於六項細粒度感知基準及數學推理測試，能否穩定延伸至其他資料、模型架構和更複雜影像任務，仍需要進一步驗證。

項目主頁

Categories: 開源, 模型訓練, Qwen, Image, Dataset 數據集

---

RA-Bench 直指危機假影片檢測盲點

2026 年 8 月 17 日 Share to X Facebook Copy link

危機事件影片最麻煩之處，不是合成得花巧，而是看起來太像真。RA-Bench把檢測器拉回真實傳播場景，專門測試這個落差。

當一段災難、戰事或公共事故影片本身已有真實事件做錨點，檢測器往往無法只靠內容違和感分辨真偽。RA-Bench屬於影片檢測基準資料集，針對的正是 AI 生成危機影片貼近真實新聞片段後，現有偵測方法還能否守得住。

它的做法有一個關鍵判斷：不再拿脫離情境的合成片去測，而是把真實危機影片與對應生成版本配對，並且涵蓋四個開源與五個閉源生成器。資料規模有 17,886 段影片，當中包括 1,830 段 real anchors、16,056 段生成片，另設 RA-Bench-HumanProof 與 RA-Bench-LastMile，前者收錄連人工審查者都一致誤判為真的 633 段影片，後者再測試影片經過連續傳播處理後，檢測器會否失準。

這個項目把「像真」、「會誤導人」、「經社交傳播後失真」三件事放在同一套測試裡。相對於只看配對樣本的資料集，它多了一層來源泛化與傳播鏈穩健性的要求；代價是資料權限較複雜，完整版本有部分 real anchors 只提供原始 URL，未必人人都能直接重跑 full 軌道。

• public-media 只評估可重新分發的真實錨點配對，較適合公開重現與初步比較
• full 依照完整論文清單評估，也要求處理只提供 URL 的真實來源
• Hugging Face 釋出公開媒體約 93.8 GB，生成影片完整提供，真實素材則經權利審核後部分保留來源連結
• 評估採用 source-matched evaluation，會把每個生成來源放回其對應真實錨點脈絡判斷

對做影片鑑識、內容審核、新聞驗證與多模態安全研究的團隊，RA-Bench的價值很直接：它不是教模型辨認「很像假片的假片」，而是逼它面對會在人類審查與傳播流程中混過去的片段。限制也同樣清楚，這仍是 benchmark，不是現成檢測器；要得出可比較結果，仍要先準備預測輸出、下載資料，並處理部分真實來源無法重分發的存取條件。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 多模態模型, OpenAI, Video, Dataset 數據集

---

S2R 用物理模擬解決影片反光

2026 年 8 月 13 日 Share to X Facebook Copy link

隔住玻璃拍片常見嘅反光，會令畫面難睇又影響後續辨識。S2R 把合成、去反光同評測串成一條流程，重點是先補足可信訓練資料。

隔住玻璃拍攝時，反光往往唔只影響觀感，仲會干擾偵測、辨識同追蹤等後續視覺工作。S2R 屬於影片去反光項目，重點唔係單靠清理單幀畫面，而是同時處理資料不足、時間連貫性同評測基準缺位三個卡位。

呢個項目用一個閉環流程連接 S2R-Synthesis、S2R-Removal 同 S2R-Benchmark。前段先以 Physics-Grounded Augmentation 與影片擴散生成方法合成成對影片，控制玻璃粗糙度、反射率、厚度等性質；後段再把 pretrained video diffusion prior 調整成適合去反光的模型，加入 reflection-aware latent adaptation 同 one-step pixel-geometric refinement，減少殘影並維持時序一致。

它跟常見做法最大分別，在於先把反光結構同外觀拆開處理。S2R-Synthesis 會從 FLUX-generated pseudo videos 學習較真實的反光外觀，再把兩段乾淨影片經 Physics-Grounded Augmentation 融合，生成可配對訓練資料，避免只靠傳統合成或少量真實資料，令模型較難學到穩定的影片反光模式。

• 用物理約束方式合成反光影片，補足 paired video data 不足
• 以 diffusion-based video dereflection 處理影片，強調跨幀一致性
• 提供 S2R-Benchmark，兼顧 full-reference 評估同真實場景人類感知評估
• 在 OpenRR-1k 的結果中，加入完整 PGA 後，PSNR 與 SSIM 都比基線再提升

現有資料顯示，S2R 特別適合需要穿玻璃拍攝的內容整理、監控視覺流程，或者任何重視畫面可讀性與後續分析品質的工作流。項目亦反映一個明確取捨：先花力氣建立可信的反光合成與評測系統，再用 diffusion-based 方法做移除，換來較完整的訓練閉環，但最終表現仍會受真實場景複雜反射型態影響。

項目主頁

Categories: Stable Diffusion, Video, Image, 框架, Dataset 數據集, 小米-Xiaomi

---

Google DeepMind 把手語 AI 放進用戶手中　涵蓋 30 種 ASL 詞彙

2026 年 8 月 13 日 Share to X Facebook Copy link

Google DeepMind 將手語識別 AI 整合到日常應用，讓失聰與健聽人士的溝通更自然。

聾人手語使用者日常面對的最大卡位，是怎樣讓手機或視訊鏡頭直接「讀懂」手語並即時翻譯。Google DeepMind 近期把手語 AI 從實驗室帶到實際產品中，覆蓋約 30 個美式手語（ASL）詞彙並透過 Gemini 模型支援即時回應，目標是讓聾人朋友毋須依賴真人翻譯就能完成基本對話。

這套技術並非單純的影像分類，而是結合姿態估計、語境理解與大型語言模型的能力，把手語動作轉成自然語言並維持對話節奏。比起過去只能辨識孤立詞彙的系統，現時更著重處理連續手語與多輪對話，使翻譯過程貼近真實交流節奏。

DeepMind 同時強調負責任部署，與聾人社區合作收集訓練數據，並透過小規模詞彙起步降低誤譯風險。對於依賴視訊通訊的聾人用戶來說，這項能力讓 Zoom、Meet 等場景下的溝通體驗更貼近健聽人之間的對話節奏。

這項功能適合手語使用者、聾人家屬，以及需要服務聾人客戶的企業。它並非要取代真人翻譯，而是作為日常輕量溝通的輔助工具，降低手語學習門檻並促進更即時的互動。

重點摘要：

• 覆蓋範圍：支援約 30 個 ASL 詞彙，涵蓋日常問候與基本對話。
• 技術核心：結合姿態估計與 Gemini 大型語言模型，處理連續手語與上下文。
• 部署方式：整合到 Google Meet 等視訊應用，即時翻譯手語為文字或語音。
• 負責任設計：與聾人社區協作訓練數據，從小規模詞彙起步降低誤譯風險。
• 使用場景：聾人用戶日常視訊通話、聾人家庭成員溝通、企業客服聾人客戶。

項目主頁

Categories: Agentic, 世界模型, Google, Gemini, Video, Audio, Robotic, 安全, Skill 技能

---

StateFlow 把預視化變成可反覆編修 3D 世界

2026 年 8 月 13 日 Share to X Facebook Copy link

想像先搭好一個可重用的3D世界，再慢慢改鏡頭、物件同事件。StateFlow想處理的，正是生成式預視化最常見的連貫性問題。

影像預視化最麻煩的地方，往往不是生成一條片，而是改完場景、換完鏡頭之後，前後內容仲要講得通。StateFlow屬於面向 previsualization 的 3D world-state modeling 框架，它把場景視為可持續保存的 3D world states，令同一個世界可以反覆建構、演化、再取用，而唔使每次修改都由頭生成。

呢個做法先處理內容一致性，再處理畫面輸出。StateFlow用 object-centric structured 3D state 去描述世界，每個物件都帶有 geometry、spatial pose 同 semantic attributes，將底層世界內容同最終 render observations 分開，於是場景結構、物件關係、動態事件同 cinematic camera direction 可以分步調整。

整個流程分成三段。State Construction 針對 2D 內容提升到 3D 世界時容易出現的歧義，用 prior-guided、conflict-aware dual-view initialization 建立較一致的起始世界；State Evolution 把使用者修改轉成 structured state transitions，保留 world memory，避免每次編修都重建整個場景；State Access 則配合 render-feedback reflection，把鏡頭意圖修正成視覺上可行的 cinematic trajectories。

• 把一次性影片生成，改成可編修、可重用的 persistent world
• 同一套世界狀態可支援 video production 同 3D game prototyping
• 重點不只是生成畫面，而係保住場景結構、物件關係同時間上的連貫性
• 鏡頭控制加入 render-feedback reflection，提升拍攝路徑的可行性

使用場景相當清楚：要先做分鏡、試鏡頭、試事件節奏的創作團隊，或者想由 3D scene 快速走到 playable prototype 的遊戲項目，都會較受用。現有內容著重方法展示、應用示例同與 baselines 的 3D scene generation 對比，但未見完整論文與量化細節公開，所以目前較適合視為一個值得留意的工作流方向，而唔係已完全定型的產品規格。

項目主頁

Categories: 北京大學, 視頻模型, Video, World-Action Model, 框架, 3D

---

Rest2Art 用單張靜態觀察重建可動 3D 物件

2026 年 8 月 12 日 Share to X Facebook Copy link

只見到物件關上的樣子，Rest2Art 仍可推回零件結構與關節。對數碼孿生、模擬和機械人操作都幾實用。

只見到抽屜關上、櫃門未打開，系統仍要估到哪些部分可以動、會沿哪個軸轉或滑，這正是 Rest2Art 想處理的難題。它屬於 articulated object reconstruction，目標是由單一 closed-state observation 重建出可直接放入模擬環境的 articulated asset，而不需要先拍到物件在不同狀態下的運動。

這個做法的價值，在於把原本要靠動態觀察先完成的工作，提前到靜態輸入就處理好。Rest2Art 會先用 vision-language model 與 segmentation model 互相校正零件層級和遮罩，再把結果對應回 mesh；之後再借助 video diffusion model 產生可能的 articulation hypotheses，但真正的 joint parameters 不是直接照抄影片，而是再用幾何一致性去驗證。

回應了一個很現實的限制：很多日常物件未必容易拍到完整開合過程，但建模、模擬與機械人任務仍然需要知道它如何運動。Rest2Art 用 explicit mesh 作為中介，方便跨模型比對與融合，最後再把各部分轉成封閉體積，令輸出不只是「睇得明」，而是可用於 physical simulation。

• 單靠 single closed configuration 重建 part-level geometry 與 joint parameters
• 結合 vision-language model、segmentation model 與 video diffusion model 補足缺少 motion cues 的問題
• 以 explicit mesh 做 cross-model verification and fusion，減少不同模型輸出互相衝突
• 可輸出 simulation-ready articulated asset，並支援 URDF 匯出

論文描述顯示，它在 reconstruction-based、generation-based 與 modular pretrained-model families 之間，都能做到有競爭力的表現，重建出的零件分解與關節亦具備 physical plausibility。對數碼孿生、虛擬場景整合、real-to-sim-to-real，以及機械人 policy learning 而言，這種由靜態觀察直接產生可互動資產的流程，明顯比只重建外形更進一步。

項目主頁

Categories: 視覺模型, 多模態模型, Video, 影像處理, 框架, 3D, Dataset 數據集

---

Ex-Omni-2D 直接對話生成同步發聲與表情的數字人影片

2026 年 8 月 12 日 Share to X Facebook Copy link

Ex-Omni-2D 讓對話模型同時輸出文字、個人化語音與表情同步的頭像影片，以多碼本語音單元串接語音與畫面，並提供 Teacher 與 Prefix-Streaming Student 兩種部署模式。

想讓 AI 數字人不只是「會打字」，而是真的「邊說邊演」？香港中文大學（深圳）與 LIGHTSPEED 合作開源的 Ex-Omni-2D，正是針對這個目標設計。它是一個開源對話框架，接受多模態查詢、參考圖像與參考音訊後，先由語言模型輸出一份結構化的 Visual Thought Plan（VTP），再依此生成文字回應、個人化語音，並產出嘴形與動作同步的頭像影片。

傳統做法通常把語音合成與人物影片視為兩條獨立管線，需要額外對齊文字、聲音與嘴形，容易出現時間錯位。Ex-Omni-2D 的差異在於採用 16 個 codebook 構成的原生多碼本語音單元，作為語音與影片共享的聲學與時序介面：同一組語音單元既驅動 TTS，也作為影片生成器的緊緻條件，從而降低跨模態錯位的風險。

影片生成路徑提供兩種互補模式：Full-sequence Teacher 採雙向注意力，追求最高畫質；Prefix-Streaming Student 則是蒸餾而來的少步數 block-causal 版本，支援 2、4、8 步串流推論，方便在工作站、GPU 伺服器甚至 Hugging Face Spaces 上做漸進式部署。

這個項目的重點：

• 對話原生影片：視覺行為直接從多模態對話上下文規劃，不必再手動撰寫影片提示詞。
• 結構化 VTP：明確定義首幀、場景、情緒、動作風格與動作細節，方便後續控制與除錯。
• 共享語音介面：16 個 codebook 同步驅動語音合成與人物動作。
• 品質與效率取捨：Teacher 負責最高畫質，Student 支援 2/4/8 步串流。
• 彈性部署：同一套代碼可在個人工作站、GPU 伺服器或 HF Spaces 執行，並提供線上 Demo 試玩。

在串流場景中，作者指出 Prefix Streaming 從第 9 至 16 chunk 的一致性明顯較強，將 last-to-first consistency error 降低 21.4%，這對需要長時間維持角色身份一致的應用相當關鍵。論文亦提到 Prefix Streaming 能減少長序列累積形變，同時保留參考圖像的人物外觀。

較適合的對象包括需要快速打造可對話 AI 助手、虛擬主播、客服分身或教學數字人的團隊；對研究多模態對話、語音驅動動畫的人來說，這份開源代碼、模型權重與 arXiv 論文也是一個方便的起點。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 騰訊, 文字轉語音, AI productions, 數字人, 多模態模型, 視頻模型, Qwen, 香港, 語音

---

LTX-2.5 原生多鏡頭、4K HDR，一次看懂升級重點

2026 年 8 月 12 日 Share to X Facebook Copy link

LTX 最新開源基礎模型 LTX-2.5，主打原生多鏡頭銜接、4K HDR，並降低重試與算力成本，繼續走開放權重路線。

如果你是用開源模型做影片生成的開發者，LTX-2.5 這次更新解決的卡位頗明確：人物、環境、光線與聲音在多鏡頭之間斷裂的問題。它把多鏡頭生成變成原生能力，並加入自動時長預測，模型會按指令動作自行決定片段長度，省下人手剪接的麻煩。

對比起多數只能透過後製拼接的同類方案，LTX-2.5 在 prompt 跟隨度上也有明顯進步，能夠處理更複雜的創作指示，而且只需要更短的提示詞就能產生穩定結果。配合新的擴散影片解碼器，動態假影更少，畫面在高解析度與 HDR 下仍能逐格保持質感。

本地部署與微調是這次版本延續的核心承諾：開源權重可直接下載，預訓練基礎模型可在自家做 LoRA 微調，產出與後製則支援原生 RAW workflow，貼近專業調色與剪接流程。

從官方比較表來看，目前維持開放權重且不受地區限制的開源視頻生成選擇仍然有限，這也是 LTX-2.5 在定位上最值得留意的差異化。不過實際表現仍需視本地硬件配置與工作流整合程度而定。

重點摘要

• 原生多鏡頭生成：人物、環境、光線與聲音在不同鏡頭間保持一致。
• 自動時長預測：依據動作需要自動決定片段長度。
• 4K HDR 與原生 RAW：支援專業調色與後製 pipeline。
• Gemma 4 12B 文字編碼器：搭配自研提示詞增強器，提升 prompt 跟隨度。
• 開源權重可下載：可在本地硬件運行，並支援 LoRA 微調。

項目主頁

Categories: 開源, AI productions, 數字人, 多模態模型, 視頻模型, 模型訓練, Video, Image, LTX

---

Grok Bot 登場：xAI 推出常駐 AI 同事，能自主操作電腦完成任務

2026 年 8 月 12 日 Share to X Facebook Copy link

Grok Bot 就像一隊永不登出的 AI 隊友，能登入你的軟件代勞長時間任務，從銷售外聯到支援工單都接力完成。

xAI 最新推出的 Grok Bot，把「Computer-use agents（CUAs）」這個概念包裝成一支可以分工的虛擬團隊。它擁有自己獨立運行的電腦環境，能像真人般登入 Zendesk 等 SaaS 工具、瀏覽網頁、操作軟件介面，並在背景 24 小時不中斷地接力完成任務。對需要處理大量例行工序的小團隊或一人公司來說，這類 agent 最直接的價值是把「等人按掣」的等待時間壓縮到接近零。

Grok Bot 強調幾個工作流設計：你可以同時叫多個 Bot 進入同一個對話串，分頭負責研究、公關、差旅等不同環節，Bot 之間會自行交接工作；只要你親自示範一次流程，它就能把步驟記成「routine」自動重複執行，並隨時間累積記憶，例如記下某客戶只簽年約、誰是決策人。對需要批量生成銷售名單、處理支援工單或長期追蹤項目進度的使用者而言，這種「邊做邊學」的能力比單純的 prompt 工具更貼近實際工作節奏。

定價方面，Grok Bot 綁定在 Cursor Ultra 月費 200 美元的方案內，包含其專屬電腦環境、跨裝置使用與排程執行；團隊版則額外提供 SSO 與共享用量分析。xAI 將其定位為企業 SaaS 的入口代理，但實際上能否取代 ClickUp、HubSpot 等內建自動化，仍要視乎它對接工具的覆蓋率與執行成功率。

重點摘要

• 擁有獨立電腦，能像人類登入並操作 SaaS 工具完成長時間任務
• 支援多 Bot 協作，在同一對話串內自行分工與交接
• 用戶示範一次流程後，Bot 可記為 routine 自動重複執行
• 隨時間累積記憶，保留客戶偏好、決策人等脈絡
• 透過 Cursor Ultra（200 美元/月）方案提供，團隊版含 SSO 與共享分析

項目主頁

Categories: Agentic, API, 工具, 線上服務, IDE, Mac, 免費試用

---

NeMo Speech：NVIDIA 把 ASR、TTS、語音 LLM 收進同一條 PyTorch 生產線

2026 年 8 月 12 日 Share to X Facebook Copy link

NVIDIA 把語音研究最常碰到的 ASR、TTS 與 Speech LLM 整合成單一框架，研究員和工程師不用再東拼西湊，也能用預訓練權重快速微調與部署。

語音 AI 的痛點往往不是模型不夠強，而是開發者要同時面對 ASR、TTS、串流識別等好幾套獨立工具鏈。NVIDIA NeMo Speech 把這些任務收進同一個 PyTorch 框架，並提供預訓練權重，讓研究員可以把精力花在實驗設計，而不是從頭搭建訓練流程。

從近期更新可以看到三個值得留意的方向：MagpieTTS v2607 把支援語言擴展到 12 種，新增阿拉伯文、韓文、葡萄牙文；Nemotron-3.5-ASR-Streaming-0.6B 在單一 H100 上能同時處理最多 2400 條串流，並允許把延遲控制在 80ms 到 1s 之間；Parakeet-unified-en-0.6b 則把離線與串流推理合併成一個英文模型，最短延遲 160ms。

Nemotron 3 VoiceChat 把 LLM、骨幹與 TTS 解碼器串成全雙工對話，能自然處理打斷與插話，這對於想建立語音助理的團隊是比較完整的一條路。Fastconformer 等快取感知架構是背後的工程功臣，讓長音訊串流不需要犧牲太多吞吐量。

訓練階段必須配備 NVIDIA GPU 與 CUDA 環境，推薦使用 PyTorch 2.7 或以上版本；現時倉庫正進行拆分，下一個主要版本預定 2026 年 6 月發佈，短期內穩定使用可以考慮 26.02 NGC container。對做客服、會議記錄、媒體字幕或有聲書生成的團隊，這套框架能把語音模型從原型走到部署的距離明顯縮短。

重點摘要：

• 單一框架覆蓋三大任務：ASR、TTS 與 Speech LLM 都在 NeMo Speech 內，減少切換工具鏈的成本。
• 串流效能突出：Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言，單張 H100 可並行 2400 條流，延遲可調。
• 多語 TTS 擴張：MagpieTTS v2607 覆蓋 12 種語言，並提供 Hugging Face 線上 demo。
• 全雙工語音助理：Nemotron 3 VoiceChat 把 LLM 與 TTS 解碼器結合，支援自然打斷與低延遲對話。
• 硬體要求明確：至少配備 80 GB 記憶體。訓練需 NVIDIA GPU 與 CUDA，PyTorch 2.7 或以上版本，推理可在 CPU 或 GPU 執行。

GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, NVIDIA, 框架, Python, 語音, Dataset 數據集

---