LatentOmni 是一個面向影音多模態大語言模型的研究項目，重點不是叫模型先把線索全都翻成文字再慢慢推理，而是讓聲音與畫面的資訊在同一個潛在空間內一起運作。簡單講，它想保留更多原始感官訊號，減少中途只靠語言猜答案的情況。

這個方向要解決的問題很明確：不少模型在看影片、聽聲音後，雖然能描述內容，但一遇到需要同時對齊時間、事件因果或細節關聯的題目，表現便會下跌。LatentOmni 提出的做法，是把文字推理流程與影音潛在狀態交錯進行，並用 OSPE 這類時間同步設計，幫助模型對準聲畫節奏。

從使用角度看，現時這個 GitHub 儲存庫仍以論文與概念介紹為主，訓練程式、推論程式、模型權重和資料集尚未正式釋出。因此較適合先拿來了解新一代多模態推理方法，或者作為研究與技術評估的參考，而不是立即部署到產品流程。

• 核心亮點是統一聲音與畫面的潛在推理，而非只輸出文字式思路
• 加入特徵層級監督與 OSPE，目標是保留時間對齊與跨模態關聯
• 配套資料集為 LatentOmni-Instruct-35K，用來訓練交錯式影音推理軌跡
• 論文指出它在多個影音推理基準上，表現優於明確文字 CoT 基線

整體來看，這個項目最吸引之處，是它把「模型怎樣思考」由文字中介，推前到更接近原始聲畫訊號的層面。適合關注 MLLM、影音理解、跨模態推理的人留意；若你想比較相關模型，也可把它與依賴文字 CoT 的開源多模態模型放在同一條線上觀察。不過現階段公開內容有限，性能細節仍應以論文報告為準，評估時要保持審慎。

GitHub： https://github.com/yfanDai/LatentOmni

Paper： https://arxiv.org/pdf/2605.22012

Mega-ASR 是一個針對野外場景而設的語音辨識項目，重點放在「環境愈差，結果仍然可用」。一般模型在雜音、回音、收音距離遠，甚至傳輸中斷時，常會出現漏句、亂寫內容或直接沒有輸出；這個項目正是為了解決這類問題而來。

它的做法不是只靠單一噪音增強，而是把真實世界常見的聲學干擾拆成 7 類基本條件，再組合成 54 種複合場景，用約 260 萬筆訓練樣本去磨練模型。論文亦提到兩個關鍵方法：A2S-SFT 與基於 DG-WGPO 的強化學習，目標是令模型由聲音訊號一路更穩定地對應到語意，特別加強嚴重失真下的語意恢復與局部關鍵字重建。

想試這個項目，最直接是查看其 Hugging Face 權重、技術報告，以及配套的 Voices-in-the-Wild-2M 資料集和 Voices-in-the-Wild-Bench 基準。對開發語音輸入、會議轉錄、客服錄音整理，或戶外收音產品的人來說，這類資源比單看示範更有參考價值，因為可以用同一套基準比較不同模型在惡劣環境下的表現。

• 針對雜音、遠場、遮擋、回音、錄音瑕疵、電子失真與傳輸掉包而訓練
• 特色是減少 hallucination、空白輸出與整句遺漏
• 提供模型權重、資料集與基準，方便延伸評估
• 相關模型可留意 Qwen3-ASR-1.7B，以及 README 提到的其他開源與閉源強模型比較

表現方面，公開資料指出它在多個惡劣條件基準上優於先前強模型，例如在 VOiCES R4-B-F 與 NOIZEUS Sta-0 的錯誤率均有明顯下降；在複合聲學場景下，亦錄得超過 30% 的相對錯誤率改善。不過這些結果主要來自論文與項目提供的評估，使用時仍要看語言種類、音訊長度和部署資源是否配合你的場景。

整體來看，Mega-ASR 最值得留意的，不是它把乾淨語音分數推高多少，而是它把語音辨識帶回更接近現場的問題：收音差、環境亂、訊號不完整時，系統還能否交出可信文本。對需要「穩定比完美更重要」的項目，這個方向相當有吸引力。

GitHub： https://github.com/xzf-thu/Mega-ASR

Paper： https://arxiv.org/pdf/2605.19833

ZEDA 針對的是一個很實際的痛點：大型 MoE 模型雖然強，但部署時每次回應都要動用唔少計算資源，成本高、速度亦受影響。呢個專案的目標，係唔使由頭再訓練模型，而係在現有、已做完後訓練的 MoE 之上，再改造成更靈活的動態版本。

它的做法有點似「老師帶學生」：先用原本的 MoE 當固定老師，再訓練新的學生模型去學習輸出，同時加入一種零輸出的專家，讓部分較簡單的 token 可以略過不必要計算。根據論文與倉庫資訊，這種方法可減少超過一半 expert FLOPs，整體表現只屬輕微下跌，並帶來約 1.20 倍端到端推理加速。

ZEDA 不是通用開發框架；它是清華 C3I 團隊的一個研究專案，從公開論文摘要看，全名是 Zero-Expert Self-Distillation Adaptation，目標是把靜態 MoE 模型轉成更高效的動態 MoE 模型，以降低推理成本並提升速度。這個專案對應的 GitHub 倉庫就是 TsinghuaC3I/ZEDA，而論文頁面也明確指向該 repo。

實際動手時，流程大致分兩步：先做 SFT，利用老師模型產生的回應或已釋出的 rollout 結果訓練學生；之後再做 OPD，改為由學生自己生成，再由老師提供 token 級別目標去微調。倉庫亦提到可配合已公開的 prompts 與 rollout 資料使用，對想重現結果或套用到指定 MoE 的人會方便不少。

• 核心價值：把已完成訓練的靜態 MoE，改成推理時更慳算力的動態 MoE
• 方法亮點：加入零輸出專家，再用兩階段自蒸餾穩定轉換過程
• 可選模型：Qwen3-30B-A3B、GLM-4.7-Flash
• 適合場景：模型已定版，但上線後仍想再壓低推理成本
• 資料配套：提供 prompts 集合，亦釋出部分 rollout 結果可直接利用

整體來看，ZEDA 最值得留意的地方，不是單純追求更高分，而是補上「模型已經訓練完，之後仲可以點樣再慳資源」這一步。對研究 MoE 部署、推理優化，或者手上已有大型後訓練模型的團隊，這個方向相當有參考價值；至於一般讀者，可以把它理解成一種用較少電腦功夫，換來差不多效果的改裝方案。

GitHub： https://github.com/TsinghuaC3I/ZEDA

Paper： https://arxiv.org/pdf/2605.18643

KVPO 係一個針對影片生成訓練流程嘅研究型專案，焦點唔係單純「生成到片」，而係令模型喺逐格、逐段生成嘅過程中，更穩定咁貼近文字提示同預期內容。對一般讀者嚟講，可以理解成：佢想改善 AI 影片成日出現嘅「開頭啱、之後走樣」問題。

呢個方法特別之處，在於佢唔只睇最後條影片好唔好，而係會喺生成途中做多條候選路線探索，再用獎勵模型判斷邊條路線更值得學。README 提到佢結合咗類似 PPO 嘅強化學習更新，以及對生成軌跡嘅機率估計，目標係令自動回歸影片模型學得更準。

實際了解同試用呢個專案，會由查看論文、專案頁面同釋出權重開始，再按設定準備對應環境、模型權重同資料。由於文件列出咗 H200、CUDA 12.8、Wan2.1 backbone，以及 HPSv3、VideoReward 等元件，較適合已有 GPU 資源、熟悉深度學習訓練流程嘅讀者，而唔係即開即用型工具。

• 主要處理影片生成中內容偏離提示、時間一致性變差等問題
• 核心做法係先探索多個生成分支，再用獎勵分數引導學習
• 研究重點放喺自動回歸影片模型，而唔係一般圖片生成
• 文件顯示會配合 Wan2.1-T2V-1.3B 等 backbone 使用
• 仲會涉及 HPSv3、VideoReward 呢類評分或獎勵相關模型

整體而言，KVPO 比較適合關注影片生成訓練方法嘅研究者、工程師，或者想比較唔同對齊策略嘅團隊。對非技術用家，佢未必係直接拎嚟出片嘅方案；但作為觀察新一代影片模型點樣「學識跟指令」嘅方向，呢個專案幾有參考價值。

GitHub： https://github.com/Richard-Zhang-AI/KVPO

Paper： https://arxiv.org/pdf/2605.14278