LatentOmni 是一個面向影音多模態大語言模型的研究項目，重點不是叫模型先把線索全都翻成文字再慢慢推理，而是讓聲音與畫面的資訊在同一個潛在空間內一起運作。簡單講，它想保留更多原始感官訊號，減少中途只靠語言猜答案的情況。

這個方向要解決的問題很明確：不少模型在看影片、聽聲音後，雖然能描述內容，但一遇到需要同時對齊時間、事件因果或細節關聯的題目，表現便會下跌。LatentOmni 提出的做法，是把文字推理流程與影音潛在狀態交錯進行，並用 OSPE 這類時間同步設計，幫助模型對準聲畫節奏。

從使用角度看，現時這個 GitHub 儲存庫仍以論文與概念介紹為主，訓練程式、推論程式、模型權重和資料集尚未正式釋出。因此較適合先拿來了解新一代多模態推理方法，或者作為研究與技術評估的參考，而不是立即部署到產品流程。

• 核心亮點是統一聲音與畫面的潛在推理，而非只輸出文字式思路
• 加入特徵層級監督與 OSPE，目標是保留時間對齊與跨模態關聯
• 配套資料集為 LatentOmni-Instruct-35K，用來訓練交錯式影音推理軌跡
• 論文指出它在多個影音推理基準上，表現優於明確文字 CoT 基線

整體來看，這個項目最吸引之處，是它把「模型怎樣思考」由文字中介，推前到更接近原始聲畫訊號的層面。適合關注 MLLM、影音理解、跨模態推理的人留意；若你想比較相關模型，也可把它與依賴文字 CoT 的開源多模態模型放在同一條線上觀察。不過現階段公開內容有限，性能細節仍應以論文報告為準，評估時要保持審慎。

GitHub： https://github.com/yfanDai/LatentOmni

Paper： https://arxiv.org/pdf/2605.22012

YingMusic-Singer 是一個 Zero-shot Singing Voice Synthesis (SVS) 與編輯框架，目標是解決歌聲合成裡最麻煩的對齊和標註成本。它把「用參考旋律生成新歌詞」和「直接改寫既有歌聲」放在同一套流程內，對要做快速原型、音樂內容改稿、或批量製作不同版本歌聲的團隊特別有吸引力。

它的核心做法是 Annotation-free Melody Guidance，不用再依賴昂貴的 phoneme-level alignment，亦不需要人工補 MIDI 標註。使用時可以餵入參考音訊，讓系統自動抽旋律；亦可以直接輸入 MIDI，令旋律來源更彈性。令它比傳統要逐句對齊的做法輕身很多，但也意味著成品質素會更依賴參考旋律本身是否清晰。

• 支援 zero-shot 合成與編輯，兩種流程放在同一個框架內
• 可由參考音訊自動抽旋律，亦可直接用 MIDI
• 不需要針對目標聲線再做微調
• beta 版已停用，現時要改用 beta 分支

技術上，它採用 Diffusion Transformer (DiT) 式生成模型，再配合預訓練旋律抽取模組，由參考音訊導出 MIDI 資訊，然後再做受控生成。加入 Flow-GRPO reinforcement learning 去改善發音清晰度、旋律準確度和音樂性，但現有公開資料未見完整量化表格。

項目主頁 · GitHub · 模型

以往 Video-to-Audio（V2A）模型總要在語意對不對、聲畫同步、音色好唔好聽、空間定位準唔準四個指標之間拉鋸，往往一個 loss function 包起晒，結果邊樣都做唔好。PrismAudio 想處理嘅就係呢個「目標纏結」問題。

佢最特別嘅做法係把生成過程拆成四個專門嘅 Chain-of-Thought 模組，分別對應語意、時間、美感、空間，每個模組配對一組針對性嘅 reward function，再用 RL 聯合優化。換句話講，模型唔再係靠單一總分亂試，而係四個維度各自有指引。

訓練成本係 RL 常見痛點。PrismAudio 提出 Fast-GRPO，用 ODE 同 SDE 混合採樣，比起一般 GRPO 實現大幅減低開銷，令多維度 RL 訓練變得貼地。

團隊亦同步推出 AudioCanvas 基準，包含 300 個單事件類別同 501 個多事件樣本，比現有數據集更貼近真實多樣場景。喺 VGGSound 同 AudioCanvas 上，PrismAudio 都拎到四個感知維度嘅 SOTA。

配搭 Sora 2、Veo 3 等頂級影片生成模型時，PrismAudio 可以補上立體聲音軌，令短片多一層沉浸感。對做 AI 影片、數字人、內容創作嘅人來說，多咗一件可以直接嵌入成片流程嘅音訊工具。

重點摘要

• 首次把強化學習引入 V2A 生成流程。
• 四個 Chain-of-Thought 模組對應語意、時間、美感、空間 reward，拆解目標纏結。
• Fast-GRPO 以 ODE-SDE 混合採樣降低 RL 訓練成本。
• 自建 AudioCanvas 基準涵蓋更多真實多事件場景。
• 喺 VGGSound 同 AudioCanvas 上四個感知維度都達到 SOTA，並可配合頂級影片模型輸出立體聲。

• 語義合理性（Semantic）
• 音視同步性（Temporal synchrony）
• 音質美感（Aesthetic quality）
• 空間準確度（Spatial accuracy）

作者的關鍵點是：現有模型通常把這些目標混在一個損失函數裡，會造成「目標互相干擾」（objective entanglement），而 PrismAudio 用 分解式 Chain‑of‑Thought（CoT）推理＋多維度強化學習（RL） 來避免這個問題。

項目主頁

LTX-2 是 Lightricks 開發的 DiT 基礎音訊影片生成模型，整合影片與音訊的同步生成功能，具備一次推論即可產出同步音訊與影片的能力。模型採用 190 億參數，另外提供 fp8、nvfp4 等壓縮量化版本，以及 190 億參數的蒸餾版本與 LoRA 微調版。所有模型都以 safetensors 格式提供，代碼與模型權重均在 Hugging Face 上公開，使用 ltx-2-community-license-agreement 授權，屬於開源模型。可直接於本地使用 PyTorch 或 Diffusers 套件呼叫，亦支援 ComfyUI 整合，適合多階段上采樣流程。