NAVA 是一個主打音訊與影片同步生成的項目，目標不是先整好畫面再補聲，而是由一開始就把兩者放在同一個生成流程內處理。對非技術讀者來說，可以把它理解成一個較重視「畫面發生什麼，聲音就跟住發生什麼」的模型，因此打鬥、說話、環境聲這類時間配合會更自然。

這個項目的核心做法，是先在獨立空間建立 audio-video alignment，再用文字或其他 context 去引導生成，並採用 Align-then-Fuse MMDiT 架構。另一個亮點是 Timbre-in-Context Conditioning，能把參考 WAV 的音色對應到指定語音片段，適合多角色對白、指定聲線或旁白控制。

NAVA 有 6.3B 參數，可在 8 張 GPUs 配合 Ulysses sequence parallelism 下約 1 分鐘生成 720p 影片，這代表它主要面向高階 GPU 環境；VRAM 的作用是存放模型權重、推理中的中間特徵、音訊與影片 token，以及較高解像度生成所需的緩衝空間，VRAM 越充足，越有機會支援更高畫質、較長內容或較穩定的批次推理。

• 支援 native stereo audio，畫面、場景聲與語音一併生成
• 可用文字控制鏡頭構圖、運鏡與節奏
• 支援 multi-timbre voice control，適合多角色配音場景
• 同一 checkpoint 可輸出橫向、直向與正方形比例
• 英文 TTS 表現較強，其他語言支援看來仍較有限

它在 Verse-Bench、Seed-TTS 及用戶研究中，於影片質素、聲畫同步和參考音色可控性有明顯優勢，音訊質素亦具競爭力。若你關注開放式 audio-video generation、TTS、虛擬角色影片、短片內容製作，或者想研究 6.3B 級別模型如何平衡同步效果與運算需求，NAVA 是一個很值得細看的項目。

GitHub： https://github.com/ernie-research/NAVA

Lens 是 Microsoft 推出的文字生成圖片模型，規模約 3.8B 參數，重點不只是畫質，還包括「用較少訓練成本做到接近甚至追上更大模型」。這個 GitHub 項目目前定位清晰，主要提供推論用途的最小程式碼，方便直接用現成 checkpoint 生成圖片。

動手方式很直接：準備好 Lens 的權重後，利用這個項目的推論程式輸入文字提示，便可生成圖像。它特別適合想快速試畫面風格、測試長提示詞效果，或者比較不同文字生圖模型輸出的人；若要完整訓練或微調流程，現有儲存庫資訊顯示並不是這個項目的重心。

它解決的核心問題，在於近年文字生圖模型愈做愈大，訓練成本高得驚人。Lens 嘗試從資料密度、模型結構和解析度學習方式入手，在較緊湊的 3.8B 規模下，仍保持不錯的提示理解、高解析度輸出，以及多種長寬比生成能力。

較值得留意的地方有幾個：它用長篇密集描述的圖文資料預訓練，配合 mixed-resolution learning，令模型一次學到更多內容；文字理解方面則結合 GPT-OSS 多層特徵與 FLUX.2 semantic VAE。官方亦提到有 Lens-Turbo 這類後續變體，主打 4-step 快速生成，另有 RL 調整版本用來改善畫質與壓低瑕疵。不過仍需要 A100/V100 GPU。

• 3.8B 參數規模，定位是高效率文字生圖模型
• 支援約 1:2 至 2:1 長寬比，最高可到 1440×1440
• 相關模型包括 Lens、Lens-Turbo，以及經 RL 調整的變體
• 官方論文指出 1024×1024 輸圖可達約 3.15 秒，Turbo 4-step 約 0.84 秒

整體來看，這個項目最吸引之處不是功能包山包海，而是把焦點放在「精簡推論」與「高效率模型設計」上。對研究生成式 AI 趨勢、想評估新一代文字生圖效率，或需要高解析度輸出的開發者與創作者來說，Lens 是一個值得留意的項目；不過涉及基準細節與全面比較時，仍建議一併參考論文與模型頁面。

GitHub： https://github.com/microsoft/Lens

Paper： https://arxiv.org/pdf/2605.21573

LatentOmni 是一個面向影音多模態大語言模型的研究項目，重點不是叫模型先把線索全都翻成文字再慢慢推理，而是讓聲音與畫面的資訊在同一個潛在空間內一起運作。簡單講，它想保留更多原始感官訊號，減少中途只靠語言猜答案的情況。

這個方向要解決的問題很明確：不少模型在看影片、聽聲音後，雖然能描述內容，但一遇到需要同時對齊時間、事件因果或細節關聯的題目，表現便會下跌。LatentOmni 提出的做法，是把文字推理流程與影音潛在狀態交錯進行，並用 OSPE 這類時間同步設計，幫助模型對準聲畫節奏。

從使用角度看，現時這個 GitHub 儲存庫仍以論文與概念介紹為主，訓練程式、推論程式、模型權重和資料集尚未正式釋出。因此較適合先拿來了解新一代多模態推理方法，或者作為研究與技術評估的參考，而不是立即部署到產品流程。

• 核心亮點是統一聲音與畫面的潛在推理，而非只輸出文字式思路
• 加入特徵層級監督與 OSPE，目標是保留時間對齊與跨模態關聯
• 配套資料集為 LatentOmni-Instruct-35K，用來訓練交錯式影音推理軌跡
• 論文指出它在多個影音推理基準上，表現優於明確文字 CoT 基線

整體來看，這個項目最吸引之處，是它把「模型怎樣思考」由文字中介，推前到更接近原始聲畫訊號的層面。適合關注 MLLM、影音理解、跨模態推理的人留意；若你想比較相關模型，也可把它與依賴文字 CoT 的開源多模態模型放在同一條線上觀察。不過現階段公開內容有限，性能細節仍應以論文報告為準，評估時要保持審慎。

GitHub： https://github.com/yfanDai/LatentOmni

Paper： https://arxiv.org/pdf/2605.22012