InferNews

Gemma 4 12B 這波某程度上算是在回應那個「手機級模型和大模型之間，會補一個中階模型」的傳聞。不過真正讓人眼睛一亮的，還是 QAT (Quantization Aware Training，量化感知訓練）真的做上來了。再加上現在也支援 MTP，Gemma 4 這代在本地模型的能力和效能上，整體都往前推了不少。總算看到除了 Qwen 之外，其他實驗室開始打出像樣的競爭了；最近的 local AI，真的很像一直都是 Qwen 在 carry。

一般語音大型語言模型只能說出口頭回應，許多文字擅長的工作（例如編寫程式、條列分析、逐步推理）在即時對話中往往被犧牲。Listen-Write-Speak（LWS）正是針對這個瓶頸而設計，它讓單一自回歸大型語言模型同時處理三個通道：持續聆聽使用者音訊、即時生成可見的文字、並行輸出語音回應，三者共享同一個因果注意力脈絡。

這是模型、框架，還是什麼？ LWS 是一個完整的語音模型項目，包含推理服務、Triplex/LWS runtime、前端展示以及測試，並非單純的網頁展示殼層。它建基於 OpenBMB 的 MiniCPM-o-4_5，再透過 Token Schema 機制在不改動模型架構的前提下，把文字輸出提升為第一公民的通道。

創新之處在於打破了「文字只是隱藏中間狀態」的慣例：寫入螢幕的內容不再只是語音的草稿，而是可被檢視、可被複製、可被審核的正式輸出。這對於需要邊說邊整理思緒的場景特別有幫助，例如教學、編程輔助、會議摘要。

性能與評估方面，項目在 VoiceBench AlpacaEval 達到 4.72 分，書寫與語音一致性為 92.6%，並在 Full-Duplex-Bench 與多語言 URO-Bench 都有穩定表現，顯示三通道並行並未犧牲即時反應。

適合的對象包括研究語音介面的開發者、需要可審核對話紀錄的團隊，以及對全雙工（full-duplex）互動有興趣的 AI 工程師。如想測試，可透過 ModelScope 下載基座模型 OpenBMB/MiniCPM-o-4_5 與 LWS 資產後運行推理服務與前端展示。

重點摘要：

• 三通道並行：聆聽、可見書寫、語音輸出共享一個因果注意力脈絡
• 文字優先：寫入內容是第一公民輸出，不再是隱藏草稿
• 無需改架構：透過 Token Schema 在標準自回歸 LLM 上實現
• 完整開源 runtime：包含推理服務、runtime 與前端，非單純展示
• 多項基準驗證：在 Full-Duplex-Bench、VoiceBench、URO-Bench 均有報告數據

GitHub： https://github.com/zly-idleness/lws_demo

項目： https://royalzhang.com/project/lws-page/

機械人學習操作技能時，往往要把「預測未來畫面」和「即時輸出動作」綁在同一個節奏上，導致規劃與控制互相拉扯。上海交通大學、百度智能雲及上海人工智能實驗室等團隊提出的 AHA-WAM（Asynchronous Horizon-Adaptive World-Action Modeling）項目，就是要把兩者拆開來處理。

核心架構：雙分支異步運作

AHA-WAM 採用兩個 Diffusion Transformer（DiT）分支：低頻的 video DiT 負責長程的視覺世界規劃，並利用滾動式 K/V 記憶體儲存可重用的上下文；高頻的 action DiT 則接收本體感覺訊號，向 video DiT 查詢所需上下文後，即時產生短時閉環動作區塊。兩者各司其職，避免互相拖累。

兩項關鍵訓練與推論機制

• Horizon-Adaptive Offset Training（水平自適應偏移訓練）：讓執行器在規劃器與執行器出現相位差時仍能穩定運作。
• Observation-Guided Video-Context Routing（觀察引導的視覺上下文路由）：根據最新觀察調整快取的規劃上下文，無需重新運行 video DiT 即可對齊當下狀態。

實測表現亮眼

在 RoboTwin 2.0 模擬環境的 50 項雙臂任務中，AHA-WAM 達到 92.80% 平均成功率，且無需任何機械人數據預訓練；在四項原始設定的真實雙手任務中則取得 78.33% 成功率。控制頻率方面，閉環頻率達 24.17Hz；經 ODE 蒸餾的輕量版 AHA-WAM-Flash 更可達 56.95Hz，相比 Fast-WAM 提升約 10.82 倍。

AHA-WAM 適合研究世界模型、機械人操控策略，以及追求高頻閉環控制的開發團隊；其異步架構亦為離線規劃與即時控制分離的設計思路提供新參考。

項目： https://serene-sivy.github.io/aha-wam/

把低清、模糊的影片即時變成清楚版本，一直是擴散式（diffusion-based）影片修復（VR, Video Restoration）模型的痛點：畫質漂亮，卻慢得跑不動。SwiftVR 是一個以單步生成（one-step generative）路線設計的串流修復框架，主打把高解析度延遲壓到可即時播放的範圍，同時保持擴散模型的視覺品質。

為何能跑得這麼快？ 項目作者從兩個瓶頸下手。第一是空間注意力在高解析度下的二次方成本：SwiftVR 引入 MFSWA（Mask-free shifted-window self-attention），把每個空間窗口預先重排成稠密張量，讓每次注意力呼叫都走標準的 SDPA（Scaled Dot-Product Attention）路徑，省掉遮罩、循環位移、稀疏 kernel，吞吐量比全注意力教師模型提升約 1.62×。第二個瓶頸是傳統 3D VAE 解碼太笨重：他們改用一個輕量級的 ReAE（Restoration-aware Autoencoder），與 DiT（Diffusion Transformer）聯合在像素空間微調，讓分塊解碼不再卡住流水線。

數字上多誇張？ 同一個權重檔，在單張 H100 上，QHD（2560×1440）24 幀約 31 FPS、4K（3840×2160）約 14 FPS，而所有比較的擴散式 VR baseline 在 4K 都 OOM（Out-of-Memory，記憶體溢位）。換到消費級的單張 RTX 5090，1080p 可達約 26 FPS，達到即時串流門檻，且全程不需重寫 kernel 或重新訓練。所有推理走預設 PyTorch SDPA 與 bfloat16。

誰適合關注？ 需要為直播、視訊會議、老片修復平台做即時前處理的研究員與工程師；對 DiT、串流推理、邊緣部署有興趣的開發者；以及想找一個 open-source 起點、把生成式 VR 推上消費硬體的團隊。

與同類相比的相對位置： 對照組 DOVE、SeedVR2-3B、FlashVSR-Tiny 在 QHD 下分別約 0.85、1.39、9.61 FPS，SwiftVR 約 31.32 FPS，速度差距明顯。論文亦宣稱在無參考感知品質指標上具競爭力，但具體分數請以原論文表格為準。

重點摘要：

• 單步生成路線：放棄多步擴散，以一步生成換取低延遲。
• MFSWA 注意力：把窗口預聚集成稠密張量，繞過稀疏 kernel。
• ReAE 解碼器：取代 3D VAE，解放分塊解碼的瓶頸。
• 因果分塊串流：無滾動 KV、快取即可限制時間軸成本。
• 消費級硬體可達即時：RTX 5090 1080p 約 26 FPS，H100 一路到 4K。

GitHub： https://github.com/H-oliday/SwiftVR

項目： https://h-oliday.github.io/SwiftVR/