Magenta RealTime 2（MRT2）是個即時音樂生成的 open-weights model，重點不只是一個模型，還連同 Python 推論庫 magenta-rt、C++ 推論引擎 magentart::core，以及可直接延伸成應用程式的示例一併提供。對想將生成式音樂放入創作工具、互動程式或聲音實驗的人來說，這個項目比單純放出模型更完整。

不少音樂生成模型可以離線產出內容，但要做到邊播邊生成、能配合演奏或介面互動，系統延遲、串流效率與硬件限制都會變成關鍵。MRT2 直接針對 real-time streaming 設計，並且把 Apple Silicon MacBook 的串流音訊生成列為核心場景，令開發者較容易把模型接入 DAW、獨立 app 或其他音樂工具。

Magenta RealTime 2 可按需要選擇 Python 或 C++ 路線：想試模型行為，可用 magenta-rt 配合 JAX 或 MLX；想做較高效率的音訊串流，則可留意 magentart::core；要接近成品流程，儲存庫內亦有 AUv3 plugin、standalone macOS app、note control 與 prompt space 探索工具。這種由底層推論到示例應用都齊備的安排，對建立原型特別有幫助。

• 提供兩個模型：mrt2_small（230M）與 mrt2_base（2.4B）
• mrt2_small 可在多款 Apple Silicon Mac 即時運行，Air 系列亦可支援
• mrt2_base 音質定位較高，但即時串流需 Pro Max 級別晶片
• Python 路線支援 JAX、MLX，亦提到可在 NVIDIA GPU 做 offline inference
• 內附 AUv3、standalone app 與互動示例，方便延伸成創作工具

性能資訊在這個項目中算是寫得具體：即時串流明確依賴 Apple Silicon（M 系列），而且不同晶片對 mrt2_base 的支援有清楚區分。從已公開資料看，mrt2_small 較適合大部分開發與測試場景，mrt2_base 則偏向追求更高品質、且手上有較高階 Mac 的用家。若你正在做音樂科技項目、DAW 擴充、互動聲音裝置，或者想研究生成模型如何接入即時工作流，這個項目相當值得留意。

GitHub： https://github.com/magenta/magenta-realtime

而家不少影片大模型都可以答片段問題、做內容理解，但片一長，速度同成本就會急升。LiteFrame針對的正正唔係表面上的「睇少啲格」，而係指出每一格都交俾大型視覺編碼器處理，本身先係真正慢位。

這個專案提出一個較輕量的影片編碼骨幹，核心做法是用較大的教師模型，教一個更精簡的學生模型直接產生已壓縮、但仍保留時空資訊的表示。論文將這套訓練方式稱為 Compressed Token Distillation，另外亦配合 Language Model Adaptation，令後續語言模型更易接住使用這些視覺資訊。

對使用者而言，現階段較適合作為研究參考而非即裝即用工具，因為 README 已說明程式碼和權重尚未釋出。實際閱讀可以先由論文和項目頁入手，集中看它如何比較端到端延遲、可處理影格數，以及在多個影片理解基準上的準確度變化。

• 重點不只是減少語言模型負擔，亦直接降低逐格視覺編碼成本
• 主打長影片理解，在固定運算預算下處理更多 frames
• 論文提到相對 InternVL3-8B，可降低端到端延遲並處理更多影格
• 適合做影片問答、影片描述、時序推理相關研究參考
• 文中脈絡亦關連到 Video LLM、MLLM、ViT、InternVL3-8B 等模型路線

整體來看，LiteFrame的價值在於把焦點由「事後刪 token」移前到「一開始就更有效率地抽特徵」。對關注長片分析、影片助手或多模態系統的人來說，這是一條幾實際的新方向，不過最終落地效果仍要等官方釋出程式碼與模型後，先可以更完整驗證。

GitHub： https://github.com/jjihwan/LiteFrame

Paper： https://arxiv.org/pdf/2605.17260