Qwen 2.5-Omni，是一個由阿里巴巴團隊開發的端對端多模態模型。它的主要目的是統一處理輸入的文字、圖像、音訊和影片，能同時生成文字和自然語音作為回應。模型在多模態輸入的感知、文字與語音的同步生成以及串流處理的優化等方面都採用了創新技術同埋架構，例如 TMRoPE 時間對齊編碼和 Thinker-Talker 架構。下面的影片詳細示範了 Qwen 在不同的應用場景下的優秀表現。

Phantom 是字節跳動最新的影片生成框架，主要是可以生成主體一致性(Subject-to-Video)的影片 。Phantom 會嚴格保留由用家提供的參考影像特徵，同時亦會根據提供的提示詞，創造出生動同連貫的影片。這個技術不單止可以用於單一主體，亦能夠同時處理多個主體之間的互動。透過跨模態對齊的訓練方式，Phantom 確保生成的影片內容既符合文字指令，亦能夠精準呈現參考影像中的主體。

 Yolo v12 是第一個以注意力機制為核心的 YOLO 模型，它將 CNN 和 Transformer 結合，以實現超高速的準確物件檢測。目前注意力機制在訓練模型時侯的能力，已經超越卷積神經網路（CNN），而 YOLO 過往只著重 CNN 的改進。YOLO v12 今次嘗試兼顧注意力機制的優點和 CNN 的準確度，透過引入區域注意力模組（Area Attention Module）和高效層聚合網路（R-E LAN），可以保證速度的同時，亦提升檢測的準確性。YOLO 是什麼

DeepSeek-VL2 使用 MoE 混合專家 Mixture-of-Experts 的視覺語言模型，主要在於提升多模態理解能力。DeepSeek-VL2 在視覺問答、光學字元識別、文件理解和視覺基礎等方面表現出色。模型包含三個版本：Tiny、Small 和 Base，並提供了模型下載、Gradio web 介面範例。

Janus 系列多模態理解和生成模型。核心是三個模型：Janus、Janus-Pro 和 JanusFlow，它們都基於單一 Transformer 架構，實現了統一的多模態理解和生成。Janus-Pro 是 Janus 的進階版，透過優化訓練策略、擴展數據和提升模型規模，顯著提升了性能。JanusFlow 則結合了自迴歸語言模型和修正流模型，在效能和多功能性上取得平衡。該資源提供了模型下載、快速入門指南，以及使用 Python 進行多模態理解和圖像生成的程式碼範例，並提供了 Hugging Face 線上演示和本地 Gradio/FastAPI 演示的說明。 最後，還列出了相關論文的引用資訊。

GitHub – CY-CHENYUE/ComfyUI-Janus-Pro: ComfyUI nodes for Janus-Pro, a unified multimodal understanding and generation framework.

ComfyUI nodes for Janus-Pro, a unified multimodal understanding and generation framework. – CY-CHENYUE/ComfyUI-Janus-Pro

一個以視覺為中心的多模態基礎模型，用於圖像和影片理解。其核心設計理念是優先利用高品質的圖像文字數據，而非大規模的影片文字數據進行訓練。模型採用四階段訓練流程：視覺對齊、視覺語言預訓練、多任務微調以及影片中心微調。此外，VideoLLaMA3 的架構設計能根據影像大小動態調整視覺 token 數量，並在影片處理中減少冗餘的視覺 token，以提升效率和準確性。最終，VideoLLaMA3 在圖像和影片理解基準測試中取得了令人信服的成果。(HuggingFace)