MiniMax 公司釋出開源 MiniMax-01 系列大型語言模型，包含文字模型 MiniMax-Text-01 和視覺多模態模型MiniMax-VL-01。其核心採用了創新大規模的「Lightning Attention」機制，這是一種新型注意力機制，能有效處理長達 400 萬個 token 的超長上下文，遠超其他領先模型，同時在效能上與全球頂尖模型持平。模型的開源旨在推動 AI Agent 時代的發展，並透過高效的架構和訓練方法，提供具有競爭力的 API 服務。MiniMax 也強調了其模型在長上下文理解任務中的優異表現以及其在實際應用場景中的領先地位。

想了解更多關於這模型可參考這報告詳細闡述了模型架構、計算優化策略 (包括訓練和推論階段的並行策略和通訊計算重疊技術)、預訓練數據的構建和處理方法、以及安全性和對齊訓練等方面的工作。 實驗結果顯示 MiniMax-01 在多項基準測試中取得了領先或相當的成果，並公開釋出模型權重和 API，旨在推動大型語言模型的發展。

DeepSeek-V3 的架構，包含創新的多標記預測 (MTP) 目標函數和無輔助損失的負載平衡策略，以及基於Multi-Head Latent Attention (MLA) 和 DeepSeekMoE 的高效能設計。

DeepSeek-V3 是一種強大的專家混合 (MoE) 語言模型，總參數為 671B，每個令牌啟動 37B。為了實現高效的推理和經濟高效的訓練，DeepSeek-V3 採用了多頭潛在註意力（MLA）和 DeepSeekMoE 架構，這些架構在 DeepSeek-V2 中得到了徹底的驗證。在 14.8 兆個多樣化的高品質 Token 上對 DeepSeek-V3 進行預訓練，然後進行監督微調和強化學習階段，以充分利用其能力。綜合評估表明，DeepSeek-V3 的性能優於其他開源模型，並且達到了與領先的閉源模型相當的性能。儘管性能出色，DeepSeek-V3 僅需要 2.788M H800 GPU 小時即可完成完整訓練。此外，它的訓練過程非常穩定。在整個訓練過程中，沒有遇到任何不可恢復的損失高峰或執行任何回滾。

結合擴散的圖像生成和多模態大型語言模型 (MLLM)

DiffSensei 效能超越現有模型，代表在漫畫生成領域的重大進展，實現了文本可調整的角色客製化，並公開程式碼、模型和數據集。

DiffSensei 使用遮罩交叉注意力來整合角色特徵，實現精確的版面控制，並透過 MLLM 調整角色特徵以符合面板的文字提示，從而靈活調整角色的表情、姿勢和動作。研究團隊也公開了一個大型數據集 MangaZero，包含大量漫畫頁面和標註面板，以支援此任務。實驗結果顯示。