Orchestra-o1 由香港中文大學（CUHK）計算機科學與工程學系的 Fan Zhang 領銜，聯同北京大學、清華大學、同濟大學及 LIGHTSPEED 團隊共同開發。模型權重同步開源於 Hugging Face。

這個項目的定位是多智能體協作框架，針對文字、圖像、音訊、影片並存的「全模態」（omnimodal）場景，自動把複雜任務拆解成多個子任務，再分配給專責的 SubAgent 執行。MainAgent 負責規劃與協調，SubAgent 則配備搜尋、執行程式碼、影音分析等工具獨立運作，獨立子任務可同步執行以提升效率。

重點摘要：

• 層級式架構：MainAgent 統籌拆解任務，SubAgent 各司其職，避免單一模型疲於應付多模態輸入。
• 平行執行：無依賴的子任務同步進行，加快整體處理速度。
• DA-GRPO 訓練法：以 Qwen3-8B 為基礎，搭配 Decision-Aligned Group Relative Policy Optimization 與 LLM-as-judge 獎勵機制微調。
• OmniGAIA 表現：在 OmniGAIA 基準測試取得 72.8% 準確率，領先第二名 10.3 個百分點。
• 開源生態：基於 Python 3.10+ 與 verl 框架，訓練需 8 張 H20 (96GB) GPU 單節點。

Orchestra-o1 的創新在於把「模態感知拆解」與「線上子智能體特化」結合，讓多模態協調不再依賴線性流程。適合需要處理多媒體資訊的研究團隊、Agent 開發者，以及關注 Computer-use agents（CUAs）與多模態模型應用的工程師。

效能方面，作者將 Orchestra-o1-8B 定位為同類開源全模態代理中最先進（SOTA），同時在商用模型（例如 GPT-5）推理腳本中亦提供整合，方便研究人員比較開源與閉源路線的差距。

GitHub： https://github.com/zfkarl/Orchestra-o1

Paper： https://arxiv.org/pdf/2606.13707

多模態智能體在持續觀察環境時，會接收海量且不斷累積的視覺與語言資訊。若把所有內容都存進長期記憶，既不實際也容易雜訊過多。Task-Focused Memorization for Multimodal Agents 這份研究，把焦點放在一個根本問題：智能體到底應該記住什麼？

來自 ByteDance Seed 與復旦大學的作者群提出名為 TaskMem（Task-focused Memorization Policy Learning） 的框架，把記憶生成視為一項可學習的策略。系統採用兩階段訓練：第一階段先學習怎樣記得準確，第二階段則在部署後，根據近期遇到的任務調整一個 adapter，使基礎多模態大型語言模型（MLLM）偏向記錄與任務相關的內容。整個過程以強化學習驅動，獎勵訊號來自真實任務的表現。

為了評估記憶品質，研究團隊將 VideoMME、EgoLife 與 EgoTempo 改造成串流基準，模擬智能體邊觀察邊回答的場景，且回答時只能依賴記憶，不能翻看原始影片。基於 Qwen3-VL-30B-A3B，TaskMem 在三個基準的 VQA 準確率分別提升 6.3%、7.0% 與 5.3%，並在多項指標上超越 Gemini-2.5-Pro、GPT-5.2 等大型模型。

這項工作對從事多模態智能體、機器人記錄系統或長期對話助手開發的研究者特別有參考價值，因為它把「該記什麼」變成可優化的決策，而非寫死規則。對於關注世界模型與持續學習（continual learning）的團隊，TaskMem 亦提供了一個結合任務回饋與記憶策略的可行路徑。

重點摘要：

• 核心問題：多模態智能體面對資訊洪流，需要學會選擇性記憶。
• 方法：以強化學習訓練記憶策略，分為基礎保真度與任務相關性兩階段。
• 評估方式：將三個影片基準改造成串流設定，僅以記憶回答問題。
• 成效：在 VideoMME、EgoLife、EgoTempo 上 VQA 準確率提升 5.3% 至 7.0%。
• 適用對象：研究多模態智能體、機器人記憶與持續學習的開發者與學者。

項目： https://taskmem.github.io/

近年 GUI agents（圖形介面智能體）雖然進步神速，但只要自己點錯一個按鈕、誤判畫面狀態，往往就會卡住無法完成任務。這項由阿里雲團隊撰寫、入選 ICML 2026 Spotlight 的工作，正是針對這個「自己造成的錯誤」痛點，從評估與訓練數據兩端同時入手。

他們先推出了 GUI-RobustEval 基準，收錄 1,216 個可執行測試案例，涵蓋 11 種錯誤類型與 4 種錯誤深度，讓開發者能系統化量測智能體的「自救」能力。接著提出 RoTS 框架，以樹狀結構（tree-based）在線生成 80 萬條訓練軌跡，主動探索不同錯誤模式並合成對應的恢復步驟。

基於這批數據微調而成的 RoTS-7B 與 RoTS-32B，在 OSWorld 上於開源權重模型中取得領先表現，其中 RoTS-32B 達到 47.4% 成功率與 33.8% All-Pass@4 分數。研究團隊指出，這些分數顯示長時程錯誤恢復能力，同時提升了整體任務表現。

對從事電腦使用代理（Computer-use agents, CUAs）研究、開源 VLM 微調，或關注 GUI 自動化在真實環境穩定性的團隊而言，這是一份值得追蹤的成果。論文與數據集已公開，但程式碼與評估工具仍在整理中，有興趣的人可先閱讀論文並關注後續釋出。

重點摘要：

• 解決 GUI agents 因自身策略錯誤而無法恢復的部署瓶頸
• GUI-RobustEval 提供 1,216 個測試案例，覆蓋 11 種錯誤類型
• RoTS 以樹狀在線合成框架產出 80 萬條高品質訓練軌跡
• RoTS-7B 與 RoTS-32B 於 OSWorld 開源模型中表現領先
• 程式碼與數據集仍在整理階段，論文已於 arXiv 公開

GitHub： https://github.com/AlibabaResearch/RoTS

Paper： https://arxiv.org/pdf/2605.29447