蘋果電腦即將推出一個視覺語言模型系列，它統一了跨行動裝置、桌面和Web的多步驟導航以及視覺化工具，並已在 2B 、4B 和 8B 上進行了訓練。蘋果認為讓 AI 直接操作手機、桌面或網頁，單是看懂畫面並不足夠，還要準確點擊目標、完成多步驟任務，以及在需要時呼叫外部工具。MintAct 是一系列統一的 vision-language models，針對這些分散能力提供單一視覺代理，並推出 2B、4B 與 8B 三種規模。
通常做法是 UI grounding、手機導航、桌面控制、網頁導航及視覺工具使用各自訓練專門模型。這種 per-domain specialist 範式需要分開維護，模型之間亦可能因觀察空間、動作方式和資料來源不同而互相干擾；直接混合資料，更可能令各領域表現下降。MintAct 改用多階段訓練，先以 grounding 和多步驟監督學習建立基礎，再配合強化學習（reinforcement learning，RL）整合跨平台能力。
項目的關鍵不只在模型本身，也包括支援訓練的環境和資料基礎設施。團隊讓數百個不同後端的環境並行運作，同時收集 trajectory data 和進行 online RL；非同步框架則控制不同領域的訓練比例，減少環境速度不一、回饋雜訊及 off-policy drift 帶來的不穩定。
MintAct 在相近模型規模下，聲稱能追平各領域專門模型的表現，並在 OSWorld-Verified 取得 48.9 分的結果。對需要在裝置端運行、又不想同時服務多個專門模型的工作流而言，這種統一設計具備實際吸引力，但跨領域互相干擾、環境回饋可靠性和長時序任務穩定性，仍是部署時需要持續驗證的限制。
- 統一 UI grounding、多步驟導航及視覺工具使用
- 覆蓋手機、桌面與網頁環境
- 提供 2B、4B、8B 模型規模
- 透過非同步 RL 控制跨領域訓練分佈
- OSWorld-Verified 得分為 48.9