Terminal Mac：讓 AI Agent 操作虛擬 macOS 電腦

2026 年 11 月 5 日 Share to X Facebook Copy link

代理可在獨立的 macOS 桌面操作應用程式，不必移動實體 Mac 的滑鼠或改動剪貼簿。terminal-mac 把虛擬機畫面帶到終端機，並提供 MCP 工具供代理控制。

讓電腦操作代理在另一個 macOS 桌面開啟應用程式、輸入文字和檢查畫面，同時保留實體 Mac 的滑鼠與剪貼簿不受代理操作影響。terminal-mac 是為 Computer-use agents（CUAs）提供獨立 macOS 虛擬機的工具，透過終端機檢視畫面及下達操作。

它使用 Apple Virtualization 執行真正的 macOS guest，guest 有自己的應用程式、檔案、帳戶和權限，不會沿用主機已登入的工作階段。代理透過 MCP 工具截圖、點擊、拖曳、捲動、輸入文字及按鍵，並可依照「觀察、操作、確認」的流程檢查結果。

首次啟動會從 Apple 下載並快取相容的還原映像，也可使用既有的 .ipsw；之後會重用已建立的虛擬機。項目面向 Apple silicon、macOS 14 或更新版本，預設虛擬磁碟邏輯容量為 64 GiB，主機亦須預留還原映像和虛擬機所需的資源。Ghostty、Kitty 或 iTerm2 可顯示終端機內嵌畫面，其他終端機則可改用原生虛擬機視窗及代理命令列工具。

主機輸入與螢幕 API 不會用來執行代理操作；guest 內的 helper 會檢查硬件型號是否以 VirtualMac 開頭，避免操作意外落到主機。這項檢查不是硬件認證，也不能防範已遭入侵的主機。項目仍屬早期候選版本，乾淨 Mac 上的 guest 驗收尚未完成，發行版本亦未經 Apple 公證；tmux passthrough 和自動分割終端機目前不支援。

• 適合需要隔離代理操作與個人桌面、帳戶及剪貼簿的測試工作。
• Claude Code 可透過 MCP server 和 skill 接入代理工作流程。
• 首次建立虛擬機需要網絡下載 macOS，或自行提供相容的還原映像。
• 虛擬機會佔用主機 CPU、記憶體和儲存空間，預設磁碟邏輯容量為 64 GiB。

GitHub

Categories: 開源, Agentic, MCP, API, 工具, Mac, Anthropic, 蘋果, Skill 技能

---

Rapid-MLX：加快 Apple Silicon 的本地編程代理

2026 年 11 月 4 日 Share to X Facebook Copy link

想讓 Codex、OpenCode、Claude Code 等編程代理使用本地模型，又不想犧牲回應速度與工具呼叫能力？Rapid-MLX 提供兼容 OpenAI 和 Anthropic API 的推理服務器，專為 Apple Silicon 設計。

在 Mac 上用本地模型操作 Codex、Claude Code 或 OpenCode，回應速度和代理能否可靠呼叫工具都會影響工作流程。Rapid-MLX 是建基於 MLX、面向 Apple Silicon 的開源大型語言模型（LLM）推理服務器，讓多款編程代理透過兼容 OpenAI 與 Anthropic 的介面連接本地模型。

它與直接使用 Apple 的 MLX（mlx-lm）相比，主打更快的生成速度和編程代理所需的工具呼叫能力；同一模型、同一組權重下，項目報告最高可達 4 倍解碼速度，典型任務約快 1.5 倍。比較結果會受模型、任務和硬件影響，不能視為所有情況都能達到的速度提升。

測試資料包括 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit，以及 Mac Studio M5 Max（36 GB）上的多款 Qwen 模型。Rapid-MLX 的 Qwen3.5-9B 解碼速度為每秒 115.5 個 token，oMLX 為 77.9，LM Studio 為 81.0；但測試只記錄單次執行，並使用各服務器的預設模式，因此數字適合參考，不宜直接當作全面排名。

安裝後選用支援的編程代理，再以 rapid-mlx launch 啟動即可；同一指令可重複使用，移除 Rapid 的私人設定檔也不會改動 Codex 原有設定。首次回覆可能較慢，因為模型需要下載或載入，也可能要處理代理的開場提示詞。項目要求使用 M 系列 Mac，目前沒有 Windows 或 Linux 桌面版本。

• 支援 Codex、Claude Code、OpenCode、Pi、Hermes、Crush 和 Goose。
• 提供兼容 OpenAI 與 Anthropic 的 API，並著重可靠的工具呼叫。
• 可按模型和任務查看速度比較，項目亦提供測試方法與原始數據。
• 首次回覆可能受模型下載、載入及提示詞處理時間影響。
• 僅支援 Apple Silicon；不適合需要 Windows 或 Linux 桌面版本的團隊。

需要在 Mac 上運行本地模型、又希望保留編程代理工作流程的開發者，可以用 Rapid-MLX 測試常用模型與任務，再決定速度提升是否足以配合硬件需求。模型仍須在本機下載和載入，選擇時應一併考慮記憶體容量及首次啟動等待時間。

GitHub

Categories: 開源, 模型, Qwen, 提示詞, 工具, Mac, 編程, 蘋果

---

CoworkOS：2D/3D 網頁任務統一工作流

2026 年 11 月 3 日 Share to X Facebook Copy link

複雜項目往往要跨多日推進，也需要人手覆核和中途調整。CoworkOS 讓 AI 代理接手分工與持續監察，並保留進度、記錄及待審核成果。

從研究、文件到 CAD 和 Blender，CoworkOS 讓人與 AI 代理在同一工作空間協作，處理需要多步推進、跨日跟進的工作。它屬於開源 AI 協作執行框架，目標是把任務由規劃、分工一路帶到可檢查的成果；長時間運行的 Jobs 會保留狀態和日誌，遇到等待或中斷後仍可接續處理。

代理工作分成三層：Main Agent 制定計劃、分派任務及檢查成果；Coordinator Runtime 負責派送子任務並追蹤進度；可選用的 Subagents 則執行範圍明確的工作。模型負責決定任務策略，執行環境則維持協調、回饋和工作連續性，避免把多代理協作的管理全交由模型自行處理。

CoworkOS 把 CLI、搜尋、檔案和 MCP 接到文件編輯器、簡報、CAD 與 Blender 等工具，人和代理可以共同修改文件、模型及場景。階層式工作空間和語意記憶用來延續項目脈絡；候選修改會保留版本資訊，讓人先檢查再整合。這種做法適合需要覆核、追蹤及中途改方向的團隊，但可用工具和模型服務的實際配合仍會影響工作流程。

研究團隊也可用同一套機制建立長期監察迴圈，例如分析模型失誤、改善訓練資料、執行訓練及驗證結果。配套研究報告記錄了 Qwen3.6-35B-A3B 經五輪後訓練後，在八個基準的平均分由 33.19 升至 42.95；這是特定實驗結果，各任務仍有升跌，不能直接視為其他模型或工作流程的保證。

• Jobs 保留長時間任務的狀態與日誌，方便中斷後繼續監察。
• Main Agent、Coordinator Runtime 和 Subagents 分別負責規劃、協調與執行。
• 人與代理可共同處理文件、簡報、CAD 模型及 Blender 場景。
• 候選修改可先經人手檢查，再整合到項目成果。

CoworkOS 面向使用 macOS 的研究人員及需要多工具協作的團隊，支援 Apple Silicon，並要求 macOS 14 或以上及 Node.js 22.19.0 或以上。儲存庫資料提及可透過 npm 安裝，亦提供文件、展示及即時示範連結，開始部署前，仍需查閱項目文件確認模型服務與工作空間的配置方式。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, MCP, 模型, 模型訓練, Qwen, 框架, 工具, Mac, 庫, 中國, 蘋果, Dataset 數據集

---

oMLX：高效能推論伺服器

2026 年 10 月 30 日 Share to X Facebook Copy link

當搭配如 Claude Code、OpenClaw、Hermes Agent 這類每輪都發送巨大 Context / Tool Transcript 的 Coding Agent 時，oMLX 能直接命中快取，大幅縮短每輪等待時間。

在 Mac 跑編程助手，oMLX 可讓常用模型常駐記憶體，並從選單列管理服務。能使用 Mac 原生 MLX 的吞吐與批次處理。

它以連續批次處理（Continuous batching）配合分層鍵值快取（Key-Value cache，KV cache）：常用區塊留在記憶體，冷資料以 safetensors 格式存入固態硬碟（SSD）。後續請求的前綴吻合便可重用，伺服器重啟後亦能恢復，但不代表任意改寫上下文都能免除重算。

• 可設定上下文長度限制。
• 記憶體不足時，按最近最少使用（Least Recently Used，LRU）策略移出模型。
• 管理介面支援手動載入及卸載模型。

硬件需 Apple Silicon Mac，並為模型及快取預留記憶體與 SSD 空間；來源未列最低容量、模型清單或具體測速，不能據此保證大型模型的速度。

安裝可從 Releases 下載 .dmg，拖入 Applications，並支援程式內更新。需要反覆處理相同上下文的編程工作較能受惠；SSD 快取節省重算，卻不能取代模型推理所需的記憶體。

GitHub

Categories: 開源, 模型, 工具, Mac, 編程, Anthropic, 蘋果

---

InteractiveWorld：把穿戴式 AI 助理放進可驗證的互動世界

2026 年 10 月 28 日 Share to X Facebook Copy link

穿戴式助理要看見甚麼、怎樣給建議，最後能否幫人完成任務，InteractiveWorld 把整段互動放進可持續變化的 3D 場景中測試。

穿戴式 AI 助理不只要辨認眼前物件，還要理解人的要求、給出可執行的指引，並跟進行動後的變化。InteractiveWorld 是一套以人為中心的 3D 模擬器，用第一人稱視角呈現環境，讓助理與模擬人物多輪互動；同一個儲存庫亦提供 InteractiveBench，用來比較多模態大型語言模型（MLLM）在這類任務中的表現。

場景涵蓋 44 個 BEHAVIOR-1K 家居及活動空間。助理以對話提供建議，模擬人物則根據所見自行決定行動；研究者可用簡短指令描述抓取、開門、倒液體等操作，由模擬器處理移動、避障、操作物件及更新場景。世界狀態會延續到下一輪，因此助理要根據新視角調整回答，而非只生成一次性的文字答案。

InteractiveBench 收錄 120 個固定的多輪任務，分為六類，每類 20 個。評分會檢查場景中的狀態是否達成目標，而不是單憑回答文字判斷；基準亦提供評估流程、報告及影片。首頁資料提到曾以 12 個前沿 MLLM 進行評估，但所提供的內容沒有列出各模型分數，無法據此比較排名或判斷差距。

• 模擬器可用 Python API 開啟場景、執行動作、取得觀察結果及原生分數。
• 場景與人物行動涵蓋物件操作、室內移動及第一人稱畫面更新。
• 基準任務固定，適合研究團隊比較模型在多輪助理情境下的完成能力。
• 安裝指南列明資產準備與環境需求；執行需要處理 Isaac Sim 場景及相關資產，並非只呼叫一個輕量 API。

這個項目適合研究穿戴式助理、多模態模型及具身互動的團隊，尤其是需要可重複測試、以環境狀態核實結果的工作。模擬場景能補足純文字評測看不到的行動後果，但仍不能完全代表真實佩戴裝置時的感測誤差、人的習慣差異或實體操作風險；評測結果應視為模擬環境中的能力證據。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, API, Video, 3D, Python, 庫, Meta, 蘋果

---

MOSS-Image 支援 JSON 排版的 5B 文字生圖模型

2026 年 10 月 20 日 Share to X Facebook Copy link

MOSS-Image 推出的 5B 參數文字生圖模型，能夠直接在 prompt 內用 JSON 描述物件位置、標籤與邊界框，毋須額外 ControlNet 也能控制版面。

用文字生圖最常遇到的卡位，是 prompt 寫得再精準，模型依然把主體放錯位置或把文字渲染得歪七扭八。OpenMOSS 開源的 MOSS-Image 把這個矛盾寫進模型架構本身：除了自然語言 prompt，它同時接受結構化 JSON 輸入，裏面可以逐個列出物件的標籤、描述與 yxyx 格式邊界框，由模型原生處理版面配置，毋須借助外掛 ControlNet 或額外 inpainting 步驟。

對於做海報、漫畫分鏡或產品 mockup 的人來說，這種介面比「再抽幾次卡」來得直接。生成結果可以直接根據 JSON 編輯調整單一物件的位置或文字內容，方便反覆迭代。模型骨幹約 5B 參數，支援長達 4K token 的 prompt，文字渲染能力亦比同類開源模型紮實，並同時覆蓋動漫與寫實風格。

New top local AI image generator is here!

現階段提供 Base 與 SFT（curated-data 微調）兩個版本，權重以 Apache-2.0 釋出，部署上已有 SGLang、vLLM-Omni 與 ComfyUI 的 day-0 支援，配合 Python 及 Gradio 共用的 Diffusers pipeline，本地或雲端皆可即時跑起 demo。

重點摘要：

• 原生版面控制：JSON prompt 直接描述物件、位置與邊界框，毋須外掛 ControlNet。
• 5B 緊湊骨幹：兼顧生成效率與微調彈性，prompt 可長達 4K token。
• 雙版本開源：Base 與 SFT 權重皆公開，Apache-2.0 授權。
• 多元框架支援：SGLang、vLLM-Omni、ComfyUI 同日適配，並提供 Hugging Face Spaces 線上 demo。
• 風格覆蓋廣：動漫與寫實風格並重，文字渲染品質為主打賣點之一。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, NVIDIA, Image, 框架, Python, 蘋果

---

yomado：給 Agent一個虛擬螢幕

2026 年 10 月 18 日 Share to X Facebook Copy link

yomado 讓 Agent 在虛擬螢幕操作 Blender、Marvelous Designer 等桌面程式，毋須為每款應用另接 MCP。實體屏幕可以保留給自己的工作。

需要代理透過截圖、滑鼠和鍵盤操作 Blender 或 Marvelous Designer 時，桌面程式仍要有圖形桌面和顯示畫面。yomado 是一款 Mac 虛擬顯示器工具，讓代理使用獨立工作屏幕，毋須為每款應用另接 MCP；代理負責觀察和操作，yomado 則提供顯示空間。

它會按桌面排列顯示實體與虛擬屏幕，並在屏幕示意圖中標出應用程式。你可以拖曳圖示移動視窗，也可以手動移動；功能表按顯示器分組，並支援個別關閉視窗。隨附的 yomado skill 可引導 Codex 建立工作屏幕、移入指定視窗、確認畫面可見，並在任務完成後移回視窗。

• 可為不同代理建立各自的虛擬屏幕，將工作視窗分開管理。
• 可從 Finder 將正在執行的 .app 拖入，移動該應用的一般視窗。
• 虛擬屏幕存在期間，程式會要求系統和圖形桌面保持喚醒。
• 目前版本為實驗版，使用 macOS 14 或以上的 Apple Silicon Mac，並使用 macOS 私有 API。

這做法補足顯示空間，而非代理本身的視覺理解或操作能力；截圖、判斷和輸入仍由 Codex 或其他代理工具處理。對需要代理操作可視化介面、又想讓自己的實體屏幕保持原有工作的 Mac 使用者，分屏管理有實用價值。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, Google, API, Video, 工具, Mac, 蘋果, Skill 技能

---

InfoVis 簡報生成與編輯能力整合到 9B 模型

2026 年 10 月 17 日 Share to X Facebook Copy link

InfoVis 讓同一個模型處理簡報生成、素材參考、模板控制與局部編輯，開源評測已接近 Nano-Banana-2。

製作簡報圖像時，你可以用文字生成整頁投影片，也可以提供風格參考、內容素材或原有投影片作修改。InfoVis 屬於開源影像模型項目，集中處理文字轉投影片、模板條件生成、多圖像內容生成，以及按指令編輯投影片四類工作，減少不同模型之間切換所帶來的流程斷裂。

模型以 FLUX.2-klein-base-9B 為基礎，經過 slide-native continual pretraining、四任務混合 continual pretraining，再進行 task-specific SFT，最後把不同分支合併成單一模型。這種做法換來較完整的任務覆蓋，但同一模型要同時兼顧文字準確度、版面美感、內容對齊和精準編輯，效果仍會受提示內容及輸入素材質素影響。

VisSlideBench 收錄 1,527 個人工篩選案例，分別檢查內容忠實度、指令遵循、美感、語義一致性和簡報質素等指標。InfoVis 整體得分 7.94，略低於專有的 Nano-Banana-2（7.99），但在所有 11 項指標均領先受評開源模型；相較原始 FLUX.2-klein-base-9B，專門訓練帶來 1.6 分整體提升，美感仍是它與專有模型之間較明顯的差距。

項目提供 Hugging Face Space 的線上示範，再按需要下載模型權重、程式碼、InfoVis-Data 和 VisSlideBench 作本地研究或評估。這個項目較適合需要大量製作簡報草稿、產品提案、教學投影片的設計及內容團隊；本地執行 9B 模型則要自行準備相容的圖像生成環境，儲存庫資料未列出統一的硬件要求。

• 四合一工作流：文字生成、模板控制、多圖像接地生成及指令式編輯由同一模型處理。
• 專用訓練資料：提供超過 13M continual-pretraining records 及 1.9M SFT records。
• 可驗證評測：VisSlideBench 同時公開資料集及評估程式碼。
• 主要取捨：開源模型中表現突出，但整體仍稍低於 Nano-Banana-2，美感差距較大。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, Video, Image, 影像模型, 教學, 庫, 中國, 蘋果, Dataset 數據集

---

ManimGX 高速 3D 動畫渲染

2026 年 10 月 15 日 Share to X Facebook Copy link

面向 AI agents 的 Manim 相容動畫引擎，以 Rust 和 wgpu 大幅縮短 2D、3D 教學動畫的製作等待時間。

製作數學教學片時，渲染速度往往比寫動畫程式更容易拖慢流程。ManimGX 屬於開源 3D 動畫引擎，兼容 Manim CE API，讓 Python 使用者可用熟悉的文字、方程式、曲面和鏡頭，處理 2D 與 3D 動畫生成。

它以 Rust 和 wgpu 重寫渲染核心，並加入完整靜態類型、關鍵字參數及 .animate 鏈式寫法；LaTeX 或 Typst 不需另行安裝。項目亦支援瀏覽器執行，透過 Pyodide 讓示範、教學或 AI agents 生成的動畫毋須先配置完整本地環境。

ManimGX

• M4 Pro、1080p60、五個場景合計 36.2 秒影片，渲染需時 3.08 秒
• 同一測試中，比 Manim CE 快 90.6 倍、ManimGL 快 11.5 倍、Blender Workbench 快 18.7 倍
• manimgx inspect 可檢查 storyboard、2D 版面，以及指定時間或播放結束時的畫面
• 支援語音同步，方便按旁白內容安排動畫節奏

安裝可選 prompt、PyPI 或 npm，適合數學教育、技術內容製作，以及需要反覆生成和檢查畫面的 agent 工作流。速度數字來自 Apple M4 Pro 的固定場景測試，不能直接代表所有硬件、動畫複雜度或互動需求；對已深度依賴 Manim CE 生態的團隊，API 相容性可降低遷移成本，但仍應先驗證現有場景和第三方功能。

GitHub

Categories: 開源, Agentic, AI productions, API, Video, 教學, 3D, Python, 語音, 動畫, 蘋果

---

nanoMuse：跨裝置、會先徵求同意的開源個人代理

2026 年 10 月 9 日 Share to X Facebook Copy link

nanoMuse 將手機、電腦與網頁連成同一個個人代理，能代辦事情，也會在刪除、傳送或付款前停下來確認。

你可以在手機交代工作，讓 nanoMuse 轉到電腦執行，完成確認時再把要求送回手上的裝置。它屬於開源個人代理項目，處理的是跨裝置協作、持續執行與高風險操作控管。nanoMuse 是獨立的社區項目，與 Meta Platforms, Inc. 無關

手機 App、桌面 App、網頁控制台和串連各裝置的 relay 放在同一個 GitHub 儲存庫，支援 Android、iPhone、iPad、macOS、Windows、Linux 和網頁。Shell、瀏覽器、MCP servers、skills，以及可透過畫面操作手機 App 和電腦視窗的 Hands，全部經 Sentinel 轉接；刪除、傳送或付款前會要求批准，代理本身不會直接執行工具。

• Markdown 檔案可讀寫，用來描述代理身份、記憶和喚醒時機
• App 關閉後仍可繼續工作，裝置共用同一個帳戶和對話
• 可使用社群 relay 的免費模型額度，亦可改用自己的 key
• relay 能在自家伺服器運行，減少資料離開住所的需要

和 Muse、OpenMinis 的比較：nanoMuse 明確沿用 Meta Muse 式的個人代理方向，但把手機、桌面、網頁、relay 和安全批准機制一併開源。Android、Windows、macOS 和 Linux 有下載版本，iPhone、iPad 則透過 TestFlight beta。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 框架, 工具, Mac, Linux, 庫, 安全, Meta, 免費試用, 中國, 蘋果, Skill 技能

---