Terminal Mac：讓 AI Agent 操作虛擬 macOS 電腦

2026 年 11 月 5 日 Share to X Facebook Copy link

代理可在獨立的 macOS 桌面操作應用程式，不必移動實體 Mac 的滑鼠或改動剪貼簿。terminal-mac 把虛擬機畫面帶到終端機，並提供 MCP 工具供代理控制。

讓電腦操作代理在另一個 macOS 桌面開啟應用程式、輸入文字和檢查畫面，同時保留實體 Mac 的滑鼠與剪貼簿不受代理操作影響。terminal-mac 是為 Computer-use agents（CUAs）提供獨立 macOS 虛擬機的工具，透過終端機檢視畫面及下達操作。

它使用 Apple Virtualization 執行真正的 macOS guest，guest 有自己的應用程式、檔案、帳戶和權限，不會沿用主機已登入的工作階段。代理透過 MCP 工具截圖、點擊、拖曳、捲動、輸入文字及按鍵，並可依照「觀察、操作、確認」的流程檢查結果。

首次啟動會從 Apple 下載並快取相容的還原映像，也可使用既有的 .ipsw；之後會重用已建立的虛擬機。項目面向 Apple silicon、macOS 14 或更新版本，預設虛擬磁碟邏輯容量為 64 GiB，主機亦須預留還原映像和虛擬機所需的資源。Ghostty、Kitty 或 iTerm2 可顯示終端機內嵌畫面，其他終端機則可改用原生虛擬機視窗及代理命令列工具。

主機輸入與螢幕 API 不會用來執行代理操作；guest 內的 helper 會檢查硬件型號是否以 VirtualMac 開頭，避免操作意外落到主機。這項檢查不是硬件認證，也不能防範已遭入侵的主機。項目仍屬早期候選版本，乾淨 Mac 上的 guest 驗收尚未完成，發行版本亦未經 Apple 公證；tmux passthrough 和自動分割終端機目前不支援。

• 適合需要隔離代理操作與個人桌面、帳戶及剪貼簿的測試工作。
• Claude Code 可透過 MCP server 和 skill 接入代理工作流程。
• 首次建立虛擬機需要網絡下載 macOS，或自行提供相容的還原映像。
• 虛擬機會佔用主機 CPU、記憶體和儲存空間，預設磁碟邏輯容量為 64 GiB。

GitHub

Categories: 開源, Agentic, MCP, API, 工具, Mac, Anthropic, 蘋果, Skill 技能

---

Route Anything：按輸入選模型，兼顧品質與成本

2026 年 11 月 5 日 Share to X Facebook Copy link

面對文字、影像、影片、語音和機械人任務，Route Anything 研究路由器如何按輸入挑選候選模型或策略，並在品質容許範圍內減少成本。

處理不同類型任務時，系統未必要每次都交給同一個模型或機械人策略。Route Anything 是一套研究實驗程式碼，探討路由器如何按輸入選擇候選方案，並在品質下降有限的前提下控制成本，涵蓋語言模型、影像、影片、語音生成器及機械人策略。

選擇與固定候選方案：在 24 個基準、19,814 個測試輸入上，理想路由得分為 87.98，固定方案為 82.60；但這個差距代表潛在上限，不等於訓練出的路由器已能達成同等收益。實際訓練的能力樹路由器在 16 個基準上只高 0.3 分，影片生成則高 2.1 分。

成本實驗顯示，四個測試環境平均效率提升 8.82 倍，品質損失低於 0.5 分；程式碼任務提升 25.5 倍，文字問答提升 7.1 倍。機械人測試中，結果路由器提升 1.1 分並減少 24% 策略執行時間；以勝出標籤預測結果的成功率為 42.8%，結果回歸則為 71.55%，反映訓練目標會左右路由效果。

• 路由依據是路由器可觀察的輸入資訊，並按預期價值扣除成本選擇候選方案。
• 參考策略與品質容忍度用來設定成本價格，適合比較省成本幅度與品質底線。
• 程式碼提供路由實作、離線重播及品質底線認證工具，可按實驗指南重現部分測試。

研究團隊或需要在多種模型、生成器與機械人策略間分配任務的工程團隊，可用這套工具檢驗路由是否值得加入工作流程。限制是全模態實驗所用的軌跡矩陣並未公開，因此相關結果未必能完整重現；公開的程式碼與文字測試資料目前只支援部分實驗。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 模型訓練, Video, Image, 工具, 語音

---

WebHarbor：把真實網站變成可重現的 GUI Agent 測試場

2026 年 11 月 4 日 Share to X Facebook Copy link

WebHarbor 將 153 個網站還原成可重複使用的本地環境，讓 GUI web agents 能測試登入、購物及資料操作。

要測試 GUI web agents 是否真的懂得操作網站，單靠會變動的公開網頁往往難以重現結果。WebHarbor 把 153 個流行網站製成 Docker 化本地鏡像，連同完整登入流程、資料庫和多模態圖片內容，屬於面向訓練與評估的環境及資料集項目。

它處理的不只是點擊連結，3,518 個 tasks 涵蓋購物車、結帳、帳戶操作等較深層流程；資料庫可在不到一秒內重設，適合反覆進行強化學習 rollout。沒有網絡噪音、內容漂移或地區封鎖，測試結果較容易比較，但建立鏡像和維護網站功能亦帶來不小工程成本。

• 153 個可執行的 Docker 網站環境
• 3,518 個評估及訓練 tasks
• 支援登入、資料庫和圖片內容
• 環境可按 agents 能力增加難度
• WebHarbor-4B 在 WebVoyager 及 Online-Mind2Web 平均取得 75.8 分

WebHarbor-4B 是建基於這些合成環境和 tasks 訓練的 GUI web agent，並非與環境分開提供的獨立示範模型。項目聲稱它在 4B 規模開源 GUI web agent 中取得最佳成績，但這個比較仍取決於所選基準和評測設定，不能直接代表所有真實網站任務。

研究 GUI agents、建立強化學習流程，或需要可重現瀏覽器測試的團隊較容易受益。使用者可從 Docker 鏡像、Hugging Face 環境及 tasks 開始組建測試流程；項目文件未列出完整硬件需求及每個網站鏡像的維護策略，正式採用前仍要核對資源成本和環境覆蓋範圍。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 庫, Dataset 數據集, 強化學習

---

ComfyUI-ShotWorkspace：把分鏡素材整理與影片提示詞寫作納入 ComfyUI

2026 年 11 月 4 日 Share to X Facebook Copy link

準備角色、道具和場景參考圖，再整理分鏡描述、撰寫 MiniMax H3 影片提示詞，並接上原有的 ComfyUI 生成流程。模型、取樣與解碼仍由接收工作流程負責。

整理分鏡時，參考圖、描述和生成提示詞往往分散在不同步驟；ComfyUI-ShotWorkspace 把這些創作工作放進 ComfyUI 畫布，讓創作者準備素材、修訂鏡頭描述，再撰寫 H3 影片提示詞。這是個實驗階段的自訂節點，負責生成前的整理與寫作，不取代影片生成工作流程。

創作者可分別上載角色、道具和場景圖片，使用影像分析產生可編輯描述，再挑選當前鏡頭的參考圖並按次序送往接收工作流程。文字生成和圖片分析透過 API 連接 LLM 伺服器呼叫；影片模型權重、取樣及解碼則由原有工作流程處理，兩者需要分開安裝和測試。

每次佇列只處理一個鏡頭，項目不負責編排完整影片序列。前一鏡頭的輸出不會自動成為下一鏡頭的輸入，使用者須自行選擇前置鏡頭；工作流程之間傳遞的 LATENT 格式亦必須相容。音訊、影片和 LATENT 接口可傳遞媒體，但不會自動把這些內容加入大型語言模型提示詞。

• 需要 ComfyUI、Python 3.10 或以上版本，以及符合要求的 aiohttp 和 Pillow，依賴項須安裝到執行 ComfyUI 的 Python 環境。
• 項目不附帶模型權重；LLM 伺服器、接收工作流程所需節點及 H3 權重都要另行準備。
• H3 輸入影格按 24 fps 的 17k+5 網格安排；取樣時長在上下文裁切前設定，交付影片可能短於指定時長。
• 工作流程會保存創作資料、檔名和伺服器網址；圖片本身留在 ComfyUI 的輸入目錄，分享前宜檢查保存內容。

這套工具較適合已經使用 ComfyUI、希望把分鏡準備和提示詞撰寫納入既有流程的創作者或小型製作團隊。它減少素材與文字在工作流程間來回整理的需要，但不提供完整序列編排，也不能單靠 LLM 連線測試確認影片生成正常。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Video, Image, Audio, 提示詞, 工具, Content Creator, MiniMax

---

TaoMate-FVSR：用音訊與稀疏參考修復人臉影片

2026 年 11 月 4 日 Share to X Facebook Copy link

小臉在影片中容易失去細節，換上新配音時口形也可能對不上。TaoMate-FVSR 把音訊、參考畫面與生成歷史一併用於人臉修復，亦支援視覺配音。

影片中的人臉太小或細節模糊，單純放大未必能還原自然的面貌；換上新語音後，嘴形亦要配合音訊。TaoMate-FVSR 是一套人臉影片修復推理工具，利用音訊、稀疏的視覺參考和生成畫面歷史重建臉部，支援保留原聲修復，以及配合替換語音進行視覺配音。

它把臉部細節與口部動作放在同一個重建流程處理，並以來源影片保留場景結構，再由高質素參考提供外觀線索、目標音訊引導嘴部動態。相比先做超解像、再交給另一個配音模型的分段流程，這種聯合處理方式有機會減少修復結果與口形之間的不一致。

畫面可用 GPEN 處理首幀作參考，也可以提供自行編輯的首幀或完成的參考圖。推理流程會先以 DWPose 裁切人臉，再做修復、色彩與遮罩融合，最後貼回原影片；模型可按 1× 或 2× 尺寸運算，合成前會縮回 512×512，因此輸出場景維持原有尺寸。全場景比較也有助檢查修復臉部與原本畫面是否協調，但身體和背景不會一併提升解像度。

• 支援原始音訊修復及替換語音配音。
• 可用 GPEN、外部編輯首幀或完成的參考圖提供外觀線索。
• 1× 與 2× 推理分別使用 512×512 與 1024×1024 處理尺寸。
• 執行需要支援 BF16 的 NVIDIA CUDA GPU，以及 CUDA 版本相容的 PyTorch 2.6 或更新版本和 torchvision 0.21 或更新版本。

這套工具較適合需要修復 AI 生成影片人臉、製作配音版本，或比較局部臉部細節與完整場景效果的創作者及研究團隊。參考畫面質素和場景合成效果都會影響最後成果，正式製作前宜用自己的素材測試。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, NVIDIA, Video, Audio, 工具, Content Creator, 線上服務, 語音

---

Rapid-MLX：加快 Apple Silicon 的本地編程代理

2026 年 11 月 4 日 Share to X Facebook Copy link

想讓 Codex、OpenCode、Claude Code 等編程代理使用本地模型，又不想犧牲回應速度與工具呼叫能力？Rapid-MLX 提供兼容 OpenAI 和 Anthropic API 的推理服務器，專為 Apple Silicon 設計。

在 Mac 上用本地模型操作 Codex、Claude Code 或 OpenCode，回應速度和代理能否可靠呼叫工具都會影響工作流程。Rapid-MLX 是建基於 MLX、面向 Apple Silicon 的開源大型語言模型（LLM）推理服務器，讓多款編程代理透過兼容 OpenAI 與 Anthropic 的介面連接本地模型。

它與直接使用 Apple 的 MLX（mlx-lm）相比，主打更快的生成速度和編程代理所需的工具呼叫能力；同一模型、同一組權重下，項目報告最高可達 4 倍解碼速度，典型任務約快 1.5 倍。比較結果會受模型、任務和硬件影響，不能視為所有情況都能達到的速度提升。

測試資料包括 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit，以及 Mac Studio M5 Max（36 GB）上的多款 Qwen 模型。Rapid-MLX 的 Qwen3.5-9B 解碼速度為每秒 115.5 個 token，oMLX 為 77.9，LM Studio 為 81.0；但測試只記錄單次執行，並使用各服務器的預設模式，因此數字適合參考，不宜直接當作全面排名。

安裝後選用支援的編程代理，再以 rapid-mlx launch 啟動即可；同一指令可重複使用，移除 Rapid 的私人設定檔也不會改動 Codex 原有設定。首次回覆可能較慢，因為模型需要下載或載入，也可能要處理代理的開場提示詞。項目要求使用 M 系列 Mac，目前沒有 Windows 或 Linux 桌面版本。

• 支援 Codex、Claude Code、OpenCode、Pi、Hermes、Crush 和 Goose。
• 提供兼容 OpenAI 與 Anthropic 的 API，並著重可靠的工具呼叫。
• 可按模型和任務查看速度比較，項目亦提供測試方法與原始數據。
• 首次回覆可能受模型下載、載入及提示詞處理時間影響。
• 僅支援 Apple Silicon；不適合需要 Windows 或 Linux 桌面版本的團隊。

需要在 Mac 上運行本地模型、又希望保留編程代理工作流程的開發者，可以用 Rapid-MLX 測試常用模型與任務，再決定速度提升是否足以配合硬件需求。模型仍須在本機下載和載入，選擇時應一併考慮記憶體容量及首次啟動等待時間。

GitHub

Categories: 開源, 模型, Qwen, 提示詞, 工具, Mac, 編程, 蘋果

---

Embodied Agent Arena：測試十款 VLM 的任務能力

2026 年 11 月 4 日 Share to X Facebook Copy link

十款前沿視覺語言模型接受 1,000 個具身任務測試，結果顯示，能生成可執行動作，不代表能完成多步操作或精細接觸任務。

要判斷視覺語言模型（Vision-Language Models，VLMs）能否勝任機械人通用操作，不能只看它有沒有成功發出動作。Embodied Agent Arena 是一個具身代理評測項目，以共同測試流程比較十款模型在五類能力上的表現，涵蓋 1,000 個案例，並把幾何理解、空間推理和視覺定位納入評測。

項目把任務理解、推理和動作選擇交由模型處理，再以同一套精簡評測框架測試不同模型。測試資料整合 32 個既有來源，另加入 168 個案例的 GeoProbe 幾何基準；相比只看機械人互動任務，這種安排能同時檢視模型理解空間資訊的能力，以及能力能否轉化為實際任務成果。

結果反映，單一指標容易掩蓋任務是否真正完成。Gemini 4 Argon 的 3D 路徑誤差最低，為 0.310 米，但 56 條路徑中只有 24 條符合全部限制；Manipulation 成功率最高的 Opus 5.5 亦只有 47.8%。CALVIN 測試中，100 個序列有 60 個完成第一個目標，完成全部五個目標的只有 9 個；在五項 ManiSkill 診斷任務中，Opus 5.5 能完成拾取、放置和堆疊，卻未能完成插入插銷或充電器。

• 同一批 157 項 Planning 任務中，至少有一款模型完成 142 項；仍有 15 項十款模型全部失敗。
• Astra 的 31 項失敗任務耗用 55.5% token；失敗任務平均耗用的 token 是成功任務的 5.1 倍。
• CALVIN 有 65 個序列曾遇到執行錯誤；其中 62 個後來能無錯執行程式碼，但只有 3 個最終完成序列。
• Case Atlas 收錄 181 個涵蓋五類能力的案例，提供十款模型的紀錄；缺少影片的項目會使用共用任務場景，API 中斷則標記為失敗嘗試。

這些結果適合用來比較模型在哪些環節失手，亦提醒研究團隊不要把路徑精度、程式碼執行成功或單一步驟操作，直接當成完整任務能力。項目提供線上結果、案例影片、資料集及程式碼。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 世界模型, Qwen, DeepSeek, Gemini, API, VLA, Robotic, 框架, 香港, Anthropic, Dataset 數據集

---

Garden Skills：讓 AI coding agents 承接影片、設計與寫作流程

2026 年 11 月 4 日 Share to X Facebook Copy link

從程式生成短片、網頁設計到整理知識庫，Garden Skills 把多種工作流程包成可供 AI coding agents 使用的技能。創作型工作尤其著重分階段確認與一致的輸出控制。

想用 AI coding agent 製作短片、網頁簡報或整理本地知識庫，Garden Skills 提供一組可加入工作流程的 Agent Skills，適用於 Claude Code、Cursor、Codex 等工具。它不是單一模型，而是涵蓋影片製作、前端設計、影像提示、文章生成與知識檢索的技能集合；各技能如何安裝可按 項目文件提供的方式處理，但這份資料未列出完整操作步驟。

影片相關技能的重點，是把畫面與聲音放進同一條時間軸，並由同一個頁面產生不同階段的輸出，包括靜態畫面、聯絡表、預覽代理檔及成品。創作者可以選擇多種視覺風格，調整動態、鏡頭語法和聲音方向；配樂可由內置合成器或 Tone.js 產生，也可以配合自備音軌及節拍、段落變化剪輯。

創作流程設有兩個確認點：先確認需求，再確認風格畫面；若未指定風格，會提供三個方向供選擇，之後才進入自主製作。長片支援分章製作，最長可達 20 分鐘；Gemini 或 MiniMax TTS 只會朗讀使用者提供的稿件，錄音則以實際時間戳記對齊，音樂與音效亦會為旁白讓位。這些安排適合需要反覆檢視視覺方向、又希望聲畫時間一致的內容團隊，但資料沒有提供效能測試或品質評分，成品仍需自行檢查。

其他技能分別處理網頁影片簡報、前端設計、GPT Image 2 提示與影像生成、美化文章，以及本地知識檢索。對需要把重複創作步驟交由 AI coding agent 執行的設計師、影片製作者及內容團隊，這種技能集合比只提供單一功能的工具涵蓋更廣；取捨是各項工作的品質和適用程度，仍取決於所選技能、模型與輸入內容。

【经验开源】AI 做动画视频完全指南：原理、技巧、Skill 一次给全

• 六種技能涵蓋影片、網頁、影像、文章及本地知識檢索。
• 影片輸出由同一頁面生成，畫面與聲音共用時間軸。
• 風格確認後才開始自主製作，未指定時可先比較三個方向。
• 長片支援分章製作至 20 分鐘，旁白須使用者提供稿件。
• 項目文件列出多種安裝途徑，但目前提供的資料未包含完整安裝流程或評測結果。

GitHub

Categories: 開源, Agentic, AI productions, Gemini, Video, Image, Audio, Vibe Coding, Content Creator, IDE, 庫, 編程, 音樂, MiniMax, Skill 技能

---

SeMo3D：只重建指定區域，統一 3D 生成、編輯

2026 年 11 月 4 日 Share to X Facebook Copy link

修改 3D 模型時，保留不需要改動的部分，可以減少整件資產重新生成造成的不一致。SeMo3D 將生成、編輯和補全整合到同一套選擇性建模流程，並支援文字、圖像與點雲引導。

修改模型的局部區域時，整件資產重新生成可能令原本不需更動的內容也走樣。SeMo3D 是一個 3D 生成與編輯模型項目，透過只合成指定區域、保留其餘部分，統一處理生成、編輯和缺失區域補全，適合需要維持模型其他部分一致的創作者及 3D 工作流程團隊。

它把三種任務視為同一個問題：選出要建立或修改的區域，並沿用其餘內容。生成時選取完整區域，編輯時選取目標區域，補全時則選取缺失區域；因此，模型不必為每項任務各自重新生成整件資產。訓練亦毋須成對的編輯或補全資料，研究團隊可從一般 3D 資源切分出選取區域與周邊內容來訓練。

訓練方法稱為 region-selective denoising，只在隨機選取、大小各異的區域加上雜訊並計算損失，讓同一模型共同學習三項任務。架構 Omni3DiT 是多條件 3D diffusion transformer，負責分辨需要建立與保留的區域，並融合圖像、文字和點雲引導，提供較細緻的控制。

SeMo3D 在三個基準測試中，於生成、編輯和補全各項任務均勝過當時的先進方法；生成支援多模態控制，編輯與補全則著重一致性及準確度。

• 一套模型統一 3D 生成、編輯與補全。
• 只合成指定區域，保留其餘內容。
• 以 region-selective denoising 從一般 3D 資源訓練，毋須成對編輯或補全資料。
• Omni3DiT 融合圖像、文字與點雲引導。
• 支援以自然語言互動的 agentic 3D 建模。

項目主頁 · GitHub

Categories: 開源, 南京大學, Agentic, 模型, 多模態模型, 模型訓練, Image, Content Creator, 3D

---

Microsoft Mage-VL-Cowork：以 4B 模型兼顧影片理解與電腦操作

2026 年 11 月 4 日 Share to X Facebook Copy link

Mage-VL-Cowork 是一個 4B 多模態模型家族涵蓋影片理解、影像生成和 GUI 電腦操作，並以較少視覺 token 處理長影片。當中 Mage-VL-Cowork 在 OSWorld-Verified 取得 66.0%。

要分析長影片、生成或編輯影像，甚至操作桌面程式，通常需要不同模型和工作流程。Microsoft Mage 把這些能力放進 4B 參數的多模態模型家族，供研究團隊進行受控實驗、後訓練研究及垂直領域應用；它屬於模型系列。

三個模型各有分工：Mage-VL 處理圖像與影片理解，Mage-Flow 負責影像生成和編輯，Mage-VL-Cowork 則在同一個策略模型內結合圖形介面、程式碼和終端機操作。這種混合式電腦操作讓模型可按任務選擇點擊畫面或執行程式碼，而不是交由外部協調器切換不同代理。

影片處理的主要取捨，是減少冗餘影格資訊，同時保留時間與動作線索。Mage-VL 從零訓練視覺堆疊，採用 16×16 的 I/P 預測式 patch 機制，將視覺 token 用量降至密集影格取樣的八分之一或更少；項目報告稱，這令影片訓練時間可延長至 8 倍，推理速度最高提升 3.5 倍。以固定的 4B Qwen3 骨幹比較，Mage-ViT 在所有已報告的影片及時間定位基準測試中勝過 Qwen3-VL-4B，但靜態圖像表現則大致相若。

OSWorld-Verified 的測試中，Mage-VL-Cowork 在 50 步預算下取得 66.0%；強化學習訓練帶來 10.16 個百分點提升，並令模型呼叫減少 13%、輸出 token 減少 25.4%。另一項實驗結果指出，Mage-VL 在 VSI-Bench 領先 11.0 分，顯示其優勢較集中於影片理解和空間智能。

研究人員可按任務選用相應模型與程式碼，測試影片理解、生成編輯或混合式電腦操作；Mage-VL-Cowork 的訓練流程亦涵蓋資料合成、監督微調與強化學習。適合有能力配置模型環境的研究團隊，以及探索有限算力多模態應用的開發者。

• 三個 4B 模型分別涵蓋圖像與影片理解、影像生成編輯、混合式電腦操作。
• 預測式 patch 機制減少影片視覺 token，換取更長訓練影片與較快推理。
• Mage-VL-Cowork 在 OSWorld-Verified 以 50 步預算取得 66.0%，同時減少模型呼叫與輸出 token。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, 微軟, Video, Image, 庫, 強化學習

---