InferNews

Terminal Mac：讓 AI Agent 操作虛擬 macOS 電腦

Share to X Facebook

代理可在獨立的 macOS 桌面操作應用程式，不必移動實體 Mac 的滑鼠或改動剪貼簿。terminal-mac 把虛擬機畫面帶到終端機，並提供 MCP 工具供代理控制。

Repository image for govijr/terminal-mac

讓電腦操作代理在另一個 macOS 桌面開啟應用程式、輸入文字和檢查畫面，同時保留實體 Mac 的滑鼠與剪貼簿不受代理操作影響。terminal-mac 是為 Computer-use agents（CUAs）提供獨立 macOS 虛擬機的工具，透過終端機檢視畫面及下達操作。

它使用 Apple Virtualization 執行真正的 macOS guest，guest 有自己的應用程式、檔案、帳戶和權限，不會沿用主機已登入的工作階段。代理透過 MCP 工具截圖、點擊、拖曳、捲動、輸入文字及按鍵，並可依照「觀察、操作、確認」的流程檢查結果。

首次啟動會從 Apple 下載並快取相容的還原映像，也可使用既有的 .ipsw；之後會重用已建立的虛擬機。項目面向 Apple silicon、macOS 14 或更新版本，預設虛擬磁碟邏輯容量為 64 GiB，主機亦須預留還原映像和虛擬機所需的資源。Ghostty、Kitty 或 iTerm2 可顯示終端機內嵌畫面，其他終端機則可改用原生虛擬機視窗及代理命令列工具。

主機輸入與螢幕 API 不會用來執行代理操作；guest 內的 helper 會檢查硬件型號是否以 VirtualMac 開頭，避免操作意外落到主機。這項檢查不是硬件認證，也不能防範已遭入侵的主機。項目仍屬早期候選版本，乾淨 Mac 上的 guest 驗收尚未完成，發行版本亦未經 Apple 公證；tmux passthrough 和自動分割終端機目前不支援。

  • 適合需要隔離代理操作與個人桌面、帳戶及剪貼簿的測試工作。
  • Claude Code 可透過 MCP server 和 skill 接入代理工作流程。
  • 首次建立虛擬機需要網絡下載 macOS，或自行提供相容的還原映像。
  • 虛擬機會佔用主機 CPU、記憶體和儲存空間，預設磁碟邏輯容量為 64 GiB。

GitHub

Categories: 開源, Agentic, MCP, API, 工具, Mac, Anthropic, 蘋果, Skill 技能

Phone Harness MCP：AI 直接操作雲端上的手機模擬器

Share to X Facebook

要測試手機 App，AI 代理可以直接查看 iPhone 或 Android 模擬器畫面，再進行點按、輸入和滑動。Phone Harness MCP 讓這些操作透過 MCP 連接器交給代理執行。

Repository image for phone-harness/mcp

測試手機 App 或重現操作流程時，AI 代理可以透過 Phone Harness MCP 查看手機畫面、點按、輸入文字、滑動及開啟 App。它屬於 MCP 工具，將雲端專用 iPhone 或 Android 模擬器接到 Claude、Cursor、ChatGPT、Codex 等 MCP client，讓代理直接操作裝置。

連接方式是把 Phone Harness 加入支援自訂連接器的 MCP client，使用服務網址登入；連線採用 Streamable HTTP，OAuth 要求 phone:drive 權限，也可用 API key 作 Bearer token。項目聲稱毋須 Mac、adb 或裝置配對，但這代表操作依賴雲端裝置，並非連接使用者手上的手機。

和需要本機裝置、開發環境及配對程序的測試流程相比，Phone Harness 把裝置控制交由雲端服務處理，減少本機準備工作；代價是要登入並授予手機操作權限，亦須視乎服務提供的裝置與連線狀態。項目提供 Claude、Cursor、ChatGPT 和 VS Code 的連接方法，但未提供效能數據或完整的裝置供應、費用及可用性細節。

適合需要讓 AI 代理測試 App、執行手機操作流程，或在不同 MCP client 中驗證代理能力的開發者和測試團隊。連接前可先確認團隊帳戶是否支援自訂 MCP server；ChatGPT 網頁版的自訂連接器只供 Business、Enterprise 和 Edu 工作區使用，Pro 帳戶則只支援讀取及擷取工具，不能用來操作手機。

  • 支援雲端專用 iPhone 和 Android 模擬器。
  • 代理可查看畫面、點按、輸入、滑動及開啟 App。
  • 透過 MCP 連接器和服務網址登入，不需本機 Mac 或 adb。
  • OAuth 要求 phone:drive 權限，亦可使用 API key 作 Bearer token。
  • ChatGPT Pro 帳戶不能透過自訂 server 驅動手機。

GitHub

Categories: 開源, MCP, OpenAI, API, 工具, IDE, Mac, Anthropic

CoworkOS：2D/3D 網頁任務統一工作流

Share to X Facebook

複雜項目往往要跨多日推進，也需要人手覆核和中途調整。CoworkOS 讓 AI 代理接手分工與持續監察，並保留進度、記錄及待審核成果。

CoworkOS: geometric wordmark, fixed OS frame and illustrated desktop workspace

從研究、文件到 CAD 和 Blender，CoworkOS 讓人與 AI 代理在同一工作空間協作，處理需要多步推進、跨日跟進的工作。它屬於開源 AI 協作執行框架，目標是把任務由規劃、分工一路帶到可檢查的成果；長時間運行的 Jobs 會保留狀態和日誌，遇到等待或中斷後仍可接續處理。

代理工作分成三層：Main Agent 制定計劃、分派任務及檢查成果；Coordinator Runtime 負責派送子任務並追蹤進度；可選用的 Subagents 則執行範圍明確的工作。模型負責決定任務策略，執行環境則維持協調、回饋和工作連續性，避免把多代理協作的管理全交由模型自行處理。

CoworkOS 把 CLI、搜尋、檔案和 MCP 接到文件編輯器、簡報、CAD 與 Blender 等工具，人和代理可以共同修改文件、模型及場景。階層式工作空間和語意記憶用來延續項目脈絡；候選修改會保留版本資訊，讓人先檢查再整合。這種做法適合需要覆核、追蹤及中途改方向的團隊，但可用工具和模型服務的實際配合仍會影響工作流程。

研究團隊也可用同一套機制建立長期監察迴圈，例如分析模型失誤、改善訓練資料、執行訓練及驗證結果。配套研究報告記錄了 Qwen3.6-35B-A3B 經五輪後訓練後，在八個基準的平均分由 33.19 升至 42.95；這是特定實驗結果，各任務仍有升跌，不能直接視為其他模型或工作流程的保證。

  • Jobs 保留長時間任務的狀態與日誌，方便中斷後繼續監察。
  • Main Agent、Coordinator Runtime 和 Subagents 分別負責規劃、協調與執行。
  • 人與代理可共同處理文件、簡報、CAD 模型及 Blender 場景。
  • 候選修改可先經人手檢查，再整合到項目成果。

CoworkOS 面向使用 macOS 的研究人員及需要多工具協作的團隊，支援 Apple Silicon，並要求 macOS 14 或以上及 Node.js 22.19.0 或以上。儲存庫資料提及可透過 npm 安裝，亦提供文件、展示及即時示範連結，開始部署前，仍需查閱項目文件確認模型服務與工作空間的配置方式。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, MCP, 模型, 模型訓練, Qwen, 框架, 工具, Mac, 庫, 中國, 蘋果, Dataset 數據集

WebAnything 把真實網站重建成可重設的測試環境

Share to X Facebook

從網站獲其內容重建互動網站，能在可重設的環境中完成任務。

WebAnything concept logo

要訓練或評測 Web agent，截取網站畫面並不足夠，代理還要能操作控制項、切換頁面並完成多步任務。WebAnything 是一套研究程式碼，將網站證據轉成可執行、可重設的代理環境，目標是保留任務流程，而不只是重現畫面。

建構流程先由 Builder 透過瀏覽器探索網站，記錄頁面狀態、互動資料、DOM、畫面截圖及網絡資源，再重建環境。候選環境會先凍結，交由 Verifier 獨立檢查；發現實作錯誤或證據不足時，系統會針對問題修正。Full 模式適合追求較廣覆蓋，JIT 則按代理任務需要建構環境，兩者在完整度與建構成本之間作取捨。

項目分析了 6,172 個獲接納的來源任務執行紀錄，平均每個任務使用 10.4 個工具步驟，中位數為 8 步；34.7% 的任務超過 10 步，最長達 89 步。這些數字反映任務包含多步互動，但不能單獨代表重建保真度或代理能力；評估亦分別涵蓋歷史頁面狀態的保真度，以及模型在指定基準測試中的下游效用。

  • 適合研究 Web agent 訓練與評測、需要可重複網站任務環境的團隊。
  • Builder 和 Verifier 使用支援 Responses API 的模型服務；兩者需配置模型 ID、API URL 及 API key。
  • 本機需安裝 Chromium，瀏覽器操作由 Playwright 支援；代理亦需要終端機存取權。README 未列出最低 CPU、記憶體或 GPU 規格，不能據此判定具體硬件門檻。
  • 儲存庫提供建構流程及 244 個歷史網站項目的清單，但網站原始碼與第三方媒體存放在外部 artifact store，並未隨儲存庫附上。

Web agent 提供 Python 套件、命令列工具及設定流程，並可把本機 agent skill 安裝給 Codex 或 Claude Code；這個 skill 不是 MCP server。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 模型訓練, Qwen, API, 工具, Python, 庫, Anthropic, 中國, Dataset 數據集, Skill 技能

magpie：通過本機閘道，把不同 AI 編程代接上同一模型

Share to X Facebook

Claude Code、Codex、Gemini CLI 等代理可以各自改用其他模型或訂閱帳戶；配額用完時，Magpie 亦可按設定切換帳戶或路由到其他服務。

magpie

想讓 Claude Code 用 Kimi、Codex 用 DeepSeek，或者讓 OpenCode 使用 ChatGPT 訂閱模型，不必逐個代理手動改一堆設定。Magpie 是一款跨平台工具，透過本機閘道統一管理模型與供應商，並從選單列切換代理設定；它改動的是各代理自己的關鍵設定，並非把不同代理合併成同一個程式。

它支援 API key、本機模型，以及 Claude、ChatGPT、Copilot、Gemini、Grok 等已登入帳戶。Claude 整合會呼叫本機的 Claude CLI，並透過 MCP（Model Context Protocol）橋接代理工具；ChatGPT 訂閱模型則可供其他代理使用。這讓使用者能沿用熟悉的代理工作流程，同時更換背後的模型來源。

配額耗盡時，Magpie 可改用同一供應商的另一個帳戶；若設定了路由群組，也可轉往其他模型或供應商。沒有備用帳戶或路由群組時，錯誤仍會傳回代理，因此不中斷並非無條件保證。隱私遮罩則須在設定中手動開啟，啟用後會在請求離開本機前遮蔽提示中的金鑰、密碼和電郵地址，再把內容還原到回覆。

  • 從同一份清單為不同代理選擇模型，減少逐個修改設定的工作。
  • 可混用雲端 API、本機模型和已登入的訂閱帳戶。
  • 帳戶或路由備援可降低配額用盡造成的中斷，但須先配置可用的後備路徑。
  • 隱私遮罩預設關閉，敏感資料保護需自行啟用。

對同時使用多個 AI 編程代理、需要管理不同供應商帳戶的個人或團隊，Magpie 可集中處理切換與備援；若只用單一帳戶，或不希望工具改寫代理設定，收益會較有限。項目支援 macOS、Windows、Linux、Docker 和 Termux；提供下載與文件，但所給資料未列出效能測試或延遲數據，選用前宜確認所需代理、模型與登入方式均在支援範圍內。

GitHub

Categories: 開源, MCP, 模型, 微軟, OpenAI, DeepSeek, Gemini, API, 工具, Mac, Linux, 編程, Anthropic, Kimi, MiniMax

Digital Human Koubo：一句需求生成數字人口播廣告，連聲音也自動完成

Share to X Facebook

相片加一句需求，就能串起數字人口播、字幕與影片包裝；代價是依賴外部雲端生成。

一張相片加一句需求，便可生成有數字人口播、字幕和促銷包裝的短片。andyhuo520/digital-human-koubo 是由人工智能（Artificial Intelligence，AI）代理執行的影片工作流，串連文案、對嘴、聲音整理和剪輯。

主持人設定存於 persona.json，固定外觀和聲線描述；GPT Image 合成場景後，Grok Video 1.5 經 Renoise 的 Model Context Protocol（MCP）製作每段最多 15 秒的口播片。按 SKILL.md 配置代理並連接服務後，可先看倉庫示例；其中一條 27 秒廣告耗用 482 Renoise credits，不能視為固定價格。

  • Whisper 逐段轉錄核對文稿，每段檢查 4 格畫面；若畫面出現生成字幕，該段會重做。
  • 頻譜匹配、去齒音及響度標準化協助統一分段聲音；測試中的齒音差距由 13.2 dB 降至 5.9 dB。
  • 48 項影片包裝手法參考 25 條創作者影片整理，可按需要增減。

這套流程適合需要反覆製作商品介紹或社交平台短片的小型內容團隊，也能把文字置於主持人身後。成品仍受外部模型服務和點數成本限制，使用前宜先檢查口型、畫面及人物一致性。

GitHub

Categories: 開源, AI productions, MCP, 數字人, 模型, Video, Image, Audio, Content Creator, 庫, Skill 技能

Hycli 將網站變成可操作的 CLI 工具

Share to X Facebook

Hycli 把網站包裝成 typed CLI 與 MCP 工具，讓 AI agent 讀取、搜尋及修改內容，同時把 cookies 留在本機。

Hycli — Websites, ready for AI.

網站操作之所以難交给 AI agent，往往不是模型不懂流程，而是登入狀態、網站結構與寫入風險都混在一起。Hycli 是開源 CLI 與 MCP server 生成工具，會從網站文件、前端 bundle 及瀏覽器網絡流量建立 typed CLI，涵蓋讀取與寫入操作，並沿用真實瀏覽器登入狀態。

它的差異不在於讓 agent 多一層包裝，而在於把「探索網站」與「執行變更」分開。三個 AI workers 會檢查文件、程式碼和 live traffic，建立工具規格期間不會執行 mutation；即使路徑或 GraphQL body 隱藏了寫入行為，也會被攔截。新 CLI 預設 writes: false，首次寫入前要求用戶確認，亦可隨時撤銷權限。

  • 用 hycli prepare 探索網站並產生 CLI 規格
  • 透過 CLI 或 MCP 讀取、搜尋、建立及編輯網站內容
  • cookies、localStorage、sessionStorage 與 API keys 儲存在本機 vault
  • 寫入失敗不會自動重試，避免重複下單或發文
  • 匯入登入狀態時只讀取指定網域的資料

瀏覽器憑證不會放入 LLM prompt，模型只會看到帳戶標籤、storage key 名稱及已遮蔽的 response schema；真正的 secret 由本機在執行時注入，並從輸出與日誌中移除。OS keyring 分別支援 Windows Credential Manager、macOS Keychain 與 Linux Secret Service，亦備有只限擁有者讀取的檔案權限。

Hycli 適合需要反覆處理後台、內容平台或內部網站介面的團隊，也適合已使用 MCP 的 AI agent 工作流。它不是通用網頁爬蟲，重點是為特定網站建立可重用的 typed 操作介面；實際效果仍取決於網站是否提供可辨識的文件、前端 bundle 或網絡 API，以及該網站是否容許相關自動化操作。

GitHub

Categories: 開源, Agentic, MCP, 模型, API, 工具, Mac, Linux, 安全

yomado：給 Agent一個虛擬螢幕

Share to X Facebook

yomado 讓 Agent 在虛擬螢幕操作 Blender、Marvelous Designer 等桌面程式，毋須為每款應用另接 MCP。實體屏幕可以保留給自己的工作。

yomado night-window icon

需要代理透過截圖、滑鼠和鍵盤操作 Blender 或 Marvelous Designer 時，桌面程式仍要有圖形桌面和顯示畫面。yomado 是一款 Mac 虛擬顯示器工具，讓代理使用獨立工作屏幕，毋須為每款應用另接 MCP；代理負責觀察和操作，yomado 則提供顯示空間。

它會按桌面排列顯示實體與虛擬屏幕，並在屏幕示意圖中標出應用程式。你可以拖曳圖示移動視窗，也可以手動移動；功能表按顯示器分組，並支援個別關閉視窗。隨附的 yomado skill 可引導 Codex 建立工作屏幕、移入指定視窗、確認畫面可見，並在任務完成後移回視窗。

  • 可為不同代理建立各自的虛擬屏幕，將工作視窗分開管理。
  • 可從 Finder 將正在執行的 .app 拖入，移動該應用的一般視窗。
  • 虛擬屏幕存在期間，程式會要求系統和圖形桌面保持喚醒。
  • 目前版本為實驗版，使用 macOS 14 或以上的 Apple Silicon Mac，並使用 macOS 私有 API。

這做法補足顯示空間，而非代理本身的視覺理解或操作能力；截圖、判斷和輸入仍由 Codex 或其他代理工具處理。對需要代理操作可視化介面、又想讓自己的實體屏幕保持原有工作的 Mac 使用者，分屏管理有實用價值。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, Google, API, Video, 工具, Mac, 蘋果, Skill 技能

3dcodeverse 讓 AI 以程式碼建立可驗證 3D 世界

Share to X Facebook

3DCodeVerse 將可執行程式、空間檢查與視覺評審接成工作流，讓 AI 產生的 3D 內容不止能看，亦能修改和驗證。

3DCodeVerse

由幾百行 Blender Python、Three.js 或 GLSL 生成互動場景，內容仍可編輯和檢查，正是 3DCodeVerse 的實用定位。它屬於面向 coding agents 的 3D 研究生態系，處理文字要求轉化為可執行 3D 程式的問題，而不是只輸出一張渲染圖。

核心資料集 3DCodeVerse-2M 收錄約 2.03M 個 code-condition pairs，來自 269,597 個可執行程式，涵蓋 bpy、CadQuery、OpenSCAD、Three.js、URDF、GLSL、OpenGL 七種語言或 runtime，並分為物件、可動物件、場景及圖形渲染四條軌道。每個項目附有程式、所需資產、指令描述、視覺描述、建構步驟和驗證記錄，較適合訓練及測試，而非只作展示素材。

3DCodeVerse Harness 以多智能體和 DAG 結構規劃 3D 項目，再交由空間工具、MCP 服務及確定性檢查驗證連接、介面合約、關節掃描和畫面指標；VLM 評審則用二元缺陷清單及程式上限評分。讀者可先在項目網站瀏覽器執行示例，再從 Hugging Face 取得資料集；自行運行則要準備相應的 Blender、Three.js、OpenGL 等 runtime，不能只靠單一推理套件完成。

開放模型部分提供 Qwen 的 LoRA、DPO 微調配方，並列出 27B 模型在 3DCodeBench 的執行率由 51.9% 提升至 92.9%；項目亦列出相對同一 Claude Opus 5.5 backbone 的 90% 人類偏好結果。這些數字反映訓練資料和驗證流程的價值，但仍應留意評測設定、成本及不同 runtime 對結果的影響。

  • 可生成可修改的程式化 3D 物件、場景和渲染效果
  • 以 DAG Harness 串連規劃、執行、空間檢查和視覺評審
  • 2.03M code-condition pairs 支援模型訓練與基準測試
  • Qwen 微調配方兼顧執行成功率和偏好評審

對研究 3D 生成、coding agents、程式化建模或模型微調的團隊，這個項目提供由資料集、工具鏈到模型配方的完整起點。限制在於工作流程依賴多個 3D runtime，評審仍可能受視覺品質和規則覆蓋範圍影響。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 視覺模型, 模型訓練, Qwen, Google, 工具, 3D, Python, 編程, 安全, Anthropic, Dataset 數據集, LoRA

CineRecon 以 Blender 重建實景影片

Share to X Facebook

CineRecon 將影片重建變成可檢驗的 Agent 任務，要求模型由參考影片建立可編輯、可動畫化的 Blender 場景。

CineRecon logo

由完整參考影片出發，Coding Agent 透過 Blender MCP 撰寫及修改 Python，反覆比對渲染畫面，再建立包含幾何、材質、角色動作與鏡頭動畫的可編輯場景。CineRecon 屬於影片重建 benchmark，處理的是模型能否將時間連續的影像內容還原成可修改的 3D 工作成果，而不只是產生相似畫面。

項目以三個重建層級拆開能力差異：Proxy 只要求位置、互動及鏡頭運動，Simplified 再保留可辨認形狀和主要外觀，Detailed 則加入特色形狀、材質和細節。三個層級都要求相同的主體動作、事件及攝影機行為，方便分辨模型是只掌握構圖，還是能重建完整視覺內容。

  • 50 段參考影片，切分成 360 個評估片段
  • 35,836 筆獨立 checklist 記錄，按層級擴展至 49,668 項檢查
  • 評估 Camera、Static、Dynamic 三類一致性
  • 支援畫面選取、時間戳對齊、並行評分、續跑及分數彙總

評分由獨立 VLM judge 對齊參考與渲染影片，按片段 checklist 檢查 11 個類別，並以 Camera、Static、Dynamic 三個同等權重維度計算結果。這比單一影像相似度更能揭示鏡頭是否跟足、物件是否保持穩定，以及動作和事件有沒有在正確時間發生。

測試需要 Python 3.10 或以上，支援 Linux 及 macOS；項目提供資料、提示詞、驗證工具和離線 smoke test，但不包含 Agent launchers。團隊可先用離線流程確認資料與評分管線，再接駁 Blender MCP 和隔離 worker 執行重建；研究模型能力時，CineRecon 的價值在於把「看似相似」拆成可追蹤的鏡頭、靜態內容和動態內容，而不是只比較最後一段影片。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, 模型, 視覺模型, Video, Image, 提示詞, Vibe Coding, 工具, Mac, 3D, Linux, Python, 編程, Anthropic, 動畫, Dataset 數據集
Page 1 of 6
1 2 3 … 6