Terminal Mac:讓 AI Agent 操作虛擬 macOS 電腦

代理可在獨立的 macOS 桌面操作應用程式,不必移動實體 Mac 的滑鼠或改動剪貼簿。terminal-mac 把虛擬機畫面帶到終端機,並提供 MCP 工具供代理控制。

Repository image for govijr/terminal-mac

讓電腦操作代理在另一個 macOS 桌面開啟應用程式、輸入文字和檢查畫面,同時保留實體 Mac 的滑鼠與剪貼簿不受代理操作影響。terminal-mac 是為 Computer-use agents(CUAs)提供獨立 macOS 虛擬機的工具,透過終端機檢視畫面及下達操作。

它使用 Apple Virtualization 執行真正的 macOS guest,guest 有自己的應用程式、檔案、帳戶和權限,不會沿用主機已登入的工作階段。代理透過 MCP 工具截圖、點擊、拖曳、捲動、輸入文字及按鍵,並可依照「觀察、操作、確認」的流程檢查結果。

首次啟動會從 Apple 下載並快取相容的還原映像,也可使用既有的 .ipsw;之後會重用已建立的虛擬機。項目面向 Apple silicon、macOS 14 或更新版本,預設虛擬磁碟邏輯容量為 64 GiB,主機亦須預留還原映像和虛擬機所需的資源。Ghostty、Kitty 或 iTerm2 可顯示終端機內嵌畫面,其他終端機則可改用原生虛擬機視窗及代理命令列工具。

主機輸入與螢幕 API 不會用來執行代理操作;guest 內的 helper 會檢查硬件型號是否以 VirtualMac 開頭,避免操作意外落到主機。這項檢查不是硬件認證,也不能防範已遭入侵的主機。項目仍屬早期候選版本,乾淨 Mac 上的 guest 驗收尚未完成,發行版本亦未經 Apple 公證;tmux passthrough 和自動分割終端機目前不支援。

  • 適合需要隔離代理操作與個人桌面、帳戶及剪貼簿的測試工作。
  • Claude Code 可透過 MCP server 和 skill 接入代理工作流程。
  • 首次建立虛擬機需要網絡下載 macOS,或自行提供相容的還原映像。
  • 虛擬機會佔用主機 CPU、記憶體和儲存空間,預設磁碟邏輯容量為 64 GiB。

GitHub

Categories: 開源, Agentic, MCP, API, 工具, Mac, Anthropic, 蘋果, Skill 技能

Embodied Agent Arena:測試十款 VLM 的任務能力

十款前沿視覺語言模型接受 1,000 個具身任務測試,結果顯示,能生成可執行動作,不代表能完成多步操作或精細接觸任務。

logo transparent

要判斷視覺語言模型(Vision-Language Models,VLMs)能否勝任機械人通用操作,不能只看它有沒有成功發出動作。Embodied Agent Arena 是一個具身代理評測項目,以共同測試流程比較十款模型在五類能力上的表現,涵蓋 1,000 個案例,並把幾何理解、空間推理和視覺定位納入評測。

項目把任務理解、推理和動作選擇交由模型處理,再以同一套精簡評測框架測試不同模型。測試資料整合 32 個既有來源,另加入 168 個案例的 GeoProbe 幾何基準;相比只看機械人互動任務,這種安排能同時檢視模型理解空間資訊的能力,以及能力能否轉化為實際任務成果。

結果反映,單一指標容易掩蓋任務是否真正完成。Gemini 4 Argon 的 3D 路徑誤差最低,為 0.310 米,但 56 條路徑中只有 24 條符合全部限制;Manipulation 成功率最高的 Opus 5.5 亦只有 47.8%。CALVIN 測試中,100 個序列有 60 個完成第一個目標,完成全部五個目標的只有 9 個;在五項 ManiSkill 診斷任務中,Opus 5.5 能完成拾取、放置和堆疊,卻未能完成插入插銷或充電器。

  • 同一批 157 項 Planning 任務中,至少有一款模型完成 142 項;仍有 15 項十款模型全部失敗。
  • Astra 的 31 項失敗任務耗用 55.5% token;失敗任務平均耗用的 token 是成功任務的 5.1 倍。
  • CALVIN 有 65 個序列曾遇到執行錯誤;其中 62 個後來能無錯執行程式碼,但只有 3 個最終完成序列。
  • Case Atlas 收錄 181 個涵蓋五類能力的案例,提供十款模型的紀錄;缺少影片的項目會使用共用任務場景,API 中斷則標記為失敗嘗試。

這些結果適合用來比較模型在哪些環節失手,亦提醒研究團隊不要把路徑精度、程式碼執行成功或單一步驟操作,直接當成完整任務能力。項目提供線上結果、案例影片、資料集及程式碼。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 世界模型, Qwen, DeepSeek, Gemini, API, VLA, Robotic, 框架, 香港, Anthropic, Dataset 數據集

vibe-knowledge:把知識點做成可查證短片

vibe-knowledge 將查證、旁白、逐幀渲染和質檢串成一套對話式短片製作流程,亦把生成成本攤開給你核准。

风格快闪片

把一個知識點變成有旁白、逐句附來源的 1080p60 短片,vibe-knowledge 以 Claude Code skill 串起選題、查證、寫稿、配音、程式渲染、OCR 質檢和發布包;它屬於 AI 內容製作工作流項目,處理的是知識內容由文字走到可觀看影片時的流程分散問題。

vibe-knowledge 需與 ai-teardown 一併安裝,後者提供 cine 渲染引擎、工作區及配音腳本。渲染環境需要 Python、NumPy、SciPy、Pillow、Playwright、Chromium headless shell 和 ffmpeg;macOS 的 OCR 質檢則依賴 Vision 及 swiftc。

每次提交生成前,流程會列出鏡頭、模型、提示詞和 estimate cost,等使用者在對話中明確同意才繼續。基礎檔可用 0 積分完成程式插畫版;增強檔加入 Renoise 生成的配圖與 Wan 動態鏡頭,示例《商鞅立木》使用 246 積分,常見檔次約為 25–40、250–300 及 600–700 積分。

  • Claude Opus 負責編排,畫面由程式逐幀渲染
  • 早期提供古風、星空、像素、字幕新聞等多套風格
  • 基礎檔與增強檔可保留同一旁白及腳本作比較
  • Release v1.0.0 已提供多段樣片,但未有獨立準確率或品質基準

適合需要持續製作歷史、科普或解釋型短片的內容團隊,尤其重視來源標註、成本審批和可重複流程的工作情境。Renoise 增強檔能擴充視覺效果,代價是積分及外部模型依賴增加;片中亦會標示「AI 示意」,不能當作史實畫面或紀錄片素材直接使用。

GitHub

Categories: 開源, AI productions, 模型, Video, 提示詞, Mac, Python, 新聞, Anthropic, Skill 技能

Lemo-Opuscar:讓 coding agent 用 66 種程式影像風格拍片

想把故事變成風格鮮明的短片,可以從 66 種程式製作的影片風格選擇,再交由 coding agent 協助導演。

OPUSCAR 98 — 98 Years of Best Picture

想把文字故事變成短片,又希望畫面不只停留在一般生成影像的風格,Lemo-Opuscar 提供 66 種可直接選用的程式影像風格,並支援自行修改或從空白開始創作。它是一套以程式碼製作影片的風格工具箱,讓 coding agent 按所選風格處理故事呈現;每種風格亦附有短片示例,方便先看效果再決定方向。

畫面由 canvas 和 WebGL 網頁逐格繪製,音樂採用免費取樣音源製作原創配樂,旁白則使用文字轉語音。這種做法把視覺風格、配樂和旁白組合成一條影片製作流程,適合想快速嘗試不同美術呈現的創作者,也可用於資料敘事、紀錄片及短片概念驗證。

使用者可以先到線上風格展示頁瀏覽範例,再挑選風格、提供故事,或修改既有風格及自行建立新風格。

風格針對 Claude Opus 5.5 調校,作者提醒其他模型未必能重現相同效果;這是選用工具時需要納入考慮的限制。項目亦展示每部作品配合相應風格呈現,說明這套方法可用於較長篇幅的主題作品。

  • 提供 66 種可用影片風格,並可修改或自行創作。
  • 以 canvas、WebGL 逐格繪製畫面,並結合配樂與文字轉語音旁白。
  • 可先瀏覽線上展示頁和短片範例,再決定風格與故事方向。
  • 風格主要針對 Claude Opus 5.5 調校,其他模型的重現效果未有保證。

GitHub

Categories: 開源, 文字轉語音, Agentic, AI productions, 模型, Video, Image, Vibe Coding, 工具, Content Creator, 編程, 語音, Anthropic, 音樂

huashu-motion:AI Agent 按節奏製作產品宣傳片

由 Claude Code 或 Codex 讀取產品內容、編排動畫和配樂,再讓你在瀏覽器畫面上指定位置修改。製作流程可在本機完成,配樂亦毋須呼叫付費接口。

huashu-motion发布片开场:一整面墙的片子,说一句,出一支片

想把產品介紹變成一支短片,可以直接向 Claude Code 或 Codex 提出需求;huashu-motion 會先閱讀產品內容,提供三個創作方向,再編寫動畫與配樂,並在瀏覽器開啟編輯器。它是一套供 AI Agent 使用的動畫製作 skill,處理從產品內容到宣傳片、再到局部修改的工作流程。

修改方式著重畫面定位:在預覽中按 C,再點選要調整的位置並留下意見。評論會附上時間點、場景、所選元素及其原始碼位置,Agent 可針對該處修改;版本會保留,亦可撤回。標題、數字、顏色和停留時長等項目則可直接在編輯器輸入框調整。

配樂不是完成影片後才補上的背景音。Agent 會先按節奏單寫 ABC 記譜法樂譜,並以樂譜標記配合場景切換;樂器音色可選本機採樣或合成音色,音效則配合畫面元素落地的時刻。本機生成配樂不需付費接口;使用三腳鋼琴、弦樂和鼓組等真實樂器音色,需另行下載約 55MB 採樣。口播亦屬可選功能,Kokoro 中文語音和逐字對齊各有額外安裝需求。

項目列出以 Chrome、Chromium 或 Edge 執行截帧、檢查及匯出,不需另外下載渲染器;也展示 Claude Code、Codex 和 DeepSeek V4.1 Flash 等案例。當中一支 22 秒動效片以 DeepSeek V4.1 Flash 製作,經三輪修改,不到半小時完成;文中記錄當時費用為 1.95 元,不能視為固定成本或其他模型的效能保證。安裝方式雖有列出,但資料沒有完整說明各平台的操作流程,首次使用仍要按所選音色和口播功能處理相應依賴。

  • 先閱讀產品內容,再提供三個方向並生成完整短片。
  • 在預覽指定畫面位置,讓 Agent 針對局部修改;版本可保留和撤回。
  • 配樂以 ABC 樂譜和場景標記同步,音樂及音效可在本機生成。
  • 可透過瀏覽器截帧、檢查和匯出;真實樂器採樣與中文口播需額外依賴。

這套流程適合需要快速製作產品發布片、又希望保留逐處審核和修改能力的產品及設計團隊。它把創作交給 Agent,但仍讓人透過畫面評論調整細節;採樣下載、語音工具安裝及各平台實際操作方式,則是導入前需要確認的成本。

GitHub

Categories: 開源, Agentic, AI productions, 模型, DeepSeek, Video, 工具, 語音, Anthropic, 動畫, 音樂, Skill 技能

teardown:把機器原理變成可拆解的 3D 模擬器

想了解引擎、手錶或挖掘機怎樣運作,可以讓 Claude Code 生成一頁式模擬器,邊看機器運轉,邊拆開部件追蹤數值。

Mellis HB-7 robotic bee simulator

想弄清楚四衝程引擎如何運作,單看文字或靜態圖解未必容易掌握部件之間的關係。teardown 是一項 Claude Code skill,會按自然語言指示生成離線 HTML 3D 模擬器,讓機器在畫面中央運轉,周邊面板同步顯示數值,亦可按鈕打開正在工作的部件。

使用者可在 Claude Code 以日常語句描述想了解的機械,例如機械手錶或液壓挖掘機臂,再要求生成模擬器;項目亦附有 V8 引擎、Cessna 飛機和 Strandbeest 機械生物三個例子,可用 Node.js 建成單一 HTML 頁面。安裝需要 Node.js 20 或更新版本,以及 Playwright 的 Chromium;影片輸出另需 ffmpeg,聲效製作則需 Python。主要使用方式是透過 Claude Code 提出描述。

生成的頁面會把 three.js 和字體內嵌,方便離線開啟;模擬器閒置時會自動巡覽,亦可把畫面逐格輸出成 60 fps MP4,並配上時間軸聲效。相較只提供動畫的展示頁,它把機械運作、即時數值與可拆解部件放在同一介面。

較適合製作互動式教學素材、概念展示或機械原理解說的教育工作者、設計師和工程團隊。要留意,生成品質會受描述與 Claude Code 產出影響;若內容用於工程驗證或安全判斷,仍需另行核實模型設定與數據。

  • 以自然語言要求 Claude Code 建立機械 3D 模擬器。
  • 單一離線 HTML 頁面包含機器動畫、數值面板和部件拆解互動。
  • 可將模擬器畫面輸出為 60 fps MP4,並加入程序化聲效。
  • 內附 V8 引擎、Cessna 飛機及 Strandbeest 三個示例。
  • 文件未提供物理準確度評測,生成結果不宜直接當作工程驗證。

GitHub

Categories: 開源, AI productions, 模型, Video, 教學, 3D, Python, 安全, Anthropic, 動畫, 聲效, Skill 技能

Motion Prompt:萬用 AI Motion Graphic

想叫 AI 加入某種鏡頭運動或網頁效果,卻不知道該怎樣描述?Motion Prompt 把名稱、動態示例和提問範本放在一起,方便查找與轉交創作要求。

描述鏡頭運動、動態圖像或網頁效果時,光靠「有感覺一點」往往難以讓 AI 掌握方向。Motion Prompt 是一個創作名稱與示例庫,收錄 192 個名稱,每項附有動態示範、簡短解釋和提問例句,涵蓋動態圖像、鏡頭運動、UI 元件、網站效果和攝影風格。

使用者可在網上 Gallery 播放示例、搜尋名稱,再選取多項並附上備註,將整理好的要求交給 AI;不使用技能時,也可複製提示詞和示例連結。 packs/ 提供五種語言的名稱清單,包括繁體中文。項目亦提供建立自訂領域及語言版本的提示詞;說明了技能安裝方式,但沒有提供完整的手動部署流程。

與只列術語的詞典相比,Motion Prompt 把可觀看的動態參考和可直接改寫的提問放在同一項目;每個示例的參考實作以 Canvas 2D 撰寫,不依賴外部程式庫,並可逐格繪製及用於影片輸出。它提供的是創作參考與溝通素材,不代表不同 AI 模型都能產生相同效果,也沒有提供量化性能評測。

  • 可播放示例,並按名稱或編號查找。
  • 多選示例、加入備註,再把要求交給 AI。
  • 不使用技能時,可複製提示詞及參考連結。
  • 提供繁體中文清單,以及製作自訂名稱庫的提示詞。

影片創作者、設計師和需要以 AI 協作的前端團隊,可用它把抽象的視覺想法轉成較具體的術語與參考。若工作流程依賴特定模型或成品品質,仍需自行測試提示詞能否帶出預期結果;現有內容主要是示例庫,並非生成模型或效果保證。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, Video, Image, 提示詞, Content Creator, 庫, Anthropic, Skill 技能, UI/UX

Phone Harness MCP:AI 直接操作雲端上的手機模擬器

要測試手機 App,AI 代理可以直接查看 iPhone 或 Android 模擬器畫面,再進行點按、輸入和滑動。Phone Harness MCP 讓這些操作透過 MCP 連接器交給代理執行。

Repository image for phone-harness/mcp

測試手機 App 或重現操作流程時,AI 代理可以透過 Phone Harness MCP 查看手機畫面、點按、輸入文字、滑動及開啟 App。它屬於 MCP 工具,將雲端專用 iPhone 或 Android 模擬器接到 Claude、Cursor、ChatGPT、Codex 等 MCP client,讓代理直接操作裝置。

連接方式是把 Phone Harness 加入支援自訂連接器的 MCP client,使用服務網址登入;連線採用 Streamable HTTP,OAuth 要求 phone:drive 權限,也可用 API key 作 Bearer token。項目聲稱毋須 Mac、adb 或裝置配對,但這代表操作依賴雲端裝置,並非連接使用者手上的手機。

和需要本機裝置、開發環境及配對程序的測試流程相比,Phone Harness 把裝置控制交由雲端服務處理,減少本機準備工作;代價是要登入並授予手機操作權限,亦須視乎服務提供的裝置與連線狀態。項目提供 Claude、Cursor、ChatGPT 和 VS Code 的連接方法,但未提供效能數據或完整的裝置供應、費用及可用性細節。

適合需要讓 AI 代理測試 App、執行手機操作流程,或在不同 MCP client 中驗證代理能力的開發者和測試團隊。連接前可先確認團隊帳戶是否支援自訂 MCP server;ChatGPT 網頁版的自訂連接器只供 Business、Enterprise 和 Edu 工作區使用,Pro 帳戶則只支援讀取及擷取工具,不能用來操作手機。

  • 支援雲端專用 iPhone 和 Android 模擬器。
  • 代理可查看畫面、點按、輸入、滑動及開啟 App。
  • 透過 MCP 連接器和服務網址登入,不需本機 Mac 或 adb。
  • OAuth 要求 phone:drive 權限,亦可使用 API key 作 Bearer token。
  • ChatGPT Pro 帳戶不能透過自訂 server 驅動手機。

GitHub

Categories: 開源, MCP, OpenAI, API, 工具, IDE, Mac, Anthropic

ai-manju-skills 一句故事點子延伸成動漫製作流程

由企劃、分集劇本一路寫到分鏡提示詞和發布文案,這套模板把 AI 漫劇製作拆成可逐步推進的工作流程。21 種題材可供選用,但測試覆蓋程度不一,生成內容仍需自行檢查。

Repository image for zhanghao123vip/ai-manju-skills

由一句故事點子開始,創作者可以逐步整理出企劃、人物與世界設定、分集劇本、分鏡和影片提示詞,再準備封面及發布文案。ai-manju-skills 是一套 AI 漫劇創作模板,針對製作流程中不同階段的內容整理,提供 21 種題材的 SKILL.md,不需要安裝依賴。

流程分成五部分:企劃案、人物與場景等資產提示詞、分集劇本、分集導演手冊,以及發布包。預設規格為 30 集、每集約 4 分鐘和 9:16 直屏,亦可以在故事點子中指定其他設定;篇幅較長的輸出會分批生成,再用「繼續」推進。這讓創作者能逐段修改內容,而不是一次處理整部作品。

模板可貼到 DeepSeek 等聊天工具使用,也支援 Claude Code 和 WorkBuddy。聊天工具的做法是選定題材、貼上完整模板,待模板就緒後再提供故事點子;一部劇建議使用獨立對話,減少不同故事設定混在一起。Claude Code 則可把所需題材資料夾放入 ~/.claude/skills/;使用其他影片工具時,提示詞用 {{Mixed N}} 引用第 N 張參考圖,換工具時需改成相應寫法。

目前版本已在 WorkBuddy 測試;玄幻修仙版曾作實際使用測試,宮斗、宅斗、年代文、系統無限流、總裁甜寵、重生復仇和職場商戰完成安裝檢查或階段試跑,其餘題材尚未逐一測試。模板要求人物和設定保持原創,但生成內容的品質、版權和平台合規仍需創作者自行把關,懸疑刑偵與民俗怪談亦要留意平台規則及 AI 生成標示。

  • 21 種題材模板,涵蓋幻想、古代、現代和類型片。
  • 由故事企劃延伸至劇本、分鏡提示詞和發布文案。
  • 可在聊天工具、Claude Code 或 WorkBuddy 使用,毋須安裝依賴。
  • 預設每部 30 集、每集約 4 分鐘,可按故事需要調整。
  • 測試並未涵蓋全部題材,發布前須自行核對內容與平台要求。

GitHub

Categories: 開源, AI productions, DeepSeek, Video, 提示詞, 工具, Content Creator, Anthropic, Skill 技能

HDR mini-skill 讓 AI 片由 SDR 轉為 HDR

纯 ffmpeg + 自己生成的 3D LUT,不依赖 zscale / libplacebo / drawtext(Homebrew 的 ffmpeg 常常没带)。

Repository image for limin112/min-skill

把普通(SDR)視頻或其中一段,轉成 10-bit HEVC / HLG / BT.2020 的 HDR 文件:在 HDR 屏幕上,雲、太陽、水面反光、 金屬高光會“發光”。還能做左右對比:同一個文件里左邊 SDR、右邊 HDR。

  • 輸出 HLG HDR、10-bit HEVC 及 SDR/HDR 對比片。
  • 效果取決於素材。 米色卡片、文字、PPT 這類畫面轉成 HDR 只是把“紙”變亮,不適合。
  • 只有在 HDR 屏(Mac XDR、iPhone)上用 QuickTime 才有效果;普通播放器里會發灰、紅偏橙,這是正常的。
  • 原片已經是 HDR 的,腳本會拒絕(退出碼 2)。
  • 沒在真正的 HDR 屏上做過觀感驗證,也沒驗證過上傳各平台後是否保持 HDR;詳見 SKILL.md 末尾“已驗證 / 沒驗證”。

GitHub

Categories: 開源, 文字轉語音, AI productions, 數字人, 模型, Video, 框架, 工具, Content Creator, 3D, 庫, 語音, Anthropic, MiniMax, Skill 技能, LoRA

Page 1 of 8
1 2 3 … 8