InferNews

Hycli 將網站變成可操作的 CLI 工具

Share to X Facebook

Hycli 把網站包裝成 typed CLI 與 MCP 工具，讓 AI agent 讀取、搜尋及修改內容，同時把 cookies 留在本機。

Hycli — Websites, ready for AI.

網站操作之所以難交给 AI agent，往往不是模型不懂流程，而是登入狀態、網站結構與寫入風險都混在一起。Hycli 是開源 CLI 與 MCP server 生成工具，會從網站文件、前端 bundle 及瀏覽器網絡流量建立 typed CLI，涵蓋讀取與寫入操作，並沿用真實瀏覽器登入狀態。

它的差異不在於讓 agent 多一層包裝，而在於把「探索網站」與「執行變更」分開。三個 AI workers 會檢查文件、程式碼和 live traffic，建立工具規格期間不會執行 mutation；即使路徑或 GraphQL body 隱藏了寫入行為，也會被攔截。新 CLI 預設 writes: false，首次寫入前要求用戶確認，亦可隨時撤銷權限。

  • 用 hycli prepare 探索網站並產生 CLI 規格
  • 透過 CLI 或 MCP 讀取、搜尋、建立及編輯網站內容
  • cookies、localStorage、sessionStorage 與 API keys 儲存在本機 vault
  • 寫入失敗不會自動重試，避免重複下單或發文
  • 匯入登入狀態時只讀取指定網域的資料

瀏覽器憑證不會放入 LLM prompt，模型只會看到帳戶標籤、storage key 名稱及已遮蔽的 response schema；真正的 secret 由本機在執行時注入，並從輸出與日誌中移除。OS keyring 分別支援 Windows Credential Manager、macOS Keychain 與 Linux Secret Service，亦備有只限擁有者讀取的檔案權限。

Hycli 適合需要反覆處理後台、內容平台或內部網站介面的團隊，也適合已使用 MCP 的 AI agent 工作流。它不是通用網頁爬蟲，重點是為特定網站建立可重用的 typed 操作介面；實際效果仍取決於網站是否提供可辨識的文件、前端 bundle 或網絡 API，以及該網站是否容許相關自動化操作。

GitHub

Categories: 開源, Agentic, MCP, 模型, API, 工具, Mac, Linux, 安全

yomado：給 Agent一個虛擬螢幕

Share to X Facebook

yomado 讓 Agent 在虛擬螢幕操作 Blender、Marvelous Designer 等桌面程式，毋須為每款應用另接 MCP。實體屏幕可以保留給自己的工作。

yomado night-window icon

需要代理透過截圖、滑鼠和鍵盤操作 Blender 或 Marvelous Designer 時，桌面程式仍要有圖形桌面和顯示畫面。yomado 是一款 Mac 虛擬顯示器工具，讓代理使用獨立工作屏幕，毋須為每款應用另接 MCP；代理負責觀察和操作，yomado 則提供顯示空間。

它會按桌面排列顯示實體與虛擬屏幕，並在屏幕示意圖中標出應用程式。你可以拖曳圖示移動視窗，也可以手動移動；功能表按顯示器分組，並支援個別關閉視窗。隨附的 yomado skill 可引導 Codex 建立工作屏幕、移入指定視窗、確認畫面可見，並在任務完成後移回視窗。

  • 可為不同代理建立各自的虛擬屏幕，將工作視窗分開管理。
  • 可從 Finder 將正在執行的 .app 拖入，移動該應用的一般視窗。
  • 虛擬屏幕存在期間，程式會要求系統和圖形桌面保持喚醒。
  • 目前版本為實驗版，使用 macOS 14 或以上的 Apple Silicon Mac，並使用 macOS 私有 API。

這做法補足顯示空間，而非代理本身的視覺理解或操作能力；截圖、判斷和輸入仍由 Codex 或其他代理工具處理。對需要代理操作可視化介面、又想讓自己的實體屏幕保持原有工作的 Mac 使用者，分屏管理有實用價值。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, Google, API, Video, 工具, Mac, 蘋果, Skill 技能

OpenGCUA 讓電腦代理跨越 GUI 限制

Share to X Facebook

OpenGCUA 把視覺操作、AX Tree、API 與指令整合，讓代理按任務選擇完成工作的方式。

OpenGCUA. Open the full stack of generalist computer use. GPT-6 made computer use the frontier. We make it open. Tested

當電腦代理不再只靠滑鼠點擊，處理複雜工作便可以同時讀取畫面、Accessibility Tree、應用程式 API 和命令列。OpenGCUA 是一個開源 Computer-use agents（CUAs）項目，建構 generalist computer-use agent（GCUA）完整堆疊，解決 GUI-only 代理在效率和操作彈性上的限制。

模型會按任務決定要觀察甚麼、採取哪種行動，以及如何整理上下文；除了 GUI 操作，也能呼叫 app API、執行 shell commands，並透過 code execution 把多個步驟組成帶有迴圈和條件的程式。OSWorld 整合範例提供 screenshot-action 和 code-action 路徑，macOS 14+ harness 則以選單列應用程式在本機裝置執行代理，仍屬 preliminary。

OpenGCUA 亦提供 Cross-Device SDK，嘗試用同一套 programming interface 連接電腦、瀏覽器和手機。這比固定規則的工作流更靈活，但也代表命令、API 和 GUI 權限需要更嚴格的隔離；項目目前仍在逐步開放模型、harness、SDK、trajectories、效率優化和評估工具。

OSWorld-v2 的 82 個 offline tasks 中，八個 frontier models 的平均 partial score 由 GUI-only execution 的 45.3 提升至 64.9，增加 19.6 分；每項任務平均步數減少 53%，六個模型的 output tokens 亦減少 27.2%。較弱模型獲益較大，例如 GLM-5.3-Flash 增加 35.2 分，DeepSeek-V4.1-Flash 增加 29.8 分。

  • 同時支援 GUI、AX Tree、CLI、API 和 code execution
  • 附有八個模型的 evaluation trajectories，包括 GPT-6 Astra、Claude Opus 5 和 Gemini 3.8 Flash
  • 可用 OSWorld 整合範例研究 screenshot-action 與 code-action
  • macOS harness 和 Cross-Device SDK 方便研究本機及跨裝置工作流

研究 Computer-use agents、需要分析代理行為，或希望把電腦、瀏覽器和手機操作納入同一工作流的團隊，會較容易從中受益。項目適合用作研究和實驗基礎，未宜直接視為成熟的日常自動化產品；本機執行、權限控制、模型相容性及仍在開發的模組，都會影響部署難度。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, Qwen, DeepSeek, Gemini, API, 工具, Mac, 編程, Anthropic, Dataset 數據集

SCOPE 讓文字提示詞按語意學習

Share to X Facebook

文字轉圖像不再把同一分數平均分給每個字詞，SCOPE 按物件、數量與關係調整提示詞優化方向。

Uniform token GRPO versus SCOPE span credit.

當提示詞包含物件、數量、屬性和關係時，逐個 subword token 套用同一個圖像分數，往往難以知道哪段文字真正需要修改。SCOPE 是一個開源的文字轉圖像提示詞優化項目，利用 GRPO（Group Relative Policy Optimization）讓語言模型重寫提示詞，同時保留凍結的圖像生成器作評分基準。

每組提示詞會由 pi_theta 產生 N-1 個改寫版本，並加入原始提示詞作第 N 個成員；預設 N 為 8。Qwen-Image 以同一個 diffusion seed 生成 512 x 512 圖像，使用 20 steps 和 CFG 4.0，再由 GenEval 回傳 0 或 1，減少不同隨機結果對比較造成的干擾。

SCOPE 的差異在於把回饋由 token 層面提升至語意片語。項目會在每個 phrase 內池化 log pi_theta 與 log pi_old 的差值，將 span coefficient 限制在 0.8 至 1.2，再把片語 token 權重正規化至平均值 1；tags 和垂直線則維持權重 1。原始提示詞分數低於預設 tau 1 時，採用截斷 reward gap；達到門檻後，改用改寫群組的 clipped z-score。

  • 訓練流程：原始提示詞會參與評分及 advantage 計算，但不直接更新參數。
  • 策略穩定性：pi_old 是上一個 optimizer step 的凍結副本，第一步會與 pi_theta 相同。
  • 適合情境：需要改善物件數量、屬性或空間關係表達的文字轉圖像研究與實驗。

測試時可觀察 reward service 產生的圖像、logs/node-RANK/內的安裝與訓練記錄，以及每項工作使用的 service.token；該 token 權限設定為 0600。項目更接近研究型訓練框架，而不是即開即用的圖像生成介面，使用者需要準備 Qwen-Image、評分服務及足夠的生成資源，亦要留意 GenEval 的二元分數未必能涵蓋所有美學或語意品質。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, Image, 提示詞, 框架, Mac, Python, Tokenize

CineRecon 以 Blender 重建實景影片

Share to X Facebook

CineRecon 將影片重建變成可檢驗的 Agent 任務，要求模型由參考影片建立可編輯、可動畫化的 Blender 場景。

CineRecon logo

由完整參考影片出發，Coding Agent 透過 Blender MCP 撰寫及修改 Python，反覆比對渲染畫面，再建立包含幾何、材質、角色動作與鏡頭動畫的可編輯場景。CineRecon 屬於影片重建 benchmark，處理的是模型能否將時間連續的影像內容還原成可修改的 3D 工作成果，而不只是產生相似畫面。

項目以三個重建層級拆開能力差異：Proxy 只要求位置、互動及鏡頭運動，Simplified 再保留可辨認形狀和主要外觀，Detailed 則加入特色形狀、材質和細節。三個層級都要求相同的主體動作、事件及攝影機行為，方便分辨模型是只掌握構圖，還是能重建完整視覺內容。

  • 50 段參考影片，切分成 360 個評估片段
  • 35,836 筆獨立 checklist 記錄，按層級擴展至 49,668 項檢查
  • 評估 Camera、Static、Dynamic 三類一致性
  • 支援畫面選取、時間戳對齊、並行評分、續跑及分數彙總

評分由獨立 VLM judge 對齊參考與渲染影片，按片段 checklist 檢查 11 個類別，並以 Camera、Static、Dynamic 三個同等權重維度計算結果。這比單一影像相似度更能揭示鏡頭是否跟足、物件是否保持穩定，以及動作和事件有沒有在正確時間發生。

測試需要 Python 3.10 或以上，支援 Linux 及 macOS；項目提供資料、提示詞、驗證工具和離線 smoke test，但不包含 Agent launchers。團隊可先用離線流程確認資料與評分管線，再接駁 Blender MCP 和隔離 worker 執行重建；研究模型能力時，CineRecon 的價值在於把「看似相似」拆成可追蹤的鏡頭、靜態內容和動態內容，而不是只比較最後一段影片。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, MCP, 模型, 視覺模型, Video, Image, 提示詞, Vibe Coding, 工具, Mac, 3D, Linux, Python, 編程, Anthropic, 動畫, Dataset 數據集

YuE2 Studio 由樂譜到成曲：讓 AI 音樂可編輯重做

Share to X Facebook

YuE2 Studio 先把風格與歌詞寫成可修改樂譜，再生成完整人聲歌曲，讓 AI 作曲不再只剩一個音訊檔。

logo

由風格描述和歌詞開始，YuE2 Studio 會先產生旋律與和弦樂譜，再演唱成最長約 10 分鐘的完整歌曲。這個項目屬於本地執行的 AI 音樂製作軟件，處理的是生成歌曲後難以修改編曲、旋律和聲部的問題。

YuE2 由 M-A-P 開發，先以 ABC notation 記錄 composition，再輸出歌曲；使用者可以閱讀及編輯樂譜，之後以相同 composition 重新渲染不同聲音。它不是只提供一次性音訊生成，而是把 score 帶回製作流程，較適合需要反覆改歌詞、旋律或配器的創作者。

項目建基於 yue2.cpp，一個原生 C++/CUDA port；桌面介面則採用 Rust、React 和 Tauri，執行路徑不需要 Python、Node.js 或 launcher。Windows 提供安裝程式及 portable folder，支援離線運行；NVIDIA 顯示卡需要至少 6 GB VRAM，AMD 和 Intel 透過 Vulkan 的支援仍屬 experimental。

  • 先寫樂譜再生成演唱，保留 composition 的修改空間
  • 支援歌曲、stems、MIDI、lyric sheets、scores 和 videos 的檔案管理
  • 內置十段 equalizer，並提供 Winamp 頻率配置預設
  • 可在本地 GPU 執行，毋須依賴線上音樂服務

它較適合有歌詞、曲式或編曲要求的獨立音樂人、內容創作者，以及需要離線處理素材的團隊。硬件限制亦相當直接：NVIDIA 6 GB VRAM 是較穩妥的起點，非 NVIDIA 顯示卡則要接受 Vulkan 路徑仍可能不完整。

GitHub

Categories: 開源, NVIDIA, Audio, 軟件, 工具, Content Creator, Mac, Python, 音樂, 廣東話

Work2Skill 把人手 GUI 操作變成可重用 Agent 技能

Share to X Facebook

Work2Skill 將人手操作錄成多模態證據，再整理成 Computer-use agents 可重用的工作技能。

Work2Skill overview: human GUI demonstrations, multimodal recording, action-linked evidence, agentic skill induction, an

面對陌生桌面軟件，單靠任務描述往往不足以交代按鈕位置、操作次序及完成後應有的狀態。Work2Skill 屬於 GUI 操作記錄、數據集與 Agentic skill induction 項目，處理的是如何把人手示範轉成可供 Computer-use agents 重用的程序指引，而不是另一個獨立基礎模型。

WorkRecorder 將螢幕影片、關鍵影格、滑鼠鍵盤事件及可用的無障礙資訊放在同一條時間線，讓每個動作同時保留畫面背景和介面狀態。WorkDemo-350 收錄 350 個桌面示範、約 8.48 小時錄製內容，包括 64 個 MyPCBench 任務及選出的 286 個 OSWorld 任務；AgenticSkillInduction 則提供基於 NexAU 的技能歸納範例，將流程整理成可執行時參考的技能。

它和只保存點擊座標或純文字步驟的做法不同，保留了操作前後的多模態證據，較適合處理介面改變、控制項含義不明或需要驗證結果的工作。不過，項目目前仍有清晰限制：macOS 錄製器及 Linux X11 AT-SPI 服務已提供，跨平台現場驗收仍待完成；下游評估整合亦尚未完成。

網站列出的結果以 0 至 100 分的 MyPCBench 平均分計算，四個執行模型在加入技能後最高提升 10.54 分。對需要累積桌面工作流程、研究 Computer-use agents，或希望以共同示範數據比較技能歸納方法的團隊，這套資源較有參考價值；資料集與錄製資料放在 Hugging Face，完整錄製及技能流程則要按各子目錄指南處理，原始資料未提供單一即用安裝流程。

  • 核心價值： 把人手 GUI 經驗連同畫面、輸入及介面證據保存。
  • 資料規模： 350 個示範，涵蓋 MyPCBench 與 OSWorld 任務。
  • 技術組成： WorkRecorder、WorkDemo-350 及 NexAU 技能歸納範例。
  • 主要取捨： 證據更完整，但跨平台驗收和評估整合仍未完成。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 軟件, Mac, Linux, 中國, Dataset 數據集, Skill 技能

Google Foresight：會議筆記與個人資料留在 Mac

Share to X Facebook

Foresight 在 Mac 本地聆聽會議、整理筆記，亦能按你的檔案即時回答問題。

開會時只需記下零碎提示，Google AI Edge Foresight 便可配合本機轉錄內容整理成較完整的會議筆記。工具支援 Google Meet、Zoom，以及面對面或離線對話，音訊和文字都在 Mac 處理，不必上傳雲端。

Foresight 亦能連接本地項目資料夾、Google Drive、參考文件、圖表、網頁連結和日曆，建立與工作相關的背景資料。對話期間，它可透過聊天檢索內容；Live Assistance 更會聆聽問題，在相關資料出現時主動顯示附有引用來源的 context cards，減少會議前準備和反覆確認資料的時間。

技術核心包括 740M 參數的 EmbeddingGemma 2。這個 on-device multimodal embedding model 會把文字、圖片、影片和音訊映射到同一向量空間，支援跨模態語意檢索；配合 Gemma 4，可在裝置上建立即時的 Retrieval-Augmented Generation（RAG）流程，避免網絡延遲。

  • 會議轉錄、音訊與檔案留在 Mac
  • 支援影片會議、面對面及離線對話
  • 可把速記提示整理成完整筆記
  • 支援跨文字、圖片、影片和音訊檢索
  • 具備聊天及 Live Assistance 兩種取用資料方式

頁面提供 macOS 下載入口。需要高度重視資料私隱、又經常在多個本地檔案之間切換的人，較容易感受到這種本機 AI 工作流的便利。

項目主頁

Categories: AI productions, RAG, Embedding, 多模態模型, Google, Gemini, Video, Image, Audio, 工具, Mac

RecursiveGameCreator：讓你的創意從原型走向成功的遊戲開發框架

Share to X Facebook

Recursive Game Creator 把設計、開發、遊玩與評審串成循環，令 AI 遊戲開發不止於成功運行。

Recursive Game Creator framework: Designer, Builder, coding-native Player, and Reviewer connected through game developme

遊戲能夠運行，不代表玩家會覺得好玩。Recursive Game Creator 將 Designer、Builder、coding-native Player 與 Reviewer 串成循環，屬於一個 Agentic Product-Level Experience-Oriented Game Harness，處理 AI 由可玩原型持續改良至完整遊戲時，缺乏體驗評估的問題。

Player 會透過程式介面執行可重用的 gameplay policies，收集多條 gameplay trajectories，毋須每個動作都重新呼叫模型，較適合反覆測試機制與內容。Reviewer 再結合行為軌跡、畫面觀察、玩家偏好及遊戲專屬準則，為下一輪 Designer 計劃提供修訂回饋。

項目支援 HTML 和 Godot，遊戲可在隔離 runtime 內開發及測試，亦可選擇接入影像、3D asset 與 Blender。macOS 或 Linux、Git、Node.js 22/npm，以及運行中的 Docker daemon 是主要環境要求；Docker 使用 software rendering，主機不必配備 GPU。

目前公開結果以三輪迭代展示改良，GameCraft-Bench overall 由 R1 至 R3 提升 5.19 points。這個數字反映循環式修訂的效果，但未等同所有遊戲都能獲得相同體驗，因為評審準則、玩家偏好及遊戲類型仍會影響結果。

較適合研究 agentic game development、需要大量自動 playtesting 的團隊，以及希望比較遊戲版本演進的開發者。實驗可從 HTML 遊戲開始，再按需要加入 Godot、視覺素材或 Blender 整合，先驗證設計—開發—遊玩—評審流程是否符合自身工作流。

  • 以四個角色連接設計、實作、遊玩與評審
  • 透過 reusable policies 收集 gameplay trajectories
  • 同時考慮行為、畫面與玩家偏好
  • 支援 HTML、Godot、3D asset 及 Blender 整合
  • GameCraft-Bench 三輪迭代提升 5.19 points

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, DeepSeek, Image, 框架, 香港, 軟件, Mac, 3D, Linux, 編程

nanoMuse：跨裝置、會先徵求同意的開源個人代理

Share to X Facebook

nanoMuse 將手機、電腦與網頁連成同一個個人代理，能代辦事情，也會在刪除、傳送或付款前停下來確認。

nanoMuse: an open-source personal agent for every device you own

你可以在手機交代工作，讓 nanoMuse 轉到電腦執行，完成確認時再把要求送回手上的裝置。它屬於開源個人代理項目，處理的是跨裝置協作、持續執行與高風險操作控管。nanoMuse 是獨立的社區項目，與 Meta Platforms, Inc. 無關

手機 App、桌面 App、網頁控制台和串連各裝置的 relay 放在同一個 GitHub 儲存庫，支援 Android、iPhone、iPad、macOS、Windows、Linux 和網頁。Shell、瀏覽器、MCP servers、skills，以及可透過畫面操作手機 App 和電腦視窗的 Hands，全部經 Sentinel 轉接；刪除、傳送或付款前會要求批准，代理本身不會直接執行工具。

  • Markdown 檔案可讀寫，用來描述代理身份、記憶和喚醒時機
  • App 關閉後仍可繼續工作，裝置共用同一個帳戶和對話
  • 可使用社群 relay 的免費模型額度，亦可改用自己的 key
  • relay 能在自家伺服器運行，減少資料離開住所的需要

和 Muse、OpenMinis 的比較：nanoMuse 明確沿用 Meta Muse 式的個人代理方向，但把手機、桌面、網頁、relay 和安全批准機制一併開源。Android、Windows、macOS 和 Linux 有下載版本，iPhone、iPad 則透過 TestFlight beta。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 框架, 工具, Mac, Linux, 庫, 安全, Meta, 免費試用, 中國, 蘋果, Skill 技能
Page 2 of 7
1 2 3 4 … 7