InferNews

FFmpeg 變身 AI Agent 影片剪輯師：28 個工具全程本地執行

Share to X

ffmpeg-skill 為 Claude Code、Cursor、Codex 等編碼代理補上影片剪輯能力。28 個結構化工具涵蓋剪接、字幕、HDR 轉 SDR、多機位等流程，全程本地運作、不上傳素材。

FFmpeg Skill: media processing for AI agents

很多時候，你想叫 AI 幫你剪片、抽音、轉格式，但手上的影片根本不想上傳到雲端。ffmpeg-skill 就針對這個卡位——它不是模型，而是一套 Agent Skill，把 FFmpeg 包成 Claude Code、Cursor、Codex 或任何讀得到 SKILL.md 的代理都能用的工具集。只要機器裝好 ffmpeg 和 Python 3.9+，整套 28 個工具就能離線跑。

它跟一般「叫 AI 寫 ffmpeg 指令」的做法最大分別，在於每個工具都是帶型別參數的腳本，並非丟一段 shell 字串給模型拼裝。代理會先用 probe.py 量度時長、幀率、解析度、色彩和音軌，再依結果決定怎樣剪，文件名稱完全不被當成依據。輸出之後，結果會再被 probe 一次、比對目標規格，畫面有動過的話甚至生成 contact sheet 做肉眼覆檢。

工具覆蓋的工序相當完整：剪接、合併、去靜音、配合時長與比例、字幕與卡拉 OK 效果、overlay 與 motion graphics、HDR 轉 SDR 及 LUT、音頻清理與動態處理、含飄移修正的同步、多機位、響度校準、交付檢查、批次資料夾。音訊部分可從影片直接抽出、淨化，甚至指定軌號。而整組工具既是 CLI 也是 MCP tool，並由一份 machine-readable contract（SPEC）描述——CLI 的 argparse parser 同時衍生出 input_schema 和 MCP 定義，CI 會在規格漂移時自動失敗。

影片從業人員、剪接助理，或者任何需要把 FFmpeg 操作交給 AI 代理、又不想把素材外流的團隊，都會較易受惠。對一般開發者而言，這也是少數把 SPEC 概念實踐到「CLI 即 schema」程度的開源項目。

GitHub

Categories: 開源, Agentic, AI productions, MCP, Video, 影像處理, Audio, 工具, Python, Skill 技能

MiniMax H3 Director Studio：Windows 本地模型做 AI 影片前期製作

Share to X

Director Studio 是一個本地優先的前期製作工作空間，串接 Ollama 規劃鏡頭、ComfyUI 生成畫面，再交由 MiniMax H3 出片，特別適合想完全控制創作流程的獨立創作者。

Repository image for ai2764/Director-Studio

想在本地完成 AI 影片從構思到成片的整條前期流程，而不依賴雲端訂閱？Director Studio 正是針對這個需求的工作空間類工具。它把鏡頭規劃、可重用的視覺與語音資產管理、以及 MiniMax H3 Ref2AV 提示詞撰寫，整合在同一個介面內，最後透過 ComfyUI 與 MCP 協議生成圖像與影片。

與一般 ComfyUI 前端不同，它把「規劃 Agent」綁定在本地 Ollama 上運行，並與 ComfyUI 共享 VRAM，避免兩者搶顯存。用戶可以選擇全本地流程，亦能把 H3 影片交給官方 MiniMax API 處理，兼顧靈活與效能。內建的 typed asset library、演員與場景工作流、可編輯的 Picture/Audio 參考、以及六段式 H3 提示詞結構，讓鏡頭設計不再是憑感覺亂試。

Qwen3.8 27B Directs H3 | Director Studio Is Now Open Source

對於獨立創作者、小型製作團隊，或需要反覆迭代鏡頭分鏡的人，這套工作流省下了在不同工具間切換的成本。Windows 用戶只要安裝 Ollama、ComfyUI Desktop 與 Python 3.10+，再解壓官方 zip 即可透過 DirectorStudio.exe 啟動，所有資料儲存在執行檔旁的 data 目錄，方便升級前備份。

採用 FastAPI 後端配合 Vite + React 前端，規劃 LLM 透過 Ollama 執行，生成層則透過 ComfyUI MCP 串接。架構與擴展點已在 docs/ARCHITECTURE.md 說明，適合想自行修改管線的進階用戶。

需要注意，VRAM 是這套系統的瓶頸：Ollama 與 ComfyUI 需共享顯存，若要同時運行大型本地模型與高解像度影片工作流，硬體門檻不低。對於偏好全雲端、或無獨立顯卡的用戶，這套方案未必比 SaaS 工具方便。

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, 模型, 多模態模型, API, Video, Image, Audio, 工具, Content Creator, Ollama, Python, 庫, MiniMax

Dr. Claw 把 AI 研究流程收進一個可審核工作台

Share to X

一款開源 AI 研究助理，把文獻回顧、實驗、寫作整合在同一介面，讓人類決策與 AI 執行之間留下可追蹤的紀錄。

Dr. Claw

跑過 AI 研究的團隊都遇過同樣的痛：Claude Code、Gemini CLI 等命令行編碼代理（coding agents）能讀寫檔案、撐住長對話，但文獻回顧、構思、實驗、寫論文、投期刊這些步驟散落在聊天工具、IDE、終端機、寫作軟件之間，中間決策也難以回頭追溯。Dr. Claw（GitHub: OpenLAIR/dr-claw）針對的正正是這個碎片化問題——它不是另起爐灶造一個新代理，而是把現有命令行編碼代理（Claude Code、Gemini CLI、Codex，以及透過 OpenRouter 接入的數百個模型）包進一個可控、可審核、人在回路（human-in-the-loop）的工作流。

項目覆蓋 survey → ideation → experiments → paper writing → slides & promotion 整條研究生命週期，與只懂執行程式碼的 CLI 代理相比，差異在於「全流程編排層」。底層靠三個關鍵設計撐起這層：持久化狀態物件（persistent state objects）、可重用技能庫（reusable skill library），以及多執行器協調（multi-executor coordination），把計劃、執行、寫作綁成一條可恢復的循環。論文亦明確指出，比起只共享同一後端執行器的裸 CLI 代理，Dr. Claw 在研究完整性上得分更高，同時保留可審計、可回溯的過程痕跡。

對獨立研究者、AI 實驗室團隊、需要把研究流程制度化的單位而言，這套架構的價值在於把人類決策（目標、約束、驗收）與 AI 執行清楚分開，並透過 checkpoint 反饋（Verify / Revise / Retry / Handoff）保留介入點。它支援本地部署（自家機器、自家 GPU、自家資料），亦提供桌面版（.dmg / .exe）或 npx dr-claw 零安裝啟動，甚至能在終端機直接 dr-claw chat 跑 agentic 對話。

項目已被 EMNLP 2026 System Demonstrations track 收錄（arXiv: 2609.00365），並採用 AGPL-3.0 搭配上游 GPL-3.0 元件授權，免費、無訂閱。需要留意的是，它自定位為 Anthropic Claude Science 的開源、模型中立替代方案，主打全生命週期而非單純計算分析。

GitHub · Paper

Categories: 開源, Agentic, 模型, OpenAI, Gemini, 軟件, 工具, IDE, 庫, 編程, Anthropic, Skill 技能

ComfyUI-CGlide：MiniMax H3 短片創作者的自訂節點

Share to X

這是一套給 ComfyUI 用的 MiniMax H3 影片生成自訂節點，把提示詞拼裝、即時預覽、寫檔與續接四步壓成四個節點，特別適合用 H3 拍短片的人。

Repository image for CGlide/ComfyUI-CGlide

想做 H3 短片但不想在 ComfyUI 裡堆十幾個 loaders 同 text box 嘅人，可以留意 CGlide 嘅呢套自訂節點。佢將成個 H3 影片生成流程拆成四個節點：拼裝 prompt 同 conditioning、邊取樣邊預覽當下鏡頭、寫出影片檔，以及將續寫片段接返去原本嘅 clip。H3 Studio 更加將九張圖、三段影片、三段聲音同 prompt 全部塞入一個面板，但保留原本嘅 sampler 同步數，唔會插手推 sampling。

安裝好簡單，喺 ComfyUI Manager 搵 CGlide 或者 git clone 入 custom_nodes就得，不過官方提醒 ComfyUI 一定要更新，因為低 VRAM 嘅 w4a8 路徑要 0.31.0 或以上，否則會出黑畫面有聲冇畫，唔彈 error。模型要從 Comfy-Org 嘅 MiniMax H3 repo 拎，reference-to-video 或 first-last-frame checkpoint 入 diffusion_models，text encoder 入 text_encoders，影片同音訊 VAE 就擺去 vae。VRAM 唔夠嘅話可以用 Kijai 嘅 w4a8 版同 int8_convrot video VAE，大約 11.8 GB 就推到，原 workflow 唔使改。

H3 Studio: prompts, projects and clip extension for MiniMax H3

呢套節點嘅 chain 機制用 source_video 同 guide_frames 兩個輸出做接駁，比較啱做有連貫性嘅敘事短片，作者就用呢套工具完成咗 THE RECITATION。PyAV、torchaudio 同 ffmpeg 屬於依賴項目，PyAV 多數已經裝好，ffmpeg 放上 PATH 就夠，Glide Video 內部會 shell out 畀佢用。

對習慣 ComfyUI 節點工作流、又想用 H3 拍短片或敘事片段嘅創作者嚟講，呢套節點減少咗重複接線嘅時間，亦令低顯存方案更易落地。

重點摘要：
– 四節點設計：拼 prompt、即時預覽、寫檔、續接，分工清晰。
– H3 Studio 整合面板：九圖三影片三音訊同 prompt 集中管理，但唔干預 sampling。
– 低 VRAM 路徑：w4a8 加 int8_convrot VAE 約 11.8 GB，但要 ComfyUI 0.31.0 以上。
– chain 輸出：source_video 同 guide_frames 支援敘事鏡頭接駁。
– 作者實戰驗證：用同一套工具完成短片 THE RECITATION。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, 多模態模型, Video, Audio, 提示詞, 工具, Content Creator, Clone, MiniMax

FreeLLMAPI V2 模型整合成單一 API

Share to X

想同時試多個免費模型，但唔想逐間服務商處理金鑰、路由同管理介面，呢個項目就係針對呢個痛點而來。它用 OpenAI-compatible API 包住多家供應商，方便你用同一套接法測試與切換。

Repository image for nglmercer/freellmapiV2

同一個應用想接 Google、Groq、Cerebras、SambaNova、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare 同 Z.ai，最煩通常唔係呼叫模型本身，而係供應商差異、可用模型變動，同埋管理方式分散。FreeLLMAPI V2 屬於開源 API 工具，用 Rust 寫後端，將多個免費層模型整合成 OpenAI-compatible API，旁邊再配一個 React/Vite 管理介面，處理查詢、切換同基本營運資訊。

它不只是做 API 轉發。crates/getmodelsapi 會負責 model discovery、scraping、filtering、enrichment、caching 同 serialization，代表項目本身會整理不同來源可用模型；crates/server 就接手 provider adapters、routing、SQLite persistence、health checks、analytics 同 graceful shutdown。呢個分工幾實際，因為你唔需要自己再砌一層模型清單同步服務。

項目比較像自架本地服務：後端預設監聽 127.0.0.1:3001，管理介面可另外用開發模式啟動，也可先 build client 再由伺服器提供內容。另有 desktop tray launcher，會喺本機啟動 server，再用瀏覽器開 dashboard；它唔內嵌 webview，亦唔依賴 Tauri。金鑰保護亦有交代，供應商憑證會用 AES-256-GCM，加密金鑰需用 64 個十六進位字元提供。

取捨同樣明顯。它集中火力解決「多供應商免費模型統一接入」呢件事，對於想快速驗證工作流、建內部工具、或者做模型切換測試的團隊會幾有幫助；但模型可用性本身受外部平台影響，所以 network-dependent provider smoke tests 不會放入一般測試，要另外開 GETMODELS_NETWORK_TESTS=1 驗證。換句話說，API 介面可以統一，免費模型是否穩定供應，仍然要跟住各家服務狀態走。

  • 用 Rust 包辦後端與 model discovery，重點放在穩定服務、路由同資料持久化
  • 提供 OpenAI-compatible API，較容易接入原本已支援 OpenAI 介面的應用
  • 內建 React/Vite 管理介面，唔使自行補一套後台
  • 支援 SQLite，較適合本地測試、小型團隊或輕量內部項目
  • 免費模型來源多，但供應商連線與可用性仍需獨立驗證

GitHub

Categories: 開源, API, 工具

Ox Alpha 百萬 Token 上下文免費試用

Share to X

Z.ai 最新模型 Ox Alpha 提供 1M-token context window，讓大型程式碼庫、圖像與影片可在同一個推理流程中處理。

Og image

面對大型程式碼庫、長篇規格文件或連續多步工作，Ox Alpha reasoning model（推理模型）可把最多 1M-token context window 的內容放在同一個脈絡中處理，減少反覆切分資料或遺失前文。它亦支援文字、圖像和影片輸入，適合除錯、重構及分析截圖或介面流程。

Ox Alpha 會先規劃和自我檢查，再產生答案，並以 visible thinking 展示推理過程。模型同時提供原生 tool calling、tool_choice，以及配合 response_format 的結構化 JSON 輸出，方便用於長時間運行的 agentic 工作流程。

網站列出的獨立測試涵蓋 10 項真實編程任務，Ox Alpha 完成 8 項，得分 80%；同一比較中，Fable 為 65%，GLM-5 為 62%，GPT-5 和 Grok 4 均為 52%。樣本只有 10 項任務，結果較適合作為參考，未足以代表所有編程場景。

• 1M-token context window，最高 131K tokens 輸出
• 支援文字、圖像和影片三種輸入
• 適合大型程式碼庫的 debugging 和 refactoring
• 原生 tool calling 與結構化輸出
• 免費試用、毋須登入，網站表示不會把聊天儲存在伺服器

項目主頁

Categories: Agentic, 模型, 多模態模型, Video, Image, 軟件, Python, 編程, 免費試用, UI/UX

Gemini Live 語音代辦操作，對話直接推進工作流程

Share to X

Gemini Live 開始將語音對話變成可執行動作，減少你在應用程式之間來回切換。這次更新瞄準的是日常處理待辦事項時最容易中斷節奏的那一步。

Og image

一邊講電話、一邊行路，或者手上正做緊其他事時，最麻煩往往唔係記低待辦，而係之後仲要再打開日曆、記事或清單工具逐個輸入。Gemini Live 今次更新，正正係想將語音對話直接接駁到生產力工作流，令你講完就可以即時推進下一步，而唔係停留喺一段只會回應問題嘅聊天。

Google 把這次升級放在 Gemini Live 內，主打用聲音委派待辦事項。公開內容雖然未詳細列出所有支援動作，但方向已經相當明確：Gemini app 不再只做對答，而係更貼近可代你整理、記錄同安排事項嘅 Agentic 工具。對平日靠手機快速處理雜務、會議後即場補記重點，或者想減少手動輸入嘅人，分別會幾直接。

同常見語音助理只幫你查資料、設鬧鐘相比，呢類整合更著重「講完之後有冇後續動作」。價值唔單止在於語音輸入，而係把理解內容、整理意圖同觸發下一步放入同一段互動入面。代價亦好清楚：功能好不好用，仍然取決於它能接到幾多工具、判斷待辦內容有幾準，以及會唔會喺多步操作中出錯。

  • 把語音對話直接轉成待辦相關動作，減少手動整理
  • 焦點放在生產力場景，而不只是語音問答
  • Gemini Live 朝住 Agentic assistant 方向再行前一步
  • 真正體驗取決於工具整合深度同指令理解準確度

現時公開資訊較似功能發布預告，未見完整技術細節、評測數字或支援範圍清單。不過訊號已經好明顯，Google 想令 Gemini app 在對話之外，開始處理更多可落地執行的工作。對想用語音把碎片化雜務一次過交畀系統處理的人，這次更新比單純加強聊天自然度更有實際意義。

項目主頁

Categories: Agentic, Google, Gemini, 工具, 語音, 安全

awesome-smart-glasses：智慧眼鏡參考索引

Share to X

這份 GitHub 項目整理了 smart glasses 的產品、核心能力和應用場景，適合想看清這條路線現況的人。你可以把它理解成一份把「看見」和「做事」串起來的參考索引。

Smart Glasses Survey Logo

這是一份開源整理型資源，目標是把 smart glasses 由感知走向行動的能力拆開來看，方便比較產品、平台、基礎能力同應用場景。對開發者、研究員同做可穿戴 AI 的團隊來說，它提供的是一個選型同對照框架，而唔係即插即用的應用。

它收錄代表性 smart-glasses products/platforms、foundational capabilities，同唔同 application scenes，等讀者可以順住一條線理解：眼鏡點樣接收第一身視角、點樣支援互動、再點樣落到日常協助、無障礙、工業流程、醫療同交通安全等場景。相關 paper 亦係主線之一，資料會持續更新。

  • 將產品、能力、場景放喺同一個脈絡比較，唔使自己逐篇搵資料
  • 適合做市場掃描、研究綜述同產品定位參考
  • 對第一身 AI、穿戴式助手同 agentic workflow 特別有參考價值
  • 現階段偏向知識整理，唔係部署型工具

GitHub

Categories: 開源, Agentic, 工具

AutoSaddler 重新整理 LLM Agent Harness

Share to X

AutoSaddler 會從執行失敗紀錄入手，幫 LLM agent 自動調整提示詞、工具同中介層。它唔只修一條路徑，仲會檢查改動能否推廣到其他情境。

AutoSaddler Overall Framework

Microsoft 研究團隊聯同 POSTECH、KAIST 及南方科技大學開發 AutoSaddler，針對長流程 AI Agent 容易因小錯誤累積而失敗的問題，建立自動優化 harness 的方法。

AutoSaddler 係一個用嚟自動優化 LLM agent harness 嘅開源項目，處理嘅係長流程任務入面，agent 因為提示詞、工具或控制邏輯有少少偏差，就一路累積錯誤而失敗呢個問題。佢唔係單靠反覆改 prompt，而係將 harness 當成程式去診斷同修補。

佢會分析執行 trace，找出失敗根源，再按既定補丁分類去改 prompts、tools、middleware 同 agent-loop logic。資料夾同 佢用 durable、plugin-based 方式記錄狀態，適合要反覆試驗、回復同追蹤修改歷程嘅工作流。

同類方法通常只改少量提示詞，AutoSaddler 就將搜索範圍擴大到整個 harness，仲會用 validation 去挑選較能泛化嘅更新。初步結果顯示，佢喺 GAIA2、SWE-Bench Pro 同 Terminal-Bench 2.0 都帶來約 9 到 10 個百分點嘅 Pass@1 提升。

對做 agent 系統、評測框架或者自動化工作流嘅團隊特別有用，因為佢處理唔係單一模型輸出，而係整套執行環境點樣更穩定。項目要求 Python 3.12-3.14、uv 同 Git，官方建議用 uv run 去執行 Python 指令，代表佢偏向可重現同可追蹤嘅研究與工程整合。

  • 以 failure trace 診斷問題，唔係淨係做表面反思
  • 改動範圍包括 prompt、工具、middleware 同 agent loop
  • 會驗證更新喺其他情境可唔可以保持效果
  • 初步 benchmark 結果顯示有明顯提升
  • 適合要持續調整 LLM agent harness 嘅團隊

項目主頁 · GitHub

Categories: 開源, Agentic, 微軟, 框架, 工具, Python, Dataset 數據集

GameXpert-Bench | Coding Agents for Game Development

Share to X

騰訊團隊聯同多間院校提出 GameXpert-Bench，專門看 Coding Agents 能否做出、修好再優化可玩遊戲。它把生成、修復同多輪改進放入同一條流程去評估。

Og image

騰訊 Hunyuan Team、Lightspeed Studios，聯同 CASIA、清華大學、香港科技大學、香港中文大學深圳等團隊，提出 GameXpert-Bench，用來檢驗 Coding Agents 在遊戲開發上的真實能力。它不只看程式碼寫得像不像，還看能否真的做出可玩遊戲、找出錯誤，並在多輪修改後保持功能完整。

這個項目處理的是一個很實際的落差：很多代理可以生成看似合理的程式，但一到互動、畫面、音效、介面同可玩性要同時成立，就容易出問題。GameXpert-Bench 把整個生命週期拆成三條軌道，分別測首次生成、修復缺陷，以及連續優化，逼近真實開發流程。

  • GameGen 測試從零開始生成可玩遊戲，沒有預設引擎或素材
  • GameFix 測試對已知缺陷的診斷與修復，亦包括自行發現問題的情況
  • GameOpt 測試多輪改進時能否保住核心玩法與既有功能
  • 評估不只看程式，還結合互動行為、代碼檢查同人工判斷

目前公開資料提到共有 97 個生成任務、100 個修復任務，以及 17 條多輪優化鏈，涵蓋 2D 和 3D 遊戲。整體結果指向一個清楚結論：寫出看似合理的實作，比起交出經過驗證、又唔會在後續修改中壞掉的遊戲容易得多。

對做 Coding Agents、遊戲工具鏈、或研究 agentic software engineering 的讀者，這個基準特別有參考價值。它把「能寫」和「能交付」分開，令模型在真實工作流中的短板更容易被量度出來。

項目主頁

Categories: 香港中文大學, 香港科技大學, 清華大學, 騰訊, Agentic, Audio, 軟件, 3D, 編程, Dataset 數據集
Page 3 of 21
1 2 3 4 5 … 21