OpenChatCut：讓 Agent 編輯真正時間軸影片工具

2026 年 8 月 24 日 Share to X Copy link

將 AI 代理直接接入影片剪輯流程，讓文字指令可以落到可編輯的時間軸。它同時保留多軌音訊、字幕、轉場與特效，適合想把剪片交給代理協作的人。

OpenChatCut 是一個本地優先的 AI 影片編輯工具，核心不是產生一段成品影片，而是把文字指令轉成可繼續修改的真實項目。AI agent 可以直接讀、改、匯出同一條時間軸，剪輯結果不會鎖死在單次生成裡。

它把代理工作流和傳統剪輯介面接在一起，支援多軌影片與音訊、轉場、特效、LUTs、縮放、關鍵幀、逐字稿剪輯、停頓處理、講者分離，以及連動字幕。換句話說，AI 不是只幫你寫文案，而是能進一步影響鏡頭切分、節奏和素材編排。

項目比較像一套框架加編輯器的結合，使用場景偏向需要反覆修正的影片工作，而不是一次過生成完就收工。它的取捨也很明顯：功能面走向完整時間軸與多代理共用工具，代價是整體更接近真正剪輯流程，學習成本自然高過單純的聊天式影片工具。

• 支援 agent-native 工作流，內建 agent 和外部 MCP agents 共用同一組編輯工具
• 保留 real timeline，方便逐格調整而不是只看輸出成品
• 逐字稿驅動剪輯，適合訪談、Podcast、教學片段等內容
• 可處理圖片、影片、語音、音樂、音效與線上媒體搜尋
• README 標示為 active development，較適合願意接受快速迭代的人

從目前資料看，OpenChatCut 對內容團隊、獨立創作者、以及想把 AI 代理納入剪輯流程的人最有吸引力。它不是替你省掉所有剪輯工作，而是把最花時間的整理、切段和反覆修改，搬進一個仍可手動接手的項目裡。

GitHub

Categories: 開源, Agentic, AI productions, MCP, Video

---

Comfy-mcp：讓 AI 直接操控本地工作流

2026 年 8 月 23 日 Share to X Copy link

Comfy MCP 把本地 GPU、模型與自訂節點交給 AI 管理，令 ComfyUI 工作流可以用自然語言建立、執行及修改。

由 MiniMac Code、Claude、Cursor、Codex 等 AI agent 用自然語言建立並執行本地 ComfyUI 工作流，正是 Comfy MCP 提供的核心能力。它屬於 Model Context Protocol（MCP）伺服器，透過 comfy-cli 連接使用者自己的 ComfyUI，處理模型、節點、工作流與輸出圖片之間原本較繁複的操作。

使用者需要先有本地 ComfyUI 及 Python ≥3.10，再把 Comfy MCP 設定到支援 MCP 的客戶端。連接後，AI 可以讀取目前安裝的節點、自訂節點、模型及 GPU，搜尋可用模板，驗證工作流圖表，修改模板欄位，提交非同步工作，監察、取消工作，以及收集輸出的 PNG 檔案。

它和只依賴固定模型目錄或靜態工作流範例的做法不同，會按本機真正載入的內容作判斷，亦能在下載模型前檢查硬件是否有足夠能力。這減少了模型版本、節點依賴和顯存不相容帶來的失敗，但生成速度、可用模型和成功率仍然取決於 GPU、ComfyUI 安裝狀態、自訂節點及工作流本身；項目資料未提供統一基準測試數據。

較適合經常製作影像或影片工作流、需要反覆試驗模型的創作者，以及想把本地 GPU 納入 AI agent 流程的開發團隊。Comfy Cloud 與本地連線可以同時使用，代理可按硬件和任務需要選擇位置，形成雲端彈性與本地模型控制之間的折衷。

• 自然語言操作：建立、編輯、驗證及執行 ComfyUI 工作流。
• 讀取本機環境：辨識 GPU、模型、模板及包括自訂節點在內的已載入節點。
• 完整工作管理：支援提交、等待、監察、取消及讀取失敗結果。
• 本地與雲端並用：同一個 MCP 連線可按任務需要配合兩種環境。

項目主頁 · GitHub · Skills

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, IDE, Python, Skill 技能

---

DeepSeek API 加入圖片理解，支援截圖與圖表分析

2026 年 8 月 23 日 Share to X Copy link

DeepSeek-v4-flash-vision-exp 可把圖片與文字放在同一個請求，處理截圖、圖片描述及圖表分析。

處理產品截圖、掃描文件或圖表時，DeepSeek API 現在可讓文字問題與圖片一併送出，由 deepseek-v4-flash-vision-exp 回應內容。這個視覺模型適合用於圖片描述、讀取截圖文字，以及分析圖表等需要結合視覺與語言的工作流。

API 採用 OpenAI-compatible Chat Completions 格式，請求中的 content 不再只是單一字串，而是由文字和圖片區塊組成；Responses API 亦支援以 input_image content parts 傳送圖片。開發者可按項目需要選擇圖片提交方式，文件列出三種方法，其中包括直接內嵌 Base64 圖片，以及提供公開可存取的 http(s) 圖片網址。

支援的圖片格式包括 JPEG、PNG、GIF 和 WebP。系統會按檔案實際內容判斷格式，而不是依賴檔名或宣告的 MIME type；使用 Base64 內嵌本地圖片較直接，但編碼後的資料會計入 48 MiB request body 上限。

• 可同時分析文字與圖片
• 適合讀取截圖文字及分析圖表
• 支援 JPEG、PNG、GIF 和 WebP
• 兼容 Chat Completions 與 Responses API
• Base64 圖片會受 48 MiB 請求大小限制

需要把圖片理解接入現有 OpenAI SDK 或 API 工作流的開發者，可沿用熟悉的請求結構，再按圖片來源選擇內嵌資料或公開網址。圖片網址必須可供模型下載，並受 8192 字元長度限制。

項目主頁

Categories: Agentic, DeepSeek, API, Image

---

video-shotcraft：電影感產品影片工作室

2026 年 8 月 22 日 Share to X Copy link

video-shotcraft 把產品頁面、動態分鏡和聲效製作串成一條工作流，協助 Claude Code 或 Codex 產出更完整的宣傳影片。

由產品頁面出發，video-shotcraft 會交由 Claude Code 或 Codex 組織分鏡、動畫及聲音設計，再以 Remotion 製作宣傳、發布或示範影片。這個項目屬於 AI agent skill，實際處理的是產品影片製作中截取畫面、安排鏡頭、配合節奏剪接和加入聲效等繁複工序。

畫面不只依賴抽象動畫，工作流包括真實頁面擷取、2.5D camera moves、beat-synced cuts，以及電影感 SFX。152 張 shot recipe cards、209 種 style 和 209 個 motion previews，讓創作者可按產品內容挑選鏡頭語法，再由 native Remotion components 組合成片；元件以 normalized progress t 驅動，並可替換 ACCENT 顏色。

適合需要頻繁製作產品發佈片、marketing video 或 demo video 的設計師、創業團隊及內容製作人。它把分鏡規劃和前端式動態設計交給代理處理，換來較完整的自動化流程，但影片質感仍取決於產品頁面素材、提示內容及人工修訂；提供的資料亦未交代具體安裝步驟、所需帳戶或完整輸出流程。

品質控制來自對候選動作進行八輪逐幀檢視，並與參考片段比較後整理成 recipe cards。README 亦列出完成交付後可輸出可編輯的 JianYing（CapCut CN）草稿，方便按 shot 重新剪接、調速、排序、調色及重建字幕軌道，但相關功能的可用條件仍需以項目最新文件為準。

• 素材處理：支援真實產品頁面擷取，而非只靠預設圖形。
• 動態語法：涵蓋 2.5D 鏡頭、節拍剪接和 SFX 配搭。
• 內容庫：提供 152 張 shot recipe cards、209 種 style 及 209 個預覽。
• 輸出彈性：以 Remotion 元件組成影片，並列出 JianYing 可編輯草稿匯出能力。
• 使用限制：目前資料不足以確認安裝、模型依賴和完整執行要求。

GitHub

Categories: 開源, Agentic, AI productions, OpenAI, Video, Anthropic, Dataset 數據集, Skill 技能

---

EnvHarness 讓靜態環境按代理弱點持續進化

2026 年 8 月 21 日 Share to X Copy link

EnvHarness 不改動環境內部程式碼，透過可堆疊元件調整任務、規則與觀察，讓代理獲得更有針對性的訓練。

Google Cloud AI Research 聯同 Washington University in St. Louis、Google Cloud、University of North Carolina at Chapel Hill 的研究人員，開發了 EnvHarness。這個開源框架處理的是大型語言模型（Large Language Model，LLM）代理面對靜態互動環境時，任務和回饋無法隨能力變化的問題；它保留原有環境及驗證器，改由外加層控制代理所見、可做的行動和起始狀態。

代理在同一批任務上反覆練習，往往會很快解完，環境卻不能因應弱點提供新挑戰。EnvHarness 是一個面向代理學習的開源框架，透過標準 reset／step 介面包裹固定環境，調整代理的起始狀態、可用行動與觀察內容，同時保留原有的成功判定器。

它把控制拆成三類可組合元件：Setup 負責重塑初始狀態，Rule 改變互動規則、行動限制及回饋，Link 則把另一個環境的任務接入目前流程。設計者代理會讀取目標代理的操作軌跡，診斷失誤，再以 Python 寫出元件、測試及修訂，令訓練環境隨代理能力一同調整。

• 不需修改 ALFWorld、WebArena、SWE-bench Verified 等環境的內部程式碼
• 任務與 verifier 保持來源 benchmark 的可信判定
• 元件可自由堆疊，適合針對特定弱點改造互動流程
• 可在項目提供的瀏覽器 Playground 以 Toy24Env 觀察環境狀態與代理視角

在 ALFWorld、WebArena 及 SWE-bench Verified 的 EnvHarness 訓練結果分別達到 68.3、41.6 及 52.6，展示相對基準最高 5.9 個百分點的提升。不過，效果取決於設計者代理能否準確診斷軌跡，以及改寫後的環境是否真的對應目標弱點，並非單靠套上元件就能保證改善。

它的取捨是把環境設計工作轉移到 Setup、Rule、Link 的程式編寫與反覆測試，換來跨 benchmark 重用和較低的環境改造成本。

項目主頁 · GitHub

Categories: 開源, Agentic, Google, Python, Dataset 數據集

---

FACET-Terminal：讓終端任務由可執行環境先行生成

2026 年 8 月 21 日 Share to X Copy link

FACET 把技能、Docker 環境、解法與驗證器連成同一狀態，產出可真正執行驗證的終端任務。

終端 AI Agent 最怕指令寫得合理，環境、解法和驗證器卻互相對不上。FACET（Fine-grained Agentic Construction of Executable Tasks）是一套終端任務合成框架，先建立並修復 Docker 環境，再讓指令、參考解法和驗證器共享同一套執行狀態，處理複雜任務難以穩定測試的問題。

項目由 71,341 個來源技能整理出 7,852 條場景—技能種子，最後取得 6,078 個通過執行驗證的任務，並從成功 rollout 篩選約 1.2K 條完整軌跡，用於監督微調 Qwen3.5 系列模型。環境中的檔案、路徑、套件、連接埠、資料結構和測試資料會沿流程傳遞，減少純文字交接造成的落差。

資源包括 FACET-Terminal-Tasks-6k 數據集，以及 FACET-Terminal-Qwen3.5-4B、9B 和 27B 模型。要重現任務合成流程，需要 Python 3.11–3.13、uv、Docker 和模型 API；配置與 Python 程式集中在 facet/，並提供 FORWARD、REVERSE、JOINT 三種生成策略作比較。

Terminal-Bench 2.1 的三次獨立執行平均結果顯示，4B、9B、27B 模型分別由 17.60、27.34、40.82 提升至 24.72、35.58、47.57；4B 相對提升 40.5%，27B 更接近同設定下 Qwen3.5-397B 的 49.06。這批數據規模仍然有限，任務質素亦依賴 Docker 環境和驗證器是否正確，較適合研究 Agent 訓練、Terminal-Bench 評測及需要可重現終端操作的團隊。

• 資料基礎：6,078 個通過執行驗證的任務
• 生成方式：環境先行，指令、解法與驗證器共享狀態
• 公開模型：Qwen3.5 4B、9B、27B
• 評測結果：27B 在 Terminal-Bench 2.1 達 47.57
• 適合場景：終端 Agent 訓練、任務合成及可重現評測

項目主頁 · GitHub · 模型

Categories: 開源, 上海人工智慧實驗室, Agentic, 模型, 模型訓練, API, Python, 中國, Dataset 數據集

---

SkillGate：9B 模型修補任務中的技能

2026 年 8 月 21 日 Share to X Copy link

SkillGate 針對代理在長任務中揀技能時得不到足夠學習訊號的問題，將選擇與執行分開計算。你可以把它理解成一套訓練方法，讓模型學懂何時讀哪份技能文件。

SkillGate 是一套用來訓練 agent 選技能的開源方法，處理的是長鏈任務裡「揀啱技能」比「做完動作」更難學的問題。它把技能讀取視為中途決策，避免單靠結果獎勵去反推整條路徑，令選擇技能的 token 不再被後段執行訊號沖淡。

SkillGate 同時分出兩條互不干擾的信用路徑：結果分數只回傳到執行 token，而動作局部的優勢值只回到技能名稱 token。這樣做的目的，是讓模型在讀技能文件時得到更直接的學習訊號，而不是等整段任務成敗去間接修正。

作者做了 12,800 條訓練軌跡分析，指出技能選擇 token 的損失權重中位數只有 0.14%，而且不少樣本的優勢值會因為後段失敗而變成負值。這類「selector credit starvation」問題，正是 SkillGate 想修正的核心。

在五個 agentic 基準上，9B 規模版本錄得 53.2% 試驗成功率，屬於同級裡較強的結果。資料集和模型都已公開，訓練與評估亦配合字節對齊的實際提示詞流程，適合做 agent 訓練、技能庫管理，或者研究長鏈強化學習的人參考。

• 把技能選擇同任務執行分開計分，減少信用稀釋
• 針對 mid-episode 技能讀取決策，不只看最終成敗
• 9B 版本在五個 agentic 基準上有 53.2% 成功率
• 公開了模型同資源，方便重現同類訓練流程
• 對需要大量技能庫的 agent 系統較有參考價值

GitHub · 模型

Categories: 開源, Agentic, 模型訓練

---

demystify-agent-skills：Agent Skills 點樣幫到代理，又會喺邊度失手

2026 年 8 月 19 日 Share to X Copy link

呢個研究項目唔係再做一個新 agent，而係拆解 Agent Skills 真正幫緊乜、又會喺邊一步開始失靈。這項目讓你會更易判斷技能封裝值唔值得放入自己嘅自動化流程。

當你想將一段成功經驗整理成可重用指引，最麻煩唔係有冇記錄，而係代理之後會唔會真係拎啱、用得啱。demystify-agent-skills 係一個研究型程式碼項目，圍繞 Agent Skills、Workflow Memory 同 raw trajectories 做受控比較，集中處理代理經驗應該點樣封裝，先至更有機會幫到後續任務。

佢吸引嘅地方不只是話「技能有用」，而係拆開幾層去驗證。相同來源經驗同相同目標任務之下，Skill 成功率有 61.9%，高過 Workflow Memory 嘅 55.9%，差距係 6.06 個百分點；但增益主要來自 procedural anchoring，佔 65.7%，唔係靠明示成功或失敗標籤去灌輸知識。

• 同一批 agent trajectories 會被整理成 raw、Workflow Memory 同標準化 SKILL.md，再放返去同一類 target tasks 測試
• retrieval、agent selection 同 real execution 係分開檢查，唔當成單一路徑
• skill pool 由 5 增加到 100 時，embedding top-1 precision 由 88.3% 跌到 76.9%
• parsed actual-use precision 會由 29.6% 進一步跌到 3.3%，但 downstream success 仍大致維持喺 36% 至 39%

「識得檢索」同「真係用對技能」原來係兩回事。項目指出 invocation 本身會帶來新失敗邊界：Skill 案例入面，有 10.0% 係誤用或者忽略技能指引，明顯高過 Raw 嘅 0.8% 同 Workflow Memory 嘅 0.4%。換句話講，技能格式改善咗執行穩定度，卻同時引入另一個決策風險。

呢個項目較適合研究 Agentic workflow、做 AI agent 評測，或者想建立可重用 skill library 嘅團隊重現。並非安裝一個即用產品，而係沿住 raw traces、matched artifacts、retrieval diagnostics 同 target task evaluation 去重跑實驗；對正在設計 Computer-use agents、CUAs 或其他多步代理流程嘅人，呢份分析比單看總成功率更有參考價值。

項目主頁 · GitHub

Categories: 開源, Agentic, Embedding, 庫, Skill 技能

---

Agent Lightning v1.0：把代理訓練接回真實工具流

2026 年 8 月 19 日 Share to X Copy link

Agent Lightning v1.0 讓代理在保留工具、上下文和環境的情況下直接訓練。它也把 Kubernetes、程式編寫和獎勵防作弊流程一併整合起來。

Agent Lightning v1.0 針對一個常見卡位：代理訓練往往要靠額外沙箱或改寫流程，令工具、控制流和環境脫節。這個項目把訓練直接接回真實 agent harness，代理可以經由 Agent Lightning v1.0 proxy 運作，而不用改動原本架構。

它的設計取向相當清晰，核心程式碼大約 3,500 行，重寫後把複雜度壓低。代理亦可直接作為 Kubernetes Jobs 執行，不必依賴外部 sandbox 服務，對要跑長時間 rollout 或分散式訓練的團隊會方便很多。

文檔同時提供完整的 coding-agent 訓練流程，涵蓋資料清理、reward-hacking 防護和訓練腳本。這代表它不只停留在概念層面，而是把一條可落地的訓練管線交到使用者手上。

• 保留工具、上下文、控制流和環境在訓練迴圈內
• 透過 proxy 接入現有 agents，減少改動成本
• 原生支援 Kubernetes Jobs，部署更直接
• 提供 coding agent 範例，連資料清理和防作弊流程都包進去
• 適合做具互動工具、程式執行或多步推理的 agent 訓練

項目主頁

Categories: 開源, Agentic, 模型訓練, 微軟, DeepSeek, API, Vibe Coding, Python, 編程

---

HarnessEval-W 讓世界模型評測留下可核查推理鏈

2026 年 8 月 18 日 Share to X Copy link

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

• 支援 330 個 evaluation cases、5,940 次 scored rollouts
• 以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
• 涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
• 包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, 世界模型, 庫, Dataset 數據集, Skill 技能

---