Work Agents 將數碼工作拆成可驗證成果

跨應用程式完成工作,不能只看模型答得對不對;Work Agents 把代理流程、能力與可驗證成果放進同一研究脈絡。

Work Agents: Systems, Capabilities, and Optimization

當 AI 要跨應用程式完成多步工作,交付可核實、能供後續使用的成果,比單次答對更重要。Work Agents 是配合調查研究整理的開源閱讀清單,收錄數碼工作代理的系統、訓練、環境、記憶、基準與官方資源,並非可直接安裝的代理軟件。

研究以工作持續性(work persistence)和工作開放性(work openness)描述工作條件,並分成對話(Conversation)、單一步驟(Atomic Action)、多步(Multi-step)、工作流程(Workflow)及工作區(Workspace)五類。它也梳理 foundation models(基礎模型)與 runtime harnesses(執行時框架)的單獨或協同優化,評估則聚焦成果能否符合要求並供下游使用。

你可由 GitHub 清單挑選論文、基準和工具;暫未有可直接執行的代理或統一安裝、測試流程,不能當成部署指南。

  • 整理代理系統、訓練方法、環境與記憶研究
  • 涵蓋五類數碼工作及相關評測資源
  • 比較模型、執行框架及兩者的協同優化
  • 以可驗證、能供下游使用的成果作評估焦點

產品團隊和自動化流程負責人可用它整理能力缺口與評測方法。清單沒有同一環境下的性能數字,具體效果仍要回到各研究與工具核實。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港大學, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, 框架, 香港, 軟件, 工具, 庫

Digital Human Koubo:一句需求生成數字人口播廣告,連聲音也自動完成

相片加一句需求,就能串起數字人口播、字幕與影片包裝;代價是依賴外部雲端生成。

一張相片加一句需求,便可生成有數字人口播、字幕和促銷包裝的短片。andyhuo520/digital-human-koubo 是由人工智能(Artificial Intelligence,AI)代理執行的影片工作流,串連文案、對嘴、聲音整理和剪輯。

主持人設定存於 persona.json,固定外觀和聲線描述;GPT Image 合成場景後,Grok Video 1.5 經 Renoise 的 Model Context Protocol(MCP)製作每段最多 15 秒的口播片。按 SKILL.md 配置代理並連接服務後,可先看倉庫示例;其中一條 27 秒廣告耗用 482 Renoise credits,不能視為固定價格。

  • Whisper 逐段轉錄核對文稿,每段檢查 4 格畫面;若畫面出現生成字幕,該段會重做。
  • 頻譜匹配、去齒音及響度標準化協助統一分段聲音;測試中的齒音差距由 13.2 dB 降至 5.9 dB。
  • 48 項影片包裝手法參考 25 條創作者影片整理,可按需要增減。

這套流程適合需要反覆製作商品介紹或社交平台短片的小型內容團隊,也能把文字置於主持人身後。成品仍受外部模型服務和點數成本限制,使用前宜先檢查口型、畫面及人物一致性。

GitHub

Categories: 開源, AI productions, MCP, 數字人, 模型, Video, Image, Audio, Content Creator, 庫, Skill 技能

DraMaze 讓長篇微短劇少重複套路,兼顧劇情連貫

長篇微短劇寫到後段,AI 容易反覆使用相似的劇情推進方式。DraMaze 以多個代理人探索不同因果路徑,並按未來劇情需要找回關鍵往事。

Hero image preview

微短劇需要密集轉折,但劇集一長,AI 生成的情節容易逐漸集中在少數套路,例如角色關係反覆靠誤會與澄清推進。DraMaze 是面向長篇劇本生成的多代理人流程,嘗試同時維持故事連貫與情節變化。

常見做法會用歷史摘要、記憶檢索或知識圖譜提供前文脈絡;但檢索到相似經歷,也可能令模型重複舊有因果模式。DraMaze 改用「未來敘事依賴樹」整理往事,按後續劇情目標保留和檢索相關記憶,並透過套路記憶引導的演化樹搜尋與變異,探索不同的因果發展。

研究團隊亦推出雙語評測基準 MiDramaBench,評估不同長度劇本的邏輯與創意,並加入衡量因果模式重複和多樣性的指標。測試涵蓋三個基礎大型語言模型;生成最多 60 集、約 6 萬字劇本時,因果模式重複減少 32.1%,邏輯評分達 82.5 分,較最佳基線高 8.5 分。

  • 面向數十集的長篇微短劇生成,兼顧前後連貫與劇情變化。
  • 依照未來情節需要整理記憶,不只按語意相似度檢索舊內容。
  • 以演化樹搜尋和變異探索不同的劇情因果路徑。
  • MiDramaBench 提供雙語評測,涵蓋邏輯、創意及因果模式多樣性。

對需要批量構思長篇微短劇的編劇與內容團隊,DraMaze 提供一套可評估的生成流程;不過,摘要所列結果集中於特定劇本長度與評測指標,不能單憑這些數字判斷所有題材和創作場景的表現。

GitHub · Paper

Categories: 騰訊, Agentic, 模型, 框架, KnowledgeGraph, 中國, Dataset 數據集

Hycli 將網站變成可操作的 CLI 工具

Hycli 把網站包裝成 typed CLI 與 MCP 工具,讓 AI agent 讀取、搜尋及修改內容,同時把 cookies 留在本機。

Hycli — Websites, ready for AI.

網站操作之所以難交给 AI agent,往往不是模型不懂流程,而是登入狀態、網站結構與寫入風險都混在一起。Hycli 是開源 CLI 與 MCP server 生成工具,會從網站文件、前端 bundle 及瀏覽器網絡流量建立 typed CLI,涵蓋讀取與寫入操作,並沿用真實瀏覽器登入狀態。

它的差異不在於讓 agent 多一層包裝,而在於把「探索網站」與「執行變更」分開。三個 AI workers 會檢查文件、程式碼和 live traffic,建立工具規格期間不會執行 mutation;即使路徑或 GraphQL body 隱藏了寫入行為,也會被攔截。新 CLI 預設 writes: false,首次寫入前要求用戶確認,亦可隨時撤銷權限。

  • 用 hycli prepare 探索網站並產生 CLI 規格
  • 透過 CLI 或 MCP 讀取、搜尋、建立及編輯網站內容
  • cookies、localStorage、sessionStorage 與 API keys 儲存在本機 vault
  • 寫入失敗不會自動重試,避免重複下單或發文
  • 匯入登入狀態時只讀取指定網域的資料

瀏覽器憑證不會放入 LLM prompt,模型只會看到帳戶標籤、storage key 名稱及已遮蔽的 response schema;真正的 secret 由本機在執行時注入,並從輸出與日誌中移除。OS keyring 分別支援 Windows Credential Manager、macOS Keychain 與 Linux Secret Service,亦備有只限擁有者讀取的檔案權限。

Hycli 適合需要反覆處理後台、內容平台或內部網站介面的團隊,也適合已使用 MCP 的 AI agent 工作流。它不是通用網頁爬蟲,重點是為特定網站建立可重用的 typed 操作介面;實際效果仍取決於網站是否提供可辨識的文件、前端 bundle 或網絡 API,以及該網站是否容許相關自動化操作。

GitHub

Categories: 開源, Agentic, MCP, 模型, API, 工具, Mac, Linux, 安全

MoneyPrinterTurbo 整合 AI 影片流程

輸入主題即可生成短片內容與素材,亦可接入不同模型;適合內容團隊快速製作多語言影片。

Kimi 赞助 MoneyPrinterTurbo

給定一個主題,便要自行寫稿、找素材、配音、加字幕再剪輯;MoneyPrinterTurbo 將這套流程整合成 AI 短影片生成工具,涵蓋腳本、配音、素材搜尋、字幕、配樂及剪輯,並提供 AI Agent、WebUI、API 和 CLI 四種介面。

由一句主題到成片:它可自動生成或改寫多語言影片腳本,也允許逐個環節改用自訂內容。支援批量生成、任務紀錄,以及設定和 API Key 的匯入、匯出與恢復,對經常製作大量短內容的編輯、社交媒體營運團隊及小型工作室尤其方便。

  • 輸入主題或關鍵詞,自動完成短片內容與素材配對
  • 以 WebUI、API、CLI 或 AI Agent 接入不同工作流程
  • 可替換腳本、配音、素材、字幕或配樂
  • 支援批量生成、任務歷史及多語言腳本
  • 兼容多種模型服務、統一網關及本地環境

模型選擇相當廣,可連接 Kimi/Moonshot AI、OpenAI、Anthropic Claude、Google Gemini、DeepSeek、阿里云通義千問、Microsoft Azure OpenAI、火山引擎方舟、xAI Grok、MiniMax、小米 MiMo,以及 Ollama、LiteLLM、OpenRouter 等平台。Kimi K3 獲項目採用,負責撰寫文案、提煉素材搜尋關鍵詞及判斷合適畫面;本地模型則適合重視資料控制或降低雲端依賴的團隊,但最終流暢度與準確度仍取決於所選模型、服務配額及素材來源。

這套工具的優勢不是生成單段影片,而是把多個製作步驟串成可重複運作的流程。代價是成品質素仍受文字模型、素材版權、語音及剪輯設定影響,重要影片應保留人工審核,而非直接自動發佈。

GitHub

Categories: 開源, Agentic, AI productions, 模型, Google, 微軟, OpenAI, DeepSeek, Gemini, API, Video, 工具, Ollama, 語音, Anthropic, Kimi, 小米-Xiaomi, MiniMax

video-use:一句指令把素材剪成 final.mp4

video-use 將 Claude Code、FFmpeg 與 AI 動畫工具串成影片剪輯流程,適合需要快速製作短片的創作者與內容團隊。

video-use

剪片最花時間的往往不是逐格拖拉,而是刪去口誤、停頓、重拍,再處理字幕、調色和動畫。開源項目 video-use 將這些工作整合到 Claude Code 對話中:把原始素材放入資料夾,提出剪輯要求,確認方案後便可取得 final.mp4。

它屬於 Agent 影片剪輯工具,依賴 FFmpeg、ElevenLabs API,以及支援 shell access 的 Agent;Claude Code、Codex、Hermes、Openclaw 等均可按技能方式整合。Agent 會先盤點素材並提出策略,待你確認後才進行剪輯,亦可用 project.md 保存跨次工作的記憶。

  • 自動移除「umm」、「uh」、重試開頭及拍攝間的空白
  • 支援預設或自訂 FFmpeg 調色,並在剪接點加入 30ms 音訊淡出
  • 預設以每兩字一個大寫單元燒錄字幕,樣式可自行調整
  • 可並行呼叫 HyperFrames、Remotion、Manim 或 PIL 製作動畫疊層

這種做法省去大量重複剪輯操作,也毋須在預設項目與選單之間來回切換。代價是成果會受素材品質、Agent 判斷、FFmpeg 設定及 ElevenLabs 服務影響;影片內容、關鍵 API 費用與電腦運算資源仍要由團隊控制。它適合對話式影片、教程、旅遊片段、訪談及社交媒體短片,但複雜敘事和高度精準的專業後期仍需要人工覆核。

影片輸出前,工具會逐個檢查剪接點,協助發現突兀轉場或音訊爆音;然而自我評估並不等同真人審片。採用這個項目時,重點不在追求完全自動,而在讓 Agent 先處理機械而重複的工序,把最後一輪節奏、內容與品牌審校留給創作者。

GitHub

Categories: 開源, Agentic, AI productions, API, Video, Audio, 工具, Content Creator, OpenClaw, Anthropic, 動畫, Skill 技能

video-shotcraft:用一張產品圖製作可編輯的宣傳片

video-shotcraft 將 Claude Code 或 Codex 接到影片製作流程,以 Remotion 排版真實產品截圖,交付可編輯 MP4。

video-shotcraft logo

只要向 Claude Code 或 Codex 提出「替產品製作宣傳片」,video-shotcraft 便會擷取產品真實頁面,選取鏡頭、編排故事線,再以 Remotion 動畫化。最終輸出 MP4、瀏覽器編輯器 Motion Workbench,以及剪映可編輯草稿,方便後續修改。它不是端到端影片生成模型,而是一套整合截圖、動態配方、節拍與音效的 agent skill。

  • 以真實截圖及文案作畫面素材,保留品牌外觀與文字清晰度
  • 提供 124 張 recipe cards,涵蓋 150 種鏡頭及預覽
  • 流程涵蓋 storyboard、Remotion 動畫、節拍同步、聲效及逐格檢查
  • 可交付 MP4、Motion Workbench 與剪映草稿

這種做法與文生影片模型的分別,在於每一幀都由程式碼繪製,而不是生成抽象影像;代價是成品取決於頁面素材、shot recipe 的覆蓋範圍及 Remotion 排版,創意空間主要來自鏡頭選擇和動態組合。36.2 秒的 ready template 可供快速改稿,但較長或講解密集的產品影片仍需要重新編排內容。

產品團隊、獨立開發者及需要反覆製作版本宣傳片的 marketing 部門,都可從「保留可編輯性」中受益。工程師可用現有網站截圖建立視覺稿,內容團隊亦可沿用剪映草稿調整節奏,省去由錄屏再逐段重做動畫的時間。

一行 “幫我安裝這個 skill:https://github.com/Vincentwei1021/video-shotcraft” 便完整安裝。適合希望將影片製作納入 coding agent 工作流、而非直接生成寫實片段的團隊。

項目主頁 · GitHub · 作品展示

Categories: 開源, Agentic, AI productions, Video, Image, Vibe Coding, 編程, Anthropic, 動畫, 聲效, Skill 技能

CLI-Anything 讓 AI 代理直接操控軟件

CLI-Anything 把圖像、CAD、3D 等軟件包裝成可供 AI 代理操作的 CLI,打通代理與既有工具之間的斷層。

icon

當 AI 代理需要製作 CAD、3D 場景、圖表、遊戲或字幕,CLI-Anything 會把原本面向人類操作的軟件轉成可調用的 CLI。它屬於開源的 Agentic 工具與 CLI 生成框架,處理的是代理缺乏一致介面、難以持續操作軟件及產出可驗證成果的問題。

項目以 /cli-anything 作為主要入口,並配合預覽、即時預覽及 trajectory loops,讓代理不只發出指令,還能逐步產生和檢查真實 artifact。README 亦列出 Cursor plugin、Hub 及 skills,反映它同時照顧 CLI 生成端和代理使用端;舊版本則可能要改用 /cli-anything:cli-anything。

和只依賴 GUI 操作或個別 API 整合的做法相比,CLI-Anything 嘗試為不同軟件建立較統一的代理介面,方便重用流程,但效果仍取決於每個軟件的 CLI harness 是否完整,以及代理能否正確理解工具狀態。項目提供 CLI-Hub,使用者可瀏覽、安裝及管理社群建立的 CLI;原始資料未交代各 harness 的詳細安裝步驟、資源要求或一致的性能基準。

CLI-Anything: Turn ANY App into a CLI for Claude Code & Codex (GIMP, Blender, LibreOffice & More!)

• 支援把多類軟件轉成 AI 代理可調用的 CLI
• 以預覽與 trajectory loops 協助產生可檢查的成果
• 提供 CLI-Hub 管理社群 CLI
• 適合需要串連設計、製作及自動化流程的團隊
• 仍需逐一確認各軟件 harness 的成熟度

對熟悉 Cursor 或其他代理工作流的開發者,這套方法適合用來延伸圖像處理、CAD、3D 製作及內容生產流程;對只想即時使用單一軟件的使用者,則要先確認所需 CLI 是否已建立及可用。

GitHub

Categories: 開源, 香港大學, Agentic, API, Image, World-Action Model, 框架, 軟件, 工具, IDE, 3D, 編程, Skill 技能

Kimi K3.1 Pro:開放權重 1M 上下文支援長鏈路代理

完整 model weights 預定於 11 月 4 日釋出。1M-token 上下文支援編程與長鏈路代理,Kimi K3.1 Pro 亦延伸至 3D 創作及金融研究。

Og image

面對超長文件、終端機任務和多步驟研究,Kimi K3.1 Pro 以 1M-token context window 支援長鏈路代理工作,並把 coding、3D creation 與 financial research 放進 3T-class open-weight model。它是 Kimi K3 的 post-trained 版本。

訓練加入更大 post-training compute,在數百個下游領域進行 joint reinforcement learning(joint RL);RL framework、long-context inference、sandbox infrastructure 及 rollout scheduling 亦一併優化,目標是令能力提升更穩定。

  • 長上下文:1M-token context window,適合長文件及多步驟工作。
  • 代理場景:涵蓋 coding、3D creation 及 financial research。
  • 速度選項:Kimi K3.1 Pro Highspeed 標稱快 2 至 3 倍。
  • 權重安排:完整 model weights 預定於 11 月 4 日釋出。

Terminal-Bench 4.0 以資源受限終端機任務和嚴格測試評估 coding agents;K3.1 Pro 得分 65.7%,高於 GPT-6 Astra 的 58.2%,接近 Claude Opus 5.5 的 66.4%,可作為編程代理場景的參考。

模型可於 Kimi Work、Kimi Code 及 Kimi API 使用。

項目主頁

Categories: Agentic, 模型, 模型訓練, API, Image, 框架, Vibe Coding, 3D, Python, 編程, Anthropic, Kimi, 任何模型, 強化學習

FilmFlow: 虛擬電影攝影機代理

FilmFlow 讓創作者用文字指示或參考影片,為 3D 場景生成鏡頭移動。它會結合場景理解與渲染後的視覺回饋,逐步修整鏡頭位置、方向和構圖。

FilmFlow accepts text or a reference video and a 3D scene. Interpreter, Scout, Director, and Critic agents refine camera motion through visual feedback.

想為 3D 場景安排推鏡、環繞或特定構圖,FilmFlow 可將文字指示轉成可執行的鏡頭軌跡,也能把參考影片中的運鏡轉移到另一個場景。這套電影攝影代理系統面向動態 3D 環境,處理的是如何把拍攝意圖落實成有時間安排、能在場景中執行的鏡頭動作。

FilmFlow 由四個代理協作:Interpreter 理解場景並整理鏡頭意圖,Scout 尋找合適的起始視點,Director 安排鏡頭操作及其時間和參數,Critic 則檢視渲染結果並提供修正方向。Director 可同時組合多項基本操作,控制鏡頭平移、旋轉和取景;整個流程會根據畫面回饋反覆調整,而非只輸出一段抽象描述。

兩種輸入方式適合不同工作流程:文字導向生成讓創作者直接描述鏡頭動作與構圖要求;參考影片導向生成則適合借用既有片段的運鏡,並套用到另一個 3D 場景。這可用於虛擬場景分鏡、動畫預演及 3D 鏡頭設計,但生成效果仍取決於指示能否表達清楚,以及場景是否提供所需的視覺條件。

研究團隊同時推出 CinemaBench,涵蓋 150 個 Blender 場景、750 項文字導向任務和 60 段參考影片,用來評估文字導向與影片導向的鏡頭生成。提供的資料沒有列出基準測試成績,也未交代安裝或使用流程,因此目前可確認的是系統設計與評估集規模,不能據此判斷其性能表現。

  • 支援文字指示與參考影片兩種鏡頭生成方式。
  • 以四個代理分工處理場景理解、起始視點、鏡頭規劃和畫面檢視。
  • 可組合平移、旋轉與取景操作,並以渲染結果反覆修整。
  • 適合 3D 場景的鏡頭設計、分鏡及動畫預演。
  • CinemaBench 收錄 150 個 Blender 場景、750 項文字任務及 60 段參考影片。

項目主頁

Categories: 開源, Agentic, AI productions, Video, 框架, Content Creator, 3D, 動畫

Page 6 of 47
1 … 4 5 6 7 8 … 47