CoworkOS:2D/3D 網頁任務統一工作流

複雜項目往往要跨多日推進,也需要人手覆核和中途調整。CoworkOS 讓 AI 代理接手分工與持續監察,並保留進度、記錄及待審核成果。

CoworkOS: geometric wordmark, fixed OS frame and illustrated desktop workspace

從研究、文件到 CAD 和 Blender,CoworkOS 讓人與 AI 代理在同一工作空間協作,處理需要多步推進、跨日跟進的工作。它屬於開源 AI 協作執行框架,目標是把任務由規劃、分工一路帶到可檢查的成果;長時間運行的 Jobs 會保留狀態和日誌,遇到等待或中斷後仍可接續處理。

代理工作分成三層:Main Agent 制定計劃、分派任務及檢查成果;Coordinator Runtime 負責派送子任務並追蹤進度;可選用的 Subagents 則執行範圍明確的工作。模型負責決定任務策略,執行環境則維持協調、回饋和工作連續性,避免把多代理協作的管理全交由模型自行處理。

CoworkOS 把 CLI、搜尋、檔案和 MCP 接到文件編輯器、簡報、CAD 與 Blender 等工具,人和代理可以共同修改文件、模型及場景。階層式工作空間和語意記憶用來延續項目脈絡;候選修改會保留版本資訊,讓人先檢查再整合。這種做法適合需要覆核、追蹤及中途改方向的團隊,但可用工具和模型服務的實際配合仍會影響工作流程。

研究團隊也可用同一套機制建立長期監察迴圈,例如分析模型失誤、改善訓練資料、執行訓練及驗證結果。配套研究報告記錄了 Qwen3.6-35B-A3B 經五輪後訓練後,在八個基準的平均分由 33.19 升至 42.95;這是特定實驗結果,各任務仍有升跌,不能直接視為其他模型或工作流程的保證。

  • Jobs 保留長時間任務的狀態與日誌,方便中斷後繼續監察。
  • Main Agent、Coordinator Runtime 和 Subagents 分別負責規劃、協調與執行。
  • 人與代理可共同處理文件、簡報、CAD 模型及 Blender 場景。
  • 候選修改可先經人手檢查,再整合到項目成果。

CoworkOS 面向使用 macOS 的研究人員及需要多工具協作的團隊,支援 Apple Silicon,並要求 macOS 14 或以上及 Node.js 22.19.0 或以上。儲存庫資料提及可透過 npm 安裝,亦提供文件、展示及即時示範連結,開始部署前,仍需查閱項目文件確認模型服務與工作空間的配置方式。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, MCP, 模型, 模型訓練, Qwen, 框架, 工具, Mac, 庫, 中國, 蘋果, Dataset 數據集

NorthCUA:讓桌面與網頁任務留下可查證成果

交給 AI 的桌面任務,可以連同操作過程與成果一起檢查。NorthCUA 容許自選模型,但接入仍有能力要求。

NorthCUA

讓 AI 操作桌面與網頁後,還能檢查最終檔案或軟件狀態,NorthCUA 把這一步納入開源執行框架 Harness。它串連操作、畫面資訊、工作筆記與結果檢查,讓長任務保留中間進度。

框架建基於 NexAU,不綁定單一模型,但接入的視覺模型須支援結構化工具呼叫。NorthCUA 模型系列則基於 Qwen3.5,提供 Nano、Mini、Pro 三種規模;框架與模型應分開理解。

  • 可先試免金鑰的本機教學,再接入模型執行任務。
  • docs/first-run.md;所附節錄未提供完整安裝步驟。
  • 支援可恢復的批次執行,並保留過程記錄供檢查。

項目公布 Pro 在 OSWorld-Verified 得分為 88.6%,測試涵蓋 361 個任務、上限 100 步,排除 8 個 Google Drive 任務。參考模型的操作介面與結果彙整方式不同,不能直接視為同條件比較。

需要追查操作失敗原因、驗證交付成果的自動化團隊較容易受益;具體任務能否完成,仍要接入模型後測試。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, Qwen, 框架, 教學, 軟件, 工具

387 篇獨特論文與資源,關於影片生成遇上 Harness

想了解 AI 影片生成如何由單次生成走向規劃、互動和持續改進,這份研究索引整理了 387 篇論文與相關資源,並提供三條互補的閱讀路徑。

Video Rebirth

由創作影片、探索生成世界,到改進生成系統,研究者關心的問題各不相同。Awesome Agentic Video Generation 是一份論文與資源索引,整理 Agent harness 如何連接目標、工具、記憶、回饋與執行流程,協助讀者追蹤 Agentic Video Generation、Agentic World Modeling 和 Recursive Self-Improvement(RSI)相關研究。

三條閱讀路徑分別聚焦影片創作流程、生成世界中的行動與狀態,以及資料整理、模型訓練、評估和改進程序。它們代表不同研究情境,而非能力排名;同一項資源亦可能出現在多條路徑中,387 是去重後的總數。

索引收錄的題目涵蓋從創作簡報規劃影片、生成鏡頭和後期剪輯,到讓代理在生成世界中行動並維持狀態。例如 CutVerse 聚焦媒體後期剪輯的 GUI agents benchmark;CineAGI 探討以 LLM 編排多模態生成及跨場景整合。這些題目讓讀者可以按工作流程或研究問題尋找相關方向,但索引本身不代表每個項目都已證明具備 RSI。

  • 創作:查找規劃、素材、鏡頭生成、剪輯與來源追蹤相關研究。
  • 互動:追蹤動作條件影片、語意控制、狀態記憶及互動世界評估。
  • 改進:了解資料、訓練、評估和 harness 改進如何支援未來的 RSI 研究。
  • 延伸閱讀:資源連結通往論文或項目;整理者亦提供貢獻入口,方便提交新資源。

對研究者、影片生成系統開發團隊,以及需要快速掌握相關文獻的讀者,這份索引可作為分類閱讀的起點。它的價值在於整理與導覽,而非提供可直接執行的影片生成工具。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, Video, World-Action Model, 工具, Dataset 數據集

IIT:讓小學生用簡單指令與 AI 對話

香港小學將逐步引入 IIT,讓七歲學生以簡單提示或指令與 AI 交流。

Og image

七歲學生將有機會用簡單提示或指令,與人工智能(artificial intelligence,AI)作簡單「對話」;香港小學由 2028 年 9 月起逐步引入 Information and Innovation Technology(IIT)新科目,回應數碼素養、創意及創新科技學習需要。

課程《Information and Innovation Technology Curriculum Framework for Primary Schools (Provisional Draft)》,AI 是其中一項重點。學生先認識相關技術,再以簡單命令與 AI 互動,學習重點不只接觸工具,也包括培養好奇心及對創新科技的興趣。

對學校而言,IIT 提供一個讓學生較早接觸 AI 的課程位置;對學生而言,互動形式把抽象的 AI 概念拉近到提問、下指令和接收回應等熟悉行為。資料未有交代課堂會採用哪些 AI 系統、設備、評核方式或具體教學活動,亦未提供安裝、下載或使用流程。

  • 由 2028 年 9 月起在香港小學逐步推行
  • 學生年紀可低至七歲
  • 以簡單提示或指令與 AI 作基本互動
  • 目標包括提升數碼素養、創意及對創新科技的興趣

目前公布內容屬臨時課程框架草案,實際推行安排仍可能隨後續課程設計而調整。家長、教師和教育科技項目策劃者可先把它視為小學 AI 素養教育的方向訊號,但現有資料不足以判斷課程深度或學生可使用的系統範圍。

項目主頁

Categories: 框架, 教學, 香港, 工具, 新聞, 中國

ai-manju-skills 一句故事點子延伸成動漫製作流程

由企劃、分集劇本一路寫到分鏡提示詞和發布文案,這套模板把 AI 漫劇製作拆成可逐步推進的工作流程。21 種題材可供選用,但測試覆蓋程度不一,生成內容仍需自行檢查。

Repository image for zhanghao123vip/ai-manju-skills

由一句故事點子開始,創作者可以逐步整理出企劃、人物與世界設定、分集劇本、分鏡和影片提示詞,再準備封面及發布文案。ai-manju-skills 是一套 AI 漫劇創作模板,針對製作流程中不同階段的內容整理,提供 21 種題材的 SKILL.md,不需要安裝依賴。

流程分成五部分:企劃案、人物與場景等資產提示詞、分集劇本、分集導演手冊,以及發布包。預設規格為 30 集、每集約 4 分鐘和 9:16 直屏,亦可以在故事點子中指定其他設定;篇幅較長的輸出會分批生成,再用「繼續」推進。這讓創作者能逐段修改內容,而不是一次處理整部作品。

模板可貼到 DeepSeek 等聊天工具使用,也支援 Claude Code 和 WorkBuddy。聊天工具的做法是選定題材、貼上完整模板,待模板就緒後再提供故事點子;一部劇建議使用獨立對話,減少不同故事設定混在一起。Claude Code 則可把所需題材資料夾放入 ~/.claude/skills/;使用其他影片工具時,提示詞用 {{Mixed N}} 引用第 N 張參考圖,換工具時需改成相應寫法。

目前版本已在 WorkBuddy 測試;玄幻修仙版曾作實際使用測試,宮斗、宅斗、年代文、系統無限流、總裁甜寵、重生復仇和職場商戰完成安裝檢查或階段試跑,其餘題材尚未逐一測試。模板要求人物和設定保持原創,但生成內容的品質、版權和平台合規仍需創作者自行把關,懸疑刑偵與民俗怪談亦要留意平台規則及 AI 生成標示。

  • 21 種題材模板,涵蓋幻想、古代、現代和類型片。
  • 由故事企劃延伸至劇本、分鏡提示詞和發布文案。
  • 可在聊天工具、Claude Code 或 WorkBuddy 使用,毋須安裝依賴。
  • 預設每部 30 集、每集約 4 分鐘,可按故事需要調整。
  • 測試並未涵蓋全部題材,發布前須自行核對內容與平台要求。

GitHub

Categories: 開源, AI productions, DeepSeek, Video, 提示詞, 工具, Content Creator, Anthropic, Skill 技能

RGB MoCap:把影片動作變成可編輯角色動畫

拍一段影片即可重建人體動作,再修正接觸點、套用角色並匯出動畫。

RGB MoCap workspace showing video tracking and a 3D motion preview

拍攝一段人物影片後,RGB MoCap 會重建人體動作,讓你在 3D 預覽中檢查身體網格與骨骼,再輸出可編輯的人體動畫。這個項目屬於本地運行的 Windows 動作捕捉工具,主要處理由普通影片取得角色動作、修正滑步,以及套用到不同角色格式的工作。

它不只追蹤身體,還提供腳掌和手掌接觸修正,接觸時間可以手動調整;動作可重新套用到 Mixamo FBX、VRM 和 PMX 人形角色,並輸出 FBX,亦可選擇是否連同網格一併匯出。多個 AI 模型的結果能分開保存,方便比較和重做。

安裝需要 Git for Windows、Blender、FFmpeg,以及 ExMR、FlowHMR、GVHMR 等模型運行環境;模型權重和註冊的人體檔案要在 Model Manager 另行準備,部分模型需要帳戶登記和手動下載。MAMMA 與 PromptHMR 屬於可選運行環境,另需 Visual Studio 2022 C++ Build Tools、Windows SDK 和 CUDA Toolkit 12.8;PEAR 則可用於 webcam 或影片中的單人即時身體及手指骨骼預覽。

  • AI 處理在本機完成,適合重視素材私隱的 Windows 使用者
  • 支援多人重建、動作骨骼預覽和 Multi Cam MoCap 工作流程
  • 接觸修正可減少滑步,但仍需人工檢查時間點和追蹤結果
  • 角色重定向涵蓋 Mixamo FBX、VRM、PMX,方便接入 3D 製作流程

提供安裝、更新、模型準備和恢復指引,也附有動作捕捉及角色重定向示例。適合視為可本地測試的製作工具,而不是已有完整性能保證的商用捕捉系統;動畫師、VRM/PMX 角色創作者,以及需要把影片動作帶入 Blender 的團隊會較容易受益。

GitHub

Categories: 開源, AI productions, 模型, NVIDIA, API, Video, 工具, Content Creator, 3D, 庫, 動畫, Dataset 數據集

HDR mini-skill 讓 AI 片由 SDR 轉為 HDR

纯 ffmpeg + 自己生成的 3D LUT,不依赖 zscale / libplacebo / drawtext(Homebrew 的 ffmpeg 常常没带)。

Repository image for limin112/min-skill

把普通(SDR)視頻或其中一段,轉成 10-bit HEVC / HLG / BT.2020 的 HDR 文件:在 HDR 屏幕上,雲、太陽、水面反光、 金屬高光會“發光”。還能做左右對比:同一個文件里左邊 SDR、右邊 HDR。

  • 輸出 HLG HDR、10-bit HEVC 及 SDR/HDR 對比片。
  • 效果取決於素材。 米色卡片、文字、PPT 這類畫面轉成 HDR 只是把“紙”變亮,不適合。
  • 只有在 HDR 屏(Mac XDR、iPhone)上用 QuickTime 才有效果;普通播放器里會發灰、紅偏橙,這是正常的。
  • 原片已經是 HDR 的,腳本會拒絕(退出碼 2)。
  • 沒在真正的 HDR 屏上做過觀感驗證,也沒驗證過上傳各平台後是否保持 HDR;詳見 SKILL.md 末尾“已驗證 / 沒驗證”。

GitHub

Categories: 開源, 文字轉語音, AI productions, 數字人, 模型, Video, 框架, 工具, Content Creator, 3D, 庫, 語音, Anthropic, MiniMax, Skill 技能, LoRA

WeVisCut 單一 9B 模型自主剪出多分鐘知識影片

由文章或旁白稿生成多分鐘影片,WeVisCut 讓模型逐步選擇剪輯工具,並可在時間線上修改成片。運行 9B 模型約需 24 GB NVIDIA GPU。

WeVisCut

把知識文章或旁白稿變成多分鐘影片,通常要處理分段、鏡頭、配音、素材、字幕和配樂。WeVisCut 是一個長流程影片剪輯 Agent,由單一 9B 模型讀取剪輯狀態,每次呼叫一項工具,逐步完成製作;它處理的是長篇內容轉成可編輯成片的流程,而非只生成單一畫面或短片段。

模型不依照寫死的階段流程前進,而是按當前狀態決定下一步;防護規則只會拒絕不合法的操作,不會代替模型選擇。每次任務通常約有 12 次工具呼叫,涵蓋文章分段、鏡頭規劃、語音合成、素材檢索、動畫模板、配樂、檢查、修正及合成。檢查與反思本身也是工具,模型可按檢查結果修補未達要求的部分。

Studio 提供八條同步時間軌,成片完成後仍可手動編輯,也支援暫停與續做、聊天修改、單鏡頭重製及版本回退。這讓內容團隊能把它用作長篇解說影片的初剪與修改工作台;成片仍需要人手確認素材、旁白和敘事是否合適。要運行 bf16 9B 模型,項目列出的硬件需求約為 24 GB NVIDIA GPU;只開啟介面、不執行模型則不需 GPU。資料未提供完整安裝及素材服務設定流程,不能只憑這些資訊判定部署所需的全部硬件與外部服務。

評估使用 100 項保留任務,整體分數為 90.5;項目亦報告,每分鐘成功輸出的生成 token 數約比 Claude Opus 5 少 33 倍。這些數字反映項目設定下的測試結果,不足以單獨證明不同影片類型或工作環境都能得到同樣成效。訓練資料則由 3,750 個完成影片項目還原剪輯意圖,再經驗證重播整理出 134,771 個訓練例子;開放的資料建構流程可供研究長流程工具操作的團隊參考。

  • 輸入知識文章或旁白稿,輸出多分鐘剪輯影片。
  • 單一 9B policy 每次呼叫一項工具,按編輯狀態自行規劃後續動作。
  • Studio 保留可編輯時間線,支援逐鏡修改與版本回退。
  • bf16 9B 模型約需 24 GB NVIDIA GPU;純介面模式毋須 GPU。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, AI productions, 模型, 模型訓練, NVIDIA, Video, 工具, 語音, Anthropic, 動畫

WebAnything 把真實網站重建成可重設的測試環境

從網站獲其內容重建互動網站,能在可重設的環境中完成任務。

WebAnything concept logo

要訓練或評測 Web agent,截取網站畫面並不足夠,代理還要能操作控制項、切換頁面並完成多步任務。WebAnything 是一套研究程式碼,將網站證據轉成可執行、可重設的代理環境,目標是保留任務流程,而不只是重現畫面。

建構流程先由 Builder 透過瀏覽器探索網站,記錄頁面狀態、互動資料、DOM、畫面截圖及網絡資源,再重建環境。候選環境會先凍結,交由 Verifier 獨立檢查;發現實作錯誤或證據不足時,系統會針對問題修正。Full 模式適合追求較廣覆蓋,JIT 則按代理任務需要建構環境,兩者在完整度與建構成本之間作取捨。

項目分析了 6,172 個獲接納的來源任務執行紀錄,平均每個任務使用 10.4 個工具步驟,中位數為 8 步;34.7% 的任務超過 10 步,最長達 89 步。這些數字反映任務包含多步互動,但不能單獨代表重建保真度或代理能力;評估亦分別涵蓋歷史頁面狀態的保真度,以及模型在指定基準測試中的下游效用。

  • 適合研究 Web agent 訓練與評測、需要可重複網站任務環境的團隊。
  • Builder 和 Verifier 使用支援 Responses API 的模型服務;兩者需配置模型 ID、API URL 及 API key。
  • 本機需安裝 Chromium,瀏覽器操作由 Playwright 支援;代理亦需要終端機存取權。README 未列出最低 CPU、記憶體或 GPU 規格,不能據此判定具體硬件門檻。
  • 儲存庫提供建構流程及 244 個歷史網站項目的清單,但網站原始碼與第三方媒體存放在外部 artifact store,並未隨儲存庫附上。

Web agent 提供 Python 套件、命令列工具及設定流程,並可把本機 agent skill 安裝給 Codex 或 Claude Code;這個 skill 不是 MCP server。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 模型訓練, Qwen, API, 工具, Python, 庫, Anthropic, 中國, Dataset 數據集, Skill 技能

OpenCode V2:程式碼探索與修改兩種模式

新功能加入 /goal,能持續目標驅動循環(自主執行直至目標完成)。接手陌生程式碼時,OpenCode 會先協助分析,再切換至開發模式;但模型配置與硬件門檻仍未交代。

OpenCode logo

V2 連續 3 日更新!OpenCode 能在接手陌生程式碼時,先讓 OpenCode 分析結構及規劃修改,再交由開發模式處理。這個開源 AI 編程代理工具以不同權限配合工作階段,並非獨立模型。

很多時,開發技術差異在於代理模式:預設 build 具完整存取權,負責開發;plan 則以唯讀方式探索程式碼,執行 bash 指令前會要求批准。兩者是操作模式,不是兩款模型。

  • build 適合需要修改程式碼的開發工作。
  • plan 適合熟悉陌生儲存庫及規劃變更。
  • 可透過 npm、Homebrew 等套件管理器安裝。
  • 另有桌面應用程式測試版,可於 opencode.ai/download 下載。

需要先審視再修改程式碼的開發者,可考慮這套分工方式;選用前仍須確認模型配置與運算需求。安裝前亦應移除早於 0.1.x 的版本。

GitHub

Categories: 開源, 模型, 工具, 庫, 編程

Page 2 of 28
1 2 3 4 … 28