huashu-motion：AI Agent 按節奏製作產品宣傳片

2026 年 11 月 4 日 Share to X Facebook Copy link

由 Claude Code 或 Codex 讀取產品內容、編排動畫和配樂，再讓你在瀏覽器畫面上指定位置修改。製作流程可在本機完成，配樂亦毋須呼叫付費接口。

想把產品介紹變成一支短片，可以直接向 Claude Code 或 Codex 提出需求；huashu-motion 會先閱讀產品內容，提供三個創作方向，再編寫動畫與配樂，並在瀏覽器開啟編輯器。它是一套供 AI Agent 使用的動畫製作 skill，處理從產品內容到宣傳片、再到局部修改的工作流程。

修改方式著重畫面定位：在預覽中按 C，再點選要調整的位置並留下意見。評論會附上時間點、場景、所選元素及其原始碼位置，Agent 可針對該處修改；版本會保留，亦可撤回。標題、數字、顏色和停留時長等項目則可直接在編輯器輸入框調整。

配樂不是完成影片後才補上的背景音。Agent 會先按節奏單寫 ABC 記譜法樂譜，並以樂譜標記配合場景切換；樂器音色可選本機採樣或合成音色，音效則配合畫面元素落地的時刻。本機生成配樂不需付費接口；使用三腳鋼琴、弦樂和鼓組等真實樂器音色，需另行下載約 55MB 採樣。口播亦屬可選功能，Kokoro 中文語音和逐字對齊各有額外安裝需求。

項目列出以 Chrome、Chromium 或 Edge 執行截帧、檢查及匯出，不需另外下載渲染器；也展示 Claude Code、Codex 和 DeepSeek V4.1 Flash 等案例。當中一支 22 秒動效片以 DeepSeek V4.1 Flash 製作，經三輪修改，不到半小時完成；文中記錄當時費用為 1.95 元，不能視為固定成本或其他模型的效能保證。安裝方式雖有列出，但資料沒有完整說明各平台的操作流程，首次使用仍要按所選音色和口播功能處理相應依賴。

• 先閱讀產品內容，再提供三個方向並生成完整短片。
• 在預覽指定畫面位置，讓 Agent 針對局部修改；版本可保留和撤回。
• 配樂以 ABC 樂譜和場景標記同步，音樂及音效可在本機生成。
• 可透過瀏覽器截帧、檢查和匯出；真實樂器採樣與中文口播需額外依賴。

這套流程適合需要快速製作產品發布片、又希望保留逐處審核和修改能力的產品及設計團隊。它把創作交給 Agent，但仍讓人透過畫面評論調整細節；採樣下載、語音工具安裝及各平台實際操作方式，則是導入前需要確認的成本。

GitHub

Categories: 開源, Agentic, AI productions, 模型, DeepSeek, Video, 工具, 語音, Anthropic, 動畫, 音樂, Skill 技能

---

BYOD：用單張 GPU 將指令模型改造成雙向擴散模型

2026 年 11 月 3 日 Share to X Facebook Copy link

BYOD 讓你從 Colab Notebook 選擇指令模型並進行訓練，再透過互動介面觀察逐步去噪生成；但快速模式不會重現論文分數。

BYOD 把指令模型轉成雙向遮罩擴散語言模型，讓模型生成文字時能逐步去噪，並在互動頁面即時查看生成變化。它是模型訓練工具，主要處理如何用單張 GPU 訓練這類模型；Colab Notebook 可選模型、啟動訓練及查看 loss 曲線，第 6 步會開啟可調整生成設定的推理介面。

使用方式分為 Colab 和本機兩條路徑：Notebook 會沿用 Colab 的 PyTorch、CUDA 套件，只在啟動推理介面時安裝 Gradio；本機訓練則需 NVIDIA GPU、Hugging Face 讀取權杖，並先接受受限模型的使用條款。本機推理網頁需安裝 .[demo] 套件。訓練資料會自動下載，手動中止時會保存 interrupted/，可載入該次結果繼續推理。

BYOD 以 LoRA 微調既有模型，而非從頭訓練；quick 模式採用較小模型和 rank-128 LoRA，適合先檢查流程，但不會重現論文分數。paper 模式使用 rank-1024 LoRA，原始訓練使用 96 GB 記憶體，對硬件要求高。兩種模式預設均訓練 25,000 次更新，訓練與驗證 loss 若出現 NaN 或無限值，程序會報錯並保留先前最佳 adapter。

• Notebook 提供模型選擇、訓練和 loss 曲線檢視。
• 推理介面可調整生成設定，並即時查看去噪過程；也支援載入中斷訓練的結果。
• 可選 Llama、Gemma、Qwen 和 Ministral；各模型提供不同 quick 或 paper 配置，Ministral 只有 paper 配置。
• 評估在每個 checkpoint 執行，輸出只保留 best/；本機訓練要求 NVIDIA GPU，quick 模式不等同論文設定。

研究者和模型工程團隊可用它比較不同指令模型經擴散式訓練後的生成過程，也可先透過託管示範體驗已訓練模型。若目標是復現論文結果，應採 paper 配置並準備高記憶體 GPU；低資源測試則可用 quick 模式確認訓練流程。

GitHub

Categories: 開源, 模型, 模型訓練, Qwen, NVIDIA, Gemini, 工具, LLaMa, Python, LoRA

---

Phone Harness MCP：AI 直接操作雲端上的手機模擬器

2026 年 11 月 3 日 Share to X Facebook Copy link

要測試手機 App，AI 代理可以直接查看 iPhone 或 Android 模擬器畫面，再進行點按、輸入和滑動。Phone Harness MCP 讓這些操作透過 MCP 連接器交給代理執行。

測試手機 App 或重現操作流程時，AI 代理可以透過 Phone Harness MCP 查看手機畫面、點按、輸入文字、滑動及開啟 App。它屬於 MCP 工具，將雲端專用 iPhone 或 Android 模擬器接到 Claude、Cursor、ChatGPT、Codex 等 MCP client，讓代理直接操作裝置。

連接方式是把 Phone Harness 加入支援自訂連接器的 MCP client，使用服務網址登入；連線採用 Streamable HTTP，OAuth 要求 phone:drive 權限，也可用 API key 作 Bearer token。項目聲稱毋須 Mac、adb 或裝置配對，但這代表操作依賴雲端裝置，並非連接使用者手上的手機。

和需要本機裝置、開發環境及配對程序的測試流程相比，Phone Harness 把裝置控制交由雲端服務處理，減少本機準備工作；代價是要登入並授予手機操作權限，亦須視乎服務提供的裝置與連線狀態。項目提供 Claude、Cursor、ChatGPT 和 VS Code 的連接方法，但未提供效能數據或完整的裝置供應、費用及可用性細節。

適合需要讓 AI 代理測試 App、執行手機操作流程，或在不同 MCP client 中驗證代理能力的開發者和測試團隊。連接前可先確認團隊帳戶是否支援自訂 MCP server；ChatGPT 網頁版的自訂連接器只供 Business、Enterprise 和 Edu 工作區使用，Pro 帳戶則只支援讀取及擷取工具，不能用來操作手機。

• 支援雲端專用 iPhone 和 Android 模擬器。
• 代理可查看畫面、點按、輸入、滑動及開啟 App。
• 透過 MCP 連接器和服務網址登入，不需本機 Mac 或 adb。
• OAuth 要求 phone:drive 權限，亦可使用 API key 作 Bearer token。
• ChatGPT Pro 帳戶不能透過自訂 server 驅動手機。

GitHub

Categories: 開源, MCP, OpenAI, API, 工具, IDE, Mac, Anthropic

---

CoworkOS：2D/3D 網頁任務統一工作流

2026 年 11 月 3 日 Share to X Facebook Copy link

複雜項目往往要跨多日推進，也需要人手覆核和中途調整。CoworkOS 讓 AI 代理接手分工與持續監察，並保留進度、記錄及待審核成果。

從研究、文件到 CAD 和 Blender，CoworkOS 讓人與 AI 代理在同一工作空間協作，處理需要多步推進、跨日跟進的工作。它屬於開源 AI 協作執行框架，目標是把任務由規劃、分工一路帶到可檢查的成果；長時間運行的 Jobs 會保留狀態和日誌，遇到等待或中斷後仍可接續處理。

代理工作分成三層：Main Agent 制定計劃、分派任務及檢查成果；Coordinator Runtime 負責派送子任務並追蹤進度；可選用的 Subagents 則執行範圍明確的工作。模型負責決定任務策略，執行環境則維持協調、回饋和工作連續性，避免把多代理協作的管理全交由模型自行處理。

CoworkOS 把 CLI、搜尋、檔案和 MCP 接到文件編輯器、簡報、CAD 與 Blender 等工具，人和代理可以共同修改文件、模型及場景。階層式工作空間和語意記憶用來延續項目脈絡；候選修改會保留版本資訊，讓人先檢查再整合。這種做法適合需要覆核、追蹤及中途改方向的團隊，但可用工具和模型服務的實際配合仍會影響工作流程。

研究團隊也可用同一套機制建立長期監察迴圈，例如分析模型失誤、改善訓練資料、執行訓練及驗證結果。配套研究報告記錄了 Qwen3.6-35B-A3B 經五輪後訓練後，在八個基準的平均分由 33.19 升至 42.95；這是特定實驗結果，各任務仍有升跌，不能直接視為其他模型或工作流程的保證。

• Jobs 保留長時間任務的狀態與日誌，方便中斷後繼續監察。
• Main Agent、Coordinator Runtime 和 Subagents 分別負責規劃、協調與執行。
• 人與代理可共同處理文件、簡報、CAD 模型及 Blender 場景。
• 候選修改可先經人手檢查，再整合到項目成果。

CoworkOS 面向使用 macOS 的研究人員及需要多工具協作的團隊，支援 Apple Silicon，並要求 macOS 14 或以上及 Node.js 22.19.0 或以上。儲存庫資料提及可透過 npm 安裝，亦提供文件、展示及即時示範連結，開始部署前，仍需查閱項目文件確認模型服務與工作空間的配置方式。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, MCP, 模型, 模型訓練, Qwen, 框架, 工具, Mac, 庫, 中國, 蘋果, Dataset 數據集

---

CUA-Master：把教學影片變成電腦操作訓練資料

2026 年 11 月 3 日 Share to X Facebook Copy link

教學影片可以變成代理的操作練習，但仍要接駁沙盒。CUA-Master 串起任務挖掘、驗證與訓練資料製作。

把軟件教學影片轉成可驗證的操作任務，CUA-Master 這套框架協助團隊訓練電腦操作代理（Computer-use agents，CUAs）。它會按模型弱點補充任務，讓資料建構與模型改進互相帶動。

框架結合字幕語意與畫面變化重建操作軌跡，再抽取可重用的能力單元，控制新任務涉及的能力及應用程式數量。沙盒執行失敗後，可按回饋回復快照重試；已驗證軌跡可轉成 ms-swift 格式的監督式微調（Supervised Fine-Tuning，SFT）資料。

準備測試需要安裝依賴及接駁服務：

• 以可編輯模式安裝，加入 seeding、annotator、collection、dev 依賴。
• 複製 .env.example 為 .env，填入 API 金鑰及沙盒服務端點。
• 經 provider 介面接駁自己的沙盒後端，再按範例設定搜尋影片資料、下載選定影片；命令支援 –help。

官方公布 CUA-Master-27B 在 OSWorld Verified 得分為 80.2，在 OSWorld 2.0 為 36.9，兩者不可直接當成同一尺度比較。項目較適合有沙盒及訓練資源的代理研究團隊；提供的快速開始內容未完整展示後續流程，尚不足以照抄完成整條訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 模型, 模型訓練, API, Video, 框架, 教學, 軟件

---

NorthCUA：讓桌面與網頁任務留下可查證成果

2026 年 11 月 3 日 Share to X Facebook Copy link

交給 AI 的桌面任務，可以連同操作過程與成果一起檢查。NorthCUA 容許自選模型，但接入仍有能力要求。

讓 AI 操作桌面與網頁後，還能檢查最終檔案或軟件狀態，NorthCUA 把這一步納入開源執行框架 Harness。它串連操作、畫面資訊、工作筆記與結果檢查，讓長任務保留中間進度。

框架建基於 NexAU，不綁定單一模型，但接入的視覺模型須支援結構化工具呼叫。NorthCUA 模型系列則基於 Qwen3.5，提供 Nano、Mini、Pro 三種規模；框架與模型應分開理解。

• 可先試免金鑰的本機教學，再接入模型執行任務。
• docs/first-run.md；所附節錄未提供完整安裝步驟。
• 支援可恢復的批次執行，並保留過程記錄供檢查。

項目公布 Pro 在 OSWorld-Verified 得分為 88.6%，測試涵蓋 361 個任務、上限 100 步，排除 8 個 Google Drive 任務。參考模型的操作介面與結果彙整方式不同，不能直接視為同條件比較。

需要追查操作失敗原因、驗證交付成果的自動化團隊較容易受益；具體任務能否完成，仍要接入模型後測試。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, Qwen, 框架, 教學, 軟件, 工具

---

387 篇獨特論文與資源，關於影片生成遇上 Harness

2026 年 11 月 3 日 Share to X Facebook Copy link

想了解 AI 影片生成如何由單次生成走向規劃、互動和持續改進，這份研究索引整理了 387 篇論文與相關資源，並提供三條互補的閱讀路徑。

由創作影片、探索生成世界，到改進生成系統，研究者關心的問題各不相同。Awesome Agentic Video Generation 是一份論文與資源索引，整理 Agent harness 如何連接目標、工具、記憶、回饋與執行流程，協助讀者追蹤 Agentic Video Generation、Agentic World Modeling 和 Recursive Self-Improvement（RSI）相關研究。

三條閱讀路徑分別聚焦影片創作流程、生成世界中的行動與狀態，以及資料整理、模型訓練、評估和改進程序。它們代表不同研究情境，而非能力排名；同一項資源亦可能出現在多條路徑中，387 是去重後的總數。

索引收錄的題目涵蓋從創作簡報規劃影片、生成鏡頭和後期剪輯，到讓代理在生成世界中行動並維持狀態。例如 CutVerse 聚焦媒體後期剪輯的 GUI agents benchmark；CineAGI 探討以 LLM 編排多模態生成及跨場景整合。這些題目讓讀者可以按工作流程或研究問題尋找相關方向，但索引本身不代表每個項目都已證明具備 RSI。

• 創作：查找規劃、素材、鏡頭生成、剪輯與來源追蹤相關研究。
• 互動：追蹤動作條件影片、語意控制、狀態記憶及互動世界評估。
• 改進：了解資料、訓練、評估和 harness 改進如何支援未來的 RSI 研究。
• 延伸閱讀：資源連結通往論文或項目；整理者亦提供貢獻入口，方便提交新資源。

對研究者、影片生成系統開發團隊，以及需要快速掌握相關文獻的讀者，這份索引可作為分類閱讀的起點。它的價值在於整理與導覽，而非提供可直接執行的影片生成工具。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, Video, World-Action Model, 工具, Dataset 數據集

---

CodeSpecWeave：寫碼容易，了解需求才是關鍵

2026 年 11 月 3 日 Share to X Facebook Copy link

CodeSpecWeave 將互相影響的軟件要求編織成可執行訓練任務，測試編程代理能否維持整體行為一致。

新增一項功能，可能同時改變狀態、介面、錯誤處理路徑和執行次序。CodeSpecWeave 是一個面向 Computer-use agents 的編程代理訓練與評測項目，處理的正是這類不能逐項解決的長流程編程工作，要求代理在同一份實作中兼顧互相牽動的限制。

項目建立更貼近真實軟體工程的任務，用來訓練與評估 AI 程式開發代理（coding agents）。它不是一般的寫程式工具或線上 IDE，而是一套「產生開發任務、建立驗證測試、訓練及評估 AI」的研究框架。

網站用交易分配功能作例子：AI 不只要依金額比例分配資源，還必須同時確保總量守恆、最低分配額、四捨五入順序穩定，以及保留舊版單一收款人的行為。某一項需求單獨看似做對，整個功能仍可能不符合規格。

CodeSpecWeave 因此刻意讓需求共享狀態、執行路徑及生命週期限制，測試 AI 能不能把整組約束一起處理，而不是只寫出局部正確的程式碼。

• 將獨立要求連結成 shared decision space
• 同時檢查功能語意、狀態一致性和介面兼容
• 以 executable tests 評估跨要求的聯合推理
• 涵蓋真實 repository 與保留作評測的工程任務

項目主頁

Categories: 北京大學, Agentic, 模型, 模型訓練, World-Action Model, 香港, 軟件, 編程, Dataset 數據集, 小米-Xiaomi

---

System 1+2：AGI 也要先估互動價值再花算力

2026 年 11 月 2 日 Share to X Facebook Copy link

多想幾步、多試幾次，都有成本。研究構想讓 AI 先估計哪些互動有價值，再投入資源執行。

AI 代理搜尋資料、執行程式或讓機械人試走一步，都要付出成本，卻未必帶來有用結果。清華大學團隊提出 System-1／System-2 協同設計構想，希望在執行前先篩選值得投入的互動。

成本較低的 System-1 按預期價值排列互動的優先次序，再由成本較高的 System-2 執行較困難的工作。這個構想把資源分配提前，讓增加推理、訓練或探索次數之前，多一道價值判斷。

它涵蓋的場景包括：

• 語言模型推理：判斷哪些推理步驟值得繼續投入。
• AI 代理：篩選搜尋、程式執行及應用程式介面（Application Programming Interface，API）呼叫。
• 機械人與強化學習（Reinforcement Learning，RL）：優先探索可能提供學習訊號的經驗。

對互動成本高、數據取得慢的研究與開發工作，這個構想提供了分配預算的思路。不過，所提供節錄未交代價值預測器的具體實作或量化結果，仍未能判斷它能節省多少成本，以及會否錯過有用的探索。

項目主頁 · Paper

Categories: 清華大學, Agentic, 模型, 模型訓練, API, World-Action Model, Robotic, 框架, 軟件, 編程, AGI, 強化學習

---

FrameForge「換場景、不換主角」統一三種影像生成

2026 年 11 月 2 日 Share to X Facebook Copy link

FrameForge 把 HunyuanVideo 1.5 的影片時間帶入影像生成，讓同一套模型處理主體生成、邊緣圖生圖和指令式編輯。

同一張參考圖可以用來保留主體、遵循 Canny 邊緣結構，或按照文字指令改變內容，但三種任務對「要保留多少、要改變多少」的要求並不相同。

FrameForge 是一個「給它一張參考圖，再用文字指示生成或修改圖片」的 AI 研究專案。它的特色是借用影片模型理解畫面變化的能力，來處理靜態圖片。

它用同一個模型處理三種工作：

功能	你提供什麼	可以做什麼
參考主體生成	一張人物、動物或物件的參考圖，加上文字描述	保留主體的辨識特徵，重新生成不同場景，例如把同一隻狗放到海灘上
邊緣圖轉圖片	一張 Canny 邊緣圖，也就是描出物件輪廓的線條圖，加上文字描述	依照既有輪廓、姿勢與構圖生成完整圖片
文字指令修圖	原始圖片，加上修改指令	改變動作、加入物件或轉換風格，例如「把貓的動作改成睡覺」，同時盡量保留其餘內容

這三種功能分別適合「保留是誰／是什麼」、「保留畫面結構」以及「修改指定內容」的需求；不是每次都從文字重新生一張毫無關聯的圖。

技術上有兩個重點：
– MoTE：動態選擇不同的虛擬時間間隔，對應不同程度的畫面變化。
– CoTR：加入一個潛在中間狀態，作為原圖轉換到目標圖的中間路徑。

官方已提供推論程式及模型下載方式，環境需要 Linux、Python 3.10 和支援 CUDA 的 GPU；公開流程以 512 × 512 輸入及輸出圖片、50 次去噪步驟運行，部分模型下載也需要先申請存取權。

注意「同一個模型整合三類圖片工作流程」，可作為評估自建圖像生成／編輯服務的 PoC 起點。官網目前提供的是研究結果與部署入口，不能直接視為已具備完整產品能力。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Stable Diffusion, Video, Image, 影像模型, Linux, Python, 庫, 中國, LoRA

---