WebHarbor：把真實網站變成可重現的 GUI Agent 測試場

2026 年 11 月 4 日 Share to X Facebook Copy link

WebHarbor 將 153 個網站還原成可重複使用的本地環境，讓 GUI web agents 能測試登入、購物及資料操作。

要測試 GUI web agents 是否真的懂得操作網站，單靠會變動的公開網頁往往難以重現結果。WebHarbor 把 153 個流行網站製成 Docker 化本地鏡像，連同完整登入流程、資料庫和多模態圖片內容，屬於面向訓練與評估的環境及資料集項目。

它處理的不只是點擊連結，3,518 個 tasks 涵蓋購物車、結帳、帳戶操作等較深層流程；資料庫可在不到一秒內重設，適合反覆進行強化學習 rollout。沒有網絡噪音、內容漂移或地區封鎖，測試結果較容易比較，但建立鏡像和維護網站功能亦帶來不小工程成本。

• 153 個可執行的 Docker 網站環境
• 3,518 個評估及訓練 tasks
• 支援登入、資料庫和圖片內容
• 環境可按 agents 能力增加難度
• WebHarbor-4B 在 WebVoyager 及 Online-Mind2Web 平均取得 75.8 分

WebHarbor-4B 是建基於這些合成環境和 tasks 訓練的 GUI web agent，並非與環境分開提供的獨立示範模型。項目聲稱它在 4B 規模開源 GUI web agent 中取得最佳成績，但這個比較仍取決於所選基準和評測設定，不能直接代表所有真實網站任務。

研究 GUI agents、建立強化學習流程，或需要可重現瀏覽器測試的團隊較容易受益。使用者可從 Docker 鏡像、Hugging Face 環境及 tasks 開始組建測試流程；項目文件未列出完整硬件需求及每個網站鏡像的維護策略，正式採用前仍要核對資源成本和環境覆蓋範圍。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 庫, Dataset 數據集, 強化學習

---

ComfyUI-ShotWorkspace：把分鏡素材整理與影片提示詞寫作納入 ComfyUI

2026 年 11 月 4 日 Share to X Facebook Copy link

準備角色、道具和場景參考圖，再整理分鏡描述、撰寫 MiniMax H3 影片提示詞，並接上原有的 ComfyUI 生成流程。模型、取樣與解碼仍由接收工作流程負責。

整理分鏡時，參考圖、描述和生成提示詞往往分散在不同步驟；ComfyUI-ShotWorkspace 把這些創作工作放進 ComfyUI 畫布，讓創作者準備素材、修訂鏡頭描述，再撰寫 H3 影片提示詞。這是個實驗階段的自訂節點，負責生成前的整理與寫作，不取代影片生成工作流程。

創作者可分別上載角色、道具和場景圖片，使用影像分析產生可編輯描述，再挑選當前鏡頭的參考圖並按次序送往接收工作流程。文字生成和圖片分析透過 API 連接 LLM 伺服器呼叫；影片模型權重、取樣及解碼則由原有工作流程處理，兩者需要分開安裝和測試。

每次佇列只處理一個鏡頭，項目不負責編排完整影片序列。前一鏡頭的輸出不會自動成為下一鏡頭的輸入，使用者須自行選擇前置鏡頭；工作流程之間傳遞的 LATENT 格式亦必須相容。音訊、影片和 LATENT 接口可傳遞媒體，但不會自動把這些內容加入大型語言模型提示詞。

• 需要 ComfyUI、Python 3.10 或以上版本，以及符合要求的 aiohttp 和 Pillow，依賴項須安裝到執行 ComfyUI 的 Python 環境。
• 項目不附帶模型權重；LLM 伺服器、接收工作流程所需節點及 H3 權重都要另行準備。
• H3 輸入影格按 24 fps 的 17k+5 網格安排；取樣時長在上下文裁切前設定，交付影片可能短於指定時長。
• 工作流程會保存創作資料、檔名和伺服器網址；圖片本身留在 ComfyUI 的輸入目錄，分享前宜檢查保存內容。

這套工具較適合已經使用 ComfyUI、希望把分鏡準備和提示詞撰寫納入既有流程的創作者或小型製作團隊。它減少素材與文字在工作流程間來回整理的需要，但不提供完整序列編排，也不能單靠 LLM 連線測試確認影片生成正常。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Video, Image, Audio, 提示詞, 工具, Content Creator, MiniMax

---

Garden Skills：讓 AI coding agents 承接影片、設計與寫作流程

2026 年 11 月 4 日 Share to X Facebook Copy link

從程式生成短片、網頁設計到整理知識庫，Garden Skills 把多種工作流程包成可供 AI coding agents 使用的技能。創作型工作尤其著重分階段確認與一致的輸出控制。

想用 AI coding agent 製作短片、網頁簡報或整理本地知識庫，Garden Skills 提供一組可加入工作流程的 Agent Skills，適用於 Claude Code、Cursor、Codex 等工具。它不是單一模型，而是涵蓋影片製作、前端設計、影像提示、文章生成與知識檢索的技能集合；各技能如何安裝可按 項目文件提供的方式處理，但這份資料未列出完整操作步驟。

影片相關技能的重點，是把畫面與聲音放進同一條時間軸，並由同一個頁面產生不同階段的輸出，包括靜態畫面、聯絡表、預覽代理檔及成品。創作者可以選擇多種視覺風格，調整動態、鏡頭語法和聲音方向；配樂可由內置合成器或 Tone.js 產生，也可以配合自備音軌及節拍、段落變化剪輯。

創作流程設有兩個確認點：先確認需求，再確認風格畫面；若未指定風格，會提供三個方向供選擇，之後才進入自主製作。長片支援分章製作，最長可達 20 分鐘；Gemini 或 MiniMax TTS 只會朗讀使用者提供的稿件，錄音則以實際時間戳記對齊，音樂與音效亦會為旁白讓位。這些安排適合需要反覆檢視視覺方向、又希望聲畫時間一致的內容團隊，但資料沒有提供效能測試或品質評分，成品仍需自行檢查。

其他技能分別處理網頁影片簡報、前端設計、GPT Image 2 提示與影像生成、美化文章，以及本地知識檢索。對需要把重複創作步驟交由 AI coding agent 執行的設計師、影片製作者及內容團隊，這種技能集合比只提供單一功能的工具涵蓋更廣；取捨是各項工作的品質和適用程度，仍取決於所選技能、模型與輸入內容。

【经验开源】AI 做动画视频完全指南：原理、技巧、Skill 一次给全

• 六種技能涵蓋影片、網頁、影像、文章及本地知識檢索。
• 影片輸出由同一頁面生成，畫面與聲音共用時間軸。
• 風格確認後才開始自主製作，未指定時可先比較三個方向。
• 長片支援分章製作至 20 分鐘，旁白須使用者提供稿件。
• 項目文件列出多種安裝途徑，但目前提供的資料未包含完整安裝流程或評測結果。

GitHub

Categories: 開源, Agentic, AI productions, Gemini, Video, Image, Audio, Vibe Coding, Content Creator, IDE, 庫, 編程, 音樂, MiniMax, Skill 技能

---

SeMo3D：只重建指定區域，統一 3D 生成、編輯

2026 年 11 月 4 日 Share to X Facebook Copy link

修改 3D 模型時，保留不需要改動的部分，可以減少整件資產重新生成造成的不一致。SeMo3D 將生成、編輯和補全整合到同一套選擇性建模流程，並支援文字、圖像與點雲引導。

修改模型的局部區域時，整件資產重新生成可能令原本不需更動的內容也走樣。SeMo3D 是一個 3D 生成與編輯模型項目，透過只合成指定區域、保留其餘部分，統一處理生成、編輯和缺失區域補全，適合需要維持模型其他部分一致的創作者及 3D 工作流程團隊。

它把三種任務視為同一個問題：選出要建立或修改的區域，並沿用其餘內容。生成時選取完整區域，編輯時選取目標區域，補全時則選取缺失區域；因此，模型不必為每項任務各自重新生成整件資產。訓練亦毋須成對的編輯或補全資料，研究團隊可從一般 3D 資源切分出選取區域與周邊內容來訓練。

訓練方法稱為 region-selective denoising，只在隨機選取、大小各異的區域加上雜訊並計算損失，讓同一模型共同學習三項任務。架構 Omni3DiT 是多條件 3D diffusion transformer，負責分辨需要建立與保留的區域，並融合圖像、文字和點雲引導，提供較細緻的控制。

SeMo3D 在三個基準測試中，於生成、編輯和補全各項任務均勝過當時的先進方法；生成支援多模態控制，編輯與補全則著重一致性及準確度。

• 一套模型統一 3D 生成、編輯與補全。
• 只合成指定區域，保留其餘內容。
• 以 region-selective denoising 從一般 3D 資源訓練，毋須成對編輯或補全資料。
• Omni3DiT 融合圖像、文字與點雲引導。
• 支援以自然語言互動的 agentic 3D 建模。

項目主頁 · GitHub

Categories: 開源, 南京大學, Agentic, 模型, 多模態模型, 模型訓練, Image, Content Creator, 3D

---

Microsoft Mage-VL-Cowork：以 4B 模型兼顧影片理解與電腦操作

2026 年 11 月 4 日 Share to X Facebook Copy link

Mage-VL-Cowork 是一個 4B 多模態模型家族涵蓋影片理解、影像生成和 GUI 電腦操作，並以較少視覺 token 處理長影片。當中 Mage-VL-Cowork 在 OSWorld-Verified 取得 66.0%。

要分析長影片、生成或編輯影像，甚至操作桌面程式，通常需要不同模型和工作流程。Microsoft Mage 把這些能力放進 4B 參數的多模態模型家族，供研究團隊進行受控實驗、後訓練研究及垂直領域應用；它屬於模型系列。

三個模型各有分工：Mage-VL 處理圖像與影片理解，Mage-Flow 負責影像生成和編輯，Mage-VL-Cowork 則在同一個策略模型內結合圖形介面、程式碼和終端機操作。這種混合式電腦操作讓模型可按任務選擇點擊畫面或執行程式碼，而不是交由外部協調器切換不同代理。

影片處理的主要取捨，是減少冗餘影格資訊，同時保留時間與動作線索。Mage-VL 從零訓練視覺堆疊，採用 16×16 的 I/P 預測式 patch 機制，將視覺 token 用量降至密集影格取樣的八分之一或更少；項目報告稱，這令影片訓練時間可延長至 8 倍，推理速度最高提升 3.5 倍。以固定的 4B Qwen3 骨幹比較，Mage-ViT 在所有已報告的影片及時間定位基準測試中勝過 Qwen3-VL-4B，但靜態圖像表現則大致相若。

OSWorld-Verified 的測試中，Mage-VL-Cowork 在 50 步預算下取得 66.0%；強化學習訓練帶來 10.16 個百分點提升，並令模型呼叫減少 13%、輸出 token 減少 25.4%。另一項實驗結果指出，Mage-VL 在 VSI-Bench 領先 11.0 分，顯示其優勢較集中於影片理解和空間智能。

研究人員可按任務選用相應模型與程式碼，測試影片理解、生成編輯或混合式電腦操作；Mage-VL-Cowork 的訓練流程亦涵蓋資料合成、監督微調與強化學習。適合有能力配置模型環境的研究團隊，以及探索有限算力多模態應用的開發者。

• 三個 4B 模型分別涵蓋圖像與影片理解、影像生成編輯、混合式電腦操作。
• 預測式 patch 機制減少影片視覺 token，換取更長訓練影片與較快推理。
• Mage-VL-Cowork 在 OSWorld-Verified 以 50 步預算取得 66.0%，同時減少模型呼叫與輸出 token。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, 微軟, Video, Image, 庫, 強化學習

---

[技術文章] 影片生成的背後故事：Kling 的多模態理解觀察與見解

2026 年 11 月 4 日 Share to X Facebook Copy link

影片生成的瓶頸正由畫面渲染轉向語意控制。Kling 團隊拆解資料、提示、對齊與評估環節，說明如何令生成結果更貼合使用者意圖。

當影片生成要跟從複雜描述、維持人物與物件一致，單靠提升畫面品質並不足夠。Kling 團隊的技術報告聚焦多模態理解，分析資料、條件輸入、對齊和評估如何共同影響生成結果，適合關注可控影片生成的研究者與產品團隊參考。

研究以 Kling-MLLM 為共用基礎模型，處理圖片、影片、音訊、同步影音及交錯輸入，再按不同下游任務作專門調整。團隊指出，DiT 的訓練樣本遠少於語言模型，因此字幕不能只求流暢，而要作為高密度的語意契約；延伸出的 reference-grounded captioning，亦會明確標示描述與參考內容的對應關係。

提示詞增強負責把使用者意圖轉成生成模型較能處理的描述分佈。基本方法由優質影片字幕整理而成，再配合文字層面的強化學習及生成器迴圈微調；agentic prompt enhancement 則會進一步整理故事，並檢索具參考價值的例子。報告亦指出，可靠的 text encoder 需要感知訓練，單純提升語言能力並不足夠。

報告涵蓋的技術重點包括：
– 以共享多模態模型支援不同輸入形式及下游模組。
– 用高密度字幕和明確參考綁定，補足訓練語意與素材之間的連結。
– 以可解釋、能定位問題的通用 reward model，配合快速多維評分的 decision reward model。
– 設計任務專用自動評估，揭露評分捷徑，並協助追查上游失誤。

這套思路適合用於影片生成系統的資料整理、提示處理、模型對齊和品質診斷；團隊也強調，感知能力、描述品質與評估協定需要一併設計。內容屬於 Kling 團隊對其多代系統經驗的整理；提供的資料亦未列出可供外部讀者直接重現的完整流程。

Paper

Categories: Agentic, AI productions, 多模態模型, 視頻模型, 模型訓練, Video, Image, Audio, 提示詞, 強化學習

---

Lemo-Opuscar：讓 coding agent 用 66 種程式影像風格拍片

2026 年 11 月 4 日 Share to X Facebook Copy link

想把故事變成風格鮮明的短片，可以從 66 種程式製作的影片風格選擇，再交由 coding agent 協助導演。

想把文字故事變成短片，又希望畫面不只停留在一般生成影像的風格，Lemo-Opuscar 提供 66 種可直接選用的程式影像風格，並支援自行修改或從空白開始創作。它是一套以程式碼製作影片的風格工具箱，讓 coding agent 按所選風格處理故事呈現；每種風格亦附有短片示例，方便先看效果再決定方向。

畫面由 canvas 和 WebGL 網頁逐格繪製，音樂採用免費取樣音源製作原創配樂，旁白則使用文字轉語音。這種做法把視覺風格、配樂和旁白組合成一條影片製作流程，適合想快速嘗試不同美術呈現的創作者，也可用於資料敘事、紀錄片及短片概念驗證。

使用者可以先到線上風格展示頁瀏覽範例，再挑選風格、提供故事，或修改既有風格及自行建立新風格。

風格針對 Claude Opus 5.5 調校，作者提醒其他模型未必能重現相同效果；這是選用工具時需要納入考慮的限制。項目亦展示每部作品配合相應風格呈現，說明這套方法可用於較長篇幅的主題作品。

• 提供 66 種可用影片風格，並可修改或自行創作。
• 以 canvas、WebGL 逐格繪製畫面，並結合配樂與文字轉語音旁白。
• 可先瀏覽線上展示頁和短片範例，再決定風格與故事方向。
• 風格主要針對 Claude Opus 5.5 調校，其他模型的重現效果未有保證。

GitHub

Categories: 開源, 文字轉語音, Agentic, AI productions, 模型, Video, Image, Vibe Coding, 工具, Content Creator, 編程, 語音, Anthropic, 音樂

---

Motion Prompt：萬用 AI Motion Graphic

2026 年 11 月 3 日 Share to X Facebook Copy link

想叫 AI 加入某種鏡頭運動或網頁效果，卻不知道該怎樣描述？Motion Prompt 把名稱、動態示例和提問範本放在一起，方便查找與轉交創作要求。

描述鏡頭運動、動態圖像或網頁效果時，光靠「有感覺一點」往往難以讓 AI 掌握方向。Motion Prompt 是一個創作名稱與示例庫，收錄 192 個名稱，每項附有動態示範、簡短解釋和提問例句，涵蓋動態圖像、鏡頭運動、UI 元件、網站效果和攝影風格。

使用者可在網上 Gallery 播放示例、搜尋名稱，再選取多項並附上備註，將整理好的要求交給 AI；不使用技能時，也可複製提示詞和示例連結。 packs/ 提供五種語言的名稱清單，包括繁體中文。項目亦提供建立自訂領域及語言版本的提示詞；說明了技能安裝方式，但沒有提供完整的手動部署流程。

與只列術語的詞典相比，Motion Prompt 把可觀看的動態參考和可直接改寫的提問放在同一項目；每個示例的參考實作以 Canvas 2D 撰寫，不依賴外部程式庫，並可逐格繪製及用於影片輸出。它提供的是創作參考與溝通素材，不代表不同 AI 模型都能產生相同效果，也沒有提供量化性能評測。

• 可播放示例，並按名稱或編號查找。
• 多選示例、加入備註，再把要求交給 AI。
• 不使用技能時，可複製提示詞及參考連結。
• 提供繁體中文清單，以及製作自訂名稱庫的提示詞。

影片創作者、設計師和需要以 AI 協作的前端團隊，可用它把抽象的視覺想法轉成較具體的術語與參考。若工作流程依賴特定模型或成品品質，仍需自行測試提示詞能否帶出預期結果；現有內容主要是示例庫，並非生成模型或效果保證。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, Video, Image, 提示詞, Content Creator, 庫, Anthropic, Skill 技能, UI/UX

---

ReGap-Bench：視覺與推理分開評測

2026 年 11 月 3 日 Share to X Facebook Copy link

模型看見物件，不代表能逐步追蹤它們。ReGap-Bench 用可配對的視覺參照，測出多模態推理究竟卡在哪裏。

模型明明看見圖中所有物件，數數時卻會重複計算；ReGap-Bench 是一個針對 multimodal large language models（MLLMs）的資料集與評測項目，專門檢查語言推理能否正確對應視覺中的物件、區域和位置，並將問題命名為 reference gap。

它把同一場景、問題和答案固定，只更換額外參照，形成 paired reference-intervention benchmark。編號讓物件可以被索引，陰影標示有界區域，網格線則協助定位、追蹤邊界和比較位移；參照是否配合任務，會直接影響推理結果。

• 涵蓋 shape counting、angle ranking、size ranking、clock ranking 和 transformation prediction 五項任務
• 共 200 個場景及 3,400 張圖片，設有 plain、numbering、shading 和 grid 條件
• task-matched references 可令所有受測模型在所有任務提升，最高達 25%
• mismatched references 幫助有限，甚至會令表現下降

測試可用 OpenAI、Google Gemini API，亦可透過 vLLM 執行 Qwen3.5；後者需要 GPU，API 模型則只需設定相應金鑰。Python 3.10 環境和 requirements 已列明，輸出會保存到 outputs，方便比較同一模型在不同參照條件下的差異。

ReGap-Bench 的價值不在於再加一個總分，而是把視覺感知和語言推理之間的接合問題單獨拉出來。結果支持一個務實判斷：改善模型未必只靠更強的視覺編碼器，為任務建立合適的外部視覺參照，也可能成為不需重新訓練的 visual skill；不過參照錯配會反過來干擾模型，因此它更適合研究團隊、MLLM 評測人員和需要分析多步視覺推理失誤的開發者。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 模型, 多模態模型, 模型訓練, Qwen, Google, OpenAI, Gemini, API, Image, Python, Dataset 數據集, Skill 技能

---

GLOW-FM：單步提升低光影像質素

2026 年 11 月 3 日 Share to X Facebook Copy link

GLOW-FM 把低光影像增強壓縮至一次網絡運算，兼顧生成質感與推理效率，適合資源有限的影像處理場景。

低光相片往往同時缺乏細節和自然色彩，逐步生成雖然有助改善觀感，卻增加運算成本。GLOW-FM 是一個低光影像增強（Low-Light Image Enhancement, LLIE）模型項目，透過一次網絡評估恢復影像，處理高質素與低延遲之間的取捨。

項目把影像先映射到緊湊的 latent space，再由輕量 Tiny-VAE 和 Hourglass Diffusion Transformer（HDiT）合作完成修復。HDiT 以 Terminal Velocity Matching（TVM）訓練，推理時只需一步；GLOW-FM-S 的公開規模為 34 GFLOPs 及 9.1M 參數，對邊緣裝置或需要批量處理的工作流程較有吸引力。

• 一次 function evaluation，避免傳統 diffusion 反覆採樣
• 在 LSD-DLL 等資料集展示具競爭力的影像質素
• TVM 專門用於低光增強，並與其他單步目標作比較
• 跨資料集結果在比較方法中具較強泛化能力

GLOW-FM 延續曾於 NTIRE 2026 Low-Light Image Enhancement Challenge 取得第一名的 LFM-LLIE，但更集中處理效率與單步推理。儲存庫要求 Python 3.11 或 3.12，以及具 CUDA 支援的 PyTorch 環境；README 提供 setup.sh 和依賴安裝方向，但目前提供的資料未足以確認預訓練權重、完整推理指令或 CPU 執行方案。研究團隊、影像增強開發者，以及需要在 GPU 資源受限環境處理夜景相片的團隊，可先按其環境要求建立測試環境，再核對模型權重和推理流程。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Image, 影像處理, Python, 庫, Dataset 數據集

---