WebAnything 把真實網站重建成可重設的測試環境

2026 年 10 月 30 日 Share to X Facebook Copy link

從網站獲其內容重建互動網站，能在可重設的環境中完成任務。

要訓練或評測 Web agent，截取網站畫面並不足夠，代理還要能操作控制項、切換頁面並完成多步任務。WebAnything 是一套研究程式碼，將網站證據轉成可執行、可重設的代理環境，目標是保留任務流程，而不只是重現畫面。

建構流程先由 Builder 透過瀏覽器探索網站，記錄頁面狀態、互動資料、DOM、畫面截圖及網絡資源，再重建環境。候選環境會先凍結，交由 Verifier 獨立檢查；發現實作錯誤或證據不足時，系統會針對問題修正。Full 模式適合追求較廣覆蓋，JIT 則按代理任務需要建構環境，兩者在完整度與建構成本之間作取捨。

項目分析了 6,172 個獲接納的來源任務執行紀錄，平均每個任務使用 10.4 個工具步驟，中位數為 8 步；34.7% 的任務超過 10 步，最長達 89 步。這些數字反映任務包含多步互動，但不能單獨代表重建保真度或代理能力；評估亦分別涵蓋歷史頁面狀態的保真度，以及模型在指定基準測試中的下游效用。

• 適合研究 Web agent 訓練與評測、需要可重複網站任務環境的團隊。
• Builder 和 Verifier 使用支援 Responses API 的模型服務；兩者需配置模型 ID、API URL 及 API key。
• 本機需安裝 Chromium，瀏覽器操作由 Playwright 支援；代理亦需要終端機存取權。README 未列出最低 CPU、記憶體或 GPU 規格，不能據此判定具體硬件門檻。
• 儲存庫提供建構流程及 244 個歷史網站項目的清單，但網站原始碼與第三方媒體存放在外部 artifact store，並未隨儲存庫附上。

Web agent 提供 Python 套件、命令列工具及設定流程，並可把本機 agent skill 安裝給 Codex 或 Claude Code；這個 skill 不是 MCP server。

項目主頁 · GitHub

Categories: 開源, Agentic, MCP, 模型, 模型訓練, Qwen, API, 工具, Python, 庫, Anthropic, 中國, Dataset 數據集, Skill 技能

---

StateTree-Representation：讓 LLM 壓縮後仍保留 BF16 精度

2026 年 10 月 26 日 Share to X Facebook Copy link

StateTree 同時壓縮模型權重與 KV cache，減少記憶體佔用之餘，生成結果仍可逐 bit 對齊 BF16。

大型語言模型在長上下文或多請求場景，瓶頸往往不是算力，而是反覆讀取權重和 KV cache。StateTree 以約 12 bits 儲存原本 16-bit 的資料，屬於結合模型表示法與推理引擎的開源項目，處理的是記憶體流量、快取容量與生成速度之間的取捨。

它把每組權重表示成共享離散決策的 state tree，並以 fused CUDA kernels 直接在 vLLM 和 🤗 Transformers 中解碼；KV cache 則以每個 vLLM block 16 tokens、每個 KV head 四組 16 × 64 records 儲存。權重與 cached key/value 都能還原至 exact BF16 bits，不涉及 quantization、calibration 或精度換取壓縮率。

Qwen3-8B 在單張 A100-40GB、vLLM 0.32 的測試中，權重由 15.3 GiB 降至 12.8 GiB，KV cache 每 token 由 144 KiB 降至 112.5 KiB；同一 GPU 預算可容納 1.49 倍 tokens，batch 1 生成速度由 75.6 提升至 97.2 tok/s，完整回答快 1.10 至 1.28 倍。Decode attention 相對 FlashAttention-2 則達 1.21 至 2.46 倍，但結果會受 GPU、批次大小和上下文長度影響。

測試需要 NVIDIA sm_80 或更新架構、CUDA 12.6，以及項目列出的 PyTorch、vLLM 0.32 或 Transformers 5.0 環境；可先用 greedy generation、prefix-cache hit 和長 prompt chunk prefill 對比 BF16。teacher-forced top-1 token 一致率為 97.6% 至 99.8%，差異集中於近似機率的 token，適合重視容量和吞吐、又不能接受量化誤差的推理服務團隊。

• 權重及 KV cache 均可逐 bit 還原至 BF16
• 權重佔用減少 24%，KV cache 佔用減少 22%
• 支援 vLLM fused kernels、paged blocks 和 prefix caching
• 測試結果涵蓋小 batch、長上下文及多請求情境
• 需要相容的 NVIDIA GPU、CUDA 與指定框架版本

項目主頁 · GitHub

Categories: 開源, 模型, Qwen, NVIDIA, 框架, Python, 推理引擎

---

DirCast-code：AI 同時導播與解說，直播一手包辦

2026 年 10 月 26 日 Share to X Facebook Copy link

DirCast 每秒查看 Dota 2 十名英雄的鏡頭，自行選擇播出畫面並配上解說。它把導播與主播工作交給同一個模型，但目前評估仍集中於有限的職業賽事。

直播觀眾看到的畫面和聽到的解說，通常由導播與主播共同決定；DirCast 嘗試讓 AI 每秒查看十名英雄的原始鏡頭，選出播出畫面，再按該畫面決定何時發言及說甚麼。這個研究型工具以 Dota 2 賽事為場景，處理的是如何在比賽仍在進行時，同步完成選鏡和解說，而非只替已剪好的直播影片配音。

DirCast 使用單一串流影片語言模型 Qwen3-VL-8B，並以 LoRA 微調。模型先低解像度掃描各英雄鏡頭及遊戲狀態，再由導播模組決定維持現有畫面或切換；選中的鏡頭會再以高解像度讀取，供發言判斷和文字生成。這種安排把全場掃描與播出畫面的細節理解分開，也讓模型的解說跟隨自己選出的畫面。

模型不會永久保留所有低解像度鏡頭：這些畫面只在設定的時間窗內留在上下文，播出畫面、事件和已生成的說話則會保留，令處理長賽事時的上下文成本受控。訓練時加入受擾動的播出流程，讓模型練習從自己選錯鏡頭後恢復；事件標記則協助它把擊殺等值得呈現的時刻納入選鏡考量。控制切鏡與發言的門檻亦會按頻率調節，避免節奏過密。

研究資料集包含 27 場職業 Dota 2 比賽，記錄每名英雄的鏡頭、人類導播選擇及主播解說。示範涵蓋兩場留出比賽，展示模型切到鏡頭外發生的交戰並作出評論；但這些例子不足以證明它已能應付不同遊戲、直播延遲或長期穩定運作，現階段較適合研究團隊測試自動化直播製作，而非直接取代真人轉播團隊。

• 每秒掃描十路英雄鏡頭，並自行選擇播出畫面。
• 同一模型負責導播決策、發言時機及解說文字。
• 低解像度畫面會過期，播出內容與事件記錄則留在上下文。
• 訓練資料來自 27 場職業 Dota 2 比賽，公開示範展示兩場留出賽事。

GitHub 儲存庫提供模型、資料處理與賽事狀態相關程式碼；研究人員可據此檢視流程或測試模型。儲存庫資訊未列出完整安裝步驟、硬件需求或可直接重現的評估指標，因此部署成本與相對真人導播、主播的穩定差距，仍需更多測試才能判斷。

項目主頁 · GitHub

Categories: 開源, 北京大學, AI productions, 模型, 模型訓練, Qwen, OpenAI, Video, 工具, 庫, Dataset 數據集, LoRA

---

AI Toolkit 把擴散模型訓練搬上消費級硬件

2026 年 10 月 25 日 Share to X Facebook Copy link

將多種新式圖像與影片模型放入同一套訓練工具，兼顧 GUI、CLI 與本地環境管理。

想在家用硬件微調 FLUX、Qwen-Image 等模型，過往往往要自行處理環境、依賴與介面；Ostris AI Toolkit 把這些繁複步驟整合成一套擴散模型訓練工具。官方資料未提供完整安裝指令，但建議透過儲存庫內建的 AI Toolkit Manager 啟動。

AI Toolkit Manager 會偵測硬件並配置合適的 PyTorch 版本、建立 Python 環境，以及下載 Node.js 和 FFmpeg，所有檔案留在 ai-toolkit 資料夾內，不會系統級安裝。啟動時亦會檢查更新；若本機檔案經修改，更新會跳過並發出警告，減少覆蓋自訂設定的風險。

它屬於開源訓練套件，可透過 GUI 或 CLI 操作，涵蓋圖像及影片模型訓練。模型支援範圍頗廣，包括 FLUX.1、FLUX.2、FLUX.2-klein 4B／9B、Lumina-Image-2.0、Qwen-Image-2512、SDXL，以及 Chroma、HiDream、OmniGen2、Z-Image、ERNIE-Image 等新式架構。

• 以消費級硬件為主要目標，縮低本機訓練門檻
• 同一套工具支援多種新舊擴散模型
• GUI 與 CLI 並存，兼顧互動操作及批次流程
• 依賴與模型資源集中管理，減少系統污染
• 保留本機修改，並在更新衝突時給出警告

相較只針對單一模型或只提供訓練腳本的做法，AI Toolkit 的優勢是將模型選擇、環境配置與操作介面放進同一工作流。不過，原始資料沒有交代各模型的訓練速度、記憶體需求或量化設定，硬件是否足夠仍要視模型大小與訓練配置而定。

這套工具較適合需要建立角色、產品或風格資料的設計團隊、內容創作者，以及想在本地微調開源模型的開發者。模型及環境檔案仍佔用大量磁碟空間，影片模型亦可能帶來更高記憶體與運算負擔，部署前宜先核對個別模型的條件。

GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Stable Diffusion, Video, Image, 工具, Content Creator, Python, 庫, 百度

---

ComfyUI-CharacterCardStudio：Qwen-Image 2.1 角色多視圖自動排版

2026 年 10 月 25 日 Share to X Facebook Copy link

將角色圖、提示詞與場景圖交給 ComfyUI 插件，自動生成多視圖、表情及細節，再精準拼成設定卡。

手工製作角色設定卡最費時的，往往不是生成單張圖，而是補齊正反面、表情、動作，再逐格貼圖兼避免裁走頭腳。JGRFW/ComfyUI-CharacterCardStudio 屬於 ComfyUI 圖像生成插件，針對 Qwen-Image 2.1 將多視圖生成、切片、排序同排版整合成工作流程。

• 支援角色參考圖及純提示詞兩種生成入口
• 提供 8 套角色卡版與 1 套 360° 場景卡版
• 自動切片、重排，並預設完整顯示全身
• 可分項生成多視圖、動作、表情與細節
• 右側面自動鏡像，統一由模板決定位置

安裝方式是把儲存庫資料夾放入 ComfyUI 的 custom_nodes 目錄，再重啟 ComfyUI；README 同時提供圖生卡、文生卡、純提示詞及場景補面的工作流。模型選擇方面，插件使用 Qwen-Image 2.1 的 UNET、CLIP 與 VAE，亦為記憶體較緊的環境列出 int8 模型選項，但實際仍需自行準備相應檔案。

插件最實際的價值在排版，而非提升 Qwen-Image 2.1 本身的生成能力。切片節點可讀取模板資料，按 panel_order 將格子重新排列，fit mode 預設保留頭頂至鞋底；場景卡則以一張圖為錨點，補充 0°、90°、180°、270° 環視、360° 全景及環境細節。右側面會自動水平翻轉，減少模型未能準確理解左右方向造成的版面問題。

一次生成整卡仍然受模型隨機性影響，角色姿勢、表情或物件位置未必逐格穩定。對需要固定構圖的團隊，逐格生成及排版流程會較可靠；工作台亦可逐格替換素材及微調裁切。README 未提供量化評測，因此較適合 ComfyUI 創作者、遊戲角色設計師同視覺內容團隊，以工作流方式驗證產出質素。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Image, 提示詞, Content Creator, 庫

---

WeVisOne-VL 整合多種視覺任務

2026 年 10 月 24 日 Share to X Facebook Copy link

由座標定位延伸至遮罩與透明度摳圖，WeVisOne-VL 把多種視覺任務整合在一個模型，並以輕量解碼器處理像素輸出。

要在一張圖中找出物件、讀取文字，再按需要輸出座標、遮罩或透明度邊緣，WeVisOne-VL 把物件層級與像素層級工作整合為視覺語言模型（Vision-Language Model，VLM），適合標註及影像檢查流程。

模型建基於 Qwen3-VL，以 structured next-token prediction 生成定位結果：座標 token 表示點與框， token 則觸發像素解碼器。解碼器只有 9.6M 參數，重用 Vision Transformer（ViT）特徵，不需 Segment Anything Model（SAM）或外置分割骨幹，可輸出二值遮罩與連續 alpha matte。

任務涵蓋物件偵測、指稱定位、計數、指點、光學字元辨識（Optical Character Recognition，OCR）、指稱分割及 promptable alpha matting；找不到指定目標時會回傳 None，減少虛構定位。需要在同一流程處理定位、分割與前景摳圖的團隊，可評估它是否適合自身資料和任務。

• 提供 2B、4B 模型權重、推理套件、Cookbooks、Gradio 示範及評測流程。
• 微調程式碼尚未提供；資料亦未列出硬件需求或逐步安裝方式。
• 項目在 30 多項基準測試領先。

項目主頁 · GitHub

Categories: 開源, 騰訊, 模型, 視覺模型, 多模態模型, Qwen, 微軟, Image, Medical醫學

---

AnyGameRenderer 把粗糙遊戲錄影變成可玩風格畫面

2026 年 10 月 24 日 Share to X Facebook Copy link

由灰色方塊與代理色組成的遊戲錄影，配合文字提示即可重繪成不同風格，同時保留角色、物件數量與動作時間。

遊戲原型仍是灰色方塊、彩色幾何體，AnyGameRenderer 就能把一段 24 fps、2 至 15 秒的普通影片，重繪成 AAA 寫實、LEGO、Ghibli、蠟筆或 synthwave 等風格。它屬於生成式影片模型，處理的是「畫面變漂亮後，角色位置、數量和出現時間仍要對得上」的問題。

輸入不需要逐物件標籤、引擎掛鈎或固定遊戲引擎格式，wireframe、semantic map、粗略 3D mockup、彩色 primitive 和 engine whitebox 都可作為來源。單一 checkpoint 已涵蓋 tower defense、kart racing、shooters、survivors-like 和回合制戰鬥等類型，適合 AI 遊戲生成工具、原型展示和美術風格探索。

• 保留 entity correspondence，細小及遠距離物件較不容易消失
• 文字提示可改變整體美術風格，同一段輸入可產生多種世界觀
• 以 entity-level benchmark 評估，而非只看逐幀畫面相似度
• LoRA 訓練尺寸為 1344×768、124 frames；更長影片可執行，但未按該長度訓練

59 個測試案例、753 個 ground-truth entities 中，temporal match 由 zero-shot base 的 50.9% 升至 62.9%，position match 由 57.1% 升至 61.9%；未渲染率由 4.1% 降至 2.9%，hallucination rate 由 52.1% 降至 46.0%。提升仍未代表每個物件都能穩定對齊，長片段和高密度場景仍需檢查輸出。

需要 Python 3.10、PyTorch 2.9.1+cu128 等環境資訊，以及 setup_env.sh 和權重下載流程；完整執行仍需要相應 GPU 環境。項目同時公開模型與資料集連結，較適合希望把可玩原型快速轉成視覺樣片的開發者和研究團隊。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Video, 工具, 3D, Python, 編程, Dataset 數據集, LoRA

---

RouteWeaver：先選工作方式，再決定呼叫哪些模型

2026 年 10 月 24 日 Share to X Facebook Copy link

同一個問題未必適合只問一次、逐步追問或交由多個角色協作。RouteWeaver 把「如何組織模型呼叫」也交給路由策略判斷，並以成本回饋約束選擇。

遇上簡單查詢，多輪推理可能徒增成本；碰到程式或需要拆解的任務，只呼叫一次模型又可能不夠。RouteWeaver 是一個大型語言模型路由框架，讓單一策略先選擇單輪、多輪或 agentic 執行模式，再安排工作模型處理子問題，嘗試同時照顧答案品質與呼叫成本。

路由策略採用 Qwen3-4B-Instruct-2507，並在六個凍結的工作模型之間分配任務。所有模式共用一套行動格式：單輪只呼叫一次；多輪會按前一次觀察結果作出兩至四次連續呼叫；agentic 模式則可在最多八次呼叫中，以角色和參照關係組織多層協作。工作模型的輸出只作為策略的上下文，不會直接接受梯度更新。

訓練方法 COMET-GRPO（COordinated Mode–Execution Training）分開比較模式選擇和模式內執行，避免只看整段任務的獎勵時，難以判斷失誤源於選錯模式，還是執行不佳。漸進式探索會先由外部指定模式，待各模式累積執行經驗後，才逐步交由策略自行選擇；另一項獎勵則把成本納入考量，令路由器不只追求答案表現。

這套做法適合需要按任務難度調整模型呼叫流程的研究團隊，以及同時處理查詢、數學、程式和知識任務的服務。單輪模式可減少簡單工作的額外呼叫；多輪及 agentic 模式則提供分步推理或角色協作空間。代價是增加了路由策略與執行流程的訓練、協調複雜度，而成本獎勵也不能單獨保證每個任務都會選到最合適模式。

• 一個策略同時決定執行模式及工作模型路由。
• 六個工作模型保持凍結，策略負責編排呼叫與整理答案。
• COMET-GRPO 分開給模式決策和模式內執行評分。
• 成本獎勵與漸進式探索，分別處理資源取捨及模式探索。

程式碼、訓練後的路由器及項目頁已公開；提供模型與資料入口。先理解方法及評估設定，再按公開程式與模型資料判斷是否符合自己的任務。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, 框架

---

Verus-Insight 分析可見瑕疵：影片真假判斷有跡可尋

2026 年 10 月 24 日 Share to X Facebook Copy link

Verus-Insight 不只判斷影片是真還是假，亦會逐步規劃檢查項目、核實畫面證據，再整理成結構化結論。這套開源模型適合研究影片偽造分析及可解釋檢測的團隊評估。

檢查 AI 生成影片時，單有真假標籤未必足以說明判斷依據。Verus-Insight 是一個影片瑕疵檢測模型，會按影片內容制定檢查準則、核實畫面中是否看得到相關瑕疵，再把觀察結果整合成真假判斷，讓分析不只停留在分類結果。

模型建基於 Qwen3-VL-8B-Instruct，採用「檢查規劃、證據核實、證據整合」流程。訓練方法以人工標註作錨點，涵蓋 Context → Rubric → Audit → Aggregation；這套流程旨在讓模型按影片內容提出檢查項目，並以可見證據支持結論。程式庫提供的是推理版本，並非可直接執行的訓練套件。

Verus-Bench 包含 192 段真實及 AI 生成影片，各佔 96 段，另有 320 項人工標註瑕疵，分屬 17 個類別。資料集可用來檢視模型能否找出細節瑕疵，但目前提供的資訊沒有列出具體評測分數，因此不宜據此判斷它比其他模型準確多少。

程式庫支援 Transformers、vLLM 推理，亦提供影片、圖片或影格序列輸入，以及批次推理與結果續跑功能。使用者可按文件準備 Linux、CUDA 環境並下載模型；Transformers 測試配置使用一張 H100 80GB GPU，但這只是已驗證配置，並非最低硬件要求。程式庫沒有提供訓練指令或訓練配方。

• 適合研究影片偽造、視覺瑕疵分析及可解釋檢測的團隊。
• 可由單一輸入測試，也可批次處理已整理的資料清單。
• Verus-Bench 提供人工標註，方便檢視瑕疵定位與影片層級判斷。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, NVIDIA, Video, Image, Linux, 庫, Dataset 數據集

---

PrismaCoder 的多模態生成

2026 年 10 月 23 日 Share to X Facebook Copy link

多模態程式碼智慧將程式的符號世界與其執行所產生的視覺世界連結起來。

從文字或視覺輸入生成圖表、網頁、示意圖、文件和動畫，PrismaCoder 是一系列開放的多模態程式碼模型，處理的不只是程式能否執行，也包括輸出畫面是否符合要求。這對需要快速製作圖表、前端介面或科學文件的開發者和研究團隊，提供了涵蓋多種視覺程式任務的模型選擇。

它的訓練流程 PrismaForge 會為每項指令建立評分規準，分開檢查程式碼與渲染結果，再用相同規準篩選訓練資料及提供強化學習獎勵。這做法把「程式寫得對」和「畫面呈現得對」分開衡量，減少只靠整體印象評分所帶來的偏差。

模型以 Qwen3.5 為基礎，提供 9B 和 35B-A3B 兩種規模，並各有監督式微調（SFT）及強化學習（RL）版本。PrismaCoder-2M 資料集涵蓋圖表生成與重建、網頁介面、互動示範、向量圖像、科學文件及化學圖形等任務；評估工具包括 VisPlotBench 和 ChemDraw。

• PrismaCoder-9B 的 SFT 與 RL 權重均可取得；35B-A3B 的 RL 權重仍在上載中。
• 項目網站稱模型在圖表、前端頁面和半結構化文件任務中領先開放模型，並能匹敵或超越部分專有系統；具體分數需查看網站或論文。
• 儲存庫已提供格式專屬執行與渲染檢查、多模態資料合成，以及 Python、SVG、HTML 的文字評分工具；PrismaForge 完整評分與資料篩選流程，以及 SFT、RL 訓練腳本仍未完成。

模型權重和資料集可經 Hugging Face 項目頁取得；不過，儲存庫目前未提供完整訓練流程，35B-A3B 的 RL 權重亦未上架。想先驗證生成品質的團隊，可參考 VisPlotBench、ChemDraw 評估程式和互動示例；若要自行重現訓練，則要留意腳本尚未開放。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, Image, 工具, Python, 庫, 動畫, Dataset 數據集, 強化學習

---