InferNews

WeVisDoc 騰訊文件圖片的端到端解析模型

Share to X Facebook

騰訊 WeChat Vision 團隊開源 WeVisDoc 系列文件解析模型，以「先擴廣覆蓋、再針對性補強」的兩階段訓練框架，在 OmniDocBench v1.6 與多個 PureDocBench 軌道同時刷新端到端解析器紀錄。

WeVisDoc-4B leads the compared end-to-end parsers across all four reported settings.

當一份文件同時夾雜模糊掃描、手寫註記、複雜表格與數學公式時，多數 OCR + 版面分析的流水線都會在交接處出錯——模型間責任不清，錯誤層層放大。騰訊 WeChat Vision 團隊開源的 WeVisDoc 系列正正針對這個痛點，把「文件頁 → 結構化 Markdown（含 LaTeX 公式、HTML 表格）」收進單一端到端模型，避免不同模組互相推卸責任。

WeVisDoc 推出 2B 與 4B 兩款模型，皆以 Qwen3-VL 為基座微調而成，覆蓋文字、公式、表格與閱讀順序四個維度。訓練方法分兩階段：Stage I 先擴大語義、結構、外觀三方面的數據覆蓋；Stage II 則用殘差診斷找出 Stage I 仍出錯的樣本，針對性地補充與重新分配訓練數據。這套做法與單純堆數據量的路線不同——它把精力集中在模型最容易跌倒的角落。

在 OmniDocBench v1.6 上，WeVisDoc-4B 取得 95.38 的 Overall 分數，三條 PureDocBench 軌道的平均分為 75.54，均為目前端到端解析器的最佳成績。在更貼近真實擷取條件的 PureDocBench Real（模擬四次實體拍攝劣化）上，相對次強基線仍拉開 1.44 分，是四個比較場景中差距最大的一項，正好對應 Stage II「在真實擷取最難看的外觀變化上獲得最大增益」的設計初衷。

對需要把大量歷史紙本文件、學術論文、表格報表轉成結構化內容的研究團隊與企業來說，WeVisDoc 提供了一個開源、可在本地用 GGUF 等格式部署的小模型選項。模型現已上載 Hugging Face，並附技術報告與互動式 Recovery Lab，方便逐頁對比 Stage I 與 Stage II 修復了哪些具體錯誤（例如被漏掉的 9×9 數獨格線）。

  • 騰訊 WeChat Vision 團隊開源的端到端文件解析模型，2B／4B 兩個規模，皆基於 Qwen3-VL 微調
  • 兩階段「數據中心」訓練框架：Stage I 擴大覆蓋、Stage II 以殘差診斷針對性補強
  • 輸出結構化 Markdown，內含 LaTeX 公式與 HTML 表格，涵蓋文字、公式、表格、閱讀順序四維度
  • WeVisDoc-4B 在 OmniDocBench v1.6 與三條 PureDocBench 軌道均居端到端解析器首位
  • 開源釋出模型權重、技術報告與互動式範例頁，方便逐頁審視修復效果

項目主頁 · GitHub

Categories: 開源, 騰訊, 模型, 模型訓練, Qwen, 框架, Dataset 數據集

[技術文章] DeepSeek-V4.1-Flash 百萬上下文 KV Cache 壓到四分之一

Share to X Facebook

百萬 token 上下文背後最大的成本壓力來自 KV cache。DeepSeek-V4.1-Flash 用 CED 架構配合 CSA2，將每個 token 的記憶體用量壓到大約 890 bytes。

Hero image preview

長文 agent 跑得愈久，KV cache 累積得愈快，HBM 容量、頻寬、SSD 傳輸成本幾乎同步飆升；DeepSeek 團隊認為，這才是 scaling down 長上下文部署成本的主要瓶頸，而不單是推論計算本身。

為處理這道難題，DeepSeek-V4.1-Flash 採用 Causal Encoder-Decoder（CED）架構：prefill 階段啟用 8B 參數，decode 階段啟用 16B 參數，讓輸入極長但輸出相對短嘅 agent workload 成本結構更友善。Backbone 規模去到 552B，並支援長達一百萬 token 嘅上下文。

記憶體方面，Compressed Sparse Attention 2（CSA2）加入跨層 KV cache reuse 與分層稀疏 indexer，再搭配 FP4 KV cache，使常駐 HBM 嘅 global KV cache 降到每個 token 約 890 bytes，相對 V4-Flash 縮減約四倍、相比 V1 更達到 437 倍幅度。透過 SWA Bounded Replay 部署優化，落在 SSD 或 host memory 嘅 persistent footprint 更壓到大約 V4-Flash 嘅八分之一。即使 cache 大幅縮減，模型在 agentic 基準上仍比 baseline 表現更好。

預訓練採用 45T token 嘅多模態語料，後訓練亦經過完整流程，使 V4.1-Flash 在文本與多模態 agent 場景都保持穩定輸出。模型 checkpoint 已於 Hugging Face 開源，可供社群自行部署驗證。

  • 552B 參數 MoE 骨幹，支援 100 萬 token 上下文。
  • CED 架構令 prefill 僅啟用 8B 參數、decode 啟用 16B 參數。
  • CSA2 + FP4 KV cache 將 global KV cache 壓至 890 bytes/token。
  • SWA Bounded Replay 進一步將 persistent KV cache 降至 V4-Flash 約 1/8。
  • 45T token 多模態預訓練 + 完整後訓練，agentic 表現優於前代。

Paper

Categories: 開源, 模型, DeepSeek

GPT-Policy 把 VLM 變現場教練

Share to X Facebook

GPT-Policy 讓固定的視覺語言模型在現場讀懂示範影片、目標圖與互動回饋，直接輸出可執行的機械臂動作，省去微調與重訓成本。

GPT-Policy wordmark

機械臂要適應新任務，傳統做法往往是收集大量數據再微調模型，成本高且迭代慢。GPT-Policy 走另一條路：保留一個固定的視覺語言模型（VLM）作為決策核心，現場把任務指令、示範影片、目標圖像、過往觀察與執行回饋打包成單一輸入，讓模型一次輸出一個結構化動作請求，再交給專屬的硬件適配器（adapter）驗證並執行。

的關鍵在於「context compiler」與「constrained controller」的分工。前者負責保留示範中與任務相關的視覺轉折，後者則檢查動作是否安全、可執行，並回報結果給 VLM 進入下一輪決策，整個過程沒有梯度更新，也不需要為新任務調整參數。對於 ARX X5 與 I2RT/YAM 兩款機械臂平台，項目已提供對應的適配器，支援笛卡兒目標、waypoint 序列、順序 IK 檢查、夾爪控制，以及 append-only 的運行記錄，方便日後追溯。

從結果來看，團隊在真實機械臂試驗中發現，即使只有人類影片而無機械臂動作標記，GPT-Policy 仍能改善任務完成率；若加上對齊的動作參考，表現會進一步提升，尤其在接觸敏感的任務上更明顯。對比同類做法，GPT-Policy 沒有走端到端策略網絡的路線，而是把通用 VLM 的推理能力當作即插即用的策略模組，取捨是更依賴適配器與閉環回饋的工程品質。

適合使用的場景包括：研究 VLM 與機器人結合的團隊、需要快速讓機械臂適應新任務示範的實驗室，以及想評估「不重訓」路線可行性的工程團隊。目前的限制在於硬件覆蓋仍集中在兩款臂，且效能高度取決於上下文編譯器能否保留關鍵視覺資訊。

重點摘要：

  • 固定 VLM 即決策核心：不微調、不重訓，靠現場上下文即時生成動作
  • context compiler + controller 雙層架構：前者保留任務相關視覺轉折，後者驗證並執行
  • 支援 ARX X5 與 I2RT/YAM：提供笛卡兒目標、IK 檢查、夾爪控制等適配器
  • 人類影片已能改善任務成功率：對齊動作參考後表現更穩，尤其接觸敏感任務
  • 定位為研究框架：適合探索通用模型在實體機器人上的即時學習能力

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, Video, Image, 影像處理, Robotic, 框架, 安全

PANORAMA 把場景描述逐個詞對應到像素

Share to X Facebook

Inria 與捷克理工合作開源的 PANORAMA，能為整個場景生成描述並把每個實體精確對應到像素遮罩，並同步釋出近全幅覆蓋的人工標註基準 PanoCaps。

PANORAMA compared with prior grounded captioning models, in and out of domain

現時的視覺語言模型（VLM）寫得出漂亮描述，卻往往無法把句子裡的物件真正對到像素，導致「說的是一回事、畫出來又是另一回事」。PANORAMA 想處理的是 panoptic grounded captioning：模型要不只描述前景物件，還要連背景區域都講清楚，並為每個提到的實體給出像素級遮罩。

做法上，它把短語定位（phrase grounding）重新定義成「從短語條件化的遮罩提案池中挑選」。預訓練分割器根據每個短語的上下文表徵生成候選遮罩，模型再從中選出真正對應的那一塊，無論是單一區域、多個實例，或根本沒有對應都涵蓋在內。這樣把分割與語言生成用同一介面聯合訓練，文字與遮罩就不再各說各話。

配套資源同樣在 Hugging Face 公開：PanoCaps 約有 3.5K 張圖片、34K 個遮罩和 17.9K 條獨立短語，參照區域覆蓋近 99% 像素；COCONut-PanCap-Recaptioned 提供 118K 張訓練圖的重新標註；MRSeg-Referring-Expressions 則帶來約 101K 條改編自 SegLLM 的單輪指代表達。評估端還提出 generalized Panoptic Quality（gPQ），把文字與遮罩的一致性納入單一指標。實驗結果顯示，PANORAMA 在 PanoCaps 上整體定位表現最佳，並在多個像素級任務上與專門模型持平或更強。

這個項目適合以下情境：

  • 做機器人感知或場景理解的研究團隊：需要模型同時提供自然語言描述與實例級遮罩，減少對接多個模型的成本
  • 訓練數據匱乏的多模態團隊：PanoCaps 與兩份重新標註集合計逾十萬張圖，可直接用作訓練或微調
  • 需要精細指代（referring expression）任務的工作：MRSeg-Referring-Expressions 提供多粒度指代表達，比單一句式更有助泛化
  • 對 VLM 評測有疑慮的研究者：gPQ 指標把文字與遮罩綁定，避免「描述漂亮但對錯位置」的高分陷阱

對想直接跑實驗的人，訓練、微調與評估程式碼已隨倉庫釋出；模型權重則透過 Hugging Face 取得。如果你關心的是 VLM 能否真正「看懂」場景而不只是寫句子，這套統一框架比多數把描述與分割拆開處理的方案更接近落地需求。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Image, 框架, 庫, Dataset 數據集

ActionPiece：設計動作分詞器，幫機械人學得更穩

Share to X Facebook

可以把 ActionPiece 理解為一個專給視覺語言動作模型用的動作編碼器，特別針對自回歸生成時動作細節流失的問題，強調保留物理距離的先後關係。

DeepCybo, Zhongguancun Academy, and Zhongguancun Institute of Artificial Intelligence

當自回歸視覺語言動作模型（VLA）把機械人動作切成離散 token 再一個個吐出來，最大的隱性成本往往不是單一動作的誤差，而是相鄰動作之間的物理距離被打亂。ActionPiece 正是針對這個卡位設計：它把動作切成一塊八步的短序列，每塊壓成 16 個離散 token，並要求 tokenizer 不只重建動作，還要保留「物理排序一致性」（physical rank consistency, PRC）。換句話，兩個本來很接近的動作，編碼後的距離也要維持接近；兩個本來很遠的動作，編碼後也要維持較遠。這種監督讓 token 表徵本身帶有物理結構，而不是純粹的重建損失。

在 Libero、Libero-Plus、SimplerEnv 與 VLA-Arena 四組基準上，ActionPiece 配合 Qwen3-VL-4B 作為策略骨幹，跑出 94.8%、68.8%、71.9%，以及 VLA-Arena L0 至 L2 平均 51.5% 的成功率。Libero-Plus 的訓練刻意排除其示範數據，因此這項成績更能反映遷移表現，而不是單純記住示範。從結果可以看到，重建保真度與 PRC 之間並非完全等價：有些 tokenizer 重建得很好，但鄰近關係一塌糊塗，部署成功率也跟著掉。ActionPiece 把「物理排序保留」與「碼字分配的量化正則化」綁在一起訓練，正好同時壓住這兩個問題。

這個項目的實際意義，是給正在做 VLA 研究的團隊一個可直接替換的動作 tokenizer，無需重寫策略架構。對關注 SimplerEnv 真實遙操作或 VLA-Arena 跨平台泛化的工程師來說，這類保留物理關係的分詞方式，會比純重建式 tokenizer 更貼近控制任務的需求。PhysBrain 1.5 也採用了 ActionPiece 作為動作 tokenizer，顯示它已不只在論文層面，而是走進實際模型發佈。

要真正評估它，比較合理的做法是把它接進自己的 VLA 流程，比對換 tokenizer 前後的策略成功率與 PRC；單看 Libero 94.8% 容易被低估，因為重建誤差小的 tokenizer 不一定保留鄰近結構。原始程式碼與 PhysBrain 1.5 的權重將在官方頁面釋出，想搶先試的人可以先讀論文並鎖定後續更新。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, VLA, Robotic, Dataset 數據集

ScienceIDE 把科學模擬變成 AI agent

Share to X Facebook

ScienceIDE 用 64 個科學模擬環境訓練 agent 修 bug、重寫函式，並釋出 4B、9B、72B 三個模型。你可以把它理解成：用真實物理模擬的數值對不對，來判斷 AI 改程式改得啱唔啱。

ide overview

大多數 code agent 訓練環境用靜態單元測試或合成題目，ScienceIDE 走一條更狠嘅路：直接搬真實科學模擬器入嚟做試煉場，等 agent 改動 pinned、未經修改嘅上游源碼，再由 verifier 重新編譯並跑原本嘅物理 case，數值要對得返先算過。換句話，reward 唔係「diff 似唔似」，而係「模擬結果啱唔啱」。呢套框架對工程團隊同做 AI for Science 研究嘅人特別有用，因為佢直接量度 agent 對物理計算嘅影響，而唔係紙上談兵。

項目提供 64 個環境同 85 條 ScienceIDE-Hard 任務，已公開 15 個，全部都附帶可量度嘅難度指標（未修復分數、編輯點數量、驗證成本、通過率），避免人為標 difficulty。Reward 設計亦幾巧妙：untouched repository 一定攞零分，等模型必須真係做嘢先有分。

團隊同時釋出 PhAI-IDE-4B、9B、72B 三個模型，覆蓋唔同算力預算。從結果睇，SFT 後 PLUTO-Particles-Dust 由 0.0 跳到 0.33；Qwen3.5-4B 經 30 步 RL，LAPS 由 0.357 升到 0.857，MITgcm-biogeo 由 0.286 升到 0.571。訓練用科學 code 唔止提升呢類任務，亦帶動一般 benchmark：CodeXGLUE defect detection +6.99pp，BBH Word Sorting +36pp。

要部署嘅人最直接嘅入口係 Hugging Face 嘅 model collection 同 GitHub repo；想理解 reward 邏輯同難度定義，paper 同項目頁有完整交代。訓練數據、開發環境同 verifier 開源，等社區可以喺真實科學 codebase 上繼續 scale up。

重點摘要：

  • 真實物理模擬做 reward：agent 改動上游源碼後，verifier 重編譯並比對物理 case 數值，唔靠 diff 相似度。
  • 64 個環境、85 條 Hard 任務：已開源 15 個，難度由可量度指標自動決定，唔靠人手標 label。
  • 三個模型規模：PhAI-IDE-4B、9B、72B 覆蓋唔同算力，訓練設定與評估條件一致。
  • 科學任務外溢到通用 benchmark：CodeXGLUE defect detection +6.99pp，BBH Word Sorting +36pp。
  • 完整開源鏈：code、environments、tasks 同模型權重同步釋出，方便研究團隊複製同擴展。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, 框架, IDE, Dataset 數據集

ComfyUI-FL-YuE2：ComfyUI 內砌歌：FL YuE2 把樂譜編輯、AI 作曲、LoRA 訓練三件事接起來

Share to X Facebook

ComfyUI-FL-YuE2 是一組節點，把 YuE2-3B 音樂模型包進 ComfyUI 工作流，讓你用鋼琴卷軸寫樂譜、灌歌詞，最後輸出 48 kHz 立體聲成品，亦支援 AR LoRA 訓練。

YuE2 inference workflow in ComfyUI

以往想在 ComfyUI 玩音樂生成，往往要面對幾個卡位：要自行接 YuE2 的推理指令、要另外找譜面編輯工具、想做 LoRA 微調更要跳出 ComfyUI 自己搞訓練腳本。FL YuE2 嘗試一次解決這三件事，把樂譜編輯、AI 作曲、AR LoRA 訓練全部接成節點流程，對熟悉 ComfyUI 圖形化工作流的用家算是頗順手的整合。

項目核心是一個可視化鋼琴卷軸編輯器，支援點擊加音、Shift 框選、箭頭鍵移動、Undo/Redo 等基本操作，並提供 Instrumental 或 Sung 旋律模式。和弦面板可摺疊，匯入的 ABC 樂譜會保留 slash chord 等進階標記。換 Key 時同時處理旋律與和弦根音，最短轉調、超出音域會直接拒絕而非裁切音高，設計上偏向「樂理正確」多於「暴力生成」。

音訊輸出走 YuE2-3B 加獨立 VAE 解碼器，產出 48 kHz 立體聲，內建瀏覽器合成器可預覽節段節拍，但並非最終成品音色。LoRA 訓練流程則提供數據集檢視與 checkpoint 預覽，方便用家挑選權重繼續微調。

重點摘要
– 屬於 ComfyUI 自訂節點套件，整合 YuE2-3B 音樂生成與樂譜編輯
– 鋼琴卷軸支援框選、群組移動、Undo/Redo，轉調按樂理而非裁切處理
– 推理與 AR LoRA 訓練共用同一組節點，方便迭代
– 需 NVIDIA GPU 支援 BF16，已驗證 RTX PRO 6000 Blackwell，其餘 24 GB 配置未經驗證
– 首次執行約下載 7.8 GB 模型權重，支援中斷續傳與離線模式

適合已有 ComfyUI 基礎，又想嘗試可控音樂生成或自訓風格 LoRA 的用家。注意目前僅在 Windows + Python 3.12 + Torch 2.11 環境驗證，跨平台或較舊 GPU 仍需自行測試。

GitHub

Categories: 開源, ComfyUI, 模型, 模型訓練, NVIDIA, Audio, Python, 音樂, Dataset 數據集, 廣東話

LynnReal-Omni 把十幾種影片任務塞進一個 32B 模型

Share to X Facebook

一個 32B 多模態擴散 Transformer，同時做文字生影片、圖生影片、動作控制、風格遷移、影片修復同長影片串流。Flash 版本更可喺單張 H100 上 377 毫秒出 22 帧 540p 短片。

LynnReal-Omni — Standard four-step and Flash three-step multimodal generation

LynnReal-Omni 想解決嘅，係影片生成工具鏈最煩嘅一件事：每加一個任務（動作控制、參考影像、風格遷移、編輯、修復）就要疊多一個模型或多一套 pipeline。作者選擇用一個 32B 共享多模態擴散 Transformer（跟 MiniMax H3 架構）一次過承載文字生影片、圖生影片、人體與手部姿勢控制、結構控制、omni-reference、風格遷移、影片編輯、退化影片修復，以至串流式長影片生成，仲可以接駁外觀參考、可編輯 3D render、遊戲錄影等異質輸入，等 Agent 可以喺同一個模型內組合視覺條件。

對比同類做法，最大差異係「統一框架」而非「任務專用模型」。每個源帧獨立編輯再組裝成無聲 24fps 影片，每帧只需四次 DiT forward，120 帧即 480 次 forward。輸入限制清楚：24fps、寬高需為 32 倍數、目前只支援 768p（1344×768 起手）。獨立逐帧編輯會帶來亮度或形狀嘅帧間抖動，作者亦坦白標示為已知限制。

對短片創作者、遊戲或 3D 團隊、Agent 開發者來講，好處係少咗一套模型接駁嘅工程成本；Agent 可以直接用外觀參考同 3D render 嚟組裝條件。Flash 版本（27B、三步生成、輕量 VAE decoder）將單張 H100 上 22 帧 540p 由 843 毫秒壓到 377 毫秒，為實時或互動應用鋪路。

項目已提供 ComfyUI workflow 涵蓋 t2v、i2v、r2v、pose2v、v2v 幾個入口，但作者明言仲係早期 beta，質量、兼容性同 bug 仍然存在，訓練代碼、部分訓練數據同更高效 DiT 預計稍後釋出。打算用佢做關鍵流程嘅團隊，宜先以小批量預覽（--indices 0,24,48 --keep-clips）確認穩定性再評估是否引入生產。

重點摘要：
– 一個 32B DiT 模型覆蓋十幾種影片任務，Agent 可直接組合異質視覺條件
– 每源帧四次 DiT forward，120 帧共 480 次；輸入限 24fps、寬高需 32 倍數、768p
– Flash 版本用 27B 加輕量 VAE，單張 H100 上 22 帧 540p 暖機生成耗 377 毫秒
– 獨立逐帧編輯會產生帧間亮度與形狀抖動，屬已知限制
– ComfyUI 支援 t2v、i2v、r2v、pose2v、v2v，目前屬早期 beta，訓練代碼尚未開源

GitHub · 模型

Categories: 開源, ComfyUI, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Image, 框架, 工具, Content Creator, 3D, MiniMax

AlayaVista：全景潛態驅動嘅可串流世界模型

Share to X Facebook

AlayaVista 從一張透視圖出發，建立 360° 全景先驗，再隨鏡頭動態演化作為視點潛態，逐區塊渲染並局部精煉所選畫面，做流暢且高保真嘅可控影片生成。

AlayaVista evolves panoramic states under camera control and renders and refines the requested perspective views.

想由一張普通圖片，邊拉鏡頭邊即時生成高質影片，而又唔丟失 360° 場景記憶？AlayaVista 就係為呢個矛盾而設計——佢屬於世界模型（World Model）類研究原型，處理嘅係可控、可串流嘅影片生成問題。

核心做法分三步：先用一張透視圖估出完整 360° 全景先驗，模擬出 VR 風格嘅場景記憶；之後鏡頭控制訊號會驅動呢啲全景潛態持續演化，保持全局一致性；最後系統只渲染用戶當前視角所在嘅區域，並用潛態視口渲染與局部精煉做高保真合成。為咗兼顧速度與質素，佢採用 chunk-autoregressive 逐區塊自迴歸生成，配合少步蒸餾（few-step distillation），令串流過程唔使逐幀重頭計，全部運算力集中在真正需要輸出嘅視窗。

比起傳統逐幀擴散或全景一次性輸出嘅做法，呢種「全景當記憶、視口當輸出」嘅分工換嚟兩個明顯取捨：視窗畫面更銳利、代價係鏡頭一轉就要重新做視口對齊；同時間全景一致性同幀率都受惠於 chunk 邊界設計，對長鏡頭平移類場景特別友好。

幾個重點摘要：

  • 全景記憶 + 局部渲染：以 360° 全景潛態維持場景上下文，鏡頭視口獨立精煉，避免整段重算。
  • 鏡頭可控串流：支援 user-controlled camera 訊號輸入，邊互動邊生成適合遊戲引擎、VR 預覽或 cinematic pre-vis。
  • 效率設計：chunk-autoregressive 加 few-step distillation，專注運算力於選定視窗。
  • 仍屬研究階段：roadmap 列明推理代碼同預訓練權重尚未釋出，目前只可睇 paper 與 project page 嘅 demo。

呢類模型對做互動敘事、VR 內容預覽、遊戲關卡 walkthrough 嘅團隊最有直接參考價值，因為佢直接處理「鏡頭會行、背景要穩」呢個常見卡位。對純做離線一鍵出片嘅用家嚟講，呢類串流設計嘅優勢未必即刻見效，但對需要低延遲、長時序一致嘅創作流程，呢條技術路線值得留意。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 視覺模型, 視頻模型, 世界模型, Video, Image, 框架, 教學

HazardAuditor 判斷 Computer Use Agent 嘅執行點解會做錯

Share to X Facebook

當 AI Agent 讀檔、呼叫工具、發出請求，一連串看似無害嘅步隨時喺串連成軌跡後先變得危險。HazardAuditor 正正針對呢個盲點，把整段執行紀錄一齊審核再落判決。

HazardAuditor overview

電腦操作代理（computer-use agents）嘅安全漏洞，往往唔係一句指令有幾惡毒，而係連串看似平凡嘅讀檔、工具呼叫同外部請求喺執行軌跡中先浮現成危險。HazardAuditor 屬於開源嘅生成式守衛框架，針對嘅正係呢類「組合式」威脅：佢會把用戶請求、代理推理、工具名稱、回傳結果同觀察值一齊讀入，再產出有證據支撐嘅分析同 safe／unsafe 嘅最終判決。

同傳統內容過濾最大嘅分別，係佢唔再單睇字眼，而係睇代理「實際做咗咩」。即使請求本身帶有惡意字眼，只要代理拒絕執行就會被判 safe；反過來說，就算訊息無明顯攻擊字眼，若代理真嘅走去讀取敏感檔案或呼叫外部端點，就會被標為 unsafe。呢種行為導向嘅判準，令審計結果貼近真實風險，而非停留喺字面審查。

團隊亦釋出 CUA-Exec 基準測試集，覆蓋 Claude Code、Codex、Hermus、OpenClaw 四種異質代理框架。HazardAuditor 喺 Claude Code 取得 94.00% 準確率，Codex 更達 95.50%，比原有最佳守衛分別提升 12.5 同 4.0 個百分點；其中針對 OpenClaw 嘅改進幅度最大，達 +16.5。喺 AgentHazard、R-Judge、ASSE-Safety、ATBench 等外部基準上亦穩定維持 87% 至 91% 區間嘅 F1 分數。模型權重同 GuardPO 訓練方法已開源，Apache-2.0 授權，研究同企業團隊可以直接接入自有多代理系統做執行期審計。

重點摘要

  • 軌跡級審計：同時讀取請求、推理、工具、參數同環境觀察，避免孤立地評估單段文字。
  • 行為導向判決：惡意字眼但代理拒絕執行會被判 safe；無明顯攻擊字眼但真嘅執行危險動作就會被判 unsafe。
  • 可解釋理據：每次裁決都會列出執行證據，方便事後追溯同審計。
  • 跨框架適用：喺 Claude Code、Codex、Hermus、OpenClaw 等四種框架嘅 CUA-Exec 基準上均見到明顯改進。
  • 開源易接入：模型權重、訓練方法 GuardPO 同 Apache-2.0 授權齊備，適合代理產品研發同安全團隊做執行期防護。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, 框架, 工具, 安全, OpenClaw
Page 22 of 59
1 … 20 21 22 23 24 … 59