InferNews

HazardAuditor 判斷 Computer Use Agent 嘅執行點解會做錯

Share to X

當 AI Agent 讀檔、呼叫工具、發出請求，一連串看似無害嘅步隨時喺串連成軌跡後先變得危險。HazardAuditor 正正針對呢個盲點，把整段執行紀錄一齊審核再落判決。

HazardAuditor overview

電腦操作代理（computer-use agents）嘅安全漏洞，往往唔係一句指令有幾惡毒，而係連串看似平凡嘅讀檔、工具呼叫同外部請求喺執行軌跡中先浮現成危險。HazardAuditor 屬於開源嘅生成式守衛框架，針對嘅正係呢類「組合式」威脅：佢會把用戶請求、代理推理、工具名稱、回傳結果同觀察值一齊讀入，再產出有證據支撐嘅分析同 safe／unsafe 嘅最終判決。

同傳統內容過濾最大嘅分別，係佢唔再單睇字眼，而係睇代理「實際做咗咩」。即使請求本身帶有惡意字眼，只要代理拒絕執行就會被判 safe；反過來說，就算訊息無明顯攻擊字眼，若代理真嘅走去讀取敏感檔案或呼叫外部端點，就會被標為 unsafe。呢種行為導向嘅判準，令審計結果貼近真實風險，而非停留喺字面審查。

團隊亦釋出 CUA-Exec 基準測試集，覆蓋 Claude Code、Codex、Hermus、OpenClaw 四種異質代理框架。HazardAuditor 喺 Claude Code 取得 94.00% 準確率，Codex 更達 95.50%，比原有最佳守衛分別提升 12.5 同 4.0 個百分點；其中針對 OpenClaw 嘅改進幅度最大，達 +16.5。喺 AgentHazard、R-Judge、ASSE-Safety、ATBench 等外部基準上亦穩定維持 87% 至 91% 區間嘅 F1 分數。模型權重同 GuardPO 訓練方法已開源，Apache-2.0 授權，研究同企業團隊可以直接接入自有多代理系統做執行期審計。

重點摘要

  • 軌跡級審計：同時讀取請求、推理、工具、參數同環境觀察，避免孤立地評估單段文字。
  • 行為導向判決：惡意字眼但代理拒絕執行會被判 safe；無明顯攻擊字眼但真嘅執行危險動作就會被判 unsafe。
  • 可解釋理據：每次裁決都會列出執行證據，方便事後追溯同審計。
  • 跨框架適用：喺 Claude Code、Codex、Hermus、OpenClaw 等四種框架嘅 CUA-Exec 基準上均見到明顯改進。
  • 開源易接入：模型權重、訓練方法 GuardPO 同 Apache-2.0 授權齊備，適合代理產品研發同安全團隊做執行期防護。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, 框架, 工具, 安全, OpenClaw

Ambient CSS 用物理光照重新定義 box-shadow

Share to X

一個以光線方向驅動嘅 CSS 工具庫，唔再需要逐個元素微調 shadow-sm、shadow-lg，所有陰影同邊緣高光會跟住同一個光源自動生成。

A hardware panel raytraced in Blender, rotating to a flat-on view, then wiped across to reveal the same panel rendered b

Ambient CSS 最大嘅改變係將 UI 表面當作真實物料嚟處理。傳統嘅 CSS 陰影階只係裝飾，卡片用 shadow-lg、掣用 shadow-sm，兩個元素之間並無物理關係。呢個工具庫引入咗 key light 同 fill light 兩盞光源嘅概念，所有陰影、邊緣高光、表面漸層都由同一組 CSS 自訂屬性推算出嚟。當你改變容器嘅光線方向，底下每一個子元素都會即時跟住調整，唔使逐個改。

引擎將每個元素拆成五層 box-shadow 合成：方向性嘅 drop shadow、面對光源嘅 fillet 高光、背光邊嘅 fillet 暗影、斜面嘅 chamfer 高光同暗影，加埋材質表面嘅漸層。表面類型分 flat、concave、convex 三種弧度，邊緣可以揀 chamfer、fillet 或 groove，仲有 matte、shiny、glass 呢幾種材質，最後用 elevation 0–3 控製投影高度。所有參數都係用 Blender raytrace 嘅結果做標定。

對一般開發者嚟講，安裝同整合都幾直接。純 CSS 版可以喺 HTML 直接掛入，框架版本分別支援 Tailwind、PureCSS、React 同 React-Bootstrap。命名空間用 .ambient 做容器、再用 .amb-surface、.amb-chamfer-2 等工具類調整細節，常用距離值跟 12／20／32 mm 嘅間距比例，避免頁面入面出現零碎數值。Demo 頁面將 Blender raytrace 同 live DOM 並排展示，幾容易睇出差距。

重點摘要

  • 將 UI 視為真實光照環境，所有陰影、高光、表面漸層由統一光源參數衍生
  • 每個元素由五層 box-shadow 合成，包含 drop shadow、fillet 同 chamfer 嘅高光與暗影
  • 表面類型（flat／concave／convex）、邊緣類型（chamfer／fillet／groove）、材質（matte／shiny／glass）同 elevation 0–3 可自由組合
  • 參數以 Blender raytrace 結果做物理標定，唔係靠肉眼調較 blur 值
  • 支援 PureCSS、Tailwind、React、React-Bootstrap 幾種整合方式

對需要管理大量卡片、面板、控制台介面嘅團隊嚟講，呢套系統可以避免每個設計師各自調較 shadow 嘅問題。對於追求像素級一致嘅硬件風格介面、儀表板或產品頁，效果會特別明顯；但若然你嘅介面本來就偏好扁平設計、唔需要表面弧度嘅呈現，呢層物理光照帶嚟嘅額外 box-shadow 開銷同學習成本就未必值得。

項目主頁 · GitHub

Categories: 開源, 框架, 工具, 庫, UI/UX

jarvis-voice-butler：識睇住嘢同你傾偈 + 開瀏覽器幫你查資料

Share to X

用講嘢就可以叫 AI 幫你上網、搜尋、填表，仲配上一把英式管家口吻。這個項目把 LiveKit Agents、Google Gemini Live 同 Playwright 串成一套聲控代理人。

Repository image for ruxakK/jarvis-voice-butler

聲控助手最麻煩嘅地方，往往係講完一句佢就要重新聽成段指令，又或者根本無法直接代你落手做嘢。Jarvis 直接針對呢個卡位，把 LiveKit Agents 框架、Google Gemini 3.1 Flash Live 即時語音模型，同 Playwright 操控嘅 Chromium 瀏覽器三樣嘢扣埋一齊。你可以理解成一個識講英式冷笑話嘅 AI 管家：你開口叫佢搜尋資料、撳掣、打字、捲頁、讀網頁內容，佢都會即時用「Enceladus」把聲回應你，過程仲支援自適應打斷同搶先生成。

對比起一般只能對答嘅語音 bot，呢個項目最大嘅突破係將語音輸入直接打通到瀏覽器操作層。佢內建十一個工具，包括開網址、搜尋、讀取同檢查頁面、撳掣、打字、捲動、撳掣鍵同截圖，仲有一個 confirm_browser_action 安全閘，去處理會造成實際後果嘅動作，例如提交表單或者刪除資料。視訊鏡頭輸入亦支援，等 AI 可以「睇到」你。

How to build a JARVIS AI Voice Agent for FREE | Full Livekit Tutorial (2026)

如果你想由頭砌起，作者用 uv 管理 Python 依賴，前端就用 Next.js 加 React，而家嘅程式庫亦用 Python 寫評估測試，覆蓋代理行為、瀏覽器操作同 prompt 表現。前端介面跟住會播一段自訂粒子動畫，連 Flutter 手機客戶端都一齊包埋，等你可以用手機當遙控。

呢類項目最適合做內部自動化研究助理，或者需要示範 Computer-use agents（CUAs）點樣融入聲音介面嘅團隊。值得留意嘅限制係實作仍處於早期階段，prompt 同安全策略都係寫死嘅版本，如果你想用佢處理高風險任務，仍然要自行加多一層審批同監察。

GitHub

Categories: 開源, Agentic, Google, Gemini, Audio, 框架, 工具, Python, 庫, 語音, 動畫

MaP-WAM：把記憶變成計劃

Share to X

MaP-WAM 將機械臂長任務拆成「記憶 → 計劃 → 行動」三步，先保留稀疏視覺證據，再壓成固定長度的計劃執行，讓 executor 不再因歷史增長而越來越慢。

Repository image for aipixel/MaP-WAM

做過長任務的 robot policy 都知道，當動作序列拉長，模型要嘛靠語言摘要回憶過去，要嘛硬把一堆畫面塞進上下文，結果前者丟失精確視覺證據，後者則隨步數累積越來越慢。MaP-WAM 走的第三條路：把記憶視為「規劃時的證據」，而非「執行時的負擔」。它由哈爾濱工業大學、南洋理工大學及山東大學等團隊共同提出，屬於 VLA 框架與 World-Action Model 思路的延伸。

主流機器人策略通常採用馬可夫公式，但許多複雜的現實世界操縱任務本質上是非馬可夫的，需要超越當前觀察的長視野記憶。MaP-WAM 的核心分三層：每完成一段任務，便把該段的語言指令與少量真實執行幀打包成 episodic memory；之後由視覺語言模型生成下一段的語言計劃，並由因果世界模型補出對應的視覺引導；最後由 World-Action-Progress（WAP）模型在同一上下文內同時輸出動作 chunk 與進度，再以 plan-observation alignment 校正遞迴估計、以 progress-gated transitions 決定何時更新記憶並請求下一段計劃。由於已完成片段的 episodic 證據與當前計劃都可被 cache，executor 的上下文長度保持固定。

在 RMBench 上達到 83.3% 成功率、真機實驗約 78.0%，同時 executor 維持近似常數的 per-chunk 延遲。在三個長任務記憶方案中，這套設計拿來對比的恰是「語言記憶丟視覺證據」與「滑動視窗記憶吃 GPU」這兩個老毛病，並以固定上下文的方式直接拆解效率與覆蓋率的取捨。

適合關注機器人長任務、World-Action Model、VLA 框架的研究團隊與工程團隊參考。模型 checkpoint 標示為 Coming Soon，現階段只能讀 paper 與項目頁理解思路。

重點摘要：

  • Memory-as-Plans：將長任務記憶拆成「已完成片段的稀疏視覺證據 + 語言計劃」，而非把所有歷史塞回 executor。
  • WAP 模型：在同一上下文內同時輸出動作 chunk 與任務進度，並透過 plan-observation alignment 校正遞迴估計。
  • 固定上下文執行：已完成片段與當前計劃皆可 cache，executor 上下文長度不再隨歷史增長。
  • 對比清晰：直接挑戰語言記憶丟失視覺證據、滑動視窗吃 GPU 記憶體兩種主流做法。
  • 現況限制：訓練與推理程式碼、模型 checkpoint 均未釋出，目前僅有 paper 與項目頁可參考。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, VLA, World-Action Model, Robotic, 框架

TempCloze：揭開 Video-LLM 的時間盲區

Share to X

TempCloze 是一個專門測試 Video-LLM 視覺時間推理能力的影片填空基準，從七個來源收集 1,521 條長鏡頭與第一人稱影片，挑戰模型能否在四選一中找回正確的「消失中段」。它直接揭示現有模型在時間對齊上的明顯短板。

Overview of the TempCloze benchmark

TempCloze 的玩法相當直觀：給一段影片的開頭與結尾，要求模型從四段候選片段中挑出真正屬於中間缺失的那一段。四個選項全部來自同一條影片的素材，連文本線索都壓到最低，等於逼模型只能用眼睛去判斷時間先後與事件流暢度。

這套基準特別針對三個時間維度：語義（Semantic，考「發生了什麼」）、對齊（Alignment，考「應該在何時發生」）、推進（Progression，考「事件如何展開」）。對齊的干擾選項設計得很巧妙，例如把同一段內容前移、後移或拉長；推進維度則把片段倒播、重排、重複，看模型能否識破。題目素材刻意挑選長鏡頭與第一人稱影片，避免靠剪輯或場景切換就能蒙混過關。

跑完 31 個 Video-LLM（10 個閉源加 21 個開源）後結果很殘酷：無論是 GPT 類還是開源權重，模型在對齊任務上的準確率幾乎腰斬，閉源平均從語義 70.73% 跌到對齊 48.13%，開源平均更只剩 26.54%。相比之下，人類在嚴格協議下仍能達到 97% 平均正確率。換言之，現在的 Video-LLM 對畫面在時間軸上的位置幾乎沒概念，只能靠語義關聯硬猜。

對於做影片理解、embodied AI、多模態基準研究的人來說，這份工具包很值得關注。它提供統一抽幀協議（每段 16 幀，六片段題 96 幀），評測流程可直接套用，重點在於指出時間對齊才是視頻推理的真正瓶頸，數字與圖表都已經整理好。

重點摘要：

  • 任務設計：四選一影片填空，所有干擾項來自同一條原片，消除文本捷徑
  • 三維度考核：語義、對齊、推進，分別測事件、位置、展開方式
  • 數據規模：1,521 條影片，長鏡頭與第一人稱為主，七個公開來源
  • 核心發現：對齊維度是最大瓶頸，開源模型跌至 26.54%，閉源亦僅 48.13%
  • 工具價值：統一抽幀協議與評測腳本，可直接比較現有 Video-LLM 在時間推理上的差距

GitHub

Categories: 開源, Agentic, 模型, 視覺模型, Video, 影像處理, 框架, 工具

World in World 把 14B 世界模型變成你的虛擬攝影機

Share to X

想用一條普通影片就做到 360 度重拍、子彈時間、視角切換？World in World 讓凍結的 14B 影片世界模型 LingBot-World 2.0 直接「走進」影片，無需微調，單卡 80GB GPU 即跑。

pipeline

對於做特效、剪輯或沉浸式內容的人來說，最頭痛的往往不是生成新畫面，而是手上明明有一段拍好的影片，卻想換個角度、換條鏡頭軌跡重新「拍一次」。Westlake-AGI-Lab 推出的 World in World，正是針對這個卡位：給定一段輸入影片和一條新相機路徑，模型會重新生成同一事件在新視角下的畫面，不用訓練、不用微調。

它本質是一個影片再攝影框架，骨幹是一個凍結的 14B 影片世界模型 LingBot-World 2.0。技術上沒有走 latent editing 或 GAN 反轉的老路，而是把所有可控制的訊號——來源影片、場景幾何、相機參數——全部變成視覺證據：先用深度把來源幀提升到 3D，依新相機路徑 warp 過去，再當成額外 key/value 塞進模型自己的 attention，讓模型「看到」新相機應該看到什麼，缺失的部分由它自己補完。這種做法讓相機軌跡、人物動作與場景幾何保持高度一致。

從結果來看，它已經放出自由相機重拍、子彈時間和影片編輯三項功能；大型角度 360 度重拍結合 3D 人體代理、跨模型記憶共享、長影片 frustum memory、串流互動生成、動作遷移等仍在路線圖中。對特效團隊、短片創作者、遊戲過場預覽、AR/VR 內容開發者來說，可以用一條現成素材快速產出多視角版本，而不必從零生成或手動三維重建。

官方在 Linux 上以 80GB A100 測試，峰值記憶體約 72GB，需 CUDA 12.4 與 Python 3.10，並預編譯 flash-attn wheel 以避免從源碼編譯。相較同類影片重生成方案，它放棄了對模型本體做適配，以 warp + attention injection 換取「即插即用」與較低硬體門檻，但代價是大角度旋轉、人物遮擋等極端情況仍依賴後續的 3D 代理與 frustum memory。

  • 凍結模型免訓練：以 warp 後的視覺證據作為 attention key/value，無需微調 14B 世界模型。
  • 多視角影片重拍：支援弧線、推拉、平移、定點旋轉等自由相機路徑。
  • 子彈時間與影片編輯：凍結任意一幀改變視角，或改第一幀讓編輯自然延伸至整段。
  • 單卡 80GB 可跑：Linux + A100 + CUDA 12.4 + Python 3.10，硬體門檻相對可控。
  • 路線圖仍在擴展：360 度重拍、跨模型記憶、串流生成等功能陸續排程中。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, 框架, Content Creator, 3D, Linux, Python

Edge0 開源框架：Mac 本機推論 35B MoE，記憶體僅佔用 2.9 GB

Share to X

Edge0 是一套開源串流 MoE 推論框架，靠 SSD 專家卸載搭配 LoRA 還原與前置路由器，在 Apple Silicon 上把 35B 等級的 MoE 模型壓到 2.9 GB 活動記憶體就能跑，對想在筆電本機玩大型稀疏模型的人來說是個務實的選擇。

edge0

MoE 模型參數規模愈推愈大，但真正能在消費級硬體本機跑得動的方案一直不多。Edge0 想處理的就是這個落差：它把 SSD 專家卸載、Recover-LoRA 還原、以及 prerouter 路由預測這三招組合成一套可擴展框架，目前以 MLX 後端跑在 Apple Silicon（M1 至 M4）上，CUDA 後端列在路線圖但尚未支援。

隨框架釋出兩個模型檔：edge0-35b（基於 Qwen3.5-MoE 35B-A3B）與 edge0-8b（基於 Ling 3.0 bailing 混合架構），皆以 4-bit 量化釋出。LoRA 配重與 prerouter 頭已隨 checkpoint 一同發佈，edge0 serve 即可直接載入訓練好的完整管線，不用額外拼湊組件。短上下文情境下，edge0-35b 峰值活動記憶體約 2.9 GB，edge0-8b 約 1.0 GB；專家權重以 mmap 方式按需讀取，不會預先佔用 RAM。

TierReleased checkpointInference profile
edge0-35bEdge0/Edge0-35B-A3B-preview4-bit, 40 layers, 256 experts, prerouter K=4
edge0-8bEdge0/Edge0-8B-A1B-preview4-bit, 24 layers, 128 experts, prerouter K=8

使用介面提供 AutoModel、AutoConfig、AutoEngine 自動按模型名稱解析層級。所有 MLX 程式碼集中在 edge0/backends/mlx/，核心邏輯只依賴抽象層，因此日後加入 CUDA 等後端時不必重寫調度邏輯。

  • 類型：開源 MoE 推論框架（搭配兩個預訓練 checkpoint）。
  • 資源門檻：4-bit 35B 模型約 23 GB 磁碟、2.9 GB 活動記憶體；8B 模型約 4.2 GB 磁碟、1.0 GB 活動記憶體。
  • 硬體限制：目前僅支援 macOS Apple Silicon，CUDA 仍在規劃中。
  • 目標用戶：想在 M 系列 MacBook 上本機試跑大型稀疏模型的研究者、開發者，以及對 VRAM 不夠、又不願完全依賴雲端推論的團隊。
  • 差異化：相較純量化或純卸載方案，Edge0 把 prerouter 預測與 LoRA 還原包進同一條管線，讓卸載後的精度損失有明確補償路徑。

Edge0 屬於「先把本地大型 MoE 跑起來」這個務實路線上的工具，限制也很清楚：必須在 Apple Silicon 上跑、長上下文 KV 會額外吃記憶體、目前沒有非 Apple 平台的後端可用。對想驗證稀疏模型在消費硬體可行性的人，這套框架省去了自行整合卸載與適配器還原的功夫；對 NVIDIA 用戶，則要等 CUDA 後端落地。

GitHub

Categories: 開源, 模型, Qwen, NVIDIA, 框架, 工具, Mac, 蘋果

SyncWorld：用一段影像校準，讓世界模型零樣本遷移到新機械人

Share to X

同一個數值動作換了鏡頭或機械人就失效？SyncWorld 以「視覺校準片段」作為提示，讓單一世界模型即時推斷動作與畫面嘅對應關係，毋須再為每個環境重新微調。

SyncWorld teaser

動作數值喺像素空間其實唔係通用語言——換鏡頭、換機械人位置、換機械結構，同一個動作指令就會產生唔同嘅視覺效果，亦即係點解用混合數據訓練出嚟嘅動作條件世界模型（action-conditioned world model）喺新場景入面成日失效。SyncWorld 嘅切入角度係：既然動作同畫面嘅對應因環境而異，不如用一段包含每個可控自由度（DoF）嘅短影像校準片段（visual calibration episode）做 in-context prompt，等模型喺推論時即場估計呢套環境嘅 Action–Visual Mapping，從而把單一 checkpoint 變成零樣本（zero-shot）模擬器，毋須額外訓練。

基於 NVIDIA Cosmos-Framework 改寫而成，並非由零開始砌嘅新網絡。對比一般針對單一機械人做 fine-tuning 嘅做法，SyncWorld 用視覺證據取代權重記憶；訓練時混入 calibration context 之後，模型仲學識喺冇 calibration 嘅情況下落返去用互動歷史做預測。程式庫提供分散式 FSDP trainer、typed TOML 食譜同原生 DCP checkpoint，可以直接匯出 HuggingFace safetensors；評估就用全段自回歸 rollout，配合 PSNR、SSIM、LPIPS 量度像素相似度。

直接受惠：需要喺多款 xArm、ARX5、KUKA、Franka Panda、UR5e 等異質平台上做 sim-to-real 想像嘅機械人研究團隊；做測試時策略改進（test-time policy improvement）而唔想再花錢訓練嘅 RL 團隊；以及想避開「每個新 setup 都要重新標註動作」呢個樽頸嘅數據團隊。Demo 顯示佢能準確模擬未見過嘅設定入面嘅動作後果，並令策略喺測試階段靠 rollout 改善而毋須再訓練。

重點摘要：

  • 以視覺校準片段作為 in-context prompt，免去 per-deployment fine-tuning
  • 訓練同時令模型能喺冇 calibration 時回退用互動歷史
  • 基於 NVIDIA Cosmos-Framework 改寫，提供 FSDP 訓練同 DCP checkpoint
  • 評估用全段自回歸 rollout，配 PSNR、SSIM、LPIPS 指標
  • 模型權重同評測集已開喺 HuggingFace：yyuncong/SyncWorld、yyuncong/SyncWorld-Evaluation

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 世界模型, 模型訓練, NVIDIA, Image, Robotic, 框架, AGI, Dataset 數據集

PWM(Programmable World Model) 以世界模型驅動影片生成

Share to X

AlayaLab 開源的 Programmable World Model 把世界狀態與畫面生成拆開管理，讓角色、事件與鏡頭外的物件都能被查詢、修改與驗證，不再只靠潛在影像記憶。

Programmable World Model overview

影片世界模型能夠即時渲染出像真的畫面，但畫面背後其實欠缺一部「世界引擎」——狀態藏在影像序列裡，難以檢查、編輯或驗證，鏡頭一轉，鏡頭外的角色與潛在事實就會被悄悄遺忘。AlayaLab 開源的 Programmable World Model（簡稱 PWM）正正針對這個痛點，把世界狀態的維護與視覺生成徹底解耦，由一個 state executor 負責推進世界狀態，再由 deterministic compiler 把以 state-augmented 3D OBB 描述的狀態投影成 pixel-aligned controls，最後才交給影片模型渲染畫面。

這個框架真正解決的問題，是讓世界「可被編程」。同一份世界狀態可以驅動任意鏡頭、任意視覺風格，角色即使離開畫面依然存在，事件具備不可逆性，亦可由規則觸發；使用者可以用類似 WASD 的方式操控，並預先以語言定義世界規則。一個 VLM-based agent 會讀取參考圖與開放式文字，自動寫出可執行的世界規格。

PWM 屬於框架類項目，定位接近研究原型。與 Genie 3、GameNGen 等同類做法相比，PWM 的取捨在於放棄純端到端的潛在表達，換取可查詢、可驗證、可長時序的狀態；對於遊戲開發者、需要可控互動世界的模擬研究者，以及想用程式化方式生成可控影片內容的團隊，這種顯式狀態設計明顯更貼近「世界引擎」的真正需求。

目前 PWM 已釋出技術報告，推理程式碼與預訓練權重尚未開源，因此暫時只能從紙面層面理解並等待官方補上權重。從架構看，這個方向對於追求可控性與持久性的應用場景會有明顯吸引力。

重點摘要：

  • 狀態與畫面解耦：狀態由 executor 維護，畫面由影片模型渲染，互不綁定
  • 可查詢、可驗證的世界事實：角色、事件與鏡頭外實體都能被檢查與修改
  • 持久世界：鏡頭外的物件與潛在狀態不再被遺忘，長時序互動更可靠
  • VLM agent 自動生成世界規格：以參考圖加文字描述即可寫出可執行的世界規則
  • 尚待補完：推理程式碼與預訓練權重仍未釋出，目前以技術報告形式呈現

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 世界模型, Video, Image, 框架, 3D

RoboSPA 用 280 個難度變體幫你壓力測試

Share to X

RoboSPA 是浙江大學團隊針對 Vision-Language-Action 模型推出的診斷式基準，透過逐步拉高空間歧義與程序步數，揭開現有機器人策略在精準定位與長程規劃上的短板。

Repository image for fanzhenxuan/RoboSPA

當 VLA（Vision-Language-Action）模型在乾淨、短任務的環境中跑出不錯的成功率，要怎樣才知道它是真正「理解」指令，還是只是剛好蒙對？RoboSPA 給出的答案是：把場景弄得更亂、把步驟拉得更長，然後看模型從第幾關開始崩潰。這是一個基準與數據集項目，建基於 RoboTwin 2.0 模擬框架（SAPIEN + CuRobo），由浙江大學主導，已獲 EMNLP 2026 收錄。

它把 56 個基礎任務各衍生出五個難度級別（L1–L5），共 280 個變體，覆蓋五種機械臂實體（Franka、Piper、UR5、Aloha-AgileX、ARX-X5），總計 527K 條軌跡、約 108M 步數、997 小時互動影片。Spatial 維度持續加入外觀相近的候選物，Procedural 維度則逐步疊加子目標、執行順序、重複次數與記憶需求。

與只看最終二元成敗的傳統做法相比，RoboSPA 額外提供兩個診斷指標：空間任務用 ONTA（Object-Normalized Target Accuracy） 衡量模型能否在「看起來都像」的物件中選對目標，並以 chance-corrected 方式扣掉隨機命中；程序任務則用 Progress Score（PS） 計算實際完成的子目標比例，反映模型在中途卡住或跳步的真實狀況。

適合機器人實驗室、VLA 模型開發者，以及需要評估策略可擴展性的團隊。支援自帶策略接入，數據與代碼均已公開。研究端在多個代表性 VLA 模型上的結果顯示，空間關係、低階精細動作與長程記憶仍然是明顯瓶頸。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, Video, VLA, 框架, 中國, Dataset 數據集
Page 3 of 26
1 2 3 4 5 … 26