Dataset 數據集

OpenART：把 Agent 安全測試搬進可演化環境

2026 年 8 月 14 日

OpenART 將工具型 code agent 的安全評估做成可重現的 Docker 工作流，重點不是跑單一任務，而是觀察環境變化如何累積成風險。你可以把它理解成一個用來做 agent red teaming 的開源框架。

OpenART 把工具型 code agent 的安全測試，拉到一個更貼近長流程工作的環境裡。它不是單純驗證模型會不會答對，而是看 agent 在共享狀態、連續工具操作與環境演化之下，會不會慢慢走偏，這對做安全研究、紅隊測試或 agent 平台驗證的人都更有參考價值。

整個項目是 Docker-native 的框架，安裝後可先跑本地 smoke task，確認容器、評估器和路徑都正常，再切換到高複雜度任務。README 內也提供 target-only 與 attacker 兩種跑法，方便對比單看目標 agent 與加入 OpenCode-compatible attacker 的差異；任務圖會從 openart-tools 自動選取所需工具，使用方式偏向可控實驗而不是即插即用服務。

它的取捨很清楚：OpenART 把重點放在可重現、可擴展的安全評估，而不是包裝成一個面向終端用戶的產品。項目保留可執行 runtime、少量高複雜度示例與管理過的工具子集，卻刻意不放批次實驗驅動、生成結果和私有場景語料，代表它更像研究與測試底座，適合需要自行編排實驗的人。

論文背景提到，OpenART 提供超過 10,000 個已驗證 stateful scenarios，涵蓋 50 個領域，並支援 75 種 agent-model 配置的統一評估；EMHA（Evolutionary Markov Hypergraph Attack）則是用來推動環境演化的黑箱策略，無需更新參數。文中亦指出，複雜環境下，環境演化比只改指令更容易揭示安全失誤，這正是它相對一般短任務 benchmark 的關鍵差別。

支援先做本地 smoke run，再轉入高複雜度任務驗證
以 Docker 與任務圖管理工具，便於重現與隔離環境
可比較 target-only、attacker 與不同 agent-model 配置
適合做 agent 安全、紅隊測試與平台兼容性檢查
強調長流程與 stateful 環境，較能暴露累積性風險

GitHub

Categories: 開源, 上海人工智慧實驗室, Agentic, 安全, Dataset 數據集

MBA：把商業點子變成多模態評測題

2026 年 8 月 13 日

MBA 將商業點子生成拉回真實場景，讓模型不只看文字，還要理解圖片、情境同市場證據。它同時提供評測基準同兩個 agent 訓練版本，方便比較不同取捨。

MBA（Multimodal Benchmark and Agents for Real-World Business Ideation）把原本偏文字的商業構思流程，改成要連圖片、場景同市場證據一齊理解的多模態任務。對做產品構思、創業點子篩選或研究 agent 的團隊來講，重點唔係生成幾多答案，而係點樣喺真實視覺線索下提出夠新意、又講得通的方案。

這個項目同時提供 MBA-Bench 同兩個 agent，MBA-b 同 MBA-k。前者偏盲測設定，後者會利用已知標準，兩者都用 LoRA-based supervised fine-tuning，再接 group relative policy optimization，並加入 creativity、feasibility 等獎勵去訓練。

官方資料提到，MBA-Bench 有 30K 筆樣本，涵蓋六個有明顯視覺線索的領域，評估亦用多個商業向準則去看答案是否具體、可行、具差異化同可擴展。這代表它不只是比模型「講得靚」，而是逼系統在多個限制之間作取捨。

倉庫提供環境設定、資料準備、訓練同推理流程；資料亦可從 Hugging Face 取得，適合想重跑基準、改 reward 設計，或者把 multimodal agent 套到商業 ideation 工作流嘅研究者同工程團隊。現階段最它把 business ideation 由純文本任務，推向更接近現實訊號的評測框架。

同時有 benchmark 同 agent，方便做訓練、比較同復現
強調圖片與市場證據，唔再只靠文字提示
以 creativity 同 feasibility 作核心獎勵
MBA-b 同 MBA-k 對應 blind 與 known 兩種設定
適合做多模態 agent、產品構思同商業研究的團隊

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, 模型訓練, 框架, Dataset 數據集

S2R 用物理模擬解決影片反光

2026 年 8 月 13 日

隔住玻璃拍片常見嘅反光，會令畫面難睇又影響後續辨識。S2R 把合成、去反光同評測串成一條流程，重點是先補足可信訓練資料。

隔住玻璃拍攝時，反光往往唔只影響觀感，仲會干擾偵測、辨識同追蹤等後續視覺工作。S2R 屬於影片去反光項目，重點唔係單靠清理單幀畫面，而是同時處理資料不足、時間連貫性同評測基準缺位三個卡位。

呢個項目用一個閉環流程連接 S2R-Synthesis、S2R-Removal 同 S2R-Benchmark。前段先以 Physics-Grounded Augmentation 與影片擴散生成方法合成成對影片，控制玻璃粗糙度、反射率、厚度等性質；後段再把 pretrained video diffusion prior 調整成適合去反光的模型，加入 reflection-aware latent adaptation 同 one-step pixel-geometric refinement，減少殘影並維持時序一致。

它跟常見做法最大分別，在於先把反光結構同外觀拆開處理。S2R-Synthesis 會從 FLUX-generated pseudo videos 學習較真實的反光外觀，再把兩段乾淨影片經 Physics-Grounded Augmentation 融合，生成可配對訓練資料，避免只靠傳統合成或少量真實資料，令模型較難學到穩定的影片反光模式。

用物理約束方式合成反光影片，補足 paired video data 不足
以 diffusion-based video dereflection 處理影片，強調跨幀一致性
提供 S2R-Benchmark，兼顧 full-reference 評估同真實場景人類感知評估
在 OpenRR-1k 的結果中，加入完整 PGA 後，PSNR 與 SSIM 都比基線再提升

現有資料顯示，S2R 特別適合需要穿玻璃拍攝的內容整理、監控視覺流程，或者任何重視畫面可讀性與後續分析品質的工作流。項目亦反映一個明確取捨：先花力氣建立可信的反光合成與評測系統，再用 diffusion-based 方法做移除，換來較完整的訓練閉環，但最終表現仍會受真實場景複雜反射型態影響。

項目主頁

Categories: Stable Diffusion, Video, Image, 框架, Dataset 數據集, 小米-Xiaomi

NCP-Bench 把電影故事變成可逐輪檢查的互動環境

2026 年 8 月 13 日

這個基準把電影故事變成可逐輪檢查的互動環境，重點不是講得順，而是能否守住既定事實與劇情承諾。你可以把它理解成用來測試 LLM agent 會否在長對話中改寫故事的工具。

NCP-Bench overview: data construction, interaction history, and evaluation framework

NCP-Bench 是一個 benchmark，加上一套固定 evaluator，用來測試 Interactive Narratives 裡的 Narrative Commitment Preservation (NCP)。它處理的問題很直接：當玩家自由輸入動作時，Narrator agent 會不會偷改已建立的世界事實，或跳過本來應該出現的劇情節點。

使用方式偏向研究與評測流程：每個電影 synopsis 會被轉成 stateful environment，內有 initial fact ledger、narrative commitments 同 ordered reference trajectory；agent 每回合回應後，固定 evaluator 會檢查 fact、commitment 同 player-input conflicts，再更新狀態。儲存庫同時提供 100 個 benchmark environments、方法無關的 episode runner，以及 Baseline 和 HiAgent 參考方法，方便直接比較。

這套做法的價值在於，它不只看文字是否自然，還逼系統在長 horizon 內維持一致性。和只看單輪生成的測試比，NCP-Bench 更接近互動式敘事真正會遇到的拉扯：玩家可以亂入，但系統仍要守住已承諾的劇情骨架。

較適合關心長對話敘事、互動式故事生成、角色扮演型 agent 的研究者與團隊。若要部署，重點不是訓練一個新模型，而是接上既有 narrator，再用 repo 提供的環境規格同 evaluator 跑整個 episode，觀察違反事實、承諾和劇情順序的情況。

100 個 movie-level environments，涵蓋 18 個 genres
每個環境都有 YAML 規格，包含 metadata、facts、commitments 同 trajectory nodes
評測核心是逐回合檢查一致性，而非只看最終輸出
提供 Baseline 與 HiAgent，方便和論文結果對照
適合做長篇互動敘事、Narrative agent 與一致性評測

GitHub

Categories: 開源, Agentic, 框架, Dataset 數據集

360CityArena 把城市導航基準拉近真街景

2026 年 8 月 13 日

想測試 Embodied Agents 喺城市場景到底識唔識搵路，360CityArena 提供咗一個更貼近真實街區的基準，但結果亦直接揭示現時模型離人類判斷仲有一大段距離。

360CityArena teaser showing a panoramic Akihabara scene and an embodied navigation agent

喺模擬城市入面叫 Embodied Agents 認路、數物件、跟地圖行，難度一向唔低；換成秋葉原的 360 度真實街景之後，問題就由「會唔會做任務」變成「可唔可以喺複雜環境保持判斷」。360CityArena 屬於 benchmark，核心用途係評估 multimodal large language models 喺 embodied navigation 同 visual reasoning 上，到底有幾接近真實城市探索需求。

呢個項目最有意思的地方，在於它唔係靠乾淨的 3D 合成地圖，而係用 602 段 360° 影片重建東京秋葉原 85 條街道，再放入 Unity 環境，用 pose graph 方式讓 agent 沿既定節點移動。換句話說，代理唔可以自由行去任何 3D 座標，也唔涉及實體互動；它測的是在受限移動下，模型能否理解街景、地圖、語言提示同空間關係。

公開版本有 175 個人工設計任務，涵蓋 localization、landmark search、counting、map navigation、language guided navigation 同 relational spatial reasoning。部署方式亦算清楚：Unity 6.5 負責環境，Python runner 接模型 API、送出相機與地圖觀察，再把每次執行結果寫入 outputs/<run_id>/，因此它比較適合研究團隊或評測項目直接重跑同對照。

用 360° 真實街景而唔係純合成場景，城市細節更接近真實導航
任務覆蓋找地標、看圖尋路、數物件、按文字指示前進等七類能力
Unity 環境配合 Python runner，方便接駁不同 MLLM API 做可重現測試
agent 只可沿 pose graph 移動，限制更明確，同時保留城市探索的推理壓力

最值得留意的是結果並唔樂觀。官方比較指出，Gemini 2.5 Flash 目前在整體任務只有 17.1%，人類則有 77.3%，差距大到足以說明：現時多模態模型即使已經能看圖和讀指令，一旦放入連續街景、地圖對位與空間推理混合的場景，穩定性仍然不足。對做 Agentic、Robotic、世界模型相關研究的團隊來講，360CityArena 的價值正在於它唔再只測單步理解，而係把城市級導航的瓶頸攤開畀人直接比較。

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, Gemini, API, Robotic, 3D, Python, Dataset 數據集

Rest2Art 用單張靜態觀察重建可動 3D 物件

2026 年 8 月 12 日

只見到物件關上的樣子，Rest2Art 仍可推回零件結構與關節。對數碼孿生、模擬和機械人操作都幾實用。

只見到抽屜關上、櫃門未打開，系統仍要估到哪些部分可以動、會沿哪個軸轉或滑，這正是 Rest2Art 想處理的難題。它屬於 articulated object reconstruction，目標是由單一 closed-state observation 重建出可直接放入模擬環境的 articulated asset，而不需要先拍到物件在不同狀態下的運動。

這個做法的價值，在於把原本要靠動態觀察先完成的工作，提前到靜態輸入就處理好。Rest2Art 會先用 vision-language model 與 segmentation model 互相校正零件層級和遮罩，再把結果對應回 mesh；之後再借助 video diffusion model 產生可能的 articulation hypotheses，但真正的 joint parameters 不是直接照抄影片，而是再用幾何一致性去驗證。

回應了一個很現實的限制：很多日常物件未必容易拍到完整開合過程，但建模、模擬與機械人任務仍然需要知道它如何運動。Rest2Art 用 explicit mesh 作為中介，方便跨模型比對與融合，最後再把各部分轉成封閉體積，令輸出不只是「睇得明」，而是可用於 physical simulation。

單靠 single closed configuration 重建 part-level geometry 與 joint parameters
結合 vision-language model、segmentation model 與 video diffusion model 補足缺少 motion cues 的問題
以 explicit mesh 做 cross-model verification and fusion，減少不同模型輸出互相衝突
可輸出 simulation-ready articulated asset，並支援 URDF 匯出

論文描述顯示，它在 reconstruction-based、generation-based 與 modular pretrained-model families 之間，都能做到有競爭力的表現，重建出的零件分解與關節亦具備 physical plausibility。對數碼孿生、虛擬場景整合、real-to-sim-to-real，以及機械人 policy learning 而言，這種由靜態觀察直接產生可互動資產的流程，明顯比只重建外形更進一步。

項目主頁

Categories: 視覺模型, 多模態模型, Video, 影像處理, 框架, 3D, Dataset 數據集

NeMo Speech：NVIDIA 把 ASR、TTS、語音 LLM 收進同一條 PyTorch 生產線

2026 年 8 月 12 日

NVIDIA 把語音研究最常碰到的 ASR、TTS 與 Speech LLM 整合成單一框架，研究員和工程師不用再東拼西湊，也能用預訓練權重快速微調與部署。

語音 AI 的痛點往往不是模型不夠強，而是開發者要同時面對 ASR、TTS、串流識別等好幾套獨立工具鏈。NVIDIA NeMo Speech 把這些任務收進同一個 PyTorch 框架，並提供預訓練權重，讓研究員可以把精力花在實驗設計，而不是從頭搭建訓練流程。

從近期更新可以看到三個值得留意的方向：MagpieTTS v2607 把支援語言擴展到 12 種，新增阿拉伯文、韓文、葡萄牙文；Nemotron-3.5-ASR-Streaming-0.6B 在單一 H100 上能同時處理最多 2400 條串流，並允許把延遲控制在 80ms 到 1s 之間；Parakeet-unified-en-0.6b 則把離線與串流推理合併成一個英文模型，最短延遲 160ms。

Nemotron 3 VoiceChat 把 LLM、骨幹與 TTS 解碼器串成全雙工對話，能自然處理打斷與插話，這對於想建立語音助理的團隊是比較完整的一條路。Fastconformer 等快取感知架構是背後的工程功臣，讓長音訊串流不需要犧牲太多吞吐量。

訓練階段必須配備 NVIDIA GPU 與 CUDA 環境，推薦使用 PyTorch 2.7 或以上版本；現時倉庫正進行拆分，下一個主要版本預定 2026 年 6 月發佈，短期內穩定使用可以考慮 26.02 NGC container。對做客服、會議記錄、媒體字幕或有聲書生成的團隊，這套框架能把語音模型從原型走到部署的距離明顯縮短。

重點摘要：

單一框架覆蓋三大任務：ASR、TTS 與 Speech LLM 都在 NeMo Speech 內，減少切換工具鏈的成本。
串流效能突出：Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言，單張 H100 可並行 2400 條流，延遲可調。
多語 TTS 擴張：MagpieTTS v2607 覆蓋 12 種語言，並提供 Hugging Face 線上 demo。
全雙工語音助理：Nemotron 3 VoiceChat 把 LLM 與 TTS 解碼器結合，支援自然打斷與低延遲對話。
硬體要求明確：至少配備 80 GB 記憶體。訓練需 NVIDIA GPU 與 CUDA，PyTorch 2.7 或以上版本，推理可在 CPU 或 GPU 執行。

GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, NVIDIA, 框架, Python, 語音, Dataset 數據集

ConCor-1：一句標註都唔使畀，自動搵出圖文對應

2026 年 8 月 11 日

ConCor-1 將視覺語言定位反轉成雙向概念對應，唔使預先指明想搵乜字句，畀一張圖同一段文字就會自動判定邊啲文字對應邊個物件。

Bidirectional concept correspondence: a caption, a referring expression and a category list all produce the same output

以往做視覺語言定位，多數流程都要你先講明想搵邊句字，模型再喺圖入面指出對應區域。ConCor-1 索性反轉呢個做法：畀一張圖同一段文字，無論係完整描述、指代表達，定係一列類別名，模型都會自己判斷邊段文字同圖入面邊個物件對得上，然後一次過畀齊文字遮罩、實例遮罩同對應分數。研究團隊由華盛頓大學、Allen Institute for AI 同 Meta FAIR 組成，模型基於預訓練視覺語言模型，再加上一組可學習嘅 bridge tokens 嚟代表候選對應。

呢種設計最大嘅實用價值，係省卻前置標註嘅工序。當你手上得一段長 caption 或者一大串類別名，傳統方法往往要逐句拆開再分批餵入，ConCor-1 直接當作一次對應預測處理，文字分割、影像分割、跨模態對齊三件事一齊做。佢將 phrase grounding、referring expression 同 open-vocabulary detection 收納成同一格式，等訓練同評測可以用統一數據集比較。

ConCor-1 喺長 caption 數據集上將 correspondence F1 提升 48%，喺零樣本 LVIS、即用大類別清單當文字輸入嘅場景亦提升 29%。Hugging Face 上已有模型權重、數據、Space Demo，源代碼以 Apache 2.0 發佈。對做細粒度理解、自動化標註，或者想整合長描述入視覺流程嘅團隊，呢個框架值得留意；想自行重現訓練嘅人就要再等等，現階段主要提供推論程式碼同評測即將推出。

重點摘要

雙向概念對應：毋須預先指明文字，直接輸出文字遮罩、實例遮罩同對應分數
統一格式：將 phrase grounding、referring expression、open-vocabulary detection 收成單一預測任務
基於 bridge tokens：喺預訓練視覺語言模型上加可學習 token 代表候選對應
顯著提升：長 caption F1 提升 48%，零樣本 LVIS F1 提升 29%
開源配套：模型權重、數據、Space Demo 同推論程式碼已於 Hugging Face 同 GitHub 公開

適合需要從圖文配對中抽取結構化對應、做自動化標註、或研究視覺語言定位框架嘅讀者。ConCor-1 將文字分割、影像分割同跨模態對齊壓成單一任務，特別適合處理長描述或大類別清單等場景。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 多模態模型, Meta, Dataset 數據集

RynnValue 用秒估計機械人完成時間

2026 年 8 月 11 日

它不只判斷機械人有冇做對，仲會估計距離完成仲差幾多秒。呢種時間式價值訊號，令強化學習獎勵設計變得直接得多。

機械人操作最難的不只是識別動作成敗，而是要持續知道距離完成指令仲有幾遠。RynnValue 就是針對呢個空缺而來的模型項目：它把機械人影片連同文字指令一齊讀入，逐格預測剩餘完成時間，並輸出自然語言分析，讓進度估計、失敗偵測與 VLA（vision-language-action）policy 的獎勵建構可以共用同一套訊號。

它和常見進度分數或偏好標註做法的分野很清楚。RynnValue 不靠人工標出「較好」軌跡，也不把進度硬壓成 0 到 1，而是直接學習 goal-conditioned cost-to-go 的物理時間；標籤來自時間戳，配合子任務切分與 cutoff relabeling，於是能擴展到 7,000 多小時、約 300 萬段 instruction-conditioned clips 的異質機械人資料。這個取捨帶來的好處是可擴展，代價則是模型必須更好地處理長尾任務時長與不同視角、不同 embodiment 的差異。

RynnValue 連同完整工具鏈一併提供。你可以把它理解成一套由 HuggingFace 相容模型、影片推理示範，到 reward-model benchmark 與強化學習介面都包起來的研究型工具組；當中 RynnValue 建基於 RynnBrain，實作在 Qwen3-VL architecture 之上，除了預測 absolute 與 relative temporal value，亦會生成影片描述，並判斷 instruction–video 是否匹配、任務是否成功。

核心能力是把「距離完成尚餘幾多秒」變成稠密 value signal
訓練毋須 preference 或 progress annotations，較易放大量異質資料
8B 版本在 RBM-EVAL-OOD 的平均 Kendall’s τₐ 達 0.675，高於文中對照的 fully preference-supervised 方法 0.655
可直接接到 reward shaping，用作 policy ranking、evaluation 與 reinforcement learning critic

為免模型偷看序列位置去猜進度，作者加入 temporal-order shuffling、random temporal sampling，以及 value-isolation attention；消融結果亦顯示這些設計不是裝飾，拿走後指標會明顯下跌。再進一步，它把輸出的 value 轉成 potential-based shaping reward，在雙臂 Franka 的真實機械人學習中，無論 online 定 offline 都比最強 reward-model baseline 有更高成功率。

最受惠的會是做機械人操作、VLA 訓練、reward modeling 與 embodied AI 評測的團隊，尤其想減少人手標註成本、又需要跨資料來源泛化能力的人。限制同樣存在：這類時間距離訊號雖然比二元成敗更細緻，但對任務切分、影片品質與觀測覆蓋仍然敏感，而且它目前聚焦於 robot manipulation，不代表可直接外推到所有 agent 場景。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, Dataset 數據集

Ouroboros 把 AI 代理變成「自我演化」

2026 年 8 月 11 日

它不只會接任務，還會記住自己做過什麼，甚至改寫自己。對想長期運行 AI agent 的團隊，呢種設計幾有吸引力。

Terminal-Bench 2.1: Ouroboros against Claude Code, Codex CLI, Cursor CLI, and Hermes on matched models, with a same-harn

一次性完成指令的 AI agent 已經不少見，但能夠跨任務、跨重啟保留身份、記憶同歷史，仲可以持續修改自己運行方式的並不多。Ouroboros 屬於開源通用型 AI agent，處理的是長週期工作會斷線、失憶，同埋難以持續改進代理本身的問題。

它不是單純能開多個 specialist agents，而是保留「同一個負責任主體」去協調研究、建構、驗證同審查。呢種做法對外部程式碼項目、需要長時間追蹤證據的工作流特別有用；代價是系統野心很大，對使用者來說亦意味要接受一個會動到自身程式碼、prompt、tools 甚至 dependencies 的代理。

Ouroboros 可當原生桌面程式使用，也可走 headless CLI，Windows x64 同多種 Linux 發行版都有發佈版本。執行期會把 repository、durable memory、history 同介面留在本機，模型推理則可接駁你自行設定的遠端 API，或者用本地 GGUF 模型，對想保留資料控制權的人較有吸引力。

開源通用型 AI agent，重點在持續身份、durable memory 與自我修改
可協調一組 specialist agents，但最終責任仍由單一 root agent 承擔
支援桌面 app 與 CLI，適合長時間運行或接手外部程式碼項目
本機保存記憶與歷史，模型可用遠端 API 或本地 GGUF 格式在本地執行推理
官方列出 Terminal-Bench 2.1、OSWorld-Verified、CL-Bench 的 self-reported 成績

Ouroboros 公開了在 Terminal-Bench 2.1、OSWorld-Verified 同 CL-Bench 的 self-reported 結果，並以 matched model 或公開排行榜對照 Codex、Claude Code、Cursor、Hermes。呢類數字有參考價值，但仍要留意它屬自報結果；較可取的是，項目同時強調 traces、evidence 同可重現性，顯示它想把重點放在可檢查的過程，而不只是最終分數。

整體來看，Ouroboros 適合研究型開發者、想建立長記憶 agent 的團隊，以至需要代理長期接手軟件工作流的人。它吸引人的地方在於把 agent 由「一次性助手」推向「可延續個體」，但同時也把風險一併帶進來：自我演化愈強，愈需要清楚邊界、驗證流程同責任歸屬。

項目主頁 · GitHub

Categories: 開源, Agentic, API, IDE, Mac, Linux, Dataset 數據集

Page 11 of 29

« Previous 1 … 9 10 11 12 13 … 29 Next »