OpenART 把工具型 code agent 的安全測試，拉到一個更貼近長流程工作的環境裡。它不是單純驗證模型會不會答對，而是看 agent 在共享狀態、連續工具操作與環境演化之下，會不會慢慢走偏，這對做安全研究、紅隊測試或 agent 平台驗證的人都更有參考價值。
整個項目是 Docker-native 的框架，安裝後可先跑本地 smoke task，確認容器、評估器和路徑都正常，再切換到高複雜度任務。README 內也提供 target-only 與 attacker 兩種跑法，方便對比單看目標 agent 與加入 OpenCode-compatible attacker 的差異；任務圖會從 openart-tools 自動選取所需工具，使用方式偏向可控實驗而不是即插即用服務。
它的取捨很清楚：OpenART 把重點放在可重現、可擴展的安全評估，而不是包裝成一個面向終端用戶的產品。項目保留可執行 runtime、少量高複雜度示例與管理過的工具子集，卻刻意不放批次實驗驅動、生成結果和私有場景語料，代表它更像研究與測試底座，適合需要自行編排實驗的人。
論文背景提到，OpenART 提供超過 10,000 個已驗證 stateful scenarios，涵蓋 50 個領域，並支援 75 種 agent-model 配置的統一評估；EMHA（Evolutionary Markov Hypergraph Attack）則是用來推動環境演化的黑箱策略，無需更新參數。文中亦指出，複雜環境下，環境演化比只改指令更容易揭示安全失誤，這正是它相對一般短任務 benchmark 的關鍵差別。
- 支援先做本地 smoke run，再轉入高複雜度任務驗證
- 以 Docker 與任務圖管理工具，便於重現與隔離環境
- 可比較 target-only、attacker 與不同 agent-model 配置
- 適合做 agent 安全、紅隊測試與平台兼容性檢查
- 強調長流程與 stateful 環境，較能暴露累積性風險