spillway:智能體免被攻擊工具,鎖定在用戶指定目標

SPILLWAY 在工具執行前核對收件人與資源目標。標準攻擊測試中,2,847 組攻擊未有一次把操作導向用戶未指定的目標…

SAINT Machines

SPILLWAY 1.0.0 是一款即時安全防護工具,供 AI 智能體在執行操作前,核對收件人、帳戶或資源目標是否來自用戶任務。它處理的是提示詞注入 (Prompt Injection) 造成的越權操作,不是替模型判斷所有內容是否可信。

它先用結構化規則決定是否放行,再把工具回傳中有類型標記的欄位,與用戶的目標作集合比對。當電郵或網頁內的攻擊文字要求智能體把資料送往另一個地址,這個地址若只出現在攻擊者提供的文字,而不在用戶任務中,lookup 就會拒絕相關呼叫。

SPILLWAY 先依固定規則和目標比對作決定。管理者可選擇讓 local judge 檢查部分被拒呼叫,也可啟用 identity-target recovery;兩者在預設的 Guard(task) 中均關閉。

使用 AgentDojo v1.2.2 的標準攻擊測試涵蓋 Banking、Slack、Travel、Workspace 四個 suite,配合 gpt-4o-mini、qwen3-coder:30b、qwen3:8b 三個 backbone,共 2,847 組攻擊配對。SPILLWAY 在 12 個測試格中都沒有觀察到範圍內攻擊成功。這個結果表示測試中的攻擊沒有把操作導向用戶未指定的目標。

測試範圍亦包括 ChatInject 的 forged chat template 攻擊,共 665 組配對;以及 AutoDojo 的 389 組已發布、由最佳化器生成的攻擊配對。AutoDojo 結果被文件標註為 descriptive,且所提供內容沒有列出其限制細節。這些數字應視作特定測試集的觀察,不宜延伸成對未知攻擊的保證。

安裝需要 Python 3.10 或以上,項目文件提供的套件版本為 spillway-guard 1.0.0,可用 pip 安裝。安裝後,團隊仍需把防護接入智能體的工具呼叫流程,讓規則在操作執行前檢查目標;文件亦提供瀏覽器試用入口。對已有工具型智能體、且需要限制外發地址或資源操作的團隊,測試時應先用自己的任務與工具回傳驗證規則,再確認 judge 和 recovery 是否符合安全政策。

  • 先以用戶任務和 typed tool returns 比對目標,再按固定規則決定是否放行。
  • Local judge 與 identity-target recovery 均為可選功能,預設關閉。
  • AgentDojo 標準攻擊測試中,12 格均沒有範圍內攻擊成功,UAU 平均值為 .489。
  • ChatInject 測試涵蓋 665 組配對;AutoDojo 涵蓋 389 組,後者結果屬描述性資料。
  • 安裝要求 Python 3.10+;歷史成本數據未有為 1.0.0 重跑。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, Qwen, Gemini, 工具, 安全