detectorscope:DeepMind AI 文字偵測器,逐句交代判斷依據

AI 文字偵測常被質疑只給標籤、看不到理由;DetectorScope 會列出影響判斷的文字特徵,並標示它們出現的位置。

DetectorScope demo

當文字被判定為 AI 生成,DetectorScope 會進一步指出哪些字詞或句式推高了判斷分數,並讓使用者在文字上查看相關片語。這個開源工具把黑箱 AI 文字偵測器轉成可檢視特徵的系統,也能用來分析不同語言模型的寫作習慣。

它先在偵測器的 residual stream 上訓練稀疏自編碼器(SAEs),為特徵產生描述和驗證分數,再篩選合格特徵,交由稀疏分類頭作出預測。結果會列出 AI 機率、特徵描述及各特徵的影響方向;示例中,「about」作介詞和重複語句提高 AI 分數,而口語填充語則降低分數。

你可以先到 Hugging Face Space 試用示範,開發者則可透過 Python 套件載入預訓練的 liamdugan/detector-scope 模型,提交文字並讀取特徵結果。亦把自有黑箱偵測器轉成可審核版本的流程,但沒有提供可據以比較準確率或誤判率的評測數據。

  • 判斷結果附有可讀特徵,並可定位相關文字片段。
  • 特徵描述及驗證分數用來篩選分類器採用的訊號。
  • 可用於檢視模型文字傾向,或研究偵測器如何作出判斷。
  • 特徵解釋有助審查結果,但不能單憑解釋證明偵測準確或公平。

對研究文字偵測、模型行為或內容審核的團隊而言,DetectorScope 提供了比單一 AI 標籤更可追查的分析線索。由於資料未列出不同領域、語言或改寫文本上的可靠度,涉及學術紀律或其他高風險決策時,仍應配合人工審核,避免把偵測分數當成定論。

GitHub

Categories: 開源, 模型, 模型訓練, Google, 工具, Python