InferNews

PASA 是一個研究型專案，目標是替大型語言模型生成的文字加入可檢測的「水印」。它特別針對一個常見難題：即使用家把句子改寫、換同義詞，甚至做段落重述，只要意思大致不變，系統仍希望辨認到這段文字原本由 AI 產生。

和不少只看字面詞彙的做法不同，PASA 把重點放在語意層面。簡單講，它不是只標記某些字，而是利用嵌入空間中的語意群組去安排生成與檢測，因此面對 paraphrase 這類「保留意思但改寫表達」的攻擊時，理論上會更穩定。

實際使用上，這個儲存庫主要提供研究重現流程：用 generation.py 進行生成與檢測，並配合語言模型、輔助模型、本地資料集及一份 token 對應語意群組的映射檔來跑實驗。換句話說，它比較適合研究人員或進階開發者驗證效果，而不是一般用家即裝即用的成品工具。

重點可簡單整理如下：
– 針對 AI 文字加入可檢測水印，並強調抗改寫能力
– 核心創新是把水印放到語意嵌入空間，不只看表面用字
– 設計目標包括提升檢測穩定性，同時盡量維持文字品質
– 儲存庫提供官方實作，重點在實驗重現與結果驗證

如果你的場景是內容來源追蹤、平台風險管理，或學術上研究 AI 文字識別，PASA 會很值得留意。相反，若你只是想快速做網站內容偵測，這個專案目前看來仍偏研究導向，需要自行準備資料與模型環境。

從論文與專案說明來看，PASA 的價值不只在「能不能驗出」，而是在改寫攻擊下仍保持可檢測性，這點對現實應用尤其重要。不過它是否適合你的流程，仍要視乎你有沒有能力配置實驗環境，以及是否需要面對高強度的語意改寫情境。

Source: https://github.com/ai-kunkun/PASA

LoopUS 是一個針對大型語言模型的後訓練框架，核心想法不是叫模型輸出更長答案，而是先在內部隱藏表示上反覆「再諗一次」。簡單講，它把原本一次過運作的模型，拆成編碼、循環推理、解碼三部分，讓中間的推理區塊可以重用多次。

這種做法的實際用途，主要是令模型在回答較需要推理的問題時，可按需要投入更多計算量，而毋須由零開始訓練全新的循環式架構。對研究人員或工程團隊來說，這代表可以基於現有預訓練檢查點做改造，兼顧部署現實與訓練成本。

LoopUS 的創新之處，在於它不是盲目重覆中間層，而是先根據模型內部表示隨深度變化的特徵，決定邊部分適合拿來循環使用。同時，它加入選擇性閘門去減少反覆更新時的狀態漂移，並用較節省記憶體的監督方式訓練長迴圈，另外還有信心分數機制，推論時可提早停止，避免不必要的額外步數。

重點摘要：
– 把預訓練 LLM 重組成編碼器、循環推理區塊、解碼器
– 主要在隱藏空間做反覆精修，而非單純拉長輸出內容
– 以選擇性閘門穩定多輪迭代，減低表示崩壞風險
– 支援按輸入難度調節推論計算量，較重視效率
– 評估流程結合 lm-eval，訓練程式亦集中處理 checkpoint 與續跑

若你是做研究原型、推理能力比較，或想測試「同一模型可否用更多思考步數換取更好表現」，LoopUS 會特別值得留意。相對一般只追求生成更長文字的方法，它更像在模型腦內做多輪整理；不過實際收益仍取決於基礎模型、資料與任務設定。

Source: https://github.com/Thrillcrazyer/LoopUS

這個專案的核心，不是再訓練一個「黑盒」分數模型，而是先把人對圖片好壞的偏好，整理成可讀的文字評分準則。簡單講，系統會看一小批已標示「邊張較好」的圖片對，抽出判斷依據，再交給視覺語言模型作裁判，輸出成對訓練有用的獎勵訊號。

實際使用上，它較適合已有偏好資料的人員：例如你手上有兩張生成圖，並知道哪張較符合要求，系統就可根據這些例子自動產生 rubric。之後你可以檢查、保存和重用同一份準則文件，令後續訓練或比較更一致，而不是每次靠隱藏分數重新估計。

我認為這個專案最有意思的地方，是它把「評分理由」由隱性變成顯性。它不只會生成準則，還會用已標記例子反覆驗證與修訂；若準則判錯，就再調整，這比單純叫模型直接揀贏家更容易追查問題。論文亦指出，這類做法有助減少位置偏差，並提升少量標註下的效率。

• 最大特色：獎勵不再是看不到的分數，而是可閱讀的文字準則
• 流程較可驗證：生成後會對照標註樣本檢查，失敗就修訂
• 支援範圍實用：可用於文字生圖，也可處理帶來源圖的編輯任務
• 重用性高：準則可存成檔案，之後重複用於較穩定的訓練流程

最適合的場景，是你想微調圖片生成或圖片編輯模型，但又希望知道模型究竟憑甚麼作出偏好判斷。此專案已接好文字生圖的 FLUX.1-dev LoRA RPO，以及圖片編輯的 Qwen-Image-Edit LoRA RPO；作裁判的視覺語言模型則可用本地 Qwen3-VL（經 vLLM）或 OpenAI 相容端點。

整體來看，AutoRubric-as-Reward較像一套「把審美與要求寫清楚」的工具鏈，而不只是另一個評分器。對研究或進階開發者而言，它的價值在於透明、可檢查、可重現；但對一般用家來說，前提仍是你需要有成對偏好資料，以及願意花時間檢視準則是否真的反映你的標準。

以下係條式嘅詳細拆解：

1. 左手邊：$P^*(y^+ \succ y^- | x)$

• $x$：係指輸入嘅內容（Input/Prompt）。
• $y^+$ 同 $y^-$：係一對輸出。通常 $y^+$ 代表人類偏好嗰個（好嘅），$y^-$ 代表被捨棄嗰個（差嘅）。
• $\succ$：呢個符號代表「優於」或者「偏好」。
• 意思係「喺已知 $input$ 嘅情況下，人類偏好 $y^+$ 多過 $y^-$ 嘅機率」。

2. 右手邊：分數分配

呢個部分係用嚟將「好感度」量化：

• $r^*(x, y)$：呢個係獎勵函數 (Reward Function)。你可以想像成模型幫每一個輸出打嘅「分」。分數越高，代表嗰個輸出越符合人類偏好。
• $\exp(\dots)$：即係指數函數 $e^x$。用指數係為咗確保計出嚟嘅數值係正數，而且可以放大分數之間嘅差距。

3. 成條式嘅邏輯

$$P^*(y^+ \succ y^- | x) = \frac{\exp(r^*(x, y^+))}{\exp(r^*(x, y^+)) + \exp(r^*(x, y^-))}$$

呢個結構其實同我哋平時見嘅 Softmax 或者 Sigmoid 函數好似：

• 分子：係偏好輸出 ($y^+$) 嘅得分。
• 分母：係兩個輸出（$y^+$ 同 $y^-$）得分嘅總和。
• 結論：如果 $y^+$ 嘅得分比 $y^-$ 高好多，分子就會佔分母好大比例，機率就會接近 1（代表好肯定人類會揀 $y^+$）。如果兩者得分差唔多，機率就會接近 0.5（代表人類覺得兩個都差唔多）。

總結

呢條式喺訓練 AI（例如 RLHF 或者 DPO）嗰陣好重要，佢幫模型學識點樣根據人類嘅選擇，去調整背後嗰個 $r^*$ 獎勵分數，令模型之後生成嘅嘢越來越接近人類鍾意嘅答案。

Source: https://github.com/OpenEnvision/AutoRubric-as-Reward