InferNews

PropMe：測試 LLM「會不會」洩漏訓練資料

propme framework

大型語言模型（LLMs）會背誦訓練資料，但現有的記憶性評估大多只關心「能不能逼它說出來」，而忽略了「它在一般使用下到底會不會自己講」。PropMe 正是針對這個落差而設計的傾向感知（propensity-aware）評估框架，它把前綴式的能力攻擊（prefix-style capability attacks）與日常、非對抗的生成結果並列比較，計算出模型在真實情境下洩漏訓練資料的傾向。

整個項目的運作有兩大部分。PropMe 負責定義指標與分析邏輯；SimpleTrace 是一個建基於 infini-gram 的輕量離線追蹤流水線，負責為訓練語料建立索引、把模型生成結果對應回來源文檔，再計算出 verbatim、near-verbatim 與傾向轉換後的記憶性指標。流程包含索引建立、unigram 機率預計算、生成結果追蹤、驗證與傾向指標運算等步驟，資料夾 README 都各有詳細說明。

PropMe 以兩個完全開源的模型——Comma 與 DFM Decoder——在 Common Pile 與 Dynaword 兩份雙語資料集上做實驗。結果顯示能力（capability）與傾向（propensity）之間存在穩定落差：前綴攻擊能引出明顯的記憶痕跡，但日常或資料集特定的提示下，傾向分數普遍偏低。另一個有趣的發現是，從 Comma 持續預訓練而成的 DFM Decoder，對 Common Pile 的記憶能力與傾向都下降，顯示後續訓練若側重不同資料，能降低既有的記憶行為。

這個項目適合關注模型安全、版權與資料外洩的研發人員、模型審計人員及學術研究者。如果你正在評估自家模型的記憶風險，PropMe 提供了把「最壞情況抽取性」與「日常洩漏傾向」分開呈現的具體做法，比單純跑前綴攻擊更能反映真實部署風險。

重點摘要：

  • 問題意識：區分模型「被逼才會背」與「日常會背」兩種不同行為。
  • 核心框架：PropMe 負責傾向指標，SimpleTrace 負責把生成結果追蹤回訓練文檔。
  • 技術基礎：建立在 infini-gram 之上，支援 verbatim、near-verbatim 與傾向轉換指標。
  • 評估模型：Comma 與 DFM Decoder，資料集涵蓋 Common Pile 與 Dynaword 兩種語料。
  • 實用價值：為模型記憶性審計提供比純粹對抗攻擊更貼近真實使用的衡量方式。

GitHub： https://github.com/N-essuno/PropMe

Paper： https://arxiv.org/pdf/2606.06286

Categories: 開源, 模型訓練, 框架

Audio-Interaction：讓 AI 像真人一樣即時聽與回應

Audio-Interaction teaser

Audio-Interaction 是一款由南洋理工大學（NTU）、新加坡國立大學（NUS）及香港中文大學（CUHK）共同研發的全開源音訊語言模型，屬於新一代的 Audio Interaction Model（音訊互動模型）。它以一個始終運行的感知—決策—回應循環（perceive-decide-respond loop）為核心，能即時聆聽環境聲音與指令，並自行判斷何時應該開口回應。

傳統的大型音訊語言模型大多只支援離線處理，而現有的串流模型一般只能做單一任務，例如即時語音辨識（streaming ASR）或語音聊天。Audio-Interaction 以單一架構同時覆蓋離線與即時任務，把辨識、翻譯、對話等不同功能統一在同一條串流中。這意味著開發者只需要一套模型，就能應付多種音訊互動場景。

這個項目的核心創新在於其訓練流程 SoundFlow。它能把短音訊片段拼接成長互動資料，並以「塊級決策訓練」（chunk-level decision training）配合歷史回顧與語意感知的靜音處理，讓模型學會「該不該說話」。在推論階段，SoundFlow 採用異步 FIFO 推論（asynchronous FIFO inference），使首幀延遲降低約 4.5 倍，帶來更流暢的即時體驗。

使用時，開發者可以直接從官方頁面取得技術報告與程式碼，並透過微信群組加入社群討論。該項目亦提供了即時試聽 Demo，可與 OpenAI 的 gpt-realtime 及字節跳動的 Seeduplex 進行同條件比較，在重複聲響計數、咳嗽辨識及音樂風格判斷等場景中，Audio-Interaction 能逐輪輸出有意義的回應。

Audio-Interaction 重點摘要：

  • 統一架構：以單一模型同時支援離線與即時音訊任務，涵蓋辨識、翻譯及對話。
  • 感知—決策—回應循環：模型自行判斷回應時機，貼近真實人機互動節奏。
  • SoundFlow 訓練流程：結合資料拼接、塊級決策訓練與靜音感知，提升即時判斷能力。
  • 低延遲推論：異步 FIFO 推論使首幀延遲降低約 4.5 倍。
  • 完全開源：提供技術報告、程式碼及即時試聽 Demo，方便研究與應用。

這個項目特別適合從事語音 AI、對話系統及多模態互動研究的開發者與團隊，能為需要即時音訊理解的產品，例如智能助手、會議記錄、聽障輔助等，提供一個統一且靈活的基礎模型。

項目： https://xzf-thu.github.io/Audio-Interaction/

Categories: 開源, 香港中文大學, 模型, 模型訓練, 語音

SDPG：自我蒸餾及獎勵的訓練演算法

Repository image for lauyikfung/SDPG

在大型語言模型的後訓練階段，強化學習可驗證獎勵（RLVR）已是數學與程式推理的常用配方。然而當獎勵只給到序列層級，模型在訓練初期容易遇到訊號稀疏、優勢值為負時不穩定的問題。SDPG（Self-Distilled Policy Gradient）正是針對這兩個痛點而設計的開源項目。

這個項目將 GRPO 擴展為一種自我蒸餾式的策略梯度方法：在同一個模型中，學生只接收問題，而教師額外接收特權脈絡 c。兩者之間以 full-vocabulary 的 token-level KL 散度即時計算蒸餾訊號，為訓練提供更密集的監督；同時結合標準差歸一化與可切換的 α 參考正則化，以提升訓練穩定性。由於學生與教師共享同一組參數，整體設計也避免了額外部署大型教師模型所帶來的記憶體負擔。

環境需要 8 張 A100、H100 或 H200，以及本地 Ray 叢集；預設模型為 Qwen/Qwen3-4B，亦可指向本地權重。資料格式採用特殊 token 分隔演員題目與教師脈絡，相關腳本皆已附上。對正在研究 RLHF 或想把推理模型蒸餾得更穩定的團隊而言，這是一個門檻明確、可重現的實作藍本。

重點摘要

  • 在 GRPO 之上加入 exact per-token forward KL 自我蒸餾，緩解稀疏獎勵問題
  • 學生與教師共用同一模型，免去大型教師的額外記憶成本
  • 內建四種 α 正則模式（fkl、rkl、ufkl、urkl），方便消融實驗
  • 預設支援 Qwen/Qwen3-4B，可在 verl RLHF 框架上直接運行
  • 硬體門檻為 8 張 A100/H100/H200，搭配本地 Ray 叢集即可啟動

GitHub： https://github.com/lauyikfung/SDPG

Paper： https://arxiv.org/pdf/2606.04036

Categories: 開源, 模型訓練

TRON 視覺推理環境

TRON overview

TRON（Targeted Rule-verifiable Online Environments for Visual Reasoning RL）由喬治亞大學運算學院的研究團隊開源，是一個用於視覺推理強化學習的環境套件。與傳統固定的圖文題庫不同，TRON 的每個環境都由「生成器」與「驗證器」組成：生成器負責抽樣新的視覺狀態並繪製圖片，驗證器則即時比對模型答案與標準答案，因此每次呼叫都會產生全新題目，數量上不受既有資料集限制。

這個項目解決的核心問題是視覺推理強化學習長期缺乏可擴展、可控制、可驗證的訓練信號。過往做法依賴人工標註或合成指令的靜態資料集，題目數量受限，且難以針對特定難度與技能做調整。TRON 把每道題目變成可程式化的環境，訓練時可依據當前課程難度持續產出新實例，並由驗證器提供精確的獎勵。

套件規模方面，TRON 包含520個環境，分為五大能力類別：空間（111個）、數學（131個）、圖表（144個）、規律（104個）和計數（30個）。同一套環境可同時訓練一個全能力的「full TRON model」，或分別訓練五個針對單一能力的 specialist 模型。團隊亦針對生成穩定性、題目多樣性、跨環境重複率與基礎模型在不同難度的通過率進行了完整的子環境分析。

訓練與評估部分，項目採用 TRON-DAPO 強化學習方法。使用 TRON 進行 RL 後訓練，Qwen3-VL-4B、Qwen2.5-VL-7B 與 MiMo-VL-7B 等多個多模態模型，在十個外部視覺推理基準測試上都有穩定提升。對想研究視覺 RL 的研究人員或團隊而言，TRON 提供了一個現成、可擴展且易於自訂難度的訓練場景。

重點摘要：

  • 520個可程式化的視覺推理環境，分屬空間、數學、圖表、規律、計數五大類別。
  • 每次訓練都會即時生成新題目，並由驗證器自動核對答案。
  • 支援訓練單一全能力模型或多個單一能力的 specialist 模型。
  • 內建子環境分析，涵蓋生成穩定性、難度梯度與基礎模型表現。
  • 在多個主流多模態模型上，採用 TRON-DAPO 訓練皆能提升外部基準表現。

GitHub： https://github.com/YangTianze009/TRON

Paper： https://arxiv.org/pdf/2606.01599

Categories: 模型訓練, 深度學習, 視覺模型, Dataset 數據集

GGT-100K：用十萬對真實影像 拓寬圖像修復的泛化邊界

GGT-100K logo

過去訓練圖像修復模型時，開發者往往受限於合成數據與真實場景之間的差距；模型在實驗室數據集表現亮眼，遇到街拍、手機夜拍等真實退化影像就大打折扣。GGT-100K 正是為了解決這個落差而生，由香港理工大學 OPPO 研究院共同推出，主打從 MFM（Multimodal Foundation Models）直接生成十萬對 LQ-HQ 配對資料，覆蓋更貼近日常的真實退化類型。

這個項目的核心想法是「讓高品質影像本身充當 Ground Truth（GT）」，再利用 MFM 推演對應的低品質版本，省去繁瑣的人工蒐集與標註。GGT-100K 並附帶 baseline 訓練程式碼與 checkpoint，研究者只需在自有的修復模型上加掛 LoRA 或重新微調，就能測試跨域泛化效果；對工程團隊而言，等於取得一條快速驗證真實世界表現的捷徑。

GGT-100K 重點摘要

  • 提供十萬對從 MFM 生成的 LQ-HQ 影像配對，涵蓋多元真實退化情境。
  • 內建 baseline 訓練與推論程式碼，支援主流修復模型微調。
  • 透過 Generative GT 策略，免除傳統人工蒐集配對的高昂成本。
  • 數據集可從 Hugging Face 或百度雲下載，附完整 Construction Process 說明。
  • 實驗結果顯示，模型在跨域真實退化測試中的泛化能力有明顯提升。

至於性能表現，作者在多個 SOTA（State-of-the-Art）MFM 上進行了修復評估，結果顯示加入 GGT-100K 訓練後，模型對未見過的真實退化樣本有更佳的適應力；具體的數值比較已收錄在 Experimental Results 區段與論文 arXiv 2605.31039 之中。如果你是從事影像修復、攝影 App 開發，或是想評估自家模型在真實世界表現的團隊，這份開源資源值得花時間一試。

GitHub： https://github.com/PolyU-VCLab/GGT-100K

項目： https://polyu-vclab.github.io/GGT-100K/

Categories: 開源, 香港理工大學, 影像處理, 模型, 模型訓練, 視覺模型, Dataset 數據集

無需外部資料的自博弈訓練：SCOPE 讓模型自己出題自己答

Og image

現有的語言模型自博弈（self-play）訓練方法，大多只能處理有明確對錯的題目，例如數學運算。蘇格蘭愛丁堡大學等機構的研究團隊提出了一個名為 SCOPE（Self-Play via Co-Evolving Policies）的框架，把自博弈拓展到沒有標準答案的開放式任務，例如需要整合多段資料才能完成的問答。研究團隊來自 University of Edinburgh、Imperial College London 與 Miniml.AI。

SCOPE 的核心設計是讓同一個基礎模型分身成三個角色：Challenger（出題者）、Solver（答題者）以及 Judge（評判者）。Challenger 讀取一份文件，透過多輪檢索寫出難度貼近答題者極限的題目；Solver 則要靠自己搜尋資料、整合證據後作答；Judge 凍結在初始狀態，根據同一份文件擬定評分準則，並為每項標準給出嚴格的二元評分。三者完全不依賴人工編寫的題目，也不需要體型龐大的前沿模型做監督。

這個框架解決了一個關鍵痛點：開放式任務沒有固定答案，傳統強化學習難以給出可靠的反饋。SCOPE 透過「文件接地」（document grounding）製造資訊不對稱——Challenger 和 Judge 看得到原文，Solver 看不到，迫使答題者必須主動檢索。同時，題目難度被控制在答題者得分約 50% 的位置，因為這個點的反饋變化最大，最有利於學習；得分低於 0.2 或高於 0.8 的題目會被過濾掉，避免太簡單或太難的內容浪費訓練資源。研究亦加入長度懲罰與品質門檻，防止模型以灌水或抄原文的方式「刷分」。

在 Qwen2.5-7B 等 7–8B 規模的模型上，SCOPE 在 8 個開放式基準測試中最高取得 +10.4 分的提升，整體增幅介於 +5.4 至 +10.4 分，並在 7 個傳統問答基準上同樣有穩定進步，過程中使用了 0 條人工策劃的提示。對於想以有限預算微調開源模型、又要兼顧開放式生成品質的開發者與研究團隊，這個方法提供了一條不依賴外部數據集的路徑。

項目： https://edinburghnlp.github.io/scope/

Categories: 開源, 模型訓練, 框架

dMoE：讓擴散語言模型告別專家暴漲

Overview

擴散式大型語言模型（dLLMs）近年被視為自迴歸模型的另一條路線，本身就支援平行解碼，但一旦搭配 MoE（Mixture-of-Experts）架構來放大模型容量，卻會撞上一個尷尬的牆：dLLM 在同一個前向傳遞中會同時處理多個互相關聯的 token，而傳統 MoE 卻是針對每個 token 各自挑選專家，導致一次推論要啟動的獨立專家數量暴增，記憶體頻寬很快就成為瓶頸。

dMoE 的核心構想相當直觀：與其在每個 token 層級各自決定要用哪個專家，不如在「區塊」層級做統一決策。它會先把同一個區塊內各 token 的專家分佈聚合成一份，再以這個區塊級的分佈去引導整個區塊的路由。這個改動讓啟動的獨立專家數量從原本的 69.5 個左右壓到 14.6 個，記憶體用量減少約 76% 至 80%，端到端延遲也獲得 1.14 倍到 1.66 倍的加速。

在效能維持方面，dMoE 在多項推理與通用基準測試中保留了原模型約 99.11% 的表現。以 MATH500 為例，成績只從 72.0% 微跌到 71.0%，啟動專家數量卻從 70 個降到 14.1 個，是相當划算的交換。

dMoE 直接以 LLaDA-2.0-mini 為基礎建構，沒有更動主架構，因此可順利套用到其他遮罩式 dLLMs，目前亦已在 Hugging Face 上釋出名為 dMoE-16B 的模型權重。對想嘗試 dLLM 卻受限於顯卡的研究者與工程師來說，這個項目是低門檻的延伸切入點；對做模型效率優化的團隊，區塊級路由的設計也提供了有參考價值的方向。

重點摘要

  • 區塊級專家路由：在區塊而非 token 層級做 MoE 決策，大幅壓低啟動專家數量。
  • 記憶體與頻寬壓力減輕：獨立專家從約 69.5 個降到 14.6 個，記憶體用量減少 76%–80%。
  • 速度明顯提升：端到端推論延遲獲得 1.14× 至 1.66× 加速。
  • 表現幾乎不打折：在多項基準測試中保留約 99.11% 原始效能。
  • 隨插即用設計：以 LLaDA-2.0-mini 為基礎，不改動架構即可套用至其他遮罩式 dLLMs。

GitHub： https://github.com/fscdc/dMoE

項目： https://fscdc.github.io/dMoE/

Categories: 開源, 模型訓練, 框架

VLM3：毋需設計專屬模型架構而達專家級 3D 模型的效果

teaser

過往要讓AI理解3D場景，往往需要設計專屬的模型架構、複雜的損失函數，還要加上各種資料增強手段。Meta與Princeton合作提出的VLM³（Vision Language Models Are Native 3D Learners）卻反其道而行，主張標準VLM天生就是3D學習者。

有效的 3D 學習主要靠三點 —— 焦距統一（focal length unification）、文字式像素參照（text‑based pixel reference）、以及資料混合與擴展，而不是新架構、大模型、heavy augmentation 或複雜 regression loss。

VLM³會先把輸入影像縮放至相同焦距（以1000像素為例），解決相機內參歧義；需要指涉物件或像素時，就以文字配合標準化座標範圍（例如[0, 2000)或[0, 1000)）來表達，整個過程不需更動架構或加額外編碼器，僅用標準的文本監督微調（SFT）訓練。

在效能上，VLM³於多個3D基準上繳出亮眼成績：在物件級3D理解上超越SpatialRGPT；於度量深度估計上比肩UnidepthV2與Moge-2，把DepthLM的準確度由0.84提升至0.9；在像素對應上勝過DKM與RoMa；相機姿態估計方面則與DepthAnything3持平並超越VGGT。

這套方法適合關注3D視覺的開發者與研究團隊，特別是希望以單一通用模型涵蓋深度、對應、姿態與物件理解等任務的人。對於想從規模化資料入手，而非投入大量工程設計特定模型的場景，VLM³提供了一條相當務實的路徑。模型目前尚未公開，讀者可先留意論文及官方項目頁面的後續更新。

重點摘要：

  • 焦距統一：把輸入影像縮放至同一焦距，免去相機內參歧義。
  • 文本式像素參考：以標準化座標文字指涉像素，不需加標記或新架構。
  • 資料規模化勝過複雜設計：證明擴展資料與標準SFT已足夠，不需任務專屬模型。
  • 多項指標比肩專家模型：深度、像素對應、相機姿態等任務達到頂尖水準。
  • 統一輸出域：以文字作為統一介面，讓通用模型同時處理多樣3D任務。

GitHub： https://github.com/facebookresearch/VLM3

Paper： https://arxiv.org/pdf/2605.30561

Categories: 開源, 3D, 模型訓練, Meta, 框架

用 PEEK 幫影片挑重點影格：省時又精準

Stage 1: privileged teacher scoring

處理長影片時，視覺語言模型 (VLM) 一次只能看幾幀畫面，於是「要挑哪幾幀」就成了影片標題生成的瓶頸。PEEK 這個開源項目正是為了解決這個問題：它是一個 query-free 的影格挑選器，專為低預算 (low-budget) 影片標題任務而設計。

PEEK 的運作分為兩階段。第一階段由凍結的 SigLIP2 SO400M patch14 384 雙編碼器擔任教師模型，利用真實標題與每一幀計算餘弦相似度，並做最小最大正規化 (min-max normalization)，產生幀級相關性分數。第二階段是一個 2 層 Transformer 學生模型，接收凍結的 MobileCLIP2-S0 幀嵌入，以 ListMLE 排序損失 (listwise ranking loss) 學習重現教師的排序。推論時學生模型只需看畫面，無需任何標題或文字編碼器介入。

選幀策略採用「分組取最大」(stratified argmax)：將影片均分成 k 個時間區段，每段挑出分數最高的幀，以兼顧時間分佈。當 k=1 時則退化為全影片取最大。

實驗結果顯示，單一在 ActivityNet 訓練的 PEEK 權重在多個影片標題 VLM 上，於一幀與兩幀設定的 CIDEr 分數均優於均勻取樣，且預算越緊、省下的時間越多。論文亦報告 PEEK 在標題生成流程中僅增加 5.2% 時間，相比 CSTA 的 65.4% 與 MaxInfo 的 211.9% 更為輕量。

適合需要快速處理大量影片的研發團隊、影片摘要系統開發者，以及想為現有 VLM 加上智能取樣的研究者。倉庫已提供教師分數生成、蒸餾訓練、單段影片推論 CLI 與 Python API，並於 Hugging Face 釋出 ActivityNet 訓練的 base 權重。

重點摘要

  • 問題：VLM 處理影片時，如何在極少影格預算下挑出最有資訊量的畫面。
  • 方法：以 SigLIP2 為教師產生排序標籤，再以 MobileCLIP2 + 2 層 Transformer 學生模型做知識蒸餾 (knowledge distillation)。
  • 推論：無需文字查詢，僅靠視覺證據；採用 stratified argmax 兼顧時間覆蓋。
  • 效率：額外開銷僅約 5.2%，遠低於 CSTA 與 MaxInfo 等自適應方法。
  • 資源：開源訓練與推論代碼，並提供 Hugging Face 預訓練權重。

GitHub： https://github.com/momentslab/peek

項目： https://www.killian-steunou.com/peek/

Categories: 開源, 影像處理, 模型, 模型訓練, 視覺模型, 框架

contrastive-probing：拆解 VLM 空間判斷偏差的輕量診斷項目

Repository image for cheolhong0916/contrastive-probing

contrastive-probing 是一個用來檢查 Vision-Language Models（VLMs）內部空間表示的輕量項目，焦點不是模型答對幾多題，而是它腦內如何分開 left / right、above / below、far / close。它沿用論文《Why Far Looks Up: Probing Spatial Representation in Vision-Language Models》的 contrastive probing 方法，透過交換問題中的兩個物件，再比較 hidden states 差異，抽出 Δ vectors 作分析。

使用時，做法是把一張圖片配上一條原始空間問題，再生成一條交換 obj1 ↔ obj2 的對照問題，之後對同一個 VLM 跑兩次 forward，並在每層 transformer 擷取最後 token 的表示。這個流程可配合 🤗 transformers 載入的模型，然後輸出 Axis Coherence、6×6 Δ-similarity heatmap、2D/3D PCA 視覺化，以及 Vertical–Distance Entanglement Index（VD-EI）等結果。

這個項目解決的核心問題，是 benchmark accuracy 往往只告訴你模型有冇答中，卻未必揭示它是否用對了空間線索。論文與附帶說明指出，多個模型家族都出現 vertical-distance entanglement，也就是把畫面較高的位置誤當成較遠，反映自然照片常見的 perspective heuristic「higher in the image ⇒ farther away」。

  • 用最少對照設計觀察表示層，而不只看答題分數
  • 可比較不同 layer 的空間軸是否清晰分離
  • 能發現 vertical 與 distance 是否糾纏，幫助找出偏差來源
  • 適合分析 EmbSpatial-Bench、SpatialTunnel 這類空間推理資料

對研究者、模型分析人員，或者要檢查 multimodal assistant、robotics、embodied agents 背後空間推理可靠性的人，這個項目尤其有用。現有資料顯示，就算 benchmark 分數相近，不同 VLM 的內部表示也可能差很遠，而空間軸分得較清楚的模型，通常在不同測試上的穩健性會較好。

整體來看，這不是訓練新模型的項目，而是一套偏向診斷與解釋的工具。它的創新點在於用 minimal contrastive pairs 加上 representation-level analysis，把「模型為何會答對或答錯」拆成更具體的內部結構問題，對想深入理解 VLM 空間能力的人，價值比單看排行榜更高。

GitHub： https://github.com/cheolhong0916/contrastive-probing

項目： https://cheolhong0916.github.io/whyfarlooksup.github.io/

Categories: 開源, NVIDIA, 3D, 模型訓練, 視覺模型, 世界模型, 框架
Page 3 of 6
1 2 3 4 5 6