InferNews

無需外部資料的自博弈訓練：SCOPE 讓模型自己出題自己答

Share to X
Og image

現有的語言模型自博弈（self-play）訓練方法，大多只能處理有明確對錯的題目，例如數學運算。蘇格蘭愛丁堡大學等機構的研究團隊提出了一個名為 SCOPE（Self-Play via Co-Evolving Policies）的框架，把自博弈拓展到沒有標準答案的開放式任務，例如需要整合多段資料才能完成的問答。研究團隊來自 University of Edinburgh、Imperial College London 與 Miniml.AI。

SCOPE 的核心設計是讓同一個基礎模型分身成三個角色：Challenger（出題者）、Solver（答題者）以及 Judge（評判者）。Challenger 讀取一份文件，透過多輪檢索寫出難度貼近答題者極限的題目；Solver 則要靠自己搜尋資料、整合證據後作答；Judge 凍結在初始狀態，根據同一份文件擬定評分準則，並為每項標準給出嚴格的二元評分。三者完全不依賴人工編寫的題目，也不需要體型龐大的前沿模型做監督。

這個框架解決了一個關鍵痛點：開放式任務沒有固定答案，傳統強化學習難以給出可靠的反饋。SCOPE 透過「文件接地」（document grounding）製造資訊不對稱——Challenger 和 Judge 看得到原文，Solver 看不到，迫使答題者必須主動檢索。同時，題目難度被控制在答題者得分約 50% 的位置，因為這個點的反饋變化最大，最有利於學習；得分低於 0.2 或高於 0.8 的題目會被過濾掉，避免太簡單或太難的內容浪費訓練資源。研究亦加入長度懲罰與品質門檻，防止模型以灌水或抄原文的方式「刷分」。

在 Qwen2.5-7B 等 7–8B 規模的模型上，SCOPE 在 8 個開放式基準測試中最高取得 +10.4 分的提升，整體增幅介於 +5.4 至 +10.4 分，並在 7 個傳統問答基準上同樣有穩定進步，過程中使用了 0 條人工策劃的提示。對於想以有限預算微調開源模型、又要兼顧開放式生成品質的開發者與研究團隊，這個方法提供了一條不依賴外部數據集的路徑。

項目： https://edinburghnlp.github.io/scope/

Categories: 開源, 模型訓練, 框架

dMoE：讓擴散語言模型告別專家暴漲

Share to X
Overview

擴散式大型語言模型（dLLMs）近年被視為自迴歸模型的另一條路線，本身就支援平行解碼，但一旦搭配 MoE（Mixture-of-Experts）架構來放大模型容量，卻會撞上一個尷尬的牆：dLLM 在同一個前向傳遞中會同時處理多個互相關聯的 token，而傳統 MoE 卻是針對每個 token 各自挑選專家，導致一次推論要啟動的獨立專家數量暴增，記憶體頻寬很快就成為瓶頸。

dMoE 的核心構想相當直觀：與其在每個 token 層級各自決定要用哪個專家，不如在「區塊」層級做統一決策。它會先把同一個區塊內各 token 的專家分佈聚合成一份，再以這個區塊級的分佈去引導整個區塊的路由。這個改動讓啟動的獨立專家數量從原本的 69.5 個左右壓到 14.6 個，記憶體用量減少約 76% 至 80%，端到端延遲也獲得 1.14 倍到 1.66 倍的加速。

在效能維持方面，dMoE 在多項推理與通用基準測試中保留了原模型約 99.11% 的表現。以 MATH500 為例，成績只從 72.0% 微跌到 71.0%，啟動專家數量卻從 70 個降到 14.1 個，是相當划算的交換。

dMoE 直接以 LLaDA-2.0-mini 為基礎建構，沒有更動主架構，因此可順利套用到其他遮罩式 dLLMs，目前亦已在 Hugging Face 上釋出名為 dMoE-16B 的模型權重。對想嘗試 dLLM 卻受限於顯卡的研究者與工程師來說，這個項目是低門檻的延伸切入點；對做模型效率優化的團隊，區塊級路由的設計也提供了有參考價值的方向。

重點摘要

  • 區塊級專家路由：在區塊而非 token 層級做 MoE 決策，大幅壓低啟動專家數量。
  • 記憶體與頻寬壓力減輕：獨立專家從約 69.5 個降到 14.6 個，記憶體用量減少 76%–80%。
  • 速度明顯提升：端到端推論延遲獲得 1.14× 至 1.66× 加速。
  • 表現幾乎不打折：在多項基準測試中保留約 99.11% 原始效能。
  • 隨插即用設計：以 LLaDA-2.0-mini 為基礎，不改動架構即可套用至其他遮罩式 dLLMs。

GitHub： https://github.com/fscdc/dMoE

項目： https://fscdc.github.io/dMoE/

Categories: 開源, 模型訓練, 框架

VLM3：毋需設計專屬模型架構而達專家級 3D 模型的效果

Share to X
teaser

過往要讓AI理解3D場景，往往需要設計專屬的模型架構、複雜的損失函數，還要加上各種資料增強手段。Meta與Princeton合作提出的VLM³（Vision Language Models Are Native 3D Learners）卻反其道而行，主張標準VLM天生就是3D學習者。

有效的 3D 學習主要靠三點 —— 焦距統一（focal length unification）、文字式像素參照（text‑based pixel reference）、以及資料混合與擴展，而不是新架構、大模型、heavy augmentation 或複雜 regression loss。

VLM³會先把輸入影像縮放至相同焦距（以1000像素為例），解決相機內參歧義；需要指涉物件或像素時，就以文字配合標準化座標範圍（例如[0, 2000)或[0, 1000)）來表達，整個過程不需更動架構或加額外編碼器，僅用標準的文本監督微調（SFT）訓練。

在效能上，VLM³於多個3D基準上繳出亮眼成績：在物件級3D理解上超越SpatialRGPT；於度量深度估計上比肩UnidepthV2與Moge-2，把DepthLM的準確度由0.84提升至0.9；在像素對應上勝過DKM與RoMa；相機姿態估計方面則與DepthAnything3持平並超越VGGT。

這套方法適合關注3D視覺的開發者與研究團隊，特別是希望以單一通用模型涵蓋深度、對應、姿態與物件理解等任務的人。對於想從規模化資料入手，而非投入大量工程設計特定模型的場景，VLM³提供了一條相當務實的路徑。模型目前尚未公開，讀者可先留意論文及官方項目頁面的後續更新。

重點摘要：

  • 焦距統一：把輸入影像縮放至同一焦距，免去相機內參歧義。
  • 文本式像素參考：以標準化座標文字指涉像素，不需加標記或新架構。
  • 資料規模化勝過複雜設計：證明擴展資料與標準SFT已足夠，不需任務專屬模型。
  • 多項指標比肩專家模型：深度、像素對應、相機姿態等任務達到頂尖水準。
  • 統一輸出域：以文字作為統一介面，讓通用模型同時處理多樣3D任務。

GitHub： https://github.com/facebookresearch/VLM3

Paper： https://arxiv.org/pdf/2605.30561

Categories: 開源, 3D, 模型訓練, Meta, 框架

用 PEEK 幫影片挑重點影格：省時又精準

Share to X
Stage 1: privileged teacher scoring

處理長影片時，視覺語言模型 (VLM) 一次只能看幾幀畫面，於是「要挑哪幾幀」就成了影片標題生成的瓶頸。PEEK 這個開源項目正是為了解決這個問題：它是一個 query-free 的影格挑選器，專為低預算 (low-budget) 影片標題任務而設計。

PEEK 的運作分為兩階段。第一階段由凍結的 SigLIP2 SO400M patch14 384 雙編碼器擔任教師模型，利用真實標題與每一幀計算餘弦相似度，並做最小最大正規化 (min-max normalization)，產生幀級相關性分數。第二階段是一個 2 層 Transformer 學生模型，接收凍結的 MobileCLIP2-S0 幀嵌入，以 ListMLE 排序損失 (listwise ranking loss) 學習重現教師的排序。推論時學生模型只需看畫面，無需任何標題或文字編碼器介入。

選幀策略採用「分組取最大」(stratified argmax)：將影片均分成 k 個時間區段，每段挑出分數最高的幀，以兼顧時間分佈。當 k=1 時則退化為全影片取最大。

實驗結果顯示，單一在 ActivityNet 訓練的 PEEK 權重在多個影片標題 VLM 上，於一幀與兩幀設定的 CIDEr 分數均優於均勻取樣，且預算越緊、省下的時間越多。論文亦報告 PEEK 在標題生成流程中僅增加 5.2% 時間，相比 CSTA 的 65.4% 與 MaxInfo 的 211.9% 更為輕量。

適合需要快速處理大量影片的研發團隊、影片摘要系統開發者，以及想為現有 VLM 加上智能取樣的研究者。倉庫已提供教師分數生成、蒸餾訓練、單段影片推論 CLI 與 Python API，並於 Hugging Face 釋出 ActivityNet 訓練的 base 權重。

重點摘要

  • 問題：VLM 處理影片時，如何在極少影格預算下挑出最有資訊量的畫面。
  • 方法：以 SigLIP2 為教師產生排序標籤，再以 MobileCLIP2 + 2 層 Transformer 學生模型做知識蒸餾 (knowledge distillation)。
  • 推論：無需文字查詢，僅靠視覺證據；採用 stratified argmax 兼顧時間覆蓋。
  • 效率：額外開銷僅約 5.2%，遠低於 CSTA 與 MaxInfo 等自適應方法。
  • 資源：開源訓練與推論代碼，並提供 Hugging Face 預訓練權重。

GitHub： https://github.com/momentslab/peek

項目： https://www.killian-steunou.com/peek/

Categories: 開源, 影像處理, 模型, 模型訓練, 視覺模型, 框架

contrastive-probing：拆解 VLM 空間判斷偏差的輕量診斷項目

Share to X
Repository image for cheolhong0916/contrastive-probing

contrastive-probing 是一個用來檢查 Vision-Language Models（VLMs）內部空間表示的輕量項目，焦點不是模型答對幾多題，而是它腦內如何分開 left / right、above / below、far / close。它沿用論文《Why Far Looks Up: Probing Spatial Representation in Vision-Language Models》的 contrastive probing 方法，透過交換問題中的兩個物件，再比較 hidden states 差異，抽出 Δ vectors 作分析。

使用時，做法是把一張圖片配上一條原始空間問題，再生成一條交換 obj1 ↔ obj2 的對照問題，之後對同一個 VLM 跑兩次 forward，並在每層 transformer 擷取最後 token 的表示。這個流程可配合 🤗 transformers 載入的模型，然後輸出 Axis Coherence、6×6 Δ-similarity heatmap、2D/3D PCA 視覺化，以及 Vertical–Distance Entanglement Index（VD-EI）等結果。

這個項目解決的核心問題，是 benchmark accuracy 往往只告訴你模型有冇答中，卻未必揭示它是否用對了空間線索。論文與附帶說明指出，多個模型家族都出現 vertical-distance entanglement，也就是把畫面較高的位置誤當成較遠，反映自然照片常見的 perspective heuristic「higher in the image ⇒ farther away」。

  • 用最少對照設計觀察表示層，而不只看答題分數
  • 可比較不同 layer 的空間軸是否清晰分離
  • 能發現 vertical 與 distance 是否糾纏，幫助找出偏差來源
  • 適合分析 EmbSpatial-Bench、SpatialTunnel 這類空間推理資料

對研究者、模型分析人員，或者要檢查 multimodal assistant、robotics、embodied agents 背後空間推理可靠性的人，這個項目尤其有用。現有資料顯示，就算 benchmark 分數相近，不同 VLM 的內部表示也可能差很遠，而空間軸分得較清楚的模型，通常在不同測試上的穩健性會較好。

整體來看，這不是訓練新模型的項目，而是一套偏向診斷與解釋的工具。它的創新點在於用 minimal contrastive pairs 加上 representation-level analysis，把「模型為何會答對或答錯」拆成更具體的內部結構問題，對想深入理解 VLM 空間能力的人，價值比單看排行榜更高。

GitHub： https://github.com/cheolhong0916/contrastive-probing

項目： https://cheolhong0916.github.io/whyfarlooksup.github.io/

Categories: 開源, NVIDIA, 3D, 模型訓練, 視覺模型, 世界模型, 框架

minWM：由影片生成走向 World Model

Share to X
Repository image for shengshu-ai/minWM

minWM 的定位很清楚：它不是再提供一個新模型，而是把建立 video world model 的整條流程拆開，讓人由 bidirectional T2V（Text-to-Video）或 TI2V（Text-and-Image-to-Video）基礎模型，一步步轉成 action-conditioned video world model。對剛接觸這個領域的人來說，這種完整路線比只放權重或單段程式碼更有幫助。

這項目重點不是「裝完即用」，而是按它提供的資料處理、訓練、蒸餾與推理流程逐段走。項目公開了 data → training → inference 的全流程，並提供 example data、runnable scripts、Claude Skills 與新手知識整理，方便你先跟一次標準流程，再按自己需要改 backbone、資料分佈或控制方式。

它要解決的問題，在於高質影片生成模型未必等同可互動的 world model。要做到低延遲、可因果 rollout、可回應鏡頭軌跡等操作，背後需要 camera control、autoregressive training、few-step distillation 及 streaming inference 等整套機制；minWM 正是把這些環節模組化，並用 Causal Forcing、Causal Forcing++、Teacher Forcing 與 asymmetric DMD 串連起來。

  • 支援 4-step DMD inference，並提到 multi-GPU sequence parallelism
  • 可用 pose strings 或 JSON 檔控制 camera trajectory
  • 提供 debug-world-model，整理 loss NaN、jitter、camera drift 等常見失敗模式
  • 提供 integrate-new-backbone，示範怎樣接入新的 video DiT
  • 參考 backbone 包括 Wan2.1-T2V-1.3B、HY1.5-TI2V-8B，亦提到 HY Action2V、HY TI2V、Wan Action2V

項目的新意在於它同時處理「怎樣訓練」與「怎樣改造」。除了支援不同 backbone 與 condition injection 方式，也把團隊累積的排錯經驗與 Claude 協作流程寫進項目，令研究者或工程人員不只看到結果，還能理解常見錯誤從哪裡出現。

它的目標是 real-time interactive video world models，並附有對 camera trajectory quality、controllability training steps、minimal batch-size requirements 的實驗分析。不過公開資訊較偏向框架與流程，若你想比較單一模型跑分，這個項目更適合當作建立、重現及擴展 World Model 的工作底座。

GitHub： https://github.com/shengshu-ai/minWM

Categories: 開源, 香港科技大學, Agentic, 影像模型, 影像處理, 模型, 模型訓練, 視覺模型, 視頻模型, 世界模型, 框架

EffOPD：助訓練模型流程更精明

Share to X
Repository image for caiyuchen-ustc/EffOPD

EffOPD 是一個圍繞模型訓練流程改良的研究實作，重點不在做一個全新聊天產品，而是在訓練途中更有效率地挑選值得評估的候選參數。從儲存庫資訊可見，它建基於 verl 與 GOPD，並調整訓練器與工作流程相關檔案，屬於偏底層的優化工具。

實際使用時，做法是沿用原本 OPD 的訓練流程，再加入迭代測試相關設定，並準備一份 parquet 格式的輕量驗證資料。這種安排的意思很直接：模型訓練到某些檢查點時，系統會額外評估幾個外推候選，而不是每次都用完整驗證流程，從而加快判斷。

專案想解決的，是大模型強化學習或蒸餾訓練中，評估成本高、嘗試路線多的問題。它較特別的地方，在於把「外推搜尋」和「即時輕量驗證」結合，讓訓練期間可以更早篩走不理想方向；儲存庫亦提到可設定每次最多測試 5 個候選，反映它著重效率與可控性之間的平衡。

  • 建基於 verl 與 GOPD，較適合已有相關訓練基礎的人
  • 透過啟用迭代測試，在訓練中加入外推式候選搜尋
  • 使用 parquet 驗證檔建立輕量驗證集，減少即時評估負擔
  • 可調整每個檢查點評估的候選數量，預設實驗值為 5

適合主要作為研究實驗、訓練流程調校，以及想比較不同訓練決策成本的人。相關脈絡上，儲存庫明確提到 OPD、GOPD 和 EffOPD，而論文方向亦圍繞大型語言模型的強化學習動態與 on-policy distillation；對一般用家未必即插即用，但對做模型訓練研究的人有參考價值。

GitHub： https://github.com/caiyuchen-ustc/EffOPD

Paper： https://arxiv.org/pdf/2605.11739

Categories: 開源, 香港科技大學, 騰訊, 模型訓練

NudgeRL：用更聰明方式訓練數學推理

Share to X
Repository image for tally0818/NudgeRL

如果你有留意近年大語言模型點樣練習數學題，NudgeRL算係一個幾有方向感的研究型專案。佢主要針對一個常見問題：模型唔係唔努力，而係好多時只會喺自己熟悉的解題路線入面打轉，結果要靠大量重複抽樣先撞到更好答案。

NudgeRL的做法唔係一味加大運算量，而係先提供較輕量的「策略層面背景」，引導模型用唔同思路展開推理，再將當中有效的行為學返去原本模型。簡單講，即係先畀方向去探索，再將成功經驗整理吸收，呢點比純粹盲試更有系統。

實際上手方面，呢個儲存庫已經分好幾部分：資料建立、訓練基線、NudgeRL訓練，同埋評估流程。較適合本身已經會用 Python、PyTorch、CUDA 同 vLLM 的研究者；如果你係一般開發者，都可以先由評估腳本、資料格式同設定檔入手，理解整體流程先。

  • 針對數學推理中的探索不足，而唔係只求更大抽樣數量
  • 內置 GRPO 同 POPE 風格基線，方便比較方法差異
  • 提供 DAPO-Math-17k 相關資料建構工具，唔使由零砌流程
  • 評估涵蓋 AIME、AMC23、MATH500、Apex Shortlist 等數學基準
  • 核心特色係將多樣化策略探索同後續行為蒸餾結合

如果你想比較相關模型或訓練路線，呢個專案最直接涉及的包括以 GRPO 為代表的 RLVR 方法、POPE 風格 oracle-prefix 基線，以及可配合 Hugging Face 模型與 LoRA adapter 的訓練評估流程。整體而言，NudgeRL較適合做推理增強、數學能力研究、後訓練方法比較的人；對想了解「如何更有效探索」而唔係「如何堆更多算力」的讀者，尤其有參考價值。

網址： https://github.com/tally0818/NudgeRL

網址： https://arxiv.org/pdf/2605.15726

Categories: 開源, 香港中文大學, 模型訓練, 深度學習

Lighthouse Attention：長上下文訓練新思路

Share to X
Repository image for ighoshsubho/lighthouse-attention

如果你有留意大型語言模型，應該知道文字愈長，運算成本往往升得愈快。Lighthouse Attention 針對的正正是這個痛點：在極長上下文訓練時，用分層挑選的方法，先縮細需要重點處理的內容，再交回現成的高效注意力流程處理。

這個儲存庫不是一個即開即用的聊天程式，而是建基於 PyTorch 的 torchtitan 訓練框架之上，以補丁形式整合。換句話說，較適合本身已經做模型訓練、想比較不同注意力機制的人；一般用家未必會直接跑起，但讀它的設計仍很有參考價值。

它較特別的地方，在於不是把稀疏機制硬塞進自訂核心，而是先做選擇，再沿用現有的 FlashAttention 密集計算路線。這樣的好處是較易受惠於上游優化，也減少為新方法重寫整套底層核心的負擔。資料顯示，它提供 norm、dilated 和 gla 三種評分變體，亦支援可選的 context parallel 路徑。

如果你想上手，較實際的做法是先把它當成研究原型：按版本要求準備好 torchtitan、對應提交版本、兩個額外原始檔及補丁，再用 configs 內不同設定比較 top-K、pool、大細層數與 scorer 差異。官方資訊亦提到，它曾在 530M Llama-3 規模、以及最高百萬 token 訓練情境下驗證。

重點可以這樣看：
– 主要用途是降低超長上下文訓練時的注意力成本
– 核心做法是分層挑選重要片段，再交由密集注意力計算
– 已列出多組可比較設定：top-K、pool、levels、scorer、CP
– 相關評分或路線包括 norm、dilated、gla
– 較適合模型研究、訓練基建開發及長文本實驗場景

只要是標準的 decoder-only Transformer / causal LM，基本都可以替換它的 Q/K/V self-attention 層。

判斷標準
只要模型滿足下面幾點，就通常能做這種替換：
有 self-attention 層，而不是依賴複雜的外部編碼器。
層裡能清楚找到 q_proj / k_proj / v_proj 或等價實現。
是 decoder-only 架構，使用 causal mask。
沒有把 attention 邏輯寫死成特別難拆的自定義模塊。

最適合的模型類型
Llama 系列：最常見，結構標準，Q/K/V 分明，最容易改。
Qwen 系列：也是標準 decoder-only 路線，通常同樣適合做 attention 替換。
Mistral 系列：同樣屬於 decoder-only LLM，理論上也適合。
GPT-style / LLaMA-style 自回歸模型：只要是單向 causal attention，一般都能改。

整體來說，Lighthouse Attention 最吸引之處，不只是追求更快，而是嘗試在訓練期保留與現有生態的相容性。對需要探索 98K、512K 甚至更長上下文訓練的人，它是一個值得細看、但明顯偏研究與工程用途的專案。

網址： https://github.com/ighoshsubho/lighthouse-attention

網址： https://nousresearch.com/lighthouse-attention

Categories: 開源, 模型訓練, 深度學習

Orthrus如何令Qwen3生成更快

Share to X
Orthrus logo

Orthrus 是一個圍繞 Qwen3 模型建立的生成框架，重點不是做全新聊天模型，而是想辦法令文字生成更快，同時保持與原本基礎模型一致的輸出分佈。對一般讀者來說，可以理解成它想保留傳統逐字生成的準確感，又借用擴散式並行生成的速度優勢。

這類工具主要針對大型模型生成時「要逐個字等」的樽頸。Orthrus 提出雙重架構做法，讓同一個模型同時具備兩種觀看方式，並強調結果是無損的，也就是目標並非用近似答案換速度；根據專案資料，生成可有最高約 7.8 倍加速。

如果你想上手，最直接方法不是自行訓練，而是先試用作者提供的模型檢查點，再用 Hugging Face 的常見載入流程做推理。現時公開型號包括 Orthrus-Qwen3-1.7B、Orthrus-Qwen3-4B 和 Orthrus-Qwen3-8B，分別對應 Qwen3 的 1.7B、4B 與 8B 基礎模型。

值得留意的是，它不是靠把整個模型重訓來換速度，而是只微調部分參數，基礎 LLM 保持凍結，同時兩種生成視角可共用同一套高保真 KV cache。對部署者來說，這代表它除了講求快，亦有意控制額外記憶體成本，這點對長輸出或高頻推理場景特別實際。

  • 以 Qwen3 為骨幹，現有 1.7B、4B、8B 幾個版本
  • 重點在提升生成吞吐，而非改變模型用途
  • 強調結果與原基礎模型保持一致，而非近似加速
  • 額外記憶體開銷較低，較適合推理部署評估
  • 對研究者、模型工程師及需要大量文字生成的團隊較有參考價值

整體來看，Orthrus 最吸引之處在於它把「快」與「不走樣」放在同一個方案內處理。若你正關注本地或伺服器端 LLM 推理效能，尤其已經在使用 Qwen3 生態，這個專案很適合作為實驗與比較基準；至於與 vLLM 或 SGLang 的更原生整合，則似乎仍在後續規劃中。

網址： https://github.com/chiennv2000/orthrus

Categories: 開源, Qwen, 模型, 模型訓練, 中國
Page 12 of 14
1 … 10 11 12 13 14