InferNews

NAPE 簡化自監督音訊片段訓練

Share to X

NAPE 以因果 Transformer 預測下一個音訊 patch embedding，省去解碼器與 tokenizer，探索更精簡的音訊表徵學習方法。

NAPE Architecture

音訊模型要兼顧訓練成本、表徵能力與模型規模，往往需要加入多個輔助模組。NAPE（Next Audio Patch Embedding prediction）是一個自監督音訊表徵學習框架，將 log-mel spectrogram 切成 patch，再由因果 Transformer 根據前面的片段預測下一個 patch embedding。

NAPE 沒有 reconstruction decoder、acoustic tokenizer、student-teacher 架構或額外正則化損失。它依靠三個機制維持學習訊號：causal masking 隱藏未來位置、prediction shift 要求位置 t 預測 t+1，以及 stop-gradient 固定目標 embedding，避免模型退化成輸出相同向量。

二維 spectrogram 會按指定 scanning order 轉成一維序列，研究涵蓋 raster、diagonal、zigzag 和 time-major 四種排列；其中 raster、diagonal 及時間方向的排列較符合聲音事件的發展。模型在 AudioSet 預訓練，再於 AudioSet-2M、AudioSet-20K、ESC-50、Speech Commands V1/V2 和 IEMOCAP 進行微調或 linear probing，資料顯示它在多項任務取得 state-of-the-art fine-tuning 結果，並具備穩定的跨規模擴展能力，但原始資訊沒有提供各項具體分數。

要求系統有 Python 3.10、PyTorch 2.8.0 和 Transformers 4.56.2 的環境，並提供 requirements 檔及部分資料集處理程式；ESC-50、Speech Commands V1/V2 和 IEMOCAP 有下載腳本，AudioSet 則要自行處理涉及 YouTube 的下載流程。研究團隊亦列出程式碼及預訓練 checkpoint 的發布資訊，但 Hugging Face checkpoint 仍標示為待辦，不能把完整模型取得流程視為已經齊備。

  • 訓練訊號精簡：只用下一個 patch embedding 預測與 stop-gradient。
  • 適合音訊表徵：可支援語音指令、環境聲音及情緒辨識等任務。
  • 排列順序有影響：spectrogram 的線性化方式會改變模型看到的時間關係。
  • 測試門檻清楚：需要 AudioSet 或下游資料集，以及 W&B 追蹤實驗。
  • 限制在資料流程：AudioSet 不提供同等簡化的下載方式，checkpoint 取得狀態亦未完全明確。

項目主頁 · GitHub

Categories: 開源, Audio, Embedding, Python, 模型訓練, 語音

WithEveryone 多人合照不再撞臉

Share to X

復旦大學、騰訊混元與香港大學研究團隊，嘗試一次保留五至十個人物身份的群組生成。

WithEveryone teaser

復旦大學、騰訊混元（Hunyuan）及香港大學的研究團隊共同開發 WithEveryone，針對 AI 生成多人合照時人物身份容易混淆的問題，讓五至十個參考身份可以同時出現在連貫場景中。它屬於群組影像生成研究項目，核心價值是維持每個人「誰是誰」的對應關係，而不只是增加畫面人物數量。

系統會把每個參考人物轉換成獨立的 identity token，再透過 Layout CoT 預先推理人物、臉部、身體區域與姿勢的位置，最後交由 renderer 生成視覺條件。Layout-Grounded ID Loss 會在指定臉部區域提供身份監督，ID Representation Forcing 則要求模型在合成前先為每個身份建立預測，減少多人場景中的錯配。

研究展示提供了 63 組生成結果，並在 identity-disjoint benchmark 上比較身份保真度與複製參考圖程度：WithEveryone 的 ArcFace similarity 為 0.614，高於 GPT-Image-2 的 0.566；Copy-paste score 為 0.055，低於 GPT-Image-2 的 0.169。這表示它一方面維持人物特徵，另一方面較少直接照搬參考圖，但目前資料未提供更完整的速度、硬件需求或不同人數下的細分結果。

目前 GitHub 儲存庫尚未提供可下載的研究版 checkpoint，亦沒有完整安裝及測試流程。原因是研究版本依賴的 foundation model 授權不容許公開 checkpoint；團隊正以支援開源發佈的 foundation model 訓練新版本，待程式碼及 checkpoint 準備好後才會分享。

  • 支援五至十個參考身份的群組影像生成
  • 以 identity token 綁定人物，配合身份感知的版面推理
  • 透過 Layout-Grounded ID Loss 監督指定臉部區域
  • 研究結果在 ArcFace similarity 及 Copy-paste score 上勝過 GPT-Image-2
  • 現階段只能閱讀研究展示，未能按儲存庫資料自行安裝重現

對需要製作多人宣傳照、角色群像或指定人物場景的影像研究團隊，這個方法提供了比單純堆疊參考圖更完整的身份與構圖處理思路。一般創作者暫時仍要等待開源版本，因為未公開 checkpoint 令項目現階段更接近研究展示，而不是可即時採用的生成工具。

項目主頁 · GitHub

Categories: 開源, 香港, 香港大學, 騰訊, Image, 多模態模型, 模型, Dataset 數據集

ForgeWM 把遊戲世界模型推向 72 FPS 即時互動

Share to X

由中大、騰訊等團隊開發的 ForgeWM，將遊戲畫面生成壓縮至一至四步，讓鍵盤、滑鼠及手掣輸入能即時改變虛擬世界。

ForgeWM

中香港中文大學、騰訊 PCG、復旦大學、上海人工智慧實驗室及香港科技大學的研究團隊，將 ForgeWM 做成開源的 action-conditioned video world models 訓練項目，處理遊戲輸入與連續畫面生成難以兼顧的問題。它以 Matrix-Game 2（MG2）為基礎，讓模型根據鍵盤、滑鼠或 gamepad 操作即時推演遊戲畫面。

ForgeWM 的價值在於把生成步數降至 1、2 或 4 步，換取更低延遲的互動體驗；取捨是畫面質素、控制準確度與推理速度仍要依賴訓練資料和硬件。相較只展示影片生成的做法，ForgeWM 直接處理 frame-aligned 的動作訊號，並將同一套流程移植到另一個 gamepad 驅動的 FPS 領域。

  • 一套四階段流程：bidirectional SFT、teacher-forced causal AR、consistency distillation、on-policy DMD
  • ForgeWM-1、ForgeWM-2、ForgeWM-4 分別對應一、二及四步生成
  • 單張 H20、352×640 畫面下，1-step 模型最高達 72 FPS
  • 完整公開 weights、training code 及 pre-encoded data

模型並非各自獨立訓練：Stage 0 先對目標遊戲作 bidirectional fine-tuning，之後固定為教師；Stage 1 將生成器改成 causal AR，Stage 2 壓縮 sampling trajectory，Stage 3 再用學生自行 rollout 的結果進行 on-policy matching。這個結構讓 ForgeWM-1、-2、-4 可從相同基礎流程按步數預算建立。

研究、遊戲 AI 及需要即時互動生成的團隊較容易受益，尤其適合測試鍵鼠控制的 Minecraft 或 gamepad FPS。資料提供的指標包括 168 ms per chunk、72 FPS 及 8×H20 完整訓練配置；模型及數據連結整理環境，要預留 8 張 H20 重現完整訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 騰訊, Video, 模型訓練, 世界模型, 上海人工智慧實驗室, World-Action Model

EnvHarness 讓靜態環境按代理弱點持續進化

Share to X

EnvHarness 不改動環境內部程式碼，透過可堆疊元件調整任務、規則與觀察，讓代理獲得更有針對性的訓練。

example

Google Cloud AI Research 聯同 Washington University in St. Louis、Google Cloud、University of North Carolina at Chapel Hill 的研究人員，開發了 EnvHarness。這個開源框架處理的是大型語言模型（Large Language Model，LLM）代理面對靜態互動環境時，任務和回饋無法隨能力變化的問題；它保留原有環境及驗證器，改由外加層控制代理所見、可做的行動和起始狀態。

代理在同一批任務上反覆練習，往往會很快解完，環境卻不能因應弱點提供新挑戰。EnvHarness 是一個面向代理學習的開源框架，透過標準 reset／step 介面包裹固定環境，調整代理的起始狀態、可用行動與觀察內容，同時保留原有的成功判定器。

它把控制拆成三類可組合元件：Setup 負責重塑初始狀態，Rule 改變互動規則、行動限制及回饋，Link 則把另一個環境的任務接入目前流程。設計者代理會讀取目標代理的操作軌跡，診斷失誤，再以 Python 寫出元件、測試及修訂，令訓練環境隨代理能力一同調整。

• 不需修改 ALFWorld、WebArena、SWE-bench Verified 等環境的內部程式碼
• 任務與 verifier 保持來源 benchmark 的可信判定
• 元件可自由堆疊，適合針對特定弱點改造互動流程
• 可在項目提供的瀏覽器 Playground 以 Toy24Env 觀察環境狀態與代理視角

在 ALFWorld、WebArena 及 SWE-bench Verified 的 EnvHarness 訓練結果分別達到 68.3、41.6 及 52.6，展示相對基準最高 5.9 個百分點的提升。不過，效果取決於設計者代理能否準確診斷軌跡，以及改寫後的環境是否真的對應目標弱點，並非單靠套上元件就能保證改善。

它的取捨是把環境設計工作轉移到 Setup、Rule、Link 的程式編寫與反覆測試，換來跨 benchmark 重用和較低的環境改造成本。

項目主頁 · GitHub

Categories: 開源, Google, Agentic, Python, Dataset 數據集

FACET-Terminal：讓終端任務由可執行環境先行生成

Share to X

FACET 把技能、Docker 環境、解法與驗證器連成同一狀態，產出可真正執行驗證的終端任務。

FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis

終端 AI Agent 最怕指令寫得合理，環境、解法和驗證器卻互相對不上。FACET（Fine-grained Agentic Construction of Executable Tasks）是一套終端任務合成框架，先建立並修復 Docker 環境，再讓指令、參考解法和驗證器共享同一套執行狀態，處理複雜任務難以穩定測試的問題。

項目由 71,341 個來源技能整理出 7,852 條場景—技能種子，最後取得 6,078 個通過執行驗證的任務，並從成功 rollout 篩選約 1.2K 條完整軌跡，用於監督微調 Qwen3.5 系列模型。環境中的檔案、路徑、套件、連接埠、資料結構和測試資料會沿流程傳遞，減少純文字交接造成的落差。

資源包括 FACET-Terminal-Tasks-6k 數據集，以及 FACET-Terminal-Qwen3.5-4B、9B 和 27B 模型。要重現任務合成流程，需要 Python 3.11–3.13、uv、Docker 和模型 API；配置與 Python 程式集中在 facet/，並提供 FORWARD、REVERSE、JOINT 三種生成策略作比較。

Terminal-Bench 2.1 的三次獨立執行平均結果顯示，4B、9B、27B 模型分別由 17.60、27.34、40.82 提升至 24.72、35.58、47.57；4B 相對提升 40.5%，27B 更接近同設定下 Qwen3.5-397B 的 49.06。這批數據規模仍然有限，任務質素亦依賴 Docker 環境和驗證器是否正確，較適合研究 Agent 訓練、Terminal-Bench 評測及需要可重現終端操作的團隊。

  • 資料基礎：6,078 個通過執行驗證的任務
  • 生成方式：環境先行，指令、解法與驗證器共享狀態
  • 公開模型：Qwen3.5 4B、9B、27B
  • 評測結果：27B 在 Terminal-Bench 2.1 達 47.57
  • 適合場景：終端 Agent 訓練、任務合成及可重現評測

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, API, Python, 模型, 模型訓練, 中國, Dataset 數據集, 上海人工智慧實驗室

Evoke 把世界模型推向可互動長片段

Share to X

Evoke 讓生成世界記住鏡頭走過的地方，並可在畫面持續生成時改變指令，突破短片段與固定提示詞的限制。

logo light

鏡頭由使用者操控時，畫面不必每隔幾秒重新開始；Evoke 會保留場景幾何，按鏡頭位置取回需要的資訊，讓探索可以延續更長時間。它屬於開源的自回歸世界模型，實際處理的是互動影片生成中的空間記憶、持續生成與中途改變指令三個問題。

模型採用 14B 參數、三步採樣及 classifier-free guidance（CFG）免費的生成流程，在單張 H200 上以 2.11 秒生成 1.5 秒、384×640 影片。外部 camera-indexed world state bank 將世界狀態與 denoiser 分開保存，配合按需檢索令每一步的上下文維持有界；代價是推理需要依賴鏡頭姿態與狀態管理，並非單純輸入文字便可獨立生成長片。

Evoke 以 per-chunk conditioning 支援生成途中重新提示，例如在原有場景加入風暴、物件或事件，而不需要剪接或重啟。訓練端亦為長時段 self-forced supervision 重建 teacher，加入 chunk-wise grouping、distant-frame retrieval 和 linear-attention global state，讓記憶及計算量按長度線性增加；README 同時提醒，訓練與推理必須使用一致的 warp / attention 配方，否則可能出現不易察覺的失配。

WBench 上，Evoke 以三步世界模型取得目前最佳成績，並在 VBench-Long 及 VBench-2.0 維持競爭力，但項目資料未提供完整硬件需求、互動控制介面或不同 GPU 的速度比較。研究團隊、遊戲原型製作者及需要長時間可操控影片的開發者，可從 Hugging Face 權重、GitHub launcher 和 examples 開始測試；使用前應先確認 H200 級硬件、模型下載容量，以及本地環境是否符合程式依賴。

• 三步、CFG-free，單張 H200 每 2.11 秒生成 1.5 秒影片
• 以 camera-indexed world state bank 保存跨片段場景記憶
• 生成途中可重新提示，改變接下來的事件或環境
• WBench 領先，VBench-Long 與 VBench-2.0 保持競爭力
• 開源權重與程式可供研究及互動影片原型測試

項目主頁 · GitHub

Categories: 開源, Video, AI productions, 視頻模型, 世界模型

RapidLiDAR：單次前向傳播做到 10 Hz 嘅 LiDAR 場景補全

Share to X

佢將稀疏嘅部分點雲一次性還原成稠密場景，主打即時同可調速度，適合對延遲敏感嘅自動駕駛同機器人開發者。

Repository image for AzharSindhi/RapidLiDAR

對做自動駕駛或機械人感知嘅人嚟講，LiDAR 場景補全最頭痛嘅唔係質素，而係慢——好多現有方法要幾百毫秒先出一幀，根本追唔上車規或即時反應嘅需求。RapidLiDAR 嘅定位就喺呢度：佢設計成一個端到端、單次前向傳播嘅補全模型，目標係跑到接近 10 Hz，同時保留可調速度同可調節輸出密度嘅彈性。

做法上，佢先用體素化抽取多尺度 3D 特徵，再透過一個自注意力 BEV 頭產生密集 2D 特徵圖。Adaptive Initialization Module 會預測一個空間變化嘅位移，把稀疏點雲「撐開」做粗略初始化；之後 Multi-Scale Reconstruction Module 用可變形注意力（deformable attention）將每點特徵同多尺度 BEV 特徵對齊做精修。如果想再稠密仲可以加一個可選嘅 Refinement Network 喺凍結嘅主模型上做上採樣，倍率為 κ。

換句話講，舊方法通常分開做初始化同迭代 refinement，或者用兩階段網絡先粗後細；RapidLiDAR 將呢幾步壓入一次前向，靠 BEV 座標化同可變形注意力同時兼顧效率同幾何一致性。代價係依賴 SemanticKITTI 風格嘅資料 loader，需要 .npy 格式嘅 GT 同 input 配對，唔係 out-of-the-box 處理原始 Velodyne 掃描。

適合做自動駕駛 stack、實時 SLAM、機械人感知原型，或者想喺邊緣裝置上試稠密 LiDAR 預測嘅團隊。原文強調即時性為 10 Hz，具體 mIoU 或 Chamfer distance 等數字未在 README 完整列出，安裝需 CUDA 12.4 同 PyTorch 2.4.1，並要自行 JIT 編譯 Chamfer distance CUDA extension。

GitHub · Paper

Categories: 開源, NVIDIA, 3D, Python, 模型, 視覺模型, Robotic, Dataset 數據集

SkillGate：9B 模型修補任務中的技能

Share to X

SkillGate 針對代理在長任務中揀技能時得不到足夠學習訊號的問題，將選擇與執行分開計算。你可以把它理解成一套訓練方法，讓模型學懂何時讀哪份技能文件。

SkillGate mechanism demo

SkillGate 是一套用來訓練 agent 選技能的開源方法，處理的是長鏈任務裡「揀啱技能」比「做完動作」更難學的問題。它把技能讀取視為中途決策，避免單靠結果獎勵去反推整條路徑，令選擇技能的 token 不再被後段執行訊號沖淡。

SkillGate 同時分出兩條互不干擾的信用路徑：結果分數只回傳到執行 token，而動作局部的優勢值只回到技能名稱 token。這樣做的目的，是讓模型在讀技能文件時得到更直接的學習訊號，而不是等整段任務成敗去間接修正。

作者做了 12,800 條訓練軌跡分析，指出技能選擇 token 的損失權重中位數只有 0.14%，而且不少樣本的優勢值會因為後段失敗而變成負值。這類「selector credit starvation」問題，正是 SkillGate 想修正的核心。

在五個 agentic 基準上，9B 規模版本錄得 53.2% 試驗成功率，屬於同級裡較強的結果。資料集和模型都已公開，訓練與評估亦配合字節對齊的實際提示詞流程，適合做 agent 訓練、技能庫管理，或者研究長鏈強化學習的人參考。

  • 把技能選擇同任務執行分開計分，減少信用稀釋
  • 針對 mid-episode 技能讀取決策，不只看最終成敗
  • 9B 版本在五個 agentic 基準上有 53.2% 成功率
  • 公開了模型同資源，方便重現同類訓練流程
  • 對需要大量技能庫的 agent 系統較有參考價值

GitHub · 模型

Categories: 開源, Agentic, 模型訓練

SemComp-Bench：影片生成評測由「似樣」走向真正完成任務

Share to X

SemComp-Bench 不只看生成影片是否逼真，還檢查指定結果有否完成，以及關鍵語義是否仍然保留。

Repository image for Kelly372/SemComp-Bench

一段影片畫面流暢、物件外觀相近，不代表它真的完成了指令。SemComp-Bench（Benchmarking Semantic Task Completion in Video Generation）把評測焦點放在「結果有否做到」和「是否仍然保留與任務相關的語義」；GitHub 項目則是一套用來建立 SemComp-Data 的資料處理管線，處理影片篩選、狀態定位、指令整理和結果標註。

由原始影片到可評測資料，流程分成 9 個階段：先按標題過濾及分類任務，再定位 reference frame 與 outcome state，檢查畫面質素和狀態順序，產生中英雙語的簡短及詳細指令，最後抽取 outcome-centric clips、標註 semantic alignment types，並描述結果狀態。這種做法把評測所需的參考畫面、指令和完成結果放在同一段真實影片脈絡中，較適合檢查模型是否真的做到指定改變，而不只是產生看似合理的畫面。

項目屬於影片生成評測的資料集建構工具，實際解決的是把零散影片整理成可驗證、可重複評分的任務樣本。SemComp-Bench 目前提供 1,273 個結構化樣本、6 個真實世界領域、60 個 SemComp-Core cases，平均 outcome-centric clip 約 4.03 秒，並配有兩種指令、四類 reference alignment types，以及 27 個評測取樣畫面。

使用者需要 Python 3.10 或更新版本、ffmpeg、ffprobe，以及供第 2 至第 5 和第 7 至第 9 階段使用的 multimodal model service；第 6 階段的 ImageBind inference 建議使用支援 CUDA 的環境。原始影片、模型權重、服務憑證和執行輸出均不隨儲存庫提供，因此較適合研究團隊按自己的影片及模型服務重建資料，而不是下載後即時取得完整數據集。

  • 以 outcome achievement 配合 semantic grounding，避免只用畫質或 prompt alignment 判斷成功
  • 透過 reference frame、outcome state 和短片建立完整評測三元組
  • 1 至 7 階段通常會輸出 snapshot、excluded set，技術失敗另有 error.parquet
  • 可用 tests/ 的離線回歸測試檢查處理流程
  • splitting/ 含改編自 Panda-70M 和 ImageBind 的元件，非商業授權限制需要先審閱

對研究生成影片、製作評測數據，或需要分析任務完成率的團隊而言，這套管線提供了清楚的重建入口；但它依賴外部多模態模型服務和本地媒體資源，資料建立成本與授權審查仍是採用前必須計算的部分。

項目主頁 · GitHub · 數據集

Categories: 開源, NVIDIA, Video, Python, 多模態模型, 視覺模型, Dataset 數據集

moe_vie 視覺編碼器：CLIP 規模 MoE 化，最細版本也貼近 SOTA

Share to X

Meta 團隊把 Mixture-of-Experts 帶進 CLIP 風格視覺編碼器，用細粒度專家路由配合自訂 Triton kernel，在零樣本分類與檢索上貼近體型大 1.7 倍的 SOTA 編碼器。

Repository image for facebookresearch/moe_vie

視覺編碼器愈變愈大，準確度換來的是推論成本與延遲同時膨脹，特別是高解析度圖片與長影片情境。MoE-ViE 想打破這個取捨：把 Mixture-of-Experts（MoE）機制引入 CLIP 風格的對比預訓練流程，讓模型總容量擴大，但每張圖、每段片只啟用一部分專家，把容量與實際計算脫勾。

與一般 MoE 不同，MoE-ViE 採用細粒度專家拓樸（fine-grained MoE topology），並提出一個無輔助損失（auxiliary-loss-free）的變體來平衡專家負載，避免傳統 MoE 常見的負載不均問題。同時，作者針對 MoE 額外開銷撰寫了專門的 Triton kernel，把推論延遲拉回接近密集模型的水準。

項目以 Vision Transformer 骨幹搭配上述 MoE 設計，配合穩健的對比預訓練流程（contrastive pretraining recipe），一口氣釋出 B / L / H 三個尺寸的模型，覆蓋 224 / 384 / 448px 解析度。在 ImageNet-1k、ObjectNet、COCO 文字檢索圖片、Kinetics-400、MSR-VTT 文字檢索影片等基準上，零樣本表現與各項強 CLIP baseline 相當甚至更佳，其中 H/14 版本在保持約 76% 延遲的情況下，貼近體型大 1.7 倍的 SOTA 編碼器。當對接 LLM 組成視覺語言模型時，MoE-ViE 在圖像與影片基準上亦勝過多個啟用參數多達 5 倍的編碼器。

另一個針對影片能力的處理方式是 frame-level distillation 加上一個新設計的凍結機制，目的是在引入影片理解的同時保留原本學到的圖像知識。這個步驟令同一組視覺編碼器可以同時服務圖像與影片任務，而不必訓練兩套模型。

重點摘要：

  • MoE 化的 CLIP 風格視覺編碼器：以 Mixture-of-Experts Vision Transformer 配合對比預訓練，支援 B / L / H 三種規模。
  • 細粒度專家拓樸 + 無輔助損失平衡：避免傳統 MoE 的專家負載不均，並以自訂 Triton kernel 控制推論延遲。
  • 圖像與影片兼顧：frame-level distillation 配合新凍結機制，讓單一編碼器同時處理圖像與影片理解。
  • 對接 LLM 後仍具競爭力：在多項圖像與影片基準上，表現勝過啟用參數多達 5 倍的既有編碼器。
  • 官方釋出代碼與零樣本評測套件：提供模型定義、配置檔與可重現的零樣本評估流程，惟授權為 CC BY-NC 4.0，需留意非商用限制。

本項目由 Meta 團隊發佈。需要留意的是授權為 CC BY-NC 4.0，僅限非商用場景使用；訓練細節、資料組成與對齊 LLM 的實作屬研究配置，重現成本不低，較適合作研究基準而非即取即用的產品元件。

GitHub · 模型

Categories: 開源, 多模態模型, 模型訓練, Meta
Page 1 of 138
1 2 3 … 138