InferNews

WorldKV 點樣用較少記憶保留影片世界記憶

Input image: a yellow duckling swimming on a sunlit pond with water lilies

WorldKV 是一個針對自回歸影片世界模型的記憶管理項目，重點是用更少 KV cache 成本，保留模型對早前畫面與視角的長期記憶。頁面指出，它屬於免訓練框架，意思是不用重新訓練模型，就可以直接加到既有流程之中。

這個項目要處理的核心問題，是完整保留 KV cache 雖然有助模型記住之前見過的場景，但會很快吃光 GPU 記憶體，注意力計算亦會愈來愈慢。WorldKV 的做法是只在需要重訪某個視角或區域時，取回最相關的歷史片段，而不是永遠把全部內容放在作用中的視窗內。

它的設計有兩個關鍵部分：World Retrieval 會把被移出的 KV 片段按鏡頭或動作狀態建立索引，之後在合適時機取回最相關的 top-k 片段，而且不需要重新編碼；World Compression 則以每段首幀作錨點，利用 key-key cosine similarity 移除過於相似的 token，保留較能代表新區域或時間變化的資訊。

重點可留意：
– 屬於免訓練方法，較易接入現有模型流程
– 以檢索方式保留重訪所需記憶，而非硬性保存全部內容
– 以壓縮方式減少每段儲存量，頁面稱可減半
– 在 Matrix-Game 2.0 與 LingBot-World-Fast 上，吞吐量約提升至 2 倍，同時 KV cache 的 VRAM/RAM 佔用接近減半
– 頁面指記憶保真度可達到，部分情況甚至超過 Full KV

對想處理長影片生成、互動世界模擬，或需要模型記住先前視角與場景的人來說，這個項目特別值得留意。從頁面資訊看，它最適合受限於 GPU 記憶體、又希望維持即時或接近即時推理速度的情境；目前展示內容以項目頁與論文摘要為主，更細緻的限制與穩定性仍要留待論文與程式碼進一步確認。

*未有清楚列出完整基礎模型名稱。

項目： https://cvlab-kaist.github.io/WorldKV/

Categories: 3D, 視覺模型, 視頻模型

Spreadsheet-RL：讓 AI 真正學識用 Excel

overview

Spreadsheet-RL 是一個針對試算表工作的強化學習項目，重點不是單次輸出答案，而是讓大型語言模型在 Microsoft Excel 環境中分步操作，最後再用整份活頁簿的結果判斷做得對不對。對比一般只靠提示詞的方法，這種設計更貼近日常表格整理、計算和修正流程。

它解決的核心問題，是模型面對多步驟試算表任務時，往往容易中途出錯，或者只懂講做法但未必真的完成。這個項目把資料建立、互動環境、獎勵機制串連起來，令訓練目標不只是「說得像」，而是「做得啱」。當系統會重新計算並比對最終活頁簿，評分方式就比純文字答案更實在。

上手方向也算清楚：研究者可用它提供的訓練與評估堆疊，配合 Excel 獎勵服務、沙盒程式執行，以及多輪互動環境，去訓練或測試自己的試算表代理。內容明顯較適合具備機器學習、叢集運算或代理系統背景的人，普通用家未必會直接部署，但很適合拿來理解「AI 幫你做 Excel」背後需要哪些能力。

幾個值得留意的位包括：
– 以公開試算表論壇題目自動整理訓練資料，論文提到有 5,928 個經篩選任務
– 支援多輪 Excel 互動，而不只是一次生成答案
– 內建試算表原生工具、沙盒執行程式碼，以及獨立工作空間
– 以最終活頁簿正確性作為獎勵，較貼近真實工作成果
– 已公開 Spreadsheet-RL-4B，基於 Qwen/Qwen3-4B-Thinking-2507 訓練

表現方面，論文提到 Qwen/Qwen3-4B-Thinking-2507 經完整流程後，SpreadsheetBench 的 Pass@1 由 12.0% 提升到 23.4%，另一個 Domain-Spreadsheet 評估則由 8.4% 升至 17.2%。幅度相當明顯，但仍屬研究型結果，使用時也要留意其環境依賴較重，包括 Excel 服務、沙盒與訓練基建。

整體來看，Spreadsheet-RL 最有價值的地方，是它把「試算表代理」由提示工程推前一步，變成可訓練、可評估、可重現的完整項目。相關模型方面，文中可見 Qwen3-4B-Thinking-2507、Qwen3-4B Instruct、Qwen3-8B、Qwen3-14B、Qwen3-32B，以及 GPT-4o、OpenAI o3 等比較基線；對想研究 AI 自動處理表格工作的人，這是一個很值得留意的參考。

GitHub： https://github.com/Spreadsheet-RL/Spreadsheet-RL

Paper： https://arxiv.org/pdf/2605.22642

Categories: 開源, Meta, Dataset 數據集

cusp-scientific-foresight：AI 能否預測科學突破？

Repository image for SeanWu25/cusp-scientific-foresight

CUSP是一個用來評估AI是否能「預測科學未來」的基準資料集。它的做法幾有意思：先把模型鎖定在某個歷史時間點之前可見的知識，再要求它判斷之後會不會出現某項科研成果、何時出現，或者從多個候選答案中選出較合理的一個。

項目提供了資料集和 notebook 入手，先看每筆紀錄包含甚麼欄位，再逐類型比較模型表現。它支援多種題型，包括二元判斷、反向擾動題、四選一、開放式回答，以及發表時間預測，對研究評估流程的人來說相當完整。

這個項目想解決的，不是一般問答準不準，而是AI有沒有能力在資訊受限下推測科研進程。這點比常見基準更接近真實研究判斷，因為重點不只是背到答案，而是能否根據過往脈絡作出前瞻推論。

較突出的地方，是它加入「歷史知識截點」和跨學科事件設計，涵蓋4,760個科學事件，並且把時間預測都納入評分。論文內容亦指出，不少前沿模型雖然能辨認看似合理的研究方向，但對於成果是否真的會發生、會在幾時出現，表現並不穩定；AI相關進展似乎比生物、化學、物理更易預測。

  • 重點不是答題，而是前瞻判斷能力
  • 題型涵蓋是非題、選擇題、開放回答與時間預測
  • 涉及多個科學領域，能看出不同領域的差異
  • 研究結果顯示模型存在過度自信與回答偏差
  • 相關模型層面，項目主要用來評估現代大型語言模型，而非只限單一模型

整體來看，CUSP較適合做模型評估、AI研究分析，或關心「AI能否幫手判斷科研走向」的人閱讀。它未必是一般用家即開即用的應用型工具，但作為一個評測項目，它把問題定義得清楚，也提醒大家：模型懂得整理已知資訊，不代表已經懂得可靠地預測科學突破。

GitHub： https://github.com/SeanWu25/cusp-scientific-foresight

Paper： https://arxiv.org/pdf/2605.22681

Categories: 開源, Dataset 數據集

LatentOmni 想重寫影音推理方式

LatentOmni

LatentOmni 是一個面向影音多模態大語言模型的研究項目，重點不是叫模型先把線索全都翻成文字再慢慢推理，而是讓聲音與畫面的資訊在同一個潛在空間內一起運作。簡單講，它想保留更多原始感官訊號，減少中途只靠語言猜答案的情況。

這個方向要解決的問題很明確：不少模型在看影片、聽聲音後，雖然能描述內容，但一遇到需要同時對齊時間、事件因果或細節關聯的題目，表現便會下跌。LatentOmni 提出的做法，是把文字推理流程與影音潛在狀態交錯進行，並用 OSPE 這類時間同步設計，幫助模型對準聲畫節奏。

從使用角度看，現時這個 GitHub 儲存庫仍以論文與概念介紹為主，訓練程式、推論程式、模型權重和資料集尚未正式釋出。因此較適合先拿來了解新一代多模態推理方法，或者作為研究與技術評估的參考，而不是立即部署到產品流程。

  • 核心亮點是統一聲音與畫面的潛在推理，而非只輸出文字式思路
  • 加入特徵層級監督與 OSPE，目標是保留時間對齊與跨模態關聯
  • 配套資料集為 LatentOmni-Instruct-35K，用來訓練交錯式影音推理軌跡
  • 論文指出它在多個影音推理基準上，表現優於明確文字 CoT 基線

整體來看，這個項目最吸引之處，是它把「模型怎樣思考」由文字中介，推前到更接近原始聲畫訊號的層面。適合關注 MLLM、影音理解、跨模態推理的人留意；若你想比較相關模型，也可把它與依賴文字 CoT 的開源多模態模型放在同一條線上觀察。不過現階段公開內容有限，性能細節仍應以論文報告為準，評估時要保持審慎。

GitHub： https://github.com/yfanDai/LatentOmni

Paper： https://arxiv.org/pdf/2605.22012

Categories: 開源, 香港科技大學, 影像處理, 模型, 聲效, 視覺模型, 中國, 北京大學, 清華大學

PhysX-Omni：讓 3D 生成更貼近物理世界

teaser

PhysX-Omni 由南洋理工大學及 中國 ACE Robotics 開發，是個面向模擬用途的 3D 生成項目，重點不只是做出外觀，而是連同剛體、可變形物件與可動關節物件一併考慮。簡單說，它想解決的問題是：很多 3D 生成結果看起來像樣，但未必能直接放進物理模擬或機械人流程裡使用。

這個項目的亮點，在於把幾何形狀、絕對尺寸、材質、可供互動的功能，以及運動結構放到同一套框架內處理。它配合 PhysXVerse 資料集和 PhysX-Bench 評估方法，目標是同時檢查生成能力與理解能力，這點比只看外觀相似度更進一步。

整體流程偏向研究型：先準備 Python/conda 環境，再安裝相依套件，之後下載 PhysXNet、PhysX-Mobility 與 PhysXVerse 等資料，完成前處理和條件圖像渲染，最後再設定訓練路徑。這代表它較適合已有 AI 或 3D 處理基礎的人，而不是即開即用的輕量工具。

PhysX-Omni: Unified Sim-Ready Physical 3D Generation for Rigid, Deformable, and Articulated Objects
  • 核心價值：生成可放進模擬流程的 3D 資產，而非只有表面外觀
  • 覆蓋範圍：支援剛體、可變形物件、關節物件三類內容
  • 相關資源：包括 PhysXVerse 資料集、PhysX-Bench 評估，以及 README 提到的 Qwen2.5 相依套件
  • 適合場景：機械人訓練、物理模擬、具條件控制的 3D 場景生成

性能方面，公開資料指出它會用一般指標加上自家的基準一同評估，並強調在生成與理解兩邊都有不錯表現。不過從現有資訊來看，較完整的數字仍應以論文與官方頁面為準；對一般讀者而言，最值得留意的是它把「看得像」推進到「更可能用得著」，這正是這個項目最有意思的地方。

GitHub： https://github.com/physx-omni/PhysX-Omni

Paper： https://arxiv.org/pdf/2605.21572

Categories: 開源, 影像模型, 影像處理, 模型, 中國, Dataset 數據集

Pi-Bench 點評：測試主動型助手夠唔夠醒

Pi-Bench Overview

OpenClaw 等個人助理代理的興起凸顯了大型語言模型在支援使用者日常生活和工作方面日益增長的潛力。這些環境中的一個核心挑戰是主動協助，因為使用者通常從未明確說明的請求開始，而未說明重要的需求、限製或偏好。

Pi-Bench 不是一般聊天問答，而是評測檢查個人助手型代理在長流程工作中，能否及早察覺用戶未講出口的需要。這類情境很常見，因為不少人一開始只會講大方向，細節、限制同偏好往往在後續對話才慢慢浮現。

這個項目收錄了 100 個多輪任務，涵蓋 researcher、marketer、pharmacist、law trainee、financier 五類角色，並且把任務放進可持續保存的工作空間，模擬跨時段處理事情的情況。相比只測短回合回答的基準，它更接近「一路做、一路補需求」的助手工作模式。

Pi-Bench 的特別之處，在於它同時看兩件事：助手夠不夠主動，以及最後交付是否完整。前者會看系統能否提早推斷隱藏意圖，或主動追問關鍵資訊；後者則檢查輸出是否符合清單要求。README 提到評分包含隱藏意圖判斷與 checklist 驗證，而且審核分歧低於 4%，顯示評估設計有一定穩定性。

對研究代理系統、評估 LLM 助手，或者想比較 OpenClaw、Nanobot、Claude Code 一類模型／系統表現的人，這個項目幾有參考價值。使用時重點不是「跑出高分」本身，而是觀察模型在哪些回合漏問、忘記前文，或者只懂被動完成指令。

  • 針對長流程、多輪互動，不只測單次回答
  • 納入隱藏需求、跨任務依賴與跨 session 延續性
  • 以主動性與完整度兩條線一齊評估
  • 包含 5 種角色、100 個任務，場景較立體
  • 適合比較個人助手型代理，而非純文字問答模型

整體來說，Pi-Bench 最有價值的地方，是把「助手是否主動幫到手」拆成可觀察、可比較的評測問題。它未必直接提升模型能力，但很適合作為檢查工具，幫團隊看清楚一個助手究竟只是跟指令做事，還是真正懂得提前補位。

GitHub： https://github.com/Simplified-Reasoning/Pi-Bench

項目： https://simplified-reasoning.github.io/Pi-Bench/

Categories: 開源, 香港中文大學, 中國, Dataset 數據集, 框架

TransitLM：點樣評估生成巴士地鐵路線

Repository image for HotTricker/TransitLM

TransitLM 重點不是直接幫你找車程，而是提供一套評估流程，專門量度模型生成公共交通路線的表現。它配合同名論文與資料集使用，主要服務「不靠地圖引擎、直接由資料學出路線」這類研究方向。

項目已經附上示例 CSV，並按不同情境分成幾個評估腳本，包括單一路線、偏好路線、多路線多樣性，以及透過遠端 API 評估一般大語言模型輸出。因為只依賴 Python 標準函式庫，環境要求相對輕巧，想重現論文評估流程的人會較容易開始。

這個項目最值得留意的地方，是它不只給一個總分，而是把結果拆成多層來看，例如路線是否可達、站點是否對應得上、整體結構是否一致，以及時間、距離、票價估算是否可信。對比只看「答得似唔似」，這種分層做法更容易找出模型到底是認錯站、接錯線，還是只在數值估算上失準。

  • 支援四類評估情境，覆蓋論文基準與一般 LLM 輸出
  • 評分拆成多個維度，比單一總分更有診斷價值
  • 可檢查偏好是否符合，例如少轉車、避開地鐵等
  • 多路線模式會額外比較替代路線與多樣性
  • 安裝負擔低，適合重現與快速驗證

從論文資訊看，TransitLM 背後資料規模相當大，涵蓋超過 1,300 萬筆公共交通規劃紀錄、四個中國城市、120,845 個站與 13,666 條路線；相關研究亦提到模型可在沒有明確地圖對接下，學到站點對應與路線結構。不過這個儲存庫本身偏重「評估」而非「訓練」，所以較適合研究人員、做交通路線生成的模型開發者，或者想比較 GPT、Qwen 這類一般模型在路線任務上表現的人。

整體來看，TransitLM 的價值在於把一個很易流於主觀的任務，整理成可重現、可分解、可比較的評估項目。對非專業讀者來說，可以把它理解成一把較精細的尺：不是幫你直接畫路線，而是幫你判斷模型畫出來的路線，到底有幾可信。

GitHub： https://github.com/HotTricker/TransitLM

Paper： https://arxiv.org/pdf/2605.22355

Categories: 開源, 阿里巴巴, 中國, 框架, Dataset 數據集

MM-OCEAN：拆解 AI 人格判斷盲點

Repository image for kkkcx/MM-OCEAN

MM-OCEAN 是一個用來評估多模態大語言模型的基準項目，核心不是單看模型能否判斷一個人的人格傾向，而是檢查它有沒有根據影片中的可觀察行為去推理。它聚焦 Big Five 五大人格維度，並指出一個很值得關注的現象：不少模型即使評分答對，背後也未必有可靠證據支持。

這個項目解決的問題很清楚。以往不少評估只看最後分數，但人格判斷牽涉表情、語氣、動作和互動線索，單靠結果很難知道模型是「看懂了」，還是只是碰巧猜中。MM-OCEAN 進一步把評估拆成評分、文字解釋和線索對應三層，令研究者可以分辨模型是理解不足、胡亂補充，還是無法把線索整合成合理結論。

資料規模方面，項目包含 1,104 段 15 秒影片、約 13,500 條經人工核實的細粒度行為觀察、5,520 份有證據支持的人格分析，以及 5,320 題多項選擇題。倉庫亦提供評分腳本和提示模板，研究者可以依照既定流程，把自己的模型輸出放入同一套框架比較；相關評測涵蓋 27 個多模態模型，屬於頗完整的橫向觀察。

最有新意的地方，是它不把「答對」視為終點，而是加入幾種失誤指標去量化問題，例如答對但沒有線索依據、線索對了但推理不通，或找到線索卻得出錯誤結論。論文摘要提到，整體有 51% 的正確評分並非建立在檢索到的線索之上，而更嚴格的整體通過表現最高亦只有約 33.5%，這說明現時模型距離可靠的人格推理仍有明顯差距。

  • 重點不是只計分數，而是同時檢查理由與證據是否一致
  • 提供三層評估流程，較易看出模型錯在觀察、推理還是整合
  • 涵蓋 27 個多模態模型，方便做基準比較
  • 適合研究多模態理解、AI 安全、公平性與人機互動的團隊
  • 可留意的相關模型類型，包括閉源與開源多模態大模型，但倉庫摘要未逐一列出名稱

對研究團隊、評測設計者，甚至關心 AI 是否會憑表面印象下判斷的人來說，MM-OCEAN 都很有參考價值。它不是一般可直接拿來日常應用的小工具，而是偏向研究與驗證用途；但正因如此，它把問題講得夠具體，亦讓人更清楚看到今天多模態模型在人格理解上仍有甚麼盲點。

GitHub： https://github.com/kkkcx/MM-OCEAN

Paper： https://arxiv.org/pdf/2605.22109

Categories: 開源, 影像處理, 框架, Dataset 數據集

Mega-ASR：嘈雜環境下更穩定的語音辨識

Mega-ASR Logo

Mega-ASR 是一個針對野外場景而設的語音辨識項目，重點放在「環境愈差，結果仍然可用」。一般模型在雜音、回音、收音距離遠，甚至傳輸中斷時，常會出現漏句、亂寫內容或直接沒有輸出；這個項目正是為了解決這類問題而來。

它的做法不是只靠單一噪音增強，而是把真實世界常見的聲學干擾拆成 7 類基本條件，再組合成 54 種複合場景，用約 260 萬筆訓練樣本去磨練模型。論文亦提到兩個關鍵方法：A2S-SFT 與基於 DG-WGPO 的強化學習，目標是令模型由聲音訊號一路更穩定地對應到語意，特別加強嚴重失真下的語意恢復與局部關鍵字重建。

想試這個項目，最直接是查看其 Hugging Face 權重、技術報告，以及配套的 Voices-in-the-Wild-2M 資料集和 Voices-in-the-Wild-Bench 基準。對開發語音輸入、會議轉錄、客服錄音整理，或戶外收音產品的人來說，這類資源比單看示範更有參考價值，因為可以用同一套基準比較不同模型在惡劣環境下的表現。

  • 針對雜音、遠場、遮擋、回音、錄音瑕疵、電子失真與傳輸掉包而訓練
  • 特色是減少 hallucination、空白輸出與整句遺漏
  • 提供模型權重、資料集與基準，方便延伸評估
  • 相關模型可留意 Qwen3-ASR-1.7B，以及 README 提到的其他開源與閉源強模型比較

表現方面，公開資料指出它在多個惡劣條件基準上優於先前強模型，例如在 VOiCES R4-B-F 與 NOIZEUS Sta-0 的錯誤率均有明顯下降；在複合聲學場景下，亦錄得超過 30% 的相對錯誤率改善。不過這些結果主要來自論文與項目提供的評估，使用時仍要看語言種類、音訊長度和部署資源是否配合你的場景。

整體來看，Mega-ASR 最值得留意的，不是它把乾淨語音分數推高多少，而是它把語音辨識帶回更接近現場的問題：收音差、環境亂、訊號不完整時，系統還能否交出可信文本。對需要「穩定比完美更重要」的項目，這個方向相當有吸引力。

GitHub： https://github.com/xzf-thu/Mega-ASR

Paper： https://arxiv.org/pdf/2605.19833

Categories: 開源, 模型, 語音, 上海人工智慧實驗室

SGT 點樣拉近多模態理解與生成

Understanding capability gains across proxy task levels

SGT 是一個研究味較重的項目，核心想法是用「圖像分割」作為生成式微調的代理任務，讓同一個多模態模型不只看得明，亦畫得更準。它針對的痛點很清楚：不少統一多模態模型會把理解與生成分開優化，結果兩邊能力未必真正協同。

這個項目的亮點，在於它沒有再把重心放在像素紋理，而是改用較高層次的語意結構作監督。簡單講，模型不是只學顏色和邊緣，而是學物件區域與空間關係，這對圖片理解，以及按位置生成內容，都更有幫助。

從 README 提供的結果來看，SGT 曾在 BAGEL（7B+7B）和 OmniGen2（3B+4B）上驗證，顯示它不是綁死單一架構的做法。研究亦比較了 edge、depth、segmentation 三類代理任務，結論偏向一致：segmentation 在理解能力提升上表現最好，而生成的空間準確度亦有改善；至於數學或圖表推理，就未見明顯幫助。

想了解這個項目，可先看論文與項目頁，再留意其公開資料集 SAM-SGT，重點不是立即部署，而是理解這套訓練思路如何套入現有多模態模型。對研究人員、模型訓練工程師，或關心視覺理解與生成整合的人，這個方向特別值得留意。

  • 以圖像分割作生成式微調代理，連接理解與生成
  • 已在 BAGEL 與 OmniGen2 驗證，具一定架構通用性
  • 比起 edge、depth，segmentation 更能提升視覺理解表現
  • 生成結果的空間對位更穩，尤其適合位置敏感提示
  • 分割資料越多，表現有持續上升趨勢

整體來說，SGT 吸引之處不在花巧功能，而在提出一條頗務實的訓練路線：用高層語意監督，補回多模態模型常見的理解與生成落差。若你關注 UMM 後訓練方法，這個項目很值得放入觀察名單。

GitHub： https://github.com/song2yu/SGT

Paper： https://arxiv.org/pdf/2605.18714

Categories: 開源, 騰訊
Page 1 of 82
1 2 3 … 82