InferNews

Lens：更慳算力的高質文字生圖

Lens Teaser

Lens 是 Microsoft 推出的文字生成圖片模型，規模約 3.8B 參數，重點不只是畫質，還包括「用較少訓練成本做到接近甚至追上更大模型」。這個 GitHub 項目目前定位清晰，主要提供推論用途的最小程式碼，方便直接用現成 checkpoint 生成圖片。

動手方式很直接：準備好 Lens 的權重後，利用這個項目的推論程式輸入文字提示，便可生成圖像。它特別適合想快速試畫面風格、測試長提示詞效果，或者比較不同文字生圖模型輸出的人；若要完整訓練或微調流程，現有儲存庫資訊顯示並不是這個項目的重心。

它解決的核心問題，在於近年文字生圖模型愈做愈大，訓練成本高得驚人。Lens 嘗試從資料密度、模型結構和解析度學習方式入手，在較緊湊的 3.8B 規模下，仍保持不錯的提示理解、高解析度輸出，以及多種長寬比生成能力。

較值得留意的地方有幾個：它用長篇密集描述的圖文資料預訓練，配合 mixed-resolution learning，令模型一次學到更多內容；文字理解方面則結合 GPT-OSS 多層特徵與 FLUX.2 semantic VAE。官方亦提到有 Lens-Turbo 這類後續變體，主打 4-step 快速生成，另有 RL 調整版本用來改善畫質與壓低瑕疵。不過仍需要 A100/V100 GPU。

  • 3.8B 參數規模，定位是高效率文字生圖模型
  • 支援約 1:2 至 2:1 長寬比，最高可到 1440×1440
  • 相關模型包括 Lens、Lens-Turbo，以及經 RL 調整的變體
  • 官方論文指出 1024×1024 輸圖可達約 3.15 秒，Turbo 4-step 約 0.84 秒

整體來看，這個項目最吸引之處不是功能包山包海，而是把焦點放在「精簡推論」與「高效率模型設計」上。對研究生成式 AI 趨勢、想評估新一代文字生圖效率，或需要高解析度輸出的開發者與創作者來說，Lens 是一個值得留意的項目；不過涉及基準細節與全面比較時，仍建議一併參考論文與模型頁面。

GitHub： https://github.com/microsoft/Lens

Paper： https://arxiv.org/pdf/2605.21573

Categories: 開源, 微軟, 影像模型, 模型

AIQ 為代理工具加上深度研究能力

Og image

不少代理工具本身已很擅長協調流程，例如管理對話、串接工具和執行程式碼；但一到需要整合多份文件、引用來源、或根據企業資料整理長篇分析，開發團隊往往要自行處理大量繁瑣工作。這篇內容介紹的 NVIDIA AI-Q，重點正是把這類深度研究能力封裝成可攜的項目技能，讓代理工具直接調用。

它解決的問題很明確：團隊不用再為每個項目重建檢索、規劃、整理、引用與評估流程。代理工具可把研究任務交給本機或託管的 AI-Q 伺服器，之後收回一份有結構、附引用的報告；而敏感資料亦可留在企業內部環境，對醫療、金融、政府及國防等重視資料管控的場景尤其重要。

上手方式亦相對直接。這個項目提供 SKILL.md 說明檔，以及一個輔助腳本去處理請求路由、提交工作、輪詢進度和取回結果。使用前需要 Python 3.10 或以上，並準備一個可連線的 AI-Q Blueprint 伺服器；預設會連到本機位址，也可透過環境變數改寫。

Give Codex a Deep Research Skill With NVIDIA AI-Q

重點可概括如下：
– 把深度研究流程包裝成代理工具可調用的技能
– 支援多來源資料整合，並輸出附引用的報告
– 減少每個項目重複搭建研究流程的工作
– 讓敏感資料可保留在企業內部環境
– 可配合 Claude Code、Codex 等通用代理工具使用

這個項目的創新之處，在於它不是只提供單一工具函式，而是把意圖分類、澄清問題、淺層研究、深度研究與評估整合成較高層的能力。換句話說，代理工具只需學會如何委派，便可利用完整研究管線，較適合想快速為現有代理系統加入研究能力的團隊。文中未見具體效能數字或基準測試，因此現階段較適合把它理解為一個工程整合與工作流程簡化方案。

模型列表：Claude Code、Codex

GitHub： https://github.com/NVIDIA-AI-Blueprints/aiq/tree/v2.1.0

項目： https://developer.nvidia.com/blog/add-a-specialized-deep-research-skill-to-agent-harnesses/

Categories: 開源, NVIDIA, Agentic, 框架

SpaceDG 評測：模糊影像下的空間推理

logo

SpaceDG是一個圍繞空間理解而設的評測項目，重點不在「清晰圖片答得幾好」，而是進一步檢查圖片出現模糊、低光、壓縮失真、天氣干擾或鏡頭變形之後，模型仲能否判斷方向、位置同物件關係。這點很貼近真實環境，因為不少現場影像本來就未必完美。

動手方式相當清楚：先按項目提供的 EASI 流程準備環境，再下載 SpaceDG-Bench 數據，之後便可把自己的多模態模型放入同一套評測框架比較表現。對研究或產品測試來說，這比單看一般 VQA 分數更有參考價值，因為它專門檢查模型在「睇得唔清楚」時會點樣失準。

這個項目的特別之處，在於它不是隨便加噪聲，而是把九種影像退化效果納入 3D Gaussian Splatting 渲染流程，令退化更接近物理成因。公開資料顯示，整體數據規模約有 100 萬組問答，覆蓋接近 1,000 個室內場景，另有人工驗證的 SpaceDG-Bench，包含 1,102 條問題、11類推理任務與超過 1 萬個 VQA 例子。

  • 已評測 25 個開源及閉源模型，覆蓋面算廣
  • 影像退化會普遍拉低空間推理表現，人類亦同樣受影響
  • 退化監督微調可同時改善乾淨與受干擾圖片的表現
  • 物件計數等細節感知，似乎比部分幾何推理更易受影響
  • 文中提到的相關模型包括 GPT-5.4、Gemini-3.1-Pro、Qwen3.6Plus、InternVL 3.5-38B 及作者的 8B 版本

整體來看，SpaceDG最適合做模型評估、穩健性研究，以及需要處理監控、機械人、室內導航等場景的團隊。若你關心的不只是模型「最好情況」有幾叻，而是它在普通甚至較差畫面下是否仍可靠，這個項目相當值得留意；至於個別分數與完整設定，仍建議配合論文與基準頁面一併閱讀。

GitHub： https://github.com/Visionary-Laboratory/SpaceDG

Paper： https://arxiv.org/pdf/2605.22536

Categories: 開源, 上海人工智慧實驗室, 框架

WorldKV 點樣用較少記憶保留影片世界記憶

Input image: a yellow duckling swimming on a sunlit pond with water lilies

WorldKV 是一個針對自回歸影片世界模型的記憶管理項目，重點是用更少 KV cache 成本，保留模型對早前畫面與視角的長期記憶。頁面指出，它屬於免訓練框架，意思是不用重新訓練模型，就可以直接加到既有流程之中。

這個項目要處理的核心問題，是完整保留 KV cache 雖然有助模型記住之前見過的場景，但會很快吃光 GPU 記憶體，注意力計算亦會愈來愈慢。WorldKV 的做法是只在需要重訪某個視角或區域時，取回最相關的歷史片段，而不是永遠把全部內容放在作用中的視窗內。

它的設計有兩個關鍵部分：World Retrieval 會把被移出的 KV 片段按鏡頭或動作狀態建立索引，之後在合適時機取回最相關的 top-k 片段，而且不需要重新編碼；World Compression 則以每段首幀作錨點，利用 key-key cosine similarity 移除過於相似的 token，保留較能代表新區域或時間變化的資訊。

重點可留意：
– 屬於免訓練方法，較易接入現有模型流程
– 以檢索方式保留重訪所需記憶，而非硬性保存全部內容
– 以壓縮方式減少每段儲存量，頁面稱可減半
– 在 Matrix-Game 2.0 與 LingBot-World-Fast 上，吞吐量約提升至 2 倍，同時 KV cache 的 VRAM/RAM 佔用接近減半
– 頁面指記憶保真度可達到，部分情況甚至超過 Full KV

對想處理長影片生成、互動世界模擬，或需要模型記住先前視角與場景的人來說，這個項目特別值得留意。從頁面資訊看，它最適合受限於 GPU 記憶體、又希望維持即時或接近即時推理速度的情境；目前展示內容以項目頁與論文摘要為主，更細緻的限制與穩定性仍要留待論文與程式碼進一步確認。

*未有清楚列出完整基礎模型名稱。

項目： https://cvlab-kaist.github.io/WorldKV/

Categories: 3D, 視覺模型, 視頻模型

Spreadsheet-RL：讓 AI 真正學識用 Excel

overview

Spreadsheet-RL 是一個針對試算表工作的強化學習項目，重點不是單次輸出答案，而是讓大型語言模型在 Microsoft Excel 環境中分步操作，最後再用整份活頁簿的結果判斷做得對不對。對比一般只靠提示詞的方法，這種設計更貼近日常表格整理、計算和修正流程。

它解決的核心問題，是模型面對多步驟試算表任務時，往往容易中途出錯，或者只懂講做法但未必真的完成。這個項目把資料建立、互動環境、獎勵機制串連起來，令訓練目標不只是「說得像」，而是「做得啱」。當系統會重新計算並比對最終活頁簿，評分方式就比純文字答案更實在。

上手方向也算清楚：研究者可用它提供的訓練與評估堆疊，配合 Excel 獎勵服務、沙盒程式執行，以及多輪互動環境，去訓練或測試自己的試算表代理。內容明顯較適合具備機器學習、叢集運算或代理系統背景的人，普通用家未必會直接部署，但很適合拿來理解「AI 幫你做 Excel」背後需要哪些能力。

幾個值得留意的位包括：
– 以公開試算表論壇題目自動整理訓練資料，論文提到有 5,928 個經篩選任務
– 支援多輪 Excel 互動，而不只是一次生成答案
– 內建試算表原生工具、沙盒執行程式碼，以及獨立工作空間
– 以最終活頁簿正確性作為獎勵，較貼近真實工作成果
– 已公開 Spreadsheet-RL-4B，基於 Qwen/Qwen3-4B-Thinking-2507 訓練

表現方面，論文提到 Qwen/Qwen3-4B-Thinking-2507 經完整流程後，SpreadsheetBench 的 Pass@1 由 12.0% 提升到 23.4%，另一個 Domain-Spreadsheet 評估則由 8.4% 升至 17.2%。幅度相當明顯，但仍屬研究型結果，使用時也要留意其環境依賴較重，包括 Excel 服務、沙盒與訓練基建。

整體來看，Spreadsheet-RL 最有價值的地方，是它把「試算表代理」由提示工程推前一步，變成可訓練、可評估、可重現的完整項目。相關模型方面，文中可見 Qwen3-4B-Thinking-2507、Qwen3-4B Instruct、Qwen3-8B、Qwen3-14B、Qwen3-32B，以及 GPT-4o、OpenAI o3 等比較基線；對想研究 AI 自動處理表格工作的人，這是一個很值得留意的參考。

GitHub： https://github.com/Spreadsheet-RL/Spreadsheet-RL

Paper： https://arxiv.org/pdf/2605.22642

Categories: 開源, Meta, Dataset 數據集

cusp-scientific-foresight：AI 能否預測科學突破？

Repository image for SeanWu25/cusp-scientific-foresight

CUSP是一個用來評估AI是否能「預測科學未來」的基準資料集。它的做法幾有意思：先把模型鎖定在某個歷史時間點之前可見的知識，再要求它判斷之後會不會出現某項科研成果、何時出現，或者從多個候選答案中選出較合理的一個。

項目提供了資料集和 notebook 入手，先看每筆紀錄包含甚麼欄位，再逐類型比較模型表現。它支援多種題型，包括二元判斷、反向擾動題、四選一、開放式回答，以及發表時間預測，對研究評估流程的人來說相當完整。

這個項目想解決的，不是一般問答準不準，而是AI有沒有能力在資訊受限下推測科研進程。這點比常見基準更接近真實研究判斷，因為重點不只是背到答案，而是能否根據過往脈絡作出前瞻推論。

較突出的地方，是它加入「歷史知識截點」和跨學科事件設計，涵蓋4,760個科學事件，並且把時間預測都納入評分。論文內容亦指出，不少前沿模型雖然能辨認看似合理的研究方向，但對於成果是否真的會發生、會在幾時出現，表現並不穩定；AI相關進展似乎比生物、化學、物理更易預測。

  • 重點不是答題，而是前瞻判斷能力
  • 題型涵蓋是非題、選擇題、開放回答與時間預測
  • 涉及多個科學領域，能看出不同領域的差異
  • 研究結果顯示模型存在過度自信與回答偏差
  • 相關模型層面，項目主要用來評估現代大型語言模型，而非只限單一模型

整體來看，CUSP較適合做模型評估、AI研究分析，或關心「AI能否幫手判斷科研走向」的人閱讀。它未必是一般用家即開即用的應用型工具，但作為一個評測項目，它把問題定義得清楚，也提醒大家：模型懂得整理已知資訊，不代表已經懂得可靠地預測科學突破。

GitHub： https://github.com/SeanWu25/cusp-scientific-foresight

Paper： https://arxiv.org/pdf/2605.22681

Categories: 開源, Dataset 數據集

LatentOmni 想重寫影音推理方式

LatentOmni

LatentOmni 是一個面向影音多模態大語言模型的研究項目，重點不是叫模型先把線索全都翻成文字再慢慢推理，而是讓聲音與畫面的資訊在同一個潛在空間內一起運作。簡單講，它想保留更多原始感官訊號，減少中途只靠語言猜答案的情況。

這個方向要解決的問題很明確：不少模型在看影片、聽聲音後，雖然能描述內容，但一遇到需要同時對齊時間、事件因果或細節關聯的題目，表現便會下跌。LatentOmni 提出的做法，是把文字推理流程與影音潛在狀態交錯進行，並用 OSPE 這類時間同步設計，幫助模型對準聲畫節奏。

從使用角度看，現時這個 GitHub 儲存庫仍以論文與概念介紹為主，訓練程式、推論程式、模型權重和資料集尚未正式釋出。因此較適合先拿來了解新一代多模態推理方法，或者作為研究與技術評估的參考，而不是立即部署到產品流程。

  • 核心亮點是統一聲音與畫面的潛在推理，而非只輸出文字式思路
  • 加入特徵層級監督與 OSPE，目標是保留時間對齊與跨模態關聯
  • 配套資料集為 LatentOmni-Instruct-35K，用來訓練交錯式影音推理軌跡
  • 論文指出它在多個影音推理基準上，表現優於明確文字 CoT 基線

整體來看，這個項目最吸引之處，是它把「模型怎樣思考」由文字中介，推前到更接近原始聲畫訊號的層面。適合關注 MLLM、影音理解、跨模態推理的人留意；若你想比較相關模型，也可把它與依賴文字 CoT 的開源多模態模型放在同一條線上觀察。不過現階段公開內容有限，性能細節仍應以論文報告為準，評估時要保持審慎。

GitHub： https://github.com/yfanDai/LatentOmni

Paper： https://arxiv.org/pdf/2605.22012

Categories: 開源, 香港科技大學, 影像處理, 模型, 聲效, 視覺模型, 中國, 清華大學, 北京大學

PhysX-Omni：讓 3D 生成更貼近物理世界

teaser

PhysX-Omni 由南洋理工大學及 中國 ACE Robotics 開發，是個面向模擬用途的 3D 生成項目，重點不只是做出外觀，而是連同剛體、可變形物件與可動關節物件一併考慮。簡單說，它想解決的問題是：很多 3D 生成結果看起來像樣，但未必能直接放進物理模擬或機械人流程裡使用。

這個項目的亮點，在於把幾何形狀、絕對尺寸、材質、可供互動的功能，以及運動結構放到同一套框架內處理。它配合 PhysXVerse 資料集和 PhysX-Bench 評估方法，目標是同時檢查生成能力與理解能力，這點比只看外觀相似度更進一步。

整體流程偏向研究型：先準備 Python/conda 環境，再安裝相依套件，之後下載 PhysXNet、PhysX-Mobility 與 PhysXVerse 等資料，完成前處理和條件圖像渲染，最後再設定訓練路徑。這代表它較適合已有 AI 或 3D 處理基礎的人，而不是即開即用的輕量工具。

PhysX-Omni: Unified Sim-Ready Physical 3D Generation for Rigid, Deformable, and Articulated Objects
  • 核心價值：生成可放進模擬流程的 3D 資產，而非只有表面外觀
  • 覆蓋範圍：支援剛體、可變形物件、關節物件三類內容
  • 相關資源：包括 PhysXVerse 資料集、PhysX-Bench 評估，以及 README 提到的 Qwen2.5 相依套件
  • 適合場景：機械人訓練、物理模擬、具條件控制的 3D 場景生成

性能方面，公開資料指出它會用一般指標加上自家的基準一同評估，並強調在生成與理解兩邊都有不錯表現。不過從現有資訊來看，較完整的數字仍應以論文與官方頁面為準；對一般讀者而言，最值得留意的是它把「看得像」推進到「更可能用得著」，這正是這個項目最有意思的地方。

GitHub： https://github.com/physx-omni/PhysX-Omni

Paper： https://arxiv.org/pdf/2605.21572

Categories: 開源, 影像模型, 影像處理, 模型, 中國, Dataset 數據集

Pi-Bench 點評：測試主動型助手夠唔夠醒

Pi-Bench Overview

OpenClaw 等個人助理代理的興起凸顯了大型語言模型在支援使用者日常生活和工作方面日益增長的潛力。這些環境中的一個核心挑戰是主動協助，因為使用者通常從未明確說明的請求開始，而未說明重要的需求、限製或偏好。

Pi-Bench 不是一般聊天問答，而是評測檢查個人助手型代理在長流程工作中，能否及早察覺用戶未講出口的需要。這類情境很常見，因為不少人一開始只會講大方向，細節、限制同偏好往往在後續對話才慢慢浮現。

這個項目收錄了 100 個多輪任務，涵蓋 researcher、marketer、pharmacist、law trainee、financier 五類角色，並且把任務放進可持續保存的工作空間，模擬跨時段處理事情的情況。相比只測短回合回答的基準，它更接近「一路做、一路補需求」的助手工作模式。

Pi-Bench 的特別之處，在於它同時看兩件事：助手夠不夠主動，以及最後交付是否完整。前者會看系統能否提早推斷隱藏意圖，或主動追問關鍵資訊；後者則檢查輸出是否符合清單要求。README 提到評分包含隱藏意圖判斷與 checklist 驗證，而且審核分歧低於 4%，顯示評估設計有一定穩定性。

對研究代理系統、評估 LLM 助手，或者想比較 OpenClaw、Nanobot、Claude Code 一類模型／系統表現的人，這個項目幾有參考價值。使用時重點不是「跑出高分」本身，而是觀察模型在哪些回合漏問、忘記前文，或者只懂被動完成指令。

  • 針對長流程、多輪互動，不只測單次回答
  • 納入隱藏需求、跨任務依賴與跨 session 延續性
  • 以主動性與完整度兩條線一齊評估
  • 包含 5 種角色、100 個任務，場景較立體
  • 適合比較個人助手型代理，而非純文字問答模型

整體來說，Pi-Bench 最有價值的地方，是把「助手是否主動幫到手」拆成可觀察、可比較的評測問題。它未必直接提升模型能力，但很適合作為檢查工具，幫團隊看清楚一個助手究竟只是跟指令做事，還是真正懂得提前補位。

GitHub： https://github.com/Simplified-Reasoning/Pi-Bench

項目： https://simplified-reasoning.github.io/Pi-Bench/

Categories: 開源, 香港中文大學, 中國, 框架, Dataset 數據集

TransitLM：點樣評估生成巴士地鐵路線

Repository image for HotTricker/TransitLM

TransitLM 重點不是直接幫你找車程，而是提供一套評估流程，專門量度模型生成公共交通路線的表現。它配合同名論文與資料集使用，主要服務「不靠地圖引擎、直接由資料學出路線」這類研究方向。

項目已經附上示例 CSV，並按不同情境分成幾個評估腳本，包括單一路線、偏好路線、多路線多樣性，以及透過遠端 API 評估一般大語言模型輸出。因為只依賴 Python 標準函式庫，環境要求相對輕巧，想重現論文評估流程的人會較容易開始。

這個項目最值得留意的地方，是它不只給一個總分，而是把結果拆成多層來看，例如路線是否可達、站點是否對應得上、整體結構是否一致，以及時間、距離、票價估算是否可信。對比只看「答得似唔似」，這種分層做法更容易找出模型到底是認錯站、接錯線，還是只在數值估算上失準。

  • 支援四類評估情境，覆蓋論文基準與一般 LLM 輸出
  • 評分拆成多個維度，比單一總分更有診斷價值
  • 可檢查偏好是否符合，例如少轉車、避開地鐵等
  • 多路線模式會額外比較替代路線與多樣性
  • 安裝負擔低，適合重現與快速驗證

從論文資訊看，TransitLM 背後資料規模相當大，涵蓋超過 1,300 萬筆公共交通規劃紀錄、四個中國城市、120,845 個站與 13,666 條路線；相關研究亦提到模型可在沒有明確地圖對接下，學到站點對應與路線結構。不過這個儲存庫本身偏重「評估」而非「訓練」，所以較適合研究人員、做交通路線生成的模型開發者，或者想比較 GPT、Qwen 這類一般模型在路線任務上表現的人。

整體來看，TransitLM 的價值在於把一個很易流於主觀的任務，整理成可重現、可分解、可比較的評估項目。對非專業讀者來說，可以把它理解成一把較精細的尺：不是幫你直接畫路線，而是幫你判斷模型畫出來的路線，到底有幾可信。

GitHub： https://github.com/HotTricker/TransitLM

Paper： https://arxiv.org/pdf/2605.22355

Categories: 開源, 阿里巴巴, 中國, 框架, Dataset 數據集
Page 1 of 82
1 2 3 … 82