Xiaomi-Lens-0 讓 4B 視覺模型標註出答案

2026 年 10 月 20 日 Share to X Facebook Copy link

這個 4B 多模態模型把文字回答與像素級定位放在同一套推理中，適合需要理解物件、指出位置及分割影像的場景。

要讓模型回答「紅色杯子在哪裡」之餘，同時準確框出甚至分割杯子，傳統多模態模型往往要串接多個模型。Xiaomi-Lens-0 試圖把這兩步合而為一：它以 Qwen3.5-4B 為基礎，在生成文字的過程中解讀 <|mask|> token，再由輕量解碼器輸出對應區域，令文字答案與視覺定位可以同步產生。

這個 4B 多模態模型主要處理 Referring Expression Comprehension、Referring Expression Segmentation、多實例定位、Reasoning Segmentation、具身指令指代及細緻感知等六類任務。它既能以邊界框指出物件，亦能輸出像素遮罩，適合影像標註、搜尋、選取區域及具身操作前的人工檢查。

• 以 4B 規模結合文字回答、邊界框與像素級遮罩
• 支援六類定位及視覺推理場景
• 可在 Hugging Face Spaces 試用，亦公開模型權重與 LensBench
• 提供每個遮罩獨立輸出及熱力圖等推理設定

模型在八個 RefCOCO 系列分割上的平均 referring comprehension 提升 5.6 分，並在八個細粒度感知測試中取得較高分數；項目頁另列出 RefCOCO 驗證集 Prec@0.5 為 94.6。LensBench 包含 4,800 個 instruction-level 樣本，涵蓋 1,200 個配對單位及四個領域。

代價是輸出遮罩需要額外視覺解碼，而模型規模仍屬輕量，複雜推理和高解析影像表現應按測試結果判斷。研究團隊已提供線上示範、模型權重及程式碼，適合想試驗視覺 grounding 的模型開發者、影像工具團隊和具身智能研究人員。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, Qwen, Image, 影像處理, 工具, 小米-Xiaomi

---

RAP-25K 用 AI 把論文自動排版成為海報

2026 年 10 月 20 日 Share to X Facebook Copy link

清華、港大、美團等團隊把 25,435 對 NeurIPS、ICLR、ICML 論文與海報反解為可填空嘅 HTML 模板，等 AI 唔再從零設計版面，而係取用人類做過嘅版型再改內容。

做會議海報本質係一次迷你視覺代碼：一篇論文要做成 Poster，要同時處理摘要、視覺排版同程式實現。RAP 將呢件事變成可量度嘅任務，開放俾模型訓練同評測。

佢屬於一個資料集加框架嘅組合：核心係 PosterReverse-25K，由 NeurIPS、ICLR、ICML（2022–2026）合共 25,435 套論文同海報組成，每份海報會被自動 pipeline 反解成帶類型、可填空嘅 HTML/CSS，連摘要同三層分類（領域／任務／方法）都一齊整理好。配套仲有一份 RAP-150 測試集，每個領域留 10 篇俾公平比較。

同類做法多數只標註版面框或者小量樣本，要靠 VLM 或人手評分。RAP 嘅差別係每個樣本都可以渲染同原海報直接對比，做到客觀驗證，唔再靠主觀評審。佢提供兩條路線：PosterRAG 係免訓練嘅多智能體流程，會先檢索真實模板再填入新內容；另一條就用同一批 triplet 對 Qwen3.8-27B 做全參數 SFT 加 GRPO 訓練。

對研究人員同會議籌備團隊最直接：寫完一篇論文想快速整海報，可以利用檢索模板避開從零排版；做視覺代碼、版面生成或 VLM 訓練嘅團隊，都能直接用呢批已驗證 triplet 做監督。項目提供 Hugging Face Space demo 同模型權重。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, 框架, Dataset 數據集

---

KTP(Knowledge-Transfer-Probing) 統一多模態模型做知識轉移考核

2026 年 10 月 20 日 Share to X Facebook Copy link

清華與 Z.AI 團隊提出 KTP 評測協議，專門測試統一多模態模型從圖像生成學到的新知識能否透過純文字問答取出，逐步補上視覺與語言之間的知識流動缺口。

統一多模態模型（Unified Multimodal Models, UMMs）一邊做圖像生成、一邊做語言理解，但訓練時從圖像吸收的知識，一直難以量化究竟有多少真的能在純文字 QA 場景派上用場。Knowledge Transfer Probing（KTP）這個項目正正填補這個缺口：它設計了一套受控的評測協議，先以圖像生成訓練把新知識餵進模型，再以純文字問答檢驗模型能否取出。

團隊跨越七個知識類別（色彩、數量、形狀、相對空間、相對大小等），在三個 UMM 上觀察到一個關鍵現象：直接從視覺監督遷移到語言的知識，效果並不均勻，部分類別知識存取明顯偏弱。有趣的是，在部分實體上做 Textual Alignment 或 Interleaved Image-Text Alignment 對齊訓練後，模型在未對齊的其餘實體上同樣能改善知識存取，其中交錯式對齊的平均準確率比純文字對齊更高。

項目屬於研究型資料集與評測框架，隨倉庫釋出 KTP-Data（分為 train/ 與 eval/），訓練檔涵蓋文字生成圖像、文字對齊及交錯圖文對齊三類樣本，評估檔則提供文字可達性（QA 題目與參考答案）與視覺可達性（生成提示與屬性）。評分腳本只用 Python 標準庫，跑分結果會輸出 results.jsonl 與 summary.json，方便研究者直接替換自家模型回應做比較。

對正在訓練或微調 UMM 嘅團隊而言，KTP 提供一個可重現的基準去量度「圖像生成帶來多少純文字世界可用的知識」，同時指出交錯對齊是一條有實證支持的改進路徑。多模態模型研究者、訓練數據設計者，以及關心視覺-語言聯合表徵架構的人都會從中受益。

這個項目的限制同樣需要留意：KTP 目前只覆蓋七類視覺屬性，且只測試三個 UMM，並未涵蓋複雜語境或多輪推理，結論的普遍性仍有待擴充樣本驗證。

項目主頁 · GitHub

Categories: 開源, 清華大學, 模型, 多模態模型, 模型訓練, Image, 框架, Python, 庫, Dataset 數據集

---

WorldCast 預測並生成世界狀態

2026 年 10 月 17 日 Share to X Facebook Copy link

WorldCast 把視覺生成拉到多步推演：模型要交代世界如何逐步變化，而不只是交出一張合理終局圖。

當任務要求模型根據觀察、物件參照和操作示範，預測一個過程接下來會怎樣發展，單張圖片的合理性已經不夠。WorldCast 屬於視覺生成基準測試，實際處理的是多模態模型如何理解不同參照在何時生效，並生成一連串有因果關係的世界狀態。

它把能力分成 L1 至 L4：由靜態 text-to-image，推進至編輯、主體參照和 text-to-video，再進入複雜限制、物理合理性及把現實情境轉化為行動。WorldCast 聚焦較少被量度的 L3、L4，涵蓋 320 個人工設計案例、1,352 個視覺狀態及 8 類任務，並同時測試 unified systems、multi-reference image models 和 video models。

• 評分把 grid、interleaved 和 video 輸出視為有次序的狀態序列
• 參照內容可以是觀察狀態、目標、規則、物料特性或示範程序
• 12 個代表性模型接受同一套評估協議及 Judge rubrics
• GPT-Image-2.5 System 取得 72.8 分，反映前沿模型已出現早期世界狀態預測能力

可從 Hugging Face Dataset 取得資料測試，配合項目提供的 evaluation toolkit 和 Evaluation Guide 重現評分；模型亦可輸出逐格圖像、交錯圖像或影片。結果差距會在較高層次任務擴大，interleaved generation 對圖像模型有幫助，但評測仍集中於人工設計案例，未等同於真實環境中的長期規劃能力。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, AI productions, 模型, 多模態模型, 視頻模型, Video, Image, txt2img, Dataset 數據集

---

DeltaStreamer 讓串流影片可以回看再作答

2026 年 10 月 17 日 Share to X Facebook Copy link

影片播放過後仍可追查關鍵細節，DeltaStreamer 以記憶、規劃和視覺回放串起串流理解流程。

影片一路播放，問題卻可能在關鍵畫面消失後才出現；DeltaStreamer 屬於 agentic framework，處理串流影片理解中「記住甚麼、何時回查」的難題。它以 change-aware memory 保存變化，再配合 query-driven planning 和 targeted visual replay，讓系統按問題重新檢查相關片段，而不是只依賴當時留下的文字描述。

對直播問答、影片監察和互動助手而言，這個流程比單純累積長篇摘要更適合處理後來才提出的問題。項目亦提供 AI-Tongdan 作為應用例子，支援持續觀察、上下文問答和彈幕建議；不過它是框架，不是獨立的新基礎模型，所用模型與推理配置仍要按儲存庫內容自行核對。

OVO-Bench 中，DeltaStreamer 的 overall score 為 66.07，Real-Time、Backward 及 Forward 分數分別為 72.23、67.72 和 58.25。它高於列出的全開源 online MLLMs 與 video agents 多個結果，但仍低於 Gemini 3 Flash 的 64.02 嗎? [sic]

項目主頁 · GitHub

Categories: 開源, 字節跳動, Agentic, AI productions, 模型, 多模態模型, Qwen, Video, 框架, 庫

---

DeepMind Sierra AI 原生即時語音

2026 年 10 月 16 日 Share to X Facebook Copy link

Google DeepMind 與 Sierra AI 討論原生音訊模型，聚焦即時語音互動的速度、自然度與工程限制。

語音助手要做到自然對話，關鍵不只是把文字轉成聲音，而是要在用戶說話期間理解內容、掌握語氣，並快速作出回應。Google DeepMind 的 Valeria Wu 與 Sierra AI 的 Soham Ray 透過對談，介紹原生音訊模型如何處理這類即時語音 AI 的核心問題。

討論內容集中於 native audio models，以及建立更流暢即時語音系統時遇到的挑戰。相較於把語音先轉成文字、再交由文字模型處理的流程，原生音訊模型直接處理音訊訊號，有機會保留更多語調、停頓和對話節奏；但系統仍要兼顧理解準確度、回應延遲和運算成本。

內容涵蓋的重點包括：
– 原生音訊模型如何支援更自然的語音互動
– 即時對話中延遲與回應流暢度的取捨
– 建立高質素 voice AI 所面對的工程挑戰
– Google DeepMind 與 Sierra AI 對下一代語音體驗的觀察

這段內容適合關注語音介面、客服自動化、AI agent 和多模態模型的讀者。影片沒有提供完整技術規格或獨立效能測試，因此較適合作為理解發展方向與產品設計難題的入門材料，而不是部署指南。

影片介紹

Categories: Agentic, AI productions, 模型, 多模態模型, Google, Gemini, Video, Audio, 語音, 安全

---

Urbex 讓城市級 3D 定位改用主動搜尋

2026 年 10 月 15 日 Share to X Facebook Copy link

Urbex 讓視覺語言代理在城市級 3D 場景自行搜尋證據，毋須預先建立物件候選框，定位能力與效率取捨更值得檢視。

面對城市級 3D 場景，逐一比較預先產生的物件候選框容易拖慢搜尋，也會受候選品質限制。Urbex 屬於開源的 Agentic 視覺模型項目，將 3D grounding 改成主動空間搜尋，讓 vision-language agent 按需要查詢地標、縮放區域、切換斜視角，再提交目標 bounding box。

它不是只靠一次影像判斷，而是在互動式 multi-view environment 逐步收集證據。Reinforcement learning 同時訓練定位和搜尋決策，模型會學習應該檢查哪裏、何時縮窄範圍，以及幾時足以作答；這免除對 precomputed instance proposals 和 ground-truth boxes 的依賴，但每次搜尋仍要承受多步操作成本。

CityRefer 測試中，Urbex 的 ND Hit@1、Hit@3、Hit@5 為 25.8、39.2、42.3，NO 對應為 23.9、36.9、40.7，搜尋時間約 3.2 秒。相較 CityAnchor 的 32.1 秒，速度明顯較快；模型亦在 STPLS3D-Refer 取得 zero-shot 結果，反映跨場景泛化潛力，但不能直接等同於所有城市環境都同樣穩定。

• 支援 CityRefer 訓練及單查詢互動式 3D 推理
• 提供 Hugging Face 的 Urbex-4B 模型和 Urbex-Data 數據集
• 可透過 Colab notebook 試用預測視圖
• 安裝需要 Linux、Python 3.11、CUDA 12.8 及 C++ 編譯器

研究城市建模、3D 視覺定位或多模態代理的團隊，較適合用它測試 candidate-free grounding；想快速驗證概念的人則可先用 Colab。完整訓練需要 CUDA 12.8、Megatron Core、Transformer Engine 和 FlashAttention，硬件及環境門檻明顯高於單純推理，因此本地部署前應先確認 GPU、編譯工具和數據下載流程。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Image, 工具, 3D, Linux, Python, Dataset 數據集, 強化學習

---

VideoJev 加速影片理解，問答推理快逾百倍

2026 年 10 月 15 日 Share to X Facebook Copy link

VideoJev 把時間定位與選擇題影片問答放進同一個評分介面，減少生成式回答的延遲。

處理長片段、重複提問或需要找出事件時間的工作時，VideoJev 不必逐字生成答案，而是直接比較候選時間區間和答案選項。這個項目屬於影片理解模型，實際處理 temporal grounding 與 multiple-choice video QA，並將兩項任務放進同一個決策介面。

它以共享影片計算配合 Cached inference 和 Joint inference：前者保留已處理的視覺資訊，方便後續查詢；後者讓多條問題在一次 forward pass 中完成。相較依靠 autoregressive decoding 的 video multimodal large language models，直接候選評分較適合大量、結構清晰的判斷，但不負責自由生成長篇答案。

• VideoJev-4B 建基於 Qwen3.5-4B，VideoJev-35B-A3B 建基於 Qwen3.6-35B-A3B
• 兩個模型均提供 BF16、Safetensors 權重及 Hugging Face checkpoint
• 三個 temporal grounding benchmark 的 mIoU，較各自 backbone 分別提升 6.7 和 10.8 分
• 四個影片問答 benchmark 在 Thinking mode 維持相近表現，推理速度提升超過 100 倍

研究結果亦量得 temporal grounding 約 2.8 至 3.1 倍加速，顯示它較適合影片搜尋、內容索引、監控片段定位，以及需要連續提出多條問題的視覺代理工作流。試用可按儲存庫提供的環境設定，透過 Transformers 的 AutoModel、AutoProcessor 載入 Hugging Face 權重，再以示範影片測試；不過儲存庫資料未交代硬件門檻，BF16 模型的記憶體需求仍需按部署環境自行確認。

項目主頁 · GitHub · 模型

Categories: 開源, 南京大學, AI productions, 模型, 多模態模型, Qwen, Video, 庫, Dataset 數據集

---

WOVEN：把視覺世界模型放入多模態 LLM 的新訓練範式

2026 年 10 月 14 日 Share to X Facebook Copy link

WOVEN 提出視覺轉換推理（visual transition reasoning）框架，用約 2,000 條受控樣本就能讓多模態 LLM 在 22 個外部基準上進步最多 27.3 個百分點。

Multimodal LLMs 在空間推理、具身操作、物理常識、時間理解等多個範疇長期被當作獨立問題處理。WOVEN 把這些差距收斂到同一個原語：視覺轉換推理（visual transition reasoning），也就是在狀態—動作—新狀態 (s, a, s′) 中，根據已觀察部分推斷未觀察部分。這個框架既是訓練素材，也是一個評測基準。

WOVEN 內含 36,076 條四選題，覆蓋 20 種場景、5 種動作、8 種推理類型，並用影片生成模型嘅 rollout 構建。研究團隊在 Qwen2.5-VL-3B-Instruct 上以監督微調（SFT）加上 GRPO 訓練，11 個約 2,000 條嘅受控子集分別針對一類動作同推理家族，最終令 26 個外部基準中嘅 22 個出現提升，幅度最高達 27.3 個百分點，呢個幅度令人意外。

WOVEN 嘅分類包含前向動力學、逆向動力學、反事實移除、反事實替換、結果預測、線索預測、時間排序同時間相鄰性八種，並設計咗單因子受控變化、反事實 rollout、錯誤類型誘餌同三類測試集以排除偏差。研究者亦喺不同模型規模同模型家族上做咗複現。WOVEN 將視覺世界建模定義為可重用嘅原語，並非單一任務嘅效果集合。對做視覺推理、具身智能同多模態基準建設嘅團隊，呢套資料同訓練食譜提供咗一個統一切入點。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Qwen, Video, 框架

---

VIS-Ground 讓互動影片真正記住前文與要求

2026 年 10 月 13 日 Share to X Facebook Copy link

觀眾暫停影片後提出要求，VIS-Ground 會把來源、已播內容與指令整理成可驗證的生成約束。

觀眾要求「用船運藥，而且不要弄濕」時，系統不能只理解一句新指令，還要記得橋已斷、目的地是祖母家，以及故事原本交代的背景。VIS-Ground 屬於互動影片生成研究框架，處理的正是來源資料、影片前段與觀眾介入之間容易互相牴觸的依賴關係。

它先以 Structured Context Abstraction 對齊 grounding source、已渲染的 video prefix 和 viewer request，再以 Generation Constraints Induction 抽取對下一段影片真正有關的條件，最後經過 plan、verify、revise、render 循環，檢查成片是否同時符合劇情連貫、知識來源和觀眾要求。這比單純把新提示詞交給影片生成器更重視前文約束，但代價是流程更複雜，也需要額外驗證。

• 以可執行 constraint model 連接文字來源、影片內容與互動指令
• VIS-Bench 包含 250 個 sources、1,004 個 viewer interventions 和 2,008 個 instances
• 評估涵蓋 source faithfulness、story continuity、interaction fulfillment 及 joint score
• 在 Omni-1.1-Flash、Veo 3.1 和 MiniMax-H3 三個 video backbones 均取得最高 composite score

Composite score 為 Omni-1.1-Flash 84.2、Veo 3.1 84.6、MiniMax-H3 78.8，較各自最強 baseline 高 12.3、15.3 和 3.4 分；提升主要集中在 story continuity。這些結果反映方法能跨越不同影片生成 backbone 工作，但資料只涵蓋 1,004 個互動介入，未足以代表所有敘事類型。

適合研究互動敘事、可控影片生成和多模態代理的團隊，用來測試「觀眾改變故事後，生成結果能否守住既有事實與新限制」。GitHub 目前只列出代碼、VIS-Bench 資料和評估腳本預告在 2026 年 12 月 15 日前釋出，因此暫時缺乏可按步驟安裝及本地測試的完整資訊。

項目主頁 · GitHub

Categories: 開源, AI productions, 多模態模型, Video, 提示詞, 框架, Dataset 數據集, MiniMax

---