視覺模型 – Page 3

Video-IFBench：跟足要求的影片評測

2026 年 8 月 27 日

Video-IFBench 用來量度多模態大語言模型在影片理解場景中的指令跟隨能力。它把單步、多步、選擇和嵌套指令拆開測，直接看模型能否按條件做對。

Overview of the Video-IFBench construction and evaluation pipeline

Video-IFBench 是一個用來評測多模態大語言模型（Multimodal Large Language Models, MLLMs）在影片理解場景中是否跟足指令的資料集與基準。它處理的不是單純看懂影片，而是模型能否在複雜限制下，依照影片證據作出正確分支判斷、完成多重要求，並保持輸出格式一致。

這套基準把任務分成 Single、Multi、Selection 和 Nested 四類，覆蓋由簡單到層層加條件的情境。項目建構流程結合影片標註、任務與限制採樣、複雜指令生成、checklist、程序化處理和人工驗證，適合拿來測試模型在真實工作流裡會否因為條件一多就失手。

和一般只看整體問答正確率的影片基準相比，Video-IFBench 更著重嚴格遵循指令的程度。資料集同時提供 TCSR 和 TISR 兩種指標，結果顯示即使是頂級商用模型，遇到條件累積或需要按證據選分支的題目，分數也會明顯下滑；開源模型的差距更大，尤其在 Nested 類別。

對做影片理解、視覺問答、agent 評測，或者需要檢查模型能否按規則輸出內容的團隊，這個基準很有參考價值。它不只看模型「知唔知」，而是看模型「有冇照做」，這正是很多落地應用最容易出問題的位置。

覆蓋影片理解中的四種指令型態，從單步到嵌套條件都有測。
以 checklist 和人工驗證強化標註可靠度。
用 TCSR 與 TISR 分開看內容命中與指令跟隨。
商用模型整體較強，但複雜條件下仍有明顯失分。
開源模型在多條件、分支選擇和格式遵循上差距更大。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 字節跳動, 騰訊, Agentic, 視覺模型, 多模態模型, Video, Dataset 數據集

StreamPI 機械人模型的記憶系統

2026 年 8 月 27 日

StreamPI 為單幀 Vision-Language-Action 模型加入記憶與幾何線索，並將多幀推理的延遲增幅壓至較低水平。

Overview of the StreamPI architecture and streaming inference workflow

機械人執行抓取、插入等連續任務時，只看當前畫面容易失去物件位置變化；StreamPI 將每組視覺觀察與語言指令視為一個時序單元，屬於為 Vision-Language-Action (VLA) 模型加入串流時序推理能力的框架，針對的正是單幀 π₀.₅ 無法保留歷史觀察的限制。

它沒有額外加入模型參數，而是把多組 token 接在同一序列，再用 block-wise attention mask 控制資訊流。每個單元內採用雙向注意力，讓視覺與語言充分融合；單元之間採用因果注意力，配合 KV cache 保留過去內容，避免每次重新處理完整歷史。重複放入語言指令亦可令任務目標在視覺內容增加後保持清晰。

以預訓練單幀模型延伸至單幀或多幀推理
不增加參數，支援彈性上下文長度
以 random-interval sampling 配合 temporal masking，模擬非固定觀察時間
KV cache 適合串流推理及非同步機械人控制
RTX 4090 由一幀增至五幀，平均延遲只由 94.4 ms 升至 103.6 ms

訓練時加入隨機幀間隔，讓模型接觸不同觀察節奏；研究資料亦提到每三幀取樣可令動作更快、更平順。這比固定時間同步的訓練更貼近真實機械人環境，但效果仍取決於感測器頻率、控制週期及任務本身，不能只以幀數推斷所有場景都會改善。

項目建基於 openpi，並提供 JAX multi-node distributed training 的額外支援；README 同時列出 real-robot 任務及示範影片。現有資料未提供完整安裝流程、可直接下載的模型權重或測試指令，官方項目頁只表示程式碼及權重預定於 2026 年 8 月 30 日公開，因此目前較適合機械人研究團隊參考其架構和評測方向，而非當作即時可用的套件。

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 視覺模型, 多模態模型, 模型訓練, VLA, Robotic, 香港, Dataset 數據集

GigaBrain-0.7 讓機械人跨場景理解並執行任務

2026 年 8 月 27 日

由家居整理到工業操作，GigaBrain-0.7嘗試令機械人適應更多身體形態與工作環境。

由家居整理到工業操作，機械人要面對的不只是看懂畫面，還要理解指令、預測下一步並控制不同硬件。GigaBrain-0.7 屬於 Vision-language-action (VLA) embodied foundation model，透過統一 understanding、prediction 與 action，處理跨任務及跨機械人形態的泛化問題。

項目以 three-system architecture 組織模型能力，並把預訓練資料擴展至超過 37,000 小時的異質 embodied data，再以 one-stage alignment training 同時優化 vision-language understanding 和 multi-embodiment action generation。相比 GigaBrain-0 系列及包括 π 0.5 在內的先進模型，開發團隊聲稱它在 foundation zero-shot capabilities、language-conditioned instruction following 及 post-training task success rates 均有明顯提升。

GigaBrain-0.7 已提供程式碼、模型和 sample data，模型及資料亦連接至 Hugging Face；但 VLM evaluation code、RoboColiseum、RoboTwin2.0 和 EBench benchmark code 仍列在待辦清單。這代表項目適合研究團隊先重現流程及測試資料管線，未必已具備完整、即插即用的標準化評測環境。

讀者可從以下幾點理解其價值與取捨：
– 支援多種機械人形態，目標是提升跨硬件泛化能力。
– Maker H01 及主流機械人平台涵蓋家居和工業場景。
– 大規模異質資料有助擴闊任務範圍，但亦提高訓練及硬件需求。
– 開放程式碼、模型與樣本資料，方便研究及二次開發。

對機械人研究、具身智能及需要跨平台控制的團隊，GigaBrain-0.7提供了較完整的模型、資料與訓練實作入口；商業落地仍需自行驗證安全性、硬件兼容性、延遲及長時間任務穩定度。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, VLA, Robotic, Dataset 數據集

VA-Judger 生成更貼近人類偏好的影片與聲音

2026 年 8 月 26 日

VA-Judger 以人類偏好比較影片和聲音生成結果，改善單靠獨立指標造成的失真與獎勵錯配。

同一個提示詞產生兩段影音內容時，VA-Judger會比較哪一段更符合人類偏好，並拆解提示詞對齊、影音一致性、音質、畫質及內容完整度。它屬於聯合影片與音訊生成的 Reward Model，處理傳統指標難以捕捉整體連貫性的問題。

模型以 Qwen3-Omni 為基礎，先從品質差距明顯的配對學習比較準則，再透過拒絕採樣處理接近的結果，最後以 dimension-wise Group Relative Policy Optimization（GRPO）把人類回饋分配到不同品質維度。這比把音質、畫質及同步指標簡單相加更貼近觀看者的整體判斷，也減少生成模型鑽指標漏洞的機會。

VA-Judger-Bench包含同領域及跨領域模型比較，用來測試 Reward Model 是否能對齊人類選擇；研究結果指向它優於多項指標基線。VAPref-10K則包含9K提示詞及10.3K組細緻的影音配對比較，但資料集及部分訓練程式仍未發布。

項目提供 Reward Model 推理、Video Model 推理、模型 SFT，以及以 VA-Judger 分數優化 LTX-2 的流程；README亦列出合併已發布 RL LoRA 的 LTX-2 checkpoint。提供的資料沒有列出完整安裝步驟，使用者需要按項目頁面、checkpoint及程式碼狀態自行確認環境。

適合場景：研究影音生成、偏好對齊及 RL post-training 的團隊
可評估內容：提示詞對齊、影音一致性、音質、畫質及內容完整度
主要取捨：比較人類偏好的方法較全面，但需要配對資料及額外訓練流程
目前限制：dimension-wise GRPO 程式碼及 VAPref-10K 仍列為待發布項目

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練, Qwen, Video, LTX, Dataset 數據集

NVidia Hydra-0 以人類動作統一機械人訓練

2026 年 8 月 25 日

Hydra-0把機械人動作轉成畫面上的像素流，讓同一個世界模型學習不同機械人形態，並支援模擬、策略評估及真機控制。

機械人面對不同手臂結構、夾具和操作環境時，動作通常以各自的關節或末端執行器座標表示，令資料難以共用。Hydra-0以 Action Flow 將可見的機械人運動表示成影像平面上的像素流，建立跨形態、任務和環境的共同控制介面，屬於面向通用控制的 world model。

Hydra-0在運行時採用 hybrid simulator：physics engine 負責移動機械人，learned video model 則預測動作對場景造成的變化。模型可從 egocentric human demonstrations、handheld UMI grippers、single-arm robots 和 bimanual robot arms 等互動影片學習，減少依賴單一機械人平台資料的限制。

Forward mode會根據 gripper flow 預測未來場景，生成的結果可用於 open-loop policy evaluation；inverse mode則由目標物件的 flow 推導相容的機械人運動，再透過 supervised readout 轉換成可執行動作。把模擬、策略測試和控制放進同一套模型流程。

• 以像素流統一四種不同 embodiment 的互動資料
• 同時支援世界預測、策略評估及機械人控制
• 以 physics engine 和 learned video model 組成 hybrid simulator
• 最佳配置令 robot-motion error 降低90.4%，object-motion error 降低60.2%，比較基準為 action-conditioned baseline

Hydra-0適合需要整合多來源示範影片、先在模擬環境測試策略，再連接真實機械人的研究和開發工作。它仍然依賴動作影片、像素流表示和模型預測的準確度，跨形態轉移能否在更多任務中保持穩定，仍要配合完整數據和真機測試判斷。

項目主頁

Categories: 視覺模型, 世界模型, NVIDIA, Video, Image, World-Action Model, Robotic

[技術文章] RecVerse 讓購物代理更像真人行為

2026 年 8 月 25 日

RecVerse以分層記憶和整段軌跡訓練，模擬更貼近真人的網上購物流程。

網上購物模擬器要重現真人由瀏覽、比較到購買的連續決定，才能支援推薦系統的離線測試和 Reinforcement Learning（RL）訓練。RecVerse 是一個以 GUI 為基礎的模擬代理，透過螢幕截圖理解頁面，生成多輪購物軌跡，處理長時間瀏覽中用戶狀態不斷變化的問題。

現有做法各有缺口：Rule-based simulators 依賴向量化商品特徵和預設行動空間，難以涵蓋複雜的電商介面；Large Language Models（LLMs）和 Vision-Language Models（VLMs）代理雖然加入推理及 persona 建模，長會話仍可能丟失早期觀察，或者把所有歷史硬塞進 context window。逐步模仿每個已記錄行動，亦可能令整段流程出現過度探索或過分被動等不自然模式。

RecVerse以認知啟發的分層記憶處理長期資訊，包括短期焦點用的 Working Memory、保存本次會話軌跡的 Episodic Memory，以及記錄高層次意圖的 Preference Memory。記憶更新本身被視為行動，代理可以按情況學習何時及應該保存哪些資訊。

訓練時，系統改用 trajectory-level RL，直接為完整購物會話評分，同時對齊真人的宏觀行動類型分佈和微觀購物意圖。研究團隊亦發布 USB（UserSimulationBenchmark）互動式電商 GUI 軌跡數據集；實驗結果指 RecVerse 在行為忠實度和意圖一致性上均優於現有基線。

以螢幕截圖理解電商 GUI，生成多輪購物行為
透過三層記憶保留短期焦點、會話經歷和用戶偏好
用完整軌跡目標修正逐步模仿帶來的不自然行為
USB 提供互動式電商 GUI 軌跡數據集
可用於推薦策略的離線及反事實測試

Paper

Categories: 阿里巴巴, Agentic, 視覺模型, 多模態模型, 模型訓練, 中國

RapidLiDAR：單次前向傳播做到 10 Hz 嘅 LiDAR 場景補全

2026 年 8 月 21 日

佢將稀疏嘅部分點雲一次性還原成稠密場景，主打即時同可調速度，適合對延遲敏感嘅自動駕駛同機器人開發者。

Repository image for AzharSindhi/RapidLiDAR

對做自動駕駛或機械人感知嘅人嚟講，LiDAR 場景補全最頭痛嘅唔係質素，而係慢——好多現有方法要幾百毫秒先出一幀，根本追唔上車規或即時反應嘅需求。RapidLiDAR 嘅定位就喺呢度：佢設計成一個端到端、單次前向傳播嘅補全模型，目標係跑到接近 10 Hz，同時保留可調速度同可調節輸出密度嘅彈性。

做法上，佢先用體素化抽取多尺度 3D 特徵，再透過一個自注意力 BEV 頭產生密集 2D 特徵圖。Adaptive Initialization Module 會預測一個空間變化嘅位移，把稀疏點雲「撐開」做粗略初始化；之後 Multi-Scale Reconstruction Module 用可變形注意力（deformable attention）將每點特徵同多尺度 BEV 特徵對齊做精修。如果想再稠密仲可以加一個可選嘅 Refinement Network 喺凍結嘅主模型上做上採樣，倍率為 κ。

換句話講，舊方法通常分開做初始化同迭代 refinement，或者用兩階段網絡先粗後細；RapidLiDAR 將呢幾步壓入一次前向，靠 BEV 座標化同可變形注意力同時兼顧效率同幾何一致性。代價係依賴 SemanticKITTI 風格嘅資料 loader，需要 .npy 格式嘅 GT 同 input 配對，唔係 out-of-the-box 處理原始 Velodyne 掃描。

適合做自動駕駛 stack、實時 SLAM、機械人感知原型，或者想喺邊緣裝置上試稠密 LiDAR 預測嘅團隊。原文強調即時性為 10 Hz，具體 mIoU 或 Chamfer distance 等數字未在 README 完整列出，安裝需 CUDA 12.4 同 PyTorch 2.4.1，並要自行 JIT 編譯 Chamfer distance CUDA extension。

GitHub · Paper

Categories: 開源, 模型, 視覺模型, NVIDIA, Robotic, 3D, Python, Dataset 數據集

SemComp-Bench：影片生成評測由「似樣」走向真正完成任務

2026 年 8 月 21 日

SemComp-Bench 不只看生成影片是否逼真，還檢查指定結果有否完成，以及關鍵語義是否仍然保留。

Repository image for Kelly372/SemComp-Bench

一段影片畫面流暢、物件外觀相近，不代表它真的完成了指令。SemComp-Bench（Benchmarking Semantic Task Completion in Video Generation）把評測焦點放在「結果有否做到」和「是否仍然保留與任務相關的語義」；GitHub 項目則是一套用來建立 SemComp-Data 的資料處理管線，處理影片篩選、狀態定位、指令整理和結果標註。

由原始影片到可評測資料，流程分成 9 個階段：先按標題過濾及分類任務，再定位 reference frame 與 outcome state，檢查畫面質素和狀態順序，產生中英雙語的簡短及詳細指令，最後抽取 outcome-centric clips、標註 semantic alignment types，並描述結果狀態。這種做法把評測所需的參考畫面、指令和完成結果放在同一段真實影片脈絡中，較適合檢查模型是否真的做到指定改變，而不只是產生看似合理的畫面。

項目屬於影片生成評測的資料集建構工具，實際解決的是把零散影片整理成可驗證、可重複評分的任務樣本。SemComp-Bench 目前提供 1,273 個結構化樣本、6 個真實世界領域、60 個 SemComp-Core cases，平均 outcome-centric clip 約 4.03 秒，並配有兩種指令、四類 reference alignment types，以及 27 個評測取樣畫面。

使用者需要 Python 3.10 或更新版本、ffmpeg、ffprobe，以及供第 2 至第 5 和第 7 至第 9 階段使用的 multimodal model service；第 6 階段的 ImageBind inference 建議使用支援 CUDA 的環境。原始影片、模型權重、服務憑證和執行輸出均不隨儲存庫提供，因此較適合研究團隊按自己的影片及模型服務重建資料，而不是下載後即時取得完整數據集。

以 outcome achievement 配合 semantic grounding，避免只用畫質或 prompt alignment 判斷成功
透過 reference frame、outcome state 和短片建立完整評測三元組
1 至 7 階段通常會輸出 snapshot、excluded set，技術失敗另有 error.parquet
可用 tests/ 的離線回歸測試檢查處理流程
splitting/ 含改編自 Panda-70M 和 ImageBind 的元件，非商業授權限制需要先審閱

對研究生成影片、製作評測數據，或需要分析任務完成率的團隊而言，這套管線提供了清楚的重建入口；但它依賴外部多模態模型服務和本地媒體資源，資料建立成本與授權審查仍是採用前必須計算的部分。

項目主頁 · GitHub · 數據集

Categories: 開源, 視覺模型, 多模態模型, NVIDIA, Video, Python, Dataset 數據集

GRNEdit 用少量參數做通用影片編輯

2026 年 8 月 18 日

想改影片風格、背景或局部內容，又唔想整段重生成，GRNEdit 提出一條較慳參數的路線。它把可編輯範圍先用 binary evidence 拆清，再逐步細修畫面。

一段影片要改風格、換背景、刪走局部人物，最難通常唔係生成新畫面，而係改得準之餘，原本動作、主體身份同未編輯部分都要保持穩定。GRNEdit 屬於影片編輯框架，處理的正是這類通用影片編輯問題，而且走的是 Generative Refinement Networks 配合 binary evidence 的路線，不是靠大幅加參數去硬推效果。

GRNEdit 先用 binary evidence 分開哪些區域應該被改、哪些內容要盡量維持，之後再沿住 refinement 過程逐步生成目標語意、結構同細節。這樣做的取捨，在於它把編輯能力壓縮到相當輕量的增量上；公開資訊表示，相對 GRN backbone 只增加少於 3% 額外參數，但聲稱可跟領先的影片編輯模型競爭。

從示例看，GRNEdit覆蓋 global style、背景替換、local removal、加入新元素，以及移除字幕等多種任務，重點不是單一特效，而是同一套框架處理不同編輯指令。較適合研究影片生成、內容製作流程，或者想把多種編輯模式收斂到同一模型系統的團隊參考；不過目前公開內容仍以推理程式碼和預印本為主，training code 與 model weights 都未提供，部署與重現門檻仍然存在。

以 binary evidence 先界定可編輯範圍，再逐步 refinement
相對 GRN backbone，只需少於 3% 額外參數
同一框架支援風格化、換背景、移除、添加與複合編輯
公開資料主打推理與結果展示，完整訓練與權重尚未釋出

模型權重暫未開放，但有足夠資訊足夠理解它的方法定位。對關注影片編輯模型的人來說，GRNEdit最有意思的地方，是它把「改動範圍判定」放到生成前段處理，嘗試用更小的參數成本換取更穩定的時序保留與更通用的編輯能力。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練

MOSS-VL 多模態模型系列，致力於實時視覺理解。

2026 年 8 月 18 日

MOSS-VL 針對直播式影片理解而來，讓模型邊看邊答，不再只靠看完才回應。它同時提供即時、離線與基礎三個版本，適合不同工作流。

MOSS-VL 是一組 video-language model，核心解法是把長影片理解從「先看完再回答」改成連續影片流上的即時對話。MOSS-VL-Realtime 會在收到新畫面時同步做感知與文字生成，遇到資訊不足時還會先保持沉默，等場景有變化再回應，這比一般離線影片模型更貼近直播、監控和互動式分析的需要。

項目的三個版本分工清楚：MOSS-VL-Realtime 主打串流互動，MOSS-VL-Instruct 偏向離線長影片理解與深入對話，MOSS-VL-Base 則提供可再訓練的基礎表示。三者都屬於 11B 參數的 open-weight 模型系列，架構上採用 unified cross-attention，重點不是單純堆大，而是把影片、問題和回答放進同一條流裡處理。

支援任意時間點提問，適合直播解析、即時巡檢與互動式看片
會主動等待關鍵事件，再決定是否開口，減少過早下結論
新畫面一到就可修正先前回答，較適合連續變化的場景
MOSS-VL-Instruct 適合長影片分析，MOSS-VL-Base 適合延伸訓練
官方資訊有 Hugging Face、ModelScope、Web demo 與論文連結，但原始資料未提供完整本地安裝流程

同類做法多數仍是離線式理解，先把影片看完才輸出答案；MOSS-VL-Realtime 則把回應插進觀看過程，連延遲和中途修正都納入設計。這種取捨對需要即時判讀的團隊更實用，尤其是做影音監察、現場助理、互動式多模態應用，或要在長影片上做持續問答的情境。

項目主頁 · GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, Video

Page 3 of 20

« Previous 1 2 3 4 5 … 20 Next »