InferNews

VA-Judger 生成更貼近人類偏好的影片與聲音

Share to X

VA-Judger 以人類偏好比較影片和聲音生成結果，改善單靠獨立指標造成的失真與獎勵錯配。

VA-Judger training pipeline

同一個提示詞產生兩段影音內容時，VA-Judger會比較哪一段更符合人類偏好，並拆解提示詞對齊、影音一致性、音質、畫質及內容完整度。它屬於聯合影片與音訊生成的 Reward Model，處理傳統指標難以捕捉整體連貫性的問題。

模型以 Qwen3-Omni 為基礎，先從品質差距明顯的配對學習比較準則，再透過拒絕採樣處理接近的結果，最後以 dimension-wise Group Relative Policy Optimization（GRPO）把人類回饋分配到不同品質維度。這比把音質、畫質及同步指標簡單相加更貼近觀看者的整體判斷，也減少生成模型鑽指標漏洞的機會。

VA-Judger-Bench包含同領域及跨領域模型比較，用來測試 Reward Model 是否能對齊人類選擇；研究結果指向它優於多項指標基線。VAPref-10K則包含9K提示詞及10.3K組細緻的影音配對比較，但資料集及部分訓練程式仍未發布。

項目提供 Reward Model 推理、Video Model 推理、模型 SFT，以及以 VA-Judger 分數優化 LTX-2 的流程；README亦列出合併已發布 RL LoRA 的 LTX-2 checkpoint。提供的資料沒有列出完整安裝步驟，使用者需要按項目頁面、checkpoint及程式碼狀態自行確認環境。

  • 適合場景：研究影音生成、偏好對齊及 RL post-training 的團隊
  • 可評估內容：提示詞對齊、影音一致性、音質、畫質及內容完整度
  • 主要取捨：比較人類偏好的方法較全面，但需要配對資料及額外訓練流程
  • 目前限制：dimension-wise GRPO 程式碼及 VAPref-10K 仍列為待發布項目

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Video, 模型, 模型訓練, 視覺模型, 視頻模型, Dataset 數據集, LTX

NVidia Hydra-0 以人類動作統一機械人訓練

Share to X

Hydra-0把機械人動作轉成畫面上的像素流，讓同一個世界模型學習不同機械人形態，並支援模擬、策略評估及真機控制。

Og image

機械人面對不同手臂結構、夾具和操作環境時，動作通常以各自的關節或末端執行器座標表示，令資料難以共用。Hydra-0以 Action Flow 將可見的機械人運動表示成影像平面上的像素流，建立跨形態、任務和環境的共同控制介面，屬於面向通用控制的 world model。

Hydra-0在運行時採用 hybrid simulator：physics engine 負責移動機械人，learned video model 則預測動作對場景造成的變化。模型可從 egocentric human demonstrations、handheld UMI grippers、single-arm robots 和 bimanual robot arms 等互動影片學習，減少依賴單一機械人平台資料的限制。

Forward mode會根據 gripper flow 預測未來場景，生成的結果可用於 open-loop policy evaluation；inverse mode則由目標物件的 flow 推導相容的機械人運動，再透過 supervised readout 轉換成可執行動作。把模擬、策略測試和控制放進同一套模型流程。

• 以像素流統一四種不同 embodiment 的互動資料
• 同時支援世界預測、策略評估及機械人控制
• 以 physics engine 和 learned video model 組成 hybrid simulator
• 最佳配置令 robot-motion error 降低90.4%，object-motion error 降低60.2%，比較基準為 action-conditioned baseline

Hydra-0適合需要整合多來源示範影片、先在模擬環境測試策略，再連接真實機械人的研究和開發工作。它仍然依賴動作影片、像素流表示和模型預測的準確度，跨形態轉移能否在更多任務中保持穩定，仍要配合完整數據和真機測試判斷。

項目主頁

Categories: NVIDIA, Video, Image, 視覺模型, Robotic, 世界模型, World-Action Model

[技術文章] RecVerse 讓購物代理更像真人行為

Share to X

RecVerse以分層記憶和整段軌跡訓練，模擬更貼近真人的網上購物流程。

Hero image preview

網上購物模擬器要重現真人由瀏覽、比較到購買的連續決定，才能支援推薦系統的離線測試和 Reinforcement Learning（RL）訓練。RecVerse 是一個以 GUI 為基礎的模擬代理，透過螢幕截圖理解頁面，生成多輪購物軌跡，處理長時間瀏覽中用戶狀態不斷變化的問題。

現有做法各有缺口：Rule-based simulators 依賴向量化商品特徵和預設行動空間，難以涵蓋複雜的電商介面；Large Language Models（LLMs）和 Vision-Language Models（VLMs）代理雖然加入推理及 persona 建模，長會話仍可能丟失早期觀察，或者把所有歷史硬塞進 context window。逐步模仿每個已記錄行動，亦可能令整段流程出現過度探索或過分被動等不自然模式。

RecVerse以認知啟發的分層記憶處理長期資訊，包括短期焦點用的 Working Memory、保存本次會話軌跡的 Episodic Memory，以及記錄高層次意圖的 Preference Memory。記憶更新本身被視為行動，代理可以按情況學習何時及應該保存哪些資訊。

訓練時，系統改用 trajectory-level RL，直接為完整購物會話評分，同時對齊真人的宏觀行動類型分佈和微觀購物意圖。研究團隊亦發布 USB（UserSimulationBenchmark）互動式電商 GUI 軌跡數據集；實驗結果指 RecVerse 在行為忠實度和意圖一致性上均優於現有基線。

  • 以螢幕截圖理解電商 GUI，生成多輪購物行為
  • 透過三層記憶保留短期焦點、會話經歷和用戶偏好
  • 用完整軌跡目標修正逐步模仿帶來的不自然行為
  • USB 提供互動式電商 GUI 軌跡數據集
  • 可用於推薦策略的離線及反事實測試

Paper

Categories: 阿里巴巴, Agentic, 多模態模型, 模型訓練, 視覺模型, 中國

RapidLiDAR：單次前向傳播做到 10 Hz 嘅 LiDAR 場景補全

Share to X

佢將稀疏嘅部分點雲一次性還原成稠密場景，主打即時同可調速度，適合對延遲敏感嘅自動駕駛同機器人開發者。

Repository image for AzharSindhi/RapidLiDAR

對做自動駕駛或機械人感知嘅人嚟講，LiDAR 場景補全最頭痛嘅唔係質素，而係慢——好多現有方法要幾百毫秒先出一幀，根本追唔上車規或即時反應嘅需求。RapidLiDAR 嘅定位就喺呢度：佢設計成一個端到端、單次前向傳播嘅補全模型，目標係跑到接近 10 Hz，同時保留可調速度同可調節輸出密度嘅彈性。

做法上，佢先用體素化抽取多尺度 3D 特徵，再透過一個自注意力 BEV 頭產生密集 2D 特徵圖。Adaptive Initialization Module 會預測一個空間變化嘅位移，把稀疏點雲「撐開」做粗略初始化；之後 Multi-Scale Reconstruction Module 用可變形注意力（deformable attention）將每點特徵同多尺度 BEV 特徵對齊做精修。如果想再稠密仲可以加一個可選嘅 Refinement Network 喺凍結嘅主模型上做上採樣，倍率為 κ。

換句話講，舊方法通常分開做初始化同迭代 refinement，或者用兩階段網絡先粗後細；RapidLiDAR 將呢幾步壓入一次前向，靠 BEV 座標化同可變形注意力同時兼顧效率同幾何一致性。代價係依賴 SemanticKITTI 風格嘅資料 loader，需要 .npy 格式嘅 GT 同 input 配對，唔係 out-of-the-box 處理原始 Velodyne 掃描。

適合做自動駕駛 stack、實時 SLAM、機械人感知原型，或者想喺邊緣裝置上試稠密 LiDAR 預測嘅團隊。原文強調即時性為 10 Hz，具體 mIoU 或 Chamfer distance 等數字未在 README 完整列出，安裝需 CUDA 12.4 同 PyTorch 2.4.1，並要自行 JIT 編譯 Chamfer distance CUDA extension。

GitHub · Paper

Categories: 開源, NVIDIA, 3D, Python, 模型, 視覺模型, Robotic, Dataset 數據集

SemComp-Bench：影片生成評測由「似樣」走向真正完成任務

Share to X

SemComp-Bench 不只看生成影片是否逼真，還檢查指定結果有否完成，以及關鍵語義是否仍然保留。

Repository image for Kelly372/SemComp-Bench

一段影片畫面流暢、物件外觀相近，不代表它真的完成了指令。SemComp-Bench（Benchmarking Semantic Task Completion in Video Generation）把評測焦點放在「結果有否做到」和「是否仍然保留與任務相關的語義」；GitHub 項目則是一套用來建立 SemComp-Data 的資料處理管線，處理影片篩選、狀態定位、指令整理和結果標註。

由原始影片到可評測資料，流程分成 9 個階段：先按標題過濾及分類任務，再定位 reference frame 與 outcome state，檢查畫面質素和狀態順序，產生中英雙語的簡短及詳細指令，最後抽取 outcome-centric clips、標註 semantic alignment types，並描述結果狀態。這種做法把評測所需的參考畫面、指令和完成結果放在同一段真實影片脈絡中，較適合檢查模型是否真的做到指定改變，而不只是產生看似合理的畫面。

項目屬於影片生成評測的資料集建構工具，實際解決的是把零散影片整理成可驗證、可重複評分的任務樣本。SemComp-Bench 目前提供 1,273 個結構化樣本、6 個真實世界領域、60 個 SemComp-Core cases，平均 outcome-centric clip 約 4.03 秒，並配有兩種指令、四類 reference alignment types，以及 27 個評測取樣畫面。

使用者需要 Python 3.10 或更新版本、ffmpeg、ffprobe，以及供第 2 至第 5 和第 7 至第 9 階段使用的 multimodal model service；第 6 階段的 ImageBind inference 建議使用支援 CUDA 的環境。原始影片、模型權重、服務憑證和執行輸出均不隨儲存庫提供，因此較適合研究團隊按自己的影片及模型服務重建資料，而不是下載後即時取得完整數據集。

  • 以 outcome achievement 配合 semantic grounding，避免只用畫質或 prompt alignment 判斷成功
  • 透過 reference frame、outcome state 和短片建立完整評測三元組
  • 1 至 7 階段通常會輸出 snapshot、excluded set，技術失敗另有 error.parquet
  • 可用 tests/ 的離線回歸測試檢查處理流程
  • splitting/ 含改編自 Panda-70M 和 ImageBind 的元件，非商業授權限制需要先審閱

對研究生成影片、製作評測數據，或需要分析任務完成率的團隊而言，這套管線提供了清楚的重建入口；但它依賴外部多模態模型服務和本地媒體資源，資料建立成本與授權審查仍是採用前必須計算的部分。

項目主頁 · GitHub · 數據集

Categories: 開源, NVIDIA, Video, Python, 多模態模型, 視覺模型, Dataset 數據集

GRNEdit 用少量參數做通用影片編輯

Share to X

想改影片風格、背景或局部內容，又唔想整段重生成，GRNEdit 提出一條較慳參數的路線。它把可編輯範圍先用 binary evidence 拆清，再逐步細修畫面。

Xidian University

一段影片要改風格、換背景、刪走局部人物，最難通常唔係生成新畫面，而係改得準之餘，原本動作、主體身份同未編輯部分都要保持穩定。GRNEdit 屬於影片編輯框架，處理的正是這類通用影片編輯問題，而且走的是 Generative Refinement Networks 配合 binary evidence 的路線，不是靠大幅加參數去硬推效果。

GRNEdit 先用 binary evidence 分開哪些區域應該被改、哪些內容要盡量維持，之後再沿住 refinement 過程逐步生成目標語意、結構同細節。這樣做的取捨，在於它把編輯能力壓縮到相當輕量的增量上；公開資訊表示，相對 GRN backbone 只增加少於 3% 額外參數，但聲稱可跟領先的影片編輯模型競爭。

從示例看，GRNEdit覆蓋 global style、背景替換、local removal、加入新元素，以及移除字幕等多種任務，重點不是單一特效，而是同一套框架處理不同編輯指令。較適合研究影片生成、內容製作流程，或者想把多種編輯模式收斂到同一模型系統的團隊參考；不過目前公開內容仍以推理程式碼和預印本為主，training code 與 model weights 都未提供，部署與重現門檻仍然存在。

  • 以 binary evidence 先界定可編輯範圍，再逐步 refinement
  • 相對 GRN backbone，只需少於 3% 額外參數
  • 同一框架支援風格化、換背景、移除、添加與複合編輯
  • 公開資料主打推理與結果展示，完整訓練與權重尚未釋出

模型權重暫未開放，但有足夠資訊足夠理解它的方法定位。對關注影片編輯模型的人來說，GRNEdit最有意思的地方，是它把「改動範圍判定」放到生成前段處理，嘗試用更小的參數成本換取更穩定的時序保留與更通用的編輯能力。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, 視覺模型, 視頻模型

MOSS-VL 多模態模型系列，致力於實時視覺理解。

Share to X

MOSS-VL 針對直播式影片理解而來，讓模型邊看邊答，不再只靠看完才回應。它同時提供即時、離線與基礎三個版本，適合不同工作流。

MOSS-VL

MOSS-VL 是一組 video-language model，核心解法是把長影片理解從「先看完再回答」改成連續影片流上的即時對話。MOSS-VL-Realtime 會在收到新畫面時同步做感知與文字生成，遇到資訊不足時還會先保持沉默，等場景有變化再回應，這比一般離線影片模型更貼近直播、監控和互動式分析的需要。

項目的三個版本分工清楚：MOSS-VL-Realtime 主打串流互動，MOSS-VL-Instruct 偏向離線長影片理解與深入對話，MOSS-VL-Base 則提供可再訓練的基礎表示。三者都屬於 11B 參數的 open-weight 模型系列，架構上採用 unified cross-attention，重點不是單純堆大，而是把影片、問題和回答放進同一條流裡處理。

  • 支援任意時間點提問，適合直播解析、即時巡檢與互動式看片
  • 會主動等待關鍵事件，再決定是否開口，減少過早下結論
  • 新畫面一到就可修正先前回答，較適合連續變化的場景
  • MOSS-VL-Instruct 適合長影片分析，MOSS-VL-Base 適合延伸訓練
  • 官方資訊有 Hugging Face、ModelScope、Web demo 與論文連結，但原始資料未提供完整本地安裝流程

同類做法多數仍是離線式理解，先把影片看完才輸出答案；MOSS-VL-Realtime 則把回應插進觀看過程，連延遲和中途修正都納入設計。這種取捨對需要即時判讀的團隊更實用，尤其是做影音監察、現場助理、互動式多模態應用，或要在長影片上做持續問答的情境。

項目主頁 · GitHub · 模型

Categories: 開源, Video, 多模態模型, 視覺模型

NaviDC-OCR：1.2B 參數文檔 VLM，統一處理相機與數碼文件

Share to X

NaviDC-OCR 把文件理解收斂到一個輕量 Vision-Language Model（VLM）流程，對掃描件和手機拍攝文件都能一起處理。它的重點不只在識別文字，還在版面、表格與公式之間的結構還原。

icon

NaviDC-OCR 是一個輕量級 Vision-Language Model（VLM），專門處理 document understanding，也就是把文件內容、版面和結構一併讀出來。它最實際的價值，在於同時應付 digital documents 和 camera-captured documents，尤其適合文件拍攝角度不正、透視變形或版面較複雜的情境。

這個項目已釋出模型權重與 technical report，使用方式偏向直接載入 Hugging Face 上的模型做推理或再訓練，而不是一套獨立應用程式。它的訓練流程結合 Multi-node Consensus Voting（MCV）、Image-to-Image Self-Verification，以及 progressive four-stage training，顯示作者把大量標註成本轉移到自動化資料整理與驗證。

  • 1.2B 參數，定位是輕量部署而非堆大模型。
  • 同時面向掃描文件與相機拍攝文件，覆蓋範圍比只做單一路徑的做法更廣。
  • Geometry-aware Document Modeling 與 Curvature-Guided Douglas-Peucker Sampling（CGDP）主要針對彎曲、傾斜和變形頁面。
  • Content-Structure Decoupled Learning 令表格與公式的內容和結構分開學，較適合複雜文件。
  • 作者聲稱在多個 benchmark 上有強表現，但具體部署成本仍要視推理框架與硬件而定。

和不少只偏重 OCR 文字抽取的做法相比，NaviDC-OCR 更像是把「看懂文件」放在第一位：它不只要讀字，還要保留版面關係與幾何資訊。這會令它在企業文件處理、票據整理、表格抽取、學術文件解析，或者手機拍照掃描的工作流裡更有用，但它仍然是研究型模型，落地時要留意速度、記憶體與實際文件分佈是否接近訓練資料。

GitHub · 模型

Categories: 開源, Qwen, Image, 多模態模型, 模型訓練, 視覺模型, Dataset 數據集

Qwen3.8 系列的 27B 開放權重模型

Share to X

Qwen3.8-27B以 27B 密集模型同時處理文字、圖片與影片，重點不只在識別內容，而是更穩定完成多步驟任務。它延續 Qwen3.5 架構，但頁面公開的本地量化與 GGUF 資訊仍未齊。

Og image

由 Qwen3.5 的架構基礎延伸而來，Qwen3.8-27B把長流程推理、Agentic 任務同原生視覺理解放入同一個 27B dense 模型。使用時最直接的差異，是它不只看圖答題，亦針對編程、專業工作、研究與多步驟任務完成度作強化，並保留可調整的 thinking control。

模型層面採用 Causal Language Model with Vision Encoder，屬於經過 pre-training 與 post-training 的 image-text-to-text 模型。27B 參數、64 層、hidden size 5120，以及混合 Gated DeltaNet 與 Gated Attention 的 hidden layout，反映它不是單純沿用傳統 dense Transformer 堆疊，而是針對長程依賴與效率作結構調整。

Qwen 3.8 27B BLOWS MY MIND! Best Local AI Model Yet! Basically Opus Locally! (Fully Tested)

對開發者而言，較有用的是推理行為控制：thinking mode 預設開啟，可按請求關閉；reasoning_effort 可調整推理深度；preserve_thinking 可保留歷史訊息中的 reasoning context。

  • 基礎模型可確認為 Qwen3.5 架構系統上的後訓練版本，而非獨立另起爐灶
  • 原生支援圖片與影片理解，定位比純文字模型更貼近 Agentic 與多模態工作流
  • 相容 Transformers、vLLM、SGLang、TokenSpeed，方便接入現有堆疊
  • 頁面未提供 GGUF 格式、量化檔名、mmproj、Ollama／llama.cpp／LM Studio 建議配置
  • 亦未見 MTP draft speculation、v2 檔名變更或 chat template 注意事項的具體說明

與同系前代相比，Qwen3.8主打的是可靠完成整段任務，而不只是單輪回答更聰明；與一般視覺語言模型相比，它更強調 environment feedback 下的自主規劃。目前公開的是 Transformers 格式權重與設定檔，未足以直接判斷本地量化部署門檻，所以硬件需求、推薦量化等級與不同量化之間的取捨，現階段只能等後續模型檔或社群移植版本補上。

模型

Categories: Qwen, Agentic, API, 多模態模型, 模型, 模型訓練, 編程, 視覺模型

Rest2Art 用單張靜態觀察重建可動 3D 物件

Share to X

只見到物件關上的樣子，Rest2Art 仍可推回零件結構與關節。對數碼孿生、模擬和機械人操作都幾實用。

Og image

只見到抽屜關上、櫃門未打開，系統仍要估到哪些部分可以動、會沿哪個軸轉或滑，這正是 Rest2Art 想處理的難題。它屬於 articulated object reconstruction，目標是由單一 closed-state observation 重建出可直接放入模擬環境的 articulated asset，而不需要先拍到物件在不同狀態下的運動。

這個做法的價值，在於把原本要靠動態觀察先完成的工作，提前到靜態輸入就處理好。Rest2Art 會先用 vision-language model 與 segmentation model 互相校正零件層級和遮罩，再把結果對應回 mesh；之後再借助 video diffusion model 產生可能的 articulation hypotheses，但真正的 joint parameters 不是直接照抄影片，而是再用幾何一致性去驗證。

回應了一個很現實的限制：很多日常物件未必容易拍到完整開合過程，但建模、模擬與機械人任務仍然需要知道它如何運動。Rest2Art 用 explicit mesh 作為中介，方便跨模型比對與融合，最後再把各部分轉成封閉體積，令輸出不只是「睇得明」，而是可用於 physical simulation。

  • 單靠 single closed configuration 重建 part-level geometry 與 joint parameters
  • 結合 vision-language model、segmentation model 與 video diffusion model 補足缺少 motion cues 的問題
  • 以 explicit mesh 做 cross-model verification and fusion，減少不同模型輸出互相衝突
  • 可輸出 simulation-ready articulated asset，並支援 URDF 匯出

論文描述顯示，它在 reconstruction-based、generation-based 與 modular pretrained-model families 之間，都能做到有競爭力的表現，重建出的零件分解與關節亦具備 physical plausibility。對數碼孿生、虛擬場景整合、real-to-sim-to-real，以及機械人 policy learning 而言，這種由靜態觀察直接產生可互動資產的流程，明顯比只重建外形更進一步。

項目主頁

Categories: Video, 3D, 多模態模型, 影像處理, 視覺模型, 框架, Dataset 數據集
Page 1 of 18
1 2 3 … 18