InferNews

MVCHead：少資源做高擬真 3D 頭像

Teasor

MVCHead 是一個聚焦 3D Gaussian head avatars 生成的研究項目，目標很清晰：不依賴 multi-view 資料、3D 掃描，甚至不需要中間視角生成，也能做出高擬真、multi-view consistent 的頭像。對非技術讀者來說，它想處理的問題就是：以往做這類 3D 人頭資產，通常要大量拍攝設備和昂貴流程，這個項目則希望用較少資源完成。

目前公開內容以論文與項目頁為主，程式碼、weights 及 FaceGS-10K dataset 仍標示為即將推出。現階段較適合先閱讀方法設計、觀察展示圖片與論文結果，了解它是否符合 AR/VR、telepresence、digital humans 或遊戲角色資產製作需求，再決定之後是否跟進測試。

它的核心做法，是用 single-shot state space model 直接在 3D 表徵裡約束 multi-view consistency，而不是先補中間視角。當中包含 Hierarchical State Space（HiSS）block、Hierarchical Bi-directional State Scan（HiBiSS），以及 SE(3) Multi-view Critic；前兩者負責由粗到細調整 3D Gaussians，後者則檢查不同自我渲染畫面是否像來自同一個 3D 結構。

  • 只需 randomly sampled 2D images，毋須 multi-view data 或 3D supervision
  • 生成重點放在 wrinkles、hair wisps、lip contours、eyes、accessories 等細節
  • 論文表示在 perceptual quality 屬 state-of-the-art
  • texture 與 geometric consistency 超越既有方法，shape consistency 則維持可比水平
  • 另提出 FaceGS-10K，作為大規模 3D Gaussian head assets 資料集

這個項目特別適合研究 3D 頭像生成、虛擬人、低資源內容製作流程的人留意。若你期待的是可立即部署的生產工具，現時資訊仍偏研究導向；但若你關心 3D head models 怎樣擺脫多視角拍攝依賴，MVCHead 展示的方向相當具前瞻性。

GitHub： https://github.com/humansensinglab/MVCHead

項目： https://humansensinglab.github.io/MVCHead/

Categories: 開源, 模型, 視覺模型, 世界模型

ViGeo：一個模型處理影片幾何重建

Repository image for aigc3d/ViGeo

ViGeo 是一個用來估算場景幾何的項目，輸入可以是影片片段，也可以是單張影像。它會輸出 depth、3D points、normals、confidence，處理連續影格時亦可估算 camera poses，重點是盡量保持時間上的一致性，減少前後幀結果跳動。

使用這個項目時，先按手頭資料選擇模式：完整影片可用 offline，串流畫面可用 online，長影片則可分段用 chunk 處理。這種安排對做影片重建、機械人感知、AR、導航或後期視覺分析的人較實用，因為不需要為不同輸入形式換另一套模型。

它想解決的核心問題，是影片幾何估計常見的兩難：不是短片效果好但難以串流，就是能即時推理但長時間一致性不足。ViGeo 以同一個 feed-forward foundation model 統一 full-sequence reconstruction、streaming inference 與 long-video inference，論文指出關鍵在 dynamic chunking attention，讓模型可因應測試情境切換時間關注方式，而不用重新訓練。

另一個重要部分是 VideoLDCM，完整名稱是 VideoLDCM，負責 depth completion。它在這項工作中用作 data-refinement model，把稀疏或帶雜訊的深度觀測整理成較乾淨的 dense depth supervision，對訓練幾何模型有幫助，也解釋了為何這個項目不只看單幀品質，還強調跨影格穩定性。

  • 同時支援 offline、online、chunk 三種推理流程
  • 可由影片或單張影像估算 depth、3D points、normals 等結果
  • 以 dynamic chunking attention 兼顧串流與長影片處理
  • 結合 VideoLDCM 改善深度監督資料品質
  • 論文聲稱在多項 video geometry 任務達到 state-of-the-art
ModelDownloadDescription
ViGeoLINK用於深度、點、法線、姿態和置信度的主要視覺幾何模型
VideoLDCMLINK用於稀疏深度濾波、泊松補全和深度細化的資料細化模型

性能方面，論文描述它在 online、offline、long-video depth estimation、surface normal estimation、video point map estimation 都有很強表現，並以 public datasets 訓練。不過目前公開 checkpoint 亦已註明存在已知 loss implementation 問題，可能在 camera poses 視覺化與遠距區域出現輕微瑕疵，因此較適合先用來理解能力範圍，再決定是否放入要求很高的生產流程。

GitHub： https://github.com/aigc3d/ViGeo

項目： https://pkqbajng.github.io/ViGeo/

Categories: 開源, 阿里巴巴, 模型, 視覺模型, 世界模型

URM 自動駕駛點樣看見被遮擋風險

Hero image preview

這項研究由中國復旦大學提出，聚焦自動駕駛在部分可觀察環境中的難題：前方或路口被遮擋時，系統看不到潛在車輛或行人，但仍要提早規劃安全路線。現有方法通常走兩個方向，一類根據可到達狀態估算風險，往往過於保守；另一類用學習方法預測隱藏目標軌跡，但在高遮擋不確定性下未必夠準。

項目首先提出一個 URM (Unified Risk Map)，把交通流風險與碰撞風險放入同一個時空框架建模。前者從 multimodal trajectory distributions 估算密度，後者則透過模擬 ego vehicle 軌跡，找出不同時間與位置的高風險區域，令系統不只知道「可能有東西」，亦知道「哪裏更危險」。

為了補足遮擋互動場景不足的問題，研究同時加入 diffusion-based scenario generation framework，生成既真實又帶挑戰性的情境，用來訓練 unified risk map。整體框架把風險建模、學習與規劃串連起來，目標是在 partial observability 下支援 risk-aware planning。

重點可概括為：
– 把 traffic flow risk 與 collision risk 合併成單一風險表示
– 針對 occlusion-aware prediction 的盲點，提供更細緻的時空風險判斷
– 用 diffusion-based scenario generation framework 製造稀缺的遮擋互動情境
– 在 Waymo Open Motion Dataset 上，較現有 occlusion-aware baseline 有明顯提升

這個方法在 Waymo Open Motion Dataset 上，把 minimum time-to-collision 改善 0.78 倍，average time-to-collision 改善 1.67 倍，顯示系統能更早避開高風險情況。這個項目較適合關注 autonomous driving、Planning under Uncertainty、Integrated Planning and Learning 的研究者與工程團隊；如果你想了解自動駕駛如何處理視線死角，這套方法提供了相當具體的方向。

Paper： https://arxiv.org/pdf/2605.22189

Categories: 開源, 視覺模型, 世界模型, 框架

YoCausal 用影片倒播測試模型因果感

YoCausal Logo

YoCausal 是一個用來評測 Video Diffusion Models（VDMs）嘅項目，核心問題好直接：模型見到一段影片時，究竟係理解事件因果，定只係記住畫面常見嘅時間模式。呢個項目用正播同倒播影片比較 denoising loss，若模型對正向影片分數更合理，代表它較能分辨自然因果關係。

它提出兩個關鍵指標：Reverse Surprise Index（RSI）同 Causality Cognition Index（CCI）。RSI 主要睇模型有幾多次偏好正向時間流；CCI 再進一步將「知道時間方向」同「真正理解因果」分開，避免只靠時間線索就被誤判為懂因果。

使用呢個項目時，重點唔係訓練新模型，而係替現有模型寫 evaluator，然後用指定資料集跑評測。項目亦提供 leaderboard 提交格式，會要求模型名稱、版本或 checkpoint、模型大小，以及 evaluation result JSON 檔案；若改動過預設設定或 preprocessing protocol，也要一併說明。

YoCausal: How Far is Video Generation from World Model? A Causality Perspective
  • 用真實世界影片倒播做 counterfactual，比純合成資料更貼近常見場景
  • 以 denoising loss 比較正播與倒播，測法清楚而且可擴充
  • RSI 測時間方向感知，CCI 嘗試拆出更接近因果理解嘅部分
  • 已評測 13 個 state-of-the-art VDMs，結果顯示時間感知不等於因果理解
  • 文件提到 Wan Model Evaluation（DiffSynth-Studio），亦支援排行榜提交流程

由論文內容看，YoCausal 最大價值係指出一個常被忽略嘅落差：影片生成愈靚，唔代表愈接近 world model。評測結果顯示，即使係表現較前嘅模型，例如 Wan2.2-A14B，與 human baseline 之間似乎仍有明顯差距；中後段模型如 CogVideoX1.5-5B、AnimateDiff-SDXL 則較易出現違反因果嘅畫面變化。

呢個項目適合研究 Video Diffusion Models（VDMs）、world model、影片理解與生成評測嘅人，也適合想比較不同模型因果能力嘅團隊。對一般開發者而言，它最有用之處係提供一套較有解釋力嘅檢查方法，幫你知道模型失分係因為唔懂因果，定只係對時間方向反應不足。

GitHub： https://github.com/youzhe0305/YoCausal

項目： https://www.youzhexie.me/papers/YoCausal/index.html

Categories: 開源, 3D, 視覺模型, 世界模型, 框架

contrastive-probing：拆解 VLM 空間判斷偏差的輕量診斷項目

Repository image for cheolhong0916/contrastive-probing

contrastive-probing 是一個用來檢查 Vision-Language Models（VLMs）內部空間表示的輕量項目，焦點不是模型答對幾多題，而是它腦內如何分開 left / right、above / below、far / close。它沿用論文《Why Far Looks Up: Probing Spatial Representation in Vision-Language Models》的 contrastive probing 方法，透過交換問題中的兩個物件，再比較 hidden states 差異，抽出 Δ vectors 作分析。

使用時，做法是把一張圖片配上一條原始空間問題，再生成一條交換 obj1 ↔ obj2 的對照問題，之後對同一個 VLM 跑兩次 forward，並在每層 transformer 擷取最後 token 的表示。這個流程可配合 🤗 transformers 載入的模型，然後輸出 Axis Coherence、6×6 Δ-similarity heatmap、2D/3D PCA 視覺化，以及 Vertical–Distance Entanglement Index（VD-EI）等結果。

這個項目解決的核心問題，是 benchmark accuracy 往往只告訴你模型有冇答中，卻未必揭示它是否用對了空間線索。論文與附帶說明指出，多個模型家族都出現 vertical-distance entanglement，也就是把畫面較高的位置誤當成較遠，反映自然照片常見的 perspective heuristic「higher in the image ⇒ farther away」。

  • 用最少對照設計觀察表示層，而不只看答題分數
  • 可比較不同 layer 的空間軸是否清晰分離
  • 能發現 vertical 與 distance 是否糾纏，幫助找出偏差來源
  • 適合分析 EmbSpatial-Bench、SpatialTunnel 這類空間推理資料

對研究者、模型分析人員，或者要檢查 multimodal assistant、robotics、embodied agents 背後空間推理可靠性的人，這個項目尤其有用。現有資料顯示，就算 benchmark 分數相近，不同 VLM 的內部表示也可能差很遠，而空間軸分得較清楚的模型，通常在不同測試上的穩健性會較好。

整體來看，這不是訓練新模型的項目，而是一套偏向診斷與解釋的工具。它的創新點在於用 minimal contrastive pairs 加上 representation-level analysis，把「模型為何會答對或答錯」拆成更具體的內部結構問題，對想深入理解 VLM 空間能力的人，價值比單看排行榜更高。

GitHub： https://github.com/cheolhong0916/contrastive-probing

項目： https://cheolhong0916.github.io/whyfarlooksup.github.io/

Categories: 開源, NVIDIA, 3D, 模型訓練, 視覺模型, 世界模型, 框架

minWM：由影片生成走向 World Model

Repository image for shengshu-ai/minWM

minWM 的定位很清楚：它不是再提供一個新模型，而是把建立 video world model 的整條流程拆開，讓人由 bidirectional T2V（Text-to-Video）或 TI2V（Text-and-Image-to-Video）基礎模型，一步步轉成 action-conditioned video world model。對剛接觸這個領域的人來說，這種完整路線比只放權重或單段程式碼更有幫助。

這項目重點不是「裝完即用」，而是按它提供的資料處理、訓練、蒸餾與推理流程逐段走。項目公開了 data → training → inference 的全流程，並提供 example data、runnable scripts、Claude Skills 與新手知識整理，方便你先跟一次標準流程，再按自己需要改 backbone、資料分佈或控制方式。

它要解決的問題，在於高質影片生成模型未必等同可互動的 world model。要做到低延遲、可因果 rollout、可回應鏡頭軌跡等操作，背後需要 camera control、autoregressive training、few-step distillation 及 streaming inference 等整套機制；minWM 正是把這些環節模組化，並用 Causal Forcing、Causal Forcing++、Teacher Forcing 與 asymmetric DMD 串連起來。

  • 支援 4-step DMD inference，並提到 multi-GPU sequence parallelism
  • 可用 pose strings 或 JSON 檔控制 camera trajectory
  • 提供 debug-world-model，整理 loss NaN、jitter、camera drift 等常見失敗模式
  • 提供 integrate-new-backbone，示範怎樣接入新的 video DiT
  • 參考 backbone 包括 Wan2.1-T2V-1.3B、HY1.5-TI2V-8B，亦提到 HY Action2V、HY TI2V、Wan Action2V

項目的新意在於它同時處理「怎樣訓練」與「怎樣改造」。除了支援不同 backbone 與 condition injection 方式，也把團隊累積的排錯經驗與 Claude 協作流程寫進項目，令研究者或工程人員不只看到結果，還能理解常見錯誤從哪裡出現。

它的目標是 real-time interactive video world models，並附有對 camera trajectory quality、controllability training steps、minimal batch-size requirements 的實驗分析。不過公開資訊較偏向框架與流程，若你想比較單一模型跑分，這個項目更適合當作建立、重現及擴展 World Model 的工作底座。

GitHub： https://github.com/shengshu-ai/minWM

Categories: 開源, 香港科技大學, Agentic, 影像模型, 影像處理, 模型, 模型訓練, 視覺模型, 視頻模型, 世界模型, 框架

Qwen-VLA 用單一模型打通機械人任務

Hero image preview

Qwen-VLA 是一個把視覺、語言與動作整合起來的項目，目標是用同一套模型處理機械人操作、導航，以及軌跡預測。過往很多 embodied intelligence 系統都只針對單一任務或單一機械人設計，結果是能力分散，換場景、換任務或換機體後便難以沿用。

這個項目以 Qwen3.5 Vision-Language Model 為基礎，再加入 DiT-based action decoder，令模型不只看圖和理解文字，還能產生連續動作與軌跡。研究團隊亦加入 embodiment-aware prompt conditioning，用機械人專屬文字描述去標示當前機體與控制方式，讓同一模型可支援多種 robot embodiments。

核心概念是把不同類型資料一同訓練，包括 robotics manipulation trajectories、human egocentric demonstrations、synthetic simulation data、vision-and-language navigation data，以及 auxiliary vision-language data。對開發者來說，這代表項目不是只做問答或只做控制，而是把 manipulation、navigation 與 trajectory prediction 放進同一個 action-and-trajectory prediction 框架。

重點可先看以下幾項：
– 用單一 Vision-Language-Action Model 處理多類 embodied 任務
– 同時支援文字回應、動作生成與軌跡生成
– 透過 embodiment-aware prompt conditioning 適配不同機械人平台
– 強調 out-of-distribution generalization，涵蓋光線、背景、物件配置與機體變化
– 適合研究通用機械人控制、跨任務遷移與多平台部署的人員

論文列出 Qwen-VLA-Instruct 在多個基準上有不錯表現，包括 LIBERO 97.9%、Simpler-WidowX 73.7%、RoboTwin-Easy/Hard 86.1/87.2%、R2R 的 69.0% OSR、RxR 的 59.6% SR；在真實世界 ALOHA 實驗亦錄得 76.9% average OOD success，在 DOMINO dynamic manipulation 有 26.6% zero-shot success rate。若你關注的是一個可橫跨任務、環境與 robot embodiments 的通用型項目，展示了統一式 Vision-Language-Action Modeling 的清晰方向。

Paper： https://arxiv.org/pdf/2605.30280

Categories: 阿里巴巴, Agentic, 模型, 世界模型, 中國

LongCat-Video 1.5：生成更實用的長片

LongCat-Video

LongCat-Video 是一個 13.6B 參數的影片生成項目，主打把文字生成影片、圖片生成影片，以及影片續寫放進同一套架構。對一般使用者來說，最易明白的價值是：不用為不同影片任務分開找不同模型，處理流程可以更集中。

它解決長影片生成常見的畫面走樣、色彩飄移，以及愈生成愈差的情況。項目特別提到自己原生預訓練了影片續寫能力，因此在長時間內容上較有優勢，目標是生成分鐘級影片時仍保持穩定。

先決定輸入方式：有文字概念就做 Text-to-Video，有單張圖片就做 Image-to-Video，要接續既有片段就用 Video-Continuation。提供相關模型與延伸版本，包括 LongCat-Video、LongCat-Video-Avatar 1.5，以及 Hugging Face 與 ModelScope 上提供的模型頁面。

它同時強調速度與畫質。項目表示透過時間與空間兩個方向的 coarse-to-fine 生成策略，再配合 Block Sparse Attention，可在數分鐘內產出 720p、30fps 影片；這類設計對高解析度生成尤其重要，因為影片模型最常見瓶頸就是算力與等待時間。

  • 單一模型支援 Text-to-Video、Image-to-Video、Video-Continuation
  • 強調長影片生成，主打減少色偏與畫質退化
  • 以 coarse-to-fine 加速推理，兼顧效率與解析度
  • 提到用多重獎勵的 GRPO 強化學習提升整體表現

這項目較適合關注開源影片生成、長片段內容、角色或場景延續的人，也適合想研究統一式影片模型設計的開發者。其表現可比肩領先開源模型與新近商業方案，但更細的分數與比較細節，仍需要配合技術報告一併閱讀會較穩妥。

Evaluation Results

Text-to-Video

The Text-to-Video MOS evaluation results on our internal benchmark.

MOS scoreVeo3PixVerse-V5Wan 2.2-T2V-A14BLongCat-Video
AccessibilityProprietaryProprietaryOpen SourceOpen Source
Architecture––MoEDense
# Total Params––28B13.6B
# Activated Params––14B13.6B
Text-Alignment↑3.993.813.703.76
Visual Quality↑3.233.133.263.25
Motion Quality↑3.863.813.783.74
Overall Quality↑3.483.363.353.38

Image-to-Video

The Image-to-Video MOS evaluation results on our internal benchmark.

MOS scoreSeedance 1.0Hailuo-02Wan 2.2-I2V-A14BLongCat-Video
AccessibilityProprietaryProprietaryOpen SourceOpen Source
Architecture––MoEDense
# Total Params––28B13.6B
# Activated Params––14B13.6B
Image-Alignment↑4.124.184.184.04
Text-Alignment↑3.703.853.333.49
Visual Quality↑3.223.183.233.27
Motion Quality↑3.773.803.793.59
Overall Quality↑3.353.273.263.17

GitHub： https://github.com/meituan-longcat/LongCat-Video

Categories: 影像處理, 模型, 數字人, 視覺模型, 視頻模型, 世界模型

DexJoCo：靈巧機械手模擬實驗入門

Repository image for brave-eai/dexjoco

DexJoCo 是一個以 MuJoCo 為基礎的模擬基準與工具集，重點放在「有目標的靈巧操作」：例如用機械手完成特定任務，而不只是做單一抓取動作。對初學者來說，它的價值在於把模擬環境、示範收集，以及遙控操作相關元件放在同一個專案內，較容易看清整體流程。

如果你想使用，先把它當成任務模擬平台，再了解示範資料如何被記錄。README 提到可輸出 Zarr 格式重播資料與相機影片，這表示它不只用來「睇畫面」，亦方便之後做訓練、重播或比較不同方法表現。

它較有意思的地方，是把遙控操作設計成依賴明確的 UDP 封包協定。換句話說，模擬器本身與外部裝置之間有一定解耦，無論是 Vive tracker、Rokoko，甚至內含的 GeoRT 流程，都較像可替換的輸入橋樑，令擴充與整合更實際。

  • 以 MuJoCo 為核心，集中處理靈巧操作任務
  • 支援示範收集，並輸出重播資料及影片
  • 內建多種遙控相關橋接元件，方便接駁外部追蹤資料
  • 可切換互動模式與較適合策略執行的無畫面模式

適合的讀者主要是機械人研究者、學生，或者想測試手部操作任務的人；如果你正研究 imitation learning、policy evaluation，這類資料輸出會特別有用。從專案內容可見的相關組件包括 MuJoCo、Vive bridge、Rokoko、GeoRT，以及用於資料儲存的 Zarr；至於 README 亦提到 policy mode 與離屏渲染設定，反映它同時兼顧互動收集與批次實驗兩種場景。

整體來看，DexJoCo 未必是面向一般用家的即開即用工具，但作為研究型基礎設施，它的定位相當清楚。若你需要一個把任務模擬、遙控輸入和示範記錄串連起來的環境，這個專案值得留意。

網址： https://github.com/brave-eai/dexjoco

Categories: 開源, 香港中文大學, Robotic, 世界模型

Warp-as-History：一段片訓練出「鏡頭操控」

Warp-as-History teaser

如果你對 AI 影片生成有興趣，但又覺得「要大量素材先訓練」門檻太高，Warp-as-History 的吸引力正在於它嘗試只用一段訓練影片完成相機視角控制。簡單講，它想做的是讓系統學會原片中的空間與運鏡關係，再按你指定的鏡頭路徑生成新畫面。

對一般使用者來說，理解這個專案的最好方法，不是把它當作普通文字生片工具，而是視為一個偏向「鏡頭操控」的研究型方案。你需要先準備一段帶有相機資訊的影片，再配合指定模型做推理或訓練；官方列出的預設組合包括 Helios-Distilled、Warp-as-History LoRA，而 Helios-Mid 主要用於訓練，另外 README 亦提到 Pi3X。

它解決的重點問題，是生成影片時常見的視角不穩、鏡頭移動不連貫，以及難以精準控制觀看方向。這個方法特別強調互動式鏡頭軌跡跟隨與視點調整，定位上與 HappyOyster、Genie 3 這類方向相近，但賣點是把所需訓練資料壓到單一範例，這點相當有研究價值。

  • 一段訓練影片 已是核心設定，對資料收集要求較低
  • 重心不在純文字生成，而在鏡頭路徑與視角控制
  • 相關模型包括 Helios-Distilled、Warp-as-History LoRA、Helios-Mid、Pi3X
  • 較適合研究實驗、效果驗證，未必是即開即用的消費級工具

如果你是做生成式影像研究、互動敘事、虛擬攝影，這個專案值得留意；若你只是想快速剪片或一鍵出成品，可能會覺得前置準備仍然偏技術性。整體來看，Warp-as-History 最有意思的地方，是把「影片歷史資訊」由單純上下文提升為可延續的視角依據，令相機控制這件事更像真正可操作的生成條件。

網址： https://github.com/yyfz/Warp-as-History

Categories: 開源, 影像處理, 視頻模型, 世界模型, 中國
Page 2 of 3
1 2 3