InferNews

做影片生成時，潛空間一旦又大又雜，訓練速度、重建品質同後續生成都會一齊受拖累。V-RAE放喺呢個位置切入：它屬於影片表示自編碼器模型，將 frozen vision foundation model 的表徵再壓成更緊湊的 generative latents，處理的是影片表示太冗長、但又不能失去語意同動態連續性的問題。

V-RAE不是重新訓練整個視覺骨幹，而是接在 DINOv3、SigLIP2、V-JEPA2.1、EUPE 這類 frozen encoder 之上，用 lightweight temporal pooling module 減少時間維度上的重複資訊，再交由 video decoder 重建連續動作。這種做法的取捨在於，它更依賴現成視覺表徵的品質，但換來較輕量的影片 latent 壓縮流程，亦令 semantic latents 可以變成 directly decodable predictive state space。

項目提供了訓練、評估與重建示例所需的程式結構，安裝條件寫明要用 Linux、NVIDIA GPUs、CUDA 相容驅動、FFmpeg，以及 Python 3.10 或以上。可配合已釋出的 checkpoints 與對應 frozen encoder 做重建測試，但能否自由下載、下載範圍是否完整，仍要以當前發佈頁面為準，不適宜直接假設任何人都可無限制取得全部模型。

結果 V-RAE在 K600 reconstruction 取得 2.13 rFVD，數值優於文中比較的大型 pretrained video VAEs；class-conditional generation 則在 UCF101 與 K600 分別達到 117.86 與 19.16 gFVD，並提到可快最多 6 倍收斂。作者亦提出 tFVD，令它與人類判斷的一致性提升，在 UCF101 與 K600 的 Pearson correlation 分別達到 r = 0.621 與 r = 0.919，這點對影片生成評測有直接意義。

• 接在 frozen vision foundation model 後面做壓縮，避免由零建立整套影片表徵
• 用 temporal pooling 減少時間冗餘，同時保住 semantic structure
• 同時覆蓋 reconstruction、class-conditional generation 與 predictive modeling 場景
• 倉庫已包含 training、evaluation、sampling 所需結構，但部署前提偏向研究級 Linux + NVIDIA GPU 環境
• 適合研究影片生成、世界狀態建模、長序列表示學習的團隊參考其 latent 設計

V-RAE較適合有影片模型實驗能力的研究團隊、做 VideoDiT 類生成流程的人，以及想把影片 latent 拿去做預測狀態空間建模的項目。對於怎樣把強大的視覺表徵轉成更可生成、可重建、可評測的影片 latent，已經給出一條相當具體的路線。

項目主頁 · GitHub · 模型