NVIDIA OmniDreams 是一個用於自動駕駛模擬的 world model，重點不在重播已錄好的路面片段，而是在系統提供條件後，持續生成多鏡頭、近乎寫實的影片畫面。它吃進一張真實 RGB 起始影像、文字提示，以及每幀的 coarse HD map image 和 trajectory poses，再以分段方式推進後續畫面。

這個項目想處理的核心問題，是傳統神經模擬器雖然可以很像真，但通常受限於原本拍到的資料，遇到少見天氣、突發交通行為或未見過的場景時，彈性不足。OmniDreams 走的是自回歸生成路線，會根據過往畫面、模擬器狀態與即時駕駛動作，繼續生成下一段感測畫面，較接近 closed-loop simulation 的需要。

從公開資料看，它的創新點在於把 Cosmos diffusion model 的視覺先驗，延伸成可即時反應動作的生成式 world model，並且支援 multi-camera photorealistic video。論文亦提到它曾在 21k 小時駕駛場景上做 mid-training 與 post-training，目標是覆蓋更多傳統模擬器難以刻畫的情境。

使用這個項目時，較適合把它視為研究與後訓練樣本發佈點；互動式推論與 live driving demo 則放在配套項目 FlashDreams。倉庫亦提供 post-training 樣本，圍繞 Cosmos2 SV-HDMap world model 微調，並提到 student-init、bidirectional teacher 與 self-forcing distillation 等訓練路線，但硬件門檻不低，官方列明最低為單個 8-GPU Ampere/Hopper 節點。

• 可從單張真實畫面開始，生成連續多鏡頭影片
• 輸入條件清晰，包括文字提示、HD map 與 trajectory poses
• 重點場景是 closed-loop autonomous vehicle simulation
• 相關模型與系統包括 Cosmos diffusion model、Cosmos2 SV-HDMap、FlashDreams、Alpamayo 1、AlpaSim、WAM
• 論文初步結果指出，從 OmniDreams 後訓練出的 WAM 在 Physical AI Autonomous Vehicles NuRec 上表現不俗，且總參數量少於 VLA-based Alpamayo 1.5 的五分之一

整體來看，OmniDreams 不是一般開箱即用的消費級工具，而是面向自動駕駛研究、模擬平台與生成式 world model 開發流程的關鍵項目。對研究團隊、模擬系統工程師，或者想追蹤 NVIDIA 在 Physical AI 與 AV simulation 方向的人來說，這個項目很有參考價值。

GitHub： https://github.com/nv-tlabs/omni-dreams

項目： https://research.nvidia.com/labs/sil/projects/omnidreams-blog/

LongLive 係 NVIDIA NVLabs 針對長影片生成提出的基礎設施，核心目標唔係單純「整到片」，而係令模型喺處理長時間、多鏡頭內容時，冇咁易被記憶體同速度拖慢。由 1.0 強調即時互動式生成，到 2.0 加入 NVFP4 平行化設計，重點已經擴展到訓練、蒸餾同推理全流程。

實際使用時，較自然嘅路線係先睇示範頁同文件，了解佢點樣接收連續提示詞，再按需要選擇 BF16 或 NVFP4 模型版本。現有公開模型包括 LongLive-2.0-5B、LongLive-2.0-5B-NVFP4-S4，而較早期分支亦有 LongLive-1.3B，方便分別比較畫質、速度同硬件需求。

呢個專案最值得留意嘅地方，在於佢唔只優化生成結果，仲直接處理長影片常見樽頸，例如 KV cache 佔用、跨卡通訊、以及多鏡頭自回歸生成時嘅效率問題。資料顯示，2.0 版本支援多鏡頭或單鏡頭訓練、序列平行推理、非同步解碼，同時可用較低精度格式減少記憶體開銷；論文亦提到訓練與推理速度都有明顯提升，但實際表現仍要視乎 GPU 架構而定。

• 支援長影片、多鏡頭連續生成，方向比一般短片生成更明確
• 提供 BF16 同 NVFP4 版本，方便按硬件取捨
• 針對訓練與推理一齊優化，唔係只顧其中一端
• 包含序列平行、KV cache 量化、非同步解碼等工程設計
• 適合研究人員、影片生成開發者，同埋需要評估部署效率嘅團隊

整體來講，LongLive 比較似一個面向進階影片生成工作流嘅「引擎室升級」，特別適合關注長片段敘事、互動式生成，或者想研究多鏡頭影片模型點樣落地嘅人。對一般讀者而言，最容易理解嘅價值就係：佢嘗試用更慳資源、更快嘅方式，令 AI 生成長影片唔再只停留喺概念展示。

GitHub： https://github.com/NVlabs/LongLive

Paper： https://arxiv.org/pdf/2605.18739

AnyFlow 是 NVIDIA Labs 推出的影片擴散框架，重點不是單純把片生出來，而是讓同一個模型可按你手上的運算時間，自由調整推理步數。簡單講，趕時間時可以用較少步數先出結果；有更多資源時，再加步數換取更穩定的細節表現。

實際使用上，它較適合研究員、開發者或內容生成團隊，用來測試文字轉影片、圖片轉影片，以及影片轉影片。README 顯示它已有示範程式和預訓練模型，代表使用者可直接下載模型試效果，而不一定要由零開始訓練。

這個專案較有新意的地方，是把傳統常見「固定步數」的限制放寬，做成 any-step 生成。對非專業人士來說，可理解為同一套引擎在快出片與慢慢精修之間更有彈性，而不是每種速度都要換另一個模型。

• 支援 Text-to-Video、Image-to-Video、Video-to-Video
• 可配合不同推理步數，平衡速度與質素
• 涵蓋 causal 與 bidirectional 影片擴散架構
• 已驗證可擴展到 1.3B 至 14B 參數級別

若你要做社交媒體短片原型、廣告分鏡視覺化，或研究影片生成流程，AnyFlow 的定位相當清晰。相關模型方面，README 提到可找到 AnyFlow-FAR-Wan2.1-1.3B-Diffusers、AnyFlow-FAR-Wan2.1-14B-Diffusers、AnyFlow-Wan2.1-T2V-1.3B-Diffusers、AnyFlow-Wan2.1-T2V-14B-Diffusers；名稱反映它既有偏研究框架，也有文字轉影片版本。整體來看，這不是一般即開即用的消費級工具，但對需要靈活控制生成成本與效果的人，確有參考價值。

Source: https://github.com/nvlabs/AnyFlow