InferNews

Holo-World 把天氣與鏡頭控制放進影片生成

Share to X

Holo-World嘗試用一張圖生成可控影片，同時處理鏡頭、物件移動與天氣變化。它瞄準的是世界模型裡最難兼顧的一致性問題。

Repository image for XiangchenYin/Holo-World

Holo-World 是一個Video World Model項目，目標不是單純把靜態圖片變成短片，而是由單張首幀出發，按照指定的鏡頭路徑、物件動態與天氣指令生成影片，盡量保留原本場景結構。對一般讀者來說，可把它理解成「你先給一個世界起點，再要求系統改變拍攝方式與天氣，但不要連場景骨架都改走」。

它和常見影片編輯做法的分別，在於不少方法要先有來源影片，甚至依賴已經包含未來結構的重建場景；Holo-World 則強調 first-frame-anchored source-to-state 設定，只由一張圖開始。這種取向更靈活，但難度也高，因為模型要自己補出後續畫面，同時維持鏡頭控制、物件位置和天氣效果不互相打架。

這個項目核心包含 HoloStateData、Unified Scene Adapter 與 Scene-Weather Decomposed CFG。前者是為相機、物件、天氣建立統一監督樣本的資料集；後兩者則把「場景保持」與「天氣轉換」分開處理，目的是減少下雨、下雪、起霧時把整個場景細節一併沖散的情況。論文與項目頁提到，量化與視覺結果都顯示它在 weather-state generation 上優於 video-to-video weather editing baselines，但目前倉庫內容仍偏研究展示，未見完整安裝與推理流程，較適合先當作研究方向理解。

  • 可由單張圖片出發，而非必須先提供完整來源影片
  • 同時控制 camera、object、weather，比單一條件生成更完整
  • 重點取捨在於維持場景結構一致，同時讓天氣效果夠明顯
  • 較適合研究 world model、可控影片生成、合成場景模擬的團隊

如果你關心自動駕駛模擬、生成式影片控制，或想研究世界模型如何把幾種控制訊號整合，這個項目很有參考價值。相關模型與組件可留意 Holo-World 本身，以及資料集 HoloStateData；從現有資料判斷，它現階段更像研究型模型與方法展示，未必是即裝即用的生產工具。

GitHub： https://github.com/XiangchenYin/Holo-World

項目： https://xiangchenyin.github.io/Holo-World/

Categories: 開源, 模型, 視覺模型, 視頻模型, 世界模型, Video, Image, 工具, 庫, 中國

Memento：把長片段角色一致性補回來

Share to X

Memento 針對多鏡頭長影片的角色走樣問題，改用記憶重建去約束生成。它把連貫性和身份一致性一起處理，適合故事式影片生成。

Teaser

Memento 是一個影片生成框架，重點解決長篇、多鏡頭故事影片中角色外觀容易前後不一致的問題。傳統做法多半只顧下一段鏡頭看起來合理，Memento 則把「能否從記憶重建角色」當成身份是否被保留的檢查方式。

它的做法是把全局故事描述、每個 shot 的文字提示，連同歷史記憶一起送入生成流程，逐鏡頭自回歸地產生影片。使用時可準備對應格式的 JSON 故事腳本，再配合提供的權重與基礎模型做推理；項目也支援訓練與輸出完整影片。

GitHub： https://github.com/ernie-research/Memento

項目： https://ernie-research.github.io/Memento/

Categories: 開源, Agentic, 模型, 視頻模型, 模型訓練, Video, 框架, 庫, 百度

JoyAI-VL-Interaction 把影像助手變主動

Share to X

這不是等你發問的聊天模型，而是持續看畫面、自己判斷何時出聲的互動項目。

JoyAI-VL-Interaction overview

現時多數視覺語言模型仍然沿用 turn-based 問答範式：用戶問一句，模型答一句；就算放進視像通話或直播介面，底層仍是被動回應。JoyAI-VL-Interaction 直接挑戰這個做法，改成持續觀看、按秒判斷要沉默、回應，還是把難題交給背景模型處理，目標是把 VLM 從「被問先答」推向即時互動。

這是一個多模態模型加可部署系統項目，想解決的不是普通問答，而是「畫面中的關鍵一刻不會等人發問」這個問題。技術報告提到它是 8B vision-first 模型，支援 real-time video-language interaction，並配合 time-aligned interaction data、training recipe 與完整系統，重點放在時間感、主動觸發與持續在線。

如果你想理解它是否適合自己，最容易的測試場景是把 webcam、直播畫面或監控串流接入，觀察它會否在有事件時主動開口，而不是每次都等指令。這種模式較適合直播助理、居家提醒、遠端看護、商務示範，甚至要一邊看影像一邊調用 API 或 agent 的流程。

  • 核心改動是由問答式互動，轉向 watch-and-do 式互動
  • 模型每秒自行決定沉默、回應或 delegation
  • 系統可接駁 ASR、TTS、memory、API 與其他 agent
  • 報告稱可長時間處理連續影片，延遲維持在 sub-second
  • 人工評分比較中，對 Doubao 與 Gemini 的質量與時機掌握都有明顯優勢

創新位不只在模型本身，也在整個開放堆疊一起釋出：模型、數據、訓練方法與部署系統放在同一個項目脈絡，方便研究者與開發者沿原路線延伸。相關模型與組件包括背景大模型、API、agent，以及文中對比的 Doubao、Gemini；若完整開源內容如期提供，這個項目會對即時多模態互動研究有相當高參考價值。

GitHub： https://github.com/jd-opensource/JoyAI-VL-Interaction

項目：https://joyai-vl-video-future-academy-jd.github.io/JoyAI-VL-Interaction/

Categories: 開源, 字節跳動, 文字轉語音, Agentic, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, OpenAI, Gemini, API, Video, Image, 工具, IDE, 語音

MiniMax Hub：本機優先的多模態創作工作站

Share to X

MiniMax Hub把文案、影像、影片與配音流程放進同一個創作畫布。重點是本機優先，素材可留在自己電腦。

MiniMax Hub

MiniMax Hub 是一個 Multimodal Creative Agent，定位像 AI 創作工作站，不只是聊天工具。它把 Copy Generation、Image Creation、Video Editing、Audio & Voiceover、Auto Packaging 與 Multi-format Export 整合在同一個流程，讓用家由想法到成片可在一處完成。

它支援 macOS 與 Windows 下載，輸入簡報、文字想法，或直接加入本機素材後，主代理會先理解創作目標，再做 Smart task decomposition，之後交由多個 agents 並行處理文案、視覺與音訊。用家仍可手動選模型，亦會在關鍵節點收到確認，避免流程完全黑箱。

這個項目在於把創作流程保存成可重用的 Skills。系統會隨工作過程累積你的做法與風格，之後可重複套用；如果需要，也可從 MiniMax Skills Market 啟用現成 Skills 或外掛。對經常製作短劇、電商內容、品牌 TVC 與廣告素材的團隊來說，這類流程重用能力相當實用。

  • 本機優先設計，頁面明確指出 local files stay on your machine
  • 單一畫布整合腳本、分鏡、影片、音樂與剪輯流程
  • 支援資產管理與 batch generation，可一次產出多個版本
  • 代理會自動分解任務，並在關鍵步驟要求人工確認
  • 可把工作流程沉澱成 Skills，逐步累積個人或團隊方法

MiniMax Hub較著重工作流編排與創作協作，而不是單一模型能力展示。網站未列出具體性能分數或公開評測結果，因此較適合把它理解為面向內容製作的本地化 AI 工具平台。文中未提供明確模型清單，只提到會自動匹配最合適模型。

項目： https://hub.minimax.io/

Categories: Agentic, AI productions, 模型, 視覺模型, 多模態模型, 視頻模型, Video, Image, Audio, 軟件, Mac, 語音, Win, 音樂, Skill 技能

DreamX-World：可互動世界模型

Share to X

DreamX-World 想把影片生成推前一步，變成可控制、可探索的互動世界。重點不只畫質，還包括鏡頭一致性與長時段連續性。

dreamx world teaser fig

現時不少影片生成模型偏向做短片段合成，畫面可以靚，但一旦要控制鏡頭移動、返回之前看過的位置，或者在同一場景加入事件，往往會出現場景斷裂、風格飄移、前後不一致。DreamX-World 針對的正是這種固定範式的限制，把重點由「生成一段片」改成「維持一個可互動世界」。

這個項目屬於世界模型兼影片生成模型，目標是處理 interactive world simulation，讓文字或圖像驅動的影片不只會動，還能按事件提示改變場景。技術報告提到它支援 camera navigation、重訪已觀察區域，以及 compositional events，亦即多個事件可串連成多步世界變化，這比一般一次性生成更接近遊戲或模擬系統。

它的做法有幾個較鮮明的改動：先用 Unreal Engine 數據、gameplay footage 與 real-world videos 建立資料引擎，再加入 camera estimation 與嚴格過濾；之後用 E-PRoPE、causal forcing、DMD-style distillation、long-rollout training、Memory-Conditioned Scene Persistence 等方法，處理長時段生成常見的記憶斷層與色調漂移。報告亦指出，DreamX-World 1.0 在 5-second basic evaluation 拿到 84.76 overall score、73.75 camera-control score，整體分數高於 HY-WorldPlay 1.5 與 LingBot-World。

如果你想試這個項目，較合理的切入點是先看 DreamX-World-5B-Cam，因為它已公開模型與推理程式，主打 5 秒影片生成；想看長時段能力，就留意 Long-horizon DreamX-World-5B。它較適合研究 world model、互動影片、遊戲 AI 內容生成，或者想比較 autoregressive 與 bidirectional 路線差異的人。

  • 已公開相關模型包括 DreamX-World-5B-Cam 與 DreamX-World-5B
  • 5B-Cam 偏向短片與鏡頭控制，5B 則支援較長時段生成
  • 核心賣點是場景持續性、鏡頭控制與事件組合，不只追求單段畫質
  • 報告提到最高可達 16FPS（八張 RTX5090），反映它有考慮推理效率

整體來看，DreamX-World 的價值不在於再做一個普通 text/image-to-video 模型，而是把「可回看、可操作、可改變」放進同一個生成系統。現階段公開內容仍以模型與技術報告為主，但方法論已相當清楚，對世界模型這條路有明確野心。

GitHub： https://github.com/AMAP-ML/DreamX-World

Paper： https://arxiv.org/pdf/2606.16993

Categories: 開源, 清華大學, AI productions, 模型, 視頻模型, 世界模型, 模型訓練, Video, Image

iMaC：把機械臂動作變成可預測影像

Share to X

iMaC 不是只餵動作向量入模型，而是把未來動作轉成影像控制。這種 world model 更貼近機械臂與場景的空間互動。

overview

現時不少 action-conditioned video models 會把未來動作壓成 compact vectors，再經 learned conditioning modules 交給模型處理；作者認為這種做法要模型自行猜測細微空間後果，遇到 real manipulation 時，幾厘米差距已足以改變接觸、物件移動與任務成敗。iMaC 屬於世界模型與影片生成模型，核心是把 future joint actions 轉成 image-like controls，減少「動作有輸入，但空間關係表達不足」的問題。

這個項目的方法相當具體：先利用 robot URDF 與 forward kinematics，渲染 future robot-observation control videos，也就是 motion images；之後再加入 depth 作為輔助訊號，配合 3D pointclouds 建立 two-stream geometry controls，也就是 contact images。舊範式主要靠抽象向量條件化，iMaC 則把「未來機械臂會出現在哪裡、如何接近場景」直接變成可見控制，這是它最清晰的技術分野。

GitHub 儲存庫提供 training、preprocessing 與 inference code，覆蓋 RND-mix stage-one、stage-two，以及 WorldArena 三條流程。想試這個項目的人，會先由資料前處理、depth 與 3D condition 建立開始，再跑 validation inference 看生成影片是否跟動作一致；若本身做 robotic policy evaluation，還可以接到 WorldArena 或 online RND evaluation 場景。

  • 把 actions 轉成 motion images 與 contact images，空間條件更明確
  • 用 depth encoding 和 3D pointclouds 強化 robot-scene 幾何理解
  • 加入 training-time rollout strategy，目標是支援更長時序生成並減少 exposure bias
  • 儲存庫同時涵蓋訓練、前處理、推論，不只是論文展示模型
  • 相關組件包括 Wan transformer variants、Diffusion inference pipelines、RobotWin 2.0、WorldArena

性能方面，論文指出它在八個長時序真實機械人操作任務中，world-model success estimates 與真實 policy performance 呈強正相關。這個結果的價值不在於取代真機測試，而是在正式落機前，先用生成式 world model 篩選 policy checkpoints；對研究 embodied evaluation、robotics 與世界模型的人來說，iMaC 屬於相當值得跟進的一個方向。

GitHub： https://github.com/imac-wm/iMac

Paper： https://arxiv.org/pdf/2606.09813

Categories: 開源, 清華大學, AI productions, 模型, 視頻模型, 世界模型, 模型訓練, Stable Diffusion, Video, Image, Robotic, Vibe Coding, Mac, 3D, 庫, 編程, Win

RhymeFlow：加快影片生成的新路線

Share to X

RhymeFlow 針對影片生成太慢的老問題，提出免訓練加速方法。它不只追求更快，亦嘗試保住畫面連貫度。

Repository image for Simon-Dcs/RhymeFlow

現時不少影片生成加速方法，主要仍沿用標準 diffusion pipeline：每一幀都要在所有 diffusion timesteps 完整做一次 dense denoising，再配合 sparse attention 或 KV-caching 減少單步計算。RhymeFlow 指出，這種固定範式忽略了相鄰影格內容與動作高度相關，令自然影片裡大量中間步驟其實屬於重複運算。

這是一個免訓練的影片生成加速框架，核心目標是替 DiT（Diffusion Transformers）影片模型減少推理延遲與運算成本。它將不同影格的 denoising trajectory 拆開處理：先找出主導語意變化的 keyframes，讓 keyframes 保持逐步去噪，非 keyframes 則逐步跳過部分步驟，再用 latent trajectory projection 補回時間一致性。

這個做法的創新，不在於單純把 attention 再稀疏化，而是直接挑戰「所有影格都要同步、密集去噪」的舊假設。論文描述，RhymeFlow 在現有 DiT-based video generation models 上，能同時取得更高 inference speed 與更好 visual quality；不過 GitHub 目前公開重點放在 Wan 2.1 adaptation，HunyuanVideo adaptation 仍在準備中。

如果你想試，較合理的切入點是把它當成 Wan 2.1 的加速實驗框架，比較 dense、svg、sap、rhyme、rhyme_sap 幾種方法輸出時間與畫面差異。環境要求偏高，文件列出 CUDA 12.4 / 12.8 與 PyTorch 2.5.1 / 2.6.0，亦牽涉 FlashInfer、flash-attn 和自訂 kernels，較適合已有 GPU 與 PyTorch 經驗的人。

  • 項目類型：training-free 影片生成加速框架，處理 DiT 影片模型推理太慢的問題
  • 方法重點：keyframes 做 dense denoising，非 keyframes 跳步處理，再用 latent trajectory projection 維持時序一致
  • 可比較方法：dense、svg、sap、rhyme、rhyme_sap
  • 相關模型：Wan 2.1 已有 adaptation，HunyuanVideo adaptation 尚未完整釋出
  • 適合場景：研究影片生成推理優化、比較不同加速策略、測試速度與畫質取捨

整體來看，RhymeFlow 的價值很明確：它不是改模型權重，也不是重新訓練，而是重排 denoising flow scheduling，從流程層面節省計算。對研究者與進階開發者而言，這類思路比單純堆硬件更有參考價值；對一般創作者來說，現階段門檻仍在部署與 GPU 環境。

GitHub： https://github.com/Simon-Dcs/RhymeFlow

Paper： https://arxiv.org/pdf/2606.06309

Categories: 開源, 清華大學, 騰訊, AI productions, 視頻模型, 模型訓練, NVIDIA, Video, 框架, Content Creator, Python, 深度學習

MBench 專看長影片世界模型記憶力

Share to X

MBench不是看單幀靚唔靚，而是追問模型能否記住離鏡後再出現的人與場景。它把長影片記憶拆成三條能力軸，令評測更貼近生成連續影片的難題。

Teaser

現時不少長影片評測，仍偏向單幀畫質或短距離 prompt following；畫面一旦切走、角色離鏡，很多模型便容易在回到同一情境時「失憶」。MBench 這個benchmark正是針對這個盲點而設，聚焦 long-video world models 的 memory capability，檢查模型能否在時間拉長後維持一致的世界狀態。

作者把問題拆成三個互相獨立但又彼此關連的方向：Entity Consistency、Environment Consistency、Causal Consistency。這種設計比籠統地給一個總分更有分析價值，因為你能看清模型究竟是忘記角色外觀、搞亂場景空間，還是未能延續畫面外仍在發生的物理過程；同時它再分成 MBench-A 與 MBench-T，分別對應 action-conditioned world models 與 text-segment-conditioned 長影片續寫模型。

如果你本身有影片生成或世界模型項目，這個儲存庫的用途很明確：先準備模型輸出，再用 mbench 這套 contract-driven、plugin-based CLI 跑完整評測流程。儲存庫已提供 12 個官方 metric implementation，亦整合 VLM trigger judge，代表它不只是論文概念，而是一套可落地比較不同模型表現的評測工具鏈。

  • 項目類型：這是一個 benchmark／評測工具鏈，用來量度長影片世界模型是否具備穩定記憶與時序一致性。
  • 創新位置：不是只看畫面質素，而是把「長時間記住世界」正式定義成三條 capability axes。
  • 適合場景：長影片生成、world model 研究、模型比較、內部驗證新版本退步與否。
  • 可讀性高：MBench-A 與 MBench-T 將不同條件設定分開，較容易知道模型失分原因。

從評論角度看，MBench 的價值在於它批評了舊有固定範式：只獎勵 single-frame quality 或 short-horizon prompt following，卻未有檢驗跨鏡頭、跨時間的持續記憶。若你關心的模型包括各類 long-video world models、action-conditioned world models，以及 text continuation 類影片模型，這個項目很值得納入測試流程；不過目前提供的資料以 benchmark 與評測框架為主，是否能全面代表所有真實創作場景，仍要配合你自己的生成任務一併觀察。

GitHub： https://github.com/study-overflow/MBench

Paper： https://arxiv.org/pdf/2606.00793

Categories: 開源, 清華大學, 模型, 視頻模型, 世界模型, Video, 框架, 工具, 庫, Win

SCAIL-2 把動畫角色控制再推前一步

Share to X

SCAIL-2 是一個開源角色動畫模型，主打直接用影片條件驅動角色動作。它想解決骨架與遮罩中介帶來的資訊流失。

Teaser

SCAIL-2 是一個用於 End-to-End Character Animation 的開源模型，重點是把驅動影片的視覺資訊直接送入模型，減少依賴 skeleton、mask 這類中介表示。它要處理的問題很明確：傳統角色動畫控制在複雜動作、多角色互動、跨角色替換時，容易因中介資訊過少或含糊而失真。

這項目在於把多種角色動畫子任務合併成同一套流程，並以 Unified Motion Transfer Interface、in-context mask conditioning 與 mode-specific RoPE 作統一控制。根據公開說明，模型還利用 MotionPair-60K 這類合成動作配對資料訓練，並支援 cross-identity replacement、multi-character animation，甚至 animal-driving 與 mesh-based control 這些 zero-shot 能力。

可調參數包括 denoising steps、flow-matching scheduler shift、classifier-free guidance scale、solver，以及是否啟用 offload model；這些設定會影響生成速度、顆粒感與顯示資源負擔，較適合已有 GPU 環境、想比較不同動畫控制效果的人。

  • 用模型來把驅動動作轉到指定角色身上
  • 不再把 skeleton map 當核心依據，目標是減少資訊流失
  • 已列出相關模型：SCAIL-Preview、Wan-Animate、MoCha、SAM3D-Body
  • 可處理多角色、角色替換、跨身份動畫等場景
  • 推論可調整 steps、guide scale、solver 等參數

如果你是做 AI 影片、虛擬角色內容、動畫研究，或者正留意角色動作遷移技術，SCAIL-2 有一定參考價值。至於效能表現，項目明確表示它在多項任務上優於既有 state-of-the-art approaches。

GitHub： https://github.com/zai-org/SCAIL-2

項目： https://teal024.github.io/SCAIL-2/

Categories: 開源, 模型, 視覺模型, 視頻模型, 影像處理, 框架

Bernini：影片生成與編輯的新路線

Share to X

Bernini 是統一式的影片生成與編輯框架，目標是令生成與修改片段更可控。硬件要求不低，但定位相當鮮明。

Bernini

Bernini 是一個影片生成與編輯框架，核心是把 MLLM-based semantic planner 與 DiT-based renderer 組合起來，處理一般影片擴散模型常見的內容漂移、指令跟從不穩定，以及長片段規劃鬆散等問題。從定位看，它不是單純再堆大模型，而是先做語意規劃，再交由生成器落實畫面。

這個項目的關鍵想法，在於「Latent Semantic Planning」：先在潛在空間安排語意，再做 video diffusion。對非研究背景讀者來說，可以理解為先寫分鏡草稿，再逐格畫面化，這比直接由文字一步到位生成影片，更有機會保持故事連貫和編輯意圖一致。

如果想試，較合理的切入點是影片編輯任務，例如風格轉換、字幕或水印移除、局部修改，再觀察輸出有沒有跟足指令。倉庫列出的環境偏高階，建議準備 CUDA 12.4、Python 3.11.2，以及 torch==2.5.1+cu124、diffusers==0.35.2、accelerate==0.34.2、transformers==4.57.3；若有 H100、H800、H200 可配合 FlashAttention-3，其他 CUDA GPU 則退回 FlashAttention-2 或 PyTorch SDPA。

Bernini 在 video editing 的表現進入部分主流 closed-source commercial models 的第一梯隊，評分來自其自建 arena，以人工盲選、Bradley-Terry score 及 pairwise win-rate matrix 彙整。這類結果有參考價值，但暫時主要反映編輯場景；若你關心更複雜的人物生成，官方也提到 1.3B 的 Bernini-R 在簡單任務接近 14B 版本，面對複雜任務仍有差距。

Bernini: Latent Semantic Planning for Video Diffusion
  • 核心組成是 MLLM-based semantic planner + DiT-based renderer
  • 已公開 Bernini-R 權重，包含 1.3B 版本
  • 適合研究影片生成、影片編輯流程，或想比較規劃式生成方法的人
  • 硬件門檻偏高，Multi-GPU sequence parallel 亦需要 Open-VeOmni
  • 相關模型可先留意 Bernini-R-1.3B-Diffusers，以及文中提到的 14B 變體

整體來看，Bernini 最有價值的地方不是「再一個影片模型」，而是把規劃與渲染拆開處理，令可控性成為主要賣點。若你想找可直接在普通電腦輕鬆跑的項目，它未必合適；但如果你重視研究方向、編輯質素與系統設計，這個項目相當值得細看。

GitHub： https://github.com/bytedance/Bernini

Categories: 開源, 字節跳動, 模型, 視覺模型, 視頻模型, 影像模型, 影像處理, 框架, 語音
Page 8 of 16
1 … 6 7 8 9 10 … 16