ShotVerse2.0：讓影片生成更有電影感

2026 年 10 月 23 日 Share to X Facebook Copy link

從文字生成影片時，角色衣着、場景和鏡頭動作往往難以同時維持一致。FAPL 訓練多模態語言模型理解影片生成所需的時間線索，並支援分項控制。

文字生成影片時，模型不只要描寫眼前一幕，還要推斷未提供的時間變化，並在角色、場景、動作和鏡頭之間維持一致。FAPL（Factor-Aware Predictive Learning，因素感知預測學習）是一套訓練方法，旨在讓多模態大型語言模型（Multimodal Large Language Model，MLLM）的表示真正參與影片生成，而非被解碼器繞過。

它以 UniVideo 的 13B Video DiT 為基礎，不改動模型架構，而是分三階段訓練：先令 DiT 以 MLLM 潛在表示作為內容條件，再透過成對的因素編輯資料，教模型只改指定內容、保留其他因素；最後固定 DiT，訓練 MLLM 與連接器，讓只有文字或文字加完整影片的輸入都能對應同一影片目標。這讓方法同時處理文字推斷影片細節，以及按因素選擇性控制的需求。

研究報告的評測中，FAPL 把 Motion Order 由 48% 提升至 61%，∩-Acc 由 42% 提升至 58%，FaceSim-Arc 則由 0.451 升至 0.523。展示案例亦呈現角色衣着和外觀較能維持一致；不過，這些數字來自指定評測，不能直接視為所有提示詞或影片情境下的保證。

目前較適合研究影片生成、希望改善多因素控制的團隊參考。GitHub 資料標示程式碼、模型權重及 CineFactor-10K 評測提示仍待發布，因此暫未能按儲存庫提供的資料安裝或重現訓練；現階段可先閱讀論文及項目網頁了解方法與示例。

• 以 MLLM 潛在表示作為影片生成的內容條件。
• 分開訓練內容 grounding、因素控制與有限輸入預測。
• 可針對角色、場景、動作或鏡頭變更，同時保留其他因素。
• 在所列評測中，動作順序、因素準確度與人臉相似度均有提升。
• 程式碼、權重和評測提示尚未發布，現階段無法依實驗。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Video, 提示詞, 香港, 庫

---

MT-Forcing：多輪改圖守住細節唔再走樣

2026 年 10 月 20 日 Share to X Facebook Copy link

連續改同一張圖時，主體、紋理與構圖往往會慢慢偏離；MT Forcing 以多輪訓練與教師引導改善這類累積錯誤。

連續要求「改杯色、加條紋、再調光線」時，圖片往往未到最後一輪已經失真。MT Forcing 是針對多輪圖像編輯的訓練框架，配合自迴歸擴散模型，減少每輪修改帶來的漂移。

方法把單輪 DMD（Distribution Matching Distillation）與 Teacher-Forcing Guidance 結合：學生模型逐步編輯自己生成的歷史，凍結的單輪教師則從原圖一次套用累積指示，提供分布層面的引導。參考真實編輯軌跡後，模型既要改善畫質，也要維持跨輪次內容關係。

• 以自身多輪輸出作為訓練歷史
• 引入單輪 DMD 改善視覺品質
• 用 Teacher-Forcing Guidance 減少誤差累積
• 展示最長十五輪及八輪編輯比較

官方程式碼要求 Python 3.11.13、NVIDIA CUDA GPU，以及指定 checkpoint、架構資源和擴充 U1.5 tokenizer；配置完成後，可在同一工作階段依序執行多個編輯提示。公開資料未交代完整硬件門檻、推理速度或標準化定量結果，因此較適合作為需要 NVIDIA GPU 的研究重現工具，而非直接比較成本已知的消費級服務。

它以 SenseNova-U1.5 作為相關基礎模型，並在多輪比較中加入 MT Forcing。對需要逐步修訂產品 concept、人物姿勢或場景細節的設計團隊，單輪教師可作品質參照。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 清華大學, 模型, 模型訓練, NVIDIA, Image, 影像模型, 框架, 工具, Python, Tokenize

---

WorldCast 預測並生成世界狀態

2026 年 10 月 17 日 Share to X Facebook Copy link

WorldCast 把視覺生成拉到多步推演：模型要交代世界如何逐步變化，而不只是交出一張合理終局圖。

當任務要求模型根據觀察、物件參照和操作示範，預測一個過程接下來會怎樣發展，單張圖片的合理性已經不夠。WorldCast 屬於視覺生成基準測試，實際處理的是多模態模型如何理解不同參照在何時生效，並生成一連串有因果關係的世界狀態。

它把能力分成 L1 至 L4：由靜態 text-to-image，推進至編輯、主體參照和 text-to-video，再進入複雜限制、物理合理性及把現實情境轉化為行動。WorldCast 聚焦較少被量度的 L3、L4，涵蓋 320 個人工設計案例、1,352 個視覺狀態及 8 類任務，並同時測試 unified systems、multi-reference image models 和 video models。

• 評分把 grid、interleaved 和 video 輸出視為有次序的狀態序列
• 參照內容可以是觀察狀態、目標、規則、物料特性或示範程序
• 12 個代表性模型接受同一套評估協議及 Judge rubrics
• GPT-Image-2.5 System 取得 72.8 分，反映前沿模型已出現早期世界狀態預測能力

可從 Hugging Face Dataset 取得資料測試，配合項目提供的 evaluation toolkit 和 Evaluation Guide 重現評分；模型亦可輸出逐格圖像、交錯圖像或影片。結果差距會在較高層次任務擴大，interleaved generation 對圖像模型有幫助，但評測仍集中於人工設計案例，未等同於真實環境中的長期規劃能力。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, AI productions, 模型, 多模態模型, 視頻模型, Video, Image, txt2img, Dataset 數據集

---

SimVTA 為自動駕駛補上替代路線的視覺訓練

2026 年 10 月 17 日 Share to X Facebook Copy link

SimVTA 用模擬器生成不同駕駛路線的未來畫面，讓模型不只學習紀錄中的單一路徑。

自動駕駛模型需要判斷轉線、直行等替代路線，但行車紀錄通常只保留當時真正採取的路徑，其他選擇缺乏對應影像。SimVTA 屬於 driving world action model 的 post-training framework，處理的正是軌跡規劃與未來視覺監督不匹配的問題。

項目會在以 3D Gaussian Splatting（3DGS）重建的真實場景中，為候選軌跡渲染相配的未來影片，再以 Group Relative Policy Optimization（GRPO）優化軌跡，並加入 flow-matching video loss 更新共享表示。高回報候選之中，系統會優先挑選誤差較大的未來，減少有限渲染資源被低價值樣本消耗。

相較只依賴 logged trajectories 的訓練方式，SimVTA 補上了替代行動的視覺訊號；代價是需要 3D 場景重建與模擬渲染，訓練流程較複雜。推理階段則直接預測軌跡，不需再次呼叫模擬器，較適合納入自動駕駛規劃流程。

• NAVSIM v1：PDMS 由初始化模型的 86.2 提升至 91.3
• NAVSIM v2：取得 88.2 EPDMS
• HUGSIM 閉環測試：平均 HD-Score 為 38.8
• 消融結果支持共享表示更新及高誤差樣本優先策略

研究團隊包括 OpenDriveLab at HKU、Shanghai Innovation Institute、Li Auto、Tongji University 與 Tsinghua University。這個項目較適合研究自動駕駛、world action model 或模擬訓練的團隊；目前儲存庫仍標示 code 和 checkpoints 尚待發布，因此未能當作即裝即用的工具測試，重現結果仍需等待相關資源。

項目主頁 · GitHub

Categories: 開源, 香港大學, 清華大學, AI productions, 模型, 模型訓練, Video, Image, World-Action Model, 框架, 香港, 工具, 3D, 庫, 自動駕駛

---

ViRA 讓視覺表徵真正改善自動駕駛

2026 年 10 月 17 日 Share to X Facebook Copy link

ViRA 把視覺基礎模型的表徵帶入端到端駕駛訓練，提升規劃表現之餘，不增加部署時的推理成本。

端到端自動駕駛需要由鏡頭直接產生駕駛規劃，但更強的視覺表徵未必自然帶來更好決策。ViRA 是一個 planner-agnostic visual representation alignment framework，於訓練期間把規劃器特徵對齊至凍結的 visual foundation models (VFMs)，保留原有 planner 架構，部署時亦不增加推理成本。

項目由香港大學 OpenDriveLab、東南大學及 Shenzhen Loop Area Institute（SLAI）等團隊共同開發。它主要處理「視覺表徵強不等於駕駛表現強」的落差。研究測試多款 end-to-end planners，發現 VFM 目標的選擇會影響規劃效果；加入 auxiliary perception supervision 後，五個目標之間的 EPDMS 差距由 2.7 分收窄至 0.5 分，反映訓練訊號與目標模型需要一併考慮。

ViRA-Diffusion 以 DINOv3 alignment 訓練，毋須 auxiliary perception supervision，在 NAVSIM v2 navtest 取得 92.3 EPDMS，較比較中的近期方法至少高 1.9 分；在較具挑戰的 navhard，Rap* 配合 ViRA 亦錄得改善。HUGSIM 結果則屬 zero-shot，規劃器只在 NAVSIM 訓練，未在 HUGSIM 重新訓練。

項目的適用範圍：
– 適合研究 camera-only 端到端自動駕駛及 VFM 對規劃的影響。
– 可在不改動已部署 planner 架構的前提下，加入訓練期表徵對齊。
– 評測指標包括 NAVSIM 的 EPDMS，以及 HUGSIM 的 HD-Score。
– 儲存庫目前列出結果與示範已發布，但程式碼及 checkpoints 仍在待辦清單，未有足夠資料支持直接安裝或下載模型。

ViRA 更適合作為研究和模型訓練方法閱讀，而不是即時可用的駕駛軟件；它展示的是如何選擇 VFM 目標及監督方式，並非保證所有規劃器都會得到相同幅度的提升。

項目主頁 · GitHub

Categories: 開源, 香港大學, 模型, 模型訓練, 框架, 香港, 軟件, 庫, 自動駕駛

---

Multics：開源多玩家世界模型

2026 年 10 月 14 日 Share to X Facebook Copy link

Multics 是騰訊 ARC Lab 與港大合作的多玩家影片生成世界模型，靠分層通訊機制讓同一個訓練版本直接推廣到 6、8、10 人，玩家與鏡頭控制互不干擾。

打機時如果有 4 個、6 個甚至 10 個玩家走在一起，畫面要保持連貫，又要讓每個人各自控制鏡頭與動作，舊做法往往一加人就 O(N²) 爆計，或出現互相干擾。Multics 正是針對這個卡位：來自騰訊 ARC Lab 與香港大學的開源世界模型，採用 Player → Group → Global 的分層通訊，動態根據最近鏡頭軌跡分組，限制無關事件直接混合。共享的 group-token 參數令用 4 人數據訓練的模型，可以直接推廣到 6、8、10 人而毋須重新訓練。

對於做多人遊戲原型、模擬訓練環境或敘事影片的團隊，這個項目直接省掉「人數一變就要重訓模型」的麻煩，同時降低自注意力計算量，GPU 開銷壓得較低。它的代價是依賴 NVIDIA GPU、CUDA 12.8 與 Linux 環境，安裝需用 uv 同步依賴，並從 Hugging Face 下載包含 VAE、tokenizer 與 4-player checkpoint 的完整推理包。

Repository 提供 inference.py 配合 YAML 配置，可選擇 4-player 範例或擴展到多人數測試，原始資料未列出具體的玩家數上限驗證結果，只說明同一個 4 人 checkpoint 能支援 10 人輸出。代碼以 Apache 2.0 授權，研究與商業應用皆可改作。

重點摘要：

• 騰訊 ARC Lab 與香港大學共同開發的多玩家影片生成世界模型
• 分層通訊機制降低注意力計算成本，避免無關玩家互相干擾
• 共享參數設計讓 4 人訓練版本直接支援 6、8、10 人，毋須重新訓練
• 推理需 Linux + CUDA 12.8 + NVIDIA GPU，模型權重經 Hugging Face 發佈
• 適合多人遊戲畫面合成、模擬訓練、互動敘事等需要可擴展多視角的工作場景

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 騰訊, 模型, 世界模型, 模型訓練, NVIDIA, Video, 香港, Linux, Tokenize

---

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日 Share to X Facebook Copy link

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

• 速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
• 模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
• 評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
• 適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

---

GroundingPI 以 4B 視覺基礎模型連接感知與機械控制

2026 年 10 月 13 日 Share to X Facebook Copy link

GroundingPI 把視覺定位轉成可供機械系統使用的點和框，主打複雜場景下的精準感知與控制效率。

要讓自動駕駛或機械人準確知道「要處理哪件物件、位置在哪裏」，單靠一般視覺語言模型仍可能在雜亂畫面和細小物件上失準。GroundingPI 屬於視覺 grounding foundation model，以 4B 參數模型處理定位問題，輸出可供後續控制使用的視覺結構。

模型以 visual primitives 為核心，將點和框表示成 shared vocabulary 中的 quantized coordinates，再配合 vision-language model、tokenizer、processor 和 custom model code。這種做法針對 VLA（vision-language-action）及 WAM（world-action models）常見的感知瓶頸，並讓 perceptual foundation 可以轉移到 autonomous driving 和 robotic manipulation。

• 定位方式：同時支援點與框，適合指定目標及描述空間位置。
• 模型規模：4B 參數，目標是在能力與運算成本之間取得平衡。
• 評測結果：涵蓋 34 個 grounding benchmarks、11 種感知能力，對比 44 個基準模型平均達 73.68%，高於 GPT-6 Astra 的 71.54%。
• 轉移價值：在 ID 和 OOD 評估，以及 action-data efficiency 方面，展示對自動駕駛和機械人操作的幫助。

對研究團隊而言，GroundingPI 不只是單次定位模型，亦可作為 System-1 foundation-model 的感知層，補足未必擅長精準 grounding 的通用視覺模型。項目提供 Hugging Face 模型及 Demo，並列出 vLLM、Transformers backend、OpenAI-compatible API 和 JSONL batch annotation 工作流；不過提供的儲存庫資料未交代完整硬件需求，部署前仍需按文件確認環境。

研究重點同時放在 pretraining scale 和 data composition 如何影響 grounding 及轉移效果。需要即時視覺定位、閉環控制或希望減少 action data 的自動駕駛、機械人及 embodied AI 團隊，會較容易從這個模型的感知能力受益；純文字或一般影像分類工作則未必能直接發揮其價值。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 清華大學, 模型, 視覺模型, 多模態模型, 模型訓練, API, Image, VLA, World-Action Model, Robotic, 香港, 庫, Tokenize

---

InstantFusion 讓不同影像模型接力生成

2026 年 10 月 13 日 Share to X Facebook Copy link

InstantFusion 把不同 diffusion models 接到共同 latent space，令模型可以中途交接、加速生成，亦能混合不同偏好。

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換，InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具，處理的是不同 diffusion models latent space 不相容，難以直接接續生成的問題。

核心是 Latent Alignment Encoder（LAE）：模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space，再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen，LAE 負責建立彼此之間的轉換接口。

完成對齊後，生成軌跡可以交由另一個模型繼續處理，帶來三種用途：
– 不同步數預算的模型接力，嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD，以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3，並以 100 張圖片計算 mean SSIM；介面驗證亦顯示，單次 latent round trip 能保留較高 fidelity，但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值，但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference，適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫

---

Representation Guidance（RG）：以低維引導 Pixel Diffusion Transformer 生成影像

2026 年 10 月 13 日 Share to X Facebook Copy link

Representation Guidance 把生成所需資訊壓縮到低維表示，再直接引導像素生成，為大型 pixel diffusion Transformer 提供更有效率的改良方向。

由像素直接生成高質素影像，往往要在語義理解、空間細節與模型計算量之間取捨。Representation Guidance (RG) 屬於影像生成模型方法，針對 pixel diffusion transformers 加入可被生成流程主動利用的內部表示，同時保留 plain Transformer 架構，處理表示學習與像素合成未能有效銜接的問題。

RG 先用 low-dimensional bottleneck 將與生成相關的資訊集中到緊湊表示，再按照該表示帶來的 prediction offset，修改 flow-matching target，直接引導 decoder 生成。它沒有依賴外部 autoencoder 預先建立 representation space，而是由 raw pixels 端到端學習；相較加入專用 pixel decoder 的架構，RG 嘗試避免只重新分配語義及空間建模工作，並以較簡單的 Transformer 結構擴展。

在 ImageNet 256×256 測試中，RG-L/16 使用 459M 參數，在 600 epochs 達到 1.79 FID；RG-XL/16 以 724.9M 參數取得 1.55 FID、293.8 IS。項目亦報告 512×512 的 1.74 FID，並延伸至 text-to-image，在 GenEval 取得 0.89、DPG-Bench 取得 87.1；這些結果顯示方法適合研究高解析度像素生成及文字生圖，但較大型模型仍需要相當計算資源。

你可從以下幾點理解它的實際價值：
– 低維 bottleneck 將生成相關資訊集中，減少表示與生成流程各自學習的落差。
– RG-L/16 以較少參數超越更大型的 pixel diffusion transformers。
– plain Transformer 方便研究內部表示如何形成及影響像素合成。
– 項目資料提供結果與模型規模，但未交代完整安裝、下載或推理流程，測試前仍需查看 Project Page 或後續程式碼。

較適合研究 pixel diffusion、生成式表示學習，以及希望比較 flow matching 架構的團隊。它的價值不在於提供即時可用的生圖工具，而在於把「學到表示」與「利用表示生成」放入同一個訓練機制；模型參數和 GFLOPs 仍然偏高，未必適合資源有限的個人電腦。

項目主頁 · GitHub

Categories: 開源, 香港大學, 阿里巴巴, 模型, 模型訓練, Image, World-Action Model, txt2img, 香港, 工具

---