Lumos-Custom 是阿里巴巴DAMO 學院的開源影片定制研究合集，把三個子項目整合在同一個儲存庫，方便研究者各自取用。三個子項目分別對應不同的影片生成難題：身份與屬性定制、打光控制，以及結合推理的統一生成。

其中最受關注的是 Lumos-Nexus （arXiv 2605.31603）。它解決了一個長期痛點：把大型高保真生成器放進統一訓練迴圈成本太高，改為訓練一個輕量的連接器對齊理解模組，再用「Unified Progressive Frequency Bridging (UPFB)」在推論時把任務交接給預訓練的高容量生成器，既省訓練資源又保留視覺品質。為了補足推理類影片生成的評測空白，作者還發布了 VR-Bench。

第二個項目是 LumosX，已被 ICLR 2026 接收。它的切入點是「多主體個性化影片生成」：先用字幕與 MLLM 抽取的先驗建構關係結構，再透過 Relational Self-Attention 與 Relational Cross-Attention 編碼主體與屬性之間的依賴。評測資源集中在 LumosX/benchmark/，權重已上傳 Hugging Face。

第三個項目是 UniLumos（NeurIPS 2025），專注於圖像與影片的統一重新打光，採用 RGB 空間幾何回饋配合 flow-matching 主幹，適合需要控制光影的研究與應用場景。

總結要點：

• ** DAMO 是 Discovery, Adventure, Momentum and Outlook
• Lumos-Nexus：輕量訓練搭配 UPFB 頻率交接，兼顧推理品質與視覺保真度
• LumosX：以關係式注意力處理多主體個性化生成，附 benchmark 與 Hugging Face 權重
• UniLumos：統一圖片與影片重新打光，採用 flow-matching 與幾何回饋
• VR-Bench：補上推理驅動影片生成的評測缺口
• 子項目獨立部署：每個子項目都有獨立 README，支援單獨安裝與重現

這個項目適合研究影片生成、多模態統一模型與個性化生成的研究者與工程師。如果你想驗證 Lumos-Nexus 的推理影片效果，可進入 Lumos-Nexus/ 跟隨 README 取得 OmniVideo 權重並跑批次推論；想評測打光則可參考 UniLumos 提供的流程。

✧ Repository layout ✧

Lumos-Custom/
├── README.md                 # This file: umbrella overview
├── LumosX/                   # ICLR 2026 · personalized multi-subject video generation
│   └── README.md
├── UniLumos/                 # NeurIPS 2025 · unified relighting + LumosBench/
│   ├── README.md
│   └── LumosBench/
└── Lumos-Nexus/              # arXiv preprint · reasoning-driven unified video generation + VR-Bench
    ├── README.md
    └── vr_bench_eval/

GitHub： https://github.com/alibaba-damo-academy/Lumos-Custom

項目： https://jiazheng-xing.github.io/nexus-lumos-home/

LongCat-Video 是一個 13.6B 參數的影片生成項目，主打把文字生成影片、圖片生成影片，以及影片續寫放進同一套架構。對一般使用者來說，最易明白的價值是：不用為不同影片任務分開找不同模型，處理流程可以更集中。

它解決長影片生成常見的畫面走樣、色彩飄移，以及愈生成愈差的情況。項目特別提到自己原生預訓練了影片續寫能力，因此在長時間內容上較有優勢，目標是生成分鐘級影片時仍保持穩定。

先決定輸入方式：有文字概念就做 Text-to-Video，有單張圖片就做 Image-to-Video，要接續既有片段就用 Video-Continuation。提供相關模型與延伸版本，包括 LongCat-Video、LongCat-Video-Avatar 1.5，以及 Hugging Face 與 ModelScope 上提供的模型頁面。

它同時強調速度與畫質。項目表示透過時間與空間兩個方向的 coarse-to-fine 生成策略，再配合 Block Sparse Attention，可在數分鐘內產出 720p、30fps 影片；這類設計對高解析度生成尤其重要，因為影片模型最常見瓶頸就是算力與等待時間。

• 單一模型支援 Text-to-Video、Image-to-Video、Video-Continuation
• 強調長影片生成，主打減少色偏與畫質退化
• 以 coarse-to-fine 加速推理，兼顧效率與解析度
• 提到用多重獎勵的 GRPO 強化學習提升整體表現

這項目較適合關注開源影片生成、長片段內容、角色或場景延續的人，也適合想研究統一式影片模型設計的開發者。其表現可比肩領先開源模型與新近商業方案，但更細的分數與比較細節，仍需要配合技術報告一併閱讀會較穩妥。

Evaluation Results

Text-to-Video

The Text-to-Video MOS evaluation results on our internal benchmark.

Image-to-Video

The Image-to-Video MOS evaluation results on our internal benchmark.

GitHub： https://github.com/meituan-longcat/LongCat-Video

生成圖片時，最常令人出戲的往往不是背景，而是招牌上的字、海報上的字句，或者人臉五官的細節。InsightTok 針對的正正是這兩個難位：它不是直接改整個生圖模型，而是先改善圖片被「拆解成代碼」的方式，讓後續生成時更易保留重要內容。

實際使用上，這類專案較適合已經在做文字生成圖片、研究離散視覺 tokenization，或使用自回歸圖像生成流程的開發者與研究者。重點在於把原有流程中的視覺 tokenizer 換成 InsightTok 這一類方案，後面的生成模型理論上毋須大改，對現有管線算是較容易接入。

它的特別之處，在於沒有只用一般重建目標，而是更有意識地照顧局部而且重要的內容，例如文字區域與人臉區域。根據儲存庫提供的說明，它在相同壓縮率下，能做到更好的文字與人臉重建，同時只用 16× downsampling 和 16,384 個條目的 codebook，額外訓練成本亦相對有限。

• 主要改善圖片中的文字可讀性與人臉細節還原
• 可兼容標準自回歸圖像生成流程，毋須連下游模型一併重寫
• 在相同壓縮條件下，重建效果主打更清晰、更忠於原圖
• 設計上延續 VQGAN 風格 tokenizer 思路，但加強重點區域 supervision
• 相關脈絡包括離散視覺 tokenizer、VQGAN 風格方法，以及文字生成圖片模型

整體來看，InsightTok 吸引之處不在花巧功能，而在於它抓到生圖最常被批評的痛點，再用相對務實的方法補強。對一般讀者來說，可以把它理解成一個「令 AI 更識得保住字同樣貌」的底層零件；對技術團隊而言，它較像是一個可直接提升畫面可用性的基礎組件。

GitHub： https://github.com/LeapLabTHU/InsightTok

Paper： https://arxiv.org/pdf/2605.14333

FashionChameleon 針對的是一個很實際的問題：想將人物影片中的服飾換款，但又不想等太耐，亦不想一換衫就令動作、姿勢或畫面穩定性明顯走樣。它把重點放在「生成途中仍可互動調整」，對電商展示、短片製作和虛擬試衫概念都幾有參考價值。

現階段較適合把它當成研究成果去了解，而不是即裝即用工具。公開資訊顯示，作者已提供論文和專案頁，但模型權重、前訓練與後訓練程式碼仍未完全釋出；想實際跟進，可先看示範頁面與技術報告，理解它點樣處理單件服飾影片資料，再留意後續更新。

它較特別的地方，在於不用依賴大量「同一人物不停換多套衫」的影片去訓練，改為先用單一參考圖與服飾圖建立學習方式，再透過串流式蒸餾提升長片段一致性。另一個亮點是生成期間可重整快取機制，令服飾切換更貼近即時互動，而不只是預先算好一條片。

重點可留意以下幾點：
– 主打人物服飾層面的影片客製化，而非單純換背景或整體風格
– 強調即時生成，論文提到單張 GPU 可達 23.8 FPS
– 目標是在換衫時保留動作連貫，減少前後畫面跳動感
– 訓練思路偏向用單件服飾資料學出可切換能力
– 現時較多是研究展示，部署門檻仍視乎後續釋出的程式與權重

相關模型方向可聯想到 image-to-video、人像影片生成、服飾替換與自回歸影片模型；文中亦明確圍繞 teacher model、streaming distillation 和 KV cache rescheduling 幾個核心設計。整體來說，FashionChameleon 最吸引之處不只是「識換衫」，而是朝住可互動、低延遲、長片仍較穩定這三件事同步推進，對需要即時預覽效果的應用尤其值得留意。

GitHub： https://github.com/quanjiansong/FashionChameleon

Paper： https://arxiv.org/pdf/2605.15824

如果你對 AI 生成影片有興趣，Causal-Forcing 最值得留意的地方，不只是「出片快」，而是它特別著重動作變化是否合理。很多影片模型可以生成靚畫面，但人物移動、鏡頭轉換或物件軌跡，往往會有忽快忽慢、前後不連貫的情況；呢個專案正正是針對這類動態問題下手。

它的核心想法，是用更符合時間先後關係的方法，去引導自回歸式影片生成。簡單講，模型不只是學每一格畫面「似唔似」，而是更重視每一步動作點樣接續上一刻，令運動軌跡更穩定。README 亦明確指出，Causal Forcing 在視覺品質之外，對 motion dynamics 的表現比 Self Forcing 更好，而且訓練成本與推理效率大致維持同一水平。

對一般使用者而言，上手方向算清晰：它已提供推理與訓練流程，並支援文字生成影片，以及由圖片延伸成影片的形式。特別是 frame-wise 版本，因為按逐格方式處理，較容易理解為直接面向每個時間步，對需要細緻控制動作延續的人會更有吸引力。

• 重點放在動作連貫性，不只追求單幀畫面靚
• 支援 chunk-wise 與 frame-wise 兩類模型設計
• 涵蓋 T2V、I2V，實用場景較廣
• Causal Forcing++ 再進一步提供 1-step、2-step frame-wise 模型
• 相關版本可留意 Causal Forcing、Causal Forcing++，以及 README 提到的 Self Forcing 作比較對象

再看它的創新位，關鍵在於用 Causal ODE，或在 Causal Forcing++ 中改用 causal Consistency Distillation，去做一個更合理的初始化，再配合 asymmetric DMD。從專案說明可見，作者很強調「生成軌跡要對齊」這件事，亦因此在某些階段要使用自回歸老師模型，這對保持動作隨時間推進的一致性尤其重要。

如果你的重點是互動式影片、角色連續動作、長一點的鏡頭推進，呢個專案比起只看單張效果的模型更值得研究。它未必是最易即學即用的大眾化工具，但對於想改善 AI 影片「會動但唔自然」這個老問題的人，方向相當明確。

網址： https://github.com/thu-ml/Causal-Forcing

網址： https://arxiv.org/pdf/2605.15141

如果你曾經試過為一個新題目做簡報，就會知道最花時間的往往不是排版，而是先找資料、定重點、再把內容講清楚。PresentAgent-2 想處理的，正正是由一句自然語言提問開始，逐步變成一段有旁白的簡報影片，而不是假設你一開始已經有一份完整文件。

這個專案的流程相當清晰：先把模糊問題收窄成較聚焦主題，再整理候選來源，抽取文字、圖片、GIF 甚至影片素材，之後才規劃簡報結構、生成投影片與講稿，最後合成音畫對齊的影片。對一般用家來說，可以理解為把「搜集資料、寫大綱、做 slides、配音」串成一條自動化工作流。

較有意思的是，它不只做單一講者式內容，還支援多講者討論，以及有根據的互動問答三種形式。另一方面，動態素材會盡量保留為 GIF 或影片，而不是全部截成靜態圖，這令最後成品更接近真正可觀看的解說片，而不只是會動的投影片。

如果你想了解它是否適合自己，較合用的情境包括教學短片、研究題目導讀、產品介紹，或需要快速把一個概念講清楚的內容製作。現階段它更像研究型框架，較適合 AI、多模態內容生成、代理式工作流的開發者與研究者參考，而非即開即用的普通消費工具。

• 由短查詢出發，不需要先準備完整原稿
• 可產出投影片、講稿、旁白與最終影片
• 支援單人講解、多人討論、互動問答
• 能保留 GIF 與影片等動態素材，表達力較強
• 評估方式包含選擇題測試與主觀打分，重視內容與呈現效果

相關模型方面，倉庫資料提到以 VLM 參與評估，扮演觀眾回答問題及進行評分，但公開資訊未見完整列出所有底層模型名稱。若你關心的不是單一模型，而是「怎樣把多個能力串成可交付影片」，PresentAgent-2 的參考價值會比單看文字或圖像生成工具更高。

網址： https://github.com/AIGeeksGroup/PresentAgent-2

如果你對 AI 影片生成有興趣，但又覺得「要大量素材先訓練」門檻太高，Warp-as-History 的吸引力正在於它嘗試只用一段訓練影片完成相機視角控制。簡單講，它想做的是讓系統學會原片中的空間與運鏡關係，再按你指定的鏡頭路徑生成新畫面。

對一般使用者來說，理解這個專案的最好方法，不是把它當作普通文字生片工具，而是視為一個偏向「鏡頭操控」的研究型方案。你需要先準備一段帶有相機資訊的影片，再配合指定模型做推理或訓練；官方列出的預設組合包括 Helios-Distilled、Warp-as-History LoRA，而 Helios-Mid 主要用於訓練，另外 README 亦提到 Pi3X。

它解決的重點問題，是生成影片時常見的視角不穩、鏡頭移動不連貫，以及難以精準控制觀看方向。這個方法特別強調互動式鏡頭軌跡跟隨與視點調整，定位上與 HappyOyster、Genie 3 這類方向相近，但賣點是把所需訓練資料壓到單一範例，這點相當有研究價值。

• 一段訓練影片 已是核心設定，對資料收集要求較低
• 重心不在純文字生成，而在鏡頭路徑與視角控制
• 相關模型包括 Helios-Distilled、Warp-as-History LoRA、Helios-Mid、Pi3X
• 較適合研究實驗、效果驗證，未必是即開即用的消費級工具

如果你是做生成式影像研究、互動敘事、虛擬攝影，這個專案值得留意；若你只是想快速剪片或一鍵出成品，可能會覺得前置準備仍然偏技術性。整體來看，Warp-as-History 最有意思的地方，是把「影片歷史資訊」由單純上下文提升為可延續的視角依據，令相機控制這件事更像真正可操作的生成條件。

網址： https://github.com/yyfz/Warp-as-History

MoCam 是一個針對影片「重新取景」的方法，重點是由原有影片生成新的觀看角度。它主打在幾何先驗不完整、失真，甚至場景有動態變化時，仍能產生較連貫而且接近真實感的畫面。

這個方法的核心做法，是把生成過程分成較有結構的去噪步驟：先處理初步的幾何對齊，再逐步修正外觀細節。簡單理解，就是先盡量擺正場景與視角，再補回畫面的質感，藉此減少新視角常見的破碎、跳動或不自然問題。

對一般讀者而言，它適合用來理解新一代影片視角生成技術如何改善傳統方法的限制，特別是面對複雜鏡頭移動，例如大幅度運鏡、推拉鏡，以及 bullet time 一類效果。網站展示亦顯示，它同時面向靜態與動態場景，而不只限於單一物件或簡單背景。

重點可留意：
– 可由影片生成新的鏡頭角度與運鏡效果
– 幾何資訊不足時，仍嘗試維持畫面穩定性
– 以分階段去噪流程兼顧對位與外觀修飾
– 展示涵蓋大幅移動、複雜軌跡、Dolly Zoom 等情境

目前公開頁面以研究簡介和示範效果為主，GitHub 與 Hugging Face 模型仍標示為即將推出，因此暫時未見完整上手文件、安裝方式或量化評測數字。若你是做電腦視覺、影片生成、虛擬攝影，或想了解擴散模型如何應用在新視角合成，這個項目值得持續留意。

網址： https://orange-3dv-team.github.io/MoCam/