Lumos-Custom 是阿里巴巴DAMO 學院的開源影片定制研究合集，把三個子項目整合在同一個儲存庫，方便研究者各自取用。三個子項目分別對應不同的影片生成難題：身份與屬性定制、打光控制，以及結合推理的統一生成。

其中最受關注的是 Lumos-Nexus （arXiv 2605.31603）。它解決了一個長期痛點：把大型高保真生成器放進統一訓練迴圈成本太高，改為訓練一個輕量的連接器對齊理解模組，再用「Unified Progressive Frequency Bridging (UPFB)」在推論時把任務交接給預訓練的高容量生成器，既省訓練資源又保留視覺品質。為了補足推理類影片生成的評測空白，作者還發布了 VR-Bench。

第二個項目是 LumosX，已被 ICLR 2026 接收。它的切入點是「多主體個性化影片生成」：先用字幕與 MLLM 抽取的先驗建構關係結構，再透過 Relational Self-Attention 與 Relational Cross-Attention 編碼主體與屬性之間的依賴。評測資源集中在 LumosX/benchmark/，權重已上傳 Hugging Face。

第三個項目是 UniLumos（NeurIPS 2025），專注於圖像與影片的統一重新打光，採用 RGB 空間幾何回饋配合 flow-matching 主幹，適合需要控制光影的研究與應用場景。

總結要點：

• ** DAMO 是 Discovery, Adventure, Momentum and Outlook
• Lumos-Nexus：輕量訓練搭配 UPFB 頻率交接，兼顧推理品質與視覺保真度
• LumosX：以關係式注意力處理多主體個性化生成，附 benchmark 與 Hugging Face 權重
• UniLumos：統一圖片與影片重新打光，採用 flow-matching 與幾何回饋
• VR-Bench：補上推理驅動影片生成的評測缺口
• 子項目獨立部署：每個子項目都有獨立 README，支援單獨安裝與重現

這個項目適合研究影片生成、多模態統一模型與個性化生成的研究者與工程師。如果你想驗證 Lumos-Nexus 的推理影片效果，可進入 Lumos-Nexus/ 跟隨 README 取得 OmniVideo 權重並跑批次推論；想評測打光則可參考 UniLumos 提供的流程。

✧ Repository layout ✧

Lumos-Custom/
├── README.md                 # This file: umbrella overview
├── LumosX/                   # ICLR 2026 · personalized multi-subject video generation
│   └── README.md
├── UniLumos/                 # NeurIPS 2025 · unified relighting + LumosBench/
│   ├── README.md
│   └── LumosBench/
└── Lumos-Nexus/              # arXiv preprint · reasoning-driven unified video generation + VR-Bench
    ├── README.md
    └── vr_bench_eval/

GitHub： https://github.com/alibaba-damo-academy/Lumos-Custom

項目： https://jiazheng-xing.github.io/nexus-lumos-home/

LatentOmni 是一個面向影音多模態大語言模型的研究項目，重點不是叫模型先把線索全都翻成文字再慢慢推理，而是讓聲音與畫面的資訊在同一個潛在空間內一起運作。簡單講，它想保留更多原始感官訊號，減少中途只靠語言猜答案的情況。

這個方向要解決的問題很明確：不少模型在看影片、聽聲音後，雖然能描述內容，但一遇到需要同時對齊時間、事件因果或細節關聯的題目，表現便會下跌。LatentOmni 提出的做法，是把文字推理流程與影音潛在狀態交錯進行，並用 OSPE 這類時間同步設計，幫助模型對準聲畫節奏。

從使用角度看，現時這個 GitHub 儲存庫仍以論文與概念介紹為主，訓練程式、推論程式、模型權重和資料集尚未正式釋出。因此較適合先拿來了解新一代多模態推理方法，或者作為研究與技術評估的參考，而不是立即部署到產品流程。

• 核心亮點是統一聲音與畫面的潛在推理，而非只輸出文字式思路
• 加入特徵層級監督與 OSPE，目標是保留時間對齊與跨模態關聯
• 配套資料集為 LatentOmni-Instruct-35K，用來訓練交錯式影音推理軌跡
• 論文指出它在多個影音推理基準上，表現優於明確文字 CoT 基線

整體來看，這個項目最吸引之處，是它把「模型怎樣思考」由文字中介，推前到更接近原始聲畫訊號的層面。適合關注 MLLM、影音理解、跨模態推理的人留意；若你想比較相關模型，也可把它與依賴文字 CoT 的開源多模態模型放在同一條線上觀察。不過現階段公開內容有限，性能細節仍應以論文報告為準，評估時要保持審慎。

GitHub： https://github.com/yfanDai/LatentOmni

Paper： https://arxiv.org/pdf/2605.22012

ZEDA 針對的是一個很實際的痛點：大型 MoE 模型雖然強，但部署時每次回應都要動用唔少計算資源，成本高、速度亦受影響。呢個專案的目標，係唔使由頭再訓練模型，而係在現有、已做完後訓練的 MoE 之上，再改造成更靈活的動態版本。

它的做法有點似「老師帶學生」：先用原本的 MoE 當固定老師，再訓練新的學生模型去學習輸出，同時加入一種零輸出的專家，讓部分較簡單的 token 可以略過不必要計算。根據論文與倉庫資訊，這種方法可減少超過一半 expert FLOPs，整體表現只屬輕微下跌，並帶來約 1.20 倍端到端推理加速。

ZEDA 不是通用開發框架；它是清華 C3I 團隊的一個研究專案，從公開論文摘要看，全名是 Zero-Expert Self-Distillation Adaptation，目標是把靜態 MoE 模型轉成更高效的動態 MoE 模型，以降低推理成本並提升速度。這個專案對應的 GitHub 倉庫就是 TsinghuaC3I/ZEDA，而論文頁面也明確指向該 repo。

實際動手時，流程大致分兩步：先做 SFT，利用老師模型產生的回應或已釋出的 rollout 結果訓練學生；之後再做 OPD，改為由學生自己生成，再由老師提供 token 級別目標去微調。倉庫亦提到可配合已公開的 prompts 與 rollout 資料使用，對想重現結果或套用到指定 MoE 的人會方便不少。

• 核心價值：把已完成訓練的靜態 MoE，改成推理時更慳算力的動態 MoE
• 方法亮點：加入零輸出專家，再用兩階段自蒸餾穩定轉換過程
• 可選模型：Qwen3-30B-A3B、GLM-4.7-Flash
• 適合場景：模型已定版，但上線後仍想再壓低推理成本
• 資料配套：提供 prompts 集合，亦釋出部分 rollout 結果可直接利用

整體來看，ZEDA 最值得留意的地方，不是單純追求更高分，而是補上「模型已經訓練完，之後仲可以點樣再慳資源」這一步。對研究 MoE 部署、推理優化，或者手上已有大型後訓練模型的團隊，這個方向相當有參考價值；至於一般讀者，可以把它理解成一種用較少電腦功夫，換來差不多效果的改裝方案。

GitHub： https://github.com/TsinghuaC3I/ZEDA

Paper： https://arxiv.org/pdf/2605.18643

KVPO 係一個針對影片生成訓練流程嘅研究型專案，焦點唔係單純「生成到片」，而係令模型喺逐格、逐段生成嘅過程中，更穩定咁貼近文字提示同預期內容。對一般讀者嚟講，可以理解成：佢想改善 AI 影片成日出現嘅「開頭啱、之後走樣」問題。

呢個方法特別之處，在於佢唔只睇最後條影片好唔好，而係會喺生成途中做多條候選路線探索，再用獎勵模型判斷邊條路線更值得學。README 提到佢結合咗類似 PPO 嘅強化學習更新，以及對生成軌跡嘅機率估計，目標係令自動回歸影片模型學得更準。

實際了解同試用呢個專案，會由查看論文、專案頁面同釋出權重開始，再按設定準備對應環境、模型權重同資料。由於文件列出咗 H200、CUDA 12.8、Wan2.1 backbone，以及 HPSv3、VideoReward 等元件，較適合已有 GPU 資源、熟悉深度學習訓練流程嘅讀者，而唔係即開即用型工具。

• 主要處理影片生成中內容偏離提示、時間一致性變差等問題
• 核心做法係先探索多個生成分支，再用獎勵分數引導學習
• 研究重點放喺自動回歸影片模型，而唔係一般圖片生成
• 文件顯示會配合 Wan2.1-T2V-1.3B 等 backbone 使用
• 仲會涉及 HPSv3、VideoReward 呢類評分或獎勵相關模型

整體而言，KVPO 比較適合關注影片生成訓練方法嘅研究者、工程師，或者想比較唔同對齊策略嘅團隊。對非技術用家，佢未必係直接拎嚟出片嘅方案；但作為觀察新一代影片模型點樣「學識跟指令」嘅方向，呢個專案幾有參考價值。

GitHub： https://github.com/Richard-Zhang-AI/KVPO

Paper： https://arxiv.org/pdf/2605.14278

Flash-GRPO 針對的是影片生成模型訓練中一個很實際的難題：要令模型更貼近人類偏好或評分標準，傳統做法往往要走完整訓練軌跡，計算量高、時間長，對硬件要求亦相當重。這個專案提出單步式優化框架，重點是用較低運算預算，換取更有效率的對齊效果。

從公開資料來看，它主要面向影片擴散模型，並配合獎勵模型一同使用。實際動手時，需要先準備基礎模型 Wan2.1-1.3B，以及 README 提到的 HPSv3 獎勵模型，再按專案提供的訓練流程啟動；現階段較適合已熟悉 Python、分散式訓練和 GPU 環境的人直接試跑。

這個方法較有意思的地方，在於它不只是「少做步驟」，而是嘗試處理時間步之間訓練訊號不穩定的問題。README 提到兩個核心設計：一個是維持同一提示詞在時間上的一致性分組，另一個是修正不同時間步梯度尺度不一致的情況，目標是令訓練更穩定，也更容易比較模型表現。

• 主打影片擴散模型的對齊訓練，而非一般文字模型微調
• 強調單步式策略優化，方向上比完整軌跡訓練更省資源
• 已在 1.3B 到 14B 規模模型做實驗驗證
• 相關基礎組件，包括 Wan2.1-1.3B 與 HPSv3

整體來說，Flash-GRPO 比較適合做生成式 AI 研究、影片模型訓練優化，或想評估低成本對齊方案的團隊。對一般用家而言，它不是即裝即用的成品；但對需要在有限 GPU 預算下提升訓練效率的人，這個專案展示了一條相當值得關注的技術路線。

GitHub： https://github.com/Shredded-Pork/Flash-GRPO

Paper： https://arxiv.org/pdf/2605.15980

生成圖片時，最常令人出戲的往往不是背景，而是招牌上的字、海報上的字句，或者人臉五官的細節。InsightTok 針對的正正是這兩個難位：它不是直接改整個生圖模型，而是先改善圖片被「拆解成代碼」的方式，讓後續生成時更易保留重要內容。

實際使用上，這類專案較適合已經在做文字生成圖片、研究離散視覺 tokenization，或使用自回歸圖像生成流程的開發者與研究者。重點在於把原有流程中的視覺 tokenizer 換成 InsightTok 這一類方案，後面的生成模型理論上毋須大改，對現有管線算是較容易接入。

它的特別之處，在於沒有只用一般重建目標，而是更有意識地照顧局部而且重要的內容，例如文字區域與人臉區域。根據儲存庫提供的說明，它在相同壓縮率下，能做到更好的文字與人臉重建，同時只用 16× downsampling 和 16,384 個條目的 codebook，額外訓練成本亦相對有限。

• 主要改善圖片中的文字可讀性與人臉細節還原
• 可兼容標準自回歸圖像生成流程，毋須連下游模型一併重寫
• 在相同壓縮條件下，重建效果主打更清晰、更忠於原圖
• 設計上延續 VQGAN 風格 tokenizer 思路，但加強重點區域 supervision
• 相關脈絡包括離散視覺 tokenizer、VQGAN 風格方法，以及文字生成圖片模型

整體來看，InsightTok 吸引之處不在花巧功能，而在於它抓到生圖最常被批評的痛點，再用相對務實的方法補強。對一般讀者來說，可以把它理解成一個「令 AI 更識得保住字同樣貌」的底層零件；對技術團隊而言，它較像是一個可直接提升畫面可用性的基礎組件。

GitHub： https://github.com/LeapLabTHU/InsightTok

Paper： https://arxiv.org/pdf/2605.14333