Lumos-Custom 是阿里巴巴DAMO 學院的開源影片定制研究合集，把三個子項目整合在同一個儲存庫，方便研究者各自取用。三個子項目分別對應不同的影片生成難題：身份與屬性定制、打光控制，以及結合推理的統一生成。

其中最受關注的是 Lumos-Nexus （arXiv 2605.31603）。它解決了一個長期痛點：把大型高保真生成器放進統一訓練迴圈成本太高，改為訓練一個輕量的連接器對齊理解模組，再用「Unified Progressive Frequency Bridging (UPFB)」在推論時把任務交接給預訓練的高容量生成器，既省訓練資源又保留視覺品質。為了補足推理類影片生成的評測空白，作者還發布了 VR-Bench。

第二個項目是 LumosX，已被 ICLR 2026 接收。它的切入點是「多主體個性化影片生成」：先用字幕與 MLLM 抽取的先驗建構關係結構，再透過 Relational Self-Attention 與 Relational Cross-Attention 編碼主體與屬性之間的依賴。評測資源集中在 LumosX/benchmark/，權重已上傳 Hugging Face。

第三個項目是 UniLumos（NeurIPS 2025），專注於圖像與影片的統一重新打光，採用 RGB 空間幾何回饋配合 flow-matching 主幹，適合需要控制光影的研究與應用場景。

總結要點：

• ** DAMO 是 Discovery, Adventure, Momentum and Outlook
• Lumos-Nexus：輕量訓練搭配 UPFB 頻率交接，兼顧推理品質與視覺保真度
• LumosX：以關係式注意力處理多主體個性化生成，附 benchmark 與 Hugging Face 權重
• UniLumos：統一圖片與影片重新打光，採用 flow-matching 與幾何回饋
• VR-Bench：補上推理驅動影片生成的評測缺口
• 子項目獨立部署：每個子項目都有獨立 README，支援單獨安裝與重現

這個項目適合研究影片生成、多模態統一模型與個性化生成的研究者與工程師。如果你想驗證 Lumos-Nexus 的推理影片效果，可進入 Lumos-Nexus/ 跟隨 README 取得 OmniVideo 權重並跑批次推論；想評測打光則可參考 UniLumos 提供的流程。

✧ Repository layout ✧

Lumos-Custom/
├── README.md                 # This file: umbrella overview
├── LumosX/                   # ICLR 2026 · personalized multi-subject video generation
│   └── README.md
├── UniLumos/                 # NeurIPS 2025 · unified relighting + LumosBench/
│   ├── README.md
│   └── LumosBench/
└── Lumos-Nexus/              # arXiv preprint · reasoning-driven unified video generation + VR-Bench
    ├── README.md
    └── vr_bench_eval/

GitHub： https://github.com/alibaba-damo-academy/Lumos-Custom

項目： https://jiazheng-xing.github.io/nexus-lumos-home/

Skill0.5 是一個面向 Agentic Reinforcement Learning 的研究項目，聚焦處理 out-of-distribution generalization 問題。它指出傳統 skill-based RL 方法常要在 full externalization 與 full internalization 之間二選一，前者會帶來高昂的 context 開銷，後者則容易出現 overfitting 與知識衝突。

這項目把 general skill internalization 與 task-specific skill utilization 一同納入訓練，但用不同策略處理兩種性質不同的技能。系統會用 difficulty-aware router 按任務難度分流：Hard tasks 用 privileged distillation 內化通用技能，Medium tasks 用標準 RL 提升成功率，Easy tasks 則透過 diagnostic probing 懲罰走捷徑的行為，迫使模型忠實運用任務相關技能。

對初步理解這個項目的人來說，可先把它視為一種「按難度分工」的訓練框架，而不是單一模型結構。使用時要留意 context 開銷被視為問題之一，某程度上也反映較重的外部技能依賴可能增加資源壓力，包括 VRAM 與序列處理成本。

• 解決 rigid choice 問題，避免只靠 externalization 或 internalization
• 用 difficulty-aware router 把任務分成 Hard、Medium、Easy 三層
• 分別結合 privileged distillation、標準 RL 與 diagnostic probing
• 在 ALFWorld 與 WebShop 中，據摘要所述優於 memory-based 與 skill-based RL baselines

這類項目較適合研究智能代理、任務規劃與泛化能力的人參考，尤其是想改善模型在陌生情境下穩定性的團隊。

訓練和實現時使用 Qwen2.5-7B-Instruct 作為基礎模型。策略最佳化方面採用 GRPO 作為骨幹網絡，組別大小 G = 8，學習率為 1 × 10⁻⁶。訓練在 4 個 H800 GPU 上進行，每次迭代的批次大小為 16 個任務，最大互動範圍設定為 30 步。任務特定技能透過 Qwen3-Embedding-0.6B 取得。

GitHub： https://github.com/JasonZhujp/Skill0_5

這篇論文介紹 LaRA（Layer-wise Representation Analysis），目的是找出 Reinforcement learning（RL）post-training 階段的資料污染問題。所謂污染，是指評估題目或基準資料混入訓練資料，令 Large Language Models（LLMs）看似表現很好，但其實可能只是記住答案，影響泛化能力與評估可信度。

作者指出，現有方法多數只看輸出層面的訊號，例如 likelihood、entropy 或生成行為差異，但這類方法對 RL 訓練後的模型未必穩定。原因是 RL 重點在整條 reasoning trajectory 的 reward，而不是逐個 token 的機率，因此只靠輸出分佈，容易受 miscalibration 影響，未必能準確反映模型是否記住了評測資料。

LaRA 改為分析模型各層的內部表示，觀察受控擾動前後的幾何變化。論文提出三個互補指標：perturbation sensitivity、directional collapse、local representation rigidity，用來量度污染樣本在不同 layer 的異常反應；作者發現，受污染資料會在多層表示中逐步出現更高敏感度、更強方向收縮，以及更高局部剛性。

使用這個項目時，重點不是增加推理速度，而是作為檢測流程，協助研究人員審視 RL 訓練後模型的可信度。文中也提出一套偵測 protocol，把不同 layer 與不同指標的偏差整合起來；在 RL-trained reasoning models 的實驗中，這套方法表現優於現有 output-level baseline。

• 解決 RL post-training 資料污染難以辨識的問題
• 以 representation-level 訊號取代單看輸出機率
• 結合三個指標，從多層 layer 分析污染痕跡
• 適合用於 reasoning 模型評估、訓練審核與研究比較
• 論文摘要未提供 VRAM 需求，較可能受模型大小、抽取 layer 數目與批次分析設定影響

如果你關心 VRAM 的應用，這篇內容沒有列出明確顯示卡記憶體需求，也沒有提供部署規格。不過按方法性質推測，LaRA 需要讀取多個 layer 的 hidden representations，使用時 VRAM 主要會花在模型載入、儲存中間層表示，以及對多個擾動版本做批次分析；模型越大、分析層數越多，VRAM 需求通常越高。

Paper： https://arxiv.org/pdf/2605.29888

NAVA 是一個主打音訊與影片同步生成的項目，目標不是先整好畫面再補聲，而是由一開始就把兩者放在同一個生成流程內處理。對非技術讀者來說，可以把它理解成一個較重視「畫面發生什麼，聲音就跟住發生什麼」的模型，因此打鬥、說話、環境聲這類時間配合會更自然。

這個項目的核心做法，是先在獨立空間建立 audio-video alignment，再用文字或其他 context 去引導生成，並採用 Align-then-Fuse MMDiT 架構。另一個亮點是 Timbre-in-Context Conditioning，能把參考 WAV 的音色對應到指定語音片段，適合多角色對白、指定聲線或旁白控制。

NAVA 有 6.3B 參數，可在 8 張 GPUs 配合 Ulysses sequence parallelism 下約 1 分鐘生成 720p 影片，這代表它主要面向高階 GPU 環境；VRAM 的作用是存放模型權重、推理中的中間特徵、音訊與影片 token，以及較高解像度生成所需的緩衝空間，VRAM 越充足，越有機會支援更高畫質、較長內容或較穩定的批次推理。

• 支援 native stereo audio，畫面、場景聲與語音一併生成
• 可用文字控制鏡頭構圖、運鏡與節奏
• 支援 multi-timbre voice control，適合多角色配音場景
• 同一 checkpoint 可輸出橫向、直向與正方形比例
• 英文 TTS 表現較強，其他語言支援看來仍較有限

它在 Verse-Bench、Seed-TTS 及用戶研究中，於影片質素、聲畫同步和參考音色可控性有明顯優勢，音訊質素亦具競爭力。若你關注開放式 audio-video generation、TTS、虛擬角色影片、短片內容製作，或者想研究 6.3B 級別模型如何平衡同步效果與運算需求，NAVA 是一個很值得細看的項目。

GitHub： https://github.com/ernie-research/NAVA

Lens 是 Microsoft 推出的文字生成圖片模型，規模約 3.8B 參數，重點不只是畫質，還包括「用較少訓練成本做到接近甚至追上更大模型」。這個 GitHub 項目目前定位清晰，主要提供推論用途的最小程式碼，方便直接用現成 checkpoint 生成圖片。

動手方式很直接：準備好 Lens 的權重後，利用這個項目的推論程式輸入文字提示，便可生成圖像。它特別適合想快速試畫面風格、測試長提示詞效果，或者比較不同文字生圖模型輸出的人；若要完整訓練或微調流程，現有儲存庫資訊顯示並不是這個項目的重心。

它解決的核心問題，在於近年文字生圖模型愈做愈大，訓練成本高得驚人。Lens 嘗試從資料密度、模型結構和解析度學習方式入手，在較緊湊的 3.8B 規模下，仍保持不錯的提示理解、高解析度輸出，以及多種長寬比生成能力。

較值得留意的地方有幾個：它用長篇密集描述的圖文資料預訓練，配合 mixed-resolution learning，令模型一次學到更多內容；文字理解方面則結合 GPT-OSS 多層特徵與 FLUX.2 semantic VAE。官方亦提到有 Lens-Turbo 這類後續變體，主打 4-step 快速生成，另有 RL 調整版本用來改善畫質與壓低瑕疵。不過仍需要 A100/V100 GPU。

• 3.8B 參數規模，定位是高效率文字生圖模型
• 支援約 1:2 至 2:1 長寬比，最高可到 1440×1440
• 相關模型包括 Lens、Lens-Turbo，以及經 RL 調整的變體
• 官方論文指出 1024×1024 輸圖可達約 3.15 秒，Turbo 4-step 約 0.84 秒

整體來看，這個項目最吸引之處不是功能包山包海，而是把焦點放在「精簡推論」與「高效率模型設計」上。對研究生成式 AI 趨勢、想評估新一代文字生圖效率，或需要高解析度輸出的開發者與創作者來說，Lens 是一個值得留意的項目；不過涉及基準細節與全面比較時，仍建議一併參考論文與模型頁面。

GitHub： https://github.com/microsoft/Lens

Paper： https://arxiv.org/pdf/2605.21573

KVPO 係一個針對影片生成訓練流程嘅研究型專案，焦點唔係單純「生成到片」，而係令模型喺逐格、逐段生成嘅過程中，更穩定咁貼近文字提示同預期內容。對一般讀者嚟講，可以理解成：佢想改善 AI 影片成日出現嘅「開頭啱、之後走樣」問題。

呢個方法特別之處，在於佢唔只睇最後條影片好唔好，而係會喺生成途中做多條候選路線探索，再用獎勵模型判斷邊條路線更值得學。README 提到佢結合咗類似 PPO 嘅強化學習更新，以及對生成軌跡嘅機率估計，目標係令自動回歸影片模型學得更準。

實際了解同試用呢個專案，會由查看論文、專案頁面同釋出權重開始，再按設定準備對應環境、模型權重同資料。由於文件列出咗 H200、CUDA 12.8、Wan2.1 backbone，以及 HPSv3、VideoReward 等元件，較適合已有 GPU 資源、熟悉深度學習訓練流程嘅讀者，而唔係即開即用型工具。

• 主要處理影片生成中內容偏離提示、時間一致性變差等問題
• 核心做法係先探索多個生成分支，再用獎勵分數引導學習
• 研究重點放喺自動回歸影片模型，而唔係一般圖片生成
• 文件顯示會配合 Wan2.1-T2V-1.3B 等 backbone 使用
• 仲會涉及 HPSv3、VideoReward 呢類評分或獎勵相關模型

整體而言，KVPO 比較適合關注影片生成訓練方法嘅研究者、工程師，或者想比較唔同對齊策略嘅團隊。對非技術用家，佢未必係直接拎嚟出片嘅方案；但作為觀察新一代影片模型點樣「學識跟指令」嘅方向，呢個專案幾有參考價值。

GitHub： https://github.com/Richard-Zhang-AI/KVPO

Paper： https://arxiv.org/pdf/2605.14278