StreamChar 是一個研究展示項目，聚焦 Long-Horizon Streaming Character Audio-Video Generation，也就是長時間、串流式的角色音訊與影片生成。從頁面可見，它的核心組合包括 Decoupled LLM orchestration、joint audio–video DiT denoising backbone、Sink-Chunk Memory，以及 Online Rollout Distillation。

這個項目要處理的重點，是角色聲畫內容在較長輸出過程中的連續性與穩定度。一般生成流程一旦拉長，容易出現內容斷裂、角色狀態不一致，或音訊與畫面節奏不同步；StreamChar 看來就是針對這類長序列生成問題而設計。

使用這個項目時，現階段較像觀看研究成果與示範，而不是直接提供完整產品化操作流程。頁面提供 Paper (arXiv) 與示範影片，適合先從 demo 觀察輸出效果，再配合論文理解整體方法與系統拆分方式。

它的技術方向幾個重點相當清楚：把 LLM 的 orchestration 與底層聲畫生成解耦、以 Streaming DiT Backbone 負責連續生成，並加入 Sink-Chunk Memory 支援長時間上下文。Online Rollout Distillation 則顯示團隊有針對串流生成過程做效率或穩定性上的訓練安排，但頁面摘要未提供更完整數字。

• 聚焦 Long-Horizon Streaming Character Audio-Video Generation
• 結合 Decoupled LLM orchestration 與 joint audio–video DiT denoising
• 以 Sink-Chunk Memory 處理長序列上下文
• 提供研究示範影片，輸出為 native resolution
• 適合關注角色生成、串流生成與多模態研究的人

如果你是做生成式 AI、虛擬角色、數碼人或影片合成相關項目，這個項目有參考價值。至於性能和評估，頁面目前只見方法名稱、論文入口與 demo，未見明確基準分數；較穩妥的做法，是把它視為一條值得追蹤的研究路線，再到論文中查看完整實驗細節。

項目： https://humanaigc.github.io/StreamChar_page/

PilotTTS 是高德地圖（Amap）團隊在 GitHub 上開源的文字轉語音（text-to-speech, TTS）項目，主打以 LLM-based 架構配合嚴謹的資料工程，用較少資源做出具競爭力的合成品質。對想研究語音生成、卻沒有百萬小時資料和龐大算力的團隊來說，這是一個值得關注的選擇。

這個項目要解決的問題很直接：現今最頂尖的 TTS 系統往往依賴數百萬小時的私有資料和複雜的多階段架構，進入門檻極高。PilotTTS 反其道而行，僅以 20 萬小時、以全開源工具處理的資料集進行訓練，並釋出從品質評估、標註到過濾的完整資料管線（data pipeline），讓其他研究者能重現並改良。

在功能面上，項目涵蓋四個面向：零樣本聲音複製（zero-shot voice cloning）、11 種情緒合成、4 種副語音效果（如笑聲、呼吸、咳嗽、哭聲），以及 14 種中文方言的跨方言合成。模型方面，權重分為 pilot_tts.pt（基礎模型）與 pilot_tts_instruct.pt（指令控制版本），可從 HuggingFace 或 ModelScope 下載，配合 w2v-bert-2.0 等開源特徵提取器即可運作。

評估結果方面，團隊在 Seed-TTS Eval 基準上報出了亮眼數字：英文測試集 WER 1.50%、中文 CER 0.87%，兩組測試的說話人相似度（speaker similarity）分別達到 0.862 與 0.815，勝過多個以更大資料集訓練的系統。模型採用 Q-Former-based conditioning，透過跨樣本配對訓練把說話人身份與語氣風格解耦，這是它在精簡架構下仍能保持高表現的關鍵設計之一。

對一般讀者而言，這個項目較適合從事語音合成、LLM 多模態應用或中文方言研究的開發者與學生；對想打造有聲內容、配音工具或無障礙語音介面的產品團隊，它也提供了可直接整合的開源權重與推理流程。

重點摘要

• 極簡架構：LLM-based 自迴歸模型，以 20 萬小時開源資料處理後的訓練集達到頂尖基準成績。
• 完整資料管線：品質評估、標註、過濾全部使用公開工具，可重現且成本較低。
• 多維度控制：支援 11 種情緒、4 種副語音、14 種中文方言的跨方言合成。
• 頂尖指標：Seed-TTS Eval 取得最高說話人相似度，中文 CER 僅 0.87%。
• 完整開源：模型權重、處理管線與程式碼均於 GitHub、HuggingFace、ModelScope 釋出。

GitHub： https://github.com/AMAPVOICE/PilotTTS

項目： https://amapvoice.github.io/PilotTTS/

LoomVideo 由北京大學與阿里巴巴聯合發布，主打「統一多模態輸入的影片生成與編輯」，把文字、影片、圖片等多種輸入整合到同一個模型。傳統的統一影片模型動輒超過 13B 參數，且為了加入來源影片條件，往往要把所有 token 接在一起，導致序列長度翻倍、self-attention 成本暴增四倍。LoomVideo 的核心定位，就是用更小、更快的設計，達到同等甚至更好的效果。

這個項目基於 MLLM（多模態大語言模型）加 DiT（Diffusion Transformer）的組合，並提出三個關鍵設計：Deepstack Injection 從 MLLM 每一層抽取特徵，再透過 cross-attention 注入對應的 DiT 層；Scale-and-Add Conditioning 把乾淨的來源影片潛在變數按時間步長縮放後直接加到雜訊目標上，免去 token 拼接的額外負擔；Negative Temporal RoPE 為參考圖片指定負的時間索引，讓多圖片條件可以無縫整合。

LoomVideo 目前支援四種任務：文生影片、純文字指令編輯、影片加圖片加文字的指令編輯，以及多張參考圖的條件生成，全部由同一個 5B 模型處理。論文報告在多項基準上取得領先或具競爭力的表現，並宣稱比同級模型快至少 5.41 倍。對於電子商務與時尚場景的影片生成，論文也展示了針對性的優勢。

這個項目適合關注影片生成效率的研究者、影像創作工具開發者，以及需要快速生成短影片內容的團隊。目前模型權重已公開在 Hugging Face 的 MSALab/LoomVideo，程式碼亦同步釋出，有興趣的讀者可以直接到 GitHub 與 Hugging Face 取得資源並測試。

重點摘要：

• 5B 參數的統一影片生成與編輯模型，定位比 13B+ 同類更輕量。
• 以 MLLM + DiT 架構為基礎，並提出 Deepstack Injection、Scale-and-Add Conditioning 與 Negative Temporal RoPE 三大設計。
• 支援文生影片、文字指令編輯、影片加圖片文字編輯，以及多圖片條件生成四種任務。
• 論文聲稱比同級模型快至少 5.41 倍，並在電商與時尚場景表現突出。
• 模型與程式碼已公開，方便研究者與開發者快速試用與改進。

GitHub： https://github.com/MSALab-PKU/LoomVideo

項目： https://msalab-pku.github.io/projects/LoomVideo/index.html

Lumos-Custom 是阿里巴巴DAMO 學院的開源影片定制研究合集，把三個子項目整合在同一個儲存庫，方便研究者各自取用。三個子項目分別對應不同的影片生成難題：身份與屬性定制、打光控制，以及結合推理的統一生成。

其中最受關注的是 Lumos-Nexus （arXiv 2605.31603）。它解決了一個長期痛點：把大型高保真生成器放進統一訓練迴圈成本太高，改為訓練一個輕量的連接器對齊理解模組，再用「Unified Progressive Frequency Bridging (UPFB)」在推論時把任務交接給預訓練的高容量生成器，既省訓練資源又保留視覺品質。為了補足推理類影片生成的評測空白，作者還發布了 VR-Bench。

第二個項目是 LumosX，已被 ICLR 2026 接收。它的切入點是「多主體個性化影片生成」：先用字幕與 MLLM 抽取的先驗建構關係結構，再透過 Relational Self-Attention 與 Relational Cross-Attention 編碼主體與屬性之間的依賴。評測資源集中在 LumosX/benchmark/，權重已上傳 Hugging Face。

第三個項目是 UniLumos（NeurIPS 2025），專注於圖像與影片的統一重新打光，採用 RGB 空間幾何回饋配合 flow-matching 主幹，適合需要控制光影的研究與應用場景。

總結要點：

• ** DAMO 是 Discovery, Adventure, Momentum and Outlook
• Lumos-Nexus：輕量訓練搭配 UPFB 頻率交接，兼顧推理品質與視覺保真度
• LumosX：以關係式注意力處理多主體個性化生成，附 benchmark 與 Hugging Face 權重
• UniLumos：統一圖片與影片重新打光，採用 flow-matching 與幾何回饋
• VR-Bench：補上推理驅動影片生成的評測缺口
• 子項目獨立部署：每個子項目都有獨立 README，支援單獨安裝與重現

這個項目適合研究影片生成、多模態統一模型與個性化生成的研究者與工程師。如果你想驗證 Lumos-Nexus 的推理影片效果，可進入 Lumos-Nexus/ 跟隨 README 取得 OmniVideo 權重並跑批次推論；想評測打光則可參考 UniLumos 提供的流程。

✧ Repository layout ✧

Lumos-Custom/
├── README.md                 # This file: umbrella overview
├── LumosX/                   # ICLR 2026 · personalized multi-subject video generation
│   └── README.md
├── UniLumos/                 # NeurIPS 2025 · unified relighting + LumosBench/
│   ├── README.md
│   └── LumosBench/
└── Lumos-Nexus/              # arXiv preprint · reasoning-driven unified video generation + VR-Bench
    ├── README.md
    └── vr_bench_eval/

GitHub： https://github.com/alibaba-damo-academy/Lumos-Custom

項目： https://jiazheng-xing.github.io/nexus-lumos-home/

ViGeo 是一個用來估算場景幾何的項目，輸入可以是影片片段，也可以是單張影像。它會輸出 depth、3D points、normals、confidence，處理連續影格時亦可估算 camera poses，重點是盡量保持時間上的一致性，減少前後幀結果跳動。

使用這個項目時，先按手頭資料選擇模式：完整影片可用 offline，串流畫面可用 online，長影片則可分段用 chunk 處理。這種安排對做影片重建、機械人感知、AR、導航或後期視覺分析的人較實用，因為不需要為不同輸入形式換另一套模型。

它想解決的核心問題，是影片幾何估計常見的兩難：不是短片效果好但難以串流，就是能即時推理但長時間一致性不足。ViGeo 以同一個 feed-forward foundation model 統一 full-sequence reconstruction、streaming inference 與 long-video inference，論文指出關鍵在 dynamic chunking attention，讓模型可因應測試情境切換時間關注方式，而不用重新訓練。

另一個重要部分是 VideoLDCM，完整名稱是 VideoLDCM，負責 depth completion。它在這項工作中用作 data-refinement model，把稀疏或帶雜訊的深度觀測整理成較乾淨的 dense depth supervision，對訓練幾何模型有幫助，也解釋了為何這個項目不只看單幀品質，還強調跨影格穩定性。

• 同時支援 offline、online、chunk 三種推理流程
• 可由影片或單張影像估算 depth、3D points、normals 等結果
• 以 dynamic chunking attention 兼顧串流與長影片處理
• 結合 VideoLDCM 改善深度監督資料品質
• 論文聲稱在多項 video geometry 任務達到 state-of-the-art

性能方面，論文描述它在 online、offline、long-video depth estimation、surface normal estimation、video point map estimation 都有很強表現，並以 public datasets 訓練。不過目前公開 checkpoint 亦已註明存在已知 loss implementation 問題，可能在 camera poses 視覺化與遠距區域出現輕微瑕疵，因此較適合先用來理解能力範圍，再決定是否放入要求很高的生產流程。

GitHub： https://github.com/aigc3d/ViGeo

項目： https://pkqbajng.github.io/ViGeo/