Audio-Interaction 是一款由南洋理工大學（NTU）、新加坡國立大學（NUS）及香港中文大學（CUHK）共同研發的全開源音訊語言模型，屬於新一代的 Audio Interaction Model（音訊互動模型）。它以一個始終運行的感知—決策—回應循環（perceive-decide-respond loop）為核心，能即時聆聽環境聲音與指令，並自行判斷何時應該開口回應。

傳統的大型音訊語言模型大多只支援離線處理，而現有的串流模型一般只能做單一任務，例如即時語音辨識（streaming ASR）或語音聊天。Audio-Interaction 以單一架構同時覆蓋離線與即時任務，把辨識、翻譯、對話等不同功能統一在同一條串流中。這意味著開發者只需要一套模型，就能應付多種音訊互動場景。

這個項目的核心創新在於其訓練流程 SoundFlow。它能把短音訊片段拼接成長互動資料，並以「塊級決策訓練」（chunk-level decision training）配合歷史回顧與語意感知的靜音處理，讓模型學會「該不該說話」。在推論階段，SoundFlow 採用異步 FIFO 推論（asynchronous FIFO inference），使首幀延遲降低約 4.5 倍，帶來更流暢的即時體驗。

使用時，開發者可以直接從官方頁面取得技術報告與程式碼，並透過微信群組加入社群討論。該項目亦提供了即時試聽 Demo，可與 OpenAI 的 gpt-realtime 及字節跳動的 Seeduplex 進行同條件比較，在重複聲響計數、咳嗽辨識及音樂風格判斷等場景中，Audio-Interaction 能逐輪輸出有意義的回應。

Audio-Interaction 重點摘要：

• 統一架構：以單一模型同時支援離線與即時音訊任務，涵蓋辨識、翻譯及對話。
• 感知—決策—回應循環：模型自行判斷回應時機，貼近真實人機互動節奏。
• SoundFlow 訓練流程：結合資料拼接、塊級決策訓練與靜音感知，提升即時判斷能力。
• 低延遲推論：異步 FIFO 推論使首幀延遲降低約 4.5 倍。
• 完全開源：提供技術報告、程式碼及即時試聽 Demo，方便研究與應用。

這個項目特別適合從事語音 AI、對話系統及多模態互動研究的開發者與團隊，能為需要即時音訊理解的產品，例如智能助手、會議記錄、聽障輔助等，提供一個統一且靈活的基礎模型。

項目： https://xzf-thu.github.io/Audio-Interaction/

Lumos-Custom 是阿里巴巴DAMO 學院的開源影片定制研究合集，把三個子項目整合在同一個儲存庫，方便研究者各自取用。三個子項目分別對應不同的影片生成難題：身份與屬性定制、打光控制，以及結合推理的統一生成。

其中最受關注的是 Lumos-Nexus （arXiv 2605.31603）。它解決了一個長期痛點：把大型高保真生成器放進統一訓練迴圈成本太高，改為訓練一個輕量的連接器對齊理解模組，再用「Unified Progressive Frequency Bridging (UPFB)」在推論時把任務交接給預訓練的高容量生成器，既省訓練資源又保留視覺品質。為了補足推理類影片生成的評測空白，作者還發布了 VR-Bench。

第二個項目是 LumosX，已被 ICLR 2026 接收。它的切入點是「多主體個性化影片生成」：先用字幕與 MLLM 抽取的先驗建構關係結構，再透過 Relational Self-Attention 與 Relational Cross-Attention 編碼主體與屬性之間的依賴。評測資源集中在 LumosX/benchmark/，權重已上傳 Hugging Face。

第三個項目是 UniLumos（NeurIPS 2025），專注於圖像與影片的統一重新打光，採用 RGB 空間幾何回饋配合 flow-matching 主幹，適合需要控制光影的研究與應用場景。

總結要點：

• ** DAMO 是 Discovery, Adventure, Momentum and Outlook
• Lumos-Nexus：輕量訓練搭配 UPFB 頻率交接，兼顧推理品質與視覺保真度
• LumosX：以關係式注意力處理多主體個性化生成，附 benchmark 與 Hugging Face 權重
• UniLumos：統一圖片與影片重新打光，採用 flow-matching 與幾何回饋
• VR-Bench：補上推理驅動影片生成的評測缺口
• 子項目獨立部署：每個子項目都有獨立 README，支援單獨安裝與重現

這個項目適合研究影片生成、多模態統一模型與個性化生成的研究者與工程師。如果你想驗證 Lumos-Nexus 的推理影片效果，可進入 Lumos-Nexus/ 跟隨 README 取得 OmniVideo 權重並跑批次推論；想評測打光則可參考 UniLumos 提供的流程。

✧ Repository layout ✧

Lumos-Custom/
├── README.md                 # This file: umbrella overview
├── LumosX/                   # ICLR 2026 · personalized multi-subject video generation
│   └── README.md
├── UniLumos/                 # NeurIPS 2025 · unified relighting + LumosBench/
│   ├── README.md
│   └── LumosBench/
└── Lumos-Nexus/              # arXiv preprint · reasoning-driven unified video generation + VR-Bench
    ├── README.md
    └── vr_bench_eval/

GitHub： https://github.com/alibaba-damo-academy/Lumos-Custom

項目： https://jiazheng-xing.github.io/nexus-lumos-home/

EvalVerse 是一個用來評估電影感生成影片的項目，重點不只看結果是否跟提示詞相符，亦會檢查畫面美感、演出、鏡頭語言和聲畫配合。對近年愈來愈多生成影片項目來說，它補上了「生成得對」與「生成得好」之間的落差。

EvalVerse 會先按電影製作流程理解評分架構，再用提示詞、參考圖或參考影片建立測試組合，之後配合人工標註與機器評估比較結果。論文把指標拆成前期、拍攝、後期三個階段，覆蓋 7 個面向、18 個主維度、45 個子維度和 196 條判準。

• 評分更細：不只看是否跟題，亦會看構圖、鏡頭大小、節奏、表演與聲音設計。
• 覆蓋更廣：支援文字生成影片、參考生成影片、多鏡頭影片及帶聲音影片。
• 可信度更高：加入大規模人工標註，再用專家判斷校準 VLM，縮窄機器評分與人眼感受差距。
• 用途更實際：除了排名，亦能提供診斷訊號，方便後續調整模型、獎勵模型或評估代理。

這項目特別適合做生成影片模型、影片工作流程工具或品質評測的人參考；如果你想比較不同系統，它也比單純看排行榜更有資訊量。論文重點在評估方法和資料整理，未見大量公開的生成表現數字，所以較適合作為評測基建，而不是單一分數工具。

EvalVerse 主要使用兩類模型：生成影片基礎模型，以及 Vision-Language Models（VLMs）。後者在這個項目中負責吸收專家評分經驗，作為機器評估的核心。

Paper： https://arxiv.org/pdf/2605.23271