阿里巴巴 – Page 3

Super-Star：讓數字人邊聽邊做

2026 年 8 月 27 日

Super Star 將串流語音、對話和身體動作連成一條即時管線，令 3D 數字人毋須等待完整語音才開始配合手勢。

數字人要一邊回應、一邊自然做出配合語氣的動作，關鍵不只是生成語音，而是不能偷看未來內容。Super Star 屬於面向 3D 數字人的即時互動框架，處理多模態輸入、串流回應語音，以及與語音同步的身體姿態生成。

Super-Star 把 Streaming Speech Response 與 Online Gesture Generator 兩個模組接合。前者採用 Qwen3-omni 產生串流回應語音，後者是因果多模態自回歸模型，根據目前收到的語音和 motion history 預測下一段動作，因此可在低延遲下生成手勢，不需等整段對話完成。

離線資料流程會按主題和情緒建立人機對話，再為回應語句生成 co-speech gestures；線上互動收集到的使用者偏好，會回流到 closed-loop self-evolving data pipeline，支援持續調整。相比先取得完整語音再生成動作的做法，Super Star 以較少未來資訊換取即時性，但動作預測亦更依賴目前語音片段和歷史狀態。

串流語音與動作同步，適合虛擬陪伴、直播角色及互動式數字人
Qwen3-omni 負責回應語音，Online Gesture Generator 負責身體動作
研究結果主張改善 latency-quality trade-off、語音動作同步及使用者偏好
訓練 Motion Tokenizer 和 Online Gesture Generator 時需要 WAV 音訊
CUDA driver 需為 12.4 或以上，完整執行細節仍要配合 Qwen3-omni 及 vLLM-Omni 文件

提供的資料包含 training、inference 和 evaluation code。訓練部分使用 RQVAE 的第一層 codebook 解碼，對應論文線上模型採用的 VQVAE，測試者需要準備 WAV 檔案並填寫音訊路徑和輸出目錄。對研究團隊及需要低延遲數字人互動的開發者而言，項目較適合作為研究原型或客製化系統的起點，而非即裝即用的成品。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, 多模態模型, 模型訓練, Qwen, NVIDIA, Audio, 3D, 語音, Dataset 數據集

阿里巴巴 PAI 以 PDD 加速 MiniMax-H3 影片生成

2026 年 8 月 27 日

阿里巴巴 PAI 團隊把 MiniMax-H3 變成少步數就能出片的版本。你可以把它理解成針對影片生成速度做加速的 LoRA。

阿里巴巴 PAI 團隊針對 MiniMax-H3 做了 Parallel Decoding Distillation（PDD），目標是用更少推理步數完成影片生成。這份項目同時保留 MiniMax-H3 的兩條路線，分別對應 FL2VA 和 Ref2VA，方便按不同基礎版本套用加速 LoRA。

兩個官方 8-step Acc LoRA，檔名分別是 MiniMax-H3-FL2VA-Acc-8Step.safetensors 和 MiniMax-H3-Ref2VA-Acc-8Step.safetensors，兩者都標示 rank=64、network_alpha=64，並以 BF16 形式提供。這表示它們不是完整底模，而是掛在對應 base model 上的加速適配器。

8-step Acc LoRA 可配合 768p 生成流程，並對比 baseline、Turbo 4-step 版本和 8-step Acc LoRA。

實務上，8-step Acc LoRA 代表在速度和畫面穩定度之間做取捨，重點是把影片生成的推理成本壓低，而不是追求最長流程。相較原始 MiniMax-H3，這類 LoRA 的用途更偏向快速出樣和迭代，適合需要較短等待時間的影片生成工作流。

開發團隊是 Alibaba-PAI，並以 MiniMax-H3 做 PDD 加速
提供兩個 8-step 官方 Acc LoRA，分別對應 FL2VA 和 Ref2VA
檔案以 BF16、rank=64、network_alpha=64 方式發布
頁面有 768p Demo，但未交代 GGUF、mmproj 或硬體需求

項目主頁 · 模型

Categories: 開源, 阿里巴巴, AI productions, 多模態模型, 視頻模型, Video, MiniMax

TLive-Omni：專攻直播電商的多模態理解模型

2026 年 8 月 26 日

TLive-Omni 將影像、影片、語音和文字統一成文字輸出，特別適合要即時理解直播內容的場景。它同時處理商品畫面、聲音與對話脈絡，目標是減少直播電商裡資訊斷裂的問題。

TLive-Omni 是一個多模態理解模型，針對直播電商場景，把影像、影片、語音和文字整合到同一個文字輸出介面。對做直播監控、商品理解、內容標註或客服輔助的人來說，它處理的是同一場直播裡多種訊號難以對齊的問題。

這個項目建基於 Qwen3.5 backbone，再接入 AuT audio encoder 和輕量 MLP 對齊層，並用 timestamped Per-vGrid 把聲音片段和對應畫面放在一起。它支援最長 256K tokens context，適合長時間直播流的連續理解，而不是只看單段截圖或單句語音。

訓練流程分三階段 SFT，先做語音與語言對齊，再擴展到完整多模態指令跟隨，之後加入 Faithful-RFT，強調回答要貼近直播場景的即時需要。README 亦列出聲音辨識、講者分析、商品視覺定位、文字辨識、時序定位、影片密集描述和 omni-modal QA 等能力，顯示它不是單一功能模型，而是面向直播任務的綜合型系統。

4B 和 9B 版本都已公開，方便按算力和部署成本選擇。
在直播電商的音訊、影像和影片任務上有不錯表現。
對一般基準也有泛化能力，不只局限於單一場景。
更適合需要長上下文、多訊號同步分析的團隊。
取捨在於它很聚焦直播電商，未必是通用多模態助手的最佳替代。

整體來看，TLive-Omni 把直播場景最麻煩的訊號對齊、長上下文理解和即時回答放在同一條路徑處理，對做電商直播分析、內容審核和銷售輔助的團隊會更實用。它的價值不在於把功能堆滿，而在於把多模態理解收斂到直播工作流裡真正會撞到的問題。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 多模態模型, Qwen, Video, Audio, 語音

VA-Judger 生成更貼近人類偏好的影片與聲音

2026 年 8 月 26 日

VA-Judger 以人類偏好比較影片和聲音生成結果，改善單靠獨立指標造成的失真與獎勵錯配。

同一個提示詞產生兩段影音內容時，VA-Judger會比較哪一段更符合人類偏好，並拆解提示詞對齊、影音一致性、音質、畫質及內容完整度。它屬於聯合影片與音訊生成的 Reward Model，處理傳統指標難以捕捉整體連貫性的問題。

模型以 Qwen3-Omni 為基礎，先從品質差距明顯的配對學習比較準則，再透過拒絕採樣處理接近的結果，最後以 dimension-wise Group Relative Policy Optimization（GRPO）把人類回饋分配到不同品質維度。這比把音質、畫質及同步指標簡單相加更貼近觀看者的整體判斷，也減少生成模型鑽指標漏洞的機會。

VA-Judger-Bench包含同領域及跨領域模型比較，用來測試 Reward Model 是否能對齊人類選擇；研究結果指向它優於多項指標基線。VAPref-10K則包含9K提示詞及10.3K組細緻的影音配對比較，但資料集及部分訓練程式仍未發布。

項目提供 Reward Model 推理、Video Model 推理、模型 SFT，以及以 VA-Judger 分數優化 LTX-2 的流程；README亦列出合併已發布 RL LoRA 的 LTX-2 checkpoint。提供的資料沒有列出完整安裝步驟，使用者需要按項目頁面、checkpoint及程式碼狀態自行確認環境。

適合場景：研究影音生成、偏好對齊及 RL post-training 的團隊
可評估內容：提示詞對齊、影音一致性、音質、畫質及內容完整度
主要取捨：比較人類偏好的方法較全面，但需要配對資料及額外訓練流程
目前限制：dimension-wise GRPO 程式碼及 VAPref-10K 仍列為待發布項目

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 視頻模型, 模型訓練, Qwen, Video, LTX, Dataset 數據集

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

做人體分析、互動理解或具身智能研究時，最花時間的往往不是找到單篇論文，而是整理不同任務、模態與研究社群之間的關係。Human-Centric Artificial Intelligence（Human-Centric AI）Resources 屬於開源研究資源庫，配合《Human-Centric Intelligence in the Era of Foundation Models: A Survey》，集中處理人本 AI 的文獻探索、資料集與研究基礎設施整理問題。

伴隨的 survey 以六層 human context taxonomy 串連研究脈絡，從可觀察的人體外觀與空間幾何，延伸至 dynamic actors 的動力學和互動建模，再到 situated agents、world simulation 與 embodied agency。它不會取代論文原有的實驗細節，價值在於把相關 datasets、benchmarks、evaluation metrics，以及 training 和 inference optimization strategies 放入同一個檢索框架。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 香港理工大學, 北京大學, 阿里巴巴, Agentic, 模型訓練, API, 香港, 工具, Dataset 數據集

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

資源庫並非可直接下載執行的模型或軟件，使用方式是瀏覽 GitHub 內容及項目首頁，按 Academic Knowledge、Research Infrastructure 和 Community Learning Hubs 等部分尋找材料。研究者亦可透過社群渠道提交或維護資源，因此內容會隨社群整理持續更新，但完整度和一致性仍取決於後續貢獻。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者，GitHub 資源庫和 survey 應該一併閱讀；只想立即執行模型或測試 API 的使用者，則需要另找具體實作項目。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 香港理工大學, 北京大學, 阿里巴巴, Agentic, 模型訓練, API, 香港, 工具, Dataset 數據集

UniSpace：把理解、生成與編輯放進同一視覺空間

2026 年 8 月 25 日

UniSpace 嘗試用同一套視覺表示處理影像理解、生成與編輯，但首個程式版本仍未包含訓練流程。

影像模型往往要在語意理解與畫面細節之間取捨，UniSpace 以統一視覺表示同時處理理解、生成和指令式編輯，定位是多模態模型及推理評估項目。它由 patch-reparameterized vision encoders 和 Qwen3-8B Mixture-of-Transformers 組成，前者保留預訓練模型的語意能力，再補足重建與生成所需的細節。

三款 encoder 分別是 PR-SigLIP2、PR-DINOv2 和 PR-Qwen-ViT；UniSpace 則使用配備 Qwen-based patch-reparameterized tokenizer 的視覺空間。這種分工讓同一套表示可以連接理解、文字生成影像及影像編輯，但也代表模型效果取決於 encoder、tokenizer 和多模態 backbone 能否協調工作。

ImageNet-1K 256 × 256 重建測試使用 50,000 張驗證影像，PR-DINOv2 取得最高 PSNR 30.84、SSIM 0.90 和最低 rFID 0.14。生成測試同樣使用 50,000 個樣本；PR-DINOv2 配合 Classifier-Free Guidance (CFG) 後，gFID 為 1.877、IS 為 274.16，但 Recall 由 0.637 降至 0.605，反映畫面品質與覆蓋範圍之間仍有取捨。

目前最需要留意的是可重現性，而不是安裝難度。儲存庫屬於 paper-time landing release，首個程式版本只會提供 inference 和 evaluation，訓練程式及內部數據管線不公開；在預期檔案和 checkpoints 尚未完整發布前，fresh clone 不能直接執行命令。研究團隊、模型評測人員和需要比較視覺 encoder 的開發者可先參考固定 seed、採樣步數及評測規則，待穩定版本發布後再驗證結果。

能力範圍： 統一支援影像理解、生成與 instruction-based editing。
模型關係： PR-SigLIP2、PR-DINOv2、PR-Qwen-ViT 提供視覺表示，Qwen3-8B Mixture-of-Transformers 負責多模態處理。
評測結果： PR-DINOv2 重建 rFID 0.14，UniSpace GenEval 整體分數 0.84，DPG-Bench 為 86.49。
限制： 目前欠缺可由 fresh clone 直接執行的完整程式、訓練流程及內部數據管線。

項目主頁 · GitHub

Categories: 開源, 多模態模型, Qwen, Clone, Dataset 數據集

OmniAssistBench：以多輪互動評測即時影片助手的表現

2026 年 8 月 25 日

OmniAssistBench 以 LLM-as-a-Judge 固定互動路徑測試 Omni-LLMs 的多輪影片助手能力，涵蓋685組開放式問答、7類任務，影片含自然語音、打字或手寫提示。評分顯示 Gemini-3-Pro 以66.4分領先。

OmniAssistBench proposes an annotation pipeline which allows annotators to build test samples from existing Internet vid

當影片助手的回答會改變使用者下一步行動，傳統只對固定影片問答的測試便難以反映真實體驗。OmniAssistBench 屬於 Omni-LLMs 的影片助手評測基準及數據集，透過固定互動路徑，處理多輪對話中影片內容會隨模型回應變化的問題。

項目涵蓋 685 組開放式問答，分成 Basic Tier 與 Advanced Tier，涉及社交理解、時間感知、手勢提示、程序指導及主動回應等 7 類主要任務和 16 類細分任務。影片取材自運動、煮食、講課、DIY 及談話節目，另有 3 個自行拍攝案例，每個平均超過 15 輪互動；問題會以自然語音、打字或手寫方式嵌入影片，而不是只放文字提示。

以影片連同對應音訊輸入模型，再按互動回合回答問題
由專家先整理影片步驟，再剪輯片段及加入字幕，固定測試路徑
評分採用 LLM-as-a-Judge，原始 0 至 5 分再換算為 0 至 100
建立數據集耗用超過 1,000 小時專家工時

這種做法比靜態影片問答更貼近助手場景，但固定路徑亦代表其他合理回應未必能在同一測試中獲得充分反映。Project homepage 的排行榜顯示，Gemini-3-Pro 整體得分為 66.4，Gemini-2.5-Pro 為 64.6，商用及開源 Omni-LLMs 都只達部分正確，反映可靠的即時影片助手仍有明顯改進空間。

研究團隊來自南京大學、南開大學及 University of Waterloo。測試者需要按照項目提供的評測流程處理影片和音訊，相關 Dataset、Project Page 及評估程式碼可供查閱；正式採用前應先確認版本、存取權限及評分流程是否已更新。

項目主頁 · GitHub

Categories: 開源, 南京大學, 字節跳動, Qwen, Gemini, Dataset 數據集

[技術文章] RecVerse 讓購物代理更像真人行為

2026 年 8 月 25 日

RecVerse以分層記憶和整段軌跡訓練，模擬更貼近真人的網上購物流程。

網上購物模擬器要重現真人由瀏覽、比較到購買的連續決定，才能支援推薦系統的離線測試和 Reinforcement Learning（RL）訓練。RecVerse 是一個以 GUI 為基礎的模擬代理，透過螢幕截圖理解頁面，生成多輪購物軌跡，處理長時間瀏覽中用戶狀態不斷變化的問題。

現有做法各有缺口：Rule-based simulators 依賴向量化商品特徵和預設行動空間，難以涵蓋複雜的電商介面；Large Language Models（LLMs）和 Vision-Language Models（VLMs）代理雖然加入推理及 persona 建模，長會話仍可能丟失早期觀察，或者把所有歷史硬塞進 context window。逐步模仿每個已記錄行動，亦可能令整段流程出現過度探索或過分被動等不自然模式。

RecVerse以認知啟發的分層記憶處理長期資訊，包括短期焦點用的 Working Memory、保存本次會話軌跡的 Episodic Memory，以及記錄高層次意圖的 Preference Memory。記憶更新本身被視為行動，代理可以按情況學習何時及應該保存哪些資訊。

訓練時，系統改用 trajectory-level RL，直接為完整購物會話評分，同時對齊真人的宏觀行動類型分佈和微觀購物意圖。研究團隊亦發布 USB（UserSimulationBenchmark）互動式電商 GUI 軌跡數據集；實驗結果指 RecVerse 在行為忠實度和意圖一致性上均優於現有基線。

以螢幕截圖理解電商 GUI，生成多輪購物行為
透過三層記憶保留短期焦點、會話經歷和用戶偏好
用完整軌跡目標修正逐步模仿帶來的不自然行為
USB 提供互動式電商 GUI 軌跡數據集
可用於推薦策略的離線及反事實測試

Paper

Categories: 阿里巴巴, Agentic, 視覺模型, 多模態模型, 模型訓練, 中國

AgentMercury 生成可驗證商業世界

2026 年 8 月 25 日

把企業情境轉成可執行環境，讓AI代理在多服務流程中訓練，再轉移到未見過的評測項目。

當AI代理要處理跨部門企業流程，難點往往不只在於選擇工具，還要在多個服務之間維持一致狀態，最後交出可以核實的結果。AgentMercury是一個用於訓練 Computer-use agents（CUAs）的環境生成項目，讓高層次商業情境直接變成可執行、可重播和可驗證的虛擬世界，代理可以在其中進行多輪操作，而系統會按完成後的狀態計算獎勵。

常見做法會先為指定任務或 benchmark 手工建立環境，環境自然只覆蓋測試者預先想到的流程。AgentMercury則把環境建構本身交給 Planet：它由公司身份、服務圖、資料表結構、初始狀態和跨服務不變條件組成一個完整世界，再由 Task 在共享世界上加入不同目標和評分規則。一個世界可以承載多個任務，減少每個新流程都要重新造環境的成本。

驗證條件主要以環境資料庫上的 SQL 形式執行。代理完成一輪操作後，系統會根據任務 rubric 和隱藏的不變條件，對整條 trajectory 進行確定性評分；環境不會在每一步替代理判斷對錯，代理必須自行處理跨服務要求，完成後才接受檢查。這種安排讓結果可以重播，也令 Reinforcement Learning（RL）訓練得到較穩定的回饋。

目前項目整理出4,783個 executable worlds，涵蓋14個產業和50個國家，包含13.98M seeded state rows、842種工具和43,300個可驗證 RL 任務。典型世界約有13項服務、65種工具、31張狀態表，以及約15個以 SQL 編寫的 deterministic verifiers；訓練資料涉及4,326個公司環境，但 Qwen3.5-4B 的報告只使用其中3,200個任務取得梯度，仍覆蓋53.5%的環境、62.9%的產業和75.8%的工具。

項目以 Qwen3.5-4B 和 Qwen3.5-35B-A3B 進行 RL 訓練，代理透過 Model Context Protocol（MCP）操作即時形式的商業軟件，並以 GRPO（Group Relative Policy Optimization）為主要優化方法，SAO 則作為另一種選項。Qwen3.5-4B 的平均獎勵約由0.25升至0.53，截斷回應比例由78%降至3%；在未參與訓練的 EnterpriseOps-Gym 八個企業領域，平均分數由12.3升至15.7，增幅為27.6%。35B-A3B 使用 GRPO 和 SAO 後，平均分數分別由24.8升至28.1及28.3，但結果仍屬項目所報告的訓練和評測範圍，未代表代理已能可靠處理所有企業工作。

將高層次商業情境編譯成可執行世界，而不是只為單一任務造環境
以共享資料庫、SQL 驗證條件和可重播評分檢查跨服務結果
提供4,783個環境、842種工具和43,300個可驗證 RL 任務
Qwen3.5 系列在多輪 MCP 工具操作訓練後，獎勵和未見領域表現均有改善
仍需留意合成環境與真實企業軟件之間的差距，以及評測範圍有限的問題

項目主頁 · 模型

Categories: 開源, Agentic, MCP, 模型訓練, Qwen, Dataset 數據集

Page 3 of 18

« Previous 1 2 3 4 5 … 18 Next »