KaiNinja 將 3D 生成推到部件級 – 直接拆零件

2026 年 9 月 15 日 Share to X Copy link

一張圖就能生成分件可拆的 3D 模型，毋須人手標註或語義分割。KaiNinja 用兩個 O-Voxel 體素保留部件接觸面，把原生 3D 生成器延伸到部件級。

以往想做一張椅子、可以分開拆件再重新組裝的 3D 模型，往往要事先畫遮罩或跑一套語義分割網絡，既費時又限制後續編輯彈性。KaiNinja 由 Alaya Lab 團隊提出，目標是把 TRELLIS.2 這類原生 3D 生成器直接延伸成「部件級」輸出，毋須遮罩或分割網絡就能從單張圖生成可拆分的部件網格。

模型輸出兩個 O-Voxel 體素，各自解碼後透過連通區分量化成獨立部件，同時保留部件之間的接觸面，避免拆件後出現破洞或懸空。換言之，它在現有 3D 生成流程中替代或補強的，就是那一步手動標註與分割。

對遊戲美術、3D 資產設計、以及需要快速做可編輯原型的團隊來說，這類即拆即改的部件輸出明顯降低後製成本。雖然目前只釋出技術報告與項目頁面，推斷碼與預訓練權重尚未開源，但官方展示的下游材質替換與手繪動畫片段，已能看出部件分離對後續工序的實質幫助。

官方在 986 個物件的評測中，以匈牙利配對方式同時報告整體與部件級指標，在 CD、F1、mIoU 七個項目上均領先 X-Part、OmniPart、PartPacker、AutoPartGen 等同類方法，亦勝過用同一語料微調過的 TRELLIS.2。Fail 率（即整體 CD 大於 0.1 的比例）亦由 5.4% 降至 0.7%，代表部件拆分並沒有犧牲整體幾何質素。

重點摘要

• 輸入單張圖片即可輸出部件級 3D 網格，免遮罩免分割網絡
• 以兩個 O-Voxel 體素保留部件接觸面，避免拆件破洞
• 在 986 件評測中，部件與整體指標同步領先 OmniPart、PartPacker、AutoPartGen
• Fail 率由 TRELLIS.2 的 5.4% 降至 0.7%，整體幾何質素未受部件任務拖累
• 目前僅有技術報告與項目頁面，源碼與權重標示為 Coming soon

項目主頁 · GitHub

Categories: 開源, 騰訊, AI productions, 模型, Image, 3D, 動畫

---

騰訊混元開源 AuK：1.5B 模型統一語音生成與編輯

2026 年 9 月 10 日 Share to X Copy link

騰訊混元把零樣本 TTS、語音編輯、分離與增強收進同一個自然語言指令介面，並同步釋出追求速度的蒸餾版本 AuK-Flash。

語音模型一直存在一個尷尬：零樣本合成、語音克隆、音色替換、分離、降噪往往是幾套獨立系統，要串起來就得堆 pipeline。騰訊 Hunyuan 開源的 AuK 想打破這個分工，以 1.5B 參數的基礎模型為核心，讓一句自然語言指令直接對應到編輯後或生成的音訊。

AuK 由三部分組成：負責語義條件的多模態語言模型、提供聲學潛在空間的 50 Hz VAE，以及一個混合 rectified-flow Transformer，用雙流 MMDiT 塊融合兩種條件後再做單流 DiT 生成。訓練數據規模相當可觀——約 30.3 億條指令-音訊配對，加上約 195 萬小時的有效監督，覆蓋五大任務族：語音生成、內容編輯、增強與分離、副語言資訊編輯、聲學編輯。

同步釋出的 AuK-Flash 走速度路線：透過一致性初始化加上任務路由的 Decoupled DMD 蒸餾，做到 NFE=4、無 CFG 的 4 步推論，官方指在匹配條件下對比完整 AuK 有約 4.5 倍 wall-clock 加速，質量接近教師模型。這個分層策略對需要即時語音生成的應用場景（如對話 agent、實時配音）有直接意義。

部署層面，官方同時提供 Hugging Face Space、ModelScope Space、Gradio 互動介面、ComfyUI 節點、Python API，以及 uv 和 Conda 兩種依賴管理方式，並已獲 SGLang-Omni Day 0 支援。對於本地資源有限的團隊，AuK-Flash 配合 SGLang-Omni 是較合理的切入點；如果追求最高質量、且不在意推論延遲，則可選 AuK Base，並透過可配置的 NFE 與 CFG 做品質/速度取捨。

重點摘要：

• 1.5B 統一模型：用自然語言指令統一零樣本 TTS、語音編輯、分離、增強、副語言與聲學編輯。
• 三模組架構：多模態語言模型 + 50 Hz 音訊 VAE + 混合 rectified-flow Transformer，採雙流 MMDiT 接單流 DiT。
• AuK-Flash 蒸餾：一致性初始化 + 任務路由 DMD，4 步推論無需 CFG，wall-clock 加速約 4.5 倍。
• 後訓練策略：語音生成用獎勵強化學習，開放式編輯用人類偏好優化。
• 部署支援完整：Hugging Face、ModelScope、Gradio、ComfyUI、Python API、SGLang-Omni 齊備。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, 文字轉語音, ComfyUI, Agentic, 模型, 多模態模型, 模型訓練, API, Audio, Python, 語音

---

MMLVE-Agent 點樣唔再搞亂多鏡頭影片

2026 年 8 月 28 日 Share to X Copy link

過往 AI 影片編輯碰到多鏡頭長片就容易認錯人、漏改背景。MMLVE-Agent 用 LLM 與 VLM 協作，把每個鏡頭拆開處理，再靠全局記憶鎖住主體身份。

用一句「將男人嘅紅色衫變成藍色」就改完成條片、每個鏡頭都認得返同一個人——呢個係南開大學同騰訊團隊提出嘅 MMLVE-Agent 想要解決嘅痛點。過往影片編輯模型主要處理單鏡頭或幾秒短片，落到幾分鐘、橫跨多個鏡頭嘅長片就容易出現主體身份斷裂、編輯幻覺同時間連續性受損。呢個項目本質係一個異構多智能體框架，結合 LLM 做指令解析、VLM 做鏡頭級拆解同評估，再透過全局記憶卡（Global Memory Card）將 top-k 關鍵幀合成統一參考，確保主體身份唔會跨鏡頭走樣。

團隊同時定義咗 MMLVE 任務嘅三個核心目標：跨鏡頭編輯一致性（CSEC）、多指令解耦（MID）以及對非目標區域嘅零破壞（ZDSS）。其中 Pos-Neg Editing Feedback（P-NEF）令 VLM 評估器可以同時輸出負向提示同正向提示，主動修正錯誤同時保留應有細節，取代坊間常見嘅單向反饋機制。佢哋亦同步推出 MMLVE-Bench 數據集，涵蓋密集異質指令同稀疏隨機分佈嘅實體，對應真實影片剪接場景。

團隊聲稱喺呢個基準上超越咗 Seedance 2.0 等閉源方案，特別喺消除編輯幻覺同保持時空連貫性方面。不過要留意，原始資料只提供項目頁、論文同 benchmark 數據集，並無公開模型權重或安裝入口，想實際部署嘅讀者需要留意後續開源進度。

重點摘要：

• MMLVE-Agent 係一個多智能體影片編輯框架，專門處理多鏡頭長片嘅自然語言指令編輯
• 核心創新在於全局記憶卡同正負反饋機制，前者鎖定跨鏡頭主體身份，後者主動修正編輯錯誤
• 同步推出 MMLVE-Bench 數據集，涵蓋高密度指令同稀疏實體分佈等真實場景
• 團隊報告在自建基準上超越 Seedance 2.0 等閉源方案
• 原始資料未提供模型下載或部署方式，實際可用性有待後續開源進度確認

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, 視覺模型, 影像處理, Dataset 數據集

---

WeMM-Embedding：對齊文字、圖片、影片的多模態檢索

2026 年 8 月 28 日 Share to X Copy link

騰訊微信視覺團隊把文字、圖片、影片、視覺文件等多種輸入收進同一個嵌入空間，推出涵蓋 2B／4B／9B 三個尺寸的 WeMM-Embedding 系列，主打檢索與多模態理解一條龍。

把文字、圖片、短影片、文件截圖一次過丟進同一個嵌入空間做檢索，一直是多模態團隊頭痛的工程難題。WeMM-Embedding 系列由騰訊微信視覺團隊開源，正是針對這個場景而來：三個規模（2B／4B／9B）都用同一套介面，輸出可直接比對的向量，免卻多模型串接的麻煩。

向量從模型最後一層的 <embedding> token 位置取出，再做 L2 正規化，方便直接接入既有向量資料庫。對想做跨模態檢索或 RAG 的團隊而言，這類統一模型比起同時維護 CLIP 系、BGE 系、影片模型幾套 pipeline，部署成本明顯較低。

官方推薦 transformers==5.2.0 以保證預處理一致性，亦支援 SentenceTransformer 直接載入 Hugging Face 模型 ID。比較有彈性的是 Matryoshka Representation Learning（MRL）：例如 9B 版本支援 64 到 4096 多段維度，開發階段可以用低維度快速迭代，再逐步切到高維度；2B 與 4B 版同樣提供 64 至 2048 左右的選項。已驗證 vLLM 0.27.0 與 SGLang 0.5.9 兩套推理引擎，兩者都以 pooling runner 啟動，搭配專屬的 chat template 即可提供 embedding 服務。

與同類開源嵌入模型相比，WeMM-Embedding 強調「影片與視覺文件也在同一個向量空間」，而不是只覆蓋到圖文。短影片摘要、PDF 截圖理解、社交媒體（X Demo）多模態內容推薦等場景，會比純圖文模型更貼地。音訊輸入目前不在支援範圍內，是規劃時要留意的限制。受惠對象包括做多模態 RAG、跨模態檢索、商品搜尋及內容審核的中小團隊，因為他們通常缺乏同時訓練多個專門模型的資源。

重點：

• 統一嵌入空間：文字、圖片、影片、視覺文件、交錯輸入共用同一向量表示，免除多模型串接。
• 三種規模：2B、4B、9B 同步開源，可在準確度與成本之間靈活取捨。
• Matryoshka 維度彈性：支援 64 至 4096 多段可選維度，平衡儲存與效果。
• 生態友善：兼容 transformers、SentenceTransformer，並已驗證 vLLM 與 SGLang 部署。
• 目前限制：音訊輸入未支援，預處理對 Transformers 版本敏感，需固定在 5.2.0。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, RAG, Embedding, 模型, Video, Image, Dataset 數據集

---

Video-IFBench：跟足要求的影片評測

2026 年 8 月 27 日 Share to X Copy link

Video-IFBench 用來量度多模態大語言模型在影片理解場景中的指令跟隨能力。它把單步、多步、選擇和嵌套指令拆開測，直接看模型能否按條件做對。

Video-IFBench 是一個用來評測多模態大語言模型（Multimodal Large Language Models, MLLMs）在影片理解場景中是否跟足指令的資料集與基準。它處理的不是單純看懂影片，而是模型能否在複雜限制下，依照影片證據作出正確分支判斷、完成多重要求，並保持輸出格式一致。

這套基準把任務分成 Single、Multi、Selection 和 Nested 四類，覆蓋由簡單到層層加條件的情境。項目建構流程結合影片標註、任務與限制採樣、複雜指令生成、checklist、程序化處理和人工驗證，適合拿來測試模型在真實工作流裡會否因為條件一多就失手。

和一般只看整體問答正確率的影片基準相比，Video-IFBench 更著重嚴格遵循指令的程度。資料集同時提供 TCSR 和 TISR 兩種指標，結果顯示即使是頂級商用模型，遇到條件累積或需要按證據選分支的題目，分數也會明顯下滑；開源模型的差距更大，尤其在 Nested 類別。

對做影片理解、視覺問答、agent 評測，或者需要檢查模型能否按規則輸出內容的團隊，這個基準很有參考價值。它不只看模型「知唔知」，而是看模型「有冇照做」，這正是很多落地應用最容易出問題的位置。

• 覆蓋影片理解中的四種指令型態，從單步到嵌套條件都有測。
• 以 checklist 和人工驗證強化標註可靠度。
• 用 TCSR 與 TISR 分開看內容命中與指令跟隨。
• 商用模型整體較強，但複雜條件下仍有明顯失分。
• 開源模型在多條件、分支選擇和格式遵循上差距更大。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 字節跳動, 騰訊, Agentic, 視覺模型, 多模態模型, Video, Dataset 數據集

---

Super-Star：讓數字人邊聽邊做

2026 年 8 月 27 日 Share to X Copy link

Super Star 將串流語音、對話和身體動作連成一條即時管線，令 3D 數字人毋須等待完整語音才開始配合手勢。

數字人要一邊回應、一邊自然做出配合語氣的動作，關鍵不只是生成語音，而是不能偷看未來內容。Super Star 屬於面向 3D 數字人的即時互動框架，處理多模態輸入、串流回應語音，以及與語音同步的身體姿態生成。

Super-Star 把 Streaming Speech Response 與 Online Gesture Generator 兩個模組接合。前者採用 Qwen3-omni 產生串流回應語音，後者是因果多模態自回歸模型，根據目前收到的語音和 motion history 預測下一段動作，因此可在低延遲下生成手勢，不需等整段對話完成。

離線資料流程會按主題和情緒建立人機對話，再為回應語句生成 co-speech gestures；線上互動收集到的使用者偏好，會回流到 closed-loop self-evolving data pipeline，支援持續調整。相比先取得完整語音再生成動作的做法，Super Star 以較少未來資訊換取即時性，但動作預測亦更依賴目前語音片段和歷史狀態。

• 串流語音與動作同步，適合虛擬陪伴、直播角色及互動式數字人
• Qwen3-omni 負責回應語音，Online Gesture Generator 負責身體動作
• 研究結果主張改善 latency-quality trade-off、語音動作同步及使用者偏好
• 訓練 Motion Tokenizer 和 Online Gesture Generator 時需要 WAV 音訊
• CUDA driver 需為 12.4 或以上，完整執行細節仍要配合 Qwen3-omni 及 vLLM-Omni 文件

提供的資料包含 training、inference 和 evaluation code。訓練部分使用 RQVAE 的第一層 codebook 解碼，對應論文線上模型採用的 VQVAE，測試者需要準備 WAV 檔案並填寫音訊路徑和輸出目錄。對研究團隊及需要低延遲數字人互動的開發者而言，項目較適合作為研究原型或客製化系統的起點，而非即裝即用的成品。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, 多模態模型, 模型訓練, Qwen, NVIDIA, Audio, 3D, 語音, Dataset 數據集

---

WeMM-Embedding 統一多模態向量

2026 年 8 月 26 日 Share to X Copy link

WeMM-Embedding 把文字、圖片、影片和視覺文件放進同一套向量空間，適合要做檢索、比對和跨模態搜尋的場景。它同時提供不同尺寸選擇，方便在準確度與成本之間取捨。

WeMM-Embedding 是一組多模態 embedding 模型，目標是把文字、圖片、影片、視覺文件和交錯式多模態輸入，轉成可直接比對的統一向量。對要做搜尋、相似度比對、內容檢索或跨媒體匹配的團隊來說，這種做法比逐一分開處理不同素材更省事。

它提供 2B、4B、9B 三個版本，還支援 Matryoshka dimensions，代表可以按需要輸出不同長度的 embedding，減少計算和儲存成本。README 也提到，向量來自 <embedding> token 的最後一層 hidden state，再做 L2 normalization；目前不支援 audio。

實作和試跑方式都算直接，既可以用 transformers，也可以用 SentenceTransformer 直接載入 Hugging Face 模型 ID。作者同時標明推理較建議用 transformers==5.2.0，原因是較新的版本在前處理行為上可能有差異；serving 方面則測過 vLLM 和 SGLang。

• 統一處理 text、image、video、visual document 和 interleaved multimodal inputs
• 支援 Matryoshka dimensions，可按成本需要縮短 embedding 長度
• 適合做跨模態搜尋、內容去重、相似度比對和檢索索引
• 推理可用 transformers 或 SentenceTransformer，部署可接 vLLM、SGLang
• 現階段不支援 audio，做語音相關流程要另配其他模型

對要處理多媒體內容的應用團隊、檢索系統、內容平台和資料整理流程，這類模型最直接的價值是減少多套表示法之間的銜接成本。它在多個基準上取得領先結果，但實際選型仍要看你要的是完整維度、較低成本版本，還是偏向部署效率的配置。

GitHub · 模型

Categories: 開源, 騰訊, AI productions, Embedding, 模型, 多模態模型, Video, Image, Audio

---

GameXpert-Bench | Coding Agents for Game Development

2026 年 8 月 26 日 Share to X Copy link

騰訊團隊聯同多間院校提出 GameXpert-Bench，專門看 Coding Agents 能否做出、修好再優化可玩遊戲。它把生成、修復同多輪改進放入同一條流程去評估。

騰訊 Hunyuan Team、Lightspeed Studios，聯同 CASIA、清華大學、香港科技大學、香港中文大學深圳等團隊，提出 GameXpert-Bench，用來檢驗 Coding Agents 在遊戲開發上的真實能力。它不只看程式碼寫得像不像，還看能否真的做出可玩遊戲、找出錯誤，並在多輪修改後保持功能完整。

這個項目處理的是一個很實際的落差：很多代理可以生成看似合理的程式，但一到互動、畫面、音效、介面同可玩性要同時成立，就容易出問題。GameXpert-Bench 把整個生命週期拆成三條軌道，分別測首次生成、修復缺陷，以及連續優化，逼近真實開發流程。

• GameGen 測試從零開始生成可玩遊戲，沒有預設引擎或素材
• GameFix 測試對已知缺陷的診斷與修復，亦包括自行發現問題的情況
• GameOpt 測試多輪改進時能否保住核心玩法與既有功能
• 評估不只看程式，還結合互動行為、代碼檢查同人工判斷

目前公開資料提到共有 97 個生成任務、100 個修復任務，以及 17 條多輪優化鏈，涵蓋 2D 和 3D 遊戲。整體結果指向一個清楚結論：寫出看似合理的實作，比起交出經過驗證、又唔會在後續修改中壞掉的遊戲容易得多。

對做 Coding Agents、遊戲工具鏈、或研究 agentic software engineering 的讀者，這個基準特別有參考價值。它把「能寫」和「能交付」分開，令模型在真實工作流中的短板更容易被量度出來。

項目主頁

Categories: 香港中文大學, 香港科技大學, 清華大學, 騰訊, Agentic, Audio, 軟件, 3D, 編程, Dataset 數據集

---

WithEveryone 多人合照不再撞臉

2026 年 8 月 21 日 Share to X Copy link

復旦大學、騰訊混元與香港大學研究團隊，嘗試一次保留五至十個人物身份的群組生成。

復旦大學、騰訊混元（Hunyuan）及香港大學的研究團隊共同開發 WithEveryone，針對 AI 生成多人合照時人物身份容易混淆的問題，讓五至十個參考身份可以同時出現在連貫場景中。它屬於群組影像生成研究項目，核心價值是維持每個人「誰是誰」的對應關係，而不只是增加畫面人物數量。

系統會把每個參考人物轉換成獨立的 identity token，再透過 Layout CoT 預先推理人物、臉部、身體區域與姿勢的位置，最後交由 renderer 生成視覺條件。Layout-Grounded ID Loss 會在指定臉部區域提供身份監督，ID Representation Forcing 則要求模型在合成前先為每個身份建立預測，減少多人場景中的錯配。

研究展示提供了 63 組生成結果，並在 identity-disjoint benchmark 上比較身份保真度與複製參考圖程度：WithEveryone 的 ArcFace similarity 為 0.614，高於 GPT-Image-2 的 0.566；Copy-paste score 為 0.055，低於 GPT-Image-2 的 0.169。這表示它一方面維持人物特徵，另一方面較少直接照搬參考圖，但目前資料未提供更完整的速度、硬件需求或不同人數下的細分結果。

目前 GitHub 儲存庫尚未提供可下載的研究版 checkpoint，亦沒有完整安裝及測試流程。原因是研究版本依賴的 foundation model 授權不容許公開 checkpoint；團隊正以支援開源發佈的 foundation model 訓練新版本，待程式碼及 checkpoint 準備好後才會分享。

• 支援五至十個參考身份的群組影像生成
• 以 identity token 綁定人物，配合身份感知的版面推理
• 透過 Layout-Grounded ID Loss 監督指定臉部區域
• 研究結果在 ArcFace similarity 及 Copy-paste score 上勝過 GPT-Image-2
• 現階段只能閱讀研究展示，未能按儲存庫資料自行安裝重現

對需要製作多人宣傳照、角色群像或指定人物場景的影像研究團隊，這個方法提供了比單純堆疊參考圖更完整的身份與構圖處理思路。一般創作者暫時仍要等待開源版本，因為未公開 checkpoint 令項目現階段更接近研究展示，而不是可即時採用的生成工具。

項目主頁 · GitHub

Categories: 開源, 香港大學, 騰訊, 模型, 多模態模型, Image, 香港, Dataset 數據集

---

ForgeWM 把遊戲世界模型推向 72 FPS 即時互動

2026 年 8 月 21 日 Share to X Copy link

由中大、騰訊等團隊開發的 ForgeWM，將遊戲畫面生成壓縮至一至四步，讓鍵盤、滑鼠及手掣輸入能即時改變虛擬世界。

中香港中文大學、騰訊 PCG、復旦大學、上海人工智慧實驗室及香港科技大學的研究團隊，將 ForgeWM 做成開源的 action-conditioned video world models 訓練項目，處理遊戲輸入與連續畫面生成難以兼顧的問題。它以 Matrix-Game 2（MG2）為基礎，讓模型根據鍵盤、滑鼠或 gamepad 操作即時推演遊戲畫面。

ForgeWM 的價值在於把生成步數降至 1、2 或 4 步，換取更低延遲的互動體驗；取捨是畫面質素、控制準確度與推理速度仍要依賴訓練資料和硬件。相較只展示影片生成的做法，ForgeWM 直接處理 frame-aligned 的動作訊號，並將同一套流程移植到另一個 gamepad 驅動的 FPS 領域。

• 一套四階段流程：bidirectional SFT、teacher-forced causal AR、consistency distillation、on-policy DMD
• ForgeWM-1、ForgeWM-2、ForgeWM-4 分別對應一、二及四步生成
• 單張 H20、352×640 畫面下，1-step 模型最高達 72 FPS
• 完整公開 weights、training code 及 pre-encoded data

模型並非各自獨立訓練：Stage 0 先對目標遊戲作 bidirectional fine-tuning，之後固定為教師；Stage 1 將生成器改成 causal AR，Stage 2 壓縮 sampling trajectory，Stage 3 再用學生自行 rollout 的結果進行 on-policy matching。這個結構讓 ForgeWM-1、-2、-4 可從相同基礎流程按步數預算建立。

研究、遊戲 AI 及需要即時互動生成的團隊較容易受益，尤其適合測試鍵鼠控制的 Minecraft 或 gamepad FPS。資料提供的指標包括 168 ms per chunk、72 FPS 及 8×H20 完整訓練配置；模型及數據連結整理環境，要預留 8 張 H20 重現完整訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 上海人工智慧實驗室, 騰訊, 世界模型, 模型訓練, Video, World-Action Model

---