InferNews

VDN-H3 開源：14 秒 MiniMax 影片生成只花 11 秒

2026 年 9 月 6 日

OpenVDN 團隊將 softmax 與線性注意力混合架構(hybrid attention)套用到 MiniMax H3 影片生成模型，在 8 張 B200 上以 8 步去噪產出 14.4 秒 768p 影片，速度比播放還快。

Repository image for OpenVDN/vdn-minimax-h3

影片生成最貴的部分往往不是參數量，而是長序列上的 softmax attention。VDN-H3 針對這個痛點，把 MiniMax H3 骨幹拆成兩條互補分支：滑窗 softmax 負責鄰近幀之間的精細對齊，線性注意力則接手長距離語境與主體一致性，並用 4 向邊界錨點補強全域結構。最終在 8 張 NVIDIA B200 上，用 8 步去噪就能在 11.23 秒內生成 14.4 秒 768p 片段，生成速度比播放還快。

與同類做法的差異在於「近乎無損」這個定位。純線性注意力雖然快，但長序列下容易丟失主體身份、場景佈局與時序依賴；VDN-H3 透過混合架構把這部分成本交回給局部 softmax，線性分支只負責長程記憶，因此視覺品質與原版 H3 幾乎難以區分，也比 MiniMax FastH3 有更好的指令跟隨能力。對需要高吞吐量同時不犧牲一致性的團隊，這個取捨相當實用。

部署面需要 PyTorch 2.13、CUDA 12.9 與 FlashAttention 4（含 nvidia-cutlass-dsl 預釋版依賴），另外還要安裝一份修補過的 Diffusers；骨幹權重不需更動，兩條 LoRA adapter 可在推理時合併進去，等同 plug-and-play 替換。程式碼、訓練流程與優化後的推理 stack 一併開源，研究者與影片生成產品團隊都能直接複用。

重點摘要

8 步去噪、8 張 B200，11.23 秒生成 14.4 秒 768p 影片，生成快過播放。
混合 attention：滑窗 softmax 保留局部細節，線性分支負責長距離語境。
視覺品質與原版 MiniMax H3 近乎無損，比 FastH3 指令跟隨更佳。
LoRA adapter 可合併進骨幹推理，不需更動原始權重。
權重、推理 stack 與訓練程式碼同步開源。

項目主頁 · GitHub · 模型· ComfyUI 節點

Categories: 開源, NVIDIA, Video, AI productions, Python, 多模態模型, 視覺模型, 視頻模型, MiniMax

RoboTok：用 YouTube 影片教機械手做家務

2026 年 9 月 5 日

RoboTok 把網上大量的人手操作影片變成機器人訓練素材，對應一段示範就能自動撈出動作相似的影片做模仿學習，等 AI 機械手多了一條低成本數據來源。

Retrieval embedding space and example clips

想訓練機械手做家務，最貴的部分往往不是模型，而是數據。RoboTok 由 Rice University 及 NVIDIA 合作開發，直接從海量網絡影片中撈取人手操作片段，再交給擬人機械手學習。它屬於一種數據引擎兼策略學習框架，把「找對數據」這一步自動化掉。

核心做法是把人手動作抽成以軀幹為基準的 3D 手部軌跡，再學一個嵌入空間，用 DTW（Dynamic Time Warping）相似度作監督，令同一種操作（例如倒水、摺衫）在不同鏡頭、不同人、不同場景下都能對齊。查詢時只要給一段示範影片，系統就用 cosine similarity 找出動作最相近的網絡片段。

以軌跡為單位做檢索：避開外觀差異，直接比動作本體，所以鏡頭變、場景變、人變都唔會影響配對。
配套軀幹估計模型：用雙手軌跡反推出身體/軀幹參考框，減少裁切與遮擋帶來的偏差。
FAISS + GPU DTW：向量檢索用 FAISS，DTW 內核用 numba CUDA，跑大規模影片庫唔會慢到難以迭代。
機械人策略學習閉環：檢索結果直接餵下游模仿學習，做擬人機械手 policy 訓練，並已在仿真及真機任務做評估。

同類做法多數只用影片幀或粗糙動作標籤做檢索，容易被背景雜訊干擾。RoboTok 走 3D 手部軌跡嵌入這條路，換來更精準的動作匹配，但代價是 pipeline 較重：要裝 MANO/SMPL-H 體模、CUDA 環境，再跑一套自帶的訓練與評估流程。

最受惠的是做擬人機械手、靈巧操作（dexterous manipulation）研究的團隊，以及想用低成本網絡影片取代部分遙操作數據的工作小組。對只想要開箱即用機械人策略的人來說，門檻仍然偏高；對做數據策展與 representation learning 的人，呢套引擎本身就值得參考。

項目主頁 · GitHub · 模型

Categories: 開源, NVIDIA, Agentic, 3D, 模型訓練, Robotic

MiniMax-H3-Motion-Director 全能導演台節點

2026 年 9 月 5 日

ComfyUI 自訂節點 Motion Director 將 T2V、I2V、V2V 等多段生成整合到同一介面，支援分鏡重跑、跨鏡頭連貫與即時預覽，讓多片段 AI 影片製作不再被節點海淹沒。

用 ComfyUI 砌 AI 影片嘅朋友，多數都經歷過呢個困局：想做一個有五個鏡頭嘅項目，要由零開始接 T2V、I2V、V2V 各種 workflow，每段調好參數再串埋，節點一多就連自己都搞唔清邊段行緊、邊段要重做。Motion Director 想處理嘅就係呢個問題——佢係一個 ComfyUI 自訂節點，把多段影片生成收納到同一個 Director 介面，等你可以逐段揀唔同生成方法（T2V / I2V / FL2V / R2V / V2V / RV2V），又唔使為咗切換而重新拉整個圖。

佢同一般 ComfyUI 工作流最大嘅分別，係圍繞「項目」做設計。Director 介面入面有 Segment、Multi Segment、Final Result 三層檢視，亦有 Director Live Preview 即時顯示邊段行緊、邊段做完。跨段連貫靠 Motion Context、Context Frames、Latent Scale Lock 同生成音訊接續，仲可以將上一段已解碼嘅幀直接當下一段嘅 I2V／FL2V 輸入，避免每次都重新生成首幀。素材方面提供 Common References 同持久化 Material Library，圖、音、影片、提示詞都可以重複用。

另一個貼地嘅設計係 Selective Run——只要揀要重做嘅片段就得，唔使成條 pipeline 重跑，配合 MIXED 模式用，可以幾段文生、幾段圖生、幾段源影片剪輯混埋做項目。Director 本身係 OUTPUT_NODE，最尾嗰格就可以輸出畫面、音訊同 FPS 畀下游 ComfyUI 節點繼續接。後製方面內置 Global Refine、放大、可揀 NVIDIA RTX VSR / Deblur 同 Face Refine，不過 VSR／Deblur 要相容 NVIDIA VFX runtime，Face Refine 要 UI 揀好對應 detector／SAM 路徑。

適合要處理多鏡頭、有分鏡表、要保持視覺同音訊一致嘅創作者，例如廣告原型、MV 概念、敘事短片預覽，或者要把源影片做局部 V2V／RV2V 修補嘅後期流程。生成方面支援內建 sampling 或外部 ComfyUI SAMPLER + SIGMAS，方便想自己控制 noise schedule 嘅人。版本去到 v1.2.0，採用 GPL-3.0；硬件門檻就睇你揀嘅功能——基本生成跟返 ComfyUI 一般配置，想用 VSR／Deblur 或大尺寸放大就要 NVIDIA 顯卡同對應 runtime。

重點摘要：

多段整合 Director 介面：T2V／I2V／FL2V／R2V／V2V／RV2V 同一畫面揀，逐段切換唔使重拉 workflow
Selective Run + Mixed Mode：只重跑指定片段，唔使成條 pipeline 由頭嚟
跨鏡頭連貫：Motion Context、Context Frames、Latent Scale Lock 同音訊接續，仲可以重用上一段解碼幀
內建 Live Preview 與三層檢視：Director 介面直接睇 Segment／Multi Segment／Final Result
後製選項齊全：Global Refine、放大、可選 RTX VSR／Deblur 與 Face Refine，對硬件有特定要求

GitHub

Categories: 開源, NVIDIA, ComfyUI, Video, AI productions, 庫, MiniMax, 框架

Qwen-Audio Realtime API 上線：以 WebSocket 即時串接語音對話

2026 年 9 月 5 日

阿里巴巴雲 Model Studio 推出 Qwen-Audio Realtime API，用 WebSocket 串流處理語音輸入與輸出，支援 VAD 偵測與雙向文字回傳，適合即時語音助理開發。

想在應用程式裡加入即時語音對話，但又不想自己串接一堆音訊前處理、ASR、TTS 的流程？阿里巴巴雲 Model Studio 這次直接把 Qwen-Audio 做成可即時呼叫的 Realtime API，開發者只要透過 WebSocket 連線，就能處理語音輸入、文字輸入，並即時收到串流音訊與文字回應。

這個 API 的設計重點在於「一條連線做完整件事」。客戶端與伺服器以 JSON 事件雙向溝通，支援語音活動偵測（VAD），讓系統知道用戶何時開始與結束說話，省去自行判斷靜音的麻煩。對話中的每一則訊息會以 conversation item 形式保存，整個 session（即一條 WebSocket 連線）則負責維護設定與上下文狀態。

服務端點分為中國（北京）與新加坡兩個區域，皆已改用 workspace-specific 專屬網域，官方表示穩定度與推論表現都比原本的共用網域更好。連線時需使用 wss:// 協定，並在 request header 帶上 Authorization: Bearer <your_api_key>，API key 會在 WebSocket 握手階段驗證，若無效會直接回 HTTP 401/403。

若你的項目是語音助理、即時翻譯、客服 robot 或電話自動化，會感受到整合成本明顯降低——不用分別串 ASR、LLM、TTS，只要管理好 WebSocket 的事件流即可。舊網域雖然仍可用，但官方強烈建議遷移至新網域以取得更佳體驗。

重點摘要

即時雙向串流：WebSocket 連線同時處理音訊輸入與串流輸出，搭配 VAD 自動偵測語音起止。
JSON 事件溝通：所有互動以結構化事件傳遞，方便除錯與日誌記錄。
雙區域專屬網域：中國（北京）與新加坡皆提供 workspace-specific 端點，穩定度與推論表現提升。
簡化整合流程：免去自行串接 ASR、LLM、TTS 的負擔，適合快速建構語音應用。
原有網域仍可用：但官方建議盡快遷移以享受新網域的效能改善。

項目主頁

Categories: 阿里巴巴, Qwen, 文字轉語音, API, Audio, 語音, Robotic, 中國

Atlas 世界模型一次處理文字、圖片、影片與 3D

2026 年 9 月 5 日

World Labs 推出 Atlas，聲稱是目前首個原生同時處理文字、圖像、影片與 3D 的「omni」世界模型，能從一張相機路徑推算未見過的視角，並重建真實場景。

World Labs 公開了新一代世界模型 Atlas。它的特別之處在於從訓練階段就同時處理四種輸入——文字、圖像、影片、3D——並把它們整合到同一個空間脈絡裡，再以多模態自迴歸擴散 Transformer 推算下一個畫面。這意味著 Atlas 不只是「看得更多」，而是嘗試理解世界怎樣呈現、怎樣變化，並把想像中的場景渲染出來。

從使用場景來看，Atlas 主要涵蓋四類工作：相機控制生成、空間重建、空間時間模擬，以及純文字生圖與 360 度全景。其中相機控制生成支援 1 至 6 張輸入圖片，可輸出最高 1440p、最長約 1 分鐘的影片，並以像素級精度的相機幾何作為輸入，而不只是粗略的文字描述。

重建方面，Atlas 只需要 1 張到幾十張相片，就能還原真實場景並產出新視角的影像幀與明確的 3D 輸出。團隊指出，這項表現優於專門做 3D 重建的同類模型。空間時間模擬則可從影片重新取景，生成電影級視覺效果，並支援 Real-to-Sim 流程，供機器人規劃動作。

以下幾點值得留意：

原生多模態：文字、圖片、影片、3D 一開始就共享同一空間脈絡，並非後期拼接。
像素級相機控制：把精確相機幾何列為原生輸入，能逐格構圖、逐段運鏡。
超越專用模型：3D 重建表現優於專門訓練的模型。
支援 Real-to-Sim：能把真實影片轉成可模擬的世界，供機器人規劃。
規模持續擴展：團隊表示表現會隨訓練算力提升，並預期這個趨勢會延續下去。

World Labs 表示，Atlas 將驅動他們自家 Marble 的未來版本及其他產品，現已開放早期使用的申請。

項目主頁

Categories: API, Video, Image, 3D, AI productions, 多模態模型, 影像模型, 模型訓練, Robotic, 世界模型

KBMR 視覺問答檢索帶向實體語義

2026 年 9 月 4 日

KBMR 針對 KB-VQA 容易搵錯相似圖片的問題，以 MLLM 將檢索焦點由外觀匹配轉向實體語義。

面對人物、地點或物件，KB-VQA 若只按圖片外觀搜尋，容易因視角、年代和風格變化搵錯資料。KBMR 屬於面向 Knowledge-Based Visual Question Answering（KB-VQA）的多模態模型檢索器，實際處理的是「畫面相似但實體不同」的證據搜尋問題。

KBMR 先由 EVA-CLIP-8B 篩選候選，再以 MLLM-based Semantic Discriminator 為查詢與候選產生連續的 entity-consistency weights。Qwen2-VL-7B 以這些語義訊號訓練 embedding retriever，並透過 symmetric KL distillation，令 cosine similarity 得出的 retriever posterior 與 discriminator weights 形成的 semantic prior 對齊。

重點整理為：
– 由 surface-level visual matching 改為 entity-aligned semantic retrieval。
– 連續權重可支援較可靠的 hard-negative mining 和 soft supervision。
– 替換原有 first-stage retriever，毋須改動下游 reasoning 或 reranking。
– 不同 KB-VQA pipeline 的端到端答案準確率最高提升 9.4 個百分點。

這種取捨適合已有 KB-VQA、外部知識庫和後續推理流程的研究團隊，因為 KBMR 主打 plug-and-play 替換檢索器，而不是重新設計整條系統。KBMR 列出 Python 3.10+、EVA-CLIP-8B 及 Qwen2-VL-7B 等準備項目，亦包括訓練和評估章節；目前已提供完整安裝指令、模型取得方式及獨立推理流程。

GitHub

Categories: 開源, Qwen, Embedding, Python, 多模態模型, 視覺模型

SimLoss 用單次生成多階段圖像描述

2026 年 9 月 4 日

由 UMass Amherst 與 Adobe Research 團隊開發，SimLoss 想解決圖像描述太籠統的老問題。它把細節監督搬到 embedding space，換來更快推理與更高描述精細度。

Repository image for srynsh/SimLoss-Image-Captioning

UMass Amherst 與 Adobe Research 團隊，瞄準的是圖像描述常常只講到大意、漏掉材質、數量、紋理同位置關係的問題。SimLoss 屬於影像 captioning 模型訓練方法，核心不是再加一條冗長後處理流程，而是令 Vision-Language Model 在單次生成前，先把隱藏狀態對齊影像 embedding，直接補回細節監督。

它的技術關鍵，在於用 reference-free 的 embedding-space objective 取代人手撰寫細粒度 captions，亦唔需要先跑多階段系統去製造 pseudo-captions。SimLoss 列出兩條路線：SimLoss FFT 會透過本地可用的 Qwen3-VL-Embedding-2B 反向傳播；SimLoss GRPO 則把 Gemini Embedding 2 當成 black-box reward。兩者都建基於 Qwen2.5-VL-7B-Instruct captioning policy，但前者偏向直接做表徵對齊，後者更接近以獎勵訊號微調。

同類方法常見做法，是生成、拆解、驗證、重寫逐步修補描述內容；SimLoss 揀的是保留 single-pass inference，換取更低延遲，再用對比式學習補回細節。代價是它仍然依賴外部 embedding 模型品質，而且項目展示的是研究基準與訓練框架，不是即裝即用的成品服務。

IIW-400 測試中，SimLoss FFT 配合 Qwen2.5-VL-7B backbone，把 precision 由未調整 backbone 的 0.788 提升到 0.849，F1 與多階段 CapMAS 接近到難以區分，同時推理速度約快 20 倍；SimLoss GRPO 則拿到最強 recall。呢個取捨幾實際：想要更準確地講出畫面細節，又唔想接受多步驗證延遲的團隊，會比一般 captioning fine-tune 更感受到差別。

同一儲存庫放入 SimLoss、CapMAS、PAPO、DCScore RL 等基線，方便直接比較
單次生成保留低延遲，同時補足 attributes、counts、textures、materials、spatial relations
提供方法分目錄、資料與 checkpoint 說明，但大型資料與模型檔案未隨儲存庫附上

研究、內容理解、影像搜尋標註，甚至要為電商圖片或視覺資產建立更細緻描述的團隊，都會較容易受益。安裝與執行入口在儲存庫內有 setup 與各方法，但目前公開資訊主要指向研究復現流程；想完整重跑訓練或延遲基準，仍要另外處理資料集、checkpoint 同對應運行環境。

項目主頁 · GitHub

Categories: 開源, Qwen, Gemini, Image, Embedding, 多模態模型, 視覺模型

[技術文章] VibeVoice-ASR-Streaming 把講者即時辨識與轉錄合而為一

2026 年 9 月 4 日

Microsoft Research團隊將講者辨識加入串流語音轉錄，讓語音助手更快知道誰在說甚麼。

Microsoft Research聯同中國科學院大學及上海交通大學研究人員，開發VibeVoice-ASR-Streaming。

模型以 Large Language Model（LLM）為核心的端到端串流Speaker-Attributed Automatic Speech Recognition（ASR）系統，連續處理到達中的語音，同時輸出文字及講者身份。傳統流程通常把ASR與speaker diarization分開處理；此模型將兩項工作放進單一模型，針對即時語音助手及語音代理需要低延遲回應的場景，減少等待完整錄音後才分析的限制。

VibeVoice-ASR-Streaming 會交錯處理固定大小的audio chunks，並加入少量lookahead，讓模型在保留未來聲音片段作判斷的同時，逐步產生轉錄結果。固定分塊有助控制處理延遲，但lookahead 與分塊大小之間仍要取捨：前者越多，講者切換及語句判斷可能更穩定，回應時間亦可能增加。

以單一LLM-based端到端模型同步處理ASR與speaker attribution
使用固定大小audio chunks及少量lookahead支援串流輸出
針對即時語音助手及agents的低延遲需求設計
量化檔案、推論框架、硬體需求及效能指標尚未在提供內容中交代

項目主頁 · Paper

Categories: 微軟, Agentic, Audio, Discord, LLaMa, Ollama, 語音, Dataset 數據集

SolarWM 開放視頻世界模型全流程基建

2026 年 9 月 3 日

SolarWM 不只公開模型權重，連數據處理、訓練流程和長時推理方法一併開放，目標是降低互動式視頻世界模型的研究門檻。

SolarWM teaser: one framework for diverse interactive worlds

從數秒訓練片段推演出長達數分鐘甚至更長時間的互動視頻，一直是世界模型（World Model）發展中的難題。SolarWM 把焦點放在整個研發鏈條，而不只是單一模型，結合開放數據管線、訓練框架與推理流程，形成一個面向互動式視頻世界模型的完整研究基礎設施。

項目屬於世界模型訓練框架與開放研究基建，處理的問題是如何把不同來源的視頻資料整理成一致格式，並在不同模型骨幹之間建立可擴展的長時推理能力。團隊將來自 14 個資料集、約 143 萬段影片統一整理，讓資料準備與訓練配方可以分離，研究人員毋須重複建立資料處理流程。

與許多只圍繞單一架構設計的方法不同，SolarWM 強調保留原生骨幹能力，同時支援 Wan2.2、LTX-2.5 與 MiniMax-H3 等不同模型家族，涵蓋 5B 至 33B 規模。研究團隊提出三階段訓練流程，包括雙向適應、結合 AnyFlow 的教師強制訓練，以及長時互動推理策略，希望在不依賴超長訓練影片的情況下維持世界演化一致性。

開放釋出資料處理管線、資料集及模型權重
支援多個主流視頻生成骨幹，而非綁定單一架構
利用約五秒片段訓練，目標達成分鐘級甚至小時級推理
涵蓋 143 萬段影片與約 25TB 數據規模
提供可重組資料配方與不同訓練策略組合

適合世界模型研究團隊、互動式模擬系統開發者，以及探索 World-Action Model 與長時視頻生成的學術機構。SolarWM 的價值不只在單次生成效果，而在於把過往難以重現的資料處理和訓練步驟公開，讓不同研究單位更容易比較方法與建立可重複驗證的實驗流程。長時間推理的一致性仍有待更多公開基準驗證，但這套框架已經把世界模型研究由單一模型競賽推向完整基礎設施層面。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, NVIDIA, Agentic, 3D, 模型訓練, 世界模型, World-Action Model, MiniMax, Dataset 數據集, LTX

AREX-Skill 把 GitHub 知識變成可執行技能

2026 年 9 月 3 日

AREX-Skill 將熱門 GitHub 儲存庫整理成可驗證、可執行的技能，讓 Coding Agent 在複雜機器學習研究任務中少走彎路。

AREX-Skill turns repository and paper knowledge into executable skills for coding agents and autonomous ML research

面對需要查閱多個儲存庫、重現研究流程和逐步驗證結果的工作，AREX-Skill 將分散在 GitHub 的操作知識整理成可重用程序、檢查方法和技能圖譜。它屬於面向 Coding Agent 的開源技能庫與工作流工具，實際處理的是代理有模型能力卻欠缺項目脈絡和操作經驗的問題。

AREX-Skill 已從 1,000 多個熱門機器學習儲存庫提煉超過 5,000 個經驗證、可執行的 skills，並可整合 Codex、Claude Code、Pi 等 Coding Agent。使用時可按任務由 router 從技能庫收窄至相關分支，再由代理執行；DisCo 則負責將儲存庫知識建立、驗證和匯出成技能。

技能包含程序與檢查，而不只是文字說明
技能圖譜協助代理處理跨學科機器學習研究
DisCo Meta Skills 支援挑選及使用 Creator meta skills
Refreshing Repo Skills 提供維護和更新清單

相較於每次由代理重新閱讀 README、程式碼和論文，技能化做法可把重複的操作步驟預先整理，並將預算集中到較困難的推理工作；代價是技能需要隨儲存庫更新而刷新，覆蓋範圍和驗證品質亦會直接影響結果。儲存庫目前提供 Demo、技能目錄、repository catalog 及 DisCo CLI 文件，適合研究團隊、Coding Agent 使用者，以及需要重現多個 ML 項目的開發者。

GitHub

Categories: 開源, Agentic, Vibe Coding, 編程, Anthropic, Dataset 數據集, Skill 技能

Page 1 of 148

1 2 3 … 148 Next »