阿里 WanPE 用 397B 參數重寫電影級提示詞

2026 年 9 月 26 日 Share to X Facebook Copy link

阿里 Wan Team 推出 397B 參數嘅電影級提示詞增強模型 WanPE，專門幫影片生成模型把簡單描述擴寫成導演級腳本。

用文字寫出導演水準嘅提示詞係一道高牆。普通用戶多數只會輸入「一個人喺森林行」，但頂級模型需要更細緻嘅鏡頭語言、動作編排同節奏控制，先至能夠生成高質素嘅 30 秒成片。阿里 Wan Team 推出嘅 WanPE，正正瞄準呢個痛點：佢會將用戶輸入嘅簡短描述，自動擴寫成包含鏡頭運動、燈光變化、動作節奏嘅電影級分鏡腳本，再交俾下游影片模型執行。

WanPE 採用「Video-grounded reverse construction」做法，先從真實影片反向建構出鏡頭規劃，再學習點樣由提示詞出發重建同樣嘅結構，比起由前向改寫提示詞更能保留導演意圖。同時，佢透過 Semantic-Consistency GRPO（SC-GRPO）訓練方法，確保長鏡頭、多分鏡之間嘅語意唔會走樣。整個模型以約 105 萬條真實影片訓練而成，參數量達到 397B。

沒有 WanPE

使用 WanPE 之後

團隊構建咗人類標註嘅 WanPEval 測試集，覆蓋 5 至 30 秒唔同時長同意圖粒度，並用約 11,000 組盲測配對評分做對比。當配搭 Wan3.0 影片生成器時，WanPE-397B 喺 5 至 15 秒影片將人類偏好分數提升 10.7 至 18.8 分；喺 30 秒嘅長片場景，偏好分數更大幅躍升 50.9 分。喺 5 至 15 秒組別，佢領先所有受測嘅商業方案；30 秒組別則與 Seedance 2.5 保持競爭水平。

對內容創作者、短影片團隊或者想做 AI 廣告片嘅人嚟講，呢類自動「導演助手」能夠省卻大量分鏡草稿時間；對開發者而言，佢亦可作為外掛增強模組，套用到 LTX-2.5、MiniMax-H3 等其他生成器身上做格式適配。

重點摘要

• 397B 參數專職寫分鏡：WanPE 將用戶簡短提示擴寫為導演級電影腳本，再交俾下游影片模型執行
• 逆向建構 + SC-GRPO：從真實影片反向學習鏡頭規劃，並透過強化學習保持長片語意一致
• WanPEval 評測：人類標註、5 至 30 秒覆蓋、約 11,000 組盲測配對評分
• 30 秒長片偏好激升：搭配 Wan3.0 時，人類偏好分數提升 50.9 分
• 可遷移：經格式適配後，可應用於 LTX-2.5、MiniMax-H3 等其他生成器

項目主頁 · Paper

Categories: 南京大學, 清華大學, 阿里巴巴, AI productions, 模型, 模型訓練, Video, 提示詞, Content Creator, LTX, 中國, Dataset 數據集, MiniMax

---

OmniEcho：讓智能體真正「聽聲辨位」的全方位音視覺模型

2026 年 9 月 26 日 Share to X Facebook Copy link

聲音從哪個方向來、距離多遠，是人類憑本能就能判斷的事，對機器人卻是一道難題。OmniEcho 把一階 Ambisonics 空間音訊、視覺與語言整合到同一個智能體，專門研究這類空間感知與聲源導航。

OmniEcho 是一個面向 embodied agent 的音視覺空間感知項目，由北京大學 PKU-VaLuE-Lab 開源。它要解決的問題很直觀：當一個智能體同時聽到聲音、看到畫面，它能否判斷聲源在哪個方向、距離多遠，並進一步循聲走去？這件事對人類毫不費力，但要讓 AI 真正做到，過去並不容易。

項目同時提供三樣東西：統一基準 OmniEchoBench、可控的空間音訊渲染管線，以及基於 Qwen3-Omni 改進的 OmniEcho 模型。後者最關鍵的設計，是在 Qwen3-Omni 既有語意音訊通路之外，加掛一個專門處理 FOA（一階 Ambisonics）空間資訊的編碼器，讓模型同時理解「聽到什麼」和「聲音從哪來」。

基準涵蓋六類任務，合共 197 個真實音視覺場景、2,972 條 QA 與 900 條導航樣本，全部由人工核對標註。OmniEcho 在空間音視覺感知上達到 state-of-the-art，而循聲導航的表現已經逼近傳統「靠文字指示」的視覺語言導航。不過細粒度的方位判定與距離估計，仍被作者列為尚未解決的難題。

對做機器人導航、音視覺融合研究，或需要智能體在真實場景中聽聲定位的團隊，這套項目提供了一個可以直接拿來跑評測、訓練、再挑戰的起點。原文並未附上完整的安裝或下載流程，相關代碼與模型權重目前標示為即將釋出。

重點摘要

• 空間音訊加視覺語言：以 FOA 為輸入，與視覺、語言一起餵進 omni-modal agent。
• 雙編碼器設計：在 Qwen3-Omni 之上新增 FOA 空間編碼器，保留原有語意音訊能力。
• 真實世界基準 OmniEchoBench：六類任務、近 3,000 條 QA 與 900 條導航樣本，人工核對。
• 循聲導航貼近文字導航：在 Nav 任務上接近傳統 VLN 水平，但方位與距離仍偏弱。
• 代碼與權重待發佈： 標示 Coming Soon，暫無公開安裝步驟。

GitHub

Categories: 開源, 北京大學, Agentic, 模型, 視覺模型, 模型訓練, Qwen, VLA, Audio

---

Spatial-Interactor 讓視覺模型學懂行動後的空間變化

2026 年 9 月 24 日 Share to X Facebook Copy link

Spatial-Interactor 把空間推理由靜態辨識推向連續互動，處理物件、視角與長距離軌跡的變化。

當畫面中的物件被打開、移動，或者代理人在場景中轉身前進，答案不再只是辨認位置，而是要推斷每一步行動帶來的改變。Spatial-Interactor 屬於視覺語言模型的訓練項目，針對模型難以理解狀態轉移及連續空間軌跡的問題，從可觀察的物理互動記錄建立訓練訊號。

項目把能力分成三層：L1 處理視點大致固定時的物件與世界狀態變化；L2 推理代理人移動造成的自身視角變化；L3 將連續的局部轉移整合成完整、長距離的互動軌跡。LSI-108K 以互動記錄、幾何軌跡、狀態及姿態資料產生可驗證的問答目標，令訓練內容不只停留在單張影像的空間關係。

訓練先以 supervised fine-tuning (SFT) 學習 L1 及 L2 的局部轉移，再利用 On-Policy Distillation (OPD) 整合長軌跡中的連續證據。推理時模型只接收原始視覺輸入與問題，毋須依賴額外提供的中間狀態；這有助於測試模型能否自行重建互動過程，但也代表長距離推理仍會受視覺理解及累積誤差影響。

項目涵蓋四個 vision-language models，並以狀態轉移診斷、打亂影格後的時間敏感度，以及局部與長軌跡推理結果作分析。較適合研究視覺代理人、機械人感知、具身 AI 及需要理解動作後果的場景；GitHub 資訊提供程式碼、模型與資料的連結，但未交代完整安裝及測試流程，不能單憑頁面內容判定下載後即可直接運行。

• L1 分析外界物件及場景的狀態轉變
• L2 把 ego-motion 對觀察結果的影響納入推理
• L3 將多個局部轉移串連成完整軌跡
• SFT 負責局部學習，OPD 負責長距離整合
• 模型只需原始視覺輸入與問題作推理

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Image, Robotic

---

InternW0 讓機械人邊預測未來邊靈活操控

2026 年 9 月 24 日 Share to X Facebook Copy link

面對接觸、受力和環境變化，InternW0把未來視覺預測與連續動作控制結合，提升機械人完成操作任務的穩定性。

機械人處理實驗室器具、液體轉移或其他需要接觸感知的工作時，往往要同時理解下一刻會見到甚麼，以及當下應該施加甚麼動作。InternW0屬於 Physical World Model，透過非對稱 video–action 架構，把未來視覺預測與連續控制放進同一套流程。

它採用 mixture-of-transformers backbone，由高容量 video expert 預測較長時間範圍的視覺變化，再由較輕量的 action expert 根據最新觀察調整動作。Observation-conditioned context routing 會隨視覺和物理回饋更新上下文；force 與 tactile channels 則在 contact-aware post-training 中加入，協助處理接觸場景。

訓練部分以 joint video–action flow matching 學習未來動態與控制策略，Wan VAE 負責影片編碼，DINOv3 encoder 提供當前視覺觀察。七個數據集合共提供 7,233.5 小時資料，涵蓋真實機械人軌跡、模擬操作，以及 EgoLab 的實驗室第一身影片。

• LIBERO 四個任務套件平均成功率達 98.6%
• RoboTwin 2.0-Full 平均成功率為 93.12%
• Clean2Random 平均成功率為 75.60%
• RTX 5090D 上每次動作更新需時 60.73 毫秒，模型端策略更新率為 16.47 Hz

InternW0較適合需要長程預測、即時反應和接觸控制的機械人研究與實驗室工作流。資料未有提供完整安裝或下載使用流程，讀者應按官方提供的 Paper、GitHub、Hugging Face 或 ModelScope 資源確認可用版本與存取方式。

項目主頁

Categories: 開源, 上海人工智慧實驗室, 模型, 世界模型, 模型訓練, Video, Robotic, Dataset 數據集

---

LTX-2.5 加入多圖與聲音參考控制

2026 年 9 月 24 日 Share to X Facebook Copy link

想令影片中的人物、物件和聲音更一致，這個 ComfyUI 擴充項目把多重參考整合到同一條工作流程。

要在 LTX-2.5 生成影片時維持多個人物、物件或場景的連貫性，單靠文字提示往往不夠。ComfyUI-LTX2.5-MSR 是一個 ComfyUI 擴充工具，透過 MSR LoRA 把最多五張獨立編碼的參考圖片加入影片 latent；配合 AVref LoRA，還可為最多兩位說話者加入聲音參考。

它處理的不是普通圖片拼接，而是保留 MSR（Multiple Subject Reference）的訓練方式：每個參考影像都有 learned slot embedding，參考 token 會預先加入模型輸入，並配合固定排序及連續負時間位置，讓 LTX-2.5 的 self-attention 讀取人物、衣物、物件和場景資訊。參考圖片會自動調整大小、置中裁剪及以白色填補，亦支援 tiled VAE encoding。

v1.2.2 將圖片和聲音參考集中到同一個 LoRA loader 及 Reference Guide。兩個 audio latent 可分別配對 pic1 和 pic2；缺少某段聲音時，對應時間窗會保持空白，不會令後面的參考位置前移，並可選擇 25 或 33 幀的圖片參考長度。README 同時提供 V2 範例工作流程，展示加入聲音參考的兩階段 sampling 及 latent-upscale refinement。

使用前需要 LTX-2.5 原生模型、符合要求的 MSR 或 AVref LoRA，以及 ComfyUI 的模型、conditioning、latent、VAE、sampler 和 AV 節點。LoRA 必須包含 reference_slot_embedding 權重，普通 LoRA 會被拒絕；項目資料未提供完整安裝指令或硬件性能測試，因此生成速度、顯存需求及最終一致性仍要按本地模型、解析度和參考數量自行驗證。

• 最多五張圖片參考，支援人物、物件、背景等不同角色
• AVref LoRA 可加入最多兩位說話者的聲音參考
• 稀疏 audio slots 保留絕對時間位置，不會重新排列後續參考
• 適合單階段生成，也可接入兩階段 latent-upscale 工作流程

GitHub · 模型

Categories: 開源, ComfyUI, AI productions, Embedding, 模型, 模型訓練, Google, NVIDIA, Video, Image, Audio, 工具, 語音, LTX, 蘋果, LoRA

---

Taste-Bench ：避免把時間和計算資源花在錯路上

2026 年 9 月 23 日 Share to X Facebook Copy link

AI Agent 要做的選擇，當下往往看似合理，代價卻可能在很久之後才浮現。Taste-Bench 把這類決策分岔整理成測試，檢查模型能否及早選對方向。

AI Agent 做長任務時，選錯方向可能要到多個步驟之後才看得出代價。Taste-Bench 是一套評測資料集，讓模型閱讀任務背景、分岔前的操作紀錄，以及兩個候選下一步，再判斷哪個選擇較好；它測試的不是單步答題，而是能否避免把時間和計算資源花在錯路上。

資料集有 502 題，從軟件工程與機器學習研究任務的操作軌跡中整理而成，沒有逐題由專家標註。題目分為兩類：不同嘗試在同一位置分岔，最後結果提供判斷依據；或同一次執行中，Agent 遇到失敗後放棄原路並恢復。研究團隊從 4,657 個候選分岔中剔除過於簡單或無法判定的題目，並以後續結果標示較佳方向。

測試時可從 Hugging Face 取得資料集，按題目提供的紀錄比較模型選擇；程式碼庫亦提供 Python 3.11 以上的快速開始方式。評分要求模型在兩種選項排列順序下都答對，減低單靠固定選位置取得高分的可能。較貼近方向判斷能力，但題目仍集中於 SWE-bench、SWE-bench Pro，以及 METR 的 MALT 研究軌跡，未必涵蓋所有長任務場景。

14 個前沿模型中，最高平均正確率為 59.7%，仍有約四成題目判斷錯誤；當關鍵證據要到更後段才出現，準確率會由 62.3% 降至 21.0%，增加推理預算亦未能改善結果。研究亦報告，透過事後答案蒸餾訓練的 Qwen3.6-27B，在未見任務上的正確率由 30.0% 升至 47.9%；用它提供建議後，SWE-bench Pro 成功率由 14.6% 升至 33.7%。這些結果顯示評測不只用來比較模型，也提供了改善 Agent 決策的訓練方向。

• 評測核心：在結果尚未揭曉時，從兩個下一步中選出較佳方向。
• 題目來源：軟件工程與機器學習研究任務的真實操作軌跡。
• 主要限制：目前 502 題的領域與任務來源有限，不能代表所有 Agent 工作。
• 適合對象：研究長任務 Agent、比較模型決策能力，或訓練工具使用策略的團隊。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, Qwen, 工具, Python, Dataset 數據集

---

Segment-Snap：讓 AI 看懂3D 場景怎樣開門

2026 年 9 月 23 日 Share to X Facebook Copy link

由室內3D掃描推斷可動部件、運動方式和把手位置，Segment–Snap把幾何線索與語義判斷接在同一條流程內。

一張室內3D掃描不應只告訴你有門櫃，還要指出哪個部件會動、沿甚麼方向移動，以及人應在哪裏操作。Segment–Snap 屬於3D場景互動理解模型，處理的正是可動部件、運動類別、鉸鏈位置和把手之間的關係。

項目採用三個獨立訓練的 predictor 讀取同一個 RGB point cloud：Movable-part predictor 負責部件分割及旋轉、平移類別；Dense handle predictor 尋找細小把手；Joint part-handle predictor 再提出與部件相關的把手候選。把手位置會協助判斷旋轉部件的鉸鏈線，部件的幾何和類別則反過來改善把手標籤，兩個方向各行一次，沒有迭代式 feedback。

固定的 training-free decoder 會為可靠部件支援擬合方盒，利用垂直軸先驗推斷旋轉，並以表面法線處理平移；這令模型毋須另行訓練 motion regression。Joint predictor 的 parent parts 只作內部脈絡，最終輸出仍以獨立 Movable-part predictor 的部件結果為準，取捨相當清楚。

• Handles → part motion +27.25 個百分點，主要改善 hinge placement
• Parts → extra handles +5.01 個百分點，補充把手 proposals
• Part classes → handle labels +0.98 個百分點，修正部分 motion-class 判斷
• 三項結果來自 Articulate3D validation，指標為 motion AP 或 handle AP，增幅不可直接相加

測試時可按資料準備文件處理場景，再使用 Hugging Face 提供的 pretrained checkpoints 和 repository 內的 training configurations，重現公開 Articulate3D validation 實驗。項目較適合研究3D視覺、機械人感知、具身互動或需要分析門櫃等室內物件操作方式的團隊；它提供的是研究參考實作，並非可直接接駁家居控制系統的完整產品。

項目主頁 · GitHub · 模型

Categories: 開源, 香港理工大學, 模型, 模型訓練, 香港, 3D

---

Flash-dLLM 讓擴散式語言模型解碼更快、更省記憶體

2026 年 9 月 23 日 Share to X Facebook Copy link

Flash-dLLM 把 KV-cache 管理和並行解碼放在同一套推理框架處理，減少擴散式語言模型反覆搬移資料造成的速度損失。

擴散式語言模型每輪去噪都可能同時產生多個 token，但反覆更新 KV-cache 會令 GPU 花大量時間讀寫資料。Flash-dLLM 屬於免訓練推理加速框架，針對這個記憶體瓶頸提升解碼速度，亦保留可調校的準確度與吞吐量取捨。

Flash-Cache 以融合式 Triton kernel 一次處理 QKV projection、rotary positional embedding（RoPE）及 cache writes，並透過 block-scheduled attention 支援批次內不同查詢長度。它只刷新新解碼 token 及按 attention importance 選出的少量關鍵位置，避免每輪重算全部內容。

Flash-Verify 再利用同一個 diffusion model 同時擔任 drafter 和 verifier，毋須額外模型或訓練；draft token 與 [MASK] token 會透過兩種視圖驗證，符合信心門檻的預測可一併接受。

• LLaDA-1.5 測得 148–211 tokens/s
• 比無 caching 的 greedy decoding 快 22.3 至 148.2 倍
• GSM8K 和 HumanEval 比 Elastic-Cache 快 5.1 倍及 11.0 倍
• GPU 記憶體約比 Fast-dLLM 少 48%，可擴展至 batch size 32

這個項目適合研究 diffusion LLM 推理、GPU kernel 或高吞吐量服務的團隊。使用前需按儲存庫提供的環境及模型設定進行安裝和 evaluation；結果會受 GPU、批次大小、信心門檻及模型支援程度影響，數字未必能直接套用到其他 dLLM。

項目主頁 · GitHub

Categories: 開源, Embedding, 模型訓練, 框架, 庫

---

Mira-Scene 單張圖片重建可編輯 3D 場景，讓畫面變成可拆解空間

2026 年 9 月 23 日 Share to X Facebook Copy link

Mira-Scene 將單張圖片拆成物件、深度與環境，再組合成可編輯 3D 場景，降低由 2D 畫面建立空間內容的門檻。

由一張圖片開始，Mira-Scene 能分辨場景內的物件、估算深度，再為各物件建立網格並組合成可編輯 3D 場景。它屬於單圖 3D 場景重建模型與推理項目，處理的是影像缺乏空間結構、物件難以獨立編輯的問題，適合概念設計、虛擬場景和後續模擬工作。

完整流程包括互動式 instance segmentation、monocular depth estimation、canonical coordinate map（CCM）、voxel prediction、逐物件 mesh generation、支援物件接觸關係的 scene assembly，以及 environment-map generation。Hugging Face 提供的 CCM diffusion checkpoint 只負責其中一個階段，並不是可直接輸出 GLB 的獨立 image-to-3D 模型；分割遮罩、mesh backend 和場景組裝階段仍要配合使用。

Mira-Scene 採用分階段推理，支援中斷後繼續執行、多個深度及網格後端，亦可按個案分配多張 GPU。使用者可依照中文 inference、visualization 和 evaluation 指南準備輸入圖片及遮罩，再檢視各階段產物；訓練程式碼和示例訓練數據仍列在待辦事項，研究用途以外需要自行處理環境和模型資源。

• 單張圖片重建可拆解的 3D 場景
• 以 CCM 和稀疏 voxel 表示物件空間結構
• 對比 SAM3D，3D-IoU 為 0.727，較 0.520 高
• 部分指標領先，但 EMD 略遜於 SAM3D
• 開源推理流程完整，訓練部分尚未公開

評測表中，Mira-Scene 使用 80k 規模、全自動流程的數據，CD、FS@0.1、3D-IoU、ICP-Rot、2D-IoU 和 ADD-S 均優於 SAM3D；EMD 則為 0.169，稍高於對方的 0.163。這反映它在整體形狀、投影對齊和姿態誤差上具競爭力，但不能把單一圖片重建視為完整真實世界掃描，遮擋、不可見背面和網格後端仍會影響結果。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 模型, 視覺模型, 模型訓練, NVIDIA, Image, 影像處理, 3D, 蘋果

---

OmniEdu 把課程理解帶進 AI

2026 年 9 月 23 日 Share to X Facebook Copy link

OmniEdu 不只回答題目，還會對照課程、診斷學習缺口，再決定下一步應給提示、提問或講解。

學生卡在一道題目時，答案本身未必足夠，真正需要的是知道漏了哪個前置概念，以及下一步應怎樣學。OmniEdu 屬於開源多模態模型家族，處理 K–12 學習與教學流程，將課程對應、解題、學習診斷和教學支援放在同一套模型內。

模型以 Qwen3.5-4B-Base、Qwen3.5-9B-Base 和 Qwen3.8-27B 為基礎，推出 4B、9B、27B 三個 checkpoint。訓練資料包括 69,999 個 instruction examples、15.96M supervised response tokens，當中 60,951 個屬教育專用資料，涵蓋超過 100 個來源；模型亦支援圖片等多模態輸入，能把問題、知識點、年級、先修關係和課程證據連繫起來。

可下載的權重和資料集適合教育研究團隊、教材平台，以及需要本地模型作學習分析的開發者；4B 較適合本地試驗，9B 和 27B 則提供更高能力但需要更多硬件資源。模型可透過 Transformers 或 vLLM 執行，公開配置使用 Qwen3_5ForConditionalGeneration，訓練序列長度為 32,768 tokens。

• OmniEdu-27B 在 16 個模型比較中，取得 K12-Bench EM 63.12% 和 F1 76.69%，兩項均列第一。
• OmniEdu-27B 在 MathFish 達 85.89% 準確率，並取得 LongTutor 3.02 教學分數。
• EDUMATH MaC 為 86.95%，MathTutorBench Scaffold win rate 為 78.74%，兩項均列第二。
• 模型的差異不只在答對題目，而是嘗試判斷誤解、缺失的先修知識，再選擇提示、引導問題、複習或解釋。

OmniEdu 的取捨也很直接：全參數 supervised fine-tuning 和長序列訓練有助整合教育情境，但 27B checkpoint 對硬件要求較高，模型的教學判斷亦應配合教師審核。對只需要一般問答的工作流程，它可能過於專門；對重視課程對齊和個別學習支援的團隊，公開權重與資料集則提供了可檢查、可延伸的起點。

項目主頁 · GitHub

Categories: 開源, 北京大學, 模型, 多模態模型, 模型訓練, Image, 教學, Dataset 數據集

---