VibeEdit：以畫布指令精準指定影像編輯位置

2026 年 10 月 10 日 Share to X Facebook Copy link

圈選、畫線或拖動就能指定修圖位置，VibeEdit 以空間標記處理相似物件難以辨認的問題。

圈選物件、畫幾筆線，或在圖片上拖動指定位置，再補上一句短註記，便能要求模型新增、移除、替換、改變屬性或移動內容。VibeEdit 屬於影像編輯模型，處理的是文字提示難以準確指出相似物件和局部區域的問題。

它採用 Qwen-Image-Edit，以 layer-decoupled conditioning 分開編碼原圖與 canvas instruction，再配合 region-weighted supervised fine-tuning，以及 rubric-guided reinforcement learning（RL）改善局部修改、指令完成度和未編輯區域的保留。訓練資料包含 155 萬組 source–target edit pairs、物件遮罩和結構化編輯描述，畫布指令則由這些資料生成。

• 支援新增、移除、替換、屬性修改及移動物件
• 不要求獨立文字提示，空間標記直接表達目標位置
• 以 419 個人工整理案例測試相似物件選取能力
• VLM（Vision-Language Model）評分為 79.9，outside-region PSNR 為 32.8 dB
• 對比 FireRed 的 67.4 分及 24.0 dB，局部編輯和區域保留均較佳

對需要精準修圖的設計、內容製作和研究團隊，畫布指令比長篇描述更容易表達「改哪一件」；但模型仍屬研究項目，程式碼標示為 Coming soon，暫時不能按儲存庫直接安裝或自行重現。評測規模亦只有 419 個案例，結果未必涵蓋所有圖片類型和複雜編輯情境。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 庫, 強化學習

---

SuperNav 讓多模態模型指揮機械狗導航

2026 年 10 月 10 日 Share to X Facebook Copy link

由多模態模型處理找物件、按次序到訪及高層次指令，SuperNav 把導航變成可觀察、可評估的代理工作流。

當指令由「找出籃球」延伸至「先找打印機，再找垃圾桶」，SuperNav 以 Agentic Navigation System 的形式處理場景理解、路線行動與任務進度。項目實際解決的是機械人面對不同場景和非固定指令時，難以只靠預設導航流程完成工作的問題。

系統由預訓練多模態模型 (multimodal model) 作決策，再透過工具、task-progress tracking 和 context management 將決定轉成移動行動，不需要為導航專門微調模型。Codex、OpenCode 或 Kimi 都可作為代理執行端，任務、工具與 Skills 則透過實驗設定組合，彈性高於寫死單一路線，但結果仍會受模型判斷及工具能力影響。

作者提供 agent runtime、導航工具、Skills、實驗配方及評估工具，支援 Habitat-GS 和 AI2-THOR。測試時可先在模擬環境執行單物件、多物件和 demand-driven navigation，再查看 RGB 觀察、軌跡、tool calls、提示詞、工具結果及原生記錄；儲存庫目前沒有真實機械人驅動程式，Unitree Go2 的示範主要來自研究項目展示。

研究結果指出，SuperNav 在單物件、多物件及需求導向導航的成功率高於所比較的基線，並展示 Unitree Go2 實體部署。可留意的限制是，資料只交代高於評估基線，未提供足夠細節讓讀者單靠儲存庫重現所有真實機械人測試。

• 適合場景： 室內找物件、依次到訪多個目標，以及較高層次的整理要求
• 可觀察性： 即時查看 RGB 影像、軌跡和工具呼叫，完成後再檢查記錄
• 模型關係： 多模態模型負責決策，SuperNav 負責工具協調、進度追蹤與導航執行
• 測試範圍： Habitat-GS、AI2-THOR，並有 Unitree Go2 示範

研究團隊、具身 AI 開發者和需要比較導航代理的人，會較容易從這個開源項目受益；一般使用者則要先準備相應模型服務、模擬環境和實驗設定，不能把儲存庫直接當成已包裝完成的機械人應用。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 提示詞, 工具, 庫, Kimi, Skill 技能

---

UniWAM 把理解、預測與機械人動作合而為一

2026 年 10 月 9 日 Share to X Facebook Copy link

UniWAM 以 8B 參數模型整合語意理解、視覺預測和動作生成，瞄準機械人操作中理解與執行脫節的問題。

面對需要理解指令、預測環境變化再控制機械人的任務，UniWAM 將三個步驟放進同一個 8B-parameter 模型，屬於結合世界模型與 Vision-Language-Action（VLA）的開源研究項目。它以 Mixture-of-Transformers（MoT）連接 physical reasoner、world generator 和 action predictor，讓三者透過 joint multimodal attention 交換資訊。

模型不只依賴機械人示範，預訓練亦混合 human egocentric data、robot data 及 visual question answering（VQA）資料，並把低層動作轉成自然語言，改善視覺語言能力與實體操作之間的銜接。Post-training 再加入 future visual noise augmentation，配合 history-conditioned flow matching，以較少 denoising steps 生成動作。

• 整合範圍： 同時處理 physical reasoning、視覺生成與動作預測
• 訓練訊號： 結合機械人、第一身人類視角及 VQA 資料
• 效率設計： 用動作歷史初始化生成流程，減少 denoising steps
• 硬件成本： RoboTwin 2.0 post-training 曾以 8 張 NVIDIA H100 GPU 執行 10 小時

GitHub 儲存庫提供 models/、train/ 和 utils/ 等模型與訓練程式，並附有 RoboTwin 2.0、LIBERO 及 LIBERO-plus 的資料處理和評估工具。Python 3.10、CUDA 兼容的 PyTorch 環境較適合測試，使用者可先以模擬器資料和配置檔驗證訓練或推理流程。

項目首頁宣稱 UniWAM 在 in-distribution、robustness、generalization 及 instruction following 等多項評估取得 SOTA，但儲存庫提供的資訊未列出完整分數和比較表。Bridge、DROID、Fractal 以及 real-world inference 明確不在今次發布範圍內，因此它較適合研究團隊測試統一式機械人模型，而不是即時接駁真實機械人的現成方案。

項目主頁 · GitHub · 項目

Categories: 開源, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, NVIDIA, VLA, Robotic, 香港, 工具, Python, 庫, Dataset 數據集

---

RobotWorld：把多模態智能體放進機械人世界測試

2026 年 10 月 9 日 Share to X Facebook Copy link

想比較多模態模型控制不同機械人的能力，RobotWorld 提供 84 項模擬任務及隱藏評測。

想測試模型能否由影像和狀態資訊控制機械人，而不只是回答完成任務，RobotWorld 提供一套跨模擬器的機械人基準測試項目。它屬於具身智能體評測框架，讓多模態代理透過觀察與動作介面控制機械臂、靈巧手、人形機械人、四足機械人、汽車及無人機，處理 84 項任務和 20 個 benchmark integrations。

代理只能讀取允許的相機影像、關節及任務狀態，再發出受限制的控制指令；環境會回傳執行收據和新觀察，讓代理修正下一步。任務結果由代理看不到的 hidden evaluators 判定，避免模型自行聲稱成功而取代環境驗證，亦能揭示物件狀態遺失、子目標停滯和錯誤完成判斷等失敗原因。

• 評測方式：預設每項任務進行三次 rollout，並停用 environment-side code control。
• 涵蓋範圍：由 manipulation、locomotion 延伸至 driving 和 flight。
• 執行流程：需要還原 source、準備指定 assets、建立 Docker images、編譯 runtime，以及設定模型 API credentials。
• 限制：已註冊任務不代表全部都有已驗證的成功軌跡，部分依賴和受限制資料集仍需另行取得。

相比只測文字答案或單一機械人的方法，RobotWorld 把模型推理、感知、控制和環境回饋放入同一條閉環，較適合研究團隊比較不同多模態模型、重現評測流程，或為新任務和新 embodiment 擴充測試。代價是安裝和資源準備較複雜，結果亦會受模擬器、模型設定及每項任務預算影響。

項目主頁 · GitHub

Categories: 開源, 模型, 多模態模型, API, Image, World-Action Model, Robotic, 框架, Anthropic, Dataset 數據集

---

MiniCorp 以模擬企業填補 AGI 代理數據缺口

2026 年 10 月 9 日 Share to X Facebook Copy link

企業代理要學識做決策，欠缺的往往不是模型，而是真實、連續又可重演的商業數據。MiniCorp 嘗試用虛擬公司補上這個缺口。

企業代理要處理日常工作、作出商業決策，卻難以取得足夠真實而且可長期追蹤的企業資料。MiniCorp 以 Office Simulators for Enterprise AGI 為核心，建立可讓 autonomous enterprise agents 運作的高擬真虛擬公司環境，藉此研究 AI 管理企業的方式。

這些模擬公司涵蓋醫院、航空公司、對沖基金、報紙、電子商貿及高科技企業等場景。代理可以在連續運作的環境中執行工作，研究團隊亦能生成 longitudinal enterprise data，以及比較不同決策後果的 counterfactual enterprise data，減少依賴受私隱限制、價格昂貴或需要專家標註的真實企業檔案。

MiniCorp 處理虛擬企業讓研究者重播情境、改變決策條件，再觀察代理長期表現，適合用於訓練、測試及分析企業級 AI agent。

目前項目提供研究資料、GitHub、arXiv 及 Hugging Face 入口，互動示範仍標示為準備中。使用者可先把它理解成研究企業代理的模擬場，而不是可直接接管真實公司的現成產品。

• 建立醫院、航空、金融及電子商貿等企業場景
• 產生可長期追蹤的企業運作數據
• 支援反事實決策比較與代理研究
• 針對企業級 autonomous agents 的訓練和測試
• 互動 Demo 尚未正式推出

項目主頁

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, World-Action Model, Robotic, 安全, AGI

---

DistScene 從圖片生成可供導航模擬的 3D 場景

2026 年 10 月 9 日 Share to X Facebook Copy link

生成物件之外，DistScene 也建立周邊環境，讓圖片轉成的 3D 場景可直接匯入導航模擬器。

把圖片轉成可供導航模擬的 3D 空間，需要同時建立物件與周邊環境。DistScene 這個 3D 場景生成研究項目，讓兩者在同一場景中生成，再逐件細化物件。

其 Object-to-Scene Distillation 方法以 Trellis.2 生成訓練素材：先由視覺語言模型（Vision-Language Model，VLM）描述物件與環境，再生成輸入圖片及 3D 資產，組合時加入物理檢查。

生成流程採用 Unified Scene Representation，先在共用 scene frame 內完成 sparse structure generation 與 geometry-latent generation，再把物件轉到 local voxel support，結合場景資訊細化後放回原位。

• 同時生成環境及可分開處理的物件。
• 場景可直接匯入導航模擬器。
• 互動預覽經壓縮，約為原始結果的 10%。

導航模擬是已展示的用途，但程式碼、Checkpoint 及 Dataset 仍標示即將公開；目前未提供量化性能或對比結果，重現效果仍有待驗證。

項目主頁

Categories: 模型, 視覺模型, 多模態模型, 視頻模型, 模型訓練, Video, Image, 3D, Dataset 數據集

---

Prism 令 2K 影音生成訓練加速 2.5 倍

2026 年 10 月 7 日 Share to X Facebook Copy link

Prism 將影片畫面與聲音互動納入稀疏注意力，令原生 2K 影音生成模型訓練更快，並兼顧生成質素。

高解像度影音生成最難處理的地方，是畫面 token 大增後，Full Attention 需要付出平方級計算成本，聲音與畫面之間的有效互動亦容易被大量冗餘資訊沖淡。Prism 屬於 Dynamic Sparse Attention 框架，專門處理原生 2K Joint Video-Audio Generation Model Training，目標是減少訓練成本而不犧牲影音同步與細節。

Prism 將影片 token 按時空位置整理成 macro-zones，再利用影片特徵的 channel variance，以及 audio-to-video cross-attention 的 feature norm，判斷每個區域的畫面變化和聲音影響程度。變化較快或影音耦合較強的位置會採用更細的 block 分割，並透過 hybrid block selection 為不同 query 動態決定稀疏範圍，令每個 block 保留較一致的語義內容。

[Fudan&Tencent Hunyuan] Prism: Dynamic Sparse Attention for Native 2K Joint Video-Audio Training

同 Full Attention 相比，Prism 不再對所有 token 進行密集互相關注；同時，它亦不是單純套用只為推理加速而設的稀疏注意力。這個取捨針對聯合影音資料的結構作出調整，代價是訓練流程需要額外計算區域資訊和動態選擇，實作複雜度會高於標準注意力。

項目提供 Project Page、Hugging Face 模型和示範影片，可先透過合成結果、模型比較、消融研究及解析度擴展示範理解效果。提供的資料未列出完整本地安裝指令或硬件要求，因此暫時較適合研究團隊按論文與模型資源自行整理環境，而不是即時套用到一般影音工具。

• 訓練速度較 Full Attention 提升 2.5 倍
• 生成質素據報超越 Full Attention
• 同時考慮視覺變化與 audio-visual coupling
• 面向原生 2K 影音生成模型訓練

Prism 對需要訓練高解像度文字轉影片及同步聲音模型的研究團隊較有價值，尤其適合計算資源昂貴、影音互動集中於局部區域的工作。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, AI productions, 模型, 多模態模型, 模型訓練, Google, NVIDIA, Video, Audio, 框架, 工具, 語音

---

Kandinsky 6.0 把同步聲畫生成帶入開源模型

2026 年 10 月 7 日 Share to X Facebook Copy link

Kandinsky 6.0 可由文字或圖片生成帶同步音效、口形的短片，並提供 3B 與 29B 兩款模型。

由文字或圖片輸入，到畫面、音效和口形同步輸出的流程，Kandinsky 6.0 將短片生成由單純影像延伸至完整 audio-video 內容。這個項目屬於開源多模態視頻模型，實際處理的是聲音與畫面難以同步、創作者需要分開製作素材的問題。

Kandinsky 6.0 Video Lite 有 3B 參數，Kandinsky 6.0 Video Pro 則有 29B 參數，兩者都能生成 5 秒片段、44 kHz 音訊及 lip-sync，支援 text-to-audio-video（T2AV）和 image-to-audio-video（TI2AV）。額外的 super-resolution 模型可把輸出提升至 Full-HD 1920×1080，但這並不代表原生生成階段已經以 Full-HD 運作。

• 同一生成流程處理視頻、音效和口形同步
• Lite 較適合資源有限的測試，Pro 追求更高生成能力
• 支援文字生成及圖片延伸兩種模式
• 可透過 Hugging Face Space、Diffusers、ComfyUI 或 vLLM-omni 接入

測試需要 NVIDIA GPU，以及 Python 3.13 或 3.14；首次執行會下載 Kandinsky-6.0-Pro-distill-5s 權重，輸出會寫入項目指定的 MP4 路徑。對不想自行配置環境的創作者，Hugging Face Space 是較直接的試用入口；需要納入工作流的團隊則可考慮 Diffusers 或 ComfyUI。

在非精簡版顯示卡上處理 5 秒影片片段的工作時間（秒）。不包括負載載入和 MP4 編碼時間。 RTX PRO 6000 (96 GB)、A100 80 GB 和 H100 80 GB 使用模組卸載。消費級顯示卡使用區塊卸載。 RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000 和 A100 80 GB 使用 SageAttention2++ 進行視覺自註意力控制。 H100 使用 FlashAttention 3。

	RTX 4090	RTX 5060 Ti	RTX 5080	RTX 5090	RTX PRO 6000	A100 80 GB	H100
Lite SD	437	1310	577	309	242	532	239
Lite HD	422	1328	579	296	274	472	203
Lite Full HD	578	1774	770	406	387	664	284
Pro SD	936	3080	1336	754	621	972	356
Pro HD	1194	2716	1189	638	561	791	292
Pro Full HD	1247	3530	1546	854	765	1106	402

Kandinsky 6.0 適合製作概念片、角色對白及需要同步聲畫的短內容，但 5 秒時長、NVIDIA GPU 依賴，以及高解像度要靠額外模型處理，仍限制了它作為長片生產工具的角色。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, 多模態模型, 視頻模型, NVIDIA, Video, Image, 影像處理, Audio, 工具, Content Creator, Python, Dataset 數據集

---

CANOPY 讓多模態 RAG 按證據壓縮上下文

2026 年 10 月 7 日 Share to X Facebook Copy link

CANOPY 會在文字、表格及影片內逐區域保留證據，減少干擾內容，同時避免剪走理解所需的上下文。

面對一段很長的文章、一張表格或一段影片，問題通常只需要其中一小部分證據，但過度保留會浪費讀者的上下文，剪得太細又可能失去理解線索。CANOPY（Canonical Projection over Hierarchy）是 POSTECH 提出的多模態 RAG 後檢索證據壓縮框架，按項目內不同區域決定保留範圍。

CANOPY 會把每個檢索項目整理成層級結構，再以經 gold evidence 微調的 node encoder，按照查詢評分不同區域。系統會比較子區域與父區域的相關程度，保留句子、表格列、關聯文字或影片片段等合適粒度，而非為整個項目套用單一截取規則。

保留的證據不足以回答問題時，critic 會要求針對性追加檢索；新找回的項目同樣先經壓縮，再加入讀者輸入，減少無關內容反覆累積。這個設計亦處理了壓縮本身無法補回「從未檢索到的證據」這項限制。

• 在五個 QA benchmark、包含 3,300 萬個異質項目的語料庫上，平均答案準確率高於參與比較的檢索基線。
• 消融結果顯示，多跳問答的準確率提升主要來自追加檢索。
• 在未經路由的 Qwen3-VL-8B-Instruct 讀者設定中，證據 token 輸入量減少 14.2% 至 27.7%。
• 壓縮後答案準確率保持相若，適合需要同時處理文字、表格及影片的 RAG 工作流。

CANOPY 的價值不在於單純縮短檢索結果，而在於讓每個項目內的保留範圍跟隨證據位置及上下文需要變化。它仍受初始檢索品質限制，但對多跳查詢和長內容閱讀，可在保留可解釋線索的同時降低 reader 的輸入負擔。

項目主頁

Categories: AI productions, RAG, 多模態模型, Qwen, Video, 框架, 庫, Dataset 數據集

---

Spatial Memory Intelligence：讓世界模型記住空間關係

2026 年 10 月 6 日 Share to X Facebook Copy link

長影片生成愈往後，舊畫面愈難整理，也容易出現空間前後不一致。SMI 以理解能力管理長期空間記憶，現時仍未公開程式碼與模型權重。

長影片生成要延續物件位置與場景結構，不能只靠不斷累積舊觀察；記憶太多會帶來冗餘，也可能把不可靠內容帶進後續生成。Spatial Memory Intelligence（SMI）是為世界模型設計的空間記憶管理方法，目標是改善記憶精簡度、空間一致性與生成穩定性。

SMI 以具語義與空間理解能力的多模態大型語言模型（MLLM）協調四項操作：把相關觀察分組、刪除群組內冗餘內容、按近期脈絡及下一步動作取回記憶，並過濾不可靠的生成觀察。它不只整理記憶，也會在生成過程中更新及提取資料，適合研究長時間影片生成與世界模型記憶管理的團隊。

項目網站提供 HY1.5 與 Wan2.2 的同步影片比較，主要對照 SMI 與 Base；部分案例亦列出 FramePack、Deep Forcing、MoC、VMem 及 MemFlow。紅框標示部分空間或結構不一致之處，方便檢視案例，但目前沒有公開可供核對的量化指標，不能單靠示範影片判斷改善幅度。

• 記憶管理涵蓋分組、精簡、檢索與可靠性過濾。
• 檢索會考慮近期上下文及下一個使用者動作。
• 網站可觀看 HY1.5、Wan2.2 的影片比較。
• 訓練、推理及評估程式碼、資料集與模型權重仍在準備發布。

目前 GitHub 儲存庫主要提供項目介紹與示意圖，尚未能據此安裝或自行重現結果。研究人員可以先查看網站示範及論文，待程式碼、資料集和權重公開後，再測試它能否在不同世界模型與長片段生成任務中維持空間一致性。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 南京大學, 阿里巴巴, AI productions, 模型, 多模態模型, 世界模型, 模型訓練, Video, 香港, 庫, Dataset 數據集

---