Spatial-Interactor 讓視覺模型學懂行動後的空間變化

2026 年 9 月 24 日 Share to X Facebook Copy link

Spatial-Interactor 把空間推理由靜態辨識推向連續互動，處理物件、視角與長距離軌跡的變化。

當畫面中的物件被打開、移動，或者代理人在場景中轉身前進，答案不再只是辨認位置，而是要推斷每一步行動帶來的改變。Spatial-Interactor 屬於視覺語言模型的訓練項目，針對模型難以理解狀態轉移及連續空間軌跡的問題，從可觀察的物理互動記錄建立訓練訊號。

項目把能力分成三層：L1 處理視點大致固定時的物件與世界狀態變化；L2 推理代理人移動造成的自身視角變化；L3 將連續的局部轉移整合成完整、長距離的互動軌跡。LSI-108K 以互動記錄、幾何軌跡、狀態及姿態資料產生可驗證的問答目標，令訓練內容不只停留在單張影像的空間關係。

訓練先以 supervised fine-tuning (SFT) 學習 L1 及 L2 的局部轉移，再利用 On-Policy Distillation (OPD) 整合長軌跡中的連續證據。推理時模型只接收原始視覺輸入與問題，毋須依賴額外提供的中間狀態；這有助於測試模型能否自行重建互動過程，但也代表長距離推理仍會受視覺理解及累積誤差影響。

項目涵蓋四個 vision-language models，並以狀態轉移診斷、打亂影格後的時間敏感度，以及局部與長軌跡推理結果作分析。較適合研究視覺代理人、機械人感知、具身 AI 及需要理解動作後果的場景；GitHub 資訊提供程式碼、模型與資料的連結，但未交代完整安裝及測試流程，不能單憑頁面內容判定下載後即可直接運行。

• L1 分析外界物件及場景的狀態轉變
• L2 把 ego-motion 對觀察結果的影響納入推理
• L3 將多個局部轉移串連成完整軌跡
• SFT 負責局部學習，OPD 負責長距離整合
• 模型只需原始視覺輸入與問題作推理

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Image, Robotic

---

LTX-2.5 加入多圖與聲音參考控制

2026 年 9 月 24 日 Share to X Facebook Copy link

想令影片中的人物、物件和聲音更一致，這個 ComfyUI 擴充項目把多重參考整合到同一條工作流程。

要在 LTX-2.5 生成影片時維持多個人物、物件或場景的連貫性，單靠文字提示往往不夠。ComfyUI-LTX2.5-MSR 是一個 ComfyUI 擴充工具，透過 MSR LoRA 把最多五張獨立編碼的參考圖片加入影片 latent；配合 AVref LoRA，還可為最多兩位說話者加入聲音參考。

它處理的不是普通圖片拼接，而是保留 MSR（Multiple Subject Reference）的訓練方式：每個參考影像都有 learned slot embedding，參考 token 會預先加入模型輸入，並配合固定排序及連續負時間位置，讓 LTX-2.5 的 self-attention 讀取人物、衣物、物件和場景資訊。參考圖片會自動調整大小、置中裁剪及以白色填補，亦支援 tiled VAE encoding。

v1.2.2 將圖片和聲音參考集中到同一個 LoRA loader 及 Reference Guide。兩個 audio latent 可分別配對 pic1 和 pic2；缺少某段聲音時，對應時間窗會保持空白，不會令後面的參考位置前移，並可選擇 25 或 33 幀的圖片參考長度。README 同時提供 V2 範例工作流程，展示加入聲音參考的兩階段 sampling 及 latent-upscale refinement。

使用前需要 LTX-2.5 原生模型、符合要求的 MSR 或 AVref LoRA，以及 ComfyUI 的模型、conditioning、latent、VAE、sampler 和 AV 節點。LoRA 必須包含 reference_slot_embedding 權重，普通 LoRA 會被拒絕；項目資料未提供完整安裝指令或硬件性能測試，因此生成速度、顯存需求及最終一致性仍要按本地模型、解析度和參考數量自行驗證。

• 最多五張圖片參考，支援人物、物件、背景等不同角色
• AVref LoRA 可加入最多兩位說話者的聲音參考
• 稀疏 audio slots 保留絕對時間位置，不會重新排列後續參考
• 適合單階段生成，也可接入兩階段 latent-upscale 工作流程

GitHub · 模型

Categories: 開源, ComfyUI, AI productions, Embedding, 模型, 模型訓練, Google, NVIDIA, Video, Image, Audio, 工具, 語音, LTX, 蘋果, LoRA

---

Ming-Image 把設計圖拆成可編輯圖層

2026 年 9 月 24 日 Share to X Facebook Copy link

Ming-Image 同時處理視覺設計生成與圖層還原，令 UI、海報和簡報內容更容易交由代理程式接手修改。

由文字生成完整 UI、資訊圖表、海報，再把扁平化圖片拆回透明可編輯圖層，Ming-Image 0.1 Design 系列處理的是設計稿難以延續修改的問題。它屬於視覺設計生成模型系列，實際用途是協助代理程式建立、檢查和重組圖像內容，而不只產生一張不可拆分的圖片。

系列包括兩個 6B 參數模型，Ming-Image-0.1-Design 負責生成文字密集的完整視覺構圖，Ming-Image-0.1-Design-Layer 則把成品分解成獨立、透明背景的圖層。後者支援將文字和簡單形狀抽出，配合 Image to Editable PPT 工作流程，把一頁設計或簡報圖片重建成可編輯 PowerPoint 元素；Ling UI Design 工作流程則利用生成參考圖和圖層分解，協助代理程式編寫及視覺檢查 UI 程式碼。

模型支援 RGBA 輸出，透明背景生成需使用指定的 RGBA 提示語。公開模型卡列出 1024 或 2048 解析度、12 sampling steps、CFG scale 1.0 及 BF16 等建議設定；2048 x 2048 生成在一張具備 80 GiB VRAM 的 CUDA GPU 上驗證，較適合有圖形運算資源的設計團隊，而非一般辦公室電腦即時使用。

Ming-Image-0.1-Design GGUFs | LOW VRAM Workflow

• 生成 UI、資訊圖表、海報及其他文字密集設計
• 將扁平圖片拆成獨立透明圖層
• 可支援 UI 程式碼視覺檢查及可編輯 PPT 重建
• 需要 Python 3.10+、CUDA-capable PyTorch 和模型 checkpoint

完整推理仍需按 companion Ming-Image 項目的依賴和模型服務配置處理。適合需要從參考圖快速建立設計草稿、處理透明素材，或把 AI 生成結果交回設計工具繼續修改的團隊；對只有一般 GPU 資源的使用者，VRAM 要求會是主要限制。

GitHub · 模型

Categories: 開源, 模型, Qwen, NVIDIA, Image, 工具, Python, UI/UX

---

Qwen-Image 2.1 四步生成加速，但複雜編輯仍未完善

2026 年 9 月 24 日 Share to X Facebook Copy link

Viggle 將 Qwen-Image 2.1 蒸餾至四步生成，換來速度提升，同時保留編輯能力上的取捨。

面對需要較快出圖、又要按文字指示修改圖片的場景，Qwen-Image-2.1-viggle-turbo 把原始 Qwen/Qwen-Image-2.1 由 40 次 Transformer passes 壓縮至 4 次，支援 text-to-image 及 image-to-image 編輯，亦可配合 1 至 3 張參考圖。模型屬於基於 Qwen/Qwen-Image-2.1 的 adapter 項目，由 Viggle 使用 Distribution Matching Distillation（DMD）訓練，並取消 classifier-free guidance。

項目提供兩個學生模型，取捨集中在下載體積與編輯精準度：

• transformer/：完整微調的 bf16 Transformer，約 14.2 GB，會取代基礎 Transformer；頁面目前推薦這個版本，質性比較中編輯更忠實。
• Qwen-Image-2.1-viggle-turbo-4step-lora-r64.safetensors：rank 64、約 340 MB 的 LoRA adapter，載入基礎 Transformer 後運行，下載較快但效果稍弱。
• peft/：同一 LoRA 的 PEFT key format、F32 權重；LoRA 不會合併入 Transformer，運行時載入可避免 bf16 合併造成的損失。
• text encoder、VAE 及 processor 沒有隨項目重新發布，會從基礎模型儲存庫載入。

完整微調版本的 DMD objective 加入 low-frequency teacher anchor，兩個版本都是各自訓練流程的 step-400 EMA checkpoint。Text-to-image 在四步下已具可用性，但 v0.1 仍是 preview；多參考圖合成、換臉、保留身份，以及同時包含多項限制的指令，明顯不及原本 40 步的 base model，因此不能視為完整替代品。

因為 QwenImage21Pipeline 尚未納入已發布的 diffusers；同時要安裝 peft、PyTorch、Transformers、Accelerate、Safetensors 及 Pillow。提供內容沒有 GGUF 檔案、GGUF 檔案大小、量化級別、mmproj、上下文長度、Ollama、LM Studio 或 llama.cpp 支援資料，亦沒有 MTP draft speculation 或正式 benchmark 數字；硬件需求只能按完整 Transformer 約 14.2 GB bf16 權重另行規劃。

模型

Categories: Qwen, Image, 影像模型, 影像處理, txt2img, Python, 庫, Dataset 數據集, LoRA

---

Meridian 讓 MiniMax H3 將時間與鏡頭重新編排 – Bullet time

2026 年 9 月 23 日 Share to X Facebook Copy link

Meridian 可從影片或單張圖片重新設計鏡頭路徑，重訪同一事件的不同視角。

想將一段已拍攝的動作改成全新鏡頭，甚至暫停某個瞬間再繞行拍攝，Meridian提供了影片到影片（video-to-video）的處理方式。它基於 MiniMaxAI/MiniMax-H3，以 adapter 形式加入幾何控制能力，並結合 VGGT-Omega 幾何資訊，亦支援由單張圖片建立鏡頭移動。

Meridian 處理的是空間與時間的共同編排：鏡頭可沿指定路徑移動，原有動作則可繼續、放慢或暫停。Bullet time 只是其中一種時間與鏡頭組合，並非模型的邊界；要加快或放慢動作，應先重新調整輸入影片的時間，再按該時間軸設計 camera path。

頁面提供的例子包括以原片重新觀看 NBA 灌籃、在草莓片段中暫停動作並移動鏡頭，以及以芭蕾單張相片產生鏡頭運動。這種做法適合重構已有事件的觀察角度，但生成畫面與原片如何銜接、遮擋區域能否保持一致，仍取決於輸入內容與指定路徑。

• 基礎模型：MiniMaxAI/MiniMax-H3；模型關係標示為 adapter
• 幾何元件：VGGT-Omega
• 任務標籤：video-to-video、novel-view-synthesis、camera-control、re-camera
• 提供 installation.md 連結

項目主頁 · 模型

Categories: 開源, AI productions, 模型, 視頻模型, Google, NVIDIA, Video, Image, 框架, 教學, Discord, LLaMa, Ollama, Python, 蘋果, MiniMax

---

ImIR 免提示詞處理六類影像修復，

2026 年 9 月 23 日 Share to X Facebook Copy link

ImIR 讓同一個影像修復模型自行判斷輸入問題，毋須提示詞或降級標籤，涵蓋六種常見修復工作。

遇到低光、雨痕、霧化或 JPEG 壓縮痕跡時，ImIR 會只從輸入影像推算修復指令，不要求使用者先判斷問題類型。這個項目屬於影像修復模型與推理工具，實際處理的是一個模型難以同時應付多種退化、又依賴文字提示詞的工作流程。

ImIR 把影像分成兩條路徑送入 Qwen-Image-Edit-2511：VAE 保留空間結構，Qwen2.5-VL 配合輕量 token mapper 產生接近乾淨影像的語義指令；主幹模型保持凍結，只訓練一個共享 LoRA adapter。指令強度可以調節，低光增強等答案不唯一的任務，因而能在不同修復程度之間取捨。

項目提供 CLI 和 Python API，使用 Python 3.10 或更新版本、具 CUDA 能力的 NVIDIA GPU，並可從 Hugging Face 自動下載 checkpoint。顯存不足時可啟用 CPU offload，但需要足夠系統記憶體。

• 一個 adapter 覆蓋除雨、低光增強、去霧、去模糊、去噪及 JPEG 瑕疵移除
• 不需要文字提示詞，也不需要 degradation label
• 單一 adapter 約三小時、以一張 GPU 完成訓練
• 匹配比較中，影像指令優於文字 conditioning

對研究人員而言，這種做法適合測試 task-agnostic restoration；影像處理團隊則可用它簡化多任務推理流程。不過項目需要 NVIDIA CUDA 硬件。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, NVIDIA, Image, 影像模型, 影像處理, Python, LoRA

---

RULER 讓 SVG 生成更貼近人類判斷的評分

2026 年 9 月 23 日 Share to X Facebook Copy link

生成SVG時，圖像看似相似，未必代表指令已經做到。RULER用逐項評分改善模型訓練，毋須配對的標準圖像或人工偏好標籤。

想把「畫一個指向東北的指南針」轉成SVG，模型要同時掌握主體、方向和風格；但這類開放式生成通常沒有唯一正確圖像，傳統分數未必能指出作品究竟錯在哪裏。RULER是一套用於SVG生成評估及強化學習訓練的方法，嘗試把籠統分數拆成可逐項檢查的要求。

它會只根據文字指令，為每個生成任務建立六項評分準則，涵蓋語意、視覺和風格，再由視覺語言模型評分渲染後的作品。各項得分按權重合成較細緻的獎勵，供 Group Relative Policy Optimization（GRPO）優化模型；整個流程不需要配對SVG標準答案或人工偏好標籤。

這種做法針對的是CLIP、Aesthetic等單一分數難以判斷SVG細節，也可能令強化學習模型迎合分數、產生 reward hacking 的問題。研究團隊表示，多軸評分比單一指標更貼近人類判斷；在MMSVG-Illustration和MMSVG-Icon上，rubric分數分別由0.432升至0.693，以及由0.395升至0.683，並超越專門SVG模型，表現可媲美規模大得多的DeepSeek-V3。

• 每條指令會生成專屬評分準則，而非所有作品共用一把分數尺。
• 評分同時檢查語意、視覺和風格，獎勵可用於GRPO訓練。
• 不需要標準SVG圖像或人工偏好標籤，適合缺少標註資料的生成項目。
• 評測結果顯示評分準則的設計是提升開放式SVG生成的重要因素。

項目主頁

Categories: 香港科技大學, Image, 提示詞, 香港

---

Mira-Scene 單張圖片重建可編輯 3D 場景，讓畫面變成可拆解空間

2026 年 9 月 23 日 Share to X Facebook Copy link

Mira-Scene 將單張圖片拆成物件、深度與環境，再組合成可編輯 3D 場景，降低由 2D 畫面建立空間內容的門檻。

由一張圖片開始，Mira-Scene 能分辨場景內的物件、估算深度，再為各物件建立網格並組合成可編輯 3D 場景。它屬於單圖 3D 場景重建模型與推理項目，處理的是影像缺乏空間結構、物件難以獨立編輯的問題，適合概念設計、虛擬場景和後續模擬工作。

完整流程包括互動式 instance segmentation、monocular depth estimation、canonical coordinate map（CCM）、voxel prediction、逐物件 mesh generation、支援物件接觸關係的 scene assembly，以及 environment-map generation。Hugging Face 提供的 CCM diffusion checkpoint 只負責其中一個階段，並不是可直接輸出 GLB 的獨立 image-to-3D 模型；分割遮罩、mesh backend 和場景組裝階段仍要配合使用。

Mira-Scene 採用分階段推理，支援中斷後繼續執行、多個深度及網格後端，亦可按個案分配多張 GPU。使用者可依照中文 inference、visualization 和 evaluation 指南準備輸入圖片及遮罩，再檢視各階段產物；訓練程式碼和示例訓練數據仍列在待辦事項，研究用途以外需要自行處理環境和模型資源。

• 單張圖片重建可拆解的 3D 場景
• 以 CCM 和稀疏 voxel 表示物件空間結構
• 對比 SAM3D，3D-IoU 為 0.727，較 0.520 高
• 部分指標領先，但 EMD 略遜於 SAM3D
• 開源推理流程完整，訓練部分尚未公開

評測表中，Mira-Scene 使用 80k 規模、全自動流程的數據，CD、FS@0.1、3D-IoU、ICP-Rot、2D-IoU 和 ADD-S 均優於 SAM3D；EMD 則為 0.169，稍高於對方的 0.163。這反映它在整體形狀、投影對齊和姿態誤差上具競爭力，但不能把單一圖片重建視為完整真實世界掃描，遮擋、不可見背面和網格後端仍會影響結果。

項目主頁 · GitHub · 模型

Categories: 開源, 香港大學, 模型, 視覺模型, 模型訓練, NVIDIA, Image, 影像處理, 3D, 蘋果

---

OmniEdu 把課程理解帶進 AI

2026 年 9 月 23 日 Share to X Facebook Copy link

OmniEdu 不只回答題目，還會對照課程、診斷學習缺口，再決定下一步應給提示、提問或講解。

學生卡在一道題目時，答案本身未必足夠，真正需要的是知道漏了哪個前置概念，以及下一步應怎樣學。OmniEdu 屬於開源多模態模型家族，處理 K–12 學習與教學流程，將課程對應、解題、學習診斷和教學支援放在同一套模型內。

模型以 Qwen3.5-4B-Base、Qwen3.5-9B-Base 和 Qwen3.8-27B 為基礎，推出 4B、9B、27B 三個 checkpoint。訓練資料包括 69,999 個 instruction examples、15.96M supervised response tokens，當中 60,951 個屬教育專用資料，涵蓋超過 100 個來源；模型亦支援圖片等多模態輸入，能把問題、知識點、年級、先修關係和課程證據連繫起來。

可下載的權重和資料集適合教育研究團隊、教材平台，以及需要本地模型作學習分析的開發者；4B 較適合本地試驗，9B 和 27B 則提供更高能力但需要更多硬件資源。模型可透過 Transformers 或 vLLM 執行，公開配置使用 Qwen3_5ForConditionalGeneration，訓練序列長度為 32,768 tokens。

• OmniEdu-27B 在 16 個模型比較中，取得 K12-Bench EM 63.12% 和 F1 76.69%，兩項均列第一。
• OmniEdu-27B 在 MathFish 達 85.89% 準確率，並取得 LongTutor 3.02 教學分數。
• EDUMATH MaC 為 86.95%，MathTutorBench Scaffold win rate 為 78.74%，兩項均列第二。
• 模型的差異不只在答對題目，而是嘗試判斷誤解、缺失的先修知識，再選擇提示、引導問題、複習或解釋。

OmniEdu 的取捨也很直接：全參數 supervised fine-tuning 和長序列訓練有助整合教育情境，但 27B checkpoint 對硬件要求較高，模型的教學判斷亦應配合教師審核。對只需要一般問答的工作流程，它可能過於專門；對重視課程對齊和個別學習支援的團隊，公開權重與資料集則提供了可檢查、可延伸的起點。

項目主頁 · GitHub

Categories: 開源, 北京大學, 模型, 多模態模型, 模型訓練, Image, 教學, Dataset 數據集

---

WorldCrafter 記住你走過的世界

2026 年 9 月 22 日 Share to X Facebook Copy link

WorldCrafter把單張圖片或文字提示變成可操控鏡頭的連續場景，改善長時間探索時畫面失憶與視角不一致的問題。

鏡頭移開再回望時，生成場景仍能維持空間關係，正是 WorldCrafter 要處理的核心卡位。它屬於影片世界模型，能從單張圖片或文字提示建立可探索場景，並按照鏡頭控制生成後續畫面，減少長時間移動、回訪視角時的內容漂移。

WorldCrafter以可由鏡頭查詢的隱式 3D-aware memory 保存過往觀察，讓指定視角決定哪些歷史資訊交給影片生成器；記憶編碼器與姿態條件讀取模組會把不同視角的資料整理成目標視角適用的 memory tokens。它不依賴顯式深度估計或幾何 warping，近期 temporal context則負責維持動態物件和連續動作。

WorldCrafter Video Demo

提供 WorldCrafter-Base，以及經蒸餾、面向較快推理的 WorldCrafter-Fast。兩者可在 Linux、Python 3.11、NVIDIA GPU 和相容 CUDA 驅動環境運行，模型權重放在 Hugging Face；Fast 版本較適合互動式串流，但硬件要求和生成速度仍取決於本地配置。

• 支援圖片轉可探索世界，也支援文字轉可探索世界
• 可控制鏡頭、揭示未見區域，並回到曾經觀察的視角
• 設計同時兼顧靜態場景、動態場景和長時間探索
• 評測涵蓋145個場景及725條鏡頭軌跡

評測中，WorldCrafter在長時間回訪一致性和鏡頭控制準確度上優於參與比較的基線，整體 VBench 分數亦最高；項目展示的點雲與鏡頭軌跡重建，則用來檢查生成影片的幾何連貫性。研究團隊來自 Tencent ARC Lab 與北京大學，較適合研究生成式世界模型、可控影片、虛擬場景探索及互動內容的團隊測試。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, 騰訊, AI productions, 模型, 世界模型, NVIDIA, Video, Image, 3D, Linux, Dataset 數據集

---