ThinkV2V 讓影片編輯先思考再生成

2026 年 10 月 1 日 Share to X Facebook Copy link

ThinkV2V讓多模態模型先理解影片中的因果與隱含意圖，再交由DiT完成較複雜的指令式影片編輯。

面對「按場景關係修改影片」這類指令，單靠文字語意對齊往往不足。ThinkV2V屬於推理導向的影片編輯框架，讓Multimodal Large Language Model（MLLM）先分析來源影片與指令，再把推理結果轉成DiT影片生成器可用的條件訊號，處理物件關係、時間變化及隱含意圖。

MLLM並非只擔任靜態語意編碼器，Qwen3-VL-8B-Thinking負責理解和推理，connector則把相關特徵對齊至DiT條件空間；原始文字嵌入、MLLM隱藏狀態及來源影片的VAE特徵會一同交由ThinkV2V-5B執行編輯。訓練由穩定的基本編輯逐步過渡至高解像度及推理密集案例，推理階段亦會生成多個候選計劃，再由MLLM篩選較可靠的一個。

• 適合場景：需要根據時間脈絡、物件互動或因果關係修改影片的工作流程。
• 評估資源：提供ThinkV2V-150K訓練數據集及ThinkV2V-Bench，後者包含308個樣本和5類推理密集編輯，預設支援720p。
• 執行條件：Python 3.10、CUDA 12.x、PyTorch 2.6.0，並以torchrun或accelerate進行多GPU運算。
• 資料限制：OpenVE-HQ-1M與ThinkV2V-150K主要是metadata釋出，下載腳本不會一併取得OpenVE-3M影片資料。

項目需要同時準備ThinkV2V、Qwen3-VL-8B-Thinking、Wan2.2-TI2V-5B及Lucy-Edit-Dev等權重，並按儲存庫指定的data與weights結構放置，較適合有CUDA多GPU環境及影片生成經驗的研究團隊。它相較只把MLLM當編碼器的做法，換取更深入的指令理解，但推理、多候選篩選及多模型權重亦會增加顯存、時間和安裝成本；儲存庫提供模型、資料集與基準測試，卻未在提供內容中列出可直接引用的量化領先幅度，不能只憑架構宣稱全面勝過其他影片編輯器。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 字節跳動, AI productions, 模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, 框架, 香港, Python, 庫, Dataset 數據集

---

RSIGame：生成遊戲及自行測試與進化

2026 年 10 月 1 日 Share to X Facebook Copy link

RSIGame 讓 AI 由遊戲構想開始反覆遊玩、找錯和改寫程式，直到品質提升飽和，再保留最佳版本。

由一句高層遊戲構想開始，系統會自行產生可玩的版本，透過 AI agents 反覆遊玩、檢查問題，再改寫遊戲程式。RSIGame 屬於 autonomous agentic game development framework，實際處理的是生成遊戲難以持續修正、容易只迎合少量測試案例的問題。

RSIGame 把流程分成 local loop 和 global loop：前者執行 explore-diagnose-improve，廣泛探索遊戲、整理問題優先次序，再按證據修改；後者追蹤整體品質、保存最佳 checkpoint，並在長時間開發中識別停滯或回退。測試指引亦會逐步累積，令後續檢查不只依賴原本的提示。

透過 Hugging Face Space 輸入基本遊戲概念或設計方向，查看 agents 如何自動遊玩及產生較高評分版本。GitHub 項目要求 Python >=3.11，並以每次提交執行的測試檢查憑證外洩和內部 import 解析；自行研究或部署時，仍要留意所需模型、遊戲引擎及執行環境未在提供資料中完整列明。

在 140 個 GameCraft-Bench 任務、兩個遊戲引擎及五個生成器的相同開發預算下，RSIGame 持續提升遊戲品質。經驗內化後，Qwen3.8-27B 在 Godot 取得 61.38、在 Phaser 取得 58.53，超過 GPT-5.5 一次生成的分數，同時把 Qwen 的生成 token 減少 11 倍；結果仍屬基準測試，不能直接等同於所有遊戲類型的穩定表現。

• 由高層構想生成遊戲，再自行遊玩、診斷和修正
• local loop 負責局部問題，global loop 負責品質與版本選擇
• 支援 Godot 和 Phaser 等遊戲引擎評估
• 透過訓練內化成功的開發經驗，減少後續生成成本

RSIGame 適合研究 agentic coding、遊戲生成及長流程自我改進的團隊，也適合作為檢驗 AI 是否能處理多輪程式修正的研究框架。它的代價是流程需要較多執行時間、模型及遊戲環境配合，評分提升亦受測試任務和開發預算影響。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型訓練, Qwen, 框架, Python, 編程

---

Maestro：本地一鍵 AI 創作工作室，把導演、剪接、生成模型打包

2026 年 9 月 26 日 Share to X Facebook Copy link

Maestro 把 LTX-2.5、MiniMax H3 等本地模型整合成一個創作介面，配合 LLM 編寫分鏡並自動生成音樂影片與短片，適合想在自己機器上完成後期的人。

用 LTX-2.5 或 Hunyuan 這類本地模型做創作時，最麻煩的往往不是模型本身，而是要自己串接腳本、分鏡、剪輯和多軌音訊。Maestro 直接把這條工作流收進一個桌面介面：LLM 先讀懂你的音訊或劇本，再交由圖像、影片、音訊模型接力生成。Director Mode 同時支援 Music Video（節拍感知分鏡）同 Short Film（劇本連戲）兩種套路，前者會分析 BPM 與段落（主歌、副歌、橋接），再把鏡頭對齊落拍；後者靠 pacing-bias slider 控制剪接密度，並維持角色與對白的一致性。Auto Mode 可以一鍵跑完整條 analyze → plan → generate → combine 流程，Manual Mode 則保留每一步檢查點。

Director v2 架構把編劇、結構化分鏡、模型格式化分成三層，H3 路徑直接走自家編譯器，其他模型則用 per-model polish。Studio 那邊亦提供適應性寫作與連戲指引，並對源動作、對白歌詞做一致性檢查。對比逐個 CLI 工具拼接的傳統做法，Maestro 的差異在於把 director 邏輯、prompt 優化同非破壞性多軌剪輯綁定在一處，省下不少膠水程式。

硬件門檻方面，Performance Auto-Tune 會在首次啟動時偵測 GPU、VRAM、RAM，並自動選取量化、VAE tiling 與 VRAM 安全係數；OOM 時還會彈出建議橫幅，一鍵降 headroom。Qwen Image 2.1 7B 支援最多十張參考圖、透明 PNG 輸出與專屬 prompt 增強，但屬研究／評估授權，商用要另外處理 Qwen 的授權。

重點摘要

• 整合 LTX-2.5、MiniMax H3、Wan、Hunyuan、SCAIL-2 等本地模型作影片生成、延伸、混合、重拍、上色與 upscale
• Director Mode 用本地 LLM 自動規劃音樂影片分鏡或短片劇本，並維持角色與對白連戲
• Auto Mode 全自動、Manual Mode 每步可審；Performance Auto-Tune 依硬件自動選 profile
• Qwen Image 2.1 7B 支援十張參考圖、透明 PNG，但僅研究／評估授權
• 原始資料未提供具體安裝步驟或下載連結，需自行到倉庫頁查閱

內容生成後想拿來做音樂 MV、自媒體短片或概念分鏡的獨立創作者、小型工作室，會較容易受惠；商業團隊則要留意 Qwen 等模型的授權細節。Maestro 在 JavisBench、V ABench 等基準上對 LTX-2.3 的對比屬同捆支援模型本身的表現，工具層並未自稱有獨立 benchmark。

GitHub · Paper

Categories: 開源, 香港理工大學, 上海人工智慧實驗室, 騰訊, AI productions, 模型, Qwen, NVIDIA, Video, Image, Audio, 香港, 工具, Content Creator, LTX, 音樂, MiniMax

---

OmniEcho：讓智能體真正「聽聲辨位」的全方位音視覺模型

2026 年 9 月 26 日 Share to X Facebook Copy link

聲音從哪個方向來、距離多遠，是人類憑本能就能判斷的事，對機器人卻是一道難題。OmniEcho 把一階 Ambisonics 空間音訊、視覺與語言整合到同一個智能體，專門研究這類空間感知與聲源導航。

OmniEcho 是一個面向 embodied agent 的音視覺空間感知項目，由北京大學 PKU-VaLuE-Lab 開源。它要解決的問題很直觀：當一個智能體同時聽到聲音、看到畫面，它能否判斷聲源在哪個方向、距離多遠，並進一步循聲走去？這件事對人類毫不費力，但要讓 AI 真正做到，過去並不容易。

項目同時提供三樣東西：統一基準 OmniEchoBench、可控的空間音訊渲染管線，以及基於 Qwen3-Omni 改進的 OmniEcho 模型。後者最關鍵的設計，是在 Qwen3-Omni 既有語意音訊通路之外，加掛一個專門處理 FOA（一階 Ambisonics）空間資訊的編碼器，讓模型同時理解「聽到什麼」和「聲音從哪來」。

基準涵蓋六類任務，合共 197 個真實音視覺場景、2,972 條 QA 與 900 條導航樣本，全部由人工核對標註。OmniEcho 在空間音視覺感知上達到 state-of-the-art，而循聲導航的表現已經逼近傳統「靠文字指示」的視覺語言導航。不過細粒度的方位判定與距離估計，仍被作者列為尚未解決的難題。

對做機器人導航、音視覺融合研究，或需要智能體在真實場景中聽聲定位的團隊，這套項目提供了一個可以直接拿來跑評測、訓練、再挑戰的起點。原文並未附上完整的安裝或下載流程，相關代碼與模型權重目前標示為即將釋出。

重點摘要

• 空間音訊加視覺語言：以 FOA 為輸入，與視覺、語言一起餵進 omni-modal agent。
• 雙編碼器設計：在 Qwen3-Omni 之上新增 FOA 空間編碼器，保留原有語意音訊能力。
• 真實世界基準 OmniEchoBench：六類任務、近 3,000 條 QA 與 900 條導航樣本，人工核對。
• 循聲導航貼近文字導航：在 Nav 任務上接近傳統 VLN 水平，但方位與距離仍偏弱。
• 代碼與權重待發佈： 標示 Coming Soon，暫無公開安裝步驟。

GitHub

Categories: 開源, 北京大學, Agentic, 模型, 視覺模型, 模型訓練, Qwen, VLA, Audio

---

Bonsai 2 27B：5.9GB 模型，筆電可本地處理視覺、PDF 與工具調用

2026 年 9 月 25 日 Share to X Facebook Copy link

Bonsai 2 27B 以近乎完整的推理能力縮至 5.9GB，兼顧視覺、工具調用與超長上下文。

想在筆記簿或單張 GPU 上處理 27B 級模型，Bonsai 2 27B 提供了一條更貼近本地工作的路線。這項目屬本地運行的低位元多模態語言模型示範工具，實際處理推理、圖片及 PDF 問答，以及需要工具往返的代理工作流。

Ternary Bonsai 2 27B 建基於 Qwen3.8 27B，使用 {-1, 0, +1} 三值權重和 FP16 group-wise scaling，模型大小約 5.9GB，達到 1.76 effective bits per weight。項目聲稱保留完整精度模型 98.2% 的整體基準表現，數學能力只相差約半分，編程表現亦接近基線；代價是必須使用 PrismML 的 llama.cpp binaries，stock llama.cpp 無法直接載入相關檔案。

• 262K-token context，配合 hybrid-attention backbone，較適合長文件處理
• 支援照片、截圖及 PDF 問答，llama.cpp 與 MLX 均可運行
• 原生 OpenAI-style tool_calls，並支援 MCP servers
• PTQ1_0 約 1.75 bits per weight；PQ2_0 以增加約 1.3GB 換取較快提示處理

由 setup 流程取得對應模型及自訂後端，再透過示範介面開啟聊天、視覺和工具功能。Mac 可用 Metal，Linux 或 Windows 可選 CUDA、Vulkan、ROCm，亦可用 CPU；介面可調節 reasoning effort，方便比較回應速度與推理深度。

適合需要離線處理文件、想在有限記憶體硬件運行較大模型，或要把本地模型接入 MCP 工具的開發者和小型團隊。項目提供的多個 Bonsai、Bonsai (1-bit) 及 Ternary-Bonsai 型號，讓硬件容量與能力之間有更多取捨。

項目主頁 · GitHub · 模型

Categories: 開源, MCP, 模型, 多模態模型, Qwen, NVIDIA, OpenAI, Image, 工具, Mac, Linux, LLaMa, 編程, Dataset 數據集

---

LensVLM 用壓縮頁面減少長文閱讀成本

2026 年 9 月 24 日 Share to X Facebook Copy link

LensVLM先掃描低成本頁面圖，再只讀取與問題相關的完整頁面，將長文件問答的視覺輸入壓縮成按需取用。

面對多頁文件問答，LensVLM不必一開始把每頁完整內容送入模型，而是先以壓縮頁面圖定位線索，再讀取相關頁面的全文。這個項目屬於多模態 Vision Language Model（VLM），實際處理的是長文件輸入過大、文字內容難以一次放入上下文的問題。

LensVLM是經微調的 Qwen3.5-9B，配合學習得到的 read_page 工具，讓模型在掃描頁面縮圖後按需擴展內容。示範包括模型檢查15頁文件，只讀取第10頁，經兩輪互動便由人物資料連結到答案；壓縮比例可選5x、10x或15x，取捨是壓縮越高，初步掃描成本較低，但頁面細節亦可能減少。

• 先處理壓縮頁面圖，再按問題讀取完整頁面
• 支援自訂文字文件及 HuggingFace 評估數據準備
• 輸出頁面圖與結果檔案，方便檢查推理軌跡
• 適合長報告、資料集問答及文件檢索測試

項目提供 requirements 安裝方式、示範流程及自訂文件參數，結果會寫入指定輸出目錄；原始資料沒有交代硬件要求、推理速度或記憶體消耗。提供的示例能說明工作流程，但未有完整準確率、延遲或與其他長文件 VLM 的量化比較，因此較適合作為研究原型和評估基礎，而非已證實在所有文件類型上都更快或更準的方案。

需要處理大量頁面、又希望控制視覺 token 成本的研究者和工程團隊，較容易從這種按需展開機制受益。文件版面複雜、關鍵答案分散，或問題需要跨頁整合時，仍要留意壓縮圖能否保留足夠線索，以及 read_page 讀取到的文字是否完整。

GitHub · 模型

Categories: 開源, 視覺模型, Qwen, 蘋果

---

Ming-Image 把設計圖拆成可編輯圖層

2026 年 9 月 24 日 Share to X Facebook Copy link

Ming-Image 同時處理視覺設計生成與圖層還原，令 UI、海報和簡報內容更容易交由代理程式接手修改。

由文字生成完整 UI、資訊圖表、海報，再把扁平化圖片拆回透明可編輯圖層，Ming-Image 0.1 Design 系列處理的是設計稿難以延續修改的問題。它屬於視覺設計生成模型系列，實際用途是協助代理程式建立、檢查和重組圖像內容，而不只產生一張不可拆分的圖片。

系列包括兩個 6B 參數模型，Ming-Image-0.1-Design 負責生成文字密集的完整視覺構圖，Ming-Image-0.1-Design-Layer 則把成品分解成獨立、透明背景的圖層。後者支援將文字和簡單形狀抽出，配合 Image to Editable PPT 工作流程，把一頁設計或簡報圖片重建成可編輯 PowerPoint 元素；Ling UI Design 工作流程則利用生成參考圖和圖層分解，協助代理程式編寫及視覺檢查 UI 程式碼。

模型支援 RGBA 輸出，透明背景生成需使用指定的 RGBA 提示語。公開模型卡列出 1024 或 2048 解析度、12 sampling steps、CFG scale 1.0 及 BF16 等建議設定；2048 x 2048 生成在一張具備 80 GiB VRAM 的 CUDA GPU 上驗證，較適合有圖形運算資源的設計團隊，而非一般辦公室電腦即時使用。

Ming-Image-0.1-Design GGUFs | LOW VRAM Workflow

• 生成 UI、資訊圖表、海報及其他文字密集設計
• 將扁平圖片拆成獨立透明圖層
• 可支援 UI 程式碼視覺檢查及可編輯 PPT 重建
• 需要 Python 3.10+、CUDA-capable PyTorch 和模型 checkpoint

完整推理仍需按 companion Ming-Image 項目的依賴和模型服務配置處理。適合需要從參考圖快速建立設計草稿、處理透明素材，或把 AI 生成結果交回設計工具繼續修改的團隊；對只有一般 GPU 資源的使用者，VRAM 要求會是主要限制。

GitHub · 模型

Categories: 開源, 模型, Qwen, NVIDIA, Image, 工具, Python, UI/UX

---

Confucius4-T3PO：14B 即時翻譯模型，邊聽邊譯並兼顧延遲

2026 年 9 月 24 日 Share to X Facebook Copy link

逐段輸入文字後，模型以 AI 判斷何時繼續等候、何時輸出譯文，減少即時翻譯必須在速度與語境之間二選一的情況。

會議口譯或直播字幕需要盡快顯示譯文，但太早翻譯又可能欠缺上下文。Confucius4-T3PO 是一款 140 億參數的文字即時翻譯模型，接收細粒度文字片段後，會決定繼續等候還是輸出部分譯文，支援中英互譯。

它以 READ／WRITE 決策控制等待與輸出，並提供不同延遲模式，讓使用者按即時性需要調整速度與翻譯質素的取捨。已提交的譯文只會逐段追加，不會回頭改寫；交錯式歷史紀錄亦可重用 KV cache，減少重複計算。模型以 Qwen2.5-14B 為基礎，經串流翻譯冷啟動及 Pareto-aware 強化學習，兼顧翻譯質素與延遲。

模型本身只處理文字，並不原生接收語音。語音翻譯需要串接串流自動語音辨識（ASR）；項目另有 R2T2 ASR 模型，可組成語音轉文字翻譯流程。推理介面包括逐段文字翻譯 API，以及接收 16 kHz 單聲道 PCM16LE 音訊的 WebSocket 串流示範。

• 適合需要逐步顯示字幕或翻譯結果的串流應用及口譯流程。
• 可按低、原生或高延遲模式調整輸出節奏；延遲與翻譯質素需要取捨。
• API 可查詢分段統計及 WAIT／TRANS 統計，方便觀察單次工作階段的決策情況。
• 儲存庫提供推理程式碼，並連結模型頁及線上示範；所列資訊未提供硬件需求或效能基準，正式部署前宜先測試目標語言、音訊流程及延遲。

對字幕平台、遠端會議及串流口譯團隊而言，逐段輸出有助減少等待完整句子才見到譯文的落差；但語音流程仍依賴外部 ASR，部署成本亦會受 14B 模型及推理環境影響。

GitHub · 模型

Categories: 開源, 模型, Qwen, API, Audio, 語音

---

Qwen-Image 2.1 四步生成加速，但複雜編輯仍未完善

2026 年 9 月 24 日 Share to X Facebook Copy link

Viggle 將 Qwen-Image 2.1 蒸餾至四步生成，換來速度提升，同時保留編輯能力上的取捨。

面對需要較快出圖、又要按文字指示修改圖片的場景，Qwen-Image-2.1-viggle-turbo 把原始 Qwen/Qwen-Image-2.1 由 40 次 Transformer passes 壓縮至 4 次，支援 text-to-image 及 image-to-image 編輯，亦可配合 1 至 3 張參考圖。模型屬於基於 Qwen/Qwen-Image-2.1 的 adapter 項目，由 Viggle 使用 Distribution Matching Distillation（DMD）訓練，並取消 classifier-free guidance。

項目提供兩個學生模型，取捨集中在下載體積與編輯精準度：

• transformer/：完整微調的 bf16 Transformer，約 14.2 GB，會取代基礎 Transformer；頁面目前推薦這個版本，質性比較中編輯更忠實。
• Qwen-Image-2.1-viggle-turbo-4step-lora-r64.safetensors：rank 64、約 340 MB 的 LoRA adapter，載入基礎 Transformer 後運行，下載較快但效果稍弱。
• peft/：同一 LoRA 的 PEFT key format、F32 權重；LoRA 不會合併入 Transformer，運行時載入可避免 bf16 合併造成的損失。
• text encoder、VAE 及 processor 沒有隨項目重新發布，會從基礎模型儲存庫載入。

完整微調版本的 DMD objective 加入 low-frequency teacher anchor，兩個版本都是各自訓練流程的 step-400 EMA checkpoint。Text-to-image 在四步下已具可用性，但 v0.1 仍是 preview；多參考圖合成、換臉、保留身份，以及同時包含多項限制的指令，明顯不及原本 40 步的 base model，因此不能視為完整替代品。

因為 QwenImage21Pipeline 尚未納入已發布的 diffusers；同時要安裝 peft、PyTorch、Transformers、Accelerate、Safetensors 及 Pillow。提供內容沒有 GGUF 檔案、GGUF 檔案大小、量化級別、mmproj、上下文長度、Ollama、LM Studio 或 llama.cpp 支援資料，亦沒有 MTP draft speculation 或正式 benchmark 數字；硬件需求只能按完整 Transformer 約 14.2 GB bf16 權重另行規劃。

模型

Categories: Qwen, Image, 影像模型, 影像處理, txt2img, Python, 庫, Dataset 數據集, LoRA

---

ImIR 免提示詞處理六類影像修復，

2026 年 9 月 23 日 Share to X Facebook Copy link

ImIR 讓同一個影像修復模型自行判斷輸入問題，毋須提示詞或降級標籤，涵蓋六種常見修復工作。

遇到低光、雨痕、霧化或 JPEG 壓縮痕跡時，ImIR 會只從輸入影像推算修復指令，不要求使用者先判斷問題類型。這個項目屬於影像修復模型與推理工具，實際處理的是一個模型難以同時應付多種退化、又依賴文字提示詞的工作流程。

ImIR 把影像分成兩條路徑送入 Qwen-Image-Edit-2511：VAE 保留空間結構，Qwen2.5-VL 配合輕量 token mapper 產生接近乾淨影像的語義指令；主幹模型保持凍結，只訓練一個共享 LoRA adapter。指令強度可以調節，低光增強等答案不唯一的任務，因而能在不同修復程度之間取捨。

項目提供 CLI 和 Python API，使用 Python 3.10 或更新版本、具 CUDA 能力的 NVIDIA GPU，並可從 Hugging Face 自動下載 checkpoint。顯存不足時可啟用 CPU offload，但需要足夠系統記憶體。

• 一個 adapter 覆蓋除雨、低光增強、去霧、去模糊、去噪及 JPEG 瑕疵移除
• 不需要文字提示詞，也不需要 degradation label
• 單一 adapter 約三小時、以一張 GPU 完成訓練
• 匹配比較中，影像指令優於文字 conditioning

對研究人員而言，這種做法適合測試 task-agnostic restoration；影像處理團隊則可用它簡化多任務推理流程。不過項目需要 NVIDIA CUDA 硬件。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, NVIDIA, Image, 影像模型, 影像處理, Python, LoRA

---