InstantFusion 讓不同影像模型接力生成

2026 年 10 月 13 日 Share to X Facebook Copy link

InstantFusion 把不同 diffusion models 接到共同 latent space，令模型可以中途交接、加速生成，亦能混合不同偏好。

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換，InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具，處理的是不同 diffusion models latent space 不相容，難以直接接續生成的問題。

核心是 Latent Alignment Encoder（LAE）：模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space，再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen，LAE 負責建立彼此之間的轉換接口。

完成對齊後，生成軌跡可以交由另一個模型繼續處理，帶來三種用途：
– 不同步數預算的模型接力，嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD，以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3，並以 100 張圖片計算 mean SSIM；介面驗證亦顯示，單次 latent round trip 能保留較高 fidelity，但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值，但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference，適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫

---

VisionWeave 讓多模態模型按畫面分配細節

2026 年 10 月 13 日 Share to X Facebook Copy link

VisionWeave 按內容保留重要視覺細節，減少冗餘視覺 tokens，兼顧長影片理解效率與任務質素。

長影片、圖表和文字密集畫面不需要每個位置都用同樣精細度處理。VisionWeave 屬於多模態模型（MLLMs）效率優化項目，讓模型按視覺內容決定保留細節或壓縮表示，處理視覺 tokens 過多所造成的成本與延遲問題。

VisionWeave 不是固定比例刪減 tokens，而是把 fine-grained 與 coarse-grained representations 編織起來，讓重要區域保留較多資訊、背景使用較緊湊的表示。項目針對 dense Qwen3.5 提供影像及影片 inference，評測則涵蓋 Qwen3.8-27B 與 Qwen3.5-4B，並比較 FastV、VisionZip 等固定預算方法。

Qwen3.8-27B 在八項 benchmark 平均節省 43.0% visual tokens，同時保留 98.9% 原生模型表現。於 SGLang、兩張 A100-80GB 和 BF16、TP=2 條件下，LongVideoBench throughput 由每分鐘 0.90 個請求升至 2.07 個，平均 TTFT 亦由 169.90 秒降至 77.54 秒。

• 按畫面內容自動調節視覺表示粒度
• 適合長影片、自然場景、圖表及文字密集影像
• 在多項任務與不同輸入解析度下衡量效率與質素取捨
• README 提供的 checkpoint 需另行取得，完整安裝流程在目前資料中未交代

研究團隊同時提供 image/video inference，但儲存庫資訊未列出下載連結、硬件最低要求或完整測試步驟，因此較適合作為研究評估和 SGLang serving 實驗起點。對需要處理長影片、多張影像或高解析度輸入的模型團隊，VisionWeave 提供了比固定 token 預算更靈活的壓縮方向；代價是要配合指定 Qwen 模型與額外 checkpoint，未必能直接套用到其他架構。

項目主頁 · GitHub

Categories: 開源, 多模態模型, Qwen, Video, Image, 庫, Dataset 數據集

---

ProgramGym：程式重製代理訓練

2026 年 10 月 13 日 Share to X Facebook Copy link

由可驗證環境到持續開發流程，ProgramGym 把程式重製代理的訓練推向長流程任務。

要令 coding agent 重建一個未公開實作的程式，單靠規格並不足夠，還要探索參考執行檔、推斷行為、設計架構，再反覆修正。ProgramGym 屬於面向程式重製代理的訓練環境與工作流程項目，透過 Program-Env 和 Program-Agent 處理測試環境難以大量建立、長時間開發容易失去脈絡兩個問題。

Program-Env 會由真實 repository 建立參考 executable 和 runtime sandbox，再以驗證回饋逐步產生 behavioral tests；Program-Agent 則把分析、實作和 review 分開處理，利用持續保存的交接紀錄與 revision checkpoints，讓代理可以延續多輪工作，而不是每次重新理解整個程式。

項目目前提供 ProgramGym-1648 dataset，涵蓋 Go、C++、Rust 和 C，共 1,648 個可驗證任務，其中 Go 有 818 個。資料集適合用來訓練或比較 coding agents，尤其是需要黑盒探索、跨多個修訂階段，以及重視行為相容性的工作情境。

• Program-Env 負責建立 executable、sandbox 和行為測試
• Program-Agent 分拆分析、實作與 review 流程
• 任務涵蓋四種系統程式語言及八個領域
• Qwen3.8-27B 基準分數由 34.87% 提升至 42.84%
• 配合 Program-Agent 後，分數提升至 55.71% 或 56.25%

測試結果顯示，Qwen3.8-27B 配合 Program-Agent 達 55.71%，Qwen3.8-27B-SFT 則達 56.25%，較各自基準明顯提升，但仍低於 Claude Opus 4.8 的 70.9% 和 GPT-5.6 Sol 的 69.9%。GitHub 儲存庫主要是資訊中心，提供論文、項目網站及 Hugging Face 資源連結；原始資料沒有交代完整安裝或本地執行步驟，使用者需要先按相關資源了解取得方式。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, Qwen, Vibe Coding, 庫, 編程, Dataset 數據集

---

[技術文章] HARNESSSQL 讓 SQL 代理在真實資料庫中學習

2026 年 10 月 11 日 Share to X Facebook Copy link

SQL 代理不再只需一次生成查詢，而是在可執行資料庫內探索、修正錯誤並完成任務。

面對陌生資料庫，SQL 代理往往要先查看 schema、檢查欄位和值，再執行試探查詢、分析錯誤，最後修訂並提交 SQL。HARNESSSQL（Harness-Native Training for SQL Agents in Realistic Database Environments）是一套面向這類互動流程的後訓練框架，針對模型訓練只學習「問題直接對應查詢」、但推理時才加入執行工具的落差作出修正。

傳統 Text-to-SQL 通常把資料庫視為靜態提示內容，難以涵蓋長時間、多回合的探索。HARNESSSQL 建立隔離且可執行的資料庫環境，配合隱藏的 execution oracles，讓教師模型直接在目標 SQL harness 內完成互動，並只保留經驗證的操作軌跡進行 full-sequence SFT，之後再以 execution reward 進行 RL。

項目的核心做法包括：
• 將 schema 檢查、工具呼叫、查詢執行及錯誤修正納入訓練流程
• 以 sandbox 控制資料庫狀態，保存結果與錯誤回饋
• 只使用可驗證的成功軌跡，減少錯誤示範干擾
• 讓模型適應 Spider 2.0-SQLite 的互動式任務

在 Spider 2.0-SQLite 上，Qwen3-8B 的 execution accuracy 由 15.5% 升至 45.2%，Qwen3-14B 則由 22.2% 升至 54.8%；訓練所得能力亦能轉移至 BIRD-Interact 和 LiveSQLBench。結果反映，資料庫代理要處理複雜工作流，訓練階段同步保留執行 harness，比只在推理階段補上工具更能縮小訓練與使用環境的差距。

Paper

Categories: 開源, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, Qwen, 微軟, 框架, 香港, 工具, 庫, 強化學習

---

ComfyUI-VoiceWorkbench：本地語音工作台：逐句修正音高與節奏

2026 年 10 月 11 日 Share to X Facebook Copy link

不用剪碎音檔，便可逐句調整音高、字詞時長、停頓和尾音，並比較不同錄音版本。

想修正一句旁白的語速、音高或句尾拖音時，ComfyUI-VoiceWorkbench 讓你在完整錄音上直接編輯，毋須把每個字剪開再重新拼接。這個項目屬於本地語音編輯工具，實際處理的是生成語音和錄音後期微調之間的卡位；編輯器可作為 ComfyUI 底部面板使用，也能獨立在本機運行。

聲音處理採用一次 Praat resynthesis pass，同時套用整段錄音的時長和音高變化，未修改的預覽則保留原始 WAV bytes。介面可調整 0.75 至 1.25 倍全局速度、全局音高及最多 64 個局部曲線點，亦能處理現有停頓和可靠的 voiced ending；編輯完成後可比較 Original、Edited 與不同生成 take，再回到較早版本。

• 不用下載模型：內置例子可直接開啟和編輯，Windows 亦可調用已安裝的英文系統語音。
• 適合本地工作流：支援 Python 3.10 或更新版本，並可接入 ComfyUI custom nodes。
• 保留人工判斷：字詞邊界只是估算，無聲或不穩定區域不能可靠提供音高目標。
• 有明確範圍限制：單聲道錄音約 0.15 至 60 秒，AI take 最多 200 字元；服務只綁定 loopback，並非公開共享伺服器。

可選的本地適配器把能力延伸至語音生成和表演編輯：IndexTTS2 支援參考聲線及情緒生成，AuK Base 用於整段錄音的表演編輯，Qwen3 forced aligner 則協助估算字詞邊界。這些元件不是開啟基本編輯器的必要條件，系統語音也不提供聲線複製或情感控制。

適合旁白製作、語音原型和 ComfyUI 使用者處理少量錄音，而不是多人共用的雲端配音平台。尾音延長最多 200 毫秒，目標音高及 voiced 區域亦有上下限；自動對齊不代表每個字都讀得正確，接受修改前仍要逐段聆聽。

GitHub

Categories: 開源, ComfyUI, 模型, Qwen, Audio, 工具, Python, 語音

---

WeKnora 把企業知識庫變成可問、可做、可追溯的 AI

2026 年 10 月 11 日 Share to X Facebook Copy link

WeKnora 將 RAG、Agent 與 Wiki 放進同一個知識庫，兼顧企業資料整合、任務執行和私有化部署。

不只可以問文件內容，WeKnora 會幫你用 AI 操作工具、整理 Wiki，並保留已確認的偏好與事實。WeKnora 是一個開源 LLM 知識框架，處理企業文件理解、語意檢索與多步推理；RAG、Agent 和 Wiki 共用同一套知識庫，減少資料分散造成的落差。

RAG 會結合語意及關鍵字檢索，回答附上原文引用；Agent 可搜尋網頁、呼叫 MCP 工具、執行技能，並在沙箱中處理檔案。Wiki 則把文件整理成互相連結的頁面與知識圖譜，支援編輯、差異比較和版本回滾，適合需要持續維護內部知識的團隊。

• 支援 PDF、Word、圖片、Excel、XMind 等十多種格式
• 可同步飛書、Confluence、GitLab、Notion、語雀、RSS 等來源
• 透過企業微信、飛書、Slack、Telegram、MCP Server 或 API 提供服務
• 具備多空間 RBAC、審計日誌、任務佇列及 Langfuse 追蹤

模型、向量資料庫及儲存後端都可以替換，內置 29 家模型供應商，包括 OpenAI、DeepSeek、Qwen、Gemini、MiniMax、LiteLLM 和 Ollama。v0.8.2 加入本機瀏覽器操作、MCP Server、對話分叉與回滾，令知識庫不再只負責回答問題，也能參與任務流程。

Docker、Kubernetes、Helm、Lite 單機版及桌面應用都在支援範圍內，資料可以留在本地或私有雲。對重視資料留存、內部協作和可追溯性的企業，這套整合度具備明確吸引力。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, RAG, MCP, Qwen, OpenAI, DeepSeek, Gemini, Image, 框架, KnowledgeGraph, Ollama, 庫, Anthropic, MiniMax, Skill 技能

---

VibeEdit：以畫布指令精準指定影像編輯位置

2026 年 10 月 10 日 Share to X Facebook Copy link

圈選、畫線或拖動就能指定修圖位置，VibeEdit 以空間標記處理相似物件難以辨認的問題。

圈選物件、畫幾筆線，或在圖片上拖動指定位置，再補上一句短註記，便能要求模型新增、移除、替換、改變屬性或移動內容。VibeEdit 屬於影像編輯模型，處理的是文字提示難以準確指出相似物件和局部區域的問題。

它採用 Qwen-Image-Edit，以 layer-decoupled conditioning 分開編碼原圖與 canvas instruction，再配合 region-weighted supervised fine-tuning，以及 rubric-guided reinforcement learning（RL）改善局部修改、指令完成度和未編輯區域的保留。訓練資料包含 155 萬組 source–target edit pairs、物件遮罩和結構化編輯描述，畫布指令則由這些資料生成。

• 支援新增、移除、替換、屬性修改及移動物件
• 不要求獨立文字提示，空間標記直接表達目標位置
• 以 419 個人工整理案例測試相似物件選取能力
• VLM（Vision-Language Model）評分為 79.9，outside-region PSNR 為 32.8 dB
• 對比 FireRed 的 67.4 分及 24.0 dB，局部編輯和區域保留均較佳

對需要精準修圖的設計、內容製作和研究團隊，畫布指令比長篇描述更容易表達「改哪一件」；但模型仍屬研究項目，程式碼標示為 Coming soon，暫時不能按儲存庫直接安裝或自行重現。評測規模亦只有 419 個案例，結果未必涵蓋所有圖片類型和複雜編輯情境。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 庫, 強化學習

---

SparseDecoding 針對 LLM 解碼加速至 1.48 倍

2026 年 10 月 10 日 Share to X Facebook Copy link

SparseDecoding 針對生成階段重新校準剪枝，兼顧模型準確度與解碼速度。

大型語言模型（Large Language Model，LLM）逐個生成 token 時，延遲往往受記憶體讀取限制；SparseDecoding 以解碼階段為核心重新設計剪枝流程，減少需要讀取的非零參數，處理稀疏模型加速與輸出質素之間的取捨。

傳統剪枝方法通常從固定自然語料收集 calibration activations，再計算 Hessian；但模型生成 token 時會依賴自己早前產生的內容，兩者分佈不一致，令剪枝後的表現受影響。SparseDecoding 改為在 dense model 進行 autoregressive generation 時，按層收集模型自行生成的 activation，並略過 prefill 階段，讓校準資料更貼近真正解碼流程。

系統部分則針對解碼主導的 sparse matrix-vector（SpMV）運算，加入支援 N:M sparsity 的 bitmask indexing 與 fixed-step traversal kernel。這和主要優化 prefill 的 sparse matrix-matrix multiplication（SpMM）方案不同，後者在部分 autoregressive decoding 情境下未必能超越 dense throughput。

實驗涵蓋 Llama-3.1-8B、Llama-3.3-70B 及 Qwen3-14B/32B，在 WritingBench 和 ClassEval 等測試中維持具競爭力的結果；A100 上的端到端 decoding speedup 最高達 1.48×，不同稀疏模式則約為 dense 模型的 1.34 至 1.48 倍。

• 以模型自行生成的 token 作 decoding-aware calibration
• 略過 prefill activation，聚焦 autoregressive decoding
• 提供優化 N:M SpMV kernel，支援 bitmask indexing
• 在 50% 權重保留率及 2:4 sparsity 下測試
• 目前屬於 preprint，程式碼標示為即將提供

項目主頁

Categories: 模型, 模型訓練, Qwen, 框架, LLaMa

---

TokenRouter 讓多個模型逐 Token 協作

2026 年 10 月 10 日 Share to X Facebook Copy link

同一個回答可按 Token 在大小模型之間切換，TokenRouter 以專用服務引擎處理路由、交接與批次調度。

同一個回答需要小型模型快速生成，亦要大型模型處理指定 Token 時，服務系統要同時應付模型切換、不同步解碼和不規則請求。TokenRouter 屬於開源 serving system，專門處理 token-level LLM routing，讓多個模型在單次回應內協作。

開發者只需透過 route()、send() 和 receive() 描述路由邏輯，系統便負責請求交接、Tokenization、Detokenization、批次調度及模型執行。它採用獨立 subserver、非同步 model-centric execution 和 delayed batching，讓快模型繼續解碼，慢模型處理被路由的 Token；Python 3.10、YAML 配置、OpenAI-compatible chat completions 和 Python engine 則提供了較直接的測試入口。

• 支援同一回應內按 Token 或片段切換模型
• 內置 scheduler、model executor 及 CUDA graph 支援
• 可用單機或跨節點配置不同模型
• 涵蓋五種路由算法、三類工作負載及多組模型配對

測試結果顯示，TokenRouter 在不同算法、工作負載和模型配對下，解碼吞吐量較現有系統高 2.01–64.15 倍。這個差距會受硬件、批次規模、路由頻率及模型組合影響，不能直接視為所有場景的固定提升；項目提供的 Qwen3-0.6B 與 Qwen3-32B 配置，較適合用來理解小型與大型模型協作的流程。

需要研究 token-level routing、測試推理工作流，或營運多模型服務的團隊會較容易受益。TokenRouter 把路由策略與執行引擎分開，保留較大彈性，但亦意味着使用者仍要自行設計算法、準備模型節點和調校分散式通訊，並非即插即用的模型服務平台。

項目主頁 · GitHub

Categories: 開源, 模型, Qwen, NVIDIA, Python, Tokenize

---

VIEScore2 讓影像評分不再只剩一個分數

2026 年 10 月 9 日 Share to X Facebook Copy link

VIEScore2 同時評估影像質素、語意一致性與缺陷位置，將難以解讀的分數轉成可追蹤的修改方向。

評估 AI 生成或編輯影像時，單一分數往往只能告訴你好不好，卻說不出問題在哪裏。VIEScore2 屬於影像評估模型，處理生成圖、編輯圖、提示詞及可選的條件影像，並在一次模型運算中輸出質素、語意一致性和缺陷位置。

Qwen3-VL-8B 經微調後，以自回歸方式同時預測 perceptual-quality（PQ）、semantic-consistency（SC）及 16×16 defect grid；artifact 和 misalign 兩個通道可分開標示視覺瑕疵與語意錯位。參數免訓練的 parser 再把網格結果穩定轉成文字解釋，避免說明內容與定位結果互相矛盾。

相比只輸出總分的評估器，VIEScore2 提供較具操作性的空間線索；相比通用 VLM，模型則專注於影像評分和缺陷定位，代價是網格以 16×16 單元表達，細節精度有限。訓練資料把 ImagenWorld、RichHF-18K、PAL4VST、COCO 的遮罩或熱圖，以及 EvalMuse-40K 的分數資料統一成同一格式，再以 SFT 和 GRPO 配合 cell-level Dice、分數準確度及格式有效性獎勵訓練。

GitHub 儲存庫提供評估協議、資料 manifests、外部測試集轉換器，以及 run_eval.py；可使用本地 checkpoint，亦支援 OpenAI、Gemini 和 Anthropic API backend。主要套件包括 AbHuman、AGIQA-3K、EvalMuse、PAL4VST 等評估集，適合研究影像生成模型、建立自動質量檢查流程，或分析編輯結果的錯誤位置。

• 評分更完整：同時輸出 PQ、SC、缺陷網格及文字解釋。
• 結果較接近人評：主要測試集 overall-score SRCC 為 0.601，最佳 VLM baseline 為 0.491。
• 定位能力具競爭力：6 個定位基準中有 3 個取得最高 grid IoU，5 個進入前三。
• 限制清晰：網格定位仍屬區域級提示，並需要按儲存庫協議整理資料與輸入格式。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 模型訓練, Qwen, NVIDIA, OpenAI, Gemini, API, Image, 提示詞, 庫, Anthropic

---