InstantFusion 讓不同影像模型接力生成

InstantFusion 把不同 diffusion models 接到共同 latent space,令模型可以中途交接、加速生成,亦能混合不同偏好。

InstantFusion — A Shared Latent Interface for Image Generators

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換,InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具,處理的是不同 diffusion models latent space 不相容,難以直接接續生成的問題。

核心是 Latent Alignment Encoder(LAE):模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space,再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen,LAE 負責建立彼此之間的轉換接口。

完成對齊後,生成軌跡可以交由另一個模型繼續處理,帶來三種用途:
– 不同步數預算的模型接力,嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD,以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3,並以 100 張圖片計算 mean SSIM;介面驗證亦顯示,單次 latent round trip 能保留較高 fidelity,但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值,但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference,適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫