影像模型 – InferNews

MT-Forcing：多輪改圖守住細節唔再走樣

2026 年 10 月 20 日

連續改同一張圖時，主體、紋理與構圖往往會慢慢偏離；MT Forcing 以多輪訓練與教師引導改善這類累積錯誤。

連續要求「改杯色、加條紋、再調光線」時，圖片往往未到最後一輪已經失真。MT Forcing 是針對多輪圖像編輯的訓練框架，配合自迴歸擴散模型，減少每輪修改帶來的漂移。

方法把單輪 DMD（Distribution Matching Distillation）與 Teacher-Forcing Guidance 結合：學生模型逐步編輯自己生成的歷史，凍結的單輪教師則從原圖一次套用累積指示，提供分布層面的引導。參考真實編輯軌跡後，模型既要改善畫質，也要維持跨輪次內容關係。

以自身多輪輸出作為訓練歷史
引入單輪 DMD 改善視覺品質
用 Teacher-Forcing Guidance 減少誤差累積
展示最長十五輪及八輪編輯比較

官方程式碼要求 Python 3.11.13、NVIDIA CUDA GPU，以及指定 checkpoint、架構資源和擴充 U1.5 tokenizer；配置完成後，可在同一工作階段依序執行多個編輯提示。公開資料未交代完整硬件門檻、推理速度或標準化定量結果，因此較適合作為需要 NVIDIA GPU 的研究重現工具，而非直接比較成本已知的消費級服務。

它以 SenseNova-U1.5 作為相關基礎模型，並在多輪比較中加入 MT Forcing。對需要逐步修訂產品 concept、人物姿勢或場景細節的設計團隊，單輪教師可作品質參照。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 清華大學, 模型, 模型訓練, NVIDIA, Image, 影像模型, 框架, 工具, Python, Tokenize

Scene-Designer：智能 3D 場景生成與設計

2026 年 10 月 20 日

Scene-Designer 把場景生成、質素評估與反覆修正放進同一套 Agent 訓練流程，減少無效改動。

3D 場景生成最難的地方，往往不是砌出物件，而是知道場景是否合理，以及修正錯誤時避免愈改愈亂。Scene-Designer 是一個面向 Agentic 3D Scene Generation 的研究框架，目標正是讓模型學習設計場景、評審質素，再按評語作有效修正。

以 Scene-OTA-35K 的 Observation–Thought–Action 軌跡學習設計與修改流程。
透過 Scene-OTC-15K 的 Observation–Thought–Critic 經驗，比較場景質素。
用 Branch-ranking reward 比較同一父場景產生的分支。
以 Improvement reward 判斷子場景是否真正優於原場景。

Causal Trajectory Consolidation 會移除沒有下游貢獻的無效操作，同時保留有效決定及必要中間狀態。Scene perturbations 則刻意加入佈局偏差、功能退化和物理違規，再建立偏好比較，令模型不只是 spotting 錯誤，而是學習指出哪個場景較好。

Scene-GRPO 結合分支排名與改進獎勵，讓代理在相同起點的候選場景中選擇較佳設計，並減少沒有帶來實際進步的反覆修改。這種做法比只追求最終生成結果的訓練多了一層質素判斷，亦直接回應通用模型「識錯但不懂有效修正」的問題。

研究團隊比較了模型與 GPT-5.2 在成對場景比較及四場景偏好排序上的表現；首頁亦提供十組 prompt-to-scene 示範。不過，公開資料未交代完整安裝流程，Hugging Face 上已列出 Scene-Builder-Qwen3-VL-8B-Instruct 模型與 Scene-OTC-Bench 資料集，較適合具 3D 生成、Agent 訓練及模型評估經驗的團隊先行研究。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, OpenAI, 影像模型, World-Action Model, 框架, 3D, Dataset 數據集

InfoVis 簡報生成與編輯能力整合到 9B 模型

2026 年 10 月 17 日

InfoVis 讓同一個模型處理簡報生成、素材參考、模板控制與局部編輯，開源評測已接近 Nano-Banana-2。

製作簡報圖像時，你可以用文字生成整頁投影片，也可以提供風格參考、內容素材或原有投影片作修改。InfoVis 屬於開源影像模型項目，集中處理文字轉投影片、模板條件生成、多圖像內容生成，以及按指令編輯投影片四類工作，減少不同模型之間切換所帶來的流程斷裂。

模型以 FLUX.2-klein-base-9B 為基礎，經過 slide-native continual pretraining、四任務混合 continual pretraining，再進行 task-specific SFT，最後把不同分支合併成單一模型。這種做法換來較完整的任務覆蓋，但同一模型要同時兼顧文字準確度、版面美感、內容對齊和精準編輯，效果仍會受提示內容及輸入素材質素影響。

VisSlideBench 收錄 1,527 個人工篩選案例，分別檢查內容忠實度、指令遵循、美感、語義一致性和簡報質素等指標。InfoVis 整體得分 7.94，略低於專有的 Nano-Banana-2（7.99），但在所有 11 項指標均領先受評開源模型；相較原始 FLUX.2-klein-base-9B，專門訓練帶來 1.6 分整體提升，美感仍是它與專有模型之間較明顯的差距。

項目提供 Hugging Face Space 的線上示範，再按需要下載模型權重、程式碼、InfoVis-Data 和 VisSlideBench 作本地研究或評估。這個項目較適合需要大量製作簡報草稿、產品提案、教學投影片的設計及內容團隊；本地執行 9B 模型則要自行準備相容的圖像生成環境，儲存庫資料未列出統一的硬件要求。

四合一工作流：文字生成、模板控制、多圖像接地生成及指令式編輯由同一模型處理。
專用訓練資料：提供超過 13M continual-pretraining records 及 1.9M SFT records。
可驗證評測：VisSlideBench 同時公開資料集及評估程式碼。
主要取捨：開源模型中表現突出，但整體仍稍低於 Nano-Banana-2，美感差距較大。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 模型訓練, Qwen, Google, NVIDIA, Stable Diffusion, Video, Image, 影像模型, 教學, 庫, 中國, 蘋果, Dataset 數據集

[技術文章] 阿里 CommerceGen-Studio：商用級主圖生成端到端框架

2026 年 10 月 16 日

把白底 SKU 商品照變成可上架主圖，並以幾秒延遲處理每日百萬級流量。

白底商品照難以直接吸引搜尋頁點擊，CommerceGen-Studio 由 Alibaba Group 提出，面向電商 SKU 粒度的商業主圖生成。來源沒有交代具體 base model 或 fine-tuned from 哪個模型，因此無法確認其原始基礎模型。

系統分成資訊抽取、語義改寫及多條件生成三階段。Prompt-Eval-Refine-Loop Agent（PERL-Agent）讓 VLM 與 LLM 按照 reference-free rubric 反覆整理商品資料；Layout Thinker Optimization（LTO）則同時以文字描述及渲染圖片質素調整改寫策略。

SKU-DiT 透過 Reinforce-Distill-Reinforce（RDR）漸進式訓練，聯合使用白底商品圖、商標裁剪圖及結構化版面條件，兼顧商品外觀、商標完整性和字元級文字準確度。系統聲稱已達到每日生成數百萬張主圖、每張延遲數秒，並在 CommerceGen-Bench 的兩條編輯測試中勝過所比較的開源基線，部分指標可媲美或超越大型閉源模型。

檔案與推論：來源是研究論文內容，沒有提供 GGUF 檔名、檔案大小、量化級別、mmproj 或 chat template。
框架支援：論文摘要沒有公開各項數值分數，也未交代 SKU-DiT 的參數規模及訓練資料細節。
適用場景：重點在大量電商商品主圖生產，而非通用文字轉圖片服務。

CommerceGen-Studio 與單一生成模型的差異，在於把商品資料理解、賣點整理、版面規劃及圖片生成串成完整項目流程；CommerceGen-Bench 則以真實流量中的困難案例測試 Instruction Following 和 Product Integration。由於缺乏公開權重、量化檔案及硬體規格，讀者目前較適合把它視為可大規模運行的研究框架，而非可直接下載的本地模型。

Paper

Categories: 開源, 阿里巴巴, Agentic, 模型, 視覺模型, 模型訓練, Image, 影像模型, VLA, 框架, LLaMa, Ollama, Dataset 數據集

InstantFusion 讓不同影像模型接力生成

2026 年 10 月 13 日

InstantFusion 把不同 diffusion models 接到共同 latent space，令模型可以中途交接、加速生成，亦能混合不同偏好。

InstantFusion — A Shared Latent Interface for Image Generators

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換，InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具，處理的是不同 diffusion models latent space 不相容，難以直接接續生成的問題。

核心是 Latent Alignment Encoder（LAE）：模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space，再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen，LAE 負責建立彼此之間的轉換接口。

完成對齊後，生成軌跡可以交由另一個模型繼續處理，帶來三種用途：
– 不同步數預算的模型接力，嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD，以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3，並以 100 張圖片計算 mean SSIM；介面驗證亦顯示，單次 latent round trip 能保留較高 fidelity，但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值，但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference，適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫

ArtCraft 以 Rust 重做七款 Adobe 創作工具

2026 年 10 月 9 日

ArtCraft 把影像、影片、PDF、排版等工作整合到七款原生工具，檔案留在本機，亦方便接入自動化流程。

由影像編輯、向量繪圖到影片、PDF、動態圖像和頁面排版，ArtCraft 正以 Pure Rust 打造七款原生、開源及免費的創作應用，處理創作者需要在不同工具之間切換，以及雲端往返檔案的工作流程問題。項目涵蓋 PhotoCraft、VectorCraft、FilmCraft、LightCraft、PdfCraft、EffectCraft 和 DesignCraft。

這套工具的差異不只在於功能範圍，而在於每款應用都直接編譯成 macOS、Windows 和 Linux 桌面程式，不依賴 Electron 或 web views。檔案在本機處理，介面、工具和快捷鍵則沿用專業創作軟件較熟悉的操作方式；PhotoCraft、VectorCraft、LightCraft、PdfCraft、EffectCraft 和 DesignCraft 亦可透過 WebAssembly 在瀏覽器執行。

目前 PhotoCraft 和 PdfCraft 屬於 Early alpha，其餘多數工具仍在 In development，不能視為已完成的商業級套裝。不同應用的安裝程式已涵蓋多個平台。

項目亦預留了自動化和 AI agents 的接入方式，可透過 CLI、JSON control channel 或 MCP server 操作應用，適合需要批量處理素材、建立創作流程，或希望自行檢視和修改程式碼的使用者。

七款工具涵蓋影像、向量、影片、攝影、PDF、VFX 和排版
以 Rust 從頭開發，採用原生桌面程式架構
開源程式碼放在 GitHub，並使用 permissive licenses
檔案留在本機，部分應用同時支援瀏覽器和 WebAssembly
多數工具仍在早期開發階段，成熟度各有不同

項目主頁

Categories: 開源, Agentic, AI productions, MCP, 視頻模型, Video, Image, 影像模型, 教學, 軟件, 工具, Content Creator, Discord, Mac, Linux, 庫

MiniMax H3 4-bit 量化保留原生影音生成

2026 年 10 月 4 日

MiniMax H3 壓縮至 4-bit 後，仍保留影片與音訊生成能力。

要在較有限的硬件資源下製作影片，又不想放棄同步音訊，MiniMax H3-QuantFunc-4bit 提供了一個量化選擇。頁面將它定位為 MiniMax H3 的 4-bit 量化版本，而非獨立微調模型；原始基礎模型可確認為 MiniMax H3，但未交代更完整的 base model 訓練資料或微調流程。

模型把核心權重精度由 16-bit 降至 4-bit，官方稱壓縮幅度約為 4 倍，並宣稱角色細節、風格一致性及快速動作仍可維持。它支援 text-to-video、image-to-video，以及原生 video+audio generation；附真人演出、動畫追逐、高速汽車及風格化角色展示生成結果。

FL2VA 在相同提示詞及 seed 下，QuantFunc INT4 對 BF16 基準取得約 23.7 dB PSNR。這個數字可用作重建品質參考，但屬項目方的內部測試，未有列出測試硬件、影片設定、速度或顯存用量，因此不能單憑該指標推算日常生成體驗。

標籤包含 svdquant、int4、quantized 及 comfyui，但沒有交代量化演算法細節。
頁面未提供 GGUF 檔案名稱、檔案大小、mmproj、上下文長度或推薦量化級別。
未列明 llama.cpp、Ollama 或 LM Studio 支援，也沒有硬件需求及 MTP draft speculation 資訊。
項目連結 ComfyUI-QuantFunc，較適合配合相關工作流探索；授權為 MiniMax H3 Community License，使用前應查閱條款。

模型

Categories: 開源, ComfyUI, AI productions, 模型, 視頻模型, 模型訓練, Video, Image, 影像模型, 影像處理, Audio, 提示詞, Discord, LLaMa, Ollama, 動畫, MiniMax

Qwen-Image 2.1 四步生成加速，但複雜編輯仍未完善

2026 年 9 月 24 日

Viggle 將 Qwen-Image 2.1 蒸餾至四步生成，換來速度提升，同時保留編輯能力上的取捨。

面對需要較快出圖、又要按文字指示修改圖片的場景，Qwen-Image-2.1-viggle-turbo 把原始 Qwen/Qwen-Image-2.1 由 40 次 Transformer passes 壓縮至 4 次，支援 text-to-image 及 image-to-image 編輯，亦可配合 1 至 3 張參考圖。模型屬於基於 Qwen/Qwen-Image-2.1 的 adapter 項目，由 Viggle 使用 Distribution Matching Distillation（DMD）訓練，並取消 classifier-free guidance。

項目提供兩個學生模型，取捨集中在下載體積與編輯精準度：

transformer/：完整微調的 bf16 Transformer，約 14.2 GB，會取代基礎 Transformer；頁面目前推薦這個版本，質性比較中編輯更忠實。
Qwen-Image-2.1-viggle-turbo-4step-lora-r64.safetensors：rank 64、約 340 MB 的 LoRA adapter，載入基礎 Transformer 後運行，下載較快但效果稍弱。
peft/：同一 LoRA 的 PEFT key format、F32 權重；LoRA 不會合併入 Transformer，運行時載入可避免 bf16 合併造成的損失。
text encoder、VAE 及 processor 沒有隨項目重新發布，會從基礎模型儲存庫載入。

完整微調版本的 DMD objective 加入 low-frequency teacher anchor，兩個版本都是各自訓練流程的 step-400 EMA checkpoint。Text-to-image 在四步下已具可用性，但 v0.1 仍是 preview；多參考圖合成、換臉、保留身份，以及同時包含多項限制的指令，明顯不及原本 40 步的 base model，因此不能視為完整替代品。

因為 QwenImage21Pipeline 尚未納入已發布的 diffusers；同時要安裝 peft、PyTorch、Transformers、Accelerate、Safetensors 及 Pillow。提供內容沒有 GGUF 檔案、GGUF 檔案大小、量化級別、mmproj、上下文長度、Ollama、LM Studio 或 llama.cpp 支援資料，亦沒有 MTP draft speculation 或正式 benchmark 數字；硬件需求只能按完整 Transformer 約 14.2 GB bf16 權重另行規劃。

模型

Categories: Qwen, Image, 影像模型, 影像處理, txt2img, Python, 庫, Dataset 數據集, LoRA

ImIR 免提示詞處理六類影像修復，

2026 年 9 月 23 日

ImIR 讓同一個影像修復模型自行判斷輸入問題，毋須提示詞或降級標籤，涵蓋六種常見修復工作。

ImIR examples for low-light enhancement, deraining, dehazing, deblurring, denoising, and JPEG artifact removal. Each til

遇到低光、雨痕、霧化或 JPEG 壓縮痕跡時，ImIR 會只從輸入影像推算修復指令，不要求使用者先判斷問題類型。這個項目屬於影像修復模型與推理工具，實際處理的是一個模型難以同時應付多種退化、又依賴文字提示詞的工作流程。

ImIR 把影像分成兩條路徑送入 Qwen-Image-Edit-2511：VAE 保留空間結構，Qwen2.5-VL 配合輕量 token mapper 產生接近乾淨影像的語義指令；主幹模型保持凍結，只訓練一個共享 LoRA adapter。指令強度可以調節，低光增強等答案不唯一的任務，因而能在不同修復程度之間取捨。

項目提供 CLI 和 Python API，使用 Python 3.10 或更新版本、具 CUDA 能力的 NVIDIA GPU，並可從 Hugging Face 自動下載 checkpoint。顯存不足時可啟用 CPU offload，但需要足夠系統記憶體。

一個 adapter 覆蓋除雨、低光增強、去霧、去模糊、去噪及 JPEG 瑕疵移除
不需要文字提示詞，也不需要 degradation label
單一 adapter 約三小時、以一張 GPU 完成訓練
匹配比較中，影像指令優於文字 conditioning

對研究人員而言，這種做法適合測試 task-agnostic restoration；影像處理團隊則可用它簡化多任務推理流程。不過項目需要 NVIDIA CUDA 硬件。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, NVIDIA, Image, 影像模型, 影像處理, Python, LoRA

Qwen-Image-2.1 開源：透明圖層生成與多圖編輯

2026 年 9 月 21 日

7B 參數的 Qwen-Image-2.1 把文生圖、圖片編輯、透明背景生成整合在同一個模型，一次可參考 10 張圖片，門檻不高但功能更齊全。

在 AI 繪圖的世界裡，能同時處理文生圖、改圖、還能直接輸出透明背景圖的開源模型並不多。Qwen 團隊這次開源的 Qwen-Image-2.1，把這幾件事整合進同一個 7B 參數的視覺生成模型，使用時不需要切換不同模型或額外加工。對做貼圖、做商品圖、做素材整理的人來說，這種「一個模型走到底」的做法很貼合日常工作流。

模型採用 32 層 Single-Stream DiT 結構，配合混合粒度注意力與 prefix KV cache 復用，把運算成本壓低。即使在顯示卡記憶體有限的環境下，仍能輸出品質不錯的圖片；Apple Silicon 用戶也能用 MPS 加速跑得動。

Qwen-Image-2.1 對透明背景（RGBA）的處理是這次的亮點之一。文字描述可以直接生成帶 Alpha 通道的圖，也能把照片裡的主體分離出來變成透明底，省去摳圖步驟。編輯功能同樣豐富：最多可同時參考 10 張圖片，用圓圈、塗鴉或遮罩標記局部修改位置，並在人物、產品場景保留識別特徵，避免改一處卻跑掉整個主體。

文字渲染和人像光影也比上一代細緻，招牌、卡片、海報一類需要清晰排字的場景更實用。整體定位偏向「夠用、好用、可商用」的工具型模型，不是衝榜級的影像模型。

重點摘要

統一模型：文生圖、圖片編輯、RGBA 透明圖生成整合在同一個 7B 參數模型
高效率架構：32 層 Single-Strteam DiT，搭配混合粒度注意力與 prefix KV cache 復用
多圖參考編輯：最多支援 10 張參考圖，可用圓圈、塗鴉或遮罩指定修改區域
主體保留：在人物、產品場景保持識別特徵，不會改一處就全跑掉
透明背景原生支援：可文字直出 RGBA，也能從照片分離主體成透明底

模型已在 Hugging Face 開源，並提供 Diffusers 整合程式碼、Google Colab 與 Kaggle Notebook，Apple 用戶亦可透過 Draw Things 或 DiffusionBee 等本地 App 直接試用。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Qwen, Google, Image, 影像模型, 影像處理, txt2img, 蘋果

Page 1 of 13

1 2 3 … 13 Next »