txt2img

WorldCast 預測並生成世界狀態

2026 年 10 月 17 日

WorldCast 把視覺生成拉到多步推演：模型要交代世界如何逐步變化，而不只是交出一張合理終局圖。

(a) The four-level capability tree of visual generation. (b) The WorldCast benchmark and overall results.

當任務要求模型根據觀察、物件參照和操作示範，預測一個過程接下來會怎樣發展，單張圖片的合理性已經不夠。WorldCast 屬於視覺生成基準測試，實際處理的是多模態模型如何理解不同參照在何時生效，並生成一連串有因果關係的世界狀態。

它把能力分成 L1 至 L4：由靜態 text-to-image，推進至編輯、主體參照和 text-to-video，再進入複雜限制、物理合理性及把現實情境轉化為行動。WorldCast 聚焦較少被量度的 L3、L4，涵蓋 320 個人工設計案例、1,352 個視覺狀態及 8 類任務，並同時測試 unified systems、multi-reference image models 和 video models。

• 評分把 grid、interleaved 和 video 輸出視為有次序的狀態序列
• 參照內容可以是觀察狀態、目標、規則、物料特性或示範程序
• 12 個代表性模型接受同一套評估協議及 Judge rubrics
• GPT-Image-2.5 System 取得 72.8 分，反映前沿模型已出現早期世界狀態預測能力

可從 Hugging Face Dataset 取得資料測試，配合項目提供的 evaluation toolkit 和 Evaluation Guide 重現評分；模型亦可輸出逐格圖像、交錯圖像或影片。結果差距會在較高層次任務擴大，interleaved generation 對圖像模型有幫助，但評測仍集中於人工設計案例，未等同於真實環境中的長期規劃能力。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, AI productions, 模型, 多模態模型, 視頻模型, Video, Image, txt2img, Dataset 數據集

Representation Guidance（RG）：以低維引導 Pixel Diffusion Transformer 生成影像

2026 年 10 月 13 日

Representation Guidance 把生成所需資訊壓縮到低維表示，再直接引導像素生成，為大型 pixel diffusion Transformer 提供更有效率的改良方向。

由像素直接生成高質素影像，往往要在語義理解、空間細節與模型計算量之間取捨。Representation Guidance (RG) 屬於影像生成模型方法，針對 pixel diffusion transformers 加入可被生成流程主動利用的內部表示，同時保留 plain Transformer 架構，處理表示學習與像素合成未能有效銜接的問題。

RG 先用 low-dimensional bottleneck 將與生成相關的資訊集中到緊湊表示，再按照該表示帶來的 prediction offset，修改 flow-matching target，直接引導 decoder 生成。它沒有依賴外部 autoencoder 預先建立 representation space，而是由 raw pixels 端到端學習；相較加入專用 pixel decoder 的架構，RG 嘗試避免只重新分配語義及空間建模工作，並以較簡單的 Transformer 結構擴展。

在 ImageNet 256×256 測試中，RG-L/16 使用 459M 參數，在 600 epochs 達到 1.79 FID；RG-XL/16 以 724.9M 參數取得 1.55 FID、293.8 IS。項目亦報告 512×512 的 1.74 FID，並延伸至 text-to-image，在 GenEval 取得 0.89、DPG-Bench 取得 87.1；這些結果顯示方法適合研究高解析度像素生成及文字生圖，但較大型模型仍需要相當計算資源。

你可從以下幾點理解它的實際價值：
– 低維 bottleneck 將生成相關資訊集中，減少表示與生成流程各自學習的落差。
– RG-L/16 以較少參數超越更大型的 pixel diffusion transformers。
– plain Transformer 方便研究內部表示如何形成及影響像素合成。
– 項目資料提供結果與模型規模，但未交代完整安裝、下載或推理流程，測試前仍需查看 Project Page 或後續程式碼。

較適合研究 pixel diffusion、生成式表示學習，以及希望比較 flow matching 架構的團隊。它的價值不在於提供即時可用的生圖工具，而在於把「學到表示」與「利用表示生成」放入同一個訓練機制；模型參數和 GFLOPs 仍然偏高，未必適合資源有限的個人電腦。

項目主頁 · GitHub

Categories: 開源, 香港大學, 阿里巴巴, 模型, 模型訓練, Image, World-Action Model, txt2img, 香港, 工具

用 5 百萬次人類投票煉成的文生圖獎勵機制，公開給開源社群

2026 年 10 月 10 日

Arena.ai 提出一套文生圖模型的後訓練方法，把人類偏好分數加上自動評分量尺，結果讓 FLUX.2-dev 與 Ideogram 4 同時衝上排行榜高位。你可以把它理解成幫文生圖模型「補課」的兩條評分線。

文生圖模型越來越強，但要靠後訓練再往上推，卻卡在同一個難題：到底要拿什麼訊號當作優化目標。Arena.ai 這項工作直接把答案拆成兩條互相補位的獎勵線，再把他們公開給社群參考。

第一條線來自 Text-to-Image Arena 上大約 500 萬組真實人類對決投票，用 Bradley–Terry 目標訓練出一個偏好獎勵模型，負責衡量視覺品質、構圖、美感這些廣義的好看與否。這個偏好模型在 MMRB2 基準上比其他獎勵模型表現更好，而且訓練資料越多，後訓練成果也越好。

第二條線則對應一個偏好資料看不到的問題：圖片可以極漂亮，卻把提示詞裡的物件寫漏、多塞東西，或者走偏要求的風格。Arena.ai 用視覺語言模型自動產生一組評分量尺，針對提示詞忠實度、相關約束、以及常見的獎勵漏洞行為打分，把這些規則式分數一起混入優化目標。

比起 Flow-GRPO 或 DiffusionNFT 這類只靠單一獎勵訊號的後訓練方法，這套組合給人的差別感在於：美感與合規不再互搶資源。經過他們的後訓練食譜，FLUX.2-dev 在 Arena 即時文生圖排行榜上多了 69 分，Ideogram 4 更拿到 1224 分，超越 2026 年 9 月 4 日之前所有公開上架的開源模型。

項目主頁 · Paper

Categories: 開源, 模型訓練, Image, txt2img, 提示詞, 教學, Dataset 數據集, 強化學習

Qwen-Image 2.1 四步生成加速，但複雜編輯仍未完善

2026 年 9 月 24 日

Viggle 將 Qwen-Image 2.1 蒸餾至四步生成，換來速度提升，同時保留編輯能力上的取捨。

面對需要較快出圖、又要按文字指示修改圖片的場景，Qwen-Image-2.1-viggle-turbo 把原始 Qwen/Qwen-Image-2.1 由 40 次 Transformer passes 壓縮至 4 次，支援 text-to-image 及 image-to-image 編輯，亦可配合 1 至 3 張參考圖。模型屬於基於 Qwen/Qwen-Image-2.1 的 adapter 項目，由 Viggle 使用 Distribution Matching Distillation（DMD）訓練，並取消 classifier-free guidance。

項目提供兩個學生模型，取捨集中在下載體積與編輯精準度：

transformer/：完整微調的 bf16 Transformer，約 14.2 GB，會取代基礎 Transformer；頁面目前推薦這個版本，質性比較中編輯更忠實。
Qwen-Image-2.1-viggle-turbo-4step-lora-r64.safetensors：rank 64、約 340 MB 的 LoRA adapter，載入基礎 Transformer 後運行，下載較快但效果稍弱。
peft/：同一 LoRA 的 PEFT key format、F32 權重；LoRA 不會合併入 Transformer，運行時載入可避免 bf16 合併造成的損失。
text encoder、VAE 及 processor 沒有隨項目重新發布，會從基礎模型儲存庫載入。

完整微調版本的 DMD objective 加入 low-frequency teacher anchor，兩個版本都是各自訓練流程的 step-400 EMA checkpoint。Text-to-image 在四步下已具可用性，但 v0.1 仍是 preview；多參考圖合成、換臉、保留身份，以及同時包含多項限制的指令，明顯不及原本 40 步的 base model，因此不能視為完整替代品。

因為 QwenImage21Pipeline 尚未納入已發布的 diffusers；同時要安裝 peft、PyTorch、Transformers、Accelerate、Safetensors 及 Pillow。提供內容沒有 GGUF 檔案、GGUF 檔案大小、量化級別、mmproj、上下文長度、Ollama、LM Studio 或 llama.cpp 支援資料，亦沒有 MTP draft speculation 或正式 benchmark 數字；硬件需求只能按完整 Transformer 約 14.2 GB bf16 權重另行規劃。

模型

Categories: Qwen, Image, 影像模型, 影像處理, txt2img, Python, 庫, Dataset 數據集, LoRA

Qwen-Image-2.1 開源：透明圖層生成與多圖編輯

2026 年 9 月 21 日

7B 參數的 Qwen-Image-2.1 把文生圖、圖片編輯、透明背景生成整合在同一個模型，一次可參考 10 張圖片，門檻不高但功能更齊全。

在 AI 繪圖的世界裡，能同時處理文生圖、改圖、還能直接輸出透明背景圖的開源模型並不多。Qwen 團隊這次開源的 Qwen-Image-2.1，把這幾件事整合進同一個 7B 參數的視覺生成模型，使用時不需要切換不同模型或額外加工。對做貼圖、做商品圖、做素材整理的人來說，這種「一個模型走到底」的做法很貼合日常工作流。

模型採用 32 層 Single-Stream DiT 結構，配合混合粒度注意力與 prefix KV cache 復用，把運算成本壓低。即使在顯示卡記憶體有限的環境下，仍能輸出品質不錯的圖片；Apple Silicon 用戶也能用 MPS 加速跑得動。

Qwen-Image-2.1 對透明背景（RGBA）的處理是這次的亮點之一。文字描述可以直接生成帶 Alpha 通道的圖，也能把照片裡的主體分離出來變成透明底，省去摳圖步驟。編輯功能同樣豐富：最多可同時參考 10 張圖片，用圓圈、塗鴉或遮罩標記局部修改位置，並在人物、產品場景保留識別特徵，避免改一處卻跑掉整個主體。

文字渲染和人像光影也比上一代細緻，招牌、卡片、海報一類需要清晰排字的場景更實用。整體定位偏向「夠用、好用、可商用」的工具型模型，不是衝榜級的影像模型。

重點摘要

統一模型：文生圖、圖片編輯、RGBA 透明圖生成整合在同一個 7B 參數模型
高效率架構：32 層 Single-Strteam DiT，搭配混合粒度注意力與 prefix KV cache 復用
多圖參考編輯：最多支援 10 張參考圖，可用圓圈、塗鴉或遮罩指定修改區域
主體保留：在人物、產品場景保持識別特徵，不會改一處就全跑掉
透明背景原生支援：可文字直出 RGBA，也能從照片分離主體成透明底

模型已在 Hugging Face 開源，並提供 Diffusers 整合程式碼、Google Colab 與 Kaggle Notebook，Apple 用戶亦可透過 Draw Things 或 DiffusionBee 等本地 App 直接試用。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Qwen, Google, Image, 影像模型, 影像處理, txt2img, 蘋果

DiffusionOPSD：將自我蒸餾影像獎勵轉為可更新訓練目標

2026 年 8 月 26 日

DiffusionOPSD 將影像級獎勵轉成可反覆更新的中間目標，補上 diffusion 訓練中間步驟的監督空白。它適合想在有限訓練預算下，改良生成質素同可診斷性的團隊。

DiffusionOPSD(ByteDance Seed) 主攻的是 diffusion 模型後訓練時，只有最終圖片分數、欠缺中間步驟指引的問題。它屬於一套用於模型後訓練的開源方法，透過 on-policy self-distillation，把影像級 reward 轉成可直接學習的中間目標。

它的做法不是單純追分，而是先用凍結的 behavior policy 收集低噪聲查詢狀態，再用 reward gradient 建出正負兩種 bounded target，最後由可訓練 policy 去擬合這些切斷計算圖的目標。這種安排把目標品質和模型更新分開處理，亦令 supervision 可以隨住模型演化持續刷新。

實作層面，公開版本支援 SD3.5-M 512²，同時覆蓋原生 few-step 的 Z-Image-Turbo 1024² 設定；文件亦提到可做單一 reward 或多個 reward 的加權訓練。原文未提供完整安裝流程或逐步使用指引，只能確認它有項目頁與程式碼釋出，適合自行拉取後依研究環境配置。

它和同類 diffusion reward optimization 的主要分別，在於用 on-policy 查詢配合 EMA 持續重建 supervision，而不是只依賴離線或固定噪聲替代狀態。官方結果聲稱在多個 evaluator 與兩種 backbone 上都有較強的最終 held-out 表現，亦以較少 GPU-hours 完成訓練；這令它特別適合做生成模型後訓練、獎勵對齊與方法比較的研究團隊。

將 image-level reward 轉成可學習的中間目標
用 EMA 反覆刷新 trajectory、anchor 與 target
支援 SD3.5-M 與 Z-Image-Turbo 兩種 backbone
可做單一 reward，亦可做多 reward 加權
適合研究 diffusion 後訓練同 reward alignment 的團隊

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 字節跳動, 模型訓練, Image, 影像處理, txt2img, 框架

[技術文章] pixel-space 模型可以追平甚至超過 latent-space 對應模型

2026 年 8 月 18 日

研究聚焦 pixel-space text-to-image diffusion models 的訓練卡位，找出點樣喺大規模條件下兼顧畫質同速度。作者用 latent-to-pixel 策略，令 pixel-space 模型更接近甚至超過 latent-space 表現。

上圖是透過 pixel-space text-to-image diffusion models 的方法訓練的 Z-Image-Turbo (Pixel) 產生的圖像。在企業級 H800 GPU 上，推理延遲僅約 0.2 秒。

Pixel-space text-to-image diffusion models 一直有兩個吸引位：直接生成像素，唔受 VAE 壓縮上限限制，亦可以省去解碼步驟。但喺大規模訓練下，佢哋收斂速度明顯慢過 latent-space 模型，令「畫質、效率、可訓練性」三者之間嘅平衡一直唔夠成熟。

呢篇工作針對嘅正係呢個落差。作者先比較 pixel-space 同 latent-space 喺大規模 pre-training 下嘅行為，再提出 latent-to-pixel 策略：先喺 latent space 學到生成先驗，再轉去 pixel space 做 post-training，避免一開始就喺難度更高嘅像素空間硬推。

佢哋亦系統研究咗多個轉換設計，包括 weight initialization、data composition、prediction target、decoder architecture 同 noise schedule，整理出一套可行做法。結果顯示，做法調整得當之後，pixel-space 模型可以追平甚至超過 latent-space 對應模型，推理端仲有 3.18 到 4.75 倍嘅速度提升。

直接處理 pixel-space diffusion models 喺大規模訓練時收斂慢嘅問題
用 latent-to-pixel 路線，先學先驗，再轉入像素空間微調
檢視多個關鍵訓練選項，搵出實用 recipe
在畫質不退讓之下，換取更快的 end-to-end inference
對想做高效文生圖系統、又在意生成細節保留嘅團隊最有參考價值

Paper

Categories: 香港科技大學, 南京大學, 阿里巴巴, 模型, 模型訓練, Image, txt2img, 香港

Context Scaling 把文生圖提示詞帶到結構化階段

2026 年 8 月 3 日

寫得更長未必更準，關鍵反而是提示詞有幾多可對應畫面的結構資訊。Context Scaling 把這件事量化，連帶改寫文生圖訓練與編輯流程。

文生圖卡住的位置，很多時不是模型不夠大，而是提示詞交代得唔夠可計算。Context Scaling 聚焦影像生成中的文字條件 scaling law，屬於一個結合研究、模型與工作流程設計的項目，處理的是提示詞怎樣更有效描述構圖、屬性同空間關係，令 diffusion model 更容易學到、亦更容易按要求生成。

它最值得留意的判斷，是 caption 長度本身跟效果關係唔算緊密，反而 structured language 的資訊量更重要。團隊用兩個指標去量度這件事：white-box likelihood metric 的 GPG，同 black-box attribute metric 的 ED；受控訓練結果顯示，converged diffusion loss 會隨 GPG 近線性下降，亦會跟 ED 呈 power law 關係。

Context Scaling: Scaling Properties of Text Conditioning in Visual Generation

Watch this video on YouTube

這個方向不只停留在分析。項目把 Structured prompts（SP）做成帶 semantic 與 geometric fields 的 JSON schema，再配合 trainable LLM prompter + captioner，將用戶要求或者輸入圖片轉成更有結構的描述；zero-shot structured editing 亦因此變得可行，因為每個可編輯因素都被拆成命名欄位，改其中一部分時，其他構圖元素較容易保留。

重點不在提示詞有幾長，而在畫面資訊有幾可對齊
GPG 與 ED 為提示詞資訊量提供兩種量化方法
Structured prompts（SP）直接補強 compositional、reasoning、world-knowledge 類生成
prompter 經 supervised fine-tuning、cold-start、verifier-gated on-policy distillation 訓練
已公開 Code、Models 與 Demo，理解路線可先看 project page，再到 Hugging Face collection

跟同類做法相比，它的取捨相當清楚：不是單靠更大模型或更長自然語言描述去碰運氣，而是先提升 captions 對影像的可監督性，再訓練 prompter 去穩定產生這類結構。官方說法指出，系統在多個 compositional、reasoning 與 world-knowledge benchmark 上超越全部已評測 open-weight models，並在多數評測追平或超過最強 closed-weight models；不過公開資訊仍以研究結果為主，部署細節與完整安裝流程未算多，現階段較適合做方法研究、提示詞工程、影像編輯流程設計，以及評估下一代文生圖介面的團隊參考。

項目主頁 · GitHub · 模型

Categories: 開源, 字節跳動, 模型, 模型訓練, Qwen, 影像模型, txt2img, Dataset 數據集

NVIDIA FastGen 平行解碼的加速擴散生成訓練

2026 年 7 月 31 日

NVIDIA 團隊把擴散模型加速訓練與蒸餾流程整理成同一套框架，重點不止是跑得快，亦方便跨影像與影片任務重用方法。

由 NVIDIA 團隊主導，Weili Nie、Julius Berner、Chao Liu 與 Arash Vahdat 是署名作者，核心貢獻者亦包括 Weili Nie、Julius Berner、Chao Liu。這個項目放在 NVlabs 名下，定位很明確：它不是單一生成模型，而是用 PyTorch 建成的訓練框架，集中處理 diffusion models 的加速與蒸餾，讓影像與影片生成可以用較少步數完成推理，同時保留大規模訓練能力。

與一般只提供某一種加速技巧的研究代碼不同，FastGen 把 consistency models、distribution matching distillation、self-forcing、KD 等方法放進同一套結構，並且覆蓋 T2I、I2V、V2V 多種任務。這種設計的價值，在於研究團隊可以在相近配置與資料流程下比較不同蒸餾路線，而不是每試一種方法就重砌整套訓練管線。

基本理解方式：代碼庫包含 datasets、methods、networks、trainer 與 scripts，顯然以訓練、推理、評測三部分分開整理；環境方面建議用 Docker，也保留 conda 安裝路線，並支援 W&B 記錄。不過公開資訊未有列出完整 quick start 細節、現成模型清單或基準成績，現階段較像面向研究與工程團隊的基礎框架，而不是開箱即用的消費級生成工具。

Prompt:
4 NFE PDD on Wan2.1 14B: A joyful child, 
with a big smile and arms spread wide, 
swings energetically on a rusty old swing set in a sunlit backyard. The swing set, with peeling paint and creaking chains, 
contrasts against the vibrant green grass and blooming flowers surrounding it. 

The child's laughter echoes as they swing higher and higher, 
their feet barely touching the ground at the bottom of each arc.
 
The scene is captured from a low angle, 
emphasizing the height of the swings, 
with the sun casting a warm glow over everything.
Medium shot focusing on the child and the swing set.

屬於框架型項目，處理的是 diffusion models 如何更快生成，而不只是再訓練一個新模型
支援 ≥10B 參數的大規模訓練，較適合有多卡資源的團隊
任務涵蓋 T2I、I2V、V2V，對跨模態生成研究較有吸引力
方法層同時納入 consistency models、distribution matching distillation、self-forcing 等路線，方便做橫向比較

配合 NVIDIA 研究頁面的 FastGen-PDD 脈絡來看，這個項目也像是承載後續加速生成方法的底座，尤其面向 image 和 video generation 的 parallel decoding distillation。對想建立自家快速生成訓練流程、測試不同蒸餾策略，或者需要把大型 diffusion 項目整理成可維護代碼庫的團隊，FastGen 的參考價值高；但想直接下載即用、立刻看到完整評測結論的人，現有公開資料仍然偏少。

項目主頁 · GitHub · Paper

Categories: 開源, 視頻模型, NVIDIA, Video, Image, txt2img, Python, 語音

Microsoft Mage：4B 多模態輕量路線

2026 年 7 月 31 日

想做影像生成、編輯，甚至進一步研究多模態模型，但運算資源有限，Mage 會係一個值得留意的方向。它把 4B 規模壓到夠細，同時仍然追住更大模型的表現。

當你想喺有限 GPU 預算下做影像生成、編輯，甚至延伸到影像與影片理解，Mage 這個開源模型家族的定位就相當直接：用固定 4B 參數規模，處理多模態理解與生成兩條路線，目標唔係堆大模型，而係保留研究可控性同部署可行性。

Mage 目前最完整的是 Mage-Flow，屬於模型家族中的生成與編輯分支。它把 Mage-VAE 同 Native-Resolution Multimodal Diffusion Transformer 組合起來，前者負責更高效率的 latent tokenizer，後者負責文字生圖與指令式修圖；同時提供 Base、RL-aligned 同 4-step Turbo 版本，方便按畫質、對齊程度與速度取捨。另一條線 Mage-VL 對準 image/video understanding，但程式與權重細節仍待釋出。

同類開源影像模型很多都靠更大參數量換效果，Mage 的判斷明顯不同：它把重點放喺 codec-aligned efficiency，同一個 checkpoint 已可覆蓋 512 到 2048、不同長闊比，連 4:1 這類極端尺寸都原生支援，減少多套模型或額外縮放流程。它在生成、編輯表現上可與 Qwen-Image 20B、FLUX.2 32B、FireRed-Image-Edit 20B 等較大型開源系統競爭，但取捨是 Mage-VL 仍未完整開放，整個家族現階段更適合關注研究與工作流整合的人先行評估。

Super fast Image Edit model Mage-Flow on 8GB VRAM

Watch this video on YouTube

固定 4B 規模，主打可訓練、可微調、可部署
Mage-Flow 已覆蓋 text-to-image 與 instruction-based image editing
Mage-VAE 以更低 encode/decode MACs 減輕高解析度瓶頸
單一 checkpoint 支援 512–2048 與多種 aspect ratio
Turbo 版本強調速度，1024² 在單張 A100 有明確推理數字

部署與測試方面，現有資料顯示 Hugging Face 已提供多個 Mage-Flow 與 Mage-Flow-Edit 權重，適合先用現成 checkpoint 驗證生成、修圖與速度，再決定是否進一步做微調。對做垂直領域影像項目、想研究後訓練方法，或者需要把高解析度生成放入較實際算力條件的人，Mage 的吸引力不在花巧包裝，而在它用一條輕量路線，把研究、性能與部署成本拉回較平衡的位置。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視覺模型, 多模態模型, Qwen, 微軟, Stable Diffusion, Video, Image, 影像模型, 影像處理, txt2img, Medical醫學

Page 1 of 3

1 2 3 Next »