影像處理 – InferNews

Spectral-Spatial-Interpretation(SSI ) 讓多光譜模型看清每個通道的作用

2026 年 10 月 23 日

多光譜模型不只要知道哪個位置重要，還要分辨該位置由哪些通道推高或拉低分數。SSI 以 Shapley values 提供更細緻的解釋。

Figure 1: spatially varying channel relevance in RGB and multispectral images

面對多光譜影像，單一熱圖往往只說明哪裏重要，卻未能交代該位置的光譜通道如何影響結果。SSI（Spectral-Spatial Interpretation）屬於模型解釋工具，為每個空間 cell 和 channel 計算帶正負號的 attribution，拆解模型分數由哪個位置及哪個通道推動。

SSI 固定該 cell 以外的影像內容，只在 cell 內比較不同通道組合，再以 Shapley values 分配貢獻。所有通道貢獻會加總至該 cell 從遮罩狀態到原始狀態的分數變化，因此可分別彙整成 spatial map 或 spectral summary；正值代表推高分數，負值代表拉低分數。

項目提供獨立 NumPy 實作，支援 exact subset enumeration 和 sampled channel permutations，亦附有瀏覽器 Playground、Visual Atlas 及五分鐘互動教學。測試時可先用 Playground 觀察結果，再以 ssi.py 對自己的模型分數和遮罩 baseline 重現分析；通道數增加時，精確枚舉的成本亦會上升，抽樣排列是較可行的取捨。

與 Integrated Gradients (IG)、DeepSHAP、KernelSHAP 及 rank-1 RISE 比較，SSI 在三個資料集、兩種 masking baseline 下，三項指標的平均結果均居首；例如 mean-baseline HLS joint deletion 為 0.1545，KernelSHAP 為 0.2096。它較適合需要同時追蹤空間位置與光譜通道的遙感、農業或科學影像團隊，但要留意各 cell 的貢獻不一定能加總成整張影像相對 baseline 的總變化，因為 SSI 解釋的是條件式局部遊戲。

同時回答「哪裏重要」與「哪個通道重要」
保留正負貢獻，能分辨推高或壓低分數的因素
支援精確計算及排列抽樣兩種方式
可用 spatial map、spectral summary 和 deletion 指標檢查結果
適合多光譜模型，但需留意計算成本及跨 cell 互動限制

項目主頁 · GitHub

Categories: 開源, 模型, Image, 影像處理, 教學, 工具

MOSS Image Edit：一句指令改圖兼支援四圖參考

2026 年 10 月 23 日

把人物改成指定穿搭、表情或場景，MOSS Image Edit 透過 LoRA 串連文字與參考圖，並在 ComfyUI 重用參考資訊。

要替相片換衫、改正面表情，或將人物移到另一個場景，不一定要由人手逐項遮罩修改。MOSS Image Edit 是一個面向 MOSS-Image 的圖像編輯 LoRA，接收原圖、自然語言指令及最多四張參考圖，負責把服飾、顏色、光照、季節和畫風等要求轉成編輯結果。

發布內容只有 LoRA 權重及配置，必須配搭 MOSS-Image-Base 或 MOSS-Image-SFT，兩者擇一即可。團隊另備獨立 ComfyUI 節點與單圖、多圖工作流；下載底模和 LoRA、按指南擺放模型，再把工作流拖入 ComfyUI 即可測試，亦可調整輸出尺寸、隨機種子和採樣參數。

多圖模式不是單純追加條件：參考圖之間可互相參照，文字與目標圖則可讀取全部資訊，並要在指令內交代每張圖的用途。適合合併人物、服飾及場景參考，但最多四張圖的限制，也意味著複雜構圖仍需反覆測試提示詞與配置。

架構以 text、ref、target 三類 token 組成共享 MOSS Transformer；參考圖固定在無噪聲時間，文字及目標圖則隨去噪時間變化。參考分支只計算一次並快取各層 K/V，之後逐步重用，CFG 的正、負條件亦可共用同一份快取，減少重複運算。

支援單圖指令式編輯
最多連接四張參考圖
可配搭 Base 或 SFT 底模
提供 ComfyUI 單圖及多圖工作流
沒有公開量化評測或推論供應商整合資料

內容團隊、做商品視覺或社交媒體配圖的人，會較容易感受到其價值。它目前更像是 MOSS-Image 生態中的可調編輯模組，而非一開即用的獨立模型；正式採用前仍應以自身相片、指令及輸出尺寸測試一致性、資源需求與授權條件。

GitHub · 模型

Categories: 開源, ComfyUI, 模型, Image, 影像處理, 提示詞, LoRA

Xiaomi-Lens-0 讓 4B 視覺模型標註出答案

2026 年 10 月 20 日

這個 4B 多模態模型把文字回答與像素級定位放在同一套推理中，適合需要理解物件、指出位置及分割影像的場景。

Xiaomi-Lens-0 recorded outputs across six task domains

要讓模型回答「紅色杯子在哪裡」之餘，同時準確框出甚至分割杯子，傳統多模態模型往往要串接多個模型。Xiaomi-Lens-0 試圖把這兩步合而為一：它以 Qwen3.5-4B 為基礎，在生成文字的過程中解讀 <|mask|> token，再由輕量解碼器輸出對應區域，令文字答案與視覺定位可以同步產生。

這個 4B 多模態模型主要處理 Referring Expression Comprehension、Referring Expression Segmentation、多實例定位、Reasoning Segmentation、具身指令指代及細緻感知等六類任務。它既能以邊界框指出物件，亦能輸出像素遮罩，適合影像標註、搜尋、選取區域及具身操作前的人工檢查。

以 4B 規模結合文字回答、邊界框與像素級遮罩
支援六類定位及視覺推理場景
可在 Hugging Face Spaces 試用，亦公開模型權重與 LensBench
提供每個遮罩獨立輸出及熱力圖等推理設定

模型在八個 RefCOCO 系列分割上的平均 referring comprehension 提升 5.6 分，並在八個細粒度感知測試中取得較高分數；項目頁另列出 RefCOCO 驗證集 Prec@0.5 為 94.6。LensBench 包含 4,800 個 instruction-level 樣本，涵蓋 1,200 個配對單位及四個領域。

代價是輸出遮罩需要額外視覺解碼，而模型規模仍屬輕量，複雜推理和高解析影像表現應按測試結果判斷。研究團隊已提供線上示範、模型權重及程式碼，適合想試驗視覺 grounding 的模型開發者、影像工具團隊和具身智能研究人員。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, Qwen, Image, 影像處理, 工具, 小米-Xiaomi

GroundAnything 以並行解碼提升視覺定位速度

2026 年 10 月 13 日

GroundAnything 把多種視覺定位任務放進 4B 模型，嘗試同時處理精準座標與推理速度的取捨。

要在圖片中找出物件、位置和空間關係，GroundAnything 可一次處理多類 visual grounding 任務，減少逐個輸出座標帶來的延遲。它屬於 4B 級視覺基礎模型，實際處理的是影像內容與文字查詢之間的精準定位問題，適合影像標註、視覺搜尋及多模態分析工作流。

模型以 GroundAnything 的 diffusion decoding 配合 parallel decoding，讓空間假設可以並行生成；GroundAnything-VLM 則是獨立的 autoregressive checkpoint。前者針對序列生成的速度限制，後者保留自回歸模型路線，兩者均使用 GAM evaluation mode，並非同一模型的不同介面。

項目透過 grounding pretraining、AR-to-diffusion conversion、joint objectives、supervised fine-tuning 和 GRPO-based reinforcement learning 建立模型。30 個基準測試中，GroundAnything 勝過同級自回歸模型的整體最佳結果，亦超越較大的 Qwen3.7-Max；GroundAnything-VLM 在同級別取得新的整體最佳結果，並與 GPT-6 Astra 保持競爭力。

適合需要精準視覺定位、又要控制推理延遲的研究團隊和影像處理項目，硬件需求、實際吞吐量及不同圖片任務的穩定性仍需自行驗證。

速度取捨：以 diffusion decoding 和並行輸出減少空間預測的序列等待。
模型關係：GroundAnything 是 diffusion 路線，GroundAnything-VLM 是獨立 autoregressive checkpoint。
評估範圍：涵蓋 30 個 benchmarks，並比較 MTP-based generation 與多階段基礎設施優化。
適用場景：影像定位、批次標註、視覺搜尋及需要座標輸出的多模態工作流。

項目主頁 · GitHub

Categories: 開源, 香港大學, 香港科技大學, 北京大學, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, 影像處理, 香港, 強化學習

Compo：以 Spatial Canvas 編排海報中的文字、人物與圖像

2026 年 10 月 10 日

Compo 讓你用畫布安排文字、人物與圖像位置，再交由模型生成海報，減少只靠文字描述構圖的反覆試錯。

海報生成最難控制的往往不是主題，而是文字、人物和裝飾元素應該放在哪裏。Compo 屬於海報生成模型及介面項目，將 Spatial Canvas Interface 與 Text Specifications 結合，讓使用者直接在畫面中表達二維構圖意圖。

Spatial Canvas 支援四種綁定方式：Semantic Binding 指定文字概念及目標區域，Identity Binding 以參考圖保留視覺身份，Text Binding 同時交代準確字句與位置，Pixel Binding 則放入需要保留的像素內容。Bounding boxes、參考圖片和文字識別資料會一併渲染到畫布，形成模型接收的統一影像輸入。

以畫布補足單靠文字提示難以交代的空間關係
Compo 由預訓練 image editing model 改編而成，毋須另建 task-specific architecture
支援 direct inference，也支援 agentic mode 自動規劃畫布
可用於海報、宣傳圖及需要精確排版的視覺內容

Compo 的模型改編重點，是令現有 image editing model 理解不同綁定方式及其組合，而不是從零訓練專用 poster generator。項目亦建立自動產生監督數據的流程，協助模型學習各類 Spatial Canvas 輸入；這比純文字提示更容易控制位置，但使用者仍要準備畫布內容，agentic mode 的自動規劃亦未必取代人工微調。

適合研究人員、設計工具開發者和需要批量製作宣傳海報的內容團隊作為試驗起點，而非直接視作成熟的製作平台。

項目主頁 · GitHub

Categories: 開源, 香港大學, Agentic, 模型, 視覺模型, 模型訓練, 微軟, Image, 影像處理, 香港, 工具, 中國, Dataset 數據集

Kandinsky 6.0 把同步聲畫生成帶入開源模型

2026 年 10 月 7 日

Kandinsky 6.0 可由文字或圖片生成帶同步音效、口形的短片，並提供 3B 與 29B 兩款模型。

由文字或圖片輸入，到畫面、音效和口形同步輸出的流程，Kandinsky 6.0 將短片生成由單純影像延伸至完整 audio-video 內容。這個項目屬於開源多模態視頻模型，實際處理的是聲音與畫面難以同步、創作者需要分開製作素材的問題。

Kandinsky 6.0 Video Lite 有 3B 參數，Kandinsky 6.0 Video Pro 則有 29B 參數，兩者都能生成 5 秒片段、44 kHz 音訊及 lip-sync，支援 text-to-audio-video（T2AV）和 image-to-audio-video（TI2AV）。額外的 super-resolution 模型可把輸出提升至 Full-HD 1920×1080，但這並不代表原生生成階段已經以 Full-HD 運作。

• 同一生成流程處理視頻、音效和口形同步
• Lite 較適合資源有限的測試，Pro 追求更高生成能力
• 支援文字生成及圖片延伸兩種模式
• 可透過 Hugging Face Space、Diffusers、ComfyUI 或 vLLM-omni 接入

測試需要 NVIDIA GPU，以及 Python 3.13 或 3.14；首次執行會下載 Kandinsky-6.0-Pro-distill-5s 權重，輸出會寫入項目指定的 MP4 路徑。對不想自行配置環境的創作者，Hugging Face Space 是較直接的試用入口；需要納入工作流的團隊則可考慮 Diffusers 或 ComfyUI。

在非精簡版顯示卡上處理 5 秒影片片段的工作時間（秒）。不包括負載載入和 MP4 編碼時間。 RTX PRO 6000 (96 GB)、A100 80 GB 和 H100 80 GB 使用模組卸載。消費級顯示卡使用區塊卸載。 RTX 4090、RTX 5060 Ti、RTX 5080、RTX 5090、RTX PRO 6000 和 A100 80 GB 使用 SageAttention2++ 進行視覺自註意力控制。 H100 使用 FlashAttention 3。

	RTX 4090	RTX 5060 Ti	RTX 5080	RTX 5090	RTX PRO 6000	A100 80 GB	H100
Lite SD	437	1310	577	309	242	532	239
Lite HD	422	1328	579	296	274	472	203
Lite Full HD	578	1774	770	406	387	664	284
Pro SD	936	3080	1336	754	621	972	356
Pro HD	1194	2716	1189	638	561	791	292
Pro Full HD	1247	3530	1546	854	765	1106	402

Kandinsky 6.0 適合製作概念片、角色對白及需要同步聲畫的短內容，但 5 秒時長、NVIDIA GPU 依賴，以及高解像度要靠額外模型處理，仍限制了它作為長片生產工具的角色。

項目主頁 · GitHub · 模型

Categories: 開源, ComfyUI, 模型, 多模態模型, 視頻模型, NVIDIA, Video, Image, 影像處理, Audio, 工具, Content Creator, Python, Dataset 數據集

MiniMax H3 4-bit 量化保留原生影音生成

2026 年 10 月 4 日

MiniMax H3 壓縮至 4-bit 後，仍保留影片與音訊生成能力。

要在較有限的硬件資源下製作影片，又不想放棄同步音訊，MiniMax H3-QuantFunc-4bit 提供了一個量化選擇。頁面將它定位為 MiniMax H3 的 4-bit 量化版本，而非獨立微調模型；原始基礎模型可確認為 MiniMax H3，但未交代更完整的 base model 訓練資料或微調流程。

模型把核心權重精度由 16-bit 降至 4-bit，官方稱壓縮幅度約為 4 倍，並宣稱角色細節、風格一致性及快速動作仍可維持。它支援 text-to-video、image-to-video，以及原生 video+audio generation；附真人演出、動畫追逐、高速汽車及風格化角色展示生成結果。

FL2VA 在相同提示詞及 seed 下，QuantFunc INT4 對 BF16 基準取得約 23.7 dB PSNR。這個數字可用作重建品質參考，但屬項目方的內部測試，未有列出測試硬件、影片設定、速度或顯存用量，因此不能單憑該指標推算日常生成體驗。

標籤包含 svdquant、int4、quantized 及 comfyui，但沒有交代量化演算法細節。
頁面未提供 GGUF 檔案名稱、檔案大小、mmproj、上下文長度或推薦量化級別。
未列明 llama.cpp、Ollama 或 LM Studio 支援，也沒有硬件需求及 MTP draft speculation 資訊。
項目連結 ComfyUI-QuantFunc，較適合配合相關工作流探索；授權為 MiniMax H3 Community License，使用前應查閱條款。

模型

Categories: 開源, ComfyUI, AI productions, 模型, 視頻模型, 模型訓練, Video, Image, 影像模型, 影像處理, Audio, 提示詞, Discord, LLaMa, Ollama, 動畫, MiniMax

Vlo 把 ComfyUI 帶進本地影片剪輯時間線

2026 年 10 月 3 日

Vlo 將生成式 AI、ComfyUI 和傳統剪輯工具放在同一條時間線，適合想在本地處理影片的創作者。

想在影片時間線內直接交給 AI 做遮罩、修補或畫面變換，Vlo 提供了一條較完整的工作流程。它屬於免費、開源的本地影片編輯器，處理的是生成式 AI 與逐格剪輯之間難以銜接的問題，亦支援在本機或遠端 GPU 上編輯同一批本地項目檔案。

Vlo 把 ComfyUI bridge 接入編輯器，圖片、影片和時間線選取內容都可以送入 ComfyUI 工作流；SAM2 points editor 則用於遮罩，並配合自動裁剪與拼接處理 video inpainting。自動調整 aspect ratio 讓不同影片模型處理素材時毋須先裁走畫面，色彩校正、音訊、版面、濾鏡、keyframes、spline editor、beat detection 和可吸附 markers，則補上傳統剪輯所需的控制。

測試時需要 Chromium-based browser，官方已測試 Chrome 和 Edge；Firefox 由於 WebCodecs 實作差異，早期測試曾出現明顯延遲。媒體渲染由 mediabunny 包裝 WebCodecs，配合 File System Access API 直接管理磁碟檔案，但清除瀏覽器資料後可能遺失項目資料夾位置。

ComfyUI 工作流可直接套用到時間線選取內容
SAM2 遮罩支援影片修補流程的自動裁剪與拼接
本地項目可配合本機或遠端 GPU 編輯
具備逐格影片編輯所需的 keyframes 和 spline 控制
目前依賴 Chromium，瀏覽器兼容性是主要限制

Vlo 較適合需要把 AI 影片生成、inpainting 和傳統後期剪輯放在同一個工作區的創作者或小型團隊。項目沒有提供可直接比較的性能指標，現階段較能確認的是它以 WebCodecs 支撐 frame-accurate nonlinear video editing，並以可擴展的 ComfyUI 工作流延伸功能；瀏覽器限制和本地檔案管理方式，仍會影響團隊採用前的測試安排。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, 視頻模型, API, Video, Image, 影像處理, Audio, 工具, Content Creator

ComfyUI-MiniMaxH3Mod：可重用參考模組

2026 年 9 月 30 日

你可以把它理解成 MiniMax H3 的參考素材管理層，把圖像、影片和聲音整理成可重用的 RefMod。

想在 ComfyUI 的 MiniMax H3 工作流中重用同一組人物、場景或聲音參考，不必每次重新編碼原素材。ComfyUI-MiniMaxH3Mod 是一個開源 custom node 項目，處理 RefMod 的建立、儲存、載入、組合及套用，讓圖像、影片和音訊參考可以保存成 .safetensors，再交給 Apply H3 RefMod 使用。它不會訓練 H3 權重，也不是 LoRA 或監督式概念學習工具，而是接入 H3 原生 reference-token 路徑的儲存與選擇層。

使用時需要將項目放入 custom_nodes 後重新啟動，並把標準 H3 video VAE、audio VAE 及原生 CONDITIONING 接到相應節點。項目已提供 Create H3 RefMod、Create H3 RefMod Master、Load H3 RefMods、Apply H3 RefMod 等節點；Master 可以一次處理視覺和音訊，save=False 則可只產生記憶體中的 bundle，不寫入檔案。ComfyUI Manager 可處理 safetensors、numpy 和 Pillow 等 Python 依賴，影片資料夾載入則可按需要加入 opencv-python 或 imageio。

支援圖像、影片、音訊 RefMod，並可在同一個 .safetensors bundle 儲存視覺與聲音。
encode 保留較多細節但消耗更多 reference tokens；training 先壓縮 latent，降低 token 成本，亦可能損失細節和動態。
Collect H3 RefMod Masks 可處理不同尺寸的 MASK，並按對應參考素材保留尺寸；上游裁走的像素則無法恢復。
Full Reference video sampling 會先決定因果 frame 數，避免 16 等限制直接截掉影片尾段。
Loader 和 Axis 採用按需增加的參考槽位，並可分開選擇 All、Visual 或 Audio。

它和單純把素材放在工作流內的做法不同，RefMod 會把編碼結果保存下來，之後重用時可避免重複處理來源檔案。壓縮模式適合控制 token 和生成成本，完整 encode 則較適合作為身份或細節比較的基線；兩者都不能保證只轉移指定屬性，身份、服裝、背景和構圖仍可能互相混合。項目支援最多八個參考槽位、子資料夾、外置磁碟及 extra_model_paths.yaml 登記的 RefMod 根目錄，Library 和 Config 亦能搜尋及檢視已保存內容。

可調整的 max_tokens、frame limit、視覺 budget policy 和 Refinement Steps，令項目較適合需要反覆測試參考組合的創作者、ComfyUI 工作流作者，以及要管理大量人物或場景素材的團隊。truncate 會削減畫面內容以符合 token 預算，error 則在超出預算時停止保存；這些選擇直接影響細節保留和工作流是否繼續。項目目前沒有提供可與原生完整 reference workflow 對齊的正式基準測試，Windows 是原先測試環境，Apple Silicon 只覆蓋部分預處理和 H3 VAE 檢查。

音訊支援仍是最大限制。項目可以保存及混合視覺、音訊參考，亦曾成功處理音樂參考，但目前測試未能完成 speaker-identity transfer，因此不能當作已驗證的 voice cloning 解決方案；它亦不會自動修正影音同步。API 和 node schema 仍在演變，節點名稱及輸入欄位可能隨版本調整，適合接受工作流需要維護、並願意自行測試參考強度與 token 取捨的使用者。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型訓練, API, Video, Image, 影像處理, Audio, 工具, Content Creator, Clone, 庫, 語音, 音樂, 蘋果, MiniMax, LoRA

Diffusion Controller：讓模型更準確聽懂提示詞

2026 年 9 月 30 日

Diffusion Controller以輕量控制網絡改善提示詞對齊，同時保留原有影像質素與生成穩定性。

當影像模型明白你要一隻「戴太陽眼鏡的蜥蜴」，卻只生成蜥蜴，或勉強加入眼鏡後令面部變形，問題往往不在畫面是否逼真，而在提示詞要求與生成結果之間難以取得平衡。Google Research提出的 Diffusion Controller，正是針對這種提示詞對齊與影像質素互相牽制的情況而設計的輕量「steering damper」網絡。

Diffusion Controller可以接到包括 access-restricted、closed-source 模型在內的現有影像生成模型，無需改動基礎模型的核心結構，便能在生成過程中施加更精準的控制。它將原本由隨機噪聲逐步還原成影像的 denoising process，重新理解為一個連續、平滑的 control problem，讓控制訊號不必只在個別步驟中硬性修正結果。

改善文字提示與生成影像之間的 prompt alignment
以輕量 add-on network 控制現有模型，兼容 access-restricted、closed-source 模型
在提升指令符合度的同時，維持 baseline stability 和原有影像質素
將 inference-time guidance 與模型微調放入同一套分析框架
white-box 版本在所述測試中取得相對 baseline model 的 90% 勝率

過往做法通常分成兩條路線：一類是在 inference time 使用 classifier-free diffusion guidance，調整文字提示對生成過程的影響；另一類則透過 parameter-efficient adapters，例如 LoRA、reward-weighted regressions 或 policy gradients，對模型行為進行較重的微調。Diffusion Controller嘗試以統一的數學語言連接這些控制方式，減少工程師靠反覆試驗，在使用者偏好、提示詞要求和影像質素之間摸索的需要。

Google Research表示，Diffusion Controller的輕量版本表現優於用於配合人類偏好的業界標準方法；完全解鎖、可直接修改模型內部權重的 white-box 版本，則相對 baseline model 取得 90% 勝率。這些結果反映項目適合需要精準遵循文字描述、同時不希望破壞原有生成穩定性的影像工作流，但提供的內容未包括下載連結、安裝步驟或完整使用流程，讀者仍需等待論文或官方程式碼資料作進一步驗證。

項目主頁 · Paper

Categories: Google, Gemini, Image, 影像處理, 提示詞, 框架

Page 1 of 22

1 2 3 … 22 Next »