ComfyUI

MiniMax H3 4-bit 量化保留原生影音生成

2026 年 10 月 4 日

MiniMax H3 壓縮至 4-bit 後，仍保留影片與音訊生成能力。

要在較有限的硬件資源下製作影片，又不想放棄同步音訊，MiniMax H3-QuantFunc-4bit 提供了一個量化選擇。頁面將它定位為 MiniMax H3 的 4-bit 量化版本，而非獨立微調模型；原始基礎模型可確認為 MiniMax H3，但未交代更完整的 base model 訓練資料或微調流程。

模型把核心權重精度由 16-bit 降至 4-bit，官方稱壓縮幅度約為 4 倍，並宣稱角色細節、風格一致性及快速動作仍可維持。它支援 text-to-video、image-to-video，以及原生 video+audio generation；附真人演出、動畫追逐、高速汽車及風格化角色展示生成結果。

FL2VA 在相同提示詞及 seed 下，QuantFunc INT4 對 BF16 基準取得約 23.7 dB PSNR。這個數字可用作重建品質參考，但屬項目方的內部測試，未有列出測試硬件、影片設定、速度或顯存用量，因此不能單憑該指標推算日常生成體驗。

標籤包含 svdquant、int4、quantized 及 comfyui，但沒有交代量化演算法細節。
頁面未提供 GGUF 檔案名稱、檔案大小、mmproj、上下文長度或推薦量化級別。
未列明 llama.cpp、Ollama 或 LM Studio 支援，也沒有硬件需求及 MTP draft speculation 資訊。
項目連結 ComfyUI-QuantFunc，較適合配合相關工作流探索；授權為 MiniMax H3 Community License，使用前應查閱條款。

模型

Categories: 開源, ComfyUI, AI productions, 模型, 視頻模型, 模型訓練, Video, Image, 影像模型, 影像處理, Audio, 提示詞, Discord, LLaMa, Ollama, 動畫, MiniMax

ComfyUI-Omnichar：用 .char 讓角色跨模型保持一致

2026 年 10 月 4 日

ComfyUI-Omnichar 把角色參考圖、描述和 LoRA 收進同一個 .char，方便在圖像與影片模型之間保持人物連貫。

同一角色要跨圖像與影片模型維持相同面孔、服裝和身形，ComfyUI-Omnichar 以可攜式 .char 檔案處理這個問題。它屬於 ComfyUI 自訂節點工具，讓角色資料不必隨每個工作流程重新整理。

.char 可保存參考圖、鎖定描述，以及可選的訓練 LoRA；檔案可以由 Omnichar Studio、Omnichar Cloud 或 Encode Character 建立，再交給 FLUX.2、MiniMax H3、Krea2、klein9B 及 klein4B 使用。相較於每次手動接入參考圖，這種方式把角色資料、圖片順序和提示詞編號固定下來，代價是工作流程需要配合支援 references 的模型。

透過 Load Character 讀取 .char 檔案
Encode Character 可分別加入 face、body 和 cloths 參考圖
Decode Character 可輸出 conditioning、references 和 prompt
角色附有 LoRA 時，可同時套用至 MODEL 和 CLIP

安裝需要 ComfyUI、Python 3.10+ 和 omnichar-sdk；.char 檔案放入 ComfyUI/models/characters/ 後，便可由載入節點選取。需要共用 Omnichar Studio 資料夾時，也可設定 INLINE_CHARACTERS_DIR，讓兩邊讀取同一批角色檔案。

生成結果仍會受所選模型、參考圖質素和 GPU 資源影響。對需要製作連續角色插畫、分鏡、短片或多模型內容的創作者，.char 的集中管理會比散落在不同 workflow 的參考圖更容易維護；偏好完全手動控制的人，則未必需要加入這層封裝。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, 模型訓練, Stable Diffusion, API, Video, Image, 提示詞, 工具, Content Creator, Python, MiniMax, LoRA

Vlo 把 ComfyUI 帶進本地影片剪輯時間線

2026 年 10 月 3 日

Vlo 將生成式 AI、ComfyUI 和傳統剪輯工具放在同一條時間線，適合想在本地處理影片的創作者。

想在影片時間線內直接交給 AI 做遮罩、修補或畫面變換，Vlo 提供了一條較完整的工作流程。它屬於免費、開源的本地影片編輯器，處理的是生成式 AI 與逐格剪輯之間難以銜接的問題，亦支援在本機或遠端 GPU 上編輯同一批本地項目檔案。

Vlo 把 ComfyUI bridge 接入編輯器，圖片、影片和時間線選取內容都可以送入 ComfyUI 工作流；SAM2 points editor 則用於遮罩，並配合自動裁剪與拼接處理 video inpainting。自動調整 aspect ratio 讓不同影片模型處理素材時毋須先裁走畫面，色彩校正、音訊、版面、濾鏡、keyframes、spline editor、beat detection 和可吸附 markers，則補上傳統剪輯所需的控制。

測試時需要 Chromium-based browser，官方已測試 Chrome 和 Edge；Firefox 由於 WebCodecs 實作差異，早期測試曾出現明顯延遲。媒體渲染由 mediabunny 包裝 WebCodecs，配合 File System Access API 直接管理磁碟檔案，但清除瀏覽器資料後可能遺失項目資料夾位置。

ComfyUI 工作流可直接套用到時間線選取內容
SAM2 遮罩支援影片修補流程的自動裁剪與拼接
本地項目可配合本機或遠端 GPU 編輯
具備逐格影片編輯所需的 keyframes 和 spline 控制
目前依賴 Chromium，瀏覽器兼容性是主要限制

Vlo 較適合需要把 AI 影片生成、inpainting 和傳統後期剪輯放在同一個工作區的創作者或小型團隊。項目沒有提供可直接比較的性能指標，現階段較能確認的是它以 WebCodecs 支撐 frame-accurate nonlinear video editing，並以可擴展的 ComfyUI 工作流延伸功能；瀏覽器限制和本地檔案管理方式，仍會影響團隊採用前的測試安排。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, 視頻模型, API, Video, Image, 影像處理, Audio, 工具, Content Creator

MiniMax H3 的雙用途 X2 Detail VAE 實驗

2026 年 10 月 2 日

一個 VAE 同時處理影片 2 倍解碼與參考圖細節增強，但仍依賴指定 ComfyUI 節點。

由 MiniMaxAI/MiniMax-H3 作為 base model，呢個實驗型 video VAE 將兩條工作流程放入同一個模型：一條負責生成影片 latent 的 2 倍解碼，另一條則提升 image-reference 的空間細節，適合 ComfyUI 影片生成項目使用。

影片模式會以 MiniMax-H3-X2-Detail-v1.safetensors 解碼，再將 packed 12-channel 輸出交給 PixelShuffle ×2，產生 2 倍 RGB 影片幀。參考圖模式則透過 MiniMax H3 VAE 2X (Detailed Upscale) 節點，從 encoder 的 down.1.block.1 抽取額外 B32 空間細節；因此必須有現成 RGB 參考圖，並非只處理 latent。

檔案附有 ComfyUI 節點、workflow 及研究報告。影片解碼需要 ComfyUI-MiniMaxH3_LatentUpscaler 的 MiniMax H3 VAE Decode (fast)，示範設定包括 tiling=true、tile_size=256、tile_overlap=64、output_device=cpu，以及 temporal_tiling=false；節點依賴令流程不能直接用標準 VAE Decode 取代。

模型檔案：MiniMax-H3-X2-Detail-v1.safetensors
定位：2X VAE Decode 加參考圖 Detail Enhancement
已知取捨：B32 細節路徑只適用於 RGB 參考圖
頁面未提供參數規模、上下文長度、GGUF、量化版本或 mmproj 檔案

項目作者將成果描述為一次未達預期的 HQ-VAE 實驗，但保留了可工作的 2-in-1 發布版本。適合作為實驗性 ComfyUI 工具，而非已完成全面效能驗證的通用 VAE。

模型

Categories: 開源, ComfyUI, AI productions, 模型, Video, MiniMax

ComfyUI-MiniMaxH3Mod：可重用參考模組

2026 年 9 月 30 日

你可以把它理解成 MiniMax H3 的參考素材管理層，把圖像、影片和聲音整理成可重用的 RefMod。

想在 ComfyUI 的 MiniMax H3 工作流中重用同一組人物、場景或聲音參考，不必每次重新編碼原素材。ComfyUI-MiniMaxH3Mod 是一個開源 custom node 項目，處理 RefMod 的建立、儲存、載入、組合及套用，讓圖像、影片和音訊參考可以保存成 .safetensors，再交給 Apply H3 RefMod 使用。它不會訓練 H3 權重，也不是 LoRA 或監督式概念學習工具，而是接入 H3 原生 reference-token 路徑的儲存與選擇層。

使用時需要將項目放入 custom_nodes 後重新啟動，並把標準 H3 video VAE、audio VAE 及原生 CONDITIONING 接到相應節點。項目已提供 Create H3 RefMod、Create H3 RefMod Master、Load H3 RefMods、Apply H3 RefMod 等節點；Master 可以一次處理視覺和音訊，save=False 則可只產生記憶體中的 bundle，不寫入檔案。ComfyUI Manager 可處理 safetensors、numpy 和 Pillow 等 Python 依賴，影片資料夾載入則可按需要加入 opencv-python 或 imageio。

支援圖像、影片、音訊 RefMod，並可在同一個 .safetensors bundle 儲存視覺與聲音。
encode 保留較多細節但消耗更多 reference tokens；training 先壓縮 latent，降低 token 成本，亦可能損失細節和動態。
Collect H3 RefMod Masks 可處理不同尺寸的 MASK，並按對應參考素材保留尺寸；上游裁走的像素則無法恢復。
Full Reference video sampling 會先決定因果 frame 數，避免 16 等限制直接截掉影片尾段。
Loader 和 Axis 採用按需增加的參考槽位，並可分開選擇 All、Visual 或 Audio。

它和單純把素材放在工作流內的做法不同，RefMod 會把編碼結果保存下來，之後重用時可避免重複處理來源檔案。壓縮模式適合控制 token 和生成成本，完整 encode 則較適合作為身份或細節比較的基線；兩者都不能保證只轉移指定屬性，身份、服裝、背景和構圖仍可能互相混合。項目支援最多八個參考槽位、子資料夾、外置磁碟及 extra_model_paths.yaml 登記的 RefMod 根目錄，Library 和 Config 亦能搜尋及檢視已保存內容。

可調整的 max_tokens、frame limit、視覺 budget policy 和 Refinement Steps，令項目較適合需要反覆測試參考組合的創作者、ComfyUI 工作流作者，以及要管理大量人物或場景素材的團隊。truncate 會削減畫面內容以符合 token 預算，error 則在超出預算時停止保存；這些選擇直接影響細節保留和工作流是否繼續。項目目前沒有提供可與原生完整 reference workflow 對齊的正式基準測試，Windows 是原先測試環境，Apple Silicon 只覆蓋部分預處理和 H3 VAE 檢查。

音訊支援仍是最大限制。項目可以保存及混合視覺、音訊參考，亦曾成功處理音樂參考，但目前測試未能完成 speaker-identity transfer，因此不能當作已驗證的 voice cloning 解決方案；它亦不會自動修正影音同步。API 和 node schema 仍在演變，節點名稱及輸入欄位可能隨版本調整，適合接受工作流需要維護、並願意自行測試參考強度與 token 取捨的使用者。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型訓練, API, Video, Image, 影像處理, Audio, 工具, Content Creator, Clone, 庫, 語音, 音樂, 蘋果, MiniMax, LoRA

一個 LoRA 同時做卡片自轉與 360 度環繞

2026 年 9 月 29 日

MiniMax-H3 的 rank-32 LoRA可按提示詞切換卡片自轉與正常鏡頭環繞，適合製作具指定運鏡效果的短片。

相片會像按提示詞改為圍繞靜止主體作順時針 360 度運鏡。這個影像轉影片模型配接器基於 MiniMaxAI/MiniMax-H3，並針對 MiniMax-H3 Ref2VA 微調，屬於rank-32 LoRA，並非獨立的完整基礎模型。

模型以提示詞選擇兩種行為：ORB360_CARDSPIN 會讓畫面在5.125秒後準確回到原始相片；ORB360_CW 則維持一般順時針環繞效果。適合產品相片、人物肖像、寵物影像及需要固定鏡頭路徑的短片製作，同一個 LoRA 檔案可以因應不同鏡頭意圖重用。

頁面提供的示例使用單張參考圖，輸出尺寸為1024 x 768，共124幀，以20 steps 及指定 seed 生成。示例亦指出，加入卡片自轉能力後，原有的360度環繞效果仍能正常運作；不過頁面沒有提供系統化基準測試、失敗率、硬體需求或速度數據。

LoRA 權重為 rank-32，基於 MiniMax-H3 Ref2VA
以ORB360_CARDSPIN及ORB360_CW切換兩種運鏡行為
卡片自轉片段固定為5.125秒並回到起始畫面
標籤列出 ComfyUI、musubi-tuner及camera-control等相關工具或方向
頁面未提供GGUF檔案、量化版本、mmproj、上下文長度、v2更新或檔名變更資料

頁面展示了 MP4 示例及提示詞檔案，但沒有交代完整安裝流程、推論框架設定或MTP draft speculation支援。

模型

Categories: ComfyUI, AI productions, Video, Image, MiniMax, LoRA

LTX-2.5 加入多圖與聲音參考控制

2026 年 9 月 24 日

想令影片中的人物、物件和聲音更一致，這個 ComfyUI 擴充項目把多重參考整合到同一條工作流程。

Repository image for liconstudio/ComfyUI-LTX2.5-MSR

要在 LTX-2.5 生成影片時維持多個人物、物件或場景的連貫性，單靠文字提示往往不夠。ComfyUI-LTX2.5-MSR 是一個 ComfyUI 擴充工具，透過 MSR LoRA 把最多五張獨立編碼的參考圖片加入影片 latent；配合 AVref LoRA，還可為最多兩位說話者加入聲音參考。

它處理的不是普通圖片拼接，而是保留 MSR（Multiple Subject Reference）的訓練方式：每個參考影像都有 learned slot embedding，參考 token 會預先加入模型輸入，並配合固定排序及連續負時間位置，讓 LTX-2.5 的 self-attention 讀取人物、衣物、物件和場景資訊。參考圖片會自動調整大小、置中裁剪及以白色填補，亦支援 tiled VAE encoding。

v1.2.2 將圖片和聲音參考集中到同一個 LoRA loader 及 Reference Guide。兩個 audio latent 可分別配對 pic1 和 pic2；缺少某段聲音時，對應時間窗會保持空白，不會令後面的參考位置前移，並可選擇 25 或 33 幀的圖片參考長度。README 同時提供 V2 範例工作流程，展示加入聲音參考的兩階段 sampling 及 latent-upscale refinement。

使用前需要 LTX-2.5 原生模型、符合要求的 MSR 或 AVref LoRA，以及 ComfyUI 的模型、conditioning、latent、VAE、sampler 和 AV 節點。LoRA 必須包含 reference_slot_embedding 權重，普通 LoRA 會被拒絕；項目資料未提供完整安裝指令或硬件性能測試，因此生成速度、顯存需求及最終一致性仍要按本地模型、解析度和參考數量自行驗證。

最多五張圖片參考，支援人物、物件、背景等不同角色
AVref LoRA 可加入最多兩位說話者的聲音參考
稀疏 audio slots 保留絕對時間位置，不會重新排列後續參考
適合單階段生成，也可接入兩階段 latent-upscale 工作流程

GitHub · 模型

Categories: 開源, ComfyUI, AI productions, Embedding, 模型, 模型訓練, Google, NVIDIA, Video, Image, Audio, 工具, 語音, LTX, 蘋果, LoRA

Calliope：由故事到成片 : ComfyUI 本地工作流

2026 年 9 月 23 日

Calliope 將故事拆成劇本、鏡頭片段，再交由本機 ComfyUI 生成影片，兼顧創作流程與資料私隱。

由一個故事構想開始，Calliope 會整理情節節拍、角色與場景，再按場景寫出貼近劇本的內容，拆成多個鏡頭片段交給 ComfyUI 生成影片。它屬於本地優先的 story-to-video 工具，處理的是文字創作與影片生成之間需要反覆整理、分鏡和合成的工作。

LLM 負責故事結構及逐場景腳本，ComfyUI 則按既有 workflow 和模型逐個產生片段，兩者分工清楚；完成後再由 ffmpeg 加入 crossfade、匹配音量並串成完整影片。項目資料放在 SQLite，媒體保存在本機資料夾，只有你指定的 LLM endpoint 可以是雲端服務，因此私隱程度和可控性較依賴本身的模型及 ComfyUI 配置。

Make AI Micro Dramas From Script to Video Locally Using Calliope 1.5

Watch this video on YouTube

使用前需要 Python 3.11+、Node.js 18+、已安裝模型的 ComfyUI、OpenAI-compatible LLM endpoint，以及可從 PATH 呼叫的 ffmpeg。前端是 SvelteKit，後端採用 FastAPI；啟動兩者後，在 Settings 設定 LLM、ComfyUI URL 及可選的 agent 分工，亦可調整並行工作數、輪詢間隔和等待上限，長時間影片工作可把預設 30 分鐘 timeout 延長，或設為無限等待。

適合需要保留素材在本機的個人創作者、小型製作團隊，以及已經建立 ComfyUI workflow、想加入故事編排層的使用者。Dry-run 只會產生佔位結果，不能用來判斷真正的影片效果。

流程完整：由故事、劇本、分鏡到片段合成集中處理
本機優先：項目資料與媒體不必上載到雲端
依賴明確：需要自行管理 ComfyUI、模型、LLM endpoint 和 ffmpeg
可調整佇列：支援並行數、輪詢設定及長任務 timeout

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, API, Video, 工具, Content Creator, Python

YuE2 補上真實音訊 Tokenizer，支援歌曲翻唱微調

2026 年 9 月 22 日

YuE2取得音訊編碼與真實錄音適配能力，可將自家錄音轉成語義碼，再微調歌手風格。

當你餵給 YuE 一段參考音訊（例如某歌手的演唱片段或特定樂器風格，要求接續生成）時：必須先用 Tokenizer 將參考音訊「壓成代碼」傳入模型。若 Tokenizer 品質不佳，音色在第一步壓縮時就失真了。

這個 v4 工具能更高保真地將輸入聲音轉為 Token，讓後續模型捕捉到的音色特徵更貼近原音。

錄音轉換、歌手風格微調和歌曲翻唱，原本受限於 YuE2 沒有隨附的 audio → semantic-token encoder。這個項目基於 m-a-p/YuE2-3B 及 m-a-p/MERT-v2-FullSong，加入音訊 Tokenizer 與 NAR-branch LoRA，讓 YuE2-3B 可以處理自家錄音，並以真實製作音訊調整解碼效果。

Tokenizer 取用 MERT-v2-FullSong 第 20 層特徵，先按音軌作 instance normalization，再以 8 層、d=512 的 Transformer，在 512-frame 視窗內轉換成 32,768 種 YuE2 semantic codes，特徵率為 25 Hz。留出歌曲測試的 top-1 exact match 為 16.1%，但近似 code 產生的聲音接近，NAR round-trip 聽感測試約達 95%。

tokenizer_head_joint_v4.pt、.safetensors、.bf16.safetensors：音訊編碼 head
nar_lora_joint_v4.pt、.safetensors、.bf16.safetensors：NAR 解碼分支 LoRA
_comfyui.safetensors：配合 ComfyUI 的 YuE2 權重布局
LoRA rank 為 32，覆蓋 28 層 NAR attention、MLP，以及完整替換的 vae2llm 和 llm2vae

.bf16 版本約為完整精度檔案的一半，head 與 fp32 的輸出一致率為 98.6%。項目附有 scripts/ckpt_io.py、訓練迴圈和推論腳本；ComfyUI 可把 LoRA 載入 YuE2 checkpoint 的 MODEL 輸出，強度設為 1.0，CLIP 輸入不受影響。頁面沒有提供 GGUF 檔案、檔案大小、上下文長度、Ollama、LM Studio、llama.cpp 或 MTP draft speculation 支援資料，亦沒有列出可供選擇的量化級別。

模型先以 4,765 首 YuE2 自行生成歌曲訓練，再適配真實音訊；因此它的價值集中於提升真實錄音的編碼與 NAR 解碼，而非取代 YuE2-3B 的完整生成能力。授權為 CC-BY-NC-4.0，商業用途需要另行確認授權條件。

模型

Categories: 開源, ComfyUI, 模型, 模型訓練, Audio, 工具, 廣東話, Tokenize

CrossView Warp : H3 LoRA 影片新視角

2026 年 9 月 22 日

輸入原片與鏡頭偏移，就能生成同一場景的新視點；代價是需要 ComfyUI、深度變形及額外工作流程配合。

想從影片另一個鏡頭角度觀看同一場景，這個 LoRA 可直接處理方位角（azimuth）及仰角（elevation）偏移。它基於 MiniMaxAI/MiniMax-H3 微調，屬於 Ref2VA 影片生成用途，並非獨立的完整模型。

模型會同時讀取兩段影片：經過 CrossView Warp 的深度變形片段負責提供場景幾何，原始片段則保留人物身份與外觀。深度資訊由 MoGe Inference 產生，再交給 ComfyUI-CrossViewWarp 節點處理；生成結果對未被原片覆蓋的區域仍需要提示詞引導，因此新視角越大，畫面補全的不確定性亦可能增加。

使用流程集中於 ComfyUI：安裝 CrossViewWarp node，先取得 MoGe 幾何資料，再把 warp 與 source 調整至相同尺寸；載入 MiniMax-H3_Ref2VA-LoRA-CrossView-Warp_v1_3500.safetensors 到 ref2va checkpoint，並以 MiniMax H3 Add Guide 和 MiniMax H3 Reference To Video 串接，frame_idx 設為 0。LoRA strength 建議由 0.8 開始，頁面建議範圍為 0.8 至 1.0，觸發詞是 crossview。

已確認的基礎模型：MiniMaxAI/MiniMax-H3
主要檔案：MiniMax-H3_Ref2VA-LoRA-CrossView-Warp_v1_3500.safetensors
頁面未列出 GGUF 檔案、量化級別、mmproj、檔案大小或量化建議，因此不能推斷 Q4_K_M 等本地推理配置
頁面只明確提供 ComfyUI 工作流程，未確認 llama.cpp、Ollama、LM Studio、MTP draft speculation 或效能基準支援

它把 CrossView-Warp 概念移植到 MiniMax-H3，核心價值在於以幾何變形和原片外觀互補，協助影片生成模型維持場景連貫性。頁面提供多個 compare_* 影片作為 warp、原片與結果的並排示例；授權則標示為 minimax-h3-community-license。

模型

Categories: 開源, ComfyUI, AI productions, Video, 提示詞, 庫, MiniMax

Page 2 of 10

« Previous 1 2 3 4 … 10 Next »