輸入風格與歌詞，便能在 ComfyUI 生成歌曲及可讀樂譜，讓創作流程多一個可修改的環節。
把歌詞接入節點、設定曲風後，YuE2-ComfyUI 便能在本機生成完整歌曲與可讀樂譜。這套音樂生成節點工具把 YuE2-3B 接入 ComfyUI，適合想在同一工作流程反覆試作的音樂創作者。
它先寫出 ABC 樂譜，再生成演奏內容，最後透過變分自編碼器（Variational Autoencoder，VAE）解碼成 48 kHz 立體聲。樂譜也可修改後送回節點演唱，讓旋律調整有更具體的入口。
項目示例在 RTX 5090 上花 40.2 秒生成 75 秒歌曲，但單一示例不足以推算其他硬件的速度。提供的內容未列出完整安裝步驟、最低顯示記憶體需求或音質比較；準備納入製作流程前，仍需確認本機能否載入模型。
Qwen Image 解碼後的 2px 網格容易被放大流程強化，ComfyUI-DeGrid 讓修正可以在放大前自動完成。
Qwen Image、Qwen Image 2.1 及部分 Wan 2.1 VAE 生成的平坦暗位，可能帶有不易察覺的 2px 像素網格；經過銳化或放大後，瑕疵會變成明顯紋理。ComfyUI-DeGrid 是一個 ComfyUI 影像修正節點，專門在 VAE Decode 後移除這種規律格線。
它採用 VAE DeGrid（Nyquist Notch）處理方式，auto 模式會逐張影像量度網格強度並自動設定修正上限，無需自行調參；未偵測到網格時則原樣傳遞。節點亦會顯示 grid 強度、修正上限及受保護邊緣比例，方便確認是否有執行過度。
安裝只需放入 ComfyUI/custom_nodes，依賴 torch，亦不需要 OpenGL 或 GLFW，因此可在 headless 環境運行。工作流應接成 VAE Decode → VAE DeGrid → 銳化、放大或 SeedVR2 等後續處理，因為縮放後才修正，可能已經太遲。
需要處理 Qwen Image 或 Anima 解碼瑕疵的創作者，會較容易感受到它對後續放大流程的幫助；但若工作流沒有相關 VAE，或影像本身沒有網格，節點只會增加一個檢查步驟，未必帶來可見差異。
當 ComfyUI 工作流動輒幾百個節點，拖拉節點時幀率掉到個位數是常態。NodeSnapshots 把閒置的節點先渲染成透明畫布，移動時直接重用圖片，把一張圖的幀率從 20 拉回 60。
當 ComfyUI 的工作流膨脹到幾百個節點，畫面停頓幾乎是必然。Sparknight 開源的 NodeSnapshots 是一個純前端擴充套件，目標就是把這種拖拉時的卡頓感處理掉。它不動推論邏輯、不改工作流格式、不裝額外模型，把閒置節點預先渲染成一張張透明畫布，平移、縮放、拖動節點時直接重用圖片，跳過昂貴的重繪。
在約 350 節點的實測流程裡，繁忙區塊的平均幀率從 20 FPS 拉到接近 60，改善幅度並非「感覺順」而是的明顯跳升。早期版本其實試過一次截整張圖的做法，速度更快，但截全圖那一刻會卡住；NodeSnapshots 改用逐個節點、分批閒置排程來拍快照，避開那個停頓，同時保留重用帶來的流暢感。
它處理了幾個關鍵取捨：
需要注意的限制：
對需要反覆在大型 Stable Diffusion、影像生成流程裡微調節點位置的使用者來說，這類擴充幾乎是工作流跑得起來的必要條件。安裝方式只需把資料夾放到 ComfyUI/custom_nodes/ComfyUI-NodeSnapshots，重啟後到 Settings > NodeSnapshots 開關即可。
ComfyUI-FL-YuE2 是一組節點，把 YuE2-3B 音樂模型包進 ComfyUI 工作流，讓你用鋼琴卷軸寫樂譜、灌歌詞，最後輸出 48 kHz 立體聲成品，亦支援 AR LoRA 訓練。
以往想在 ComfyUI 玩音樂生成，往往要面對幾個卡位：要自行接 YuE2 的推理指令、要另外找譜面編輯工具、想做 LoRA 微調更要跳出 ComfyUI 自己搞訓練腳本。FL YuE2 嘗試一次解決這三件事，把樂譜編輯、AI 作曲、AR LoRA 訓練全部接成節點流程，對熟悉 ComfyUI 圖形化工作流的用家算是頗順手的整合。
項目核心是一個可視化鋼琴卷軸編輯器，支援點擊加音、Shift 框選、箭頭鍵移動、Undo/Redo 等基本操作，並提供 Instrumental 或 Sung 旋律模式。和弦面板可摺疊，匯入的 ABC 樂譜會保留 slash chord 等進階標記。換 Key 時同時處理旋律與和弦根音，最短轉調、超出音域會直接拒絕而非裁切音高，設計上偏向「樂理正確」多於「暴力生成」。
音訊輸出走 YuE2-3B 加獨立 VAE 解碼器，產出 48 kHz 立體聲，內建瀏覽器合成器可預覽節段節拍，但並非最終成品音色。LoRA 訓練流程則提供數據集檢視與 checkpoint 預覽，方便用家挑選權重繼續微調。
重點摘要
– 屬於 ComfyUI 自訂節點套件，整合 YuE2-3B 音樂生成與樂譜編輯
– 鋼琴卷軸支援框選、群組移動、Undo/Redo，轉調按樂理而非裁切處理
– 推理與 AR LoRA 訓練共用同一組節點，方便迭代
– 需 NVIDIA GPU 支援 BF16，已驗證 RTX PRO 6000 Blackwell，其餘 24 GB 配置未經驗證
– 首次執行約下載 7.8 GB 模型權重，支援中斷續傳與離線模式
適合已有 ComfyUI 基礎，又想嘗試可控音樂生成或自訓風格 LoRA 的用家。注意目前僅在 Windows + Python 3.12 + Torch 2.11 環境驗證，跨平台或較舊 GPU 仍需自行測試。
一個 32B 多模態擴散 Transformer，同時做文字生影片、圖生影片、動作控制、風格遷移、影片修復同長影片串流。Flash 版本更可喺單張 H100 上 377 毫秒出 22 帧 540p 短片。
LynnReal-Omni 想解決嘅，係影片生成工具鏈最煩嘅一件事：每加一個任務（動作控制、參考影像、風格遷移、編輯、修復）就要疊多一個模型或多一套 pipeline。作者選擇用一個 32B 共享多模態擴散 Transformer（跟 MiniMax H3 架構）一次過承載文字生影片、圖生影片、人體與手部姿勢控制、結構控制、omni-reference、風格遷移、影片編輯、退化影片修復，以至串流式長影片生成，仲可以接駁外觀參考、可編輯 3D render、遊戲錄影等異質輸入，等 Agent 可以喺同一個模型內組合視覺條件。
對比同類做法，最大差異係「統一框架」而非「任務專用模型」。每個源帧獨立編輯再組裝成無聲 24fps 影片，每帧只需四次 DiT forward，120 帧即 480 次 forward。輸入限制清楚：24fps、寬高需為 32 倍數、目前只支援 768p（1344×768 起手）。獨立逐帧編輯會帶來亮度或形狀嘅帧間抖動，作者亦坦白標示為已知限制。
對短片創作者、遊戲或 3D 團隊、Agent 開發者來講，好處係少咗一套模型接駁嘅工程成本；Agent 可以直接用外觀參考同 3D render 嚟組裝條件。Flash 版本（27B、三步生成、輕量 VAE decoder）將單張 H100 上 22 帧 540p 由 843 毫秒壓到 377 毫秒，為實時或互動應用鋪路。
項目已提供 ComfyUI workflow 涵蓋 t2v、i2v、r2v、pose2v、v2v 幾個入口，但作者明言仲係早期 beta，質量、兼容性同 bug 仍然存在，訓練代碼、部分訓練數據同更高效 DiT 預計稍後釋出。打算用佢做關鍵流程嘅團隊，宜先以小批量預覽（--indices 0,24,48 --keep-clips）確認穩定性再評估是否引入生產。
重點摘要：
– 一個 32B DiT 模型覆蓋十幾種影片任務，Agent 可直接組合異質視覺條件
– 每源帧四次 DiT forward，120 帧共 480 次；輸入限 24fps、寬高需 32 倍數、768p
– Flash 版本用 27B 加輕量 VAE，單張 H100 上 22 帧 540p 暖機生成耗 377 毫秒
– 獨立逐帧編輯會產生帧間亮度與形狀抖動，屬已知限制
– ComfyUI 支援 t2v、i2v、r2v、pose2v、v2v，目前屬早期 beta，訓練代碼尚未開源
項目把『看幾幀就寫 vibe』的拍腦袋流程，換成五通道取證管線：密集抽幀、音頻交叉驗證、因果事件鏈、剪輯層分離，最後產出對應 MiniMax H3 五種輸入模式的完整模板。
如果你試過把一段參考影片丟給 AI 影片模型、要它重做或延伸，應該都撞過同一面牆：憑『整體 vibe』寫提示詞，往往會錯過動作、把 BGM 誤認為現場聲。今次做的是把這個『創作猜測』變成可驗證的逆向工程，輸出可直接貼進 MiniMax H3 的提示詞骨架。
做法上，它不放棄『一對多逆問題』的本質——同一段畫面，背後劇本可以是 A 也可以是 B。它讓多個候選劇本同時存在，再用 4–8fps 密集抽幀和 0.5s RMS 去裁決哪個版本站得住。同時，頻譜圖負責分辨音樂與環境聲。
它對剪輯層的處理也相當細：定格哏、白色閃屏、漫畫風的集中線／網點／狀聲詞，全部歸入 editing 與 overall_soundscape，不會和實景動作混在一起。因果事件鏈（trigger→action→reaction）則把袖口、單手、車頭外殼這類畫面邊緣的施力者也算進演員名單，避免關鍵 3–5 幀就這樣消失。
對 Coser／換角場景，它只換外表不改劇本，再做動作相容性檢查、分級道具，並把動漫設定翻譯成真人 cosplay，最後吐出一張替換表。輸出端覆蓋 T2VA、I2VA、FL2VA、L2VA 的 14 欄模板，以及 Ref2VA 的六段模板，全部用 <Subject>/<Picture>/<Video>/<Audio> 標籤紀律收束。
適合想用影片反推 AI 影片提示詞的人：二創作者、廣告分鏡、動漫改編的工作流。比起『看幾幀就 vibe』，它的取捨是慢、但每一步都有可追溯證據；代價是要提供參考影片與可選劇本線索，並接受密集取證帶來的額外處理成本。
重點摘要：
– 五通道取證管線取代單一直覺寫 prompt
– 密集抽幀 + 音頻峰值用作裁決證據，而非裝飾
– 剪輯層、漫畫後製、鏡頭外施力者都獨立建模
– 覆蓋 H3 五種輸入模式，欄位與標籤紀律齊備
– 換角只動外表，動作相容性與道具分級有 SOP
直接調用原生 D3D12 渲染管線，把遊戲級嘅 DLSS 5 Neural Rendering 套到影片幀上面，重建皮膚、頭髮同布料嘅材質反應。
一般後製銳化或 AI upscale 工具處理嘅多數係邊緣同紋理，皮膚嘅次表面散射、頭髮嘅光線穿透呢類材質反應好難靠濾鏡模擬。Blueforcer/ComfyUI-DLSS5-Enhancer 選擇咗另一條路：將 ComfyUI 內部嘅 RGBA8 幀傳去一個原生 D3D12 worker，由 ReShade 載體配合 RenoDX DLSS 5 add-on 觸發 NGX feature 18，重建完再送返 ComfyUI，仲支援 1.5x 到 3x 升頻。影片本身冇 motion vectors，佢哋用 OpenCV DIS 做稠密光流逐幀估算，並喺場景切換時自動重置 history，等渲染器唔會將錯誤嘅時序資料傳入去。
呢個項目嘅類型係工具 / 節點包，定位好明確：畀 ComfyUI 用戶喺影像同影片工作流直接用 DLSS 5 嘅神經渲染器。佢唔係一個自帶模型嘅外掛，神經組件係 NVIDIA、ReShade、RenoDX 嘅原生 binary，呢個 repo 只負責實作 client side 嘅二進制協議，包括 session 建立、解像度協商、幀序、取消同診斷。
硬件要求 NVIDIA RTX 50 系列原生支援，透過社區 runtime 可以喺 RTX 40 同 30 上面跑，RTX 20 或更早直接拒絕。ComfyUI 需要 V3 node API（comfy_api.latest），Python 依賴 numpy、av 同 OpenCV，ComfyUI portable 通常已經內建。
幾個重要限制：nr intensity 鎖死喺 1.0，1.0、1.5、2.0 嘅輸出 bit identical；skin structure strength 必須開啟 automatic mask 先有效，閂咗之後所有皮膚參數都唔再產生變化；nr preset 喺任何數值下都係 bit identical。只有 local structure strength 同 local tone strength 係全程範圍真正可調。預設、J、K 幾個 dlss model preset 嘅源幀 detail energy 大約喺 0.56x 左右，呢個唔係銳化工具想要嘅走向，反映嘅係材質重建比邊緣強化重要嘅設計取向。
適合已經用 ComfyUI 做影片後製、CG 合成、AI 動畫修復或者數字人相關工作嘅團隊同個人創作，尤其係想處理 skin、hair、fabric 呢類容易被傳統濾鏡抹平嘅材質細節嘅場景。留意到嘅限制係 GPU 受限於 NVIDIA，而且沒有 Python API，調用方式只能透過 ComfyUI 節點流程。
想在 ComfyUI 內一次過生成超過一分鐘的影片，又要角色口型與背景音樂全程對得齊？這套 MiniMax H3 Timeline Director 插件把分段、續接、漂移修正全部收埋喺一張圖。
MiniMax H3 官方最令人卻步嘅限制之一，就係單次生成時長偏短，想做一段完整 Demo 或者長 Demo 都要靠 Loop 節點逐段駁，駁完口型同音軌成日走樣。ComfyUI-MiniMaxH3-TimelineDirector 嘅切入點正正喺呢個位：佢提供一個 Full Timeline Director 工作流，把 T2V、Image Reference、音訊驅動、角色替換、動作遷移、數字人同一條龍長片生成，全部塞入同一張 ComfyUI 圖。
插件會把目標時長拆成連續 GEN 窗口，並用同一個共享 seed 串接前一段嘅 AV-latent 尾部，配合 Drift-Control 影片遮罩同 Soft AV 音訊連續性處理，再做 overlap 移除並最終同步輸出成片。長度上限唔再由 Loop 節點或者重複 Sampler 鏈決定，而係睇本地 VRAM、RAM、磁碟空間同 ComfyUI 執行限制。
佢同一般「駁長片」做法最大嘅差異，係對齊音訊嘅方式。當你將一段長 MP3 標記為 Locked Original Audio，插件會將聲音按 sample 位置精確切片，注入每段 AV latent，並以零音訊降噪遮罩保留；Timeline 比音源短就截斷，比音源長就用靜音補尾，用戶唔使再人手對 MP3 metadata 或 codec priming delay。Long-form digital humans 同角色演唱場景亦靠同一條路徑處理：角色圖同長 soundtrack 鎖定後，手動 GEN 窗口即可逐段推出口型同步。
時間軸方面，每段 Clip 設有三種模式——Fixed Guide、Editable Reference、Boundary Only，支援 move、trim、split、delete、snap 同數值定位；只有同 cyan 生成範圍相交嘅媒體先會進入當前 Reference 或 Guide 計劃，避免雜訊干擾。
實際最易受惠嘅人，係要做完整 MV 級 Demo、產品概念片、教學影片、或者 AI 短劇分鏡嘅創作者同中小型團隊。官方已放出兩條約 52.6 秒 / 1263 幀嘅直接生成示範，包括純 latent 續接同 48 幀 Reference overlap 兩個 case，可直接喺 GitHub Release 拎 MP4 對照效果。
項目主頁 · GitHub · Youtube 教學
騰訊混元把零樣本 TTS、語音編輯、分離與增強收進同一個自然語言指令介面，並同步釋出追求速度的蒸餾版本 AuK-Flash。
語音模型一直存在一個尷尬：零樣本合成、語音克隆、音色替換、分離、降噪往往是幾套獨立系統，要串起來就得堆 pipeline。騰訊 Hunyuan 開源的 AuK 想打破這個分工，以 1.5B 參數的基礎模型為核心，讓一句自然語言指令直接對應到編輯後或生成的音訊。
AuK 由三部分組成：負責語義條件的多模態語言模型、提供聲學潛在空間的 50 Hz VAE，以及一個混合 rectified-flow Transformer，用雙流 MMDiT 塊融合兩種條件後再做單流 DiT 生成。訓練數據規模相當可觀——約 30.3 億條指令-音訊配對，加上約 195 萬小時的有效監督，覆蓋五大任務族：語音生成、內容編輯、增強與分離、副語言資訊編輯、聲學編輯。
同步釋出的 AuK-Flash 走速度路線：透過一致性初始化加上任務路由的 Decoupled DMD 蒸餾，做到 NFE=4、無 CFG 的 4 步推論，官方指在匹配條件下對比完整 AuK 有約 4.5 倍 wall-clock 加速，質量接近教師模型。這個分層策略對需要即時語音生成的應用場景（如對話 agent、實時配音）有直接意義。
部署層面，官方同時提供 Hugging Face Space、ModelScope Space、Gradio 互動介面、ComfyUI 節點、Python API，以及 uv 和 Conda 兩種依賴管理方式，並已獲 SGLang-Omni Day 0 支援。對於本地資源有限的團隊，AuK-Flash 配合 SGLang-Omni 是較合理的切入點；如果追求最高質量、且不在意推論延遲，則可選 AuK Base，並透過可配置的 NFE 與 CFG 做品質/速度取捨。
重點摘要：
這個 ComfyUI 工作流把 MiniMax H3 的首尾幀、Turbo LoRA、影片與音訊 VAE 全部封進子流程，外層直接選模型、改步數與時長，最後由 SaveVideo 輸出 24fps 的帶聲短片。
想用兩張圖片框住一段六秒帶聲音的影片，再順手在 ComfyUI 面板上換模型、改步數，這個工作流把這件事收得很緊。整套流程把 MiniMax H3 的基礎模型、Qwen3-VL 文本編碼器、影片與音訊 VAE，以及四步 Turbo LoRA 全部塞進一個子流程，常用參數留在外層，內層只負責解析度對齊 32 倍數、計算幀數、把影片與音訊解碼後合成輸出。
跟一般 ComfyUI 影片節點相比，它最直接的差異是「首尾幀可選」：上方節點接首幀、下方節點接尾幀，兩個都填就是首尾幀生成，只填首幀就退回傳統圖生視頻，兩個都跳過則變成純文生視頻，三種模式不用複製工作流，直接在同一張畫布切換。音訊方面也省事，音訊 VAE 跟影片 VAE 分開載入，輸出端靠 SaveVideo 一次寫入 mp4，不用再手動合成聲道。
部署門檻主要在三個地方：ComfyUI 要支援子圖功能、要額外安裝 ComfyUI-MiniMax-H3-Turbo 節點包以取得 MiniMaxH3TurboLoRA，以及 Hugging Face 上的五個權重檔案要放到對應的 diffusion_models、text_encoders、vae、loras 目錄。JSON 內只記錄檔名而非圖片本體，使用前要把首幀、尾幀重新上傳；工作流也沒有附帶顯存或速度數據，必須自己測試本地硬體夠不夠撐得起 int8 基礎模型加 Qwen3-VL 32B 文本編碼器。
對已經在跑 ComfyUI、又想試 MiniMax H3 首尾幀能力的人，這個工作流算是最低摩擦的入口：不用自己接駁一堆節點，也不用研究子流程內部的取樣細節，外部面板就涵蓋了模型選擇、步數、目標時長、種子、寬高比與百萬像素等設定。對只想快速驗證概念或做短影音素材的內容創作者，這種「拉進畫布、換圖、寫 prompt、執行」的流程會比從零搭建省下不少時間。
重點摘要