InferNews

MiniMax H3 Turbo：4 步加速的影音生成 LoRA

Share to X

MiniMax H3 的 ComfyUI 加速 LoRA，把 10 秒影片生成壓到固定 4 步。它適合要在速度、畫質和可控性之間取平衡的 T2V 與 I2V 工作流。

Og image

MiniMax H3 Turbo 走的是 ComfyUI 用途的加速路線，核心價值在於把 MiniMax H3 的文本生成影片（Text-to-Video, T2V）和圖像轉影片（Image-to-Video, I2V）流程固定到 4-step Euler 推理。它不是獨立模型，而是要配合 Comfy-Org/MiniMax-H3 的 BF16 base model 使用；頁面未提供更完整的 base model 參數規模或訓練細節，所以不能再往下猜。

這種設計的取捨很直接：步數少，生成時間通常更短，但對動作細節和穩定性的容錯也會更窄。頁面列出的比較都在同一個 BF16 base model、同一輸入與 10 秒、約 0.9MP 解析度條件下做，LoRA strength 固定 1.0；不同場景下，時間大概落在 174 到 190 秒之間，速度提升存在，但不是壓倒性。

重點摘要：
– 支援 T2V 與 I2V，I2V 走第一幀路徑，亦可用最後一幀收尾
– 固定 4-step Euler，重點是縮短推理流程而非擴大模型能力
– 需要配對 Comfy-Org/MiniMax-H3 的 BF16 base model
– 頁面未列出 GGUF、mmproj、上下文長度或量化檔案資訊
– 與 lightx2v LoRA 的比較屬同級加速方案，差距主要體現在時間與輸出取向

從檔案描述看，這個項目是 LoRA，不是完整 diffusion checkpoint，所以它的定位比較像「推理策略補丁」而不是全新模型。頁面也沒有提供 llama.cpp、Ollama 或 LM Studio 的支援資訊，顯示它主要面向 ComfyUI 工作流，而不是通用本地推理框架。

檔案命名上，頁面強調這是 v2 類型的更新版本脈絡；因此可確認的只有它圍繞 H3 的 joint audio-video diffusion path，並以固定 4 步作為加速契約。若要和原始 base model 比，差別不在功能範圍，而在於把生成速度和步數控制收緊，換取更快的工作流回饋。

模型

Categories: 開源, ComfyUI, 數字人, 視覺模型, 視頻模型, Video, Image, Audio, MiniMax

ComfyUI-Spectrum-MiniMax-H3：為 H3 加速 33%

Share to X

將 1056x608 影片生成由 685 秒縮短至 464 秒，避開昂貴的 transformer 重算。它屬近似加速，但影片細節可能走樣。

Repository image for xmarre/ComfyUI-Spectrum-MiniMax-H3

每次跑 MiniMax H3 都要付出完整 transformer 計算成本，對要反覆試 prompt、鏡頭動作同參考音訊的人來說，等待本身就是工作流瓶頸。xmarre/ComfyUI-Spectrum-MiniMax-H3 針對的正是這一步：它屬於 ComfyUI 自訂節點工具，會在部分 solver steps 直接預測 post-transformer hidden features，減少原生 MiniMax H3 audio-video model 的重計算次數。

實測生成 1056×608 影片由 685 秒縮短至 464 秒。加入這 Node 後可惜仍未能解決「廣東話」問題！

它不是把整個模型 shortcut 掉，而是用 Chebyshev ridge model 去擬合已經算出的 hidden features，再對未來步數作 spectral forecasting；但當前步的 output heads、video reconstruction、audio reconstruction、sigma mapping 同回傳結構仍然照常執行。這個取捨很務實，因為它換到的是抽樣成本下降，不是完全無損加速，所以 README 已經講明輸出不會與原生 MiniMax H3 bit-identical。

作者後來把預設路徑改成 offline_smoothing_replay，核心原因不是追求更高畫質，而是先救回音訊品質。早期單次流程會令語音清晰度、自然度同穩定性下降，甚至出現 doubled syllables 同 stuttering；現時預設把 audio_blend_weight 維持在 0，並以第二次無 transformer 的 replay 處理 video blend，目的就是切斷後段 video-to-audio feedback 對聲音的干擾。不過，畫面軌跡仍可能改變，動作、視線、時間點，甚至眼睛、手指、四肢細節都有機會走樣。

安裝十分簡單，適合願意做 exact-seed A/B 比對的創作者、工作流調校者，或者已經在 ComfyUI 內使用 MiniMax H3 的團隊。README 也提到舊版 workflow 可能要手動開啟 offline_smoothing_replay，而且 broader checkpoints、prompts、samplers 同 reference inputs 仍未完成足夠驗證，現階段更像是一個有方向、有明確修正策略，但仍需按素材類型逐步確認的加速方案。

  • 以 spectral forecasting 預測部分 future solver steps，重點是減少 MiniMax H3 最昂貴的 transformer evaluations。
  • 保留當前步的原生輸出頭與音畫重建流程，因此屬於近似加速，不是無損複製原生結果。
  • 預設改用 offline_smoothing_replay，主要是修正早期版本對語音自然度與穩定性的破壞。
  • 音訊路線暫時較保守，但視覺結果仍可能出現 motion、pose 與細節結構偏移。
  • 較適合已在 ComfyUI 工作流內做反覆測試、願意接受 A/B 驗證成本的使用情境。

GitHub

Categories: 開源, ComfyUI, 視頻模型, Video, Audio, MiniMax

VocalRender 用樂譜直接生成人聲歌唱

Share to X

寫歌唔再要逐音節對時長。VocalRender用歌詞、MIDI同節奏，直接把譜面轉成更自然的歌聲。

Comparison of duration-based, reference-based, and the proposed score-native singing voice synthesis inputs

寫旋律同填詞的人，最在意往往唔係逐個 phoneme 對時間，而係輸入一份像作曲流程會用到的譜面後，能否聽到有表情、會跟拍子走、又唔會太死板的人聲。VocalRender就瞄準呢個位置：它屬於 singing voice synthesis（SVS）模型，處理的是把歌詞、MIDI pitches、note values 同全域 tempo，連同一段提示音色片段，直接渲染成 48 kHz 歌唱音訊。

它和常見 duration-based SVS 或 reference-based 系統的分野相當明確。前者通常要為每個字或 phoneme 準備精確時長，後者又依賴 time-aligned audio 或 F0 curve；VocalRender改為讀 composer-oriented symbolic scores，讓模型自己在跟譜之下安排較自然的 timing 與 expressive deviations。對作曲、demo 製作、旋律草稿驗證，這種做法比硬性對齊更貼近創作流程。

技術路線亦有清楚取捨。它先用 interleaved lyric-note representation 保留字詞與音符對應，連 melisma 這類一個音節跨多個音都能明確表示；再由 Audio VAE 壓成 continuous acoustic latents，保住 pitch、timbre 同 articulation 細節，之後交給 autoregressive diffusion 建模，其中 AR Transformer負責較整體的 prosody sketch 與長度預測，LocDiT再補回高保真局部聲學內容。

  • 支援資料前處理、訓練同推理，屬於可重現研究流程的最小開源版本
  • 可配合 Hugging Face 模型、CrawlSinger-OS 資料集同官方 Audio Demo 一齊理解效果
  • 輸入核心是 word / pitch / note interleaved score prompt，而唔係逐 phoneme 時長標註
  • 評估線索包括 SingMOS 與 AES，當中 AES 會看 content enjoyment（CE）同 production quality（PQ）

部署時要準備提示音色片段，亦要理解它重視的是「按譜生成有表情歌聲」，不是完全取代後期混音或商業級歌手複製。對需要快速聽到作曲結果、又唔想先做大量時間對齊標註的團隊，VocalRender的價值相當直接，限制亦同樣清楚：它把創作入口大幅簡化，但音色條件、資料品質同最終審美仍然會左右成品。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Audio, 語音

ComfyUI-MiniMaxH3-Easy：幫 H3 補回可用性

Share to X

把 MiniMax H3 放進 ComfyUI 後，最麻煩的接線、引用同提示編排，被整理成較順手的一套介面。

Mixed media input

做影片生成時，最阻手往往唔係模型能力，而係節點圖愈接愈亂、參考素材愈加愈難管理。ComfyUI-MiniMaxH3-Easy 屬於 ComfyUI 自訂節點工具，集中處理 MiniMax H3 的 text-to-video、image-to-video 同 reference-to-video 工作流，將原本分散嘅媒體接線、參考標記同提示編輯收埋到同一個操作面。

呢個項目最實際嘅改動，在於保留 ComfyUI 彈性之餘，減少你每次都要手動整理素材順序。主節點用一個 Media 輸入口同時接收圖片、影片同音訊，仲會分開追蹤各自次序；一張圖會走 image-to-video，兩張圖就可用作 first/last-frame generation。做 reference-to-video 時，提示編輯器支援 @ 揀選已連接素材，執行時再自動轉成 MiniMax 建議嘅 <Picture N>、<Video N>、<Audio N> 格式，唔使自己逐個標籤維護。

  • 將多種媒體收進單一 Media 入口，節點圖會乾淨得多
  • @ 參考編輯器有預覽，較適合需要反覆改 prompt 嘅影片生成流程
  • # 對話區塊可直接寫成可編輯 block，送出時自動轉成 <d>...</d>
  • 可接 model-only LoRA、Sage Attention patch，亦可直接連到模型相關節點

同類做法通常要求使用者自己記住引用格式、接線順序同素材對應，ComfyUI-MiniMaxH3-Easy 選擇用較重介面包裝，換來較低出錯率同較高可讀性。代價亦明顯：它改善嘅係 MiniMax H3 在 ComfyUI 入面嘅操作層，不是另起一個新模型，也未見提供生成品質、速度或資源佔用測試數字，因此價值主要落在工作流整理，而唔係模型性能突破。

較受惠嘅會係已經用開 ComfyUI、但又嫌 MiniMax H3 節點圖太碎太亂嘅創作者、影片實驗團隊同需要反覆比對參考素材嘅人。部署方式亦唔複雜，理解上可以當成安裝到 ComfyUI 內嘅一組工作流節點：接好模型或 LoRA、把圖片或影片餵入 Media、再用內建編輯器整理引用同對話內容，就可以直接進入生成流程。

GitHub

Categories: 開源, ComfyUI, 視頻模型, Video, Image, Audio, MiniMax

MiniMax-H3 Turbo LoRA 移植 ComfyUI，4 步生成同步聲畫

Share to X

呢個版本唔係重新訓練主模型，而係把 MiniMax-H3 Turbo LoRA 轉成 ComfyUI 可直接載入的格式。重點在於 4-step 加速生成，同時保留聲畫同步能力。

Og image

想用更少步數生成影片同音訊，呢個頁面最值得留意的地方，是它明確基於 Comfy-Org/MiniMax-H3，而且屬於 adapter 形式的 LoRA，不是完整基礎模型。它針對 ComfyUI 使用的 pruned/curve-form MiniMax-H3 checkpoint 做兼容轉換，目的是讓原本由 larryvrh 發佈的 MiniMax-H3 Turbo LoRA — 4-step audio-video generation preview，可以透過 ComfyUI 內建的 MiniMax-H3 LoRA 載入流程使用。

技術上，核心價值在於把原始 Turbo LoRA 的 four-step distillation 和 dual video/audio sampling 帶入 ComfyUI 工作流。4-step 代表生成步數大幅壓縮，推理延遲有機會下降；頁面同時指出 non-EMA 權重較銳利、較能保持快速動作，EMA 權重則較平滑，但因為當時 EMA 未完全成熟，畫面會較柔。呢種取捨直接影響你想要的觀感：動態表現優先，可先看 non-EMA；畫面過渡想更順，EMA 版本更值得比較。

檔案方面，頁面列出 4 個 .safetensors LoRA 權重，包括初始兼容轉換版，以及兩個 further-trained checkpoint-500 變體：minimax_h3_turbo_4step_pruned_comfyui.safetensors、minimax_h3_turbo_4step_ema_pruned_comfyui.safetensors、minimax_h3_turbo_4step_ckpt500_pruned_comfyui.safetensors，以及對應的 EMA checkpoint-500 版本。

  • 基礎模型已明示為 Comfy-Org/MiniMax-H3，屬於 LoRA adapter 兼容轉換
  • 主要能力是 text-to-video，並帶有 text-to-audio、audio-video、synchronized-audio 標籤
  • 重點方法來自原作者的 four-step distillation，目標是加速推理
  • 頁面提供 ComfyUI workflow 範例下載，定位很明確：直接服務 ComfyUI 用戶

這個 Hugging Face 頁面是第三方整理的 ComfyUI 相容版本，價值在於把原始 MiniMax-H3 Turbo LoRA 接入 ComfyUI 生態，方便直接測試 4-step 聲畫同步生成與 checkpoint-500 變體之間的差異。

項目主頁

Categories: 開源, ComfyUI, 視頻模型, Video, Audio, MiniMax

MiniMax H3：全模態影音生成說明書

Share to X

MiniMax H3 把文字、圖片、影片與聲音整合到同一套生成流程，並支援同步影音輸出。

Og image

MiniMax H3 面向需要由多種媒體素材生成影片的場景，輸入可包括文字、圖片、影片及聲音，輸出則涵蓋影片與同步音訊。它屬於通用 omni-modal generative system，並非只處理 text-to-video，亦標示支援 image-to-video、video-to-video、audio-to-audio-video 等流程。提供的內容未載明它基於哪個 base model，亦無法確認是否由其他模型 fine-tuned from。

這種統一處理方式適合將參考圖片、動態片段或聲音一併納入生成條件，減少工作流程需要分拆成多個模型的情況。metadata 指向 Diffusers，並列出 multimodal、synchronized-audio-video 及 reference-to-audio-video 等能力；不過目前資料未交代模型架構、參數規模、上下文長度、訓練方法或效能指標。

可留意的使用重點包括：
– 支援 text-to-video、image-to-video、image-text-to-video 及 video-to-video。
– 可處理文字、圖片、影片與音訊，並生成 audio-video 組合內容。
– 提供 Global 與中國地區的 Online API，以及 Hailuo AI 網頁和桌面 App。
– 標示使用 MiniMax H3 Community License Agreement，部署前應查閱 LICENSE。

項目主頁

Categories: 開源, 多模態模型, 視頻模型, Video, Image, Audio, 3D, Ollama, MiniMax

ComfyTV 把 ComfyUI 拉進完整媒體工作流

Share to X

想用 ComfyUI 做圖、剪片同整理素材，通常要在多個介面之間跳來跳去。ComfyTV 把這些步驟收進同一個畫布，重點不只生成，仲包括挑選、編修同輸出。

ComfyTV canvas overview

做生成內容唔少人最怕流程一長就難改、難追版本，ComfyTV 針對的正是這個卡位。它屬於建基於 ComfyUI 的畫布式媒體工作台，將生成、挑圖、編輯、合成到輸出串成同一條流程，處理範圍橫跨 image、video、audio、music、panorama、2D layers 同 3D，而唔係停留喺單次出圖。

跟一般要靠 ComfyUI 全域 queue 推整條鏈不同，ComfyTV 採用 per-node run，每個 stage 可以獨立重跑，下游只會接住上游最近一次輸出的 snapshot。這種做法減少反覆測一小步時牽動全流程的等待，代價是你要更清楚每個節點當下吃的是哪個版本輸出，但對長流程調整明顯更順手。

它的另一個重點是以項目為中心管理素材與歷史。每個 stage 都掛在同一個項目內，輸出會連同歷史保留，重新載入後可還原；再加上 asset library、resource library 同 prompt fragments，可直接在提示詞用 @ 引用。README 亦提到可匯入任何 ComfyUI workflow JSON，在側邊欄綁定輸入、保存 stage preset，並透過 Bridge nodes 接第三方插件，甚至登記遠端 ComfyUI 機器做 runner。

內容深度比一般前端殼再走前一步，現時提供約 190 個 stages，而且不少節點內置真正編輯器，例如 layer editor、storyboard workbench、piano rolls、3D viewports 同 scopes，部分 video effects 亦有 live preview。2D 編輯一段還延伸到 PSD import/export、Fountain script import 這類偏製作流程的功能，顯示它瞄準的是需要持續迭代的創作項目，而唔係一次性玩效果。

  • 把 ComfyUI 擴展成完整媒體工作台，覆蓋生成、編修、合成與輸出
  • per-node run 減少重跑整條流程的等待，適合長鏈路反覆微調
  • 以項目保存 stage 歷史、素材與資源，較方便追版本同回復狀態
  • 可匯入 ComfyUI workflow JSON，兼容 subgraphs、第三方 plugins 同遠端 runners
  • 約 190 個 stages，加上節點內編輯器，定位比純工作流編排器更完整

它依賴你現有的 ComfyUI 生態與本地模型，較像建在 ComfyUI 之上的創作界面層，而唔係獨立模型服務。適合已經有一批 workflows、想將 image、video、audio 放入同一項目管理的團隊或創作者；純粹只求最快出一張圖的人，未必需要它這麼重的工作台結構。

GitHub

Categories: 開源, ComfyUI, Video, Image, Audio, 3D, 庫

LeapTalk：1 步生成會話數字人

Share to X

講人像相片同語音，就能連續生成對嘴影片。LeapTalk把速度拉到接近即時，同時盡量守住人臉一致性。

teaser

想做會話數字人？卡位通常唔係能否生成，而係夠唔夠快、個樣會唔會愈播愈走樣。LeapTalk屬於開源 talking-head generation 項目，針對的正是即時串流、人臉一致性同嘴型同步三件事一齊要兼顧的難題。

它的吸引力在於每個影片片段只用 1 NFE 就可推進，在 Lite 設定下標示可達 200 FPS，而且 Web Demo 已經做成可載入人像圖、用文字或咪高峰對話的介面。底層並非單靠硬推速度，而是建基於 SoulX-FlashHead-1_3B，再配合 LoRA、audio_proj_step_*.pt、wav2vec2-base-960h，用 audio-driven classifier-free guidance 強化對嘴。

  • 以 chunk-by-chunk streaming pipeline 連續生成長片
  • 用 Brownian bridge 同 Bridge Forcing 減少長片身份漂移
  • README 已交代需另外下載 base model、語音模型與 LeapTalk 權重
  • 推論前要自行填入 COND_IMAGE、AUDIO_PATH 等本地路徑

同類做法常見取捨是速度快但畫面累積誤差，或畫質穩定但延遲高；LeapTalk明顯站在「先把延遲壓到可互動」這一邊，再用 reference-anchored data-to-data transport 補回穩定度。

現適合做數字人互動、虛擬主播、即時內容生成的團隊。200 FPS 與單張 H200 GPU 的說法來自項目提供資訊，普通硬件能否複製同樣效果、Web Demo 的完整部署細節是否齊備，仍要等更多實測佐證。

項目主頁 · GitHub

Categories: 開源, AI productions, 數字人, 視頻模型, 影像處理, Audio

SwanTale 以場景佈局生成

Share to X

SwanTale 把語音與音訊研究集中成一個入口，重點放在更有表達力的生成能力。

swan logo

比起只追求把字讀出來，字節跳動的 SwanTale 更著重聲音是否自然、有情緒，亦能否處理多人說話生成。這個由 ByteDance 推出的研究項目，焦點放在 expressive audio、speech 與 multi-speaker generation。

現有資料不算多，但已見到它不是單一模型頁，而是一個集合式研究入口，整合 SwanTale、SwanVoice、SwanBench-Speech、SwanSphere 等子項目。對做語音產品、數字人、配音內容與語音互動工作流的人來說，這類整理方式較易追蹤同一研究線的進展。

  • 聚焦 expressive audio、speech 與 multi-speaker generation
  • 由 ByteDance 發佈，定位偏研究整合入口
  • 站內列出 SwanTale、SwanVoice、SwanBench-Speech、SwanSphere
  • 目前公開資訊有限，性能與方法細節仍要逐個子項目再看

它的價值在於把聲音生成從「可用」推向「更像真人表達」，同時覆蓋多人語音場景。現階段較適合先把它視為字節跳動音訊與語音研究的總覽入口，而不是已完整公開規格的單一產品頁面。

項目主頁

Categories: 字節跳動, 數字人, Audio, 語音

MiniMax H3 萬眾期待的開放多模態模型

Share to X

文字、圖片、影片同音訊都可混合輸入，再直接生成帶原生立體聲的短片。MiniMax H3把理解與生成放進同一套多模態系統，重點在跨模態一致性。

Og image

一段提示未必只得文字，亦可以連同圖片、影片甚至音訊一齊交畀模型處理；MiniMax H3就是朝住呢種工作流而設。頁面未提供 based on、base model 或 fine-tuned from 資訊，所以無法確認它係唔係建基於其他基礎模型微調而成，但已清楚標示為 image-text-to-video，而且屬於可同時理解同生成多模態內容的 generative system。

它處理的重點不只是由文字生片，而係把 text、images、video、audio 放入同一個上下文，再輸出最長 15 秒、最短 4 秒、可到 2K 的影片，並且附帶 native stereo audio。呢種設計的價值，在於畫面、聲音同指令可以一齊對齊，適合做 image-to-video、video-to-video、text-to-audio-video 以至 reference-to-audio-video 等任務，減少要分開串接多個模型的工序。

H3 是 task-generalization-oriented system，意思是模型在 pre-training 階段已經針對廣泛任務泛化而設計，唔係只為單一路徑生成。它強調 unified understanding of multimodal contexts，同時支援多種輸入來源與輸出規格；比例覆蓋 21:9、16:9、4:3、1:1、3:4、9:16 等常見格式，短邊預設 768 像素，最高可到 2K，反映它偏向面向內容製作與跨媒體生成，而不只是研究展示。

  • 支援 text-to-video、image-to-video、video-to-video，同時覆蓋 audio-video-generation
  • 可生成 4 至 15 秒影片，並輸出 native stereo audio
  • 輸入上下文可混合 text、images、video、audio，屬於 omni-modal 路線
  • Hugging Face 頁面標示 library_name: diffusers，代表可沿用 diffusers 生態整合

現階段較能確定的是，它把多模態理解與帶聲影片生成放入同一模型體系，對需要一致視聽輸出的項目有直接吸引力，但部署細節仍要等更完整技術文件補足。

項目主頁 · 模型

Categories: 開源, 多模態模型, 視頻模型, Video, Image, 影像模型, 影像處理, Audio, 3D, MiniMax
Page 4 of 7
1 2 3 4 5 6 7