InferNews

MiniMax H3 Director Studio：Windows 本地模型做 AI 影片前期製作

Share to X Facebook

Director Studio 是一個本地優先的前期製作工作空間，串接 Ollama 規劃鏡頭、ComfyUI 生成畫面，再交由 MiniMax H3 出片，特別適合想完全控制創作流程的獨立創作者。

Repository image for ai2764/Director-Studio

想在本地完成 AI 影片從構思到成片的整條前期流程，而不依賴雲端訂閱？Director Studio 正是針對這個需求的工作空間類工具。它把鏡頭規劃、可重用的視覺與語音資產管理、以及 MiniMax H3 Ref2AV 提示詞撰寫，整合在同一個介面內，最後透過 ComfyUI 與 MCP 協議生成圖像與影片。

與一般 ComfyUI 前端不同，它把「規劃 Agent」綁定在本地 Ollama 上運行，並與 ComfyUI 共享 VRAM，避免兩者搶顯存。用戶可以選擇全本地流程，亦能把 H3 影片交給官方 MiniMax API 處理，兼顧靈活與效能。內建的 typed asset library、演員與場景工作流、可編輯的 Picture/Audio 參考、以及六段式 H3 提示詞結構，讓鏡頭設計不再是憑感覺亂試。

Qwen3.8 27B Directs H3 | Director Studio Is Now Open Source

對於獨立創作者、小型製作團隊，或需要反覆迭代鏡頭分鏡的人，這套工作流省下了在不同工具間切換的成本。Windows 用戶只要安裝 Ollama、ComfyUI Desktop 與 Python 3.10+，再解壓官方 zip 即可透過 DirectorStudio.exe 啟動，所有資料儲存在執行檔旁的 data 目錄，方便升級前備份。

採用 FastAPI 後端配合 Vite + React 前端，規劃 LLM 透過 Ollama 執行，生成層則透過 ComfyUI MCP 串接。架構與擴展點已在 docs/ARCHITECTURE.md 說明，適合想自行修改管線的進階用戶。

需要注意，VRAM 是這套系統的瓶頸：Ollama 與 ComfyUI 需共享顯存，若要同時運行大型本地模型與高解像度影片工作流，硬體門檻不低。對於偏好全雲端、或無獨立顯卡的用戶，這套方案未必比 SaaS 工具方便。

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, 模型, 多模態模型, API, Video, Image, Audio, 工具, Content Creator, Ollama, Python, 庫, MiniMax

EditVid：零訓練、單一框架處理五大影片編輯任務

Share to X Facebook

伊利諾伊大學 PLAN Lab 推出 EditVid，毋須訓練即可在一個框架內完成風格轉換、屬性修改、物件插入等多種影片編輯。

PLAN Lab Logo

想用同一套方法幫一段影片換風格、改顏色、甚至換主體，又唔想為每種任務訓練專屬模型？PLAN Lab（伊利諾伊大學厄巴納－香檳分校）嘅 EditVid 正正就係為呢個煩惱而設計。佢屬於免訓練（training-free）嘅影片編輯框架，直接喺凍結嘅多模態擴散 Transformer（MM-DiT）圖像編輯器上動手術，同時支援文字指令引導同參考圖引導兩大路線。

對一般用家嚟講，最大體感差異係：一條原本只能用嚟改顏色嘅編輯鏈，現在仲可以做局部部件編輯、物件插入、主體替換等五類任務，唔使每樣重新煉模型。你叫佢「將大象變藍色」、「將海浪轉做黑色」、「將衣服轉紅色」，佢都能在同一條流程內完成。

佢能夠兼顧短距離同長距離一致性，關鍵在於三個互相配合嘅設計：

  • 稀疏因果記憶：每幀只向前一幀取視覺鍵值狀態，避免長距離 RoPE 交互變得唔穩定。
  • 後注意力 Token 注入：用置信度同循環一致性匹配把幀同錨點幀對齊，再注入匹配到嘅視覺表示，維持主體外觀一致。
  • 軟潛空間混合：根據時間步動態調整保留權重，源內容需要保留嘅地方唔會被強行覆蓋。

量化結果方面，喺 FiVE 基準上 EditVid 拎到 78.16 分 FiVE-Acc，比目前最強嘅訓練免費基準高出近 20 分；喺 IVEBench 上面亦取得具競爭力嘅成績。用戶研究入面，超過一半受訪者（51.8%）傾向揀 EditVid 而唔係其餘 7 種對比方法。

如果日常工作涉及大量短片二次創作、廣告素材改版、或者需要快速試驗唔同視覺風格，EditVid 提供嘅「零訓練、單一框架」思路可省卻大量前置準備成本。

項目主頁 · GitHub · Paper

Categories: 開源, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, Video, Image, 框架

OmniEvalKit：唔使重新訓練 VLM 都可以聽聲答問題

Share to X Facebook

MBZUAI Oryx 團隊把 OmniEvalKit 開源出嚟，主打唔使改動 VLM 任何參數，就為佢加掛語音理解能力。對於想評估或部署多模態模型嘅團隊，可以直接拎現成骨幹即試。

Training-Free Omni

想為一個視覺語言模型加入語音理解，但又唔想重新訓練？MBZUAI Oryx 團隊開源嘅 OmniEvalKit（Training-Free Omni）就正正針對呢個痛點。它把語音先經 Whisper 抽取成帶時間戳、語言同信心分數嘅結構化文字，再連同圖片或影片幀一齊餵俾凍結嘅 VLM，所有推理都沿用原本嘅 prompt 接口，骨幹權重全程不動。換句話講，任何新嘅視覺骨幹都可以即插即用，毋須再做語音—視覺對齊微調。

它同時係一個統一嘅多模態評測框架，支援文字、圖片、影片、音頻同音視頻任務，並預載 118 個資料集適配器，涵蓋 Qwen、Gemma、MiniCPM、VILA、OmniVinci 等模型，方便做公平對齊測試。對研究人員同部署團隊而言，最直接嘅好處係可以一次過跑 56 個 benchmark、21 種語言，直接比較凍結骨幹同原生 omni 模型之間嘅差距，睇下語音能力究竟係新加出嚟定係由舊能力交換得嚟。

如果你關心 VLM 加掛語音後會唔會「失憶」，呢套框架正正提供 matched comparison，可以量化評估圖像理解、視覺定位、編碼、數學等原有強項有冇被削弱。額外支援嘅 CosyVoice3 文字轉語音輸出，亦令文本答案可以直接變成語音回覆。

要本地跑得起嚟，需要 Python 3.10+、ffmpeg，再針對 CPU、CUDA 或 ROCm 安裝對應嘅 PyTorch。之後透過 eval.sh 配環境變數指定模型同資料集即可開跑，加 MAX_SAMPLES=3 可以做煙霧測試，中斷後設 RESUME=True 可以接返。

以下係幾個值得留意嘅重點：

  • 凍結骨幹、零微調：所有 VLM 權重完全不變，語音理解透過 Whisper 抽取文字證據再加 prompt 融合達成。
  • 即插即用嘅 omni 能力：支援 Qwen2.5-Omni、Gemma、MiniCPM、VILA、OmniVinci 等多個模型適配器，方便横向比較。
  • 覆蓋廣嘅評測矩陣：內置 118 個資料集適配器，涵蓋 56 個 benchmark 與 21 種語言。
  • 原生 omni 同凍結骨幹嘅 matched 對照：可以清晰分辨新增能力同保留能力，避免重訓帶嚟嘅 capability drift。
  • 可選語音回覆：透過 CosyVoice3 把文字答案合成語音輸出，適合對話式場景。

項目主頁 · GitHub

Categories: 開源, 文字轉語音, AI productions, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, NVIDIA, Gemini, Video, Image, 框架, Python, 語音, Dataset 數據集

VibeVoice-ASR-Streaming-7B 即時辨識與轉錄合而為一

Share to X Facebook

Microsoft Research團隊將講者辨識加入串流語音轉錄，讓語音助手更快知道誰在說甚麼。

Hugging Face

Microsoft Research 聯同中國科學院大學及上海交通大學研究人員，開發VibeVoice-ASR-Streaming。

模型以 Large Language Model（LLM）為核心的端到端串流Speaker-Attributed Automatic Speech Recognition（ASR）系統，連續處理到達中的語音，同時輸出文字及講者身份。傳統流程通常把ASR與speaker diarization分開處理；此模型將兩項工作放進單一模型，針對即時語音助手及語音代理需要低延遲回應的場景，減少等待完整錄音後才分析的限制。

VibeVoice-ASR-Streaming 會交錯處理固定大小的audio chunks，並加入少量lookahead，讓模型在保留未來聲音片段作判斷的同時，逐步產生轉錄結果。固定分塊有助控制處理延遲，但lookahead 與分塊大小之間仍要取捨：前者越多，講者切換及語句判斷可能更穩定，回應時間亦可能增加。

  • 以單一LLM-based端到端模型同步處理ASR與speaker attribution
  • 使用固定大小audio chunks及少量lookahead支援串流輸出
  • 針對即時語音助手及agents的低延遲需求設計
  • 量化檔案、推論框架、硬體需求及效能指標尚未在提供內容中交代

項目主頁 · Paper · 模型

Categories: Agentic, 微軟, Audio, Discord, LLaMa, Ollama, 語音, Dataset 數據集

Motion-Omni：「講嘢」同「做嘢」視為同一件事，直接生成全身動作

Share to X Facebook

Motion-Omni 把語音和全身動作綁在同一個模型，講一句話就能即時生成對應嘅身體動作、表情同手势，適合需要邊講邊做嘅虛擬角色。

Motion-Omni framework

試過睇虛擬角色傾偈，個口形郁但身體硬晒，或者要逐段人手配動作？Motion-Omni 想解決嘅就係呢種「聲有、體無」嘅唔自然感。佢係一個端到端嘅多模態模型，輸入一段語音，輸出唔只有語音本身，仲有頭部、表情、手势以至全身姿態，全部喺同一個框架一齊生成，避免傳統做法分開處理再硬砌嘅斷裂感。

Motion-Omni 用咗一個統一嘅 tokenizer 把語音、文本同動作 token 化，配合 LoRA（Low-Rank Adaptation）adapter 等輕量微調技術，令模型可以同時學語音同肢體表達。生成嘅動作涵蓋手部、軀幹、面部表情，適合需要即時互動嘅場景，例如 AI 助手、虛擬客服、遊戲 NPC、語音驅動嘅動畫原型。

傳統動畫要先錄關鍵動作、再做 lip-sync 後製，而坊間部分開源方案往往只能控制頭部或者手部其中一樣。Motion-Omni 嘅做法係將「講嘢」同「做嘢」視為同一件事，所以動作會跟語氣、節奏同步變化，唔使額外人手調整。佢同時支援文字輸入，等開發者可以更直接控制角色行為。

對做 AI 角色、互動內容、語音動畫嘅團隊嚟講，呢種端到端做法可以慳唔少配動作同後製嘅工序，尤其適合需要快速原型嘅項目。讀者可以透過官方頁面睇影片 demo，評估生成動作嘅自然度同延遲表現，再判斷適唔適合自己嘅工作流。

重點摘要

  • Motion-Omni 係一個端到端多模態模型，同時輸出語音、表情同全身動作
  • 用統一 tokenizer 加 LoRA adapter 處理語音、文本同動作 token
  • 覆蓋頭部、手部、軀幹同面部表情，適合即時互動角色
  • 傳統做法分開配音同配動作，呢個模型將兩者合併生成
  • 適用於 AI 助手、虛擬客服、遊戲 NPC、語音動畫原型等場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 北京大學, AI productions, 模型, 多模態模型, Video, 框架, 語音, 動畫

MiniMax-H3 Singularity：提升影像轉影片品質

Share to X Facebook

基於 MiniMax-H3 深度微調的多模態影片模型，針對動作模糊、遠景人臉失真與光影過油等痛點進行修補。

Minimax-h3_Singularity 是建基於 MiniMax-H3 的多模態影片生成模型，採用 Apache-2.0 授權，於 ComfyUI 環境原生支援 Text-to-Video（T2V）、Image-to-Video（I2V）、Reference-to-Video（Ref2V）以及 Video-to-Video（V2V）四種工作流程。開發者並非單純做一次 LoRA 貼片，而是將 ref、fl、b25-49 等多個關鍵 checkpoint 進行策略性融合，再以高步數深度微調，最後花三天做精準剪枝與權重優化，目的是在保留 MiniMax-H3 原生 prompt 適應力與泛化能力的同時，壓住高步數訓練帶來的鬼影與過擬合。

這個版本重點針對三類常見瑕疵：高動態場景的運動模糊、Medium-to-Long Shot 距離下的人臉崩壞與糊化，以及人物皮膚過油、光澤不自然的問題。在功能面上，它特別加強了武打對戰、魔法施法、粒子光暈等奇幻動作場景的動感張力，同時提升鏡頭語言對搖鏡、推拉、追蹤等運鏡指令的回應度。

模型以 ComfyUI 節點工作流為主要入口，並附帶 RunningHub 線上 Demo 以及 YouTube、Bilibili 展示頻道連結，方便先觀察實際輸出再決定整合方式。

MiniMax H3 Singularity开源！全面微调融合，基础能力还在！嗨，大家好，这里是啊ban！快去玩！纯推荐分享视频！

重點摘要：

  • 基礎模型：以 MiniMax-H3 為底，融合 ref、fl、b25-49 等 checkpoint 做高步數微調與剪枝
  • 支援工作流：T2V、I2V、Ref2V、V2V 四種 ComfyUI 多模態流程
  • 主要修正：HDR 影像品質、遠景人臉修復、去油感光影、強化武打與魔法 VFX 動感
  • 鏡頭控制：對 pan、tilt、zoom、tracking 等運鏡指令有更敏銳回應

項目主頁

Categories: 開源, ComfyUI, AI productions, 模型, 多模態模型, 視頻模型, 模型訓練, Video, Image, MiniMax

MiniMax H3 Semantic Bridge：單卡煉成的極輕量視頻生成適配器

Share to X Facebook

約 11 MB 的小型適配器，可在不改動 H3 權重的情況下，把跨架構語意信號融入 MiniMax H3 的視頻生成流程。

Og image

由社群開發者 speach1sdef178 發佈的 MiniMax H3 Semantic Bridge，基於 MiniMaxAI 嘅 MiniMax-H3 進行延伸，定位係一個輕量嘅 conditioning-space 適配器，主要服務於標準 H3 FL2VA 文字生成視頻流程，整個項目僅用單張 NVIDIA RTX 3090 Ti 24 GB 完成訓練，並無動用多 GPU 叢集。

這並非 LoRa、checkpoint 合併或傳統的參數轉接。此適配器在影片Transformer之前轉換原生H3條件，並將學習到的語意表示以可控強度融合回H3。佢嘅核心做法係將原本用於 SenseNova U1.5 嘅語意表示，透過跨架構遷移與蒸餾，壓縮成一個獨立嘅小型檔案（MiniMaxH3_SemanticBridge_v1.safetensors）。使用時 SenseNova 完全唔需要載入，適配器會喺視頻 transformer 之前轉換 H3 嘅原生 conditioning，再以可控強度將學到嘅語意信號混合返入 H3。檔案本身只有約 11 MB，並唔係 LoRA、權重合併或者傳統參數嫁接，安裝方法係將 MiniMax_H3_Semantic_Bridge_v1.0.zip 解壓至 ComfyUI 自訂節點目錄，再將適配器放入新增嘅 ComfyUI/models/semantic_bridge/ 資料夾即可。

目前 v1 只支援文字條件嘅標準 FL2VA 流程，Ref2VA 參考圖生成或參考音訊工作流並唔適用。官方亦提到，喺參考音訊場景插入呢個適配器時，唱歌同嘴型同步表現會明顯下降，因此使用前要留意任務邊界，避免硬套落唔支援嘅流程。呢個項目提供咗 examples/ 對照素材、workflow JSON 同研究文章，方便用家直接喺 ComfyUI 內做 Native H3 同 Semantic Bridge 嘅 A/B 比較。

重點摘要：

  • 基礎模型：MiniMaxAI/MiniMax-H3，定位係 H3 嘅 conditioning-space 適配器而非權重合併。
  • 檔案規模：約 11 MB 嘅獨立 .safetensors，外加 ComfyUI 自訂節點 zip 同 workflow JSON。
  • 訓練條件：單張 RTX 3090 Ti 24 GB 完成，無需多 GPU 叢集，SenseNova 只用於訓練階段。
  • 支援範圍：適用於 H3 FL2VA 文字生成視頻，Ref2VA 同參考音訊流程未獲支援。
  • 整合方式：放入 ComfyUI custom nodes，並透過新增節點將 conditioning 同 latent 注入原有 H3 流程。

項目主頁

Categories: 開源, ComfyUI, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Audio, MiniMax

Hojo TTS Light 輕量語音合成，4000 萬參數就做到 15 種聲線

Share to X Facebook

Hojo-TTS-Light 僅約 0.08B 參數，以 ONNX 格式在 CPU 即時合成 24 kHz 語音，並預載 15 種聲線，免依賴 PyTorch。

Og image

想把文字轉語音（TTS）嵌入邊緣裝置或本地腳本，最大阻力往往來自 PyTorch 依賴肥大、GPU 門檻高。Hojo-TTS-Light 直接以 ONNX Runtime 執行，連 PyTorch 都不用安裝，對只有 CPU 或資源受限的環境相當友善。模型檔約 4000 萬參數（0.08B），輸出 24 kHz 音訊，並內建 15 種預設說話人聲線，開發者只需切換 embedding 即可換聲，省下自行收集語料或微調的工序。

隨倉提供的 infer.py 與 onnx_model.py 展示完整推理流程，搭配 requirements.txt 即可用幾行程式碼完成合成。對需要快速在本地或伺服器側加入語音回饋的項目而言，這種「開箱即播」的設計，比傳統 TTS pipeline 更貼近部署需求。

不過，15 種聲線屬於 preset 性質，若要新增自訂說話人，就需要額外準備參考音訊與對應 embedding，無法像大型 TTS 模型那樣靠一句話克隆。整體取向偏向「輕量、即用」，而非追求擬真度或表現力。

重點摘要：

  • 參數量約 0.08B，屬輕量級 TTS 模型
  • 採用 ONNX 格式，免安裝 PyTorch 即可在 CPU 環境執行
  • 預載 15 種 speaker-conditioned 聲線，可即時切換
  • 隨附 infer.py、onnx_model.py、requirements.txt，方便快速整合
  • 發佈平台為 Hugging Face，授權與權重可至該頁查閱

適合需要把語音合成嵌進邊緣裝置、CLI 工具或本地自動化流程的開發者；對追求高擬真或自訂聲線克隆的場景，則需要再評估擴充成本。

項目主頁

Categories: 開源, 文字轉語音, Agentic, Embedding, 模型, Audio, 語音, Skill 技能

Hojo-ASR-Multi-V1：廣東話語音識別引擎

Share to X Facebook

基於 Qwen3-4B-Instruct-2507 微調而成的多語言語音辨識模型，覆蓋歐亞九種語言，嘈雜環境與口語修正都有對應訓練。

Og image

如果你聽過一段嘈雜環境裡帶口音嘅外語對話，想即時轉成文字，Hojo-ASR-Multi-V1 就係針對呢類場景設計嘅。它並非由零訓練嘅語音模型，而係喺 Qwen/Qwen3-4B-Instruct-2507 之上做微調，把語音編碼器接駁到大語言模型嘅解碼端，形成 Encoder-Adapter-LLM 嘅典型結構，再加入多幀聲學融合模組去保留細粒度嘅聲音特徵。訓練過程分階段進行並結合強化學習，所以喺噪音、非標準發音、講錯即改口呢類真實情境下都唔會輕易崩潰。

多語言覆蓋係佢最突出嘅賣點。官方公布支援德、法、西、葡、意、日、阿拉伯、韓、俄等九種主要語言，並加入咗普通話、英語、廣東話同四川話等方言支援。從公開評測結果睇，佢喺多個 CoVoST、MLS 同 FLEURS 基準上都錄得相當低嘅 WER，例如意大利 FLEURS 2.30、法語 MLS 2.95、德語 CoVoST 3.85，整體表現平穩。

喺使用層面，開發者可以透過 PyPI 上嘅 hojo-asr 套件快速部署，亦支援 Hugging Face Transformers 後端。HOJO_ASR.load_model 介面可以直接接收 wav 檔案路徑、scp 清單或原始音訊 bytes，配合 CUDA 設備做批次推論。授權用 Apache-2.0，並提供商業整合支援，方便團隊接入產品線。

由於佢建基於 Qwen3-4B 體量，運行門檻比傳統大型 ASR 親民得多，但仍然需要 GPU 推論以維持批次速度。

重點摘要：

  • 基礎模型：以 Qwen/Qwen3-4B-Instruct-2507 為骨幹，採用 Encoder-Adapter-LLM 架構
  • 語言覆蓋：歐亞九國主要語言，加普通話、英語、廣東話、四川話
  • 訓練方式：多階段模組化訓練結合強化學習，針對噪音同口語修正優化
  • 評測表現：CoVoST、MLS、FLEURS 多語言 WER 普遍處於 2–5 區間
  • 部署方式：pip install hojo-asr 後用 HOJO_ASR.load_model 載入，支援檔案路徑、scp 或 bytes 輸入

需要留意嘅係，頁面並未提供 GGUF 量化檔案或本地推論引擎資訊，目前主要以 transformers 後端配合 GPU 運行；如果你想喺純 CPU 或邊緣裝置上使用，就要留意後續會唔會補上量化版本。

項目主頁

Categories: 開源, 模型, Qwen, Audio, 庫, 語音, Dataset 數據集, 廣東話

Fizgig：免重訓練逐塊修 LoRA，仲可以當遊戲咁變體

Share to X Facebook

你試過 train 好個 LoRA 先發現風格走晒樣、身份感 overbaked 嗎？Fizgig 畀你逐個 block 拉 slider 救返，仲可以一鍵部署上 RunPod，免安裝。

Fizgig LoRA Studio — watch the full video tutorial

對成日同 LoRA 打交道嘅創作者來講，最痛苦嘅唔係訓練，而係訓練完之後先發現結果唔啱用。Fizgig 就係針對呢個痛點而嚟：佢係一個圍繞 Flux 2 Klein 9B、Krea 2 同 MiniMax H3 嘅 LoRA 工作台，聲稱可以喺 16 GB 顯示卡起跳，由普通 LoRA 一直玩到全模型微調都搞得掂。

佢最實用嘅功能叫做「LoRA surgery」：當你發現某個 LoRA 身份感太重、風格被壓扁，可以逐個 block 拉 slider 去修正，唔使重新訓練，直接輸出新嘅 .safetensors。對應到 MiniMax H3 影片 LoRA，仲可以逐 block 預覽每段對動作、面孔同聲音嘅影響，22 格短片連音效並排播俾你揀。

Minimax H3 - Edit your LoRAs directly with Video Previews

如果你鍾意試新變體，Fizgig 提供類似遊戲化嘅 mutation 流程：應用程式提出變化，你揀鍾意嘅，LoRA 就透過選擇演化落去。配合 LoRA Royale，你可以一次過睇晒成個訓練 run 每個 epoch 嘅效果，或者用 crossfade 喺唔同版本之間游走。LoRA Royale 仲可以直接輸出 MP4 或 GIF 格式嘅循環動畫，方便分享成果。

佢支援標準 LoRA、LoKR 甚至全模型微調，完成嘅 fine-tune 會變成普通 checkpoint，而 Checkpoint to LoRA 功能可以將任何 fine-tune 蒸餾返做可分享嘅 LoRA，揀你鍾意嘅 rank。對於冇 GPU 嘅人，官方提供 RunPod 一鍵部署連結，唔使本地安裝就得用到 24 GB 卡嘅 int8 設定。

重點摘要：

  • 逐 block 修復 LoRA：slider 直接調，唔使重訓練，解決 overbaked identity 同風格崩塌
  • 遊戲化變體探索：app 提議 mutation，用戶揀最愛，LoRA 經選擇演化
  • LoRA Royale 視覺化：一次過 render 晒每個 epoch，crossfade 揀最好嗰個，仲可以輸出分享用動畫
  • Block profiling：清楚顯示每個 block 揹住身份、風格定係細節，調之前先知邊度落手
  • 多模型支援：Flux 2 Klein 9B、Krea 2、MiniMax H3 三線齊，由照片、影片到聲音都覆蓋

GitHub

Categories: 開源, ComfyUI, AI productions, Video, MiniMax
Page 23 of 55
1 … 21 22 23 24 25 … 55