InferNews

FFmpeg 變身 AI Agent 影片剪輯師：28 個工具全程本地執行

Share to X

ffmpeg-skill 為 Claude Code、Cursor、Codex 等編碼代理補上影片剪輯能力。28 個結構化工具涵蓋剪接、字幕、HDR 轉 SDR、多機位等流程，全程本地運作、不上傳素材。

FFmpeg Skill: media processing for AI agents

很多時候，你想叫 AI 幫你剪片、抽音、轉格式，但手上的影片根本不想上傳到雲端。ffmpeg-skill 就針對這個卡位——它不是模型，而是一套 Agent Skill，把 FFmpeg 包成 Claude Code、Cursor、Codex 或任何讀得到 SKILL.md 的代理都能用的工具集。只要機器裝好 ffmpeg 和 Python 3.9+，整套 28 個工具就能離線跑。

它跟一般「叫 AI 寫 ffmpeg 指令」的做法最大分別，在於每個工具都是帶型別參數的腳本，並非丟一段 shell 字串給模型拼裝。代理會先用 probe.py 量度時長、幀率、解析度、色彩和音軌，再依結果決定怎樣剪，文件名稱完全不被當成依據。輸出之後，結果會再被 probe 一次、比對目標規格，畫面有動過的話甚至生成 contact sheet 做肉眼覆檢。

工具覆蓋的工序相當完整：剪接、合併、去靜音、配合時長與比例、字幕與卡拉 OK 效果、overlay 與 motion graphics、HDR 轉 SDR 及 LUT、音頻清理與動態處理、含飄移修正的同步、多機位、響度校準、交付檢查、批次資料夾。音訊部分可從影片直接抽出、淨化，甚至指定軌號。而整組工具既是 CLI 也是 MCP tool，並由一份 machine-readable contract（SPEC）描述——CLI 的 argparse parser 同時衍生出 input_schema 和 MCP 定義，CI 會在規格漂移時自動失敗。

影片從業人員、剪接助理，或者任何需要把 FFmpeg 操作交給 AI 代理、又不想把素材外流的團隊，都會較易受惠。對一般開發者而言，這也是少數把 SPEC 概念實踐到「CLI 即 schema」程度的開源項目。

GitHub

Categories: 開源, Agentic, AI productions, MCP, Video, 影像處理, Audio, 工具, Python, Skill 技能

MiniMax H3 Director Studio：Windows 本地模型做 AI 影片前期製作

Share to X

Director Studio 是一個本地優先的前期製作工作空間，串接 Ollama 規劃鏡頭、ComfyUI 生成畫面，再交由 MiniMax H3 出片，特別適合想完全控制創作流程的獨立創作者。

Repository image for ai2764/Director-Studio

想在本地完成 AI 影片從構思到成片的整條前期流程，而不依賴雲端訂閱？Director Studio 正是針對這個需求的工作空間類工具。它把鏡頭規劃、可重用的視覺與語音資產管理、以及 MiniMax H3 Ref2AV 提示詞撰寫，整合在同一個介面內，最後透過 ComfyUI 與 MCP 協議生成圖像與影片。

與一般 ComfyUI 前端不同，它把「規劃 Agent」綁定在本地 Ollama 上運行，並與 ComfyUI 共享 VRAM，避免兩者搶顯存。用戶可以選擇全本地流程，亦能把 H3 影片交給官方 MiniMax API 處理，兼顧靈活與效能。內建的 typed asset library、演員與場景工作流、可編輯的 Picture/Audio 參考、以及六段式 H3 提示詞結構，讓鏡頭設計不再是憑感覺亂試。

Qwen3.8 27B Directs H3 | Director Studio Is Now Open Source

對於獨立創作者、小型製作團隊，或需要反覆迭代鏡頭分鏡的人，這套工作流省下了在不同工具間切換的成本。Windows 用戶只要安裝 Ollama、ComfyUI Desktop 與 Python 3.10+，再解壓官方 zip 即可透過 DirectorStudio.exe 啟動，所有資料儲存在執行檔旁的 data 目錄，方便升級前備份。

採用 FastAPI 後端配合 Vite + React 前端，規劃 LLM 透過 Ollama 執行，生成層則透過 ComfyUI MCP 串接。架構與擴展點已在 docs/ARCHITECTURE.md 說明，適合想自行修改管線的進階用戶。

需要注意，VRAM 是這套系統的瓶頸：Ollama 與 ComfyUI 需共享顯存，若要同時運行大型本地模型與高解像度影片工作流，硬體門檻不低。對於偏好全雲端、或無獨立顯卡的用戶，這套方案未必比 SaaS 工具方便。

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, 模型, 多模態模型, API, Video, Image, Audio, 工具, Content Creator, Ollama, Python, 庫, MiniMax

VibeVoice-ASR-Streaming-7B 即時辨識與轉錄合而為一

Share to X

Microsoft Research團隊將講者辨識加入串流語音轉錄，讓語音助手更快知道誰在說甚麼。

Hugging Face

Microsoft Research 聯同中國科學院大學及上海交通大學研究人員，開發VibeVoice-ASR-Streaming。

模型以 Large Language Model（LLM）為核心的端到端串流Speaker-Attributed Automatic Speech Recognition（ASR）系統，連續處理到達中的語音，同時輸出文字及講者身份。傳統流程通常把ASR與speaker diarization分開處理；此模型將兩項工作放進單一模型，針對即時語音助手及語音代理需要低延遲回應的場景，減少等待完整錄音後才分析的限制。

VibeVoice-ASR-Streaming 會交錯處理固定大小的audio chunks，並加入少量lookahead，讓模型在保留未來聲音片段作判斷的同時，逐步產生轉錄結果。固定分塊有助控制處理延遲，但lookahead 與分塊大小之間仍要取捨：前者越多，講者切換及語句判斷可能更穩定，回應時間亦可能增加。

  • 以單一LLM-based端到端模型同步處理ASR與speaker attribution
  • 使用固定大小audio chunks及少量lookahead支援串流輸出
  • 針對即時語音助手及agents的低延遲需求設計
  • 量化檔案、推論框架、硬體需求及效能指標尚未在提供內容中交代

項目主頁 · Paper · 模型

Categories: Agentic, 微軟, Audio, Discord, LLaMa, Ollama, 語音, Dataset 數據集

MiniMax H3 Semantic Bridge：單卡煉成的極輕量視頻生成適配器

Share to X

約 11 MB 的小型適配器，可在不改動 H3 權重的情況下，把跨架構語意信號融入 MiniMax H3 的視頻生成流程。

Og image

由社群開發者 speach1sdef178 發佈的 MiniMax H3 Semantic Bridge，基於 MiniMaxAI 嘅 MiniMax-H3 進行延伸，定位係一個輕量嘅 conditioning-space 適配器，主要服務於標準 H3 FL2VA 文字生成視頻流程，整個項目僅用單張 NVIDIA RTX 3090 Ti 24 GB 完成訓練，並無動用多 GPU 叢集。

這並非 LoRa、checkpoint 合併或傳統的參數轉接。此適配器在影片Transformer之前轉換原生H3條件，並將學習到的語意表示以可控強度融合回H3。佢嘅核心做法係將原本用於 SenseNova U1.5 嘅語意表示，透過跨架構遷移與蒸餾，壓縮成一個獨立嘅小型檔案（MiniMaxH3_SemanticBridge_v1.safetensors）。使用時 SenseNova 完全唔需要載入，適配器會喺視頻 transformer 之前轉換 H3 嘅原生 conditioning，再以可控強度將學到嘅語意信號混合返入 H3。檔案本身只有約 11 MB，並唔係 LoRA、權重合併或者傳統參數嫁接，安裝方法係將 MiniMax_H3_Semantic_Bridge_v1.0.zip 解壓至 ComfyUI 自訂節點目錄，再將適配器放入新增嘅 ComfyUI/models/semantic_bridge/ 資料夾即可。

目前 v1 只支援文字條件嘅標準 FL2VA 流程，Ref2VA 參考圖生成或參考音訊工作流並唔適用。官方亦提到，喺參考音訊場景插入呢個適配器時，唱歌同嘴型同步表現會明顯下降，因此使用前要留意任務邊界，避免硬套落唔支援嘅流程。呢個項目提供咗 examples/ 對照素材、workflow JSON 同研究文章，方便用家直接喺 ComfyUI 內做 Native H3 同 Semantic Bridge 嘅 A/B 比較。

重點摘要：

  • 基礎模型：MiniMaxAI/MiniMax-H3，定位係 H3 嘅 conditioning-space 適配器而非權重合併。
  • 檔案規模：約 11 MB 嘅獨立 .safetensors，外加 ComfyUI 自訂節點 zip 同 workflow JSON。
  • 訓練條件：單張 RTX 3090 Ti 24 GB 完成，無需多 GPU 叢集，SenseNova 只用於訓練階段。
  • 支援範圍：適用於 H3 FL2VA 文字生成視頻，Ref2VA 同參考音訊流程未獲支援。
  • 整合方式：放入 ComfyUI custom nodes，並透過新增節點將 conditioning 同 latent 注入原有 H3 流程。

項目主頁

Categories: 開源, ComfyUI, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Audio, MiniMax

Hojo TTS Light 輕量語音合成，4000 萬參數就做到 15 種聲線

Share to X

Hojo-TTS-Light 僅約 0.08B 參數，以 ONNX 格式在 CPU 即時合成 24 kHz 語音，並預載 15 種聲線，免依賴 PyTorch。

Og image

想把文字轉語音（TTS）嵌入邊緣裝置或本地腳本，最大阻力往往來自 PyTorch 依賴肥大、GPU 門檻高。Hojo-TTS-Light 直接以 ONNX Runtime 執行，連 PyTorch 都不用安裝，對只有 CPU 或資源受限的環境相當友善。模型檔約 4000 萬參數（0.08B），輸出 24 kHz 音訊，並內建 15 種預設說話人聲線，開發者只需切換 embedding 即可換聲，省下自行收集語料或微調的工序。

隨倉提供的 infer.py 與 onnx_model.py 展示完整推理流程，搭配 requirements.txt 即可用幾行程式碼完成合成。對需要快速在本地或伺服器側加入語音回饋的項目而言，這種「開箱即播」的設計，比傳統 TTS pipeline 更貼近部署需求。

不過，15 種聲線屬於 preset 性質，若要新增自訂說話人，就需要額外準備參考音訊與對應 embedding，無法像大型 TTS 模型那樣靠一句話克隆。整體取向偏向「輕量、即用」，而非追求擬真度或表現力。

重點摘要：

  • 參數量約 0.08B，屬輕量級 TTS 模型
  • 採用 ONNX 格式，免安裝 PyTorch 即可在 CPU 環境執行
  • 預載 15 種 speaker-conditioned 聲線，可即時切換
  • 隨附 infer.py、onnx_model.py、requirements.txt，方便快速整合
  • 發佈平台為 Hugging Face，授權與權重可至該頁查閱

適合需要把語音合成嵌進邊緣裝置、CLI 工具或本地自動化流程的開發者；對追求高擬真或自訂聲線克隆的場景，則需要再評估擴充成本。

項目主頁

Categories: 開源, 文字轉語音, Agentic, Embedding, 模型, Audio, 語音, Skill 技能

Hojo-ASR-Multi-V1：廣東話語音識別引擎

Share to X

基於 Qwen3-4B-Instruct-2507 微調而成的多語言語音辨識模型，覆蓋歐亞九種語言，嘈雜環境與口語修正都有對應訓練。

Og image

如果你聽過一段嘈雜環境裡帶口音嘅外語對話，想即時轉成文字，Hojo-ASR-Multi-V1 就係針對呢類場景設計嘅。它並非由零訓練嘅語音模型，而係喺 Qwen/Qwen3-4B-Instruct-2507 之上做微調，把語音編碼器接駁到大語言模型嘅解碼端，形成 Encoder-Adapter-LLM 嘅典型結構，再加入多幀聲學融合模組去保留細粒度嘅聲音特徵。訓練過程分階段進行並結合強化學習，所以喺噪音、非標準發音、講錯即改口呢類真實情境下都唔會輕易崩潰。

多語言覆蓋係佢最突出嘅賣點。官方公布支援德、法、西、葡、意、日、阿拉伯、韓、俄等九種主要語言，並加入咗普通話、英語、廣東話同四川話等方言支援。從公開評測結果睇，佢喺多個 CoVoST、MLS 同 FLEURS 基準上都錄得相當低嘅 WER，例如意大利 FLEURS 2.30、法語 MLS 2.95、德語 CoVoST 3.85，整體表現平穩。

喺使用層面，開發者可以透過 PyPI 上嘅 hojo-asr 套件快速部署，亦支援 Hugging Face Transformers 後端。HOJO_ASR.load_model 介面可以直接接收 wav 檔案路徑、scp 清單或原始音訊 bytes，配合 CUDA 設備做批次推論。授權用 Apache-2.0，並提供商業整合支援，方便團隊接入產品線。

由於佢建基於 Qwen3-4B 體量，運行門檻比傳統大型 ASR 親民得多，但仍然需要 GPU 推論以維持批次速度。

重點摘要：

  • 基礎模型：以 Qwen/Qwen3-4B-Instruct-2507 為骨幹，採用 Encoder-Adapter-LLM 架構
  • 語言覆蓋：歐亞九國主要語言，加普通話、英語、廣東話、四川話
  • 訓練方式：多階段模組化訓練結合強化學習，針對噪音同口語修正優化
  • 評測表現：CoVoST、MLS、FLEURS 多語言 WER 普遍處於 2–5 區間
  • 部署方式：pip install hojo-asr 後用 HOJO_ASR.load_model 載入，支援檔案路徑、scp 或 bytes 輸入

需要留意嘅係，頁面並未提供 GGUF 量化檔案或本地推論引擎資訊，目前主要以 transformers 後端配合 GPU 運行；如果你想喺純 CPU 或邊緣裝置上使用，就要留意後續會唔會補上量化版本。

項目主頁

Categories: 開源, 模型, Qwen, Audio, 庫, 語音, Dataset 數據集, 廣東話

Qwen-Audio Realtime API 上線：以 WebSocket 即時串接語音對話

Share to X

阿里巴巴雲 Model Studio 推出 Qwen-Audio Realtime API，用 WebSocket 串流處理語音輸入與輸出，支援 VAD 偵測與雙向文字回傳，適合即時語音助理開發。

Og image

想在應用程式裡加入即時語音對話，但又不想自己串接一堆音訊前處理、ASR、TTS 的流程？阿里巴巴雲 Model Studio 這次直接把 Qwen-Audio 做成可即時呼叫的 Realtime API，開發者只要透過 WebSocket 連線，就能處理語音輸入、文字輸入，並即時收到串流音訊與文字回應。

這個 API 的設計重點在於「一條連線做完整件事」。客戶端與伺服器以 JSON 事件雙向溝通，支援語音活動偵測（VAD），讓系統知道用戶何時開始與結束說話，省去自行判斷靜音的麻煩。對話中的每一則訊息會以 conversation item 形式保存，整個 session（即一條 WebSocket 連線）則負責維護設定與上下文狀態。

服務端點分為中國（北京）與新加坡兩個區域，皆已改用 workspace-specific 專屬網域，官方表示穩定度與推論表現都比原本的共用網域更好。連線時需使用 wss:// 協定，並在 request header 帶上 Authorization: Bearer <your_api_key>，API key 會在 WebSocket 握手階段驗證，若無效會直接回 HTTP 401/403。

若你的項目是語音助理、即時翻譯、客服 robot 或電話自動化，會感受到整合成本明顯降低——不用分別串 ASR、LLM、TTS，只要管理好 WebSocket 的事件流即可。舊網域雖然仍可用，但官方強烈建議遷移至新網域以取得更佳體驗。

重點摘要

  • 即時雙向串流：WebSocket 連線同時處理音訊輸入與串流輸出，搭配 VAD 自動偵測語音起止。
  • JSON 事件溝通：所有互動以結構化事件傳遞，方便除錯與日誌記錄。
  • 雙區域專屬網域：中國（北京）與新加坡皆提供 workspace-specific 端點，穩定度與推論表現提升。
  • 簡化整合流程：免去自行串接 ASR、LLM、TTS 的負擔，適合快速建構語音應用。
  • 原有網域仍可用：但官方建議盡快遷移以享受新網域的效能改善。

項目主頁

Categories: 阿里巴巴, 文字轉語音, Qwen, API, Audio, Robotic, 語音, 中國

ComfyUI-CGlide：MiniMax H3 短片創作者的自訂節點

Share to X

這是一套給 ComfyUI 用的 MiniMax H3 影片生成自訂節點，把提示詞拼裝、即時預覽、寫檔與續接四步壓成四個節點，特別適合用 H3 拍短片的人。

Repository image for CGlide/ComfyUI-CGlide

想做 H3 短片但不想在 ComfyUI 裡堆十幾個 loaders 同 text box 嘅人，可以留意 CGlide 嘅呢套自訂節點。佢將成個 H3 影片生成流程拆成四個節點：拼裝 prompt 同 conditioning、邊取樣邊預覽當下鏡頭、寫出影片檔，以及將續寫片段接返去原本嘅 clip。H3 Studio 更加將九張圖、三段影片、三段聲音同 prompt 全部塞入一個面板，但保留原本嘅 sampler 同步數，唔會插手推 sampling。

安裝好簡單，喺 ComfyUI Manager 搵 CGlide 或者 git clone 入 custom_nodes就得，不過官方提醒 ComfyUI 一定要更新，因為低 VRAM 嘅 w4a8 路徑要 0.31.0 或以上，否則會出黑畫面有聲冇畫，唔彈 error。模型要從 Comfy-Org 嘅 MiniMax H3 repo 拎，reference-to-video 或 first-last-frame checkpoint 入 diffusion_models，text encoder 入 text_encoders，影片同音訊 VAE 就擺去 vae。VRAM 唔夠嘅話可以用 Kijai 嘅 w4a8 版同 int8_convrot video VAE，大約 11.8 GB 就推到，原 workflow 唔使改。

H3 Studio: prompts, projects and clip extension for MiniMax H3

呢套節點嘅 chain 機制用 source_video 同 guide_frames 兩個輸出做接駁，比較啱做有連貫性嘅敘事短片，作者就用呢套工具完成咗 THE RECITATION。PyAV、torchaudio 同 ffmpeg 屬於依賴項目，PyAV 多數已經裝好，ffmpeg 放上 PATH 就夠，Glide Video 內部會 shell out 畀佢用。

對習慣 ComfyUI 節點工作流、又想用 H3 拍短片或敘事片段嘅創作者嚟講，呢套節點減少咗重複接線嘅時間，亦令低顯存方案更易落地。

重點摘要：
– 四節點設計：拼 prompt、即時預覽、寫檔、續接，分工清晰。
– H3 Studio 整合面板：九圖三影片三音訊同 prompt 集中管理，但唔干預 sampling。
– 低 VRAM 路徑：w4a8 加 int8_convrot VAE 約 11.8 GB，但要 ComfyUI 0.31.0 以上。
– chain 輸出：source_video 同 guide_frames 支援敘事鏡頭接駁。
– 作者實戰驗證：用同一套工具完成短片 THE RECITATION。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, 多模態模型, Video, Audio, 提示詞, 工具, Content Creator, Clone, MiniMax

ComfyUI-FL-MiniMaxH3 時間軸節點

Share to X

這套 ComfyUI 節點把 MiniMax H3 的提示詞、音訊與影片生成整理成可重拍、可分鏡及可組裝的時間軸工作流。

想控制影片每一秒出現甚麼畫面、配合節拍切分鏡頭，或者只重做其中一段而保留其餘內容，FL MiniMax H3 提供的是一套 ComfyUI workflow nodes，實際處理 MiniMax H3 影片與音訊 latent 的時間軸編排、取樣和合成問題。

核心節點會建立原生的 nested H3 video/audio latent 及 prompt conditioning。你可以手動設定 timeline，亦可接入 FL PROMPT SCHEDULE；系統支援以秒、frame 或 beat 安排提示詞，並把 H3 image、video、video audio、soundtrack 及獨立 audio reference 編碼到同一條可重用時間軸。

FL MiniMax H3 Prompt Timeline

與先將資料攤平再處理的流程相比，項目保留 MiniMax H3 原有的巢狀影片及音訊結構，並提供 native latent upscaling，調整影片 latent 的高度和寬度時毋須經過 VAE 往返。需要更細緻修整時，pixel-space refinement 才會執行 decode、resize、re-encode，再於指定 sampling-step window 內細化結果。

  • 可按節拍規劃獨立或明確分組的 shots
  • 支援 frame-exact temporal reshots，只重生成指定區間
  • 可把上一個 render 的 authored tail 作為 hard-cut motion context
  • 內置 sampler previews，並可按時間軸組裝最終影片

使用者需要已有節點所需的 H3 text encoder、video VAE 和 audio VAE；適合需要精確控制分鏡、重拍範圍和聲畫結構的 ComfyUI 創作者及影片工作流程，而非用作性能比較。

GitHub

Categories: 開源, ComfyUI, Video, Image, Audio, MiniMax

Breeze TTS 2：低延遲語音生成再推一級

Share to X

Breeze TTS 2 把即時語音互動、聲線設計同語氣控制放埋一齊，主打低延遲同高可塑性。它較適合要做配音、語音代理或互動內容嘅團隊。

BreezeBlue

Breeze TTS 2 係一個文字轉語音（text-to-speech, TTS）模型，重點唔止係把文字讀出，而係處理即時互動入面最難平衡嘅兩件事：聲音要自然，回應又要夠快。佢支援 Voice Clone、Voice Design 同 Voice Direction，代表可以由參考錄音複製聲線，亦可以純靠自然語言描述去設計新聲線，再按指令調整語氣、節奏同表達。

對內容製作、語音代理、遊戲角色配音同多語言產品來講，呢種做法比單純 TTS 更有彈性。文本內仲可以插入 Vocal Events，例如笑聲、咳嗽、清嗓子呢類表情提示，令生成聲音更接近真人演繹，而唔係只係平鋪直敘讀稿。

項目資料顯示，佢喺 Artificial Analysis TTS leaderboard 排名第一嘅 open-weight 模型，亦聲稱喺部分測試中超越商業系統。低延遲係另一個賣點：warming 後喺 NVIDIA H100 可做到少於 40 ms 的 time to first audio，RTF 約 0.32，適合即時對話場景。

不過，repo 同時寫明模型權重、衍生模型同 self-hosted outputs 只限研究同非商業用途，呢點對想直接落地嘅團隊影響好大。代碼層面提供 PyTorch inference code，但原始資料未交代完整安裝流程或部署細節，較合理嘅理解方式係先把佢視為一個面向研究與產品原型驗證的高性能 TTS 模型。

  • 支援參考錄音複製聲線，亦支援純文字描述設計新聲線
  • 可以用指令調整語氣、情緒、語速同演繹方式
  • 低延遲串流適合即時語音互動同 voice agent
  • 在 open-weight TTS 基準中聲稱領先，但授權限制較嚴
  • 適合配音、互動內容、多語言語音產品同研究團隊

項目主頁 · GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, 模型, NVIDIA, Audio, Clone, Python, 語音, Dataset 數據集
Page 2 of 7
1 2 3 4 … 7