InferNews

Dr. Claw 把 AI 研究流程收進一個可審核工作台

Share to X

一款開源 AI 研究助理，把文獻回顧、實驗、寫作整合在同一介面，讓人類決策與 AI 執行之間留下可追蹤的紀錄。

Dr. Claw

跑過 AI 研究的團隊都遇過同樣的痛：Claude Code、Gemini CLI 等命令行編碼代理（coding agents）能讀寫檔案、撐住長對話，但文獻回顧、構思、實驗、寫論文、投期刊這些步驟散落在聊天工具、IDE、終端機、寫作軟件之間，中間決策也難以回頭追溯。Dr. Claw（GitHub: OpenLAIR/dr-claw）針對的正正是這個碎片化問題——它不是另起爐灶造一個新代理，而是把現有命令行編碼代理（Claude Code、Gemini CLI、Codex，以及透過 OpenRouter 接入的數百個模型）包進一個可控、可審核、人在回路（human-in-the-loop）的工作流。

項目覆蓋 survey → ideation → experiments → paper writing → slides & promotion 整條研究生命週期，與只懂執行程式碼的 CLI 代理相比，差異在於「全流程編排層」。底層靠三個關鍵設計撐起這層：持久化狀態物件（persistent state objects）、可重用技能庫（reusable skill library），以及多執行器協調（multi-executor coordination），把計劃、執行、寫作綁成一條可恢復的循環。論文亦明確指出，比起只共享同一後端執行器的裸 CLI 代理，Dr. Claw 在研究完整性上得分更高，同時保留可審計、可回溯的過程痕跡。

對獨立研究者、AI 實驗室團隊、需要把研究流程制度化的單位而言，這套架構的價值在於把人類決策（目標、約束、驗收）與 AI 執行清楚分開，並透過 checkpoint 反饋（Verify / Revise / Retry / Handoff）保留介入點。它支援本地部署（自家機器、自家 GPU、自家資料），亦提供桌面版（.dmg / .exe）或 npx dr-claw 零安裝啟動，甚至能在終端機直接 dr-claw chat 跑 agentic 對話。

項目已被 EMNLP 2026 System Demonstrations track 收錄（arXiv: 2609.00365），並採用 AGPL-3.0 搭配上游 GPL-3.0 元件授權，免費、無訂閱。需要留意的是，它自定位為 Anthropic Claude Science 的開源、模型中立替代方案，主打全生命週期而非單純計算分析。

GitHub · Paper

Categories: 開源, Gemini, OpenAI, Agentic, 軟件, 工具, IDE, 庫, 模型, 編程, Anthropic, Skill 技能

EditVid：零訓練、單一框架處理五大影片編輯任務

Share to X

伊利諾伊大學 PLAN Lab 推出 EditVid，毋須訓練即可在一個框架內完成風格轉換、屬性修改、物件插入等多種影片編輯。

PLAN Lab Logo

想用同一套方法幫一段影片換風格、改顏色、甚至換主體，又唔想為每種任務訓練專屬模型？PLAN Lab（伊利諾伊大學厄巴納－香檳分校）嘅 EditVid 正正就係為呢個煩惱而設計。佢屬於免訓練（training-free）嘅影片編輯框架，直接喺凍結嘅多模態擴散 Transformer（MM-DiT）圖像編輯器上動手術，同時支援文字指令引導同參考圖引導兩大路線。

對一般用家嚟講，最大體感差異係：一條原本只能用嚟改顏色嘅編輯鏈，現在仲可以做局部部件編輯、物件插入、主體替換等五類任務，唔使每樣重新煉模型。你叫佢「將大象變藍色」、「將海浪轉做黑色」、「將衣服轉紅色」，佢都能在同一條流程內完成。

佢能夠兼顧短距離同長距離一致性，關鍵在於三個互相配合嘅設計：

  • 稀疏因果記憶：每幀只向前一幀取視覺鍵值狀態，避免長距離 RoPE 交互變得唔穩定。
  • 後注意力 Token 注入：用置信度同循環一致性匹配把幀同錨點幀對齊，再注入匹配到嘅視覺表示，維持主體外觀一致。
  • 軟潛空間混合：根據時間步動態調整保留權重，源內容需要保留嘅地方唔會被強行覆蓋。

量化結果方面，喺 FiVE 基準上 EditVid 拎到 78.16 分 FiVE-Acc，比目前最強嘅訓練免費基準高出近 20 分；喺 IVEBench 上面亦取得具競爭力嘅成績。用戶研究入面，超過一半受訪者（51.8%）傾向揀 EditVid 而唔係其餘 7 種對比方法。

如果日常工作涉及大量短片二次創作、廣告素材改版、或者需要快速試驗唔同視覺風格，EditVid 提供嘅「零訓練、單一框架」思路可省卻大量前置準備成本。

項目主頁 · GitHub · Paper

Categories: 開源, Video, Image, AI productions, 多模態模型, 模型, 模型訓練, 視頻模型, 框架

OmniEvalKit：唔使重新訓練 VLM 都可以聽聲答問題

Share to X

MBZUAI Oryx 團隊把 OmniEvalKit 開源出嚟，主打唔使改動 VLM 任何參數，就為佢加掛語音理解能力。對於想評估或部署多模態模型嘅團隊，可以直接拎現成骨幹即試。

Training-Free Omni

想為一個視覺語言模型加入語音理解，但又唔想重新訓練？MBZUAI Oryx 團隊開源嘅 OmniEvalKit（Training-Free Omni）就正正針對呢個痛點。它把語音先經 Whisper 抽取成帶時間戳、語言同信心分數嘅結構化文字，再連同圖片或影片幀一齊餵俾凍結嘅 VLM，所有推理都沿用原本嘅 prompt 接口，骨幹權重全程不動。換句話講，任何新嘅視覺骨幹都可以即插即用，毋須再做語音—視覺對齊微調。

它同時係一個統一嘅多模態評測框架，支援文字、圖片、影片、音頻同音視頻任務，並預載 118 個資料集適配器，涵蓋 Qwen、Gemma、MiniCPM、VILA、OmniVinci 等模型，方便做公平對齊測試。對研究人員同部署團隊而言，最直接嘅好處係可以一次過跑 56 個 benchmark、21 種語言，直接比較凍結骨幹同原生 omni 模型之間嘅差距，睇下語音能力究竟係新加出嚟定係由舊能力交換得嚟。

如果你關心 VLM 加掛語音後會唔會「失憶」，呢套框架正正提供 matched comparison，可以量化評估圖像理解、視覺定位、編碼、數學等原有強項有冇被削弱。額外支援嘅 CosyVoice3 文字轉語音輸出，亦令文本答案可以直接變成語音回覆。

要本地跑得起嚟，需要 Python 3.10+、ffmpeg，再針對 CPU、CUDA 或 ROCm 安裝對應嘅 PyTorch。之後透過 eval.sh 配環境變數指定模型同資料集即可開跑，加 MAX_SAMPLES=3 可以做煙霧測試，中斷後設 RESUME=True 可以接返。

以下係幾個值得留意嘅重點：

  • 凍結骨幹、零微調：所有 VLM 權重完全不變，語音理解透過 Whisper 抽取文字證據再加 prompt 融合達成。
  • 即插即用嘅 omni 能力：支援 Qwen2.5-Omni、Gemma、MiniCPM、VILA、OmniVinci 等多個模型適配器，方便横向比較。
  • 覆蓋廣嘅評測矩陣：內置 118 個資料集適配器，涵蓋 56 個 benchmark 與 21 種語言。
  • 原生 omni 同凍結骨幹嘅 matched 對照：可以清晰分辨新增能力同保留能力，避免重訓帶嚟嘅 capability drift。
  • 可選語音回覆：透過 CosyVoice3 把文字答案合成語音輸出，適合對話式場景。

項目主頁 · GitHub

Categories: 開源, Qwen, Gemini, NVIDIA, 文字轉語音, Video, Image, AI productions, Python, 多模態模型, 模型, 模型訓練, 視覺模型, 語音, Dataset 數據集, 框架

VibeVoice-ASR-Streaming-7B 即時辨識與轉錄合而為一

Share to X

Microsoft Research團隊將講者辨識加入串流語音轉錄，讓語音助手更快知道誰在說甚麼。

Hugging Face

Microsoft Research 聯同中國科學院大學及上海交通大學研究人員，開發VibeVoice-ASR-Streaming。

模型以 Large Language Model（LLM）為核心的端到端串流Speaker-Attributed Automatic Speech Recognition（ASR）系統，連續處理到達中的語音，同時輸出文字及講者身份。傳統流程通常把ASR與speaker diarization分開處理；此模型將兩項工作放進單一模型，針對即時語音助手及語音代理需要低延遲回應的場景，減少等待完整錄音後才分析的限制。

VibeVoice-ASR-Streaming 會交錯處理固定大小的audio chunks，並加入少量lookahead，讓模型在保留未來聲音片段作判斷的同時，逐步產生轉錄結果。固定分塊有助控制處理延遲，但lookahead 與分塊大小之間仍要取捨：前者越多，講者切換及語句判斷可能更穩定，回應時間亦可能增加。

  • 以單一LLM-based端到端模型同步處理ASR與speaker attribution
  • 使用固定大小audio chunks及少量lookahead支援串流輸出
  • 針對即時語音助手及agents的低延遲需求設計
  • 量化檔案、推論框架、硬體需求及效能指標尚未在提供內容中交代

項目主頁 · Paper · 模型

Categories: 微軟, Agentic, Audio, Discord, LLaMa, Ollama, 語音, Dataset 數據集

Spark-X2.5：4B 參數追平 12B

Share to X

Spark-X2.5-4B 用混合架構把 1M token 上下文塞進小模型，並在編碼與 Agent 場景追上 12B 等級對手。

Og image

Spark-X2.5-4B 由 XHToken 發佈，基礎模型標註為 XHToken/Spark-X2.5-4B-Base，屬於通用對話型 LLM，覆蓋寫作、翻譯、推理、編碼、工具調用與 Agent 工作流。「小模型也能扛長上下文」這條路線：採用 1 層全注意力 + 3 層滑窗注意力（sliding-window attention）的混合架構，把長序列的計算成本壓低，同時原生支援最長 1M token 上下文。對本地開發者而言，這代表不必依賴昂貴的長上下文方案，也能處理長文檔或多輪 Agent 記錄。

模型在 Agent 整合上做了明確適配，與 Codex、Claude Code、OpenClaw、Hermes 等主流 agent harness 對齊，讓它在編碼與工具調用評測中，在同尺寸開源模型裡取得領先位置。對想自架本地 Agent 的人來說，這層適配省去不少 prompt 與調用格式的微調工作。

部署兼容性是它的另一個賣點：原生支援 NVIDIA、華為、海光、HOUMO.AI 等硬件平台，推論框架覆蓋 vLLM、SGLang、llama.cpp、MLX，亦可透過 Ollama、LM Studio 快速啟動。頁面提供 Hugging Face Transformers 格式的權重與配置，授權為 Apache-2.0。

Spark-X2.5-4B 適合追求長上下文與 Agent 能力、又受限於硬件預算的開發者，但要實際部署前宜留意量化檔案與推論引擎的官方更新。

重點摘要：
– 基礎模型：基於 XHToken/Spark-X2.5-4B-Base 微調的對話模型
– 混合注意力架構：1 層全注意力 + 3 層滑窗，原生支援 1M token 上下文
– Agent 整合：適配 Codex、Claude Code、OpenClaw、Hermes 等主流 agent harness
– 硬件與推論支援：涵蓋 NVIDIA、華為等平台，兼容 vLLM、SGLang、llama.cpp、MLX，可走 Ollama 與 LM Studio
– 授權：Apache-2.0；頁面未列出 GGUF 量化檔，部署前需留意官方或社群進度

項目主頁 · 項目

Categories: 開源, Agentic, 模型, OpenClaw, 框架

Motion-Omni：「講嘢」同「做嘢」視為同一件事，直接生成全身動作

Share to X

Motion-Omni 把語音和全身動作綁在同一個模型，講一句話就能即時生成對應嘅身體動作、表情同手势，適合需要邊講邊做嘅虛擬角色。

Motion-Omni framework

試過睇虛擬角色傾偈，個口形郁但身體硬晒，或者要逐段人手配動作？Motion-Omni 想解決嘅就係呢種「聲有、體無」嘅唔自然感。佢係一個端到端嘅多模態模型，輸入一段語音，輸出唔只有語音本身，仲有頭部、表情、手势以至全身姿態，全部喺同一個框架一齊生成，避免傳統做法分開處理再硬砌嘅斷裂感。

Motion-Omni 用咗一個統一嘅 tokenizer 把語音、文本同動作 token 化，配合 LoRA（Low-Rank Adaptation）adapter 等輕量微調技術，令模型可以同時學語音同肢體表達。生成嘅動作涵蓋手部、軀幹、面部表情，適合需要即時互動嘅場景，例如 AI 助手、虛擬客服、遊戲 NPC、語音驅動嘅動畫原型。

傳統動畫要先錄關鍵動作、再做 lip-sync 後製，而坊間部分開源方案往往只能控制頭部或者手部其中一樣。Motion-Omni 嘅做法係將「講嘢」同「做嘢」視為同一件事，所以動作會跟語氣、節奏同步變化，唔使額外人手調整。佢同時支援文字輸入，等開發者可以更直接控制角色行為。

對做 AI 角色、互動內容、語音動畫嘅團隊嚟講，呢種端到端做法可以慳唔少配動作同後製嘅工序，尤其適合需要快速原型嘅項目。讀者可以透過官方頁面睇影片 demo，評估生成動作嘅自然度同延遲表現，再判斷適唔適合自己嘅工作流。

重點摘要

  • Motion-Omni 係一個端到端多模態模型，同時輸出語音、表情同全身動作
  • 用統一 tokenizer 加 LoRA adapter 處理語音、文本同動作 token
  • 覆蓋頭部、手部、軀幹同面部表情，適合即時互動角色
  • 傳統做法分開配音同配動作，呢個模型將兩者合併生成
  • 適用於 AI 助手、虛擬客服、遊戲 NPC、語音動畫原型等場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, Video, AI productions, 動畫, 多模態模型, 模型, 語音, 框架, 北京大學

MiniMax-H3 Singularity：提升影像轉影片品質

Share to X

基於 MiniMax-H3 深度微調的多模態影片模型，針對動作模糊、遠景人臉失真與光影過油等痛點進行修補。

Minimax-h3_Singularity 是建基於 MiniMax-H3 的多模態影片生成模型，採用 Apache-2.0 授權，於 ComfyUI 環境原生支援 Text-to-Video（T2V）、Image-to-Video（I2V）、Reference-to-Video（Ref2V）以及 Video-to-Video（V2V）四種工作流程。開發者並非單純做一次 LoRA 貼片，而是將 ref、fl、b25-49 等多個關鍵 checkpoint 進行策略性融合，再以高步數深度微調，最後花三天做精準剪枝與權重優化，目的是在保留 MiniMax-H3 原生 prompt 適應力與泛化能力的同時，壓住高步數訓練帶來的鬼影與過擬合。

這個版本重點針對三類常見瑕疵：高動態場景的運動模糊、Medium-to-Long Shot 距離下的人臉崩壞與糊化，以及人物皮膚過油、光澤不自然的問題。在功能面上，它特別加強了武打對戰、魔法施法、粒子光暈等奇幻動作場景的動感張力，同時提升鏡頭語言對搖鏡、推拉、追蹤等運鏡指令的回應度。

模型以 ComfyUI 節點工作流為主要入口，並附帶 RunningHub 線上 Demo 以及 YouTube、Bilibili 展示頻道連結，方便先觀察實際輸出再決定整合方式。

MiniMax H3 Singularity开源！全面微调融合，基础能力还在！嗨，大家好，这里是啊ban！快去玩！纯推荐分享视频！

重點摘要：

  • 基礎模型：以 MiniMax-H3 為底，融合 ref、fl、b25-49 等 checkpoint 做高步數微調與剪枝
  • 支援工作流：T2V、I2V、Ref2V、V2V 四種 ComfyUI 多模態流程
  • 主要修正：HDR 影像品質、遠景人臉修復、去油感光影、強化武打與魔法 VFX 動感
  • 鏡頭控制：對 pan、tilt、zoom、tracking 等運鏡指令有更敏銳回應

項目主頁

Categories: 開源, ComfyUI, Video, Image, AI productions, 多模態模型, 模型, 模型訓練, 視頻模型, MiniMax

MiniMax H3 Semantic Bridge：單卡煉成的極輕量視頻生成適配器

Share to X

約 11 MB 的小型適配器，可在不改動 H3 權重的情況下，把跨架構語意信號融入 MiniMax H3 的視頻生成流程。

Og image

由社群開發者 speach1sdef178 發佈的 MiniMax H3 Semantic Bridge，基於 MiniMaxAI 嘅 MiniMax-H3 進行延伸，定位係一個輕量嘅 conditioning-space 適配器，主要服務於標準 H3 FL2VA 文字生成視頻流程，整個項目僅用單張 NVIDIA RTX 3090 Ti 24 GB 完成訓練，並無動用多 GPU 叢集。

這並非 LoRa、checkpoint 合併或傳統的參數轉接。此適配器在影片Transformer之前轉換原生H3條件，並將學習到的語意表示以可控強度融合回H3。佢嘅核心做法係將原本用於 SenseNova U1.5 嘅語意表示，透過跨架構遷移與蒸餾，壓縮成一個獨立嘅小型檔案（MiniMaxH3_SemanticBridge_v1.safetensors）。使用時 SenseNova 完全唔需要載入，適配器會喺視頻 transformer 之前轉換 H3 嘅原生 conditioning，再以可控強度將學到嘅語意信號混合返入 H3。檔案本身只有約 11 MB，並唔係 LoRA、權重合併或者傳統參數嫁接，安裝方法係將 MiniMax_H3_Semantic_Bridge_v1.0.zip 解壓至 ComfyUI 自訂節點目錄，再將適配器放入新增嘅 ComfyUI/models/semantic_bridge/ 資料夾即可。

目前 v1 只支援文字條件嘅標準 FL2VA 流程，Ref2VA 參考圖生成或參考音訊工作流並唔適用。官方亦提到，喺參考音訊場景插入呢個適配器時，唱歌同嘴型同步表現會明顯下降，因此使用前要留意任務邊界，避免硬套落唔支援嘅流程。呢個項目提供咗 examples/ 對照素材、workflow JSON 同研究文章，方便用家直接喺 ComfyUI 內做 Native H3 同 Semantic Bridge 嘅 A/B 比較。

重點摘要：

  • 基礎模型：MiniMaxAI/MiniMax-H3，定位係 H3 嘅 conditioning-space 適配器而非權重合併。
  • 檔案規模：約 11 MB 嘅獨立 .safetensors，外加 ComfyUI 自訂節點 zip 同 workflow JSON。
  • 訓練條件：單張 RTX 3090 Ti 24 GB 完成，無需多 GPU 叢集，SenseNova 只用於訓練階段。
  • 支援範圍：適用於 H3 FL2VA 文字生成視頻，Ref2VA 同參考音訊流程未獲支援。
  • 整合方式：放入 ComfyUI custom nodes，並透過新增節點將 conditioning 同 latent 注入原有 H3 流程。

項目主頁

Categories: 開源, NVIDIA, ComfyUI, Video, Audio, 模型, 模型訓練, 視頻模型, MiniMax

Hojo TTS Light 輕量語音合成，4000 萬參數就做到 15 種聲線

Share to X

Hojo-TTS-Light 僅約 0.08B 參數，以 ONNX 格式在 CPU 即時合成 24 kHz 語音，並預載 15 種聲線，免依賴 PyTorch。

Og image

想把文字轉語音（TTS）嵌入邊緣裝置或本地腳本，最大阻力往往來自 PyTorch 依賴肥大、GPU 門檻高。Hojo-TTS-Light 直接以 ONNX Runtime 執行，連 PyTorch 都不用安裝，對只有 CPU 或資源受限的環境相當友善。模型檔約 4000 萬參數（0.08B），輸出 24 kHz 音訊，並內建 15 種預設說話人聲線，開發者只需切換 embedding 即可換聲，省下自行收集語料或微調的工序。

隨倉提供的 infer.py 與 onnx_model.py 展示完整推理流程，搭配 requirements.txt 即可用幾行程式碼完成合成。對需要快速在本地或伺服器側加入語音回饋的項目而言，這種「開箱即播」的設計，比傳統 TTS pipeline 更貼近部署需求。

不過，15 種聲線屬於 preset 性質，若要新增自訂說話人，就需要額外準備參考音訊與對應 embedding，無法像大型 TTS 模型那樣靠一句話克隆。整體取向偏向「輕量、即用」，而非追求擬真度或表現力。

重點摘要：

  • 參數量約 0.08B，屬輕量級 TTS 模型
  • 採用 ONNX 格式，免安裝 PyTorch 即可在 CPU 環境執行
  • 預載 15 種 speaker-conditioned 聲線，可即時切換
  • 隨附 infer.py、onnx_model.py、requirements.txt，方便快速整合
  • 發佈平台為 Hugging Face，授權與權重可至該頁查閱

適合需要把語音合成嵌進邊緣裝置、CLI 工具或本地自動化流程的開發者；對追求高擬真或自訂聲線克隆的場景，則需要再評估擴充成本。

項目主頁

Categories: 開源, 文字轉語音, Agentic, Audio, Embedding, 模型, 語音, Skill 技能

Hojo-ASR-Multi-V1：廣東話語音識別引擎

Share to X

基於 Qwen3-4B-Instruct-2507 微調而成的多語言語音辨識模型，覆蓋歐亞九種語言，嘈雜環境與口語修正都有對應訓練。

Og image

如果你聽過一段嘈雜環境裡帶口音嘅外語對話，想即時轉成文字，Hojo-ASR-Multi-V1 就係針對呢類場景設計嘅。它並非由零訓練嘅語音模型，而係喺 Qwen/Qwen3-4B-Instruct-2507 之上做微調，把語音編碼器接駁到大語言模型嘅解碼端，形成 Encoder-Adapter-LLM 嘅典型結構，再加入多幀聲學融合模組去保留細粒度嘅聲音特徵。訓練過程分階段進行並結合強化學習，所以喺噪音、非標準發音、講錯即改口呢類真實情境下都唔會輕易崩潰。

多語言覆蓋係佢最突出嘅賣點。官方公布支援德、法、西、葡、意、日、阿拉伯、韓、俄等九種主要語言，並加入咗普通話、英語、廣東話同四川話等方言支援。從公開評測結果睇，佢喺多個 CoVoST、MLS 同 FLEURS 基準上都錄得相當低嘅 WER，例如意大利 FLEURS 2.30、法語 MLS 2.95、德語 CoVoST 3.85，整體表現平穩。

喺使用層面，開發者可以透過 PyPI 上嘅 hojo-asr 套件快速部署，亦支援 Hugging Face Transformers 後端。HOJO_ASR.load_model 介面可以直接接收 wav 檔案路徑、scp 清單或原始音訊 bytes，配合 CUDA 設備做批次推論。授權用 Apache-2.0，並提供商業整合支援，方便團隊接入產品線。

由於佢建基於 Qwen3-4B 體量，運行門檻比傳統大型 ASR 親民得多，但仍然需要 GPU 推論以維持批次速度。

重點摘要：

  • 基礎模型：以 Qwen/Qwen3-4B-Instruct-2507 為骨幹，採用 Encoder-Adapter-LLM 架構
  • 語言覆蓋：歐亞九國主要語言，加普通話、英語、廣東話、四川話
  • 訓練方式：多階段模組化訓練結合強化學習，針對噪音同口語修正優化
  • 評測表現：CoVoST、MLS、FLEURS 多語言 WER 普遍處於 2–5 區間
  • 部署方式：pip install hojo-asr 後用 HOJO_ASR.load_model 載入，支援檔案路徑、scp 或 bytes 輸入

需要留意嘅係，頁面並未提供 GGUF 量化檔案或本地推論引擎資訊，目前主要以 transformers 後端配合 GPU 運行；如果你想喺純 CPU 或邊緣裝置上使用，就要留意後續會唔會補上量化版本。

項目主頁

Categories: 開源, Qwen, Audio, 庫, 模型, 語音, Dataset 數據集, 廣東話
Page 1 of 149
1 2 3 … 149