InferNews

MiniMax H3 Director Studio：Windows 本地模型做 AI 影片前期製作

Share to X

Director Studio 是一個本地優先的前期製作工作空間，串接 Ollama 規劃鏡頭、ComfyUI 生成畫面，再交由 MiniMax H3 出片，特別適合想完全控制創作流程的獨立創作者。

Repository image for ai2764/Director-Studio

想在本地完成 AI 影片從構思到成片的整條前期流程，而不依賴雲端訂閱？Director Studio 正是針對這個需求的工作空間類工具。它把鏡頭規劃、可重用的視覺與語音資產管理、以及 MiniMax H3 Ref2AV 提示詞撰寫，整合在同一個介面內，最後透過 ComfyUI 與 MCP 協議生成圖像與影片。

與一般 ComfyUI 前端不同，它把「規劃 Agent」綁定在本地 Ollama 上運行，並與 ComfyUI 共享 VRAM，避免兩者搶顯存。用戶可以選擇全本地流程，亦能把 H3 影片交給官方 MiniMax API 處理，兼顧靈活與效能。內建的 typed asset library、演員與場景工作流、可編輯的 Picture/Audio 參考、以及六段式 H3 提示詞結構，讓鏡頭設計不再是憑感覺亂試。

Qwen3.8 27B Directs H3 | Director Studio Is Now Open Source

對於獨立創作者、小型製作團隊，或需要反覆迭代鏡頭分鏡的人，這套工作流省下了在不同工具間切換的成本。Windows 用戶只要安裝 Ollama、ComfyUI Desktop 與 Python 3.10+，再解壓官方 zip 即可透過 DirectorStudio.exe 啟動，所有資料儲存在執行檔旁的 data 目錄，方便升級前備份。

採用 FastAPI 後端配合 Vite + React 前端，規劃 LLM 透過 Ollama 執行，生成層則透過 ComfyUI MCP 串接。架構與擴展點已在 docs/ARCHITECTURE.md 說明，適合想自行修改管線的進階用戶。

需要注意，VRAM 是這套系統的瓶頸：Ollama 與 ComfyUI 需共享顯存，若要同時運行大型本地模型與高解像度影片工作流，硬體門檻不低。對於偏好全雲端、或無獨立顯卡的用戶，這套方案未必比 SaaS 工具方便。

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, 模型, 多模態模型, API, Video, Image, Audio, 工具, Content Creator, Ollama, Python, 庫, MiniMax

Dr. Claw 把 AI 研究流程收進一個可審核工作台

Share to X

一款開源 AI 研究助理，把文獻回顧、實驗、寫作整合在同一介面，讓人類決策與 AI 執行之間留下可追蹤的紀錄。

Dr. Claw

跑過 AI 研究的團隊都遇過同樣的痛：Claude Code、Gemini CLI 等命令行編碼代理（coding agents）能讀寫檔案、撐住長對話，但文獻回顧、構思、實驗、寫論文、投期刊這些步驟散落在聊天工具、IDE、終端機、寫作軟件之間，中間決策也難以回頭追溯。Dr. Claw（GitHub: OpenLAIR/dr-claw）針對的正正是這個碎片化問題——它不是另起爐灶造一個新代理，而是把現有命令行編碼代理（Claude Code、Gemini CLI、Codex，以及透過 OpenRouter 接入的數百個模型）包進一個可控、可審核、人在回路（human-in-the-loop）的工作流。

項目覆蓋 survey → ideation → experiments → paper writing → slides & promotion 整條研究生命週期，與只懂執行程式碼的 CLI 代理相比，差異在於「全流程編排層」。底層靠三個關鍵設計撐起這層：持久化狀態物件（persistent state objects）、可重用技能庫（reusable skill library），以及多執行器協調（multi-executor coordination），把計劃、執行、寫作綁成一條可恢復的循環。論文亦明確指出，比起只共享同一後端執行器的裸 CLI 代理，Dr. Claw 在研究完整性上得分更高，同時保留可審計、可回溯的過程痕跡。

對獨立研究者、AI 實驗室團隊、需要把研究流程制度化的單位而言，這套架構的價值在於把人類決策（目標、約束、驗收）與 AI 執行清楚分開，並透過 checkpoint 反饋（Verify / Revise / Retry / Handoff）保留介入點。它支援本地部署（自家機器、自家 GPU、自家資料），亦提供桌面版（.dmg / .exe）或 npx dr-claw 零安裝啟動，甚至能在終端機直接 dr-claw chat 跑 agentic 對話。

項目已被 EMNLP 2026 System Demonstrations track 收錄（arXiv: 2609.00365），並採用 AGPL-3.0 搭配上游 GPL-3.0 元件授權，免費、無訂閱。需要留意的是，它自定位為 Anthropic Claude Science 的開源、模型中立替代方案，主打全生命週期而非單純計算分析。

GitHub · Paper

Categories: 開源, Agentic, 模型, OpenAI, Gemini, 軟件, 工具, IDE, 庫, 編程, Anthropic, Skill 技能

Hojo-ASR-Multi-V1：廣東話語音識別引擎

Share to X

基於 Qwen3-4B-Instruct-2507 微調而成的多語言語音辨識模型，覆蓋歐亞九種語言，嘈雜環境與口語修正都有對應訓練。

Og image

如果你聽過一段嘈雜環境裡帶口音嘅外語對話，想即時轉成文字，Hojo-ASR-Multi-V1 就係針對呢類場景設計嘅。它並非由零訓練嘅語音模型，而係喺 Qwen/Qwen3-4B-Instruct-2507 之上做微調，把語音編碼器接駁到大語言模型嘅解碼端，形成 Encoder-Adapter-LLM 嘅典型結構，再加入多幀聲學融合模組去保留細粒度嘅聲音特徵。訓練過程分階段進行並結合強化學習，所以喺噪音、非標準發音、講錯即改口呢類真實情境下都唔會輕易崩潰。

多語言覆蓋係佢最突出嘅賣點。官方公布支援德、法、西、葡、意、日、阿拉伯、韓、俄等九種主要語言，並加入咗普通話、英語、廣東話同四川話等方言支援。從公開評測結果睇，佢喺多個 CoVoST、MLS 同 FLEURS 基準上都錄得相當低嘅 WER，例如意大利 FLEURS 2.30、法語 MLS 2.95、德語 CoVoST 3.85，整體表現平穩。

喺使用層面，開發者可以透過 PyPI 上嘅 hojo-asr 套件快速部署，亦支援 Hugging Face Transformers 後端。HOJO_ASR.load_model 介面可以直接接收 wav 檔案路徑、scp 清單或原始音訊 bytes，配合 CUDA 設備做批次推論。授權用 Apache-2.0，並提供商業整合支援，方便團隊接入產品線。

由於佢建基於 Qwen3-4B 體量，運行門檻比傳統大型 ASR 親民得多，但仍然需要 GPU 推論以維持批次速度。

重點摘要：

  • 基礎模型：以 Qwen/Qwen3-4B-Instruct-2507 為骨幹，採用 Encoder-Adapter-LLM 架構
  • 語言覆蓋：歐亞九國主要語言，加普通話、英語、廣東話、四川話
  • 訓練方式：多階段模組化訓練結合強化學習，針對噪音同口語修正優化
  • 評測表現：CoVoST、MLS、FLEURS 多語言 WER 普遍處於 2–5 區間
  • 部署方式：pip install hojo-asr 後用 HOJO_ASR.load_model 載入，支援檔案路徑、scp 或 bytes 輸入

需要留意嘅係，頁面並未提供 GGUF 量化檔案或本地推論引擎資訊，目前主要以 transformers 後端配合 GPU 運行；如果你想喺純 CPU 或邊緣裝置上使用，就要留意後續會唔會補上量化版本。

項目主頁

Categories: 開源, 模型, Qwen, Audio, 庫, 語音, Dataset 數據集, 廣東話

MiniMax-H3-Motion-Director 全能導演台節點

Share to X

ComfyUI 自訂節點 Motion Director 將 T2V、I2V、V2V 等多段生成整合到同一介面，支援分鏡重跑、跨鏡頭連貫與即時預覽，讓多片段 AI 影片製作不再被節點海淹沒。

MiniMax H3 Motion Director — Mixed Mode

用 ComfyUI 砌 AI 影片嘅朋友，多數都經歷過呢個困局：想做一個有五個鏡頭嘅項目，要由零開始接 T2V、I2V、V2V 各種 workflow，每段調好參數再串埋，節點一多就連自己都搞唔清邊段行緊、邊段要重做。Motion Director 想處理嘅就係呢個問題——佢係一個 ComfyUI 自訂節點，把多段影片生成收納到同一個 Director 介面，等你可以逐段揀唔同生成方法（T2V / I2V / FL2V / R2V / V2V / RV2V），又唔使為咗切換而重新拉整個圖。

佢同一般 ComfyUI 工作流最大嘅分別，係圍繞「項目」做設計。Director 介面入面有 Segment、Multi Segment、Final Result 三層檢視，亦有 Director Live Preview 即時顯示邊段行緊、邊段做完。跨段連貫靠 Motion Context、Context Frames、Latent Scale Lock 同生成音訊接續，仲可以將上一段已解碼嘅幀直接當下一段嘅 I2V／FL2V 輸入，避免每次都重新生成首幀。素材方面提供 Common References 同持久化 Material Library，圖、音、影片、提示詞都可以重複用。

另一個貼地嘅設計係 Selective Run——只要揀要重做嘅片段就得，唔使成條 pipeline 重跑，配合 MIXED 模式用，可以幾段文生、幾段圖生、幾段源影片剪輯混埋做項目。Director 本身係 OUTPUT_NODE，最尾嗰格就可以輸出畫面、音訊同 FPS 畀下游 ComfyUI 節點繼續接。後製方面內置 Global Refine、放大、可揀 NVIDIA RTX VSR / Deblur 同 Face Refine，不過 VSR／Deblur 要相容 NVIDIA VFX runtime，Face Refine 要 UI 揀好對應 detector／SAM 路徑。

適合要處理多鏡頭、有分鏡表、要保持視覺同音訊一致嘅創作者，例如廣告原型、MV 概念、敘事短片預覽，或者要把源影片做局部 V2V／RV2V 修補嘅後期流程。生成方面支援內建 sampling 或外部 ComfyUI SAMPLER + SIGMAS，方便想自己控制 noise schedule 嘅人。版本去到 v1.2.0，採用 GPL-3.0；硬件門檻就睇你揀嘅功能——基本生成跟返 ComfyUI 一般配置，想用 VSR／Deblur 或大尺寸放大就要 NVIDIA 顯卡同對應 runtime。

重點摘要：

  • 多段整合 Director 介面：T2V／I2V／FL2V／R2V／V2V／RV2V 同一畫面揀，逐段切換唔使重拉 workflow
  • Selective Run + Mixed Mode：只重跑指定片段，唔使成條 pipeline 由頭嚟
  • 跨鏡頭連貫：Motion Context、Context Frames、Latent Scale Lock 同音訊接續，仲可以重用上一段解碼幀
  • 內建 Live Preview 與三層檢視：Director 介面直接睇 Segment／Multi Segment／Final Result
  • 後製選項齊全：Global Refine、放大、可選 RTX VSR／Deblur 與 Face Refine，對硬件有特定要求

GitHub

Categories: 開源, ComfyUI, AI productions, NVIDIA, Video, 框架, 庫, MiniMax

Semantica 用圖譜為 AI 決策加上可追溯證據

Share to X

Semantica 把分散企業資料整理成 Context Graph 和知識圖譜，再為 AI 決策保留可審計的來龍去脈。對需要解釋原因、追查來源的團隊，這比單靠向量索引更實用。

Semantica

Semantica 是一個開源 Python 庫，做的是把企業資料整理成可查詢的 Context Graph 與 knowledge graph（KG），再把推理、決策與來源脈絡一併留下。它特別適合需要回答「AI 為何這樣判斷」的場景，因為每一步都能追到資料來源與處理過程。

它的做法不是只做檢索，而是先從零散資料抽取實體、關係和衝突資訊，再處理去重、譜系與本體管理，讓圖譜可直接承接 GraphRAG、因果推理和決策分析。官方也提到可自架，並支援 RDF 與 LPG，方便接入既有資料平台。

Semantica Platform Tour | Knowledge Graphs, Reasoning & Decision Intelligence

對 Databricks、Snowflake，或者受監管行業的資料與平台團隊，比把資料送去第三方 SaaS 更貼近實際要求。它不只服務 AI/ML platform teams，也照顧合規、風險和審計需求，因為 provenance 和 lineage 不是事後補寫，而是系統的一部分。

目前文件強調的是可解釋、可追溯與可自託管，並沒有把自己包裝成單純的模型套件。若團隊已經有 LangGraph、CrewAI 或 LlamaIndex，Semantica 比較像補上「上下文治理」與「決策證據」那一層，而不是取代原本的 LLM 流程。

  • 把碎片化資料轉成可查詢的 Context Graph 和 KG
  • 保留決策來源、譜系與審計軌跡
  • 支援 GraphRAG、因果推理與本體管理
  • 可自架，避免資料先送出企業邊界
  • 適合合規、風險與 AI 平台團隊

項目主頁 · GitHub

Categories: 開源, Agentic, KnowledgeGraph, LangGraph, Python, 庫

VoiceMem 讓語音 AI 記住你的情緒與偏好

Share to X

VoiceMem 以流式雙腦架構處理事實記憶、情緒與人格，讓語音智能體在對話中更懂使用者，同時控制延遲與成本。

VoiceMem Logo

語音智能體要記住「我是素食者、對堅果過敏」，並不只是保存轉錄文字，還要分辨人物、情緒、偏好與性格。VoiceMem 屬於語音 AI 記憶引擎及可整合的庫，處理音訊輸入、記憶抽取、檢索和回應前的上下文注入，讓長期個人化對話不必每次重新建立背景。

它採用 VoiceMem Dual-Brain Streaming Architecture（流式雙腦架構）：左腦以 schema 與 entity 組織事實記憶，右腦獨立管理情緒、偏好和人格，亦維護跨 entity 的關聯。音訊仍在輸入期間，系統已經分段、轉錄、抽取資料並寫入記憶圖；查詢時先路由及排序，只把 Top-K 記憶放入上下文，減少語音回應需要處理的內容。

  • 左腦在 Top-3 限制下維持 Mem0 的滿載性能
  • 右腦加入長短期情緒歸因及交叉節點
  • 透過壓縮資訊、分層儲存和流式查詢降低等待時間
  • 單輪查詢約需 300 token，架構及底層記憶引擎可替換

VoiceMem 內置 ASR（Automatic Speech Recognition）、聲紋、場景、情緒感知及本地 embedding 元件，亦提供離線記憶引擎和 streaming interface。倉庫資訊包含 Python 庫、互動式網頁 demo、VoiceMem_Default_Models_Env 模型環境，以及可選的 Qwen 回應模型；但完整硬件要求、服務依賴和模型授權仍需按連結內容逐項確認，不能單靠 README 推斷。

ChatMem-400K 以記憶世界構建、SLM 驗證的 online on-policy distillation 和人工修訂三階段製作，配合 VoiceMem Model Families 的 Qwen3 6 35B A3B Qlora 模型系列。這令項目較適合需要長期語音陪伴、個人助理、客服或具情緒連續性的 voice agent 團隊；對只需短對話轉錄的工作流，雙腦記憶層會增加整合和維護成本。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 清華大學, Agentic, Embedding, 多模態模型, Qwen, Python, 庫, 語音

needle：14MB 本地工具模型，專攻結構化操作

Share to X

Needle 2 把工具呼叫、裝置操作和結構化抽取收進單一 14MB 引擎，本地跑完整對話只需約 28MB RAM。它適合要低記憶體、離線部署又要輸出 JSON 的工作流。

Needle

Needle 2 屬於用於 tool calling 的小型模型，同時處理 device use 和 structured extraction。它把輸入文字轉成可直接接入工作流的結構化結果，適合在本地裝置、隔離網絡環境或資源很緊的情況下部署。

這個 Python package 提供 inference、LoRA fine-tuning 和 export，安裝後會先從 Hugging Face 下載一次 engine，再在本機快取，之後不再依賴網絡。開發者只要描述工具，模型就會按 schema 產生 JSON，並用 byte-level grammar 收窄輸出範圍，減少格式跑偏。

This 14MB AI Model Runs Locally — Needle 2 Explained

它和同類小模型的取捨很明確：45M 參數、單一 14MB binary，換來的是極低記憶體佔用和離線運行能力；官方測試也顯示，它會和 FunctionGemma 270M、LFM2.5 230M 及 Apple FM 互有勝負，但體積小得多。另一個做法是加入 confidence score，低於門檻就可以交回人工或上層流程處理。

  • 單一引擎打包，部署時不用分開管理權重檔
  • 以 JSON 與 schema 約束輸出，方便串接工具鏈
  • 支援大量工具目錄，但每輪只取 top five
  • 256-token sliding window 令記憶體維持在約 28MB
  • 適合離線裝置、邊緣設備和需要穩定結構輸出的團隊

GitHub · 模型

Categories: 開源, 模型, 模型訓練, Python, 庫, 蘋果

demystify-agent-skills：Agent Skills 點樣幫到代理，又會喺邊度失手

Share to X

呢個研究項目唔係再做一個新 agent，而係拆解 Agent Skills 真正幫緊乜、又會喺邊一步開始失靈。這項目讓你會更易判斷技能封裝值唔值得放入自己嘅自動化流程。

Offline retrieval precision

當你想將一段成功經驗整理成可重用指引，最麻煩唔係有冇記錄，而係代理之後會唔會真係拎啱、用得啱。demystify-agent-skills 係一個研究型程式碼項目，圍繞 Agent Skills、Workflow Memory 同 raw trajectories 做受控比較，集中處理代理經驗應該點樣封裝，先至更有機會幫到後續任務。

佢吸引嘅地方不只是話「技能有用」，而係拆開幾層去驗證。相同來源經驗同相同目標任務之下，Skill 成功率有 61.9%，高過 Workflow Memory 嘅 55.9%，差距係 6.06 個百分點；但增益主要來自 procedural anchoring，佔 65.7%，唔係靠明示成功或失敗標籤去灌輸知識。

  • 同一批 agent trajectories 會被整理成 raw、Workflow Memory 同標準化 SKILL.md，再放返去同一類 target tasks 測試
  • retrieval、agent selection 同 real execution 係分開檢查，唔當成單一路徑
  • skill pool 由 5 增加到 100 時，embedding top-1 precision 由 88.3% 跌到 76.9%
  • parsed actual-use precision 會由 29.6% 進一步跌到 3.3%，但 downstream success 仍大致維持喺 36% 至 39%

「識得檢索」同「真係用對技能」原來係兩回事。項目指出 invocation 本身會帶來新失敗邊界：Skill 案例入面，有 10.0% 係誤用或者忽略技能指引，明顯高過 Raw 嘅 0.8% 同 Workflow Memory 嘅 0.4%。換句話講，技能格式改善咗執行穩定度，卻同時引入另一個決策風險。

呢個項目較適合研究 Agentic workflow、做 AI agent 評測，或者想建立可重用 skill library 嘅團隊重現。並非安裝一個即用產品，而係沿住 raw traces、matched artifacts、retrieval diagnostics 同 target task evaluation 去重跑實驗；對正在設計 Computer-use agents、CUAs 或其他多步代理流程嘅人，呢份分析比單看總成功率更有參考價值。

項目主頁 · GitHub

Categories: 開源, Agentic, Embedding, 庫, Skill 技能

HarnessEval-W 讓世界模型評測留下可核查推理鏈

Share to X

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

HarnessEval logo

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

  • 支援 330 個 evaluation cases、5,940 次 scored rollouts
  • 以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
  • 涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
  • 包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, 世界模型, 庫, Dataset 數據集, Skill 技能

dembrandt：把網站風格秒轉成可追蹤的設計 tokens

Share to X

Dembrandt 直接把網站的 logo、色彩、字體和間距抽成 design tokens，方便你在 AI 工具或 CI 裡持續比對變化。它不只做擷取，還把每次改版的風格漂移記錄下來。

Dembrandt: Any website to design tokens

Dembrandt 係一個用來抽取網站設計系統嘅工具，重點係將 logo、色彩、字體、邊框、陰影等視覺元素整理成 design tokens，方便團隊快速理解一個網站嘅視覺規則。對做前端、設計系統或者品牌一致性檢查嘅人嚟講，佢可以省去逐頁抄資料嘅時間。

使用時要先準備 Chromium，因為它透過 Playwright 核心去驅動瀏覽器，唔裝 browser binaries 就冇得啟動。安裝後可以用 CLI 直接抽取，亦可以透過 MCP 接入 Claude Code、Cursor 或 Windsurf，令 AI 助手幫你讀出 tokens。

同類工具多數只做一次性擷取，Dembrandt 加入咗漂移追蹤同快照時間線，令你可以比較兩次發佈、兩個網站，或者同一個 domain 喺唔同時間嘅變化。佢仲提供視覺差異、分類分數同 baseline 比對，對 CI 監察改版影響特別有用。

  • 可把網站外觀整理成可重用嘅 design tokens
  • 需要先安裝對應 Chromium，否則無法運行
  • 支援 MCP，方便接入 AI 編程工作流
  • 可以記錄快照，持續追蹤設計漂移
  • 適合前端、設計系統同品牌檢查工作

如果團隊要維持多個頁面或多次發布之間嘅視覺一致性，呢個工具比單次擷取更有用。它將抽取、比較同追蹤放埋一齊，令設計變化唔容易悄悄走樣。

GitHub

Categories: 開源, MCP, IDE, 庫
Page 2 of 7
1 2 3 4 … 7