Show-Harness：VLM 極簡語意操縱機械臂

2026 年 9 月 10 日 Share to X Copy link

Show-Harness 把機械人控制壓縮成一組離散語意動作單位，讓視覺語言模型直接負責物理決策，省去針對特定硬件的預訓練與額外參數。

機械人領域一直有個尷尬落差：底層視覺語言模型（VLM）識睇識講，但要佢實際控制一隻機械臂，往往要再預訓練、加 VLA 頭或寫一大堆適配層。Show-Harness 嘗試用另一種方式切入──直接把動作壓縮成一組細粒度、離散的語意單位（例如 MV_FWD、GRASP、ROTATE_CW），由 VLM 逐個 token 推理，再交俾硬件專屬嘅 interpreter 去 deterministically 落地成實際機械動作。換句話，VLM 唔再需要理解「毫米」或「關節角度」，只需揀語意單位。

你可以用兩種方式跑：直接接駁前沿閉源 VLM 做 zero-shot 控制，又或者拎幾個 GPU 小時微調小型開源 VLM，產出每秒 12 至 33 Hz 嘅本地執行版本。Franka、AgileX Piper（單臂同雙臂）、ManiSkill、Isaac Lab 都共用同一套詞彙同一個 prompt，唔使逐隻 robot 寫 prompt。項目同時附帶 GUMI：一個瀏覽器內嘅 GUI 操作介面，等你可以用鍵盤滑鼠親身「玩」機械人收 demonstration，完全唔需要專業遙操作硬件。

• 極薄中介層：VLM 只負責揀語意 token，所有 metric 細節由 interpreter 處理，避免額外模型容量開支
• 跨硬件共用詞彙：Franka、AgileX、ManiSkill、Isaac Lab 共用同一套動作字典與 prompt
• 兩種部署路徑：前沿閉源 VLM zero-shot，又或者 LoRA 微調小型開源 VLM，本地即可執行
• GUMI 無硬件收數據：瀏覽器內 GUI 操作即收 demonstration，省去 teleoperation 設備
• 插件式消融設計：一個目錄、一個 boolean flag，閂咗就等同冇裝

相對於 π0.5 同 GR00T 呢類 VLA 路線，Show-Harness 嘅取捨偏向「interface 解耦」──唔再要求模型本身內化硬件物理量，而是把 metric 還返俾環境層解讀。對做具身研究、想快速換 embodiment 驗證嘅團隊，或者資源有限、要靠 LoRA 微調部署嘅實驗室都幾實用；研究 embodied agent 同 VLM 接駁嘅開發者都可以直接拎去試 prompt 同詞彙設計。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 模型訓練, VLA, Robotic, Dataset 數據集

---

PWM(Programmable World Model) 以世界模型驅動影片生成

2026 年 9 月 10 日 Share to X Copy link

AlayaLab 開源的 Programmable World Model 把世界狀態與畫面生成拆開管理，讓角色、事件與鏡頭外的物件都能被查詢、修改與驗證，不再只靠潛在影像記憶。

影片世界模型能夠即時渲染出像真的畫面，但畫面背後其實欠缺一部「世界引擎」——狀態藏在影像序列裡，難以檢查、編輯或驗證，鏡頭一轉，鏡頭外的角色與潛在事實就會被悄悄遺忘。AlayaLab 開源的 Programmable World Model（簡稱 PWM）正正針對這個痛點，把世界狀態的維護與視覺生成徹底解耦，由一個 state executor 負責推進世界狀態，再由 deterministic compiler 把以 state-augmented 3D OBB 描述的狀態投影成 pixel-aligned controls，最後才交給影片模型渲染畫面。

這個框架真正解決的問題，是讓世界「可被編程」。同一份世界狀態可以驅動任意鏡頭、任意視覺風格，角色即使離開畫面依然存在，事件具備不可逆性，亦可由規則觸發；使用者可以用類似 WASD 的方式操控，並預先以語言定義世界規則。一個 VLM-based agent 會讀取參考圖與開放式文字，自動寫出可執行的世界規格。

PWM 屬於框架類項目，定位接近研究原型。與 Genie 3、GameNGen 等同類做法相比，PWM 的取捨在於放棄純端到端的潛在表達，換取可查詢、可驗證、可長時序的狀態；對於遊戲開發者、需要可控互動世界的模擬研究者，以及想用程式化方式生成可控影片內容的團隊，這種顯式狀態設計明顯更貼近「世界引擎」的真正需求。

目前 PWM 已釋出技術報告，推理程式碼與預訓練權重尚未開源，因此暫時只能從紙面層面理解並等待官方補上權重。從架構看，這個方向對於追求可控性與持久性的應用場景會有明顯吸引力。

重點摘要：

• 狀態與畫面解耦：狀態由 executor 維護，畫面由影片模型渲染，互不綁定
• 可查詢、可驗證的世界事實：角色、事件與鏡頭外實體都能被檢查與修改
• 持久世界：鏡頭外的物件與潛在狀態不再被遺忘，長時序互動更可靠
• VLM agent 自動生成世界規格：以參考圖加文字描述即可寫出可執行的世界規則
• 尚待補完：推理程式碼與預訓練權重仍未釋出，目前以技術報告形式呈現

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 世界模型, Video, Image, 框架, 3D

---

anything2explainer：把任何主題變成科普影片

2026 年 9 月 10 日 Share to X Copy link

它不是 CLI，而是一套交給 AI 編碼 agent 用的方法包：從研究、旁白、字幕到分鏡，都用 Remotion 寫成 React 元件，產出可逐幀追溯的解說影片。

當你丟一個主題或一篇文件給它，系統會先做資料蒐集並標註來源，再寫旁白、生成 TTS 語音，並把時間軸對齊到逐個鏡頭。接著多個建構 agent 平行運作，每個負責一個 Remotion（React + TypeScript）元件，QC agent 再依書面標準審查每一幀。輸出是 1280×720 H.264 MP4，配上字幕、章節卡與進度條，全程沒有現成影片或生成式影像模型的痕跡。

這套流程對創作者的最大意義在於可追溯。每個鏡頭都有自己的原始碼、QC 報告與研究文件，螢幕上出現的年份、數字、英文術語都要對得到來源 URL；live-action B-roll 也強制記錄在 MANIFEST 裡，附上 sha256、來源與授權。這種「紙本文書鏈」對需要審核的場景——例如企業內訓教材或品牌內容——比多數 AI 影片工具更有交代。

在同類做法裡，它明顯偏向工程化交付而非即興 demo。Remotion 元件庫、燈光與樣式規格、多 agent 協作協議都以可複用資產形式提供，並用一段完整的參考影片作為品質基準。對會寫程式、需要大量長版講解影片但又受版權與準確性束縛的團隊——例如 SaaS 團隊做產品教學、研究單位做技術普及——會比較感受到它的價值。

限制同樣明顯：不是 CLI，必須搭配 Claude Code 或 Codex 這類 agent 環境；TTS 要自備並處理對齊；中英文以外語言未提及支援；整個流程壁鐘 1 到 3 小時，瓶頸在並行建構鏡頭的數量與長度。授權採 PolyForm Noncommercial，商用前要先看清楚。

重點摘要

• 全程程式碼繪製：用 Remotion 寫 React 元件產出每一幀，沒有生成式影片模型或現成素材。
• 可審核的紙本文書鏈：研究文件、旁白、分鏡、鏡頭原始碼、QC 報告全部保留。
• 多 agent 平行建構：研究、旁白、語音、分鏡後，由多個 agent 同時寫鏡頭元件，QC agent 再逐幀複查。
• 多語言旁白：支援中文與英文，TTS 需自備並做強制對齊。
• 非商業授權：採用 PolyForm Noncommercial，商用情境需自行評估。

GitHub

Categories: 開源, 文字轉語音, Agentic, AI productions, OpenAI, Video, Image, 工具, Content Creator, 庫, 語音, Anthropic, 動畫, Skill 技能

---

FFmpeg 變身 AI Agent 影片剪輯師：28 個工具全程本地執行

2026 年 9 月 8 日 Share to X Copy link

ffmpeg-skill 為 Claude Code、Cursor、Codex 等編碼代理補上影片剪輯能力。28 個結構化工具涵蓋剪接、字幕、HDR 轉 SDR、多機位等流程，全程本地運作、不上傳素材。

很多時候，你想叫 AI 幫你剪片、抽音、轉格式，但手上的影片根本不想上傳到雲端。ffmpeg-skill 就針對這個卡位——它不是模型，而是一套 Agent Skill，把 FFmpeg 包成 Claude Code、Cursor、Codex 或任何讀得到 SKILL.md 的代理都能用的工具集。只要機器裝好 ffmpeg 和 Python 3.9+，整套 28 個工具就能離線跑。

它跟一般「叫 AI 寫 ffmpeg 指令」的做法最大分別，在於每個工具都是帶型別參數的腳本，並非丟一段 shell 字串給模型拼裝。代理會先用 probe.py 量度時長、幀率、解析度、色彩和音軌，再依結果決定怎樣剪，文件名稱完全不被當成依據。輸出之後，結果會再被 probe 一次、比對目標規格，畫面有動過的話甚至生成 contact sheet 做肉眼覆檢。

工具覆蓋的工序相當完整：剪接、合併、去靜音、配合時長與比例、字幕與卡拉 OK 效果、overlay 與 motion graphics、HDR 轉 SDR 及 LUT、音頻清理與動態處理、含飄移修正的同步、多機位、響度校準、交付檢查、批次資料夾。音訊部分可從影片直接抽出、淨化，甚至指定軌號。而整組工具既是 CLI 也是 MCP tool，並由一份 machine-readable contract（SPEC）描述——CLI 的 argparse parser 同時衍生出 input_schema 和 MCP 定義，CI 會在規格漂移時自動失敗。

影片從業人員、剪接助理，或者任何需要把 FFmpeg 操作交給 AI 代理、又不想把素材外流的團隊，都會較易受惠。對一般開發者而言，這也是少數把 SPEC 概念實踐到「CLI 即 schema」程度的開源項目。

GitHub

Categories: 開源, Agentic, AI productions, MCP, Video, 影像處理, Audio, 工具, Python, Skill 技能

---

MiniMax H3 Director Studio：Windows 本地模型做 AI 影片前期製作

2026 年 9 月 8 日 Share to X Copy link

Director Studio 是一個本地優先的前期製作工作空間，串接 Ollama 規劃鏡頭、ComfyUI 生成畫面，再交由 MiniMax H3 出片，特別適合想完全控制創作流程的獨立創作者。

想在本地完成 AI 影片從構思到成片的整條前期流程，而不依賴雲端訂閱？Director Studio 正是針對這個需求的工作空間類工具。它把鏡頭規劃、可重用的視覺與語音資產管理、以及 MiniMax H3 Ref2AV 提示詞撰寫，整合在同一個介面內，最後透過 ComfyUI 與 MCP 協議生成圖像與影片。

與一般 ComfyUI 前端不同，它把「規劃 Agent」綁定在本地 Ollama 上運行，並與 ComfyUI 共享 VRAM，避免兩者搶顯存。用戶可以選擇全本地流程，亦能把 H3 影片交給官方 MiniMax API 處理，兼顧靈活與效能。內建的 typed asset library、演員與場景工作流、可編輯的 Picture/Audio 參考、以及六段式 H3 提示詞結構，讓鏡頭設計不再是憑感覺亂試。

Qwen3.8 27B Directs H3 | Director Studio Is Now Open Source

對於獨立創作者、小型製作團隊，或需要反覆迭代鏡頭分鏡的人，這套工作流省下了在不同工具間切換的成本。Windows 用戶只要安裝 Ollama、ComfyUI Desktop 與 Python 3.10+，再解壓官方 zip 即可透過 DirectorStudio.exe 啟動，所有資料儲存在執行檔旁的 data 目錄，方便升級前備份。

採用 FastAPI 後端配合 Vite + React 前端，規劃 LLM 透過 Ollama 執行，生成層則透過 ComfyUI MCP 串接。架構與擴展點已在 docs/ARCHITECTURE.md 說明，適合想自行修改管線的進階用戶。

需要注意，VRAM 是這套系統的瓶頸：Ollama 與 ComfyUI 需共享顯存，若要同時運行大型本地模型與高解像度影片工作流，硬體門檻不低。對於偏好全雲端、或無獨立顯卡的用戶，這套方案未必比 SaaS 工具方便。

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, 模型, 多模態模型, API, Video, Image, Audio, 工具, Content Creator, Ollama, Python, 庫, MiniMax

---

Dr. Claw 把 AI 研究流程收進一個可審核工作台

2026 年 9 月 8 日 Share to X Copy link

一款開源 AI 研究助理，把文獻回顧、實驗、寫作整合在同一介面，讓人類決策與 AI 執行之間留下可追蹤的紀錄。

跑過 AI 研究的團隊都遇過同樣的痛：Claude Code、Gemini CLI 等命令行編碼代理（coding agents）能讀寫檔案、撐住長對話，但文獻回顧、構思、實驗、寫論文、投期刊這些步驟散落在聊天工具、IDE、終端機、寫作軟件之間，中間決策也難以回頭追溯。Dr. Claw（GitHub: OpenLAIR/dr-claw）針對的正正是這個碎片化問題——它不是另起爐灶造一個新代理，而是把現有命令行編碼代理（Claude Code、Gemini CLI、Codex，以及透過 OpenRouter 接入的數百個模型）包進一個可控、可審核、人在回路（human-in-the-loop）的工作流。

項目覆蓋 survey → ideation → experiments → paper writing → slides & promotion 整條研究生命週期，與只懂執行程式碼的 CLI 代理相比，差異在於「全流程編排層」。底層靠三個關鍵設計撐起這層：持久化狀態物件（persistent state objects）、可重用技能庫（reusable skill library），以及多執行器協調（multi-executor coordination），把計劃、執行、寫作綁成一條可恢復的循環。論文亦明確指出，比起只共享同一後端執行器的裸 CLI 代理，Dr. Claw 在研究完整性上得分更高，同時保留可審計、可回溯的過程痕跡。

對獨立研究者、AI 實驗室團隊、需要把研究流程制度化的單位而言，這套架構的價值在於把人類決策（目標、約束、驗收）與 AI 執行清楚分開，並透過 checkpoint 反饋（Verify / Revise / Retry / Handoff）保留介入點。它支援本地部署（自家機器、自家 GPU、自家資料），亦提供桌面版（.dmg / .exe）或 npx dr-claw 零安裝啟動，甚至能在終端機直接 dr-claw chat 跑 agentic 對話。

項目已被 EMNLP 2026 System Demonstrations track 收錄（arXiv: 2609.00365），並採用 AGPL-3.0 搭配上游 GPL-3.0 元件授權，免費、無訂閱。需要留意的是，它自定位為 Anthropic Claude Science 的開源、模型中立替代方案，主打全生命週期而非單純計算分析。

GitHub · Paper

Categories: 開源, Agentic, 模型, OpenAI, Gemini, 軟件, 工具, IDE, 庫, 編程, Anthropic, Skill 技能

---

VibeVoice-ASR-Streaming-7B 即時辨識與轉錄合而為一

2026 年 9 月 7 日 Share to X Copy link

Microsoft Research團隊將講者辨識加入串流語音轉錄，讓語音助手更快知道誰在說甚麼。

Microsoft Research 聯同中國科學院大學及上海交通大學研究人員，開發VibeVoice-ASR-Streaming。

模型以 Large Language Model（LLM）為核心的端到端串流Speaker-Attributed Automatic Speech Recognition（ASR）系統，連續處理到達中的語音，同時輸出文字及講者身份。傳統流程通常把ASR與speaker diarization分開處理；此模型將兩項工作放進單一模型，針對即時語音助手及語音代理需要低延遲回應的場景，減少等待完整錄音後才分析的限制。

VibeVoice-ASR-Streaming 會交錯處理固定大小的audio chunks，並加入少量lookahead，讓模型在保留未來聲音片段作判斷的同時，逐步產生轉錄結果。固定分塊有助控制處理延遲，但lookahead 與分塊大小之間仍要取捨：前者越多，講者切換及語句判斷可能更穩定，回應時間亦可能增加。

• 以單一LLM-based端到端模型同步處理ASR與speaker attribution
• 使用固定大小audio chunks及少量lookahead支援串流輸出
• 針對即時語音助手及agents的低延遲需求設計
• 量化檔案、推論框架、硬體需求及效能指標尚未在提供內容中交代

項目主頁 · Paper · 模型

Categories: Agentic, 微軟, Audio, Discord, LLaMa, Ollama, 語音, Dataset 數據集

---

Spark-X2.5：4B 參數追平 12B

2026 年 9 月 7 日 Share to X Copy link

Spark-X2.5-4B 用混合架構把 1M token 上下文塞進小模型，並在編碼與 Agent 場景追上 12B 等級對手。

Spark-X2.5-4B 由 XHToken 發佈，基礎模型標註為 XHToken/Spark-X2.5-4B-Base，屬於通用對話型 LLM，覆蓋寫作、翻譯、推理、編碼、工具調用與 Agent 工作流。「小模型也能扛長上下文」這條路線：採用 1 層全注意力 + 3 層滑窗注意力（sliding-window attention）的混合架構，把長序列的計算成本壓低，同時原生支援最長 1M token 上下文。對本地開發者而言，這代表不必依賴昂貴的長上下文方案，也能處理長文檔或多輪 Agent 記錄。

模型在 Agent 整合上做了明確適配，與 Codex、Claude Code、OpenClaw、Hermes 等主流 agent harness 對齊，讓它在編碼與工具調用評測中，在同尺寸開源模型裡取得領先位置。對想自架本地 Agent 的人來說，這層適配省去不少 prompt 與調用格式的微調工作。

部署兼容性是它的另一個賣點：原生支援 NVIDIA、華為、海光、HOUMO.AI 等硬件平台，推論框架覆蓋 vLLM、SGLang、llama.cpp、MLX，亦可透過 Ollama、LM Studio 快速啟動。頁面提供 Hugging Face Transformers 格式的權重與配置，授權為 Apache-2.0。

Spark-X2.5-4B 適合追求長上下文與 Agent 能力、又受限於硬件預算的開發者，但要實際部署前宜留意量化檔案與推論引擎的官方更新。

重點摘要：
– 基礎模型：基於 XHToken/Spark-X2.5-4B-Base 微調的對話模型
– 混合注意力架構：1 層全注意力 + 3 層滑窗，原生支援 1M token 上下文
– Agent 整合：適配 Codex、Claude Code、OpenClaw、Hermes 等主流 agent harness
– 硬件與推論支援：涵蓋 NVIDIA、華為等平台，兼容 vLLM、SGLang、llama.cpp、MLX，可走 Ollama 與 LM Studio
– 授權：Apache-2.0；頁面未列出 GGUF 量化檔，部署前需留意官方或社群進度

項目主頁 · 項目

Categories: 開源, Agentic, 模型, 框架, OpenClaw

---

Hojo TTS Light 輕量語音合成，4000 萬參數就做到 15 種聲線

2026 年 9 月 6 日 Share to X Copy link

Hojo-TTS-Light 僅約 0.08B 參數，以 ONNX 格式在 CPU 即時合成 24 kHz 語音，並預載 15 種聲線，免依賴 PyTorch。

想把文字轉語音（TTS）嵌入邊緣裝置或本地腳本，最大阻力往往來自 PyTorch 依賴肥大、GPU 門檻高。Hojo-TTS-Light 直接以 ONNX Runtime 執行，連 PyTorch 都不用安裝，對只有 CPU 或資源受限的環境相當友善。模型檔約 4000 萬參數（0.08B），輸出 24 kHz 音訊，並內建 15 種預設說話人聲線，開發者只需切換 embedding 即可換聲，省下自行收集語料或微調的工序。

隨倉提供的 infer.py 與 onnx_model.py 展示完整推理流程，搭配 requirements.txt 即可用幾行程式碼完成合成。對需要快速在本地或伺服器側加入語音回饋的項目而言，這種「開箱即播」的設計，比傳統 TTS pipeline 更貼近部署需求。

不過，15 種聲線屬於 preset 性質，若要新增自訂說話人，就需要額外準備參考音訊與對應 embedding，無法像大型 TTS 模型那樣靠一句話克隆。整體取向偏向「輕量、即用」，而非追求擬真度或表現力。

重點摘要：

• 參數量約 0.08B，屬輕量級 TTS 模型
• 採用 ONNX 格式，免安裝 PyTorch 即可在 CPU 環境執行
• 預載 15 種 speaker-conditioned 聲線，可即時切換
• 隨附 infer.py、onnx_model.py、requirements.txt，方便快速整合
• 發佈平台為 Hugging Face，授權與權重可至該頁查閱

適合需要把語音合成嵌進邊緣裝置、CLI 工具或本地自動化流程的開發者；對追求高擬真或自訂聲線克隆的場景，則需要再評估擴充成本。

項目主頁

Categories: 開源, 文字轉語音, Agentic, Embedding, 模型, Audio, 語音, Skill 技能

---

RoboTok：用 YouTube 影片教機械手做家務

2026 年 9 月 5 日 Share to X Copy link

RoboTok 把網上大量的人手操作影片變成機器人訓練素材，對應一段示範就能自動撈出動作相似的影片做模仿學習，等 AI 機械手多了一條低成本數據來源。

想訓練機械手做家務，最貴的部分往往不是模型，而是數據。RoboTok 由 Rice University 及 NVIDIA 合作開發，直接從海量網絡影片中撈取人手操作片段，再交給擬人機械手學習。它屬於一種數據引擎兼策略學習框架，把「找對數據」這一步自動化掉。

核心做法是把人手動作抽成以軀幹為基準的 3D 手部軌跡，再學一個嵌入空間，用 DTW（Dynamic Time Warping）相似度作監督，令同一種操作（例如倒水、摺衫）在不同鏡頭、不同人、不同場景下都能對齊。查詢時只要給一段示範影片，系統就用 cosine similarity 找出動作最相近的網絡片段。

• 以軌跡為單位做檢索：避開外觀差異，直接比動作本體，所以鏡頭變、場景變、人變都唔會影響配對。
• 配套軀幹估計模型：用雙手軌跡反推出身體/軀幹參考框，減少裁切與遮擋帶來的偏差。
• FAISS + GPU DTW：向量檢索用 FAISS，DTW 內核用 numba CUDA，跑大規模影片庫唔會慢到難以迭代。
• 機械人策略學習閉環：檢索結果直接餵下游模仿學習，做擬人機械手 policy 訓練，並已在仿真及真機任務做評估。

同類做法多數只用影片幀或粗糙動作標籤做檢索，容易被背景雜訊干擾。RoboTok 走 3D 手部軌跡嵌入這條路，換來更精準的動作匹配，但代價是 pipeline 較重：要裝 MANO/SMPL-H 體模、CUDA 環境，再跑一套自帶的訓練與評估流程。

最受惠的是做擬人機械手、靈巧操作（dexterous manipulation）研究的團隊，以及想用低成本網絡影片取代部分遙操作數據的工作小組。對只想要開箱即用機械人策略的人來說，門檻仍然偏高；對做數據策展與 representation learning 的人，呢套引擎本身就值得參考。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型訓練, NVIDIA, Robotic, 3D

---