VoxEMW：把 Mac 變成 1.3 秒回應的私人語音助手

2026 年 8 月 24 日 Share to X Facebook Copy link

VoxEMW 將語音處理放在 Apple Silicon Mac，手機只需透過瀏覽器或 iOS 客戶端對話，回應速度與音色克隆是最大賣點。

對住手機講完一句話，約 1.3 秒後便聽到固定角色用克隆聲線回答，VoxEMW 屬於開源語音助手項目，處理判停、轉寫、對話調度及語音合成，解決語音對話延遲高、角色聲線難以保持的問題。Mac 負責主要語音管線，只有 LLM 大腦經 DeepSeek API 上雲，日常成本相對可控。

整套流程由 Silero 加 SmartTurn 負責判斷何時真正講完，Qwen3-ASR-0.6B-hf 在 MPS 上轉寫，再由 DeepSeek v4-flash 產生回覆，Qwen3-TTS-1.7B-Base 以 MLX 6bit 執行零樣本音色克隆。參考聲音配合逐字台詞便可註冊角色，首段聲音約 0.5 秒生成；中途打斷時，已播放及已聽內容會寫回上下文，對話較不容易斷層。

一块 4090 跑通 AI 视频通话全栈：Qwen3.8-27B 本地部署，对话时延 2 秒

項目需要 Apple Silicon Mac 作本地伺服器，實測以 M5、16GB 記憶體可以流暢運行，模型及環境約需下載 4GB。瀏覽器可直接連接本機介面；iPhone 或 iPad 則要透過局域網 HTTPS/WSS 連線，並自行處理 TLS 證書、Xcode 簽署及免費帳戶七日側載限制。

• 回應最快 1.26 秒，中位數約 1.6 秒，實際速度仍受網絡及 API 影響
• VAD、STT、TTS 留在本機，DeepSeek API 按 token 收費
• 支援流式字幕、空回覆重試及語音中斷後續接
• 全屏星空會隨說話及聲波變化，增加角色互動感

相比全程雲端方案，VoxEMW 減少語音資料離開家中 Mac，但需要一部 Apple Silicon Mac 長期運行；相比完全離線方案，DeepSeek API 帶來額外費用及資料傳輸考慮。適合想建立固定聲線角色、研究低延遲語音管線，或有 Mac 作家庭伺服器的開發者，普通使用者則要先接受證書、模型環境及 API 金鑰設定等門檻。

GitHub

Categories: 開源, 文字轉語音, Qwen, DeepSeek, API, 框架, Mac, 語音, 蘋果

---

Comfy-mcp：讓 AI 直接操控本地工作流

2026 年 8 月 23 日 Share to X Facebook Copy link

Comfy MCP 把本地 GPU、模型與自訂節點交給 AI 管理，令 ComfyUI 工作流可以用自然語言建立、執行及修改。

由 MiniMac Code、Claude、Cursor、Codex 等 AI agent 用自然語言建立並執行本地 ComfyUI 工作流，正是 Comfy MCP 提供的核心能力。它屬於 Model Context Protocol（MCP）伺服器，透過 comfy-cli 連接使用者自己的 ComfyUI，處理模型、節點、工作流與輸出圖片之間原本較繁複的操作。

使用者需要先有本地 ComfyUI 及 Python ≥3.10，再把 Comfy MCP 設定到支援 MCP 的客戶端。連接後，AI 可以讀取目前安裝的節點、自訂節點、模型及 GPU，搜尋可用模板，驗證工作流圖表，修改模板欄位，提交非同步工作，監察、取消工作，以及收集輸出的 PNG 檔案。

它和只依賴固定模型目錄或靜態工作流範例的做法不同，會按本機真正載入的內容作判斷，亦能在下載模型前檢查硬件是否有足夠能力。這減少了模型版本、節點依賴和顯存不相容帶來的失敗，但生成速度、可用模型和成功率仍然取決於 GPU、ComfyUI 安裝狀態、自訂節點及工作流本身；項目資料未提供統一基準測試數據。

較適合經常製作影像或影片工作流、需要反覆試驗模型的創作者，以及想把本地 GPU 納入 AI agent 流程的開發團隊。Comfy Cloud 與本地連線可以同時使用，代理可按硬件和任務需要選擇位置，形成雲端彈性與本地模型控制之間的折衷。

• 自然語言操作：建立、編輯、驗證及執行 ComfyUI 工作流。
• 讀取本機環境：辨識 GPU、模型、模板及包括自訂節點在內的已載入節點。
• 完整工作管理：支援提交、等待、監察、取消及讀取失敗結果。
• 本地與雲端並用：同一個 MCP 連線可按任務需要配合兩種環境。

項目主頁 · GitHub · Skills

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, IDE, Python, Skill 技能

---

Comfyui-MMH3-UltimateUpscale：長片放大不再受顯存牽制

2026 年 8 月 23 日 Share to X Facebook Copy link

ComfyUI 新增單節點升頻方案，讓 MiniMax H3 長片在有限 VRAM 顯示卡上處理，同時保留原有音訊。

長片、高解像度加上有限 VRAM（Video Random Access Memory）通常意味著要大幅降低輸出要求，但 Comfyui-MMH3-UltimateUpscale 把 MiniMax H3 的 AV latent 放進單一 ComfyUI 節點處理，目標是完成升頻而不破壞音訊。它屬於 ComfyUI 自訂工具，實際解決的是標準升頻節點無法理解 H3 視訊與音訊巢狀 latent 結構的問題。

節點會先以 temporal chunking 把長片切成重疊時間區段，再按需要進行 latent upscale，之後以 spatial tiling 分割畫面，逐塊完成 diffusion sampling，最後分別進行 spatial stitching 和 temporal stitching。每次只處理一個 tile，峰值顯存取決於單塊大小，而不是整段影片的長度或完整輸出解像度，代價是切割、重疊與拼接會增加處理時間及流程複雜度。

升頻有兩條路線：MMH3 Latent Upscale with Model Params 會載入 minimax h3 latent upscaler 3d .safetensors checkpoint，以 H3 3D model-based upscaler 改善 latent；MMH3 Latent Upscale Params 則只用 nearest、bilinear、area 或 bicubic 插值，不需額外模型，較省資源但不會補回模型推斷的細節。兩者都保留 32-channel audio，音訊部分不會重新取樣。

• 長片可用 temporal chunking 分段處理
• 高解像度可用 spatial tiling 控制顯存峰值
• 單一 MMH3 Ultimate Upscale 節點包辦整個流程
• 3D 模型升頻與免模型插值可按硬件取捨
• 輸入必須是已完成去噪的 MiniMax H3 AV latent

這個項目較適合已經用 MiniMax H3 產生影片、但顯示卡顯存不足以一次處理完整片段的 ComfyUI 使用者，也適合需要保留同步音訊的影片製作流程。測試時應由較短片段及較細 tile 開始，確認模型 checkpoint、H3 節點及拼接結果正常，再逐步增加時間分塊和輸出解像度；它降低的是顯存門檻，並不代表長片升頻可以即時完成。

GitHub

Categories: 開源, ComfyUI, Video, Audio, MiniMax

---

video-shotcraft：電影感產品影片工作室

2026 年 8 月 22 日 Share to X Facebook Copy link

video-shotcraft 把產品頁面、動態分鏡和聲效製作串成一條工作流，協助 Claude Code 或 Codex 產出更完整的宣傳影片。

由產品頁面出發，video-shotcraft 會交由 Claude Code 或 Codex 組織分鏡、動畫及聲音設計，再以 Remotion 製作宣傳、發布或示範影片。這個項目屬於 AI agent skill，實際處理的是產品影片製作中截取畫面、安排鏡頭、配合節奏剪接和加入聲效等繁複工序。

畫面不只依賴抽象動畫，工作流包括真實頁面擷取、2.5D camera moves、beat-synced cuts，以及電影感 SFX。152 張 shot recipe cards、209 種 style 和 209 個 motion previews，讓創作者可按產品內容挑選鏡頭語法，再由 native Remotion components 組合成片；元件以 normalized progress t 驅動，並可替換 ACCENT 顏色。

適合需要頻繁製作產品發佈片、marketing video 或 demo video 的設計師、創業團隊及內容製作人。它把分鏡規劃和前端式動態設計交給代理處理，換來較完整的自動化流程，但影片質感仍取決於產品頁面素材、提示內容及人工修訂；提供的資料亦未交代具體安裝步驟、所需帳戶或完整輸出流程。

品質控制來自對候選動作進行八輪逐幀檢視，並與參考片段比較後整理成 recipe cards。README 亦列出完成交付後可輸出可編輯的 JianYing（CapCut CN）草稿，方便按 shot 重新剪接、調速、排序、調色及重建字幕軌道，但相關功能的可用條件仍需以項目最新文件為準。

• 素材處理：支援真實產品頁面擷取，而非只靠預設圖形。
• 動態語法：涵蓋 2.5D 鏡頭、節拍剪接和 SFX 配搭。
• 內容庫：提供 152 張 shot recipe cards、209 種 style 及 209 個預覽。
• 輸出彈性：以 Remotion 元件組成影片，並列出 JianYing 可編輯草稿匯出能力。
• 使用限制：目前資料不足以確認安裝、模型依賴和完整執行要求。

GitHub

Categories: 開源, Agentic, AI productions, OpenAI, Video, Anthropic, Dataset 數據集, Skill 技能

---

4DAnyone 把單鏡頭影片重建 4D 多視角

2026 年 8 月 22 日 Share to X Facebook Copy link

由一段普通單鏡頭人物影片開始，4DAnyone 生成具一致性的多視角影片，再交由 4DGS 重建可動人物。

由未校準的 monocular video 出發，4DAnyone 可以為同一個人物生成多個目標視角，接着交給 4D Gaussian Splatting（4DGS）建立可渲染的 4D 人物。這個 GitHub 項目屬於 4D 人物重建工具，處理的是拍攝時沒有多部相機、相機內參或姿態資料，卻想取得多視角動態素材的問題。

它不只把畫面轉成另一個角度，而是嘗試維持不同視角之間的時間和外觀一致性，讓後續 4DGS 重建不必直接面對單鏡頭資料的視角缺口。相較於需要 rig、校準相機或固定三腳架的流程，這個方法換來的是對輸入影片質素和人物動作的依賴。

使用 inference.py 讀取影片，再以 views_per_layer、layer_pitches、start_yaw 和 yaw_span 控制相機層數、上下角度及水平覆蓋範圍。儲存庫提供 Python 3.11、requirements 和第三方 GVHMR 元件的安裝安排，缺少的模型及例子會在首次使用時自動取得；原始資料沒有交代硬件需求、推理時間或量化性能，因此不能把速度表現視為已被驗證。

• 支援全身或上半身、畫面只包含一人的影片
• 可生成 6、24、48 個或自訂數量的目標視角
• 兼容輕微鏡頭移動，以及未知相機內參和姿態的素材
• 可選 FlashAttention-3 或 SageAttention 加快推理

研究展示內容集中於不同人物影片、動作和場景的泛化能力。需要製作 4D 人物、研究自由視角影片，或建立動態人像資料的團隊；只想快速套用濾鏡或要求即時輸出的使用者，仍要先確認硬件、模型取得方式和影片條件是否符合要求。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, AI productions, 數字人, 視頻模型, Video, Python, 語音

---

τ₀-VLA：為長程機械人任務補上分層推理

2026 年 8 月 22 日 Share to X Facebook Copy link

τ₀-VLA 把長程機械人操作拆成高層規劃與低層執行，先想下一步，再落到實際動作。它特別針對多步驟、要記住進度又要回復失誤的場景。

τ₀-VLA 是一個機械人基礎模型，主打長程操作任務，例如清理房間、準備食材和沖奶茶這類要連續完成多個步驟的工作。它先用帶記憶的高層策略決定下一個子任務，必要時再用 world-model-guided test-time computation 比較不同做法，然後交由低層策略執行。

這種分層方式比單次前向推理更適合處理長流程，因為模型不只要做動作，還要跟進已完成進度、預測結果，再決定下一步。對需要機械人跨場景操作的團隊來說，比只處理單一步驟的控制模型更接近真實工作流程。

• 高層負責規劃子任務，低層負責具體控制
• 會在需要更多推理時做分支搜尋，不是即時拍板
• 低層策略結合 Qwen3.5 vision-language backbone 與 Mixture-of-Transformers action expert
• 訓練資料來自 40,115 小時真實機械人數據，涵蓋多模態協同訓練
• 目前公開 v1 只支援 joint-control checkpoints，EEF serving 未提供

官方提供 Python 3.11、CUDA 12.8、PyTorch 2.7.1 的參考環境，也有 example_data 同配置的 post-training 例子，可用來接入自己的資料集或機械人設定。文中四個長程任務涵蓋 13 至 25 個步驟，重點不只是在動作準確，還包括進度保持、結果驗證和失誤後恢復。

對做機械人研究、具身智能系統，或要把語言理解和實體控制接起來的團隊，這個項目提供了一個較完整的分層基線；限制也很明確，公開版本先集中在 joint-control，較適合有相應訓練與部署條件的環境。

項目主頁 · GitHub · 模型

Categories: 開源, 多模態模型, 模型訓練, Qwen, NVIDIA, VLA, World-Action Model, Python

---

NAPE 簡化自監督音訊片段訓練

2026 年 8 月 21 日 Share to X Facebook Copy link

NAPE 以因果 Transformer 預測下一個音訊 patch embedding，省去解碼器與 tokenizer，探索更精簡的音訊表徵學習方法。

音訊模型要兼顧訓練成本、表徵能力與模型規模，往往需要加入多個輔助模組。NAPE（Next Audio Patch Embedding prediction）是一個自監督音訊表徵學習框架，將 log-mel spectrogram 切成 patch，再由因果 Transformer 根據前面的片段預測下一個 patch embedding。

NAPE 沒有 reconstruction decoder、acoustic tokenizer、student-teacher 架構或額外正則化損失。它依靠三個機制維持學習訊號：causal masking 隱藏未來位置、prediction shift 要求位置 t 預測 t+1，以及 stop-gradient 固定目標 embedding，避免模型退化成輸出相同向量。

二維 spectrogram 會按指定 scanning order 轉成一維序列，研究涵蓋 raster、diagonal、zigzag 和 time-major 四種排列；其中 raster、diagonal 及時間方向的排列較符合聲音事件的發展。模型在 AudioSet 預訓練，再於 AudioSet-2M、AudioSet-20K、ESC-50、Speech Commands V1/V2 和 IEMOCAP 進行微調或 linear probing，資料顯示它在多項任務取得 state-of-the-art fine-tuning 結果，並具備穩定的跨規模擴展能力，但原始資訊沒有提供各項具體分數。

要求系統有 Python 3.10、PyTorch 2.8.0 和 Transformers 4.56.2 的環境，並提供 requirements 檔及部分資料集處理程式；ESC-50、Speech Commands V1/V2 和 IEMOCAP 有下載腳本，AudioSet 則要自行處理涉及 YouTube 的下載流程。研究團隊亦列出程式碼及預訓練 checkpoint 的發布資訊，但 Hugging Face checkpoint 仍標示為待辦，不能把完整模型取得流程視為已經齊備。

• 訓練訊號精簡：只用下一個 patch embedding 預測與 stop-gradient。
• 適合音訊表徵：可支援語音指令、環境聲音及情緒辨識等任務。
• 排列順序有影響：spectrogram 的線性化方式會改變模型看到的時間關係。
• 測試門檻清楚：需要 AudioSet 或下游資料集，以及 W&B 追蹤實驗。
• 限制在資料流程：AudioSet 不提供同等簡化的下載方式，checkpoint 取得狀態亦未完全明確。

項目主頁 · GitHub

Categories: 開源, Embedding, 模型訓練, Audio, Python, 語音

---

WithEveryone 多人合照不再撞臉

2026 年 8 月 21 日 Share to X Facebook Copy link

復旦大學、騰訊混元與香港大學研究團隊，嘗試一次保留五至十個人物身份的群組生成。

復旦大學、騰訊混元（Hunyuan）及香港大學的研究團隊共同開發 WithEveryone，針對 AI 生成多人合照時人物身份容易混淆的問題，讓五至十個參考身份可以同時出現在連貫場景中。它屬於群組影像生成研究項目，核心價值是維持每個人「誰是誰」的對應關係，而不只是增加畫面人物數量。

系統會把每個參考人物轉換成獨立的 identity token，再透過 Layout CoT 預先推理人物、臉部、身體區域與姿勢的位置，最後交由 renderer 生成視覺條件。Layout-Grounded ID Loss 會在指定臉部區域提供身份監督，ID Representation Forcing 則要求模型在合成前先為每個身份建立預測，減少多人場景中的錯配。

研究展示提供了 63 組生成結果，並在 identity-disjoint benchmark 上比較身份保真度與複製參考圖程度：WithEveryone 的 ArcFace similarity 為 0.614，高於 GPT-Image-2 的 0.566；Copy-paste score 為 0.055，低於 GPT-Image-2 的 0.169。這表示它一方面維持人物特徵，另一方面較少直接照搬參考圖，但目前資料未提供更完整的速度、硬件需求或不同人數下的細分結果。

目前 GitHub 儲存庫尚未提供可下載的研究版 checkpoint，亦沒有完整安裝及測試流程。原因是研究版本依賴的 foundation model 授權不容許公開 checkpoint；團隊正以支援開源發佈的 foundation model 訓練新版本，待程式碼及 checkpoint 準備好後才會分享。

• 支援五至十個參考身份的群組影像生成
• 以 identity token 綁定人物，配合身份感知的版面推理
• 透過 Layout-Grounded ID Loss 監督指定臉部區域
• 研究結果在 ArcFace similarity 及 Copy-paste score 上勝過 GPT-Image-2
• 現階段只能閱讀研究展示，未能按儲存庫資料自行安裝重現

對需要製作多人宣傳照、角色群像或指定人物場景的影像研究團隊，這個方法提供了比單純堆疊參考圖更完整的身份與構圖處理思路。一般創作者暫時仍要等待開源版本，因為未公開 checkpoint 令項目現階段更接近研究展示，而不是可即時採用的生成工具。

項目主頁 · GitHub

Categories: 開源, 香港大學, 騰訊, 模型, 多模態模型, Image, 香港, Dataset 數據集

---

ForgeWM 把遊戲世界模型推向 72 FPS 即時互動

2026 年 8 月 21 日 Share to X Facebook Copy link

由中大、騰訊等團隊開發的 ForgeWM，將遊戲畫面生成壓縮至一至四步，讓鍵盤、滑鼠及手掣輸入能即時改變虛擬世界。

中香港中文大學、騰訊 PCG、復旦大學、上海人工智慧實驗室及香港科技大學的研究團隊，將 ForgeWM 做成開源的 action-conditioned video world models 訓練項目，處理遊戲輸入與連續畫面生成難以兼顧的問題。它以 Matrix-Game 2（MG2）為基礎，讓模型根據鍵盤、滑鼠或 gamepad 操作即時推演遊戲畫面。

ForgeWM 的價值在於把生成步數降至 1、2 或 4 步，換取更低延遲的互動體驗；取捨是畫面質素、控制準確度與推理速度仍要依賴訓練資料和硬件。相較只展示影片生成的做法，ForgeWM 直接處理 frame-aligned 的動作訊號，並將同一套流程移植到另一個 gamepad 驅動的 FPS 領域。

• 一套四階段流程：bidirectional SFT、teacher-forced causal AR、consistency distillation、on-policy DMD
• ForgeWM-1、ForgeWM-2、ForgeWM-4 分別對應一、二及四步生成
• 單張 H20、352×640 畫面下，1-step 模型最高達 72 FPS
• 完整公開 weights、training code 及 pre-encoded data

模型並非各自獨立訓練：Stage 0 先對目標遊戲作 bidirectional fine-tuning，之後固定為教師；Stage 1 將生成器改成 causal AR，Stage 2 壓縮 sampling trajectory，Stage 3 再用學生自行 rollout 的結果進行 on-policy matching。這個結構讓 ForgeWM-1、-2、-4 可從相同基礎流程按步數預算建立。

研究、遊戲 AI 及需要即時互動生成的團隊較容易受益，尤其適合測試鍵鼠控制的 Minecraft 或 gamepad FPS。資料提供的指標包括 168 ms per chunk、72 FPS 及 8×H20 完整訓練配置；模型及數據連結整理環境，要預留 8 張 H20 重現完整訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 上海人工智慧實驗室, 騰訊, 世界模型, 模型訓練, Video, World-Action Model

---

EnvHarness 讓靜態環境按代理弱點持續進化

2026 年 8 月 21 日 Share to X Facebook Copy link

EnvHarness 不改動環境內部程式碼，透過可堆疊元件調整任務、規則與觀察，讓代理獲得更有針對性的訓練。

Google Cloud AI Research 聯同 Washington University in St. Louis、Google Cloud、University of North Carolina at Chapel Hill 的研究人員，開發了 EnvHarness。這個開源框架處理的是大型語言模型（Large Language Model，LLM）代理面對靜態互動環境時，任務和回饋無法隨能力變化的問題；它保留原有環境及驗證器，改由外加層控制代理所見、可做的行動和起始狀態。

代理在同一批任務上反覆練習，往往會很快解完，環境卻不能因應弱點提供新挑戰。EnvHarness 是一個面向代理學習的開源框架，透過標準 reset／step 介面包裹固定環境，調整代理的起始狀態、可用行動與觀察內容，同時保留原有的成功判定器。

它把控制拆成三類可組合元件：Setup 負責重塑初始狀態，Rule 改變互動規則、行動限制及回饋，Link 則把另一個環境的任務接入目前流程。設計者代理會讀取目標代理的操作軌跡，診斷失誤，再以 Python 寫出元件、測試及修訂，令訓練環境隨代理能力一同調整。

• 不需修改 ALFWorld、WebArena、SWE-bench Verified 等環境的內部程式碼
• 任務與 verifier 保持來源 benchmark 的可信判定
• 元件可自由堆疊，適合針對特定弱點改造互動流程
• 可在項目提供的瀏覽器 Playground 以 Toy24Env 觀察環境狀態與代理視角

在 ALFWorld、WebArena 及 SWE-bench Verified 的 EnvHarness 訓練結果分別達到 68.3、41.6 及 52.6，展示相對基準最高 5.9 個百分點的提升。不過，效果取決於設計者代理能否準確診斷軌跡，以及改寫後的環境是否真的對應目標弱點，並非單靠套上元件就能保證改善。

它的取捨是把環境設計工作轉移到 Setup、Rule、Link 的程式編寫與反覆測試，換來跨 benchmark 重用和較低的環境改造成本。

項目主頁 · GitHub

Categories: 開源, Agentic, Google, Python, Dataset 數據集

---