VeriSpoof 偵測深偽語音並追查來源

VeriSpoof 不只判斷錄音是真是假,也能比對生成來源、定位合成片段,並用可核對的短句解釋判斷依據。

VeriSpoof: beyond real or fake

面對疑似深偽語音,單一真假分數往往不足以支援鑑證;調查者還要追查生成系統、比較兩段錄音是否同源,並確認結論依據。VeriSpoof 是一個語音鑑證音訊語言模型項目,以同一組權重處理這些問題,並將判斷寫成可對照音訊與資料標籤的短句。

它不另設偵測或來源驗證專用輸出頭,而是比較模型對不同答案句子的可能性,將差值用作分數。解釋可涵蓋頻寬、訊噪比、音量、聲道影響、合成片段位置與來源特徵;這令使用者能檢查模型提出的線索,而非只收到「真」或「假」的結論。

VeriSpoof-Plus 在 Speech-DF-Arena 的 14 個測試集取得 2.14% pooled EER,在 28 個系統中排第三,並在開放權重系統中排名第一。同一組權重亦能比較訓練時未見過的生成器來源,EER 為 6.2%;在 PartialEdit 測試中,經推理的理由能找出 99.6% 的局部偽造片段,一步作答則為 78.4%。

項目同時提供 VeriSpoof-Base 和 VeriSpoof-Plus 模型、推理套件、線上示範及 VeriSpoof-Bench 資料集;可先用示範查看錄音分析結果,再以推理套件離線處理測試音訊。訓練只更新 2.85B 參數中的 29.7M,項目稱可在一張 24 GB GPU 上完成訓練,但這不代表推理資源需求相同。

  • 一套權重支援真假判斷、來源比對與語音鑑證解釋。
  • 局部偽造定位有助檢查整段錄音中只被修改的部分。
  • 開放權重版本在指定基準取得具競爭力的結果,不能直接推論為適用所有語言、錄音條件或生成器。
  • 鑑證團隊與研究人員可用示範、離線推理套件及基準資料集檢查輸出;關鍵判斷仍應回到音訊與來源證據核實。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 模型訓練, Qwen, Audio, 語音, Dataset 數據集

Craft Anything:讓 AI 複製網站、應用程式與遊戲

描述想做的網站、應用程式或遊戲,Craft Anything 會檢查參考作品,再讓 AI 編碼代理建立新項目並比對結果。它預設不讀取原作程式碼或檔案,並提供逐項檢查與人工核准。

ArtCraft

想參照一個網站或遊戲製作自己的版本,難處往往不只是寫程式,還要反覆檢查外觀和功能是否接近。Craft Anything 是以 Rust 編寫的開源 AI 建置工具:它用檢查工具觀察目標,再交由編碼代理建立新項目、比對成果並逐步修正。

預設的 Clean room 模式不讀取原作的程式碼、檔案或頁面內容;使用者指定目標並描述需求後,系統透過檢查工具了解原作,再生成獨立的新項目。網站項目會逐項列出檢查結果和相似程度,計劃介面則顯示尚未完成的步驟;超出規則的操作會先要求使用者核准。這讓製作過程有明確的檢查點,但相似度不等於功能完全一致,仍需人工確認成果。

進階模式可查看完整工作台,包括工具、函式、字串與 pseudo-C;Deep 模式則會讀取目標程式的程式碼和檔案,適用於私人用途。兩種模式在可檢查資訊和資料界線上不同,使用者需要按目標來源及用途選擇,不能把 Clean room 的限制套用到 Deep 模式。

項目目前處於 early alpha,支援 macOS、Windows、Linux、FreeBSD 和 Web。文件沒有提供可供比較的效能測試或一致性分數,因此現階段較適合用來探索 AI 輔助複製介面與功能的工作流程,而非直接當成成熟的自動重建工具。

  • 可指定網站、應用程式或遊戲作參考,並以文字描述想建立的版本。
  • AI 編碼代理建立新項目後,系統會比對結果並協助修正。
  • Clean room 預設不讀取原作程式碼、檔案或頁面內容;Deep 模式會讀取程式碼和檔案。
  • 檢查結果、計劃進度及操作核准流程,讓使用者能追蹤建置狀態。
  • Rust 開源項目仍屬 early alpha,文件未列出效能基準。

GitHub

Categories: 開源, 工具, Mac, Linux, 編程

Terminal Mac:讓 AI Agent 操作虛擬 macOS 電腦

代理可在獨立的 macOS 桌面操作應用程式,不必移動實體 Mac 的滑鼠或改動剪貼簿。terminal-mac 把虛擬機畫面帶到終端機,並提供 MCP 工具供代理控制。

Repository image for govijr/terminal-mac

讓電腦操作代理在另一個 macOS 桌面開啟應用程式、輸入文字和檢查畫面,同時保留實體 Mac 的滑鼠與剪貼簿不受代理操作影響。terminal-mac 是為 Computer-use agents(CUAs)提供獨立 macOS 虛擬機的工具,透過終端機檢視畫面及下達操作。

它使用 Apple Virtualization 執行真正的 macOS guest,guest 有自己的應用程式、檔案、帳戶和權限,不會沿用主機已登入的工作階段。代理透過 MCP 工具截圖、點擊、拖曳、捲動、輸入文字及按鍵,並可依照「觀察、操作、確認」的流程檢查結果。

首次啟動會從 Apple 下載並快取相容的還原映像,也可使用既有的 .ipsw;之後會重用已建立的虛擬機。項目面向 Apple silicon、macOS 14 或更新版本,預設虛擬磁碟邏輯容量為 64 GiB,主機亦須預留還原映像和虛擬機所需的資源。Ghostty、Kitty 或 iTerm2 可顯示終端機內嵌畫面,其他終端機則可改用原生虛擬機視窗及代理命令列工具。

主機輸入與螢幕 API 不會用來執行代理操作;guest 內的 helper 會檢查硬件型號是否以 VirtualMac 開頭,避免操作意外落到主機。這項檢查不是硬件認證,也不能防範已遭入侵的主機。項目仍屬早期候選版本,乾淨 Mac 上的 guest 驗收尚未完成,發行版本亦未經 Apple 公證;tmux passthrough 和自動分割終端機目前不支援。

  • 適合需要隔離代理操作與個人桌面、帳戶及剪貼簿的測試工作。
  • Claude Code 可透過 MCP server 和 skill 接入代理工作流程。
  • 首次建立虛擬機需要網絡下載 macOS,或自行提供相容的還原映像。
  • 虛擬機會佔用主機 CPU、記憶體和儲存空間,預設磁碟邏輯容量為 64 GiB。

GitHub

Categories: 開源, Agentic, MCP, API, 工具, Mac, Anthropic, 蘋果, Skill 技能

Route Anything:按輸入選模型,兼顧品質與成本

面對文字、影像、影片、語音和機械人任務,Route Anything 研究路由器如何按輸入挑選候選模型或策略,並在品質容許範圍內減少成本。

Repository image for InfRec-Cardinal/route-anything

處理不同類型任務時,系統未必要每次都交給同一個模型或機械人策略。Route Anything 是一套研究實驗程式碼,探討路由器如何按輸入選擇候選方案,並在品質下降有限的前提下控制成本,涵蓋語言模型、影像、影片、語音生成器及機械人策略。

選擇與固定候選方案:在 24 個基準、19,814 個測試輸入上,理想路由得分為 87.98,固定方案為 82.60;但這個差距代表潛在上限,不等於訓練出的路由器已能達成同等收益。實際訓練的能力樹路由器在 16 個基準上只高 0.3 分,影片生成則高 2.1 分。

成本實驗顯示,四個測試環境平均效率提升 8.82 倍,品質損失低於 0.5 分;程式碼任務提升 25.5 倍,文字問答提升 7.1 倍。機械人測試中,結果路由器提升 1.1 分並減少 24% 策略執行時間;以勝出標籤預測結果的成功率為 42.8%,結果回歸則為 71.55%,反映訓練目標會左右路由效果。

  • 路由依據是路由器可觀察的輸入資訊,並按預期價值扣除成本選擇候選方案。
  • 參考策略與品質容忍度用來設定成本價格,適合比較省成本幅度與品質底線。
  • 程式碼提供路由實作、離線重播及品質底線認證工具,可按實驗指南重現部分測試。

研究團隊或需要在多種模型、生成器與機械人策略間分配任務的工程團隊,可用這套工具檢驗路由是否值得加入工作流程。限制是全模態實驗所用的軌跡矩陣並未公開,因此相關結果未必能完整重現;公開的程式碼與文字測試資料目前只支援部分實驗。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 模型訓練, Video, Image, 工具, 語音

WebHarbor:把真實網站變成可重現的 GUI Agent 測試場

WebHarbor 將 153 個網站還原成可重複使用的本地環境,讓 GUI web agents 能測試登入、購物及資料操作。

Repository image for aiming-lab/WebHarbor

要測試 GUI web agents 是否真的懂得操作網站,單靠會變動的公開網頁往往難以重現結果。WebHarbor 把 153 個流行網站製成 Docker 化本地鏡像,連同完整登入流程、資料庫和多模態圖片內容,屬於面向訓練與評估的環境及資料集項目。

它處理的不只是點擊連結,3,518 個 tasks 涵蓋購物車、結帳、帳戶操作等較深層流程;資料庫可在不到一秒內重設,適合反覆進行強化學習 rollout。沒有網絡噪音、內容漂移或地區封鎖,測試結果較容易比較,但建立鏡像和維護網站功能亦帶來不小工程成本。

• 153 個可執行的 Docker 網站環境
• 3,518 個評估及訓練 tasks
• 支援登入、資料庫和圖片內容
• 環境可按 agents 能力增加難度
• WebHarbor-4B 在 WebVoyager 及 Online-Mind2Web 平均取得 75.8 分

WebHarbor-4B 是建基於這些合成環境和 tasks 訓練的 GUI web agent,並非與環境分開提供的獨立示範模型。項目聲稱它在 4B 規模開源 GUI web agent 中取得最佳成績,但這個比較仍取決於所選基準和評測設定,不能直接代表所有真實網站任務。

研究 GUI agents、建立強化學習流程,或需要可重現瀏覽器測試的團隊較容易受益。使用者可從 Docker 鏡像、Hugging Face 環境及 tasks 開始組建測試流程;項目文件未列出完整硬件需求及每個網站鏡像的維護策略,正式採用前仍要核對資源成本和環境覆蓋範圍。

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 多模態模型, 模型訓練, Image, 庫, Dataset 數據集, 強化學習

ComfyUI-ShotWorkspace:把分鏡素材整理與影片提示詞寫作納入 ComfyUI

準備角色、道具和場景參考圖,再整理分鏡描述、撰寫 MiniMax H3 影片提示詞,並接上原有的 ComfyUI 生成流程。模型、取樣與解碼仍由接收工作流程負責。

Shot Workspace inside the ComfyUI canvas

整理分鏡時,參考圖、描述和生成提示詞往往分散在不同步驟;ComfyUI-ShotWorkspace 把這些創作工作同時放進 ComfyUI,讓創作者準備素材、修訂鏡頭描述,再撰寫 H3 影片提示詞。這是個實驗階段的 Custom Node,負責生成前的寫作及整理,不取代影片生成工作流程。

創作者可分別上載角色、道具和場景圖片,使用影像分析產生可編輯描述,再挑選當前鏡頭的參考圖並按次序送往接收工作流程。文字生成和圖片分析透過 API 連接 LLM 伺服器呼叫;影片模型權重、取樣及解碼則由原有工作流程處理,兩者需要分開安裝和測試。

每次佇列只處理一個鏡頭,項目不負責編排完整影片序列。前一鏡頭的輸出不會自動成為下一鏡頭的輸入,使用者須自行選擇前置鏡頭;工作流程之間傳遞的 LATENT 格式亦必須相容。音訊、影片和 LATENT 接口可傳遞媒體,但不會自動把這些內容加入大型語言模型提示詞。

  • 需要 ComfyUI、Python 3.10 或以上版本,以及符合要求的 aiohttp 和 Pillow,依賴項須安裝到執行 ComfyUI 的 Python 環境。
  • 項目不附帶模型權重;LLM 伺服器、接收工作流程所需節點及 H3 權重都要另行準備。
  • H3 輸入影格按 24 fps 的 17k+5 網格安排;取樣時長在上下文裁切前設定,交付影片可能短於指定時長。
  • 工作流程會保存創作資料、檔名和伺服器網址;圖片本身留在 ComfyUI 的輸入目錄,分享前宜檢查保存內容。

這套工具較適合已經使用 ComfyUI、希望把分鏡準備和提示詞撰寫納入既有流程的創作者或小型製作團隊。它減少素材與文字在工作流程間來回整理的需要,但不提供完整序列編排,也不能單靠 LLM 連線測試確認影片生成正常。

GitHub

Categories: 開源, ComfyUI, AI productions, 模型, Video, Image, Audio, 提示詞, 工具, Content Creator, MiniMax

TaoMate-FVSR:用音訊與稀疏參考修復人臉影片

小臉在影片中容易失去細節,換上新配音時口形也可能對不上。TaoMate-FVSR 把音訊、參考畫面與生成歷史一併用於人臉修復,亦支援視覺配音。

favicon

影片中的人臉太小或細節模糊,單純放大未必能還原自然的面貌;換上新語音後,嘴形亦要配合音訊。TaoMate-FVSR 是一套人臉影片修復推理工具,利用音訊、稀疏的視覺參考和生成畫面歷史重建臉部,支援保留原聲修復,以及配合替換語音進行視覺配音。

它把臉部細節與口部動作放在同一個重建流程處理,並以來源影片保留場景結構,再由高質素參考提供外觀線索、目標音訊引導嘴部動態。相比先做超解像、再交給另一個配音模型的分段流程,這種聯合處理方式有機會減少修復結果與口形之間的不一致。

畫面可用 GPEN 處理首幀作參考,也可以提供自行編輯的首幀或完成的參考圖。推理流程會先以 DWPose 裁切人臉,再做修復、色彩與遮罩融合,最後貼回原影片;模型可按 1× 或 2× 尺寸運算,合成前會縮回 512×512,因此輸出場景維持原有尺寸。全場景比較也有助檢查修復臉部與原本畫面是否協調,但身體和背景不會一併提升解像度。

  • 支援原始音訊修復及替換語音配音。
  • 可用 GPEN、外部編輯首幀或完成的參考圖提供外觀線索。
  • 1× 與 2× 推理分別使用 512×512 與 1024×1024 處理尺寸。
  • 執行需要支援 BF16 的 NVIDIA CUDA GPU,以及 CUDA 版本相容的 PyTorch 2.6 或更新版本和 torchvision 0.21 或更新版本。

這套工具較適合需要修復 AI 生成影片人臉、製作配音版本,或比較局部臉部細節與完整場景效果的創作者及研究團隊。參考畫面質素和場景合成效果都會影響最後成果,正式製作前宜用自己的素材測試。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, NVIDIA, Video, Audio, 工具, Content Creator, 線上服務, 語音

Rapid-MLX:加快 Apple Silicon 的本地編程代理

想讓 Codex、OpenCode、Claude Code 等編程代理使用本地模型,又不想犧牲回應速度與工具呼叫能力?Rapid-MLX 提供兼容 OpenAI 和 Anthropic API 的推理服務器,專為 Apple Silicon 設計。

Rapid-MLX. Local LLM server for Apple Silicon, built for coding agents. Up to 4× faster than Apple

在 Mac 上用本地模型操作 Codex、Claude Code 或 OpenCode,回應速度和代理能否可靠呼叫工具都會影響工作流程。Rapid-MLX 是建基於 MLX、面向 Apple Silicon 的開源大型語言模型(LLM)推理服務器,讓多款編程代理透過兼容 OpenAI 與 Anthropic 的介面連接本地模型。

它與直接使用 Apple 的 MLX(mlx-lm)相比,主打更快的生成速度和編程代理所需的工具呼叫能力;同一模型、同一組權重下,項目報告最高可達 4 倍解碼速度,典型任務約快 1.5 倍。比較結果會受模型、任務和硬件影響,不能視為所有情況都能達到的速度提升。

測試資料包括 Mac mini M4 Pro 上的 Qwen3.5-9B 4-bit,以及 Mac Studio M5 Max(36 GB)上的多款 Qwen 模型。Rapid-MLX 的 Qwen3.5-9B 解碼速度為每秒 115.5 個 token,oMLX 為 77.9,LM Studio 為 81.0;但測試只記錄單次執行,並使用各服務器的預設模式,因此數字適合參考,不宜直接當作全面排名。

安裝後選用支援的編程代理,再以 rapid-mlx launch 啟動即可;同一指令可重複使用,移除 Rapid 的私人設定檔也不會改動 Codex 原有設定。首次回覆可能較慢,因為模型需要下載或載入,也可能要處理代理的開場提示詞。項目要求使用 M 系列 Mac,目前沒有 Windows 或 Linux 桌面版本。

  • 支援 Codex、Claude Code、OpenCode、Pi、Hermes、Crush 和 Goose。
  • 提供兼容 OpenAI 與 Anthropic 的 API,並著重可靠的工具呼叫。
  • 可按模型和任務查看速度比較,項目亦提供測試方法與原始數據。
  • 首次回覆可能受模型下載、載入及提示詞處理時間影響。
  • 僅支援 Apple Silicon;不適合需要 Windows 或 Linux 桌面版本的團隊。

需要在 Mac 上運行本地模型、又希望保留編程代理工作流程的開發者,可以用 Rapid-MLX 測試常用模型與任務,再決定速度提升是否足以配合硬件需求。模型仍須在本機下載和載入,選擇時應一併考慮記憶體容量及首次啟動等待時間。

GitHub

Categories: 開源, 模型, Qwen, 提示詞, 工具, Mac, 編程, 蘋果

Embodied Agent Arena:測試十款 VLM 的任務能力

十款前沿視覺語言模型接受 1,000 個具身任務測試,結果顯示,能生成可執行動作,不代表能完成多步操作或精細接觸任務。

logo transparent

要判斷視覺語言模型(Vision-Language Models,VLMs)能否勝任機械人通用操作,不能只看它有沒有成功發出動作。Embodied Agent Arena 是一個具身代理評測項目,以共同測試流程比較十款模型在五類能力上的表現,涵蓋 1,000 個案例,並把幾何理解、空間推理和視覺定位納入評測。

項目把任務理解、推理和動作選擇交由模型處理,再以同一套精簡評測框架測試不同模型。測試資料整合 32 個既有來源,另加入 168 個案例的 GeoProbe 幾何基準;相比只看機械人互動任務,這種安排能同時檢視模型理解空間資訊的能力,以及能力能否轉化為實際任務成果。

結果反映,單一指標容易掩蓋任務是否真正完成。Gemini 4 Argon 的 3D 路徑誤差最低,為 0.310 米,但 56 條路徑中只有 24 條符合全部限制;Manipulation 成功率最高的 Opus 5.5 亦只有 47.8%。CALVIN 測試中,100 個序列有 60 個完成第一個目標,完成全部五個目標的只有 9 個;在五項 ManiSkill 診斷任務中,Opus 5.5 能完成拾取、放置和堆疊,卻未能完成插入插銷或充電器。

  • 同一批 157 項 Planning 任務中,至少有一款模型完成 142 項;仍有 15 項十款模型全部失敗。
  • Astra 的 31 項失敗任務耗用 55.5% token;失敗任務平均耗用的 token 是成功任務的 5.1 倍。
  • CALVIN 有 65 個序列曾遇到執行錯誤;其中 62 個後來能無錯執行程式碼,但只有 3 個最終完成序列。
  • Case Atlas 收錄 181 個涵蓋五類能力的案例,提供十款模型的紀錄;缺少影片的項目會使用共用任務場景,API 中斷則標記為失敗嘗試。

這些結果適合用來比較模型在哪些環節失手,亦提醒研究團隊不要把路徑精度、程式碼執行成功或單一步驟操作,直接當成完整任務能力。項目提供線上結果、案例影片、資料集及程式碼。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, AI productions, 世界模型, Qwen, DeepSeek, Gemini, API, VLA, Robotic, 框架, 香港, Anthropic, Dataset 數據集

Garden Skills:讓 AI coding agents 承接影片、設計與寫作流程

從程式生成短片、網頁設計到整理知識庫,Garden Skills 把多種工作流程包成可供 AI coding agents 使用的技能。創作型工作尤其著重分階段確認與一致的輸出控制。

Motion Showreel Skill

想用 AI coding agent 製作短片、網頁簡報或整理本地知識庫,Garden Skills 提供一組可加入工作流程的 Agent Skills,適用於 Claude Code、Cursor、Codex 等工具。它不是單一模型,而是涵蓋影片製作、前端設計、影像提示、文章生成與知識檢索的技能集合;各技能如何安裝可按 項目文件提供的方式處理,但這份資料未列出完整操作步驟。

影片相關技能的重點,是把畫面與聲音放進同一條時間軸,並由同一個頁面產生不同階段的輸出,包括靜態畫面、聯絡表、預覽代理檔及成品。創作者可以選擇多種視覺風格,調整動態、鏡頭語法和聲音方向;配樂可由內置合成器或 Tone.js 產生,也可以配合自備音軌及節拍、段落變化剪輯。

創作流程設有兩個確認點:先確認需求,再確認風格畫面;若未指定風格,會提供三個方向供選擇,之後才進入自主製作。長片支援分章製作,最長可達 20 分鐘;Gemini 或 MiniMax TTS 只會朗讀使用者提供的稿件,錄音則以實際時間戳記對齊,音樂與音效亦會為旁白讓位。這些安排適合需要反覆檢視視覺方向、又希望聲畫時間一致的內容團隊,但資料沒有提供效能測試或品質評分,成品仍需自行檢查。

其他技能分別處理網頁影片簡報、前端設計、GPT Image 2 提示與影像生成、美化文章,以及本地知識檢索。對需要把重複創作步驟交由 AI coding agent 執行的設計師、影片製作者及內容團隊,這種技能集合比只提供單一功能的工具涵蓋更廣;取捨是各項工作的品質和適用程度,仍取決於所選技能、模型與輸入內容。

【经验开源】AI 做动画视频完全指南:原理、技巧、Skill 一次给全
  • 六種技能涵蓋影片、網頁、影像、文章及本地知識檢索。
  • 影片輸出由同一頁面生成,畫面與聲音共用時間軸。
  • 風格確認後才開始自主製作,未指定時可先比較三個方向。
  • 長片支援分章製作至 20 分鐘,旁白須使用者提供稿件。
  • 項目文件列出多種安裝途徑,但目前提供的資料未包含完整安裝流程或評測結果。

GitHub

Categories: 開源, Agentic, AI productions, Gemini, Video, Image, Audio, Vibe Coding, Content Creator, IDE, 庫, 編程, 音樂, MiniMax, Skill 技能

Page 1 of 186
1 2 3 … 186