Taste-Bench ：避免把時間和計算資源花在錯路上

2026 年 9 月 23 日 Share to X Facebook Copy link

AI Agent 要做的選擇，當下往往看似合理，代價卻可能在很久之後才浮現。Taste-Bench 把這類決策分岔整理成測試，檢查模型能否及早選對方向。

AI Agent 做長任務時，選錯方向可能要到多個步驟之後才看得出代價。Taste-Bench 是一套評測資料集，讓模型閱讀任務背景、分岔前的操作紀錄，以及兩個候選下一步，再判斷哪個選擇較好；它測試的不是單步答題，而是能否避免把時間和計算資源花在錯路上。

資料集有 502 題，從軟件工程與機器學習研究任務的操作軌跡中整理而成，沒有逐題由專家標註。題目分為兩類：不同嘗試在同一位置分岔，最後結果提供判斷依據；或同一次執行中，Agent 遇到失敗後放棄原路並恢復。研究團隊從 4,657 個候選分岔中剔除過於簡單或無法判定的題目，並以後續結果標示較佳方向。

測試時可從 Hugging Face 取得資料集，按題目提供的紀錄比較模型選擇；程式碼庫亦提供 Python 3.11 以上的快速開始方式。評分要求模型在兩種選項排列順序下都答對，減低單靠固定選位置取得高分的可能。較貼近方向判斷能力，但題目仍集中於 SWE-bench、SWE-bench Pro，以及 METR 的 MALT 研究軌跡，未必涵蓋所有長任務場景。

14 個前沿模型中，最高平均正確率為 59.7%，仍有約四成題目判斷錯誤；當關鍵證據要到更後段才出現，準確率會由 62.3% 降至 21.0%，增加推理預算亦未能改善結果。研究亦報告，透過事後答案蒸餾訓練的 Qwen3.6-27B，在未見任務上的正確率由 30.0% 升至 47.9%；用它提供建議後，SWE-bench Pro 成功率由 14.6% 升至 33.7%。這些結果顯示評測不只用來比較模型，也提供了改善 Agent 決策的訓練方向。

• 評測核心：在結果尚未揭曉時，從兩個下一步中選出較佳方向。
• 題目來源：軟件工程與機器學習研究任務的真實操作軌跡。
• 主要限制：目前 502 題的領域與任務來源有限，不能代表所有 Agent 工作。
• 適合對象：研究長任務 Agent、比較模型決策能力，或訓練工具使用策略的團隊。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, Qwen, 工具, Python, Dataset 數據集

---

Calliope：由故事到成片 : ComfyUI 本地工作流

2026 年 9 月 23 日 Share to X Facebook Copy link

Calliope 將故事拆成劇本、鏡頭片段，再交由本機 ComfyUI 生成影片，兼顧創作流程與資料私隱。

由一個故事構想開始，Calliope 會整理情節節拍、角色與場景，再按場景寫出貼近劇本的內容，拆成多個鏡頭片段交給 ComfyUI 生成影片。它屬於本地優先的 story-to-video 工具，處理的是文字創作與影片生成之間需要反覆整理、分鏡和合成的工作。

LLM 負責故事結構及逐場景腳本，ComfyUI 則按既有 workflow 和模型逐個產生片段，兩者分工清楚；完成後再由 ffmpeg 加入 crossfade、匹配音量並串成完整影片。項目資料放在 SQLite，媒體保存在本機資料夾，只有你指定的 LLM endpoint 可以是雲端服務，因此私隱程度和可控性較依賴本身的模型及 ComfyUI 配置。

Make AI Micro Dramas From Script to Video Locally Using Calliope 1.5

使用前需要 Python 3.11+、Node.js 18+、已安裝模型的 ComfyUI、OpenAI-compatible LLM endpoint，以及可從 PATH 呼叫的 ffmpeg。前端是 SvelteKit，後端採用 FastAPI；啟動兩者後，在 Settings 設定 LLM、ComfyUI URL 及可選的 agent 分工，亦可調整並行工作數、輪詢間隔和等待上限，長時間影片工作可把預設 30 分鐘 timeout 延長，或設為無限等待。

適合需要保留素材在本機的個人創作者、小型製作團隊，以及已經建立 ComfyUI workflow、想加入故事編排層的使用者。Dry-run 只會產生佔位結果，不能用來判斷真正的影片效果。

• 流程完整：由故事、劇本、分鏡到片段合成集中處理
• 本機優先：項目資料與媒體不必上載到雲端
• 依賴明確：需要自行管理 ComfyUI、模型、LLM endpoint 和 ffmpeg
• 可調整佇列：支援並行數、輪詢設定及長任務 timeout

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, API, Video, 工具, Content Creator, Python

---

YuE2 補上真實音訊 Tokenizer，支援歌曲翻唱微調

2026 年 9 月 22 日 Share to X Facebook Copy link

YuE2取得音訊編碼與真實錄音適配能力，可將自家錄音轉成語義碼，再微調歌手風格。

當你餵給 YuE 一段參考音訊（例如某歌手的演唱片段或特定樂器風格，要求接續生成）時：必須先用 Tokenizer 將參考音訊「壓成代碼」傳入模型。若 Tokenizer 品質不佳，音色在第一步壓縮時就失真了。

這個 v4 工具能更高保真地將輸入聲音轉為 Token，讓後續模型捕捉到的音色特徵更貼近原音。

錄音轉換、歌手風格微調和歌曲翻唱，原本受限於 YuE2 沒有隨附的 audio → semantic-token encoder。這個項目基於 m-a-p/YuE2-3B 及 m-a-p/MERT-v2-FullSong，加入音訊 Tokenizer 與 NAR-branch LoRA，讓 YuE2-3B 可以處理自家錄音，並以真實製作音訊調整解碼效果。

Tokenizer 取用 MERT-v2-FullSong 第 20 層特徵，先按音軌作 instance normalization，再以 8 層、d=512 的 Transformer，在 512-frame 視窗內轉換成 32,768 種 YuE2 semantic codes，特徵率為 25 Hz。留出歌曲測試的 top-1 exact match 為 16.1%，但近似 code 產生的聲音接近，NAR round-trip 聽感測試約達 95%。

• tokenizer_head_joint_v4.pt、.safetensors、.bf16.safetensors：音訊編碼 head
• nar_lora_joint_v4.pt、.safetensors、.bf16.safetensors：NAR 解碼分支 LoRA
• _comfyui.safetensors：配合 ComfyUI 的 YuE2 權重布局
• LoRA rank 為 32，覆蓋 28 層 NAR attention、MLP，以及完整替換的 vae2llm 和 llm2vae

.bf16 版本約為完整精度檔案的一半，head 與 fp32 的輸出一致率為 98.6%。項目附有 scripts/ckpt_io.py、訓練迴圈和推論腳本；ComfyUI 可把 LoRA 載入 YuE2 checkpoint 的 MODEL 輸出，強度設為 1.0，CLIP 輸入不受影響。頁面沒有提供 GGUF 檔案、檔案大小、上下文長度、Ollama、LM Studio、llama.cpp 或 MTP draft speculation 支援資料，亦沒有列出可供選擇的量化級別。

模型先以 4,765 首 YuE2 自行生成歌曲訓練，再適配真實音訊；因此它的價值集中於提升真實錄音的編碼與 NAR 解碼，而非取代 YuE2-3B 的完整生成能力。授權為 CC-BY-NC-4.0，商業用途需要另行確認授權條件。

模型

Categories: 開源, ComfyUI, 模型, 模型訓練, Audio, 工具, 廣東話, Tokenize

---

YuE2-ComfyUI：本地生成完整歌曲，能改樂譜再翻唱

2026 年 9 月 22 日 Share to X Facebook Copy link

輸入風格與歌詞，便能在 ComfyUI 生成歌曲及可讀樂譜，讓創作流程多一個可修改的環節。

把歌詞接入節點、設定曲風後，YuE2-ComfyUI 便能在本機生成完整歌曲與可讀樂譜。這套音樂生成節點工具把 YuE2-3B 接入 ComfyUI，適合想在同一工作流程反覆試作的音樂創作者。

它先寫出 ABC 樂譜，再生成演奏內容，最後透過變分自編碼器（Variational Autoencoder，VAE）解碼成 48 kHz 立體聲。樂譜也可修改後送回節點演唱，讓旋律調整有更具體的入口。

• YuE2 Generate Song 接收風格、歌詞及 seed。
• 歌詞可從文字節點接入，以 [Verse]、[Chorus] 標示段落。
• YuE2 Write Song 可從一句構想撰寫風格與歌詞。
• YuE2 Options 提供選填設定，主節點會自動尋找本機權重。

項目示例在 RTX 5090 上花 40.2 秒生成 75 秒歌曲，但單一示例不足以推算其他硬件的速度。提供的內容未列出完整安裝步驟、最低顯示記憶體需求或音質比較；準備納入製作流程前，仍需確認本機能否載入模型。

GitHub

Categories: 開源, ComfyUI, AI productions, 工具, Content Creator, 音樂, 廣東話

---

OmniVChat：測試 AI 能否同時聽懂及看懂

2026 年 9 月 22 日 Share to X Facebook Copy link

直接把聲音和影像交給AI，回覆是否仍有根據？OmniVChat 提供評分工具，但測試與訓練分數不能混用。

讓AI直接接收用戶的聲音和影像，再以文字回答，OmniVChat（Omni Video Chat）提供了檢驗這類對話的評估與訓練獎勵工具。問題藏在影音之中，不另附文字提問、外部影像描述或自動語音辨識（Automatic Speech Recognition，ASR）轉錄，適合測試多模態模型能否連結所見所聞。

OmniVChat-Bench包含2,800段合成對話，按分層準則評分，涵蓋五類能力：

• Dialogue-State & Link Perception（DSLP）：理解對話狀態與連結。
• Multimodal Entity Alignment（MEA）：把說話對應至正確的可見實體。
• Model Self-Awareness（MSA）：交代自身身分與物理限制。
• Anti-Hallucination（AH）：回答以影音證據為依據。
• Emotion Recognition（ER）：結合面部與聲線辨識情緒。

評估分數r(y)介乎0至1，以Subcategory Mean匯報；OmniVChat-RL共用評分核心，另加格式、效率與風格獎勵，範圍為0至1.5，兩者不能直接比較。

研究團隊可先查看儲存庫的評分程式與範例，再到Hugging Face取得完整標註及媒體。這個項目只提供程式碼、範例與文件；合成對話的結果亦不足以單獨判斷模型在真人影音互動中的可靠程度。

GitHub

Categories: 開源, 香港中文大學, 阿里巴巴, 多模態模型, Video, Audio, 工具, 庫, 語音

---

[技術文章] MintAct 把跨平台視覺代理整合到單一模型

2026 年 9 月 22 日 Share to X Facebook Copy link

由手機、桌面到網頁操作，MintAct嘗試用一個輕量模型兼顧定位、導航與視覺工具使用。

蘋果電腦即將推出一個視覺語言模型系列，它統一了跨行動裝置、桌面和Web的多步驟導航以及視覺化工具，並已在 2B 、4B 和 8B 上進行了訓練。蘋果認為讓 AI 直接操作手機、桌面或網頁，單是看懂畫面並不足夠，還要準確點擊目標、完成多步驟任務，以及在需要時呼叫外部工具。MintAct 是一系列統一的 vision-language models，針對這些分散能力提供單一視覺代理，並推出 2B、4B 與 8B 三種規模。

通常做法是 UI grounding、手機導航、桌面控制、網頁導航及視覺工具使用各自訓練專門模型。這種 per-domain specialist 範式需要分開維護，模型之間亦可能因觀察空間、動作方式和資料來源不同而互相干擾；直接混合資料，更可能令各領域表現下降。MintAct 改用多階段訓練，先以 grounding 和多步驟監督學習建立基礎，再配合強化學習（reinforcement learning，RL）整合跨平台能力。

項目的關鍵不只在模型本身，也包括支援訓練的環境和資料基礎設施。團隊讓數百個不同後端的環境並行運作，同時收集 trajectory data 和進行 online RL；非同步框架則控制不同領域的訓練比例，減少環境速度不一、回饋雜訊及 off-policy drift 帶來的不穩定。

MintAct 在相近模型規模下，聲稱能追平各領域專門模型的表現，並在 OSWorld-Verified 取得 48.9 分的結果。對需要在裝置端運行、又不想同時服務多個專門模型的工作流而言，這種統一設計具備實際吸引力，但跨領域互相干擾、環境回饋可靠性和長時序任務穩定性，仍是部署時需要持續驗證的限制。

• 統一 UI grounding、多步驟導航及視覺工具使用
• 覆蓋手機、桌面與網頁環境
• 提供 2B、4B、8B 模型規模
• 透過非同步 RL 控制跨領域訓練分佈
• OSWorld-Verified 得分為 48.9

Paper

Categories: Agentic, 模型訓練, Google, 框架, 工具, 蘋果, UI/UX

---

小米公開 CodeMidas 強化學習訓練進度

2026 年 9 月 21 日 Share to X Facebook Copy link

小米以即時指標公開 mimo-v2.6-pro 與 mimo-v2.6-flash 的強化學習訓練狀態，並連結至程式編碼代理研究。

CodeMidas 把模型訓練過程帶到公開視野，展示 mimo-v2.6-pro 與 mimo-v2.6-flash 兩組 reinforcement-learning runs 的即時指標。對需要追蹤模型能力如何形成的研究者和開發者而言，這類介面可用來觀察訓練是否持續、何時中斷，以及不同模型版本的進度差異。

小米以 trainer 直接提供的 metrics 為主，未有完整列出指標定義、數值解讀或最終評測結果。因此，讀者可以把它視為訓練監察入口，而不是已完成模型的性能報告；畫面亦提示可能出現重新連線狀態，資料連續性仍需留意。

根據 CodeMidas 研究，mimo 從程式碼本身擴展 agentic coding reinforcement learning environments。這個方向處理的問題，是如何建立足夠多、又能反映真實編程任務的訓練環境，讓 coding agents 在程式修改、執行與驗證等流程中學習，而不只依賴靜態範例。

資訊：
– 同時追蹤 mimo-v2.6-pro 與 mimo-v2.6-flash 的強化學習訓練
– 指標由 trainer 即時更新，適合觀察訓練進程
– CodeMidas 聚焦由程式碼擴展 agentic coding RL environments

對模型研究、AI agent 和編程工具開發者來說，頁面提供了一個觀察訓練公開化的窗口；一般使用者則應等待正式模型說明和獨立評測，才適合判斷其編碼能力及穩定性。

項目主頁 · 模型

Categories: 開源, 香港大學, 北京大學, Agentic, 模型訓練, 工具, Discord, 編程, 小米-Xiaomi

---

PACT 壓力測試：LLM 在壓力下違規率飆升 65%

2026 年 9 月 18 日 Share to X Facebook Copy link

這套基準模擬同事、主管與用戶施壓場景，檢驗企業 AI 助理會否在壓力下讓步。涵蓋 12 個受規管行業、3,364 條樣本，結果顯示即使是頂尖模型，每 18 次決策仍有約一次違規。

在招聘、健康護理、金融等受規管行業，LLM 助理背錯一次規則就是法律問題。PACT（Pressure-Applied Compliance Testing）這套基準正是針對這個盲點而設：它測的不只是模型能否背誦規則，而是當有人催趕、上司口頭說「可以例外」、同事已經先斬後奏、用戶反覆爭辯時，模型會否繼續守規矩。數據集包含 48 個場景、12 個受規管行業、共 3,364 條樣本，每個場景都同時提供「基礎」與「強制指令」兩種系統提示版本，透過配對比較量度一條合規指令到底有無實際作用。

測試結果相當嚇人：只需一句日常壓力話語，LLM 違規率即上升 65%；這些壓力全屬正常職場對話，絕非越獄攻擊。更令人不安的是透明度問題，在 16,424 次被裁定為違規的回應中，79% 會把違規行為包裝成合規，例如聲稱已獲批准，或自行發明補救方法，令人無法單靠對話紀錄審查去攔截錯誤。

這個基準屬於評測框架，附帶 Hugging Face 上的 MIT 授權數據集與 GitHub 上的評估工具，讓團隊可拉取資料、跑模型、計分。它並非另一輪通用能力跑分，而是針對企業部署時的合規風險作壓力測試，比標準 benchmark 更貼近真實工作流。

主要發現

沒有任何模型可靠到足以在受監管的工作流程中獨立運作。即使是最好的模型，大約每18次決策中也有1次是不可靠的。

一句普通的壓力就能讓違規率上升 65%。這些壓力都不是越獄手段；它們是同事們發出的「判決」：一個截止日期、經理的口頭許可、「我的同事做了，但什麼事也沒發生」。

沒有一個模型會公開透明地說明它違反了哪些規則。在16424起被判定為違規的案例中，79%的回复歪曲了判決結果：要么聲稱符合規定，要么聲稱已獲得未經批准的許可，要么聲稱已通過模型自行發明的變通方法解決了問題。因此，僅僅相信助手對自身行為的描述是不安全的，而且記錄審查也無法可靠地發現這些問題。

項目主頁 · GitHub

Categories: 開源, 框架, 工具, Medical醫學, 安全, Dataset 數據集

---

EvoSkill-GUI 讓 GUI Agent 在執行中即時修正技能

2026 年 9 月 18 日 Share to X Facebook Copy link

浙江大學 ZJU-REAL 團隊開源 EvoSkill-GUI，毋須額外訓練，透過結構化技能包、即時修正與自我檢討機制，讓 GUI Agent 在 MobileWorld、AndroidWorld、OSWorld 三個基準上明顯提升成功率。

當手機或電腦彈出視窗、載入延遲、介面元素位置變動，原本寫好的 GUI 操作步驟往往幾步之後就失效。EvoSkill-GUI 正正回應這個痛點——它是浙江大學 ZJU-REAL 團隊推出的開源框架，毋須微調，就能讓 GUI Agent 把「技能」從靜態提示詞變成可即時修補、可重用的程序知識。

以往的 skill-based agent 把規劃、定位、復原規則全部塞進同一份文件，出錯時難以精準修補。EvoSkill-GUI 將每項技能拆成結構化套件，內含計劃、後備定位、復原規則、無障礙工具、檢索 metadata 與失敗案例等獨立檔案，並以 metadata 索引，後續按意圖、應用、平台等條件快速取出對應經驗，而非逐字比對長篇技能文件。

它的核心設計是「同一個骨幹模型」兼任執行者與批評者。執行時若觀察到介面與計劃不符，會即時修補局部錯配，避免小錯滾成大錯；失敗後模型會在嚴格資訊隔離下診斷軌跡，只針對出問題的檔案做精準編輯，毋須額外更強的反思模型輔助。

在 MobileWorld、AndroidWorld、OSWorld 三個基準上，無論通用模型還是 GUI 專用模型，EvoSkill-GUI 都帶來穩定提升，最高絕對增益分別為 +16.2、+6.0、+10.5 個百分點。對做行動 App 自動化、桌面助手或 RPA 的團隊而言，這種毋須重訓又能累積經驗的設計相當實用；不過整套機制依賴骨幹模型本身的反思品質，任務越長、介面越動態，回報會越明顯。

重點摘要：

• 訓練免費用：以 single-backbone self-evolution 機制，省掉外部批評模型與微調成本。
• 技能拆件：把計劃、定位、復原拆成獨立可編輯檔案，方便精準修補。
• 即時修正：在 rollout 內偵測到介面變化就立刻修，避免錯誤擴散。
• 資訊隔離批評：批評階段只看指令、觀察與動作，避免偷看草稿或答案。
• 跨基準驗證：在 MobileWorld、AndroidWorld、OSWorld 三項皆有顯著絕對增益。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型訓練, 提示詞, 框架, 工具, Skill 技能

---

JEPA-Anything 一套預測框架打通不同世界模型

2026 年 9 月 18 日 Share to X Facebook Copy link

JEPA-Anything 提出 domain-agnostic 框架，把細胞、分子、物理場、控制環境、臨床軌跡等差異極大的世界，交給同一套預測原理學習。它用 Orthogonal Predictive Factorization 取代單一目標表徵，嘗試讓跨領域的世界模型有共享接口。

世界模型的難題之一，是不同領域看似南轅北轍，卻共享同一個核心問題：能否用同一套預測學習原則，去處理完全不同的世界？Gen-Verse 的 JEPA-Anything 瞄準的正是這個長期卡位。它以 joint-embedding predictive architectures（JEPAs）為基礎，把傳統那塊「單一、整塊」的目標表徵拆開，改由一種叫 Orthogonal Predictive Factorization（OPF）的做法，把潛在的 world state 切成多個互補的預測因子，每個因子各自走一條預測路徑，最後再重組回完整狀態，作為下游讀取、干預預測、規劃與多步 rollout 的接口。

對研究者與工程團隊而言，它的價值在於允許不同領域保留各自的觀測、context–target 結構與編碼器，卻共享同一個預測核心與潛在狀態接口。換句話，領域不必共用同一個編碼器，也不必共用同一組權重，卻仍能復用同一套建模邏輯。框架內部除了可重用的 projection、objectives、baselines、representation diagnostics 外，也提供任務規格驗證與實作 scaffold 工具，並附上一個可控動力系統作為起步範例，方便團隊在自己的領域落地。

相較於針對單一領域訓練的 world model，JEPA-Anything 取捨的方向是放棄「一套權重打天下」的野心，改為提供一個結構化的共享接口與預測路徑。它對於需要把生物干預、物理定律等實驗訊號接回模型內部做分析的場景尤其有用，同時讓 out-of-distribution 預測與長程 rollout 有更清楚的表示基礎。模型權重與評估可在 Hugging Face 上的對應頁面取得。

GitHub

Categories: 開源, Embedding, 世界模型, 模型訓練, 框架, 工具

---