ExpActivator：讓 GUI 代理學懂何時啟用個人經驗

2026 年 10 月 13 日 Share to X Facebook Copy link

ExpActivator 不再把所有相關歷史硬塞進每一步，而是按畫面、時間與情境判斷哪些經驗真正適用。

當個人 GUI 代理執行多步任務時，相關歷史未必適合每一個畫面；ExpActivator 把這個取捨轉化成經驗啟用問題。它屬於免訓練的個人 GUI 代理框架，處理歷史操作何時應該介入當前決策，以及何時應該保持沉默。

逐步啟用會把新畫面放入凍結 GUI backbone 的 latent space，尋找相近的歷史狀態，再把對應動作交給 policy 作參考，代理可以採用、修改或拒絕。任務級啟用則只會在時間和情境都支持時提出重複意圖，否則選擇 abstain；相比把整段檢索歷史附加到 context，歷史不再被視為每一步都有效。

PersonalAlign 評估涵蓋 775 個個人化執行 episodes、7,915 個 actions，以及 215 個正面和 100 個負面 proactive suggestion states，測試 Qwen3-VL-8B、MAI-UI-8B、Qwen3.5-9B 和 GUI-Owl-1.5-8B。以 Qwen3-VL-8B 為例，ExpActivator 的開首步驟成功率為 70.06%，後續步驟為 26.67%，高於無歷史的 28.26%和 18.43%；研究頁亦報告平均軌跡步驟成功率提升約 28%，proactive suggestion 的 MCC 約為最強基線的 2.3 倍。

適合研究個人化 GUI 代理、重複工作流程和主動建議的團隊測試。項目不會訓練模型或預測參數，PersonalAlign 提供安裝及執行流程，但需另取 PersonalAlign 的 Fingertip20k；記憶應採用每位使用者按時間排列的前 80%，避免與執行測試 episodes 重疊。

• 按畫面逐步啟用歷史動作，而非只按任務檢索
• 按時間與情境判斷是否提出主動建議
• 凍結 backbone，無需重新訓練模型
• 同時測試個人化執行與 proactive suggestion
• 依賴外部 Fingertip20k 歷史資料及多個 GUI backbone

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, Agentic, 模型, 模型訓練, Qwen, 框架, 庫, UI/UX

---

Work2Skill 把人手 GUI 操作變成可重用 Agent 技能

2026 年 10 月 13 日 Share to X Facebook Copy link

Work2Skill 將人手操作錄成多模態證據，再整理成 Computer-use agents 可重用的工作技能。

面對陌生桌面軟件，單靠任務描述往往不足以交代按鈕位置、操作次序及完成後應有的狀態。Work2Skill 屬於 GUI 操作記錄、數據集與 Agentic skill induction 項目，處理的是如何把人手示範轉成可供 Computer-use agents 重用的程序指引，而不是另一個獨立基礎模型。

WorkRecorder 將螢幕影片、關鍵影格、滑鼠鍵盤事件及可用的無障礙資訊放在同一條時間線，讓每個動作同時保留畫面背景和介面狀態。WorkDemo-350 收錄 350 個桌面示範、約 8.48 小時錄製內容，包括 64 個 MyPCBench 任務及選出的 286 個 OSWorld 任務；AgenticSkillInduction 則提供基於 NexAU 的技能歸納範例，將流程整理成可執行時參考的技能。

它和只保存點擊座標或純文字步驟的做法不同，保留了操作前後的多模態證據，較適合處理介面改變、控制項含義不明或需要驗證結果的工作。不過，項目目前仍有清晰限制：macOS 錄製器及 Linux X11 AT-SPI 服務已提供，跨平台現場驗收仍待完成；下游評估整合亦尚未完成。

網站列出的結果以 0 至 100 分的 MyPCBench 平均分計算，四個執行模型在加入技能後最高提升 10.54 分。對需要累積桌面工作流程、研究 Computer-use agents，或希望以共同示範數據比較技能歸納方法的團隊，這套資源較有參考價值；資料集與錄製資料放在 Hugging Face，完整錄製及技能流程則要按各子目錄指南處理，原始資料未提供單一即用安裝流程。

• 核心價值： 把人手 GUI 經驗連同畫面、輸入及介面證據保存。
• 資料規模： 350 個示範，涵蓋 MyPCBench 與 OSWorld 任務。
• 技術組成： WorkRecorder、WorkDemo-350 及 NexAU 技能歸納範例。
• 主要取捨： 證據更完整，但跨平台驗收和評估整合仍未完成。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 軟件, Mac, Linux, 中國, Dataset 數據集, Skill 技能

---

SoftwareGym 讓電腦代理在真實桌面中反覆修正

2026 年 10 月 13 日 Share to X Facebook Copy link

SoftwareGym 把可執行軟件變成訓練環境，讓 Computer-use agents 在真實 GUI 操作中接受測試與修正。

要測試 ChatAPP、PicEditor 等軟件操作能力，單靠靜態截圖不足以反映代理能否完成任務。SoftwareGym 屬於環境合成管線，會生成具備介面及可執行功能的應用程式，再交由 Computer-use agents (CUAs) 在真實 GUI 中操作和驗證，處理訓練環境難以大量製作且欠缺互動性的問題。

流程由 FunctionDesigner 撰寫需求，StyleDesigner、SubStyleDesigner 產生 Avalonia .axaml 介面藍圖，IconDesigner 系列工具建立 SVG 圖示；Coder 再以 .NET 8 和 Avalonia 11 實作，DevCoder 按測試結果修補。各階段透過 Codex CLI 執行，EvalTaskGenerateAgent 負責建立 GUI 測試案例，GPT-5.4-style computer-use agent 或 Seed 則在 OSWorld 的 Ubuntu Docker 虛擬機內操作生成軟件。

• 以 OSWorld 相同的 Docker、Ubuntu 桌面環境對齊後續評估條件
• 透過 screenshots 與 PyAutoGUI actions 驗證真實操作流程
• v1 至 v3 每輪把 summary.json 和審查結果交回 Coder／DevCoder 修正
• runner-events.jsonl、GUIEval 分數及 cost summary.json 用於追蹤進度、品質和 token 使用量

這種做法把「生成應用程式」與「代理能否操作」放入同一個閉環，適合研究 Computer-use agents、GUI agent、軟件生成及 OSWorld 評估的團隊。README 提供輸出路徑、代理設定和執行紀錄格式；使用者仍需自行確認 Docker、OSWorld VM、Codex CLI 及相關模型環境是否已備妥。

GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, OpenAI, 軟件, 工具, Linux

---

CASE 讓 8B 模型主動尋找長期病歷證據

2026 年 10 月 13 日 Share to X Facebook Copy link

CASE 訓練視覺語言模型自行翻查跨時段 MRI 與臨床資料，將醫療問答由讀答案推進至主動取證。

面對需要比較多次就診、器官變化與 MRI 切片的臨床問題，CASE 讓模型先決定應該查哪次訪視、哪個器官及哪種工具，再整理證據作答。這個項目屬於醫療多模態模型與 Agentic learning 實作，處理的是長期臨床推理中「證據未預先整理」的難題。

核心模型採用 Qwen3-VL-8B-Instruct，透過兩階段訓練建立工具使用能力：先以 RSFT 學習經篩選的教師軌跡，再以 Agentic RL 和 GRPO 讓模型根據自身操作結果修正策略。RLAIF rubric judge 負責評分，OPSD 則利用 privileged self-distillation，改善由證據走向結論的推理，而不硬性規定工具次序。

同一個 checkpoint 會按三種臨床角色工作：Anatomist 處理器官分割和體積變化，Radiologist 比較跨訪視 MRI，Consultant 則綜合影像、體積、MedGemma 報告和 skill memory。工具預算由 4 至 12 次不等，反映不同任務在查證深度與成本之間的取捨。

• 以 UK Biobank 4,739 名參與者建立 50,401 條縱向臨床問題
• 訓練資料包含 147,434 條 frontier-model 互動軌跡
• 在匹配條件下，Qwen3-VL-8B agent 的答案準確率較 GPT-5.4 高逾 16%，較 Claude Opus 4.8 高逾 10%
• 適合研究醫療 agent、MRI 分析及跨訪視證據整合的團隊

項目提供 Docker 環境，但執行預設需要 8 張 GPU、運行時可用的 gcc、另行下載 Qwen3-VL-8B-Instruct 權重，以及供 RL rubric judge 使用的 OpenAI-compatible API key。資料須透過 UK Biobank Showcase 或已獲批的 UKB-RAP 申請取得；適合作為研究型項目測試，未宜直接視為可即時投入臨床的產品。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 多模態模型, 模型訓練, Qwen, API, Image, 工具, Medical醫學, Dataset 數據集, Skill 技能, 強化學習

---

InstantFusion 讓不同影像模型接力生成

2026 年 10 月 13 日 Share to X Facebook Copy link

InstantFusion 把不同 diffusion models 接到共同 latent space，令模型可以中途交接、加速生成，亦能混合不同偏好。

當一張圖的生成工作需要在 Qwen-Image、FLUX.1 或 SD3 之間切換，InstantFusion 讓去噪軌跡可以在中途交接。這個開源研究項目屬於影像模型工具，處理的是不同 diffusion models latent space 不相容，難以直接接續生成的問題。

核心是 Latent Alignment Encoder（LAE）：模型專屬的 encoder 和 decoder 先把各自 latent 映射到 shared latent space，再以重建、cross-reconstruction、latent alignment 及 denoising-velocity alignment loss 保留圖像資訊和去噪動態。模型本身維持 frozen，LAE 負責建立彼此之間的轉換接口。

完成對齊後，生成軌跡可以交由另一個模型繼續處理，帶來三種用途：
– 不同步數預算的模型接力，嘗試縮短生成時間
– 結合針對不同偏好優化的模型
– 在 shared latent space 進行 cross-model OPD，以模型 A 的 velocity field v 蒸餾模型 B

LAE 重建測試涵蓋 Qwen-Image、FLUX.1 和 SD3，並以 100 張圖片計算 mean SSIM；介面驗證亦顯示，單次 latent round trip 能保留較高 fidelity，但反覆轉換會累積 reconstruction error。這意味着模型接力有實用價值，但不適合無限制地來回切換。

儲存庫包括 LAE training、OPD training 和 LAE-based model handoff inference，適合研究 heterogeneous image generators、模型融合或生成加速的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 上海人工智慧實驗室, 模型, 模型訓練, Qwen, Stable Diffusion, Image, 影像模型, 香港, 工具, 庫

---

SepGen 讓影片生成同時輸出獨立聲軌

2026 年 10 月 13 日 Share to X Facebook Copy link

SepGen 把影片生成與聲音分離放進同一模型，讓每種聲音獨立輸出，方便重混及空間音效製作。

影片生成不再只產生一條混合音軌：SepGen 是一個多模態生成模型，處理影片畫面、完整配樂，以及按描述分開的聲音 stem。你可以描述場景和各種聲音生成新片，也可以交給它現有影片，抽取指定聲音。

SepGen 建基於 LTX-2.5，在同一次運算加入兩條由文字控制的音訊軌；原有完整 soundtrack 保持不變，每條 stem 只根據自己的描述生成。相同模型同時支援 generation 和 separation，分離後的聲音亦可配合場景位置，延伸至 4D video 和 spatial audio 工作流程。

• 生成影片、完整 soundtrack 及獨立聲軌
• 以文字指定要抽取的聲音
• 同一組 weights 支援兩種任務
• 可配合移動視角重新呈現聲音位置

項目適合影片後期、遊戲場景、互動媒體及需要重新混音的研究團隊。README 提供 Linux、ffmpeg 及單張 48 GB NVIDIA GPU 的執行條件；模型 weights 約 72 GB，每段影片在 RTX A6000 上需數分鐘，長片則要啟用 VAE tiling，且 num-frames 必須符合 8k+1。

SepGen 的取捨在於硬件及模型容量要求不低，README 亦未提供低記憶體替代方案。gen-3k checkpoint 可用於 generation，分離能力約相近；項目同時提供模型與 SepGen-Dataset，但目前資料未交代更廣泛硬件的性能比較，較適合作為研究原型或具備 NVIDIA 工作站的製作項目。

項目主頁 · GitHub · 模型

Categories: 開源, AI productions, 模型, 多模態模型, NVIDIA, Video, Audio, Linux, LTX, Dataset 數據集

---

Representation Guidance（RG）：以低維引導 Pixel Diffusion Transformer 生成影像

2026 年 10 月 13 日 Share to X Facebook Copy link

Representation Guidance 把生成所需資訊壓縮到低維表示，再直接引導像素生成，為大型 pixel diffusion Transformer 提供更有效率的改良方向。

由像素直接生成高質素影像，往往要在語義理解、空間細節與模型計算量之間取捨。Representation Guidance (RG) 屬於影像生成模型方法，針對 pixel diffusion transformers 加入可被生成流程主動利用的內部表示，同時保留 plain Transformer 架構，處理表示學習與像素合成未能有效銜接的問題。

RG 先用 low-dimensional bottleneck 將與生成相關的資訊集中到緊湊表示，再按照該表示帶來的 prediction offset，修改 flow-matching target，直接引導 decoder 生成。它沒有依賴外部 autoencoder 預先建立 representation space，而是由 raw pixels 端到端學習；相較加入專用 pixel decoder 的架構，RG 嘗試避免只重新分配語義及空間建模工作，並以較簡單的 Transformer 結構擴展。

在 ImageNet 256×256 測試中，RG-L/16 使用 459M 參數，在 600 epochs 達到 1.79 FID；RG-XL/16 以 724.9M 參數取得 1.55 FID、293.8 IS。項目亦報告 512×512 的 1.74 FID，並延伸至 text-to-image，在 GenEval 取得 0.89、DPG-Bench 取得 87.1；這些結果顯示方法適合研究高解析度像素生成及文字生圖，但較大型模型仍需要相當計算資源。

你可從以下幾點理解它的實際價值：
– 低維 bottleneck 將生成相關資訊集中，減少表示與生成流程各自學習的落差。
– RG-L/16 以較少參數超越更大型的 pixel diffusion transformers。
– plain Transformer 方便研究內部表示如何形成及影響像素合成。
– 項目資料提供結果與模型規模，但未交代完整安裝、下載或推理流程，測試前仍需查看 Project Page 或後續程式碼。

較適合研究 pixel diffusion、生成式表示學習，以及希望比較 flow matching 架構的團隊。它的價值不在於提供即時可用的生圖工具，而在於把「學到表示」與「利用表示生成」放入同一個訓練機制；模型參數和 GFLOPs 仍然偏高，未必適合資源有限的個人電腦。

項目主頁 · GitHub

Categories: 開源, 香港大學, 阿里巴巴, 模型, 模型訓練, Image, World-Action Model, txt2img, 香港, 工具

---

StereoBind 讓生成聲音跟隨畫面移動

2026 年 10 月 13 日 Share to X Facebook Copy link

StereoBind 不只同步影片與聲音，還嘗試讓聲音方向跟隨畫面中的發聲物體移動，為沉浸式生成補上空間感。

當畫面中的車輛、人物或物件移動，聲音不應只在時間上同步，還要讓聽者感覺聲源位置一同改變。StereoBind 屬於聯合影片與音訊生成模型的研究項目，處理的正是立體聲與可見聲源之間的動態空間對應問題，面向 AR/VR、互動遊戲及沉浸式內容製作較有價值。

StereoBind 在預訓練的 joint audio-video generator 上加入視覺來源的 motion tracks，將畫面中的移動軌跡傳給音訊生成流程。Simple Summary Tokens 壓縮來源內容與動態資訊；Spatial Track Encoder（STE）編碼每個時間點的標準化 2D 位置；ResidualTrackRoPE 則把相對軌跡變化加入 temporal attention，令模型同時理解聲源所在位置及移動方向。

• 以軌跡連接視覺來源與 stereo audio
• StereoWorld-29K 提供附帶 motion tracks 的立體聲影音資料
• StereoWorldBench 用來量度聲音是否跟隨可見聲源
• 目標是改善空間對齊，同時保留整體影音品質

StereoWorld-29K 不只是訓練資料，亦包含由真實影片及軌跡控制合成場景整理而成的幾何監督；StereoWorldBench 則針對聲音與畫面來源在時間上的空間一致性作評估。項目資料稱實驗能大幅改善立體聲生成的空間對齊，但目前提供的資訊未列出具體分數、基準模型或延遲數據，因此未能判斷它在不同場景的實際優勢幅度。

GitHub 儲存庫目前仍屬公開發布前狀態，inference code、training code、設定檔、checkpoints、StereoWorld-29K 及評估套件尚未提供，亦沒有可照做的安裝流程。研究團隊、影音生成模型開發者，以及需要聲音方向隨畫面移動的 AR/VR 和遊戲製作流程，可以先把它理解成一套待公開的 trajectory-conditioned 聯合生成框架；現階段較適合閱讀研究概念及等待後續資源，而不是立即部署。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 多模態模型, 模型訓練, Video, World-Action Model, Audio, 框架, 庫, Dataset 數據集

---

RSI-Anything：用世界模型推動跨領域遞迴自我改進

2026 年 10 月 12 日 Share to X Facebook Copy link

RSI-Anything 把預測、行動回饋與學習串成循環，讓同一套框架應對程式修復、GUI 操作及實驗規劃。

當系統需要由多個候選行動中揀選較佳方案，RSI-Anything 會先預測後果，再透過外部評估修正下一輪決策。它屬於建基於世界模型的通用框架，處理的是模型如何利用互動經驗持續改善，而不只是在單次任務中產生答案。

框架以 JEPA-Anything 作為預測基礎，將候選生成、預測引導選擇、外部評估、學習和保留成果串成「Propose → Predict → Select → Evaluate → Learn → Retain」循環。不同領域可自行定義狀態、行動、預測目標和回饋，因此同一流程能延伸至 code repair、GUI interaction、laboratory planning、reaction optimization 及 immune science。

可從以下幾點理解其價值：
– 以世界模型預測行動後果，減少只靠試錯作決策的需要
– 以外部回饋檢驗選定行動，將經驗帶入下一輪學習
– 支援程式修復、GUI 操作和實驗規劃等不同工作情境
– Hugging Face 提供 RSI-Anything 數據集，包含 image、text 及 3.2k rows，分為 train 3k 與 test 200

資料集包括 historical_actions、candidate_next_actions、reasoning 和 next_action，較適合研究候選行動選擇及實驗流程推理；項目未在所提供內容中列出具體性能數字，因此應先視為研究框架與資料資源，而非已證實能普遍自我提升的成熟系統。

項目主頁 · GitHub

Categories: 開源, 模型, 世界模型, Image, 框架, Python, Dataset 數據集

---

[技術文章] HARNESSSQL 讓 SQL 代理在真實資料庫中學習

2026 年 10 月 11 日 Share to X Facebook Copy link

SQL 代理不再只需一次生成查詢，而是在可執行資料庫內探索、修正錯誤並完成任務。

面對陌生資料庫，SQL 代理往往要先查看 schema、檢查欄位和值，再執行試探查詢、分析錯誤，最後修訂並提交 SQL。HARNESSSQL（Harness-Native Training for SQL Agents in Realistic Database Environments）是一套面向這類互動流程的後訓練框架，針對模型訓練只學習「問題直接對應查詢」、但推理時才加入執行工具的落差作出修正。

傳統 Text-to-SQL 通常把資料庫視為靜態提示內容，難以涵蓋長時間、多回合的探索。HARNESSSQL 建立隔離且可執行的資料庫環境，配合隱藏的 execution oracles，讓教師模型直接在目標 SQL harness 內完成互動，並只保留經驗證的操作軌跡進行 full-sequence SFT，之後再以 execution reward 進行 RL。

項目的核心做法包括：
• 將 schema 檢查、工具呼叫、查詢執行及錯誤修正納入訓練流程
• 以 sandbox 控制資料庫狀態，保存結果與錯誤回饋
• 只使用可驗證的成功軌跡，減少錯誤示範干擾
• 讓模型適應 Spider 2.0-SQLite 的互動式任務

在 Spider 2.0-SQLite 上，Qwen3-8B 的 execution accuracy 由 15.5% 升至 45.2%，Qwen3-14B 則由 22.2% 升至 54.8%；訓練所得能力亦能轉移至 BIRD-Interact 和 LiveSQLBench。結果反映，資料庫代理要處理複雜工作流，訓練階段同步保留執行 harness，比只在推理階段補上工具更能縮小訓練與使用環境的差距。

Paper

Categories: 開源, 香港科技大學, 清華大學, Agentic, 模型, 模型訓練, Qwen, 微軟, 框架, 香港, 工具, 庫, 強化學習

---