Work2Skill 把人手 GUI 操作變成可重用 Agent 技能

Work2Skill 將人手操作錄成多模態證據,再整理成 Computer-use agents 可重用的工作技能。

Work2Skill overview: human GUI demonstrations, multimodal recording, action-linked evidence, agentic skill induction, an

面對陌生桌面軟件,單靠任務描述往往不足以交代按鈕位置、操作次序及完成後應有的狀態。Work2Skill 屬於 GUI 操作記錄、數據集與 Agentic skill induction 項目,處理的是如何把人手示範轉成可供 Computer-use agents 重用的程序指引,而不是另一個獨立基礎模型。

WorkRecorder 將螢幕影片、關鍵影格、滑鼠鍵盤事件及可用的無障礙資訊放在同一條時間線,讓每個動作同時保留畫面背景和介面狀態。WorkDemo-350 收錄 350 個桌面示範、約 8.48 小時錄製內容,包括 64 個 MyPCBench 任務及選出的 286 個 OSWorld 任務;AgenticSkillInduction 則提供基於 NexAU 的技能歸納範例,將流程整理成可執行時參考的技能。

它和只保存點擊座標或純文字步驟的做法不同,保留了操作前後的多模態證據,較適合處理介面改變、控制項含義不明或需要驗證結果的工作。不過,項目目前仍有清晰限制:macOS 錄製器及 Linux X11 AT-SPI 服務已提供,跨平台現場驗收仍待完成;下游評估整合亦尚未完成。

網站列出的結果以 0 至 100 分的 MyPCBench 平均分計算,四個執行模型在加入技能後最高提升 10.54 分。對需要累積桌面工作流程、研究 Computer-use agents,或希望以共同示範數據比較技能歸納方法的團隊,這套資源較有參考價值;資料集與錄製資料放在 Hugging Face,完整錄製及技能流程則要按各子目錄指南處理,原始資料未提供單一即用安裝流程。

  • 核心價值: 把人手 GUI 經驗連同畫面、輸入及介面證據保存。
  • 資料規模: 350 個示範,涵蓋 MyPCBench 與 OSWorld 任務。
  • 技術組成: WorkRecorder、WorkDemo-350 及 NexAU 技能歸納範例。
  • 主要取捨: 證據更完整,但跨平台驗收和評估整合仍未完成。

項目主頁 · GitHub

Categories: 開源, Agentic, AI productions, 模型, 多模態模型, Video, 軟件, Mac, Linux, 中國, Dataset 數據集, Skill 技能