UI-KOBE 是一個面向手機圖形介面代理的項目，核心做法是先探索 Android app，再把畫面與操作路徑整理成狀態轉移圖。對非研究背景的讀者來說，可以把它理解成先替代理畫好地圖，之後代理就不用每一步都盲撞。
動手使用這個項目，需要先備好 Python 3.10、uv、Android SDK、adb、emulator，以及已安裝目標 app 的 Android Virtual Device，另外還要提供 VLM 服務憑證。它依賴 AITK，並可把產生的圖拿去配合 AITK 或 Android World 使用，所以較適合已經有 Android 自動化或代理測試流程的人。
這個項目解決的問題很明確：手機代理在 app 內工作時，容易因畫面變化、按鈕位置或流程分支而迷路。UI-KOBE 會先開啟 app、觀察畫面、選擇探索動作，再記錄結果；每個 app 狀態成為圖節點，能把狀態改變的操作變成邊，之後執行階段可先匹配當前畫面，再從附近路徑選下一步，必要時也可用 free-form fallback action 補位。
- 先建立 UI knowledge graph，再交給下游代理導航
- 可接到 AITK 與 Android World 代理流程
- 依靠 state-transition graphs 減少盲目點擊與重複探索
- 內含 explore、audit_graph、plot_graph 等腳本，方便檢查圖內容
從設計看，UI-KOBE 的創新點不在單一模型，而在把探索與執行拆成兩段：先累積 app 結構知識，再於 runtime 重用。儲存庫亦提到 UI-KOBE v2 runtime 會載入圖、比對當前畫面節點，再根據圖邊決策；這種做法在多步驟 app 任務中，理論上比純即時決策更穩。
就用途而言，這個項目很適合研究 Computer-use agents（CUAs）、mobile GUI agents、Android 任務代理。