Poki:AI 直接操作 iPhone 真實 App

Poki 把 AI 任務帶進 iPhone 的實際操作流程,能看畫面、點按和輸入;代價是畫面會傳給所選模型服務,敏感操作亦須仔細設定確認方式。

Poki icon

Poki 最不同之處,是 AI 不只在聊天視窗提供建議,而會直接讀取 iPhone 畫面,在真實 App 內點按、輸入和捲動。它是一款 iPhone 操作工具,處理的是跨 App 執行任務這一步;例如查天氣後回覆結果,也可以透過 Action Button、Siri 捷徑或語音對話發出任務。它會在 Dynamic Island 和鎖定畫面呈現執行步驟,付款、刪除資料及 Wallet 操作必須先獲確認,其他敏感操作的確認方式則由使用者設定。

Poki 的取捨在於,它能直接替你操作,也因此不是只讀取公開資料的問答工具。訊息可以真的送出,付款指令也會影響真實帳戶;同時,螢幕內容會傳送到你設定的模型服務。開始前應先確認使用的服務、資料傳送方式和核准設定,尤其不宜把密碼或私人內容交給未核實的服務。

安裝需要 Mac 或 Windows 電腦和 USB 數據線,透過 Poki Setup 將 App 安裝到 iPhone,首次使用要按 iOS 提示信任開發者並開啟 Developer Mode。安裝完成後,任務在手機上執行,不必一直連接電腦;但免費 Apple Account 的簽署有效期只有 7 日,須由 Poki Setup 定期續期,或在手機登入帳戶續期。開始操作前還要準備模型帳戶或 API key;可連接 OpenAI、Anthropic、Gemini、DeepSeek、OpenRouter,亦支援自建的 OpenAI-compatible server。語音對話另需語音模型金鑰。

目前的實機驗證範圍仍窄:項目文件稱已在使用中文介面的 iPhone、直向模式完成驗證,測試集中於 iOS 27,橫向模式不支援。iOS 18 至 26 採用 XCTest (XCTest) 測試工作階段控制介面,文件未列出這些版本的實機驗證結果;iPad 也未經實機測試。使用前還要在 iPhone 設定能把 10.7.0.1 路由回手機的 VPN,這增加了安裝門檻,也令不熟悉網絡設定的人較難自行排查問題。

較適合願意測試 iPhone 自動化、又能接受模型服務讀取畫面內容的個人和團隊。它可補上跨 App 操作的空缺,但現階段對 iOS 版本、語言、方向和簽署續期都有要求,不宜當成已廣泛驗證的無人監督助手。部署前可先用不涉及私人資料的任務確認操作結果,再逐步決定哪些動作需要人工核准。

  • 操作範圍:讀取 iPhone 畫面,並在其他 App 內點按、輸入及捲動。
  • 安裝方式:經 Mac 或 Windows 電腦安裝;日常任務在 iPhone 執行。
  • 模型選擇:使用者提供模型帳戶或 API key,亦可連接 OpenAI-compatible server。
  • 安全邊界:付款、刪除及 Wallet 操作必須確認;螢幕內容會傳送至所選模型服務。
  • 驗證限制:目前實機驗證集中於 iOS 27、中文介面及直向模式,免費帳戶簽署每 7 日到期。

GitHub

Categories: 開源, 模型, OpenAI, DeepSeek, Gemini, API, 工具, Mac, 語音, 安全, Anthropic, 蘋果