
Gamer 能按遊戲畫面發出鍵盤與滑鼠操作,並把先前經歷納入下一步決定。這個 Vision-Language-Action(VLA)模型把視覺、語言與動作連起來,處理需要持續操作的遊戲任務。對研究遊戲代理的團隊而言,它的價值在於將觀察、記憶與控制放進同一條工作流程。
操作節奏是 Gamer 最具辨識度的部分。畫面以 5 Hz 採樣,模型每個 200 ms interval 預測一次滑鼠位移,以及六個連續的 33 ms key-state blocks,也就是逐段指定按鍵狀態。這讓它支援 30 Hz control,無需 separate action head,即額外負責輸出動作的模組;但控制頻率不能當成每秒重新看畫面的次數。
長任務需要保留進度,否則舊畫面離開可讀取的內容範圍後,先前探索便難以延續。Gamer 的記憶會保留已完成目標、失敗嘗試、重要位置、資源及剩餘計劃。推理、記憶更新與操作共用 autoregressive output sequence,即模型逐步產生同一串輸出,讓行動可以接續先前的決策。
Gamer-SFT 是經 Supervised Fine-Tuning(SFT)訓練的版本,Gamer-RL 則再經 Online Reinforcement Learning(RL)改善操作策略。在七類解謎、四十個未參與訓練的測試任務中,兩者的 macro-average success rate 分別為 39.2% 與 49.7%,相差 10.5 percentage points。這個指標給每類謎題相同權重;兩個版本都曾在全部七類成功解題,但不代表每類都能穩定完成。
- 輸入除了當前畫面,還包括任務、觀察歷史與記憶。
- 輸出涵蓋按鍵狀態、滑鼠移動及滾動,可表達連續操作。
- 觀察頻率與控制頻率不同,解讀即時能力時需要分開看。
- 記憶保留失敗嘗試,讓後續決策能參考先前探索。
- 解謎成功率反映指定測試範圍,不能直接當成任意遊戲的通關率。
即時互動也取決於推理服務能否及時送出動作。Streaming-vLLM 跨輪次重用每個 client 的 Key-Value(KV)cache,即保留先前計算結果,並在整段輸出完成前發送已驗證的動作區塊。連同針對模型架構的運算優化,H200 Mixture-of-Experts(MoE)workload 的端到端 request latency 由 1,306 ms 降至 65.12 ms;這是指定硬件與工作負載的結果,不能套用到其他配置。
當任務超出已測試的解謎類型,或環境變化快於畫面觀察節奏,可靠性便需要重新驗證。後者尤其涉及操作期間能否及時取得新畫面,單靠提高按鍵輸出頻率不足以證明能應付。即使在已報告的測試範圍,Gamer-RL 的成功率仍只有 49.7%,因此較適合研究與受控測試,不宜直接承諾無人監督的長時間通關。
準備試驗的團隊可從官方儲存庫 RainBowLuoCS/Gamer 及項目網站 https://mihoyo-gamer.github.io/ 查閱實作。測試需要能提供畫面並接收鍵盤滑鼠操作的遊戲環境,以及承載模型的推理服務;原始資料未交代完整安裝流程、軟件依賴與最低硬件要求,也不足以判斷儲存庫維護節奏。H200 延遲測試只能作效能參考,不能視為最低配置。
題述要求加入的 MiniMax-H3 影像重建與增強定位,並無原始資料支持。感知相似度、結構能量增強、色彩分佈變化、飽和度增強,以及銳利度與高頻細節,都不能列作 Gamer 已驗證的用途。評估此項目時,應以畫面到操作的控制流程、記憶延續能力及遊戲任務成功率作依據。










