想訓練機械手做家務，最貴的部分往往不是模型，而是數據。RoboTok 由 Rice University 及 NVIDIA 合作開發，直接從海量網絡影片中撈取人手操作片段，再交給擬人機械手學習。它屬於一種數據引擎兼策略學習框架，把「找對數據」這一步自動化掉。
核心做法是把人手動作抽成以軀幹為基準的 3D 手部軌跡，再學一個嵌入空間，用 DTW（Dynamic Time Warping）相似度作監督，令同一種操作（例如倒水、摺衫）在不同鏡頭、不同人、不同場景下都能對齊。查詢時只要給一段示範影片，系統就用 cosine similarity 找出動作最相近的網絡片段。
- 以軌跡為單位做檢索：避開外觀差異，直接比動作本體，所以鏡頭變、場景變、人變都唔會影響配對。
- 配套軀幹估計模型：用雙手軌跡反推出身體/軀幹參考框，減少裁切與遮擋帶來的偏差。
- FAISS + GPU DTW：向量檢索用 FAISS，DTW 內核用 numba CUDA，跑大規模影片庫唔會慢到難以迭代。
- 機械人策略學習閉環：檢索結果直接餵下游模仿學習，做擬人機械手 policy 訓練，並已在仿真及真機任務做評估。
同類做法多數只用影片幀或粗糙動作標籤做檢索，容易被背景雜訊干擾。RoboTok 走 3D 手部軌跡嵌入這條路，換來更精準的動作匹配，但代價是 pipeline 較重：要裝 MANO/SMPL-H 體模、CUDA 環境，再跑一套自帶的訓練與評估流程。
最受惠的是做擬人機械手、靈巧操作（dexterous manipulation）研究的團隊，以及想用低成本網絡影片取代部分遙操作數據的工作小組。對只想要開箱即用機械人策略的人來說，門檻仍然偏高；對做數據策展與 representation learning 的人，呢套引擎本身就值得參考。