InferNews

MiniCPM5-2B：小模型挑戰長文本與本機 Agent

Share to X

MiniCPM5-2B 定位本機助理與 Agent 工作流，憑混合注意力機制在 256K 上下文速度達同類模型的 3.5 倍，1M 長度亦唔會 OOM。

minicpm logo

2B 級開源模型一向被視為「垃圾」，但 OpenBMB 推出 MiniCPM5-2B 想直接打破呢個印象。佢係一個密集 2B Transformer，專為本機部署、資源受限場景同 Agent 工作流而設，並非追求跑分，而係希望用細模型扛起編碼、工具調用同長文本推理嘅實際任務。

佢最大嘅賣點係混合注意力架構：25% InfLLM-V2 配 75% Lightning Attention，前者處理局部細節，後者負責廣域上下文，避開全注意力喺長序列嘅記憶體負擔。另一關鍵係 Transformer-to-Hybrid Continue Training，直接喺預訓練權重上做架構轉換，省去冷啟動訓練成本，整體訓練預算大約只需從頭練一個同級模型嘅 25%。

喺長文本佢喺 256K token 序列長度下推論速度達 Qwen3-8B 嘅 3.5 倍（A6000D 實測），1M token 仍可運行，而 Qwen3-8B 喺 1M 已經 OOM。短文本方面，佢嘅知識、數學、編碼能力貼近 Qwen3-8B，但長文本基準測試反而更高，可以理解為「細模型唔再需要喺長短場景之間二擇一」。

對想喺本機跑 Agent、或需要處理超長文件嘅開發者同團隊，呢個模型提供咗一個具體選項。OpenBMB 同時開源咗 UltraX 預訓練數據集、UltraData-Code、UltraData-SFT-Agent-2609（50 萬條 Agent 樣本）同 UltraData-RL-2609，方便下游微調。Hugging Face 有線上 Demo 可即時試，GitHub 上亦有部署與微調腳本。

  • 混合注意力：25% InfLLM-V2 + 75% Lightning Attention，兼顧局部同廣域上下文
  • 架構延續訓練：Transformer 權重直接轉為混合架構，訓練成本僅約 25%
  • 長文本表現：256K 推論速度為 Qwen3-8B 嘅 3.5 倍，1M token 仍可運行
  • 短文本保持競爭力：知識、數學、編碼接近 Qwen3-8B 水平
  • 配套開源數據：UltraData 系列涵蓋預訓練、Agent SFT、RL 樣本

GitHub · 模型

Categories: 開源, Agentic, 模型, 模型訓練, 工具, Dataset 數據集

MaP-WAM：把記憶變成計劃

Share to X

MaP-WAM 將機械臂長任務拆成「記憶 → 計劃 → 行動」三步，先保留稀疏視覺證據，再壓成固定長度的計劃執行，讓 executor 不再因歷史增長而越來越慢。

Repository image for aipixel/MaP-WAM

做過長任務的 robot policy 都知道，當動作序列拉長，模型要嘛靠語言摘要回憶過去，要嘛硬把一堆畫面塞進上下文，結果前者丟失精確視覺證據，後者則隨步數累積越來越慢。MaP-WAM 走的第三條路：把記憶視為「規劃時的證據」，而非「執行時的負擔」。它由哈爾濱工業大學、南洋理工大學及山東大學等團隊共同提出，屬於 VLA 框架與 World-Action Model 思路的延伸。

主流機器人策略通常採用馬可夫公式，但許多複雜的現實世界操縱任務本質上是非馬可夫的，需要超越當前觀察的長視野記憶。MaP-WAM 的核心分三層：每完成一段任務，便把該段的語言指令與少量真實執行幀打包成 episodic memory；之後由視覺語言模型生成下一段的語言計劃，並由因果世界模型補出對應的視覺引導；最後由 World-Action-Progress（WAP）模型在同一上下文內同時輸出動作 chunk 與進度，再以 plan-observation alignment 校正遞迴估計、以 progress-gated transitions 決定何時更新記憶並請求下一段計劃。由於已完成片段的 episodic 證據與當前計劃都可被 cache，executor 的上下文長度保持固定。

在 RMBench 上達到 83.3% 成功率、真機實驗約 78.0%，同時 executor 維持近似常數的 per-chunk 延遲。在三個長任務記憶方案中，這套設計拿來對比的恰是「語言記憶丟視覺證據」與「滑動視窗記憶吃 GPU」這兩個老毛病，並以固定上下文的方式直接拆解效率與覆蓋率的取捨。

適合關注機器人長任務、World-Action Model、VLA 框架的研究團隊與工程團隊參考。模型 checkpoint 標示為 Coming Soon，現階段只能讀 paper 與項目頁理解思路。

重點摘要：

  • Memory-as-Plans：將長任務記憶拆成「已完成片段的稀疏視覺證據 + 語言計劃」，而非把所有歷史塞回 executor。
  • WAP 模型：在同一上下文內同時輸出動作 chunk 與任務進度，並透過 plan-observation alignment 校正遞迴估計。
  • 固定上下文執行：已完成片段與當前計劃皆可 cache，executor 上下文長度不再隨歷史增長。
  • 對比清晰：直接挑戰語言記憶丟失視覺證據、滑動視窗吃 GPU 記憶體兩種主流做法。
  • 現況限制：訓練與推理程式碼、模型 checkpoint 均未釋出，目前僅有 paper 與項目頁可參考。

項目主頁 · GitHub

Categories: 開源, 模型, 視覺模型, 多模態模型, 世界模型, 模型訓練, VLA, World-Action Model, Robotic, 框架

World in World 把 14B 世界模型變成你的虛擬攝影機

Share to X

想用一條普通影片就做到 360 度重拍、子彈時間、視角切換？World in World 讓凍結的 14B 影片世界模型 LingBot-World 2.0 直接「走進」影片，無需微調，單卡 80GB GPU 即跑。

pipeline

對於做特效、剪輯或沉浸式內容的人來說，最頭痛的往往不是生成新畫面，而是手上明明有一段拍好的影片，卻想換個角度、換條鏡頭軌跡重新「拍一次」。Westlake-AGI-Lab 推出的 World in World，正是針對這個卡位：給定一段輸入影片和一條新相機路徑，模型會重新生成同一事件在新視角下的畫面，不用訓練、不用微調。

它本質是一個影片再攝影框架，骨幹是一個凍結的 14B 影片世界模型 LingBot-World 2.0。技術上沒有走 latent editing 或 GAN 反轉的老路，而是把所有可控制的訊號——來源影片、場景幾何、相機參數——全部變成視覺證據：先用深度把來源幀提升到 3D，依新相機路徑 warp 過去，再當成額外 key/value 塞進模型自己的 attention，讓模型「看到」新相機應該看到什麼，缺失的部分由它自己補完。這種做法讓相機軌跡、人物動作與場景幾何保持高度一致。

從結果來看，它已經放出自由相機重拍、子彈時間和影片編輯三項功能；大型角度 360 度重拍結合 3D 人體代理、跨模型記憶共享、長影片 frustum memory、串流互動生成、動作遷移等仍在路線圖中。對特效團隊、短片創作者、遊戲過場預覽、AR/VR 內容開發者來說，可以用一條現成素材快速產出多視角版本，而不必從零生成或手動三維重建。

官方在 Linux 上以 80GB A100 測試，峰值記憶體約 72GB，需 CUDA 12.4 與 Python 3.10，並預編譯 flash-attn wheel 以避免從源碼編譯。相較同類影片重生成方案，它放棄了對模型本體做適配，以 warp + attention injection 換取「即插即用」與較低硬體門檻，但代價是大角度旋轉、人物遮擋等極端情況仍依賴後續的 3D 代理與 frustum memory。

  • 凍結模型免訓練：以 warp 後的視覺證據作為 attention key/value，無需微調 14B 世界模型。
  • 多視角影片重拍：支援弧線、推拉、平移、定點旋轉等自由相機路徑。
  • 子彈時間與影片編輯：凍結任意一幀改變視角，或改第一幀讓編輯自然延伸至整段。
  • 單卡 80GB 可跑：Linux + A100 + CUDA 12.4 + Python 3.10，硬體門檻相對可控。
  • 路線圖仍在擴展：360 度重拍、跨模型記憶、串流生成等功能陸續排程中。

項目主頁 · GitHub

Categories: 開源, AI productions, 模型, 世界模型, 模型訓練, NVIDIA, Video, 框架, Content Creator, 3D, Linux, Python

騰訊混元開源 AuK：1.5B 模型統一語音生成與編輯

Share to X

騰訊混元把零樣本 TTS、語音編輯、分離與增強收進同一個自然語言指令介面，並同步釋出追求速度的蒸餾版本 AuK-Flash。

AuK performance across speech generation, editing, enhancement, and separation benchmarks

語音模型一直存在一個尷尬：零樣本合成、語音克隆、音色替換、分離、降噪往往是幾套獨立系統，要串起來就得堆 pipeline。騰訊 Hunyuan 開源的 AuK 想打破這個分工，以 1.5B 參數的基礎模型為核心，讓一句自然語言指令直接對應到編輯後或生成的音訊。

AuK 由三部分組成：負責語義條件的多模態語言模型、提供聲學潛在空間的 50 Hz VAE，以及一個混合 rectified-flow Transformer，用雙流 MMDiT 塊融合兩種條件後再做單流 DiT 生成。訓練數據規模相當可觀——約 30.3 億條指令-音訊配對，加上約 195 萬小時的有效監督，覆蓋五大任務族：語音生成、內容編輯、增強與分離、副語言資訊編輯、聲學編輯。

同步釋出的 AuK-Flash 走速度路線：透過一致性初始化加上任務路由的 Decoupled DMD 蒸餾，做到 NFE=4、無 CFG 的 4 步推論，官方指在匹配條件下對比完整 AuK 有約 4.5 倍 wall-clock 加速，質量接近教師模型。這個分層策略對需要即時語音生成的應用場景（如對話 agent、實時配音）有直接意義。

部署層面，官方同時提供 Hugging Face Space、ModelScope Space、Gradio 互動介面、ComfyUI 節點、Python API，以及 uv 和 Conda 兩種依賴管理方式，並已獲 SGLang-Omni Day 0 支援。對於本地資源有限的團隊，AuK-Flash 配合 SGLang-Omni 是較合理的切入點；如果追求最高質量、且不在意推論延遲，則可選 AuK Base，並透過可配置的 NFE 與 CFG 做品質/速度取捨。

重點摘要：

  • 1.5B 統一模型：用自然語言指令統一零樣本 TTS、語音編輯、分離、增強、副語言與聲學編輯。
  • 三模組架構：多模態語言模型 + 50 Hz 音訊 VAE + 混合 rectified-flow Transformer，採雙流 MMDiT 接單流 DiT。
  • AuK-Flash 蒸餾：一致性初始化 + 任務路由 DMD，4 步推論無需 CFG，wall-clock 加速約 4.5 倍。
  • 後訓練策略：語音生成用獎勵強化學習，開放式編輯用人類偏好優化。
  • 部署支援完整：Hugging Face、ModelScope、Gradio、ComfyUI、Python API、SGLang-Omni 齊備。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, 文字轉語音, ComfyUI, Agentic, 模型, 多模態模型, 模型訓練, API, Audio, Python, 語音

SyncWorld：用一段影像校準，讓世界模型零樣本遷移到新機械人

Share to X

同一個數值動作換了鏡頭或機械人就失效？SyncWorld 以「視覺校準片段」作為提示，讓單一世界模型即時推斷動作與畫面嘅對應關係，毋須再為每個環境重新微調。

SyncWorld teaser

動作數值喺像素空間其實唔係通用語言——換鏡頭、換機械人位置、換機械結構，同一個動作指令就會產生唔同嘅視覺效果，亦即係點解用混合數據訓練出嚟嘅動作條件世界模型（action-conditioned world model）喺新場景入面成日失效。SyncWorld 嘅切入角度係：既然動作同畫面嘅對應因環境而異，不如用一段包含每個可控自由度（DoF）嘅短影像校準片段（visual calibration episode）做 in-context prompt，等模型喺推論時即場估計呢套環境嘅 Action–Visual Mapping，從而把單一 checkpoint 變成零樣本（zero-shot）模擬器，毋須額外訓練。

基於 NVIDIA Cosmos-Framework 改寫而成，並非由零開始砌嘅新網絡。對比一般針對單一機械人做 fine-tuning 嘅做法，SyncWorld 用視覺證據取代權重記憶；訓練時混入 calibration context 之後，模型仲學識喺冇 calibration 嘅情況下落返去用互動歷史做預測。程式庫提供分散式 FSDP trainer、typed TOML 食譜同原生 DCP checkpoint，可以直接匯出 HuggingFace safetensors；評估就用全段自回歸 rollout，配合 PSNR、SSIM、LPIPS 量度像素相似度。

直接受惠：需要喺多款 xArm、ARX5、KUKA、Franka Panda、UR5e 等異質平台上做 sim-to-real 想像嘅機械人研究團隊；做測試時策略改進（test-time policy improvement）而唔想再花錢訓練嘅 RL 團隊；以及想避開「每個新 setup 都要重新標註動作」呢個樽頸嘅數據團隊。Demo 顯示佢能準確模擬未見過嘅設定入面嘅動作後果，並令策略喺測試階段靠 rollout 改善而毋須再訓練。

重點摘要：

  • 以視覺校準片段作為 in-context prompt，免去 per-deployment fine-tuning
  • 訓練同時令模型能喺冇 calibration 時回退用互動歷史
  • 基於 NVIDIA Cosmos-Framework 改寫，提供 FSDP 訓練同 DCP checkpoint
  • 評估用全段自回歸 rollout，配 PSNR、SSIM、LPIPS 指標
  • 模型權重同評測集已開喺 HuggingFace：yyuncong/SyncWorld、yyuncong/SyncWorld-Evaluation

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 世界模型, 模型訓練, NVIDIA, Image, Robotic, 框架, AGI, Dataset 數據集

Show-Harness：VLM 極簡語意操縱機械臂

Share to X

Show-Harness 把機械人控制壓縮成一組離散語意動作單位，讓視覺語言模型直接負責物理決策，省去針對特定硬件的預訓練與額外參數。

Show-Harness

機械人領域一直有個尷尬落差：底層視覺語言模型（VLM）識睇識講，但要佢實際控制一隻機械臂，往往要再預訓練、加 VLA 頭或寫一大堆適配層。Show-Harness 嘗試用另一種方式切入──直接把動作壓縮成一組細粒度、離散的語意單位（例如 MV_FWD、GRASP、ROTATE_CW），由 VLM 逐個 token 推理，再交俾硬件專屬嘅 interpreter 去 deterministically 落地成實際機械動作。換句話，VLM 唔再需要理解「毫米」或「關節角度」，只需揀語意單位。

你可以用兩種方式跑：直接接駁前沿閉源 VLM 做 zero-shot 控制，又或者拎幾個 GPU 小時微調小型開源 VLM，產出每秒 12 至 33 Hz 嘅本地執行版本。Franka、AgileX Piper（單臂同雙臂）、ManiSkill、Isaac Lab 都共用同一套詞彙同一個 prompt，唔使逐隻 robot 寫 prompt。項目同時附帶 GUMI：一個瀏覽器內嘅 GUI 操作介面，等你可以用鍵盤滑鼠親身「玩」機械人收 demonstration，完全唔需要專業遙操作硬件。

  • 極薄中介層：VLM 只負責揀語意 token，所有 metric 細節由 interpreter 處理，避免額外模型容量開支
  • 跨硬件共用詞彙：Franka、AgileX、ManiSkill、Isaac Lab 共用同一套動作字典與 prompt
  • 兩種部署路徑：前沿閉源 VLM zero-shot，又或者 LoRA 微調小型開源 VLM，本地即可執行
  • GUMI 無硬件收數據：瀏覽器內 GUI 操作即收 demonstration，省去 teleoperation 設備
  • 插件式消融設計：一個目錄、一個 boolean flag，閂咗就等同冇裝

相對於 π0.5 同 GR00T 呢類 VLA 路線，Show-Harness 嘅取捨偏向「interface 解耦」──唔再要求模型本身內化硬件物理量，而是把 metric 還返俾環境層解讀。對做具身研究、想快速換 embodiment 驗證嘅團隊，或者資源有限、要靠 LoRA 微調部署嘅實驗室都幾實用；研究 embodied agent 同 VLM 接駁嘅開發者都可以直接拎去試 prompt 同詞彙設計。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 模型訓練, VLA, Robotic, Dataset 數據集

Marigold V2：把擴散 Transformer 改成一步深度估計模型

Share to X

只要一張普通 RGB 相片，就即時輸出高質素深度圖，連毛髮和髮絲等幼節都保留到。Marigold V2 把預訓練擴散 Transformer 改造為單步密集預測模型的開源項目，一張消費級 GPU 一星期內就能完成微調。

Project website

過去做單目深度估計，要麼靠傳統監督學習，要麼用擴散模型疊好多步去噪，兩者都唔易兼顧細節同效率。華為 Bayer Lab 開源 Marigold V2 走第三條路：直接把預訓練嘅擴散 Transformer（DiT）當成單步密集預測器，重新微調之後輸出深度、透視深度、法線、反照率等多種密集模態，毋須反覆去噪。對從業人員嚟講，呢個改動意味住一張普通 RGB 相可以即時變成帶細節嘅深度圖，毋須等幾秒去疊步驟，毛髮邊緣同髮絲呢類幼節都保留得到，貼近 SOTA 水準。

模型家族同訓練成本：每個 checkpoint 包含一組 rank-128 LoRA 適配器，配合 4-bit 量化嘅 DiT 主體，個別任務仲會附帶微調過嘅 VAE 解碼器。底層凍結嘅基礎模型會另外下載。整個微調流程用單張消費級 GPU 少於一星期就完成到，對個人開發者同細型實驗室都係可觸及嘅範圍。

程式碼結構清晰，方便二次開發：倉庫用 manifest graph 加 transform list 嘅方式定義數據集，網絡組件同損失函數都係讀寫 batch dict 嘅有序步驟，數據集定義、網絡圖、損失圖、優化排程四個層次分得幾開。對想擴展到新任務嘅人嚟講，只要跟住呢個結構加步驟就得，唔使由零砌起。

對比傳統多步擴散深度估計，Marigold V2 犧牲咗迭代式去噪嘅靈活性，但換嚟一步推理嘅速度同細節還原度；對比純監督方法，佢借用咗擴散模型對紋理同邊界嘅先天理解力，再加 LoRA 保持輕量。同一批權重仲可以用喺 metric depth completion 等下游任務，一個模型覆蓋多個密集預測場景。

**適合做 AR/VR、3D 重建、影像合成嘅中小團隊，或者想低成本試驗新密集預測任務嘅研究者，都會覺得呢個 setup 幾啱手。HuggingFace 上有對應嘅 demo 空間可以直接試，權重同訓練推理碼都已開源。

項目主頁 · GitHub · 模型

Categories: 開源, 華為, 模型, 模型訓練, Qwen, Image, 3D, 庫, Dataset 數據集

OpenWAM-α 把世界模型與動作模型拆開重組

Share to X

來自XPolicyLab等團隊的開源研究棧OpenWAM，把世界–動作模型（World-Action Models）拆解成可替換模組，並以約6,400小時第一人稱與機器人資料訓練出OpenWAM-α，在八個模擬基準與真機實驗均取得頂尖表現。

OpenWAM

如果你是做機器人策略或世界模型研究，大概都有過這種經驗：想換一個視覺編碼器、想試不同動作頭的耦合方式，結果整個訓練流程都要重寫，因為生成骨幹、視覺表示、架構、推論步驟和訓練資料全綁在一起。OpenWAM正是針對這種「綁死」的痛點而來。它是一個開源研究棧，把世界–動作模型（World-Action Models，簡稱WAMs）的設計空間拆成可組合模組，並用統一介面串接訓練、推論、部署與評估。

這個項目分成三層。OpenWAM-Infra提供模組化基礎設施，讓研究者可以像堆積木一樣替換模型、表示、訓練與評估設定；OpenWAM-Study則透過控制變量實驗，回答三個核心問題：應該從什麼預訓練骨幹繼承知識、世界學習與動作學習如何耦合、以及兩者如何隨規模擴展。基於這些結論，作者訓練出OpenWAM-α，一個以約6,400小時（5.185億幀）第一人稱人類與機器人資料預訓練的開放模型，並在涵蓋單臂、雙臂到靈巧手的八個模擬基準，以及真機實驗中維持頂尖水準。

架構由Hydra配置檔驅動，預設採用wan22 ti2v 5B作為影片骨幹，並搭配獨立的動作頭（如ActionDiT或共享動作骨幹），視覺編碼器則可在VAE、DINOv3、V-JEPA 2.1之間切換。基準測試覆蓋RoboTwin、LIBERO、LIBERO-plus、RoboCasa365、RoboCasa GR1、VLABench等主流環境，研究者可以直接用提供的評估客戶端跑對比。

  • 定位：開源研究棧，專門解決世界–動作模型設計選擇難以分離比較的問題
  • 核心貢獻：把生成骨幹、動作頭、視覺表示等模組化，並用控制實驗歸納出三條設計原則
  • 預訓練模型：OpenWAM-α基於約6,400小時第一人稱與機器人資料訓練，在八個模擬基準及真機均表現頂尖
  • 適用對象：機器人策略學習、世界模型研究團隊，以及需要可重現基準對比環境的從業者
  • 配套資源：模型已上傳Hugging Face，並提供完整的訓練、推論、部署腳本

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港大學, 模型, 世界模型, 模型訓練, Video, World-Action Model, 庫, Dataset 數據集

TANGO：人形機器人穿越凌亂房間，全靠語言指令

Share to X

TANGO 是一個讓人形機器人聽到自然語言指令後，自動調整手腳、軀幹與步態避開雜物的全身控制框架，可以理解成把機械人導航從「會走」升級成「會穿過沙發底下」。

TANGO architecture and data-generation pipeline.

如果叫一部人形機械人從客廳走到廚房，但途中堆滿紙箱、雜物、窄縫，一般導航演算法只懂「規劃路徑」，對它來說幾乎等於廢武功，因為雙腳、雙手、腰部其實要邊行邊配合地形郁動。TANGO（whole-body Vision-Language-Action model）正正為這種場景而設計：收到一句自然語言指令，加上前置與向下望的 RGB 影像後，模型直接輸出 29 個自由度（29-DoF）的全身關節角度，配合 6D 底盤旋轉表示，令機械人能夠一邊行、一邊擺手收腹避開障礙。

訓練數據全部來自模擬器，背後有一套名為 Plan-Edit-Track 的流水線：先用全局路徑規劃，再做全身逆向運動學（Kinematics）動作生成，接住用障礙感知編輯避開擺位，最後用強化學習追蹤確保動作真實做得出嚟。訓練集基於 VLNVerse 與 SAGE-3D 場景，再加入側向、貼地、頂部等多類障礙，務求貼近真實家居亂況。

TANGO💃🏻 Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

模型結構本身亦幾講究：底層係一個 70 億參數（7B）的視覺語言骨幹，配搭一個用 flow-matching（流匹配）訓練嘅 MM-DiT（Multi-Modal Diffusion Transformer，多模態擴散 Transformer）動作專家，再加一個低階全身追蹤器負責即時執行。部署時 VLA（Vision-Language-Action，視覺語言動作）模型喺伺服器低頻運行，追蹤器喺機械人 onboard 高頻運行，做到實時反應。

實驗結果方面，TANGO 喺模擬與真機測試都提升咗語言導航表現，最重要係零樣本遷移（zero-shot transfer）直接落 Unitree G1（宇樹 G1）人形機械人，唔使額外真實數據再訓練。對研究 VLA、機器人導航或人形機械人部署嘅團隊嚟講，呢套 pipeline 連數據生成到模型結構都幾值得拆解。

重點摘要：
– 語言指令直接對應全身 29-DoF 動作，涵蓋手、軀幹、步態協調
– Plan-Edit-Track 流水線全模擬訓練，配合 VLNVerse 與 SAGE-3D 場景生成
– 採用 7B 視覺語言骨幹 + flow-matching MM-DiT 動作專家雙模組設計
– 伺服器跑 VLA、機械人 onboard 跑追蹤器，支援實時控制
– 零樣本遷移至 Unitree G1，無需真實訓練數據

項目主頁

Categories: 香港大學, 模型, 視覺模型, 多模態模型, 模型訓練, Video, VLA, Robotic, 框架, Dataset 數據集

CosmoH2G 將人手示範轉成機械夾具軌跡

Share to X

CosmoH2G 針對旋轉、翻轉等複雜空間動作，把人手示範轉換成機械夾具可執行的軌跡；其資料集包含 6,189 組配對示範。

dataset

人手示範雖然直觀，但當動作包含旋轉、翻轉或複雜空間路徑時，機械夾具往往難以直接模仿。CosmoH2G 是一套面向機械人操作的資料集與基準方法，專門處理 hand-to-gripper transfer：研究團隊同步記錄人手和手持機械夾具的動作，建立可配對的 RGB-D、3D 物件點雲、手部網格及夾具動作資料。

資料集共有 6,189 個配對示範、涵蓋 1,254 件物件，規模足以支援複雜空間操作的研究。與只適合平面移動的做法相比，CosmoH2G 把重點放在細緻的手部姿勢和空間運動，並以手持夾具示範減少人與機械裝置之間的動作轉換落差。

方法分兩階段處理完整軌跡。Stage I 先預測起點和終點等稀疏關鍵幀，把複雜動作濃縮成較容易學習的目標；Stage II 再以關鍵幀為條件生成連續的夾具姿態序列。系統亦保留夾具姿態的學習結果，再利用抓取啟發式與運動學一致性修正位置，減少旋轉和翻轉過程中的累積偏差。

在模擬及真實機械人實驗中，能穩定轉移旋轉等複雜動作，並明顯勝過傳統基準。適合研究機械人模仿學習、操作資料集、3D 手部追蹤，以及需要處理非平面夾具運動的團隊。程式碼和資料集在項目網站標示為即將推出，現階段較適合先評估方法和收集流程，部署細節仍要等官方發佈。

  • 6,189 組人手與夾具配對示範，涵蓋 1,254 件物件。
  • 專注旋轉、翻轉和其他細緻空間軌跡，而非平面搬運。
  • 兩階段先學關鍵幀，再生成完整連續動作。
  • 以抓取啟發式和運動學一致性降低累積漂移。
  • 適合機械人模仿學習、資料集研究及操作策略開發。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 視覺模型, 模型訓練, Robotic, 3D, Dataset 數據集
Page 2 of 23
1 2 3 4 … 23