InferNews

NVidia Hydra-0 以人類動作統一機械人訓練

Share to X

Hydra-0把機械人動作轉成畫面上的像素流，讓同一個世界模型學習不同機械人形態，並支援模擬、策略評估及真機控制。

Og image

機械人面對不同手臂結構、夾具和操作環境時，動作通常以各自的關節或末端執行器座標表示，令資料難以共用。Hydra-0以 Action Flow 將可見的機械人運動表示成影像平面上的像素流，建立跨形態、任務和環境的共同控制介面，屬於面向通用控制的 world model。

Hydra-0在運行時採用 hybrid simulator：physics engine 負責移動機械人，learned video model 則預測動作對場景造成的變化。模型可從 egocentric human demonstrations、handheld UMI grippers、single-arm robots 和 bimanual robot arms 等互動影片學習，減少依賴單一機械人平台資料的限制。

Forward mode會根據 gripper flow 預測未來場景，生成的結果可用於 open-loop policy evaluation；inverse mode則由目標物件的 flow 推導相容的機械人運動，再透過 supervised readout 轉換成可執行動作。把模擬、策略測試和控制放進同一套模型流程。

• 以像素流統一四種不同 embodiment 的互動資料
• 同時支援世界預測、策略評估及機械人控制
• 以 physics engine 和 learned video model 組成 hybrid simulator
• 最佳配置令 robot-motion error 降低90.4%，object-motion error 降低60.2%，比較基準為 action-conditioned baseline

Hydra-0適合需要整合多來源示範影片、先在模擬環境測試策略，再連接真實機械人的研究和開發工作。它仍然依賴動作影片、像素流表示和模型預測的準確度，跨形態轉移能否在更多任務中保持穩定，仍要配合完整數據和真機測試判斷。

項目主頁

Categories: 視覺模型, 世界模型, NVIDIA, Video, Image, World-Action Model, Robotic

SparsePR 讓影片生成以稀疏注意力加速，毋須重新訓練

Share to X

SparsePR 將稀疏注意力帶入四款影片模型，在維持生成質素的同時，把執行速度提升最多 2.61 倍。

Repository image for PardisTaghavi/SparsePR

影片生成最吃資源的部分，往往不是提示詞或輸出格式，而是 Video Transformer 裏大量 Attention 計算。SparsePR 屬於 training-free sparse attention 參考實作，透過減少不必要的 query、key/value 互動，加速 HunyuanVideo-13B、Wan2.2-I2V-A14B、Cosmos-Predict2.5-14B 及 Cosmos3-Nano-16B，毋須額外訓練模型。

它沒有單純按注意力集中程度刪走區塊，而是以 Response-Coupled Partitioning 按目前回應分組，再用少量 exact probe rows 配合 Probe-Fitted Residual Reconstruction，補回稀疏計算遺漏的輸出。使用者可透過同一個介面，在 dense baseline 與 SparsePR 之間切換，直接比較影片質素、速度和顯存取捨。

  • 執行 pair density 約 21.9% 至 26.0%
  • 端到端速度提升約 1.48 至 2.61 倍
  • 涵蓋文字轉影片、圖像轉影片及 image-to-world 情境
  • 在 VBench 及 PBench 進行評估，部分 Cosmos-Predict2.5-14B 結果達 40.33 dB

項目要求 Linux，並建議使用 NVIDIA H100；HunyuanVideo、Wan2.2、Cosmos-Predict2.5 與 Cosmos3 需要分開的 CUDA 12.8 wheel 環境，原因是 Cosmos3 依賴較新的 Diffusers 和 Transformers。可選的 fused CUDA kernels 有助進一步執行，但安裝門檻明顯高於一般影片生成工具，模型 checkpoint 亦要從官方 Hugging Face 儲存庫取得。

SparsePR 適合研究影片生成效率、建立高端 GPU 推理基準，或需要在保留畫面質素下減少計算量的團隊。它目前仍是參考實作，支援模型和硬件環境較有限；對只有消費級 GPU、只想快速試玩影片生成的使用者，成本與環境配置可能抵銷加速帶來的好處。

項目主頁 · GitHub

Categories: 開源, 模型訓練, NVIDIA, Video, Image, 框架, Linux

τ₀-VLA：為長程機械人任務補上分層推理

Share to X

τ₀-VLA 把長程機械人操作拆成高層規劃與低層執行，先想下一步，再落到實際動作。它特別針對多步驟、要記住進度又要回復失誤的場景。

τ₀-VLA overview

τ₀-VLA 是一個機械人基礎模型，主打長程操作任務，例如清理房間、準備食材和沖奶茶這類要連續完成多個步驟的工作。它先用帶記憶的高層策略決定下一個子任務，必要時再用 world-model-guided test-time computation 比較不同做法，然後交由低層策略執行。

這種分層方式比單次前向推理更適合處理長流程，因為模型不只要做動作，還要跟進已完成進度、預測結果，再決定下一步。對需要機械人跨場景操作的團隊來說，比只處理單一步驟的控制模型更接近真實工作流程。

  • 高層負責規劃子任務，低層負責具體控制
  • 會在需要更多推理時做分支搜尋，不是即時拍板
  • 低層策略結合 Qwen3.5 vision-language backbone 與 Mixture-of-Transformers action expert
  • 訓練資料來自 40,115 小時真實機械人數據，涵蓋多模態協同訓練
  • 目前公開 v1 只支援 joint-control checkpoints，EEF serving 未提供

官方提供 Python 3.11、CUDA 12.8、PyTorch 2.7.1 的參考環境，也有 example_data 同配置的 post-training 例子，可用來接入自己的資料集或機械人設定。文中四個長程任務涵蓋 13 至 25 個步驟，重點不只是在動作準確，還包括進度保持、結果驗證和失誤後恢復。

對做機械人研究、具身智能系統，或要把語言理解和實體控制接起來的團隊，這個項目提供了一個較完整的分層基線；限制也很明確，公開版本先集中在 joint-control，較適合有相應訓練與部署條件的環境。

項目主頁 · GitHub · 模型

Categories: 開源, 多模態模型, 模型訓練, Qwen, NVIDIA, VLA, World-Action Model, Python

RapidLiDAR：單次前向傳播做到 10 Hz 嘅 LiDAR 場景補全

Share to X

佢將稀疏嘅部分點雲一次性還原成稠密場景，主打即時同可調速度，適合對延遲敏感嘅自動駕駛同機器人開發者。

Repository image for AzharSindhi/RapidLiDAR

對做自動駕駛或機械人感知嘅人嚟講，LiDAR 場景補全最頭痛嘅唔係質素，而係慢——好多現有方法要幾百毫秒先出一幀，根本追唔上車規或即時反應嘅需求。RapidLiDAR 嘅定位就喺呢度：佢設計成一個端到端、單次前向傳播嘅補全模型，目標係跑到接近 10 Hz，同時保留可調速度同可調節輸出密度嘅彈性。

做法上，佢先用體素化抽取多尺度 3D 特徵，再透過一個自注意力 BEV 頭產生密集 2D 特徵圖。Adaptive Initialization Module 會預測一個空間變化嘅位移，把稀疏點雲「撐開」做粗略初始化；之後 Multi-Scale Reconstruction Module 用可變形注意力（deformable attention）將每點特徵同多尺度 BEV 特徵對齊做精修。如果想再稠密仲可以加一個可選嘅 Refinement Network 喺凍結嘅主模型上做上採樣，倍率為 κ。

換句話講，舊方法通常分開做初始化同迭代 refinement，或者用兩階段網絡先粗後細；RapidLiDAR 將呢幾步壓入一次前向，靠 BEV 座標化同可變形注意力同時兼顧效率同幾何一致性。代價係依賴 SemanticKITTI 風格嘅資料 loader，需要 .npy 格式嘅 GT 同 input 配對，唔係 out-of-the-box 處理原始 Velodyne 掃描。

適合做自動駕駛 stack、實時 SLAM、機械人感知原型，或者想喺邊緣裝置上試稠密 LiDAR 預測嘅團隊。原文強調即時性為 10 Hz，具體 mIoU 或 Chamfer distance 等數字未在 README 完整列出，安裝需 CUDA 12.4 同 PyTorch 2.4.1，並要自行 JIT 編譯 Chamfer distance CUDA extension。

GitHub · Paper

Categories: 開源, 模型, 視覺模型, NVIDIA, Robotic, 3D, Python, Dataset 數據集

SemComp-Bench：影片生成評測由「似樣」走向真正完成任務

Share to X

SemComp-Bench 不只看生成影片是否逼真，還檢查指定結果有否完成，以及關鍵語義是否仍然保留。

Repository image for Kelly372/SemComp-Bench

一段影片畫面流暢、物件外觀相近，不代表它真的完成了指令。SemComp-Bench（Benchmarking Semantic Task Completion in Video Generation）把評測焦點放在「結果有否做到」和「是否仍然保留與任務相關的語義」；GitHub 項目則是一套用來建立 SemComp-Data 的資料處理管線，處理影片篩選、狀態定位、指令整理和結果標註。

由原始影片到可評測資料，流程分成 9 個階段：先按標題過濾及分類任務，再定位 reference frame 與 outcome state，檢查畫面質素和狀態順序，產生中英雙語的簡短及詳細指令，最後抽取 outcome-centric clips、標註 semantic alignment types，並描述結果狀態。這種做法把評測所需的參考畫面、指令和完成結果放在同一段真實影片脈絡中，較適合檢查模型是否真的做到指定改變，而不只是產生看似合理的畫面。

項目屬於影片生成評測的資料集建構工具，實際解決的是把零散影片整理成可驗證、可重複評分的任務樣本。SemComp-Bench 目前提供 1,273 個結構化樣本、6 個真實世界領域、60 個 SemComp-Core cases，平均 outcome-centric clip 約 4.03 秒，並配有兩種指令、四類 reference alignment types，以及 27 個評測取樣畫面。

使用者需要 Python 3.10 或更新版本、ffmpeg、ffprobe，以及供第 2 至第 5 和第 7 至第 9 階段使用的 multimodal model service；第 6 階段的 ImageBind inference 建議使用支援 CUDA 的環境。原始影片、模型權重、服務憑證和執行輸出均不隨儲存庫提供，因此較適合研究團隊按自己的影片及模型服務重建資料，而不是下載後即時取得完整數據集。

  • 以 outcome achievement 配合 semantic grounding，避免只用畫質或 prompt alignment 判斷成功
  • 透過 reference frame、outcome state 和短片建立完整評測三元組
  • 1 至 7 階段通常會輸出 snapshot、excluded set，技術失敗另有 error.parquet
  • 可用 tests/ 的離線回歸測試檢查處理流程
  • splitting/ 含改編自 Panda-70M 和 ImageBind 的元件，非商業授權限制需要先審閱

對研究生成影片、製作評測數據，或需要分析任務完成率的團隊而言，這套管線提供了清楚的重建入口；但它依賴外部多模態模型服務和本地媒體資源，資料建立成本與授權審查仍是採用前必須計算的部分。

項目主頁 · GitHub · 數據集

Categories: 開源, 視覺模型, 多模態模型, NVIDIA, Video, Python, Dataset 數據集

V-RAE 重整影片潛空間，生成更快更準

Share to X

V-RAE把影片生成前最難處理的時間冗餘壓細，同時保住語意結構。對想做重建、生成同預測建模的團隊，呢個方向幾有參考價值。

V-RAE method

做影片生成時，潛空間一旦又大又雜，訓練速度、重建品質同後續生成都會一齊受拖累。V-RAE放喺呢個位置切入：它屬於影片表示自編碼器模型，將 frozen vision foundation model 的表徵再壓成更緊湊的 generative latents，處理的是影片表示太冗長、但又不能失去語意同動態連續性的問題。

V-RAE不是重新訓練整個視覺骨幹，而是接在 DINOv3、SigLIP2、V-JEPA2.1、EUPE 這類 frozen encoder 之上，用 lightweight temporal pooling module 減少時間維度上的重複資訊，再交由 video decoder 重建連續動作。這種做法的取捨在於，它更依賴現成視覺表徵的品質，但換來較輕量的影片 latent 壓縮流程，亦令 semantic latents 可以變成 directly decodable predictive state space。

V-RAE：重构视频潜在空间以实现高效生成 2026-08-16

項目提供了訓練、評估與重建示例所需的程式結構，安裝條件寫明要用 Linux、NVIDIA GPUs、CUDA 相容驅動、FFmpeg，以及 Python 3.10 或以上。可配合已釋出的 checkpoints 與對應 frozen encoder 做重建測試，但能否自由下載、下載範圍是否完整，仍要以當前發佈頁面為準，不適宜直接假設任何人都可無限制取得全部模型。

結果 V-RAE在 K600 reconstruction 取得 2.13 rFVD，數值優於文中比較的大型 pretrained video VAEs；class-conditional generation 則在 UCF101 與 K600 分別達到 117.86 與 19.16 gFVD，並提到可快最多 6 倍收斂。作者亦提出 tFVD，令它與人類判斷的一致性提升，在 UCF101 與 K600 的 Pearson correlation 分別達到 r = 0.621 與 r = 0.919，這點對影片生成評測有直接意義。

  • 接在 frozen vision foundation model 後面做壓縮，避免由零建立整套影片表徵
  • 用 temporal pooling 減少時間冗餘，同時保住 semantic structure
  • 同時覆蓋 reconstruction、class-conditional generation 與 predictive modeling 場景
  • 倉庫已包含 training、evaluation、sampling 所需結構，但部署前提偏向研究級 Linux + NVIDIA GPU 環境
  • 適合研究影片生成、世界狀態建模、長序列表示學習的團隊參考其 latent 設計

V-RAE較適合有影片模型實驗能力的研究團隊、做 VideoDiT 類生成流程的人，以及想把影片 latent 拿去做預測狀態空間建模的項目。對於怎樣把強大的視覺表徵轉成更可生成、可重建、可評測的影片 latent，已經給出一條相當具體的路線。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 視頻模型, 模型訓練, NVIDIA, Video, Linux, Python

LLM_Modularity：MIT 研究拆解 LLM 模組化認知架構

Share to X

同一類推理會反覆動員同一批神經元，跨領域則明顯分開。這個項目把 LLM 內部的「分工」做成可重跑的分析流程。

probe.py types a reasoning prompt for each cognitive domain; the model

人腦展現出顯著的功能特化程度，不同的神經網路分別支持語言、形式推理、對他人心智的推理以及對物理世界的推理。這種模組化組織是智慧系統建構的基本原則，還是生物大腦特有的進化偶然現象？本文檢驗了大型語言模型（LLM）——另一類透過截然不同的最佳化過程所建構的智慧系統——是否也呈現出類似的組織結構。

值得留意的不是它再講一次模型會推理，而是它嘗試回答：大型語言模型做語言、數理、物理同社交推理時，內部是否真的有近似人腦功能網絡的分工。Pengrui-Han/LLM_Modularity 屬於研究分析工具與資料流程項目，核心工作是用 attribution patching、neuron overlap 同 causal ablation，定位 46 個任務在四個認知領域各自依賴的神經元群。

結論唔止停留在可視化。項目整理出六個 24B 至 123B frontier LLMs 的一致結果：同領域任務的神經元重疊高出 4.3 倍，ARI = 0.78；把某個領域相關神經元做 lesioning 或 ablation，該領域準確率下降幅度比跨領域高 10.3 倍。換句話說，模組化唔係單靠圖像解讀，而係有因果干預支持。

跟一般只看 attention pattern 或 embedding 聚類的做法相比，這個項目更著重「哪些單元真的支撐任務完成」，所以會用 full-sequence teacher-forcing metrics、corrupted-activation ablation，同按模型家族調整的 nnsight 載入流程。代價亦很直接：它不是輕量級 demo，需要 Linux、torch 2.10.0、nnsight 0.4.1，同 NVIDIA GPU；24B 至 123B 模型更要多 GPU 才較可行。

  • 覆蓋 Language、Formal reasoning (Multiple-Demand)、Physical reasoning、Social reasoning (Theory of Mind) 四類推理
  • 提供 46 個任務配置、clean/corrupted data pair、分析腳本與已整理 results CSV
  • 重點不在訓練新模型，而在檢查現有 LLM 內部神經元是否出現穩定分工
  • 已附 figures、overlap matrix 同 ablation analysis，適合延伸做復現或二次研究

較適合做 mechanistic interpretability、認知科學、AI 安全，或者想比較 Qwen、其他大型模型內部推理結構的研究團隊。它暫時更接近研究管線，而不是即裝即用產品；不過資料夾結構、config、scripts 同 results 已經足夠完整，對想重跑實驗、改任務集，或者把 OSWorld 以外的複雜推理基準接入分析流程的人，參考價值相當高。

項目主頁 · GitHub

Categories: 開源, Embedding, Qwen, NVIDIA, Linux, 安全

VoxWeave：Windows 本機 RVC 變聲工作站

Share to X

把音頻、影片、麥克風同批次任務收在同一個桌面工作站，VoxWeave 走的是本機離線處理路線。它重點解決變聲流程分散、結果難追蹤，同時保留即時變聲與批量轉換。

VoxWeave

VoxWeave 是一套面向 Windows 的 RVC（Retrieval-based Voice Conversion）變聲工作站，定位很清楚：把離線轉換、即時麥克風變聲、批量處理和結果追蹤放進同一個桌面流程。它適合要穩定處理音頻、歌曲或影片音軌的人，也適合需要交付產物、查看失敗原因和保存位置的工作場景。

使用方式偏向本機部署而不是雲端服務。EXE 不內置大體積環境或模型，首次使用可在介面內按需下載經哈希校驗的運行組件與推薦模型；來源倉庫也保留 Linux 和 macOS 的邊界，但目前真機驗收集中在 Windows 11 與 NVIDIA CUDA。

它和常見變聲工具最大的分別，在於把狀態、任務、批量規則、即時會話、產物與歸檔都收進 SQLite 作為單一真源，連診斷匯出都會帶上運行時、模型和日誌清單。這種做法讓問題排查和重試更直接，但代價是它明確不提供虛擬聲卡、模型訓練或 GPT-SoVITS，定位比完整聲音工坊收得更窄。

  • 支援音頻、影片、資料夾和麥克風輸入，流程集中。
  • 可做離線轉換、即時變聲與批量處理，結果可追蹤。
  • 模型按原路徑登記，會計算權重和索引的 SHA-256，不會複製或改名。
  • URL 模型需要提供來源、最終大小和 SHA-256，授權不明時會明確標示。
  • 目標較適合 Windows 本機使用者、內容製作流程，和需要留存產物與錯誤記錄的團隊。

GitHub

Categories: 開源, AI productions, NVIDIA, Mac, Linux, 語音, Win

NeMo Speech：NVIDIA 把 ASR、TTS、語音 LLM 收進同一條 PyTorch 生產線

Share to X

NVIDIA 把語音研究最常碰到的 ASR、TTS 與 Speech LLM 整合成單一框架，研究員和工程師不用再東拼西湊，也能用預訓練權重快速微調與部署。

Repository image for NVIDIA-NeMo/Speech

語音 AI 的痛點往往不是模型不夠強，而是開發者要同時面對 ASR、TTS、串流識別等好幾套獨立工具鏈。NVIDIA NeMo Speech 把這些任務收進同一個 PyTorch 框架，並提供預訓練權重，讓研究員可以把精力花在實驗設計，而不是從頭搭建訓練流程。

從近期更新可以看到三個值得留意的方向：MagpieTTS v2607 把支援語言擴展到 12 種，新增阿拉伯文、韓文、葡萄牙文；Nemotron-3.5-ASR-Streaming-0.6B 在單一 H100 上能同時處理最多 2400 條串流，並允許把延遲控制在 80ms 到 1s 之間；Parakeet-unified-en-0.6b 則把離線與串流推理合併成一個英文模型，最短延遲 160ms。

Nemotron 3 VoiceChat 把 LLM、骨幹與 TTS 解碼器串成全雙工對話，能自然處理打斷與插話，這對於想建立語音助理的團隊是比較完整的一條路。Fastconformer 等快取感知架構是背後的工程功臣，讓長音訊串流不需要犧牲太多吞吐量。

訓練階段必須配備 NVIDIA GPU 與 CUDA 環境，推薦使用 PyTorch 2.7 或以上版本；現時倉庫正進行拆分，下一個主要版本預定 2026 年 6 月發佈，短期內穩定使用可以考慮 26.02 NGC container。對做客服、會議記錄、媒體字幕或有聲書生成的團隊，這套框架能把語音模型從原型走到部署的距離明顯縮短。

重點摘要：

  • 單一框架覆蓋三大任務：ASR、TTS 與 Speech LLM 都在 NeMo Speech 內，減少切換工具鏈的成本。
  • 串流效能突出：Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言，單張 H100 可並行 2400 條流，延遲可調。
  • 多語 TTS 擴張：MagpieTTS v2607 覆蓋 12 種語言，並提供 Hugging Face 線上 demo。
  • 全雙工語音助理：Nemotron 3 VoiceChat 把 LLM 與 TTS 解碼器結合，支援自然打斷與低延遲對話。
  • 硬體要求明確：至少配備 80 GB 記憶體。訓練需 NVIDIA GPU 與 CUDA，PyTorch 2.7 或以上版本，推理可在 CPU 或 GPU 執行。

GitHub · 模型

Categories: 開源, 文字轉語音, Agentic, NVIDIA, 框架, Python, 語音, Dataset 數據集

NVIDIA Nemotron 3.5 Lightning：專為長期運行 Agent 而生的輕量 MoE 模型

Share to X

AI Agent 大部分時間都在做工具呼叫、結果驗證等高頻次執行，而非高階推理。Nemotron 3.5 Lightning 以 30B MoE 架構瞄準這個執行層，速度比同級模型快 4 倍。

Og image

長期運行的 AI Agent 真正花時間的地方，往往不是規劃，而是工具呼叫、結果驗證、子代理分派這些高頻次的執行步驟。每一個小動作都用頂級推理模型去跑，會帶來明顯的成本與延遲壓力。NVIDIA 推出的 Nemotron 3.5 Lightning 就是針對這個「執行層」設計的開放模型，採用 30B 參數的 Mixture-of-Experts（MoE）架構，但每次只啟動 3B 參數，在維持效率的同時兼顧準確度。

與坊間常見做法不同，Nemotron 3.5 Lightning 並非要取代大型推理模型，而是與之分工——前者處理高頻執行，後者專注規劃與複雜推理。模型本身針對 agent harness（如 OpenClaw、Hermes Agent）做了訓練優化，並提供 speculative decoding、NVFP4 與 BF16 量化版本，宣稱輸出速度比同級模型快 4 倍。這對需要長時間在線、隨時待命的 Agent 來說，省下的不只是金錢，還有回應時間。

Nemotron Lightning - NVIDIA's Super Fast Agent MoE

NVIDIA 同時推出 NeMo Switchyard，一個負責任務分派的路由函式庫，能根據任務類型自動挑選最合適的模型。整個 Nemotron 系列定位有點像「模型版的軟件庫」，每次發佈都在累積可組合的元件。對於需要自己掌控成本與效能的開發團隊，這套組合提供了相當完整的權重、數據與訓練配方，加上寬鬆的開源授權，方便做深度客製化。

  • 專注 Agent 執行層：30B MoE 架構、3B 活躍參數，設計目標是高頻低延遲的工具呼叫與驗證。
  • 速度與成本取捨：相比同級模型，輸出速度提升達 4 倍，搭配 NVFP4 量化可在本地硬件運行。
  • 分層協作模式：與 Nemotron 3 Ultra 等大型推理模型分工，由 NeMo Switchyard 負責智能路由。
  • 完整開源：權重、訓練數據與配方一併釋出，授權寬鬆，方便客製與整合。
  • 生態整合：對應 NemoClaw 安全管理開源方案，支援 OpenClaw、Hermes Agent 等長期運行框架。

項目主頁

Categories: 開源, Agentic, 模型, NVIDIA, 軟件, 庫, 安全, OpenClaw
Page 3 of 11
1 2 3 4 5 … 11