DyRAD 讓雷達透過多視覺重建動態駕駛場景

DyRAD 把錄製雷達資料轉成可重新渲染的動態場景,連感測器位置、物件動作和規格變更都能納入測試。

DyRAD re-simulation: from a measured radar frame, DyRAD renders a laterally shifted sensor, a repositioned object and a

由已錄製的雷達、感測器姿態和物件框,DyRAD 可以生成原本沒有記錄過的新視點,甚至模擬車輛橫向移動、物件重新定位或更高解析度的感測器。這個項目屬於開源雷達新視點合成模型,處理的是自動駕駛系統缺乏非原路線觀測資料的問題。

它把靜態背景反射點與跟隨剛體物件軌跡移動的動態反射點分開建模,並用 range–azimuth–Doppler (RAD) 中的 Doppler 速度約束物件追蹤。反射點不會直接吸收雷達訊號擴散,而是經由 point-spread function (PSF) 渲染;PSF 取自 Hamming-FFT 的距離及 Doppler 處理,以及 RADIal 的 beamformer response,令場景幾何與感測器特性分離。

這個取捨令同一個重建場景可以轉移到不同雷達規格,毋須重新擬合,亦較適合閉環測試和感測器配置研究;代價是需要姿態、物件框和雷達校準等資料,Boreas 更只支援 range–azimuth,未能完整利用 Doppler。項目支援 RADIal、Boreas 及具備偏移視點真值的 synthetic benchmark,可按 README 提供的設定訓練、載入 checkpoint,再以 held-out metrics 和重新擬合流程檢查結果。

• 支援完整 RAD tensor,而非只重建距離及方位
• Doppler 同時作為輸出和動態軌跡監督訊號
• 可測試 lateral sensor shift、物件編輯及高解析度感測器
• Project page 指出其 RAD PSNR 和 detection hit rate 高於 RadarSplat、RadarFields
• 適合自動駕駛、雷達感知及模擬資料團隊研究非原路線測試

對需要驗證感知模型在新路線、新感測器或場景變更下表現的團隊,DyRAD 提供比單純錄播更有彈性的資料生成方式。不過結果仍受初始標註、物件軌跡品質、雷達校準和合成視點真值限制,未能取代真實道路測試。

項目主頁 · GitHub

Categories: 開源, 模型訓練, NVIDIA, Dataset 數據集