SplatAnything:用 3DGS 重建不同尺度場景

從日常物件到航拍景觀,SplatAnything 嘗試用同一模型重建不同尺度的場景,並以 Gaussian 間距正規化改善尺度變化帶來的監督歧義。

Animated SplatAnything reconstructions of objects, indoor rooms, street scenes, and aerial views

由細小物件轉到街景或航拍畫面,場景尺度和相機位置一變,3D Gaussian Splatting(3DGS)的高斯大小就較難用一致方式預測。SplatAnything 是 InfiniSplat 系列第三版的前饋式 3D Gaussian 重建模型,目標是讓單一模型處理不同類型與尺度的場景,面向自動駕駛、機械人導航、AR/VR 及遊戲開發等用途。

它的關鍵改動,是不再只按高斯到參考相機的平均徑向距離設定尺度基準,而是把場景轉換到以高斯間距正規化的空間。這讓不同場景中相似影像區域的尺度目標較一致,減少監督訊號含糊造成的覆蓋不足或高斯過度重疊。對需要跨場景重建的團隊而言,這比逐個場景調整尺度更有機會帶來穩定結果;但提供的資料未列出量化比較數字,改善幅度仍難以判斷。

模型接收多張輸入影像,亦可選擇提供相機參數;接著由凍結的幾何基礎模型估算多視角幾何,再轉換正規化空間,最後透過 Gaussian backbone 和輕量 GShead 預測每個像素的高斯屬性。這套流程結合預訓練幾何能力與專門的尺度處理,適合研究跨場景重建的人員,以及自動駕駛、導航或沉浸式內容團隊評估。

  • 一個模型涵蓋物件、人像、室內、街景及航拍場景。
  • 以高斯間距正規化,改善不同場景的尺度監督一致性。

想先檢視重建效果,可以使用 Hugging Face 示範或在項目網站瀏覽互動場景;網站亦提供下載場景 HTML 檢視器的方式。若要在本機執行推理,雖然模型權重已公開,現有文件內容不足以確認完整安裝流程、硬件需求及推理指令,宜先核對項目文件再安排測試。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Image, 3D, 自動駕駛