InferNews

BRDFusion：物理與生成模型合體，城市街景逆向渲染新框架

logo

現有的城市場景逆向渲染方法長期面臨兩難：基於物理的渲染（physically-based rendering）雖然能嚴格遵守光學物理，但在重建與渲染階段容易產生雜訊與破圖；生成式模型（generative models，例如 DiffusionRenderer）能產出逼真影像，卻難以精準控制光源，例如車燈這類局部照明往往被忽略。BRDFusion 正是針對這個 trade-off 而設計的混合框架。

這個項目屬於研究型框架，目標是把多視角城市影片分解為幾何（法線、深度）、材質（albedo、roughness、metallic）與 HDR 環境光源，並支援新視角重照明、夜景模擬與動態物件插入等下游應用。具體做法上，它先用物理模型取得明確且一致的場景屬性，再借助生成式先驗（generative priors）緩解優化過程中的歧義；前向渲染時，物理模型負責可控渲染，生成模型則負責去噪與修補瑕疵。

測試方面，作者提供預處理資料集與預訓練權重，研究人員可直接下載並透過 tools/run_pipeline.py 跑推理與評估；硬體需求偏高，建議使用 NVIDIA RTX A6000，RTX 4090 在記憶體允許下可執行部分階段，但 Gen. Render 階段可能突破 24 GB 限制。資料集與評估影片亦同步發佈於 Hugging Face，方便重現結果。

這個項目的創新之處在於把「物理一致性」與「生成式品質」放在同一條管線中互補，而非二選一。對從事自動駕駛模擬、遊戲或影視場景重建的研究團隊而言，這是一個值得關注的方向。

重點摘要

  • 混合範式：物理渲染負責可控性，生成模型負責修補瑕疵，突破單一方法的極限。
  • 完整分解：輸出幾何、材質與 HDR 光源，支援新視角、夜景與物件插入。
  • 高硬體需求：建議 RTX A6000，4090 僅能跑部分階段。
  • 完整開源資源：程式碼、預訓練權重、資料集與評估影片均已公開。
  • 適用場景：自動駕駛模擬、城市數位孿生、影視級場景編輯。

GitHub： https://github.com/shigon255/BRDFusion

Categories: 開源, NVIDIA, Stable Diffusion, Video, Image, 工具, 影像模型, 影像處理, 模型, 模型訓練, 深度學習, 視覺模型, Meta, 框架, 清華大學

Surflo 用全域狀態重建一致 3D 表面

Surflo: a single coherent surface decoded from one global state

Surflo 是一個由多張未對位影像重建 3D 表面的項目。它先把數量可變的輸入視角整合成單一 global latent state，再用 flow-matching ODE 逐點生成表面，目標是避免傳統每個視角各自輸出、最後難以拼合的問題。

這個項目的核心做法，是把 N 張影像壓縮成固定大小的全域狀態 z，當中只有 K=128 tokens，之後再按需要解碼任意數量的表面點。因為每個點可獨立生成，同一次編碼之後便能輸出不同解析度，最高提到可處理 M up to 10^6 oriented points。

為了令獨立生成的點仍然保持同一個連貫表面，Surflo 加入 communication guidance 機制，利用 shared rendering loss 在 ODE 積分過程中協調鄰近點。系統會把點轉成 3D Gaussians，再用 Gaussian Splatting 渲染，藉此減少局部表面互相矛盾的情況。

Surflo: Consistent 3D Surface Flow from a Global State

重點項目：
– 支援 variable number of unposed images，不要求固定視角數量
– 以單一 global state 取代 per-view tokens 堆疊，控制表示大小
– 可按需要解碼任意表面解析度，不必重新編碼
– 在 8 個 benchmarks、2 到 32 views 條件下報稱達到 state of the art performance
– 另提供真實場景資料集，約 10.5K DL3DV scenes，包含 full scene meshes

這類項目較適合做多視角 3D 重建、場景數碼化，或者需要由少量到多量視角靈活輸入的研究工作。文中亦點名對比現代 feed-forward 3D 模型如 VGGT(https://huggingface.co/facebook/VGGT-1B)、DUSt3R、DepthAnything-3；若你關心的是如何由多張相片穩定得到同一個完整表面，Surflo 的全域狀態設計值得留意。

模型列表：VGGT(https://huggingface.co/facebook/VGGT-1B)、DUSt3R、DepthAnything-3。

項目： https://anttwo.github.io/surflo/

Categories: 開源, Agentic, 3D, Meta, 框架

VLM3：毋需設計專屬模型架構而達專家級 3D 模型的效果

teaser

過往要讓AI理解3D場景，往往需要設計專屬的模型架構、複雜的損失函數，還要加上各種資料增強手段。Meta與Princeton合作提出的VLM³（Vision Language Models Are Native 3D Learners）卻反其道而行，主張標準VLM天生就是3D學習者。

有效的 3D 學習主要靠三點 —— 焦距統一（focal length unification）、文字式像素參照（text‑based pixel reference）、以及資料混合與擴展，而不是新架構、大模型、heavy augmentation 或複雜 regression loss。

VLM³會先把輸入影像縮放至相同焦距（以1000像素為例），解決相機內參歧義；需要指涉物件或像素時，就以文字配合標準化座標範圍（例如[0, 2000)或[0, 1000)）來表達，整個過程不需更動架構或加額外編碼器，僅用標準的文本監督微調（SFT）訓練。

在效能上，VLM³於多個3D基準上繳出亮眼成績：在物件級3D理解上超越SpatialRGPT；於度量深度估計上比肩UnidepthV2與Moge-2，把DepthLM的準確度由0.84提升至0.9；在像素對應上勝過DKM與RoMa；相機姿態估計方面則與DepthAnything3持平並超越VGGT。

這套方法適合關注3D視覺的開發者與研究團隊，特別是希望以單一通用模型涵蓋深度、對應、姿態與物件理解等任務的人。對於想從規模化資料入手，而非投入大量工程設計特定模型的場景，VLM³提供了一條相當務實的路徑。模型目前尚未公開，讀者可先留意論文及官方項目頁面的後續更新。

重點摘要：

  • 焦距統一：把輸入影像縮放至同一焦距，免去相機內參歧義。
  • 文本式像素參考：以標準化座標文字指涉像素，不需加標記或新架構。
  • 資料規模化勝過複雜設計：證明擴展資料與標準SFT已足夠，不需任務專屬模型。
  • 多項指標比肩專家模型：深度、像素對應、相機姿態等任務達到頂尖水準。
  • 統一輸出域：以文字作為統一介面，讓通用模型同時處理多樣3D任務。

GitHub： https://github.com/facebookresearch/VLM3

Paper： https://arxiv.org/pdf/2605.30561

Categories: 開源, 3D, 模型訓練, Meta, 框架

Spreadsheet-RL：讓 AI 真正學識用 Excel

overview

Spreadsheet-RL 是一個針對試算表工作的強化學習項目，重點不是單次輸出答案，而是讓大型語言模型在 Microsoft Excel 環境中分步操作，最後再用整份活頁簿的結果判斷做得對不對。對比一般只靠提示詞的方法，這種設計更貼近日常表格整理、計算和修正流程。

它解決的核心問題，是模型面對多步驟試算表任務時，往往容易中途出錯，或者只懂講做法但未必真的完成。這個項目把資料建立、互動環境、獎勵機制串連起來，令訓練目標不只是「說得像」，而是「做得啱」。當系統會重新計算並比對最終活頁簿，評分方式就比純文字答案更實在。

上手方向也算清楚：研究者可用它提供的訓練與評估堆疊，配合 Excel 獎勵服務、沙盒程式執行，以及多輪互動環境，去訓練或測試自己的試算表代理。內容明顯較適合具備機器學習、叢集運算或代理系統背景的人，普通用家未必會直接部署，但很適合拿來理解「AI 幫你做 Excel」背後需要哪些能力。

幾個值得留意的位包括：
– 以公開試算表論壇題目自動整理訓練資料，論文提到有 5,928 個經篩選任務
– 支援多輪 Excel 互動，而不只是一次生成答案
– 內建試算表原生工具、沙盒執行程式碼，以及獨立工作空間
– 以最終活頁簿正確性作為獎勵，較貼近真實工作成果
– 已公開 Spreadsheet-RL-4B，基於 Qwen/Qwen3-4B-Thinking-2507 訓練

表現方面，論文提到 Qwen/Qwen3-4B-Thinking-2507 經完整流程後，SpreadsheetBench 的 Pass@1 由 12.0% 提升到 23.4%，另一個 Domain-Spreadsheet 評估則由 8.4% 升至 17.2%。幅度相當明顯，但仍屬研究型結果，使用時也要留意其環境依賴較重，包括 Excel 服務、沙盒與訓練基建。

整體來看，Spreadsheet-RL 最有價值的地方，是它把「試算表代理」由提示工程推前一步，變成可訓練、可評估、可重現的完整項目。相關模型方面，文中可見 Qwen3-4B-Thinking-2507、Qwen3-4B Instruct、Qwen3-8B、Qwen3-14B、Qwen3-32B，以及 GPT-4o、OpenAI o3 等比較基線；對想研究 AI 自動處理表格工作的人，這是一個很值得留意的參考。

GitHub： https://github.com/Spreadsheet-RL/Spreadsheet-RL

Paper： https://arxiv.org/pdf/2605.22642

Categories: 開源, Meta, Dataset 數據集

TRIBE v2 (Meta) 全腦神經活動資訊

TRIBE v2（Trimodal Brain Encoder）是一個多模態基礎模型，用於輸入一段影片、音訊或文字，然後輸出一個對應的「全腦神經活動圖」（約 7 萬個體素的 fMRI‑style 活動預測）。
它在 Algonauts 2025 獲獎架構上進一步提升，準確度約是上一代 2–3 倍，空間解析度提高約 70 倍，並支援跨受試者、跨語言、跨任務的 zero‑shot 預測。

可以當成一個「神經科學可視化工具」，用來研究。例如內容設計（影片、廣告、UI）如何觸發大腦特定區域（視覺皮層、語言區等）。又或者多模態 embedding 是否真的對齊人類大腦的處理路徑。

若你在做 RAG、多模態搜尋或 Brain‑AI 類實驗，可以拿這個 demo 來：比較不同 prompt／多模態輸入對「腦激活圖」的差異（例如：同一段文字用不同語氣、圖片風格重製）。

Categories: 開源, Medical醫學, 視覺模型, Meta