ShapeR 是以 rectified‑flow 為基礎的生成模型，能直接從日常拍攝的影像序列（即「不規則」捕捉）重建高保真的三維物件。整體流程大致可以分成幾個步驟：
先用現成的視覺‑慣性 SLAM 演算法把鏡頭移動和稀疏點雲拿出來，接著再交給 3D 物件偵測器把每個目標物分割出來。每個偵測到的物件會得到幾張具備相機位姿的多視角圖片、一組稀疏的 SLAM 點，還有一段由視覺語言模型自動產生的文字說明。這些資訊（點雲、多視圖、文字）會被封裝成一個多模态的條件向量，送給訓練好的 rectified‑flow Transformer 去去噪。
Transfomer 輸出的 latent VecSet 接著經過一個 3D VAE 解碼，最後生成完整的三維網格。整個模型只需要在合成資料上先做大量的單物件預訓練，接著再在更具挑戰性的合成場景與真實場景資料上進行兩階段的訓練，過程中會不斷加入各種自然的背景、遮擋、噪聲以及 augmentations，讓模型學會在「雜亂」的環境下仍保持穩定。
研究團隊也釋出了一個專屬的評估資料集：裡面有 178 個真實世界的物件分布在七個場景中，配有完整的地面真值網格、配對好的多視圖影像、SLAM 點雲與文字描述。這筆資料專門用來測試在野外捕捉時的遮擋、雜亂、解析度變化等情況，讓模型在更貼近實務的條件下接受測試。
在測試結果上，ShapeR 在 Chamfer Distance 指標上比目前最好的方法提升了 2.7 倍，顯示出在「不規則」情境下的穩定性確實比先前的單視圖或全局場景重建方式更佳。相較於同樣流行的 SAM3D 方法，ShapeR 的特色在於它利用多視圖的幾何資訊（SLAM 點、相機位姿）來保證形狀的尺度與真實感，而 SAM3D 則依賴單張圖像與互動，對於規模和視角的一致性較弱。兩者其實可以互補——把 ShapeR 的幾何結果再送給 SAM3D 生成更豐富的材質或細節。
總結來說，ShapeR 透過把 SLAM 點雲、3D 偵測、多視圖影像和自動文字說明這幾種資訊全部結合起來，做出一個能在日常拍攝場景下產生高品質、具備度量真實性的單物件三維形狀的生成模型，並提供了完整的測試素材與模型資源讓研究者直接使用。
| 面向 | ShapeR | SAM3D |
|---|---|---|
| 輸入 | 多視角序列 + SLAM 點 + caption 等多模態 | 單張影像 +（物件時多半要 mask / 互動) |
| 任務重點 | 場景級、物件為中心的度量重建與佈局 | 單視圖高品質幾何 + 貼圖的物體/人體重建 |
| 幾何精度 | 強調 metric accuracy、相對尺度與佈局一致性 | 可缺乏精確比例與 layout，特別是複雜場景 |
| 紋理 / 外觀 | 較偏幾何與場景結構（官網重點在 shape） | 強調 photoreal 紋理與真實外觀 priors |
| 互動需求 | 不需要使用者互動，pipeline 自動處理 | 需要物件 mask / prompt，屬於 promptable / interactive workflow |
| 訓練數據 | 合成多模態場景（SLAM + 多視圖） | 大規模真實 image→3D（Objects/Body 各自的 dataset） |
| 適合場景 | AR 眼鏡 / 機器人多視角感知、場景 mapping、學術評測 | 商業應用：電商 AR、human pose & shape、單圖 3D content creation |
Step3-VL-10B 是一款輕量級開源基礎模型，旨在重新定義緊湊高效與前沿多模態智能之間的權衡。儘管僅有 10B 參數，Step3-VL-10B 在視覺感知、複雜推理和人類對齊方面表現卓越。
該模型在 10B 規模以下的模型中始終表現最優，並能媲美甚至超越規模大 10×–20× 的開源模型（如 GLM-4.6V 106B-A12B、Qwen3-VL-Thinking 235B-A22B）以及頂級閉源旗艦模型（如 Gemini 2.5 Pro、Seed-1.5-VL）。
Demo: 根據表格推導”STEPFUN”的莫爾斯編碼
Thinking Process
用户现在需要把每个字母转换成莫尔斯电码，先看每个字母在表中的编码。首先分解"STEPFUN"每个字母：S、T、E、P、F、U、N。
S：看右边第三列第一个，S是···（三个点）。（一个短横）
T：第三列第二个，T是-。
E：左边第一列第五个，E是·（一个点）。
P：中间列（J到R）中P对应的符号是·--·点、短横、短横、点）。
F：最左侧列第六行，F的符号是··-·（两个点、一个短横、一个点）。
U：最右侧列第三行，U的符号是··-（两个点、一个短横）。
N：中间列（J到R）第五行，N的符号是-·一个短横、一个点）。
再将每个字母的编码按顺序拼接（字母间用空格分隔更清晰），"STEPFUN"的莫尔斯电码为：··· - · ·--· ··-· ··- -·
Final Answer
··· - · ·--· ··-· ··- -·Step3-VL-10B 的成功源於兩大核心設計：高質量多模態語料庫的統一預訓練（1.2T tokens）與規模化多模態強化學習（超過 1,400 次 RL 迭代），並引入 Parallel Coordinated Reasoning (PaCoRe) 實現並行視覺探索的證據聚合。
3AM 是一種結合了 2D 即時分割模型 SAM2 與 3D 幾何資訊的方法，目的是在影片或任意多視角圖像集合中，對同一物體保持一致的分割 mask。傳統的 2D 追蹤模型（如 SAM2）在觀點大幅變化時會因為只能依賴外觀特徵而失去目標，而早期的 3D 方法則需要提供相機位姿、深度圖或複雜的前處理，才能保證跨視角的一致性。
3AM 的創新在於在模型訓練階段，透過輕量的特徵合併模組把從 MUSt3R（一個多視角重建模型）學到的隱式幾何特徵與 SAM2 的外觀特徵結合，形成既能捕捉空間位置又能反映視覺相似度的表示。這樣的融合讓模型在推論時只需要原始 RGB 影像和使用者提供的提示（點、框、mask 等），就能在不同觀點之間追蹤物體，且不需要額外的相機資訊或前處理步驟。文章指出，這種做法在包含大量視角變化的基準測試集（如 ScanNet++、Replica）上，IoU 數值提升顯著，例如在 ScanNet++ 的 Selected Subset 上比 SAM2Long 高出約 15.9 個百分點。整體而言，3AM 在保持即時、可提示化的特性同時提升了跨視角的一致性，為後續的 3D 實例分割與多視角物體追蹤提供了一個更簡單、更有效的解方案。
VINO 是個統一的視覺生成工具，能同時處理圖像和影片的創作與編輯，無需針對每種任務去找不同的模型。它的核心架構是把視覺語言模型和多模態擴散轉換器（MMDiT）結合起來，讓文字、參考圖片或影片都能以同一套條件流動的方式被傳遞給擴散過程。
這裡的「可學習查詢 token」扮演的角色是把使用者的簡短指令轉化成模型能理解的細節向量，並在訓練時一起調整，讓指令更精確、模型更穩定。另一個關鍵在於把參考影像或影片所產生的特徵與它在 latent 空間的對應向量用同樣的開始與結束標記包起來，這樣模型就能在語意層面和潛在層面都把同一個參考資源針對地辨識出來，減少身份混淆或屬性遺漏的問題。
InfiniDepth 把傳統的深度圖想成一個可以在任何二維座標上即時查詢的隱式場（Implicit Field），而不是固定在像素格子裡。這樣的表示方式讓模型不再受到訓練解析度的限制，能夠直接輸出任意高解析度的深度圖，同時保留更細緻的幾何細節。
NeoVerse 是一種強大的 4D 世界模型，專門設計來處理現實環境中的單眼視頻，從而實現多種應用。這個模型的核心優勢在於它能夠進行無姿態限制的前饋 4D 重建，這意味著它可以從普通的單眼視頻中直接生成高質量的 4D 場景，而不需要複雜的多視角數據或預處理步驟。
CoV (Chain-of-View Prompting for Spatial Reasoning) 可以用於各種需要在複雜三維環境中進行精確空間理解的場景。例如 VR 和 AR，CoV 可以幫助系統更好地理解和響應用戶在虛擬環境中的查詢，提供更自然、更沉浸式的體驗。在自動駕駛領域，CoV 可以增強車輛對周圍環境的理解能力，提高其在複雜道路條件下的導航和決策能力。
CoV 提出一種創新方法，專門針對在三維環境中的具身問答（Embodied Question Answering, EQA）問題。傳統的視覺語言模型（Vision-Language Models, VLMs）受限於固定的輸入視角，這使得它們在推理過程中無法動態地獲取與問題相關的上下文信息，進而限制了複雜空間推理的能力。CoV 通過引入一種免訓練、僅在測試階段運行的框架來解決這一問題，該框架能夠讓 VLMs 變成主動的視角推理器。
VideoAuto-R1 採用了一種「當需要時才推理」的策略。這種策略在訓練階段遵循「一次思考，兩次回答」的範式，即模型首先生成一個初步答案，然後進行推理，最後輸出一個經過審核的答案。這兩個答案都通過可驗的獎勵進行監督。在推理階段，模型使用初步答案的置信度分數來決定是否繼續進行推理過程。Meta 在 VideoAuto-R1 專案中扮演研究合作與工程貢獻角色。
1. 視頻問答系統：VideoAuto-R1 可以應用於各種視頻問答任務，提高系統在理解和回答視頻內容方面的準確性，同時降低計算成本。
2. 教育與培訓：在線教育平台可 leverage 這種技術來提供更智能的學習助手，幫助學生理解複雜的視頻內容，並根據需要提供針對性的解釋。
3. 互動式媒體：增強視頻內容的互動性，例如通過自動推理來回答用戶關於視頻內容的問題。
4. 智能監控：在安全監控系統中，VideoAuto-R1 可以用來分析和解釋監控視頻中的活動，從而提高安全性和監控效率。
5. 自動化客戶服務：在客服領域，該技術可以幫助自動化回答客戶關於產品或服務視頻的問題，提供更個性化的客戶體驗。
6. 內容創作與編輯：視頻創作者可以利用這種技術來自動化地生成視頻描述和解釋，從而簡化內容創作和編輯過程。
7. 多模態學習和研究：VideoAuto-R1 作為一種多模態理解技術，可以促進自然語言處理和電腦視覺領域的研究。
