3D – Page 3 – InferNews

Self-Geometry 補強 3D VFM 幾何一致性

2026 年 8 月 13 日

同一個場景睇落都幾準，跨視角一對就出現幾何唔一致，正正係 Self-Geometry 想補上的缺口。它用測試階段微調，幫現成 3D Vision Foundation Models 把深度、位姿同 pointmap 對齊。

單張推理已經夠快，但去到多視角場景，depth、camera pose 同 pointmap 未必互相講得通，之後做重建、定位或者室內掃描就會累積誤差。Self-Geometry 屬於 3D 視覺模型適配流程，重點唔係重新訓練一個新模型，而係喺測試階段替現有 3D Vision Foundation Models 補回明確幾何約束。

它採用 GT-Free 的 Test-Time Adaptation (TTA)，直接由 2D pixel correspondences 生成 pseudo ground-truth，再把 Multi-View Consistency、Epipolar Consistency 同 Gradient Disentanglement 組合起來，減少幾種幾何訊號互相拉扯。配合基於 SO(3) geodesic distance 的 Frame Angular-Neighbor 抽幀方式，以及用 LoRA 做 Lightweight TTA，部署理解上比較直接：你可以把它視為加喺 VGGT、π³、DA3-Giant/Large/Base/Small 之上的後處理適配層，而唔係取代原本 backbone。

同類做法常見會依賴模型自己輸出的隱式一致性訊號，Self-Geometry 則改為在測試時加入顯式 multi-view geometry constraints。取捨亦好清楚：它換來較穩定的 pose estimation 同 geometry estimation 改善，但仍然要針對每個 scene 做一次短時間適配，未必適合極端低延遲或單張即時推理流程。

現有資料指出，它在六個 VFMs 同四個 benchmarks，包括 7Scenes、ETH3D、ScanNet++、HiRoom，都有一致提升，而且每個 scene 的適配可在兩分鐘內完成。互動示例亦提供 baseline 與 Self-Geometry 的 pointmap、depth-map 對照，以及相對 TCO、Free-Geometry 的 depth-error、pointmap-error 視覺比較，較適合做 3D reconstruction、camera localization、室內空間感知，或者想保留既有 VFM 而補強幾何一致性的研究團隊同工程項目。

針對預訓練 3D VFM 的多視角幾何不一致問題，而唔係另起一個新模型
用 2D pixel correspondences 當 pseudo ground-truth，避免依賴真實標註
可直接套用到 VGGT、π³、DA3 系列，核心形式屬於 plug-and-play TTA
已公開互動比較與定性結果，重點放在 depth、pointmap 與 pose 的一致改善

項目主頁 · GitHub

Categories: 開源, 框架, 3D

WorldClaw 把一句提示詞變成可編輯 3D 世界

2026 年 8 月 13 日

WorldClaw 將開放式描述轉成可探索、可修改的 3D open-world scene，重點不只在生成，還在把世界結構交到使用者手上。它適合想快速做場景原型、互動展示或內容雛形的團隊。

WorldClaw 是一個 agentic 3D 生成框架，處理的問題很直接：把一句開放式提示詞，變成一個可以走進去、調整、再延伸的 3D open-world scene。它的價值不在於單次出圖，而是把「生成」和「可編輯」連在一起，令內容創作更接近真正可用的場景製作流程。

這個項目目前更像研究原型與方法展示，重點放在論文、項目頁與流程圖；README 沒有提供完整安裝指令，使用者主要應透過論文和項目頁理解它的工作方式。它由 Tencent-Hunyuan 團隊提出，核心方向是把 agentic 流程套進 3D 世界生成，讓模型不只產生外觀，還能維持場景可探索性與修改空間。

由單一提示詞推進到可互動的 3D 世界，不是只生成靜態資產。
強調 editable 與 explorable，較適合做場景原型和概念驗證。
內容定位偏研究與展示，公開資訊未見完整部署流程。
相比一般 3D 生成方法，它更重視世界結構與後續修改。
對遊戲原型、虛擬場景、數字內容團隊較有參考價值。

從命名和定位看，WorldClaw 把自己放在 3D 生成與 agentic workflow 的交界位，關心的不是單一模型輸出，而是生成過程怎樣逐步組裝成世界。現階段公開材料主要講方法與成果，沒有明確性能表格可供直接比較；讀它時，重點應放在它如何把開放式描述轉成可操作場景，而不是當成現成工具包看待。

項目主頁 · GitHub

Categories: 開源, 騰訊, Agentic, 3D

StateFlow 把預視化變成可反覆編修 3D 世界

2026 年 8 月 13 日

想像先搭好一個可重用的3D世界，再慢慢改鏡頭、物件同事件。StateFlow想處理的，正是生成式預視化最常見的連貫性問題。

影像預視化最麻煩的地方，往往不是生成一條片，而是改完場景、換完鏡頭之後，前後內容仲要講得通。StateFlow屬於面向 previsualization 的 3D world-state modeling 框架，它把場景視為可持續保存的 3D world states，令同一個世界可以反覆建構、演化、再取用，而唔使每次修改都由頭生成。

呢個做法先處理內容一致性，再處理畫面輸出。StateFlow用 object-centric structured 3D state 去描述世界，每個物件都帶有 geometry、spatial pose 同 semantic attributes，將底層世界內容同最終 render observations 分開，於是場景結構、物件關係、動態事件同 cinematic camera direction 可以分步調整。

整個流程分成三段。State Construction 針對 2D 內容提升到 3D 世界時容易出現的歧義，用 prior-guided、conflict-aware dual-view initialization 建立較一致的起始世界；State Evolution 把使用者修改轉成 structured state transitions，保留 world memory，避免每次編修都重建整個場景；State Access 則配合 render-feedback reflection，把鏡頭意圖修正成視覺上可行的 cinematic trajectories。

把一次性影片生成，改成可編修、可重用的 persistent world
同一套世界狀態可支援 video production 同 3D game prototyping
重點不只是生成畫面，而係保住場景結構、物件關係同時間上的連貫性
鏡頭控制加入 render-feedback reflection，提升拍攝路徑的可行性

使用場景相當清楚：要先做分鏡、試鏡頭、試事件節奏的創作團隊，或者想由 3D scene 快速走到 playable prototype 的遊戲項目，都會較受用。現有內容著重方法展示、應用示例同與 baselines 的 3D scene generation 對比，但未見完整論文與量化細節公開，所以目前較適合視為一個值得留意的工作流方向，而唔係已完全定型的產品規格。

項目主頁

Categories: 北京大學, 視頻模型, Video, World-Action Model, 框架, 3D

360CityArena 把城市導航基準拉近真街景

2026 年 8 月 13 日

想測試 Embodied Agents 喺城市場景到底識唔識搵路，360CityArena 提供咗一個更貼近真實街區的基準，但結果亦直接揭示現時模型離人類判斷仲有一大段距離。

360CityArena teaser showing a panoramic Akihabara scene and an embodied navigation agent

喺模擬城市入面叫 Embodied Agents 認路、數物件、跟地圖行，難度一向唔低；換成秋葉原的 360 度真實街景之後，問題就由「會唔會做任務」變成「可唔可以喺複雜環境保持判斷」。360CityArena 屬於 benchmark，核心用途係評估 multimodal large language models 喺 embodied navigation 同 visual reasoning 上，到底有幾接近真實城市探索需求。

呢個項目最有意思的地方，在於它唔係靠乾淨的 3D 合成地圖，而係用 602 段 360° 影片重建東京秋葉原 85 條街道，再放入 Unity 環境，用 pose graph 方式讓 agent 沿既定節點移動。換句話說，代理唔可以自由行去任何 3D 座標，也唔涉及實體互動；它測的是在受限移動下，模型能否理解街景、地圖、語言提示同空間關係。

公開版本有 175 個人工設計任務，涵蓋 localization、landmark search、counting、map navigation、language guided navigation 同 relational spatial reasoning。部署方式亦算清楚：Unity 6.5 負責環境，Python runner 接模型 API、送出相機與地圖觀察，再把每次執行結果寫入 outputs/<run_id>/，因此它比較適合研究團隊或評測項目直接重跑同對照。

用 360° 真實街景而唔係純合成場景，城市細節更接近真實導航
任務覆蓋找地標、看圖尋路、數物件、按文字指示前進等七類能力
Unity 環境配合 Python runner，方便接駁不同 MLLM API 做可重現測試
agent 只可沿 pose graph 移動，限制更明確，同時保留城市探索的推理壓力

最值得留意的是結果並唔樂觀。官方比較指出，Gemini 2.5 Flash 目前在整體任務只有 17.1%，人類則有 77.3%，差距大到足以說明：現時多模態模型即使已經能看圖和讀指令，一旦放入連續街景、地圖對位與空間推理混合的場景，穩定性仍然不足。對做 Agentic、Robotic、世界模型相關研究的團隊來講，360CityArena 的價值正在於它唔再只測單步理解，而係把城市級導航的瓶頸攤開畀人直接比較。

項目主頁 · GitHub

Categories: 開源, Agentic, 多模態模型, Gemini, API, Robotic, 3D, Python, Dataset 數據集

Rest2Art 用單張靜態觀察重建可動 3D 物件

2026 年 8 月 12 日

只見到物件關上的樣子，Rest2Art 仍可推回零件結構與關節。對數碼孿生、模擬和機械人操作都幾實用。

只見到抽屜關上、櫃門未打開，系統仍要估到哪些部分可以動、會沿哪個軸轉或滑，這正是 Rest2Art 想處理的難題。它屬於 articulated object reconstruction，目標是由單一 closed-state observation 重建出可直接放入模擬環境的 articulated asset，而不需要先拍到物件在不同狀態下的運動。

這個做法的價值，在於把原本要靠動態觀察先完成的工作，提前到靜態輸入就處理好。Rest2Art 會先用 vision-language model 與 segmentation model 互相校正零件層級和遮罩，再把結果對應回 mesh；之後再借助 video diffusion model 產生可能的 articulation hypotheses，但真正的 joint parameters 不是直接照抄影片，而是再用幾何一致性去驗證。

回應了一個很現實的限制：很多日常物件未必容易拍到完整開合過程，但建模、模擬與機械人任務仍然需要知道它如何運動。Rest2Art 用 explicit mesh 作為中介，方便跨模型比對與融合，最後再把各部分轉成封閉體積，令輸出不只是「睇得明」，而是可用於 physical simulation。

單靠 single closed configuration 重建 part-level geometry 與 joint parameters
結合 vision-language model、segmentation model 與 video diffusion model 補足缺少 motion cues 的問題
以 explicit mesh 做 cross-model verification and fusion，減少不同模型輸出互相衝突
可輸出 simulation-ready articulated asset，並支援 URDF 匯出

論文描述顯示，它在 reconstruction-based、generation-based 與 modular pretrained-model families 之間，都能做到有競爭力的表現，重建出的零件分解與關節亦具備 physical plausibility。對數碼孿生、虛擬場景整合、real-to-sim-to-real，以及機械人 policy learning 而言，這種由靜態觀察直接產生可互動資產的流程，明顯比只重建外形更進一步。

項目主頁

Categories: 視覺模型, 多模態模型, Video, 影像處理, 框架, 3D, Dataset 數據集

MiniMax H3：全模態影音生成說明書

2026 年 8 月 6 日

MiniMax H3 把文字、圖片、影片與聲音整合到同一套生成流程，並支援同步影音輸出。

MiniMax H3 面向需要由多種媒體素材生成影片的場景，輸入可包括文字、圖片、影片及聲音，輸出則涵蓋影片與同步音訊。它屬於通用 omni-modal generative system，並非只處理 text-to-video，亦標示支援 image-to-video、video-to-video、audio-to-audio-video 等流程。提供的內容未載明它基於哪個 base model，亦無法確認是否由其他模型 fine-tuned from。

這種統一處理方式適合將參考圖片、動態片段或聲音一併納入生成條件，減少工作流程需要分拆成多個模型的情況。metadata 指向 Diffusers，並列出 multimodal、synchronized-audio-video 及 reference-to-audio-video 等能力；不過目前資料未交代模型架構、參數規模、上下文長度、訓練方法或效能指標。

可留意的使用重點包括：
– 支援 text-to-video、image-to-video、image-text-to-video 及 video-to-video。
– 可處理文字、圖片、影片與音訊，並生成 audio-video 組合內容。
– 提供 Global 與中國地區的 Online API，以及 Hailuo AI 網頁和桌面 App。
– 標示使用 MiniMax H3 Community License Agreement，部署前應查閱 LICENSE。

項目主頁

Categories: 開源, 多模態模型, 視頻模型, Video, Image, Audio, 3D, Ollama, MiniMax

ComfyTV 把 ComfyUI 拉進完整媒體工作流

2026 年 8 月 6 日

想用 ComfyUI 做圖、剪片同整理素材，通常要在多個介面之間跳來跳去。ComfyTV 把這些步驟收進同一個畫布，重點不只生成，仲包括挑選、編修同輸出。

做生成內容唔少人最怕流程一長就難改、難追版本，ComfyTV 針對的正是這個卡位。它屬於建基於 ComfyUI 的畫布式媒體工作台，將生成、挑圖、編輯、合成到輸出串成同一條流程，處理範圍橫跨 image、video、audio、music、panorama、2D layers 同 3D，而唔係停留喺單次出圖。

跟一般要靠 ComfyUI 全域 queue 推整條鏈不同，ComfyTV 採用 per-node run，每個 stage 可以獨立重跑，下游只會接住上游最近一次輸出的 snapshot。這種做法減少反覆測一小步時牽動全流程的等待，代價是你要更清楚每個節點當下吃的是哪個版本輸出，但對長流程調整明顯更順手。

它的另一個重點是以項目為中心管理素材與歷史。每個 stage 都掛在同一個項目內，輸出會連同歷史保留，重新載入後可還原；再加上 asset library、resource library 同 prompt fragments，可直接在提示詞用 @ 引用。README 亦提到可匯入任何 ComfyUI workflow JSON，在側邊欄綁定輸入、保存 stage preset，並透過 Bridge nodes 接第三方插件，甚至登記遠端 ComfyUI 機器做 runner。

內容深度比一般前端殼再走前一步，現時提供約 190 個 stages，而且不少節點內置真正編輯器，例如 layer editor、storyboard workbench、piano rolls、3D viewports 同 scopes，部分 video effects 亦有 live preview。2D 編輯一段還延伸到 PSD import/export、Fountain script import 這類偏製作流程的功能，顯示它瞄準的是需要持續迭代的創作項目，而唔係一次性玩效果。

把 ComfyUI 擴展成完整媒體工作台，覆蓋生成、編修、合成與輸出
per-node run 減少重跑整條流程的等待，適合長鏈路反覆微調
以項目保存 stage 歷史、素材與資源，較方便追版本同回復狀態
可匯入 ComfyUI workflow JSON，兼容 subgraphs、第三方 plugins 同遠端 runners
約 190 個 stages，加上節點內編輯器，定位比純工作流編排器更完整

它依賴你現有的 ComfyUI 生態與本地模型，較像建在 ComfyUI 之上的創作界面層，而唔係獨立模型服務。適合已經有一批 workflows、想將 image、video、audio 放入同一項目管理的團隊或創作者；純粹只求最快出一張圖的人，未必需要它這麼重的工作台結構。

GitHub

Categories: 開源, ComfyUI, Video, Image, Audio, 3D, 庫

3DZip 把 3D VLM token 減少到 10 分之一

2026 年 8 月 4 日

3D 問答模型常被海量 token 拖慢，3DZip 用免訓練壓縮方法把負擔大幅減輕。速度提升接近兩倍，原有能力大致保得住。

做 3D Question Answering 時，projection-based 3D vision-language models 往往要先把多視角 RGB-D 特徵投影到世界座標，結果每個場景會堆出幾千個 token，推理速度同記憶體壓力都會立即變成瓶頸。3DZip 屬於token compression 框架，處理的正正是這個問題，而且做法不是再訓練一個新模型，而是直接插進現有流程，先減重再回答問題。

它的判斷很清楚：3D token 的冗餘不只來自空間上太接近，還包括物件層級分佈不平均，所以單靠 2D VLM 常見的 attention 或語意相關性壓縮，未必保得住 3D 幾何結構。3DZip 用三步走處理，先做 voxelization 清走點級重複，再用 Determinantal Point Process（DPP）挑出特徵夠多樣的 anchor tokens，最後在空間限制下合併其餘 token，重點是保持 geometric coherence。

3DZip 提供 LLaVA-3D 的 inference 與 evaluation code，代表你可以把它理解成偏向研究驗證、效能比較同既有模型加速的項目，而不是即裝即用的完整產品。核心演算法放在 llava/model/multimodal_encoder/video_encoder.py 的 3dzip pooling branch，部署思路也很直接：以 LLaVA-3D 為基礎模型，把壓縮流程接到 multimodal encoder，再用基準測試看 token 數、速度同回答質素之間的取捨。

3DZip 在三個 3D question answering benchmarks 上，壓到128 tokens之後仍保留94.7%原始表現，推理速度提升到1.92×。這類數字最適合需要在有限 GPU 記憶體內跑 3D VLM、又不想為加速重新訓練整個模型的研究團隊；代價是目前公開重點仍集中在推理與評估，Hugging Face 權重與更完整版本例如 3DZip++ 仍未釋出。

免訓練設計，重點在於直接壓縮 projection-based 3D VLM 的 token 成本
與 2D token compression 不同，3DZip 同時處理空間結構同特徵多樣性
已公開 LLaVA-3D 的 inference 與 evaluation code，較適合研究與基準比較
128 tokens 仍保住 94.7% 原始表現，推理速度可達 1.92×
現階段較像演算法模組，未見完整產品化封裝

項目主頁 · GitHub

Categories: 開源, 視覺模型, 多模態模型, 框架, 3D

CADENA 把 3D 網格逐步還原成 CAD 程式

2026 年 8 月 4 日

想由3D mesh 反推可編輯 CAD 流程，CADENA 提供了一條幾務實的路。它唔係一次過寫完整程式，而係每步都先執行、再比較幾何差異。

做 3D reverse engineering，最大痛點唔係生成一段似樣代碼，而係生成之後能否真的建出可用、可編輯、而且封閉的幾何。CADENA 屬於模型加推理流程的參考實作，目標是把 3D mesh 重建成 parametric CAD program；它採用 stepwise inference，每次只發出一個 operation，先執行目前前綴，再用目標幾何與已建幾何的差距決定下一步。

這種做法的價值，在於把「一次過輸出整段程式」改成可檢查、可回退的逐步生成。倉庫內的 inference/ 會做 vLLM 服務、per-operation expansion 同 prefix selection，rl/ 則負責 sandboxed prefix rendering 與排序分數；系統只保留能令 IoU 改善的步驟，所以多走幾步不會令結果更差。代價同樣清楚：部署要 Python 3.10+、CUDA GPU、vLLM，同時依賴 OpenCASCADE via CadQuery，環境比一般 Vision-Language 模型推理更重。

模型本身用的是 Qwen2-VL-2B policy，Hugging Face 釋出 sft 與 rl 兩個階段，當中 rl 對應 CADENA-RL。輸入不是單張截圖，而是八個視角拼成一張圖，六個軸向視圖加兩個等角視圖；目標物放在綠色通道，當前已建立幾何放在紅色通道，模型讀到的其實是尚未補齊的殘差。這種設計直接把「下一刀應該補邊度」轉成視覺訊號。

幾個值得留意的重點：
– 倉庫提供完整推理、資料集建立、評分與可視化流程，但不包含用來合成訓練語料的 rule-based program generator。
– cadgen/ 只有 DSL runtime 的執行半部，較適合做還原、測試與基準比較，唔係完整資料生產管線。
– 預設流程會由 mesh 目錄建立 inference dataset，再輸出每一步的程式、輸入圖同 built STL，方便檢查中途錯誤。
– 無效預測會被剔除：建不出來，或者結果不是 watertight，都不算有效答案。
– 評分包含 GMS、IoU、CD，而且結果會按 family 及整體一併報告，避免單一類型零件拉高平均值。

適合研究 CAD reverse engineering、幾何生成、製造前處理，或者想把 mesh 轉回可參數化編輯流程的團隊。現階段最實際的理解方式，是把 CADENA 看成一套偏研究導向、但已經有明確 benchmark、checkpoint 同 rollout 腳本的開源項目；可重現性做得不錯，不過完整訓練資料生成鏈未公開，想延伸到自家資料或重訓流程，仍要補上不少工程工夫。

GitHub · 模型

Categories: 開源, 多模態模型, Qwen, Google, NVIDIA, 框架, 3D, Python, Dataset 數據集

WorldExam：檢驗世界模型影片的反應力

2026 年 8 月 4 日

它不只看畫面像不像，還會測模型能否保住世界一致性與反應。WorldExam 把世界模型影片拆成四層診斷。

WorldExam 把重點放在世界模型（world models）影片最常被忽略的地方：畫面好看之外，世界有沒有維持住，場景會不會對動作作出合理反應。它屬於基準測試項目，用來評估可控制影片生成在外觀、操控、空間一致性與內在反應上的表現。

它提供 1,474 個測試案例，涵蓋 camera-driven、action-driven、language-driven 三種控制介面，並劃分為四個診斷層次與八個任務。使用時可依照項目提供的測試案例與統一評估流程，檢查模型在不同場景、不同視角和不同互動條件下的穩定度。

和只看視覺質素或指令跟隨的做法相比，WorldExam 更在意模型有沒有維持空間一致性，以及能否推斷場景應有的反應。它把 scene revisit、terrain interaction、object interaction、social interaction 等情境都納入，適合做影片生成、世界模型、互動式內容與機械人視覺相關研究的團隊。

同時測外觀、操控與世界反應，不只看畫面順不順眼
支援三種控制介面，較貼近不同應用流程
測試案例覆蓋室內外、3D render、電影鏡頭、動畫與 dashcam
有任務級與整體指標，方便比較不同模型
對想看模型有沒有「懂場景」的團隊特別有用

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 世界模型, 框架, 3D, Dataset 數據集

Page 3 of 10

« Previous 1 2 3 4 5 … 10 Next »