視覺模型 – Page 5

Ego2Robot 把人類影片轉成機械人訓練數據

2026 年 8 月 6 日

Ego2Robot將第一身人類操作影片轉化成大規模機械人訓練數據，改善 VLA 模型面對陌生環境時的泛化能力。

機械人要應付陌生場景，往往需要大量而且多樣化的示範數據；Ego2Robot選擇從第一身人類操作影片取材，將人手動作轉換成不同機械人形態可以使用的訓練資料。這個數據合成項目面向 Vision-Language-Action（VLA）模型預訓練，處理人類影片與機械人動作、視覺外觀不一致的問題。

流程分為動作對齊、視覺對齊和品質篩選三部分。系統會把拇指、食指、中指指尖及手腕等關鍵點重新映射到夾爪的 TCP、開合幅度和方向，再以 Savitzky–Golay 及 SLERP 平滑動作；視覺處理則結合 SAM 3、ProPainter、機械人底座姿態搜尋和 IK solving，把機械人手臂合成到已修補的人類場景中。

項目支援已有手部姿態標註的數據集，也可以從原始影片估算姿態，後者使用 WiLoR 逐幀重建和 DynHaMR 時序最佳化。統一流程可以平行產生 15 種 robot morphologies，累積 18,561 小時訓練數據，涵蓋較多任務、場景和機械人配置。

重點包括：
– 同時支援 curated datasets 和 in-the-wild videos
– 以多層 quality curation 篩走動作及視覺合成中的低質資料
– RoboTwin 2.0 加入視覺外觀、場景佈局、機械人形態和任務語義等干擾軸
– 與機械人數據聯合預訓練後，多種 out-of-distribution 情況下的泛化能力提升
– 改善效果亦在真實機械人部署中獲得驗證

對需要建立通用機械人操作模型的研究團隊，Ego2Robot提供了一條減少真人示範收集成本的路線。不過，合成數據的品質仍取決於手部姿態估算、動作重定向、逆運動學和場景合成是否準確，因此它較適合作為真實機械人數據的補充，而不是完全取代實體部署資料。

項目主頁

Categories: 阿里巴巴, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, 中國, Dataset 數據集

JoyAI 把即時串流影片編輯推向 720p

2026 年 8 月 5 日

影片逐幀抵達便可按文字指令修改，JoyAI-Video-Edit 以 30.19 FPS 連接即時攝影與生成式編輯。

直播畫面或上載影片不必等到完整片段準備好，便能一邊輸入自然語言指令、一邊看到修改結果。JoyAI-Video-Edit 屬於開源影片生成及影像處理模型，處理的是影片串流中延遲高、必須預先知道片長，以及難以維持連貫性的編輯流程。

它支援主體修改、局部區域調整、背景替換、風格轉換、動作改變和參考影像引導，適合互動示範、直播效果及需要即時預覽的創作工具。系統以 Multimodal Large Language Model（MLLM）條件編碼器、causal video Variational Autoencoder（VAE）及 16B-parameter Multimodal Diffusion Transformer（MMDiT）組成，逐段處理新抵達的畫面。

同類影片生成方法往往先取得完整影片，再一次過進行離線處理；JoyAI-Video-Edit 改用 autoregressive diffusion，配合 aligned autoregressive distribution matching distillation、long-horizon optimization、bounded Key-Value state（KV-state）inference 和 deployment-oriented scheduling，換取串流速度。不過，這種設計仍要留意長時間輸出可能出現的 temporal drift，而且消費級 GPU 支援仍列為待辦工作。

部署基準在 720×1280 解像度達到 30.19 FPS end-to-end throughput，代表系統已接近互動式影片處理所需的速度，但不能直接等同於所有硬件和指令下都能保持相同表現。Hugging Face 提供 JoyAI-Video-Edit checkpoint，GitHub 同時提供部署程式碼和線上 Demo，較適合具備 GPU 資源、希望整合影片工作流，或研究 Computer Vision 與串流生成的團隊。

即時串流：畫面逐幀處理，不要求預先提供完整影片或固定片長。
指令範圍廣：涵蓋主體、局部、背景、風格、動作及參考影像編輯。
速度指標：720×1280 下達到 30.19 FPS 的完整流程吞吐量。
部署取捨：透過 bounded KV-state inference 控制計算量，但消費級 GPU 支援仍未完成。
適用人群：影片工具開發者、直播創作者及需要即時預覽的研究團隊。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 視頻模型, Google, NVIDIA, Video, 蘋果, Dataset 數據集

3DZip 把 3D VLM token 減少到 10 分之一

2026 年 8 月 4 日

3D 問答模型常被海量 token 拖慢，3DZip 用免訓練壓縮方法把負擔大幅減輕。速度提升接近兩倍，原有能力大致保得住。

做 3D Question Answering 時，projection-based 3D vision-language models 往往要先把多視角 RGB-D 特徵投影到世界座標，結果每個場景會堆出幾千個 token，推理速度同記憶體壓力都會立即變成瓶頸。3DZip 屬於token compression 框架，處理的正正是這個問題，而且做法不是再訓練一個新模型，而是直接插進現有流程，先減重再回答問題。

它的判斷很清楚：3D token 的冗餘不只來自空間上太接近，還包括物件層級分佈不平均，所以單靠 2D VLM 常見的 attention 或語意相關性壓縮，未必保得住 3D 幾何結構。3DZip 用三步走處理，先做 voxelization 清走點級重複，再用 Determinantal Point Process（DPP）挑出特徵夠多樣的 anchor tokens，最後在空間限制下合併其餘 token，重點是保持 geometric coherence。

3DZip 提供 LLaVA-3D 的 inference 與 evaluation code，代表你可以把它理解成偏向研究驗證、效能比較同既有模型加速的項目，而不是即裝即用的完整產品。核心演算法放在 llava/model/multimodal_encoder/video_encoder.py 的 3dzip pooling branch，部署思路也很直接：以 LLaVA-3D 為基礎模型，把壓縮流程接到 multimodal encoder，再用基準測試看 token 數、速度同回答質素之間的取捨。

3DZip 在三個 3D question answering benchmarks 上，壓到128 tokens之後仍保留94.7%原始表現，推理速度提升到1.92×。這類數字最適合需要在有限 GPU 記憶體內跑 3D VLM、又不想為加速重新訓練整個模型的研究團隊；代價是目前公開重點仍集中在推理與評估，Hugging Face 權重與更完整版本例如 3DZip++ 仍未釋出。

免訓練設計，重點在於直接壓縮 projection-based 3D VLM 的 token 成本
與 2D token compression 不同，3DZip 同時處理空間結構同特徵多樣性
已公開 LLaVA-3D 的 inference 與 evaluation code，較適合研究與基準比較
128 tokens 仍保住 94.7% 原始表現，推理速度可達 1.92×
現階段較像演算法模組，未見完整產品化封裝

項目主頁 · GitHub

Categories: 開源, 視覺模型, 多模態模型, 框架, 3D

DEFT-RLVR 用延後曝光減少自動駕駛 VLM 誤判

2026 年 8 月 4 日

自動駕駛 Vision-language-action models 唔少都會被正確軌跡「提示」到答啱。DEFT-RLVR想處理的，正是這種看似會推理、其實先知道答案的偏差。

Ground-truth trajectory exposure can induce post-hoc rationalization and hallucination.

自動駕駛 Vision-language-action models 一旦在推理前先見到真實未來軌跡，很容易把答案合理化，卻未必真係根據場景作判斷。DEFT-RLVR 屬於訓練與驗證框架項目，核心是把「先看場景作決定」同「之後再對照候選軌跡」拆開，減少 trajectory anchoring bias。

它的做法唔係直接生成開放式座標，而是先用 AD-MCQ 把規劃問題改成多選題，再用 DEFT 兩階段流程處理：模型先做 candidate-blind scene reasoning，之後先見到候選軌跡再揀答案。這種設計的好處，是答案可被精確核對；代價則是任務表述被收窄到候選集合之內，較接近「可驗證決策」而唔係完整路徑生成。

針對的不是感知本身，而是推理監督被答案污染的問題
AD-MCQ 保留 braking、speed 同 lateral geometry 等差異，方便精確評分
DEFT-RLVR 用 GRPO 聯合優化，並且可選用 rubric 監督推理過程
RL 階段直接由 base VLM 開始，毋須 cold-start SFT
模型採用 Qwen3-VL

部署門檻不算低。項目要求另行安裝支援 CUDA 的 vLLM，Waymo codebook reconstruction 還要額外用 Python 3.9 的 autovla waymo py39 環境；預設 recipe 亦明顯偏向大型多 GPU 節點，小型設備需要自行調整 tensor parallelism、batch size、sequence length 同 offloading。

目前公開資訊顯示，它在 AD-MCQ-500 上同時提升 trajectory selection 與 candidate-blind reasoning，較穩妥的判斷是：這套方法對研究自動駕駛 VLM/VLA 訓練可靠性、想避免「先知答案再解釋」的團隊尤其有參考價值；要落地到更開放的真實規劃流程，仍要看候選軌跡構建與算力成本能否接受。

GitHub

Categories: 開源, 視覺模型, 多模態模型, NVIDIA, VLA, Python

用 Hermes Agent 自動跑 ComfyUI 影片流程

2026 年 8 月 2 日

打幾句文字指令，就能讓 Hermes Agent 在 Windows 控制 ComfyUI，串起影像、聲音到影片生成流程。

由文字指令直接帶動整條 AI 內容製作流程，正是這段教學最吸引人的地方。影片示範 Hermes Agent 在 Windows 電腦上接手 ComfyUI 操作，把影像、語音與影片生成串成一套可執行工作流，減少人手逐步點擊介面的時間。

這類做法處理的，是多工具協作時常見的斷層：模型會生成內容，但流程仍要靠人逐格設定、切換節點、整理輸出。Hermes Agent 扮演的角色更接近可執行指令的 Agent，讓使用者用自然語言描述需求，再由它推動 ComfyUI 與相關模型完成步驟。

影片標題提到的 Krea 2、LTX 2.3、Qwen 與 Fish Audio，反映這條工作流並不只限於單一模型，而是把視覺、影片與音訊能力接在一起。重點不在單一模型參數，而在於怎樣把不同項目整合成可重複使用的自動化流程。

Hermes Agent 可在 Windows 環境控制 ComfyUI
工作流涵蓋影像、音訊與影片生成
輸入形式以簡單文字指令為主
涉及 Krea 2、LTX 2.3、Qwen、Fish Audio 等模型或服務

對內容創作者、想整理 AI 製作流程的人，這類教學特別有參考價值。它未必代表所有步驟都能完全免調整，但已清楚展示 Agentic 工作流如何把 ComfyUI 由節點工具，進一步變成可自動執行的製作中樞。

項目主頁

Categories: ComfyUI, Agentic, AI productions, 視覺模型, 視頻模型, Qwen, Google, Video, Audio, 教學, 安全, LTX

MPIE-Bench：多人修圖基準

2026 年 8 月 1 日

多人影像編輯最易出事的，往往不是畫質，而是人物關係、肢體接觸同身份一致性。MPIE-Bench 把這些難題拆開量度，適合用來判斷模型到底可靠到哪一步。

當多人影像編輯開始涉及互動動作、身體接觸，例如擁抱、攜帶或擒抱，同多角色參考圖，模型最常翻車的地方就不只是一張圖靚唔靚。MPIE-Bench 屬於基準測試資料集與評分工具，焦點是檢查編輯模型能否在跟從指令之餘，同時保住人物數量、身份一致性、肢體結構同互動幾何是否合理。

MPIE-Bench 不是再做一個生成模型，而是替多人編輯建立較完整的檢查方法。測試集有 2,500 個案例，並按接觸密度分成 C0 到 C3，意思是由沒有接觸到高密度接觸場景都會覆蓋；這種切法有助分辨模型是單純怕多人，還是特別怕擁抱、扶持、碰撞這類複雜互動。

評分設計亦有取向。六個軸線，除了身份、指令遵從、人物數量與整體畫質，亦把 anatomy 和 interaction 拉成重點，並用 mesh-anchored Anatomy / Interaction 來處理較難主觀判斷的部份。對研究團隊或做產品評測的人來說，這比只看美感分數更有參考價值，因為它直接對應多人編輯最容易出錯的位置。

官方提供 2,500-sample test set、evaluation protocol 同 scoring code
重點量度多人編輯中的身份保持、人物數量、動作互動同整體質素
測試案例按接觸密度 C0–C3 分類，方便看清模型失誤模式
可把模型輸出放到指定資料夾，再跑 E2E scorer 完成整體評分

部署資訊已有基本方向，安裝細節放在 docs/INSTALL.md，而且評分流程需要額外權重、環境設定，以及 AI_GATEWAY_URL、AI_GATEWAY_KEY 等配置；單靠儲存庫首頁未足以完整重現全部步驟。另有三個 closed-source baseline 的 frozen judgments，可作對照，但 open-source model dumps 沒有公開，這表示它更適合拿來評測自己的輸出，而不是直接比較所有現成模型結果。

對開發多人影像編輯、角色一致性編輯，或要驗證 VLM、影像生成模型在複雜人物互動表現的團隊來說，MPIE-Bench 的價值在於它把「多人」這件事拆成可追蹤的失敗類型。它未必能代替最終人工審美判斷，但很適合放進模型迭代流程，幫你更早發現哪些能力其實只在簡單場景先成立。

GitHub

Categories: 開源, 視覺模型, 影像處理

PhiZero 用物理語言先推演再生成影片

2026 年 8 月 1 日

PhiZero唔係直接由畫面猜下一格，而係先用一套離散物理語言推演世界點變，再把結果還原成影片。對想做互動模擬同世界模型的人，呢個取向幾值得留意。

生成影片最難處理的，往往唔係畫面清唔清，而係物件點移動、碰撞同延續。PhiZero 屬於世界模型（World Model），焦點放在「先理解世界狀態點轉變，再生成畫面」，用較細緻的 physical language 去表達變化，減少直接由像素預測帶來的不穩定感。

它想解決的問題很明確：自然語言太粗略，難以完整描述複雜物理過程；純視覺生成又未必能穩定保留因果同動作連貫性。PhiZero 於是從大量無標註影片學出一套 compact discrete representation，先把相鄰影片狀態之間的轉變編碼成 physical language，再交由模型根據首幀畫面同文字動作意圖，預測之後的狀態序列，最後渲染成影片。

它採用 reason-then-render 流程。前段由 Physical Language Tokenizer 抽取相鄰 latent video states 的有序特徵，配合 FSQ 離散化成 physical language；後段由以 Qwen3-VL-4B 初始化的 autoregressive VLM 負責推演，再用訓練好的 diffusion decoder 輸出影片。這種拆法的價值，在於同一套 transition representation 可以重用在 physically realistic generation、action-conditioned simulation、interactive rollouts 同 zero-shot transfer，而唔係只限單一生成任務。

先推演世界轉變，再生成影片，重點放在因果與動作連續性
physical language 來自無標註 in-the-wild videos，自監督學習轉變結構
以 Qwen3-VL-4B 作為 reasoner 基礎，並擴充 25K atomic symbols 詞彙
同一表示方式可支援生成、模擬、互動 rollout 同 transfer

現有資料顯示，PhiZero 的訓練資料同時結合真實與模擬影片，並經過逐步篩選，令模型由廣泛視覺經驗收斂到較多動態互動片段。官方頁面已展示 demos，但程式碼仍標示為即將推出，所以現階段較適合把它看成一個值得關注的世界模型方向：它不是單靠更大影片模型硬推結果，而是嘗試先建立可推理、可重用的物理語言介面。

項目主頁 · Paper

Categories: 視覺模型, 世界模型, Qwen, Video

SpatialCLI 用空間工具補強視覺推理

2026 年 8 月 1 日

模型唔係睇唔明圖，而係成日差半步先答得準。SpatialCLI 想補上的，正正係定位、分割、深度與姿態判斷呢類容易失手的細節。

A comparison between a general VLM and a general VLM augmented with SpatialCLI tools

一到要指出物件位置、分清遮擋關係，或者估計深度與姿態，純 Vision-Language Model 往往會答到有方向但未夠準。SpatialCLI 把呢個落差處理得幾直接：它不是單靠一個大模型硬撐，而是把空間能力拆開，先讓模型懂得呼叫工具，再進一步把這些能力學回自己身上；整體定位更像一個結合模型、工具鏈與訓練方法的研究項目。

它最有意思的地方，在於三段式 Call-Learn-Internalize。第一步先接上做 localization、segmentation、metric depth、pose 的 specialist vision models，第二步用 Cold-Start SFT 與 agentic RL 訓練模型判斷幾時要用哪個工具、怎樣整合結果，第三步再把成功軌跡轉回模型能力。取向很清楚：寧願先借助外部工具拿到更可靠的局部感知，再追求把能力內化，減少每次推理都依賴外掛模組。

對研究團隊或做多模態 Agentic 工作流的人來說，這個項目值得留意，因為它同時放出 SpatialCLI code、SpatialCLI-8B 與 SpatialCLI-Data，不只是概念展示。理解它的部署方式也不難：代碼庫負責工具調用與訓練流程，Hugging Face 上的模型與資料集則對應推理、微調和重現實驗的核心材料；要完整驗證效果，通常要連同外部空間工具一併配置。

類型上屬於模型加框架的研究項目，目的是提升多模態模型在空間推理上的準確度與工具使用能力。
重點不只在「可呼叫工具」，而是進一步把工具使用經驗轉化成模型本身的能力。
已公開論文、SpatialCLI-8B 與 SpatialCLI-Data，方便重現與延伸訓練。
適合要處理定位、分割、深度、姿態等視覺任務的人員參考其工作流設計。

現有資訊未見 README 完整列出量化結果細節，但評測章節與 specialist models 章節已預留，顯示作者不是把它包裝成單一模型升級，而是把「何時調工具、如何學會不用工具也保留能力」當成核心問題。這種做法的代價也很明顯：系統整合與訓練鏈會比單純跑一個 VLM 複雜，不過換來的是更貼近真實空間任務的推理穩定性。

GitHub

Categories: 開源, Agentic, 視覺模型, 多模態模型, 影像處理

HumanCLAW 直指 VLM 身體感缺口

2026 年 8 月 1 日

當 Vision-Language Models 真正要控制一個會碰撞、會受重力影響的人形身體，表現遠比畫面理解困難。HumanCLAW 把問題拆開來量度，直接揭開 VLM 行動判斷的弱點。

畫面睇得明，不等於身體識得郁得啱。HumanCLAW 把 Vision-Language Models（VLMs）放進一個閉環人形行動測試環境，集中量度模型每個瞬間應該做哪個動作，而不是把失敗全數歸咎於低層馬達控制。它屬於評測框架兼基準測試項目，處理的是 VLM 在具身場景中的行動決策能力，到底有沒有足夠「身體感」去完成找路、移動與互動。

呢個設計最值得留意的地方，是它把 action decision-making 與 low-level motor execution 分開。每 0.5 秒，凍結的 VLM 只需要根據第一身視角、指令、技能列表與歷史內容，提出一個 atomic whole-body skill；後面的 verifier、motion generator 同 half-physics simulator 再負責驗證、安全過濾與連續動作執行，令接觸、碰撞、重力等物理後果仍然保留下來，但平衡失誤與動作追蹤誤差會被盡量排除。

HumanCLAW-Bench 則在這個框架之上提供 1,218 個長時程 find–navigate–interact episodes，覆蓋 41 個室內場景。數字相當直接：九個最先進 VLM 全部未能解決這套基準，最佳成績只有 16.8% success rate，反映問題不在單次辨識，而在模型持續追蹤自身位置、判斷是否到達目標，以及理解自己有沒有撞上環境。

把高層決策同低層動作分離，較易睇清 VLM 真正弱點
保留真實物理後果，唔會因為純符號化環境而高估能力
HumanCLAW-Bench 著重長時程、第一身視角、連續互動任務
目前公開資訊顯示程式碼與 benchmark 仍在準備釋出

對研究 embodied AI、Computer-use agents 延伸方向、VLM 評測方法的人來說，呢個項目有參考價值，尤其適合用來檢查模型是否具備 closed-loop spatial action intelligence，而不只是識描述畫面。現階段較大的限制也很清楚：GitHub 儲存庫尚未正式放出 harness、motion generator weights、half-physics simulation environment 與完整評測內容，暫時主要仍是透過 project page、paper 同 leaderboard 理解方法與結果。

項目主頁 · GitHub

Categories: 開源, Agentic, 視覺模型, 多模態模型, Meta, Dataset 數據集, Skill 技能

LTX-2.3 Black-Magic 黑暗補景 LoRA

2026 年 7 月 31 日

夜景片段唔夠光，未必只係拉高亮度就解決到。呢個 LoRA 走生成式 VFX 路線，重點係補出畫面可能存在的內容。

拍到過暗片段時，最直接嘅痛點係一加光就爆雜訊、細節仍然唔見。LTX-2.3-Black-Magic-LoRA 明確建基於 Lightricks/LTX-2.3，以 adapter 形式提供 IC-LoRA，定位唔係忠實還原訊號，而係替黑位內容做具時間連貫性嘅生成式重建，所以更接近 video-to-video 視覺特效模型，而唔係傳統 low-light enhancement。

取捨亦講得好清楚：當原始畫面資訊太少，模型會「推斷」暗處可能有咩，而唔係保證還原真實場景。呢種做法對氣氛鏡頭、夜景、舞台火光、森林或室內昏暗片段有吸引力，因為畫面觀感會比單純提亮更自然；但用喺證據保存、監控取證或要求真實性的工作，就要非常審慎。

項目提供嘅技術資訊相對精簡。已知它使用 diffusers，pipeline tag 係 video-to-video，模型檔案列出 black-magic-ic-lora-450.safetensors，而名稱中標示對應 LTX-2.3 22B。不過頁面截圖內容未見上下文長度、GGUF 格式量化、mmproj、llama.cpp、Ollama、LM Studio、MTP draft speculation、v2 更新紀錄、檔名變更或 chat template 說明，代表呢頁並唔係本地 LLM 部署型模型卡，相關部分無法確認。

基礎模型已明示為 Lightricks/LTX-2.3，關係為 adapter，而唔係完整重訓主模型。
能力核心係 shadow reconstruction，重建暗部觀感，唔等於忠實還原原始訊號。
標籤集中在 ltx-video、low-light、generative-video、vfx、lighting，用途相當聚焦。
已知檔案只有 black-magic-ic-lora-450.safetensors。

同一般曝光修正最大分別，在於接受「畫面不夠資料時需要生成補完」呢個前提。使用者應該將它視為風格化且偏後期製作取向嘅影像模型；想改善觀感、保住影片連續性，它有明確價值，但要用作真實場景還原，頁面本身已經劃清界線。

項目主頁 · 模型

Categories: 開源, 視覺模型, NVIDIA, Video, Image, Python, LTX

Page 5 of 20

« Previous 1 … 3 4 5 6 7 … 20 Next »