多模態模型

LingBot-Vision 補強密集空間感知

2026 年 7 月 8 日

想做深度估計或語意分割，但又唔想每個下游任務都重訓視覺編碼器，LingBot-Vision正是針對這個卡位而來。它把邊界、形狀同語意區域一併學好，重點放在更可靠的空間特徵。

做深度估計、語意分割或者影片物件分割時，最麻煩往往唔係有冇大模型，而是編碼器抽出的特徵夠唔夠貼近物件輪廓。LingBot-Vision屬於模型，更準確地說是自監督預訓練的 Vision Transformer 視覺骨幹，處理的是密集空間感知裏面「語意有了，但邊界唔夠準」這個老問題。

它的取向幾明確：唔係一味追求分類式語意表示，而是用 masked boundary modeling 去逼模型同時保留空間結構與語意訊息。凍結後的 patch tokens 已經可以直接支援輕量 readout，涵蓋 depth estimation、semantic segmentation、video object segmentation，亦作為 LingBot-Depth 2.0 的 visual encoder 初始化，這種設計比起只偏重全局語意的 ViT 骨幹，更適合需要逐像素判斷的工作流。

這個項目較接近「取用預訓練骨幹再接下游任務」的用法，而唔係即裝即用的完整應用。模型已放到 Hugging Face 與 ModelScope，較合理的理解方式，是把不同尺寸的 LingBot-Vision 權重接入現有 dense prediction pipeline，先測 frozen features 的表現，再決定需唔需要額外微調。

重點不在生成內容，而在提高 dense spatial perception 的特徵品質
已公開多個相關模型：ViT-S/16、ViT-Base、ViT-L/16，以至 1.1B 參數的 ViT-g/16
支援的方向包括 depth estimation、semantic segmentation、video object segmentation、depth completion
與同類做法相比，更重視 boundary-faithful features，而唔係只強化高層語意表示

受益最大的會是做機械人視覺、3D 感知、影像理解基建的團隊，尤其當你手上已有 segmentation 或 depth 項目，只差一個更穩定的 encoder。性能方面，README 用「substantial performance gains」形容 LingBot-Depth 2.0 在換上 LingBot-Vision 編碼器後的提升，但公開內容未列出完整基準數字，所以現階段較值得先留意其特徵可遷移性，以及在邊界敏感任務上的潛力。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, Video, VLA, 影像處理, Robotic, 3D

Wan Streamer v0.2 提升實時視頻對話畫質

2026 年 7 月 8 日

想做會講話、會望向場景嘅即時 AI 角色，畫面清晰度同延遲通常要二揀一。Wan Streamer v0.2 嘗試保住低延遲，同時把視訊互動提升到更自然可用。

做即時音視頻互動時，最麻煩往往唔係模型識唔識回應，而係畫面一清晰，延遲就容易升高。Wan Streamer v0.2 屬於原生流式 audio-visual interaction model，針對呢個取捨下手：把輸出由 192×336 提升到 640×368，仍維持 25 fps，同時把模型側延遲控制在約 200 ms。

它延續 v0.1 的做法，將文字、音訊、影片放在同一條 causal timeline，用單一 Transformer 協調，並以 block-causal attention 處理串流互動。重點唔係換掉整個架構，而係在低延遲預算不變下，令畫面由近景視像通話，擴展到更有場景感的中景 agent，連姿勢、視線、手部同附近物件都更易看清。

為咗撐起更高解析度而唔增加可見等待時間，v0.2 把高成本 latent 生成路徑移到 Ulysses-style context-parallel performer；另一邊的 thinker 仍留在單 GPU，負責流式感知、狀態更新、KV 建構同最終解碼。呢種分工代表項目唔係單靠堆硬件換速度，而係重新安排推理拓撲，把重負載部分放到更適合並行處理的位置。

輸出解析度由 192×336 提升到 640×368
幀率維持 25 fps，模型側延遲約 200 ms
支援 scene-grounded mid-shot agents，而唔只係近景通話畫面
保留單一 Transformer 的 native-streaming formulation
以 thinker + performer 分工處理低延遲與高成本生成

呢個項目最適合想做即時數字人、互動客服、教學導覽或直播型 agent 的團隊，因為使用者會直接感受到畫面資訊量增加，但對話節奏未必因此變慢。現有資料主要強調架構升級同延遲維持，更完整畫質穩定性、部署成本與長時間使用表現，仍要配合論文與示範一齊判斷。

項目主頁 · Paper

Categories: 阿里巴巴, Agentic, 多模態模型, Video, Audio

Google Flow Storyboard 教學

2026 年 7 月 7 日

Google Flow Storyboard: Full Video From Script (100% FREE)

Categories: 視覺模型, 多模態模型, 視頻模型, Google, Video, 影像處理, 教學

VLA-Corrector 補救機械人動作失誤

2026 年 7 月 7 日

這是一個為 Vision-Language-Action 政策加入即時修正能力的推理框架。重點不在重訓模型，而是在偏差出現時及時截斷舊動作。

VLA-Corrector 是一個面向 Vision-Language-Action（VLA）政策的輕量推理框架。它用來處理由 action chunking 帶來的開環盲點：環境已經變了，機械人卻仍照住排隊中的舊動作繼續做。

它的做法不是改寫整個 VLA 模型，而是把 backbone 凍結，再外掛一個 latent dynamics corrector。系統先用 Latent-space Vision Monitor（LVM）監察預測中的視覺特徵變化，當觀察到的畫面持續偏離預測，就會截斷過時動作，並透過 Online Gradient Guidance（OGG）重新規劃下一步。

這種取向與每一步都重算一次動作的 closed-loop 方法不同，重點是保留長 action horizon 的效率，同時在偏差累積時才介入。代價是它依賴 latent mismatch 偵測是否可靠，較像在效率與反應速度之間取平衡，而不是追求全程最敏捷控制。

項目定位：屬於機械人控制推理框架，針對 action-chunked VLA policies 的修正與重規劃。
部署理解：現有資訊顯示它應接在既有 VLA policy 後面運作，較像推理期增強模組，不是獨立基礎模型。
適合場景：接觸密集 manipulation、抽屜對位、抓放物件這類容易受干擾的任務較能受益。
核心組件：Latent-space Vision Monitor（LVM）負責偵測偏差，Online Gradient Guidance（OGG）負責觸發後的修正重規劃。

公開資料提到 real-robot demonstrations，例如抽屜對位與把積木放入不同碗中，並展示人在執行途中施加干擾後的恢復能力。不過 README 片段未列出完整數字指標、安裝步驟或支援哪些 VLA backbone，因此較合理的理解是：這是一個研究原型，已清楚展示方法與效果，但整合到不同機械人堆疊前，仍需自行確認相容性與評測流程。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 模型, 視覺模型, 多模態模型, VLA, Robotic

MRPO：醫療多模態推理訓練新路線

2026 年 7 月 3 日

MRPO 不是再追最終答案分數，而是直接修補推理中途出錯的位置。醫療 VQA 表現因此更穩，也更有可遷移性。

MRPO 是一個用於醫療多模態推理的強化學習框架（reinforcement learning framework）。它要解決的問題不是單純答對與否，而是醫療 VQA 過程中推理鏈一早出錯，之後一路連鎖失誤，令最後答案偏離。

現有 post-training 做法多數偏向 outcome-centric，主要看 final answer correctness 或 sequence-level preferences。作者認為這種範式的問題是 sparse credit assignment，模型知道答錯，卻未必知道究竟由哪一步開始失準；MRPO 因而改寫 GRPO-style advantages，結合 answer-level reward 與 step-wise process rewards，並在最終答案錯誤時，對較早出現的 invalid steps 給予更大懲罰。

這個設計的取向很明確：它不是只罰錯答案，而是重新分配學習訊號，優先修正最早發生的推理錯誤，避免 failure cascades 擴大。README 提到，MRPO 在三個 multimodal LLM backbones 上都優於 standard GRPO 與另一個近期 RL baseline；在 Qwen3-VL-8B-Instruct 上，更以只用 13K training samples 超過較大的醫療 MLLMs，例如 HuatuoGPT-Vision-34B，分數高出 2.79。

核心方法：以 answer-level reward 加 step-wise process rewards 重整 GRPO-style advantages
主要差異：重點放在 first failure，而不是只看最後有冇答中
已公布內容：完整 reinforcement learning recipe、code、datasets 同 infrastructure
可重現方式：項目提供環境腳本、資料下載與前處理流程，訓練資料包含 image、problem、solution 欄位
相關模型：Qwen3-VL-8B-Instruct、HuatuoGPT-Vision-34B，以及 README 提及的另外兩個 multimodal LLM backbones

量化結果最值得留意的是推理質素分析。MRPO 將 early-stage reasoning failures 由 64.0% 降到 13.0%，反映它不只是把答案分數推高，而是令中途推理較少一開始就偏離；這對醫療影像問答尤其重要，因為錯誤往往不是出在最後一句，而是前面觀察與判斷已經失焦。

這個項目較適合研究醫療 AI、醫療影像問答、multimodal reasoning post-training 的團隊參考，也適合想比較 RL 訓練配方差異的人閱讀與重現。它現階段更接近研究原型與訓練方法展示，不是即裝即用的臨床產品；重點價值在於，它把「模型哪一步開始諗錯」正式納入訓練訊號，為醫療 MLLMs 提供一條比只看最終答案更細緻的優化方向。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Qwen, OpenAI, DeepSeek, Image, 框架, Medical醫學

TAP：先學動作，再學指令的 VLA 路線

2026 年 7 月 3 日

這是一個針對 Vision-Language-Action 模型訓練瓶頸提出的新框架。它用較少專家示範，換取接近大型資料訓練的操作能力。

TAP(Task-Agnostic-Pretrain) 是一個 Vision-Language-Action（VLA）模型訓練框架，屬於研究原型兼訓練方法。它要處理的核心問題，是 VLA 長期依賴大量 expert demonstrations，導致機械操作能力難以用較低成本擴展。

現有做法多數直接把「how to move」與「what to do」一齊學，通常需要 observation、instruction、action 這類完整示範資料；作者認為這種固定範式混淆了 physical competence 與 semantic alignment 兩個目標，結果是語言標註被過度用喺本來可以自我監督學習的動作能力上。Task-Agnostic Pretraining（TAP）因此改成兩階段：先用無標註互動資料透過 self-supervised Inverse Dynamics 學 transferable motor priors，再用少量 expert demonstrations 做 task-specific alignment。

這種取向同標準 behavior cloning、以大量網路或專家軌跡堆出來的 VLA 路線唔同。TAP 的取捨很明確：它未必追求一次過把語義和動作全學齊，而是先把可遷移的「點樣郁」拆出來，換來更低標註成本，同時提高對背景、視角變化的穩定度；代價是整個方法仍然要靠第二階段示範去把語言指令對齊到具體任務。

項目已經交代了測試方式：這不是即裝即用應用程式，而是要跟住論文設定，載入 HuggingFace 提供的模型，重現兩階段訓練，再用 SIMPLER benchmark 與真實 WidowX-250s 場景驗證。數字上，TAP-20k 在 SIMPLER 的 Avg-All 為 33.32%，高過 Standard BC 的 23.15%；真實環境中只用 200 個 expert demos，面對 background texture shift 仍有 45% success，viewpoint variation 亦有 20%，而部分 baseline 會跌到 0%。

用 self-supervised Inverse Dynamics 先學動作先驗，減少對語言標註依賴
以約 30 小時 autonomous play 加少量 expert demonstrations，對比 1M+ expert trajectories 路線更慳資料
在 SIMPLER benchmark 勝過 Standard BC，接近或超過部分現有 VLA 模型
對 visual distractors、background texture shift、viewpoint variation 的抗干擾能力較強
相關模型包括 RT-1-X、OpenVLA、Nora、Octo，以及 README 提到的 TAP-20k

項目較適合做 Embodied AI、robot learning、VLA 訓練流程研究的團隊參考，尤其係想用學術規模算力驗證新訓練路線的人。它現階段更像一套值得跟進的方法論，而唔係面向一般用戶的完成品工具。

項目主頁 · GitHub · Paper

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, VLA, Robotic, 教學, Clone, Dataset 數據集

AnyGroundBench 點出影片定位模型盲點

2026 年 7 月 3 日

AnyGroundBench不是新模型，而是專門測試影片理解能力的 benchmark。它把專業場景放入同一套規則，直接揭示現有 VLMs 的適應落差。

Repository image for rinost081/AnyGroundBench

AnyGroundBench 是一個影片 grounding benchmark，也是面向專業領域的資料集與評測基準。它主要用來測試 Vision-Language Models（VLMs）在 animal、industry、sports、surgery、public security 幾類場景中，能否把文字描述準確對應到影片中的時間、位置，以及時空同時發生的事件。

現有做法多數停留在 general、daily-life benchmark 的 zero-shot 測試，重點是看模型有沒有通用理解力；作者認為這種範式無法反映專門場景，因為稀有視覺概念、複雜動作關係與領域術語，通常不會在通用資料裡被充分學到。AnyGroundBench 因而把評測重心轉去 domain adaptation，並加入 dedicated training subsets，令測試不再只問模型「有沒有見過」，而是進一步量度它「能不能適應新領域」。

這個項目的差異，在於它把 temporal、spatial、spatio-temporal annotations 用統一方式整理，並混合 newly captured videos 與 existing datasets。資料來源涵蓋 mouse、american_football、Animal-Kingdom、MECCANO、EgoSurgery 等，覆蓋面比單一領域 benchmark 廣，亦更接近研究團隊、產業分析、醫療影像研究與安全監測場景會遇到的資料分佈。

項目提供 Hugging Face dataset、project page：這不是即插即用應用程式，而是供研究與模型比較的 benchmark。部署重點不是介面安裝，而是按 domain 讀取整理後的資料，然後以 STVG、TVG、SVG 三類任務跑推理與評分；指標分別用 vIoU@0.3、tIoU@0.3、sIoU@0.3。

類型屬於 benchmark / 資料集，目的是測量 VLMs 的 specialized-domain video grounding 能力
舊範式以 zero-shot general benchmark 為主，新設計改為檢查 domain adaptation 與 In-Context Learning（ICL）是否真的有效
評測涵蓋 temporal、spatial、spatio-temporal 三層，較容易看出模型究竟是看錯時間、找錯位置，還是兩邊都失準
已評測 15 個 state-of-the-art VLMs，結果指出現有模型在 specialized domains 的 zero-shot 與 ICL 表現都不穩定

建議模型包括 GPT-4o、GPT-5.1、Gemini-2.5-Flash 等 proprietary VLMs；現有結果顯示，加入 2-shot ICL 雖然在部分 domain 有改善，但整體仍未解決 specialized-domain spatio-temporal reasoning 的缺口。對研究 VLM evaluation、video grounding、視覺模型遷移能力的團隊來說，這個項目最有價值的地方，是它把「通用測試看似可用」與「專業場景仍然失手」之間的差距量化出來。

項目主頁 · GitHub · Paper

Categories: 開源, 視覺模型, 多模態模型, 模型訓練, Qwen, NVIDIA, OpenAI, Gemini, Video, 安全, Dataset 數據集

PerceptionRubrics 點出多模態評測盲點

2026 年 7 月 3 日

呢個項目用更貼近人類觀感的方式，重新檢查多模態模型有無看錯重點。它唔係再鬥平均分，而係追查關鍵事實有無答錯。

PerceptionRubrics 是一個多模態評測框架兼資料集，主力檢查 Multimodal Large Language Models 是否真正看清圖片內容，而唔係只係在傳統 benchmark 拿到高分。它要解決的問題很直接：現有 caption 評測常用 holistic semantic matching 或平均分，容易把嚴重錯誤沖淡，但人類閱讀結果時，關鍵事實一錯，整體輸出已經未必可信。

作者把舊有範式拆開重做，改用 atomic auditing，把每張圖分解成可核實的細項，再分成 Must-Right 與 Easy-Wrong 兩條 rubric 流。Must-Right 針對必要事實，Easy-Wrong 針對模型常見的細節遺漏、幻覺或誤判；再配合 gated scoring，只要必要視覺事實出錯，就會被明顯扣分，而唔係被其他小分數平均掩蓋。

資料規模方面，項目提供 1,038 張 information-dense images，同超過 10,000 條 instance-specific rubrics，來源是用 Circular Peer-Review 建立的 Golden Captions，再蒸餾成評測規則。覆蓋範圍包括 natural scenes、OCR documents、GUIs、charts、STEM、logic puzzles 同 creative/cultural images，明顯偏向高資訊密度、容易出現感知失真的場景。

測試方式不算複雜：這個 GitHub 儲存庫主要提供 evaluation code 和 data，較適合研究團隊、模型開發者，或者需要比較多個 MLLMs 表現的人，把模型輸出的 captions 對照 rubric 計分。它不是部署給終端用家的應用程式，而是拿來驗證模型在圖像理解任務到底穩不穩；使用前亦要接受一點，這類更嚴格的評分會令模型成績比傳統 leaderboard 更難看，但診斷價值更高。

核心取向是由 holistic semantic matching 轉向 atomic auditing
Must-Right 與 Easy-Wrong 直接對應關鍵事實與常犯細錯
gated scoring 強調「關鍵錯一項就要反映出來」
資料集中在 GUIs、文件、圖表等高密度視覺任務
適合用來比較 20+ 主流 MLLMs 的感知可靠性，而唔只係比較平均分

項目指出模型經常能辨認零碎元素，卻未能同時滿足多個關鍵視覺約束，尤其在 GUIs、documents 同 structured charts 更明顯。README 與 supporting context 亦提到曾評測 20+ 主流 MLLMs，包括 GPT-5.5；不過這個儲存庫重點仍然是評測框架本身，而唔係推出新模型，所以較值得留意的是它怎樣暴露 perception brittleness，而不是單一排行榜名次。

項目主頁 · GitHub · Paper

Categories: 開源, 清華大學, 字節跳動, 多模態模型, Qwen, OpenAI, DeepSeek, Gemini, Dataset 數據集

ABot-M0 用 600 萬軌跡訓練機械人操作

2026 年 7 月 3 日

ABot-M0 是面向機械人操作的 VLA foundation model，結合大型資料與新動作學習方法。它重點解決機械人資料分散、控制不穩定和跨任務泛化問題。

這是一個面向機械人操作的 Vision-Language-Action（VLA）foundation model，名為 ABot-M0。它主要用來讓機械人根據視覺與指令完成操作任務，並處理資料分散、動作表示不一致，以及控制模型訓練效率偏低的問題。

ABot-M0 的基礎來自 UniACT-dataset。這個資料集整合 6 個公開資料來源，包含 OXE、OXE-AugE 與 AgiBot-Beta，合共超過 600 萬條 trajectories、9,500 小時以上互動資料，並覆蓋 20 多種機械人形態；資料亦經過清理、標準化與統一，將動作轉成 end-effector 座標系中的 delta actions，旋轉則採用較穩定的 rotation vector 表示。

它和常見 diffusion 式控制方法的主要差異，在於採用 Action Manifold Learning（AML）。一般 diffusion model 多數學習預測 noise，ABot-M0 則直接做 Direct Action Prediction（a-prediction），輸出乾淨的動作序列；這種做法把學習重點由「擬合噪聲」轉成「投影到可行動作流形」，理論上更有效率，也更有助提升解碼速度與 policy stability。

另一個實用方向是模組化 3D perception。ABot-M0 支援 plug-and-play 模組去加強 3D 空間理解，對涉及精準位置、姿態與複雜操作步驟的任務會更有幫助；同時，它亦用「pad-to-dual」策略統一 single-arm 與 dual-arm 任務，令同一模型可覆蓋更廣的操作場景。

整合超過 600 萬條 trajectories，資料規模相當大
以 UniACT-dataset 統一不同來源與不同機械人表示方式
採用 Action Manifold Learning（AML），直接預測動作而非噪聲
支援 plug-and-play 3D perception 模組，提升複雜任務精度
適合關注 robotic manipulation、VLA 與通用機械人控制的讀者

現有資料重點放在方法設計與資料規模，具體基準分數與完整比較結果在這份內容中未完全展開。即使如此，ABot-M0 已清楚展示一條很具代表性的路線：先用大規模統一資料打底，再用更貼近可行動作結構的學習方式，提升機械人操作模型的泛化與穩定性。

項目主頁

Categories: 開源, 模型, 視覺模型, 多模態模型, VLA, Robotic, 3D, Dataset 數據集

Qwen-RobotManip 如何把機械臂訓練推向通用化

2026 年 6 月 30 日

這是一個面向機械人操作的 Vision-Language-Action 基礎模型。它嘗試用統一對齊與大規模資料訓練，提升跨場景與跨機械平台泛化能力。

這是一個機械人操作模型，名為 Qwen-RobotManip，屬於建基於 Qwen-VL 的 Vision-Language-Action foundation model。它主要處理機械臂操作資料分散、昂貴而且難以統一訓練的問題，目標是讓模型在未見過的任務、場景與機械平台上仍能保持可用表現。

它的核心做法，是把操作學習中的表徵、動作與行為三個層面放進同一套 alignment framework。研究團隊同時建立 human-to-robot synthesis pipeline，將第一身手部示範影片轉成 15 個平台可用的 robot trajectories，再配合多來源資料整理流程，整合真實機械人、合成資料與人類示範影片，形成約 38,100 小時 pretraining corpus。

和常見只集中單一機械平台、單一資料來源，或偏重分佈內表現的做法相比，Qwen-RobotManip 更著重 genuine generalization。評估上亦沒有停留在一般 benchmark，而是加入多個 OOD 設定，包括 RoboCasa365、LIBERO-Plus、EBench、RoboTwin-Clean2Rand、RoboTwin-IF 與 RoboTwin-XE，用來檢查指令跟隨、擾動穩健性、錯誤恢復，以及 cross-embodiment knowledge transfer。

重點可整理為：
– 建基於 Qwen-VL，面向 robotic manipulation 的通用基礎模型
– 以 unified alignment framework 整合 heterogeneous manipulation data
– 使用 human-to-robot synthesis pipeline，覆蓋 15 個機械平台
– 只依靠 open-source robotic manipulation datasets 與 human demonstration videos，未提及私有資料收集
– 在多個 OOD 評測中優於過往 state-of-the-art models，包括 π0.5，並在 RoboChallenge 排名第一

這個項目較適合關注 robotic manipulation、VLA、跨機械平台遷移與機械人資料擴展流程的人閱讀。現有資料顯示，它不單是再加大訓練規模，而是先解決資料對齊問題，令擴充規模之後的訓練信號不會互相衝突，這也是它能在真實機械平台驗證泛化能力的關鍵。

項目主頁 · Paper

Categories: 開源, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, VLA, Robotic, 框架

Page 22 of 29

« Previous 1 … 20 21 22 23 24 … 29 Next »