開源 – Page 15 – InferNews

MIRA 把《Rocket League》變成可互動世界模型

2026 年 7 月 8 日

打機畫面一路變化，背後又有四名玩家同時輸入動作，呢類情境一向好難靠 world model 穩定重建。MIRA 屬於開源框架兼研究型模型項目，處理的是多人互動環境中，如何按四條 action streams 即時生成《Rocket League》對戰畫面，令 2v2 比賽可以直接在模型內運行。

現有做法多數集中在 single-player world models，其他角色通常只被當成環境一部分；作者明確反對呢種 fixed framing，因為多人場景入面，畫面變化要分得清楚邊個玩家造成。MIRA 改用 multiplayer conditioning，並配合 Representation Autoencoders 同 latent diffusion，目標唔只係畫面似真，而係令物理互動、攻守切換同多角色行為保持連貫。

個項目的取向相當鮮明：它唔係先追求最輕量部署，而係用 5B parameters 模型換取即時互動與長時間 rollout 穩定性。資料來自 10,000 小時 gameplay，README 亦公開了 RocketScienceDataset，當中每個 sample 都包含四個同步視角、逐格 keyboard action 同 game state，對做世界模型、VLA 或互動模擬研究的團隊都很有參考價值。

屬於開源框架加世界模型研究項目，重點是部署、資料使用與評估多人互動生成
與單人 world model 最大分別，在於同時按四名玩家動作生成畫面，而唔係把其他玩家當背景擾動
官方指出模型可在單張 NVIDIA B200 GPU 上以 20 FPS 生成完整 2v2 對戰
相關資料集 rocket-science 提供同步視角、動作與 game state，方便重做測試與分析
README 提供 pixi 環境安裝與 test suite 入口，但更完整部署細節仍要靠原始程式與技術報告配合理解

就公開結果看，MIRA 最有說服力的地方唔係單一 benchmark 數字，而係它把「多人動作歸因」變成核心問題，再補上對物理理解的 targeted evaluations。官方亦表示，雖然模型只用短片段訓練，distributional quality 可維持到五分鐘量測範圍，實驗中甚至能持續更長時間；不過硬件門檻高，定位更接近前沿研究平台，而唔係一般人可隨手在本地執行的輕量工具。

項目主頁 · GitHub · Paper

Categories: 開源, Gemini, NVIDIA, 世界模型, VLA, Dataset 數據集

InternVLA-A1.5：機械人策略一體化新路線

2026 年 7 月 8 日

機械人操作最麻煩的地方，往往不是單純辨認畫面，而是要同時理解指令、估計接下來會發生什麼，再穩定地做出連續動作。InternVLA-A1.5屬於開源框架兼機械人政策模型，焦點放在把 vision-language understanding、latent visual foresight 與 action generation 合併，減少多模組串接帶來的延遲與協調成本。

它的取向很清楚：不少做法會把感知、未來預測、控制分開訓練或分開部署，InternVLA-A1.5則把 foresight 放進同一條政策路徑，在訓練期間借助凍結的 WAN2.2-5B video generation model 提供未來動態監督，但推理時丟棄 video branch，只保留動作預測。這個設計的好處是保住「先想一步」的能力，同時避免部署到真實機械人時推理太重。

模型骨幹建基於 Qwen3.5-2B VLM，透過 shared full-attention layers 接上一個輕量 unified action expert，並保留 modality-specific Gated DeltaNet processing；動作輸出則用 flow matching 預測 continuous action chunks。README 亦提到它可用於部署、數據收集和評估真實機器人上訓練有素的操作策略，但公開資訊較集中在模型與 benchmark，具體安裝流程與真機部署步驟未見完整展開。

舊路線常把理解、預測、控制拆開，這個項目改為單一 policy 統一處理
訓練用 WAN2.2-5B 學未來動態，推理時移除相關分支，換取較實際延遲
已在 LeRobot V2.1 dataset 微調，亦結合大規模機械人與多模態資料
基準成績突出：RoboTwin 2.0 為 93.2，LIBERO 為 98.9，LIBERO-Plus 為 84.8
可取得的相關模型包括 InternVLA-A1.5-base、InternVLA-A1.5-RoboTwin、InternVLA-A1.5-Libero

從定位來看，它較適合想把研究原型推近真機驗證的團隊，尤其是同時重視語言理解、視覺泛化與操作成功率的人。現階段最值得留意的，不只是分數高，而是它示範了一種更接近完整機械人工作流的整合方式；限制則是公開說明仍偏研究導向，真正落地前仍需自行補足部署細節與硬件整合資訊。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Video, 多模態模型, 視覺模型, 視頻模型, Robotic, Dataset 數據集, 上海人工智慧實驗室, VLA

PixWorld 把 3D 重建與生成收在同一路線

2026 年 7 月 8 日

做 3D 場景時，很多方法會把重建同生成分開處理，PixWorld 就反其道而行，把兩者收進同一個開源框架式研究項目：同一個 end-to-end pixel-space diffusion model，同一趟 forward pass，同時兼顧 reconstruction 同 generation。對想比較 text→3D、image→3D 同多視角重建流程的人來說，這種設計最大意義在於少一層轉換，也少一套彼此割裂的模型心智負擔。

它批評的舊範式很明確：不少做法先進 latent space，要經過 VAE/RAE，再由 3D decoder 還原成 3D 表示；PixWorld 則直接在 rendered multi-view images 上施加 pixel-space flow-matching loss，令優化目標更貼近 3D scene fidelity，而唔係先對準中介 latent target。作者再加上一個 geometry perception loss，借助 frozen 3D foundation model 的 π³ / VGGT feature space，補回純 2D photometric loss 同 perceptual loss 對 3D 結構監督不足的問題。

它會把 posed multi-view inputs 分成 clean views 同 noisy views：前者走 reconstruction，後者走 generation，並由 two-stream diffusion transformer 處理，最後解碼成 pixel-aligned 3D Gaussian representation。這個取向的好處，是把 3D reconstruction、text→3D 同 image→3D 放到同一個表示與訓練框架；代價則是項目目前仍偏研究原型，README 已提到 cleaned RealEstate10K、DL3DV、ACID datasets 以及 PixWorld-480P-4steps distilled weights 與 inference code 尚未完整釋出。

類型定位：屬於模型導向的開源項目，處理 3D scene generation 與 reconstruction 分裂成兩套流程的問題。
主要差異：直接在 pixel space 訓練，避開 VAE/RAE 中介表示，並加入 geometry-aware 監督。
已知表現：distilled 4-step 版本每個 scene 約 0.6 秒，官方稱相對 diffusion-based world generators 峰值可達約 1000× 加速。
重建指標：提供 71.04 WorldScore average，以及 RealEstate10K 4-view reconstruction 的 26.21 dB PSNR。
相關模型與模組：two-stream diffusion transformer、pixel-aligned 3D Gaussian、frozen 3D foundation model π³ / VGGT。

現階段較適合研究 3D world generation、3D Gaussian Splatting、multi-view reconstruction 的團隊先用來判斷方法價值，而唔係即刻當成完整生產工具部署。可惜目前公開資訊仍以論文、示範頁與方法介紹為主，未見完整安裝、評測腳本與權重發布，因此較合理的理解方式，是把 PixWorld 視為一條很有方向感的新路線：它不只是追求更快，還試圖重新定義 3D 生成與重建應該共用同一套訓練目標。

項目主頁 · GitHub · Paper

Categories: 開源, Image, 3D, 模型, 模型訓練

LLM-as-a-Verifier 點樣重寫代理評分

2026 年 7 月 8 日

代理系統最常見的瓶頸，唔係生成唔到答案，而係你難以知道它每一步到底做得幾好。LLM-as-a-Verifier屬於開源框架，針對的正是呢個問題：它唔只為最終結果打一次分，而係用更細緻的方式為候選答案、行動步驟同任務準則提供可量化回饋。

現有做法不少仍然依賴單次判斷、粗粒度分數，或者只看最終成敗；作者認為呢種固定範式會忽略不確定性，亦難以支援 progress tracking 同 reinforcement learning。LLM-as-a-Verifier改用三個核心設計重組驗證流程：score granularity、repeated evaluation 同 criteria decomposition，並且直接對 LLM score tokens 的完整 logprob distribution 取期望值，而唔係只取單一輸出。

呢個取向令它同一般 judge-style 評分器有明顯分野。它重點唔在於產生一句評語，而係產生可反覆比較、可分解、可累積的 fine-grained feedback，所以可以用於 Best-of-N selection、pairwise compare，同埋逐步追蹤代理行為變化。README 亦展示了 Python 套件 llm-verifier 的基本用法；安裝方式有提供，但更完整的部署細節主要放在官方文件，而某些流程亦需要 VERTEX_API_KEY 或可回傳 logprobs 的 OpenAI-compatible server。

支援任何 modality 的驗證框架，定位比單一 benchmark judge 更廣
方法核心是細粒度評分、重複驗證、按 criteria 拆解準則
可直接用於 selection、compare、track，同時連到 reinforcement learning
官方列出 Terminal-Bench V2、SWE-Bench Verified、MedAgentBench、RoboRewardBench 等結果
相關模型與服務包括 Qwen/Qwen3.5-9B、Qwen3-8B、Gemini 2.5 Pro，以及 OpenAI-compatible server

表現上，項目聲稱在多個 agentic benchmarks 達到 state-of-the-art，包括 Terminal-Bench V2 86.5%、SWE-Bench Verified 78.2%、RoboRewardBench 87.4%、MedAgentBench 73.3%，亦提到在 LIBERO 配合 SAC 微調 pi 0 policy 時，sample efficiency 約高 1.8 倍。呢類數字反映它較適合研究團隊、代理平台開發者，同埋想將評估訊號接入訓練迴路的人；單純只想要一個最終分數的團隊，未必需要用到它整套驗證尺度。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Gemini, NVIDIA, OpenAI, Agentic, Medical醫學, Python, Anthropic, Dataset 數據集

EVA-Client 補上真實機械人部署斷層

2026 年 7 月 8 日

研究團隊把模型訓練做得愈來愈完整，但一到真實機械人落地，常見情況仍然是靠零散 script、臨時橋接同各自為政嘅除錯流程撐住。EVA-Client屬於開源框架，集中處理已訓練操作策略喺真機部署、數據收集與評估之間嘅斷層，重點唔係再訓練一個新模型，而係令整個閉環更可重用。

它同一般只覆蓋單一步驟嘅工具唔同，將 transport、policy backend 同 inference strategy 放入同一套流程，支援 ROS1、ROS2、ZeroMQ 同 offline dataset，也能接 OpenPI、OpenPI-RTC、StarVLA、GR00T、mock、replay。作者明顯想修正「訓練框架成熟，但真機端仍然拼裝化」呢種既有範式，所以瀏覽器內直接整合 debug、部署、錄製、重播同比較，定位相當鮮明。

使用路徑方面，現有資料已交代可以用 .py config 串接機械人通訊、策略後端與推理策略，再透過介面喺 DEBUG、COLLECT、RESULT 分頁切換；不過完整安裝細節仍然要配合官方文件先夠穩陣。資料收集亦唔止錄影，還會保存 camera video、3D URDF scene、state charts、milestone scores，同步回放亦保留 QC PASS/FAIL 與每幀品質旗標，對做 dataset 整理同失敗分析幫助幾大。

把部署、收數同評測放入同一個 browser workflow，減少真機迭代時來回切換工具
支援多種 transport、backend 同 inference strategy，取向偏向兼容不同機械人與策略棧
內建 live latency compensation、async strategy 同 replay，重點放喺真機穩定度而唔只係跑通
Teleop demos 與 model rollouts 共用同一套 on-disk layout，方便後續整理成 LeRobot v2.1 episodes

性能數字方面，現有資訊未見統一 benchmark 分數，較多是能力與流程層面的描述，所以暫時唔適合把它理解成用單一指標決勝負嘅項目。較受惠嘅會是做 VLA、VAM、WAM 或機械人操作研究嘅團隊，尤其要頻繁比較 checkpoint、遠端連 policy server、或者同時管理多款真機平台嘅場景；已列出可配合嘅相關模型與系統包括 OpenPI、OpenPI-RTC、StarVLA、GR00T，以及 LeRobot、VLA Foundry 呢類訓練側框架。

項目主頁 · GitHub · Paper

Categories: 開源, NVIDIA, DeepSeek, Video, 3D, 多模態模型, Dataset 數據集, VLA

speaker_disentangled_hubert：用 HuBERT 重新做好音節切分

2026 年 7 月 8 日

Repository image for ryota-komatsu/speaker_disentangled_hubert

做語音 tokenization，最麻煩的情況往往不是音節邊界找不到，而是模型把講者特徵一併學進去，最後分出來的 token 混雜了聲線而不是語言內容。speaker_disentangled_hubert 屬於語音模型項目，核心工作是把原始語音整理成較純淨的 syllabic token，讓後續的 speech language model 更容易學到句法與語意。

現有做法多數沿用 pretrained HuBERT 的 teacher-student distillation，再用 utterance-level cross-entropy 目標去組織 frame 表徵；作者認為這種 fixed 範式會令學生模型偏向預測 speaker identity。這個項目改用 Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization，在 fixed-length chunks 內，將加入 speaker 擾動的 student representations 拉回乾淨的 teacher targets，重點不是再加更多標籤，而是直接削弱講者資訊對音節切分的干擾。

從結果來看，它的取向相當明確：寧願把訓練設計做得更細，也要換取更乾淨的 syllabic segments。論文指出，這套方法在 syllable boundary detection 與 syllabic segment clustering 都做到 state-of-the-art；再往下接 speech language model，基於這批 syllabic tokens 的模型，對比 phone-level SpiRit-LM，在 syntactic and semantic understanding 取得 7% relative improvement。對研究語音表示學習、低資源語音建模，或者想把離散語音單位接到語言模型的人，這個方向幾有參考價值。

針對 HuBERT teacher-student distillation 容易混入 speaker identity 的問題
用 chunk-wise regression 取代單純 utterance-level cross-entropy 訓練邏輯
任務焦點包括 syllable boundary detection 與 syllabic segment clustering
相關脈絡涵蓋 pretrained HuBERT、speech language model，以及 phone-level SpiRit-LM

測試與理解方式亦算直接：項目提供 Paper、Code、Model 與網頁上的 resynthesis samples、syllable segmentation 示例，先聽重建語音，再看音節分段，已經可以判斷 tokenization 有沒有保住語言結構。現有資訊未完整列出部署流程與安裝細節，所以較適合作為研究型項目閱讀、重現與比較；使用時也要留意，它的驗證主要建基於 LibriSpeech，跨語者以外的語種、錄音條件與資料分佈，仍然值得再做額外確認。

項目主頁 · GitHub · Paper

Categories: 開源, 語音, Dataset 數據集

LingBot-Vision 補強密集空間感知

2026 年 7 月 8 日

做深度估計、語意分割或者影片物件分割時，最麻煩往往唔係有冇大模型，而是編碼器抽出的特徵夠唔夠貼近物件輪廓。LingBot-Vision屬於模型，更準確地說是自監督預訓練的 Vision Transformer 視覺骨幹，處理的是密集空間感知裏面「語意有了，但邊界唔夠準」這個老問題。

它的取向幾明確：唔係一味追求分類式語意表示，而是用 masked boundary modeling 去逼模型同時保留空間結構與語意訊息。凍結後的 patch tokens 已經可以直接支援輕量 readout，涵蓋 depth estimation、semantic segmentation、video object segmentation，亦作為 LingBot-Depth 2.0 的 visual encoder 初始化，這種設計比起只偏重全局語意的 ViT 骨幹，更適合需要逐像素判斷的工作流。

這個項目較接近「取用預訓練骨幹再接下游任務」的用法，而唔係即裝即用的完整應用。模型已放到 Hugging Face 與 ModelScope，較合理的理解方式，是把不同尺寸的 LingBot-Vision 權重接入現有 dense prediction pipeline，先測 frozen features 的表現，再決定需唔需要額外微調。

重點不在生成內容，而在提高 dense spatial perception 的特徵品質
已公開多個相關模型：ViT-S/16、ViT-Base、ViT-L/16，以至 1.1B 參數的 ViT-g/16
支援的方向包括 depth estimation、semantic segmentation、video object segmentation、depth completion
與同類做法相比，更重視 boundary-faithful features，而唔係只強化高層語意表示

受益最大的會是做機械人視覺、3D 感知、影像理解基建的團隊，尤其當你手上已有 segmentation 或 depth 項目，只差一個更穩定的 encoder。性能方面，README 用「substantial performance gains」形容 LingBot-Depth 2.0 在換上 LingBot-Vision 編碼器後的提升，但公開內容未列出完整基準數字，所以現階段較值得先留意其特徵可遷移性，以及在邊界敏感任務上的潛力。

項目主頁 · GitHub · 模型

Categories: 開源, Video, 3D, 多模態模型, 影像處理, 模型, Robotic, VLA

GigaWorld-1：機械人世界模型開源路線圖

2026 年 7 月 8 日

GigaWorld-1 是一個面向 robot world models 的開源工具鏈與研究原型。它主要用來訓練、推理、處理資料，並把世界模型當成 robot policy evaluation 的替代評估器，減少每次都要落真機做 rollout 的成本。

現有做法通常依賴真實機械人測試，或者用偏重短片畫質的 video world models 觀察結果；作者認為這種範式未必足夠反映 policy 是否可靠，因為短期視覺真實感不等於長時序、動作一致的 rollout 準確度。這個項目連同 WMBench 一齊提出較清晰的評測框架，重點放在 long-horizon、action-faithful rollout consistency，而不是只看畫面似唔似真。

和一般只放模型權重的 GitHub 項目相比，GigaWorld-1 較完整地公開了訓練、inference、資料處理、checkpoint conversion 及 LoRA merge 流程，取向明顯偏向可重現與可擴充。基礎模型亦不是由零開始孤立建立，而是結合 Wan、Diffusers、Helios、Genesis 等元件，反映它更像一條可調整的工作流程，而不只是單一模型展示。

重點不在短期畫面好看，而在 rollout 是否長時間維持動作一致性
提供 training、inference、data processing、checkpoint conversion、LoRA merge 等完整流程
相關模型與元件包括 Wan、Diffusers、Helios、Genesis
配套有 ToyDataset、CVPR 2026 WorldModel Track Dataset 與 WMBench benchmark

部署思路相對明確：環境以 Python 3.10+、PyTorch 2.x、Linux 為主，再按 README 準備資料、模型與推理流程；需要下載模型或資料時，亦已有獨立工具說明。硬件需求未算輕量，但首頁提到 1.3B / 5B 變體與低於 24GB 記憶體的生成設定，代表它並非只面向超大規模研究機構。

較適合受益的群體，是做 embodied AI、robotics、world model research 的團隊，以及想建立 policy evaluator 管線的人。現有資訊顯示它背後有 12,000+ 小時訓練影片、324,000+ 模擬 rollout 配對真機執行，以及 7 類 video world models、4 種 action representations 的比較；這些數字未必等於任何場景都會即插即用，但足以說明它的價值在於提供一套有 benchmark 支撐的評估方法，而不只是再多一個生成模型。

項目主頁 · GitHub · Paper

Categories: 開源, Video, Linux, Python, 模型, 模型訓練, Robotic, 世界模型, VLA, Dataset 數據集, 框架

微軟 ResearchStudio：AI 助你研究你的方案

2026 年 7 月 7 日

ResearchStudio 的核心任務是把大型語言模型（Large Language Model, LLM）變成研究流程中的協作角色，從構思、文獻搜尋到成稿後的展示素材皆涵蓋在內。它由兩個互補的子項目組成：ResearchStudio-Idea 處理「論文前」階段，協助將尚未成形的研究方向轉化為可辯護的構想；ResearchStudio-Reel 則處理「論文後」階段，把已完成的 PDF 轉成海報、旁白影片、雙語部落格文章及互動式摘要頁面。

傳統的 LLM 輔助構思多半只停留在「生成候選題目」這一層，研究人員仍須自行補上文獻脈絡、辨識瓶頸、區隔既有方案並評估風險。ResearchStudio-Idea 對此提出的修正做法，是從 2021 至 2025 年間 ICLR、ICML、NeurIPS 共 1,947 篇論文中歸納出 31 個反覆出現的構思子模式，再收斂成 15 個可重用的構思模式（ideation patterns），每張模式卡都附帶研究脈絡、瓶頸類型、差異化策略、支援先例與常見失敗模式。這樣的設計讓 IdeaSpark 能以「證據整備度評估 → 脈絡重建 → 瓶頸辨識 → 模式選擇 → 候選生成 → 衝突檢索 → 結果導向稽核」七個步驟，把抽象模式轉化為可追溯的研究提案。

套件內另外兩個獨立技能 Paper-Search 與 Scoop-Check 分別負責多源文獻搜尋與新穎性碰撞檢查，讓構思過程中對「現有方法如何做」與「作者為何不同」這類對比能即時取得佐證。和坊間通用寫作助手相比，ResearchStudio 的差異在於把會議投稿結果（包含口頭報告、高引用子集與被拒稿件）當作訓練素材，使生成的構想能對照真實的審稿標準。技能以 Claude Code 與 Codex 為執行環境，透過 install.sh 即可建立符號連結並完成環境配置。

適合的對象包括需要快速整理文獻的研究生、準備投稿 ML 會議的團隊，以及希望把既有論文包裝成海報或短片的學術機構。對會議投稿文化熟悉的讀者會更容易判斷模式卡的適用邊界；而非 ML 領域的使用者則可借鏡其「以證據為基礎的構思流程」這套方法論。兩篇 arXiv 論文（Idea: 2607.04439、Reel: 2607.04438）分別詳述技術細節與評估方式，值得在採用前先行閱讀。

重點摘要：

全流程覆蓋：從模糊研究方向到論文發表後素材生成，由 Idea 與 Reel 兩個子項目分工處理。
基於會議資料的模式庫：以 1,947 篇 ICLR、ICML、NeurIPS 論文歸納出 15 個可重用的構思模式。
可追溯的構思步驟：七階段工作流程將抽象模式轉為具備文獻佐證的研究提案。
獨立技能模組化：Paper-Search 與 Scoop-Check 可單獨用於文獻搜尋與新穎性檢查。
依賴 Claude Code 與 Codex：需在這兩種 AI 編碼環境中執行，門檻偏向熟悉 LLM 工具鏈的研究者。

項目主頁 · GitHub · Paper

Categories: 開源, 微軟, Agentic, Dataset 數據集, 框架

open-design：本地優先的開源設計工具

2026 年 7 月 7 日

open-design 是一款本地優先（local-first）的開源桌面應用程式，主打讓 AI 編碼代理（coding agent）直接充當設計引擎，協助用戶快速產出原型設計（prototypes）、登陸頁面（landing pages）、儀表板（dashboards）、投影片、圖片甚至影片等各種多媒體素材，並輸出真實可用的檔案。這個項目的定位是 Claude Design 的開源替代方案，強調在桌面環境中本地執行，無需依賴雲端服務即可完成設計工作。

與傳統的設計工具相比，open-design 的最大差異在於將 AI 編碼代理作為核心驅動力，用戶可以透過自然語言指令讓代理直接生成設計內容，省去手動拖拽元件的繁瑣流程。從 GitHub 上的數據可見，該項目已獲得超過 7.5 萬顆星及 8 千多次 fork，社群關注度相當高，顯示開源社群對本地化 AI 設計工具的強烈需求。

這個項目最適合需要快速產出網頁原型或行銷素材的開發者、設計師及內容創作者。對於重視資料隱私、希望在本地環境完成設計工作的人來說，local-first 的架構尤為吸引。開發者亦可將其整合到現有的編碼工作流中，讓 AI 代理同時負責程式碼與設計兩個層面。

以下是這個項目的重點摘要：

屬於本地優先的開源桌面應用，定位為 Claude Design 的替代方案
核心功能是讓 AI 編碼代理生成設計稿、頁面、儀表板及多媒體內容
強調本地執行，無需依賴雲端服務，保障資料私隱
適用於開發者、設計師及內容創作者快速產出原型與行銷素材
社群關注度高，GitHub 上已累積超過 7.5 萬顆星

由於該項目仍處於活躍開發階段，功能成熟度與跨平台支援等細節尚未完全明朗，建議有興趣的使用者持續關注其更新進度。

項目主頁

以下是該網頁主要內容（麻省理工學院電子工程與計算機科學系 MIT EECS 的訪談文章）的繁體中文翻譯：

(more…)

Categories: 開源, Agentic, MCP, Vibe Coding, 安全, 編程, Skill 技能

Page 15 of 67

« Previous 1 … 13 14 15 16 17 … 67 Next »