Dataset 數據集

PaperPilot：把文獻搜尋變成可修改流程

2026 年 7 月 8 日

找相關研究唔一定只靠一條關鍵字。PaperPilot把文獻搜尋拆成可檢查、可改寫的流程，令多輪互動真係會改變搜尋策略。

做研究時，最麻煩往往唔係「搵唔到論文」，而係第一輪結果未必貼近你真正想追嘅方向。PaperPilot屬於開源框架，同時亦帶有已訓練代理模型，用 workflow induction 處理多輪學術文獻搜尋：它會圍繞 anchor paper 同查詢，先建立一個 typed DAG，再用澄清問題同後續回應去改動搜尋流程本身，而唔係只係喺原句後面再加條件。

呢個定位同一般固定 pipeline，或者只靠語言模型隱式推理嘅搜尋代理，好唔一樣。作者認為舊範式嘅問題，在於搜尋策略難以控制、難以檢查，亦唔容易根據人嘅偏好逐步修正；PaperPilot就把 keyword search、citation expansion、filtering、scoring、reranking、evidence extraction 組成可執行流程，每一步改動都可以保留，令結果更可追溯。

公開資料已經提供 live demo，亦有 FastAPI 後端、Streamlit 介面、evaluation scripts 同 tests，可理解成一套可部署、可觀察、可重跑嘅研究工具鏈。不過 initial release 未包含 web/ React front-end，同 training_infra/ 亦未完整開放；README 片段亦未見完整安裝流程，現階段較適合先用 demo、閱讀論文，再按儲存庫結構自行部署 backend 與本地介面。

多輪互動唔止改 query，仲會直接編輯 typed DAG workflow
約 50 個 typed operators，覆蓋檢索、集合操作、排序同證據抽取
每次執行會保存流程、逐輪修改、時間與成本，方便重現結果
PaperPilot-9B 以 workflow imitation 加 preference optimization 訓練而成
指標上較 base Qwen3.5-9B toolset agent 提升 Hit@5、MRR、nDCG@10，並把 workflow execution errors 由 9.5% 降到 0%

相關模型方面，核心比較對象係 base Qwen3.5-9B toolset agent，而實作後端就標明支援 OpenAI、Together、Anthropic 同 OpenAI-compatible endpoint。呢種設計對研究員、需要做系統性文獻整理嘅學生，或者想把檢索流程納入團隊知識管理嘅人都幾有價值；取捨在於它追求可控與可審核，流程會比單次對話搜尋更重，亦更依賴使用者願意逐輪提供清晰反饋。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Agentic, API, Dataset 數據集

SaMer 壓縮視覺檢索成本

2026 年 7 月 8 日

想保留圖像檢索的細節判斷，又不想被海量 visual tokens 拖慢，SaMer正正處理這個矛盾。它用較聰明的合併方式壓縮 token，同時盡量守住檢索準確度。

圖文檢索做得細緻，往往要保留大量 image-side tokens，但儲存與比對成本也會跟住升。SaMer屬於開源框架／研究原型，針對 ColPali-style multi-vector retrievers 的 token 壓縮問題而來，重點不是單純刪減，而是盡量保住之後查詢仍可能用得着的 object-level evidence。

現有壓縮做法多數偏向 pruning、pooling，或者只按 feature 合併，代價是物件與區域證據容易被混在一起，令 MaxSim late interaction 原本可選取的細節訊號流失。SaMer的取向明確：保留原本 MaxSim retrieval objective，不改 late-interaction 介面，只在 image side 做 object-aware merge，修正「壓縮後證據變鈍」這個問題。

它的方法有三個關鍵步驟：先用 feature similarity 加 spatial proximity 做 Feature-Spatial Merging，再在訓練階段利用 Flickr30k-Entities 的框標註加入 Object-Aware Assignment，避免不同實例被錯誤合併，最後採用 Projection-Only Adaptation，只訓練 shared projection layer，vision encoder 同 language backbone 都維持 frozen。到 inference 時就不再依賴 bbox，這點令部署比一些需要 detector 或額外 grounding loss 的做法簡潔。

以 ColPali-style multi-vector retrieval 為核心場景，重點是減 storage 與 scoring 成本
K=64 時可移除超過 93% image-side tokens，ColPali 儲存量下降 16.09×
在 Flickr30K 與 MSCOCO，README 與項目頁指出 R@1 有提升
相關模型權重包括 vidore/colpali-v1.3-hf，另有 Hugging Face 的 SaMer models 集合

測試與重現路線算清楚：資料要先準備 Flickr30k-Entities，之後訓練 adapter、建立 compressed retrieval cache，再做 inference。原始資料列出 Python 3.10+、CUDA-enabled PyTorch，以及單 GPU／多 GPU 腳本流程，但 evaluation 章節在提供內容中未完整展開，所以更細的 benchmark 設定與完整數字仍要以論文與項目頁為準。

這類做法最適合需要多向量圖文檢索、又在意記憶體與延遲的團隊，例如做 large-scale image retrieval、phrase-level grounding，或者要把 ColPali 類系統壓到較可部署規模的研究與工程項目。它的取捨亦很清晰：不是追求最少 token，而是用較低成本保留日後查詢仍有機會選中的視覺證據。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, NVIDIA, Image, Python, 多模態模型, 視覺模型, Dataset 數據集

EdgeBench 用 134 個長任務量度智能體成長

2026 年 7 月 8 日

模型識幾多，未必等於學得幾快。EdgeBench想回答的，是智能體在真實環境中隨時間互動後，能力會怎樣上升。

跑一次就評分的基準，通常只能看出模型本身已經識乜；EdgeBench關注的是另一件事：當智能體放進接近真實工作的環境，連續做十幾個鐘、接收回饋再反覆修正，它究竟會唔會愈做愈好。這是一個研究 environment learning 的 benchmark，核心問題不是單次答對率，而是學習曲線能否反映長時間互動後的能力變化。

它把 134 個任務分成六大類，包括科學與機器學習、系統與軟件工程、組合最佳化、知識工作、形式數學同遊戲，而且每個任務最少運行 12 小時，部分延伸到 72 小時以上。這個設計接近真實工作流，因為智能體需要面對 build logs、test failures、objective values、simulator traces、實驗誤差等回饋，而唔係只靠一次生成結果交卷。

同常見 benchmark 相比，EdgeBench的差異在於它量度「隨經驗累積而改善」的能力。研究者指出，多個模型在 134 個任務上的整體表現，都可用 log-sigmoid function 擬合，R²約為 0.997 至 0.999，表示 environment interaction time 與表現提升之間有相當穩定的關係。這令它不只是一張排行榜，也是一個用來觀察 scaling laws of environment learning 的分析工具。

覆蓋 134 個真實世界長時任務，重點放在學習速度與上限
任務橫跨科學、編程、最佳化、知識工作、數學與遊戲
每項任務持續 12 小時以上，部分超過 72 小時
回饋訊號來自接近真實工作的執行環境，而非單次靜態題目
整體學習曲線可用 log-sigmoid function 高精度擬合

這套 benchmark 對做 Agentic 項目、長流程自動化、程式代理與研究型智能體的人最有參考價值，因為它直接呈現模型在長時間任務中的耐力、修正能力與邊做邊學的幅度。現有資料集中在 benchmark 設計、任務結構、資料集與分析結果，未提供具體安裝步驟或完整使用流程；能確定的是，這個項目由 ByteDance Seed 發表，並附有 Paper、GitHub 與 Dataset 入口。

項目主頁 · GitHub · Paper

Categories: 開源, 字節跳動, DeepSeek, Agentic, 軟件, 模型訓練, 編程, Anthropic, Dataset 數據集, 框架

Deform360 補上可變形物體世界模型短板

2026 年 7 月 8 日

做布料、繩索、海綿這類可變形物體研究，最缺的往往不是模型，而是夠完整的真實數據。Deform360把多視角影像、觸覺與3D標註放在同一套資料流程內，定位相當清晰。

Deform360: per-frame 3D reconstruction alongside 360-degree multi-view capture.

一遇到布料、線材或柔軟玩具，很多世界模型很快就會暴露盲點：畫面看得到表面變化，卻未必掌握形變本身。Deform360屬於Dataset 數據集項目，集中處理的正是可變形物體研究長期缺少的真實多模態資料，讓2D video world models與3D particle world models可以放在同一基準下比較。

它的吸引力不只在於量大，還在於資料結構相當完整。項目收錄198件日常可變形物體、1,980段機械人互動、215.7小時累積錄製內容，配合41部同步720p RGB相機做360°拍攝，另有雙手UMI-based tactile grippers的四組16×32觸覺串流。對研究團隊來說，這代表不只是「有影片可看」，而是可以對齊視覺、觸覺、相機幾何與3D粒子標註去做分析。

跟不少只提供單視角影片、少量物件，或者只放最終標註的資料集相比，Deform360更重視重建與對齊流程。作者採用markerless visuotactile tracking pipeline，把ArUco calibration、3D Gaussian Splatting、CoTracker3與physics-informed refinement串起來，目的不是包裝成一鍵訓練工具，而是把可重用的資料契約、幾何工具、annotation I/O與multimodal alignment utilities公開。

針對198件可變形物體，涵蓋多視角影像、觸覺與dense 3D particle annotations
適合比較2D video world models與3D particle world models在真實形變上的差異
GitHub 目前主要釋出資料存取、preprocessing、geometry與對齊工具
未附world-model baselines、training code、pretrained checkpoints或一鍵端到端流程

部署與測試的理解方式也要先講清楚：這不是拿來即刻訓練完整模型的全包框架。現有儲存庫提供Python 3.10以上的安裝入口，並連到 Hugging Face 資料集；你可以把它當成研究資料管線與讀取工具，用來下載資料、做相機去畸變、處理觸覺對齊、載入標註與幾何資訊。原始資料沒有提供完整基線訓練流程，因此較適合已有world model、tracking或robot learning流程的團隊接入。

性能方面，項目頁面有交代基準結論：ParticleFormer在held-out episodes預測較好，pretrained Cosmos在unseen objects的視覺指標領先，但可能偏離指令動作。這種結果也反映Deform360的價值不在於替某一類模型背書，而是把可變形動態、視覺觀測與觸覺證據放回同一個較公平的測試場。相關模型與方法脈絡包括2D video world models、3D particle world models、ParticleFormer、Cosmos，以及資料製備中用到的 CoTracker3 與 3D Gaussian Splatting。

項目主頁 · GitHub · Paper

Categories: 開源, Video, 3D, Python, 多模態模型, 模型訓練, Robotic, 世界模型, Dataset 數據集

MIRA 把《Rocket League》變成可互動世界模型

2026 年 7 月 8 日

MIRA 唔係單純重播比賽片段，而係讓四名玩家動作一齊驅動畫面生成。你可以把它理解成一個能即時模擬 2v2 對戰走勢的世界模型研究項目。

打機畫面一路變化，背後又有四名玩家同時輸入動作，呢類情境一向好難靠 world model 穩定重建。MIRA 屬於開源框架兼研究型模型項目，處理的是多人互動環境中，如何按四條 action streams 即時生成《Rocket League》對戰畫面，令 2v2 比賽可以直接在模型內運行。

現有做法多數集中在 single-player world models，其他角色通常只被當成環境一部分；作者明確反對呢種 fixed framing，因為多人場景入面，畫面變化要分得清楚邊個玩家造成。MIRA 改用 multiplayer conditioning，並配合 Representation Autoencoders 同 latent diffusion，目標唔只係畫面似真，而係令物理互動、攻守切換同多角色行為保持連貫。

個項目的取向相當鮮明：它唔係先追求最輕量部署，而係用 5B parameters 模型換取即時互動與長時間 rollout 穩定性。資料來自 10,000 小時 gameplay，README 亦公開了 RocketScienceDataset，當中每個 sample 都包含四個同步視角、逐格 keyboard action 同 game state，對做世界模型、VLA 或互動模擬研究的團隊都很有參考價值。

屬於開源框架加世界模型研究項目，重點是部署、資料使用與評估多人互動生成
與單人 world model 最大分別，在於同時按四名玩家動作生成畫面，而唔係把其他玩家當背景擾動
官方指出模型可在單張 NVIDIA B200 GPU 上以 20 FPS 生成完整 2v2 對戰
相關資料集 rocket-science 提供同步視角、動作與 game state，方便重做測試與分析
README 提供 pixi 環境安裝與 test suite 入口，但更完整部署細節仍要靠原始程式與技術報告配合理解

就公開結果看，MIRA 最有說服力的地方唔係單一 benchmark 數字，而係它把「多人動作歸因」變成核心問題，再補上對物理理解的 targeted evaluations。官方亦表示，雖然模型只用短片段訓練，distributional quality 可維持到五分鐘量測範圍，實驗中甚至能持續更長時間；不過硬件門檻高，定位更接近前沿研究平台，而唔係一般人可隨手在本地執行的輕量工具。

項目主頁 · GitHub · Paper

Categories: 開源, Gemini, NVIDIA, 世界模型, VLA, Dataset 數據集

InternVLA-A1.5：機械人策略一體化新路線

2026 年 7 月 8 日

想像同一個模型既睇得明畫面與指令，又會預想下一步場景，再直接輸出動作。InternVLA-A1.5吸引之處，正正在於它把這三件事收在同一套機械人政策裡。

機械人操作最麻煩的地方，往往不是單純辨認畫面，而是要同時理解指令、估計接下來會發生什麼，再穩定地做出連續動作。InternVLA-A1.5屬於開源框架兼機械人政策模型，焦點放在把 vision-language understanding、latent visual foresight 與 action generation 合併，減少多模組串接帶來的延遲與協調成本。

它的取向很清楚：不少做法會把感知、未來預測、控制分開訓練或分開部署，InternVLA-A1.5則把 foresight 放進同一條政策路徑，在訓練期間借助凍結的 WAN2.2-5B video generation model 提供未來動態監督，但推理時丟棄 video branch，只保留動作預測。這個設計的好處是保住「先想一步」的能力，同時避免部署到真實機械人時推理太重。

模型骨幹建基於 Qwen3.5-2B VLM，透過 shared full-attention layers 接上一個輕量 unified action expert，並保留 modality-specific Gated DeltaNet processing；動作輸出則用 flow matching 預測 continuous action chunks。README 亦提到它可用於部署、數據收集和評估真實機器人上訓練有素的操作策略，但公開資訊較集中在模型與 benchmark，具體安裝流程與真機部署步驟未見完整展開。

舊路線常把理解、預測、控制拆開，這個項目改為單一 policy 統一處理
訓練用 WAN2.2-5B 學未來動態，推理時移除相關分支，換取較實際延遲
已在 LeRobot V2.1 dataset 微調，亦結合大規模機械人與多模態資料
基準成績突出：RoboTwin 2.0 為 93.2，LIBERO 為 98.9，LIBERO-Plus 為 84.8
可取得的相關模型包括 InternVLA-A1.5-base、InternVLA-A1.5-RoboTwin、InternVLA-A1.5-Libero

從定位來看，它較適合想把研究原型推近真機驗證的團隊，尤其是同時重視語言理解、視覺泛化與操作成功率的人。現階段最值得留意的，不只是分數高，而是它示範了一種更接近完整機械人工作流的整合方式；限制則是公開說明仍偏研究導向，真正落地前仍需自行補足部署細節與硬件整合資訊。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Video, 多模態模型, 視覺模型, 視頻模型, Robotic, 上海人工智慧實驗室, VLA, Dataset 數據集

LLM-as-a-Verifier 點樣重寫代理評分

2026 年 7 月 8 日

當代理唔只要答得啱，仲要一步步做得穩，粗略打分已經唔夠。LLM-as-a-Verifier把評估拆細，令挑選、追蹤同訓練都更有依據。

代理系統最常見的瓶頸，唔係生成唔到答案，而係你難以知道它每一步到底做得幾好。LLM-as-a-Verifier屬於開源框架，針對的正是呢個問題：它唔只為最終結果打一次分，而係用更細緻的方式為候選答案、行動步驟同任務準則提供可量化回饋。

現有做法不少仍然依賴單次判斷、粗粒度分數，或者只看最終成敗；作者認為呢種固定範式會忽略不確定性，亦難以支援 progress tracking 同 reinforcement learning。LLM-as-a-Verifier改用三個核心設計重組驗證流程：score granularity、repeated evaluation 同 criteria decomposition，並且直接對 LLM score tokens 的完整 logprob distribution 取期望值，而唔係只取單一輸出。

呢個取向令它同一般 judge-style 評分器有明顯分野。它重點唔在於產生一句評語，而係產生可反覆比較、可分解、可累積的 fine-grained feedback，所以可以用於 Best-of-N selection、pairwise compare，同埋逐步追蹤代理行為變化。README 亦展示了 Python 套件 llm-verifier 的基本用法；安裝方式有提供，但更完整的部署細節主要放在官方文件，而某些流程亦需要 VERTEX_API_KEY 或可回傳 logprobs 的 OpenAI-compatible server。

支援任何 modality 的驗證框架，定位比單一 benchmark judge 更廣
方法核心是細粒度評分、重複驗證、按 criteria 拆解準則
可直接用於 selection、compare、track，同時連到 reinforcement learning
官方列出 Terminal-Bench V2、SWE-Bench Verified、MedAgentBench、RoboRewardBench 等結果
相關模型與服務包括 Qwen/Qwen3.5-9B、Qwen3-8B、Gemini 2.5 Pro，以及 OpenAI-compatible server

表現上，項目聲稱在多個 agentic benchmarks 達到 state-of-the-art，包括 Terminal-Bench V2 86.5%、SWE-Bench Verified 78.2%、RoboRewardBench 87.4%、MedAgentBench 73.3%，亦提到在 LIBERO 配合 SAC 微調 pi 0 policy 時，sample efficiency 約高 1.8 倍。呢類數字反映它較適合研究團隊、代理平台開發者，同埋想將評估訊號接入訓練迴路的人；單純只想要一個最終分數的團隊，未必需要用到它整套驗證尺度。

項目主頁 · GitHub · Paper

Categories: 開源, Qwen, Gemini, NVIDIA, OpenAI, Agentic, Medical醫學, Python, Anthropic, Dataset 數據集

EVA-Client 補上真實機械人部署斷層

2026 年 7 月 8 日

訓練好嘅操作策略，去到真實機械人往往先開始出現混亂。EVA-Client想處理嘅，正正係部署、記錄同評測之間長期分散嘅那段流程。

研究團隊把模型訓練做得愈來愈完整，但一到真實機械人落地，常見情況仍然是靠零散 script、臨時橋接同各自為政嘅除錯流程撐住。EVA-Client屬於開源框架，集中處理已訓練操作策略喺真機部署、數據收集與評估之間嘅斷層，重點唔係再訓練一個新模型，而係令整個閉環更可重用。

它同一般只覆蓋單一步驟嘅工具唔同，將 transport、policy backend 同 inference strategy 放入同一套流程，支援 ROS1、ROS2、ZeroMQ 同 offline dataset，也能接 OpenPI、OpenPI-RTC、StarVLA、GR00T、mock、replay。作者明顯想修正「訓練框架成熟，但真機端仍然拼裝化」呢種既有範式，所以瀏覽器內直接整合 debug、部署、錄製、重播同比較，定位相當鮮明。

使用路徑方面，現有資料已交代可以用 .py config 串接機械人通訊、策略後端與推理策略，再透過介面喺 DEBUG、COLLECT、RESULT 分頁切換；不過完整安裝細節仍然要配合官方文件先夠穩陣。資料收集亦唔止錄影，還會保存 camera video、3D URDF scene、state charts、milestone scores，同步回放亦保留 QC PASS/FAIL 與每幀品質旗標，對做 dataset 整理同失敗分析幫助幾大。

把部署、收數同評測放入同一個 browser workflow，減少真機迭代時來回切換工具
支援多種 transport、backend 同 inference strategy，取向偏向兼容不同機械人與策略棧
內建 live latency compensation、async strategy 同 replay，重點放喺真機穩定度而唔只係跑通
Teleop demos 與 model rollouts 共用同一套 on-disk layout，方便後續整理成 LeRobot v2.1 episodes

性能數字方面，現有資訊未見統一 benchmark 分數，較多是能力與流程層面的描述，所以暫時唔適合把它理解成用單一指標決勝負嘅項目。較受惠嘅會是做 VLA、VAM、WAM 或機械人操作研究嘅團隊，尤其要頻繁比較 checkpoint、遠端連 policy server、或者同時管理多款真機平台嘅場景；已列出可配合嘅相關模型與系統包括 OpenPI、OpenPI-RTC、StarVLA、GR00T，以及 LeRobot、VLA Foundry 呢類訓練側框架。

項目主頁 · GitHub · Paper

Categories: 開源, NVIDIA, DeepSeek, Video, 3D, 多模態模型, VLA, Dataset 數據集

speaker_disentangled_hubert：用 HuBERT 重新做好音節切分

2026 年 7 月 8 日

語音切成音節，難處往往唔係分段本身，而係模型好易記住講者聲線。speaker_disentangled_hubert 針對呢個偏差落手，令 token 更接近語言內容。

Repository image for ryota-komatsu/speaker_disentangled_hubert

做語音 tokenization，最麻煩的情況往往不是音節邊界找不到，而是模型把講者特徵一併學進去，最後分出來的 token 混雜了聲線而不是語言內容。speaker_disentangled_hubert 屬於語音模型項目，核心工作是把原始語音整理成較純淨的 syllabic token，讓後續的 speech language model 更容易學到句法與語意。

現有做法多數沿用 pretrained HuBERT 的 teacher-student distillation，再用 utterance-level cross-entropy 目標去組織 frame 表徵；作者認為這種 fixed 範式會令學生模型偏向預測 speaker identity。這個項目改用 Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization，在 fixed-length chunks 內，將加入 speaker 擾動的 student representations 拉回乾淨的 teacher targets，重點不是再加更多標籤，而是直接削弱講者資訊對音節切分的干擾。

從結果來看，它的取向相當明確：寧願把訓練設計做得更細，也要換取更乾淨的 syllabic segments。論文指出，這套方法在 syllable boundary detection 與 syllabic segment clustering 都做到 state-of-the-art；再往下接 speech language model，基於這批 syllabic tokens 的模型，對比 phone-level SpiRit-LM，在 syntactic and semantic understanding 取得 7% relative improvement。對研究語音表示學習、低資源語音建模，或者想把離散語音單位接到語言模型的人，這個方向幾有參考價值。

針對 HuBERT teacher-student distillation 容易混入 speaker identity 的問題
用 chunk-wise regression 取代單純 utterance-level cross-entropy 訓練邏輯
任務焦點包括 syllable boundary detection 與 syllabic segment clustering
相關脈絡涵蓋 pretrained HuBERT、speech language model，以及 phone-level SpiRit-LM

測試與理解方式亦算直接：項目提供 Paper、Code、Model 與網頁上的 resynthesis samples、syllable segmentation 示例，先聽重建語音，再看音節分段，已經可以判斷 tokenization 有沒有保住語言結構。現有資訊未完整列出部署流程與安裝細節，所以較適合作為研究型項目閱讀、重現與比較；使用時也要留意，它的驗證主要建基於 LibriSpeech，跨語者以外的語種、錄音條件與資料分佈，仍然值得再做額外確認。

項目主頁 · GitHub · Paper

Categories: 開源, 語音, Dataset 數據集

GigaWorld-1：機械人世界模型開源路線圖

2026 年 7 月 8 日

GigaWorld-1 不只是模型，亦是一套圍繞機械人世界模型的訓練與推理流程。它的重點是用模擬 rollout 協助評估 robot policy。

GigaWorld-1 是一個面向 robot world models 的開源工具鏈與研究原型。它主要用來訓練、推理、處理資料，並把世界模型當成 robot policy evaluation 的替代評估器，減少每次都要落真機做 rollout 的成本。

現有做法通常依賴真實機械人測試，或者用偏重短片畫質的 video world models 觀察結果；作者認為這種範式未必足夠反映 policy 是否可靠，因為短期視覺真實感不等於長時序、動作一致的 rollout 準確度。這個項目連同 WMBench 一齊提出較清晰的評測框架，重點放在 long-horizon、action-faithful rollout consistency，而不是只看畫面似唔似真。

和一般只放模型權重的 GitHub 項目相比，GigaWorld-1 較完整地公開了訓練、inference、資料處理、checkpoint conversion 及 LoRA merge 流程，取向明顯偏向可重現與可擴充。基礎模型亦不是由零開始孤立建立，而是結合 Wan、Diffusers、Helios、Genesis 等元件，反映它更像一條可調整的工作流程，而不只是單一模型展示。

重點不在短期畫面好看，而在 rollout 是否長時間維持動作一致性
提供 training、inference、data processing、checkpoint conversion、LoRA merge 等完整流程
相關模型與元件包括 Wan、Diffusers、Helios、Genesis
配套有 ToyDataset、CVPR 2026 WorldModel Track Dataset 與 WMBench benchmark

部署思路相對明確：環境以 Python 3.10+、PyTorch 2.x、Linux 為主，再按 README 準備資料、模型與推理流程；需要下載模型或資料時，亦已有獨立工具說明。硬件需求未算輕量，但首頁提到 1.3B / 5B 變體與低於 24GB 記憶體的生成設定，代表它並非只面向超大規模研究機構。

較適合受益的群體，是做 embodied AI、robotics、world model research 的團隊，以及想建立 policy evaluator 管線的人。現有資訊顯示它背後有 12,000+ 小時訓練影片、324,000+ 模擬 rollout 配對真機執行，以及 7 類 video world models、4 種 action representations 的比較；這些數字未必等於任何場景都會即插即用，但足以說明它的價值在於提供一套有 benchmark 支撐的評估方法，而不只是再多一個生成模型。

項目主頁 · GitHub · Paper

Categories: 開源, Video, Linux, Python, 模型, 模型訓練, Robotic, 世界模型, VLA, Dataset 數據集, 框架

Page 15 of 21

« Previous 1 … 13 14 15 16 17 … 21 Next »