中國 – Page 3 – InferNews

HumanTracker 想解決人形動作評測失真

2026 年 8 月 18 日

影片睇落穩唔穩，未必等於關節誤差低。HumanTracker把人類偏好納入評測，補回人形動作追蹤最常被忽略的一段。

只看關節角度誤差，往往會把腳滑、落地時機錯、支撐不穩這些觀感上很明顯的問題沖淡。HumanTracker屬於資料集加評測工具類型，核心不是再做一個追蹤模型，而是替 humanoid motion tracking 建立更貼近人眼判斷的 benchmark，讓 teleoperation 與 whole-body imitation 的結果不只「數值過關」，影片也更可信。

它的價值在於同時補兩個缺口：一邊擴大測試覆蓋，另一邊重寫評分方法。項目收錄約 153 小時光學動作資料、來自 24 位專業表演者，整理成四類動作家族，專門拉開日常步態、高動態、互動動作與接地穩定性之間的差異；再用 12K human-labeled preference pairs，訓練出偏好對齊的 HumanScore，去判斷哪條 tracker trajectory 更接近人會接受的效果。

跟 MPJPE 這類逐幀 kinematic 指標相比，HumanScore 重點不在每一幀有幾準，而在整段軌跡有沒有出現長時間滑步、抖動、漂移與失去平衡。官方提供的結果顯示，HumanScore 在測試集對人類偏好的對齊率達 90.83%，比較強的傳統診斷指標高 6.78 分；README 亦保留 Succ、MPJPE 與 HumanScore 幾種分數，代表它不是取代舊指標，而是把「物理上站不站得住」這件事補回評估流程。

約 153 小時新採集 optical motion，涵蓋 25K 級別標註片段
HumanScore 來自 trajectory reward model，學的是人對整段動作的偏好
儲存庫提供 evaluation harness、HumanScore reward model 同數據處理工具
適合做人形機械人追蹤、模仿學習、teleoperation 評測的研究團隊使用

這個 GitHub 儲存庫比較像研究評測基建：重點是下載資料集、跑 evaluation harness、再用 HumanScore 與傳統指標一起看結果，而不是即開即用的終端產品。受益最大的會是做人形控制、動作追蹤與模仿策略比較的團隊，因為它能幫你分辨模型究竟只是把姿勢角度擬合得好，還是真的把接觸、穩定與動作連貫度處理好。限制也很明確：它主要提升的是評測可信度，不等於直接改善 tracker 本身能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, World-Action Model, Dataset 數據集

OpenART：把 Agent 安全測試搬進可演化環境

2026 年 8 月 14 日

OpenART 將工具型 code agent 的安全評估做成可重現的 Docker 工作流，重點不是跑單一任務，而是觀察環境變化如何累積成風險。你可以把它理解成一個用來做 agent red teaming 的開源框架。

OpenART 把工具型 code agent 的安全測試，拉到一個更貼近長流程工作的環境裡。它不是單純驗證模型會不會答對，而是看 agent 在共享狀態、連續工具操作與環境演化之下，會不會慢慢走偏，這對做安全研究、紅隊測試或 agent 平台驗證的人都更有參考價值。

整個項目是 Docker-native 的框架，安裝後可先跑本地 smoke task，確認容器、評估器和路徑都正常，再切換到高複雜度任務。README 內也提供 target-only 與 attacker 兩種跑法，方便對比單看目標 agent 與加入 OpenCode-compatible attacker 的差異；任務圖會從 openart-tools 自動選取所需工具，使用方式偏向可控實驗而不是即插即用服務。

它的取捨很清楚：OpenART 把重點放在可重現、可擴展的安全評估，而不是包裝成一個面向終端用戶的產品。項目保留可執行 runtime、少量高複雜度示例與管理過的工具子集，卻刻意不放批次實驗驅動、生成結果和私有場景語料，代表它更像研究與測試底座，適合需要自行編排實驗的人。

論文背景提到，OpenART 提供超過 10,000 個已驗證 stateful scenarios，涵蓋 50 個領域，並支援 75 種 agent-model 配置的統一評估；EMHA（Evolutionary Markov Hypergraph Attack）則是用來推動環境演化的黑箱策略，無需更新參數。文中亦指出，複雜環境下，環境演化比只改指令更容易揭示安全失誤，這正是它相對一般短任務 benchmark 的關鍵差別。

支援先做本地 smoke run，再轉入高複雜度任務驗證
以 Docker 與任務圖管理工具，便於重現與隔離環境
可比較 target-only、attacker 與不同 agent-model 配置
適合做 agent 安全、紅隊測試與平台兼容性檢查
強調長流程與 stateful 環境，較能暴露累積性風險

GitHub

Categories: 開源, 上海人工智慧實驗室, Agentic, 安全, Dataset 數據集

StateFlow 把預視化變成可反覆編修 3D 世界

2026 年 8 月 13 日

想像先搭好一個可重用的3D世界，再慢慢改鏡頭、物件同事件。StateFlow想處理的，正是生成式預視化最常見的連貫性問題。

影像預視化最麻煩的地方，往往不是生成一條片，而是改完場景、換完鏡頭之後，前後內容仲要講得通。StateFlow屬於面向 previsualization 的 3D world-state modeling 框架，它把場景視為可持續保存的 3D world states，令同一個世界可以反覆建構、演化、再取用，而唔使每次修改都由頭生成。

呢個做法先處理內容一致性，再處理畫面輸出。StateFlow用 object-centric structured 3D state 去描述世界，每個物件都帶有 geometry、spatial pose 同 semantic attributes，將底層世界內容同最終 render observations 分開，於是場景結構、物件關係、動態事件同 cinematic camera direction 可以分步調整。

整個流程分成三段。State Construction 針對 2D 內容提升到 3D 世界時容易出現的歧義，用 prior-guided、conflict-aware dual-view initialization 建立較一致的起始世界；State Evolution 把使用者修改轉成 structured state transitions，保留 world memory，避免每次編修都重建整個場景；State Access 則配合 render-feedback reflection，把鏡頭意圖修正成視覺上可行的 cinematic trajectories。

把一次性影片生成，改成可編修、可重用的 persistent world
同一套世界狀態可支援 video production 同 3D game prototyping
重點不只是生成畫面，而係保住場景結構、物件關係同時間上的連貫性
鏡頭控制加入 render-feedback reflection，提升拍攝路徑的可行性

使用場景相當清楚：要先做分鏡、試鏡頭、試事件節奏的創作團隊，或者想由 3D scene 快速走到 playable prototype 的遊戲項目，都會較受用。現有內容著重方法展示、應用示例同與 baselines 的 3D scene generation 對比，但未見完整論文與量化細節公開，所以目前較適合視為一個值得留意的工作流方向，而唔係已完全定型的產品規格。

項目主頁

Categories: 北京大學, 視頻模型, Video, World-Action Model, 框架, 3D

MiLMMT-v1.0：小米升級開源翻譯模型：支援至 46 種語言

2026 年 8 月 12 日

小米把旗下開源多語翻譯項目 GemmaX 升級至 MiLMMT-v1.0，支援語言一舉擴至 46 種，並透過強化學習與模型合併提升翻譯品質。

過去想用開源 LLM 做多語翻譯，往往要遷就 20 多種語言的覆蓋，遇上東歐、非洲或東南亞較少見的語種就容易撞牆。MiLMMT-v1.0 把覆蓋範圍一口氣推至 46 種，這個改變對做跨國內容本地化、跨境電商文案，或是需要處理多語客戶查詢的團隊尤其受用。

這個項目屬於多語翻譯模型（multilingual machine translation model），並非框架或工具，核心目標是讓 Gemma3 等開放權重模型在多語翻譯場景下，貼近商用翻譯引擎的水準。它以 Gemma3-1B 與 Gemma3-4B 為基底，先做持續預訓練，再用翻譯指令微調，最後透過強化學習（GRPO）配合 xCOMET、OpenLID、CometKiwi 等無參考指標作為獎勵訊號。

與傳統依賴大型封閉模型、或需要平行語料的監督式微調不同，MiLMMT 強調 reference-free 後訓練：不需要人工對照譯文也能用 LLM-as-judge 改善翻譯結果。同時配合模型合併（model merging），在 1B 規模的小模型上嘗試兼顧多語泛化與低資源語種的穩定性，這點對硬體資源有限、想自建翻譯服務的工作場景相當關鍵。

重點摘要：

支援語言從 28 種擴展至 46 種，覆蓋更多低資源語種
基於 Gemma3-1B / Gemma3-4B 開放權重，可離線部署
採用 GRPO 強化學習搭配 xCOMET、OpenLID 等無參考獎勵
提供 Hugging Face Spaces 線上 Demo，亦有 RL launcher 與獎勵服務腳本可重現訓練流程
相關論文已上 arXiv，紀錄後訓練與模型合併的實證結果

對本地化團隊、開發者或研究人員而言，這個項目提供了一條毋須依賴商業 API 的多語翻譯路線，1B 等級的模型體積亦令自部署門檻大幅降低。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 中國, 小米-Xiaomi

UA-NWM 不確定性無人機導航

2026 年 8 月 11 日

無人機朝目標圖片飛行，最難唔係預測一條路，而係判斷目標畫面是否仍屬合理路徑。UA-NWM 解決「模型解釋唔到」的誤差。

戶外無人機導航最易出錯的位置，在於前方畫面未必只有一種合理變化。UA-NWM 把這個問題當成 world model 的評分工作處理，面向 aerial image-goal navigation，唔再只估一個未來畫面再同目標硬碰硬，而係判斷目標圖片是否落在模型預測的未來狀態分佈之內。

它最值得留意的技術點，是用 Hierarchical Error Projection（HEP）把預測與目標之間的差距拆成可由不確定性子空間解釋的部分，同埋解釋唔到的殘差，最後只用後者作為 trajectory cost。呢種做法同單點預測式 ranker 的分別很直接：同樣見到偏差，UA-NWM 會先問偏差是否屬於合理未來變化，而唔係一概當成走錯路。

模型本身會預測未來的 DINO latent features，配合 deterministic future feature map 同 uncertainty subspace 做單次 forward scoring，避免靠隨機抽樣多個未來狀態先完成比較。同一個 checkpoint 可配合兩種 inference strategy，包括 uncertainty-aware 的 UA-NWM 與 deterministic baseline，適合研究團隊直接比較兩種評分邏輯帶來的差異。

適合 UAV 導航、戶外機械人感知，以及要由目標圖片反推行進路線的團隊
重點唔係生成最像的未來畫面，而係判斷目標是否仍在合理未來分佈內
提供 AirGoal-10k 的 training、evaluation、trajectory ranking、CEM/MPC planning 與 visualization workflow
deploy/ 內有真實部署用的 server-side policy wrapper，但原始資料未完整交代整套部署步驟

它已對應 AirGoal-10k，並包含真機 UAV demo、資料集連結與 pretrained checkpoints；受益最大的是需要處理大範圍戶外場景、多解未來觀測，以及想把 world model 直接接到規劃器如 CEM/MPC 的團隊。

項目主頁 · GitHub · 模型

Categories: 開源, 清華大學, 世界模型, 模型訓練, Image, Dataset 數據集, 百度

SimWAM：把 AI 影片變成自動駕駛規劃

2026 年 8 月 10 日

華中科大與東風研發團隊提出的 SimWAM，將影片專家和動作專家共同訓練，再丟掉影片分支只保留規劃器。它把未來畫面學到的動態先驗，轉成較低延遲的軌跡預測。

Overview of the SimWAM architecture with isolated attention

華中科技大學與東風研究團隊合作提出 SimWAM，重點是把影片生成的能力轉成自動駕駛規劃訊號，而不是在推理時硬做未來影像生成。它屬於 World-Action Model (WAM)，直接處理端到端自動駕駛中的軌跡預測與規劃問題，目標是減少延遲，同時保留對交通動態的理解。

訓練時，系統會把預訓練影片專家和輕量動作 DiT 一起做 joint flow matching，讓未來畫面學到的動態先驗滲入動作表示。兩邊共享注意力流，但用 isolated attention mask 令未來片段和動作 token 不會互相偷看，推理時就可以直接丟掉影片分支，只留下動作專家。

研究團隊來自 Huazhong University of Science & Technology 和 Dongfeng Research & Development Institute。
推理階段不需要未來場景生成，也不需要額外動作模組。
動作專家可獨立縮放，影片骨幹亦可替換，結構相對靈活。
在 NAVSIM 上取得 91.5 PDMS，並可 zero-shot 遷移到 nuScenes。
強化學習部分用 FlowGRPO 去優化組合式駕駛獎勵，只更新動作專家的 LoRA adapters。

它最值得留意的地方，不在於把模型堆得更大，而是把訓練用的影片訊號和部署用的規劃器切開，令系統在保留動態理解的同時減少推理負擔。官方沒有完整列出安裝步驟，因此較適合先按論文與程式庫說明理解其訓練和部署流程。

GitHub · 模型

Categories: 開源, 視覺模型, VLA, 中國

RVC WebUI：低門檻變聲框架的實用與代價

2026 年 8 月 7 日

這個語音音色轉換框架把訓練、推理和即時變聲放進同一個網頁介面，重點是讓少量語音資料也能做出可用效果。它的強項在於速度、易用性和模型融合，代價是硬件與延遲條件仍會影響體驗。

Repository image for RVC-Project/Retrieval-based-Voice-Conversion-WebUI

RVC（Retrieval-based Voice Conversion）WebUI 把語音音色轉換、變聲推理和即時變聲收進同一套 Web 介面，適合要快速做 AI 歌聲、配音修音或聲音風格替換的人。它不是單純展示效果，而是把訓練、檢測、推理和即時輸出串成一條可操作流程，降低了進入門檻。

這個項目主打少量資料也能訓練出可用模型，官方建議至少準備 10 分鐘低底噪語音。它採用 top1 檢索去替換輸入特徵，減少音色洩漏，並用 InterSpeech2023-RMVPE 做人聲基頻提取，處理哑音問題時速度快、資源占用也較小。

支援 Python 3.12 x64；Ubuntu 24.04、Windows 與 Linux 都有對應路徑，A 卡和 I 卡則走 CPU 依賴方案，Windows 亦可用 DirectML。即時變聲延遲官方標示可達端到端 170ms，配合 ASIO 輸入輸出設備時可進一步降到 90ms，但對硬件驅動支援要求較高。

可用少量語音資料訓練，門檻比傳統聲音模型低
WebUI 同時覆蓋訓練、推理與即時變聲
ckpt-merge 允許用模型融合去調整音色
可接入 pymss/MSST 分離人聲與伴奏
更適合配音、歌聲轉換、直播變聲與聲音原型測試

GitHub

Categories: 開源, 數字人, 模型, Linux, Python, 語音, 中國

AVE-Compass：音畫編輯終於有了更嚴格的驗收尺

2026 年 8 月 7 日

AVE-Compass 把音效、畫面與指令完成度放在同一套測試中，揭示編輯模型最容易忽略的失真與不同步問題。

音畫編輯模型最難兼顧「改得夠準」與「其他內容不走樣」。AVE-Compass 是一套針對自由格式音訊影片編輯的診斷基準及評估工具，檢查模型有沒有完成指定修改，同時保留非目標畫面和聲音，亦會捕捉音畫不同步與感知瑕疵。

測試範圍包括145段來源影片、196條經人工核實的音畫指令、2,688項細緻 checklist，以及28種編輯操作，涵蓋聯合音畫、語音、純影片和純音訊修改。它以 Multimodal Large Language Model (MLLM)-as-Judge 配合跨模態、影片及音訊自動指標，分開計算 Instruction Following、Fidelity Preserving、Editing Intent 和 Realism。

MiniMax H3 Turbo LoRA Faster Sampling Steps & Prompt Agent Skill

Watch this video on YouTube

使用者可從 AVE-Compass-v2 資料集取得樣本，再按設定檔和輸入模板交予評估 pipeline，輸入來源影片、指令、checklist 及模型產生的編輯結果。樣本以共享的識別值配對，來源影片則由 instruction JSON 解決；未啟用或缺失的客觀指標會維持未設定，不會被當成虛構的零分。

重點可整理為：
– Editing Intent 同時要求完成修改及保留非目標內容，避免模型不作修改卻取得偏高保存分數。
– 音訊執行和音畫時間同步是常見失分位置。
– AVE-Agent 加入 planning 和 self-reflection，對複雜指令的 Editing Intent、Instruction Following 及音訊處理有較明顯改善。
– 基準適合研究團隊比較模型，也適合影片生成產品建立回歸測試。

它的價值不在於只給一個總分，而是把「改錯了甚麼」拆開呈現；代價是需要模型輸出影片、完整評估資源及相應 MLLM，部署門檻高於單純像素或音質比較。對正在開發跨模態編輯模型的團隊，AVE-Compass 更像一套找出失敗原因的驗收框架，而不只是排行榜。

項目主頁 · GitHub

Categories: 開源, 南京大學, Agentic, 多模態模型, 語音, Dataset 數據集

Ego2Robot 把人類影片轉成機械人訓練數據

2026 年 8 月 6 日

Ego2Robot將第一身人類操作影片轉化成大規模機械人訓練數據，改善 VLA 模型面對陌生環境時的泛化能力。

機械人要應付陌生場景，往往需要大量而且多樣化的示範數據；Ego2Robot選擇從第一身人類操作影片取材，將人手動作轉換成不同機械人形態可以使用的訓練資料。這個數據合成項目面向 Vision-Language-Action（VLA）模型預訓練，處理人類影片與機械人動作、視覺外觀不一致的問題。

流程分為動作對齊、視覺對齊和品質篩選三部分。系統會把拇指、食指、中指指尖及手腕等關鍵點重新映射到夾爪的 TCP、開合幅度和方向，再以 Savitzky–Golay 及 SLERP 平滑動作；視覺處理則結合 SAM 3、ProPainter、機械人底座姿態搜尋和 IK solving，把機械人手臂合成到已修補的人類場景中。

項目支援已有手部姿態標註的數據集，也可以從原始影片估算姿態，後者使用 WiLoR 逐幀重建和 DynHaMR 時序最佳化。統一流程可以平行產生 15 種 robot morphologies，累積 18,561 小時訓練數據，涵蓋較多任務、場景和機械人配置。

重點包括：
– 同時支援 curated datasets 和 in-the-wild videos
– 以多層 quality curation 篩走動作及視覺合成中的低質資料
– RoboTwin 2.0 加入視覺外觀、場景佈局、機械人形態和任務語義等干擾軸
– 與機械人數據聯合預訓練後，多種 out-of-distribution 情況下的泛化能力提升
– 改善效果亦在真實機械人部署中獲得驗證

對需要建立通用機械人操作模型的研究團隊，Ego2Robot提供了一條減少真人示範收集成本的路線。不過，合成數據的品質仍取決於手部姿態估算、動作重定向、逆運動學和場景合成是否準確，因此它較適合作為真實機械人數據的補充，而不是完全取代實體部署資料。

項目主頁

Categories: 阿里巴巴, 視覺模型, 多模態模型, 模型訓練, Qwen, Video, VLA, Robotic, 中國, Dataset 數據集

DeepVoyager-VL 把視覺線索放回搜尋流程中

2026 年 8 月 4 日

DeepVoyager-VL不只是睇圖再答題，而係會用新取得嘅視覺證據決定下一步搜尋。對長流程多模態檢索項目而言，呢個改動幾關鍵。

Comparison of multimodal search data synthesis paradigms

當一個多模態 agent 要連續查多步資訊，最易失準嘅位置往往唔係答題，而係中途搵錯線索。DeepVoyager-VL處理嘅正正係呢個問題：佢屬於長流程多模態 deep-search 框架，讓新取得嘅圖片證據直接影響下一輪檢索，而唔係只喺輸入開頭或答案結尾先用到視覺資訊。

呢種做法令佢同一般把視覺訊息包裝成前置條件嘅方法有明顯分別。DeepVoyager-VL背後用 EventVoyage-VL 生成帶有中間視覺依賴嘅長流程問題，再用整理過嘅 trajectories 做 Supervised Fine-Tuning（SFT），而唔加額外 reinforcement learning 階段；取捨好清楚，訓練流程較可重現，但效果仍然要靠資料合成質素同軌跡篩選撐住。

倉庫而家已經放出 paper、project page，同可重現嘅 Megatron SFT training bundle，亦提供 DeepVoyager-VL-8B 同 DeepVoyager-VL-30B-A3B 模型，以及 EventVoyage-VL dataset。想理解點樣驗證，最直接係沿住現成模型、資料集同訓練 bundle 睇完整流程；README 亦提到 SWIFT RUNTIME=bundled 會使用儲存庫內嘅 source trees，定位上比較接近研究與訓練復現項目，而唔係即開即用嘅消費級產品。

核心改動：把 vision in the loop 放入搜尋中段，圖片可按需要先載入或裁切
資料來源：EventVoyage-VL 先做 structure-before-language synthesis，再抽出可監督軌跡
訓練路線：以 supervised-only 為主，冇再疊 reinforcement learning 階段
結果：8B 同 30B-A3B 平均分別為 54.8 同 58.6，並在十個 benchmark 入面分別拿下八個同九個最佳成績

分數本身已經講到定位：DeepVoyager-VL不只是追求更大模型，而係想改善「見到新圖之後，下一步應該搵乜」呢個決策環節。較受益嘅會係做多步檢索、多模態問答、研究型 agent pipeline 嘅團隊；要留意嘅限制亦同樣直接，成效高度依賴合成資料點樣把中途視覺依賴編排得夠真實，離開相關 benchmark 之後，泛化深度仲要靠後續驗證。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 北京大學, 華為, Agentic, 模型, 多模態模型, 模型訓練, 框架, Dataset 數據集

Page 3 of 15

« Previous 1 2 3 4 5 … 15 Next »