北京大學 – InferNews

OmniEcho：讓智能體真正「聽聲辨位」的全方位音視覺模型

2026 年 9 月 26 日

聲音從哪個方向來、距離多遠，是人類憑本能就能判斷的事，對機器人卻是一道難題。OmniEcho 把一階 Ambisonics 空間音訊、視覺與語言整合到同一個智能體，專門研究這類空間感知與聲源導航。

Repository image for PKU-VaLuE-Lab/OmniEcho

OmniEcho 是一個面向 embodied agent 的音視覺空間感知項目，由北京大學 PKU-VaLuE-Lab 開源。它要解決的問題很直觀：當一個智能體同時聽到聲音、看到畫面，它能否判斷聲源在哪個方向、距離多遠，並進一步循聲走去？這件事對人類毫不費力，但要讓 AI 真正做到，過去並不容易。

項目同時提供三樣東西：統一基準 OmniEchoBench、可控的空間音訊渲染管線，以及基於 Qwen3-Omni 改進的 OmniEcho 模型。後者最關鍵的設計，是在 Qwen3-Omni 既有語意音訊通路之外，加掛一個專門處理 FOA（一階 Ambisonics）空間資訊的編碼器，讓模型同時理解「聽到什麼」和「聲音從哪來」。

基準涵蓋六類任務，合共 197 個真實音視覺場景、2,972 條 QA 與 900 條導航樣本，全部由人工核對標註。OmniEcho 在空間音視覺感知上達到 state-of-the-art，而循聲導航的表現已經逼近傳統「靠文字指示」的視覺語言導航。不過細粒度的方位判定與距離估計，仍被作者列為尚未解決的難題。

對做機器人導航、音視覺融合研究，或需要智能體在真實場景中聽聲定位的團隊，這套項目提供了一個可以直接拿來跑評測、訓練、再挑戰的起點。原文並未附上完整的安裝或下載流程，相關代碼與模型權重目前標示為即將釋出。

重點摘要

空間音訊加視覺語言：以 FOA 為輸入，與視覺、語言一起餵進 omni-modal agent。
雙編碼器設計：在 Qwen3-Omni 之上新增 FOA 空間編碼器，保留原有語意音訊能力。
真實世界基準 OmniEchoBench：六類任務、近 3,000 條 QA 與 900 條導航樣本，人工核對。
循聲導航貼近文字導航：在 Nav 任務上接近傳統 VLN 水平，但方位與距離仍偏弱。
代碼與權重待發佈：標示 Coming Soon，暫無公開安裝步驟。

GitHub

Categories: 開源, 北京大學, Agentic, 模型, 視覺模型, 模型訓練, Qwen, VLA, Audio

OmniEdu 把課程理解帶進 AI

2026 年 9 月 23 日

OmniEdu 不只回答題目，還會對照課程、診斷學習缺口，再決定下一步應給提示、提問或講解。

學生卡在一道題目時，答案本身未必足夠，真正需要的是知道漏了哪個前置概念，以及下一步應怎樣學。OmniEdu 屬於開源多模態模型家族，處理 K–12 學習與教學流程，將課程對應、解題、學習診斷和教學支援放在同一套模型內。

模型以 Qwen3.5-4B-Base、Qwen3.5-9B-Base 和 Qwen3.8-27B 為基礎，推出 4B、9B、27B 三個 checkpoint。訓練資料包括 69,999 個 instruction examples、15.96M supervised response tokens，當中 60,951 個屬教育專用資料，涵蓋超過 100 個來源；模型亦支援圖片等多模態輸入，能把問題、知識點、年級、先修關係和課程證據連繫起來。

可下載的權重和資料集適合教育研究團隊、教材平台，以及需要本地模型作學習分析的開發者；4B 較適合本地試驗，9B 和 27B 則提供更高能力但需要更多硬件資源。模型可透過 Transformers 或 vLLM 執行，公開配置使用 Qwen3_5ForConditionalGeneration，訓練序列長度為 32,768 tokens。

OmniEdu-27B 在 16 個模型比較中，取得 K12-Bench EM 63.12% 和 F1 76.69%，兩項均列第一。
OmniEdu-27B 在 MathFish 達 85.89% 準確率，並取得 LongTutor 3.02 教學分數。
EDUMATH MaC 為 86.95%，MathTutorBench Scaffold win rate 為 78.74%，兩項均列第二。
模型的差異不只在答對題目，而是嘗試判斷誤解、缺失的先修知識，再選擇提示、引導問題、複習或解釋。

OmniEdu 的取捨也很直接：全參數 supervised fine-tuning 和長序列訓練有助整合教育情境，但 27B checkpoint 對硬件要求較高，模型的教學判斷亦應配合教師審核。對只需要一般問答的工作流程，它可能過於專門；對重視課程對齊和個別學習支援的團隊，公開權重與資料集則提供了可檢查、可延伸的起點。

項目主頁 · GitHub

Categories: 開源, 北京大學, 模型, 多模態模型, 模型訓練, Image, 教學, Dataset 數據集

WorldCrafter 記住你走過的世界

2026 年 9 月 22 日

WorldCrafter把單張圖片或文字提示變成可操控鏡頭的連續場景，改善長時間探索時畫面失憶與視角不一致的問題。

鏡頭移開再回望時，生成場景仍能維持空間關係，正是 WorldCrafter 要處理的核心卡位。它屬於影片世界模型，能從單張圖片或文字提示建立可探索場景，並按照鏡頭控制生成後續畫面，減少長時間移動、回訪視角時的內容漂移。

WorldCrafter以可由鏡頭查詢的隱式 3D-aware memory 保存過往觀察，讓指定視角決定哪些歷史資訊交給影片生成器；記憶編碼器與姿態條件讀取模組會把不同視角的資料整理成目標視角適用的 memory tokens。它不依賴顯式深度估計或幾何 warping，近期 temporal context則負責維持動態物件和連續動作。

WorldCrafter Video Demo

Watch this video on YouTube

提供 WorldCrafter-Base，以及經蒸餾、面向較快推理的 WorldCrafter-Fast。兩者可在 Linux、Python 3.11、NVIDIA GPU 和相容 CUDA 驅動環境運行，模型權重放在 Hugging Face；Fast 版本較適合互動式串流，但硬件要求和生成速度仍取決於本地配置。

支援圖片轉可探索世界，也支援文字轉可探索世界
可控制鏡頭、揭示未見區域，並回到曾經觀察的視角
設計同時兼顧靜態場景、動態場景和長時間探索
評測涵蓋145個場景及725條鏡頭軌跡

評測中，WorldCrafter在長時間回訪一致性和鏡頭控制準確度上優於參與比較的基線，整體 VBench 分數亦最高；項目展示的點雲與鏡頭軌跡重建，則用來檢查生成影片的幾何連貫性。研究團隊來自 Tencent ARC Lab 與北京大學，較適合研究生成式世界模型、可控影片、虛擬場景探索及互動內容的團隊測試。

項目主頁 · GitHub · 模型

Categories: 開源, 北京大學, 騰訊, AI productions, 模型, 世界模型, NVIDIA, Video, Image, 3D, Linux, Dataset 數據集

小米公開 CodeMidas 強化學習訓練進度

2026 年 9 月 21 日

小米以即時指標公開 mimo-v2.6-pro 與 mimo-v2.6-flash 的強化學習訓練狀態，並連結至程式編碼代理研究。

CodeMidas 把模型訓練過程帶到公開視野，展示 mimo-v2.6-pro 與 mimo-v2.6-flash 兩組 reinforcement-learning runs 的即時指標。對需要追蹤模型能力如何形成的研究者和開發者而言，這類介面可用來觀察訓練是否持續、何時中斷，以及不同模型版本的進度差異。

小米以 trainer 直接提供的 metrics 為主，未有完整列出指標定義、數值解讀或最終評測結果。因此，讀者可以把它視為訓練監察入口，而不是已完成模型的性能報告；畫面亦提示可能出現重新連線狀態，資料連續性仍需留意。

根據 CodeMidas 研究，mimo 從程式碼本身擴展 agentic coding reinforcement learning environments。這個方向處理的問題，是如何建立足夠多、又能反映真實編程任務的訓練環境，讓 coding agents 在程式修改、執行與驗證等流程中學習，而不只依賴靜態範例。

資訊：
– 同時追蹤 mimo-v2.6-pro 與 mimo-v2.6-flash 的強化學習訓練
– 指標由 trainer 即時更新，適合觀察訓練進程
– CodeMidas 聚焦由程式碼擴展 agentic coding RL environments

對模型研究、AI agent 和編程工具開發者來說，頁面提供了一個觀察訓練公開化的窗口；一般使用者則應等待正式模型說明和獨立評測，才適合判斷其編碼能力及穩定性。

項目主頁 · 模型

Categories: 開源, 香港大學, 北京大學, Agentic, 模型訓練, 工具, Discord, 編程, 小米-Xiaomi

Motion-Omni：「講嘢」同「做嘢」視為同一件事，直接生成全身動作

2026 年 9 月 7 日

Motion-Omni 把語音和全身動作綁在同一個模型，講一句話就能即時生成對應嘅身體動作、表情同手势，適合需要邊講邊做嘅虛擬角色。

試過睇虛擬角色傾偈，個口形郁但身體硬晒，或者要逐段人手配動作？Motion-Omni 想解決嘅就係呢種「聲有、體無」嘅唔自然感。佢係一個端到端嘅多模態模型，輸入一段語音，輸出唔只有語音本身，仲有頭部、表情、手势以至全身姿態，全部喺同一個框架一齊生成，避免傳統做法分開處理再硬砌嘅斷裂感。

Motion-Omni 用咗一個統一嘅 tokenizer 把語音、文本同動作 token 化，配合 LoRA（Low-Rank Adaptation）adapter 等輕量微調技術，令模型可以同時學語音同肢體表達。生成嘅動作涵蓋手部、軀幹、面部表情，適合需要即時互動嘅場景，例如 AI 助手、虛擬客服、遊戲 NPC、語音驅動嘅動畫原型。

傳統動畫要先錄關鍵動作、再做 lip-sync 後製，而坊間部分開源方案往往只能控制頭部或者手部其中一樣。Motion-Omni 嘅做法係將「講嘢」同「做嘢」視為同一件事，所以動作會跟語氣、節奏同步變化，唔使額外人手調整。佢同時支援文字輸入，等開發者可以更直接控制角色行為。

對做 AI 角色、互動內容、語音動畫嘅團隊嚟講，呢種端到端做法可以慳唔少配動作同後製嘅工序，尤其適合需要快速原型嘅項目。讀者可以透過官方頁面睇影片 demo，評估生成動作嘅自然度同延遲表現，再判斷適唔適合自己嘅工作流。

重點摘要

Motion-Omni 係一個端到端多模態模型，同時輸出語音、表情同全身動作
用統一 tokenizer 加 LoRA adapter 處理語音、文本同動作 token
覆蓋頭部、手部、軀幹同面部表情，適合即時互動角色
傳統做法分開配音同配動作，呢個模型將兩者合併生成
適用於 AI 助手、虛擬客服、遊戲 NPC、語音動畫原型等場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 北京大學, AI productions, 模型, 多模態模型, Video, 框架, 語音, 動畫

Lucida：用「解析、生成、放置」三步把實景變成可編輯的模擬場景

2026 年 9 月 1 日

字節跳動 Seed 團隊把真實室內環境拆解成獨立物件資產，透過閉環姿態修正讓重建結果能直接用於模擬。

從一段真實拍攝的室內影片，要還原成可以模擬、可逐個編輯嘅場景，一直都係 3D 重建嘅痛點：擺位、遮擋同殘缺幾何往往令資產難以重用。Lucida 就係針對呢個矛盾提出嘅方案，屬於實景到模擬（real-to-sim）類嘅場景建模系統。

整個流程分成三步。第一步 Parse 揀選有用嘅關鍵幀，跨視角對應實例並建立場景圖，輸出遮擋、局部點雲同參考視圖等證據。第二步 Generate 利用每組證據合成無遮擋嘅物件影像，再提升成完整、可編輯嘅 3D 資產。第三步 Place 先粗略初始化，再用 GizmoAct 喺閉環中反覆執行姿態編輯，直到渲染結果同觀察對齊。

GizmoAct 係呢套系統嘅核心控制器，由視覺語言模型（VLM）操作 3D 編輯器，每一步根據渲染觀察、點雲疊加同正交視圖等線索，落一個可執行嘅姿態修正。同一條策略可應付由 Boxer、Any6D* 到 SAM 3D 等不同初始化，並以最多 4 個視圖同 12 步修正完成對齊。

Lucida 喺 R2S、CA-1M 同 Aria Digital Twin 數據集上都提升咗場景級 3D 物件檢測、姿態估計同完整場景重建指標。重建出嚟嘅場景以一組獨立、可編輯嘅 mesh 呈現，每件物件都準備好進入模擬階段。

對從事機器人模擬、室內數據合成或場景理解嘅團隊，呢套閉環做法比起傳統單次擬合更能容忍幾何誤差同遮擋問題，令實景資產更易直接落落去模擬器使用。

重點摘要

三步流程：Parse、Generate、Place 把實景拆解成可重用物件資產
GizmoAct 閉環修正：VLM 操作 3D 編輯器，反覆落姿態編輯直到對齊
初始化容忍度高：同一策略兼容 Boxer、Any6D*、SAM 3D 等不同起點
輸出可直接模擬：每件物件係獨立、可編輯 mesh
多數據集提升：喺 R2S、CA-1M、Aria Digital Twin 都有指標改進

項目主頁

Categories: 北京大學, 字節跳動, 視覺模型, Video, Image, 3D

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

做人體分析、互動理解或具身智能研究時，最花時間的往往不是找到單篇論文，而是整理不同任務、模態與研究社群之間的關係。Human-Centric Artificial Intelligence（Human-Centric AI）Resources 屬於開源研究資源庫，配合《Human-Centric Intelligence in the Era of Foundation Models: A Survey》，集中處理人本 AI 的文獻探索、資料集與研究基礎設施整理問題。

伴隨的 survey 以六層 human context taxonomy 串連研究脈絡，從可觀察的人體外觀與空間幾何，延伸至 dynamic actors 的動力學和互動建模，再到 situated agents、world simulation 與 embodied agency。它不會取代論文原有的實驗細節，價值在於把相關 datasets、benchmarks、evaluation metrics，以及 training 和 inference optimization strategies 放入同一個檢索框架。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 香港理工大學, 北京大學, 阿里巴巴, Agentic, 模型訓練, API, 香港, 工具, Dataset 數據集

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

資源庫並非可直接下載執行的模型或軟件，使用方式是瀏覽 GitHub 內容及項目首頁，按 Academic Knowledge、Research Infrastructure 和 Community Learning Hubs 等部分尋找材料。研究者亦可透過社群渠道提交或維護資源，因此內容會隨社群整理持續更新，但完整度和一致性仍取決於後續貢獻。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者，GitHub 資源庫和 survey 應該一併閱讀；只想立即執行模型或測試 API 的使用者，則需要另找具體實作項目。

項目主頁 · GitHub

Categories: 開源, 香港科技大學, 香港理工大學, 北京大學, 阿里巴巴, Agentic, 模型訓練, API, 香港, 工具, Dataset 數據集

HarnessEval-W 讓世界模型評測留下可核查推理鏈

2026 年 8 月 18 日

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

支援 330 個 evaluation cases、5,940 次 scored rollouts
以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, Agentic, 世界模型, 庫, Dataset 數據集, Skill 技能

HumanTracker 想解決人形動作評測失真

2026 年 8 月 18 日

影片睇落穩唔穩，未必等於關節誤差低。HumanTracker把人類偏好納入評測，補回人形動作追蹤最常被忽略的一段。

只看關節角度誤差，往往會把腳滑、落地時機錯、支撐不穩這些觀感上很明顯的問題沖淡。HumanTracker屬於資料集加評測工具類型，核心不是再做一個追蹤模型，而是替 humanoid motion tracking 建立更貼近人眼判斷的 benchmark，讓 teleoperation 與 whole-body imitation 的結果不只「數值過關」，影片也更可信。

它的價值在於同時補兩個缺口：一邊擴大測試覆蓋，另一邊重寫評分方法。項目收錄約 153 小時光學動作資料、來自 24 位專業表演者，整理成四類動作家族，專門拉開日常步態、高動態、互動動作與接地穩定性之間的差異；再用 12K human-labeled preference pairs，訓練出偏好對齊的 HumanScore，去判斷哪條 tracker trajectory 更接近人會接受的效果。

跟 MPJPE 這類逐幀 kinematic 指標相比，HumanScore 重點不在每一幀有幾準，而在整段軌跡有沒有出現長時間滑步、抖動、漂移與失去平衡。官方提供的結果顯示，HumanScore 在測試集對人類偏好的對齊率達 90.83%，比較強的傳統診斷指標高 6.78 分；README 亦保留 Succ、MPJPE 與 HumanScore 幾種分數，代表它不是取代舊指標，而是把「物理上站不站得住」這件事補回評估流程。

約 153 小時新採集 optical motion，涵蓋 25K 級別標註片段
HumanScore 來自 trajectory reward model，學的是人對整段動作的偏好
儲存庫提供 evaluation harness、HumanScore reward model 同數據處理工具
適合做人形機械人追蹤、模仿學習、teleoperation 評測的研究團隊使用

這個 GitHub 儲存庫比較像研究評測基建：重點是下載資料集、跑 evaluation harness、再用 HumanScore 與傳統指標一起看結果，而不是即開即用的終端產品。受益最大的會是做人形控制、動作追蹤與模仿策略比較的團隊，因為它能幫你分辨模型究竟只是把姿勢角度擬合得好，還是真的把接觸、穩定與動作連貫度處理好。限制也很明確：它主要提升的是評測可信度，不等於直接改善 tracker 本身能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, World-Action Model, Dataset 數據集

Page 1 of 4

1 2 3 4 Next »