InferNews

OST：可撤回串流推理的「過早下結論」

Share to X

香港大學與香港科大（廣州）團隊開源 Omni-Streaming Thinking（OST）針對解決串流影音推理中視覺先到、聲音後到的錯位問題。

Repository image for EnjunDu/OST

看串流影片做即時推理，最常見的卡位是視覺線索先到位、聲音事件卻還在展開——模型若把視覺猜測當成事實寫進記憶，後續聲音即使推翻它，舊結論仍可能一路延續下去。OST 正是針對這個「提早跨模態承諾」的失敗模式設計：每一個未解的詮釋都被記成一條 claim，附帶預期事件、指定驗證模態、證據到期時段，以及依賴它的狀態；期限一到就用對應模態的證據覆核，被推翻時連帶下修相關狀態，再由引導式解碼產出修正後的回應。

OST 以凍結的骨幹模型為基礎，所有新增的部分都是 adapter、soft prompt 或輕量 head，骨幹參數完全不會被改動。聲音與視覺各自有獨立的保留緩衝區與配額，避免高密度的視覺 token 把聲音擠出記憶；舊狀態以四向折疊收進金字塔結構，讓推理上下文維持在有界範圍內。回答閘門則會延遲輸出，直到所有影響答案的 claim 都完成覆核。

適合研究串流多模態推理、想重播或審視 claim–verify–retract 循環的團隊，會比較容易從中受益。程式碼只涵蓋推論與執行記錄，不包含訓練、評測 harness 或診斷 benchmark。

重點摘要：

  • 類型：串流影音推理的推論實作，骨幹凍結，僅加掛 adapter 與 head。
  • 核心機制：claim–verify–retract，未確認詮釋附帶驗證模態與到期時段。
  • 記憶設計：聲音與視覺分開配額，舊狀態四向折疊維持上下文有界。
  • 輸出控制：answer gate 會等到關鍵 claim 覆核完成才放行。
  • 範圍限制：僅推論，不含訓練、評測 harness 與 OST-DiagBench 資料集。

項目主頁 · GitHub · 數據集

Categories: 開源, 香港大學, 香港科技大學, Agentic, AI productions, 模型, 多模態模型, 模型訓練, Video, Audio, 香港, Dataset 數據集

YuE2 用樂譜做中介 把 AI 寫歌變成可改寫的工序

Share to X

由香港科大 M·A·P 團隊推出的 YuE2，把歌詞與風格提示先轉成旋律與和弦樂譜，再渲染成完整歌曲。比起直接端出成品的做法，這條路線讓編曲、翻唱與代理編輯都變得可介入。

YuE

AI 寫歌工具多數只給你一首成品，YuE2 想處理的是另一個問題：怎樣讓生成過程本身可被人讀懂和修改。M·A·P 與港科大的團隊把流程拆成兩步，先用歌詞加風格提示寫出一份旋律與和弦計劃，再用同一個模型把樂譜變成帶人聲與伴奏的完整歌曲。

Melody 和 chord 不再藏在黑盒裡，而是可以預覽、試播，甚至交給人或 AI 代理去修改。這意味著同一個 checkpoint 可以同時做三件事：從零寫歌、把一段錄音轉成新風格的翻唱、以及透過對話逐步修編曲與歌詞。零樣本翻唱與代理式編輯不再需要切換不同模型。

當多數音樂生成模型只能交出一條「不能再拆」的音檔時，YuE2 走出了一條比較少見的路：它先把歌詞和風格提示轉成一份明確的樂譜與和弦藍圖，再用那份藍圖去唱出完整歌曲。等於把創作流程切成「規劃」和「演奏」兩段，而那份中間的樂譜本身就是可讀、可播、可改的物件，創作者或 AI 代理都能直接在上面動手。

开源翻唱音乐模型-YuE2:你的专业程度=模型上限，没有suno的各种限制。演示《Butterfly》。
YuE2 in ComfyUI: AI Music with an Editable Piano Roll

衡量歌曲品質的 WildSongBench 上，YuE2 best-of-8 取得 6.9632 平均分，是目前該榜觀察到的最高均值，並在多個面向與 Suno v5/v6 拉成均勢。它不只追求像 Suno，而是把 Suno 做不到的那一步：讓成品背後的樂譜可被檢視與修改，當作核心能力。

獨立音樂人、編曲助理、以及想把 AI 寫歌串進更長工作流的開發者，都是比較直接的使用者。代理式編輯對於要快速試不同編曲方向、需要保留人聲或旋律骨幹再重做風格的場景特別有用。

重點摘要

  • 先樂譜後音效：歌詞與風格提示先產出 melody 與 chord 計劃，再渲染成完整歌曲
  • WildSongBench 最佳均值：YuE2 best-of-8 取得 6.9632 分，與 Suno v5/v6 在多個面向拉成均勢
  • White-box 控制：樂譜可預覽、可試播、可交由人或代理修改
  • 零樣本翻唱：同一個 checkpoint 支援把轉錄樂譜換成新風格詮釋
  • 代理式編輯：可用對話方式逐步修編曲、歌詞與編排

入門方面，項目提供 Hugging Face 上的 YuE2-3B 權重、Demos 頁面，以及 Discord 社群。舊版 YuE 的程式碼與授權保留在 YuE-v1 分支，方便比對兩代做法差異。

項目主頁 · GitHub · 模型

Categories: 開源, 香港科技大學, 模型, 多模態模型, 工具, 音樂, 廣東話

OpenWAM-α 把世界模型與動作模型拆開重組

Share to X

來自XPolicyLab等團隊的開源研究棧OpenWAM，把世界–動作模型（World-Action Models）拆解成可替換模組，並以約6,400小時第一人稱與機器人資料訓練出OpenWAM-α，在八個模擬基準與真機實驗均取得頂尖表現。

OpenWAM

如果你是做機器人策略或世界模型研究，大概都有過這種經驗：想換一個視覺編碼器、想試不同動作頭的耦合方式，結果整個訓練流程都要重寫，因為生成骨幹、視覺表示、架構、推論步驟和訓練資料全綁在一起。OpenWAM正是針對這種「綁死」的痛點而來。它是一個開源研究棧，把世界–動作模型（World-Action Models，簡稱WAMs）的設計空間拆成可組合模組，並用統一介面串接訓練、推論、部署與評估。

這個項目分成三層。OpenWAM-Infra提供模組化基礎設施，讓研究者可以像堆積木一樣替換模型、表示、訓練與評估設定；OpenWAM-Study則透過控制變量實驗，回答三個核心問題：應該從什麼預訓練骨幹繼承知識、世界學習與動作學習如何耦合、以及兩者如何隨規模擴展。基於這些結論，作者訓練出OpenWAM-α，一個以約6,400小時（5.185億幀）第一人稱人類與機器人資料預訓練的開放模型，並在涵蓋單臂、雙臂到靈巧手的八個模擬基準，以及真機實驗中維持頂尖水準。

架構由Hydra配置檔驅動，預設採用wan22 ti2v 5B作為影片骨幹，並搭配獨立的動作頭（如ActionDiT或共享動作骨幹），視覺編碼器則可在VAE、DINOv3、V-JEPA 2.1之間切換。基準測試覆蓋RoboTwin、LIBERO、LIBERO-plus、RoboCasa365、RoboCasa GR1、VLABench等主流環境，研究者可以直接用提供的評估客戶端跑對比。

  • 定位：開源研究棧，專門解決世界–動作模型設計選擇難以分離比較的問題
  • 核心貢獻：把生成骨幹、動作頭、視覺表示等模組化，並用控制實驗歸納出三條設計原則
  • 預訓練模型：OpenWAM-α基於約6,400小時第一人稱與機器人資料訓練，在八個模擬基準及真機均表現頂尖
  • 適用對象：機器人策略學習、世界模型研究團隊，以及需要可重現基準對比環境的從業者
  • 配套資源：模型已上傳Hugging Face，並提供完整的訓練、推論、部署腳本

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港大學, 模型, 世界模型, 模型訓練, Video, World-Action Model, 庫, Dataset 數據集

TANGO：人形機器人穿越凌亂房間，全靠語言指令

Share to X

TANGO 是一個讓人形機器人聽到自然語言指令後，自動調整手腳、軀幹與步態避開雜物的全身控制框架，可以理解成把機械人導航從「會走」升級成「會穿過沙發底下」。

TANGO architecture and data-generation pipeline.

如果叫一部人形機械人從客廳走到廚房，但途中堆滿紙箱、雜物、窄縫，一般導航演算法只懂「規劃路徑」，對它來說幾乎等於廢武功，因為雙腳、雙手、腰部其實要邊行邊配合地形郁動。TANGO（whole-body Vision-Language-Action model）正正為這種場景而設計：收到一句自然語言指令，加上前置與向下望的 RGB 影像後，模型直接輸出 29 個自由度（29-DoF）的全身關節角度，配合 6D 底盤旋轉表示，令機械人能夠一邊行、一邊擺手收腹避開障礙。

訓練數據全部來自模擬器，背後有一套名為 Plan-Edit-Track 的流水線：先用全局路徑規劃，再做全身逆向運動學（Kinematics）動作生成，接住用障礙感知編輯避開擺位，最後用強化學習追蹤確保動作真實做得出嚟。訓練集基於 VLNVerse 與 SAGE-3D 場景，再加入側向、貼地、頂部等多類障礙，務求貼近真實家居亂況。

TANGO💃🏻 Humanoid Navigation in Cluttered Environments with a Whole-Body Vision-Language-Action Model

模型結構本身亦幾講究：底層係一個 70 億參數（7B）的視覺語言骨幹，配搭一個用 flow-matching（流匹配）訓練嘅 MM-DiT（Multi-Modal Diffusion Transformer，多模態擴散 Transformer）動作專家，再加一個低階全身追蹤器負責即時執行。部署時 VLA（Vision-Language-Action，視覺語言動作）模型喺伺服器低頻運行，追蹤器喺機械人 onboard 高頻運行，做到實時反應。

實驗結果方面，TANGO 喺模擬與真機測試都提升咗語言導航表現，最重要係零樣本遷移（zero-shot transfer）直接落 Unitree G1（宇樹 G1）人形機械人，唔使額外真實數據再訓練。對研究 VLA、機器人導航或人形機械人部署嘅團隊嚟講，呢套 pipeline 連數據生成到模型結構都幾值得拆解。

重點摘要：
– 語言指令直接對應全身 29-DoF 動作，涵蓋手、軀幹、步態協調
– Plan-Edit-Track 流水線全模擬訓練，配合 VLNVerse 與 SAGE-3D 場景生成
– 採用 7B 視覺語言骨幹 + flow-matching MM-DiT 動作專家雙模組設計
– 伺服器跑 VLA、機械人 onboard 跑追蹤器，支援實時控制
– 零樣本遷移至 Unitree G1，無需真實訓練數據

項目主頁

Categories: 香港大學, 模型, 視覺模型, 多模態模型, 模型訓練, Video, VLA, Robotic, 框架, Dataset 數據集

CosmoH2G 將人手示範轉成機械夾具軌跡

Share to X

CosmoH2G 針對旋轉、翻轉等複雜空間動作，把人手示範轉換成機械夾具可執行的軌跡；其資料集包含 6,189 組配對示範。

dataset

人手示範雖然直觀，但當動作包含旋轉、翻轉或複雜空間路徑時，機械夾具往往難以直接模仿。CosmoH2G 是一套面向機械人操作的資料集與基準方法，專門處理 hand-to-gripper transfer：研究團隊同步記錄人手和手持機械夾具的動作，建立可配對的 RGB-D、3D 物件點雲、手部網格及夾具動作資料。

資料集共有 6,189 個配對示範、涵蓋 1,254 件物件，規模足以支援複雜空間操作的研究。與只適合平面移動的做法相比，CosmoH2G 把重點放在細緻的手部姿勢和空間運動，並以手持夾具示範減少人與機械裝置之間的動作轉換落差。

方法分兩階段處理完整軌跡。Stage I 先預測起點和終點等稀疏關鍵幀，把複雜動作濃縮成較容易學習的目標；Stage II 再以關鍵幀為條件生成連續的夾具姿態序列。系統亦保留夾具姿態的學習結果，再利用抓取啟發式與運動學一致性修正位置，減少旋轉和翻轉過程中的累積偏差。

在模擬及真實機械人實驗中，能穩定轉移旋轉等複雜動作，並明顯勝過傳統基準。適合研究機械人模仿學習、操作資料集、3D 手部追蹤，以及需要處理非平面夾具運動的團隊。程式碼和資料集在項目網站標示為即將推出，現階段較適合先評估方法和收集流程，部署細節仍要等官方發佈。

  • 6,189 組人手與夾具配對示範，涵蓋 1,254 件物件。
  • 專注旋轉、翻轉和其他細緻空間軌跡，而非平面搬運。
  • 兩階段先學關鍵幀，再生成完整連續動作。
  • 以抓取啟發式和運動學一致性降低累積漂移。
  • 適合機械人模仿學習、資料集研究及操作策略開發。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 視覺模型, 模型訓練, Robotic, 3D, Dataset 數據集

Mask Forcing：雙重遮罩幫影片擴散模型

Share to X

Mask Forcing 針對自回歸影片擴散蒸餾中嘅模式塌縮問題，利用雙重雜訊遮罩嘅 rollout 策略，令學生模型分佈覆蓋更多教師模式，同時唔使額外影片資料或後訓練。

Mask Forcing pipeline

用 DMD（Distribution Matching Distillation）把雙向影片擴散模型蒸餾成自回歸（AR）學生模型時，影片往往出現過度飽和同過度平滑嘅情況，背後成因係 reverse-KL 目標嘅 mode-seeking 傾向，令學生分佈容易塌縮到教師模型嘅少數模式之上。Mask Forcing 嘅切入點正正係呢個矛盾：佢喺 AR 蒸餾嘅 self-rollout 過程中，沿空間同時間軸隨機遮罩、注入較乾淨嘅 token，藉此擾動 rollout 軌跡，令學生有機會探索教師分佈嘅更多區域。

呢個做法同時帶來兩個好處：擾動令 DMD 嘅學習訊號唔再局限於學生已經覆蓋嘅模式；而較乾淨嘅 token 亦可以作為引導，協助同一 chunk 入面較嘈雜嘅 token 去噪，等中間過渡更穩定，從而減少錯誤喺後續 denoising step 同 chunk 之間累積。整個方法唔需要真實影片監督、唔需要額外後訓練階段，亦唔會增加推論成本，純粹改動訓練期嘅 rollout。

Mask Forcing 屬於一種蒸餾增強策略，主要服務於想把 AR 影片生成做快、但又想避開 DMD 視覺質素下降嘅團隊，例如做實時或近實時影片生成嘅研究同產品線。佢同一般做法嘅取捨清晰：放棄模式集中所帶來嘅短期穩定，換取分佈多樣性同中間步預測嘅可靠性。

  • 針對 AR 影片擴散蒸餾中 DMD 嘅 mode-seeking 問題，用雙重雜訊遮罩擾動 rollout
  • 不需真實影片監督或額外後訓練階段，唔改動推論流程
  • 令學生分佈覆蓋更多教師模式，並以較乾淨 token 引導較嘈雜 token 去噪
  • 適用於追求實時影片生成、又想提升視覺質素嘅研究同產品場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 香港科技大學, AI productions, 模型, 模型訓練, Video, 影像模型

Motion-Omni：「講嘢」同「做嘢」視為同一件事，直接生成全身動作

Share to X

Motion-Omni 把語音和全身動作綁在同一個模型，講一句話就能即時生成對應嘅身體動作、表情同手势，適合需要邊講邊做嘅虛擬角色。

Motion-Omni framework

試過睇虛擬角色傾偈，個口形郁但身體硬晒，或者要逐段人手配動作？Motion-Omni 想解決嘅就係呢種「聲有、體無」嘅唔自然感。佢係一個端到端嘅多模態模型，輸入一段語音，輸出唔只有語音本身，仲有頭部、表情、手势以至全身姿態，全部喺同一個框架一齊生成，避免傳統做法分開處理再硬砌嘅斷裂感。

Motion-Omni 用咗一個統一嘅 tokenizer 把語音、文本同動作 token 化，配合 LoRA（Low-Rank Adaptation）adapter 等輕量微調技術，令模型可以同時學語音同肢體表達。生成嘅動作涵蓋手部、軀幹、面部表情，適合需要即時互動嘅場景，例如 AI 助手、虛擬客服、遊戲 NPC、語音驅動嘅動畫原型。

傳統動畫要先錄關鍵動作、再做 lip-sync 後製，而坊間部分開源方案往往只能控制頭部或者手部其中一樣。Motion-Omni 嘅做法係將「講嘢」同「做嘢」視為同一件事，所以動作會跟語氣、節奏同步變化，唔使額外人手調整。佢同時支援文字輸入，等開發者可以更直接控制角色行為。

對做 AI 角色、互動內容、語音動畫嘅團隊嚟講，呢種端到端做法可以慳唔少配動作同後製嘅工序，尤其適合需要快速原型嘅項目。讀者可以透過官方頁面睇影片 demo，評估生成動作嘅自然度同延遲表現，再判斷適唔適合自己嘅工作流。

重點摘要

  • Motion-Omni 係一個端到端多模態模型，同時輸出語音、表情同全身動作
  • 用統一 tokenizer 加 LoRA adapter 處理語音、文本同動作 token
  • 覆蓋頭部、手部、軀幹同面部表情，適合即時互動角色
  • 傳統做法分開配音同配動作，呢個模型將兩者合併生成
  • 適用於 AI 助手、虛擬客服、遊戲 NPC、語音動畫原型等場景

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 北京大學, AI productions, 模型, 多模態模型, Video, 框架, 語音, 動畫

SolarWM 開放視頻世界模型全流程基建

Share to X

SolarWM 不只公開模型權重，連數據處理、訓練流程和長時推理方法一併開放，目標是降低互動式視頻世界模型的研究門檻。

SolarWM teaser: one framework for diverse interactive worlds

從數秒訓練片段推演出長達數分鐘甚至更長時間的互動視頻，一直是世界模型（World Model）發展中的難題。SolarWM 把焦點放在整個研發鏈條，而不只是單一模型，結合開放數據管線、訓練框架與推理流程，形成一個面向互動式視頻世界模型的完整研究基礎設施。

項目屬於世界模型訓練框架與開放研究基建，處理的問題是如何把不同來源的視頻資料整理成一致格式，並在不同模型骨幹之間建立可擴展的長時推理能力。團隊將來自 14 個資料集、約 143 萬段影片統一整理，讓資料準備與訓練配方可以分離，研究人員毋須重複建立資料處理流程。

與許多只圍繞單一架構設計的方法不同，SolarWM 強調保留原生骨幹能力，同時支援 Wan2.2、LTX-2.5 與 MiniMax-H3 等不同模型家族，涵蓋 5B 至 33B 規模。研究團隊提出三階段訓練流程，包括雙向適應、結合 AnyFlow 的教師強制訓練，以及長時互動推理策略，希望在不依賴超長訓練影片的情況下維持世界演化一致性。

  • 開放釋出資料處理管線、資料集及模型權重
  • 支援多個主流視頻生成骨幹，而非綁定單一架構
  • 利用約五秒片段訓練，目標達成分鐘級甚至小時級推理
  • 涵蓋 143 萬段影片與約 25TB 數據規模
  • 提供可重組資料配方與不同訓練策略組合

適合世界模型研究團隊、互動式模擬系統開發者，以及探索 World-Action Model 與長時視頻生成的學術機構。SolarWM 的價值不只在單次生成效果，而在於把過往難以重現的資料處理和訓練步驟公開，讓不同研究單位更容易比較方法與建立可重複驗證的實驗流程。長時間推理的一致性仍有待更多公開基準驗證，但這套框架已經把世界模型研究由單一模型競賽推向完整基礎設施層面。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, 世界模型, 模型訓練, NVIDIA, World-Action Model, 3D, LTX, Dataset 數據集, MiniMax

LayerRecall 讓長影片生成記得返之前嘅角色

Share to X

長影片 AI 最怕隔咗一段就認唔返角色同場景，LayerRecall 用記憶路由加選擇性注入，只喺敏感層補返歷史 K/V，效果贏過 MemoBench 同 MovieBench。

Memory Cue Recall animated preview

用 autoregressive 方式逐段砌長片，視窗一滑過去就會連角色同場景都一齊唔見——LayerRecall 就係針對呢個痛點。佢屬於記憶路由模組，唔係新模型，定位係加喺現有影片 DiT 上面做補強。當一段 chunk 入面出現需要回憶嘅元素（例如主角、服飾、場景）時，佢會用 current-conditioned 嘅方式去 historical candidate pool 做 cosine retrieval，搵到相關嘅 K/V state 之後再注入返去揀過嘅記憶敏感層，例如 4、9、10、12、13、15、16、17、18、26 等。其餘本地 attention 就照舊行，唔會因為補歷史資料而擾亂局部連貫性。

想理解點解要分層注入，研究發現唔同 layer 對「當下」「近期」「遠距」context 嘅依賑差好遠，所以亂餵歷史 token 反而會害咗本地一致性。配合嘅 KV cache budget 大約係 80 個 latent frames，本地 attention 32 幀，當中 8 幀做 sink、8 幀做 current chunk。訓練上仲用咗 Cross-Horizon Prediction Matching（CHPM），由一段長 context reference 喺 prediction space 監督呢個有界嘅 router，等佢喺稀缺長片數據下都學到幾時去 recall 乜嘢。

100 條多 shot prompt 評估入面，LayerRecall 喺 MemoBench 同 MovieBench 攞到最佳綜合結果，VBench-Long 維持返 backbone 水準，可見長距離回復做得好而本地連貫無受犧牲。論文仲展示咗 memory-guided self-correction，模型會主動糾正返之前嘅錯處。

重點摘要

  • 屬於記憶路由模組，設計上要喺現有影片 DiT 上加掛
  • 只喺 memory-sensitive 層注入歷史 K/V，其他層保持本地 attention
  • 訓練用 CHPM，用長 context reference 喺 prediction space 監督 router
  • MemoBench 同 MovieBench 綜合表現領先，VBench-Long 維持 backbone 水準
  • 適合做多鏡頭、跨時間角色同場景一致性嘅長影片生成工作

呢類工具對做長片創作、廣告分鏡或者角色需要反覆出場嘅團隊會幾實用；研究人員亦可以睇佢點樣將「selective injection」呢個取捨由啟發式變成可學習路由。

項目主頁 · GitHub

Categories: 開源, 香港大學, 視頻模型, 香港

UrbanGround 開源：真實香港城市級 3D 沙盒多模態智能體

Share to X

UrbanGround 是一個以香港全境 3D 地理數據搭建的城市級模擬環境，可直接用第一人稱遊玩，亦可讓 MLLM 智能體透過程式介面操作同一個世界。

UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City

UrbanGround 由一個學術團隊在 GitHub 上開源，整個項目的野心在於把「真實城市規模」這件事帶進多模態智能體（Multimodal Large Language Model, MLLM）的研究裡。它以香港的 3D Visualisation Map 為底層地理數據，搭配 Unity 場景提供第一人稱連續移動、碰撞與日夜、天氣、行人等動態變化，使用者可以直接以 WASD 鍵盤操作在城市裡行走、爬樓梯、找地點、切換視角，亦可以交由 AI 智能體透過程式介面（HTTP API）取得 RGB 觀察、物理動作與地圖資訊，自行決策。

這個環境和過往以小型合成場景或封閉遊戲引擎為主的做法相比，核心差異在於「規模」與「真實地理閉環」：智能體看到的不是抽象方塊，而是一座真實城市的街道、樓宇、地形，並且觀察、動作、地圖三者來自同一個介面，方便研究者設計貼近真實導航、空間感知與任務規劃的測試。整個項目同時釋出網頁版、macOS、Windows 與 Linux 原生版本，並附上多個由五個能力層級組成的評測任務，供 MLLM 在感知與行動兩端做系統性比較。

對研究 MLLM 空間智能、城市導航或數字孿生的團隊來說，UrbanGround 提供了一個比手工搭建的小場景更貼近現實的測試場；對一般玩家或開發者而言，它也是一個能在瀏覽器直接探索香港街景的實驗性沙盒。需要留意的是，網頁版首次載入完整 Unity 場景在繁忙時段或慢速網絡下需時約 3 至 5 分鐘，作者建議從 GitHub 下載並在本地網絡提供 tile 數據以加快速度。目前場景仍有「模糊或不完整幾何」以及「車輛與行人種類有限」等已知限制，相關修正在路線圖中。

重點摘要：

  • 真實城市規模：以香港全境 3D 地理數據驅動，非抽象小型合成場景。
  • 雙操作介面：第一人稱玩家與 MLLM 智能體共享同一套 RGB 觀察與動作 API。
  • 跨平台發佈：提供網頁版與 macOS、Windows、Linux 原生應用。
  • 結構化評測：內建多層級任務，用於量度多模態智能體在感知與行動上的能力。
  • 已知限制：場景幾何仍有缺損，車輛與行人種類待擴充。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 多模態模型, API, 香港, Mac, 3D, Linux, Dataset 數據集
Page 1 of 15
1 2 3 … 15