InferNews

ComfyUI-DLSS5-Enhancer：強化影片材質細節

Share to X

呢個 ComfyUI 節點包直接調用原生 D3D12 渲染管線，把遊戲級嘅 DLSS 5 Neural Rendering 套到影片幀上面，重建皮膚、頭髮同布料嘅材質反應，而不只是銳化。

Repository image for Blueforcer/ComfyUI-DLSS5-Enhancer

一般後製銳化或 AI upscale 工具處理嘅多數係邊緣同紋理，皮膚嘅次表面散射、頭髮嘅光線穿透呢類材質反應好難靠濾鏡模擬。Blueforcer/ComfyUI-DLSS5-Enhancer 選擇咗另一條路：將 ComfyUI 內部嘅 RGBA8 幀傳去一個原生 D3D12 worker，由 ReShade 載體配合 RenoDX DLSS 5 add-on 觸發 NGX feature 18，重建完再送返 ComfyUI，仲支援 1.5x 到 3x 升頻。影片本身冇 motion vectors，佢哋用 OpenCV DIS 做稠密光流逐幀估算，並喺場景切換時自動重置 history，等渲染器唔會將錯誤嘅時序資料傳入去。

呢個項目嘅類型係工具 / 節點包，定位好明確：畀 ComfyUI 用戶喺影像同影片工作流直接用 DLSS 5 嘅神經渲染器。佢唔係一個自帶模型嘅外掛，神經組件係 NVIDIA、ReShade、RenoDX 嘅原生 binary，呢個 repo 只負責實作 client side 嘅二進制協議，包括 session 建立、解像度協商、幀序、取消同診斷。

NVIDIA DLSS 5 In ComfyUI Changes EVERYTHING! Full Setup Guide

硬件要求 NVIDIA RTX 50 系列原生支援，透過社區 runtime 可以喺 RTX 40 同 30 上面跑，RTX 20 或更早直接拒絕。ComfyUI 需要 V3 node API（comfy_api.latest），Python 依賴 numpy、av 同 OpenCV，ComfyUI portable 通常已經內建。

幾個重要限制：nr intensity 鎖死喺 1.0，1.0、1.5、2.0 嘅輸出 bit identical；skin structure strength 必須開啟 automatic mask 先有效，閂咗之後所有皮膚參數都唔再產生變化；nr preset 喺任何數值下都係 bit identical。只有 local structure strength 同 local tone strength 係全程範圍真正可調。預設、J、K 幾個 dlss model preset 嘅源幀 detail energy 大約喺 0.56x 左右，呢個唔係銳化工具想要嘅走向，反映嘅係材質重建比邊緣強化重要嘅設計取向。

適合已經用 ComfyUI 做影片後製、CG 合成、AI 動畫修復或者數字人相關工作嘅團隊同個人創作，尤其係想處理 skin、hair、fabric 呢類容易被傳統濾鏡抹平嘅材質細節嘅場景。留意到嘅限制係 GPU 受限於 NVIDIA，而且沒有 Python API，調用方式只能透過 ComfyUI 節點流程。

GitHub

Categories: 開源, ComfyUI, AI productions, 數字人, NVIDIA, API, Video, Image, 工具, 3D, Python, 動畫

騰訊混元開源 AuK：1.5B 模型統一語音生成與編輯

Share to X

騰訊混元把零樣本 TTS、語音編輯、分離與增強收進同一個自然語言指令介面，並同步釋出追求速度的蒸餾版本 AuK-Flash。

AuK performance across speech generation, editing, enhancement, and separation benchmarks

語音模型一直存在一個尷尬：零樣本合成、語音克隆、音色替換、分離、降噪往往是幾套獨立系統，要串起來就得堆 pipeline。騰訊 Hunyuan 開源的 AuK 想打破這個分工，以 1.5B 參數的基礎模型為核心，讓一句自然語言指令直接對應到編輯後或生成的音訊。

AuK 由三部分組成：負責語義條件的多模態語言模型、提供聲學潛在空間的 50 Hz VAE，以及一個混合 rectified-flow Transformer，用雙流 MMDiT 塊融合兩種條件後再做單流 DiT 生成。訓練數據規模相當可觀——約 30.3 億條指令-音訊配對，加上約 195 萬小時的有效監督，覆蓋五大任務族：語音生成、內容編輯、增強與分離、副語言資訊編輯、聲學編輯。

同步釋出的 AuK-Flash 走速度路線：透過一致性初始化加上任務路由的 Decoupled DMD 蒸餾，做到 NFE=4、無 CFG 的 4 步推論，官方指在匹配條件下對比完整 AuK 有約 4.5 倍 wall-clock 加速，質量接近教師模型。這個分層策略對需要即時語音生成的應用場景（如對話 agent、實時配音）有直接意義。

部署層面，官方同時提供 Hugging Face Space、ModelScope Space、Gradio 互動介面、ComfyUI 節點、Python API，以及 uv 和 Conda 兩種依賴管理方式，並已獲 SGLang-Omni Day 0 支援。對於本地資源有限的團隊，AuK-Flash 配合 SGLang-Omni 是較合理的切入點；如果追求最高質量、且不在意推論延遲，則可選 AuK Base，並透過可配置的 NFE 與 CFG 做品質/速度取捨。

重點摘要：

  • 1.5B 統一模型：用自然語言指令統一零樣本 TTS、語音編輯、分離、增強、副語言與聲學編輯。
  • 三模組架構：多模態語言模型 + 50 Hz 音訊 VAE + 混合 rectified-flow Transformer，採雙流 MMDiT 接單流 DiT。
  • AuK-Flash 蒸餾：一致性初始化 + 任務路由 DMD，4 步推論無需 CFG，wall-clock 加速約 4.5 倍。
  • 後訓練策略：語音生成用獎勵強化學習，開放式編輯用人類偏好優化。
  • 部署支援完整：Hugging Face、ModelScope、Gradio、ComfyUI、Python API、SGLang-Omni 齊備。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, 文字轉語音, ComfyUI, Agentic, 模型, 多模態模型, 模型訓練, API, Audio, Python, 語音

FireRedTTS3：廣東話與各地方言內容創作，覆蓋 24 種語言與 21 種方言

Share to X

FireRedTTS3 是把零樣本克隆、語音編輯、聲線設計整合進同一個模型的開源 TTS 項目，支援 24 種語言及 21 種中文方言，亦可純靠文字描述生成全新聲音。

做多語言配音或本地化短片時，最麻煩往往不是翻譯，而是要為每種語言找一個聽起來自然的聲線，又要顧及四川話、閩南話、上海話等方言差異。FireRedTTS3 想處理的就是這個矛盾：它是一個統一式的語音生成框架，把零樣本聲線克隆、語音編輯、以自然語言設計全新聲線三件事放在同一個模型裡，靠的是語義增強的連續語音表徵。

項目分兩個版本。FireRedTTS3-Base 主打多語言克隆，覆蓋 24 種語言（包括粵語在內）以及 21 種中文方言；FireRedTTS3-Instruct 則做到純文字驅動的聲線設計，不需參考音頻，只要描述性別、年齡、音色、語速等特徵，就能合成全新聲音，並且支援語義層與聲學層的自由形式編輯，例如改寫某段對話、調整語速或音量。

相對同類做法，它的差異在於把克隆、編輯、聲線設計整合成單一流程，而非各自獨立訓練模型。在 MiniMax-MLS-Test 上平均 WER/CER 約 3.754%、說話人相似度約 84.8%；在 Seed-TTS-eval 上克隆 WER/CER 約 3.04%、相似度約 78.8%，從公開數字看在多語言與中文方言任務都做到當前較高的水準。

本地配音、廣東話與各地方言內容創作、Podcast 或短影片自動化產出，以及需要快速原型不同聲線的產品團隊，都比較容易受惠。程式碼以 PyTorch 開源，模型已上架 Hugging Face 與 ModelScope，可透過 Python API 呼叫，亦提供 Instruct API 處理聲線設計與編輯。

重點摘要：

  • 多語言零樣本克隆：覆蓋 24 種語言及 21 種中文方言，包括粵語、四川話、上海話、福建話等。
  • 統一語音生成框架：把克隆、聲線設計、語音編輯整合在同一模型內，避免切換多套工具。
  • 純文字聲線設計：以自然語言描述性別、年齡、情緒等特徵即可合成全新聲音，無需參考音頻。
  • 自由形式語音編輯：支援語義層改寫（插入、刪除、替換）及聲學層調整（語速、音量、音調）。
  • 開源易取用：PyTorch 實作、Apache 2.0 授權，模型於 Hugging Face 與 ModelScope 提供下載。

GitHub · 模型

Categories: 開源, 文字轉語音, AI productions, 模型, API, Video, Audio, 語音, 廣東話

Perplexity 開源 Lily：Mac 本地推理專用提速引擎

Share to X

Perplexity 推出針對 Apple Silicon 與 Qwen3.6-35B-A3B 的本地推論引擎 Lily，繞過 PyTorch 與 MLX，以 Rust 和自訂 Metal kernels 改善預填充及解碼效率。

Repository image for perplexityai/pplx-garden

當大型模型開始負責處理 Mac 上的私人檔案與應用程式，本地推論速度就不再只是開發者實驗的指標。Perplexity 開源嘅 pplx-garden 入面，Lily 以工具項目形式處理 Apple Silicon 上 Qwen3.6-35B-A3B 的推論，目標係令提示詞處理及文字生成更快，並透過 OpenAI-compatible HTTP API 串接聊天流程。

Lily 唔似 MLX-LM 般追求支援多款模型，而係集中服務 Qwen3.6-35B-A3B：Rust runtime 負責載入 checkpoint、管理 session state 同生成迴圈，自訂 Metal kernels 就處理模型特定運算。呢種單一進程、模型與 runtime 共同協調嘅做法，減少通用 kernel 帶來嘅額外調度，亦避開 PyTorch 和 MLX execution path。

pplx-garden 不只是 Mac 本地推論工具。fabric-lib 提供 RDMA TransferEngine，同時涵蓋 P2P MoE dispatch 與 combine kernel；pplx-unigram 則係針對 Unigram tokenizer 嘅 CPU encoder。相關內容亦包括 trillion-parameter model 喺 AWS EFA 上嘅部署，以及 RL post-training 權重轉移、分離式 prefill 和 decode 等系統研究，顯示儲存庫涵蓋由裝置端推論到分散式 LLM infrastructure 嘅多個瓶頸。

適合需要喺 Mac 處理敏感資料、又希望保留本地生成能力嘅開發者及研究團隊；需要 RDMA、MoE 溝通或 tokenizer 優化嘅系統工程人員亦可參考相關元件。現有資料集中講述 Lily 分別量度 prefill throughput 同 decode throughput。

重點摘要：
– Lily 專為 Apple Silicon 與 Qwen3.6-35B-A3B 設計，支援 OpenAI-compatible HTTP API。
– 以 Rust runtime 配合自訂 Metal kernels，分開處理 prefill 同 decode。
– 不經 PyTorch 或 MLX execution path，代價係模型及硬件支援範圍較專門。
– fabric-lib 同 p2p-all-to-all 面向 RDMA、MoE dispatch 與 combine 等分散式推論問題。
– 效能應按裝置、上下文及生成負載實測，不能只依賴官方定位作比較。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, Qwen, OpenAI, API, 提示詞, 工具, Mac, Python, 庫, 蘋果, Dataset 數據集

MiniMax H3 Director Studio：Windows 本地模型做 AI 影片前期製作

Share to X

Director Studio 是一個本地優先的前期製作工作空間，串接 Ollama 規劃鏡頭、ComfyUI 生成畫面，再交由 MiniMax H3 出片，特別適合想完全控制創作流程的獨立創作者。

Repository image for ai2764/Director-Studio

想在本地完成 AI 影片從構思到成片的整條前期流程，而不依賴雲端訂閱？Director Studio 正是針對這個需求的工作空間類工具。它把鏡頭規劃、可重用的視覺與語音資產管理、以及 MiniMax H3 Ref2AV 提示詞撰寫，整合在同一個介面內，最後透過 ComfyUI 與 MCP 協議生成圖像與影片。

與一般 ComfyUI 前端不同，它把「規劃 Agent」綁定在本地 Ollama 上運行，並與 ComfyUI 共享 VRAM，避免兩者搶顯存。用戶可以選擇全本地流程，亦能把 H3 影片交給官方 MiniMax API 處理，兼顧靈活與效能。內建的 typed asset library、演員與場景工作流、可編輯的 Picture/Audio 參考、以及六段式 H3 提示詞結構，讓鏡頭設計不再是憑感覺亂試。

Qwen3.8 27B Directs H3 | Director Studio Is Now Open Source

對於獨立創作者、小型製作團隊，或需要反覆迭代鏡頭分鏡的人，這套工作流省下了在不同工具間切換的成本。Windows 用戶只要安裝 Ollama、ComfyUI Desktop 與 Python 3.10+，再解壓官方 zip 即可透過 DirectorStudio.exe 啟動，所有資料儲存在執行檔旁的 data 目錄，方便升級前備份。

採用 FastAPI 後端配合 Vite + React 前端，規劃 LLM 透過 Ollama 執行，生成層則透過 ComfyUI MCP 串接。架構與擴展點已在 docs/ARCHITECTURE.md 說明，適合想自行修改管線的進階用戶。

需要注意，VRAM 是這套系統的瓶頸：Ollama 與 ComfyUI 需共享顯存，若要同時運行大型本地模型與高解像度影片工作流，硬體門檻不低。對於偏好全雲端、或無獨立顯卡的用戶，這套方案未必比 SaaS 工具方便。

GitHub

Categories: 開源, ComfyUI, Agentic, AI productions, MCP, 模型, 多模態模型, API, Video, Image, Audio, 工具, Content Creator, Ollama, Python, 庫, MiniMax

Qwen-Audio Realtime API 上線：以 WebSocket 即時串接語音對話

Share to X

阿里巴巴雲 Model Studio 推出 Qwen-Audio Realtime API，用 WebSocket 串流處理語音輸入與輸出，支援 VAD 偵測與雙向文字回傳，適合即時語音助理開發。

Og image

想在應用程式裡加入即時語音對話，但又不想自己串接一堆音訊前處理、ASR、TTS 的流程？阿里巴巴雲 Model Studio 這次直接把 Qwen-Audio 做成可即時呼叫的 Realtime API，開發者只要透過 WebSocket 連線，就能處理語音輸入、文字輸入，並即時收到串流音訊與文字回應。

這個 API 的設計重點在於「一條連線做完整件事」。客戶端與伺服器以 JSON 事件雙向溝通，支援語音活動偵測（VAD），讓系統知道用戶何時開始與結束說話，省去自行判斷靜音的麻煩。對話中的每一則訊息會以 conversation item 形式保存，整個 session（即一條 WebSocket 連線）則負責維護設定與上下文狀態。

服務端點分為中國（北京）與新加坡兩個區域，皆已改用 workspace-specific 專屬網域，官方表示穩定度與推論表現都比原本的共用網域更好。連線時需使用 wss:// 協定，並在 request header 帶上 Authorization: Bearer <your_api_key>，API key 會在 WebSocket 握手階段驗證，若無效會直接回 HTTP 401/403。

若你的項目是語音助理、即時翻譯、客服 robot 或電話自動化，會感受到整合成本明顯降低——不用分別串 ASR、LLM、TTS，只要管理好 WebSocket 的事件流即可。舊網域雖然仍可用，但官方強烈建議遷移至新網域以取得更佳體驗。

重點摘要

  • 即時雙向串流：WebSocket 連線同時處理音訊輸入與串流輸出，搭配 VAD 自動偵測語音起止。
  • JSON 事件溝通：所有互動以結構化事件傳遞，方便除錯與日誌記錄。
  • 雙區域專屬網域：中國（北京）與新加坡皆提供 workspace-specific 端點，穩定度與推論表現提升。
  • 簡化整合流程：免去自行串接 ASR、LLM、TTS 的負擔，適合快速建構語音應用。
  • 原有網域仍可用：但官方建議盡快遷移以享受新網域的效能改善。

項目主頁

Categories: 阿里巴巴, 文字轉語音, Qwen, API, Audio, Robotic, 語音, 中國

Atlas 世界模型一次處理文字、圖片、影片與 3D

Share to X

World Labs 推出 Atlas，聲稱是目前首個原生同時處理文字、圖像、影片與 3D 的「omni」世界模型，能從一張相機路徑推算未見過的視角，並重建真實場景。

Og image

World Labs 公開了新一代世界模型 Atlas。它的特別之處在於從訓練階段就同時處理四種輸入——文字、圖像、影片、3D——並把它們整合到同一個空間脈絡裡，再以多模態自迴歸擴散 Transformer 推算下一個畫面。這意味著 Atlas 不只是「看得更多」，而是嘗試理解世界怎樣呈現、怎樣變化，並把想像中的場景渲染出來。

從使用場景來看，Atlas 主要涵蓋四類工作：相機控制生成、空間重建、空間時間模擬，以及純文字生圖與 360 度全景。其中相機控制生成支援 1 至 6 張輸入圖片，可輸出最高 1440p、最長約 1 分鐘的影片，並以像素級精度的相機幾何作為輸入，而不只是粗略的文字描述。

重建方面，Atlas 只需要 1 張到幾十張相片，就能還原真實場景並產出新視角的影像幀與明確的 3D 輸出。團隊指出，這項表現優於專門做 3D 重建的同類模型。空間時間模擬則可從影片重新取景，生成電影級視覺效果，並支援 Real-to-Sim 流程，供機器人規劃動作。

以下幾點值得留意：

  • 原生多模態：文字、圖片、影片、3D 一開始就共享同一空間脈絡，並非後期拼接。
  • 像素級相機控制：把精確相機幾何列為原生輸入，能逐格構圖、逐段運鏡。
  • 超越專用模型：3D 重建表現優於專門訓練的模型。
  • 支援 Real-to-Sim：能把真實影片轉成可模擬的世界，供機器人規劃。
  • 規模持續擴展：團隊表示表現會隨訓練算力提升，並預期這個趨勢會延續下去。

World Labs 表示，Atlas 將驅動他們自家 Marble 的未來版本及其他產品，現已開放早期使用的申請。

項目主頁

Categories: AI productions, 多模態模型, 世界模型, 模型訓練, API, Video, Image, 影像模型, Robotic, 3D

OpenClaw 2.0 重建介面與記憶連續性

Share to X

OpenClaw 2.0把入門流程、對話延續同穩定性一併重做。對長時間使用 AI agent 的人，差別會先體現在找回上下文同減少中斷。

用得久嘅 AI agent，最怕唔係功能少，而係中途斷線、記唔住之前做過乜，或者想翻查舊對話時搵唔返內容。OpenClaw 2.0 針對呢類問題重做咗網頁體驗，亦加強咗 memory 同 session continuity，令長流程互動唔使成日由頭開始。

今次版本另一個直接影響體驗嘅改動，係 onboarding 變得更簡單。新手由安裝到開始使用嘅門檻降低，而舊用戶就會更在意 reliability pass 帶來嘅穩定性提升；更新說明同時提醒先備份 configuration 同 state，亦提到自動更新失敗時，可以用本地 coding harness 幫手完成更新、排錯同確認 Gateway 正常啟動。

文件列出咗一個幾實用嘅新能力：可以用完整字詞或片語搜尋可見對話內容，之後直接打開相符結果附近嘅訊息。對要追查工作脈絡、整理多輪討論，或者長時間同 agent 協作嘅人，呢個改動比單純加模型選項更有感。

  • 重做 web 體驗，介面與流程更貼近持續使用情境
  • 強化 memory 同 session continuity，減少對話中途斷層
  • 新增對話文字搜尋，可由結果跳回相關訊息位置
  • 做咗大規模 reliability pass，重點放在穩定運行
  • 更新時仍有 migration 要求，Plugin SDK compatibility 亦有保留與修補

OpenClaw 2.0 今次唔係靠單一新模型吸引注意，而係集中修補 AI agent 項目最常見嘅摩擦位：入門、延續性、搜尋同可靠度。對已經把 OpenClaw 放入日常工作流嘅團隊或個人，呢次更新代表系統更接近可長時間依賴嘅狀態；不過升級前後仍要留意 migration 與相容性檢查。

項目主頁

Categories: 開源, Agentic, OpenAI, API, OpenClaw, Anthropic

FreeLLMAPI V2 模型整合成單一 API

Share to X

想同時試多個免費模型，但唔想逐間服務商處理金鑰、路由同管理介面，呢個項目就係針對呢個痛點而來。它用 OpenAI-compatible API 包住多家供應商，方便你用同一套接法測試與切換。

Repository image for nglmercer/freellmapiV2

同一個應用想接 Google、Groq、Cerebras、SambaNova、NVIDIA、Mistral、OpenRouter、GitHub Models、Cohere、Cloudflare 同 Z.ai，最煩通常唔係呼叫模型本身，而係供應商差異、可用模型變動，同埋管理方式分散。FreeLLMAPI V2 屬於開源 API 工具，用 Rust 寫後端，將多個免費層模型整合成 OpenAI-compatible API，旁邊再配一個 React/Vite 管理介面，處理查詢、切換同基本營運資訊。

它不只是做 API 轉發。crates/getmodelsapi 會負責 model discovery、scraping、filtering、enrichment、caching 同 serialization，代表項目本身會整理不同來源可用模型；crates/server 就接手 provider adapters、routing、SQLite persistence、health checks、analytics 同 graceful shutdown。呢個分工幾實際，因為你唔需要自己再砌一層模型清單同步服務。

項目比較像自架本地服務：後端預設監聽 127.0.0.1:3001，管理介面可另外用開發模式啟動，也可先 build client 再由伺服器提供內容。另有 desktop tray launcher，會喺本機啟動 server，再用瀏覽器開 dashboard；它唔內嵌 webview，亦唔依賴 Tauri。金鑰保護亦有交代，供應商憑證會用 AES-256-GCM，加密金鑰需用 64 個十六進位字元提供。

取捨同樣明顯。它集中火力解決「多供應商免費模型統一接入」呢件事，對於想快速驗證工作流、建內部工具、或者做模型切換測試的團隊會幾有幫助；但模型可用性本身受外部平台影響，所以 network-dependent provider smoke tests 不會放入一般測試，要另外開 GETMODELS_NETWORK_TESTS=1 驗證。換句話說，API 介面可以統一，免費模型是否穩定供應，仍然要跟住各家服務狀態走。

  • 用 Rust 包辦後端與 model discovery，重點放在穩定服務、路由同資料持久化
  • 提供 OpenAI-compatible API，較容易接入原本已支援 OpenAI 介面的應用
  • 內建 React/Vite 管理介面，唔使自行補一套後台
  • 支援 SQLite，較適合本地測試、小型團隊或輕量內部項目
  • 免費模型來源多，但供應商連線與可用性仍需獨立驗證

GitHub

Categories: 開源, API, 工具

UrbanGround 開源：真實香港城市級 3D 沙盒多模態智能體

Share to X

UrbanGround 是一個以香港全境 3D 地理數據搭建的城市級模擬環境，可直接用第一人稱遊玩，亦可讓 MLLM 智能體透過程式介面操作同一個世界。

UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City

UrbanGround 由一個學術團隊在 GitHub 上開源，整個項目的野心在於把「真實城市規模」這件事帶進多模態智能體（Multimodal Large Language Model, MLLM）的研究裡。它以香港的 3D Visualisation Map 為底層地理數據，搭配 Unity 場景提供第一人稱連續移動、碰撞與日夜、天氣、行人等動態變化，使用者可以直接以 WASD 鍵盤操作在城市裡行走、爬樓梯、找地點、切換視角，亦可以交由 AI 智能體透過程式介面（HTTP API）取得 RGB 觀察、物理動作與地圖資訊，自行決策。

這個環境和過往以小型合成場景或封閉遊戲引擎為主的做法相比，核心差異在於「規模」與「真實地理閉環」：智能體看到的不是抽象方塊，而是一座真實城市的街道、樓宇、地形，並且觀察、動作、地圖三者來自同一個介面，方便研究者設計貼近真實導航、空間感知與任務規劃的測試。整個項目同時釋出網頁版、macOS、Windows 與 Linux 原生版本，並附上多個由五個能力層級組成的評測任務，供 MLLM 在感知與行動兩端做系統性比較。

對研究 MLLM 空間智能、城市導航或數字孿生的團隊來說，UrbanGround 提供了一個比手工搭建的小場景更貼近現實的測試場；對一般玩家或開發者而言，它也是一個能在瀏覽器直接探索香港街景的實驗性沙盒。需要留意的是，網頁版首次載入完整 Unity 場景在繁忙時段或慢速網絡下需時約 3 至 5 分鐘，作者建議從 GitHub 下載並在本地網絡提供 tile 數據以加快速度。目前場景仍有「模糊或不完整幾何」以及「車輛與行人種類有限」等已知限制，相關修正在路線圖中。

重點摘要：

  • 真實城市規模：以香港全境 3D 地理數據驅動，非抽象小型合成場景。
  • 雙操作介面：第一人稱玩家與 MLLM 智能體共享同一套 RGB 觀察與動作 API。
  • 跨平台發佈：提供網頁版與 macOS、Windows、Linux 原生應用。
  • 結構化評測：內建多層級任務，用於量度多模態智能體在感知與行動上的能力。
  • 已知限制：場景幾何仍有缺損，車輛與行人種類待擴充。

項目主頁 · GitHub

Categories: 開源, 香港中文大學, 多模態模型, API, 香港, Mac, 3D, Linux, Dataset 數據集
Page 1 of 9
1 2 3 … 9