中國 – InferNews

Qwen-Audio Realtime API 上線：以 WebSocket 即時串接語音對話

2026 年 9 月 5 日

阿里巴巴雲 Model Studio 推出 Qwen-Audio Realtime API，用 WebSocket 串流處理語音輸入與輸出，支援 VAD 偵測與雙向文字回傳，適合即時語音助理開發。

想在應用程式裡加入即時語音對話，但又不想自己串接一堆音訊前處理、ASR、TTS 的流程？阿里巴巴雲 Model Studio 這次直接把 Qwen-Audio 做成可即時呼叫的 Realtime API，開發者只要透過 WebSocket 連線，就能處理語音輸入、文字輸入，並即時收到串流音訊與文字回應。

這個 API 的設計重點在於「一條連線做完整件事」。客戶端與伺服器以 JSON 事件雙向溝通，支援語音活動偵測（VAD），讓系統知道用戶何時開始與結束說話，省去自行判斷靜音的麻煩。對話中的每一則訊息會以 conversation item 形式保存，整個 session（即一條 WebSocket 連線）則負責維護設定與上下文狀態。

服務端點分為中國（北京）與新加坡兩個區域，皆已改用 workspace-specific 專屬網域，官方表示穩定度與推論表現都比原本的共用網域更好。連線時需使用 wss:// 協定，並在 request header 帶上 Authorization: Bearer <your_api_key>，API key 會在 WebSocket 握手階段驗證，若無效會直接回 HTTP 401/403。

若你的項目是語音助理、即時翻譯、客服 robot 或電話自動化，會感受到整合成本明顯降低——不用分別串 ASR、LLM、TTS，只要管理好 WebSocket 的事件流即可。舊網域雖然仍可用，但官方強烈建議遷移至新網域以取得更佳體驗。

重點摘要

即時雙向串流：WebSocket 連線同時處理音訊輸入與串流輸出，搭配 VAD 自動偵測語音起止。
JSON 事件溝通：所有互動以結構化事件傳遞，方便除錯與日誌記錄。
雙區域專屬網域：中國（北京）與新加坡皆提供 workspace-specific 端點，穩定度與推論表現提升。
簡化整合流程：免去自行串接 ASR、LLM、TTS 的負擔，適合快速建構語音應用。
原有網域仍可用：但官方建議盡快遷移以享受新網域的效能改善。

項目主頁

Categories: 阿里巴巴, Qwen, 文字轉語音, API, Audio, 語音, Robotic, 中國

Lucida：用「解析、生成、放置」三步把實景變成可編輯的模擬場景

2026 年 9 月 1 日

字節跳動 Seed 團隊把真實室內環境拆解成獨立物件資產，透過閉環姿態修正讓重建結果能直接用於模擬。

從一段真實拍攝的室內影片，要還原成可以模擬、可逐個編輯嘅場景，一直都係 3D 重建嘅痛點：擺位、遮擋同殘缺幾何往往令資產難以重用。Lucida 就係針對呢個矛盾提出嘅方案，屬於實景到模擬（real-to-sim）類嘅場景建模系統。

整個流程分成三步。第一步 Parse 揀選有用嘅關鍵幀，跨視角對應實例並建立場景圖，輸出遮擋、局部點雲同參考視圖等證據。第二步 Generate 利用每組證據合成無遮擋嘅物件影像，再提升成完整、可編輯嘅 3D 資產。第三步 Place 先粗略初始化，再用 GizmoAct 喺閉環中反覆執行姿態編輯，直到渲染結果同觀察對齊。

GizmoAct 係呢套系統嘅核心控制器，由視覺語言模型（VLM）操作 3D 編輯器，每一步根據渲染觀察、點雲疊加同正交視圖等線索，落一個可執行嘅姿態修正。同一條策略可應付由 Boxer、Any6D* 到 SAM 3D 等不同初始化，並以最多 4 個視圖同 12 步修正完成對齊。

Lucida 喺 R2S、CA-1M 同 Aria Digital Twin 數據集上都提升咗場景級 3D 物件檢測、姿態估計同完整場景重建指標。重建出嚟嘅場景以一組獨立、可編輯嘅 mesh 呈現，每件物件都準備好進入模擬階段。

對從事機器人模擬、室內數據合成或場景理解嘅團隊，呢套閉環做法比起傳統單次擬合更能容忍幾何誤差同遮擋問題，令實景資產更易直接落落去模擬器使用。

重點摘要

三步流程：Parse、Generate、Place 把實景拆解成可重用物件資產
GizmoAct 閉環修正：VLM 操作 3D 編輯器，反覆落姿態編輯直到對齊
初始化容忍度高：同一策略兼容 Boxer、Any6D*、SAM 3D 等不同起點
輸出可直接模擬：每件物件係獨立、可編輯 mesh
多數據集提升：喺 R2S、CA-1M、Aria Digital Twin 都有指標改進

項目主頁

Categories: 字節跳動, Video, Image, 3D, 視覺模型, 北京大學

GLM-5.3 開放權重，卻為大型雲端供應商設門檻

2026 年 8 月 29 日

GLM-5.3 (753B 參數)，已在 Hugging Face 發佈權重，但新授權條款不再採用 MIT，並要求大型提供商接受安全審查。

想自行下載模型權重、在本地或私有環境運行 GLM-5.3 753B 參數的團隊，現在多了一項不能忽略的授權考量。Z.ai 已把 GLM-5.3 上載到 Hugging Face，讓研究者和開發者取得模型權重，但同時撤下過往的 MIT license。

這個安排令「開放權重」與「完全不設限制的開源授權」出現清楚分別。模型檔案可以取得，不代表所有公司都能按照相同條件提供服務；收入超過 100 億美元的提供商，需要先接受安全審查，條款明顯針對大型雲端及 AI 服務供應商。

對小型團隊、研究人員和需要控制資料流向的企業，GLM-5.3 的權重仍可能方便本地推理、模型整合及內部測試。不過，將模型包裝成公開 API、雲端推理服務或大規模商業產品前，必須先核對新 license 的適用範圍和審查要求。

權重已放上 Hugging Face，降低取得模型的門檻
GLM-5.3 不再使用 MIT license
開放權重不等於不受授權條款限制
收入超過 100 億美元的提供商須接受安全審查
商業服務和大規模分發需要額外檢查合規要求

模型

Categories: 開源, 模型, 中國

VoiceMem 讓語音 AI 記住你的情緒與偏好

2026 年 8 月 27 日

VoiceMem 以流式雙腦架構處理事實記憶、情緒與人格，讓語音智能體在對話中更懂使用者，同時控制延遲與成本。

語音智能體要記住「我是素食者、對堅果過敏」，並不只是保存轉錄文字，還要分辨人物、情緒、偏好與性格。VoiceMem 屬於語音 AI 記憶引擎及可整合的庫，處理音訊輸入、記憶抽取、檢索和回應前的上下文注入，讓長期個人化對話不必每次重新建立背景。

它採用 VoiceMem Dual-Brain Streaming Architecture（流式雙腦架構）：左腦以 schema 與 entity 組織事實記憶，右腦獨立管理情緒、偏好和人格，亦維護跨 entity 的關聯。音訊仍在輸入期間，系統已經分段、轉錄、抽取資料並寫入記憶圖；查詢時先路由及排序，只把 Top-K 記憶放入上下文，減少語音回應需要處理的內容。

左腦在 Top-3 限制下維持 Mem0 的滿載性能
右腦加入長短期情緒歸因及交叉節點
透過壓縮資訊、分層儲存和流式查詢降低等待時間
單輪查詢約需 300 token，架構及底層記憶引擎可替換

VoiceMem 內置 ASR（Automatic Speech Recognition）、聲紋、場景、情緒感知及本地 embedding 元件，亦提供離線記憶引擎和 streaming interface。倉庫資訊包含 Python 庫、互動式網頁 demo、VoiceMem_Default_Models_Env 模型環境，以及可選的 Qwen 回應模型；但完整硬件要求、服務依賴和模型授權仍需按連結內容逐項確認，不能單靠 README 推斷。

ChatMem-400K 以記憶世界構建、SLM 驗證的 online on-policy distillation 和人工修訂三階段製作，配合 VoiceMem Model Families 的 Qwen3 6 35B A3B Qlora 模型系列。這令項目較適合需要長期語音陪伴、個人助理、客服或具情緒連續性的 voice agent 團隊；對只需短對話轉錄的工作流，雙腦記憶層會增加整合和維護成本。

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, 香港中文大學, Agentic, Embedding, Python, 多模態模型, 庫, 語音, 清華大學

GameXpert-Bench | Coding Agents for Game Development

2026 年 8 月 26 日

騰訊團隊聯同多間院校提出 GameXpert-Bench，專門看 Coding Agents 能否做出、修好再優化可玩遊戲。它把生成、修復同多輪改進放入同一條流程去評估。

騰訊 Hunyuan Team、Lightspeed Studios，聯同 CASIA、清華大學、香港科技大學、香港中文大學深圳等團隊，提出 GameXpert-Bench，用來檢驗 Coding Agents 在遊戲開發上的真實能力。它不只看程式碼寫得像不像，還看能否真的做出可玩遊戲、找出錯誤，並在多輪修改後保持功能完整。

這個項目處理的是一個很實際的落差：很多代理可以生成看似合理的程式，但一到互動、畫面、音效、介面同可玩性要同時成立，就容易出問題。GameXpert-Bench 把整個生命週期拆成三條軌道，分別測首次生成、修復缺陷，以及連續優化，逼近真實開發流程。

GameGen 測試從零開始生成可玩遊戲，沒有預設引擎或素材
GameFix 測試對已知缺陷的診斷與修復，亦包括自行發現問題的情況
GameOpt 測試多輪改進時能否保住核心玩法與既有功能
評估不只看程式，還結合互動行為、代碼檢查同人工判斷

目前公開資料提到共有 97 個生成任務、100 個修復任務，以及 17 條多輪優化鏈，涵蓋 2D 和 3D 遊戲。整體結果指向一個清楚結論：寫出看似合理的實作，比起交出經過驗證、又唔會在後續修改中壞掉的遊戲容易得多。

對做 Coding Agents、遊戲工具鏈、或研究 agentic software engineering 的讀者，這個基準特別有參考價值。它把「能寫」和「能交付」分開，令模型在真實工作流中的短板更容易被量度出來。

項目主頁

Categories: 香港中文大學, 香港科技大學, 騰訊, Agentic, Audio, 軟件, 3D, 編程, Dataset 數據集, 清華大學

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

做人體分析、互動理解或具身智能研究時，最花時間的往往不是找到單篇論文，而是整理不同任務、模態與研究社群之間的關係。Human-Centric Artificial Intelligence（Human-Centric AI）Resources 屬於開源研究資源庫，配合《Human-Centric Intelligence in the Era of Foundation Models: A Survey》，集中處理人本 AI 的文獻探索、資料集與研究基礎設施整理問題。

伴隨的 survey 以六層 human context taxonomy 串連研究脈絡，從可觀察的人體外觀與空間幾何，延伸至 dynamic actors 的動力學和互動建模，再到 situated agents、world simulation 與 embodied agency。它不會取代論文原有的實驗細節，價值在於把相關 datasets、benchmarks、evaluation metrics，以及 training 和 inference optimization strategies 放入同一個檢索框架。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 香港, 香港科技大學, 香港理工大學, Agentic, API, 工具, 模型訓練, 北京大學, Dataset 數據集

Human-Centric-AI：從人體觀察到具身代理

2026 年 8 月 25 日

研究人本 AI 不再只靠零散論文搜尋，這個開源資源庫把分類、基礎設施與學習材料集中整理。

資源庫並非可直接下載執行的模型或軟件，使用方式是瀏覽 GitHub 內容及項目首頁，按 Academic Knowledge、Research Infrastructure 和 Community Learning Hubs 等部分尋找材料。研究者亦可透過社群渠道提交或維護資源，因此內容會隨社群整理持續更新，但完整度和一致性仍取決於後續貢獻。

適合研究生和新加入領域的團隊：用作文獻導航及研究方向整理。
適合做資料集或 benchmark 的研究者：較容易尋找相關評測資源。
適合跨模態項目：協助連接視覺、動作、互動和具身智能研究。
限制：它沒有提供可直接比較的 runtime performance，亦不是即裝即用的 AI 工具。

對需要建立研究地圖、設計 benchmark 或追蹤 foundation models 如何融入人本智能的讀者，GitHub 資源庫和 survey 應該一併閱讀；只想立即執行模型或測試 API 的使用者，則需要另找具體實作項目。

項目主頁 · GitHub

Categories: 開源, 阿里巴巴, 香港, 香港科技大學, 香港理工大學, Agentic, API, 工具, 模型訓練, Dataset 數據集, 北京大學

OmniAssistBench：以多輪互動評測即時影片助手的表現

2026 年 8 月 25 日

OmniAssistBench 以 LLM-as-a-Judge 固定互動路徑測試 Omni-LLMs 的多輪影片助手能力，涵蓋685組開放式問答、7類任務，影片含自然語音、打字或手寫提示。評分顯示 Gemini-3-Pro 以66.4分領先。

OmniAssistBench proposes an annotation pipeline which allows annotators to build test samples from existing Internet vid

當影片助手的回答會改變使用者下一步行動，傳統只對固定影片問答的測試便難以反映真實體驗。OmniAssistBench 屬於 Omni-LLMs 的影片助手評測基準及數據集，透過固定互動路徑，處理多輪對話中影片內容會隨模型回應變化的問題。

項目涵蓋 685 組開放式問答，分成 Basic Tier 與 Advanced Tier，涉及社交理解、時間感知、手勢提示、程序指導及主動回應等 7 類主要任務和 16 類細分任務。影片取材自運動、煮食、講課、DIY 及談話節目，另有 3 個自行拍攝案例，每個平均超過 15 輪互動；問題會以自然語音、打字或手寫方式嵌入影片，而不是只放文字提示。

以影片連同對應音訊輸入模型，再按互動回合回答問題
由專家先整理影片步驟，再剪輯片段及加入字幕，固定測試路徑
評分採用 LLM-as-a-Judge，原始 0 至 5 分再換算為 0 至 100
建立數據集耗用超過 1,000 小時專家工時

這種做法比靜態影片問答更貼近助手場景，但固定路徑亦代表其他合理回應未必能在同一測試中獲得充分反映。Project homepage 的排行榜顯示，Gemini-3-Pro 整體得分為 66.4，Gemini-2.5-Pro 為 64.6，商用及開源 Omni-LLMs 都只達部分正確，反映可靠的即時影片助手仍有明顯改進空間。

研究團隊來自南京大學、南開大學及 University of Waterloo。測試者需要按照項目提供的評測流程處理影片和音訊，相關 Dataset、Project Page 及評估程式碼可供查閱；正式採用前應先確認版本、存取權限及評分流程是否已更新。

項目主頁 · GitHub

Categories: 開源, Qwen, 字節跳動, Gemini, 南京大學, Dataset 數據集

[技術文章] RecVerse 讓購物代理更像真人行為

2026 年 8 月 25 日

RecVerse以分層記憶和整段軌跡訓練，模擬更貼近真人的網上購物流程。

網上購物模擬器要重現真人由瀏覽、比較到購買的連續決定，才能支援推薦系統的離線測試和 Reinforcement Learning（RL）訓練。RecVerse 是一個以 GUI 為基礎的模擬代理，透過螢幕截圖理解頁面，生成多輪購物軌跡，處理長時間瀏覽中用戶狀態不斷變化的問題。

現有做法各有缺口：Rule-based simulators 依賴向量化商品特徵和預設行動空間，難以涵蓋複雜的電商介面；Large Language Models（LLMs）和 Vision-Language Models（VLMs）代理雖然加入推理及 persona 建模，長會話仍可能丟失早期觀察，或者把所有歷史硬塞進 context window。逐步模仿每個已記錄行動，亦可能令整段流程出現過度探索或過分被動等不自然模式。

RecVerse以認知啟發的分層記憶處理長期資訊，包括短期焦點用的 Working Memory、保存本次會話軌跡的 Episodic Memory，以及記錄高層次意圖的 Preference Memory。記憶更新本身被視為行動，代理可以按情況學習何時及應該保存哪些資訊。

訓練時，系統改用 trajectory-level RL，直接為完整購物會話評分，同時對齊真人的宏觀行動類型分佈和微觀購物意圖。研究團隊亦發布 USB（UserSimulationBenchmark）互動式電商 GUI 軌跡數據集；實驗結果指 RecVerse 在行為忠實度和意圖一致性上均優於現有基線。

以螢幕截圖理解電商 GUI，生成多輪購物行為
透過三層記憶保留短期焦點、會話經歷和用戶偏好
用完整軌跡目標修正逐步模仿帶來的不自然行為
USB 提供互動式電商 GUI 軌跡數據集
可用於推薦策略的離線及反事實測試

Paper

Categories: 阿里巴巴, Agentic, 多模態模型, 模型訓練, 視覺模型, 中國

ForgeWM 把遊戲世界模型推向 72 FPS 即時互動

2026 年 8 月 21 日

由中大、騰訊等團隊開發的 ForgeWM，將遊戲畫面生成壓縮至一至四步，讓鍵盤、滑鼠及手掣輸入能即時改變虛擬世界。

中香港中文大學、騰訊 PCG、復旦大學、上海人工智慧實驗室及香港科技大學的研究團隊，將 ForgeWM 做成開源的 action-conditioned video world models 訓練項目，處理遊戲輸入與連續畫面生成難以兼顧的問題。它以 Matrix-Game 2（MG2）為基礎，讓模型根據鍵盤、滑鼠或 gamepad 操作即時推演遊戲畫面。

ForgeWM 的價值在於把生成步數降至 1、2 或 4 步，換取更低延遲的互動體驗；取捨是畫面質素、控制準確度與推理速度仍要依賴訓練資料和硬件。相較只展示影片生成的做法，ForgeWM 直接處理 frame-aligned 的動作訊號，並將同一套流程移植到另一個 gamepad 驅動的 FPS 領域。

一套四階段流程：bidirectional SFT、teacher-forced causal AR、consistency distillation、on-policy DMD
ForgeWM-1、ForgeWM-2、ForgeWM-4 分別對應一、二及四步生成
單張 H20、352×640 畫面下，1-step 模型最高達 72 FPS
完整公開 weights、training code 及 pre-encoded data

模型並非各自獨立訓練：Stage 0 先對目標遊戲作 bidirectional fine-tuning，之後固定為教師；Stage 1 將生成器改成 causal AR，Stage 2 壓縮 sampling trajectory，Stage 3 再用學生自行 rollout 的結果進行 on-policy matching。這個結構讓 ForgeWM-1、-2、-4 可從相同基礎流程按步數預算建立。

研究、遊戲 AI 及需要即時互動生成的團隊較容易受益，尤其適合測試鍵鼠控制的 Minecraft 或 gamepad FPS。資料提供的指標包括 168 ms per chunk、72 FPS 及 8×H20 完整訓練配置；模型及數據連結整理環境，要預留 8 張 H20 重現完整訓練流程。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 香港科技大學, 騰訊, Video, 模型訓練, 世界模型, World-Action Model, 上海人工智慧實驗室

Page 1 of 15

1 2 3 … 15 Next »