阿里巴巴 – Page 2

Qwen-Audio Realtime API 上線：以 WebSocket 即時串接語音對話

2026 年 9 月 5 日

阿里巴巴雲 Model Studio 推出 Qwen-Audio Realtime API，用 WebSocket 串流處理語音輸入與輸出，支援 VAD 偵測與雙向文字回傳，適合即時語音助理開發。

想在應用程式裡加入即時語音對話，但又不想自己串接一堆音訊前處理、ASR、TTS 的流程？阿里巴巴雲 Model Studio 這次直接把 Qwen-Audio 做成可即時呼叫的 Realtime API，開發者只要透過 WebSocket 連線，就能處理語音輸入、文字輸入，並即時收到串流音訊與文字回應。

這個 API 的設計重點在於「一條連線做完整件事」。客戶端與伺服器以 JSON 事件雙向溝通，支援語音活動偵測（VAD），讓系統知道用戶何時開始與結束說話，省去自行判斷靜音的麻煩。對話中的每一則訊息會以 conversation item 形式保存，整個 session（即一條 WebSocket 連線）則負責維護設定與上下文狀態。

服務端點分為中國（北京）與新加坡兩個區域，皆已改用 workspace-specific 專屬網域，官方表示穩定度與推論表現都比原本的共用網域更好。連線時需使用 wss:// 協定，並在 request header 帶上 Authorization: Bearer <your_api_key>，API key 會在 WebSocket 握手階段驗證，若無效會直接回 HTTP 401/403。

若你的項目是語音助理、即時翻譯、客服 robot 或電話自動化，會感受到整合成本明顯降低——不用分別串 ASR、LLM、TTS，只要管理好 WebSocket 的事件流即可。舊網域雖然仍可用，但官方強烈建議遷移至新網域以取得更佳體驗。

重點摘要

即時雙向串流：WebSocket 連線同時處理音訊輸入與串流輸出，搭配 VAD 自動偵測語音起止。
JSON 事件溝通：所有互動以結構化事件傳遞，方便除錯與日誌記錄。
雙區域專屬網域：中國（北京）與新加坡皆提供 workspace-specific 端點，穩定度與推論表現提升。
簡化整合流程：免去自行串接 ASR、LLM、TTS 的負擔，適合快速建構語音應用。
原有網域仍可用：但官方建議盡快遷移以享受新網域的效能改善。

項目主頁

Categories: 阿里巴巴, 文字轉語音, Qwen, API, Audio, Robotic, 語音, 中國

KBMR 視覺問答檢索帶向實體語義

2026 年 9 月 4 日

KBMR 針對 KB-VQA 容易搵錯相似圖片的問題，以 MLLM 將檢索焦點由外觀匹配轉向實體語義。

面對人物、地點或物件，KB-VQA 若只按圖片外觀搜尋，容易因視角、年代和風格變化搵錯資料。KBMR 屬於面向 Knowledge-Based Visual Question Answering（KB-VQA）的多模態模型檢索器，實際處理的是「畫面相似但實體不同」的證據搜尋問題。

KBMR 先由 EVA-CLIP-8B 篩選候選，再以 MLLM-based Semantic Discriminator 為查詢與候選產生連續的 entity-consistency weights。Qwen2-VL-7B 以這些語義訊號訓練 embedding retriever，並透過 symmetric KL distillation，令 cosine similarity 得出的 retriever posterior 與 discriminator weights 形成的 semantic prior 對齊。

重點整理為：
– 由 surface-level visual matching 改為 entity-aligned semantic retrieval。
– 連續權重可支援較可靠的 hard-negative mining 和 soft supervision。
– 替換原有 first-stage retriever，毋須改動下游 reasoning 或 reranking。
– 不同 KB-VQA pipeline 的端到端答案準確率最高提升 9.4 個百分點。

這種取捨適合已有 KB-VQA、外部知識庫和後續推理流程的研究團隊，因為 KBMR 主打 plug-and-play 替換檢索器，而不是重新設計整條系統。KBMR 列出 Python 3.10+、EVA-CLIP-8B 及 Qwen2-VL-7B 等準備項目，亦包括訓練和評估章節；目前已提供完整安裝指令、模型取得方式及獨立推理流程。

GitHub

Categories: 開源, Embedding, 視覺模型, 多模態模型, Qwen, Python

SimLoss 用單次生成多階段圖像描述

2026 年 9 月 4 日

由 UMass Amherst 與 Adobe Research 團隊開發，SimLoss 想解決圖像描述太籠統的老問題。它把細節監督搬到 embedding space，換來更快推理與更高描述精細度。

Repository image for srynsh/SimLoss-Image-Captioning

UMass Amherst 與 Adobe Research 團隊，瞄準的是圖像描述常常只講到大意、漏掉材質、數量、紋理同位置關係的問題。SimLoss 屬於影像 captioning 模型訓練方法，核心不是再加一條冗長後處理流程，而是令 Vision-Language Model 在單次生成前，先把隱藏狀態對齊影像 embedding，直接補回細節監督。

它的技術關鍵，在於用 reference-free 的 embedding-space objective 取代人手撰寫細粒度 captions，亦唔需要先跑多階段系統去製造 pseudo-captions。SimLoss 列出兩條路線：SimLoss FFT 會透過本地可用的 Qwen3-VL-Embedding-2B 反向傳播；SimLoss GRPO 則把 Gemini Embedding 2 當成 black-box reward。兩者都建基於 Qwen2.5-VL-7B-Instruct captioning policy，但前者偏向直接做表徵對齊，後者更接近以獎勵訊號微調。

同類方法常見做法，是生成、拆解、驗證、重寫逐步修補描述內容；SimLoss 揀的是保留 single-pass inference，換取更低延遲，再用對比式學習補回細節。代價是它仍然依賴外部 embedding 模型品質，而且項目展示的是研究基準與訓練框架，不是即裝即用的成品服務。

IIW-400 測試中，SimLoss FFT 配合 Qwen2.5-VL-7B backbone，把 precision 由未調整 backbone 的 0.788 提升到 0.849，F1 與多階段 CapMAS 接近到難以區分，同時推理速度約快 20 倍；SimLoss GRPO 則拿到最強 recall。呢個取捨幾實際：想要更準確地講出畫面細節，又唔想接受多步驗證延遲的團隊，會比一般 captioning fine-tune 更感受到差別。

同一儲存庫放入 SimLoss、CapMAS、PAPO、DCScore RL 等基線，方便直接比較
單次生成保留低延遲，同時補足 attributes、counts、textures、materials、spatial relations
提供方法分目錄、資料與 checkpoint 說明，但大型資料與模型檔案未隨儲存庫附上

研究、內容理解、影像搜尋標註，甚至要為電商圖片或視覺資產建立更細緻描述的團隊，都會較容易受益。安裝與執行入口在儲存庫內有 setup 與各方法，但目前公開資訊主要指向研究復現流程；想完整重跑訓練或延遲基準，仍要另外處理資料集、checkpoint 同對應運行環境。

項目主頁 · GitHub

Categories: 開源, Embedding, 視覺模型, 多模態模型, Qwen, Gemini, Image

E-CommerceBench 經營 365 日網店的 Agent 考試

2026 年 9 月 3 日

代理人要由十萬元起步，經營最多四間網店並應付供應商、庫存與退貨，最後以全年資產增長分高低。

Mean end-of-year total assets, eighteen models, five 365-day episodes each

一個代理人由 ¥100,000 起步，連續經營最多四間網店 365 個模擬日，還要自行處理採購、定價、補貨、訂單履行及退貨。E-Commerce Bench 屬於長期自主商業運作的 LLM agent benchmark，實際處理的是代理人能否在現金流、庫存、風險和增長之間持續作出決策。

環境包含 6,886 個產品、60 個類別及 576 家供應商，其中 152 家涉及五種詐騙類型；全年亦有八次促銷和十項市場事件。客戶需求由固定多因素模型決定，供應商價格、讓步及接受與否則由 Deterministic Negotiation Kernel 計算，LLM 只負責把決策呈現成對話，避免抽樣回覆直接改變交易結果。

排行榜以五次獨立 episode 的年終總資產平均值計算 asset multiplier，同時提供標準差、CSE⁺、BadSpend%、回撤、每次工具呼叫帶來的收入、可控退貨比例、AnchorRatio、工具呼叫次數及破產次數等指標。GPT-5.6 Sol（max）平均資產達 ¥1,431,425，約為本金 14.3 倍；最佳 open-weight 模型 Qwen3.8-Max-Preview 為 ¥416,252，約 4.2 倍，18 個模型之間相差 1,264 倍，90 次運行有 10 次破產。

測試場景涵蓋最多約 4,000 個回合，適合研究長期記憶、規劃和工具使用。
固定需求與談判機制令模型差異較容易歸因，但未必代表真實市場的隨機性。
模型排名同時呈現盈利能力、風險控制、浪費開支及資金壓力。
項目資料提到 Python 3.10+，但提供內容沒有列出完整安裝、執行或下載流程。

研究代理人可靠性、商業決策、長期規劃或多步驟工具調用的團隊，會較容易從這套固定世界取得可重複比較的結果；網店經營者則可把它理解成壓力測試，而不是直接預測真實銷售額。它同時比較 proprietary 與 open-weight 模型，但資料未交代各模型的提示詞、工具策略或成本，因此資產排名不應單獨視為整體能力結論。

項目主頁 · GitHub

Categories: 開源, Agentic, Qwen, Google, OpenAI, DeepSeek, Gemini, Python, Anthropic, Dataset 數據集

LightNav-0：一句說話驅動四種機械人零樣本導航

2026 年 9 月 1 日

LightNav-0 是一個通用導航模型，把預訓練視覺語言模型 Qwen3-VL 的空間認知能力對齊到導航任務，無需任務專用頭即可同時處理指令跟隨、開放詞彙物件導航與視覺追蹤，並零樣本遷移到人形、四足、輪式及空中機械人。

LightNav-0 overview: a simulation-based data engine, three-stage model training, zero-shot deployment onto four robot em

你叫一部機械人「去到公園入口嗰張長椅」，佢就要自己搵到、避開障礙、仲要處理自己對眼睇到嘅畫面——LightNav-0 就係針對呢類跨場景、跨形態嘅導航需求。佢屬於模型類項目，核心想解決嘅問題係：傳統導航系統每換一種機械人或場景就要重新訓練或加任務頭，零樣本泛化能力薄弱。LightNav-0 選擇唔加 waypoint predictor、唔加任務專用動作頭，淨係擴展詞表，加入雙通道指向 token 同 RVQ 動作 token，等空間推理同動作編碼都直接由 Qwen3-VL-4B-Instruct 原有嘅自回歸 LM head 解碼。

要做到呢點，訓練數據係關鍵。項目用咗一套 Real2Sim2Real 數據引擎，將 2,000 幾個互聯網收集嘅真實場景轉成可重複使用嘅模擬環境，產生 4,000 幾個鐘嘅視覺語言動作經驗，再分三階段訓練：Embodied Reasoning 中訓練、Embodied SFT、Online RL。呢種做法繞過咗真實遙操作收集速度慢、成本高嘅瓶頸。

同典型做法比，差異在於用模擬合成代理真實經驗，再透過統一 token 介面讓指令跟隨、開放詞彙物件導航、視覺追蹤共享同一模型，部署時直接零樣本落地到四種機械人形態，唔需要逐個微調。結果方面，官方指 LightNav-0 喺十個模擬設定上取得 state-of-the-art，並喺人形、四足、無人機同輪式機械人上完成真實遷移測試。

做機械人通用導航研究嘅團隊、要做具身 AI 落地嘅初創，或者關注 Physical AGI 路線嘅研究者，會最容易從中受惠。對一般開發者嚟講，理解入口係 Hugging Face 上嘅模型權重、論文同項目頁提供嘅模擬評測結果。

重點摘要：

LightNav-0 係以 Qwen3-VL-4B-Instruct 為骨幹嘅通用導航模型，無任務專用預測頭
用統一 token 介面同時覆蓋指令跟隨、開放詞彙物件導航同視覺追蹤
Real2Sim2Real 數據引擎將 2,000+ 真實場景轉化為 4,000+ 小時訓練經驗
三階段訓練流程：Embodied Reasoning 中訓練、Embodied SFT、Online RL
零樣本遷移至人形、四足、輪式及空中機械人，喺十個模擬基準宣稱達到 SOTA

項目主頁 · GitHub

Categories: 開源, 視覺模型, 多模態模型, Qwen, World-Action Model, Robotic, AGI

CogEvol-4B 離線模型在手機筆電直接生成完整互動課程

2026 年 9 月 1 日

CogEvol-4B 把一句課程大綱變成結構化投影片 JSON 加可獨立運行的互動 HTML，全程在筆電離線完成，無需 API 或雲端。

一般提到 AI 自動生成教材，多半還是要連雲端 API 才能輸出 HTML，但 CogEvol-4B 的做法是把整個流程壓進一個 2.4 GB 的 Q4_K_M GGUF 檔案。它以 Qwen3.5-4B 混合架構（48 層 GDN 線性注意力 + 16 層全注意力）為底，經過五萬多筆生產驗證樣本的 SFT，再做投影片 RL 與 HTML RL 兩階段強化，結果是單次前向傳遞就能同時吐出結構化投影片和自包含的互動式 HTML，不需要任何外部依賴。

在 MacBook Pro M2 Pro 16 GB 上，模型跑出約 33 tok/s 生成、470 tok/s prefill，整份互動課程約六分鐘完成。對教師、培訓設計師或自學者而言，這意味著斷網也能把一行大綱擴展成可互動的學習素材，不用排隊等雲端，亦沒有 API 成本。

項目可整合 OpenMAIC 與評測工具，權重放在 HuggingFace，並已整合到開源平台 OpenMAIC，透過 .env.local 切換本地 provider，再加上一個 runtime brief expander 補丁即可在斷網環境下渲染所有 widget。

重點摘要：

離線可用：模型、應用、素材全部本地，關 WiFi 仍能完整跑
極輕量部署：單一 2.4 GB GGUF 檔，Apple Silicon、CUDA、CPU 皆可
一鍵生成：一句大綱直接變投影片 JSON 加可互動 HTML，無需 agent loop
OpenMAIC 原生整合：本地 provider 設定加上補丁，斷網渲染 widget
雙重授權：程式碼 MIT、權重 Apache 2.0，可商用且易於二次開發

項目主頁 · GitHub • 模型

Categories: 開源, Agentic, 模型, Qwen

ABot-Recon 用 12 幀極簡局部記憶重建 3D

2026 年 9 月 1 日

AMAP CVLab 提出的 ABot-Recon 放棄複雜的長程記憶機制，改用固定的 12 幀局部上下文，逐步拼接出穩定的長影片 3D 重建結果。

ABot-Recon long-horizon reconstruction teaser

ABot-Recon 是一款專為長影片流（streaming）設計的 3D 重建框架，來自阿里 AMAP CVLab。它選擇了一條反潮流的路線：不堆疊長程記憶模組，而是用固定的 12 幀局部上下文，邊看邊重建。對於自駕車、機器人或 AR 導航這類需要持續處理長影片的場景，直接解決了「序列越長、記憶越爆」的核心痛點。

運作上，模型每一幀只參考前 11 幀的 KV 特徵，預測當前幀的點圖（point map）與相鄰幀的相對位姿，再透過位姿串接逐步還原出全域軌跡與點雲。這意味著模型狀態記憶與單幀計算量都不會隨影片長度增長，硬體門檻更容易控制。

ABot-Recon

Watch this video on YouTube

與傳統做法相比，ABot-Recon 刻意避開了持久學習式長程記憶，用一個輕量的 motion-visual rotation refiner 和 composition-aware pose loss 來壓制位姿累積誤差，把「記憶」的責任還給幾何拼接本身。

這套做法適合需要長時間穩定重建、又不想被龐大 GPU 記憶體綁架的團隊，例如自駕資料處理、機器人 SLAM 或城市級掃描項目。Hugging Face 與 ModelScope 已有現成 Demo 可即時試玩，模型權重同步開源；訓練代碼與完整訓練方案預計於 9 月 30 日前釋出。

重點摘要：
– 固定 12 幀局部上下文，拒絕堆疊長程記憶
– 記憶與單幀計算量與序列長度解耦
– 以位姿拼接 + 旋轉優化抑制長距離誤差累積
– Hugging Face / ModelScope 提供線上 Demo
– 訓練代碼與配方預計 9 月 30 日前開源

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 視覺模型, 世界模型, Robotic, 3D

[技術文章] 淘寶直播 AI 主播團隊提出 HAT 訓練法解決小模型難以跟上快速更新的張力

2026 年 8 月 28 日

淘寶直播 AIGC 團隊針對直播帶貨 AI 主播的實時互動需求，提出 Harness-Aware Training（HAT）框架，令小模型能在頻繁更新的策略環境中保持低延遲與高適應力。

淘寶直播旗下的 TaoLive AIGC LLM 團隊發表技術報告，提出一套名為 Harness-Aware Training（HAT）的訓練方法，專門用於訓練能在直播帶貨場景中即時回答商品問題、與觀眾互動並執行營銷策略的數字人主播。團隊指出，直播帶貨對延遲極為敏感，同時行銷規則與商戶偏好又會持續變動，因此業界普遍採用「可演化 Harness」設計，把 Skills、Hooks、prompts 和 tools 與模型參數解耦，策略改動時不必重新訓練模型。然而這種做法帶來明顯取捨：大模型雖然泛化能力強，能夠零樣本適應 Harness 變動，但延遲太高；小模型延遲符合實時要求，卻容易過拟合到固定的 Harness 設定，一旦配置更新就需要重新訓練。

HAT 的核心思路是在訓練階段就讓模型接觸大量不同的 Harness 配置，使它學會「讀懂當前的 Harness」，而非記住某一個固定版本。具體做法引入 Harness-State Augmentation（HSA），對 Skill 識別碼、Skill 內容、工具 schema、prompt 結構及 Hook 函數施加保留任務語義的轉換。訓練分為三個階段：HSA-SFT 讓小模型從強模型生成、在多樣化環境中收集的高質量軌跡學習，直接提升推理與工具調用能力；General OPD 透過 On-Policy Distillation 在通用從基礎模型學習，恢復 SFT 過程中受損的泛化能力；HSA-RL 則在經 HSA 增廣的多樣化環境中做強化學習，進一步強化模型對變動 Harness 的理解與工具調用穩定性。

HAT 訓練的模型在 Live-Stream QA 上平均得分 94.8，明顯高於基礎模型的 80.3 和最強通用 LLM 的 93.0；在 Harness-Variant QA 上亦達到 94.6，遠超基礎模型的 75.4。傳統 Fixed-Harness SFT 會令 IFEval 分數較基礎模型下跌 7.7 分，而 HAT 不單避免這種下跌，更取得 83.5 分。在部署層面，模型可在單張 NVIDIA H20 GPU（啟用優化）上運行，P50 延遲 3.4 秒、P95 8.1 秒，已滿足實時互動門檻。系統已落地至淘寶直播的生產環境，線上 A/B 測試顯示相對 ReAct 對照組，Harness 實驗組在確認收貨 GMV 上帶來 4.33% 的 UV 標準化提升、商品頁瀏覽量提升 0.91%。

對需要快速疊代策略、又受制於延遲與算力的實時對話代理團隊而言，這份報告展示了一條可落地的工程路徑。

重點摘要
– 淘寶直播 AIGC 團隊針對直播帶貨 AI 主播提出 HAT 訓練框架
– 解決小模型過拟合固定 Harness、無法跟上策略更新的核心矛盾
– 透過 HSA 增廣與三階段訓練兼顧延遲、泛化與工具調用穩定性
– IFEval 分數避免傳統 SFT 出現的 7.7 分下跌，反升至 83.5
– 已在淘寶直播生產環境上線，A/B 測試帶來 GMV 與瀏覽量提升

Paper

Categories: 阿里巴巴, Agentic, 模型訓練, 框架, Skill 技能

[技術文章] 淘寶直播 AI 主播團隊提出 HAT 訓練法解決小模型難以跟上快速更新的張力

2026 年 8 月 28 日

對需要快速疊代策略、又受制於延遲與算力的實時對話代理團隊而言，這份報告展示了一條可落地的工程路徑。

Paper

Categories: 阿里巴巴, Agentic, 模型訓練, 框架, Skill 技能

VoiceMem 讓語音 AI 記住你的情緒與偏好

2026 年 8 月 27 日

VoiceMem 以流式雙腦架構處理事實記憶、情緒與人格，讓語音智能體在對話中更懂使用者，同時控制延遲與成本。

語音智能體要記住「我是素食者、對堅果過敏」，並不只是保存轉錄文字，還要分辨人物、情緒、偏好與性格。VoiceMem 屬於語音 AI 記憶引擎及可整合的庫，處理音訊輸入、記憶抽取、檢索和回應前的上下文注入，讓長期個人化對話不必每次重新建立背景。

它採用 VoiceMem Dual-Brain Streaming Architecture（流式雙腦架構）：左腦以 schema 與 entity 組織事實記憶，右腦獨立管理情緒、偏好和人格，亦維護跨 entity 的關聯。音訊仍在輸入期間，系統已經分段、轉錄、抽取資料並寫入記憶圖；查詢時先路由及排序，只把 Top-K 記憶放入上下文，減少語音回應需要處理的內容。

左腦在 Top-3 限制下維持 Mem0 的滿載性能
右腦加入長短期情緒歸因及交叉節點
透過壓縮資訊、分層儲存和流式查詢降低等待時間
單輪查詢約需 300 token，架構及底層記憶引擎可替換

VoiceMem 內置 ASR（Automatic Speech Recognition）、聲紋、場景、情緒感知及本地 embedding 元件，亦提供離線記憶引擎和 streaming interface。倉庫資訊包含 Python 庫、互動式網頁 demo、VoiceMem_Default_Models_Env 模型環境，以及可選的 Qwen 回應模型；但完整硬件要求、服務依賴和模型授權仍需按連結內容逐項確認，不能單靠 README 推斷。

ChatMem-400K 以記憶世界構建、SLM 驗證的 online on-policy distillation 和人工修訂三階段製作，配合 VoiceMem Model Families 的 Qwen3 6 35B A3B Qlora 模型系列。這令項目較適合需要長期語音陪伴、個人助理、客服或具情緒連續性的 voice agent 團隊；對只需短對話轉錄的工作流，雙腦記憶層會增加整合和維護成本。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 清華大學, Agentic, Embedding, 多模態模型, Qwen, Python, 庫, 語音

Page 2 of 18

« Previous 1 2 3 4 … 18 Next »