阿里巴巴 – InferNews

OmniVChat：測試 AI 能否同時聽懂及看懂

2026 年 9 月 22 日

直接把聲音和影像交給AI，回覆是否仍有根據？OmniVChat 提供評分工具，但測試與訓練分數不能混用。

OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue

讓AI直接接收用戶的聲音和影像，再以文字回答，OmniVChat（Omni Video Chat）提供了檢驗這類對話的評估與訓練獎勵工具。問題藏在影音之中，不另附文字提問、外部影像描述或自動語音辨識（Automatic Speech Recognition，ASR）轉錄，適合測試多模態模型能否連結所見所聞。

OmniVChat-Bench包含2,800段合成對話，按分層準則評分，涵蓋五類能力：

Dialogue-State & Link Perception（DSLP）：理解對話狀態與連結。
Multimodal Entity Alignment（MEA）：把說話對應至正確的可見實體。
Model Self-Awareness（MSA）：交代自身身分與物理限制。
Anti-Hallucination（AH）：回答以影音證據為依據。
Emotion Recognition（ER）：結合面部與聲線辨識情緒。

評估分數r(y)介乎0至1，以Subcategory Mean匯報；OmniVChat-RL共用評分核心，另加格式、效率與風格獎勵，範圍為0至1.5，兩者不能直接比較。

研究團隊可先查看儲存庫的評分程式與範例，再到Hugging Face取得完整標註及媒體。這個項目只提供程式碼、範例與文件；合成對話的結果亦不足以單獨判斷模型在真人影音互動中的可靠程度。

GitHub

Categories: 開源, 香港中文大學, 阿里巴巴, 多模態模型, Video, Audio, 工具, 庫, 語音

RecreationWorld：從操作到重建軟件介面

2026 年 9 月 21 日

代理不只觀察介面，還要自行寫程式、啟動成品及核對結果，測試由操作走向完整交付。

給代理一個正在運行的參考程式，它要邊操作、邊寫程式，再自行啟動及檢查成品。RecreationWorld 是研究混合式電腦操作代理（hybrid computer-use agents）的五平台框架，處理代理能否按可見行為重建軟件的問題。

它把參考程式當作可執行判準，讓代理反覆進行探索、實作與驗證，而非依固定階段完成任務。最終評分看功能與畫面是否吻合，不要求源碼、語言或架構相同，保留了實作自由。

涵蓋 Ubuntu、macOS、Windows、Android 與 Web
RecreationBench 提供 250 個未公開於訓練流程的應用任務
同時採用程式化檢查與視覺模型（Vision-Language Model，VLM）評分
可比較完成度、接近滿分的應用比例及每項任務成本

已列出的結果中，GPT-6 Astra 平均 58.06%，領先 Claude Opus 5 的 44.16%，但估算成本達每項任務 115.80 美元；較便宜的模型則要接受明顯分數差距。這反映長時間探索、編碼與視覺核對仍然昂貴，而且只有少量應用能達到完整功能分數。

開發代理、GUI 自動化或程式生成系統的團隊，可下載 RecreationBench 資料集並依儲存庫的 Quickstart 配置環境；自行託管模型的正式評估需要聯絡團隊。它較適合作研究與模型比較，未見足夠資料證明可直接充當一般軟件重建服務。

項目主頁 · GitHub · 數據集

Categories: 開源, 阿里巴巴, Agentic, 視覺模型, 多模態模型, 模型訓練, Qwen, 框架, Mac, Linux, 庫, Dataset 數據集

ComfyUI-DeGrid：Qwen VAE 解碼網格修正

2026 年 9 月 21 日

Qwen Image 解碼後的 2px 網格容易被放大流程強化，ComfyUI-DeGrid 讓修正可以在放大前自動完成。

Repository image for lunaaispace-eng/ComfyUI-DeGrid

Qwen Image、Qwen Image 2.1 及部分 Wan 2.1 VAE 生成的平坦暗位，可能帶有不易察覺的 2px 像素網格；經過銳化或放大後，瑕疵會變成明顯紋理。ComfyUI-DeGrid 是一個 ComfyUI 影像修正節點，專門在 VAE Decode 後移除這種規律格線。

它採用 VAE DeGrid（Nyquist Notch）處理方式，auto 模式會逐張影像量度網格強度並自動設定修正上限，無需自行調參；未偵測到網格時則原樣傳遞。節點亦會顯示 grid 強度、修正上限及受保護邊緣比例，方便確認是否有執行過度。

安裝只需放入 ComfyUI/custom_nodes，依賴 torch，亦不需要 OpenGL 或 GLFW，因此可在 headless 環境運行。工作流應接成 VAE Decode → VAE DeGrid → 銳化、放大或 SeedVR2 等後續處理，因為縮放後才修正，可能已經太遲。

支援以 Qwen Image、Qwen Image 2.1、Wan 2.1 VAE 為基礎的相關工作流
auto 模式按影像校準，manual 模式則可自行設定 limit
可用 enabled 開關快速作 A/B 比較，關閉時完全不修改影像
沒有提供速度或畫質基準測試，效益主要取決於輸入是否含有網格
不應與 ComfyUI-SaveSimple 同時安裝，兩者包含相同的 VAEDeGrid 節點 ID

需要處理 Qwen Image 或 Anima 解碼瑕疵的創作者，會較容易感受到它對後續放大流程的幫助；但若工作流沒有相關 VAE，或影像本身沒有網格，節點只會增加一個檢查步驟，未必帶來可見差異。

GitHub

Categories: 開源, ComfyUI, AI productions, Qwen, Image, Content Creator

Qwen-Image-2.1 開源：透明圖層生成與多圖編輯

2026 年 9 月 21 日

7B 參數的 Qwen-Image-2.1 把文生圖、圖片編輯、透明背景生成整合在同一個模型，一次可參考 10 張圖片，門檻不高但功能更齊全。

在 AI 繪圖的世界裡，能同時處理文生圖、改圖、還能直接輸出透明背景圖的開源模型並不多。Qwen 團隊這次開源的 Qwen-Image-2.1，把這幾件事整合進同一個 7B 參數的視覺生成模型，使用時不需要切換不同模型或額外加工。對做貼圖、做商品圖、做素材整理的人來說，這種「一個模型走到底」的做法很貼合日常工作流。

模型採用 32 層 Single-Stream DiT 結構，配合混合粒度注意力與 prefix KV cache 復用，把運算成本壓低。即使在顯示卡記憶體有限的環境下，仍能輸出品質不錯的圖片；Apple Silicon 用戶也能用 MPS 加速跑得動。

Qwen-Image-2.1 對透明背景（RGBA）的處理是這次的亮點之一。文字描述可以直接生成帶 Alpha 通道的圖，也能把照片裡的主體分離出來變成透明底，省去摳圖步驟。編輯功能同樣豐富：最多可同時參考 10 張圖片，用圓圈、塗鴉或遮罩標記局部修改位置，並在人物、產品場景保留識別特徵，避免改一處卻跑掉整個主體。

文字渲染和人像光影也比上一代細緻，招牌、卡片、海報一類需要清晰排字的場景更實用。整體定位偏向「夠用、好用、可商用」的工具型模型，不是衝榜級的影像模型。

重點摘要

統一模型：文生圖、圖片編輯、RGBA 透明圖生成整合在同一個 7B 參數模型
高效率架構：32 層 Single-Strteam DiT，搭配混合粒度注意力與 prefix KV cache 復用
多圖參考編輯：最多支援 10 張參考圖，可用圓圈、塗鴉或遮罩指定修改區域
主體保留：在人物、產品場景保持識別特徵，不會改一處就全跑掉
透明背景原生支援：可文字直出 RGBA，也能從照片分離主體成透明底

模型已在 Hugging Face 開源，並提供 Diffusers 整合程式碼、Google Colab 與 Kaggle Notebook，Apple 用戶亦可透過 Draw Things 或 DiffusionBee 等本地 App 直接試用。

項目主頁 · GitHub · 模型

Categories: 開源, 模型, Qwen, Google, Image, 影像模型, 影像處理, txt2img, 蘋果

Qwen3.8 邊講邊翻譯即時生成字幕

2026 年 9 月 21 日

阿里旗下 Qwen 推出 LiveTranslate 模式，用同一個模型一邊聽語音、一邊翻譯、一邊輸出字幕，支援中文、英文等多語言即時對話。

Qwen 團隊最近公開了 LiveTranslate 模式，主打邊聽邊譯、邊講邊出字幕。它把語音輸入、翻譯與字幕生成壓在同一個模型流程內，使用者開咪講一句，系統幾乎同步輸出另一種語言的文字，毋須額外挂接翻譯 API 或字幕引擎。

對於要做跨語言會議、外語直播、跨國客戶支援或聽打外語影片的團隊，這種一條龍處理可以直接省掉以往語音轉文字、再丟給翻譯模型、再做字幕排版的工序。直播主開英語節目時，中文觀眾可以即時睇到字幕；外語客戶打電話進來，中文客服亦可以一邊聽、一邊睇到對話內容。

LiveTranslate 屬於 Qwen3.8 系列下的語音功能延伸，目前支援普通話、英文等多語言之間互譯，亦可配合即時對話模式使用。Qwen.ai 用戶開啟 LiveTranslate 後揀選輸入與目標語言，便可以對住手機或電腦講話，螢幕同步顯示譯文。

Qwen 由阿里巴巴達摩院推出，屬於多語言、多模態大模型系列。LiveTranslate 的出現令 Qwen 在語音應用層面更貼近日常使用場景，而不限於純文字問答或文件分析。

重點摘要

Qwen3.8 新增 LiveTranslate 模式，主打邊聽邊譯、邊講邊出字幕
語音輸入、翻譯、字幕生成整合在同一個模型流程內
支援普通話、英文等多語言之間的即時互譯
可用於跨語言會議、外語直播、客戶支援等場景
透過 Qwen.ai 網站即可開啟試用，毋須額外安裝

項目主頁

Categories: 阿里巴巴, AI productions, 模型, 多模態模型, Qwen, API, Video, 語音

WeVisDoc 騰訊文件圖片的端到端解析模型

2026 年 9 月 18 日

騰訊 WeChat Vision 團隊開源 WeVisDoc 系列文件解析模型，以「先擴廣覆蓋、再針對性補強」的兩階段訓練框架，在 OmniDocBench v1.6 與多個 PureDocBench 軌道同時刷新端到端解析器紀錄。

WeVisDoc-4B leads the compared end-to-end parsers across all four reported settings.

當一份文件同時夾雜模糊掃描、手寫註記、複雜表格與數學公式時，多數 OCR + 版面分析的流水線都會在交接處出錯——模型間責任不清，錯誤層層放大。騰訊 WeChat Vision 團隊開源的 WeVisDoc 系列正正針對這個痛點，把「文件頁 → 結構化 Markdown（含 LaTeX 公式、HTML 表格）」收進單一端到端模型，避免不同模組互相推卸責任。

WeVisDoc 推出 2B 與 4B 兩款模型，皆以 Qwen3-VL 為基座微調而成，覆蓋文字、公式、表格與閱讀順序四個維度。訓練方法分兩階段：Stage I 先擴大語義、結構、外觀三方面的數據覆蓋；Stage II 則用殘差診斷找出 Stage I 仍出錯的樣本，針對性地補充與重新分配訓練數據。這套做法與單純堆數據量的路線不同——它把精力集中在模型最容易跌倒的角落。

在 OmniDocBench v1.6 上，WeVisDoc-4B 取得 95.38 的 Overall 分數，三條 PureDocBench 軌道的平均分為 75.54，均為目前端到端解析器的最佳成績。在更貼近真實擷取條件的 PureDocBench Real（模擬四次實體拍攝劣化）上，相對次強基線仍拉開 1.44 分，是四個比較場景中差距最大的一項，正好對應 Stage II「在真實擷取最難看的外觀變化上獲得最大增益」的設計初衷。

對需要把大量歷史紙本文件、學術論文、表格報表轉成結構化內容的研究團隊與企業來說，WeVisDoc 提供了一個開源、可在本地用 GGUF 等格式部署的小模型選項。模型現已上載 Hugging Face，並附技術報告與互動式 Recovery Lab，方便逐頁對比 Stage I 與 Stage II 修復了哪些具體錯誤（例如被漏掉的 9×9 數獨格線）。

騰訊 WeChat Vision 團隊開源的端到端文件解析模型，2B／4B 兩個規模，皆基於 Qwen3-VL 微調
兩階段「數據中心」訓練框架：Stage I 擴大覆蓋、Stage II 以殘差診斷針對性補強
輸出結構化 Markdown，內含 LaTeX 公式與 HTML 表格，涵蓋文字、公式、表格、閱讀順序四維度
WeVisDoc-4B 在 OmniDocBench v1.6 與三條 PureDocBench 軌道均居端到端解析器首位
開源釋出模型權重、技術報告與互動式範例頁，方便逐頁審視修復效果

項目主頁 · GitHub

Categories: 開源, 騰訊, 模型, 模型訓練, Qwen, 框架, Dataset 數據集

ActionPiece：設計動作分詞器，幫機械人學得更穩

2026 年 9 月 18 日

可以把 ActionPiece 理解為一個專給視覺語言動作模型用的動作編碼器，特別針對自回歸生成時動作細節流失的問題，強調保留物理距離的先後關係。

DeepCybo, Zhongguancun Academy, and Zhongguancun Institute of Artificial Intelligence

當自回歸視覺語言動作模型（VLA）把機械人動作切成離散 token 再一個個吐出來，最大的隱性成本往往不是單一動作的誤差，而是相鄰動作之間的物理距離被打亂。ActionPiece 正是針對這個卡位設計：它把動作切成一塊八步的短序列，每塊壓成 16 個離散 token，並要求 tokenizer 不只重建動作，還要保留「物理排序一致性」（physical rank consistency, PRC）。換句話，兩個本來很接近的動作，編碼後的距離也要維持接近；兩個本來很遠的動作，編碼後也要維持較遠。這種監督讓 token 表徵本身帶有物理結構，而不是純粹的重建損失。

在 Libero、Libero-Plus、SimplerEnv 與 VLA-Arena 四組基準上，ActionPiece 配合 Qwen3-VL-4B 作為策略骨幹，跑出 94.8%、68.8%、71.9%，以及 VLA-Arena L0 至 L2 平均 51.5% 的成功率。Libero-Plus 的訓練刻意排除其示範數據，因此這項成績更能反映遷移表現，而不是單純記住示範。從結果可以看到，重建保真度與 PRC 之間並非完全等價：有些 tokenizer 重建得很好，但鄰近關係一塌糊塗，部署成功率也跟著掉。ActionPiece 把「物理排序保留」與「碼字分配的量化正則化」綁在一起訓練，正好同時壓住這兩個問題。

這個項目的實際意義，是給正在做 VLA 研究的團隊一個可直接替換的動作 tokenizer，無需重寫策略架構。對關注 SimplerEnv 真實遙操作或 VLA-Arena 跨平台泛化的工程師來說，這類保留物理關係的分詞方式，會比純重建式 tokenizer 更貼近控制任務的需求。PhysBrain 1.5 也採用了 ActionPiece 作為動作 tokenizer，顯示它已不只在論文層面，而是走進實際模型發佈。

要真正評估它，比較合理的做法是把它接進自己的 VLA 流程，比對換 tokenizer 前後的策略成功率與 PRC；單看 Libero 94.8% 容易被低估，因為重建誤差小的 tokenizer 不一定保留鄰近結構。原始程式碼與 PhysBrain 1.5 的權重將在官方頁面釋出，想搶先試的人可以先讀論文並鎖定後續更新。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, VLA, Robotic, Dataset 數據集

ScienceIDE 把科學模擬變成 AI agent

2026 年 9 月 18 日

ScienceIDE 用 64 個科學模擬環境訓練 agent 修 bug、重寫函式，並釋出 4B、9B、72B 三個模型。你可以把它理解成：用真實物理模擬的數值對不對，來判斷 AI 改程式改得啱唔啱。

大多數 code agent 訓練環境用靜態單元測試或合成題目，ScienceIDE 走一條更狠嘅路：直接搬真實科學模擬器入嚟做試煉場，等 agent 改動 pinned、未經修改嘅上游源碼，再由 verifier 重新編譯並跑原本嘅物理 case，數值要對得返先算過。換句話，reward 唔係「diff 似唔似」，而係「模擬結果啱唔啱」。呢套框架對工程團隊同做 AI for Science 研究嘅人特別有用，因為佢直接量度 agent 對物理計算嘅影響，而唔係紙上談兵。

項目提供 64 個環境同 85 條 ScienceIDE-Hard 任務，已公開 15 個，全部都附帶可量度嘅難度指標（未修復分數、編輯點數量、驗證成本、通過率），避免人為標 difficulty。Reward 設計亦幾巧妙：untouched repository 一定攞零分，等模型必須真係做嘢先有分。

團隊同時釋出 PhAI-IDE-4B、9B、72B 三個模型，覆蓋唔同算力預算。從結果睇，SFT 後 PLUTO-Particles-Dust 由 0.0 跳到 0.33；Qwen3.5-4B 經 30 步 RL，LAPS 由 0.357 升到 0.857，MITgcm-biogeo 由 0.286 升到 0.571。訓練用科學 code 唔止提升呢類任務，亦帶動一般 benchmark：CodeXGLUE defect detection +6.99pp，BBH Word Sorting +36pp。

要部署嘅人最直接嘅入口係 Hugging Face 嘅 model collection 同 GitHub repo；想理解 reward 邏輯同難度定義，paper 同項目頁有完整交代。訓練數據、開發環境同 verifier 開源，等社區可以喺真實科學 codebase 上繼續 scale up。

重點摘要：

真實物理模擬做 reward：agent 改動上游源碼後，verifier 重編譯並比對物理 case 數值，唔靠 diff 相似度。
64 個環境、85 條 Hard 任務：已開源 15 個，難度由可量度指標自動決定，唔靠人手標 label。
三個模型規模：PhAI-IDE-4B、9B、72B 覆蓋唔同算力，訓練設定與評估條件一致。
科學任務外溢到通用 benchmark：CodeXGLUE defect detection +6.99pp，BBH Word Sorting +36pp。
完整開源鏈：code、environments、tasks 同模型權重同步釋出，方便研究團隊複製同擴展。

項目主頁 · GitHub

Categories: 開源, Agentic, 模型, 模型訓練, Qwen, 框架, IDE, Dataset 數據集

Mind2Dialogue：讓模型學會推斷用戶內心狀態

2026 年 9 月 16 日

這個項目用一套共享狀態的對話模擬流程，讓模型從純對話歷史推回用戶的信念、目標和情緒，從而提升個人化與心理理論能力。

現時很多聊天模型在多輪對話中表現不錯，但一到「這個用戶其實想要什麼、心情如何、跟上一句話背後的脈絡」就容易失去線索。Mind2Dialogue 直接在訓練階段把這個缺口補上：模擬器跟一個 Oracle 助理共用同一個會隨對話演化的用戶狀態，Oracle 寫出的回覆就成為學生模型的訓練目標；學生模型在訓練時只看到 persona 與對話紀錄，要自行還原背後狀態。

整個流程由六個階段組成：規模化產生 persona 種子情境、批次生成對話、用 LLM 作評審過濾低質樣本、從對話抽取 QA 對、語料改寫增廣，最後做微調與評估。設計上刻意把模擬者、Oracle、評審分成不同模型端點，避免自我評分，也容許把較強模型放在 Oracle 位置。情境類型涵蓋終生關係、高頻互動、情緒事件與敏感議題，使訓練語料貼近真實長期陪伴的場景。

在 Qwen2.5-7B-Instruct 上，個人化指標 PrefEval-Gen 比基礎模型高 33.4 分，PersonaMem-v2 高 10.0 分，並在同骨架下壓過加記憶模組與其他個人化方法。Qwen 與 Llama-3.1-8B-Instruct 在 BigToM 等 Theory-of-Mind 基準上也同步進步，代表個人化與心智理論可能共享同一種「從觀察推回未觀察狀態」的能力。OLMo-3-8B-Instruct 則未見轉移，顯示效果仍受骨架預訓練影響。

隨訓練資料量由八分之一擴到全量，三個骨架的個人化分數都穩步上升，呼應「資料規模足夠，學生才能學會狀態還原」這個核心假設。對做對話系統、角色 AI、AI 陪伴或客服助手的研究團隊，這套管線可作為不需要逐句人工標註的個人化資料生成起點；對關心評測的研究者，內附 LLM-as-judge 與消融設定（full、no_privilege、no_state、latent 等）便於追溯不同監督訊號的貢獻。

重點摘要：

共享狀態模擬：模擬器與 Oracle 共用演化中的用戶狀態，Oracle 回覆成為學生訓練目標
零人工標註管線：六階段流程從 persona 種子到微調皆可批次執行
個人化與 ToM 同步提升：Qwen 與 Llama 在 PrefEval-Gen、PersonaMem-v2、BigToM 上均有明顯改善
OLMo 未見轉移：效果依賴骨架預訓練特性，OLMo-3-8B-Instruct 在 ToM 上反而下跌
資料越多越好：從 1/8 到全量語料，三個骨架的個人化分數持續上升

項目主頁 · GitHub · 數據集

Categories: 開源, Agentic, 模型訓練, Qwen, LLaMa, Dataset 數據集

LLaDA-UI 首個開源擴散 GUI Agent 16.7B MoE 力壓 Qwen3-VL

2026 年 9 月 15 日

Inclusion AI 把 block-wise 擴散語言模型搬進螢幕操作場景，推出約 16.7B 參數的 LLaDA-UI，在六個 GUI 基準上贏 Qwen2.5-VL-7B，部分項目更超越 Qwen3-VL-8B。

LLaDA-UI GUI-agent benchmark comparison and animated qualitative diffusion decoding

一般講 GUI Agent，都預設底層係自回歸 VLM；Inclusion AI 同螞蟻集團 Venus Team、西湖大學合作推出的 LLaDA-UI，偏偏選擇用 block-wise 擴散語言模型做骨幹，直接從遮罩 token 逐塊 denoise 出推理同動作，配合原生動態解像度視覺編碼器，覆蓋手機、桌面、網頁同 grounding 任務。模型全段約 16.7B 參數嘅 MoE 架構，訓練分兩階段，先做大規模多模態預訓練對齊 LLaDA2.0-mini-base，再做 GUI 監督微調。

喺 ScreenSpot-Pro、AndroidWorld、MobileWorld、WebVoyager 等六個基準上，LLaDA-UI 全部贏過 Qwen2.5-VL-7B，其中 ScreenSpot-Pro 52.9、AndroidWorld 53.5、WebVoyager 56.9，喺呢四項仲壓過 Qwen3-VL-8B；官方同時提到 API 速度最高有 8.95 倍 mean speedup。佢仲針對擴散解碼做咗一輪分析，包括動作合法性、軌跡長度、EOS 處理、denoising 步數同 block size 對表現嘅影響。

如果你做開手機或桌面自動化、需要 GUI Agent 處理長步驟任務又想避開自回歸延遲，LLaDA-UI 提供咗一套唔同嘅技術路線選擇；研究擴散語言模型落地嘅人，亦可以直接拎佢嘅 block-parallel 解碼行為做案例。

重點摘要

約 16.7B 參數 MoE 擴散 GUI Agent，由 Inclusion AI、Ant Group Venus Team 與西湖大學共同發表
骨幹為 LLaDA2.0-mini-base 配合 SigLIP 初始化嘅動態解像度 ViT
六個 GUI 基準全部超越 Qwen2.5-VL-7B，ScreenSpot-Pro 等四項高過 Qwen3-VL-8B
訓練涵蓋 100+ 中文與 70+ 英文手機 App，覆蓋 mobile、desktop、web、grounding
附帶針對 block-wise 擴散解碼嘅分析，包括結構化動作有效性、EOS、denoising 步數等

項目主頁 · GitHub · 模型

Categories: 開源, Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, UI/UX

Page 1 of 19

1 2 3 … 19 Next »