阿里巴巴 – Page 5

[技術文章] pixel-space 模型可以追平甚至超過 latent-space 對應模型

2026 年 8 月 18 日

研究聚焦 pixel-space text-to-image diffusion models 的訓練卡位，找出點樣喺大規模條件下兼顧畫質同速度。作者用 latent-to-pixel 策略，令 pixel-space 模型更接近甚至超過 latent-space 表現。

上圖是透過 pixel-space text-to-image diffusion models 的方法訓練的 Z-Image-Turbo (Pixel) 產生的圖像。在企業級 H800 GPU 上，推理延遲僅約 0.2 秒。

Pixel-space text-to-image diffusion models 一直有兩個吸引位：直接生成像素，唔受 VAE 壓縮上限限制，亦可以省去解碼步驟。但喺大規模訓練下，佢哋收斂速度明顯慢過 latent-space 模型，令「畫質、效率、可訓練性」三者之間嘅平衡一直唔夠成熟。

呢篇工作針對嘅正係呢個落差。作者先比較 pixel-space 同 latent-space 喺大規模 pre-training 下嘅行為，再提出 latent-to-pixel 策略：先喺 latent space 學到生成先驗，再轉去 pixel space 做 post-training，避免一開始就喺難度更高嘅像素空間硬推。

佢哋亦系統研究咗多個轉換設計，包括 weight initialization、data composition、prediction target、decoder architecture 同 noise schedule，整理出一套可行做法。結果顯示，做法調整得當之後，pixel-space 模型可以追平甚至超過 latent-space 對應模型，推理端仲有 3.18 到 4.75 倍嘅速度提升。

直接處理 pixel-space diffusion models 喺大規模訓練時收斂慢嘅問題
用 latent-to-pixel 路線，先學先驗，再轉入像素空間微調
檢視多個關鍵訓練選項，搵出實用 recipe
在畫質不退讓之下，換取更快的 end-to-end inference
對想做高效文生圖系統、又在意生成細節保留嘅團隊最有參考價值

Paper

Categories: 香港科技大學, 南京大學, 阿里巴巴, 模型, 模型訓練, Image, txt2img, 香港

GenRouter AI 圖像生成變成會分流的工作流

2026 年 8 月 18 日

它把 agentic image generation 由單一路徑改成可分流的工作流，按任務難度配對不同執行方案。對要兼顧畫質、文字準確度同運算成本的團隊，這種做法比硬套同一套流程更有彈性。

安裝方式偏向研究原型工作流，先建立 environment.yml 對應的 Conda 環境，再按 scripts/services/ 和 scripts/serve.sh 需要下載本地模型。README 亦提到 OneIG 同 WISE 有獨立環境，代表它不是單一命令就能完整跑通的輕量工具，而是要跟着項目內的服務配置同基準測試流程去部署。

GenRouter 處理的不是單純「生成得靚唔靚」，而是把不同提示詞導向不同算力配置。當任務涉及多步空間推理、精準文字渲染，或者需要較高視覺質素時，GenRouter 會揀更合適的執行計劃；較簡單的請求則不必走沉重流程，這種取捨直接針對延遲同成本問題。

GenCanvas 將 agentic image generation 拆成通用原語，方便重用工作流
GenRouter 以需求分析、記憶輔助匹配同 Pareto filtering 做路由
目標是減少「一刀切」流程造成的算力浪費
比較適合做圖像代理、生成管線同研究型系統的團隊
README 未見完整公開的數值結果摘要，較適合當作框架型項目理解

GitHub

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, Qwen, Image, 影像模型

NaviDC-OCR：1.2B 參數文檔 VLM，統一處理相機與數碼文件

2026 年 8 月 18 日

NaviDC-OCR 把文件理解收斂到一個輕量 Vision-Language Model（VLM）流程，對掃描件和手機拍攝文件都能一起處理。它的重點不只在識別文字，還在版面、表格與公式之間的結構還原。

NaviDC-OCR 是一個輕量級 Vision-Language Model（VLM），專門處理 document understanding，也就是把文件內容、版面和結構一併讀出來。它最實際的價值，在於同時應付 digital documents 和 camera-captured documents，尤其適合文件拍攝角度不正、透視變形或版面較複雜的情境。

這個項目已釋出模型權重與 technical report，使用方式偏向直接載入 Hugging Face 上的模型做推理或再訓練，而不是一套獨立應用程式。它的訓練流程結合 Multi-node Consensus Voting（MCV）、Image-to-Image Self-Verification，以及 progressive four-stage training，顯示作者把大量標註成本轉移到自動化資料整理與驗證。

1.2B 參數，定位是輕量部署而非堆大模型。
同時面向掃描文件與相機拍攝文件，覆蓋範圍比只做單一路徑的做法更廣。
Geometry-aware Document Modeling 與 Curvature-Guided Douglas-Peucker Sampling（CGDP）主要針對彎曲、傾斜和變形頁面。
Content-Structure Decoupled Learning 令表格與公式的內容和結構分開學，較適合複雜文件。
作者聲稱在多個 benchmark 上有強表現，但具體部署成本仍要視推理框架與硬件而定。

和不少只偏重 OCR 文字抽取的做法相比，NaviDC-OCR 更像是把「看懂文件」放在第一位：它不只要讀字，還要保留版面關係與幾何資訊。這會令它在企業文件處理、票據整理、表格抽取、學術文件解析，或者手機拍照掃描的工作流裡更有用，但它仍然是研究型模型，落地時要留意速度、記憶體與實際文件分佈是否接近訓練資料。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, Dataset 數據集

LLM_Modularity：MIT 研究拆解 LLM 模組化認知架構

2026 年 8 月 18 日

同一類推理會反覆動員同一批神經元，跨領域則明顯分開。這個項目把 LLM 內部的「分工」做成可重跑的分析流程。

probe.py types a reasoning prompt for each cognitive domain; the model

人腦展現出顯著的功能特化程度，不同的神經網路分別支持語言、形式推理、對他人心智的推理以及對物理世界的推理。這種模組化組織是智慧系統建構的基本原則，還是生物大腦特有的進化偶然現象？本文檢驗了大型語言模型（LLM）——另一類透過截然不同的最佳化過程所建構的智慧系統——是否也呈現出類似的組織結構。

值得留意的不是它再講一次模型會推理，而是它嘗試回答：大型語言模型做語言、數理、物理同社交推理時，內部是否真的有近似人腦功能網絡的分工。Pengrui-Han/LLM_Modularity 屬於研究分析工具與資料流程項目，核心工作是用 attribution patching、neuron overlap 同 causal ablation，定位 46 個任務在四個認知領域各自依賴的神經元群。

結論唔止停留在可視化。項目整理出六個 24B 至 123B frontier LLMs 的一致結果：同領域任務的神經元重疊高出 4.3 倍，ARI = 0.78；把某個領域相關神經元做 lesioning 或 ablation，該領域準確率下降幅度比跨領域高 10.3 倍。換句話說，模組化唔係單靠圖像解讀，而係有因果干預支持。

跟一般只看 attention pattern 或 embedding 聚類的做法相比，這個項目更著重「哪些單元真的支撐任務完成」，所以會用 full-sequence teacher-forcing metrics、corrupted-activation ablation，同按模型家族調整的 nnsight 載入流程。代價亦很直接：它不是輕量級 demo，需要 Linux、torch 2.10.0、nnsight 0.4.1，同 NVIDIA GPU；24B 至 123B 模型更要多 GPU 才較可行。

覆蓋 Language、Formal reasoning (Multiple-Demand)、Physical reasoning、Social reasoning (Theory of Mind) 四類推理
提供 46 個任務配置、clean/corrupted data pair、分析腳本與已整理 results CSV
重點不在訓練新模型，而在檢查現有 LLM 內部神經元是否出現穩定分工
已附 figures、overlap matrix 同 ablation analysis，適合延伸做復現或二次研究

較適合做 mechanistic interpretability、認知科學、AI 安全，或者想比較 Qwen、其他大型模型內部推理結構的研究團隊。它暫時更接近研究管線，而不是即裝即用產品；不過資料夾結構、config、scripts 同 results 已經足夠完整，對想重跑實驗、改任務集，或者把 OSWorld 以外的複雜推理基準接入分析流程的人，參考價值相當高。

項目主頁 · GitHub

Categories: 開源, Embedding, Qwen, NVIDIA, Linux, 安全

SimpleOPD 把長思維蒸餾帶到異 tokenizer 學生模型

2026 年 8 月 18 日

長上下文教師模型唔難找，難的是點樣穩定轉移到短上下文學生模型。SimpleOPD聚焦呢個落差，做法比一般蒸餾更貼近訓練現場。

想把長上下文推理能力交到較細、較短上下文的學生模型，卡位往往唔係只有模型強弱，而是 tokenizer 不同、輸出愈蒸餾愈長，最後連訓練都變得唔穩。SimpleOPD屬於模型訓練方法項目，處理的是 long-context reasoning teacher 到 short-context student 之間的 On-policy distillation（OPD）轉移，重點放在跨 tokenizer 仍然可以學到推理能力。

它冇硬做 token-level 對齊，而是改在 shared text space 對齊，只監督師生 tokenizer 剛好切出相同文字跨度的位置。呢個取捨很務實：少了強行對齊帶來的噪音，代價是可監督位置會收窄，但換來 arbitrary teacher-student tokenizer combinations 也能成立，對 Qwen3、Qwen3.5、Intern-S2、GLM-4.7、Gemma4 這類不同家族學生模型都更有通用性。

另一個關鍵，是它直接處理「答案愈生愈長」這個訓練現象。SimpleOPD加入 student-reference KL loss，再對 </think> 和 <|im_end|> 這類終止 token 做 advantage masking，目的不是單純加正則化，而是壓住學生模型偏離初始 policy 太遠，減少 teacher-student distribution mismatch、截斷率上升與訓練失穩。

支援 long-context teacher 產生 100K+ token reasoning chains
以 shared text space 對齊，避開 tokenizer 不一致帶來的蒸餾障礙
透過 student-reference KL loss 與終止 token masking 控制長度膨脹
在 ProofBench 對 Intern-S2-Preview 帶來 +21.2 分，升至 55.2
結果已超過 Gemini-2.5-Pro，並提到對 HLE、HiPhO 也有外溢收益

它不是即裝即用的線上服務，而是偏研究與訓練流程的開源項目；環境依賴 SLIME 0.2.3、Python 3.10+、PyTorch 2.0+，並為 GPU、HTTP-based teacher inference、timeout、concurrency、batch processing 留好接口。受益最大的會是做蒸餾訓練、想把強教師推理能力壓到較易部署學生模型的團隊，尤其是要跨 tokenizer、又不想被超長 reasoning chain 拖垮訓練穩定性的情境。

項目主頁 · GitHub

Categories: 開源, Qwen, OpenAI, Gemini, Python

S²VOPD 讓小模型看少一點，Qwen3.5-4B 反而看得更準

2026 年 8 月 18 日

S²VOPD 透過削弱學生模型的視覺資訊，在零標註下提升細粒度感知與數學推理表現。

小模型面對圖片時，減少它能看到的資訊，竟然可以帶來更好的學習訊號。Self-Supervised Visual On-Policy Distillation（S²VOPD）是一種視覺模型訓練方法，透過讓學生模型觀看低解析度、加入隨機 Gaussian noise 的圖片，處理沒有標註、獎勵或更強教師模型可用的限制。

訓練期間，學生模型會根據受干擾的圖片產生回答；採用 Exponential Moving Average（EMA）的教師模型則以原始圖片評分相同的生成前綴，再利用 top-k generalized Jensen-Shannon divergence（JSD）把較完整的 token 分佈傳給學生。教師與學生之間的資訊差異，來自學生少看一點，而不是額外加入 privileged information。

• Qwen3.5-4B 在六項細粒度感知基準的平均準確率，由 70.7% 升至 77.4%
• 4B 模型表現高於 Qwen3-VL-Instruct-235B 的 75.8% 和 GPT-5.4 的 72.8%
• 不需要 labels、rewards、region annotations 或更強教師模型
• 4B 同時提升感知表現 5.7% 和數學推理 3.7%

S²VOPD 使用學生視角縮放至原圖 0.3 至 0.6 倍，並加入 stochastic Gaussian noise。結果顯示，這種做法不只改善視覺感知，也能避免部分 privileged-information 方法在數學推理上的退步；例如 Oₚₛd 和 ZwZ 在部分 MathVision、MathVerse 測試中出現明顯下降。

這項方法較適合研究小型多模態模型訓練、視覺推理和自監督學習的讀者。現有結果集中於六項細粒度感知基準及數學推理測試，能否穩定延伸至其他資料、模型架構和更複雜影像任務，仍需要進一步驗證。

項目主頁

Categories: 開源, 模型訓練, Qwen, Image, Dataset 數據集

Qwen3.8 系列的 27B 開放權重模型

2026 年 8 月 14 日

Qwen3.8-27B以 27B 密集模型同時處理文字、圖片與影片，重點不只在識別內容，而是更穩定完成多步驟任務。它延續 Qwen3.5 架構，但頁面公開的本地量化與 GGUF 資訊仍未齊。

由 Qwen3.5 的架構基礎延伸而來，Qwen3.8-27B把長流程推理、Agentic 任務同原生視覺理解放入同一個 27B dense 模型。使用時最直接的差異，是它不只看圖答題，亦針對編程、專業工作、研究與多步驟任務完成度作強化，並保留可調整的 thinking control。

模型層面採用 Causal Language Model with Vision Encoder，屬於經過 pre-training 與 post-training 的 image-text-to-text 模型。27B 參數、64 層、hidden size 5120，以及混合 Gated DeltaNet 與 Gated Attention 的 hidden layout，反映它不是單純沿用傳統 dense Transformer 堆疊，而是針對長程依賴與效率作結構調整。

Qwen 3.8 27B BLOWS MY MIND! Best Local AI Model Yet! Basically Opus Locally! (Fully Tested)

Watch this video on YouTube

對開發者而言，較有用的是推理行為控制：thinking mode 預設開啟，可按請求關閉；reasoning_effort 可調整推理深度；preserve_thinking 可保留歷史訊息中的 reasoning context。

基礎模型可確認為 Qwen3.5 架構系統上的後訓練版本，而非獨立另起爐灶
原生支援圖片與影片理解，定位比純文字模型更貼近 Agentic 與多模態工作流
相容 Transformers、vLLM、SGLang、TokenSpeed，方便接入現有堆疊
頁面未提供 GGUF 格式、量化檔名、mmproj、Ollama／llama.cpp／LM Studio 建議配置
亦未見 MTP draft speculation、v2 檔名變更或 chat template 注意事項的具體說明

與同系前代相比，Qwen3.8主打的是可靠完成整段任務，而不只是單輪回答更聰明；與一般視覺語言模型相比，它更強調 environment feedback 下的自主規劃。目前公開的是 Transformers 格式權重與設定檔，未足以直接判斷本地量化部署門檻，所以硬件需求、推薦量化等級與不同量化之間的取捨，現階段只能等後續模型檔或社群移植版本補上。

模型

Categories: Agentic, 模型, 視覺模型, 多模態模型, 模型訓練, Qwen, API, 編程

Qwen3.8-2.4T-A95B 超大型開放權重文字推理模型

2026 年 8 月 14 日

Qwen3.8 把 Qwen-Max 級別能力帶到開放模型，強項不只是答題，而係更穩定完成多步驟工作。

Qwen3.8-2.4T-A95B 把 Qwen-Max 級別的能力開放出來，而且明確建基於 Qwen3.5 的架構底層，BF16 safetensors 格式及1M上下文。定位上屬於 Causal Language Model，面向文字生成、編程、研究工作與長流程 Agentic 任務；相比只追求單輪回答，它更著重規劃、接收環境回饋，以及把多步驟工作做完。

Qwen3.8-2.4T-A95B 的核心規格相當進取：總參數 2.4T（2.4 trillion）參數，但每次啟動 95B，屬於典型大型 Mixture of Experts（MoE）路線，用較高總容量換取較可控的推理成本。模型經過 Pre-training 與 Post-training，並採用 Qwen3.5 架構延伸而來的層設計，包括 Gated DeltaNet、Gated Attention 與 MoE 組合，重點不是單純堆大，而是提升長鏈推理與任務完成的穩定性。

Qwen3.8-2.4T-A95B 主要來自兩個控制點：reasoning_effort 可調整推理深度，preserve_thinking 可保留歷史訊息中的 reasoning context。這代表它比較適合需要反覆修正、逐步執行的工作流，而唔係只看一次輸出的場景。頁面亦提到它對常見 harness 與開發工具有更廣泛支援，模型檔案可配合 Transformers、vLLM、SGLang、TokenSpeed 等推論堆疊。

基礎模型可確認是建基於 Qwen3.5 architectural foundation。
已知開放的是 Hugging Face Transformers 格式的 post-trained 權重。
官方另有 Qwen3.8-Max 版本，功能更多，包含 vision input、non-thinking support、內建工具，以及預設 1M context length；但這些能力屬於官方服務版本，不應直接視為此頁權重全部具備。
從已公開資訊看，它的優勢在於長流程 Agent 執行與專業工作可靠度提升；限制是硬體需求、完整上下文長度與量化部署細節未在此頁交代，離本地輕量部署仍有距離。

跟一般只強調 benchmark 分數的模型相比，它更強調任務完成率、規劃能力與工具鏈兼容性。由於缺少量化版本、推理記憶體需求與更完整評測數字，現階段較適合把它理解成面向高階推論服務與大型基建環境的開放權重，而不是即插即用的本地模型項目。

模型

Categories: 開源, Agentic, 模型訓練, Qwen, API, LLaMa, Ollama, 編程, Dataset 數據集

NanoVDR：70M 文字編碼器取代 2B VLM：視覺文檔檢索的輕量化新嘗試

2026 年 8 月 12 日

NanoVDR 把 2B 參數嘅視覺語言模型蒸餾成 69–151M 嘅純文字編碼器，查詢時完全唔需要視覺模型，CPU 51 毫秒即可完成。

處理幾十萬張文件圖片嘅時候，每次查詢都要過一次 2B 嘅視覺語言模型（VLM），開銷大到令人卻步。NanoVDR 想解決嘅就係呢個落差：文件索引由教師模型離線建好，查詢階段只用一個 DistilBERT 規模嘅純文字編碼器，CPU 上 51 毫秒出結果，2048 維嘅單一向量直接做點積，扔得入 FAISS。

佢嘅做法係將 Qwen3-VL-Embedding-2B 凍結做教師，提早把目標向量快取落嚟，學生只係學一個餘弦距離嘅 loss——即係 loss = 1 - cos(student, teacher)。訓練時冇相關性標註、冇負例採樣，兩邊完全解耦，所以查詢端同索引端可以分開換組合。DistilVDR 進一步把文件端都換走，做到成個流程都唔再需要教師。

對於做企業 RAG、法律文件搜尋、學術庫檢索嘅團隊，最大吸引力係每頁索引得 4 KB，比 ColPali 嗰類多向量檢索慳 64 倍儲存，而且唔使 GPU 即可頂住查詢負載。ViDoRe v1 上面，NanoVDR-S-Multi 拎到 82.2 NDCG@5，保留咗教師大約 95% 嘅能力，呢個取捨對批量部署嚟講好實際。

重點摘要：

極輕量查詢端：文字編碼器僅 69–151M 參數，無需視覺模型參與查詢
高效索引：每頁僅 4 KB（float16），比多向量方案節省約 64 倍儲存
簡易整合：輸出為單一向量，FAISS 即可處理，無需 MaxSim 池化
教師-學生解耦：目標向量預先快取，兩端可獨立訓練與組合
完整資源：模型、訓練數據集、線上 Demo 同論文均已開源

多向量查詢塔嘅程式碼已就位，但 checkpoint 要等 NanoVDR-v2 先出齊，想要更高召回嘅人需要留意後續更新。

項目主頁 · GitHub

Categories: 開源, RAG, Embedding, 模型, 視覺模型, 多模態模型, Qwen

Ex-Omni-2D 直接對話生成同步發聲與表情的數字人影片

2026 年 8 月 12 日

Ex-Omni-2D 讓對話模型同時輸出文字、個人化語音與表情同步的頭像影片，以多碼本語音單元串接語音與畫面，並提供 Teacher 與 Prefix-Streaming Student 兩種部署模式。

想讓 AI 數字人不只是「會打字」，而是真的「邊說邊演」？香港中文大學（深圳）與 LIGHTSPEED 合作開源的 Ex-Omni-2D，正是針對這個目標設計。它是一個開源對話框架，接受多模態查詢、參考圖像與參考音訊後，先由語言模型輸出一份結構化的 Visual Thought Plan（VTP），再依此生成文字回應、個人化語音，並產出嘴形與動作同步的頭像影片。

傳統做法通常把語音合成與人物影片視為兩條獨立管線，需要額外對齊文字、聲音與嘴形，容易出現時間錯位。Ex-Omni-2D 的差異在於採用 16 個 codebook 構成的原生多碼本語音單元，作為語音與影片共享的聲學與時序介面：同一組語音單元既驅動 TTS，也作為影片生成器的緊緻條件，從而降低跨模態錯位的風險。

影片生成路徑提供兩種互補模式：Full-sequence Teacher 採雙向注意力，追求最高畫質；Prefix-Streaming Student 則是蒸餾而來的少步數 block-causal 版本，支援 2、4、8 步串流推論，方便在工作站、GPU 伺服器甚至 Hugging Face Spaces 上做漸進式部署。

這個項目的重點：

對話原生影片：視覺行為直接從多模態對話上下文規劃，不必再手動撰寫影片提示詞。
結構化 VTP：明確定義首幀、場景、情緒、動作風格與動作細節，方便後續控制與除錯。
共享語音介面：16 個 codebook 同步驅動語音合成與人物動作。
品質與效率取捨：Teacher 負責最高畫質，Student 支援 2/4/8 步串流。
彈性部署：同一套代碼可在個人工作站、GPU 伺服器或 HF Spaces 執行，並提供線上 Demo 試玩。

在串流場景中，作者指出 Prefix Streaming 從第 9 至 16 chunk 的一致性明顯較強，將 last-to-first consistency error 降低 21.4%，這對需要長時間維持角色身份一致的應用相當關鍵。論文亦提到 Prefix Streaming 能減少長序列累積形變，同時保留參考圖像的人物外觀。

較適合的對象包括需要快速打造可對話 AI 助手、虛擬主播、客服分身或教學數字人的團隊；對研究多模態對話、語音驅動動畫的人來說，這份開源代碼、模型權重與 arXiv 論文也是一個方便的起點。

項目主頁 · GitHub · 模型

Categories: 開源, 香港中文大學, 騰訊, 文字轉語音, AI productions, 數字人, 多模態模型, 視頻模型, Qwen, 香港, 語音

Page 5 of 18

« Previous 1 … 3 4 5 6 7 … 18 Next »