InferNews

Tencent UI-Mate 桌面操作示範變成可重用工作流

2026 年 8 月 18 日

開源權重的通用 GUI 智能體：環境驅動訓練 + 上下文演示學習——流程演示一次即可，不必把所有約定寫進提示。

很多桌面任務難寫成一段完整提示，問題不在指令太短，而是在檔名規則、視窗擺位、公司流程這些細節往往靠示範更容易講清。UI-Mate 就是朝這個位置切入的開源 GUI agent 項目：它在原生桌面看螢幕畫面，用鍵盤和滑鼠跨應用程式執行長流程工作，並且支援把一次人手操作示範轉成可重用工作流。

UI-Mate 把示範當成建議。當畫面內容、資料、視窗狀態或任務目標有變化，代理仍會按即時畫面重新判斷，避免變成只懂重播錄製腳本的 Computer-use agents（CUAs）。這個取捨很重要，因為它直接回應了 GUI 自動化最常見的失敗位：流程相似，但畫面從來不會完全一樣。

訓練方法亦反映它想處理真實環境，而不只是跑單一 benchmark。項目提到 closed-loop data engine，會串連任務合成、環境建構、rollout、驗證與 filtering，再用 capability tree 補回覆蓋不足的能力；同時支援 Ubuntu、Windows 和 macOS 的統一 rollout layer，並以 asynchronous group-relative optimization 處理長而且變化大的 rollout。整體方向很清晰：先把可執行環境和驗證機制搭好，再談代理怎樣學會跨系統做事。

公開結果亦有參考價值。UI-Mate 在 OSWorld-Verified 達到 77.0%，WindowsAgentArena 為 66.2%，而 OSWorkerBench 嚴格成功率 41.0%、progress 76.9%；加入一次 same-task demonstration 後，OSWorker self-demo strict success 由 17.2% 升到 35.4%。這些數字未必代表它已經能穩定接手所有桌面工作，但至少說明示範式引導不只是概念包裝，對長流程任務有明顯幫助。

屬於開源 GUI agent 項目，重點是處理跨應用、跨作業系統的長流程桌面任務
核心差異在於支援 in-context demonstrations，把一次示範整理成可重用工作流
示範不是腳本重播，代理會按 live screenshot 即場重新規劃
較適合需要固定流程但畫面與資料經常變動的團隊、營運與辦公自動化場景
目前已公開模型與結果，但 OSWorkerBench 等配套仍有部分內容標示為 Coming Soon

部署與理解方式上，現有資料較接近研究原型加可試權重，而不是開箱即用的完整產品。官方已放出 code、weights、technical report 和 Try App，較合理的看法是先把它當成可驗證 demonstration-guided GUI agent 能力的開源基線，再看後續 benchmark、資料集與工具鏈是否補齊。對研究 GUI agent、企業桌面自動化，或者想比較文字指令與示範引導差異的團隊，這個項目很值得跟進。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, 模型, Mac, Linux, Dataset 數據集, UI/UX

ClawGym：為 Claw 類代理搭建可訓練環境

2026 年 8 月 18 日

ClawGym 讓本地、帶狀態的工作空間可用來合成資料、訓練代理同評估表現。你可以把它理解成一套面向 Claw-style personal agents 的研究與實驗框架。

ClawGym 把原本分散的代理開發流程收攏到同一個工作框架內，重點是處理本地、帶狀態工作空間中的任務生成、訓練同評測。對做 agent 研究或想驗證 Claw-style personal agents 的人來講，佢解決嘅唔係單一模型能力，而係點樣有系統咁建立可重複的實驗流程。

它嘅做法唔係只提供一個執行環境，而係同時涵蓋資料合成、agent 訓練同 benchmark 評估。令研究者可以用同一套基礎去跑不同任務，再睇代理喺有狀態工作空間入面表現有幾穩定。

幾個重點值得留意：
– 針對 local、stateful workspace，適合需要保留上下文同操作痕跡的任務
– 同時涵蓋 synthesized data、training 同 evaluation，減少流程分散
– 聚焦 Claw-style personal agents，而唔係泛用式聊天代理
– 已釋出 ClawGym-Bench 同 ClawGym-SynData，方便做對照測試同資料實驗

從公開資訊睇，ClawGym 亦一路延伸到更大範圍的 RL on general agent tasks，甚至可以透過 OpenClaw、Claude Code 呢類較複雜的 black-box agent harness 去做統一訓練。對想比較不同 agent 工作流、或者研究黑箱代理強化學習的人，佢提供咗一個較完整的基座。

項目主頁 · 模型

Categories: 開源, Agentic, MCP, 模型訓練, 軟件, Medical醫學, 安全, OpenClaw, 中國, Dataset 數據集, Skill 技能

GenRouter AI 圖像生成變成會分流的工作流

2026 年 8 月 18 日

它把 agentic image generation 由單一路徑改成可分流的工作流，按任務難度配對不同執行方案。對要兼顧畫質、文字準確度同運算成本的團隊，這種做法比硬套同一套流程更有彈性。

安裝方式偏向研究原型工作流，先建立 environment.yml 對應的 Conda 環境，再按 scripts/services/ 和 scripts/serve.sh 需要下載本地模型。README 亦提到 OneIG 同 WISE 有獨立環境，代表它不是單一命令就能完整跑通的輕量工具，而是要跟着項目內的服務配置同基準測試流程去部署。

GenRouter 處理的不是單純「生成得靚唔靚」，而是把不同提示詞導向不同算力配置。當任務涉及多步空間推理、精準文字渲染，或者需要較高視覺質素時，GenRouter 會揀更合適的執行計劃；較簡單的請求則不必走沉重流程，這種取捨直接針對延遲同成本問題。

GenCanvas 將 agentic image generation 拆成通用原語，方便重用工作流
GenRouter 以需求分析、記憶輔助匹配同 Pareto filtering 做路由
目標是減少「一刀切」流程造成的算力浪費
比較適合做圖像代理、生成管線同研究型系統的團隊
README 未見完整公開的數值結果摘要，較適合當作框架型項目理解

GitHub

Categories: 開源, 香港中文大學, 香港科技大學, Agentic, Qwen, Image, 影像模型

NaviDC-OCR：1.2B 參數文檔 VLM，統一處理相機與數碼文件

2026 年 8 月 18 日

NaviDC-OCR 把文件理解收斂到一個輕量 Vision-Language Model（VLM）流程，對掃描件和手機拍攝文件都能一起處理。它的重點不只在識別文字，還在版面、表格與公式之間的結構還原。

NaviDC-OCR 是一個輕量級 Vision-Language Model（VLM），專門處理 document understanding，也就是把文件內容、版面和結構一併讀出來。它最實際的價值，在於同時應付 digital documents 和 camera-captured documents，尤其適合文件拍攝角度不正、透視變形或版面較複雜的情境。

這個項目已釋出模型權重與 technical report，使用方式偏向直接載入 Hugging Face 上的模型做推理或再訓練，而不是一套獨立應用程式。它的訓練流程結合 Multi-node Consensus Voting（MCV）、Image-to-Image Self-Verification，以及 progressive four-stage training，顯示作者把大量標註成本轉移到自動化資料整理與驗證。

1.2B 參數，定位是輕量部署而非堆大模型。
同時面向掃描文件與相機拍攝文件，覆蓋範圍比只做單一路徑的做法更廣。
Geometry-aware Document Modeling 與 Curvature-Guided Douglas-Peucker Sampling（CGDP）主要針對彎曲、傾斜和變形頁面。
Content-Structure Decoupled Learning 令表格與公式的內容和結構分開學，較適合複雜文件。
作者聲稱在多個 benchmark 上有強表現，但具體部署成本仍要視推理框架與硬件而定。

和不少只偏重 OCR 文字抽取的做法相比，NaviDC-OCR 更像是把「看懂文件」放在第一位：它不只要讀字，還要保留版面關係與幾何資訊。這會令它在企業文件處理、票據整理、表格抽取、學術文件解析，或者手機拍照掃描的工作流裡更有用，但它仍然是研究型模型，落地時要留意速度、記憶體與實際文件分佈是否接近訓練資料。

GitHub · 模型

Categories: 開源, 視覺模型, 多模態模型, 模型訓練, Qwen, Image, Dataset 數據集

LLM_Modularity：MIT 研究拆解 LLM 模組化認知架構

2026 年 8 月 18 日

同一類推理會反覆動員同一批神經元，跨領域則明顯分開。這個項目把 LLM 內部的「分工」做成可重跑的分析流程。

probe.py types a reasoning prompt for each cognitive domain; the model

人腦展現出顯著的功能特化程度，不同的神經網路分別支持語言、形式推理、對他人心智的推理以及對物理世界的推理。這種模組化組織是智慧系統建構的基本原則，還是生物大腦特有的進化偶然現象？本文檢驗了大型語言模型（LLM）——另一類透過截然不同的最佳化過程所建構的智慧系統——是否也呈現出類似的組織結構。

值得留意的不是它再講一次模型會推理，而是它嘗試回答：大型語言模型做語言、數理、物理同社交推理時，內部是否真的有近似人腦功能網絡的分工。Pengrui-Han/LLM_Modularity 屬於研究分析工具與資料流程項目，核心工作是用 attribution patching、neuron overlap 同 causal ablation，定位 46 個任務在四個認知領域各自依賴的神經元群。

結論唔止停留在可視化。項目整理出六個 24B 至 123B frontier LLMs 的一致結果：同領域任務的神經元重疊高出 4.3 倍，ARI = 0.78；把某個領域相關神經元做 lesioning 或 ablation，該領域準確率下降幅度比跨領域高 10.3 倍。換句話說，模組化唔係單靠圖像解讀，而係有因果干預支持。

跟一般只看 attention pattern 或 embedding 聚類的做法相比，這個項目更著重「哪些單元真的支撐任務完成」，所以會用 full-sequence teacher-forcing metrics、corrupted-activation ablation，同按模型家族調整的 nnsight 載入流程。代價亦很直接：它不是輕量級 demo，需要 Linux、torch 2.10.0、nnsight 0.4.1，同 NVIDIA GPU；24B 至 123B 模型更要多 GPU 才較可行。

覆蓋 Language、Formal reasoning (Multiple-Demand)、Physical reasoning、Social reasoning (Theory of Mind) 四類推理
提供 46 個任務配置、clean/corrupted data pair、分析腳本與已整理 results CSV
重點不在訓練新模型，而在檢查現有 LLM 內部神經元是否出現穩定分工
已附 figures、overlap matrix 同 ablation analysis，適合延伸做復現或二次研究

較適合做 mechanistic interpretability、認知科學、AI 安全，或者想比較 Qwen、其他大型模型內部推理結構的研究團隊。它暫時更接近研究管線，而不是即裝即用產品；不過資料夾結構、config、scripts 同 results 已經足夠完整，對想重跑實驗、改任務集，或者把 OSWorld 以外的複雜推理基準接入分析流程的人，參考價值相當高。

項目主頁 · GitHub

Categories: 開源, Embedding, Qwen, NVIDIA, Linux, 安全

HRM-Text 把基礎模型預訓練門檻壓到千美元級

2026 年 8 月 18 日

想自己預訓練文字模型，通常先被算力同數據成本勸退。HRM-Text嘗試把呢道門檻大幅壓低，連完整訓練流程都一併開放。

最值得留意的地方，不是又多一個 1B 級文字模型，而是有人把「由零開始預訓練 foundation model」整理成一個可落地的開源項目。HRM-Text 屬於模型加訓練框架類型，處理的是中小團隊想自建文字生成模型時，算力、數據量同工程門檻都過高的問題。

它採用 Hierarchical Recurrent Model（HRM）架構，並加入 task completion 同 latent space reasoning，重點不是單純追更大參數，而是用 hierarchical recurrent architecture、PrefixLM sequence packing、FlashAttention 3 同 PyTorch FSDP2，把預訓練成本壓到傳統做法的 130 至 600 倍更低算力需求，以及 150 至 900 倍更低數據需求。呢個取捨很鮮明：換來的不是萬能部署環境，而是一條偏向研究與訓練端、對 Hopper-class GPU 仍有明確要求的路線。

部署同測試方式亦算完整。儲存庫已包含 training、checkpointing、evaluation，同 checkpoint 轉成 Hugging Face Transformers 格式的工具，配合 companion 的 data_io 管線準備 tokenized data 後，就可以按單節點或多節點方式開跑；不過 native Transformers 支援要等下一個 release，native vLLM 支援亦仍在進行中，所以現時較適合想重現訓練流程、驗證成本結構，或者研究 HRM 架構本身的團隊。

參考跑分不算保守：0.6B 版本用 8 張 H100、約 50 小時，GSM8k 有 77.6%，MATH 51.2%；1B 版本用 16 張 H100、約 46 小時，GSM8k 提升到 84.7%，MMLU 60.7%，ARC-C 81.9%。呢啲數字未必代表它已經適合所有產品化場景，但足以證明這條路不是紙上談兵，尤其對大學實驗室、國家語言模型計劃，或者想為小語種、自有語料建立 base model 的團隊，有相當現實的吸引力。

把 foundation model 預訓練成本壓到約千美元級，重點在完整流程而不只是一個模型權重
同時提供訓練、評估、checkpoint 轉換工具，方便重現與延伸研究
目前較依賴 H100 等 Hopper-class GPU，部署彈性未算完全成熟
適合研究機構、語言科技團隊，同要自建基礎模型能力的項目
原生 Transformers 與 vLLM 支援仍在補齊，短期內較偏訓練端使用

項目主頁 · GitHub · 模型

Categories: 開源, 模型, 多模態模型, 模型訓練, Python, Dataset 數據集

LittleLearner 把語言模型的知識邊界控制在小學五年級

2026 年 8 月 18 日

LittleLearner 透過受控課程資料訓練模型，研究能力究竟來自學習，還是只是被提示引出。

模型能否回答問題，不一定代表它真正學過相關知識。LittleLearner 將語言模型（Language Models，LMs）的預訓練資料限制在美國小學 K–5 課程，建立一個可觀察知識邊界的研究沙盒，讓研究者分辨能力是從資料中獲得，還是只是在提示下被引出。

項目的核心是 LittleCurriculum，一個由 FineWeb-Edu 蒸餾而成、約 880 億個 token 的語料庫。資料經過五階段篩選，並按照 Common Core standards 對齊，明確排除五年級以上教授的概念、事實和詞彙；模型則從零開始訓練，並配備使用相同架構、token 數量和訓練配方的 Unfiltered control，方便作出乾淨比較。

LittleLearner 提供 0.6B、1.3B 和 5B 三種規模，另有 Base、GRPO 及 Chatty 版本。研究測試 scaling、SFT+GRPO post-training 和 in-context learning 後發現，這些方法可以放大課程範圍內的能力，卻未能明顯提升範圍以外的表現，顯示預訓練資料可能設定了有效能力上限。

重點包括：
– 88B-token LittleCurriculum 將知識暴露範圍控制在 K–5 課程
– 三種模型規模均設有匹配的 Unfiltered control
– scaling 可改善課程範圍內表現，外推能力只有限度增加
– SFT+GRPO 和 in-context learning 未能突破知識邊界
– 網頁提供 5B 模型的瀏覽器聊天介面、Dataset 和 Model checkpoints

對研究模型能力來源、知識遷移和 post-training 效果的人，LittleLearner 提供了較容易重現和比較的實驗基礎；對一般使用者而言，瀏覽器內的 live chat 則可直接感受一個受控知識範圍模型的回答方式。

項目主頁 · 模型

Categories: 開源, 模型, 模型訓練, Dataset 數據集, Skill 技能

SimpleOPD 把長思維蒸餾帶到異 tokenizer 學生模型

2026 年 8 月 18 日

長上下文教師模型唔難找，難的是點樣穩定轉移到短上下文學生模型。SimpleOPD聚焦呢個落差，做法比一般蒸餾更貼近訓練現場。

想把長上下文推理能力交到較細、較短上下文的學生模型，卡位往往唔係只有模型強弱，而是 tokenizer 不同、輸出愈蒸餾愈長，最後連訓練都變得唔穩。SimpleOPD屬於模型訓練方法項目，處理的是 long-context reasoning teacher 到 short-context student 之間的 On-policy distillation（OPD）轉移，重點放在跨 tokenizer 仍然可以學到推理能力。

它冇硬做 token-level 對齊，而是改在 shared text space 對齊，只監督師生 tokenizer 剛好切出相同文字跨度的位置。呢個取捨很務實：少了強行對齊帶來的噪音，代價是可監督位置會收窄，但換來 arbitrary teacher-student tokenizer combinations 也能成立，對 Qwen3、Qwen3.5、Intern-S2、GLM-4.7、Gemma4 這類不同家族學生模型都更有通用性。

另一個關鍵，是它直接處理「答案愈生愈長」這個訓練現象。SimpleOPD加入 student-reference KL loss，再對 </think> 和 <|im_end|> 這類終止 token 做 advantage masking，目的不是單純加正則化，而是壓住學生模型偏離初始 policy 太遠，減少 teacher-student distribution mismatch、截斷率上升與訓練失穩。

支援 long-context teacher 產生 100K+ token reasoning chains
以 shared text space 對齊，避開 tokenizer 不一致帶來的蒸餾障礙
透過 student-reference KL loss 與終止 token masking 控制長度膨脹
在 ProofBench 對 Intern-S2-Preview 帶來 +21.2 分，升至 55.2
結果已超過 Gemini-2.5-Pro，並提到對 HLE、HiPhO 也有外溢收益

它不是即裝即用的線上服務，而是偏研究與訓練流程的開源項目；環境依賴 SLIME 0.2.3、Python 3.10+、PyTorch 2.0+，並為 GPU、HTTP-based teacher inference、timeout、concurrency、batch processing 留好接口。受益最大的會是做蒸餾訓練、想把強教師推理能力壓到較易部署學生模型的團隊，尤其是要跨 tokenizer、又不想被超長 reasoning chain 拖垮訓練穩定性的情境。

項目主頁 · GitHub

Categories: 開源, Qwen, OpenAI, Gemini, Python

S²VOPD 讓小模型看少一點，Qwen3.5-4B 反而看得更準

2026 年 8 月 18 日

S²VOPD 透過削弱學生模型的視覺資訊，在零標註下提升細粒度感知與數學推理表現。

小模型面對圖片時，減少它能看到的資訊，竟然可以帶來更好的學習訊號。Self-Supervised Visual On-Policy Distillation（S²VOPD）是一種視覺模型訓練方法，透過讓學生模型觀看低解析度、加入隨機 Gaussian noise 的圖片，處理沒有標註、獎勵或更強教師模型可用的限制。

訓練期間，學生模型會根據受干擾的圖片產生回答；採用 Exponential Moving Average（EMA）的教師模型則以原始圖片評分相同的生成前綴，再利用 top-k generalized Jensen-Shannon divergence（JSD）把較完整的 token 分佈傳給學生。教師與學生之間的資訊差異，來自學生少看一點，而不是額外加入 privileged information。

• Qwen3.5-4B 在六項細粒度感知基準的平均準確率，由 70.7% 升至 77.4%
• 4B 模型表現高於 Qwen3-VL-Instruct-235B 的 75.8% 和 GPT-5.4 的 72.8%
• 不需要 labels、rewards、region annotations 或更強教師模型
• 4B 同時提升感知表現 5.7% 和數學推理 3.7%

S²VOPD 使用學生視角縮放至原圖 0.3 至 0.6 倍，並加入 stochastic Gaussian noise。結果顯示，這種做法不只改善視覺感知，也能避免部分 privileged-information 方法在數學推理上的退步；例如 Oₚₛd 和 ZwZ 在部分 MathVision、MathVerse 測試中出現明顯下降。

這項方法較適合研究小型多模態模型訓練、視覺推理和自監督學習的讀者。現有結果集中於六項細粒度感知基準及數學推理測試，能否穩定延伸至其他資料、模型架構和更複雜影像任務，仍需要進一步驗證。

項目主頁

Categories: 開源, 模型訓練, Qwen, Image, Dataset 數據集

MMDiff 以特徵差分操控多模態模型行為

2026 年 8 月 18 日

MMDiff 把文字模型同多模態版本之間嘅差異拆開，找出受視覺訓練改寫嘅特徵，再用嚟削弱或引導模型行為。對做多模態安全、空間推理同 OCR 嘅團隊，佢提供咗一條可解釋又可干預嘅路。

MMDiff（Multimodal Model Diffing）係一套研究型方法，處理嘅問題唔係再訓練模型，而係先睇清楚多模態大型語言模型（Multimodal Large Language Models, MLLMs）入面邊啲特徵因為視覺訓練而改變，再將呢啲特徵移除或引導。對要做審核、除錯、對齊行為嘅團隊，呢種做法比單靠黑盒輸出更實用。

佢嘅核心做法係將基礎語言模型嘅 sparse autoencoder（SAE）同多模態 SAE 對齊比較，再用 contrastive per-token firing 去揀出任務相關特徵。之後可以做 causal removal，或者用 MMDiff-CAA 喺相關層面 steering，直接改變模型喺空間推理、OCR 同安全場景嘅輸出傾向。

項目提供咗對應嘅 SAE checkpoints，亦有針對 LLaVA-MORE、PaliGemma 2 同 InternVL3.5 嘅結果。作者做咗視覺空間理解、多模態安全同 OCR 評測，指出移除單一特徵可令目標能力下降，同時一般 VQA 受影響好細，顯示呢套方法唔係純觀察，而係真係可以做定向控制。

可用嚟定位多模態訓練改寫咗邊啲特徵
可以將特定行為削弱，而唔一定要重訓整個模型
對做 OCR、空間推理、模型安全審查嘅團隊特別有用
測試結果顯示，目標能力下降明顯，一般 VQA 干擾相對細
方法可跨幾個 MLLM 家族轉用，唔只限單一模型

項目主頁 · GitHub · 模型

Categories: 開源, 多模態模型, 微軟

Page 49 of 183

« Previous 1 … 47 48 49 50 51 … 183 Next »