Dataset 數據集

HarnessEval-W 讓世界模型評測留下可核查推理鏈

2026 年 8 月 18 日

世界模型評測不再只給一個分數，HarnessEval-W把每次判斷拆成可追溯的證據樹，讓物理與因果錯誤更容易核對。

當世界模型生成一段互動場景，真正難判斷的往往不是畫面是否漂亮，而是物理、因果和世界狀態有沒有隨行動正確演變。HarnessEval-W 屬於開源的 agentified benchmark，實際處理的是如何把這些需要理解上下文的評測工作，轉化成可檢查、可重現的判斷流程。

它借用 Large Language Model（LLM）生態常見的 harness 思路，先按每個 evaluation case 的初始世界、action 和 probe intent 分解問題，再由具備不同工具與上下文的 specialized sub-agents 分工判斷，最後由 parent agent 驗證證據並整合 verdict。每次評測都會留下 evidence tree，記錄測試內容、視覺依據和完整推理鏈，研究團隊可以追查分數由何而來，而不是只接受一個難以解釋的 scalar score。

支援 330 個 evaluation cases、5,940 次 scored rollouts
以 11 個 specialized evaluation skills 覆蓋品質、轉換與持續性
涵蓋 18 個 world models，並提供 leaderboard 與可執行評測程式
包含 harnesseval-metrics，以及 physical-plausibility backend harnesseval-pavrm

HarnessEval-W 在 intentional transition 上與人類 Bradley–Terry ranking 的 Spearman correlation 為 0.93；physical transition 的 pairwise accuracy 達 71.7%，高於 WBench 的 31.9%。重複評測的結果範圍亦較 WBench 窄 4.9 倍，但這些數字仍取決於案例設計、技能路由和代理判斷品質，不能直接視為所有世界模型任務的通用排名。

項目提供固定 plans、benchmark 資源、metric backends 和可延伸的 skill library；團隊可以先重現既有 cases，再提交新世界、新 action、新 probe family 或新 skill。它較適合研究世界模型、建立可審計評測流程，或需要比較物理合理性與狀態持續性的團隊；對只想快速取得單一分數的測試流程而言，完整證據樹會增加運算與整合成本，但換來更清楚的錯誤定位能力。

項目主頁 · GitHub

Categories: 開源, Agentic, 庫, 世界模型, Skill 技能, Dataset 數據集, 北京大學

PACE-Bench：專測機械環境變化下的自我演化能力

2026 年 8 月 18 日

PACE-Bench 針對環境突變後的適應力做評測，重點不是能否第一次做對，而是能否把原本成功的設計改到再次通關。你可以把它理解成一個用物理模擬驗證自我修正能力的基準。

S-01 Bridge Construction: source design passes, fails after mutation, self-evolves, and passes the target environment

PACE-Bench 是一個用來測試自我演化 agents 的基準，核心問題是：當原本可行的 code-driven design 因為環境改動而失效，系統能否靠互動回饋把它改回可行。它更像是在驗證適應能力，而唔只是看一次性解題。

這個項目把 144 組 source-to-target 配對放入 6 類物理場景，要求 agent 先在 source 環境成功，再在 hidden mutation 後的 target 環境重新修正。每次修訂都要經過執行驗證，JSON 會保存，--save-gif 亦可記錄每次通過驗證的嘗試動畫。

同類評測多數固定執行條件，PACE-Bench 直接把變化放進任務核心，逼系統面對失敗後的再設計。它用 OpenAI-compatible endpoint 跑模型，--base-url、--model、--api-key 與 --workers 這些參數都對應實際部署需要，較適合拿來接自家推理服務做批量評估。

從公開結果看，Reflexion 在 Pass@2 上領先，但 Tree-of-Thoughts 在成本效率更高，說明多做自我修正不一定換到更好的性價比。這類基準特別適合做具身智能、仿真控制、研究自我修正流程的團隊，用來檢查模型在新條件下是否真能靠回饋改對，而唔係只係記住舊解法。

針對環境突變後的適應能力，不是單次解題
以執行驗證驅動每次修訂，結果可重現
支援接入 OpenAI-compatible 服務做評測
結果顯示準確率與成本效率未必同步提升
適合研究 self-evolving agents、控制與物理模擬

項目主頁 · GitHub · 模型

Categories: 開源, Qwen, Agentic, API, Dataset 數據集

Tencent UI-Mate 桌面操作示範變成可重用工作流

2026 年 8 月 18 日

開源權重的通用 GUI 智能體：環境驅動訓練 + 上下文演示學習——流程演示一次即可，不必把所有約定寫進提示。

很多桌面任務難寫成一段完整提示，問題不在指令太短，而是在檔名規則、視窗擺位、公司流程這些細節往往靠示範更容易講清。UI-Mate 就是朝這個位置切入的開源 GUI agent 項目：它在原生桌面看螢幕畫面，用鍵盤和滑鼠跨應用程式執行長流程工作，並且支援把一次人手操作示範轉成可重用工作流。

UI-Mate 把示範當成建議。當畫面內容、資料、視窗狀態或任務目標有變化，代理仍會按即時畫面重新判斷，避免變成只懂重播錄製腳本的 Computer-use agents（CUAs）。這個取捨很重要，因為它直接回應了 GUI 自動化最常見的失敗位：流程相似，但畫面從來不會完全一樣。

訓練方法亦反映它想處理真實環境，而不只是跑單一 benchmark。項目提到 closed-loop data engine，會串連任務合成、環境建構、rollout、驗證與 filtering，再用 capability tree 補回覆蓋不足的能力；同時支援 Ubuntu、Windows 和 macOS 的統一 rollout layer，並以 asynchronous group-relative optimization 處理長而且變化大的 rollout。整體方向很清晰：先把可執行環境和驗證機制搭好，再談代理怎樣學會跨系統做事。

公開結果亦有參考價值。UI-Mate 在 OSWorld-Verified 達到 77.0%，WindowsAgentArena 為 66.2%，而 OSWorkerBench 嚴格成功率 41.0%、progress 76.9%；加入一次 same-task demonstration 後，OSWorker self-demo strict success 由 17.2% 升到 35.4%。這些數字未必代表它已經能穩定接手所有桌面工作，但至少說明示範式引導不只是概念包裝，對長流程任務有明顯幫助。

屬於開源 GUI agent 項目，重點是處理跨應用、跨作業系統的長流程桌面任務
核心差異在於支援 in-context demonstrations，把一次示範整理成可重用工作流
示範不是腳本重播，代理會按 live screenshot 即場重新規劃
較適合需要固定流程但畫面與資料經常變動的團隊、營運與辦公自動化場景
目前已公開模型與結果，但 OSWorkerBench 等配套仍有部分內容標示為 Coming Soon

部署與理解方式上，現有資料較接近研究原型加可試權重，而不是開箱即用的完整產品。官方已放出 code、weights、technical report 和 Try App，較合理的看法是先把它當成可驗證 demonstration-guided GUI agent 能力的開源基線，再看後續 benchmark、資料集與工具鏈是否補齊。對研究 GUI agent、企業桌面自動化，或者想比較文字指令與示範引導差異的團隊，這個項目很值得跟進。

項目主頁 · GitHub · 模型

Categories: 開源, 騰訊, Agentic, Linux, Mac, 模型, UI/UX, Dataset 數據集

ClawGym：為 Claw 類代理搭建可訓練環境

2026 年 8 月 18 日

ClawGym 讓本地、帶狀態的工作空間可用來合成資料、訓練代理同評估表現。你可以把它理解成一套面向 Claw-style personal agents 的研究與實驗框架。

ClawGym 把原本分散的代理開發流程收攏到同一個工作框架內，重點是處理本地、帶狀態工作空間中的任務生成、訓練同評測。對做 agent 研究或想驗證 Claw-style personal agents 的人來講，佢解決嘅唔係單一模型能力，而係點樣有系統咁建立可重複的實驗流程。

它嘅做法唔係只提供一個執行環境，而係同時涵蓋資料合成、agent 訓練同 benchmark 評估。令研究者可以用同一套基礎去跑不同任務，再睇代理喺有狀態工作空間入面表現有幾穩定。

幾個重點值得留意：
– 針對 local、stateful workspace，適合需要保留上下文同操作痕跡的任務
– 同時涵蓋 synthesized data、training 同 evaluation，減少流程分散
– 聚焦 Claw-style personal agents，而唔係泛用式聊天代理
– 已釋出 ClawGym-Bench 同 ClawGym-SynData，方便做對照測試同資料實驗

從公開資訊睇，ClawGym 亦一路延伸到更大範圍的 RL on general agent tasks，甚至可以透過 OpenClaw、Claude Code 呢類較複雜的 black-box agent harness 去做統一訓練。對想比較不同 agent 工作流、或者研究黑箱代理強化學習的人，佢提供咗一個較完整的基座。

項目主頁 · 模型

Categories: 開源, Agentic, MCP, 軟件, Medical醫學, 安全, 模型訓練, OpenClaw, 中國, Skill 技能, Dataset 數據集

NaviDC-OCR：1.2B 參數文檔 VLM，統一處理相機與數碼文件

2026 年 8 月 18 日

NaviDC-OCR 把文件理解收斂到一個輕量 Vision-Language Model（VLM）流程，對掃描件和手機拍攝文件都能一起處理。它的重點不只在識別文字，還在版面、表格與公式之間的結構還原。

NaviDC-OCR 是一個輕量級 Vision-Language Model（VLM），專門處理 document understanding，也就是把文件內容、版面和結構一併讀出來。它最實際的價值，在於同時應付 digital documents 和 camera-captured documents，尤其適合文件拍攝角度不正、透視變形或版面較複雜的情境。

這個項目已釋出模型權重與 technical report，使用方式偏向直接載入 Hugging Face 上的模型做推理或再訓練，而不是一套獨立應用程式。它的訓練流程結合 Multi-node Consensus Voting（MCV）、Image-to-Image Self-Verification，以及 progressive four-stage training，顯示作者把大量標註成本轉移到自動化資料整理與驗證。

1.2B 參數，定位是輕量部署而非堆大模型。
同時面向掃描文件與相機拍攝文件，覆蓋範圍比只做單一路徑的做法更廣。
Geometry-aware Document Modeling 與 Curvature-Guided Douglas-Peucker Sampling（CGDP）主要針對彎曲、傾斜和變形頁面。
Content-Structure Decoupled Learning 令表格與公式的內容和結構分開學，較適合複雜文件。
作者聲稱在多個 benchmark 上有強表現，但具體部署成本仍要視推理框架與硬件而定。

和不少只偏重 OCR 文字抽取的做法相比，NaviDC-OCR 更像是把「看懂文件」放在第一位：它不只要讀字，還要保留版面關係與幾何資訊。這會令它在企業文件處理、票據整理、表格抽取、學術文件解析，或者手機拍照掃描的工作流裡更有用，但它仍然是研究型模型，落地時要留意速度、記憶體與實際文件分佈是否接近訓練資料。

GitHub · 模型

Categories: 開源, Qwen, Image, 多模態模型, 模型訓練, 視覺模型, Dataset 數據集

HRM-Text 把基礎模型預訓練門檻壓到千美元級

2026 年 8 月 18 日

想自己預訓練文字模型，通常先被算力同數據成本勸退。HRM-Text嘗試把呢道門檻大幅壓低，連完整訓練流程都一併開放。

最值得留意的地方，不是又多一個 1B 級文字模型，而是有人把「由零開始預訓練 foundation model」整理成一個可落地的開源項目。HRM-Text 屬於模型加訓練框架類型，處理的是中小團隊想自建文字生成模型時，算力、數據量同工程門檻都過高的問題。

它採用 Hierarchical Recurrent Model（HRM）架構，並加入 task completion 同 latent space reasoning，重點不是單純追更大參數，而是用 hierarchical recurrent architecture、PrefixLM sequence packing、FlashAttention 3 同 PyTorch FSDP2，把預訓練成本壓到傳統做法的 130 至 600 倍更低算力需求，以及 150 至 900 倍更低數據需求。呢個取捨很鮮明：換來的不是萬能部署環境，而是一條偏向研究與訓練端、對 Hopper-class GPU 仍有明確要求的路線。

部署同測試方式亦算完整。儲存庫已包含 training、checkpointing、evaluation，同 checkpoint 轉成 Hugging Face Transformers 格式的工具，配合 companion 的 data_io 管線準備 tokenized data 後，就可以按單節點或多節點方式開跑；不過 native Transformers 支援要等下一個 release，native vLLM 支援亦仍在進行中，所以現時較適合想重現訓練流程、驗證成本結構，或者研究 HRM 架構本身的團隊。

參考跑分不算保守：0.6B 版本用 8 張 H100、約 50 小時，GSM8k 有 77.6%，MATH 51.2%；1B 版本用 16 張 H100、約 46 小時，GSM8k 提升到 84.7%，MMLU 60.7%，ARC-C 81.9%。呢啲數字未必代表它已經適合所有產品化場景，但足以證明這條路不是紙上談兵，尤其對大學實驗室、國家語言模型計劃，或者想為小語種、自有語料建立 base model 的團隊，有相當現實的吸引力。

把 foundation model 預訓練成本壓到約千美元級，重點在完整流程而不只是一個模型權重
同時提供訓練、評估、checkpoint 轉換工具，方便重現與延伸研究
目前較依賴 H100 等 Hopper-class GPU，部署彈性未算完全成熟
適合研究機構、語言科技團隊，同要自建基礎模型能力的項目
原生 Transformers 與 vLLM 支援仍在補齊，短期內較偏訓練端使用

項目主頁 · GitHub · 模型

Categories: 開源, Python, 多模態模型, 模型, 模型訓練, Dataset 數據集

LittleLearner 把語言模型的知識邊界控制在小學五年級

2026 年 8 月 18 日

LittleLearner 透過受控課程資料訓練模型，研究能力究竟來自學習，還是只是被提示引出。

模型能否回答問題，不一定代表它真正學過相關知識。LittleLearner 將語言模型（Language Models，LMs）的預訓練資料限制在美國小學 K–5 課程，建立一個可觀察知識邊界的研究沙盒，讓研究者分辨能力是從資料中獲得，還是只是在提示下被引出。

項目的核心是 LittleCurriculum，一個由 FineWeb-Edu 蒸餾而成、約 880 億個 token 的語料庫。資料經過五階段篩選，並按照 Common Core standards 對齊，明確排除五年級以上教授的概念、事實和詞彙；模型則從零開始訓練，並配備使用相同架構、token 數量和訓練配方的 Unfiltered control，方便作出乾淨比較。

LittleLearner 提供 0.6B、1.3B 和 5B 三種規模，另有 Base、GRPO 及 Chatty 版本。研究測試 scaling、SFT+GRPO post-training 和 in-context learning 後發現，這些方法可以放大課程範圍內的能力，卻未能明顯提升範圍以外的表現，顯示預訓練資料可能設定了有效能力上限。

重點包括：
– 88B-token LittleCurriculum 將知識暴露範圍控制在 K–5 課程
– 三種模型規模均設有匹配的 Unfiltered control
– scaling 可改善課程範圍內表現，外推能力只有限度增加
– SFT+GRPO 和 in-context learning 未能突破知識邊界
– 網頁提供 5B 模型的瀏覽器聊天介面、Dataset 和 Model checkpoints

對研究模型能力來源、知識遷移和 post-training 效果的人，LittleLearner 提供了較容易重現和比較的實驗基礎；對一般使用者而言，瀏覽器內的 live chat 則可直接感受一個受控知識範圍模型的回答方式。

項目主頁 · 模型

Categories: 開源, 模型, 模型訓練, Skill 技能, Dataset 數據集

S²VOPD 讓小模型看少一點，Qwen3.5-4B 反而看得更準

2026 年 8 月 18 日

S²VOPD 透過削弱學生模型的視覺資訊，在零標註下提升細粒度感知與數學推理表現。

小模型面對圖片時，減少它能看到的資訊，竟然可以帶來更好的學習訊號。Self-Supervised Visual On-Policy Distillation（S²VOPD）是一種視覺模型訓練方法，透過讓學生模型觀看低解析度、加入隨機 Gaussian noise 的圖片，處理沒有標註、獎勵或更強教師模型可用的限制。

訓練期間，學生模型會根據受干擾的圖片產生回答；採用 Exponential Moving Average（EMA）的教師模型則以原始圖片評分相同的生成前綴，再利用 top-k generalized Jensen-Shannon divergence（JSD）把較完整的 token 分佈傳給學生。教師與學生之間的資訊差異，來自學生少看一點，而不是額外加入 privileged information。

• Qwen3.5-4B 在六項細粒度感知基準的平均準確率，由 70.7% 升至 77.4%
• 4B 模型表現高於 Qwen3-VL-Instruct-235B 的 75.8% 和 GPT-5.4 的 72.8%
• 不需要 labels、rewards、region annotations 或更強教師模型
• 4B 同時提升感知表現 5.7% 和數學推理 3.7%

S²VOPD 使用學生視角縮放至原圖 0.3 至 0.6 倍，並加入 stochastic Gaussian noise。結果顯示，這種做法不只改善視覺感知，也能避免部分 privileged-information 方法在數學推理上的退步；例如 Oₚₛd 和 ZwZ 在部分 MathVision、MathVerse 測試中出現明顯下降。

這項方法較適合研究小型多模態模型訓練、視覺推理和自監督學習的讀者。現有結果集中於六項細粒度感知基準及數學推理測試，能否穩定延伸至其他資料、模型架構和更複雜影像任務，仍需要進一步驗證。

項目主頁

Categories: 開源, Qwen, Image, 模型訓練, Dataset 數據集

MobileMem 把手機長期記憶放入真實場景測試

2026 年 8 月 18 日

手機助手要記住一年的生活，難點不只是搜尋資料，更要理解跨應用、跨模態的長期脈絡。

手機助手若要回答「女兒七歲生日有哪些照片」或核對過敏藥物，單靠短對話記憶很快會失準。MobileMem 屬於端側長期記憶（on-device long-term memory）的評測框架與資料集，將一年手機經歷整理成可重現的測試環境，檢驗記憶系統能否跨應用保留、連結及找回重要資訊。

它涵蓋 365 天、12 個應用程式，以及每位使用者平均 1.72M tokens 的資料規模，來源包括對話、日曆、筆記、瀏覽紀錄和相片等異質內容。與只測單輪問答或獨立文件檢索的做法相比，MobileMem 更接近長期使用情境，但同時令資料整理、隱私處理和推理成本變得更複雜。

資料分為兩條 benchmark track：text 供文字記憶系統處理長期對話與結構化 mobile-app events；omni 則加入 screenshots 和 photos，測試多模態記憶。它本身不是模型，而是用來比較不同 memory systems、分析失敗原因及建立 leaderboard 的測試基礎。

支援文字與多模態兩類測試
涵蓋跨應用、長期且知識密集的 mobile agent trajectories
可從 HuggingFace 下載資料集
Dataset Explorer branch 提供互動式資料瀏覽
現有資訊未列出具體模型分數，需查看 leaderboard 或自行重跑測試

研究人員可先下載 HuggingFace 資料集，按 text 或 omni 軌道接入自己的記憶模型，再利用網站和 Dataset Explorer 檢查案例。適合開發 mobile agents、personalized assistant、長期 RAG 或 multimodal memory 的團隊；涉及健康紀錄、家庭相片等私人內容時，仍要自行確認資料授權、匿名化和端側部署要求。

項目主頁 · GitHub

Categories: 開源, Agentic, Medical醫學, RAG, 多模態模型, 中國, Dataset 數據集

HumanTracker 想解決人形動作評測失真

2026 年 8 月 18 日

影片睇落穩唔穩，未必等於關節誤差低。HumanTracker把人類偏好納入評測，補回人形動作追蹤最常被忽略的一段。

只看關節角度誤差，往往會把腳滑、落地時機錯、支撐不穩這些觀感上很明顯的問題沖淡。HumanTracker屬於資料集加評測工具類型，核心不是再做一個追蹤模型，而是替 humanoid motion tracking 建立更貼近人眼判斷的 benchmark，讓 teleoperation 與 whole-body imitation 的結果不只「數值過關」，影片也更可信。

它的價值在於同時補兩個缺口：一邊擴大測試覆蓋，另一邊重寫評分方法。項目收錄約 153 小時光學動作資料、來自 24 位專業表演者，整理成四類動作家族，專門拉開日常步態、高動態、互動動作與接地穩定性之間的差異；再用 12K human-labeled preference pairs，訓練出偏好對齊的 HumanScore，去判斷哪條 tracker trajectory 更接近人會接受的效果。

跟 MPJPE 這類逐幀 kinematic 指標相比，HumanScore 重點不在每一幀有幾準，而在整段軌跡有沒有出現長時間滑步、抖動、漂移與失去平衡。官方提供的結果顯示，HumanScore 在測試集對人類偏好的對齊率達 90.83%，比較強的傳統診斷指標高 6.78 分；README 亦保留 Succ、MPJPE 與 HumanScore 幾種分數，代表它不是取代舊指標，而是把「物理上站不站得住」這件事補回評估流程。

約 153 小時新採集 optical motion，涵蓋 25K 級別標註片段
HumanScore 來自 trajectory reward model，學的是人對整段動作的偏好
儲存庫提供 evaluation harness、HumanScore reward model 同數據處理工具
適合做人形機械人追蹤、模仿學習、teleoperation 評測的研究團隊使用

這個 GitHub 儲存庫比較像研究評測基建：重點是下載資料集、跑 evaluation harness、再用 HumanScore 與傳統指標一起看結果，而不是即開即用的終端產品。受益最大的會是做人形控制、動作追蹤與模仿策略比較的團隊，因為它能幫你分辨模型究竟只是把姿勢角度擬合得好，還是真的把接觸、穩定與動作連貫度處理好。限制也很明確：它主要提升的是評測可信度，不等於直接改善 tracker 本身能力。

項目主頁 · GitHub

Categories: 開源, 北京大學, 清華大學, Dataset 數據集, World-Action Model

Page 1 of 20

1 2 3 … 20 Next »