OpenClaw 等個人助理代理的興起凸顯了大型語言模型在支援使用者日常生活和工作方面日益增長的潛力。這些環境中的一個核心挑戰是主動協助，因為使用者通常從未明確說明的請求開始，而未說明重要的需求、限製或偏好。

Pi-Bench 不是一般聊天問答，而是評測檢查個人助手型代理在長流程工作中，能否及早察覺用戶未講出口的需要。這類情境很常見，因為不少人一開始只會講大方向，細節、限制同偏好往往在後續對話才慢慢浮現。

這個項目收錄了 100 個多輪任務，涵蓋 researcher、marketer、pharmacist、law trainee、financier 五類角色，並且把任務放進可持續保存的工作空間，模擬跨時段處理事情的情況。相比只測短回合回答的基準，它更接近「一路做、一路補需求」的助手工作模式。

Pi-Bench 的特別之處，在於它同時看兩件事：助手夠不夠主動，以及最後交付是否完整。前者會看系統能否提早推斷隱藏意圖，或主動追問關鍵資訊；後者則檢查輸出是否符合清單要求。README 提到評分包含隱藏意圖判斷與 checklist 驗證，而且審核分歧低於 4%，顯示評估設計有一定穩定性。

對研究代理系統、評估 LLM 助手，或者想比較 OpenClaw、Nanobot、Claude Code 一類模型／系統表現的人，這個項目幾有參考價值。使用時重點不是「跑出高分」本身，而是觀察模型在哪些回合漏問、忘記前文，或者只懂被動完成指令。

• 針對長流程、多輪互動，不只測單次回答
• 納入隱藏需求、跨任務依賴與跨 session 延續性
• 以主動性與完整度兩條線一齊評估
• 包含 5 種角色、100 個任務，場景較立體
• 適合比較個人助手型代理，而非純文字問答模型

整體來說，Pi-Bench 最有價值的地方，是把「助手是否主動幫到手」拆成可觀察、可比較的評測問題。它未必直接提升模型能力，但很適合作為檢查工具，幫團隊看清楚一個助手究竟只是跟指令做事，還是真正懂得提前補位。

GitHub： https://github.com/Simplified-Reasoning/Pi-Bench

項目： https://simplified-reasoning.github.io/Pi-Bench/

TransitLM 重點不是直接幫你找車程，而是提供一套評估流程，專門量度模型生成公共交通路線的表現。它配合同名論文與資料集使用，主要服務「不靠地圖引擎、直接由資料學出路線」這類研究方向。

項目已經附上示例 CSV，並按不同情境分成幾個評估腳本，包括單一路線、偏好路線、多路線多樣性，以及透過遠端 API 評估一般大語言模型輸出。因為只依賴 Python 標準函式庫，環境要求相對輕巧，想重現論文評估流程的人會較容易開始。

這個項目最值得留意的地方，是它不只給一個總分，而是把結果拆成多層來看，例如路線是否可達、站點是否對應得上、整體結構是否一致，以及時間、距離、票價估算是否可信。對比只看「答得似唔似」，這種分層做法更容易找出模型到底是認錯站、接錯線，還是只在數值估算上失準。

• 支援四類評估情境，覆蓋論文基準與一般 LLM 輸出
• 評分拆成多個維度，比單一總分更有診斷價值
• 可檢查偏好是否符合，例如少轉車、避開地鐵等
• 多路線模式會額外比較替代路線與多樣性
• 安裝負擔低，適合重現與快速驗證

從論文資訊看，TransitLM 背後資料規模相當大，涵蓋超過 1,300 萬筆公共交通規劃紀錄、四個中國城市、120,845 個站與 13,666 條路線；相關研究亦提到模型可在沒有明確地圖對接下，學到站點對應與路線結構。不過這個儲存庫本身偏重「評估」而非「訓練」，所以較適合研究人員、做交通路線生成的模型開發者，或者想比較 GPT、Qwen 這類一般模型在路線任務上表現的人。

整體來看，TransitLM 的價值在於把一個很易流於主觀的任務，整理成可重現、可分解、可比較的評估項目。對非專業讀者來說，可以把它理解成一把較精細的尺：不是幫你直接畫路線，而是幫你判斷模型畫出來的路線，到底有幾可信。

GitHub： https://github.com/HotTricker/TransitLM

Paper： https://arxiv.org/pdf/2605.22355

MM-OCEAN 是一個用來評估多模態大語言模型的基準項目，核心不是單看模型能否判斷一個人的人格傾向，而是檢查它有沒有根據影片中的可觀察行為去推理。它聚焦 Big Five 五大人格維度，並指出一個很值得關注的現象：不少模型即使評分答對，背後也未必有可靠證據支持。

這個項目解決的問題很清楚。以往不少評估只看最後分數，但人格判斷牽涉表情、語氣、動作和互動線索，單靠結果很難知道模型是「看懂了」，還是只是碰巧猜中。MM-OCEAN 進一步把評估拆成評分、文字解釋和線索對應三層，令研究者可以分辨模型是理解不足、胡亂補充，還是無法把線索整合成合理結論。

資料規模方面，項目包含 1,104 段 15 秒影片、約 13,500 條經人工核實的細粒度行為觀察、5,520 份有證據支持的人格分析，以及 5,320 題多項選擇題。倉庫亦提供評分腳本和提示模板，研究者可以依照既定流程，把自己的模型輸出放入同一套框架比較；相關評測涵蓋 27 個多模態模型，屬於頗完整的橫向觀察。

最有新意的地方，是它不把「答對」視為終點，而是加入幾種失誤指標去量化問題，例如答對但沒有線索依據、線索對了但推理不通，或找到線索卻得出錯誤結論。論文摘要提到，整體有 51% 的正確評分並非建立在檢索到的線索之上，而更嚴格的整體通過表現最高亦只有約 33.5%，這說明現時模型距離可靠的人格推理仍有明顯差距。

• 重點不是只計分數，而是同時檢查理由與證據是否一致
• 提供三層評估流程，較易看出模型錯在觀察、推理還是整合
• 涵蓋 27 個多模態模型，方便做基準比較
• 適合研究多模態理解、AI 安全、公平性與人機互動的團隊
• 可留意的相關模型類型，包括閉源與開源多模態大模型，但倉庫摘要未逐一列出名稱

對研究團隊、評測設計者，甚至關心 AI 是否會憑表面印象下判斷的人來說，MM-OCEAN 都很有參考價值。它不是一般可直接拿來日常應用的小工具，而是偏向研究與驗證用途；但正因如此，它把問題講得夠具體，亦讓人更清楚看到今天多模態模型在人格理解上仍有甚麼盲點。

GitHub： https://github.com/kkkcx/MM-OCEAN

Paper： https://arxiv.org/pdf/2605.22109