做文件問答評測時，很多工具只睇最後答案啱唔啱，但現實上，尤其是合約、財務報告、醫療文件呢類長篇 PDF，真正重要的是「答案來自邊一頁、邊一段、邊個區塊」。CiteVQA 針對的正正是這個缺口：它不只要求系統回答問題，仲要指出支撐答案的文件位置，而且細到元素層級，例如頁碼同區域框選。對想評估文件 AI 是否可靠的人來講，這比單純比拼答題分數實用得多。

實際使用上，這個專案較適合作為評測基準，而唔係一般用家即開即用的聊天工具。研究團隊、產品開發者或企業內部做文件自動化測試時，可以先取得資料集，再用自己的多模態模型跑推論，之後交畀評估程式比對答案與引用位置是否同樣正確。資料涵蓋英文與中文文件，來自 711 份 PDF、共 1,897 條問題，平均每份文件超過 40 頁，亦分成單一文件問答，以及要在多份文件中找答案的情境，難度相當貼近真實工作流程。

這個專案最值得留意的地方，是它把「答對」與「引對證據」綁埋一齊計分。核心指標 SAA 只有在答案正確，而且引用區域同標準證據對得上時先會得分，能更直接揭示模型有冇出現「講得似乎合理，但引用錯地方」的情況。根據公開結果，即使是表現較強的模型，答案分數與這種嚴格分數之間仍有明顯差距，反映現時不少系統其實未真正做到可追溯。這一點對高風險場景尤其重要，因為用戶要的不只是結論，仲要查得到根據。

重點可簡單整理成以下幾點：
– 不只評分答案，亦檢查引用證據是否真係來自正確頁面與區域
– 文件夠長亦夠真實，涵蓋 7 個大類領域、30 個細分類，並支援中英文
– 場景設計多樣，包括單文件、多文件但只有一份正確來源，以及多份來源都可能成立
– 適合測試文件型多模態模型，特別係要處理 PDF 版面、圖文混合與跨頁搜尋的系統
– 可用來比較模型可靠度，而唔係只比較誰的答案最似正解

從模型觀察角度看，這個基準亦提供了不錯的參考名單。公開結果提到的相關模型包括 Gemini-3.1-Pro-Preview、Gemini-3-Flash-Preview、GPT-5.4、Gemini-2.5-Pro、Seed2.0-Pro、GPT-5.2、Qwen3.6-Plus、GLM-5V-Turbo、Qwen3-VL-235B-A22B、Gemma-4-31B、Kimi-K2.5、Qwen3.5-397B-A17B 等。由這些結果可見，封閉模型在整體表現上暫時較領先，但開源模型同樣能作為對照組，方便團隊用統一方式測試自家方案。對要建立文件審核、知識搜尋、報告核對、法規查證流程的人來說，CiteVQA 的價值不在於幫你直接產生答案，而在於幫你分辨：哪個模型，才真係值得信。

GitHub： https://github.com/opendatalab/CiteVQA

Paper： https://arxiv.org/pdf/2605.12882

如果你對 AI 有興趣，但又唔想由指令列、插件同繁複設定開始，OpenHuman 這類桌面式助手會幾易入口。按項目說明，它偏向圖形介面操作，安裝後可用較短流程連接日常帳戶，幾下點擊就能開始使用，對一般用家算友善。

它真正想解決的，不是「答你一條問題」咁簡單，而是將分散喺 Gmail、Notion、GitHub、Slack、Calendar、Drive、Jira、Linear 等工具入面嘅資訊，整理成可持續使用嘅個人上下文。系統會自動抓取連接資料，並建立本機優先嘅記憶結構，令助手唔使每次都由零開始理解你做緊乜。

較有意思的地方，是它將記憶、工具同語音互動放埋一齊。資料會轉成較易處理的 Markdown 片段，存入 SQLite，亦可同步成相容 Obsidian 的筆記庫；同時又內建網頁搜尋、抓取、檔案操作、git、測試，以及語音輸入輸出，甚至提到可加入 Google Meet。模型方面，項目表示會按任務路由到不同類型模型，亦可選用本機 Ollama；相關能力涉及推理型、快速型、視覺型模型，語音輸出則提到 ElevenLabs。

重點可以咁睇：
– 以桌面介面為先，較少依賴技術設定
– 可連接 118+ 第三方服務，減少資料分散
– 本機記憶庫加 Obsidian 相容筆記，方便追蹤與整理
– 內建工具鏈較完整，唔使逐個插件補功能
– 透過 TokenJuice 壓縮內容，官方稱可降低成本與延遲

如果你係內容工作者、獨立開發者、創業團隊，或者本身已經有一堆雲端工具要管理，OpenHuman 的方向會幾吸引。不過它仍屬早期測試階段，實際穩定性、授權連接體驗同記憶準確度，較適合抱住嘗鮮加觀望心態去試。

網址： https://github.com/tinyhumansai/openhuman

Agent-ValueBench 係一個用嚟評估 AI 代理「價值取向」嘅基準工具。簡單講，佢唔只睇模型答得啱唔啱，而係觀察一個會用工具嘅語言模型代理，喺有衝突嘅情境入面，實際行動會偏向邊一種價值。

呢個專案較特別嘅地方，係將抽象嘅價值問題變成可執行任務。資料庫包含 28 套價值系統、332 個價值維度、394 個沙盒環境，同 4,335 個價值衝突任務；每個案例都會定義任務、可用工具、執行環境，同評分規則，令比較唔再停留喺主觀印象。

實際使用上，研究者可以先用現成案例同環境，令代理喺指定任務中運行，再記錄成條行為軌跡，之後用已儲存嘅 rubric 去評分，分析代理較支持邊一方價值。對一般開發團隊嚟講，佢更似係一套測試框架，用嚟檢查代理系統喺敏感決策情境下是否一致、可比較。

• 重點唔係知識問答，而係代理喺工具使用過程中點樣作取捨
• 有完整流程，由環境生成、案例建立、軌跡生成，到評分與整體分析
• 可執行沙盒環境 令測試更貼近真實操作，而唔只係紙上談兵
• 用 rubric 評分，有助將價值判斷變成較有系統嘅比較

如果你關心 AI 安全、代理治理、企業內部自動化助手，或者想比較唔同代理喺價值衝突下嘅表現，呢個專案相當適合。相反，如果你只係想快速部署聊天功能，呢個儲存庫未必直接幫到手，因為佢主要價值在於研究、測試同評估，而唔係即用型產品。

Source: https://github.com/ValueByte-AI/Agent-ValueBench

ToolCUA 是一個面向「電腦代勞」場景的代理系統，目標不是單純模擬人手點擊，而是同時懂得用畫面操作與系統工具完成任務。簡單講，當代理見到桌面程式時，可以選擇按掣、輸入文字、捲動畫面，亦可以在合適時直接呼叫工具處理檔案或應用程式動作。

這個專案最值得留意的地方，是它聚焦在「路徑選擇」而不只是「動作能力」。README 提到，不少模型即使同時擁有 GUI 動作與工具調用能力，仍然會出現判斷混亂：有些幾乎唔用工具，有些又過度依賴工具，結果步驟雖然變少，但任務成功率未必更高。

實際使用上，這個儲存庫較像研究與評估框架，適合想測試混合式電腦代理的人。庫內提供評估資料、代理實作，以及多環境評測程式；如要使用其公開模型，README 有提到 ToolCUA-8B，但整體更偏向研究實驗，而非即裝即用的消費級產品。

重點可概括為：
– 同時處理 GUI 操作與高層工具調用
– 核心問題是判斷何時切換操作路徑
– 以分階段訓練提升工具使用與切換決策
– 提供評估程式與案例，方便研究比較

從公開資料看，ToolCUA 的主要創新在於把 GUI-only 軌跡擴展成 GUI 與工具交錯的訓練資料，再配合強化學習優化整體路徑效率。對企業自動化、桌面任務代理、需要跨應用操作的研究場景尤其有參考價值；如果你想找的是成熟日常助手，現階段可能仍要視乎後續工具鏈與部署支援。

Source: https://github.com/X-PLUG/ToolCUA