做 Office-suite 長流程任務，最難唔係叫模型產生文件，而係點樣穩定判斷交付物到底合格未。OmegaUse-OfficeVal 把這件事做成一個 Python 框架，同時連接 benchmark 思路與驗證流程：它收 ZIP 提交、先做安全檢查，再逐個執行 100 個 Office document evaluators，最後輸出 JSON 同 CSV 報告，適合用來評測 LLM agents 在 Office 任務中的完成度。
呢個項目的取向幾鮮明：重點唔放喺即場互動，而係放喺可重複、可審核、可批量執行的驗證。網站資料亦交代，OmegaUse-OfficeVal 對應的是一組有經濟 grounding 的長時程 Office-suite tasks，100 個任務平均要 2.32 小時人手完成，並附有人力時間與 task price proxy，方便把模型推理成本同人類成本放埋一齊看。相比只做最終分數排行，這種設計更接近團隊挑選 agent、比較交付價值時會遇到的問題。
它不是把資料集、提交內容同工作目錄全部包在倉庫內，而是把評測框架與 verifier source code 分開提供，benchmark data 另外發佈。Python 3.10 以上可跑，Windows、macOS、Linux 都支援 normal mode；其中 91 個 verifiers 可跨平台執行，另有 9 個 verifiers 依賴 Windows 上的 Office COM，相關環境未齊時會被跳過或只限指定平台處理。
- 以 evaluate(directory: str) -> dict 統一 100 個驗證器介面，方便批量評測與整合
- 收件前先檢查 ZIP traversal、加密、大小、檔案數量與壓縮比，安全性考慮算完整
- 每個 verifier 在隔離 subprocess 執行，可設定 concurrency 同 timeout，減少互相干擾
- 輸出採用 machine-readable JSON、CSV，而且每個 verifier 各有結果，後續分析較方便
這個倉庫裡主要體現在覆蓋範圍與流程穩定性，而唔係模型速度本身：可見進度、目前 verifier ID、執行 channel 同耗時，對跑大批提交會實用。它更像一個面向 Agentic 評測、研究復現同內部驗收的基建項目；想測 Office 類代理，尤其想把安全收件、隔離執行、可讀報告放進同一條流水線，這個項目的完成度相當高。
