chi-bench 係一個用來評估 AI 代理嘅基準環境，重點唔係問答，而係要模型喺模擬出嚟嘅美國醫療工作流程中，逐步完成整個個案。它覆蓋事前授權、保險方利用管理，以及群體照護管理三類長流程工作，目的是測試 AI 有冇能力處理多步驟、規則密集、而且涉及多角色協作嘅任務。

官方摘要提到它使用 20 個 healthcare apps、87 個 MCP tools，以及一份 1,290+ 文件的 managed-care operations handbook 作為任務依據。

實際使用時，研究者通常會先準備對應嘅 API 金鑰，再揀選代理框架同模型跑任務，之後由內建評審機制按每次結果評分。每個任務會提供臨床個案、模擬工作系統，以及大量操作手冊，AI 要透過工具呼叫同撰寫文件去推進流程，唔係單靠生成一段答案就算完成。

它最有意思嘅地方，在於把醫療行政流程入面最麻煩嘅部分具體化：規則多、文件多、系統多，而且中途可能要反覆互動。相比一般 benchmark 只量度單步推理，chi-bench 更接近現實世界，因為它會考驗模型點樣跨應用程式、跟住政策辦事，並保持長時間決策一致。

• 涵蓋 3 大醫療流程場景，屬於端到端任務評估
• 以約 20 個模擬醫療應用及大量文件作為操作環境
• 支援多類代理與模型比較，包括 Claude、OpenAI、Gemini 及開源權重路線
• 排行榜以 pass@1 為主，亦可保留多次試跑作額外分析

從現有資料睇，呢個基準對現時最強模型都相當困難，代表它有一定鑑別力，唔會輕易被高分掩蓋弱點。已知相關配置包括 Claude Code 配 Claude Opus、OpenAI/Codex 路線、Gemini CLI，以及經 OpenRouter 接入嘅 Hermes、OpenClaw、DeepAgents 等；至於具體表現會隨代理包裝方式同工具使用能力而有明顯差異。

對 AI 代理研究員、醫療流程自動化團隊，甚至想了解「模型識唔識真做事」嘅產品人員嚟講，chi-bench 都幾有參考價值。不過它聚焦美國醫療制度同受規管流程，閱讀結果時要留意場景限制，唔適宜直接當成所有行業嘅通用結論。

GitHub： https://github.com/actava-ai/chi-bench

Paper： https://arxiv.org/pdf/2605.16679

RealICU 是一個用來評估大型語言模型在深切治療部情境下表現的基準。重點不在於AI有沒有照抄以往醫生做過的決定，而是看它面對長時間、資訊密集又持續變化的病人資料時，能否作出較接近臨床正確性的判斷。

如果你對醫療人工智能有興趣，RealICU-Bench 值得留意。它聚焦深切治療部入面又長又密集的病人資料，目的唔係叫模型照抄過往醫生做法，而係測試模型面對完整病程時，能否作出更合理判斷。

這個項目針對一個很實際的問題：ICU 決策往往要在高壓下，快速整合大量檢驗、監測和病程資訊。現有不少評估方法把歷史醫療行為當作標準答案，但原始決策當時可能資訊未齊全，因此未必最理想；RealICU 改用事後回顧整個病人歷程的標註方式，嘗試更公平地評估AI推理能力。

如果你想了解或使用這個項目，最適合由它定義的四類任務入手：病人目前情況、急性問題、建議處置，以及需要避免的危險行動。網站亦提供論文與程式碼入口，而資料集顯示仍有部分內容即將推出；若你是研究者，可先用 RealICU-Gold 和 RealICU-Scale 的設計思路，理解其評估框架。

• 由超過30位臨床醫生共同界定核心任務
• 包含 930 個醫生共識樣本，以及 11,862 個大規模評估視窗
• 引入經醫生驗證的 LLM 評估器作大規模標註
• 提出 ICU-Evo，以結構化記憶研究長時序推理
• 發現前沿模型存在召回與安全之間的取捨，以及錨定偏差

這個項目的創新之處，在於它把評估焦點由「像不像醫生以前做過的事」轉向「是否真正理解病情演變」。另外，ICU-Evo 用多種結構化記憶整理臨床上下文，較貼近醫生思考方式；不過作者亦明確指出，這類方法雖有助長程推理，仍不足以保證安全。

整體而言，RealICU 特別適合醫療AI研究者、醫院創新團隊，以及關注高風險場景AI安全的人士。從現有結果看，這不是一個宣稱模型已可直接臨床部署的項目，而是一個更嚴謹的測試場，幫助大家看清AI在真實重症決策支援中的能力與限制。

在 RealICU-Gold 上，Gemini-3.1-pro + ICU-Evo 達到 Patient Status 0.459、Action Recommendation Recall@5 0.534；同時，structured memory 雖然提升了長程推理，但仍然沒有徹底解決安全失敗和 anchoring bias. 也就是說，ICU-Evo 是“更好的 memory-based agent”，但不是把 RealICU 這個 benchmark 作為最終方案。

RealICU
├─ RealICU-Gold
│  └─ 930 個 window，來自 94 個 ICU stays
│     └─ 由多位 ICU 醫師做 hindsight consensus 標註
└─ RealICU-Scale
   └─ 11,862 個 window
      └─ 用 Oracle（醫師驗證過的 LLM hindsight evaluator）自動擴展標註

網址： https://chengzhi-leo.github.io/RealICU-Bench/