CASE 讓 8B 模型主動尋找長期病歷證據

CASE 訓練視覺語言模型自行翻查跨時段 MRI 與臨床資料,將醫療問答由讀答案推進至主動取證。

Repository image for VinyehShaw/CASE

面對需要比較多次就診、器官變化與 MRI 切片的臨床問題,CASE 讓模型先決定應該查哪次訪視、哪個器官及哪種工具,再整理證據作答。這個項目屬於醫療多模態模型與 Agentic learning 實作,處理的是長期臨床推理中「證據未預先整理」的難題。

核心模型採用 Qwen3-VL-8B-Instruct,透過兩階段訓練建立工具使用能力:先以 RSFT 學習經篩選的教師軌跡,再以 Agentic RL 和 GRPO 讓模型根據自身操作結果修正策略。RLAIF rubric judge 負責評分,OPSD 則利用 privileged self-distillation,改善由證據走向結論的推理,而不硬性規定工具次序。

同一個 checkpoint 會按三種臨床角色工作:Anatomist 處理器官分割和體積變化,Radiologist 比較跨訪視 MRI,Consultant 則綜合影像、體積、MedGemma 報告和 skill memory。工具預算由 4 至 12 次不等,反映不同任務在查證深度與成本之間的取捨。

  • 以 UK Biobank 4,739 名參與者建立 50,401 條縱向臨床問題
  • 訓練資料包含 147,434 條 frontier-model 互動軌跡
  • 在匹配條件下,Qwen3-VL-8B agent 的答案準確率較 GPT-5.4 高逾 16%,較 Claude Opus 4.8 高逾 10%
  • 適合研究醫療 agent、MRI 分析及跨訪視證據整合的團隊

項目提供 Docker 環境,但執行預設需要 8 張 GPU、運行時可用的 gcc、另行下載 Qwen3-VL-8B-Instruct 權重,以及供 RL rubric judge 使用的 OpenAI-compatible API key。資料須透過 UK Biobank Showcase 或已獲批的 UKB-RAP 申請取得;適合作為研究型項目測試,未宜直接視為可即時投入臨床的產品。

項目主頁 · GitHub · 模型

Categories: 開源, 阿里巴巴, Agentic, 模型, 多模態模型, 模型訓練, Qwen, API, Image, 工具, Medical醫學, Dataset 數據集, Skill 技能, 強化學習