InferNews

OpenBioRQ 用未解醫學問題測試 AI 代理

Share to X Facebook

這不是一般醫學問答集，而是用未解研究問題檢驗 AI 代理找證據與引用是否可信。它更重視能否誠實保留不確定性。

Repository image for minstar/healthcare-research

OpenBioRQ 是一個生物醫學基準資料集兼評測流程，聚焦於目前仍未解決的 biomedical / clinical research questions。它要解決的不是背答案能力，而是測試 LLMs 在 agentic tool use 情境下，能否自己找證據、正確引用文獻，並在沒有定論時保持 abstention。

現有 benchmark 多數採用固定答案 key 的問答範式，模型有機會靠記憶或線索反推標準答案，未必真的驗證過來源。OpenBioRQ 直接改用 retrieval-grounded openness：每條問題的 open_status 會用後續論文與 trial records 重新核對；難度也不是作者主觀標示，而是先讓強模型連工具一起跑，再用 pass/fail 結果界定哪些題目真的難。

項目的資料流程相當完整，從 crawl、extract、refine、dedup，到 status verification、contamination audit、agentic-eval 都有清楚分工。README 顯示它以 v3 的 12,553 題為基礎，另有 frozen core 作主要評測集；refine 步驟亦把問題整理成較自足的表述，自含性由 51.6% 提升到 85.4%，這對模型和人工評審都重要。

它和同類做法最大的分別，是把「引用可打開」與「引用真的支持答案」分開看。項目指出 agent citations 超過 99% 可以解析，但約 15.9% 其實連到錯誤論文；同時最難題組出現 agentic collapse，部分模型就算關掉工具，分數變化也不大，反映工具調用未必自然轉化成更好推理。

  • 類型定位：屬於基準資料集加評測 pipeline，不是臨床決策系統
  • 主要價值：檢查 evidence retrieval、faithful citation 與 abstention，而非考模型背誦
  • 評測設計：用 per-question checklist rubrics 固定評分，inter-judge agreement 由 Spearman 0.35 升到 0.82
  • 資料可靠性：core 657 與 expand 483 均報告 contamination hard 0%
  • 相關模型：Google、Anthropic、OpenAI 三條獨立 lineage，以及 README 提到的 GLM-5.1、MiniLM-L6

受惠最大的會是做醫療研究助理、文獻檢索代理、醫學 AI 評測的團隊，而不是想直接拿去做診斷的機構。它目前更像一個研究基建項目：幫人看清楚模型在高不確定、無標準答案場景下，究竟是有能力找證據，還是只是在生成看似合理的回答。

項目主頁 · GitHub · Paper

Categories: 開源, Agentic, MCP, Qwen, Google, OpenAI, DeepSeek, Gemini, Medical醫學, Anthropic, Dataset 數據集

BioMatrix 把生物序列與 3D 結構放進同一模型

Share to X Facebook

BioMatrix 嘗試用同一個模型同時理解分子、蛋白質、3D結構與文字。它的重點不只是多模態，而是連生成方式都統一起來。

BioMatrix

BioMatrix 是一個多模態 foundation model，建立在單一 decoder-only 架構之上。它要解決的問題，是把 molecules、proteins、1D sequences、3D structures 與自然語言放進同一套生成流程，令模型不只可讀取不同資料，也可用同一個 next-token prediction 目標處理與輸出它們。

現有 biological foundation models 通常分成兩類：一類可在共享目標下融合多模態，但多數只集中單一 entity type；另一類雖然覆蓋 molecules 與 proteins，卻常常欠缺顯式 structural modeling，或者依賴 adapter-based designs、external encoders、projection adapters 與 modality-specific output heads。BioMatrix 的取向很鮮明：直接把 SMILES、SELFIES、分子 3D、蛋白質序列、蛋白質 3D 同自然語言映射到 shared discrete token space，將「可讀」與「可生成」統一。

技術上，這個項目最值得留意的是 unified tokenization scheme。分子 3D 用改良版 MolStructTok，蛋白質 3D 用 GCP-VQVAE，並以 description-based embedding initialization 把新增 token 先對齊到 pretrained Qwen3 embedding space，再做 continual pretraining；這種做法比起後加模態接頭更完整，但訓練成本亦明顯更高，官方資料提到曾用 64 張 NVIDIA H100 GPUs 配合 LLaMA-Factory 訓練。

從 GitHub 與 Hugging Face 現有資訊看，這個項目較適合當作模型下載與研究評測基線使用，目前可找到 BioMatrix-1.7B-Base、BioMatrix-4B-Base、1.7B-SFT、4B-SFT 等版本。若你想測試，較合理的理解方式是先用已發佈模型做推理或任務比較，再按需要研究其 tokenizer，例如 MolStructTok 與 GCP-VQVAE；完整重訓對一般團隊門檻很高。

  • 模型定位：多模態 biological foundation model，不是單一分子模型或單一蛋白質模型
  • 核心差異：把 sequences、structures、language 放入同一 shared discrete vocabulary，而非靠外掛式模態模組拼接
  • 相關模型：Qwen3 1.7B、Qwen3 4B、BioMatrix-1.7B-Base、BioMatrix-4B-Base、BioMatrix-1.7B-SFT、BioMatrix-4B-SFT
  • 數據與訓練：涵蓋 text、PubChem、MolTextNet、UniRef50、RCSB PDB、UniProt/Swiss-Prot、AFDB 及 cross-entity interleaved data
  • 表現指標：論文稱 instruction tuning 後涵蓋 80 個 tasks、6 個類別，當中 77 個 tasks 達到 state-of-the-art 或具競爭力

這個項目最受惠的會是做 drug discovery、protein engineering、生物資訊研究，或者想把文字問答、分子表示與結構生成放進同一工作流的團隊。它的野心很大，優勢是統一表示與任務泛化，限制則是部署與訓練門檻高，而且論文聲稱的廣泛表現仍要看你手上的任務是否屬於那 80 個測試範圍。

GitHub： https://github.com/QizhiPei/BioMatrix

項目主頁： https://huggingface.co/collections/QizhiPei/biomatrix

Paper： https://arxiv.org/pdf/2606.22138

Categories: 開源, 上海人工智慧實驗室, Embedding, 模型, 多模態模型, 模型訓練, Qwen, Medical醫學, 3D, 中國

可控制生成 3D 腦 MRI 的 BrainG3N

Share to X Facebook

BrainG3N把3D腦MRI生成放進具臨床意義的潛在空間，兼顧可控生成與表徵能力。

Og image

BrainG3N是一個面向3D腦部 MRI 的生成模型，重點不只是「生成影像」，而是按指定條件產生帶有臨床訊息的合成掃描。它先用凍結的 3D MAE encoder 處理資料，再由 conditional flow-matching DiT 在潛在空間生成新樣本，最後用 fine-tuned CNN decoder 轉回 voxel 影像。

這類方法要解決的，是醫學影像生成常見的「生成到，但控制不準」問題。BrainG3N聲稱可按 disease、age、sex、modality、site、IDH1 status 等條件控制輸出，亦支援病人縱向變化預測，對研究病程模擬與稀有群組補數據尤其有用。

和一般直接在像素或 voxel 空間生成的做法相比，它把生成放在 clinically grounded latent space 內進行，目標是令合成結果更容易保留指定屬性。頁面列出的結果顯示，從生成掃描中可重新探測出目標條件，例如年齡相關性達 Pearson r=0.93，反映控制訊號並非只停留在文字或標籤層面。

同一個 frozen encoder 本身亦被當作 foundation model 使用，在 21/23 個 linear-probing tasks 上達到或超過 BrainIAC、BrainSegFounder、MedicalNet；其中 IDH1 AUC 0.937、brain-age MAE 4.43 years，而且無需 fine-tuning。對醫學 AI 研究者來說，這代表同一套架構可同時支援表徵學習與合成數據生成。

  • 可控制條件包括 disease、age、sex、modality、site、IDH1 status
  • 支援 patient-specific longitudinal forecasting
  • 生成流程包含 3D MAE encoder、conditional flow-matching DiT、CNN decoder
  • 可用於 under-represented cohorts 補充、counterfactual disease trajectories、privacy-preserving synthetic data sharing

目前頁面只提供論文簡介，model、code 與 synthetic dataset 尚未釋出，所以現階段較適合先了解方法設計與指標表現。若你關注 Medical醫學影像、合成數據或可控生成，這個項目很值得留意。

項目主頁： https://huggingface.co/papers/2606.19651

Paper： https://arxiv.org/pdf/2606.19651

Categories: 模型, 模型訓練, Image, Medical醫學, 3D, Dataset 數據集

GateMem：測試 AI 記憶有冇分寸

Share to X Facebook

GateMem 唔係考代理記唔記得，而係考佢應唔應該講。呢個基準直指共享記憶代理最難處理嘅權限與刪除問題。

GateMem logo

現有記憶基準多數集中問一件事：代理可唔可以正確記住資料；GateMem 改問更接近部署環境的問題：同一個 shared memory 俾多個 principal 共用時，代理能否按角色、授權範圍同刪除要求去管理資訊。作者批評舊範式偏向 single-user recall，未能反映多方協作場景入面最常見的越權讀取、過度披露同刪除後重建資訊風險。

GateMem屬於Benchmark / Dataset 數據集項目，用來評估 memory-augmented LLM agents 在 multi-principal shared-memory agents 情境下，是否同時做到 Utility、Access Control 同 Active Forgetting。它把 persistent memory 視為 governed shared state，而唔係私人快取，這個 framing 令測試重點由「記得幾準」轉去「幾時應該答、幾時唔應該答」。

資料規模唔算細：4 個場景、91 個 long-form episodes、2,218 個 hidden checkpoints，涵蓋 Medical、Office、Education、Household。評分核心有一個 MGS 指標：MGS = U · (1 − A) · (1 − F)，即係授權下要有用，未授權時要少洩漏，刪除後亦唔可以被確認、還原或旁敲側擊重建。

要理解點樣測，重點係用它提供的 benchmark toolkit、dataset 同 leaderboard 去跑代理，再對照 hidden checkpoints 睇表現。較受用的會係做 Agentic 系統、長期記憶代理、企業內部助理、醫療或教育流程自動化的團隊，因為呢類系統最怕的通常唔係答錯一次，而係記對咗但講錯人聽。

  • 核心差異：由單人記憶召回，轉成多角色共享記憶治理
  • 三個評測面向：Utility、Access Control、Active Forgetting
  • 場景貼近機構流程，包含授權、關係變化、刪除請求
  • 相關模型背景包括 memory-augmented LLM agents、persistent memory agents，同頁面亦提到測過 6 backbone LLMs、7 memory baselines，但具體型號需以論文或排行榜為準
  • 限制係它主要衡量治理表現，唔等於完整覆蓋所有真實政策、法規或系統整合成本

GitHub： https://github.com/rzhub/GateMem

項目主頁： https://rzhub.github.io/GateMem/project.html

Paper： https://arxiv.org/pdf/2606.18829

Categories: 開源, Agentic, 模型, 框架, Medical醫學, 安全, Dataset 數據集

[技術文章] 牛津團隊用 MedMisBench 測試醫療 LLM 抗誤導力

Share to X Facebook

牛津等團隊提出 MedMisBench，專門量度醫療 LLM 在誤導資訊下會否失守。結果顯示，高分考試表現不等於安全判斷。

Hero image preview

這個項目由 University of Oxford、University of Washington、University College London 及 University of Waterloo 的研究人員合作提出，重點放在醫療 Large language models（LLMs）遇上誤導內容時，能否守住原本正確的醫療判斷。作者指出，現有做法多數用乾淨、考試式題目評估模型知識，但這種範式只量到模型「識唔識」，未有量到模型在混雜資訊環境中會否被帶偏。

因此，團隊提出 MedMisBench，將「epistemic resilience」定義為模型在 adversarial context 之下仍維持正確判斷的能力。這個 benchmark 收錄 10,932 條醫療題目項目，以及 48,889 組 misleading context-option pairs，涵蓋 medical reasoning、agentic capability 和 patient-journey evaluation，用來測試模型面對看似合理但其實錯誤的上下文時會點樣改答案。

論文最關鍵的訊息，是不少模型本來答啱，但加入聚焦式誤導句子後便放棄正確答案。11 個 model configurations 的平均準確率，由原題的 71.1% 跌到 38.0%，attack success 達 51.5%；其中 authority-framed falsehoods 的攻擊成功率有 69.5%，exception-poisoning claims 也有 64.1%，顯示帶有權威語氣或規則例外包裝的錯誤資訊尤其危險。

對想使用醫療 AI 的讀者來說，這個項目的價值不在於提供新診斷模型，而是補上現有醫療評測的盲點：高分醫學考試 benchmark，未必代表模型在真實健康資訊環境中仍可靠。研究還找來來自 7 個國家的 14 人臨床小組覆核，認為 38.2% 檢視個案存在嚴重潛在傷害，這令 MedMisBench 很適合用作醫療模型安全測試、紅隊檢驗，以及部署前風險篩查。

  • 核心批評：現有 benchmark 多測知識正確率，較少測 misleading context 下是否仍能守住正確判斷
  • 新增 framing：用 epistemic resilience 專門量度模型抗誤導能力
  • 數據規模：10,932 個醫療題目項目、48,889 組 misleading context-option pairs
  • 主要結果：平均準確率由 71.1% 跌至 38.0%，attack success 為 51.5%
  • 引用模型包括 ChatGPT、Gemini 等醫療文字理解與生成能力較強的 LLMs

Paper： https://arxiv.org/pdf/2606.12291

Categories: Agentic, 多模態模型, OpenAI, Gemini, Medical醫學, 安全, Dataset 數據集

ClinHallu 拆解醫療 MLLM 幻覺來源

Share to X Facebook

ClinHallu不只看模型答錯沒有，還追查錯在哪一個推理階段。對醫療多模態模型評測來說，這種拆解方法相當實用。

ClinHallu logo

ClinHallu 是一個醫療多模態大模型 benchmark 與評測工具，目標不是只計算答對率，而是找出 Medical MLLM 在推理途中哪一段開始出現 hallucination。現有醫療 hallucination benchmark 多數偏重資料收集與最終輸出檢查，作者認為這種範式難以分辨錯誤究竟來自看錯影像、記錯醫學知識，還是把資訊串連時推錯，因此把問題重組成 stage-wise 診斷。

這個項目的核心做法，是把每筆樣本的 reasoning trace 拆成 Visual Recognition、Knowledge Recall、Reasoning Integration 三段，再配合 structured CoT annotations 與 stage-replacement interventions 觀察：如果只修正其中一段，最終答案會否改善。這種設計比單看答案更有分析力，因為它直接對應三種常見錯誤來源：visual hallucination、knowledge hallucination、reasoning hallucination。

ClinHallu 含有 7,031 個驗證過的 instances，並提供評測流程。想試這個項目的人，較合理的路線是先選定 datasets 內要跑的資料集，再對照 models.gold cot、models.model cot、models.judge 的設定，之後查看 results 內的 model cot 與 eval 輸出；若只想生成替換後的 jsonl，也可用 generate 流程。這表示它較適合研究、模型比較與錯誤分析，不是面向一般用家的醫療問答產品。

基準結果也有參考價值。公開表格顯示，Gemini-3-Flash 在整體準確率與三類 hallucination rate 上都屬前列，Avg Acc 為 80.1，而 Qwen3-VL-Plus、Qwen3.5-9B、Qwen3-VL-32B 等模型亦有列入比較。這些數字的重點不是分高下，而是提醒你：同一模型可能答案不差，但在某個階段的 hallucination rate 仍然偏高，之後微調或加防護時就有更清晰方向。

  • 不是只看答對率：它會拆解模型在哪個推理階段出錯。
  • 方法有辨識度：用 structured CoT 與 stage-replacement interventions 做細粒度診斷。
  • 場景很明確：適合醫療 AI 研究、模型評測、trace-supervised fine-tuning 前後比較。
  • 相關模型完整：結果涵蓋 Qwen、Gemini、InternVL、MedGemma、Lingshu 等系列。

如果你在找的是可直接部署的醫療助手，ClinHallu 並不屬於那一類；它更像一把量尺，專門檢查模型推理鏈哪裡開始失真。對研究團隊來說，這比只知道「模型有幻覺」更有用，因為後續可以按 Visual Recognition、Knowledge Recall、Reasoning Integration 分段修正，連 trace-supervised fine-tuning 是否有效都較容易驗證。

GitHub： https://github.com/alibaba-damo-academy/ClinHallu

Paper： https://arxiv.org/pdf/2606.14697

Categories: 開源, 香港科技大學, 清華大學, 阿里巴巴, 多模態模型, Qwen, Gemini, Medical醫學, Dataset 數據集

GENEB 統整基因組模型評測：跨 100 個任務的統一比較框架

Share to X Facebook

GENEB 以 100 個分類任務、13 個功能類別，統一評比 40 個基因組基礎模型的表徵能力，揭露排行榜不穩定、規模效益有限等關鍵發現。

Repository image for darlednik/GENEB

基因組機器學習近十年快速擴張，但模型之間的比較長期處於碎片化狀態。DARLEDNIK/GENEB 正是針對這項痛點設計的統一評測基準，收錄 100 個分類任務、橫跨 13 個功能類別，並透過線性探測（linear probe）方式，在完整、10-shot 與 1-shot 三種情境下評估預訓練模型凍結後的表徵品質。

這個項目最大的特色是統一了過往各家模型各自為政的評測協議。你只需在 harness/extractors/ 撰寫一個小型 embedding extractor，就能用 run_GENEB.py 在固定的 GENEB 任務資料上產生提交檔，並由 CI 自動驗證後合併到排行榜。提交的模型權重並不儲存在儲存庫內，僅保留評測結果與模型卡片，設計上兼顧了可重現性與第三方權重規範。

它可以支援訓練後的評估，例如你訓練完不同 genomic foundation models，拿 GENEB 來比較它們在多任務、多類別上的表現。

GENEB 對 40 個基因組基礎模型進行了系統性比較，包括 DNA-GPT、GENOMEOCEAN、EVO 等知名模型。研究發現，聚合排行榜其實相當不穩定：模型在不同任務類別的排名會大幅擺動，單一總分容易掩蓋細節差異。論文也指出，模型規模帶來的提升有限且不一致，架構與預訓練資料的對齊程度，往往比參數量更影響下游表現。這些結論對領域內「愈大愈好」的直覺提出了務實的提醒。

這個項目特別適合基因組學領域的研究者、模型開發者，以及需要為下游應用挑選合適表徵的工程團隊。對於想了解現有基因組模型相對強弱的人，Hugging Face Space 上的排行榜提供了 macro 分數與單任務分數兩種視角，方便依功能類別做選擇。

重點摘要：

  • 涵蓋 100 個任務、13 個功能類別，並支援 full、10-shot、1-shot 三種評測設定。
  • 採用線性探測協議，統一比較 40 個基因組基礎模型的凍結表徵。
  • 透過 embedding extractor 介面與 CI 流程，確保新模型提交的可重現性。
  • 論文分析顯示聚合排行榜不穩定，模型排名隨任務類別大幅變動。
  • 規模效益有限，架構與預訓練對齊對表現的影響往往大於參數量。

GitHub： https://github.com/darlednik/GENEB

項目： https://huggingface.co/spaces/darlednik/geneb-leaderboard

Categories: 開源, 框架, Medical醫學

BrainCause：用因果測試重新看懂腦部視覺表徵

Share to X Facebook

這項目不只看腦部活化強不強，還會追問反應是否真的由目標概念引起。它把受控圖像生成與 fMRI 驗證結合，減少誤判。

Og image

BrainCause 是一個針對神經科學與電腦視覺領域開發的自動化框架，用來尋找人腦視覺概念表徵的研究項目。它處理的核心問題是：某個腦區對圖片反應很強，未必代表它真的在表徵該概念，因為反應也可能只是被相關的視覺線索或語意線索帶動。

這個項目會先根據查詢概念建立一組受控刺激資料，包括目標概念圖片、保留其他內容但移除目標概念的 counterfactual edits，以及帶有相關干擾元素的圖片。然後再配合 brain models 與 fMRI 驗證，檢查腦區反應是否會隨概念移除而下降，藉此做 targeted causal testing。

重點在於，它不是只用 activation 來定位腦區，而是加入 causality 驗證。頁面內容指出，若只看 activation，很多定位結果都可能是假陽性；BrainCause 則會回傳經驗證的候選表徵，並提出後續 fMRI 實驗，用來進一步確認或擴展發現。

  • 針對指定概念自動建立 causal dataset
  • 使用 positive images、semantic negatives、counterfactual negatives 作比較
  • 減少只靠 activation 帶來的 false positives
  • 可找回已知功能定位，也能提出新的候選表徵
  • 已在 predicted 與 measured fMRI data 上驗證，涵蓋數十個概念

如果你關心神經科學、電腦視覺，或想了解生成模型如何協助腦科學研究，這個項目很有參考價值。頁面亦提供 Paper、Data 與 Code 入口，方便進一步了解方法與結果。

項目： https://yuvalgol123.github.io/BrainCause/

Categories: 開源, 框架, Medical醫學, Dataset 數據集

從腦部訊號到影像問答：Brain-IT-VQA 框架解碼大腦視覺理解

Share to X Facebook

Brain-IT-VQA 結合 Brain Interaction Transformer 與預訓練視覺語言模型，直接從 fMRI 訊號生成影像描述與回答問題，並發佈全新 NSD-VQA 數據集。

Weizmann Institute of Science

Brain-IT-VQA 是一套從 fMRI（功能性磁共振造影）腦部訊號出發，自動回答「圖片中看到什麼」這類問題的框架。研究團隊建基於 Brain Interaction Transformer（Brain-IT），把腦部活動轉換成語言條件表徵，再交由預訓練的視覺語言模型生成答案，全程毋須先把腦部訊號重建成影像。

這項工作解決了一個長期難題：過去從 fMRI 解讀視覺內容的研究，大多只能產生粗略描述，而且準確度有限；更少有模型被用來分析大腦內部如何處理視覺資訊。Brain-IT-VQA 在多項基準上明顯超越以往的 fMRI 影像描述與 VQA（Visual Question Answering，視覺問答）方法，同時提供拆解視覺理解層次的工具。

團隊同步發佈 NSD-VQA 數據集，以 Natural Scenes Dataset（NSD）為基礎，平均每張影像提供約 20 題，涵蓋 20 個受控問題類別。這些類別覆蓋物件辨識、空間關係、語意判斷等不同層次，方便研究者細緻評估模型在各種視覺與語意任務上的表現。

透過「解碼貢獻分析」，框架可揭示不同腦區對各類問題的貢獻分布，協助神經科學家理解大腦處理視覺資訊的空間分佈特徵。頁面亦設有互動示範，讓訪客在從未參與訓練的 NSD 測試影像上，瀏覽模型生成的描述與問答結果。

重點摘要

  • 直接從 fMRI 解碼語言：把腦部活動轉成語言條件表徵，由預訓練視覺語言模型生成描述與答案，毋須影像重建步驟。
  • 公開 NSD-VQA 數據集：每張影像平均 20 題、20 個受控類別，提供更細緻的 VQA 評估基準。
  • 顯著超越先前方法：在 fMRI 影像描述與視覺問答任務上，明顯優於過往同類模型。
  • 支援腦區貢獻分析：可拆解不同腦區在各類視覺問題中的參與程度，輔助神經科學研究。
  • 附設互動示範：容許瀏覽者在 NSD 測試影像上查看模型的預測輸出。

這個項目最適合從事腦部解碼、視覺語言模型、神經科學與認知計算的研究人員與研究生。對希望了解 AI 與人類視覺如何結合的工程師而言，NSD-VQA 與開源代碼亦提供了一個具挑戰性的新基準。

研究單位：
Weizmann Institute of Science （魏茨曼科學研究所）在以色列的雷霍沃特（Rehovot），大約在特拉維夫以南。

魏茨曼科學研究所一般被視為世界頂尖的基礎研究機構之一；在你這次查到的資料裡，它在萊頓排名中被列到全球前十，2021 年為第 8 名。

它的重點研究領域主要集中在 生物學/生物化學、化學、物理、數學與電腦科學，也有跨學科方向。

項目： https://mcosarinsky.github.io/brain-it-vqa/

Categories: Medical醫學, Dataset 數據集
Page 4 of 6
1 2 3 4 5 6