人腦展現出顯著的功能特化程度，不同的神經網路分別支持語言、形式推理、對他人心智的推理以及對物理世界的推理。這種模組化組織是智慧系統建構的基本原則，還是生物大腦特有的進化偶然現象？本文檢驗了大型語言模型（LLM）——另一類透過截然不同的最佳化過程所建構的智慧系統——是否也呈現出類似的組織結構。

值得留意的不是它再講一次模型會推理，而是它嘗試回答：大型語言模型做語言、數理、物理同社交推理時，內部是否真的有近似人腦功能網絡的分工。Pengrui-Han/LLM_Modularity 屬於研究分析工具與資料流程項目，核心工作是用 attribution patching、neuron overlap 同 causal ablation，定位 46 個任務在四個認知領域各自依賴的神經元群。

結論唔止停留在可視化。項目整理出六個 24B 至 123B frontier LLMs 的一致結果：同領域任務的神經元重疊高出 4.3 倍，ARI = 0.78；把某個領域相關神經元做 lesioning 或 ablation，該領域準確率下降幅度比跨領域高 10.3 倍。換句話說，模組化唔係單靠圖像解讀，而係有因果干預支持。

跟一般只看 attention pattern 或 embedding 聚類的做法相比，這個項目更著重「哪些單元真的支撐任務完成」，所以會用 full-sequence teacher-forcing metrics、corrupted-activation ablation，同按模型家族調整的 nnsight 載入流程。代價亦很直接：它不是輕量級 demo，需要 Linux、torch 2.10.0、nnsight 0.4.1，同 NVIDIA GPU；24B 至 123B 模型更要多 GPU 才較可行。

• 覆蓋 Language、Formal reasoning (Multiple-Demand)、Physical reasoning、Social reasoning (Theory of Mind) 四類推理
• 提供 46 個任務配置、clean/corrupted data pair、分析腳本與已整理 results CSV
• 重點不在訓練新模型，而在檢查現有 LLM 內部神經元是否出現穩定分工
• 已附 figures、overlap matrix 同 ablation analysis，適合延伸做復現或二次研究

較適合做 mechanistic interpretability、認知科學、AI 安全，或者想比較 Qwen、其他大型模型內部推理結構的研究團隊。它暫時更接近研究管線，而不是即裝即用產品；不過資料夾結構、config、scripts 同 results 已經足夠完整，對想重跑實驗、改任務集，或者把 OSWorld 以外的複雜推理基準接入分析流程的人，參考價值相當高。

項目主頁 · GitHub