要了解 MoE 模型裏每個專家實際負責甚麼，單計它被選中的次數並不足夠：路由頻率不等於它對輸出的貢獻。SAE Interprets MoE 提供重現研究實驗的程式碼與數據，透過稀疏自編碼器（Sparse Autoencoder，SAE）分析 Qwen3-30B-A3B 第 4、30、46 層的專家分工。
研究利用 SAE 編碼器的仿射特性，把每個特徵的啟動值精確拆分到 MoE 層中被啟動的專家，再按語料彙總貢獻比例，建立專家與特徵之間的「主導圖」。這與按預設領域標籤統計路由不同，分析焦點是專家真正推動了哪些特徵；研究結果指出，多數特徵主要由一至兩個專家主導。
第 30 層的分析顯示，專家可在較大的領域內形成細分分工，例如 Java 與前端網頁、幾何與算術。研究亦比較專家貢獻的集中程度、主導特徵重疊，以及各專家的領域標籤；這些結果描述的是特定模型與層，不宜直接推廣到所有 MoE 模型。
重現流程從計算專家對 SAE 特徵的貢獻統計開始，再執行排名、主導圖、詞雲與領域分析等實驗。項目提供每項實驗的執行腳本及已整理的解釋、標籤和判斷資料；模型權重可從 Hugging Face 下載，也可指定本地檔案。計算需求不低：Qwen3-30B-A3B 的 bf16 權重約需 61 GB，單層 fp32 SAE 編碼器另需約 8 GB，同時追蹤三層則需要兩張 80 GB GPU。
- 分析範圍為 Qwen3-30B-A3B 的第 4、30、46 層。
- 以特徵貢獻而非單看路由頻率判斷專家分工。
- 提供可重現實驗的程式碼、SAE 權重連結及整理後的研究資料。
- LLM 領域分析需要 OpenAI 相容 API；完整追蹤流程亦需要高記憶體 GPU。
這套方法適合研究 MoE 可解讀性、專家專長與特徵分工的團隊，也方便重現的分析。它提供的是針對特定模型的研究工具與證據，不是可直接替任意模型標註專家的通用服務；解讀結果仍取決於 SAE 特徵與自動解釋流程。
