StudentSim 是一個由 Microsoft 研究的工具套件，核心是替每位學生建立獨立模擬器，解決「真實學生回饋太慢、太少、太貴」這個輔導優化難題。它先從多名學生的資料做 pooled training，再針對單一學生做 specialization，讓模擬器不只答得像，還要在收到指導後出現和原學生相近的變化。

它涵蓋 chess、second-language English writing (L2) 和 middle-school mathematics 三個場景，安裝時可按需要選擇 chess、l2、math、inference、tutor_rl 或 baselines 等 extras。訓練與評估可以在本地按模組跑起來，若要做 tutor reinforcement learning，還需要 libcairo 供棋盤繪製；涉及語言模型的步驟則要設定 AZURE_OPENAI_ENDPOINT 和 AZURE_OPENAI_API_KEY。

和一般只模仿答案的做法相比，StudentSim 更重視兩件事：一是 behavioral fidelity，二是 guidance responsiveness。前者看模擬器有沒有保留學生的能力層次與弱點，後者看學生收到輔導後會不會像真實紀錄那樣改變答案；在 chess 裡，它還示範了把 student simulator 當成 reward 來源，直接訓練 AI tutor 產生更有效的指導。

• 可用來比較不同輔導語句對同一學生模型的影響
• 適合教學科技、學習分析和 AI tutor 研究團隊
• 支援多領域資料，方便觀察模型在不同學科的差異
• 提供 closed-model baselines，方便和角色扮演式提示做對照
• 評估不只看答對率，也看指導後是否真的改變行為

項目主頁 · GitHub

MMDiff（Multimodal Model Diffing）係一套研究型方法，處理嘅問題唔係再訓練模型，而係先睇清楚多模態大型語言模型（Multimodal Large Language Models, MLLMs）入面邊啲特徵因為視覺訓練而改變，再將呢啲特徵移除或引導。對要做審核、除錯、對齊行為嘅團隊，呢種做法比單靠黑盒輸出更實用。

佢嘅核心做法係將基礎語言模型嘅 sparse autoencoder（SAE）同多模態 SAE 對齊比較，再用 contrastive per-token firing 去揀出任務相關特徵。之後可以做 causal removal，或者用 MMDiff-CAA 喺相關層面 steering，直接改變模型喺空間推理、OCR 同安全場景嘅輸出傾向。

項目提供咗對應嘅 SAE checkpoints，亦有針對 LLaVA-MORE、PaliGemma 2 同 InternVL3.5 嘅結果。作者做咗視覺空間理解、多模態安全同 OCR 評測，指出移除單一特徵可令目標能力下降，同時一般 VQA 受影響好細，顯示呢套方法唔係純觀察，而係真係可以做定向控制。

• 可用嚟定位多模態訓練改寫咗邊啲特徵
• 可以將特定行為削弱，而唔一定要重訓整個模型
• 對做 OCR、空間推理、模型安全審查嘅團隊特別有用
• 測試結果顯示，目標能力下降明顯，一般 VQA 干擾相對細
• 方法可跨幾個 MLLM 家族轉用，唔只限單一模型

項目主頁 · GitHub · 模型

OasisKV 來自 Microsoft Research、Imperial College London、KAIST 和 University of Edinburgh。是建基於 vLLM 的 LLM 推理系統設計。

長上下文及長篇推理會令 Large Language Model (LLM) 的 key-value (KV) cache 佔用大量記憶體和頻寬，High Bandwidth Memory (HBM) 容量遂成為批次大小與吞吐量的限制。OasisKV 不再把完整 KV cache 全部放在 HBM，而是在解碼階段只保留注意力較高的 KV 項目，其他資料存放於主機或遠端記憶體。

系統利用 speculative decoding (SD) 產生的 lookahead tokens，預測下一步可能重要的 KV blocks，再透過背景 attention pipeline 預先載入 HBM。論文報告指，在 2,048-token KV 預算下，準確度只比 full attention 低最多 0.7 分，推理工作負載吞吐量可達 dense vLLM 的 1.69 倍，多 GPU 長上下文服務最高達 2.1 倍。

• 預取稀疏 KV，降低 HBM 容量壓力
• 支援 host 或 remote memory 作較大容量層級
• prefill–decode disaggregation 下吞吐量約為 dense 方法 2 倍
• 每個請求所需 KV 可減少 6.5 至 9.7 倍
• decode node host memory 可降低 2.2 至 2.6 倍

取捨在於系統依賴 lookahead 預測及稀疏 attention；預測失準可能影響準確度，且跨記憶體層級預取會增加系統複雜度。暫時只確認以 vLLM 實作，沒有提供 GGUF 檔案、量化版本、mmproj 附加檔案、Ollama 或 LM Studio 支援資料。

項目主頁 · Paper