MMDiff（Multimodal Model Diffing）係一套研究型方法，處理嘅問題唔係再訓練模型，而係先睇清楚多模態大型語言模型（Multimodal Large Language Models, MLLMs）入面邊啲特徵因為視覺訓練而改變，再將呢啲特徵移除或引導。對要做審核、除錯、對齊行為嘅團隊，呢種做法比單靠黑盒輸出更實用。
佢嘅核心做法係將基礎語言模型嘅 sparse autoencoder（SAE）同多模態 SAE 對齊比較，再用 contrastive per-token firing 去揀出任務相關特徵。之後可以做 causal removal，或者用 MMDiff-CAA 喺相關層面 steering，直接改變模型喺空間推理、OCR 同安全場景嘅輸出傾向。
項目提供咗對應嘅 SAE checkpoints，亦有針對 LLaVA-MORE、PaliGemma 2 同 InternVL3.5 嘅結果。作者做咗視覺空間理解、多模態安全同 OCR 評測，指出移除單一特徵可令目標能力下降，同時一般 VQA 受影響好細，顯示呢套方法唔係純觀察，而係真係可以做定向控制。
- 可用嚟定位多模態訓練改寫咗邊啲特徵
- 可以將特定行為削弱，而唔一定要重訓整個模型
- 對做 OCR、空間推理、模型安全審查嘅團隊特別有用
- 測試結果顯示，目標能力下降明顯，一般 VQA 干擾相對細
- 方法可跨幾個 MLLM 家族轉用，唔只限單一模型