Language Models Can Rewrite Their Own Weights:讓模型自行改寫權重

模型不只重答題目,還能診斷失誤、改寫自己的權重,再測試新版本是否真的變好。

Og image

Language Models Can Rewrite Their Own Weights 是一項語言模型自我改寫研究。由 Jiajun Fan 與 UIUC、CMU、Rutgers、Princeton、Stanford、Yale 多間院校團隊提出,核心是讓模型靠自己的推理找到失敗原因,直接修改權重,再保留通過測試的修改。

研究團隊測試了 2B、4B、9B 和 27B 四種模型規模。只有 27B 模型成功改善並修復自己,顯示這種能力目前只在較大模型出現;文件也未提供其餘三種规模的具體分數或修復結果。

這項研究把常見的模型改進方法分成三條路。Pre-training 與 post-training 都要再訓練,通常依賴 GPU 集群;prompt engineering、harness engineering 和 test-time scaling 則在每次回答時增加處理成本。Self-rewriting 直接改動權重,團隊稱每次回答不會增加成本。

Self-rewriting 可理解為「模型自己修改自己的零件」。模型會讀取自己的答案和 hidden states,也就是內部計算時使用的隱藏狀態,再自行判斷要改甚麼及為甚麼修改。Diagnosis、edit 與 decision 全部由模型完成,外部只提供練習題答案是否正確。

整個過程不使用 teacher、judge、reward model、較大模型或 prompt engineering。模型先重寫權重,再測試修改後的表現,只保留成立的版本。讓「正在改善自己的模型」與「被改善的模型」是同一個模型,而不是由外部大型模型代勞。

研究也記錄了模型受損後的修復能力。當模型副本的 image tasks 表現下跌,而且沒有原始權重可用時,27B 模型成功恢復超過 80% accuracy,過程不需要 retraining 或原始 weights。不過文件沒有提供完整 accuracy 數字,因此目前只能確定恢復幅度超過八成。

連續八個 sessions 的實驗中,模型 accuracy 持續上升。這個結果顯示同一模型可反覆進行「診斷、改寫、測試、保留」循環,而不是只在單次示範中成功。網站提到可在單一 GPU 上花幾小時完成,但相關成本線只是示意,並沒有實際量度;它也沒有證明此方法可取代所有訓練流程。

項目主頁

Categories: 模型, 模型訓練