Weight-Space Programming:毋須 Transformers 編寫另一個模型的權重

讓 LLM 直接寫權重,結果卻走向查表。WSP 把知識放進可追查的資料行,也重新檢視 Transformer 的角色。

Overview of weight-space programming and our associative-memory-based model

權重可以直接寫,卻未必需要 Transformer。Weight-Space Programming(WSP)是研究項目,讓大型語言模型(LLM)直接編寫目標模型的權重,不經 gradient training。研究把問題轉向知識如何存放:當權重由 LLM 決定,模型能否用更容易追查的結構回答問題?

研究讓 Claude Opus 5.5、GPT-6.1 Sol 和 GPT-6 Astra 擔任 writer,即負責寫模型的一方。三者各獲十道附答案的 ARC 題目及 sandbox,這個隔離執行環境讓它們測試程式。實驗容許它們填寫固定架構的權重,或自行設計模型,藉此檢視限制是否來自指定架構。

LLM(writer)自由設計模型的 ARC 準確率主要差異
Claude Opus 5.550.8% → 54.4%將一句事實同時作為 key 與 value
GPT-6.1 Sol44.6% → 47.4%寫成「線索 → 答案」配對
GPT-6 Astra42.7% → 46.2%寫成「情境線索 + 支持/反駁答案」

設計時,三者都把詞語映射至 concepts,再將文字事實編譯成 sparse tables,即只記錄相關概念的稀疏表。回答時,模型為每個選項找出最匹配的幾行,再加入手寫規則評分。三者的資料分法不同:Claude 用同一句子兼作查找線索和內容,Sol 分開線索與答案,Astra 則記錄支持和反對哪些答案。writer 也會在 sandbox 自編練習題,檢查錯誤後補寫資料行或規則。

採用資料表的理由,是讓錯誤能追溯至具體一行,並檢查修改會否牽連其他答案。Claude 的模型每個選項只保留最佳資料行,表現仍接近完整模型;刪除一行平均改變 0.5 至 1.8 個答案。手寫 Transformer 的對應數字為 4.8 及更多,說明兩種結構的修改影響範圍不同,但資料表仍未做到修改完全互不影響。

  • 權重由 LLM 直接編寫,目標模型不經 gradient training。
  • 自由設計的模型以文字事實建表,再按題目與選項查找。
  • 錯誤可追查至資料行,但刪改仍可能影響其他答案。
  • 架構比較限於這套手寫權重流程,不能推廣至所有模型。

ARC test 包含 3,530 題,隨機猜測準確率為 25%。Claude 設計的模型在 generation 5 達到 54.4%;另有一個自由設計模型,超越同一 LLM 寫出的最高準確率 released Transformer,參數約少 1,800 倍。這個比較支持「手寫權重未必要沿用 Transformer」,但不能解讀成它勝過經一般訓練的 Transformer,因為比較對象同樣由 LLM 寫入權重。

模型在這批 ARC 題目中仍有相當部分答錯,不能直接當作可靠的科學問答服務。當題目需要表中未涵蓋的事實,或概念未能匹配,查表流程便可能失去足夠依據;項目沒有提供這類情況的獨立結果。需要逐條核對知識的研究團隊,可以從資料行追查問題,但仍須自行測試目標題目。

跑前要準備 Linux、Python 3.11、bubblewrap bwrap,以及 requirements.txt 指定的依賴。讀者可先用 harness.score_model 建立 models/ 內的模型,在隔離環境中對 ARC validation 和 test 評分,再核對 result.json。若要讓 writer 產生新模型,還需 Claude Code CLI 及已登入的 profile;WSP_DATA_ROOT 必須設定,否則首次使用會報錯。

硬體需求要按實驗路線分開看:edited lm-* checkpoints 的評分需要一張 CUDA GPU,而 2B 至 2.6B 模型的起始準備曾使用 64 GB RAM。

項目主頁 · GitHub

Categories: 開源, 模型, 模型訓練, NVIDIA, Linux, Python, 編程, Anthropic