
Tree-Ising 是修補語言模型推理迴圈的研究工具。作者以需要大量互動與生成的代理改權重流程作對照,改用模型運算統計挑選修改位置,減少搜尋開支。
方法沿用 state trees,把權重視為離散決策路徑;只對 Brain Floating Point 16(BF16)權重作少量正負號翻轉及二的冪次縮放,再以 forward pass 統計,為每個輸出列建立 Quadratic Unconstrained Binary Optimization(QUBO)問題。
專案核心機制:樹狀伊辛自旋晶格(Tree-structured Ising Spin Lattice)、位元級量化權重矩陣(Bit-level Quantized Weights)、正向傳播無梯度修復(Forward passes only / No gradients)與稀疏編輯(Sparse format-native edits)
- 提供 simulated annealing 與 simulated bifurcation 求解。
- 作者報告 Qwen3.5-0.8B 的 MATH-500 成績為 54.6%,對照修改為 51.7%。
- 同一方法令 Qwen3.5-2B 的 GSM8K 成績由 21.6% 升至 69.4%。
研究團隊可先在 Python 3.11 環境驗證實驗設定,再準備模型與題目、收集答案及統計,產生完整 Hugging Face checkpoint。修補需要 Linux 與 NVIDIA 顯示卡;項目文件列出的實驗使用 40GB A100。
這種離散修改適合研究局部修補的成本與效果,但上述數字屬作者報告的數學測試結果,尚不足以判斷其他模型或一般對話能力是否同樣受益。