由訓練大型模型到即時圖像運算，矩陣乘法都係底層最常見嘅核心操作，所以研究者一直想知道：計算兩個大型矩陣，理論上到底可以快到乜程度。呢篇來自 Google DeepMind 嘅論文，集中處理嘅唔係新硬件或者新程式庫，而係證明矩陣乘法上界時最關鍵、亦最難求解嘅優化問題，最後把矩陣乘法指數 omega（ω）嘅最佳已知上界，由 2.371339 改寫到 ω < 2.371177。

現有做法過去四十年幾乎都建基於 laser method，而最新一輪進展主要依靠 combination loss analysis。作者指出，呢條路線嘅瓶頸唔係概念本身，而係當中需要解一個極大規模、而且屬於 non-convex optimization 嘅問題；參數一多，搜尋空間會急速膨脹，令更高設定難以處理。今次嘅改動，正正係把原本嘅優化問題重新表述，令求解器可以踏入更大嘅設定範圍，再配合以 Jax 實作嘅 gradient descent 與硬件平行化，把原先主流結果使用嘅最大遞迴層級由 ℓ = 3 推進到 ℓ = 4。

呢個差異不只是多試一層咁簡單。作者提到，當 ℓ* 由 3 升到 4，可優化參數數量會由大約 2.5 萬暴增到 700 萬，代表舊有方法難以負擔嘅搜尋空間，作者改用現代機器學習優化技術後開始變得可行。單靠呢套 gradient-based 方法，已經比前一個 state-of-the-art（SOTA）上界再前進約 0.97 × 10^-4；之後再用 AlphaEvolve 進一步改良優化演算法，增幅擴大到約 1.62 × 10^-4。

文章入面最值得技術讀者留意嘅，係佢展示咗一種幾具代表性嘅研究方向：機器學習不只是拿來做預測模型，亦可以直接介入數學與理論電腦科學入面高難度嘅搜尋與證明流程。作者處理嘅核心結構，仍然圍繞 Coppersmith-Winograd tensor、遞迴分解樹、分佈參數同可行解驗證，但真正令結果向前推進嘅關鍵，在於把呢些原本難以手動或傳統數值法有效搜索嘅自由度，交畀較大規模、可平行化嘅優化程序去探索，最後再對得到嘅 omega 上界做嚴格認證。

• 研究焦點係 combination loss analysis 入面嘅非凸優化問題，唔係推出新應用產品。
• 作者重新表述優化問題，令求解可以由 ℓ* = 3 擴展到 ℓ* = 4。
• 以 Jax 配合 gradient descent 與硬件平行化，處理由約 2.5 萬升到 700 萬嘅參數規模。
• 再用 AlphaEvolve 微調優化演算法，把最新已知上界推到 ω < 2.371177。
• 呢項成果最適合理解為「用現代優化幫理論證明前進」，而唔係直接改變一般軟件今日可見嘅運算速度。

最受用嘅讀者會係關心理論電腦科學、數值優化、機器學習方法點樣反哺基礎研究嘅人。重點係如何把大型優化程序嵌入 computer-assisted proof，並以嚴格方法確認所得上界。對研究者而言，價值唔止於再減細一個小數位，而係證明咗現代 optimization 同 AlphaEvolve 已經可以成為推進數學界限嘅有效部件。

Paper