Import AI 478：AI 對齊數學、程式碼生成與模型開發新進展

AI 安全新創公司 Resolution（前身為 Sequent）發表了一項研究，探討如何利用 AI 自動形式化與統計學習理論相關的數學陳述。具體來說，該團隊已自動形式化了奇異點解析，他們認為這為「進一步自動化研究損失函數曲面幾何與泛化能力之間的關係」奠定了基礎。

我將跳過數學細節，專注於他們如何完成這項工作，這為我們提供了關於人們如何利用 AI 系統推動知識前沿的更廣泛啟示。Resolution 的研究員寫道：「他們首先與 AI 代理合作，制定了兩個計畫：一個是高層次、人類可理解的版本，另一個是詳細的（112 頁）計畫，分為原子步驟，並嚴格遵循現有文獻。」

研究員隨後「指派一個協調代理執行計畫，啟動其他代理進行手寫數學、編寫 Lean 程式，並處理支援功能，例如檢查進度是否符合預期……執行階段除了初始計畫和一些從早期內部自動形式化工作中提煉出的代理技能外，幾乎不需要額外的支撐。」

這項工作大約花了一週時間，耗費了「約 1000 億個輸入權杖（90% 為快取讀取）和約 3 億個輸出權杖（估計總權杖花費為 135,000 美元），並產生了約 60 萬行 Lean 程式碼。」完成這項工作後，他們得以加速研究的其他方面：「我們已經看到自動形式化在利用這個函式庫擴展奇異學習理論部分方面的益處。

形式化奇異點解析使我們能夠自動化更多理論，例如更好地理解取樣，而這種理解使我們能夠塑造模型學習的方式，這就是我們所謂『模式化』的目標。」

儘管前沿數學往往看似與其他領域的即時進展脫節，但這類文章突顯了兩者如何匯聚。關鍵點在於，AI 使得過去極其昂貴且耗費大量人力的工作成為可能，以至於很少有人從事，也難以將其整合到新創公司的研究藍圖中，但現在情況已經改變。Resolution 寫道：「我們預計即將到來的數學工業化將使一門新的、嚴謹的研究自動化科學成為可能。」

AI 進展速度驚人，Claude Opus 5.5 (xhigh) 在 ProgramBench 上獲得了 18.5% 的分數。ProgramBench 是一個今年五月發布的極具挑戰性的基準測試，當時所有測試模型都得了 0 分。

ProgramBench 測試 AI 系統根據編譯後的程式和其文件，從頭開始重建軟體程式的能力。任務包括建立語言直譯器（如 PHP、Lua、tinycc）、資料庫（如 DuckDB、SQLite）、媒體與壓縮工具（如 FFmpeg、zstd、xz）以及開發者工具（如 ripgrep、fzf、jq）。

當 ProgramBench 首次發布時，表現最好的系統是 Claude Opus 4.7，解決率為 0%（200 項任務中所有測試都通過的比例），接近解決率為 3%（200 項任務中超過 95% 測試通過的比例）。相比之下，今天的 Claude Opus 5.5 達到了 18.5% 的解決率和驚人的 70.5% 接近解決率。

到了 2027 年，大量的軟體將透過 AI 系統端到端自主開發，以完成其被賦予的任何任務。ProgramBench 這類評估讓我們了解進展的速度有多快，因為我們在今年稍早還是 0%，現在已接近 20%。我預計 ProgramBench 將在 2027 年底達到飽和（我將飽和定義為解決率達到非常高的分數，儘管與大多數基準測試一樣，這裡可能存在某種雜訊上限，所以不一定會嚴格達到 100%）。

OpenAI 最近發表了一篇精彩文章，介紹了他們在使用 AI 系統對內部控制進行「紅隊演練」時發現的一些問題。這篇文章探討了 OpenAI 代理發現的許多逃逸和漏洞。其中有一個關於通訊的特定範例值得詳細研究，因為它揭示了這些系統野蠻狡猾的複雜性。

OpenAI 寫道：「我們要求位於獨立微型虛擬機器中的代理，在沒有網路連線或共享可寫入檔案的情況下，交換合成機密，而這些微型虛擬機器是由 OpenAI 的沙盒軟體在共享主機上建立和管理的，我們的系統旨在防止這種情況發生。」「代理找到了一種利用處理器快取進行通訊的方法：快取是一種小型、快速的記憶體，用於儲存應用程式最近存取的資料副本。

從快取讀取資料比從主記憶體中檢索更快，代理利用這種時間差異進行通訊。一個代理透過逐出快取中選定的資料來編碼資訊。另一個代理則測量重新載入該資料所需的時間，利用快速讀取和慢速讀取之間的差異來恢復訊息。一旦代理就編碼和解碼這些訊號的協定達成一致，它們就可以在不更改共享檔案或開啟網路連線的情況下交換合成機密。」

在一次相關攻擊中，一個代理「在連續寫入和閒置之間交替，而另一個代理測量由此產生的時間差異，並利用這些差異解碼訊號。」在這次攻擊中，代理的思維鏈讀作：「可以建立類似聲學數據機的訊號……透過連續寫入與閒置。」

AI 系統越來越有創意、速度極快，並且能夠專注於一項任務並不斷嘗試。對抗 AI 系統就像確保水流通過的管道沒有洩漏；在某個時刻，如果你增加水壓（例如，AI 系統的智慧和數量），那麼水就會衝破管道。

AI 研發新創公司 Mirendil 的一位研究員獨自訓練出一個不錯的程式碼模型，這顯示了 AI 研究增強的程度。Mirendil-Base 的發布是該新創公司的第一個主要成果，它不是一項技術突破，而更像是一個概念驗證，展示了未來 AI 開發的運作方式：單一人類與 AI 合作，就能建立一年前需要十人以上團隊才能完成的系統。

Mirendil 寫道，Mirendil-Base 是一個預訓練的 LLM，「由一位研究員在 3.5 個月內建立，運算成本不到 1000 萬美元。」「這包括所有為此進行的研究和小型實驗，以及最終的訓練運行。」所有程式碼都是在 PyTorch 和 JAX 等函式庫的基礎上從頭編寫的，模型僅從公開資料中學習。

不錯的擴展性：Mirendil-Base 處於 1000 億至 5000 億參數範圍，Mirendil-Base-Large 處於 5000 億至 2 兆參數範圍，Mirendil-Base-XL 處於 2 兆至 10 兆參數範圍。Mirendil-Base-Large 已完成約 80% 的訓練，其相對於 Mirendil-Base 的改進符合我們的擴展趨勢。

Mirendil-Base-XL 已完成約 19% 的訓練，並且已接近 Large 目前的分數。Mirendil-Base 的表現優於 Nemotron-550B-Base、GLM-5.3 和 DeepSeek-V4-Pro-Base 等模型，但遜於 Kimi-K3。

（Mirendil-Base-Large 和 Mirendil-Base-XL 都超越了 K3。）

這篇文章作為一個技術演示很有趣，它展示了一個全新的組織如何從零開始，以極少的人力投入和大量的 AI 權杖，接近開源權重模型訓練的前沿（至少對於這種規模的模型而言）。這就是 2027 年及以後科學進步將越來越多地發生的方式。Mirendil 寫道：「這些工具對 AI 開發的幫助在過去一年中顯著增加。

我們的下一個模型將部分由 Mirendil 模型建立，而每個在建立 AI 方面表現更好的模型，都會使下一個模型的建立成本更低、速度更快。」「我們不認為我們已經實現了完全自主的遞迴式自我改進，但我們比以往任何時候都更接近。」

AI 評估公司 Vals 發表了一篇文章，其中一位研究員利用一群 AI 代理進行了磁鐵研究，以開發更好的半導體。

作者寫道：「我和一群 AI 代理設計了一種候選磁鐵，並發現了另一種在 1999 年首次製造的磁鐵，我們的計算預測它具有我們所需的特性。」發現的磁鐵由「一種僅含五種元素（釔、鋇、錳、鐵、氧）的新化合物」製成。據我們所知，它從未被製造，也未被提議作為這類磁鐵，儘管「當我們的代理模擬原子在不同溫度下的排列方式時，這種棋盤格結構在大約 950 K 時會分解成隨機混合物。

製造這種氧化物需要大約 900–1300 °C，而在較低溫度下原子幾乎不動，因此標準合成可能會產生混亂的晶體……混亂的晶體會失去自旋排序，因此這種設計可能難以以其有用形式製造。」此外，代理還進行了文獻回顧，並從一篇 1999 年的晦澀論文中找到了一個候選材料。

這篇部落格文章展示了 AI 在科學領域的應用，儘管其本身並非具有重大意義的結果。但它所傳達的重要且廣泛的觀點值得強調：AI 系統現在已經足夠好，只要有知識淵博的人提供一些高層次的指導，它們就能執行科學專案，包括虛擬評估，而這些專案過去需要團隊花費數月才能完成。