StateBench：測試語言模型在長文件中追蹤狀態變化的能力

我們推出 StateBench，這是一個用於長上下文狀態追蹤的基準測試，旨在評估語言模型在長文件中追蹤實體資訊隨時間演變的能力。狀態追蹤是許多任務的基礎，從閱讀程式碼（變數被賦值和重新賦值）到追蹤故事（角色移動、物品易手）都包含在內。

舉例來說，如果一本推理小說在謀殺案發生前提到「約翰把刀給了瑪麗」，那麼了解每個角色的狀態已經改變就非常重要。然而，並非所有狀態追蹤問題都一樣簡單，有些只需要找到最新的更新，而更困難的問題則需要追蹤一系列的變化，其中任何一個步驟的遺漏都可能導致最終答案錯誤。例如，一個更複雜的謎團狀態追蹤情境是，約翰將他背包裡的東西給了瑪麗，而之前已知愛德華把一把刀放進了約翰的背包裡。

Transformer 模型在處理具有長依賴鏈的複雜狀態追蹤變體方面，存在著理論上的限制，這促使了循環和混合架構（例如 Gated DeltaNet）的發展，這些架構能夠持續向前傳遞記憶。現有的狀態追蹤測試往往側重於最困難的案例，但隨著這些設計變得越來越普遍，研究人員需要了解每種架構能夠處理哪些類型的狀態追蹤。

我們希望不僅在最困難的狀態追蹤類型上，也能在更簡單、可能更常見的類型上，了解不同架構之間的差異。

為此，我們開發了 StateBench 基準測試，以捕捉不同複雜度的狀態追蹤問題，並用它來評估不同架構的語言模型之間的差異。我們發現，當直接針對這些任務進行訓練時，循環模型和混合模型比 Transformer 模型具有更強的泛化能力，而包括 Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 和 Luna 在內的領先模型，在輸入內容變長時，仍然會在較困難的狀態追蹤形式上失效。

StateBench 包含四個難度級別，允許越來越複雜的狀態更新操作。對於程式設計師來說，這些狀態追蹤的複雜度級別可以理解為允許不同類型的變數賦值操作：

R-trivial 問題使用不可變的賦值。變數的值永不改變，因此模型只需要恢復它最初被設定的值。在程式碼中，這看起來像 let x = 4；在日常生活中，這就像一個人的出生日期，它保持固定不變。

Aperiodic 問題允許按值重新賦值。模型需要找到最新的值，並可以忽略較早的值。在程式碼中，這看起來像 x = 4 之後是 x = 2；在日常生活中，這就像一個恆溫器，最新的設定決定了當前的溫度。

Soluble 問題增加了自我參照更新。每次更新都建立在當前值之上，因此模型必須將變化向前推進，而不是簡單地找到最新的賦值。在程式碼中，這看起來像 x = x + 5；在日常生活中，這就像遊戲分數，每個點數都加到總分中。

General finite 問題增加了按參照賦值。一個變數可以取另一個變數的當前值，從而產生跨更新的依賴關係。在程式碼中，這看起來像 x = y 或交換兩個變數。想像一個魔術師將球藏在五個杯子中的一個下面，然後重複交換它們的位置。找到球意味著要追蹤這些交換如何改變其位置。

這說明了 S₅ 狀態追蹤問題：追蹤連續交換如何重新排列五個物件。它屬於我們四個級別中最困難的一個，並在先前關於狀態追蹤限制的研究中有所討論。

這些級別可以從變數賦值的角度直觀理解，但它們也代表了植根於 Krohn–Rhodes 理論的狀態追蹤中具有理論依據的區別。Krohn–Rhodes 理論是代數的一個分支，它描述了狀態追蹤問題（可視為有限么半群上的文字問題）如何分解為原子原語。我們層次結構中的每個級別都對應於一類可以由不同原語集構建的狀態追蹤問題。

為了公平比較這四個級別，我們從一個通用的有限變數賦值序列開始，並從中導出三個較簡單的版本，從而產生四個可比較的 StateBench 問題，每個難度級別一個。所有四個問題都使用相同數量的變數和不同的值，賦值出現在序列中的相同位置，只有賦值的類型有所不同。

我們在 StateBench 的 r-trivial、aperiodic 和 general finite 級別上測試了一系列開源的預訓練模型，以觀察它們的狀態追蹤能力在哪裡失效，以及不同的架構是否如理論預測般失敗。在標準理論假設下，Transformer 模型可以穩健地處理 r-trivial 問題（並在一定程度上處理 soluble 和 aperiodic 問題），但預計會在 general 問題上失敗。

相比之下，具有更靈活記憶體更新的 Gated DeltaNet 原則上可以處理所有四個級別。

我們從訓練資料和上下文長度都完整記錄的開源預訓練模型開始測試。這些模型包括兩個 70 億參數的模型：Olmo 3（一個 Transformer 模型）和 Olmo Hybrid（增加了 Gated DeltaNet 層），以及較小的 2.75 億和 27 億參數模型。

所有這些模型都在相同的資料上進行了預訓練；在訓練期間，沒有一個模型見過超過 64,000 個 token 的上下文，而我們測試它們的輸入長度遠超此限。

當我們對每個模型進行評分時，幾乎所有模型在 r-trivial 問題上都表現良好，但在 aperiodic 問題上，隨著輸入長度增加，準確度會下降，而在 general finite 問題上則保持在隨機水準。問題格式在這裡很重要，2.75 億參數的混合模型和 Gated DeltaNet 模型在 RULER 樣式的 r-trivial 問題上得分接近滿分，但在以試算表編輯形式呈現的相同問題上卻接近隨機。這個差距是 StateBench 以多種格式測試相同潛在問題的原因之一。

接著，我們測試了四個領先模型：Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol 和 Luna，要求它們讀取每個變數賦值序列並生成每個變數的最終值。

所有四個模型在 r-trivial 和 aperiodic 問題上都表現良好。但在 soluble 和 general finite 問題上，隨著輸入長度增加，準確度急劇下降，在最長的 general finite 問題上甚至降至 13% 或更低。一個可能的因素是敏感性；在這些較難的級別中，更多步驟會影響最終答案，使得模型幾乎沒有遺漏任何更新而不出錯的空間。

接下來，我們研究了模型在較難級別上的困難是否反映了架構本身的限制，或者僅僅是預訓練未能教會模型解決這些問題。針對性的直接訓練是一個更有利的情境，它揭示了狀態追蹤問題在多大程度上源於底層架構和優化器，而非用於預訓練模型的資料。

我們從頭開始，在 StateBench 上訓練了幾個 2.75 億參數的模型：兩個 Transformer 變體、兩個混合模型，以及兩個具有不同記憶體更新限制的 Gated DeltaNet 變體。這些模型在長達 256 個賦值的序列上進行訓練，並在長達 64,000 個賦值（即最大訓練長度的 250 倍）的序列上進行測試。

隨著序列長度增加，這些架構開始出現差異。Gated DeltaNet 和混合模型在 r-trivial、aperiodic 和 soluble 問題上幾乎完美地泛化到我們測試的最長序列，即數萬個賦值。Transformer 模型學會了較簡單的級別，但在較長序列上性能下降，並且從未學會 general finite 問題。

在最困難的級別上，具有更靈活記憶體更新的 Gated DeltaNet 變體泛化能力最遠，在長度約為其訓練期間所見最長序列的 10 倍時，仍保持接近完美的表現。

對於 Gated DeltaNet 和混合模型來說，這種差距指向訓練而非架構本身；經過直接訓練，它們學會了處理預訓練模型無法處理的狀態追蹤級別。Transformer 模型則不同，即使經過直接訓練，它們也無法學會最困難的級別。

一些問題仍待解決。我們的新證明顯示，具有更有限記憶體更新（非負特徵值）的 Gated DeltaNet，在論文的固定精度算術和四捨五入下，可以解決所有 aperiodic 任務和某些週期性任務，例如追蹤重複輸入是否出現偶數或奇數次。它在層次結構中的確切位置仍不明確，包括它是否能解決所有 soluble 任務，以及數值精度或將其與注意力層結合如何影響其能力。

StateBench 也假設變數數量固定，而實際任務通常會隨著時間引入新的實體。例如，在長時間的對話中，新的人物和物件可能會隨著對話展開而出現，模型也必須開始追蹤它們。目前的框架尚未涵蓋這種情況。

隨著新型循環和混合架構的出現，了解每種架構能夠處理哪些類型的狀態追蹤，有助於指導未來系統的開發和訓練。我們希望 StateBench 能為研究人員提供一種更細緻的方法，來找出模型失效的地方，並為仍有不足的能力建立訓練和評估資料。更根本地說，我們希望它能成為研究人員開發出比現有模型具有更強大狀態追蹤能力的新架構的指引。