Google 提出「睡眠框架」：讓大型語言模型在持續學習中鞏固知識，避免災難性遺忘

現代大型語言模型（LLM）透過預訓練和上下文學習（ICL）展現出令人印象深刻的效能。然而，一旦部署，它們大多保持靜態，受限於固定的知識截止日期，無法獲取長期能力或適應新資訊。

雖然用新資料更新模型看似是顯而易見的解決方案，但持續的參數更新往往會引發「災難性遺忘」（catastrophic forgetting），這是一個根本性問題，即學習新任務會嚴重損害模型對先前已學任務的表現。另一方面，嚴格依賴上下文學習（ICL）會將知識保留限制在即時的上下文視窗內，一旦上下文會話結束，所獲取的短期資訊就會被遺忘。

受人類大腦在休息時處理和穩定記憶的方式啟發，我們在持續學習中引入了「睡眠框架」（sleep framework）。這是一種學習範式，為大型語言模型（LLM）配備了連續的週期性生命週期，使其能夠持續學習，並將脆弱的短期上下文鞏固為穩定的長期參數。

透過這個框架，我們證明了在活躍互動和離線記憶鞏固之間交替，能讓 LLM 持續獲取新事實，保留高達 1000 萬個 token 的長上下文知識，並提升複雜的推理能力。

重新思考機器學習：活躍（清醒）階段與睡眠階段

傳統機器學習依賴於訓練和推論之間的嚴格分離。在持續學習框架中，這種區別變得不自然，智慧代理必須不斷學習、適應和處理資訊。

在睡眠範式下，LLM 在兩種主要狀態下運行：活躍（清醒）階段：模型積極接收、處理並與輸入互動，將臨時資訊儲存在快速的短期記憶組件中。睡眠階段：模型暫停處理新輸入，並將其內部計算重新導向記憶鞏固和自我改進。

儘管「睡眠」、「夢境」和「自我改進」等術語借鑒了神經科學，但我們的框架完全在固定的模型架構和人類定義的訓練規則內運行。在離線睡眠階段，模型會解鎖預先分配的專家混合（Mixture-of-Experts, MoE）記憶區塊，並使用自我生成的練習範例更新其數值權重。這種自動化的後訓練週期有助於已部署的模型吸收新事實並提高其推理準確性，同時保持其核心程式碼庫和設計不變。

睡眠過程的關鍵組成部分

睡眠範式透過記憶鞏固和夢境兩個階段，解決了災難性遺忘和持續適應的問題。

1. 記憶鞏固

在人類大腦中，非快速動眼（NREM）慢波睡眠透過抽象和提煉，將脆弱的記憶鞏固為長期結構。我們提出的睡眠框架透過兩個關鍵技術機制，反映了這種自然現象：參數擴展與連續記憶層次結構：為防止災難性遺忘，模型在睡眠期間動態擴展其容量。透過使用專家混合（MoE）和 Hope 架構，新解鎖的低秩專家被整合到穩定的、低頻率的記憶區塊中，以儲存新知識，而不會干擾舊參數。

知識播種（向上蒸餾）：儲存在高頻層（例如上下文記憶）中的脆弱短期記憶被轉移到新擴展的長期參數中。這透過廣義知識蒸餾（Generalized Knowledge Distillation, GKD）結合基於強化學習（RL）的模仿學習來實現：策略內蒸餾：擴展後的學生模型從自我採樣序列上生成的教師分佈中學習特定 token 的回饋。

模仿學習（LTI）：當學生模型完成教師生成文本的前綴時，根據語義和絕對相似度（Levenshtein 距離）獲得獎勵。突觸修剪：一旦記憶鞏固到低頻模組中完成，高頻臨時參數將被重置，為未來的活躍會話釋放容量。

2. 夢境以實現自我改進

在快速動眼（REM）睡眠期間，人類大腦積極模擬情境，鞏固情感/語義連結，並探索新的神經通路。與此類似，在「夢境階段」，睡眠框架實施了一個自主的自我改進循環：隨機專家選擇：在合成資料生成過程中，MoE 路由器會隨機啟動非標準專家。這迫使模型混合不同領域的知識並發現潛在模式。

策劃排練：模型生成合成訓練樣本（「夢境」），並使用基於梯度的資料選擇進行過濾，以優先處理最有可能提升模型整體能力的樣本。強化學習（RL）精煉：模型對頂級夢境樣本執行監督式微調，並評估生成是否改善了下游任務的效能。

理論基礎

除了實證結果之外，我們的睡眠範式還基於一種理論，該理論闡明了其兩個階段（記憶鞏固和夢境）為何能夠支持持續學習，而不會簡單地用新知識換取舊能力。

對於記憶鞏固，分析表明知識播種可以理解為一個結構化的低秩壓縮問題。模型並非被要求將其短期痕跡的每個細節複製到其參數中。相反，它識別出一組緊湊的方向，這些方向能最好地保留模型的策略內行為以及學習目標所獎勵的語義品質。

這種觀點解釋了兩種訊號的互補作用：策略內蒸餾使鞏固與模型在推論時實際產生的軌跡保持一致，減少了僅在教師生成分佈上訓練時可能出現的不匹配；同時，語義獎勵改變了值得保留的內容，優先考慮那些能保留意義和任務相關行為的方向，而不僅僅是匹配 token 概率。參數擴展則提供了寫入這些選定記憶所需的容量，而不會覆蓋先前鞏固的知識。

對於夢境，該理論將隨機專家激活和基於獎勵的樣本選擇描述為改進學習幾何形狀的機制。注入不同的 MoE 擴大了在合成生成過程中探索的梯度方向集，使模型接觸到比僅由其常規清醒時間資料引起的更豐富的更新集合。基於梯度的過濾隨後強調了攜帶最有用的學習訊號的合成經驗，強化了資訊豐富的方向，同時保留了底層梯度空間的結構。

總之，這些步驟產生了一個更平衡的優化環境：學習較少受少數方向主導，梯度條件更好，模型在精煉其能力時可以取得更穩定的進展。從這個角度來看，夢境不僅僅是自我生成的資料增強；它是一個有目的的過程，用於多樣化、選擇和鞏固模型自我改進的更新。

在持續翻譯方面，對於滿語和卡拉芒語等未見語言，睡眠框架在多階段評估中保持了接近零的效能下降，而 ICL、Cartridges 和監督式微調（SFT）等標準基準在序列學習中遭受了嚴重的災難性遺忘。在 BABILong 基準測試的長上下文理解方面，我們的睡眠方法展示了接近完美的擴展能力，高達 1000 萬個 token，透過使用睡眠時間鞏固將長上下文資訊直接壓縮到參數記憶中，超越了 GPT-4 和 Titans 等強大基準。

對於在 SQuAD 和持續預訓練（CPT）上評估的事實知識整合，我們的睡眠方法在單任務評估中達到 48.9%，在 CPT 評估中達到 46.2%，透過成功整合新事實資訊而不損害現有模型表示，超越了包括基礎模型、SFT 和自適應語言模型（SEAL）在內的基準方法。

最後，在包括 AIME 24/25 和 HMMT 25 在內的數學推理基準測試中，睡眠增強的基礎模型分別獲得了 79.2%、69.0% 和 46.1% 的準確度分數。這超越了 SFT、群體相對策略優化（GRPO）和策略內自我蒸餾（OPSD）等基準，表明記憶鞏固與模仿學習的結合能帶來卓越的推理效能。

結論

我們的睡眠範式為自主、持續學習的 AI 系統提供了一條道路。透過超越靜態預訓練和脆弱的上下文視窗，在活躍學習和離線休息之間交替，賦予大型語言模型保留短期記憶、將新技能抽象為長期參數結構，並在沒有災難性遺忘的情況下持續自我改進的能力。