當 AI 系統為了釋放空間而總結其上下文時,用戶的限制指令會在此過程中遺失。平均而言,只有 17% 的指令能在壓縮後倖存。一個小型附加的 LLM 模組可以解決大部分問題。

當用戶在不開啟新聊天視窗的情況下進行長時間對話時,AI 模型的回應上下文視窗會成為瓶頸。我們曾討論過上下文管理對輸出品質的重要性,但這對於習慣將所有內容傾倒在單一聊天視窗並持續使用的日常用戶來說,是難以掌握的。因此,AI 實驗室開發了上下文壓縮技術,稱為「緊湊化」(compaction),它能總結現有的對話歷史以釋放空間。然而,其代價是這個過程不可避免地會遺失細節。

賓州州立大學(Penn State)的研究人員現在系統性地研究了哪些細節會遺失,以及損害的嚴重程度。

用戶限制指令最先被捨棄。

最大的損失涉及研究人員所謂的「會話限制」(session constraints)。這些規則旨在規範 AI 系統在單次會話期間的行為,例如「在進行任何更改前請先與我確認」或「在回應中絕不要使用我的名字」。它們不是實際任務的一部分,也不是永久性的系統指令。它們僅適用於當前的會話。

這使得這些限制變得脆弱。壓縮系統的設計宗旨是保留任務的連續性,維持目標、當前狀態和後續步驟。然而,用戶施加的附帶條件則會被捨棄。

如果用戶說「未經我批准,請勿發送任何電子郵件」,那麼在壓縮後,他們必須預期代理程式可能會直接執行發送。這不僅是品質問題,也是安全問題。代理程式最終可能在未經授權的情況下呼叫工具、洩露被保留的資訊,或跳過用戶明確要求的驗證步驟。

用戶指示代理程式在採取任何行動前需確認 (A)。壓縮過程會捨棄這條規則 (B),然後代理程式在未詢問的情況下更改了行事曆條目 (C)。

為了衡量這種損失,研究人員引入了一個名為 COMPINT 的評估套件。平均而言,只有 17% 注入的會話限制能在壓縮後倖存。大多數測試的壓縮器設定實際上表現比完全不壓縮還要差,儘管 GPT-5.4-mini 在某些情境下超越了基準線。

根據這項研究,當代理程式接收到完整、未壓縮且用戶限制完好的上下文時,規則遵守率介於 59% 到 71% 之間。壓縮後,大多數測試壓縮器的遵守率急劇下降,通常僅略高於完全未給予任何限制時的水準。更具針對性的壓縮提示詞有所幫助,但未能完全彌補差距。研究人員表示,即使是專門為保留用戶限制而設計的提示詞,其保留率仍低於 40%。

小型語言模型提供即插即用的解決方案。

研究人員表示,真正有幫助的是一個與主要壓縮系統並行運作的小型附加模組。這個模組基於緊湊型語言模型 Qwen3.5-9B 構建,它會讀取每個用戶輸入以偵測會話限制,並將其收集到一個單獨的列表中。當上下文稍後被總結時,該模組會將這個列表附加到摘要中,從而確保用戶的規則保持完整。

根據這項研究,這個提取器在所有三種測試情境中都達到了超過 90% 的保留率。具體來說,代理程式軌跡的保留率為 95.6%,長期研究任務為 95.1%,多輪聊天則為 90.3%。它不需要額外訓練,也不需要對壓縮系統本身進行任何更改。

COMPINT 評估套件和該提取器已在 GitHub 上提供。