AI 代理「品味」不佳，新基準測試揭露長期決策盲點

論文作者將代理做出良好選擇的能力稱為其「品味」。現有基準測試僅衡量代理是否完成任務，而非其執行步驟的品質。Taste-Bench 的設計旨在彌補這一空白。

長期決策無法立即判斷其優劣。一個簡潔的實作與一個草率的實作，初期可能產生相同的輸出並通過相同的測試。簡潔的方法只有在後續修改更容易時才能展現其價值。人工評分不僅成本高昂，需要深厚的領域專業知識，也難以擴展。

因此，研究人員仰賴事後諸葛。一個軌跡的後續路徑，即代理執行過程中所有步驟和觀察的記錄，能顯示早期選擇是否奏效。實際上，代理系統會多次嘗試相同的任務，這些嘗試最終會分岔出不同的方向。

由於每次嘗試的最終結果會揭示較佳路徑，這些執行本身就提供了帶有標籤的比較。作者將這個分岔點稱為「決策分岔」。為了衡量品味，他們在分岔處凍結執行，隱藏所有後續工作，並讓模型在兩條路徑中做出選擇。

在決策分岔點，模型必須在後續軌跡揭示哪條路徑更好之前，選擇其中一個方向。

Taste-Bench 包含 502 道問題，每道問題都附有原始任務、直到分岔點的軌跡，以及兩個可能的方向。第一種類型來自於同一任務的兩次獨立嘗試，它們在某處分岔，代理從未見過錯誤的路徑。

第二種類型來自於代理在單次執行中自我修正並繞道而行。在此情況下，最初被捨棄的方向與後來成功的方向構成兩個候選選項。這種變體測試模型是否能比實際執行的代理更早發現錯誤。

原始數據來自數千次在程式編碼和 AI 研究任務上的代理執行評分，包括 SWE-bench Pro 和 METR 的公開轉錄版本 MALT。一個生成模型篩選出合適的分岔點，剔除答案明顯的瑣碎問題，並移除無法判斷的案例。人工審查確認了幾乎所有自動生成的標籤。

研究團隊測試了來自 Claude、GPT、Grok、DeepSeek、GLM、MiniMax 和 Mistral 系列的 14 個現有模型。每個問題都被問了兩次，一次以正常順序，一次將選項翻轉。只有當模型兩次都答對時，該問題才算數。純粹猜測的準確率為 25%。

測試中表現最佳的模型 GPT-5.6 Sol 平均得分為 59.7%，緊隨其後的是 GPT-5.5，得分 59.5%。所有其他模型的得分都遠低於此。儘管每個問題都只是二選一，但沒有任何模型接近解決這個基準測試。繞道分岔的問題始終比平行分岔的更難。

即使是最好的模型，在這些二元決策問題上，也僅在約 60% 的情況下選擇了更好的方向。

對於每個分岔點，研究團隊檢查了觀察者需要提前多遠才能清楚看到更好的路徑。當關鍵線索在之前的步驟中就已可見時，所有模型的平均準確率達到 62.3%。但當線索僅在大量後續工作之後才出現時，準確率驟降至 21%，接近隨機猜測。回答這些問題意味著需要預測未來的工作。

更長時間的思考並無幫助。研究人員針對兩個模型，以三種不同的推理設定重複了測試。從最低設定切換到最高設定，準確率幾乎沒有變化。模型在最困難的層級上花費了最多的推理代幣，在它們最常答錯的問題上思考最久。研究團隊認為這表明在這些分岔點，所需的線索根本尚未出現。

作者表示，決策證據在軌跡中出現得越晚，模型的表現就越差，而增加推理預算也無法改變這一點。這個基準測試捕捉到的技能與 SWE-bench Verified 等經典端到端測試不同。在那些測試中得分相似的模型，在 Taste-Bench 上卻顯示出明顯的差距。

研究人員也證明了「品味」是可以訓練的。他們將一個知道正確路徑的教師模型（teacher model）的判斷力，蒸餾到一個只看到問題的學生模型（student model）中。他們使用 Qwen3.6-27B 作為基礎模型。在未見過的任務上，學生模型的準確率從 30% 躍升至 47.9%。

這種提升在實踐中取得了成效。研究團隊將學生模型的判斷作為建議，添加到每個分岔點的任務情境中，並讓一個獨立的代理解決問題。在 41 個保留的 SWE-bench Pro 任務上，成功率從 14.6% 提高到 33.7%。如果建議完全正確，成功率可達 39%，因此學生模型捕捉了大部分可能的收益。

在經過訓練的 Qwen3.6-27B 學生模型指導下，代理解決的 SWE-bench-Pro 任務數量增加了一倍以上。

研究團隊總結指出，長期規劃代理的判斷力既可以衡量，也可以改進。該基準測試和程式碼已公開提供。

AI 代理現在可以長時間獨立工作。在 MirrorCode 基準測試中，一個模型在單一任務上連續運行了 19 天，無需人工協助。標準基準測試通常只檢查最終測試是否通過。METR 已證明 SWE-bench Verified 顯著高估了程式編碼代理的性能。

即使自動化測試通過，專業人士仍因基本功能錯誤而拒絕了許多解決方案。Taste-Bench 中表現最佳的模型 GPT-5.6 Sol，也在 METR 的評估中創下了軟體測試作弊率的最高紀錄。