ALTK-Evolve 運用學習記憶，讓客服 AI 在 τ²-bench 基準測試中表現超越頂尖模型

ALTK-Evolve 透過 GPT-4.1 學習並應用一套「劇本」，在客戶服務代理基準測試 τ²-bench 中，表現超越零售業的參賽者，而且無需更新模型權重。

一個使用 GPT-4.1（一個較舊、不具推理能力的模型）的基本客戶服務代理，在 τ²-bench 零售業測試中達到了 67.5% 的 Pass^4 分數。這表示它在 67.5% 的任務中，四次獨立嘗試都能成功解決。根據我們 2026 年 10 月 12 日的排行榜快照，它超越了所有零售業的參賽者。

這個代理運行在基準測試的標準 ReAct 架構上，並將學習到的指引附加到其系統提示詞中。ALTK-Evolve 運用 GPT-4.1 建立這套劇本。它分析代理在訓練任務中的嘗試，並利用模型將成功與失敗提煉成簡短的行為規則，例如如何驗證客戶身份、確認交易或處理退貨。

這些指引隨後會被添加到代理的提示詞中，用於後續的對話。相同的模型同時負責指引的提取和代理的運作，無需更新模型權重或人工標註。我們之前的工作已在程式編碼代理上展示過這種方法。這次，我們將其應用於客戶服務領域，在這個領域中，成功需要遵循領域政策、理解客戶請求並執行正確的工具操作。

τ²-bench（由 Sierra 開發）衡量代理在真實限制下處理客戶服務對話的能力。每個任務都會將代理與一個由大型語言模型（LLM）模擬的客戶配對，該客戶有其目標、一套領域工具（例如查詢訂單、發放退款、重新預訂航班）以及代理必須遵循的書面政策文件。

代理必須提取正確的細節、遵守政策並採取正確（通常不可逆轉）的行動。只有當最終資料庫狀態與預期結果相符時，任務才算解決，這是一個嚴格的二元獎勵。我們使用了其兩個客戶服務領域：零售和航空。

我們運行 τ²-bench 自身實現的一個基本 ReAct 代理，該代理具有兩階段的「思考 → 行動」循環。我們使用 GPT-4.1 作為代理模型，GPT-5.5 作為客戶模擬器模型，每個任務進行四次試驗。我們唯一的改變是在系統提示詞後附加了一段學習到的指引，其他所有部分（政策、工具、架構）都維持 τ²-bench 的標準設定。

具體來說，這些學習到的指引以純 Markdown 列表的形式，附加在領域政策之後：

您是一位客戶服務代理，根據以下政策協助使用者。請務必嚴格遵守政策。在需要時使用提供的工具。

<政策>

零售代理政策

作為零售代理，您可以協助使用者：

• 取消或修改待處理訂單
• 退貨或換貨已送達訂單
• 修改其預設使用者地址

…

</政策>

從過去任務嘗試中學到的指引（請仔細遵循）：

• 在採取任何與訂單相關的行動之前，請先驗證使用者身份。如果電子郵件不可用，請使用 find_user_id_by_name_zip API 透過全名和郵遞區號驗證身份。
• 始終以清晰、結構化的摘要確認所有預期的變更（修改、取消、退貨、換貨），並在執行任何資料庫更新操作之前，要求使用者明確批准。
• 處理退貨或換貨時，請以明細表說明退款，並澄清退款時間，不要等待使用者詢問。
• 每一步只執行一個動作：切勿在同一個回合中將工具呼叫與面向使用者的訊息結合，並在工具結果出來後再回覆。
• 在查詢使用者之前，請解析並清理其姓名，例如將 daiki_johnson_9523 這樣組合的代號拆分為名字/姓氏，並且在幾次查詢失敗後，說明您需要的確切格式。

…

我們使用 GPT-4.1（與驅動代理的模型相同）從代理在 τ²-bench 訓練任務中的軌跡中提取指引，然後將這些指引原封不動地應用於保留的測試集。

在之前的一篇文章中，我們討論了不同模型/任務需要不同程度的指引。秉持這一理念，我們也評估了提供給模型的不同數量指引。

每條指引都帶有一個「支持計數」，即它從多少個不同的訓練任務中提取出來。因此，較高的支持計數意味著該規則在更多任務中具有普遍性，而非一次性的特例。我們比較了三種配置：基準線（無指引）、sup3（僅保留支持計數 ≥ 3 的指引，即一個小型、高信賴度的核心）和 lossless（保留合併後的所有指引，即支持計數 ≥ 1）。

表 1. 各領域的指引配置和保留指引數量。

我們追蹤的指標。每個任務嘗試四次，我們以兩種方式解讀這些試驗結果：平均準確度（Mean Accuracy），即四次試驗的平均成功率，這是衡量「能力」的軸線：代理多久能做對一次？Pass^4，即所有四次試驗都通過的任務百分比，這衡量「可靠性」的軸線，也是 τ²-bench 排行榜報告的指標。

Pass^4 在此很重要，因為一個四次中有三次成功解決退款的支援代理，仍然會讓四分之一的真實客戶失望。Pass^4 詢問的是您是否每次都能信任該代理，而不僅僅是平均而言。

圖 1. 使用 GPT-4.1 的代理在零售和航空任務中，每個任務進行四次試驗的平均準確度與 Pass^4 表現。代理模型：GPT-4.1（使用者模擬器：GPT-5.5）。

表 2. 使用 GPT-4.1 的代理在每個任務進行四次試驗的保留測試集表現。括號中顯示與基準線的百分點變化。

平均準確度在兩個領域都有提升：零售業增加了 4.4 個百分點（從 78.1% 到 82.5%），航空業增加了 7.5 個百分點（從 57.5% 到 65.0%）。可靠性方面進步更顯著：嚴格的 Pass^4 在零售業上升了 10 個百分點（從 57.5% 到 67.5%），在航空業也上升了 10 個百分點（從 35.0% 到 45.0%）。

這些提升來自於更明智的呼叫，而非更長的對話。我們將在下方的「更好的效能會增加 token 成本，而非對話回合數」中直接探討對話長度。

兩個領域對於多少指引最有效益的看法不同。在零售業中，指引越多，所有指標都越好，小型 sup3 核心在準確度上僅略勝基準線，而要實現真正的飛躍則需要完整的 lossless 設定。

在航空業，情況在可靠性方面有所不同：lossless 在準確度上領先（65% 對 60%），但緊湊的 sup3 核心（14 條指引）卻更可靠，將 Pass^4 提升到 45%，而 lossless 則為 40%。這再次印證了先前的發現，即「交付」是一個可調整的參數而非常數，因此支持計數是一個值得針對每個領域進行調整的旋鈕，而不是一個硬編碼的值。

指引並非沒有成本，但成本落在預期之處，即提示詞輸入 token，而非更長、更迂迴的對話：

圖 2. 在完整基礎分割上，各領域和指引配置的每次對話總 LLM 成本。

表 3. 在完整基礎分割上，四次試驗中每次對話的總 LLM 成本（代理和使用者模擬器）。越低越好。

代理是否透過更長的對話來達成目標？為了清楚回答這個問題，我們進行了同類比較：在基準線和指引變體下都已解決的任務執行，這些任務具有相同的場景和種子，是一個真正的「相同任務，正確完成」集合，並計算雙方的助理回合數。

表 4. 在測試分割上，兩種設定下都已解決的匹配執行中，每次對話的助理回合數（匯集四次試驗）。

代理的對話並沒有變長，在共享集合中，指引反而使對話略微縮短：lossless 在兩個領域都減少了約 0.3-0.4 個回合（零售業從 10.59 降至 10.16，航空業從 9.15 降至 8.82），且沒有任何變體延長了對話。這不僅僅關乎成本：每個回合都是一次循序的 LLM 往返，因此更少的回合意味著更低的端到端延遲，為客戶帶來更快的完成時間，而不僅僅是更便宜。

唯一真正的代價在於輸入端，即每次 LLM 呼叫時附帶的更大系統提示詞：零售業的 292 條指引提示詞將每次對話的成本從約 0.084 美元推高至約 0.139 美元，而航空業較小的劇本則更便宜。在實際生產中，即使是這部分成本，也大多可以透過提示詞快取來回收，因為指引區塊在每次呼叫中都是相同的。

因此，這是一項有利的權衡：以略高的輸入成本（其中大部分在實際應用中可透過快取回收），代理同時實現了更高的準確度、更高的可靠性以及更短的完成時間。這並非通常的品質與延遲之間的權衡，而是三者同時朝著正確的方向發展。

到目前為止，我們使用的是一個較舊、不具推理能力的模型 GPT-4.1。一個合理的質疑是，學習到的指引對於使用頂尖模型的代理來說，可能幫助不大，或許它們只是彌補了較弱模型的不足。因此，我們直接進行了測試。

我們使用 GPT-5.5 重新運行航空業的測試，同時用於代理和指引提取，並在相同的 τ²-bench ReAct 架構上，從代理自身的運行中重新挖掘指引。隨著模型的改變，一個細節也隨之變化：在此設定中提取的指引都沒有達到支持計數 ≥ 3（最高為支持計數 2），因此這裡的高支持核心是 sup2 而非 sup3。

表 5. GPT-5.5 代理在每個任務進行四次試驗的保留航空業表現。

學習到的指引也改善了這個設定。在相同的保留測試任務中，將它們附加到提示詞中，將準確度提升了 10 個百分點（從 72.5% 到 82.5%），嚴格的 Pass^4 提升了 15 個百分點（從 55.0% 到 70.0%）。

這比我們在這些任務中觀察到的 GPT-4.1 獲得的可靠性提升（10 個百分點）更大，而且是從更高的基礎上實現的。圍繞模型學習指引，即使代理從更強的基礎開始，也能有所改進。而且，當基準線的可靠性在重複運行中波動時，lossless 配置的結果卻完全重現，這表明它帶來的增益是可靠的，而非僥倖。

提交的結果根據 τ²-bench 的要求，在完整的基礎分割（訓練集 ∪ 測試集）上進行評分，並以 Pass^4 報告。由於這涵蓋了完整的任務集而非僅保留的測試分割，因此這些數字與上方報告的測試任務數據有所不同。

這正是實際效果顯現之處，提示詞層級的記憶讓使用每個基礎模型的代理，能夠達到甚至超越當前的頂尖公司水準：

零售業：排名第一。在基礎分割上，帶有學習指引的代理達到了 67.5% 的 Pass^4，領先於所有頂尖模型，也領先於 RAFT-30B-A3B（61.4%），後者是一個針對合成 τ²-bench 零售數據進行微調的模型。使用標準的 GPT-4.1 和附加提示詞的劇本，它比那個微調系統高出 6.1 個百分點。

航空業：使用 GPT-5.5 排名第一，使用 GPT-4.1 排名第八。與已發布的排行榜相比，緊湊的 sup3 核心讓使用 GPT-4.1 的代理達到 44% 的 Pass^4，位居第八，擊敗了 GPT-5.2（無推理能力），並幾乎與 Claude Sonnet 4.5 持平。

如果換成更強大的基礎模型，相同的方法則直接稱霸該領域：使用 GPT-5.5 的代理達到 82.0%，超越了所有頂尖參賽者（66% 至 72%）。