跳到主要內容
maxstudioNews
產品Microsoft Research約 5 分鐘

TokenEconomizer:AI 程式碼代理的經驗學習外掛,大幅提升開發效率

TokenEconomizer 是一個開源外掛,能讓 AI 程式碼代理從過去的開發經驗中學習,進而減少未來任務的資源浪費。它在不修改代理或底層模型的情況下,顯著降低了成本,同時維持了任務成功率。這項創新為開發者提供了一種更經濟、高效的方式來運用 AI 輔助編碼。

TokenEconomizer:AI 程式碼代理的經驗學習外掛,大幅提升開發效率
圖片來源:Microsoft Research

開發人員每天在相同的程式碼庫中使用 AI 程式碼代理,但這些代理通常每次都會從頭開始。它們會重複發現熟悉的事實、載入未使用的工具,並重複失敗的方法。

TokenEconomizer 是一個開源外掛,它能從代理在儲存庫中的過去會話中學習,以減少未來會話的浪費,且無需修改代理或其底層模型。

在 277 個實際的錯誤修復任務中,TokenEconomizer 在多個 AI 程式碼代理上將成本降低了 18.4% 至 30.9%。所有測試的儲存庫成本都下降了,而任務成功率則大致保持穩定。

AI 程式碼代理正日益幫助開發人員獨立修復錯誤和建構功能,但每次與其模型的互動都會消耗 token。在每個會話中,代理會將指令、工具描述和會話歷史記錄發送給其模型。

大多數降低此成本的努力都集中在單一任務上。然而,開發人員會回到相同的儲存庫,這讓代理有機會從先前的工作中學習。

如果沒有這種學習,代理可能會重複發現如何執行測試、載入從未使用的工具,或者花費數十個回合重複處理相同的錯誤。

在我們的論文《TokenEconomizer:程式碼代理的經驗驅動黑箱成本控制》中,我們提出了一個簡單的問題:儲存庫中的經驗能否幫助代理更有效地解決未來的任務?

TokenEconomizer 是一個由加州大學柏克萊分校、微軟研究院和微軟安全部門共同開發的開源外掛,它將已完成的會話轉化為後續會話的指導。

它在不改變代理或其底層模型的情況下減少了浪費,因此開發人員可以將其與他們已經依賴的程式碼代理一起使用。

圖 1 顯示,每個完成的會話都會讓 TokenEconomizer 對儲存庫有新的認識,因此後續會話的 token 成本會降低。

我們首先在 60 個 SWE-Bench 任務上分析了 Claude Code,SWE-Bench 是一個開源 Python 專案中實際錯誤修復的基準測試,我們依序執行了每個儲存庫的任務。

三種浪費反覆出現:重複發現相同的事實、為未使用的工具付費,以及陷入失敗。

在儲存庫累積至少五個已完成任務後,30% 的工具呼叫重複了該儲存庫中先前任務的動作,而只有 7% 與另一個儲存庫的歷史記錄中的動作相符。

代理在每個回合都會收到 23 個工具描述,但其中 16 個從未被呼叫。17% 的失敗任務佔了 32% 的支出。

我們還測試了三個流行的開源外掛,每個都圍繞著固定的成本節約策略而建構。每個外掛都在某些儲存庫中降低了成本,但在其他儲存庫中則沒有。

這些發現共同表明,有效的成本控制必須適應儲存庫,而不是在所有地方應用相同的策略。

每個會話結束後,TokenEconomizer 會讀取會話日誌並更新其對儲存庫的了解。然後,它透過三種機制運作,僅使用代理已提供的介面,如圖 2 所示。

微技能(Micro-skills)以單行筆記的形式捕捉儲存庫特定的知識。TokenEconomizer 會識別跨會話的重複模式並提出相應的筆記。

這些筆記僅在多個會話確認該模式後才添加到代理的起始上下文中,如果後續證據與之矛盾,則會停用該筆記。

工具修剪(Tool pruning)會移除儲存庫歷史記錄表明代理不太可能使用的工具,同時始終保留用於執行命令和編輯檔案的核心工具。移除的工具可以在需要時恢復。

失敗循環干預(Failure-loop intervention)會監控代理是否持續遇到相同的失敗。一個判斷模型會決定代理是真正卡住了還是仍在取得進展。

如果代理卡住了,它會收到一個簡短的筆記,建議採用不同的方法。在開源外掛中,如果代理在收到筆記後仍然卡住,TokenEconomizer 會提醒開發人員,而不是自行停止工作。

圖 2 顯示,TokenEconomizer 與未經修改的程式碼代理協同工作。微技能添加學習到的事實,工具修剪精簡載入的工具,失敗循環干預則重新導向卡住的工作。每個完成的會話都會更新這三種機制。

控制器旨在隨著新證據的到來而修改其決策。報告的節省也考慮了 TokenEconomizer 自身模型呼叫的成本。

我們使用五種不同的 AI 程式碼代理和模型組合,在來自六個儲存庫的 277 個 SWE-Bench 任務上評估了 TokenEconomizer。對於每個儲存庫,TokenEconomizer 都從沒有先前的會話歷史記錄開始。

如圖 3 所示,TokenEconomizer 將平均成本降低了 18.4% 至 30.9%,並在所有 30 個儲存庫組合對中實現了最大的節省,且沒有性能損失。

相比之下,降低模型的推理工作量雖然節省了相似或更多的成本,但導致了顯著的性能下降。

圖 3 顯示,在 SWE-Bench 上,TokenEconomizer 將每個任務的平均成本降低了 18.4% 至 30.9%(左圖),同時在其中四個代理模型組合中,Pass@1 成功率有所提高(右圖)。

隨著經驗的累積,節省的成本會增加。早期任務的成本可能會更高,因為 TokenEconomizer 正在學習,但到第六個任務時,每個儲存庫的累積成本都低於預設值,如圖 4 所示。

每種機制本身都能帶來節省,而將三者結合則能實現最大的降低。

圖 4 顯示了使用 Claude Code 時,每個儲存庫任務相對於預設值的累積成本變化。從沒有歷史記錄開始,到第六個任務時,每個儲存庫都變得更便宜。

這些節省也延續到了序列式網頁開發,Web-Bench 上的成本降低了 16.0% 至 21.2%。在安全審計方面,由於每個任務都在一個新的儲存庫中,成本降低了 6.4% 至 19.6%。

TokenEconomizer 為程式碼代理開闢了一條道路,讓它們不僅學習如何解決任務,還學習如何更有效地運用計算資源。

其輕量級控制器展示了經驗如何在不改變底層代理或模型的情況下提高效率。

這個開源外掛讓開發人員和研究人員能夠輕鬆接觸這些方向。它旨在與現有的 AI 程式碼代理並行運行,無需修改其底層模型,不需要自己的 API 金鑰,並將所學知識保留在開發人員的機器上。

我們邀請社群將其作為起點,探索那些隨著經驗變得更具資源效率的代理,它們不僅適應所知,也適應其工作方式。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Microsoft Research 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。