跳到主要內容
maxstudioNews
AI 自動化DEV Community (Claude Code)約 7 分鐘

Claude Code Token 節省術:開源專案 Downshift 詳解

作者在使用 Claude Code Pro 時面臨高昂的 Token 消耗問題,因此開發了開源專案 Downshift。此工具旨在透過壓縮指令結果、智慧路由模型、管理專業代理以及提供遙測數據來優化 Token 使用。Downshift 協助使用者有效降低 AI 代理的營運成本並提升效率。

Claude Code Token 節省術:開源專案 Downshift 詳解
圖片來源:DEV Community (Claude Code)

大約六個月前,我開始使用每月 20 美元的 Claude Code Pro 方案。在短短幾天的工作中,我就用完了每週的額度,卻不明白原因。這就像一張堆滿文件的桌子:我只需要其中一項資訊,但其餘的卻佔據了空間。

Downshift 這個 Go 語言開源專案,正是在這種困境下誕生的,它也是我職業生涯中最重要的專案之一。其主要功能包括:

Compactor(壓縮器):在 AI 讀取指令結果之前將其縮短,同時保留錯誤和退出代碼。在 Computer Use 模式下,當代理操作應用程式時,它也會壓縮 Agent Desktop 的螢幕描述,並且只傳送同一視窗在不同讀取之間發生的變化。

Model-routing(模型路由):應用規則來選擇模型,並決定它應該為輔助代理(subagents)接收的任務投入多少精力。此選擇會考量定義的策略、可用的模型以及所使用工具的支援程度。

Agents(代理):匯集了專業的設定檔和技能(skills),這些是可用於研究、實作、審查和安全等活動的可重複使用指令。它們指導如何分配工作以及每個代理應該交付什麼。

Telemetry(遙測):允許追蹤會話、模型選擇和壓縮結果。這些數據有助於了解資源的使用情況以及哪些地方值得優化。

該專案目前處於測試階段。程式碼和文件都可以在 GitHub 上找到。在特定情境下已經取得了成果,但仍需衡量它們在日常使用中能將 Pro 方案的使用時間延長多少。

為了建構 Downshift 我需要研究什麼 為了理解這種消耗,我需要研究上下文(context),也就是模型接收的資訊集合,以及 Token,即模型處理的文字單位。正如 Claude Code 文件所解釋的,一個簡短的問題可能攜帶檔案、歷史記錄和指令結果。Anthropic 提出的上下文工程(context engineering)則探討如何選擇和組織這些材料。

我也研究了如何在代理之間分配任務,以及如何選擇模型和努力程度。「Building effective agents」是這種架構的參考資料。隨之而來的是測試:較小的輸出仍需讓代理有能力執行任務。這種優化與品質之間的關係,在「Demystifying evals for AI agents」中有所闡述。

如何減少 Claude Code 的 Token 消耗 在建構 Compactor 時,我意識到大部分指令輸出的處理可以透過 Go 語言的函數來完成:識別格式、計算測試數量以及區分通過和失敗的項目。這個處理過程遵循規則並在本地執行,無需呼叫 AI 模型來總結結果。資訊因此能以更精簡的形式傳送給代理。

舉例來說:你要求代理修正一個 Go 專案中的錯誤。它會調查程式碼、進行修改並執行測試。終端機的回應也會納入上下文。正是在這個階段,壓縮器可以提供一個更簡短的版本,同時保留退出代碼和錯誤的詳細資訊。

在已配置的 Claude Code 中,hook 會轉發相容的指令並將執行與會話關聯起來。若要在此流程之外手動體驗壓縮功能,請執行:downshift compactor -- go test ./...

11 月 10 日的一次本地執行,使用 Downshift 的部分測試和詳細輸出(go test -v),展示了差異。實際片段如下:之前:=== RUN TestStripColour --- PASS: TestStripColour (0.00s) === RUN TestScreenText --- PASS: TestScreenText (0.00s)之後:Go test -v: PASS (5 passed, 0 failed, 0 skipped) in 0.187s Subtests: 16 passed or skipped under those tests

完整的輸出從 2,006 位元組降至 271 位元組,包括恢復指示:這次執行減少了 86.5% 的位元組。原始內容可以透過 downshift retrieve YOUR_OUTPUT_ID 恢復。這是一個本地演示,此百分比不衡量 Token 或 Pro 方案的使用時間。

預設模式為 balanced(平衡):只有在超過大小限制時才會進行有損壓縮,並且始終可以透過 retrieve 恢復完整輸出。lossless(無損)是保守選項,不進行有損壓縮;aggressive(激進)則進行更強烈的壓縮。

在我最近對 Claude Code 的測量中,我使用了 lossless 模式;之前則使用 balanced 模式。在某些情況下,Compactor 也會返回完整的輸出。例如,在測試執行失敗時,解析器在錯誤區塊之前無法識別的行可能會阻止壓縮。代理會收到原始結果,其中包含調查所需的詳細資訊。這種行為在「壓縮失敗測試」的文件中有描述。

模型路由:依任務分配能力 在相同的修正任務中,主代理可以將部分工作委派給輔助代理。重新命名變數和評估架構變更需要不同的能力。Downshift 會根據已配置的規則,並考量會話中已知模型,來應用於主代理的選擇。

這個步驟在本地執行,無需諮詢其他語言模型。當無法建立安全的選擇時,會保留請求的模型。主會話的模型保持不變。

在儀器化的會話中,downshift session --why 會顯示輔助代理的樹狀結構及其原因;downshift report 則會彙整可用的消耗數據。這些資訊有助於在更改配置之前調查輸出和委派決策。上述演示的手動呼叫不會與會話關聯,也不會顯示在這個面板中。

Computer Use:Token 消耗的「黑洞」另一個發現是 Computer Use 如何成為 Token 消耗的「黑洞」。代理會查詢介面、執行操作,然後需要再次查看以確認結果。為了使用 Agent Desktop,我研究了輔助功能樹:這些結構描述了應用程式中的文字、按鈕和欄位。

想像一個表單:點擊「儲存」後,代理需要確認。再次接收整個視窗的描述會重複未更改的資訊。

在 11 月 9 日發布的 v0.13.0 版本中,我將壓縮功能擴展到這些讀取:Downshift 會縮短首次描述,並在後續讀取中只傳送稱為「增量」(deltas)的變更。完整的讀取仍然可以恢復。

由於上下文中的重複文字減少,代理可以使用更少的 Token 來追蹤相同的介面。一項三次讀取的合成測試記錄了 84.9% 的位元組減少。在實際桌面環境中節省的 Token 數量仍需測量。此整合涵蓋透過 Agent Desktop 命令列進行的讀取;其透過 MCP 獲得的結果不會被壓縮。詳細資訊請參閱整合指南。

Token 節省:基準測試結果 在 Claude Code 中,一項包含 46 次執行、分為四組的受控研究顯示,與原生 opusplan 模式相比,使用路由功能後,每次成功執行可減少 24.1% 的 Token 消耗。路由組在 12 次執行中有 12 次通過測試;對照組則在 11 次中有 10 次通過。失敗的嘗試也納入計算。

這個結果衡量的是路由功能;在兩個比較組中,壓縮器都是關閉的。這些是 10 月 21 日,在路由功能後續變更之前,由操作員委派的機械性任務。完整的基準測試文件記錄了版本和方法。

在 KiroCrew 中,一項實際使用測試記錄顯示,結合路由和壓縮功能後,每項任務的 Token 消耗最多可減少約 53%。這是在數小時的會話中執行的六項控制任務:這是一個初步證據,不能將所有收益都歸因於路由功能。請參閱記錄及其限制。

在壓縮方面,110 個合成案例的基準測試記錄顯示,在啟用完整輸出恢復的情況下,位元組數減少了 67.1%。位元組、Token 和成本是不同的衡量標準。這些百分比來自不同的情境,不應直接相加。

如何安裝和測試 Downshift 請遵循安裝指南,並在您的儲存庫中執行:downshift setup downshift doctor。setup 會在應用變更之前顯示它們;doctor 則會檢查配置。

選擇一個重複性任務,例如範例中的測試修正,並比較使用和不使用 Downshift 時的消耗、完成時間和手動修正。請務必包含失敗的嘗試:重要的是最終能成功交付。整合方式因 Claude Code、Codex、OpenCode、Cursor 和其他環境而異。請查看支援矩陣。

我懷著熱情開發了 Downshift,它源於我自己的困難,也考慮到那些面臨同樣問題的人。我分享了程式碼和學習心得,希望這項工作也能造福其他人。

歡迎大家了解這個專案、嘗試使用並貢獻想法或改進。如果您在自己的專案中使用它,請分享結果:我想知道它在每個人的日常工作中如何運作。希望它對您有所幫助。祝您使用愉快!💚 專案:github.com/tiagovilasboas/downshift-ai

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 DEV Community (Claude Code) 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。