將路由器整合到您的代理系統中聽起來是個輕鬆的勝利。您可以將簡單的請求發送給較便宜的模型，將昂貴的模型保留給較困難的任務，或者根據專業領域進行路由，例如，Claude 用於程式碼，Gemini 用於多模態任務等等。一個分類器或啟發式演算法做出決策，成本隨之降低，效能保持不變。任務完成。

然而，事實並非如此。大多數路由系統都假設模型選擇是一個分類問題。根據我們在代理系統中建構路由的經驗，看似模型選擇的問題很快就變成了一個系統最佳化問題。有三個維度讓這項任務變得出乎意料地困難。

1. 成本不僅僅是模型定價

我們預期 GPT-4.1 會比 Claude Sonnet 4.6 便宜，但結果並非如此。在 AppWorld Test Challenge 的 417 個任務中，使用相同的 CodeAct 代理，Sonnet 的總成本為 79 美元（每個任務 0.19 美元），而 GPT-4.1 的成本為 155 美元（每個任務 0.37 美元），幾乎是兩倍。

從表面上看，這毫無道理。GPT-4.1 的輸入和輸出 token 定價都較低，而且 Sonnet 完成相同任務所需的推理步驟大約是其三倍。單從標價來看，GPT-4.1 應該會輕鬆獲勝。解釋是什麼？快取，這是大多數路由討論完全忽略的因素。

代理工作負載傾向於在不同步驟中重複使用大量上下文。當快取命中率很高時，有效的輸入成本會大幅下降。Sonnet 較低的快取讀取定價意味著它從這種模式中獲得了不成比例的收益，足以克服其較高的基本定價和較長的執行軌跡。關鍵在於：實際成本取決於模型、工作負載和服務基礎設施之間的互動。一個只看定價表的路由器正在針對錯誤的數字進行最佳化。

2. 複雜性不僅僅是任務難度

一種常見的路由策略是估計任務的難度，並將較困難的任務發送給更強大的模型。這很直觀，但它在兩個方面會出問題。首先，難度在路由時通常是不可見的。像「總結這份合約」這樣的請求看起來很簡單，但可能需要觸發檢索、合規性檢查、工具使用和多輪精煉才能完成。

同時，一個高度技術性的提示詞可能由一個較小的專業模型高效處理。您通常在執行開始之前，並不知道任務實際有多困難。其次，即使您能夠完美地估計難度，它也只是眾多訊號之一。在生產環境中，路由器需要同時平衡成本、延遲、模型專業化和可靠性。

企業部署還會增加更多要求：合規性要求、資料駐留規則、隱私限制、核准的模型清單。一個理想情況下會發送給某個模型的任務，可能因為治理原因而需要發送給其他地方，而路由器必須優雅地處理這種情況。路由器並非只解決一個問題，它們不斷地同時權衡成本、品質、延遲、合規性和可靠性。

3. 延遲不僅僅是模型速度

人們很容易將延遲純粹地視為模型大小的問題，模型越大越慢，模型越小越快。但使用者實際體驗到的延遲遠不止於此。路由本身會增加額外開銷。基礎設施因素，模型運行在哪種硬體上、快取是否預熱、端點有多忙，通常主導了端到端的響應時間。理論上更快的模型，如果服務條件不佳，仍然可能產生較慢的體驗。

此外還有路由粒度。每個任務只路由一次會增加最小的開銷。但如果在每個步驟都進行路由，這讓您在執行中途有更大的靈活性來適應，則每個額外的決策點都會引入延遲和操作複雜性。一個忽略服務系統的路由器正在針對錯誤的現實進行最佳化。

那麼我們是如何處理這個問題的？

這些經驗教訓塑造了我們建構路由器的方式。關鍵的轉變是：我們不再將路由視為分類問題，而是將其視為最佳化問題。我們的演算法不再詢問「哪個模型最適合這個任務？」，而是同時最佳化成本、品質和延遲，同時保持足夠輕量，以避免自身成為瓶頸。

下圖顯示了在 AppWorld Test Challenge 中使用 CodeAct 代理的結果。每個藍色方塊代表我們路由器的不同配置，描繪出一個成本-準確度邊界。重要的不是任何單一點，而是路由器提供了一系列操作點供您選擇，取決於您想優先考慮成本、延遲還是準確度。

配置 1（延遲最佳化）以 84% 的準確度、93 美元的成本和 83 秒的延遲完成任務，與單獨運行 Opus 相比，成本降低了 21%，延遲降低了 9%，而準確度僅下降了 4%。配置 2 將成本推得更低。

請注意，一個標準的基於難度的路由器（青色菱形）落在相似的準確度範圍內，但成本更高，它無法像基於最佳化的方法那樣探索完整的權衡空間。而且由於最佳化本身是輕量級的（每個任務大約 6 毫秒和 2 KB 記憶體），路由器不會成為我們之前警告的瓶頸。

更宏觀的視角

我們從這項工作中得到的教訓是，路由並不是真正關於選擇模型。它是關於最佳化系統。模型是一個變數，一個重要的變數，但它只是快取行為、基礎設施狀態、合規性限制和工作負載模式等眾多變數之一。

當路由運作良好時，很少是因為它為特定任務找到了「最佳」模型。而是因為它為整個系統找到了最佳操作點。這比分類問題更難，但卻是值得解決的問題。我們將在後續文章中分享更多關於我們方法背後的技術細節。同時，如果您正在將路由建構到自己的代理系統中，我們很樂意聽聽您遇到了哪些權衡問題。

致謝

這篇文章受到了與同事們多次對話的啟發，他們深思熟慮的問題、回饋和見解幫助我們完善了思路。