AI 代理框架大比拼：CUGA、Hermes 與 Deep Agents 實測與應用情境

市面上有近 200 種 AI 代理框架可供選擇。我們將相同的開源模型和 90 個 AppWorld 任務應用於其中三種框架，結果顯示，僅僅更換框架就能將任務完成率從 30% 提升到 81%。

對於企業應用而言，CUGA 額外提供了這項基準測試未涵蓋的功能：框架強制執行的規則，以及在企業內部環境部署的能力。

像 awesome-agent-harness 和 best-of-Agent-Harnesses 這類的社群列表追蹤了近 200 種框架，它們清楚地表明了一點：框架的重要性不亞於模型本身。

根據 best-of-Agent-Harnesses 引用的一項分析，在 SWE-bench Pro 基準測試中，僅僅更換框架，相同的 GLM-5.2 模型表現就能從 23% 提升到 52%。

因此，正確的問題不是「哪個框架最好？」，而是「哪個框架最適合我的工作負載和我的模型？」。

Nous Research 的 Hermes 專為全天候個人助理設計，而 LangChain 的 Deep Agents 則適用於研究等需要多步驟的複雜任務。這兩者在各自的領域都表現出色。

企業級應用則是一項不同的任務。代理會操作客戶關係管理（CRM）和支付等商業系統，並且必須遵循規則，無論模型做出何種決策。

CUGA（ConfigUrable Generalist Agent）是 IBM 開源的框架，專為此類任務而建，支援開源或託管模型，並可在您的自有環境中部署，包括主權雲端和氣隙部署。為了衡量框架所帶來的額外效益，我們保持模型不變，僅更換了框架。

我們在 AppWorld 上運行了 CUGA、Hermes 和 Deep Agents。AppWorld 是一個跨 9 個應用程式和 457 個 API 的多步驟任務基準測試，涵蓋了電子郵件、支付和檔案儲存等功能。

這些應用程式是消費級的，因此 AppWorld 是一個代理測試：它測試了企業自動化所需的部分能力，例如登入、閱讀 API 文件、分頁瀏覽結果以及跨多個應用程式更改狀態。

每個框架都使用了相同的開源模型 GLM-5.3-flash，在 30 個情境中的 90 個任務上進行測試，每個任務嘗試一次。所有運行都使用了 Harbor 評估框架，我們的設定已公開在 harbor-eval（我們的 Harbor 分支）中。

在測試設定中，CUGA 採用了其 AppWorld 配置，包含 AppWorld 指令、任務分解、執行前驗證和自動反思。

Hermes 則使用了 Harbor 的預設設定。Deep Agents 則在 MCP 上使用 AppWorld 工具，並結合 LangChain 內建的中介軟體，針對 469 個工具進行配置，包括工具選擇、上下文摘要、待辦事項列表、重試和呼叫限制。我們還增加了兩個小修復，以避免格式錯誤的 GLM 回覆導致運行中止。

測試結果顯示，在 AppWorld 的 90 個任務和 30 個情境中，CUGA 的任務通過率（TGC）達到 81.1%（90 個任務中有 73 個通過），情境通過率（SGC）為 66.7%（30 個情境中有 20 個通過）。

相較之下，Hermes 的任務通過率為 46.7%（42/90），情境通過率為 26.7%（8/30）。Deep Agents 的任務通過率則為 30.0%（27/90），情境通過率僅為 6.7%（2/30）。

這項結果並非對 Hermes 或 Deep Agents 的評判，因為它們並非為 AppWorld 類型的多應用程式 API 工作而設計，這正是重點所在：框架必須符合其任務需求。

其中，情境通過率（SGC）是最有用的指標，因為一個情境只有在其所有三個變體都通過時才算通過，因此 SGC 獎勵的是一致性而非偶然的成功。在此指標上，差距更為顯著：CUGA 通過了 20 個情境，Hermes 8 個，Deep Agents 僅 2 個。

此測試有三個限制：這是一個包含 90 個任務的樣本，結果可能無法推廣到其他任務。各框架的設定不完全相同。此外，這些運行並未使用策略，因此無法衡量策略強制執行的效果。

在 90 個任務的比較中，每次運行都使用相同的模型，因此差異來自於框架本身。每個 CUGA 代理都運行相同的緊湊循環：準備、呼叫模型、執行，然後重複。

這個循環可以從一個帶有自己工具的 CugaAgent 擴展到協調多個本地或遠端代理（透過 A2A）的 CugaSupervisor。以下是 CUGA 在 AppWorld 設定中運行的功能，按其作用分組：

規劃工作： 任務分解（將任務分解為多個步驟，一次處理一個應用程式）、聚焦工具（每個步驟只看到其應用程式的工具和少數共享工具，而非全部 469 個）、工具篩選器（find_tools 搜尋步驟所需的任何其他工具）。

執行程式碼： CodeAct（模型編寫呼叫應用程式 API 的 Python 程式碼）、沙盒（程式碼在受限環境中運行，並有時間限制）。

執行前檢查： 執行前驗證（在運行任何更改數據的程式碼塊之前進行檢查）。

執行後檢查： 自動反思（審查結果並讓代理修正其計畫）、分頁審核（標記在未請求下一頁時返回完整頁面的列表呼叫）。

透過這些功能，模型需要做出的決策更少，而框架則能在錯誤到達結果之前捕捉到更多錯誤。

框架控制的每個步驟，例如上述列表中的步驟，也是可以檢查規則的地方。

大多數團隊會將業務規則，例如支付審批或將客戶個人身份資訊（PII）保留在組織內部，寫入系統提示詞中。然而，提示詞是一種指令，而非強制執行。

模型可能會誤讀提示詞，使用者可能會說服代理違反規則，或者注入的訊息可能會在任務執行過程中改變它。

CUGA 策略將這些規則從提示詞中移出，並整合到框架中。我們在 ACM CAIS 2026 的論文《通用代理的建構式治理》（Governance by Construction for Generalist Agents, arXiv）中描述了這個策略層。這些策略在每次運行的四個點上發揮作用：

使用者意圖： 意圖守衛（Intent Guard），在代理執行前阻止或回應匹配的請求。例如：阻止刪除所有客戶記錄的請求。

代理指導： 行動手冊（Playbook），為代理提供標準程序。例如：逐步遵循退款程序。

工具執行： 工具審批（Tool Approval），硬性停止：運行暫停以等待人工審批，並顯示建議的程式碼。例如：在支付工具運行前徵求人工批准。

工具執行： 帶有工具守衛的工具指南（Tool Guide with ToolGuard），硬性檢查：守衛程式碼在工具運行前執行。被阻止的呼叫會返回策略違規，且工具永遠不會被呼叫。例如：阻止超過 1,000 美元的支付。

最終回應： 輸出格式化器（Output Formatter），將答案塑造成經批准的範本。例如：使用經批准的回覆範本。

指導（Guidance）引導模型，但審批（Approvals）和工具守衛（ToolGuards）則由運行時強制執行。將支付審批和 PII 處理等規則歸入後者，無論模型做出何種決策，這些規則都將被遵守。

您可以在 Policy Playground 中親自體驗這種差異，它會將相同的訊息發送給兩個即時代理，一個沒有策略，另一個則有。

例如，對於「支付我所有欠款」的請求，沒有策略的代理支付了 90 美元，其中包括一筆被拒絕的催收債務。而帶有策略的代理則將支付款項保留以待審批，最終只支付了應付的 10 美元。

選擇框架應像選擇模型一樣仔細。在我們的比較中，相同的模型在 AppWorld 任務上的完成率，根據框架的不同，從 30% 到 81% 不等。對於企業級工作，CUGA 提供以下優勢：

卓越的成果，現已支援開源模型： CUGA 在託管模型方面，曾於 WebArena（2025 年 2 月至 9 月）和 AppWorld（2025 年 7 月至 2026 年 2 月）上保持第一名。

由運行時強制執行的規則： 無論模型做出何種決策，審批和工具守衛都會在框架中阻止呼叫。

在您的主權邊界內部署： CUGA 採用 Apache 2.0 授權，可與任何 OpenAI 相容的端點協同工作，並可在本地、您私有或主權雲端中的 Kubernetes 上運行，甚至在氣隙主權叢集中部署，支援 OIDC 登入和獨立的聊天與管理角色。IBM Sovereign Core 正是基於 CUGA 構建，以確保代理完全在客戶的邊界內運行。

可衡量的成本： 預算限制了支出，而運行收據會顯示每次運行的 token 數量、工具呼叫次數和時間。

配置而非程式碼： 在使用者介面（UI）或軟體開發套件（SDK）中設定工具、預算和策略，測試草稿，然後發布版本。

CUGA 並非適用於所有任務：

對於終端程式碼代理，請使用 opencode、Codex 或 Claude Code。

對於在您的聊天應用程式中運行的個人全天候助理，請使用 OpenClaw 或 Hermes。

對於空白畫布圖形框架，請直接使用 LangGraph（CUGA 正是基於它構建的）。

CUGA 適用於透過 API、應用程式和網路使用者介面自動化業務工作，並在可強制執行的規則下運行。

🛡️ 策略遊樂場 · 策略指南

🧪 重現比較結果

⭐ 在 GitHub 上為 CUGA 加星

🚀 試用 CUGA：快速安裝

CUGA 團隊進行了這項比較，且 CUGA 使用了其他框架未採用的 AppWorld 配置。如果您能配置 Hermes 或 Deep Agents 以取得更好的表現，請將配置發送至 harbor-eval。我們將在相同的任務上重新運行測試，並發布結果，無論哪個框架獲勝。