金融 AI 代理的自主性與安全性：OpenAI 與 Anthropic 的平衡之道

OpenAI 的 Joseph Kim 今日在紐約 AI 工程師大會上談到了「門檻現象」。本週紐約 AI 工程師大會的關鍵主題之一，是如何在代理的自主性、安全與保障之間取得平衡。領先的 AI 實驗室和金融公司都在本週的演講中聚焦於此議題。主要的啟示是：安全的自主性取決於控制措施和人類判斷的放置位置，而非施加多少限制。

贊助商：使用 shop.dev 將購物功能整合到您的代理中。將商務功能添加到代理通常意味著從頭重建搜尋和結帳流程。shop.dev 提供單一 API，讓您可以在任何代理或應用程式中實現購物功能。只需一次連接，即可存取超過十億種商品，並獲取即時價格和庫存資訊，還能透過 Shop 立即登入，並在對話中一鍵完成 Shop Pay 結帳。所有開發者皆可使用，無需帳戶或金鑰即可試用。→ 立即試用 shop.dev

OpenAI 金融服務 ChatGPT 部門主管 Joseph Kim 今日在紐約 AI 工程師大會上發表了主題演講。（我們也與 Kim 進行了一次特別播客，即將發布。）他談到了可靠性以及「實用性門檻」，他表示這是「模型變得足夠有能力且可靠，可以為您節省時間的那個點」。

Kim 認為，不斷增長的模型能力將很快讓金融分析師跨越這個門檻，並允許他們將更多工作委託給代理。他對 AI 在 2027 年於金融領域扮演的角色做出了一些具體預測。他聲稱，明年金融業不僅將減少對 Excel 和 PowerPoint 的依賴，代理也將足夠出色，能夠執行「投資理念生成和交易」。

模型能力的「浪潮」也帶來了更好的可追溯性。Kim 表示：「在金融領域，您需要能夠檢查數字的來源並理解其相關背景。」「我們希望這種審查成為 [ChatGPT for Financial Services] 體驗的自然組成部分。這些產品細節有助於將模型的能力轉化為人們可以使用的實際工作。」

至於何時需要人類介入，Kim 將其視為一個產品設計決策。他問道：「介面會如何改變？使用者仍然需要控制、審查或批准什麼？這些都是您現在就可以開始著手的產品設計問題。」

對沖基金 Two Sigma 的架構資深副總裁 John Feminella 正在處理 Kim 所提及的這類產品設計問題。他在主題演講中談到了他們為控制代理、同時不限制模型能力所實施的五項控制措施。

Feminella 認為，安全與創新不應被視為光譜的兩端。他特別批評了「審批疲勞」，即一個人審批所有事情可能會阻礙創新，如果他們沒有完全專注於所有需要做出的決策，也可能引入風險。

在 Two Sigma，他們實施了一套控制措施，他將其定義為「護欄和共享能力，讓團隊能夠以不阻礙其目標的方式前進」。這些控制措施是可組合的，意味著「每個控制措施只做一件事，然後它們共同讓我們能夠以適當的安全水平運行具有真正自主性的代理」。

其中一項控制措施是使用自動模式分類器，Feminella 表示，這類分類器「對例行呼叫做出決策，然後只將最重要的請求，也就是最有可能產生影響的請求，發送給人類處理」。分類器可用於模糊不清的案例，而確定性規則則更適用於明確的案例。

Anthropic 的演講也概述了一個類似的框架，其目標是在金融代理工作流程中建立「信任」。上個月，Anthropic 發布了 Claude for Financial Advisors，讓金融顧問能夠將其系統連接到 Claude 和一套工作流程技能。

本週在紐約 AI 工程師大會上，Anthropic 金融服務董事總經理 Belinda Neal 解釋了 Anthropic 為何與金融公司合作開發這款新產品。她表示：「模型每隔一段時間就會跨越一個門檻。一旦跨越，就會引發一波工作方式的變革。」

Neal 的同事 Keon Shahab，負責 Anthropic 的應用 AI 工作，隨後談到了「為代理建立信任層」。他表示這涉及三個步驟：「代理以何種身份行動，透過身份和權限層來定義。我們如何沙盒化並確定代理的審批層，以便在代理行動前有人簽核。最後，我們如何確保代理在隨著時間調整任何變數後仍能正常運作。」

Shahab 以一個交易中斷調查代理為例，說明了「提議」與「行動」之間的界限，該代理會建議訂單修正以供人類批准。他表示：「我們希望它 [代理] 只是提議對我們的訂單數據進行新的修正，而不是實際執行這些修正。」Shahab 總結道：「透過一次性建立一個您信任的基礎層，您可以快速大規模部署多個代理。」

作為 Bloomberg 技術長辦公室的架構與新興技術主管，Andrey Rybka 負責平衡公司內部的自主性與規模。在今日紐約 AI 工程師大會的演講中，Rybka 談到了一系列代理造成混亂的真實事件，以及可以幫助預防這些問題的防禦措施。這些措施包括範圍受限的身份和憑證、工具呼叫控制、出站流量限制、稽核軌跡、預算和緊急停止開關。

在一個例子中，一個代理將嵌入在市場評論中的指令視為進貨產品的指令。Rybka 建議採用輸入驗證、提示詞注入防禦、來源追蹤以及對高價值行動的人工審批。Rybka 表示：「我們希望模型外部有確定性控制。檢查每一次呼叫、記錄下來，並保留一個緊急停止開關。」

儘管 OpenAI 和 Anthropic 等領先實驗室正在為金融代理建立「信任框架」，但最終仍取決於金融公司如何在其代理周圍設置控制措施。Two Sigma 的 John Feminella 一語中的：實施能夠實現自主性，但又不會設置障礙的控制措施。正如他在結論中所說：「為什麼汽車有煞車？這不僅是為了讓你能停下來，更是為了讓你能安全地快速行駛和停止。」