本月在紐約的 AI 工程師大會上,我們與 Arca 的首席 AI 工程師 Aman Singh 進行了訪談。Arca 是一家「AI 原生」的財富管理服務公司。我們發現,儘管 AI 代理在公司內負責大部分的背景工作,但仍設有防護措施,確保最終決策由人類顧問做出。
目標是讓 AI 引導整個流程,正如 Singh 所言:「AI 代理提示人類,多於人類提示 AI 代理。」Arca 最近在由 General Catalyst 領投、Index Ventures 和 Venrock 參與的一輪融資中,成功募得 4850 萬美元。
Singh 解釋,在金融服務中運用 AI 的一個特點是,這通常是「長期」但非「持續運行」的工作。在他的 AIE 演講中,Singh 提到 Arca 的代理任務可能需要長達十天的時間。他說:「這是一個非常走走停停的過程,中間涉及許多參與者、許多決策點和許多交接。」因此,Arca 開發了一套內部記憶系統。
Singh 在我們的 Podcast 討論中表示:「我們為每位客戶建立了這種持久性記憶系統。它記錄了迄今為止發生了什麼,接下來我們正在追蹤什麼,未來幾天需要立即處理什麼,以及我們正在長期追蹤什麼。哪個個人負責哪個行動?所有這些都由我們的記憶系統追蹤,而 AI 代理也會為其貢獻資訊。」
Arca 使用來自 Anthropic 和 OpenAI 等頂尖實驗室的模型,其中 Claude 是其主要的模型供應商。該公司建立了自有的「harness」(模型選擇機制),根據其內部基準,自動為特定任務選擇最佳模型。
擁有自己的 harness,而非使用託管的代理 harness,也意味著 Arca 在需要時可以靈活地更換模型供應商。對於金融服務而言,安全性顯然是關鍵。Singh 指出,儘管 AI 代理執行了大部分工作,但其角色僅限於分析和提出解決方案。交易和任何資金流動都由人類顧問處理。他說:「我們所有的安全限制都是完全確定性的,它們將決策權從 AI 代理手中移除。」
換句話說,AI 代理可以自行執行某些工具和任務,但不能執行涉及客戶風險的任務。Arca 還對已知的 AI 安全問題(例如提示詞注入攻擊)進行驗證檢查。Arca 的 AI 代理本身並未沙盒化,但它會使用沙盒進行運算。Singh 解釋說,他們甚至更進一步,為處理敏感資料採取了額外的安全措施。
他說:「我們建立了系統,讓沙盒內的程式碼可以安全地存取我們的資料。我們有一個機制,將 AI 代理編寫的程式碼轉換成我們預期的嚴格格式,然後丟棄原始程式碼,並在該格式到達後端之前安裝防護措施。因此,我們允許 AI 代理使用程式碼來查詢我們的資料,這意味著它們可以匯總、整理和處理資料,以產生像財務規劃這樣的成果。」
Arca 實施的另一個有趣流程是,利用人類顧問的回饋以及 AI 代理的追蹤記錄來改進其 harness。一個「元代理」(meta-agent)被用來分析所有這些資料,並建議對 harness 進行更改。