「代理工作流程」（Agentic workflows）是一種由人工智慧驅動的軟體系統，它將多個模型和外部工具串聯起來，以處理複雜任務，例如分析影片並回答相關問題。然而，這些高度碎片化的系統在設計和部署時，常導致效率低下，進而浪費運算資源、能源和成本。

為了解決這個問題，麻省理工學院和微軟的研究人員開發了一套智慧系統，它能簡化代理工作流程的設計過程，並自動優化其執行方式。透過這種新方法，開發者只需用簡單的語言描述他們希望代理工作流程完成的任務，無需預先指定應用程式的所有細節。該系統會自動找出最佳的模型和工具，以及在雲端供應商執行工作流程時理想的硬體配置和運算資源分配。它還能根據每個使用者的優先順序（例如最小化成本或最大化速度）即時調整這些配置。

這套新系統在多個代理工作負載上進行測試後，大幅減少了部署所需的運算單元數量，與傳統方法相比，顯著降低了能源需求和成本，同時不影響效能。該論文的主要作者、麻省理工學院電機工程與電腦科學系（EECS）研究生 Gohar Chaudhry 表示：「代理工作流程正變得非常複雜，並迅速成為雲端供應商的核心業務。能源消耗是一個巨大的問題，因此我們必須非常關注這些工作流程的效率。」

他進一步指出：「過度分配資源非常容易，這會浪費能源和金錢。讓雲端供應商能夠智慧地優化這些工作流程的資源使用，對所有相關方來說都是雙贏。」

這篇論文的共同作者還包括麻省理工學院電機工程與電腦科學系副教授兼電腦科學與人工智慧實驗室成員 Adam Belay、資深作者兼 Microsoft Azure 技術院士暨企業副總裁 Ricardo Bianchini，以及其他 Microsoft Azure 的研究人員。這篇論文將在 USENIX 作業系統設計與實作研討會上發表。

配置難題

代理工作流程是一個由多個自主 AI 代理組成的系統，這些代理協同使用各種模型和工具（例如資料庫或 Python 程式）來動態完成多步驟任務，例如資料處理或程式碼生成。這些工作流程可以作為幕後程序，為使用者導向的應用程式提供支援。

通常，開發者必須預先硬編碼所有技術選擇。他們需要定義要使用哪些 AI 代理、模型和工具，以及它們的使用順序。他們還必須指定執行工作流程的硬體，以及如何平衡速度與成本等權衡。這項任務尤其具有挑戰性，因為代理工作流程整合了多個黑箱模型和多樣化的工具，每個都有自己的配置選項，並且可能由不同的公司提供。如果發布了一個新的 AI 模型能提高應用程式的準確性或效率，開發者將需要從頭開始實作。

Chaudhry 表示：「即使你想手動完成所有這些工作，也很難最佳化工作流程的配置，因為可能的配置空間非常龐大。」此外，為客戶部署應用程式的雲端資料中心無法深入了解工作流程內部，因此無法在使用者請求時以最有效率的方式分配硬體資源。為了解決這些問題，研究人員開發了這套名為 Murakkab 的新系統（Murakkab 在烏爾都語中意為「事物的組合」），旨在優化整個代理工作流程。

動態決策

首先，Murakkab 讓開發者能夠透過高階描述應用程式的意圖來建立代理工作流程，而無需詳細說明其眾多組件應如何組合。例如，開發者可以描述一個影片問答應用程式，它會提取關鍵影格、生成逐字稿，然後回答使用者關於影片的查詢。

Chaudhry 指出：「有很多方法可以做到這一點，所有這些不同的模型和工具都會影響應用程式完成任務的速度。」Murakkab 會根據開發者簡潔的規範，自動識別並組合最佳的現有模型和工具到工作流程中。它還會判斷哪些組件需要依序執行，哪些可以平行執行以提升效能。他補充說：「這個平台會隨著時間動態做出配置決策，因此即使明天有新的模型或 GPU 加速器問世，開發者也無需擔心。」

當雲端供應商為客戶部署該應用程式時，Murakkab 會透過配置其組件來優化工作流程，以滿足使用者的限制，例如在滿足延遲要求的同時優先考慮準確性。它能即時自適應地識別理想的硬體分配和部署排程，以最大化效率，然後生成一個可供雲端供應商執行的工作流程。他表示：「我們的系統還讓雲端供應商能夠了解多個工作負載，因此供應商可以在滿足使用者限制的同時，以最有效率的方式共享運算資源。」

在針對影片問答和程式碼生成等多樣化代理工作流程進行測試時，Murakkab 在滿足使用者需求的同時，僅使用了其他方法約 35% 的運算量。它的能源消耗約為 27%，成本則不到 25%。Murakkab 的動態特性也讓使用者能夠平衡各種權衡。

在一個案例中，該系統將代理工作流程的能源消耗降低了一個數量級以上，而客戶的準確性僅下降約 2%。該系統還能為選擇影片影格的模型識別出一個意想不到的理想配置，從而優化影片問答任務的效能。Chaudhry 表示，這種類型的優化對於開發者來說幾乎不可能手動完成。

接下來，研究人員計畫將他們的系統擴展到更複雜的工作流程和更大的運算叢集，同時探索優化新型代理應用程式的機會。Chaudhry 說：「這些工作流程在資源優化方面有很大的潛力，可以大幅減少能源消耗，但我們需要從主要雲端平台的規模來思考這個問題。」這項研究部分由半導體研究公司和美國國防高等研究計畫署資助。