我們一直在進行一系列關於代理人雲端的調查，涵蓋了從 Databricks 到 Daytona 再到 Railway 等頂級推論/運算/雲端供應商。現在，我們很高興能以 Modal 作為本系列的結尾，該公司剛完成了一筆高達 3.55 億美元的 C 輪募資。

雲端最初是為開發者而建，但現在 AI 代理人正在改變這一切。舊的基礎設施堆疊是為人類設計的，人類可以閱讀文件、理解 YAML 設定，並透過儀表板找出問題所在。儘管這對開發者來說很痛苦，但因為他們可以在腦中補足缺失的上下文，所以仍能運作。

然而，AI 代理人沒有這種奢侈。在這個代理人新時代，一切都必須更加緊密。它們需要一個地方來編寫程式碼、執行、檢查輸出、更改環境、偵錯失敗並再次嘗試。快速迭代和帶有所有必要上下文的回饋循環對於代理人的正常運作至關重要。

此外，沙盒（sandboxes）是這種轉變的明確體現，因為代理人可以輕鬆地啟動隔離的環境。這種可程式化的基礎設施甚至延伸到了研究領域。Modal 的技術長 Akshat Bubna 曾表示：「看到代理人完全實現可程式化基礎設施的夢想真是太酷了。今天就給你的代理人更好的原語，看看它們能完成多少工作！」

兩年前，我們是首批報導 Modal 的媒體之一，當時它還是一家只有 1700 萬美元 A 輪募資的小公司。如今，Modal 剛完成 3.55 億美元的 C 輪募資，成為即時建構代理人雲端未來最明確的範例之一。

Modal 是一個雲端平台，超越了傳統網路應用程式的假設，轉向 AI 實際產生的工作負載，例如彈性推論、沙盒、GPU 爆發、訓練後處理、背景代理人以及代理人本身可以操作的基礎設施。Akshat Bubna 也曾說：「募資很酷。但更酷的是每天能與這群不可思議的人一起工作。我們喜歡解決難題並打造讓我們引以為傲的產品。如果你也是這樣的人，歡迎加入我們！我們才剛開始。」

在本集中，Modal 技術長 Akshat Bubna 與主持人 swyx 和 Vibhu 深入探討了為何 AI 應用程式不符合傳統雲端假設、為何 Kubernetes 從未為突發性運算密集型工作負載而設計，以及為何 Modal 現在正從開發者體驗轉向代理人體驗。

他們深入討論了 Modal 的 AI 基礎設施堆疊，包括無伺服器函數、基於裝飾器（decorator-based）的基礎設施、用於客製化模型的彈性推論、GPU 快照、DeFlash、推測解碼、Auto Endpoints、沙盒、持久儲存、網路化容器、私有 IPv6、RDMA、多節點訓練以及 Modal 跨 17 個雲端供應商的容量池。

Akshat 還解釋了為何強化學習（RL）的試驗可能需要十萬個沙盒、為何生產級代理人需要嚴格的防護措施、為何可觀察性可能比閱讀程式碼更重要，以及為何 AI 讓基礎設施再次變得令人興奮。

Modal 的起源故事始於執行長 Eric Bernhardsson 思考為何工作流編排產品如此難用，原因在於它們必須在 Kubernetes 上運行。Kubernetes 難以管理，並非為突發性工作負載和客製化映像檔而建，且開發者體驗極差。

Modal 最初的設想是，如果能建立一個更好的運行時，它本身就是一個非常有用的原語。無伺服器函數可以解決許多問題，例如 ETL、任務佇列和所有突發性處理，這些都是每個公司都有的需求。他們也將其視為一個基礎，可以在其上建立一系列垂直化的產品，例如資料工程或推論。

Modal 在 ChatGPT 問世前一年就加入了 GPU 支援，當時他們並未預料到這會變得如此重要。他們主要解決的問題是缺乏良好的開發者體驗，以及當時許多工作負載都是運算密集型的，需要大量資源並頻繁地擴展和縮減。

Kubernetes 專為緩慢擴展和網路伺服器使用案例而設計，無法滿足這種需求。此外，這些工作負載對運行環境有更多專業化要求，例如需要加速器或不同類型的映像檔，這是他們在許多公司中看到的普遍現象。

Modal 的核心洞察之一是將所有基礎設施配置（例如硬體使用和擴展方式）透過裝飾器與程式碼共置。這使得開發者無需花費大量時間編寫 YAML，而是能將配置寫在程式碼中，使其更具表達性和動態性，並像操作其他程式碼一樣操作它。

雖然有人質疑這是否會導致鎖定（lock-in），但 Modal 的優勢在於用戶可以帶入任何程式碼，並且仍然擁有自己的程式碼。這種方法在他們進行推論時也一直很重要。

Modal 已將其 SDK 團隊的重心從開發者體驗（DX）轉向代理人體驗（AX）。他們認為適用於 DX 的好處同樣適用於 AX：為何要讓代理人閱讀數百個 Kubernetes 文件並編寫未經類型檢查的 YAML，而不是讓它在裝飾器中進行少量更改，就能獲得一個自我配置的運行時，並即時看到其更改的效果？

從他們與客戶的交流來看，代理人使用 Modal 比在其他基礎設施上操作要快得多。即使代理人正在編寫程式碼，可觀察性仍然非常重要。Modal 將許多功能推送到命令列介面（CLI），以便代理人可以自行調查，但人類仍然需要解釋正在發生的事情並做出判斷。