一覽

挑戰機器人 AI 的核心假設：我們的研究顯示，專門在機載 GPU 上執行實體 AI 推論會限制機器人效能、電池續航力和擴展性，而將推論卸載到邊緣或雲端 GPU 則能帶來顯著優勢。

證明推論卸載的顯著效益：在具代表性的行動操作工作負載中，卸載推論提高了任務成功率，支援了更大的 AI 模型，並幫助機器人在動態、真實世界環境中更有效地反應。

延長機器人運作時間：用輕量級的機載硬體和遠端推論取代耗電的機載 AI 運算，可以大幅改善電池續航力，讓機器人在充電之間運作更長時間。

在 Physical AI Toolchain 中引入新功能：開發者現在可以使用基於 Kubernetes 的工具，將機器人 AI 工作負載容器化、部署並協調到機器人、邊緣基礎設施和雲端，實現分散式推論。

隨手可得的實體 AI，透過機器人協助製造、居家和倉儲情境中的使用者，在廣泛的任務中具有改善安全性、生產力和輔助的巨大潛力。在許多方面，用於實體世界的 AI 代表了 AI 的一個主要前沿。

實體 AI 必須在開放、不可預測的環境中運作，與其他機器人和人類互動，並適用於多樣化的實體形態。實現這一願景需要在三個維度上取得進展：機器人硬體、具身 AI 模型，以及用於訓練和推論的系統基礎設施。儘管機器人硬體和 AI 模型近年來快速發展，我們將重點轉向一個相對較少被關注的方面：實體 AI 的推論基礎設施。讓機器人能夠在實體世界中有效且安全地運作，將需要複雜的系統來處理大量分散式推論運算。

現今，實體 AI 的主流方法是在機器人上配置 GPU，例如將 GPU 連接到機器人。在這種模式下，機器人的推論將僅限於機載 GPU，並為機器人提供執行任務所需的必要區塊和動作序列。

雖然更高層次的規劃可能在雲端執行，但任務執行通常仍與機器人本身綁定。我們挑戰了這個假設。隨著實體 AI 模型規模和複雜度的增長，機載運算的限制變得越來越明顯。GPU 消耗大量電力，縮短電池續航力，增加成本和重量，並可能限制運行最新一代 AI 模型的能力。

為了更好地理解實體 AI 的系統影響，我們對機器人工作負載進行了首次系統性研究。我們專注於行動機器人操作，例如「檢查廚房垃圾並丟進垃圾桶」這樣的典型任務。

這樣的任務包括規劃前往廚房的路徑、感知環境以尋找垃圾、導航至垃圾、撿起垃圾，以及導航回垃圾桶進行處理。我們評估了三種核心能力的代表性模型：語義映射與規劃、導航和操作，如圖 2 所示。

圖 2：用於行動操作不同組件的詳細模型。

將實體 AI 推論從機器人中卸載出來，改善了其反應時間和準確性，同時也延長了電池壽命並降低了成本。我們評估了在各種機載、邊緣和雲端運算配置下的推論模型。特定測試硬體的詳細資訊可在我們的技術報告中找到。

任務效能效益：我們的評估顯示，卸載推論可以顯著改善機器人在映射、規劃、導航和操作工作負載中的效能。一些較小的 GPU 無法容納行動操作堆疊。

在具有足夠記憶體的 GPU 上，映射和規劃的速度比 A100 慢了高達 383%，從而限制了機器人在動態空間中的能力。導航在較輕的 GPU 上，及時檢測障礙物的能力下降了 30%。

雖然 VLA 模型在較小的 GPU 上速度沒有大幅下降，但其減速仍足以使其準確度下降 50%。換句話說，機載 GPU 限制了機器人的效能，而將其推論卸載到內部部署或雲端 GPU 則能提升其運作，如下方影片和圖表所示。隨著實體 AI 模型規模和複雜度持續增長，卸載的效益可能會變得更加顯著。

圖 3a：影片顯示了使用機載 GPU 執行交接任務。

圖 3b：影片顯示了推論卸載時執行交接任務。

圖 4：當推論使用不同 GPU（部分機載，部分卸載）執行時，機器人手臂之間交接物品的成功率。卸載可提高成功率。

電池壽命效益：除了效能之外，機載 GPU 也顯著消耗了機器人的電池壽命。我們比較了將機載 GPU 替換為 Raspberry Pi-5 開發板，並將所有資料傳輸到卸載的 GPU 後，電池壽命的增加情況。

較大的機載 GPU，例如 Jetson Thor，即使對於較大型的機器人，也會使電池消耗高達 160%（或數小時）。

圖 5：卸載 GPU 推論對機器人電池壽命的影響；上述數字適用於 Stretch-3 機器人。

上述結果顯示，將 GPU 推論從機器人中卸載出來，對於使用大型模型並實現長電池壽命的開放世界運作至關重要。然而，將推論從機器人中卸載出來涉及效能、網路延遲和頻寬以及可用 GPU 資源之間的複雜權衡。我們相信我們的測量研究將為實體 AI 推論系統的設計提供資訊。

自動卸載工具集

我們開發了一套工具，可以輕鬆地將推論從機器人中卸載出來，並在邊緣 GPU 和雲端之間分配推論。Kubernetes 是一個自然的平台，可以提供統一的抽象層，將機器人 AI 分散到機器人的運算單元、邊緣 GPU 和溢出到雲端。

這套工具允許使用宣告式規範自動容器化和卸載機器人工作負載，使用 Kubernetes 智慧策略分配實體 AI 容器，並與機器人模擬器、LeRobot 和 ROS2 整合，以便於開發。下方的步驟序列顯示了如何提示工具集要卸載的內容，以及它如何為 GPU 推論創建一個單獨的容器並卸載該容器。

圖 6：容器化和部署的卸載工具集步驟。

微軟最近發布了 Physical AI Toolchain，用於大規模實現實體智慧。Physical AI Toolchain 是一個開源、生產就緒的框架，它將 Microsoft Azure 雲端服務與 NVIDIA 的實體 AI 堆疊整合，加速機器人與實體 AI 開發者自動化和擴展感知、移動、模仿學習和強化學習管線中的資料策展、增強和評估。

我們正在宣布，作為 Physical AI Toolchain 的一部分，新增了業界首創的機器人實體 AI 推論卸載功能。此版本包括 SO-101 和 UR10e 推論卸載的範例專案。下方的影片展示了將微軟的 Rho 模型（針對雙臂機器人）的推論卸載到 Jetson Thor GPU，該 GPU 控制 Mobile Aloha 機器人的動作。

圖 7a：將 Microsoft Rho 模型（控制 Mobile Aloha 機器人與 BusyBox 互動以按下藍色按鈕）的 GPU 推論卸載。

圖 7b：將 Microsoft Rho 模型（控制 Mobile Aloha 機器人與 BusyBox 互動以將旋鈕轉到位置 4）的 GPU 推論卸載。

查看推論卸載功能，查看原始碼，並讓我們知道您的回饋。我們已經在許多真實世界的用例中測試了它，並期待聽到您的部署經驗。