長期以來,模擬一直是機器人學習行走、滾動和跳躍的試驗場,現在它正幫助研究人員教導機器人執行需要更精細觸感的任務,例如對齊齒輪、連接電纜和組裝小型零件。從移動到操作的轉變,以及代理式機器人(一種整合前沿代理以創建可解釋程式碼用於實體機器人系統的新範式)的興起,成為本週在德州奧斯汀舉行的機器人學習會議(CoRL)的焦點。
在 CoRL 大會上,NVIDIA 正在推出新的開放式機器人技術,包括世界動作模型、模擬工具、基準測試和代理式工作流程。NVIDIA 的兩篇論文在數千份提交中脫穎而出,入圍 CoRL 最佳論文獎的六個最終候選名單。
其中一篇是 GRAIL(Generating Humanoid Loco-Manipulation from World Models),它提出了一個用於機器人學習的 3D 資產和模擬器就緒場景的數位生成管線。另一篇是 RoboTTT: Context Scaling for Robot Policies,它介紹了一個機器人模型和訓練配方,能夠將視覺運動上下文擴展到比最先進策略高出三個數量級,而不會增加推論延遲。
這些進展幫助研究人員訓練機器人執行複雜任務,評估其在不斷變化的條件下的性能,並利用失敗來指導進一步的學習,從而建立從實驗室演示走向工業部署所需的精準度、適應性和自主性。NVIDIA 正與 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 和華盛頓大學等合作夥伴合作,將這些進展帶給更廣泛的機器人社群。
世界動作模型實現了機器人自主性的新高度。機器人自主性的下一個層次要求機器人感知周圍環境,預測其動作將如何改變環境,並以高度精準度執行複雜的多步驟任務。世界動作模型正是為此而生。
在 CoRL 大會上,NVIDIA 正在推出 GR00T 2,這是一個基於 NVIDIA Cosmos 構建的開放式前沿世界動作模型。該模型透過多樣化的機器人與人類數據進行訓練,其中包括 10 萬小時的 NVIDIA 開源人類自我中心數據,使機器人能夠學習靈巧的操作技能。其主要功能包括:
開箱即用性能:在 50 項評估任務中,有 40 項至少完成一次,無需特定任務演示。技能轉移:從人類演示中學習,並在不同機器人本體之間轉移技能,無需機器人演示。少量數據泛化:每項任務僅需一次演示,即可在 50 項任務中達到 71% 的平均成功率,若有五次演示則可提高到 95%。代理控制:AI 代理可以使用 GR00T 2 的應用程式介面(API)和支援工具來依序執行技能並從錯誤中恢復。
GR00T 2 目前在 RoboCasa365、RoboLab、RoboDojo 和 MolmoSpaces 基準測試的所有視覺語言動作和世界動作模型類別中,排名前三,並在多個排行榜上奪冠。Nexuni 正在測試其用於機器人洗衣處理,富士康(Foxconn)將 GR00T 2 應用於伺服器製造的工廠自動化,而 Siemens 則在評估其在各種工業用例中的表現。
MicroAGI 正在使用經過強化學習後訓練的 GR00T 2,透過 YAM 機械手臂執行乙太網路電纜更換。其代理式機器人方法利用 Isaac Lab 3.0 和 Newton 自動創建和校準模擬環境,並在其中訓練策略。此代理式機器人工作流程將在 CoRL 大會上進行演示。
訓練有能力的機器人需要多樣化的數據。NVIDIA 的開放式工作流程和模型為研究人員提供了更好的數據收集和註釋工具。對於建立機器人訓練數據集的研究人員,NVIDIA 新的開放式「影片轉數據」(Video to Data)工作流程將人類影片轉化為模擬機器人演示,並舉辦挑戰賽邀請研究人員進一步發展此技術。
NVIDIA EgoHand 開放模型在 CoRL 大會上進行演示,並在推出兩週內於 Hugging Face 上獲得超過 4 萬次下載,它利用 Noitom Robotics 的數據重建 3D 手部動作。
訓練和擴展的發生地,就在模擬中。預訓練模型賦予機器人一套核心技能。模擬則讓研究人員能夠在將技能部署到實體機器人之前,大規模地訓練、完善和評估這些技能。
NVIDIA Isaac Lab 是一個開源機器人學習框架,為這項工作提供了基礎。其最新版本 Isaac Lab 3.0 允許研究人員使用代理快速設置訓練環境,搭配模擬就緒的資產,並在 NVIDIA PhysX 和 Newton 物理求解器之間切換,選擇用於基於感知訓練的渲染器,並將新的強化後訓練函式庫應用於像 GR00T 這樣的基礎模型。
精確的物理模擬對於將學習到的技能從模擬轉移到真實機器人至關重要。透過與開源物理引擎 Newton 更緊密的整合,Isaac Lab 現在可以模擬可變形物體,例如電纜和布料,以及複雜的關節系統,例如具有許多互動關節的機器人手。Isaac Lab 和 Newton 結合了精確的物理模擬和規模化能力,使研究人員能夠並行訓練數千個模擬機器人。
在一個基於視覺的靈巧操作基準測試中,Isaac Lab 3.0 搭配 Newton 實現了比 Isaac Lab 2.3 搭配 PhysX 高達 2.5 倍的訓練吞吐量。
開發人員正在擴展 Newton 的功能。在 CoRL 大會上,Skild AI 宣布推出 Scalable Throughput-optimized Engine for Embodied Learning(簡稱 STEEL),這是一個基於 Newton 構建的新型剛體物理求解器,旨在加速使用 Isaac Lab 進行的機器人訓練。
Flexion 展示了 Isaac Lab 和 Newton 如何幫助訓練其結合推理和全身操作的機器人智慧模型 Reflect。
FieldAI 正在使用 Newton,以及基於 NVIDIA Omniverse 函式庫構建的 Isaac Lab 和 Isaac Sim,來訓練和驗證機器人策略,以便部署在非結構化的真實世界環境中。Dyna Robotics 將展示 Isaac Lab 中的並行模擬如何幫助訓練其半人形機器人 Taku 的全身控制器,用於倉庫、飯店和餐飲服務等工作。
Walden Robotics 正在使用 Isaac Sim 的逼真渲染,在虛擬環境中訓練和評估其通用機器人,用於製造和物流。同時,Dexmate 正在探索程式碼代理如何在 Isaac Sim 中排練和完善操作策略,然後再將其應用於其 Vega 機器人。
在 Isaac Lab 中構建的 AlphaNIST 展示了高效練習如何轉化為精準。單一策略學習了 NIST 組裝任務板上的所有 20 項任務,僅使用「是或否」的成功訊號來操作毫米級零件。它實現了超過 98% 的訓練成功率,相比之下,單獨的每任務策略成功率為 81%,且使用的 GPU 時間減少了約 39 倍。
這些成果的背後是華盛頓大學和 NVIDIA 提出的「成功引導採樣」(Success-Guided Sampling, SGS)方法。該方法將練習重點放在策略成功率約為一半的任務上,將訓練導向仍在學習的技能。透過 SGS,機器人訓練可以擴展到超過一百萬個並行環境。
德州大學奧斯汀分校計算學院和德州機器人中心使用 Isaac Sim 和 Isaac Lab 在模擬中訓練機器人技能,讓學生在實體硬體可用之前就能開始開發。
機器人評估的新工業基準。學習一項技能是一項挑戰。在不斷變化的條件下可靠地執行它則是另一項挑戰。
NVIDIA Isaac Lab-Arena 是一個用於大規模策略評估的開源框架,使開發人員能夠組合多樣化且可重複的評估,然後在數千種變體中並行運行策略。分析揭示了哪些條件導致失敗,以便研究人員知道在下一次訓練運行中需要修正什麼。其最新版本 0.4 的開發者預覽版正在 CoRL 大會上發布。
DexBench 和 VABAR 是兩個新的開放基準測試,它們是首批旨在利用 Isaac Lab-Arena 和 Newton 衡量機器人在工業任務中的靈巧性和適應性的基準。
由 RLWRLD 與 NVIDIA 合作開發的 DexBench 將靈巧性評估從桌面帶入真實世界的工作流程。它使用 NVIDIA Isaac Lab-Arena 構建,包含零售、物流、製造和飯店業四個場景中的 15 項任務,測試在物體、空間和物理變化方面的泛化能力。
Genesis AI、mimic robotics 和其他產業合作夥伴正在透過搶先體驗評估 DexBench。團隊可以在 Manifold 上運行 DexBench,這是 Bifrost 用於擴展機器人模擬的評估平台,無需設置,內建失敗分析,並提供免費積分用於初步評估。
VABAR(Variational Automation Benchmark for Agentic Robotics)由 UC Berkeley 和 NVIDIA 共同開發,評估機器人在六項工業任務中的表現。每項任務都帶有標準化的變體、難度等級和成功指標。
代理將技能轉化為機器人程式。成功完成任務需要機器人協調多種技能,並在出現問題時進行調整。為這些多步驟任務構建可靠的程式仍然是一個挑戰。代理式機器人有助於解決這個挑戰。
UC Berkeley 的新 Graph-as-Policy(GaP)框架使用代理將單個技能連接成機器人程式。代理使用 NVIDIA Isaac 開放模擬技術測試這些程式,並根據失敗進行完善。這有助於研究人員以更少的數據擴展開發,同時保持程式的可解釋性,供工程師在部署前審查和驗證。
UC Berkeley 機器人學教授兼 VABAR 和 GaP 專案負責人 Ken Goldberg 表示:「對我來說,代理式機器人是自 1995 年網路以來最令人興奮的技術發展。」
Ambi Robotics、Bosch Research 和 Siemens 都在探索 GaP 在各種工業場景中的代理式機器人工作流程。歡迎加入 NVIDIA 在 CoRL 大會的活動,了解更多資訊。