開源人工智慧已證明,當模型、資料和工具共享時,開發者能多麼迅速地進行創新。機器人學也擁有同樣的機會,然而,物理 AI 開發的進展仍可能受限於昂貴且分散的資源,從大型資料集、機器人基礎模型,到模擬、運算和驗證工具皆是如此。

NVIDIA 與 Hugging Face 正合作將 NVIDIA Isaac GR00T 1.7(一個針對人形機器人的開源推理視覺語言動作模型)以及 NVIDIA Isaac Teleop 框架引入 LeRobot,這是 Hugging Face 的開源機器人函式庫。

此外,NVIDIA Cosmos 3 這個物理 AI 的前沿模型也計畫在近期加入。這些整合共同為開發者提供了更易於存取且標準化的端到端機器人開發路徑,同時推動開源機器人社群的創新與協作。

Hugging Face 共同創辦人兼首席科學長 Thomas Wolf 表示:「開源是將先進研究轉化為人們可以學習、改編和建構的途徑。」他補充說:「透過今天在 LeRobot 中整合的 NVIDIA Isaac GR00T 1.7 和 Isaac TeleOp,機器人開發者可以使用共享的模型、資料和工作流程來公開訓練和評估機器人。

隨著 NVIDIA Cosmos 3 的後續計畫,社群將有機會把前沿世界模型帶入這個協作循環中。」

機器人基礎模型的開放式開發流程

Hugging Face LeRobot 是一個開源機器人學函式庫,用於訓練、運行和共享機器人資料集、模型、策略和工作流程。NVIDIA 與 Hugging Face 的持續合作,將 NVIDIA 的三百萬機器人開發者與 Hugging Face 的一千六百萬 AI 開發者連結起來,透過開放式工作流程擴大對前沿物理 AI 工具的存取。

將 NVIDIA 的物理 AI 功能引入 LeRobot,為開發者提供了一種通用方式,透過開放式工作流程來收集和標準化資料、訓練和微調機器人基礎模型、評估性能並部署模型。這些整合包括:

NVIDIA Isaac Teleop 是一個用於機器人資料收集的開源框架,它幫助開發者使用標準化、可互通的格式,從外部設備捕捉高品質的人類示範。隨後,這些資料集可以直接在 LeRobot 中擴展並與社群共享。

NVIDIA Isaac GR00T 1.7 是第一個開源且具商業可行性的機器人基礎模型,它使開發者能更容易地透過 LeRobot 工作流程進行後續訓練和模型部署,協助他們將 GR00T 適應於新的機器人實體和任務,並達到基準測試的性能。

NVIDIA Cosmos 3 是一個即將引入 LeRobot 的物理 AI 前沿世界基礎模型,它將幫助開發者在真實世界資料有限或收集成本過高時,生成和擴增機器人資料、模擬情境並支援策略開發。

這些整合建立在 NVIDIA 已與 LeRobot 連結的更廣泛資源之上,以支援完整的機器人開發循環,其中包括:

最大的開源物理 AI 資料集,已被下載超過一千五百萬次,其中包含超過三十五萬個真實與模擬軌跡以及五千七百萬次抓取,以幫助開發者啟動他們的機器人工作流程。

基於 NVIDIA Isaac Sim 和 Isaac Lab 的模擬框架,幫助開發者在轉移到實體機器人之前,設定環境、生成機器人資料、測試策略並驗證行為。

LeRobot Environment Hub 中的 NVIDIA Isaac Lab-Arena,讓開發者能夠快速原型化複雜的模擬環境,將其註冊到 LeRobot EnvHub 中,並在 LeRobot 生態系統內無縫使用,以訓練和評估 GR00T、Pi 和 SmolVLA 等通用型機器人策略。

NVIDIA Jetson Thor 與 LeRobot 的 Reachy 2 整合,以支援在開源人形機器人上部署 VLA 模型。

欲了解更多關於如何將 Isaac Teleop、Isaac GR00T 1.7 和 Isaac Lab-Arena 與 LeRobot 結合,進行端到端人形機器人開發的資訊,並探索詳細的 LeRobot 整合工作流程。