跳到主要內容
maxstudioNews
教學Hugging Face Blog約 9 分鐘

在 Isaac Sim 中利用 SimReady 資產建構機器人夾取放置模擬

這篇文章介紹如何在 NVIDIA Isaac Sim 環境中,使用 SimReady 資產庫的機器手臂、夾爪與物件,建構一個機器人夾取放置任務的模擬。文中也展示如何利用先進的 AI 模型(例如 GPT-6 Sol)來輔助生成並執行任務程式碼,以簡化模擬開發流程。透過 SimReady 資產的標準化特性,開發者能更有效率地測試機器人行為與互動。

在 Isaac Sim 中利用 SimReady 資產建構機器人夾取放置模擬
圖片來源:Hugging Face Blog

這篇逐步教學展示一個飲料罐的夾取放置任務,其中使用了 UR17G 機器手臂、Robotiq 2F-140 夾爪和飲料罐,在 Isaac Sim 中組成場景、檢查它們的行為,並執行一個由代理(agent)生成控制指令的夾取放置範例。

對於機器人工作流程而言,SimReady 意味著一個 OpenUSD 資產已經準備好用於特定模擬用例所需的屬性,例如碰撞、質量、關節和關節驅動。SimReady Central 是 Hugging Face 上的一個開放資產庫,讓您可以重複使用具有已編寫模擬屬性和設定檔驗證證據的機器人與物件資產。欲了解更多關於該資產庫及其發布的資訊,請閱讀發布部落格文章。

是什麼讓機器人資產成為 SimReady?

SimReady Foundation 定義了 OpenUSD 資產在模擬用例中所需的功能。其規範連接了三個層次:

設定檔(Profile):針對特定用例的一組功能,例如機器人本體。

功能(Features):用例所需的能力,例如可控制的關節。

要求(Requirements):對每個功能所需設定的檢查,例如關節的驅動設定。

對於此任務,這些屬性包括機器手臂和夾爪的關節,以及飲料罐資產的碰撞和質量。驗證會根據設定檔的要求檢查這些設定。然後,模擬會測試組裝好的機器人是否能利用這些設定來夾取並移動罐子。

資產附帶了什麼,以及您需要添加什麼?

UR17G、Robotiq 2F-140 和飲料罐的套件包含模型及其模擬設定。您需要組裝場景並添加任務程式碼,以定義手臂與夾爪的組件、工作表面、起始位置,以及用於移動手臂和開合夾爪的控制指令。

圖 2. SimReady Central 提供資產模型和模擬設定,而範例場景和控制指令則定義了夾取放置任務。

在執行夾取放置任務之前應該檢查什麼?

機器人在 Isaac Sim 中靜止時可能看起來視覺正確,但在模擬運行時,移動或與物件互動可能會出錯。在執行夾取放置之前,請測試其關節、移動和接觸行為。您可以要求代理執行這些測試,或在 Isaac Sim 中手動執行。

關節設定:檢查手臂和夾爪的關節限制和驅動設定。

移動:測試手臂的小幅移動,並開合夾爪。

接觸:確認罐子穩固地放在工作表面上,而不會穿透。

在夾取放置過程中,觀察飲料罐在手臂移動時是否能保持在夾爪中。資產結構各不相同,因此請使用您載入場景中的設定作為起點。我們將在下面的步驟中介紹下載資產和組裝場景的整體過程。

在 Isaac Sim 中建立夾取放置模擬

此範例在 Isaac Sim 中結合了 UR17G 機器手臂、Robotiq 2F-140 夾爪和飲料罐。任務是抓取罐子、抬起、移動到目標位置並釋放。您也可以利用 SimReady Central Space 搜尋服務端點來尋找 OEM 精選內容。

我們還將使用一個前沿 AI 模型來協助在開放的 Isaac Sim 場景中建立和運行任務程式碼。在此範例中,我們使用 GPT-6 Sol,但如果其他代理和模型組合能夠載入所需的技能並針對 Isaac Sim 執行 Python(生成的程式碼和結果可能有所不同),也可能有效。提示詞提供了一個起點。在調整任務之前,請檢查生成的程式碼並確認其行為。

所需軟體:

安裝 Isaac Sim 6.2,這是此範例中使用的版本,並檢查其系統要求。

設定您選擇的代理,使其能夠使用 Isaac Sim 技能。請遵循代理技能文件,使捆綁的技能可供您的代理使用。

僅在選擇命令列資產下載選項時才安裝 Hugging Face CLI。

使用 USD 搜尋端點。

步驟 1:下載機器手臂、夾爪和飲料罐資產

打開 SimReady Central 並找到此處使用的 UR17G 機器手臂、Robotiq 2F-140 夾爪和飲料罐。在每個資產上選擇「下載」,然後使用「儲存到資料夾」或提供的 Hugging Face 指令。保持所有三個完整的資產資料夾完整,以便 Isaac Sim 可以找到其支援檔案。

使用此範例中連結的資產版本,並向您的代理提供手臂、夾爪和飲料罐的本地 USD 檔案路徑。下方顯示了一個夾爪路徑範例;您的下載位置可能有所不同。

~/ASSETS/hf/src/simready-assets-c7fa7615/Robotiq_2F_140/simready_usd/Robotiq_2F_140.usda

圖 3. SimReady Central 搜尋和互動式預覽有助於識別此範例中使用的 Robotiq 2F-140 夾爪和飲料罐。

圖 4. 飲料罐的下載選項包括將資產套件儲存到資料夾或使用 Hugging Face CLI。

資產驗證告訴您什麼?

手臂驗證報告使用 Robot-Body 4.0.0 設定檔,夾爪驗證報告使用 Robot-Gripper 3.0.0。兩者都記錄了通過 PhysX 驅動關節檢查,該檢查會檢查關節驅動設定。

SimReady 設定檔驗證為重複使用這些資產提供了共同的基準。然後,夾取放置運行會測試手臂、夾爪、罐子和控制器在組裝好的場景中如何協同工作。

步驟 2:組裝機器人並為夾取放置任務組成場景

下載資產後,使用您的代理與 Isaac Sim 技能來協助組裝機器人、運行驗證工具並建立夾取放置控制指令。您也可以使用連結的文件手動執行這些步驟。

從其安裝目錄啟動 Isaac Sim,並啟用遠端 Python 伺服器,以便代理可以透過 Python 與模擬互動:

./isaac-sim.sh --enable isaacsim.code_editor.python_server

如果您正在使用代理,請確保從 Isaac Sim 目錄啟動它,以便它可以在執行以下步驟時存取所需的技能。

確認所有三個資產都顯示,沒有缺少檔案的錯誤。要求代理檢查手臂和夾爪的關節限制和驅動設定,或者您可以在 Isaac Sim 中自行檢查。機器人和夾爪包含物理關節,也可以在 Isaac Sim GUI 中進行測試和驗證。我們現在將組裝手臂和夾爪,以便我們可以將組件作為單一關節控制。

您可以遵循機器人組裝器教學進行手動組裝。在這裡,我們將要求我們的代理為我們完成組裝並進行驗證:

此範例中使用的提示詞範例:

Assemble the robot arm <local path to Simready ur17g robot usd>

with the gripper <local path to downloded simready Robotiq_2F_140 gripper usd>

using the Robot Assembly tutorial in Isaac Sim

https://docs.isaacsim.omniverse.nvidia.com/6.2.0/robot_setup/assemble_robots.html.

Validate the assembly on completion。

代理最終使用 Isaac Sim 捆綁的「isaac-sim-remote」和「usd-articulation」技能來完成組裝並驗證機器人的物理特性。我們現在擁有了運行夾取放置所需的所有資產:組裝好的機器人和汽水罐。我們現在將繼續工作流程的最後部分。

圖 5. Isaac Sim 中 UR17G 機器手臂和 Robotiq 2F-140 夾爪的關節設定。

在場景中組裝好機器人和罐子後,要求代理運行任務。使用下一步中的檢查來評估模擬行為。

步驟 3:測試控制指令並運行夾取放置

現在資產包含模擬屬性和設定檔驗證,我們可以在組裝好的場景和控制器中進行測試。控制器協調 UR17G 機器手臂的移動與 Robotiq 2F-140 夾爪的開合。使用下面的行為檢查來評估代理生成的任務。要自行理解或調整控制器,請參閱「添加機械手機器人」教學。

此範例中使用的提示詞範例:

Run pick and place with the assembled robot and soda can

<path to soda can USD from SimReady library> in Isaac Sim.

Ensure you do a contact based grasp for picking up the can and validate

the accuracy/placement error for the pick and place as well。

使用的技能:「isaac-sim-remote」、「manipulation-ik」和「physics-simulation」

完整的任務測試夾爪在移動過程中是否能夾住罐子並在目標位置釋放。重置場景,然後運行接近、抓取、抬起、保持、轉移和釋放的序列。將您的運行結果與開頭影片和下面的成功標準進行比較。

圖 6. UR17G 機器手臂和 Robotiq 2F-140 夾爪在 Isaac Sim 中將飲料罐從黃色拾取標記移動到綠色目標。以 4 倍速度顯示。

如果您的運行結果不同,請記下序列失敗的位置,並要求代理檢查場景並生成控制指令。在重試之前將罐子和機器人重置到相同的起始狀態,以便您可以比較結果。

模擬假設:

固定設置:罐子從已知位置開始,機器人固定,工作空間清晰平坦。沒有使用視覺,碰撞檢查有限。

簡化罐子:未模擬變形和液體運動,因此此範例不測試壓碎。

腳本化抓取和運動:水平抓取使用透過模擬測試選擇的 2 N·m 驅動努力上限,未根據指尖力校準或製造商推薦。接觸和摩擦在手臂沿固定路徑移動時保持飲料罐,無需重新規劃。有關硬體抓取力規格,請參閱 Robotiq 產品資料表。

這些結果適用於此腳本化設置。它們不建立對不確定物件位置、不同負載或真實硬體的穩健性。

使用 SimReady 資產建立您的下一個模擬

使用 SimReady Central 的資產建立您自己的夾取放置任務,然後使用您選擇的代理來協助組裝場景並在 Isaac Sim 中運行。

探索資產

尋找機器人與物件:瀏覽 Hugging Face 上的 SimReady Central。

檢查資產支援什麼:查閱 SimReady Foundation 中的設定檔和要求,以及資產的驗證報告。

建立夾取放置場景

設定模擬器:遵循此範例中使用的 Isaac Sim 版本安裝指南。

連接您的代理:遵循 Isaac Sim 代理技能文件,使捆綁的技能可供您的代理使用。

組裝機器人:如果您喜歡手動連接手臂和夾爪,請遵循機器人組裝器教學。

準備並貢獻內容

從 CAD 開始:遵循「建立機器人 SimReady 資產的 5 個步驟」來準備您自己的機器人資產。

驗證並提交資產:遵循 SimReady Central 提交指南,使您的資產可供其他開發人員使用。

為了獲得靈感,請探索 Michael Wagner 的語音控制 VR 演示或 Maziyar Panahi 的 Microduck 模擬。兩者都展示了開發人員如何在自己的專案中使用 SimReady 資產。

您將建立什麼?在 Hugging Face 評論中分享您的場景和結果,包括您使用的資產和 Isaac Sim 版本。

祝您建造愉快!

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Hugging Face Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。