Omniverse 結合頂尖 AI 代理：開發者如何將構想化為模擬實境

將模擬構想轉化為實際運作的應用程式，需要組裝資產、連接物理和渲染，並確認場景行為符合預期。開發者正將頂尖 AI 模型與 NVIDIA Omniverse 函式庫結合，以協助完成這項工作。他們藉此建構應用程式，用於探索情境、調查故障並改進設計。

開發者透過自然語言指令引導 AI 代理，審查結果並指導修改。Omniverse 函式庫則提供 GPU 加速的物理、渲染和感測器模擬功能。請探索以下專案，了解 GPT-6 Astra 等頂尖 AI 模型如何實際運作，並持續關注 NVIDIA 團隊和生態系開發者帶來的新範例。

建構倉儲環境中的人形機器人模擬器。探索以第一人稱和第三人稱視角，對人形機器人進行遊戲化、基於物理的控制。在自動化倉儲任務之前，開發者需要一個互動式模擬環境來探索任務行為並評估工作執行方式。NVIDIA Omniverse 產品經理 Frank DeLise 利用 Astra，將一個 SimReady 倉儲和人形機器人轉變為具有第一人稱和第三人稱視角的互動式模擬器。

DeLise 指示 Astra 連接 NVIDIA Omniverse 函式庫，包括物理（ovphysx）、場景更新（ovstage）、渲染（ovrtx）和使用者介面（ovui）。他也將 Astra 與 SimReady（simready-foundation）結合，在模擬中創建物理場景。

隨後，Astra 生成了動畫和應用程式碼，將這些功能整合在一起。了解如何使用頂尖 AI 模型和 NVIDIA Omniverse 函式庫準備及驗證 SimReady 機器人資產。

連接自動駕駛測試工作流程。改變場景、感測器或駕駛模型，都可能顯著影響自動駕駛車輛的模擬。NVIDIA 模擬技術團隊經理 Doyub Kim 請 Astra 建構了「Zero to Alpamayo」，這是一個基於舊金山市場街的可重複使用模擬環境。

Kim 指導 Astra 規劃工作流程，然後分階段連接資產創建、交通、Omniverse RTX 感測器模擬和 Alpamayo 駕駛，並檢查每個整合環節。由此產生的原型成為一個測試場，用於比較模型並追蹤場景或感測器變化如何影響後續的駕駛行為。另一項 Cosmos3-Nano 實驗則在錄製的模擬影片中改變天氣和光照，讓 Kim 能夠比較駕駛模型在不同條件下對相同情境的反應。

利用感測器差異創建和改進數位分身。比較錄製和模擬的攝影機與光達輸出，能為開發者提供基於關鍵績效指標的回饋，以優化場景。為了測試機器人和自動駕駛車輛，開發者需要了解模擬感測器與真實感測器的匹配程度。NVIDIA RTX 感測器驗證工程師 Ashley Reid 指導 Astra 和 Claude Fable 5 代理，將 ovrtx 攝影機和原始 LiDAR 輸出與錄製數據進行比較。這些代理從零開始創建了兩個數位分身，並改進了兩個現有的數位分身。

在大約三天內，Reid 指導了一個迭代工作流程，其中代理測量差異、創建或修改 OpenUSD 場景，並檢查結果。修改內容涉及缺失的物體、幾何形狀和材質，驗收則取決於攝影機和 LiDAR 指標。這為開發者提供了一種方法，利用測量到的差異來指導場景的創建和改進。首先使用 ovrtx 最小 Python 範例渲染 OpenUSD 場景，然後定義一個感測器測量值與錄製數據進行比較。

機器人奧運：透過模擬測試機器人技能。教導機器人新動作意味著檢查這些動作是否在物理限制下有效。NVIDIA Omniverse 工程與產品負責人 Tae Kim 利用運動影片和自然語言指令，引導 Astra 建構了「機器人奧運」（Robo Olympics），這是一個實驗性專案，用於測試模擬的 Unitree G1 人形機器人執行運動動作。

在 Kim 的指導下，Astra 建構了控制器並透過物理試驗進行優化。Newton 物理引擎模擬行為，開源的 NVIDIA Warp 框架加速計算，而 ovrtx 則渲染場景和虛擬攝影機圖像。在一項實驗中，機器人在 100 次模擬試驗中有 64 次成功跨越單一障礙。

這些試驗為 Kim 提供了改進機器人時序和控制的回饋。觀看 Kim 探索如何使用 Astra 和 NVIDIA Omniverse 函式庫建構模擬。

透過電腦輔助設計與模擬測試機器人拆卸。在機器人拆卸產品之前，開發者需要知道其工具是否能觸及並移除零件。NVIDIA OpenUSD 資深產品經理 Jens Jebens 指導 Astra 在 PTC Onshape 中建模汽車懸吊系統，並在 NVIDIA Isaac Sim 中進行配置。

藉助 Astra，Jebens 探索了基於模擬的機器人電腦輔助設計和工具修改。該代理測量了可用空間，並設計了一個機器人可以用來觸及懸吊螺栓的扳手。Jebens 報告在模擬中成功移除了懸吊組件。這將設計和工具決策與拆卸結果連結起來，為機器人策略訓練提供了起點。探索 Onshape 匯入器指南。

將國際太空站帶入瀏覽器。將 3D 模型轉化為應用程式需要連接資產、即時數據和介面。NVIDIA 工程總監 Nic Johns 提示 Astra 將 NASA 資產組合成一個帶有遙測數據的 OpenUSD 國際太空站模型。Johns 用一個提示詞就建構了這個應用程式，然後使用後續提示詞將場景轉移到地球的白天側，以便能看到地球。

該工作流程使用 Blender 進行資產準備，並使用 Omniverse 函式庫進行渲染（ovrtx）、場景運行時（ovstage）和串流（ovstream）。此應用程式將 3D 模型和操作數據帶入瀏覽器，Johns 透過提示詞和修正來指導其開發。試用 Omniverse 即時檢視器技能。

將捕捉到的房間轉化為測試環境。數位重建的房間需要可編輯的物體和精確的物理行為，開發者才能測試互動。NVIDIA Isaac 工程應用團隊的 Chirag Majithia 指導 Astra 將立體攝影機捕捉的內容轉化為一個可編輯的 OpenUSD 工作室。

該工作流程結合了 PyCuSFM、FoundationStereo 和 nvblox 進行重建，並透過使用者審查指導物體選擇和放置。Astra 組裝了生成和 Blender 創作的資產，並使用 USD Content Agents 配置物體在模擬中的移動和互動方式。

Isaac Sim 測試指導了門和抽屜的碰撞和接觸修正。這個工作室將捕捉到的幾何形狀與互動測試連結起來，使間隙和物體行為更容易檢查。探索 USD Content Agents。有模擬構想嗎？探索 NVIDIA Omniverse 函式庫，開始使用 AI 代理進行建構。