NVIDIA Cosmos 平台推出新工具，加速世界模型訓練、評估與部署

為協助開發者快速建構世界模型（World Models），讓實體 AI 系統能理解並模擬真實世界，NVIDIA 已擴展 Cosmos 平台，新增訓練工具、模擬檢查點與 Cosmos 資料工廠藍圖。

NVIDIA Cosmos 平台在六個不同的開放模型排行榜中名列前五，為世界模型建構者提供領先的開放模型，以及資料、訓練與最佳化工具和方法，以便在部署前擴展訓練資料、調整模型、測試行為並最佳化效能。

建構世界模型始於多模態、多感測器資料。

NVIDIA Cosmos 資料工廠匯集了用於大規模標註、策劃、擴增和評估實體 AI 訓練資料的工具與技能。Cosmos Curator 是一個用於策劃影片訓練資料集的 GPU 加速解決方案，現已新增對多模態多感測器輸入和處理區塊的支援。

Cosmos 資料工廠現提供以下五種雲端原生藍圖，並可透過 GitHub、Microsoft Azure、Nebius 和 CoreWeave 取得：

自駕車資料集生成：策劃並標註駕駛資料，然後加入難以捕捉情境的合成範例，以擴展訓練覆蓋範圍。

影像屬性擴增：改變物件外觀以改善影像搜尋。

事件影片生成：將靜態影像轉化為罕見或不安全事件的合成影片。

缺陷影像生成：為檢測模型生成印刷電路板、金屬和玻璃缺陷影像。

影片資料擴增：在保留場景結構的同時，改變現有影片中的天氣和光線。

Cosmos 資料工廠透過代理能力加速資料策劃、處理和合成資料生成。

許多公司已開始運用 Cosmos 資料工廠藍圖，加速其實體 AI 開發流程。Porsche 正透過 Microsoft Azure 上的 Voxel51 使用 Cosmos 資料工廠，主導 Volkswagen 集團品牌間共享自駕車資料飛輪的開發。此舉預計可減少高達 90% 的重複實體測試，並將開發週期縮短高達 85%。

ANYbotics 利用 Cosmos 資料工廠藍圖生成了超過 1,500 個合成影片片段，並透過 Encord 平台策劃真實世界資料並驗證輸出，以訓練其工業檢測機器人識別液體溢出和設施訪問間的其他變化。

電腦視覺公司 Ultralytics 使用 Cosmos 資料工廠生成的真實影像和目標性合成缺陷重新訓練其 YOLO 模型，改善了缺陷定位和召回率。

準備好訓練資料後，開發者可以訓練自己的架構，或從預訓練模型開始。

在 GTC Berlin 大會上，NVIDIA 將 Cosmos Framework 的訓練、最佳化和部署工具與方法擴展為代理技能，支援更多開放模型，並推出 Cosmos 3，為世界模型建構者提供從實驗到部署的更快途徑。

開發者和代理現在可以透過微調和強化學習來調整 GR00T、Alpamayo、QWEN、Pi0.5 和其他相容的 Hugging Face 模型等開放模型，透過蒸餾和量化來最佳化模型，並以高效能推論進行部署。

Cosmos Framework 是一個開放、模組化的模型訓練和最佳化工具與技能框架，旨在加速世界模型的開發。

為了開發專用於以自我為中心的操控的世界模型，機器人研究實驗室 MicroAGI 在人類操控物體的影片上對 Cosmos 3 進行後訓練，並將其 320 億參數的推理器蒸餾成 80 億參數的 Nano 模型，且準確度沒有損失。

開發者可以在 Roboflow 上標註資料並對 Cosmos 3 進行後訓練，以適應其特定環境和任務，然後將這些模型部署到 Roboflow 託管或地端部署的 NVIDIA GPU 上，將影片推理帶入工廠和倉庫。

除了這些工具，NVIDIA 透過其在 Cosmos 模型上的工作，持續推進基礎技術。

用於模擬的新 Cosmos 3 Nano 模型變體，使開發者能夠在可重複、難以捕捉、多視角多感測器情境中測試自主策略。隨附的程式碼允許開發者調整模型，以便在實際測試之前，在互動式模擬中訓練和評估其用於自駕車和雙臂機器人的策略。

多視角和多感測器影片資料生成，用於在閉環模擬中評估策略。

開發者可以使用更新的 NVIDIA Cosmos 3 NIM 微服務部署核心 Cosmos 模型，這些服務在經過驗證的配置中可提供高達兩倍的推論速度，且品質沒有損失，同時連續影片分析可實現亞秒級警報。

對於視覺 AI 開發者，基於 Cosmos NIM 微服務建構的新 NVIDIA Metropolis 影片搜尋與摘要 (VSS) 藍圖 3.3，能將一個提示詞轉化為高效的影片 AI 應用程式，並幫助團隊以相同的 GPU 監控多 40% 的影片串流。

ADNOC 使用 Fogsphere 的 MistIQ 代理平台（由 Cosmos 和 NVIDIA Metropolis VSS 藍圖建構），在其 65 個站點即時偵測安全危害。對於罕見事件，Fogsphere 也使用 Cosmos 資料工廠生成合成訓練資料，在無需實際模擬危險情況下提高偵測能力。

Cosmos 平台是完全模組化且開放的。開發者可以使用 Cosmos 資料工廠生成訓練資料集，使用 Cosmos Framework 訓練和調整世界模型，然後透過 NIM 微服務部署支援的 Cosmos 模型。