今年七月，NVIDIA 與超過 200 家公司及組織共同簽署了「開放權重與美國 AI 領導力」公開信。該信件主張，AI 領導地位的衡量標準並非單一的前沿模型，而是開放生態系統能否普及到各行各業。

開放模型讓任何人都能下載、檢視、修改並在自己的基礎設施上運行，這正是實現上述目標的關鍵。在實體 AI 領域，這一點尤為重要，因為每一次部署都涉及專業化問題。

實體 AI 不僅需要理解外觀，更必須理解並預測其後果。

為此，世界模型會學習物理環境的行為方式、接下來可能發生的事情以及哪些後續動作是合理的。它們能夠生成基於物理的世界和動作數據，模擬未來狀態，並為團隊針對機器人、自駕車或視覺 AI 系統進行專業化提供基礎。

開放世界模型已被用於生成訓練數據、測試策略以及專業化實體 AI 系統。NVIDIA Cosmos 3 將這些功能整合到一個開放模型家族中，在機器人、自駕車和視覺 AI 領域取得了領先的基準測試結果和廣泛採用。

此外，作為 NVIDIA Agent Toolkit 一部分的 NVIDIA Omniverse 函式庫，提供了預建功能，用於建立可供模擬的世界。實體 AI 團隊可以在實際部署前，利用這些世界來訓練、測試和驗證系統。

實體 AI 所需的數據規模龐大，收集起來既困難又昂貴。特別是罕見事件和長尾情境，很難安全且重複地重現。

世界模型透過從大規模多模態情境中學習物理關係，能夠提供更有用的數據。它們還能創造出在天氣、光照、物體和軌跡上多樣化的環境，為開發者提供一個更好的基礎，以便針對特定的機器人、車輛、感測器配置、任務或操作環境進行建構和調整。

通用模型並未見過團隊特定的機器人、感測器或操作環境。要彌補這個差距，需要存取模型權重、允許調整的授權，以及進行後續訓練所需的工具。

NVIDIA Cosmos 世界基礎模型在 Linux Foundation 的 OpenMDW 1.1 授權下提供，讓團隊能夠在自己的數據和硬體上進行模型後續訓練。專業化正是開放性成為實際技術要求的關鍵所在。

模型專業化只是工作流程的一部分。團隊還需要環境來生成數據、運行模擬和測試行為。

Omniverse 函式庫協助開發者建立可供模擬的環境，而 OpenUSD 則提供開放框架，用於在數位分身、模擬和合成數據生成工作流程中組合、重用和交換複雜的 3D 數據。Omniverse 和 OpenUSD 共同減少了每當資產、感測器配置或環境條件改變時可能產生的重複工作。

NVIDIA Cosmos 3 是一個基於混合轉換器架構的前沿開放實體 AI 基礎全能模型，它結合了視覺推理、世界生成和動作預測。這讓開發者能夠使用單一模型家族來理解場景、生成合成數據、模擬未來狀態並建立專業化的世界動作模型。

開發者可以將 Cosmos 3 用作視覺語言模型，或作為基於物理的世界模擬器來預測未來世界狀態並生成大規模合成數據，也可以作為世界動作模型的骨幹，而無需為每種功能組裝和維護單獨的模型。

該系列包括用於高擬真世界建模的 Cosmos 3 Super (64B)、用於高效推理和後續訓練的 Cosmos 3 Nano (16B)，以及用於裝置端視覺推理和機器人策略部署的 Cosmos 3 Edge (4B)。Cosmos 3 Edge 輕巧到足以在邊緣 GPU 上運行，可部署在 NVIDIA RTX GPUs、NVIDIA DGX systems 和 NVIDIA Jetson（包括 Jetson Thor 平台）上。

在各項基準評估中，Cosmos 3 在 Artificial Analysis 的開放權重文字轉圖像和圖像轉影片生成方面排名第一，在 PAI-Bench 的世界生成方面排名第一，並在 Physics-IQ 的圖像轉影片類別中表現出色。在機器人策略方面，它在 RoboLab 上排名第一。Cosmos 3 Super 也是 VANTAGE-Bench 上視覺理解方面排名最高的開放模型。

除了 Cosmos，NVIDIA 的實體 AI 堆疊還包括用於機器人的 Isaac GR00T、用於自駕車的 Alpamayo 以及用於視覺 AI 的 Metropolis。

在各行各業中，開發者正基於 NVIDIA Cosmos 建立實體 AI 應用：機器人領域有 Doosan Robotics、LG Electronics、Samsung Electronics 和 Skild AI；自駕車領域有 Li Auto、Xiaomi 和 Afari；而 Centific、Fogsphere、Linker Vision、Milestone Systems 和 Yuan 則利用視覺 AI 代理來推動工業 AI 和智慧空間應用。

NVIDIA Cosmos 聯盟透過匯集世界模型建構者、AI 開發者和實體 AI 領導者，共同貢獻模型、研究和評估方法，進一步擴展了這項工作。NVIDIA 最近將該聯盟擴展到日本，當地的機器人與製造業領導者計劃加入，並為工廠、物流、農業、建築、醫療保健和交通運輸開發開放世界模型。

總體而言，這些實施和合作正在將開放世界模型確立為跨機器人、自駕車和視覺 AI 系統的實體 AI 可適應基礎。

若要深入了解世界模型、OpenUSD 和實體 AI 開發，您可以探索 NVIDIA 提供的相關資源，包括 Hugging Face 和 GitHub 上的 Cosmos 3 模型集與數據集、Cosmos 3 技術報告、技術部落格以及 Cosmos Labs 直播活動，並可進一步了解 NVIDIA Cosmos 聯盟。