Nvidia 於 GTC 台北發表一系列針對機器人、自駕車及影像系統的模型。核心產品包括全新的世界模型 Cosmos 3、大幅擴展的駕駛模型 Alpamayo 2 Super，以及一個用於人形機器人的開放參考平台。Cosmos 3 是 Nvidia 開放式「全能模型」的下一代版本，能在單一系統中處理文字、圖像、影片、環境音訊和動作資料。

開發者可利用它來建立機器人、自駕車和影像監控系統，以生成合成訓練資料、解讀場景並預測未來的世界狀態，而無需在現實世界中費力地重現這些情境。Nvidia 提出了三個應用案例。作為視覺語言模型，Cosmos 3 能分析影片，例如合作夥伴 Linker Vision 已在智慧城市中應用它來偵測交通異常。

作為世界模型，它能生成罕見情境的擬真影片序列，例如倉庫中幾乎發生碰撞或不尋常的物體排列。作為所謂「世界行動模型」的基礎，它能產生數值化的動作資料，如關節角度或夾持器位置，供機器人學習抓取與放置等任務，工業合作夥伴 Agile Robots 已展示其應用。

其架構採用混合式 Transformer 方法：一個推理 Transformer 分析場景，然後第二個生成 Transformer 根據該分析產生影片、描述或動作軌跡。訓練資料包含數十億個涵蓋文字、圖像、影片、音訊和動作資料的範例。Nvidia 提供三種變體：Cosmos 3 Super 提供目前最佳品質，Nano 專為快速推論而設計，而即將推出的 Edge 模型則針對嵌入式系統上的即時操作。

這些模型在 Hugging Face 和 GitHub 上以 OpenMDW-1.1 授權發布。此次發布同時伴隨著「Cosmos 聯盟」的成立，該合作夥伴群體包括 Black Forest Labs、Runway、LTX、Generalist、Agile Robots 和 Skild AI。

實際上，這是一個利用 Nvidia DGX Cloud 訓練基礎設施，並回報貢獻模型和資料的聯盟。Alpamayo 2 Super 旨在成為自駕計程車的教師模型。Alpamayo 系列是 Nvidia 針對 L4 級自動駕駛（意指在限定區域內無需人類駕駛員操作的自駕計程車）的開放模型系列。

這些模型接收攝影機影像，推導出駕駛決策，並輸出具體的行駛軌跡。之前的版本包括 Alpamayo 1 Nano 和 1.5 Nano，每個都擁有百億個參數。Alpamayo 2 Super 以 320 億個參數取代了上一代的高階模型。這次的跳躍旨在改善空間理解和處理罕見情況的能力。

新增的功能是輸出所謂的「元行動」（meta-actions），例如「變換車道」、「停車」或「讓行」，模型會將這些元行動連同行駛軌跡一同傳送給下游規劃器。感知範圍現在也涵蓋整個車輛，而不僅限於前置攝影機。每個決策都附帶一個「因果鏈」（chain of causation），這是一個文字推理鏈，Nvidia 表示其設計目的在於安全文件和法規審查。

這將 AI 對齊辯論中一個熟悉的問題帶入了駕駛安全討論：這些推理追蹤究竟能在多大程度上可靠地反映網路內部發生的情況？Nvidia 表示，這個大型模型旨在作為教師模型。製造商應利用它來蒸餾出更小的模型，然後在車用級 Drive AGX Thor 晶片上運行。

Nvidia 還發布了 AlpaGym，一個用於模擬環境中閉環強化學習的開源框架，以及 OmniDreams，一個用於罕見交通情境的生成模型。Nvidia 沒有提供任何可靠的外部比較數據，例如與 Waymo 或 Tesla 的堆疊系統進行比較。

程式碼和權重預計將於今年夏天在 GitHub 和 Hugging Face 上發布。隨著 Isaac GR00T 參考人形機器人，Nvidia 也發布了一個用於人形機器人學術研究的參考平台。這款約六英尺高（約 183 公分）的機器人基於 Unitree H2 Plus 底盤，搭配 Sharpa 的觸覺五指手，並由 Jetson AGX Thor T5000 驅動，提供 2,070 FP4 teraflops 的算力。

該系統總共有 75 個自由度。在軟體方面，它運行 Isaac GR00T 堆疊，涵蓋遠端操控、Isaac Sim 中的模擬、基礎模型和 ROS 中介軟體。Nvidia 的參考設計基於 Unitree 硬體。Nvidia 並不直接銷售這款機器人。

相反，它指出 Unitree 計劃在 2026 年底前提供硬體。研究合作夥伴包括 Ai2、蘇黎世聯邦理工學院 (ETH Zurich)、史丹佛機器人中心 (Stanford Robotics Center) 和加州大學聖地牙哥分校 ARC 實驗室 (UC San Diego ARC Lab)。

實際上，Nvidia 正試圖標準化一個硬體-軟體套件，以加深機器人研究社群對 Jetson 晶片和 Isaac 工具的依賴。