NVIDIA 推出 Cosmos 3 開放模型，強化互動式世界模擬

NVIDIA 的 Cosmos 世界模型開發平台為其 Cosmos 3 模型家族新增了四個開放權重檢查點，用於生成互動式世界模擬和多感測器多視角駕駛場景。

這些模型包括：Cosmos3-Nano-Transfer-Auto，可生成具有多變天氣、光照和時間的多視角駕駛數據；Cosmos3-Nano-Sim-Auto，用於串流同步的攝影機和 LiDAR 駕駛模擬觀測數據。

另外還有 Cosmos3-Nano-Sim-Transfer，能將模擬器控制和文字提示轉換為逼真的影片；以及 Cosmos3-Nano-Sim-Bimanual，可根據機器人或攝影機動作預測影片。

這四個模型都是 Cosmos 3 Nano 的後訓練範例，擁有 160 億個可訓練參數，並採用 OpenMDW1.1 授權，允許商業和非商業用途。

為何需要這些檢查點？

對於機器人技術而言，需要能夠在不斷變化的場景和視角中回應的環境。這些檢查點提供了互補的方式來建構這些環境：Sim-Bimanual 能從動作預測視覺結果，而 Sim-Transfer 則將物理模擬器的控制轉換為生成的觀測數據。

在自動駕駛方面，外觀和幾何形狀必須一致。同步的攝影機和 LiDAR 生成，將視覺觀測與 3D 感測連結起來。場景和交通號誌控制，讓研究人員能夠改變道路佈局和號誌狀態，進而研究駕駛策略如何回應。

每個觀測結果都能影響下一個動作。串流生成將影片預測與持續互動連結起來，為世界模型研究人員提供了一種探索動作和觀測如何共同展開的方式。

這是一個開放的基礎，供其他人在此基礎上建構。NVIDIA 的願景是幫助研究人員和開發者創造更豐富、反應更靈敏的模擬世界。開放權重和後訓練方法提供了共同的起點，用於調整模型、比較方法和貢獻改進。這些問題仍然很困難，未來的任務是衡量模型在策略學習和評估中支援的可靠程度、理解其限制，並改進不足之處。

使用 Cosmos3-Nano 建構自動駕駛世界

Transfer-Auto：駕駛情境 → 多感測器數據

Cosmos3-Nano-Transfer-Auto 是一個雙向模型，用於離線合成駕駛數據生成。它能生成多達 11 個攝影機視角（包括魚眼）的同步影片，並支援 RGB 與 LiDAR 的聯合生成。每個攝影機的世界情境地圖（WSM）控制，可指定場景結構和交通動態，而文字提示則引導外觀。

開發者可以改變環境條件，以擴大訓練和評估的覆蓋範圍，並可選擇使用初始 RGB 影像來固定場景外觀。聯合 LiDAR 生成還會使用對齊的高解析度地圖範圍圖控制。

Transfer-Auto 也是將 Cosmos 應用於您自己的感測器設備和駕駛領域的基礎。您可以先使用自己的數據進行後訓練，以適應您的攝影機佈局、LiDAR 配置和目標環境。經過調整的模型可以直接用於離線數據生成，或進行因果訓練和少步驟蒸餾，以實現快速串流模擬，這也是開發 Cosmos3-Nano-Sim-Auto 的路徑。

Sim-Auto：駕駛控制 → 串流觀測數據

Cosmos3-Nano-Sim-Auto 是 Transfer-Auto 的因果蒸餾串流變體。它只需幾個去噪步驟，就能生成連續的小塊同步攝影機影片和 LiDAR 數據，利用生成的歷史記錄和更新的駕駛控制，支援快速串流和長時間的互動式模擬。

您可以提供每個攝影機的說明文字和同步的 WSM 控制，並可選擇添加初始 RGB 影像。對於 LiDAR 生成，則需包含與攝影機控制對齊的高解析度地圖範圍控制。蒸餾後的模型會利用其滾動歷史記錄生成連續的數據塊。閉環互動需要模擬運行時和 WSM 渲染器，以根據駕駛輸入更新這些控制。對於新的感測器設備或領域，請先調整 Transfer-Auto，然後再將其蒸餾為 Sim-Auto。

Sim-Transfer：模擬器控制 → RGB

您的模擬器會計算運動、接觸和物理狀態。Sim-Transfer 利用其空間控制和文字提示，渲染出可供策略使用的彩色觀測數據。

其流程為：動作 → 模擬器更新 → 空間控制 → 生成 RGB → 下一個策略動作。它支援深度（攝影機的相對距離）、分割（區域和物體邊界）、邊緣（場景輪廓）和模糊（粗略外觀和佈局）等控制。文字提示引導外觀，而物理和真實狀態則保留在模擬器中。

Sim-Bimanual：動作 → 影片

Cosmos3-Nano-Sim-Bimanual 模擬環境如何回應雙臂機器人的動作。它支援 YAM 和 AgiBot 實體的互動式雙臂模擬，可由策略或人工操作的搖桿控制。

您可以從一張影像開始，移動機器人或攝影機，然後生成下一個觀測數據。一個控制序列可以在視角變化和操作之間切換。

混合動作範例使用了 59 個控制值，在訓練期間填充到 64 個。其架構定義了座標系、旋轉、夾具校準、有效性遮罩和控制域。請遵循這些約定，使每個值都能描述預期的運動。

保持時間對齊：T 轉換需要 T+1 個觀測數據。訓練會將原始擷取轉換為模型的動作表示；發布的推論動作已經過正規化。

在此，Sim-Transfer 從物理模擬器的更新狀態生成視覺效果，而 Sim-Bimanual 則直接從場景和機器人動作生成下一個觀測數據。

串流生成如何運作

Cosmos 3 的 Mixture-of-Transformers 骨幹網路，透過注意力機制連結了獨立的文字處理和視覺生成網路。生成器會根據提示詞、可用控制和生成的歷史記錄，預測每個短片段。

其流程為：控制 + 歷史記錄 → 生成數據塊 → 解碼影像 → 更新歷史記錄。

去噪功能將嘈雜、壓縮的影片表示精煉成一個片段。時間因果注意力機制，使其能夠讀取可用的歷史記錄和控制，同時阻擋未來的目標觀測。一個鍵值快取會保留注意力資訊，用於下一次預測。

該模型在稱為「潛在空間」（latents）的壓縮影片表示上運作。在初始影像之後，每個潛在時間步長代表四個 RGB 影格。Transfer 模型每個數據塊預測一個步長；報告中優化的 Bimanual 設定則預測兩個。較小的數據塊能讓新的控制更頻繁地影響生成。

四階段訓練方法

階段 0，雙向適應：從完整的錄製片段中學習領域及其控制到影片的關係。

階段 1，教師強制：根據較早錄製的觀測數據和可用控制，預測每個數據塊，同時遮蔽掉正確答案和未來目標。

階段 2，一致性蒸餾：使用凍結的教師模型來訓練一個學生模型，該學生模型在四個去噪步驟中生成每個數據塊。

階段 3，自我強制：在學生模型生成的歷史記錄上進行訓練。一個凍結的教師模型和一個輔助分數模型提供分佈匹配訊號。

最後階段的重要性在於：一個輕微錯誤預測的物體會成為後續影格的上下文，因此錯誤可能會累積。自我強制讓訓練暴露於該生成的歷史記錄中。蒸餾和快取則降低了生成每個觀測數據的成本。

使用您的數據進行調整

後訓練方法從 Cosmos3-Nano 或相容的基礎權重開始，涵蓋所有四個階段。請保留完整的訓練檢查點以便恢復訓練；匯出的推論權重會省略優化器和其他訓練狀態。

Transfer-Auto：使用您的駕駛數據進行後訓練，以適應您的感測器設備和領域，並生成離線合成數據。

Sim-Auto：對已調整的 Transfer-Auto 模型應用因果訓練和蒸餾，以實現快速串流模擬。

Sim-Transfer：透過本地數據準備、階段配置和恢復，為您的環境後訓練檢查點。

Sim-Bimanual：透過數據驗證、階段配置、檢查點交接和匯出，為您的實體進行後訓練。

為您的程式碼代理提供技能和數據集位置。在進行長時間運行之前，請遵循環境檢查、驗證樣本，並測試訓練和重啟。在保留的片段上評估品質：成功的短時間運行僅驗證執行，而非收斂。

更多資源

下載檢查點

觀看 Cosmos Labs 直播重播

閱讀技術部落格