NVIDIA Cosmos3-H-Dreams：生成式模擬讓臨床手術栩栩如生

想像一下，在一個即時響應的生成式手術場景中，移動 Cadiere 抓鉗，抓住膽囊，然後將其提起。今天，我們邁出了下一步，推出了 Cosmos3-H-Dreams，將互動式生成式模擬帶入臨床手術的視覺和程序複雜性中，並提供了迄今為止最逼真的體內影像。

我們第一個基於 Cosmos-Predict2.5 的 Cosmos-H-Dreams 版本，將互動式生成式模擬帶入了 dVRK 桌面縫合，這是手術機器人的一個基礎驗證場。作為一個世界基礎模型（WFM），Cosmos-H-Dreams 展示了數值模擬的替代方案：它不是明確地建模場景幾何、組織變形和物理互動，而是直接從同步的影片和機器人運動學中學習視覺動態，從而產生高度真實感的互動式桌面任務模擬。

今天，Cosmos3-H-Dreams 透過學習 CMR Surgical Versius 平台上臨床手術過程中的影片和機器人運動學記錄，進一步提升了這項能力。據我們所知，這是第一個經過臨床膽囊切除術記錄訓練，並支援即時運動學控制的生成式手術模擬器。

Cosmos3-H-Dreams 由 Cosmos 3 提供動力，並透過 NVIDIA 的加速串流推論函式庫 FlashDreams 加速，可在單一 NVIDIA RTX PRO 6000 GPU 上互動運行。

1. 從桌面任務到臨床場景

在像 Cosmos-H-Dreams 這樣的受控桌面環境中，器械在相對簡單的背景下操作。然而，在人體內部，器械的微小移動可能會影響整個場景：組織在牽引下伸展，反射光線移動，結構被遮擋，煙霧改變能見度。

給定初始影像和提供的工具動作，生成式模擬器必須捕捉這些響應，同時在生成每個新的影片區塊時保留解剖結構和器械。微小的錯誤會隨著時間累積，逐漸改變器械幾何或解剖結構，因此時間上的一致性至關重要。

因此，視覺真實感是驗證的起點，而非生物力學準確性的證明。生成的場景還必須遵循控制：平移、旋轉和抓取指令應產生連貫的解剖學後果。一個看起來合理但忽略這些指令的模擬無法作為互動式環境。

在即時控制迴路中保持這種保真度和響應性需要低延遲生成。Cosmos3-H-Dreams 透過專為臨床膽囊切除術設計並為即時生成而精煉的模型來解決此問題，將動作條件式互動帶入具有複雜解剖結構、組織運動和遮擋的場景中。

2. Cosmos3-H-Dreams 的新功能

2.1 Cosmos 3 基礎與更豐富的手術控制

Cosmos3-H-Dreams 建基於 Cosmos3-H-Embodied-Nano，這是一個在 Open-H-Embodiment 上預訓練的 160 億參數模型，並將雙向教師模型專門化於精選的膽囊切除術影片和運動學數據。樣本選擇目標是兩個可見、參與的器械，一個左側 Cadiere 抓鉗和一個右側單極電鉤，並限制攝影機指令以強調器械驅動的互動。

該模型使用 28 個動作維度：雙臂的姿態和抓取資訊，加上能量控制、搖桿軸和搖桿按鈕。訓練使用 832 x 480 影片，動作以 10 Hz 對齊；該採樣率與運行時生成吞吐量不同。

2.2 從教師模型到四步與兩步學生模型

Cosmos3-H-Dreams 結合了為長自迴歸展開設計的教師到學生訓練管線，並透過 FlashDreams 實現加速串流推論。

我們首先在 24 個未來影格上調整雙向教師模型，然後將時間範圍擴展到 72 個影格，即 10 Hz 下的 2.4 和 7.2 秒。這讓教師模型有更長的序列來學習手術動態。

接下來，蒸餾（distillation）將雙向教師模型轉化為一個因果學生模型，該模型可以在新動作到達時以短區塊生成影片。因果教師強制（Causal teacher forcing）使學生模型為使用記錄上下文的序列生成做好準備。然後，自強制（Self-Forcing）在教師模型和學習到的評論家（critic）的指導下，用其自身生成的上下文進行訓練。這有助於解決互動式展開過程中錯誤的累積問題。

第一個發布的學生模型每個生成區塊使用四個去噪步驟。然後，我們使用兩步排程進一步訓練該學生模型，以產生第二個發布檢查點。兩步模型是單獨訓練的，而不是簡單地以較少採樣步驟運行四步模型。

較少的去噪步驟會以較低的視覺品質為代價，導致更快的推論時間。這兩個檢查點都讓開發人員能夠探索視覺品質和推論成本之間的平衡。

2.3 透過 FlashDreams 串流

FlashDreams 提供加速串流運行時。長時間展開也需要管理模型的注意力歷史。Cosmos3-H-Dreams 的整合使用了一個改進的 FadeMem 模組，該模組在長時間展開期間整合不斷增長的鍵/值快取。這與自強制（Self-Forcing）相輔相成：蒸餾解決了模型如何從其生成的歷史中學習，而快取整合則解決了該歷史在串流生成期間如何儲存的問題。

3. 探索未見的軌跡

在臨床手術過程中，可能會出現併發症或外科醫生有空間執行「新穎」的動作。因此，模擬器必須能夠泛化超出訓練數據，並產生具有未見動作的連貫影格。下面的演示展示了 Cosmos3-H-Dreams 如何根據使用 VR 頭戴裝置記錄的器械動作，生成不同的膽囊切除術場景。

這兩段影片以相同的初始影格開始，但遵循不同的動作序列，說明了器械控制如何導致相同場景的不同延續，並伴隨著物理上準確的組織變形。

此外，這些展開讓我們可以檢查器械是否遵循控制、組織是否對互動做出連貫反應，以及解剖結構和器械外觀是否隨時間保持一致。

4. 適應您自己的數據和控制器

Cosmos3-H-Dreams 包含用於膽囊切除術的四步和兩步檢查點。該系統可以適應其他具有同步影片和兼容動作表示的數據集和實體。為了在您自己的數據集上訓練即時學生模型，我們在我們的逐步指南中提供了完整的教師模型微調和自強制蒸餾方法。它描述了數據準備、公共教師模型訓練工具和蒸餾階段。控制器整合必須使用與訓練相同的動作約定和正規化。

5. 下一步計畫

視覺真實感的進步開啟了幾個研究方向：

模擬完整的手術過程：擴展覆蓋範圍和時間一致性，以便系統地探索膽囊切除術的所有階段，並明確任務邊界和成功標準。

連接生成式和數值模擬：將學習到的視覺真實感與明確的幾何、接觸和組織力學結合。數值模型和測量數據可以幫助約束和驗證變形，使模擬行為既可檢查又具說服力。

與外科醫生一起評估：評估解剖學準確性、器械行為和組織反應，將專家回饋轉化為可重現的基準。

支援更多器械：超越兩個受控工具，實現更豐富的協調、遮擋和互動。

開發自主手術策略：將世界動作模型與 Cosmos3-H-Dreams 閉環耦合，以便策略可以學習定義的膽囊切除術子任務。

這些是研究方向，而不是已建立的臨床能力。Cosmos3-H-Dreams 是一個研究模擬器，而不是用於患者護理的經過驗證的系統。它為在日益真實的環境中研究手術互動提供了基礎。

6. 立即開始

探索 Cosmos3-H-Dreams 背後的模型、數據和運行時：

Cosmos3-H-Dreams 程式碼和範例：GitHub 儲存庫

Cosmos3-H-Dreams 模型：Hugging Face 檢查點

Cosmos3-H-Embodied-Nano：Hugging Face 模型和 GitHub 儲存庫

適應您自己的數據：教師模型微調和自強制蒸餾的逐步方法

Open-H-Embodiment：Hugging Face 數據集

FlashDreams：GitHub 儲存庫

NVIDIA Cosmos 3：GitHub 儲存庫

帶上您的控制器、您的軌跡和您的研究問題。我們期待看到社群在這些新的手術世界中創造什麼。