Genie 4：Google DeepMind 推出新一代即時互動世界模擬模型

Google DeepMind 於今日宣布推出 Genie 4，這是一款全新的世界模型，能實現前所未有的真實感，並顯著提升即時互動模擬的能力。Genie 4 原生支援多模態，能夠在生成世界場景的同時，同步產生音樂、環境音效和互動式對話。

Genie 4 模型整合並建立在 Gemini 系列模型的能力之上：其中 Gemini Omni 負責確保模擬場景的外觀和行為符合真實世界，而其他 Gemini 模型則提供複雜的推理能力，以維持模擬的連貫性和連續性。

有了這個基礎，使用者可以設定一個事件，Genie 4 便能模擬接下來會發生什麼：包括世界如何回應、聲音如何呈現，以及其中人物的動作、反應和對話。

理解並模擬世界是建構通用人工智慧（AGI）的關鍵環節。Genie 4 提升了我們創造安全且無限多變模擬的能力，這對於開發機器人和代理的訓練環境，以及開創新的互動體驗都大有助益。

我們已開始向受信任的測試者推出 Genie 4 的研究預覽版，以收集回饋，之後才會向一般消費者和開發者發布。首批使用者將是 Project Genie 中的 Google AI Ultra 訂閱者，以及 Gemini API 和 Google AI Studio 的搶先體驗合作夥伴。您可在此處加入 Project Genie 的 Genie 4 候補名單。

Genie 4 帶來了增強的擬真度、流暢的動作和原生的音訊生成能力。文章中所有搭配的音效，皆由 Genie 4 直接產生。

Genie 4 在四個關鍵能力上取得了進展。以下是 Genie 4 即時互動的錄影，使用者透過標準鍵盤控制導航和攝影機，並利用文字提示詞來引導場景的演變。

透過 Genie 4，使用者可以利用自然語言即時修改模擬場景，例如改變天氣、移動攝影機，或引入新的人物或物體。Gemini 會根據上下文調整您的提示詞，使其與周圍場景匹配。在您的輸入之間，Gemini 也會監控並引導場景，以確保世界的連貫性進展。

開啟音訊即可聆聽 Genie 4 的世界。

Genie 4 為即時互動模擬帶來了物理和人類動作真實感的新標準。Genie 4 建立在對世界先進的物理理解之上，能夠模擬真實世界的物理情境，例如空氣動力學、碰撞等。

最顯著的飛躍在於 Genie 4 模擬人物的方式，它能創造出動作自然、對環境有機反應，並可即時互動操控的角色。

Genie 4 是我們第一個能原生生成音訊的即時世界模型。每個世界都帶有其獨特的環境音效，從樹林中的風聲到海灘上的海浪拍打聲，應有盡有。

然而，真正的突破在於人類語音。Genie 4 引入了能即時調整的互動式對話。角色會根據您的輸入或世界中的事件進行對話和反應，所有這些都是即時發生的。

將 Gemini 和 Genie 4 結合，為世界模擬增添了新的推理層次，使我們能夠模擬複雜的多步驟事件，並在將 AI 系統導入現實世界之前，測試它們如何在不同環境中運作。

為了即時實現這一點，Gemini 3.8 Flash 在迴圈中扮演引導代理的角色：當 Genie 4 即時生成世界時，Gemini 會持續觀察場景，將目標分解為一系列步驟，並審查傳入的畫面以追蹤進度，驗證每個步驟是否成功。當世界發生變化或使用者介入時，Gemini 會即時調整其計畫，從而實現具有可靠因果關係、程序性行為和多步驟推理的世界。

作為探索這項能力的一部分，我們也一直在實驗 Gemini 4 Argon 和 Genie 4，將我們的尖端研究與 Gemini Robotics 結合。

在下面的範例中，Argon 將使用者指示的任務分解為 Genie 渲染的步驟。這些步驟在模擬渲染時，會以文字說明的方式交錯傳送給 Genie 4。由於 Genie 4 可以透過 Gemini 使用文字說明即時引導，這開啟了在任務完成過程中調整模擬的路徑。這項能力為使用 Gemini 4 Argon 和 Genie 4 在虛擬世界中模擬各種情境提供了可能性。

Gemini 4 Argon 和 Genie 4 協同合作，模擬 Apptronik 的 Apollo 人形機器人玩西洋棋，將任務分解為即時步驟。

儘管 Genie 4 是一個重要的研究里程碑，但它仍是一個早期實驗性模型。為了了解互動式世界模型如何支援現實世界的工作流程，以及它們仍需改進之處，我們一直與來自創意產業、新聞業、教育、遊戲和工程領域的受信任測試者合作。

測試者強調，擬真度、原生音訊和即時引導的飛躍，使想法和概念能夠轉化為逼真的模擬，從而開啟了跨領域的新能力：創意指導方面，創意人員和技術專家正在測試 Genie 4 作為快速「草稿模式」，用於預覽和構思。例如，電影製作人可以進入場景的即時模擬，即時進行多次「拍攝」，隨時調整攝影機角度、燈光、對話和動作。

歷史場景與沉浸式照片方面，攝影記者正在探索如何將單張 2D 檔案照片在幾秒鐘內轉化為該環境的真實模擬。團隊正在測試人口稠密、動態的世界如何幫助體驗歷史空間，或視覺化短期環境事件（如山洪暴發或野火）的發展過程。

互動體驗概念設計方面，遊戲開發者和創意技術專家正在測試 Genie 4，以便在幾秒鐘內將初始想法轉變為可探索的原型，透過自然語言提示詞測試視覺風格、材質美學和互動機制，而無需編寫任何引擎程式碼。

模擬方面，除了我們的機器人研究，各行業的企業合作夥伴正在評估 Genie 4 作為快速「從零到一」情境生成工具的潛力，並找出改進 Genie 的空間，以更好地滿足模擬需求。

未來的發展方向：邁向混合式世界模型。未來進步的一個有前景的路徑在於混合式世界模型，它將程式碼和語言模型的邏輯、結構化推理，與像素級模擬的豐富感官呈現相結合。將 Genie 和 Gemini 模型更緊密地結合，是朝這個方向邁出的早期一步。Gemini 在幕後負責規劃結構和敘事時間軸，而 Genie 則生成即時的物理現實，逐像素地渲染世界的外觀、聲音和反應。

這些互補的優勢結合起來，可以解鎖一類全新的世界模型，它們將比單獨任何一種方法都能實現的更加連貫、可控和紮實。

負責任地建構世界模型。Genie 4 標誌著一個結合即時生成和擬真度的新興前沿研究領域，引入了一系列我們希望以負責任方式推出和探索的新能力和維度。Genie 4 包含嚴格的安全防護措施，與我們其他模型的安全政策保持一致。在發布此預覽版之前，我們透過內部嚴格的安全評估來評估 Genie 4，以防止生成有害或惡意內容。

此外，我們特意首先將其部署給受信任的測試合作夥伴，以獲取早期回饋，然後再更廣泛地發布模型。

為了保持透明度，所有由 Genie 4 生成的影片和音訊都將包含 SynthID，這是我們不可察覺的數位浮水印技術，有助於識別視覺和音訊模態中的 AI 生成內容。

了解目前的限制。Genie 4 仍是一個早期且不斷發展的研究領域。儘管它可以在短時間內維持連貫的環境，但視覺細節和物體恆常性仍可能隨時間推移而改變或漂移，尤其是在模擬運行時間較長、經過多次複雜提示詞編輯，或在場景中導航時。複雜的物理互動、即時音訊準確性、清晰文字渲染、空間準確性和長期一致性都是正在積極研究的領域。

我們發布 Genie 4 作為預覽版，是為了與我們的社群一起學習，並安全地推進互動模擬的前沿發展。

Genie 4 的下一步計畫。Genie 4 已作為研究預覽版發布給受信任的測試者，並即將向 Project Genie 中的 Google AI Ultra 訂閱者以及 Gemini API 和 Google AI Studio 的搶先體驗合作夥伴開放。您可在此處加入 Project Genie 的 Genie 4 候補名單。

我們很高興看到使用者很快就能親身體驗、實驗並建構自己的互動世界。

致謝。Genie 4 的實現，得益於 Hang Qi、Diego Rivas、Aleksander Hołyński 等眾多核心貢獻者的努力。Genie 4 的開發也需要跨團隊的緊密合作，我們感謝所有促成此次發布的跨職能合作夥伴。同時，我們也感謝 Raia Hadsell、Aäron van den Oord、Josh Woodward 等人，在整個研究過程中提供了富有洞察力的指導和支持。

最後，我們感謝提供回饋的受信任測試者和搶先體驗使用者，他們幫助推動了我們的研究進展。