跳到主要內容
maxstudioNews
產品NVIDIA Blog約 2 分鐘

NVIDIA GPU 驅動 OpenAI GPT-6 Astra Ultrafast,速度飆升 8 倍

OpenAI 推出 GPT-6 Astra Ultrafast 模型,現已透過 API 和 ChatGPT Work/Codex 開放使用。該模型在 NVIDIA Blackwell GPU 上運行,憑藉優化後的推理技術,其 token 生成速度比 Astra Standard 模式快上 8 倍,大幅提升開發者在編碼、工具調用和互動應用中的效率。

NVIDIA GPU 驅動 OpenAI GPT-6 Astra Ultrafast,速度飆升 8 倍
圖片來源:NVIDIA Blog

GPT-6 Astra Ultrafast 現已透過 OpenAI API 以及符合資格的 ChatGPT Work 和 Codex 用戶提供。該模型在 NVIDIA Blackwell GPU 上運行。

透過 OpenAI 模型利用 NVIDIA Blackwell 架構的能力進行推理優化,Ultrafast 模式的 token 生成速度比 Astra Standard 模式快上 8 倍。對於開發者而言,更快的生成速度可以縮短程式碼代理的編輯、測試、除錯週期,減少工具調用之間生成回應所需的時間,並讓互動式應用程式感覺更靈敏。

當回應在工作流程中重複出現時,更快的速度至關重要:例如代理程式編寫程式碼、使用工具、檢查結果並決定下一步行動。Ultrafast 將 Astra 的能力帶入這些時間敏感的循環中。NVIDIA 的 AI 基礎設施幫助 OpenAI 在開發者需要時提供更有用的模型輸出。

OpenAI 推理負責人 Philippe Tillet 表示:「NVIDIA 在工具和文件方面的深度投入,使我們的模型在程式設計 Blackwell 和 Rubin GPU 方面表現出色。」他補充道:「Astra 能將這些知識轉化為高效能核心,讓 NVIDIA 硬體在延遲、吞吐量和成本的各個方面都極具吸引力。

對於 Astra Ultrafast 來說,這意味著代理程式在編寫程式碼、使用工具和處理複雜任務時,能獲得更快的模型回應。」

持續提升效能

效能的提升並不會在模型部署後就停止。OpenAI 正利用其內部模型來協助改進運行在 NVIDIA GPU 上的推理軟體,並利用該平台的可程式化特性來測試和實施改進。這項持續進行的工作可以隨著時間的推移,使模型回應更快,並提高已部署基礎設施的生產力。

OpenAI 運算技術長 Uday Ruddarraju 表示:「我們與 NVIDIA 的合作正幫助我們讓 AI 更快、更有用。」他指出:「我們利用內部模型來優化 NVIDIA GPU 上的推理,而 NVIDIA 的可程式化特性則幫助我們實現了 Astra Ultrafast 背後的加速。」

可程式化的 NVIDIA 平台讓開發者和研究人員能夠隨著模型演進,在訓練、推理和強化學習之間重複使用基礎設施。這種彈性有助於團隊根據需求變化重新分配運算資源,提高利用率並避免為每個工作負載過度配置。

開發者現在即可透過 API 使用 GPT-6 Astra Ultrafast。有關存取、定價和實施細節,請參閱 Ultrafast 指南。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 NVIDIA Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。