大規模建構 AI 系統極具挑戰，需要低延遲推論、快速向量搜尋、優異的 GPU 性價比，以及能夠擴展而不增加營運複雜度的基礎設施。
輝達與 Amazon Web Services (AWS) 的最新合作，正是為了解決這些限制。透過在 Amazon OpenSearch 和 Amazon EC2 中整合輝達 AI 基礎設施，企業將擁有更實用的途徑來大規模部署生產級 AI 應用。
搭載 NVIDIA RTX PRO 4500 Blackwell Server Edition GPU 的 EC2 G7 執行個體，擴展了 AI、圖形、視訊和資料分析工作負載的運算層。同時，NVIDIA cuVS 函式庫透過將 GPU 驅動的向量索引設為 OpenSearch Serverless 的預設選項，加速了檢索層。
此外，AWS 憑藉 NVIDIA GB300 獲得輝達典範雲端 (NVIDIA Exemplar Cloud) 認證，客戶可以確信其訓練工作負載能獲得最佳化效能。
搭載 NVIDIA RTX PRO 4500 Blackwell Server Edition 多重工作負載 GPU 的全新 Amazon EC2 G7 執行個體
Amazon EC2 G7 執行個體將 NVIDIA RTX PRO 4500 Blackwell Server Edition GPU 引入 AWS，支援 AI 推論、圖形、空間運算和 GPU 加速的資料分析。這是一種專為生產工作負載設計的新型執行個體，能在不增加客戶自行管理 GPU 平台營運負擔的情況下，提供卓越效能。
相較於 G6 執行個體，G7 在 AI 推論效能方面提升高達 4.6 倍，圖形效能提升高達 2.1 倍。此外，在 Amazon EMR 上使用 NVIDIA cuDF 函式庫處理 Apache Spark 工作負載時，GPU 加速的資料分析速度也顯著加快。
G7 執行個體支援多達八個 GPU、總計 256GB 的 GPU 記憶體、700 Gbps 的 EFA 網路，以及高達 7.6TB 的本機 NVMe SSD 儲存。透過單一、雙、四、八 GPU 配置以及即將推出的裸機選項，客戶可以為其工作負載精確調整基礎設施規模，避免過度配置。
該平台的通用性意味著 AI 團隊能獲得更低延遲的推論。媒體和娛樂團隊可實現高解析度視訊工作流程與渲染。模擬、電腦輔助設計、虛擬桌面基礎設施、遊戲和空間運算團隊，則能為圖形密集型應用程式使用相同的執行個體類型。資料團隊也能將 GPU 記憶體、本機儲存和網路的改進應用於分析管線和向量資料庫工作負載。
G7 執行個體可透過 AWS Deep Learning Amazon Machine Images (AMIs)、Amazon Deep Learning Containers、Amazon EMR、Amazon EKS、Amazon ECS 和圖形 AMIs 存取，並即將支援 Amazon SageMaker AI。
NVIDIA cuVS 讓 GPU 加速向量搜尋成為 Amazon OpenSearch 的預設選項
新一代的 Amazon OpenSearch Serverless 支援代理式 AI (agentic AI) 和動態工作負載，無需基礎設施管理。它將由 NVIDIA cuVS 驅動的 GPU 加速向量索引，作為所有向量集合的預設運算選項。
對於建構檢索增強生成 (RAG)、語義搜尋、推薦系統和代理式 AI 應用程式的團隊來說，這項轉變至關重要。它將 GPU 驅動的向量搜尋從一個專業的最佳化專案，轉變為 AWS 的標準功能。
這對客戶的影響是直接的：相較於僅使用 CPU 的建構方式，向量索引速度提升高達 10 倍，成本卻僅為四分之一。這使得在不到一小時內建構十億級規模的向量資料庫成為可能。
透過將 NVIDIA cuVS 設為 OpenSearch Serverless 的預設選項，AWS 客戶能更快地將原始資料轉換為可投入生產的 AI 檢索基礎設施。同時，無伺服器擴展功能在工作負載閒置時，也能降低營運開銷。
AWS 憑藉 GB300 訓練效能，榮獲輝達典範雲端認證
AWS 在 NVIDIA GB300 上的訓練工作負載方面，已獲得輝達典範雲端 (NVIDIA Exemplar Cloud) 認證。這表示 AWS 符合輝達用來根據其參考架構，對 AI 工作負載進行基準測試的嚴格效能門檻。
這項成就歸功於 AWS 和輝達團隊之間深入的共同工程努力。透過輝達典範雲端計畫，開發人員和 AI 領導者可以確信他們正在使用一致且高效能的雲端基礎設施進行大規模訓練，這有助於團隊更有信心地評估雲端供應商，改善總體擁有成本，並更有效地將 AI 專案從規劃階段推進到生產階段。
總體而言，這些進展強化了 AWS 上 AI 基礎設施堆疊的每個層面。其核心理念始終如一：提供可大規模運作的生產級 AI 基礎設施，同時不增加營運團隊的負擔。
欲了解更多資訊，請參閱這篇 AWS 部落格文章。
