各位 Hacker News 的讀者大家好,我是 RunAnywhere (YC W26) 的 Sanchit。我們剛開源了 TrnRT (Trainium RunTime),這是我們為 AWS Trainium 設計的推理引擎。
我們三週前開始開發,目前已能在 AWS trn2.48xlarge 上運行 GLM 5.3 flash (FP8) 模型,並將很快支援更多模型。歡迎大家貢獻。
RunAnywhere 團隊開源了 TrnRT (Trainium RunTime),這是一個專為 AWS Trainium 設計的 LLM 推理引擎。它能在 Trainium 晶片上高效運行 GLM 5.3 flash 等大型模型,並在成本效益上超越 H100/H200。TrnRT 旨在解決 AWS 自身堆疊對 GLM 模型支援不足的問題,並提供卓越的效能。
各位 Hacker News 的讀者大家好,我是 RunAnywhere (YC W26) 的 Sanchit。我們剛開源了 TrnRT (Trainium RunTime),這是我們為 AWS Trainium 設計的推理引擎。
我們三週前開始開發,目前已能在 AWS trn2.48xlarge 上運行 GLM 5.3 flash (FP8) 模型,並將很快支援更多模型。歡迎大家貢獻。
目前 TrnRT 的功能包括:在單一主機上,透過具備快取感知路由器的 8 個 trn2 晶片,運行兩個 GLM-5.3 flash 實例。在 SemiAnalysis 的 AgentX 基準測試中,每分鐘可處理 357 萬個 token (TPM)。解碼時,每個層半(layer half)運行一個 NKI 核心,對於 11 個稀疏注意力層,則將兩個區塊融合為單一核心,以提升效能。
我們開始研究 Trn2,是想探索它在成本效益方面是否能接近甚至超越 H100/H200 的表現。像 GLM-5.3 flash 這樣具有 100 萬上下文視窗的大型 MoE 模型需要大量記憶體,而 AWS trn2.48xlarge 上的每 TB 記憶體成本不到 8x H200 的一半,因此我們決定進行實驗,現在分享一些初步成果。
然而,AWS 自家的軟體堆疊並不支援此模型:vLLM Neuron 的最新版本未註冊任何 GLM 模型,而 AWS 自家的分散式推理框架 NxDI 也不再積極開發。我們也注意到昨天 SGLang Neuron 實作的放棄,但目前對 Trn2(目前唯一可公開使用的晶片)缺乏良好的支援。
我們執行了 SemiAnalysis 的 AgentX 基準測試,該測試重現了真實的程式碼代理會話:單一主機在批次大小為 12(即並行度)的情況下,以 32 個代理處理了每分鐘 28.9 個請求 (RPM)。在 16 個代理的情況下,帶有快取提示詞的 P50 TTFT 約為 1.24 秒,解碼速度為每秒 35.9 個 token (tps)。
最初,在批次大小為 1 時,一個 kda(線性注意力)層中的遞歸佔該層注意力時間的約 2%,其餘時間則用於投影、轉置以及小型核心之間的 XLA 膠合操作。因此,我們編寫了 megakernel,使其能在兩次核心調度中覆蓋整個層,這使得在批次大小為 8 時,解碼速度提升了 25%。
稀疏注意力核心將層的工作權重保存在 SBUF 中,在各個核心之間分配加權串流,並處理晶片間的通訊。稀疏注意力預填充中存在一個近似值,影響約 1.2% 的區塊選擇。您可以參考這篇部落格文章了解分析結果:https://runanywhere.ai/blog/glm-5-3-flash-trainium2-nki-mega...
歡迎您在 trn2.48xlarge 上親自嘗試,並按照 docs/RESULTS.md 中的步驟重現 AgentX 的結果。我們樂於合作並聽取任何回饋。我們透過為 GLM-5.3 系列、Kimi K3、Deepseek flash 等開源模型提供實驗室級效能且價格減半的高效能專用推理部署服務來獲利。
您可以透過 founders@runanywhere.ai 與我們聯繫。希望您覺得這項工具很有用。如果您正在使用 Trainium 或對 NKI 核心有經驗,我們很樂意聽取您的寶貴意見。歡迎分享您希望我們接下來支援的模型,我們也歡迎對儲存庫的任何貢獻。
覺得值得一看?分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 Hacker News (Show HN) 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。