跳到主要內容
maxstudioNews
研究Apple Machine Learning Research約 2 分鐘

MoE 模型效能突破:Apple 提出預測性專家預取新策略

專家混合模型 (MoE) 雖能實現稀疏專家啟用,但其效能優勢需仰賴高效的快取機制。傳統快取策略未能有效處理 MoE 模型獨特的專家存取模式,導致效能瓶頸。Apple 提出的 SpecMD 框架與創新的 Least-Stale 淘汰策略,能顯著提升快取命中率並大幅降低首個詞元生成時間,僅需極少的 VRAM。

MoE 模型效能突破:Apple 提出預測性專家預取新策略
圖片來源:Apple Machine Learning Research

作者:Duc Hoang, Ajay Jaiswal, Mohammad Samragh Razlighi, Minsik Cho專家混合模型 (Mixture-of-Experts, MoE) 能夠實現稀疏專家啟用,這表示在每次推論期間,模型只會使用其參數的一個子集。

然而,要將這種稀疏性轉化為實際效能,就需要一個專家快取機制。先前的研究提出了以硬體為中心的快取策略,但這些不同的快取策略如何相互作用以及與不同硬體規格的互動方式,仍未被充分理解。為了解決這個問題,我們開發了 SpecMD,這是一個標準化的框架,用於在各種硬體配置上基準測試臨時快取策略。

透過 SpecMD,我們對多種 MoE 快取策略進行了詳盡的基準測試,在受控且具有實際限制的環境中,重現並擴展了先前的方法。我們的實驗揭示,MoE 模型的專家存取與時間局部性假設(例如 LRU、LFU)不符。基於此觀察,我們提出了一種新穎的淘汰策略:Least-Stale。

該策略利用 MoE 模型可預測的專家存取模式,將衝突遺失 (collision misses) 比 LRU 減少高達 85 倍。憑藉這些顯著的提升,我們在 OLMoE 模型上實現了超過 88% 的命中率,並將首個詞元生成時間 (Time-to-first-token, TTFT) 減少了高達 34.7%,而 VRAM 快取容量僅佔 5% 或 0.6GB。

相關閱讀與更新以高吞吐量服務 Transformer 語言模型,需要快取鍵值 (Key-Values, KVs) 以避免自迴歸生成期間的重複計算。KV 快取的記憶體佔用量相當大,嚴重影響服務成本。這項工作旨在減少這些記憶體需求。儘管最近的研究主要透過沿時間軸的壓縮和淘汰來解決 KV 快取縮減問題,但我們認為深度維度提供了…閱讀更多大型語言模型 (LLMs) 的生成品質通常可透過利用推論時序層級擴展方法(例如思維鏈 Chain-of-Thought)來改善。

我們引入了超平行擴展 (hyper-parallel scaling),這是一個互補的框架,可在詞元層級提升預測品質。超平行擴展會從模型中計算並聚合單一詞元的多個輸出提案。我們在專家混合模型 (MoE) 中實現了這個概念,該模型…閱讀更多

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Apple Machine Learning Research 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。