💡 每日 AI 概念:王者歸來:xLSTM 架構解析
如果你在 2015 年左右訓練序列模型,那麼你對世界的整個心智模型都是由長短期記憶(LSTM)網路所塑造的。LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1990 年代發明,是深度學習領域無可爭議的主力。它翻譯我們的文字、識別我們的語音,並為第一代大型語言模型提供動力。
xLSTM 架構被譽為 Transformer 的潛在替代方案,其發展背景可追溯至曾主導深度學習領域的 LSTM 網路。在 Transformer 憑藉其高度平行化能力崛起後,xLSTM 的出現可能預示著序列模型領域的新變革。

如果你在 2015 年左右訓練序列模型,那麼你對世界的整個心智模型都是由長短期記憶(LSTM)網路所塑造的。LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1990 年代發明,是深度學習領域無可爭議的主力。它翻譯我們的文字、識別我們的語音,並為第一代大型語言模型提供動力。
隨後是 2017 年,「Attention Is All You Need」論文發表,整個 AI 生態系隨之轉向。我們捨棄了 LSTM 深刻而優雅的架構,轉而採用 Transformer 暴力且高度平行化的矩陣乘法。Transformer 贏得了硬體彩券,因為它讓我們能夠將整個序列映射到 GPU 網格上,並一次性進行訓練。
此文章僅限付費訂閱者閱讀。
覺得值得一看?分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 The Sequence 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。