跳到主要內容
maxstudioNews
研究The Sequence約 1 分鐘

xLSTM 架構重磅回歸:深度解析與潛力探討

xLSTM 架構被譽為 Transformer 的潛在替代方案,其發展背景可追溯至曾主導深度學習領域的 LSTM 網路。在 Transformer 憑藉其高度平行化能力崛起後,xLSTM 的出現可能預示著序列模型領域的新變革。

xLSTM 架構重磅回歸:深度解析與潛力探討
圖片來源:The Sequence

💡 每日 AI 概念:王者歸來:xLSTM 架構解析

如果你在 2015 年左右訓練序列模型,那麼你對世界的整個心智模型都是由長短期記憶(LSTM)網路所塑造的。LSTM 由 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1990 年代發明,是深度學習領域無可爭議的主力。它翻譯我們的文字、識別我們的語音,並為第一代大型語言模型提供動力。

隨後是 2017 年,「Attention Is All You Need」論文發表,整個 AI 生態系隨之轉向。我們捨棄了 LSTM 深刻而優雅的架構,轉而採用 Transformer 暴力且高度平行化的矩陣乘法。Transformer 贏得了硬體彩券,因為它讓我們能夠將整個序列映射到 GPU 網格上,並一次性進行訓練。

此文章僅限付費訂閱者閱讀。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 The Sequence 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。