跳到主要內容
maxstudioNews
研究Apple Machine Learning Research約 2 分鐘

LaDiR:潛在擴散模型強化大型語言模型的文本推理能力

傳統大型語言模型在自迴歸解碼時,難以全面回顧與精煉早期符元,限制了探索多樣化解方的能力。Apple 提出的 LaDiR 框架,結合連續潛在表示與潛在擴散模型的迭代精煉特性,能有效提升 LLM 的文本推理表現。

LaDiR:潛在擴散模型強化大型語言模型的文本推理能力
圖片來源:Apple Machine Learning Research

作者:Haoqiang Kang†, Yizhe Zhang, Nikki Lijing Kuang†, Nicklas Majamaki†, Navdeep Jaitly, Yi-An Ma†, Lianhui Qin†大型語言模型 (LLMs) 透過思維鏈 (CoT) 生成展現其推理能力。

然而,LLM 的自迴歸解碼可能限制了其全面回顧和精煉早期符元的能力,這也可能導致探索多樣化解方時效率低下。在本文中,我們提出 LaDiR (潛在擴散推理器),這是一個新穎的推理框架,它將連續潛在表示的表達能力與潛在擴散模型的迭代精煉能力整合到現有的 LLM 中。

我們首先使用變分自編碼器 (VAE) 建構一個結構化的潛在推理空間,該空間將文本推理步驟編碼成思維符元區塊,在提供緊湊但富有表現力的表示的同時,保留了語義資訊和可解釋性。隨後,我們利用一個潛在擴散模型,該模型學習使用區塊式雙向注意力遮罩對潛在思維符元區塊進行去噪,從而實現更長的視野和自適應測試時計算的迭代精煉。

這種設計允許有效並行生成多樣化的推理路徑,使模型能夠整體規劃和修正推理過程。我們在數學推理和規劃基準套件上進行了評估。實證結果顯示,LaDiR 在準確性、多樣性和可解釋性方面始終優於現有的自迴歸、基於擴散和潛在推理方法,揭示了文本推理與潛在擴散的新範式。

* † 加州大學聖地牙哥分校## 相關閱讀與更新這篇論文已被 ICLR 2026 的「潛在與隱性思維,超越 CoT 推理」研討會接受。透過下一個符元預測進行訓練的自迴歸語言模型,透過一次採樣一個離散符元來生成文本。儘管具有很高的可擴展性,但這個目標迫使模型在每一步都做出承諾,阻止它探索或反思多種可能的後續內容。

此外,符元間的計算分配…閱讀更多

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Apple Machine Learning Research 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。