混合專家模型(MoE)已使最先進的大型語言模型(LLM)得以擴展到數千億個參數,但它們伴隨著一個根本且代價高昂的缺點:在推論時,每個專家多層感知器(MLP)都必須佔用記憶體,即使絕大多數專家對於任何給定的 token 都是閒置的。例如,Qwen3.5-122B 在其 48 個 MoE 層中的每個層都有 256 個專家,其約 250 GB 的參數記憶體佔用量中,有 95% 完全由這些專家 MLP 佔用。然而,對於任何給定的 token,每個層中實際只使用了 8 個專家。
專家修剪是解決這個記憶體瓶頸最直接的方法之一,也就是永久刪除最不實用的專家。修剪避免了因動態載入或卸載專家而導致的延遲問題,這使得動態載入或卸載專家變得不切實際;它不需要任何訓練,並且可以與量化結合使用。鑑於這些吸引人的優點和其概念的簡潔性,不難理解為何專家修剪已成為縮小 MoE 模型規模的首選方法。其難點在於決定哪些專家最安全可以移除。
現有的修剪方法獨立地為每個專家評分,根據校準資料集為每個專家分配一個純量重要性分數,然後刪除重要性最低的專家(在每個層中獨立進行)。這些是「一階」方法,因為它們假設每個專家的貢獻獨立於所有其他專家。實際上,專家會形成合作群體。我們在自己的實驗中觀察到一致的共同啟動專家群集,獨立的研究也表明專家合作是 MoE 模型的一個穩定特性,並且對模型效能至關重要。忽略這些互動會導致次優的修剪結果,尤其是在積極修剪率下。
我們最新的論文推導出了 HOPE(Higher-Order Pruning of Experts),這是一種考慮專家兩兩互動的「二階」方法。在 50% 的修剪率下,HOPE 在所有方法中取得了最佳的平均排名,在代理式程式碼任務上比次優的修剪方法提高了高達 6.1% 的效能。
在這篇文章中,我們將解釋 HOPE 的運作方式,展示它如何超越現有方法,並逐步說明如何在您自己的模型中使用它。對於不熟悉 MoE 架構的讀者,請參閱《Transformer 中的混合專家模型(MoE)》。
在標準的 MoE 模型中,每個層有 E 個專家,每個輸入 token x 都會獨立地被路由到 K 個專家(K=8 是一個典型的選擇)。路由由一個單層執行,該層為每個專家 k 生成 softmax 標準化的閘門權重 gk(x),其中具有最高閘門權重的 K 個專家被選為活躍專家集 T(x)。該層的輸出是 ∑k∈T(x)gk(x)fk(x),其中 fk(x) 是專家 k 對 token x 的輸出。
重要的是,選定集 T(x) 中的專家並非獨立的。專家會形成穩定的合作群體,並持續地共同啟動。這在文獻中也曾被觀察到:專家共同選擇模式在訓練早期出現並在整個訓練過程中穩定下來。
這意味著當我們從 MoE 層修剪專家時,修剪決策需要考慮這些專家之間的高階效應。單獨移除專家 A 可能看起來沒問題,但如果專家 B(經常與 A 合作並依賴 A)非常重要,那麼移除 A 將僅透過一次刪除就瓦解一個合作群體。一階方法完全忽略了這一點,因為它們單獨評估 A 和 B。
這種效應在高修剪率下會加劇。當我們移除多達 50% 的專家時,我們可能會破壞許多合作連結。這正是二階修剪最具優勢的地方。
當我們從某個 MoE 層刪除一組 P 個專家時,選定的專家集 T(x)(對於任何 token x)可能會改變。那些本來會被選中的被修剪專家,將由具有次高閘門權重的專家取代。由此產生的層輸出變化就是修剪誤差。我們的目標是找到修剪集 P(在預定義的修剪預算 |P| 內),使其最小化由此產生的修剪誤差(在校準集中的 token x 上)。
不幸的是,直接最小化 P 上的修剪誤差是難以處理的。修剪誤差取決於替換專家的身份,而替換專家的身份又取決於修剪集 P 本身。HOPE 透過定義一個易於處理的替代變數 Z 來規避這個問題,該變數嚴格地為修剪誤差的主導成分設定了上限:Z=[∑j∈P∩T(x)gj(x)∥fj(x)∥2]2≥true error。
因為 Z 是一個平方和,展開它自然會產生專家對之間的交叉項 gi(x)gj(x)∥fi(x)∥2∥fj(x)∥2。這些就是一階方法所捨棄的互動項。為了找到最佳修剪集,HOPE 在校準集上最小化 E[Z],這可以重新表述為以下二次規劃:P∗=arg minp p⊤Fp s.t. p∈{0,1}E, ∑k=1Epk=∣P∣。
其中 F∈RE×E 定義為:Fi,j=1∣Xi,j∣∑x∈Xi,jgi(x)gj(x)∥fi(x)∥2∥fj(x)∥2,其中 Xi,j={x:i,j∈T(x)}。這個 F 矩陣是在校準資料集上收集的,最佳修剪集是透過求解產生的二次規劃(QP)並進行連續鬆弛(然後四捨五入為二元解)來獲得的。
每個 Fi,j 條目捕捉了在專家 i 和 j 都被共同啟動的 token 上,它們的平均閘門加權輸出乘積。其中對角線 Fk,k 衡量單個專家的重要性,非對角線條目(Fi,j 對於 i≠j)則衡量兩兩合作的貢獻。
F 在實踐中看起來如何?它顯示了專家合作的結構,這取決於層。在實際成本方面,HOPE 需要與任何其他專家修剪方法相同的校準步驟(對校準資料進行一次前向傳播)。唯一增加的是求解二次規劃,雖然它是非凸的,但可以透過標準的 QP 求解器高效解決(每個層 1-2 秒)。與一階方法相比,總體額外開銷可以忽略不計,因為校準時間佔主導地位。
值得注意的是,HOPE 與 Router-weighted Expert Activation Pruning (REAP) 有著密切的關係,REAP 是一種最先進的一階專家修剪方法。HOPE 的 F 矩陣在對角線上編碼了單個專家的重要性分數,這個對角線有效地恢復了 REAP 用於獨立排名專家進行修剪的分數(僅在專家貢獻的方差上有所不同)。
F 的對角線幾乎完美地恢復了 REAP 的專家排名(Spearman ρ=0.988)。因此,HOPE 相對於 REAP 取得的任何改進都歸因於 F 矩陣非對角線條目中的二階互動項。
我們使用 3 個模型(Qwen3.5-122B、Qwen3.5-35B 和 GLM-4.5-Air)和 2 個校準資料集(Evol-CodeAlpaca 和 SWE-Bench Verified trajectories)評估了 HOPE 作為專家修剪方法。
我們使用 Tulu3 套件和 SWE-Bench Pro(代理式程式碼)來測試修剪後的模型,並將 HOPE 與 4 個一階基準方法(REAP、MAN、EAN 和 Frequency)在 10% 到 50% 的修剪率範圍內進行比較。
在所有條件下,HOPE 都取得了最佳的平均排名(5 種方法中為 2.07),並以最高的比例獲得了第一名(39% 的條件)和前兩名(67%)。在正面比較中,HOPE 在大多數條件下都擊敗了所有其他基準方法。
正如預期,HOPE 的優勢在高修剪率下會增加。隨著移除的專家越多,破壞的合作連結也越多,F 的非對角線項變得越重要。在 50% 的修剪率下,HOPE 的平均排名提高到 1.58(相比之下,次優方法 REAP 為 2.42)。這也是與部署最相關的設定,在這種情況下,記憶體節省足以容納更長的上下文、更深入的推理和更多的工具呼叫。
HOPE 的優勢在 SWE-Bench Pro 上最為顯著,這是一個代理式程式碼基準測試,模型必須自主解決真實的 GitHub 問題。這些問題涉及多種組合任務(例如程式碼編寫、工具呼叫、推理等),跨越多個回合,並且可能需要多樣的專家組合,這正是保留合作結構最為重要的領域。
在 50% 修剪率下的 Qwen3.5-35B-A3B 上,HOPE 在 SWE-Bench Pro 上取得了 42.3 分,與未修剪模型的 41.8 分相匹配(而 REAP 下降到 36.2 分,退步了 13%)。
值得注意的是,修剪後的模型有時可以匹配或超越未修剪的基準模型,這可能是因為移除低相關性專家減少了目標任務上的噪音。這種效應並非 HOPE 獨有,在各種修剪方法中都有觀察到。此外,我們的實驗表明,任何修剪方法(包括 HOPE)的程式碼導向校準並未嚴重降低非程式碼基準的效能,並且 HOPE 在 Tulu3 套件中表現良好,無論校準集為何。
HOPE 的優勢源於對整個互動矩陣 F 的優化。為了理解這在實踐中如何影響修剪決策,我們檢查了 HOPE 和 REAP 意見不合的專家。對於每個有爭議的專家,我們計算其合作分數(即其與其他保留專家的平均 F 值)。HOPE 僅保留的專家始終比 REAP 僅保留的專家具有更高的合作分數。
換句話說,作為 QP 優化的一部分,HOPE 犧牲了一些單獨得分較高的專家,以保留合作群集。基準測試效能的提升(如上所示)驗證了這種權衡是有利的。
我們創建了一個基本套件來執行 HOPE,它包含三個步驟:1) 校準;2) 求解;3) 修剪。我們的套件已在 Qwen3、Qwen3-Next、Qwen3.5 和 GLM-4.5 上進行了測試。
校準步驟對校準資料執行一次前向傳播,無論是代理式執行還是單回合追蹤。這使用 HuggingFace transformers 連結到每個單獨 MoE 層的前向傳播。對於每個 token,這會記錄哪些專家被選中、它們的閘門權重、輸出範數。