LFM2.5-24B-A2B 模型登場：裝置端快速運行私有 AI 代理的利器

LFM2.5-24B-A2B 是一個擁有 240 億參數的推理模型，但每次僅啟用 20 億活躍參數，專為在裝置端快速且私密地運行 AI 代理而打造。它能在回答前進行思考、呼叫工具，並在常見的代理框架中執行多步驟任務。由於每個推理 token 僅啟用 20 億參數，因此每次推理的成本極低，讓您可以在自己的硬體上持續運行 AI 代理。

這款模型是同類產品中表現最優異的代理模型，在代理和工具使用任務上，與總參數和活躍參數多出約 50% 的 Qwen3.6-35B-A3B 競爭力十足，在 LiveClaw 基準測試中獲得 48.09 分，而 Qwen 則為 38.19 分。它以 MoE（專家混合）的速度進行推理，總是在回答前進行思考，且每個推理 token 的活躍參數僅有 20 億，因此成本低廉。

在推論效率方面，它在 Apple M5 Max 上可達每秒 184 個 token，在單一 NVIDIA B300 GPU 上輸出速度更高達每秒 21K 個 token。

LFM2.5-24B-A2B 建立在 LFM2-24B-A2B 的基礎上，並保留了其架構：40 層、每個 MoE 區塊有 64 個專家，採用 top-4 路由，以及門控短卷積和 GQA 的混合架構。其上下文視窗從 32K 擴展到 131K 個 token，並且透過原地分詞器擴展，將詞彙量從 65K 增加到 128K 個 token，以改善非拉丁語系的詞彙處理。

與其前身不同，LFM2.5-24B-A2B 是一個純推理模型，在最終答案之前會產生明確的思考鏈。預訓練的 token 數量從約 17 兆擴展到約 33 兆個 token。中期訓練則額外增加了 2 兆個 token，上下文長度為 32K，重點放在推理、數學、程式碼、指令遵循和多語言文本，並增加了 3000 億個 token，上下文長度為 131K，重點放在長上下文資料。

工具呼叫和多輪對話軌跡貫穿了這兩個階段。後訓練將基礎模型轉變為代理模型，共分為五個階段：監督式微調（SFT）、教師專業化、多領域策略蒸餾（MOPD，非代理式），用於在非代理任務上蒸餾專家教師模型、多領域策略蒸餾（MOPD，代理式），這是第二個蒸餾階段，專注於代理任務，以及代理式強化學習（Agentic RL），用於在 OpenClaw、Hermes Agent、Pi 和 OpenCode 等代理框架中訓練模型。

我們在 16 個基準測試中評估了 LFM2.5-24B-A2B，這些測試涵蓋了工具使用、代理工作流程、知識、指令遵循、數學和程式編碼，並將其與 Qwen3.6-35B-A3B、Gemma-4-26B-A4B-it 和 Nemotron-3.5-Lightning 進行比較。儘管它是這組模型中最小的，但它與總參數和活躍參數多出約 50% 的 MoE 模型仍具有競爭力。

對於您的應用程式而言，LFM2.5-24B-A2B 的優勢在於工具使用和指令遵循。在八個工具使用和代理基準測試（AutomationBench、BFCLv4、ToolSandbox、LiveClaw 和 τ³-Bench Banking）中的五個，它領先或與競爭對手持平，在 AutomationBench 上甚至比次優模型高出三倍以上。

它在所有三個指令遵循基準測試中也處於領先地位。較大的模型在知識密集型基準測試（如 GPQA Diamond、HLE 和 AA-Omniscience）以及程式編碼基準測試（如 SWE-Bench Verified (OpenCode) 和 SciCode）上仍佔優勢，因此對於知識密集型工作負載，建議將 LFM2.5-24B-A2B 與檢索或網路搜尋結合使用。

這些結果使 LFM2.5-24B-A2B 成為需要推理、呼叫工具並在您的裝置上可靠運行的 AI 代理的強大基礎。

LFM2.5-24B-A2B 在推論生態系統中提供首日支援，包括 llama.cpp、MLX、vLLM、SGLang 和 ONNX。在邊緣推論方面，LFM2.5-24B-A2B 是所比較 MoE 模型中最快的，在 M5 Max 上每秒解碼 184 個 token，在 Ryzen AI Max+ 395 上每秒解碼 114 個 token。這比次優模型快了高達 1.7 倍，同時使用的記憶體最少。

在 GPU 推論方面，LFM2.5-24B-A2B 是其尺寸類別中最快的模型，在單一 B300 GPU 上，高併發時每秒可達到超過 21K 個輸出 token。

當您需要能夠推理、呼叫工具並在您的裝置上可靠運行的 AI 代理時，請考慮使用 LFM2.5-24B-A2B。首先，安裝最新版本的 transformers（相容於 transformers>=5.0.0）：pip install -U transformers。然後載入並運行模型，您可以使用提供的程式碼範例來進行操作。

您也可以將 LFM2.5-24B-A2B 整合到您的代理框架中。將 LFM2.5-24B-A2B 部署在任何與 OpenAI 相容的後端，然後將您的代理框架指向它。例如，使用 Hermes Agent 時，您可以設定模型提供者、基礎 URL、預設模型、上下文長度、API 模式和工具使用強制執行等參數。

請注意，連接埠取決於您的服務後端：llama.cpp 和 MLX 使用 8080，vLLM 使用 8000，SGLang 使用 30000，而 LM Studio 使用 1234。有關 OpenClaw 和 Pi 的配置，以及完整的設定指南，請參閱模型卡。

LFM2.5-24B-A2B 和 LFM2.5-24B-A2B-Base 均為開源權重模型，現已在 Hugging Face 上提供。您可以下載 LFM2.5-24B-A2B-Base 和 LFM2.5-24B-A2B，並依照我們的指南在您的框架中運行本地代理，例如 OpenClaw、Hermes Agent 和 Pi。

您也可以透過我們的微調教學，將 LFM2.5-24B-A2B 調整以適應您的任務。我們期待看到您的創作。