頂尖的雲端大型語言模型(LLM)營運成本高昂且波動不定,依賴第三方模型也帶來風險,因為服務供應商隨時可能修改、拒絕或終止存取權限。此外,專有模型對於特定工作流程的客製化能力有限,同時也對隱私、資料控制和透明度構成威脅。
況且,並非所有任務都需要頂尖的智慧:小型、專業化的代理模型在特定任務上同樣能幹,且運行成本顯著降低,因為許多日常或較小的工作負載都能在裝置端高效處理。隨著每參數智慧(intelligence per parameter)持續快速提升,我們的目標是站在這股轉變的前沿,推動高效能、注重隱私且可自行託管的模型發展。
Tether AI Research 推出 BotPsy,這是一個基於 Qwen3.5-0.8B 開發的 0.8B 參數模型,專為函數呼叫和代理式工作流程設計,適用於裝置端部署。BotPsy 是一個「個人助理」,能利用工具為用戶執行多種簡單任務,涵蓋網路搜尋與研究、旅行與生活、商務與金融、企業與客戶營運、裝置與車輛控制、檔案與文件、行事曆以及電子郵件與訊息等領域。
由於參數數量較少,它最適合處理中低難度的任務。BotPsy 在其尺寸級別中,實現了最先進(SOTA)的工具使用和代理性能,超越了我們測試過的所有 1.2B 參數以下模型(見圖 1 和圖 2)。專為安全的裝置端工作流程設計,它在保持用戶資料隱私的同時,提供卓越的指令遵循可靠性和效率。作為一個小型模型,BotPsy 仍會犯錯,不適用於高風險用途;更多資訊請參閱「預期用途與限制」。
基準模型兩倍的性能:BotPsy 在關鍵基準測試中,其代理能力約是 Qwen3.5-0.8B-Think 的兩倍,例如 BFCL v4 從 23.4 提升至 44.0,ACEBench 從 30.1 提升至 58.7,τ-bench 則從 23.2 提升至 51.5(零售、電信和銀行子集的平均值)。
同類別最佳代理:BotPsy 在所有六個工具使用和代理基準測試中,超越了 ≤1.2B 參數級別的領先模型(Qwen3.5-0.8B-Think, LFM2.5-1.2B-Think, MiniCPM5-1B-Think),這些測試包括 BFCL v4、ACEBench、τ-bench、ToolSandbox、Claw-Eval 和 BrowseComp-Plus。
超越其較大版本:BotPsy 在六個基準測試中的五個取得了所有測試模型中的最高分,擊敗了比它大 2.5 倍的 Qwen3.5-2B-Think,包括 BFCL v4(44.0 對 37.7)、ACEBench(58.7 對 55.4)、τ-bench(51.5 對 46.5)、ToolSandbox(64.6 對 41.2)和 BrowseComp-Plus(4.5 對 2.8)。
僅在 Claw-Eval 上,Qwen3.5-2B-Think 略勝一籌(48.9 對 46.5)。
多輪工作流程更可靠:在 τ²-bench 測試中,代理必須進行長時間的客戶對話、遵循嚴格政策並代表客戶行事,BotPsy 在電信領域得分 82.5,領先 Qwen3.5-2B-Think(69.3)。在 BFCL v4 的多輪任務中,它從基準模型的 7.5 提升到 46.1,幾乎是 Qwen3.5-2B-Think(23.8)的兩倍。
按應用程式分組,其多步驟分數在商業與服務(58.3 對比次佳的 Qwen3.5-2B-Think 的 47.4)以及裝置與系統管理(46.1 對比 31.9)方面,均領先所有測試模型。
知道何時(不)呼叫工具:一個能行動的代理也必須知道何時不該行動。在 BFCL v4 的幻覺測試中,該測試檢查模型在沒有適當工具時是否會拒絕,BotPsy 獲得 86.1 分,是所有測試模型中最高的。在 ACEBench 的特殊案例中,當請求不完整、包含錯誤參數或無法由給定工具服務時,它得分 51.3,較其基準模型的 13.7 有顯著提升。
遵循指令同時保留知識:BotPsy 專精於工具使用,同時保留了一般技能。指令遵循能力顯著提升,IFEval 從 59.7 升至 90.8,IFBench 從 22.0 升至 55.9,是所有測試模型中最高的 IFBench 分數。一般知識也有所改善,GPQA Diamond 從 33.2 升至 38.1,MMLU-Pro 從 41.6 升至 48.9。
在所有這四個基準測試中,BotPsy 都超越了我們測試過的所有 1.2B 參數或更少參數的模型。
比同類別領先模型更安全:在涵蓋六個危害類別的自動紅隊測試中,BotPsy 產生不安全回應的比例為 21%,而其基準模型為 36%。這是所有 1.2B 參數以下模型中最低的比例(LFM2.5-1.2B-Think 為 35%;MiniCPM5-1B-Think 為 47%)。在提示詞注入攻擊下(這對讀取不受信任工具輸出的代理最為重要),不安全回應率從基準模型的 46% 降至 31%。
更高效的推理和更少的循環:在所有五個模型都正確回答的問題上,BotPsy 在 GPQA Diamond 上的推理 token 數量約是其基準模型的三分之一(3,690 對 11,563),在 MMLU-Pro 上則是 2.7 倍少(1,912 對 5,105)。
在所有 IFBench 嘗試中,它陷入重複推理循環的比例從 22.9% 降至 1.4%,達到 32k token 限制的運行次數從 28.3% 降至 0.2%。更短、更果斷的推理應能減少裝置端的延遲。
開源且隨時可用:BotPsy 將以 Apache 2.0 許可證開源其權重,供研究和教育使用。它將提供三種精度(bf16、Q8、Q4),並以 Hugging Face safetensors 和適用於 QVAC SDK 和 llama.cpp 的 GGUF 檔案形式提供。
以 BotPsy 為基礎,Tether Data, S.A. de C.V.(即「Tether AI Research」)未來的發展將專注於擴展裝置端的代理能力,使其能更無縫地整合到更廣泛的硬體和本地服務中。Tether 的 Hypersearch 將演進以支援更強大的去中心化點對點(P2P)查詢,進一步確保私密、加密的網路搜尋,繞過企業追蹤器。
QVAC Fabric 的本地微調機制將被優化,以更深入地適應個人用戶偏好、工作流程和專業工具環境。未來的迭代將允許智慧型手機介面在離線與線上轉換期間,將繁重的計算任務順暢地委派給家用電腦或受信任的安全 P2P 節點。隱私協議將持續加強,以確保所有個人資料、憑證和決策嚴格保留在本地硬體上。
將引入協作功能,允許在受信任的本地網路中進行安全的代理對代理通訊,而不損害用戶機密性。最終,這些進步將使 BotPsy 成為一個完全自主、功能強大的個人 AI 生態系統,讓用戶完全掌控自己的數位生活。
BotPsy 基於 Qwen3.5-0.8B,並經過四個連續階段的後訓練:監督式微調(SFT)、多教師在策略蒸餾(MOPD),以及兩輪的強化學習(RL)。每個階段都以先前階段的最佳檢查點為起點,並受益於不同的學習訊號:參考軌跡的模仿、大型教師模型的 token 分佈,以及基於規則的工具呼叫獎勵(見圖 3)。
我們的訓練方法採用四個階段,從三種類型的訊號中學習:示範、專業教師和可驗證的獎勵。我們首先對工具使用對話進行全參數監督式微調。這包括來自模擬環境的多輪代理軌跡、重播的單一、平行和多步驟呼叫,以及不應呼叫工具的情況。
接著,學生模型透過在策略蒸餾(OPD)進行訓練:它生成自己的回應,而專業教師則利用每個 token 的逆向 KL 散度作為訓練訊號,對每個 token 提供回饋。為了建立這些教師模型,我們首先對三個 Qwen3.5-4B 模型進行強化學習訓練,使其分別專精於工具使用、一般推理和指令遵循。
在訓練期間,每個提示詞都會被導向其中一個教師模型。這個階段主要旨在恢復在 SFT 階段退化的知識和指令遵循能力,儘管工具使用指標也隨之提升(見圖 4)。
最後,模型使用 DAPO [1] 進行強化學習訓練,僅從由規則和驗證器計算出的獎勵中學習。第一輪訓練專注於工具呼叫,同時輔以指令遵循和 STEM 多選題。如同 Tool-N1 [2],工具呼叫獎勵首先檢查推理和工具呼叫的格式。然而,它不像 Tool-N1 的二元正確性獎勵,而是本著 ToolRL [3] 的精神,提供細緻的部分分數,將預測的工具名稱、參數名稱和參數值與真實值進行比對。
第二輪訓練將混合內容擴展到通用領域的可驗證任務:數學、程式碼、知識(多選)問題、指令遵循、結構化輸出,以及在模擬工作場所環境中的多步驟工具使用。儘管此混合內容不包含多輪對話,但它進一步改善了多輪函數呼叫能力。
每個訓練階段都使用不同的資料混合(見圖 5)。SFT 階段主要專注於工具使用,為後續階段奠定基礎。MOPD 混合資料結合了工具使用、知識和指令遵循資料,旨在進一步提升函數呼叫能力,並恢復 SFT 階段導致的通用領域退化。
第一個 RL 階段再次主要專注於工具使用,而第二個 RL 階段則將重心轉向通用領域資料(指令遵循、知識、數學和程式碼),同時保留較小比例的工具使用。BotPsy 的工具使用性能約是其 Qwen3.5-0.8B 基準模型的兩倍,並且在六個代理基準測試中的五個表現最強:BFCL v4(44.0 對 23.4)、ACEBench(58.7 對 30.1)、τ-bench(51.5 對 23.2)、BrowseComp-Plus(4.5 對 1.9)和 ToolSandbox(64.6 對 30.5)。
在所有這五個測試中,它也領先於比它大 2.5 倍的 Qwen3.5-2B-Think(37.7)。