Granite Switch 4.1：單一端點整合聊天、決策與語音功能

去年春天推出的 Granite Switch 專案，旨在實現模型開發的模組化方法。現在，Granite Switch 4.1 模型配備了決策適配器（Decision adapter）和 OpenASR 排行榜上最快的 ASR 模型，能夠在自然語言回應、通用與專業決策以及語音轉文字任務之間高效切換，所有功能皆透過單一託管端點提供。

具體來說，Granite-Switch-4.1-8B 和 -30B 模型配置包含：

一個用於通用決策的新型 Decision aLoRA（例如 v1/systemone），以及一個專門的 Guardian aLoRA，在安全相關決策任務中平均表現優於 Jev 1.13、Microsoft-Decision-1、GPT-Luna-Decisions 和 Clef-Flash。

此外，還嵌入了 Granite-Speech-5.0-Turbo-CTC，這是 OpenASR 排行榜上最快的 ASR 模型，用於轉錄任務。

這三項技術（連同底層基礎模型）被整合到一個模型中，其在 GPU 上的視訊記憶體（VRAM）佔用量大約與單獨的基礎模型相同。這意味著用更少的 GPU 就能實現更多的功能。

由於 Switch 適配器是作為快取高效的 Activated LoRA 構建的，基礎模型生成所創建的 KV 快取可以重複用於任何後續基於適配器的決策。結合我們團隊最近對 vLLM 的貢獻，以加速低秩適配器（low rank adapter）的推論，以及共置的 ASR 編碼器，Granite Switch 4.1 模型能夠以極快的速度在聊天請求、決策請求和語音請求之間切換。

請查看我們的 Speech-to-Decisions HF space，其中 granite-switch-4.1-8b 能夠轉錄音訊、生成摘要、篩選有害內容，並測試其他 15 個使用者定義的標誌，所有這些都在單一端點上即時運行。

決策模型並非新鮮事。我們之前發布的 Granite Libraries 包含一個專業「決策模型」適配器和其他專業任務適配器的儲存庫，這些適配器可以組合成客製化的 Granite Switch 模型。儘管 Jev 和其他閉源決策模型專注於通用性，我們發現許多專業的 granitelib 適配器在專業分類任務上能夠超越通用模型。

當在專業分類任務上進行評估時，granitelib 適配器與通用決策模型相比表現更佳。

由於適配器共享基礎模型的 KV 快取，因此在通用決策適配器旁添加專業適配器幾乎沒有額外成本。您可以從通用模型獲得廣泛覆蓋，並從專業模型獲得您關心任務的更高準確性。

在一場「競賽」中，Granite-Switch-4.1-30B（凍結的基礎 Granite + 4 個專業 aLoRA）與 Jev-27B（凍結的基礎 Qwen 模型 + 1 個通用決策 LoRA）相比，Granite-Switch-4.1-30B 能夠更快地完成一個真實世界的五步驟 RAG 工作流程。

Granite-Switch-4.1-8B 和 -30B 是「開箱即用」的版本。它們是我們預先編譯好一組實用適配器的 Granite Switch 模型。但您不一定需要使用我們的版本。任何人都可以組合自己的 Granite Switch 模型，從 Granite Libraries 中混合搭配適配器，以最佳地滿足他們的需求。

展望未來，我們看到社群有巨大的機會透過客製化和第三方適配器來組合和擴展 Granite Switch 模型。我們計劃發布一個用於在 Mellea 中訓練適配器的 Adapter SDK，同時還有其他教學和 Granite Switch 支援。

這些適配器可以是專門的分類適配器，用於增強基於決策的工作流程，或是用於專業語言任務的適配器。您甚至可以使用客製化適配器來教導一個 3B 參數版本的 Granite 玩經典遊戲 Doom。

與 Jev 類似，我們客製化的 3B 參數 Granite Switch 模型能夠在 Doom 遊戲中做出瞬間決策以進行導航，但其速度可達每秒 60-100 次決策，而 Jev 報告的速度為每秒 10 次決策。與 Jev 不同的是，這個 Granite Switch 模型在遊戲時還能進行旁白並回應您的問題。

我們期待在未來幾週內發布更多關於 Granite Switch 的詳細資訊和數據，但在那之前，我們鼓勵您試用我們最新的 Switch 模型以及這些其他實用資源以開始使用。