開源大型語言模型（LLM）的先驅 Meta 再次帶來好消息！今天發布的 Muse Glimmer 是 Meta 全新的多模態模型，專為在地化代理式應用情境而設計。這款模型從 Muse 蒸餾而來，擁有 300 億個參數，並以 Apache 2.0 授權發布，非常適合本地部署以保護隱私、降低成本或進行實驗。
它適用於注重隱私的應用程式，例如程式碼撰寫、文件分析、個人助理，以及類似 Claw 或 Hermes 的設定。為了慶祝這項發布，Hugging Face 在 transformers、llama.cpp、vLLM、Inference Endpoints 和其他函式庫中，同步提供 Muse Glimmer 的第一天支援。
我們在部落格中介紹了一些我們開發的酷炫功能並解釋了我們的發現。您可以在下方查看示範以獲取靈感，並在 Hugging Face Hub 上找到 Muse Glimmer。
在基準測試方面，Muse Glimmer-30B 在多項通用代理式、代理式程式碼撰寫、多模態和通用能力與推理任務中，展現出領先或具競爭力的表現。例如，在 MCP Atlas、DeepSearch QA 和 SWE-Bench Pro 等測試中，其分數優於 Gemma4-31B 和 Qwen3.6-27B。
Muse Glimmer 是一個密集的 300 億參數模型，由一個 20 億參數的 ViT 風格視覺編碼器（Perception Encoder）和一個 280 億參數的文字解碼器組成。此外，還有一個基於 DFlash 實現的推測性解碼草稿器，此模組為可選，可以在犧牲部分記憶體成本的情況下提供更快的生成速度，特別適合程式碼撰寫等結構化內容生成。
語言模型採用混合注意力機制，交替使用三個滑動視窗層（2,048 個 token）搭配旋轉位置嵌入（RoPE），然後是第四層使用完整注意力且不帶位置嵌入（NoPE）。這種模式（SWA, SWA, SWA, Full）重複 13 次，總共有 52 層，使其能夠保留相對順序和距離資訊，同時透過 NoPE 維護全域資訊。
它還採用門控分組查詢注意力（Gated Grouped-Query Attention），每個鍵值頭由 16 個查詢頭共享，將 KV 快取記憶體減少 16 倍，使生成更快、成本更低。在計算注意力之前，Muse Glimmer 會對每個查詢和鍵頭應用 RMS 歸一化以保持注意力 logits 的穩定性，之後查詢會乘以一個比例因子來設定歸一化後的目標 logit 比例，這種額外的查詢縮放行為類似於 softmax 層的反向溫度。
Muse Glimmer 使用一個影像編碼器來處理影像和影片。與其他 VLM 中相對較小的視覺編碼器不同，這是一個基於 Perception Encoder 架構的 20 億參數 ViT 類模型。Perception Encoder 之前由 Meta 推出，作為各種下游空間和多模態任務的骨幹。
編碼器將影像分割成 2 幀 x 3 通道 x 14 x 14 的區塊，並透過線性層進行投影。然後將從學習到的位置表中內插的絕對位置嵌入添加到這些嵌入中。這些嵌入隨後被發送到由 50 層和 GELU MLPs 組成的視覺塔。與語言模型類似，注意力模式由三個視窗注意力層和一個完整注意力層組成。在注意力層內部，2D RoPE 應用於查詢和鍵。
在 transformer 之後，像素重排（pixel shuffle）會將 2x2 組的相鄰空間 token 串聯起來，這會將影像 token 的數量減少 4 倍，而不會丟棄其通道。合併後的特徵隨後被投影到文字解碼器的共享嵌入空間。影片則逐幀通過相同的編碼器，每幀被轉換為區塊。
處理器目標是每秒 2 幀，並將影片片段限制在均勻採樣的 96 幀。處理器會創建帶時間戳的影片佔位符，將文字與幀交錯，例如「時間：0.0s <|video|> x N」，其中最終的影片嵌入在最終投影層之前被替換。
您需要將 transformers 升級到最新版本才能使用 Muse Glimmer。Muse Glimmer 在 transformers 中提供第一天支援，包括主模型和推測性解碼草稿器。您可以使用 AutoModelForMultimodalLM 和 AutoProcessor 類別來載入模型和處理器。
Hugging Face 提供了詳細的程式碼範例，展示如何進行純文字推理、影像與文字結合的推理、影片推理、多模態工具呼叫以及開放式物件偵測。
這些範例涵蓋了從載入模型到處理輸入訊息，再到生成輸出回應的完整流程，並展示了 Muse Glimmer 在處理不同類型多模態輸入方面的靈活性和強大功能。無論是 NVIDIA (CUDA)、AMD (ROCm) 還是 Intel (XPU) GPU，device_map="auto" 都能自動將模型部署到可用的加速器上。
