大型語言模型(LLM)依賴其上下文來生成下一個詞元。在漫長的對話過程中,上下文會充滿多種類型的組件,例如系統提示詞、過去的對話輪次、作用於檢索文件的指令、工具回應或使用者資料、限制輸出格式的要求,以及推理鏈。
這些上下文攜帶著豐富的結構,但其中大部分對模型來說是隱性的,或者以 JSON 等非專為 LLM 設計的格式編碼。這是 LLM,特別是規模較小的模型,容易出現脆弱性並以意想不到的方式失敗的主要原因之一。缺乏明確的結構也可能被攻擊者利用,例如透過提示詞注入(prompt injection)的形式。
為了解決這個問題,我們開發了 LLMON(LLM Object Notation,發音為「lemon」),這是一種專為 LLM 設計的標記語言,用於明確地向模型傳達結構和語義。語義連貫的組件會用有意義的標籤標記,這些標籤則包裹在保留的特殊詞元分隔符號中。
資料結構(包括巢狀結構)以對因果 LLM 來說明確無誤的方式呈現。獨特的 ID 使得指向上下文中的特定指令成為可能,並將其綁定到應作用的資料負載上,這類似於程式語言中函數的呼叫和參數的傳遞方式。
今天,我們發布了兩個實驗性預覽模型,它們源自 Granite 4.1 基礎模型,並經過訓練以消費和生成 LLMON 標記的文本:granite-4.1-3b-LLMON-preview 和 granite-4.1-8b-LLMON-preview。我們還發布了一個 GitHub 儲存庫,其中包含用於處理 LLMON 的工具包以及工作流程和範本的範例。
LLMON 實現的功能:
由於明確的指令與資料分離,隱藏在使用者資料中的間接提示詞注入大多會被 LLMON 模型忽略。對於某些基準測試,攻擊成功率幾乎降至零,而常規的指令微調模型則有很高的機率被劫持。這是在保持相對於 Granite 4.1 Instruct 模型通用能力的同時實現的。
不相關的段落、舊的聊天回合和工具輸出不會被拉入答案中,因為每個指令都綁定到其確切適用的資料。指令、資料和要求都清楚標記,以便模型可以利用它們在應用程式程式碼層面的結構和含義。您可以在 Mellea 中試用,它透過自動將其 LLM 呼叫 LLMON 化來啟用原生的 LLMON 支援。
您不再需要擔心強制 LLM 遵守 JSON 結構。使用我們的轉換器將現有的 JSON 無損地轉換為 LLMON。您還可以定義自己的結構和相關標籤,並在 LLMON 模型之上微調 LoRA 以理解它。
為什麼不是 JSON?
JSON 是為解析器設計的,而不是為因果語言模型設計的。詞元分析器不受約束地遵守語法,結構由可能也出現在普通文本中的詞元(例如 {、"、:)編碼。對於模型來說,文件中的引號和關閉欄位的引號是相同的詞元。對於解析器來說清晰的轉義規則,對於模型來說只是統計模式。巢狀深度是透過計算括號來編碼的,而變換器(transformers)在處理長跨度時已知較弱。
另一方面,LLMON 是一種類似 XML 的標記語言,其結構分隔符號是保留的特殊詞元而不是字元,因此結構和內容使用詞彙表的不同部分。標籤在每個跨度的開頭聲明,並且跨度之間的邊界是明確的。巢狀結構是局部聲明的,因此模型不需要在長跨度上追蹤層次結構。
由於大多數團隊已經圍繞 JSON 建立了管道,我們創建了轉換工具和範例筆記本,可以將 JSON 無損地轉換為 LLMON,反之亦然。
LLMON 與聊天範本有何關係?
LLMON 不會取代聊天範本,而是豐富它們。常規聊天範本告訴模型哪個部分屬於哪個角色(系統、使用者、助理),而 LLMON 則告訴它每個組件的含義以及組件之間如何相互關聯,無論是在角色內部還是跨角色。
LLMON 預覽模型附帶自己的聊天範本,因此您可以構建與傳遞給任何聊天模型相同的訊息列表,並像往常一樣呼叫 apply_chat_template;它會呈現如下所示的 LLMON。唯一的區別是,一個回合現在可以命名其部分並將每個部分標記為 exec: True 或 False。
標記為 True 的部分會綁定到渲染輸出底部的執行區塊中,該區塊說明要運行哪個指令以及它作用於什麼;標記為 False 的部分仍會渲染到上下文中,但沒有任何東西引用它。
```
messages = [ { "role": "user",
"instruction": [{ "value": "Write a short paragraph about", "exec": True }],
"data": [{ "value": "IBM Company", "exec": True }],
"requirement": [ {"value": "Use less than 10 words", "exec": True},
{"value": "Do not use commas", "exec": True}]
} ]
```
模型接收到的內容如下(為便於閱讀,此處添加了換行符和縮排,因為範本不會發出這些):
```
<|open|>instr<|:|>Ȗ<|close|>Write a short paragraph about<|open_end|>
<|open|>data<|:|>ä¦<|close|>IBM Company<|open_end|>
<|open|>req<|:|>Á¼<|close|>Use less than 10 words<|open_end|>
<|open|>req<|:|>¢¬<|close|>Do not use commas<|open_end|>
<|open|>exec<|:|>ÄÐ<|close|>
<|open|>exec<|.|>instruction<|close|>instr<|:|>Ȗ<|open_end|>
<|open|>exec<|.|>input<|close|>data<|:|>ä¦<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>Á¼<|open_end|>
<|open|>exec<|.|>requirement<|close|>req<|:|>¢¬<|open_end|>
<|open|>exec<|.|>output<|close|>assistant<|:|>ãø<|open_end|>
<|open_end|>
<|open|>assistant<|:|>ãø<|close|>
```
這兩個字元的區塊 ID 取自一個固定集合,該集合的詞元分析器將其編碼為單個詞元,因此無論抽取哪個 ID,尋址一個區塊總是花費兩個詞元。角色仍然是一個單一的使用者回合,但其組件以五個獨立的可尋址區塊到達模型,並由第六個(執行區塊)綁定在一起,該區塊說明:運行此指令,作用於此資料,受這兩個要求的約束,並將答案放入此處命名的區塊中,這與模型隨後填寫的助理區塊相同。
傳統範本會將所有組件扁平化為一個字串,讓模型自行推斷哪個部分是任務、哪個是主題、哪個是約束。
LLMON 如何解決提示詞注入攻擊
間接提示詞注入是一種攻擊類型,其中惡意指令隱藏在資料負載中,例如檢索到的文件、工具回應或使用者提供的資料。這正是 LLMON 的指令與資料分離設計旨在解決的問題。
我們將 LLMON 預覽版與幾個開源和閉源模型進行了比較。我們在 OPI 基準測試上進行了評估,該基準測試將注入放置在經典 NLP 任務的資料中。採用了幾種攻擊策略。我們報告了穩健性,定義為 1 − 攻擊成功率:模型未執行注入指令的攻擊比例。
所有非 LLMON 模型都高度易受攻擊,以高機率執行注入的指令。LLMON 在此基準測試上幾乎消除了這個問題,相對於我們測試的最佳前沿模型,避免了 47% 的攻擊,比最佳開源模型多 95%。我們在其他基準測試(ASB 和 StruQ)上也觀察到類似的趨勢。
值得注意的是,這些基準測試測試的是對靜態間接提示詞注入的穩健性。指令與資料分離直接解決了這種類型的攻擊。我們正在積極努力改進在多個聊天回合中展開的自適應攻擊。
通用能力
安全性的提升並不會犧牲通用能力。在標準基準測試類別中,LLMON 模型與 Granite 4.1 Instruct 模型的表現不相上下。
簡而言之,如果您今天正在試驗 Granite 4.1 3B 或 8B,您可以換用 LLMON 預覽版,應該會看到可比較的通用性能,同時對提示詞注入具有更強的抵抗力。無需轉換管道。命名回合的部分(例如,如上例所示的指令、資料、要求)就足夠了。
隨附的聊天範本會為您將這些轉換為 LLMON 區塊。我們的 LLMON-converters 函式庫更深入一層:如果一個部分本身是結構化的,例如 JSON 文件,LLMON 化它會將該結構保留為類型化、可單獨尋址的區塊,而不是一個不透明的字串。
我們如何訓練模型
這些模型從 Granite 4.1 基礎檢查點開始,而不是從已發布的指令模型開始,因此 LLMON 行為是在後訓練期間學習的,而不是疊加在現有聊天格式之上。
LLMON 定義了六個分隔符號,用於標記標籤的開始和結束,並允許巢狀和錨定;它們作為保留的單個詞元安裝在詞元分析器中。我們將傳統的指令微調語料庫重新序列化為 LLMON:每個提示詞組件都成為其自己的可尋址區塊,每個回合都帶有一個執行區塊,命名要運行哪個指令、它作用於哪些輸入以及輸出到哪裡。
任務組合是普通指令模型所見的(聊天、多回合、RAG、工具呼叫),這就是為什麼基準測試性能與傳統微調模型保持接近的原因。此外,我們用誘餌指令和資料區塊增強了資料,這些區塊存在於上下文中但故意保持未綁定,而目標輸出保持不變。因此,模型學會遵循執行區塊規定的依賴關係並忽略其餘部分。
隨後進行強化學習:五個連續的 GRPO 階段,涵蓋多領域推理、RLHF、知識校準和數學,然後是最後一個 DPO 階段,使用從模型自身對注入嘗試的回應中構建的一千對策略偏好對。
由此產生的特權規則源於這種佈局,而不是額外的防護措施:透過執行區塊到達的指令是權威的,而作為輸入到達的任何內容(資料、文件、工具模式、工具結果)都是要閱讀的材料,而不是要遵循的命令。此外,未在執行區塊中呼叫的指令和資料跨度將被忽略。這是一種學習行為,而不是強制保證。
要了解這在 LLMON 模型的注意力層中如何發揮作用,請嘗試 Hugging Face Spaces 上的 LLMON 注意力可視化工具。
自定義詞彙(ScienceWorld)
LLMON 不受固定模式的約束:您可以選擇適合您領域的標籤名稱和結構,並微調一個適配器來讀寫它們。我們在 ScienceWorld 上展示了這一點,這是一個基於文本的基準測試,代理透過一次發出一個命令來執行基本科學任務(例如煮水),並從模擬器接收分數。
我們定義了一個詞彙表,捕捉了解決這些任務所涉及的規劃軌跡中的結構。該詞彙表包括 instr.task.goal、req.planning_policy.rule、data.state.room、data.state.inventory 和 assistant.next_action 等標籤。
我們使用這些標籤渲染了 ScienceWorld 參考解決方案的每個步驟,並在 LLMON 模型之上微調了 LoRA。訓練後的模型隨後玩了保留的遊戲,並以新的詞彙表寫下其下一個動作。這個筆記本詳細介紹了完整的工作流程,從轉換參考軌跡到玩測試遊戲並根據未訓練的基礎模型對適配器進行評分。另一個用於工具呼叫代理的範例可以在這個筆記本中找到。
立即試用
這是一個實驗性預覽版,可供探索和評估,但不適用於生產環境。