這是「採用 RAG,透過累積的判斷力發展你的 AI」系列文章的第二部分。本系列內容包括:加入 RAG:儲存你的判斷力並發展你的 AI,以及 RAG 應該檢索什麼,索引又該回答什麼(本文)。我們的 RAG 針對同一個問題,給予兩份架構決策記錄(ADR)的相似度分數分別是 0.726 和 0.713,這兩份記錄分別是關於儲存庫之間傳遞工作的現行規則,以及部分被取代的舊規則。兩者之間僅有 0.013 的微小差距,單從這些數字無法判斷哪一個仍然有效。
當問題使用舊決策本身的措辭時,情況會變得更糟。在我們的範例中,一個以已替換記錄標題措辭的查詢,只向 AI 提供了該已替換的設計記錄。關於同一主題的三份現行記錄並未被列出,而且注入的內容也沒有任何提示表明該記錄已過時。
這是系列文章的第二部分。第一部分介紹了 RAG 的設定:每當我在 Claude Code 中發送訊息時,一個掛鉤會根據語義搜尋我的筆記、過去的對話以及我們的共享規則,並在 AI 回答之前將最相關的幾項提供給它。以下是我們如何阻止它將已替換的決策誤傳為現行決策的方法。
簡而言之,相似度搜尋的是相關性,而非有效性。一個已被替換的決策,其相似度分數可能與取代它的決策幾乎一樣高。索引則負責回答「哪一個是現行的?」這個問題。它是一個 ADR 列表,我們在每次呼叫時都根據一個固定規則重建,這在之前的文章(過多的 ADR 導致我們的 AI 遵循過時的決策)中已有提及。
RAG 會繼續搜尋,並用索引的答案標記每個 ADR。因此,一個已被替換的記錄會以「⚠️已取代 → 繼任者」的形式呈現,而不是看起來像是現行的。
兩個難以區分的相似度分數。我們過去曾透過 Asana 看板在儲存庫之間交接工作。此後,我們已將其轉移到我們自己的服務 usesources。新的交接記錄記載了這次轉移;舊的看板記錄則是它部分取代的內容。兩者在相似度排名上都位居前列,僅有微小差異。相似度分數衡量的是兩段文字在語義上的接近程度。記錄是否已被替換從來都不是輸入參數。單靠排名無法區分新舊資訊。
標記前後的同一份記錄。我們將每個設計決策都作為 ADR 保存,並且當決策改變時從不刪除舊的;新的記錄會聲明它取代了什麼。我們內部使用的 Claude Code 外掛套件 ELN workflow 擁有 191 份 ADR。其中 18 份不是現行的(已取代、提議中或已拒絕),另有 8 份是部分取代。
RAG 會搜尋所有這些記錄。為了清楚地展示問題,下面的查詢是根據一份已取代的 Amplify 記錄標題來措辭的,並且相同的選定項目在修復前後的程式碼中執行。
修復前:一行看起來像政策的普通文字。該 Amplify 記錄已被另一個儲存庫中的規則(在 GitHub 自託管執行器上運行建構)所取代。如果 AI 僅根據這行文字及其描述進行判斷,而沒有打開記錄,它可能會將我們不再使用的決策視為現行決策。(打開內容會觸發之前文章中提到的閱讀時警告。)儘管標頭確實寫著「參考,而非指示」,但一份已被取代的 ADR 比一份舊筆記更危險:它可能與其後的決策完全矛盾。
修復後:同一行文字以「⚠️已取代 → 外部」開頭。「外部」表示繼任者存在於另一個儲存庫中。索引可以返回的每個狀態都對應一個標記:索引狀態 AI 看到的標記 現行 無 已取代 ⚠️已取代 → 繼任者 部分取代 △部分取代 → 繼任者 提議中 △提議中(未批准) 已拒絕 ⚠️已拒絕 已棄用 ⚠️已棄用 無法決定 狀態未知(從不顯示為現行)
為何這樣建構?為何不直接捨棄已取代的記錄?因為關於舊決策本身的問題仍然應該能夠找到它,而且標記會指出繼任者,這樣 AI 就能找到前進的路徑,而不是出現資訊斷層。我選擇了標記而不是隱藏。為何不在 RAG 內部進行快速的「這是否已被取代?」檢查?
因為這會是針對索引已回答的問題的第二條規則,而兩條規則可能會產生分歧。RAG 會呼叫索引本身的解析器。當索引的規則改變時,標記也會隨之改變,並且會有測試來檢查兩者是否一致。
為何要讀取每個檔案來判斷一個?一份記錄本身並不知道它已被取代。這是在另一份記錄聲明「這取代了那一份」時才決定的。因此,RAG 會載入整個資料夾,並將結果快取在每個檔案名稱和內容的雜湊值下。我們不使用修改時間,因為複製或還原可能會保留舊的時間戳記,而且將「已接受」翻轉為「已拒絕」甚至不會改變檔案大小。在發布之前,我們測量了冷載入時間,確保它符合掛鉤的兩秒限制。
如果內容不符怎麼辦?注入的內容上限為 2,048 位元組。描述會首先縮小,直到消失。但標記永遠不會縮小。如果一行內容仍然不符合,整行都會被捨棄,因為一份沒有標記的已取代記錄會看起來像是現行的。
哪些內容沒有狀態標記?只有設計記錄會從索引中獲得其狀態標記。這就是 AI 針對 Asana 查詢所收到的內容。第一行是我們發布舊看板時的記憶筆記。它沒有狀態標記,這是故意的。記憶筆記記錄的是當時發生的事情。它沒有「被取代」欄位,因此唯一能給它狀態標記的方法就是讓 RAG 猜測它是否過時,這又會回到第二條規則的問題。過去的對話也以同樣的方式處理。注入內容中的舊筆記是提醒,而不是現行規則。
直接詢問索引。詢問索引關於 Amplify 建構的資訊,一個指令會顯示四份記錄:三份現行,一份已取代。打開已取代的記錄會指出其替代者。這些資訊都無法從 RAG 提供的單行內容中看出。注入內容中沒有,不代表儲存庫中沒有。
問題 詢問原因 這可能與什麼相關? RAG 它匹配語義,即使措辭不同 哪個決策是現行的? 索引 只有一個正確答案,錯誤的代價高昂 什麼取代了什麼? 索引 它遵循記錄的聲明,依固定規則 有多少個,是否有遺漏? 索引 RAG 只返回最相關的幾個 實際上,AI 在每條訊息中都會收到幾份相關記錄。其中任何 ADR 都會帶有其狀態;一個標記會將其指向繼任者,當它需要現行規則時,它會運行索引指令。
總結。相似度是 AI 如何記住你幾個月前做出的決策,即使你今天用不同的方式描述它。但它不應該是 AI 判斷該決策是否仍然有效的方式。如果你儲存自己的判斷力夠久,其中越來越多的部分將是你已經替換掉的判斷,因此請將這個問題交給能夠精確回答它的東西。
術語。RAG:檢索增強生成。在 AI 回答之前,某個系統會搜尋你自己的記錄並將最相關的記錄提供給它。在本系列中,我們稱之為記憶召回功能。ADR:架構決策記錄,每個設計決策及其原因一份文件。每份文件都以狀態(已接受、已修訂、提議中、已取代、已拒絕)開頭,並包含其取代內容和被取代內容的欄位。
索引:現行 ADR 以及哪些取代了哪些的列表,每次呼叫時都根據一個固定規則從這些欄位重建,並透過 eln-adr 指令查詢。它不是第一部分提到的嵌入索引。
關於圖表。所有四張圖表都是 RAG 指令 (recall.py) 和索引指令 (eln-adr) 在我們儲存庫中實際運行的輸出,這些指令是手動呼叫而非透過掛鉤,並以終端機形式呈現,文字除了下一節列出的內容外未經修改。以 # 開頭的灰色行和以 $ 開頭的指令行是我們添加的說明文字,並非工具輸出。
查詢措辭是為本文選擇的,以匹配已取代記錄的標題。第一張圖表的「之前」部分是修復前版本的程式碼所呈現的相同選定項目。圖表省略或替換的內容。這些工具只列印日文,因此在這些英文圖表中,日文文字(包括查詢)已替換為英文翻譯;記錄編號、分數、檔案名稱(除了下面的遮罩外)和行順序均未改變。
指令路徑已縮短。注入標頭中的內部編號已移除。內部儲存庫名稱已替換為 <plugin> 和 <in-house standards>,對話 ID 已替換為 <conversation>。命名內部機制(對話標題、設計記錄標題、描述和檔案名稱、記憶名稱和描述,以及腳本和掛鉤名稱)的標題和描述已用 ■ 遮罩。
在本系列中,我逐步展示如何將自己的決策和規則儲存為記錄,並使用 RAG 讓 AI 每次都從中獲取資訊,包括我們的實作和測量結果。如果這對您有幫助,請點讚並追蹤。我們的產品列於 https://www.eln.ne.jp/products。EarthLink Network 建立自己的產品,以 AI 驅動整個公司,每個產品都源於過程中的需求。
查看我們建立的所有產品索引:→ EarthLink Network 內部建立的 18 種產品。有關公司和每個產品的更多資訊,請訪問 www.eln.ne.jp。