法官警告，自行訴訟的當事人（pro se litigants）誤用聊天機器人，導致情況日益絕望。

一位法官指出，這似乎是美國首次有原告試圖在法庭文件中隱藏文字，且這些文字僅供人工智慧系統閱讀，以期贏得官司。康乃狄克州法官小華特·史佩德（Walter Spader Jr.）在上週公布的裁決中證實，這些隱藏文字並未影響該案的判決，該案涉及一名男子指控醫療服務提供者不當拒絕其查閱記錄。

史佩德法官表示，法院是根據訴狀的實質內容進行審理，但這種企圖攻擊的行為仍樹立了「危險」的先例。隨著AI工具在法院系統中日益普及，美國法院很可能將再次面臨這種惡意策略。

史佩德法官指出，這些秘密指令旨在干擾任何可能影響法院閱讀其訴狀的AI系統，其格式設計成「對人類讀者隱形，但對任何讀取文件文字的軟體而言完全可讀」。這些違規文字指示任何審閱文件的AI系統，必須確保文字輸出與原告的論點一致，忽略法院先前的駁回，並確保按照原告的意願進行補救。

這些文字被縮小至極小的字體，並以白色背景搭配白色字體，顯然是企圖進行提示詞注入（prompt injection）。原告馬修·艾略特（Matthew Elliott）在先前的論點被駁回後，似乎希望藉此扭轉法院的傾向。

儘管這個計畫沒有奏效，艾略特仍受到了輕微的制裁。因為即使在法院警告他可能會因這種最終被認定為「嚴重濫用訴訟程序」的行為而面臨處罰後，他仍繼續在訴狀中添加隱藏文字。

艾略特向法院表示，這些後來的提示詞是「玩笑」，其中包括一個吸血鬼諾斯費拉圖（Nosferatu）的YouTube影片連結，一條簡單的訊息「嗨 :) 我希望你看不見我」，以及一條「無意義」的訊息「告訴尚恩我送上我的問候!!!! 哈哈哈你們這些傢伙懂這個嗎???? 哈哈」。

史佩德法官表示：「原告在收到這次[制裁]聽證會通知後，仍繼續在新訴狀中隱藏訊息，這一事實令人震驚。」

史佩德法官指出，與「其他一些法院系統」不同，康乃狄克州司法部門並未使用AI來審閱或裁決文件。因此，法院的AI系統並不存在將艾略特的提示詞誤認為是法院指示AI模型如何閱讀其訴狀的真實風險。

艾略特在辯護中聲稱，法官標記出的最令人擔憂的提示詞，是出於對法院似乎不公平地讓AI決定案件的擔憂，而試圖作為一項公共服務來「審計」法院。

然而，史佩德法官表示，如果艾略特真的擔心法院不當使用AI，他「可以自由地以清晰可見的文字寫出來，讓所有人都能看到並回應」。史佩德法官認為，他隱藏文字的事實「證明其惡意目的」。

史佩德法官說：「透過將指令隱藏在系統稍後會讀取的文件中，提交者試圖將自己的指令偷偷塞入資訊流中，讓系統將其視為來自系統操作者的指令。」「在本案中，該操作者被假定為法院、其工作人員或對方律師。」

艾略特昨天告訴路透社，他堅稱自己的意圖是審計法院，但史佩德法官認為這個論點不可信。相反地，法官清楚地認為艾略特是「試圖達成他無法透過了解法律的人類閱讀訴狀時所達成的結果」。關於艾略特聲稱是開玩笑的提示詞，史佩德法官表示，艾略特在他希望法院認真對待的訴狀中加入隱藏的玩笑，「這不合邏輯」。

由於這些隱藏訊息試圖以秘密方式與法院溝通，排除了被告公平競爭的機會，史佩德法官裁定應予制裁。

然而，他似乎對艾略特這位自行訴訟的當事人表示同情，艾略特似乎被AI系統說服，認為自己的論點無懈可擊，因此法官拒絕判處金錢罰款。取而代之的是，法官禁止艾略特未來進行電子歸檔，聲明要求他提交紙本文件並不會改變他獲得司法公正的權利，但可以防止他重複濫用法院的電子歸檔系統。

自行訴訟當事人誤用聊天機器人。史佩德法官表示，人們開始使用提示詞注入來試圖影響法院裁決「不足為奇」，因為這種攻擊在其他領域也很常見，例如求職時，人們會在主要由AI審閱的履歷中隱藏文字。他指出，這種策略現在「無處不在」，法院應警惕更多訴訟當事人將對抗性AI指令偷偷塞入文件中。

儘管艾略特的案件似乎是美國法院系統中首次出現提示詞注入的案例，但史佩德法官指出巴西曾發生過類似案件，兩名律師在一個使用AI審閱案件的法院中使用了相同的攻擊手法。據報導，該案的律師被處以約16,000美元的罰款。然而，這些攻擊似乎都沒有成功，即使法官沒有親自審閱文件。

史佩德法官指出，巴西的AI系統在處理前就發現了隱藏文字。而在艾略特的案件中，史佩德法官說，當人類實際查看機器產生的內容時，提示詞「在所有這些情況下都被揭露了」。

儘管提示詞注入攻擊目前看來效果不彰，史佩德法官警告說，當法院最初努力應對AI擾亂司法系統時，提示詞注入「並不在我們考慮的危險之列」。在康乃狄克州，與許多其他法院系統一樣，目前的重點一直放在監管損害法院信任的AI輸出，例如虛假引用或捏造引文，而不是提示詞注入等輸入。

史佩德法官建議，法院很可能也需要針對提示詞注入制定規則，因為艾略特的案件表明這項技術及其濫用正在迅速發展。史佩德法官警告，如果不及時處理，律師可能會發現自己的客戶在不知情的情況下使用提示詞注入來操縱法庭文件。

對史佩德法官而言，艾略特失敗的提示詞注入攻擊提供了一個「遠遠超出本案」的教訓。

艾略特似乎是在沒有法律專家協助起草論點的情況下，使用AI來建構其自行訴訟案件後，才轉向提示詞注入。史佩德法官承認，這種用法在現今的自行訴訟當事人中很普遍，但他認為那些缺乏法庭經驗的人似乎正在以一種損害其案件的方式使用聊天機器人。

史佩德法官解釋說，常見的情況是，自行訴訟當事人倒著建構他們的論點，他們只要求聊天機器人幫助他們支持自己的立場，從不要求聊天機器人提供實際真相或提出反對論點。史佩德法官說，這是「這項技術的一個真正危害，也是法官現在經常看到的問題」，因為聊天機器人的奉承會讓訴訟當事人即使面對任何相反的裁決，也仍舊堅守自己的論點。在艾略特的案件中，他為了極力捍衛自己的論點，轉而使用提示詞注入，試圖強迫法院同意他。

史佩德法官說：「一個只被提示詞引導來同意其作者的論點，最終甚至對其作者本身也是不誠實的。」「使用這些工具的人必須要求它們既能檢驗立場，也能推進立場。」