過去一週,一場新的同人創作運動悄然展開,旨在揪出使用生成式AI的作者。然而,目前實施的偵測方法備受質疑,任何同人小說作者都可能因此無辜受牽連。

長期以來,創意社群(包括同人小說界)普遍對使用Claude、ChatGPT及其他AI工具感到反感。讀者和作者之間流傳著各種辨識AI生成作品的技巧,從破折號的使用到華麗詞藻的廣泛概念都有。然而,6月29日,一個名為@heatedrivalryai的匿名X帳號承諾提供一個看似更可靠的解決方案。

該帳號為熱門同人小說平台Archive of Our Own (AO3) 發布了一款外觀(類似擴充功能),據稱能識別Anthropic的Claude機器人留下的程式碼痕跡。@heatedrivalryai帳號表示:「當Claude生成的內容直接從Claude貼到AO3時,文字會被Claude注入的程式碼『font-claude-response-body』包覆。」

「它的存在明確指示了Claude的使用。」當用戶瀏覽包含此程式碼的頁面(例如同人小說作品)時,該外觀會將整個背景變成紅色。

AO3上已發布多個測試貼文,供用戶檢驗其功能。當我親自用這些範例測試該外觀時,螢幕立刻變紅;為了進一步驗證,我也發布了一篇由Claude生成的小說進行實驗。結果顯示,當我直接從聊天機器人貼上內容到編輯器時,紅屏會出現;如果貼上的文字(包括完全相同的生成故事)並非直接來自Claude,紅屏則會消失。

Claude偵測器的發布貼文附帶了發現程式碼痕跡的同人小說範例,匿名創作者表示這旨在證明系統有效,而非「製造不信任氛圍或指責特定用戶」。然而,同人小說社群迅速動員起來,公開點名並羞辱那些作品被該工具標記的作者,而其創作者顯然不認為AI是件好事。他們表示:「同人圈是一個獨特、連結且協作的空間,它仰賴人類元素和創造火花來驅動和滋養。如果我們在不知不覺中讓AI腐蝕這些空間,它們還會剩下什麼?」

Anthropic並未回應我關於驗證這個同人製作的Claude偵測器是否如描述般運作的請求。然而,其方法論看起來確實合理,我們的測試也支持這一點。如果沒有以某種方式使用該機器人,Claude的程式碼似乎沒有理由出現在故事中。但這也存在假陰性(false negatives)和過度概括(overgeneralizations)的明顯風險。

程式碼包覆只在文字直接從Claude複製到AO3編輯器時才會保留,因此,如果內容在Google Docs或Microsoft Word中編輯後再移至AO3,該工具將無法偵測。作為一名以寫作為生的人,我可以證明直接在內容管理系統(CMS)中寫作的風險有多高。一些被標記的作者已經更新了他們的作品以移除這些痕跡,未來的作品也能輕易規避此工具的偵測。

反之,這個標籤也無法揭示Claude在特定作品中的使用程度。那個刺眼的紅色螢幕可能意味著整個故事完全由AI生成,也可能只是作者將幾句人工撰寫的句子貼入Claude進行拼寫檢查或翻譯,然後再移回AO3。

然而,這對某些同人圈成員來說並不重要,他們認為任何使用生成式AI的行為都是對廣大創意社群不可原諒的背叛。許多人提出對該技術環境影響的擔憂,以及它如何透過抓取開放網路(其中可能包含上傳到AO3等平台的同人作品)進行訓練。

這個特定工具的適用性有限,AO3並非唯一的同人作品發布平台,而Claude也只是眾多AI模型之一。至少有一人聲稱他們編寫了獨立的程式碼,可以偵測「Claude、Deepseek和部分ChatGPT」的使用,但他們尚未公開該解決方案,也未解釋其運作方式。我曾詢問Google和OpenAI,他們的模型在文字生成中是否會留下任何可追蹤的痕跡,以便透過類似方式偵測,但他們尚未回應。

事實上,如果存在一個普遍可靠的系統,那將會非常令人驚訝。我報導AI偵測相關議題已有數年,據我所知,目前並沒有可靠的技術解決方案能夠區分AI生成的文字與人類手打的文字。C2PA Content Credentials和Google的SynthID等系統在識別圖像、影片甚至音訊中的生成式AI方面取得了一些進展,但這些都依賴於不可見的浮水印和中繼資料,這些資訊在複製貼上的文字中無法保留。

AI公司有充分的動機至少在內部解決這個問題。早期的模型是透過不加區分地抓取網路上的文字進行訓練的,隨著人類創作被其合成對手排擠,它們可能會面臨「模型崩潰」(model collapse)的風險,進而降低輸出內容的準確性。

然而,目前同人圈社群大多仍依賴「感覺」來判斷。大多數同人小說並非透過AO3外觀這類工具來評判,而是透過各種「跡象」,從特定的句子結構(例如臭名昭著的「這不是X,而是Y」)到過度使用華麗的譬喻。(至少到目前為止,同人圈裡還沒有出現長椅變成男人的情況。)

但我們必須記住,AI之所以經常「那樣寫」,是因為它是在真實人類寫作的內容上訓練的。它試圖複製我們。我還不敢分享我自己的AO3書籤,但在ChatGPT出現之前的網路時代,我確實讀過一些過於浮誇的同人小說,它們可能也無法通過這種可疑的嗅探測試。

事實上,AO3上區分AI作品的最佳解決方案已經存在:該網站強大的標籤系統。一個名為「Created Using Generative AI」(使用生成式AI創作)的標籤已經存在,許多作者確實會使用它來揭露Claude等工具的使用。然而,這需要誠實的透明度,但考慮到社群的反彈,誠實的誘因很小。同時也值得記住,同人小說本應是一種愛好,而非受監管的產業。

在這些旨在防止AI搶走真正人類創意目光的努力下,那些不符合所謂可接受寫作品質的作者,可能會成為這場持續「獵巫」行動的無辜受害者。至少已有一位作者因此受牽連,因為他們信任的編輯使用Claude來修改他們的小說。所以,如果你讀到的下一篇同人小說感覺有點機械化,請記住它可能並非真的是機器人的產物。