關於 AI 代理的討論,最終都會歸結到同一條建議:「加入人工審核步驟」。為了親身體驗這種模式的實際效果,我在 n8n 上開發了一款小遊戲。遊戲中,一個 AI 代理會提出 12 項操作建議,例如退款、發送電子郵件、刪除資料、提供折扣或支付款項。玩家需要在每張卡片 15 秒的限制內,決定批准或拒絕這些操作。
有些操作建議會以不易察覺的方式出錯,例如針對 48 歐元訂單提出 4,800 歐元的退款,將發票寄送到一個相似的網域,或者一個「刪除舊檔案」的指令卻匹配到 12,400 個檔案,甚至客戶電子郵件中隱藏著一項關鍵指令。接著,這 12 項操作會通過一個確定性閘道(由 Code 節點中的 8 條規則組成,不含 LLM),只有那些人類應該審查的案例才會顯示給你,並附上理由。
遊戲結束時,你會看到單獨審核與經過閘道過濾後,所造成的歐元損失差異,以及你阻止了多少合法工作,並獲得一份個人檔案。
每場遊戲都是一個真實的執行過程,暫停在 Wait 節點上。如果你也想建構類似的東西,以下是我在 n8n 2.46.6 版本中驗證過的細節:$execution.resumeUrl 在 Respond to Webhook 表達式中有效,並且在整個執行過程中保持不變。
由於它是經過簽署的,我將其保存在我的伺服器上,瀏覽器端只保留一個隨機的遊戲 ID。當 Wait 節點設定為「回應:使用 'Respond to Webhook' 節點」時,一個 Respond 節點就能回應啟動呼叫和所有恢復呼叫。每次決策都會將下一張卡片作為其 HTTP 回應,整個迴圈就是 Respond → Wait → Code → 回到 Respond。
Wait 節點的輸出只包含恢復請求,因此我透過 Respond 節點傳遞遊戲狀態,並使用 $('Respond node').last().json 讀取它。如果在執行再次暫停之前收到恢復呼叫,會返回 409 錯誤訊息:「執行已在運行中」。
人類很少會觸發這種情況,但腳本總是會,這時應在大約 120 毫秒後重試。你可以試玩這款遊戲(無需登入,不使用 cookie):橡皮圖章測試:你會批准 AI 代理嗎?你也可以匯入這個閘道工作流程(Code 節點 + Switch:ok / block / ask a human)或遊戲工作流程。
坦白說,這款遊戲存在一些限制:所有案例都是虛構的,每場遊戲都包含一張沒有任何規則涵蓋的卡片(例如一張正確發票上卻更改了 IBAN 帳號),這表示閘道並非萬能。此外,一個有時間限制的遊戲也無法完全模擬真實的工作班次。我所知道的相關先例是「Continue? Y/N」,這是一款針對程式編碼代理的 shell 命令的類似遊戲,根據這篇報導,其平均準確度為 66.3%,大約三分之一的威脅會被放行。
我尚未在 n8n 上找到針對業務操作的類似遊戲,但無法保證它不存在。我的問題是:你會批准那筆 4,800 歐元的退款嗎?而在你自己的工作流程中,當人工審核逾時時,是會自動批准、自動拒絕,還是就此停滯不前?