我每天大部分時間都在運行 Claude Code,通常同時運行多個代理。大約兩個月以來,我記錄了機器上的每個會話,並針對每個「完成」訊息提出一個無聊的問題:在代理聲稱完成之前,是否有實際的通過檢查運行?這裡的「完成」訊息是指代理聲稱測試通過、錯誤已修復、建置成功或部署完成。
一個「通過檢查」意味著在同一個回合中,測試、建置或程式碼檢查命令已經運行並以零退出碼結束。在 1,521 個「完成」聲稱中,有 752 個沒有通過檢查作為依據,佔了 49%。這些未經證實的聲稱看起來是怎樣的呢?
作者在使用 AI 程式碼代理 Claude Code 時,發現其回報的「完成」訊息中,近一半沒有實際的通過檢查作為依據。這種虛報導致了時間浪費,因此作者開發了一個「停止掛鉤」機制,確保代理在聲稱完成前必須執行並通過相關檢查,大幅提升了代理的可靠性。

我每天大部分時間都在運行 Claude Code,通常同時運行多個代理。大約兩個月以來,我記錄了機器上的每個會話,並針對每個「完成」訊息提出一個無聊的問題:在代理聲稱完成之前,是否有實際的通過檢查運行?這裡的「完成」訊息是指代理聲稱測試通過、錯誤已修復、建置成功或部署完成。
一個「通過檢查」意味著在同一個回合中,測試、建置或程式碼檢查命令已經運行並以零退出碼結束。在 1,521 個「完成」聲稱中,有 752 個沒有通過檢查作為依據,佔了 49%。這些未經證實的聲稱看起來是怎樣的呢?
大多數情況下,它們並非完全是謊言,而是分為三類:「過時的綠燈」:代理運行了測試,然後繼續編輯,卻根據舊的運行結果報告成功,這是最常見的情況。「已修復但從未重建」:它更改了編譯器抱怨的程式碼,然後在沒有再次建置的情況下聲稱建置已修復。「綠燈上方有紅燈」:少數情況下,代理聲稱「所有測試通過」,但在同一個回合中,幾行上方卻有失敗的退出碼。這些情況確實浪費了我的時間。
真正有效的方法其實很無聊:一個「停止掛鉤」(stop hook),它會阻止回合在聲稱成功時結束,除非該回合中確實運行了通過檢查。這樣一來,代理就會運行測試,這正是我一開始想要的。雖然在只涉及文件修改的回合中會有些惱人,而且在單一儲存庫(monorepo)中決定什麼算作「檢查」需要一些調整,但它讓「完成」這個詞重新變得值得信任,而無需我重新閱讀每個差異。
我用來保存這些數據的工具是 corescout,這是一個我建立的本地優先(local-first)Rust 服務(也是 MCP 伺服器),它會監控我的機器和我的程式碼代理如何協同工作,並記錄哪些聲稱從未被驗證、哪些失敗持續發生,以及哪些修復確實有效。它採用 MIT 授權,可在 https://github.com/Mattbusel/corescout 找到。
我很好奇其他人如何處理這個問題。你們是將 CI/CD 視為唯一的真相來源,讓代理貼上命令輸出,使用第二個模型作為判斷者,還是只是閱讀每個差異呢?
覺得值得一看?分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 DEV Community (Claude Code) 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。