上次,我的規劃器消耗了 15.6 萬個代幣,佔用我視窗的 78%,只為規劃一個功能。如果我要求它規劃同一頁面上的下一個功能,它會從頭開始再次掃描整個頁面,彷彿頁面可能在一夜之間發生了變化。
六個月後,我的代理們就像一個真正的 D&D 冒險隊伍,有規則書、偵察兵、預算有限的牧師,而我則扮演 DM,批准每一個重大行動。這篇文章將說明我的 Playwright 代理、圍繞它們的技能和指令,以及將 Jira 任務轉化為測試的流程,都發生了哪些變化。
作者分享了過去六個月來如何改進其基於 Claude Code 的 Playwright 自動化測試代理,以解決高代幣消耗和效率低下的問題。透過將代理專業化、實施人類審核機制,並將規則編入程式碼,他們大幅提升了測試流程的穩健性和效率。這些改進讓自動化測試更像一個協同合作的團隊,而非單一的笨重工具。

上次,我的規劃器消耗了 15.6 萬個代幣,佔用我視窗的 78%,只為規劃一個功能。如果我要求它規劃同一頁面上的下一個功能,它會從頭開始再次掃描整個頁面,彷彿頁面可能在一夜之間發生了變化。
六個月後,我的代理們就像一個真正的 D&D 冒險隊伍,有規則書、偵察兵、預算有限的牧師,而我則扮演 DM,批准每一個重大行動。這篇文章將說明我的 Playwright 代理、圍繞它們的技能和指令,以及將 Jira 任務轉化為測試的流程,都發生了哪些變化。
第一個改進根本不是代理本身。CLAUDE.md 最初是一個巨大的檔案,包含整個框架,每次會話都會載入所有內容,就像在任何人擲骰子之前大聲朗讀整本《玩家手冊》一樣。
然而,生成器需要的資訊不只是框架的摘要,它還需要知道我實際編寫程式碼的方式,也就是資料夾結構。所以我將其拆分了。現在根目錄的 CLAUDE.md 是一個簡短的指標表,每個資料夾都有自己的指南,只有當 Claude 在該資料夾工作時才會載入。
api/ 指南解釋了我如何將端點視為頁面物件,因此生成器會以建立頁面的相同方式建立 API 客戶端。tests/ui/ 指南涵蓋了我用於 UI 測試的三檔案模式,而 tests/api/ 則涵蓋了單例客戶端和輔助規則。這也節省了代幣,這是一個關於如何減少 Claude Code 代幣消耗文章(連結如下)中最好的建議。
根目錄從 12,306 個字元減少到 5,177 個字元,減少了 58%,每次會話大約節省了 1,790 個代幣。這不會讓人致富,但無論我發送 2 條訊息還是 200 條訊息,每次會話都會節省下來。這是一種稅收減免,而不是優惠券。每次會話,當 CLAUDE.md 在做任何事情之前都必須讀取整個框架時,就是如此。
我最初有三個代理,它們都驅動瀏覽器,並且都做一點點所有的事情。現在每個代理都有一個類別,並且隊伍更大了:
| 代理類別 | 職責 |
|---|---|
| 頁面映射遊俠 (Page-mapper Ranger) | 掃描頁面一次,並記錄每個控制項、URL 參數、驗證訊息和空狀態 |
| UI 規劃巫師 (UI planner Wizard) | 讀取地圖並撰寫最佳計畫。從不觸碰瀏覽器。 |
| 手動測試撰寫吟遊詩人 (Manual test writer Bard) | 根據批准的計畫將手動測試步驟寫入 Xray。一位新同事建立的,我將其整合到流程中。 |
| UI 生成戰士 (UI generator Fighter) | 將批准的計畫轉化為定位器、頁面物件和規格 |
| 治療牧師 (Healer Cleric) | 修復損壞的定位器,每個測試有三個法術位 |
| API 規劃技師 (API planner Artificer) | 從任務單規劃 API 覆蓋範圍 |
| API 生成盜賊 (API generator Rogue) | 根據該計畫撰寫 API 規格 |
遊俠是最大的改變。在頁面映射器出現之前,規劃器每次規劃時都會自行偵察每個房間,這就是為什麼一個功能會佔用我視窗 78% 的原因。現在地圖會寫入 .claude/pages/ 一次,之後的每個計畫都只會讀取它。
這讓規劃器只有一個工作:制定最佳計畫,將所有注意力集中在哪些值得測試,而不是四處點擊。我第一次在一個真正的任務單上嘗試了它,一個匯出抽屜。我尚未映射的頁面會得到 test.fixme() 而不是猜測,這就像遊俠說「還沒去過那裡」,而不是巫師發明一個樓層平面圖。我寧願要一個誠實的空白,也不要一個自信的假象。
在 API 方面,我的老闆建立了第一個生成器,一個聖騎士,每次行動都必須呼喚更高的力量。它將一個 Jira 任務單連同一個關於如何規劃的 Markdown 檔案發送到 Claude API。當我們為每個 QA 人員都使用一個 Claude Code 實例時,我將其拆分為兩個。
一個技師負責規劃,因為 API 規劃是隊伍中最技術性的工作,而一個盜賊則負責撰寫規格。Anthropic SDK 徹底離開了專案,現在所有思考都由 Claude Code 完成。
交給它一個 Jira 任務單鍵,它做的第一件事就是透過 API 拉取任務單並撰寫一份簡報。這份簡報就是任務簡報:任務單的需求、驗收標準,以及儲存庫中已有的 API 客戶端。這樣巫師在規劃任何事情之前就知道隊伍的庫存中有什麼。
將它指向一個史詩級任務,它也會拉取所有子任務。它會刪除重複項並為整個戰役撰寫一份簡報,分為 API 和 UI。從那裡它會執行一個流程,在我批准之前,任何東西都無法通過檢查點。
代理們可以隨意擲骰子。在任何自動化程式碼被撰寫之前,我會批准計畫和手動測試。有時需求本身是錯誤的。它可以在開發過程中毫髮無損地通過,如果沒有人閱讀計畫,代理們將會撰寫一個證明錯誤完美運作的測試。
手動測試是故意的優先。將步驟寫入 Xray 案例為我們的報告提供了真實的步驟。手動測試和自動化都來自相同的計畫,因此當我們將它們綁定在一起時,它們會保持一致。它們還讓人們面對功能。人類的眼睛仍然能捕捉到 AI 從未想過要尋找的東西。
generate-tests 技能會執行所有這些,在簡報之後它會停止並等待我的確認。我還在規劃器和生成器中都寫了一條規則,在撰寫測試之前檢查測試是否已經存在。所以當戰士出現清理房間時,巫師可以告訴他房間已經被清理過了。我寧願聽到這個,也不願審查一個我只會刪除的重複測試。
計畫也變得更嚴格。每個情境都像手動測試一樣,並命名其 Xray 資料夾,這遵循命名規則,而不是某人那天隨意輸入的內容。生成器會將真實的 Xray 鍵寫入每個自動化測試中,因此當一個測試失敗時,它會直接指向它來自的手動測試。
上次我寫了一篇關於過濾器測試的文章,它檢查了 URL 但從未檢查表格。那是我的錯,是糟糕的提示詞而不是糟糕的代理。從那以後,Nima Parvathy 和我在實際使用中不斷遇到失敗,每個失敗都變成了代理中的新規則:
不要將斷言包裝在會悄悄讓缺失資料通過的防護中。不要將 test.skip() 隱藏在條件語句後面,以免無人發現。輪詢最終一致的資料,而不是等待固定的時間。使用真實的分頁回應形狀,絕不猜測欄位名稱。當計畫和 Jira 任務單不一致時,斷言任務單要求什麼。
最後一條是最大的,Nima 和我都在不同的時間添加了它。這就像書面規則與發誓自己擲出 20 點的玩家之間的爭論。測試的目的是證明需求得到滿足,而不是證明程式碼做了程式碼所做的事情。如果計畫與任務單的需求不同,代理就不能遵循計畫。
它會斷言驗收標準,讓測試失敗,並將差異報告為可能的錯誤。當我在公開重建此設定時,計畫審查正好捕捉到了這一點。一個測試預期頁面顯示的「訂單已下達!」文字,而不是網站自己文件描述的訊息。另一個接受了空的搜尋結果,因此即使搜尋功能完全損壞,它也會通過。兩者都會是綠色的。現在兩者都在應該失敗時失敗了。
有趣的地方來了。提示詞中的規則是內部規則,只有當桌上的每個人都記住它們時才有效。在公開重建中,我將所有能移動到 lint 的規則都移動了,因此序列模式、跳過的測試、XPath、固定等待和 .nth() 都無法通過 npm run lint。任務單優先的規則不能放在那裡,因為 lint 無法判斷預期值來自何處,所以那條仍然需要 DM 閱讀計畫。
十月,我開始處理定位器。生成器和治療器現在共享一套規則:錨定在穩定的容器上,使用 getBy* 方法作用於元素,並且絕不使用 XPath、類別名稱或 .nth()。類別名稱不會每次建置都改變,但它們可能會改變,當一個改變時,所有基於它的定位器都會同時失效。
生成器還會將範圍限定在重複相同結構的頁面上的正確行或卡片,而不是抓取它找到的第一個匹配項。治療器每個測試有三次嘗試機會,然後它會停止。如果沒有這個限制,它會不停地運行,追逐一個不穩定的定位器,卻始終找不到一個。
如果它在三次嘗試中無法找到一個穩定的定位器,測試就會得到 test.fixme(),並附上說明它嘗試了什麼的註解,然後由我接手。三次法術位,然後長時間休息。有時隊伍中沒有人真正受傷。
公開重建針對一個共享的演示網站運行,在預設的工作者數量下,有 19 個測試失敗。其中八個是真實的發現,網站與其自身文件不符,其餘大部分是網站回應「503 負載過重」。將工作者數量限制在 2 個將過載失敗從 11 個減少到 2 個。
一旦我停止了煙霧測試運行兩次,剩下的失敗就只有 7 個發現。治療器會在所有這些 503 錯誤上消耗法術位,而真正的問題卻是地城天花板。沒有人會為一個演示網站上的演示測試報告性能錯誤,所以配置保持固定為兩個工作者,代理們在歸咎於定位器之前會檢查 503 錯誤。
然後我們的 UI 開始拆分為插件,每個插件都有自己的 Playwright 儲存庫。隊伍不能再住在一個儲存庫中,所以我將它打包成一個 Claude Code 插件,任何測試儲存庫都可以安裝。它攜帶了隊伍、驅動它們的技能,以及我每天都會用到的斜線指令:
| 套件內容 | 用途 |
|---|---|
| generate-tests 技能 | 上述的 Jira 任務單到測試流程 |
| create-readme 技能 | 判斷儲存庫類型並根據儲存庫檔案撰寫一份入門 README |
| playwright-cli 技能 | Playwright 自己的驅動瀏覽器技能,由遊俠、戰士和牧師使用 |
| update-docs 技能 | 透過 Husky 在每次提交時運行,並更新文件以匹配更改 |
| /brief | 運行 Jira 任務單的接收並撰寫簡報 |
| /run-spec | 透過偵錯腳本運行一個規格 |
| /check | 運行 lint |
| /bug-ticket, /qa-task | 起草任務單,然後在我確認後在 Jira 中建立 |
任務單指令得到了最好的升級。它們以前是為我起草任務單,讓我手動貼上。現在它們在我確認後建立,而帶有任務單鍵的 /bug-ticket 會在該任務單下歸檔一個 Story-Bug,而不是一個鬆散的 Bug。如果 Jira 拒絕問題類型,錯誤會列出有效類型,並且指令會自行重試一次。
瓶頸從未消失。它從撰寫測試,轉移到照看一個點擊每個頁面的規劃器,再轉移到我坐在 DM 螢幕後面閱讀計畫。我接受這個交換,因為計畫是錯誤需求在變成綠色之前被捕捉到的最後一個地方。
覺得值得一看?分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 DEV Community (Claude Code) 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。