AI 輔助工作：短期效率與長期專業技能養成的兩難

判斷力是資深專業人士與初階同儕的區別所在。培養判斷力需要數千小時的在職學習，通常透過繁瑣但具塑造性的例行工作，並在經驗豐富的同事指導下進行。然而，人工智慧（AI）正在改變在職學習的方式。一方面，放射學、商業問題解決、求職者寫作和法律教育的實證研究顯示，當 AI 工具巧妙地融入培訓流程時，經驗較少的員工可以提升其獨立表現。

另一方面，近期針對軟體工程師、管理顧問、高中生和臨床醫生的實驗表明，儘管 AI 暫時作為提升即時產出的「外骨骼」，但一旦移除工具，這些效益往往無法持續。要理解 AI 如何侵蝕或增強專業知識，需要三項鮮少同時具備的要素：一、將 AI 持續融入日常專業工作數月而非數小時；二、在 AI 不可用時，對未經輔助的判斷力進行可靠評估；三、由領域專家進行盲評。

在由美國國家經濟研究局（National Bureau of Economic Research）發表的《AI 輔助會增強還是侵蝕專業知識？專利撰寫三個月實地實驗的證據》中，我們描述了一項實地實驗。該實驗旨在捕捉在高度專業化的智慧財產權法律領域中，AI 使用所導致的短期生產力與長期技能培養的變化。

在我們的實驗中，我們隨機分配了當時尚未發布的 Google Labs AI 專利撰寫輔助工具（現已整合至 Gemini Notebook）給 11 家與 Google 有定期非獨家業務往來的智慧財產權律師事務所的 133 名律師。

每家事務所約三分之二的律師（「實驗組」）獲得了該工具的早期使用權，而其餘律師（「對照組」）則接受了 AI 使用培訓，但在為期三個月的研究期間內被禁止使用該工具。

在 AI 輔助 10 天後，我們向所有參與律師發送了一份假設發明的發明人資料包，並要求他們撰寫一份專利。90 天後，我們也用一套不同的模擬發明人資料重複了相同的實驗。我們觀察到在兩個時間點，AI 在撰寫任務上的表現都如預期般有所提升。

在 10 天時，獲得 AI 工具的律師，其撰寫分數（由獨立法律專家根據五個不同品質面向的李克特量表評分）提高了 0.34 個標準差，相當於在對照組分數中提升了 10 個百分點；到 90 天時，這項改進增加到 0.38 個標準差，意味著提升了 11 個百分點。這些改進在所有品質維度上都表現出顯著的一致性。

值得注意的是，更好的表現來自於較低的差評頻率和較高的好評頻率，而優異分數的頻率則沒有變化。具體來說，獲得 AI 使用權的律師分數從最低分位數提升到中低和中等分位數，但頂尖分數的數量沒有明顯變化。這種模式對於初階律師尤其明顯，他們的品質提升也伴隨著顯著的時間節省（例如，在 10 天的任務中，比對照組的平均速度 124 分鐘快了 18 分鐘）。

然而，專利律師不只撰寫專利；他們還會審查彼此的工作，找出可能導致專利在法庭上無法執行的關鍵錯誤（有時稱為「專利禁忌」），例如過度主張發明的新穎性或範圍。因此，我們在 90 天時增加了另一項任務，要求受試者修改（手動標記和更正）一份包含許多實質性和文體錯誤的現有假設專利。

這項測試任務反映了資深律師日常使用的專業判斷，而他們通常沒有依賴 AI 的奢侈。關鍵是，儘管實驗組律師被鼓勵在撰寫任務中使用未發布的 AI 工具或任何其他 AI 工具，但沒有人被允許在修改任務中使用 AI，這使得他們在這項任務上的分數成為衡量其技能發展程度的指標。

對於所有任務，無論是撰寫還是修改，我們都與第三方專利專業人士合作，從五個品質維度對提交的內容進行評分：一、可執行性、二、準確性、三、策略性模糊性（主張的戰術性範圍界定）、四、完整性，以及五、清晰度。

當在 90 天的修改任務中移除 AI 輔助工具時，這種「拉平」效果消失了。獲得 AI 工具的律師在這項未經輔助的任務中，表現仍比對照組高出 0.32 個標準差（相當於百分位排名提升 9 個百分點），但這種效果完全是由資深律師所驅動。

資深律師的表現比對照組高出 0.45 個標準差（提升 13 個百分點），而初階律師則沒有明顯的進步。相反地，初階律師的分數呈現兩極分化：出現更多非常低的分數、較少的中等分數、更多的好分數，但沒有更多的優異分數。

這些結果對學習有何意義？獲得 AI 工具的資深律師，在過去三個月使用該工具的過程中，顯然在專業判斷方面獲得了顯著的價值。然而，初階律師的情況則更為微妙。有些分數有所提升，暗示了 AI 能夠加速學習。

但另一些分數則分佈在分數區間的較低端，這表明在某些情況下，AI 可以幫助初階律師完成足夠的工作，但他們在機器輔助下的較高表現，並未轉化為更快地習得使資深專業人士獨具價值的專業知識。

檢視定性編輯模式，可以深入了解不同經驗水平的專業人士如何與生成式 AI 工具互動。無論是實驗組還是對照組，初階律師的提交內容都遵循嚴格的形式主義：他們從上到下依序工作，經常在處理主要專利主張之前，就耗盡時間校對不重要的介紹性部分。

初階律師也傾向於專注於表面層次的同義詞替換，而非改進商業範圍。即使初階律師發現了嚴重缺陷，他們也常常留下描述性評論來診斷問題，而不是實際執行修改來修復它。由於這種「診斷而不執行」的姿態在未經輔助的對照組初階律師中同樣普遍，這代表了初階律律師的一個基本缺陷，而三個月依賴 AI 執行重寫並未能彌補。

相較之下，資深律師從 AI 的接觸中持續受益。實驗組的資深律師在修改上花費的時間比初階律師更長，他們繞過不重要的散文，從頭開始重建主張，刪除可能無意中縮小法律權利或限制保護範圍的語言，並將許多編輯與明確的法律原則結合。

在後續訪談中，資深律師將 AI 的輸出視為「邏輯審核器」，而非最終產品。這削弱了他們對現有文本的依賴，並迫使他們闡明結構性編輯的原因和方式，從而激活並磨練了他們的核心專業知識。

提升工作表現與建立持久的專業判斷力是不同的目標。特別對於初階專業人士而言，這兩者可能相互矛盾。基礎專業知識可能是關鍵環節，能讓 AI 輔助的重複練習，在職業生涯中轉化為經驗豐富的專業判斷力。

即使模型能力不斷進步，這種判斷力仍將持續重要：律師在與法官、客戶和同事互動時，仍將運用他們的判斷力。他們無法在所有情境下都依賴 AI 工具的輔助。當前 AI 時代的一個關鍵挑戰是，確保旨在提升今日工作表現的工具，不會阻礙初階專業人士成為我們未來所需的專家。

在工作環境中研究專業人士對研究人員來說是一項挑戰。我們的實驗僅包含有限數量的專利律師樣本，這反映了該領域頂級專業人士的高昂時薪。我們僅觀察他們三個月，相較於他們培養持久專業知識所需的數年時間，這是一個很短的窗口。

此外，過去一年模型能力和基本 AI 熟悉度（以及 AI 產品在法律領域的滲透率）的快速進步，如果我們現在重新進行實驗，可能會影響我們的結果。這些限制為進一步研究提供了機會，其中一些我們希望在未來幾個月內繼續進行。儘管如此，我們工作的一個明確結論是，要理解 AI 輔助對專業技能的影響，需要進行能區分使用工具效果與未經輔助使用者表現效果的測試。

非常感謝共同作者 Josh Martin、Zanna Iscenko、Scott Strand、David Pearl 和 Melissa Ferere；感謝 James Manyika、Ruth Porat、Kent Walker、Josh Woodward、Anu Madgavkar、Daniel Rock 和 Fabien Curto Millet 的指導與支持；感謝 Google Labs 的 Tom Shane、Mauricio Carneiro、Johnny Jacobs、Victor Lavrenko、Yinghao Sun、Samuel Yang、Daniel Nishi、Eric Wang、Kevin Li、Hao Zheng 和 Franz Och 與我們合作進行實驗；感謝 Kiera Russell 提供產品存取權限和信任測試員支援；感謝 Steve Gong 和 Taylor Montgomery 提供法律指導和招募支援；以及感謝我們的傳播、行銷和研究部落格合作夥伴，包括 Kerry McHugh、Zoe Ortiz、Emily Short、Joseph Mack、Esmeralda Cardenas 和 Leanne Trujillo，推動了此次發布。