Agile Deliberation：AI 協作釐清人類主觀概念的新框架

機器學習模型透過人類標註的範例來學習辨識周遭世界。這個過程背後有個假設，即標註者在開始前，對類別已有清晰且穩定的定義。當模型針對客觀類別（例如停車標誌或黃金獵犬）進行訓練時，這個假設很成立，因為這些類別的界線清晰且普遍認可。

然而，在實際應用中，視覺系統常需要處理人類經驗中主觀的「灰色地帶」。例如，訓練一個視覺分類器來辨識「健康食物」、策劃「鼓舞人心的藝術品」，或協助內容審核。在這些領域，類別界線可能不是普遍或靜態的，因為它們會隨著文化背景、個人哲學或不斷演變的操作政策而變化。

此外，人們很少一開始就對主觀概念有完整的定義，即使是在他們自己的腦海中也是如此。相反地，他們會從一個直觀的概念開始，只有在遇到實際範例時，才會發現該概念的真正界線、例外和細微之處。傳統的訓練流程並未考慮到這種概念演變，即使使用者自己的心智模型仍在變化，也強迫他們為 AI 系統提供僵化的標籤。

為了彌補這個差距，我們推出了 Agile Deliberation，這是一個將主觀 AI 分類器建立視為迭代對話的框架。Agile Deliberation 不再要求人類扮演靜態的資料標註者，而是將 AI 系統轉變為協作夥伴，幫助使用者「審慎思考」並釐清自己的定義。

透過首先解決人類的模糊性，該框架系統性地建立了更有效、更穩健且更一致的 AI 系統。為了支援更廣泛的研究社群，我們也已在 GitHub 上開源了底層程式碼和演算法。

這項工作的關鍵區別在於其對即時使用者體驗的關注。由於標準、靜態的 AI 基準無法捕捉主觀概念，我們跳過了模擬測試，並透過 18 場與人類參與者進行的 1.5 小時即時會議來評估 Agile Deliberation。這讓我們能夠直接觀察和衡量當一個人與智慧系統協作時，其意圖是如何動態演變的。

我們發現，Agile Deliberation 大幅減少了使用者的疲勞和焦慮，它以對邊界圖像的直接回饋取代了手動提示詞工程，從而產生了更一致、更高性能的 AI 模型，表現優於標準基準。

Agile Deliberation 將定義主觀概念的複雜任務分為兩個結構化階段：概念界定（concept scoping）和概念迭代（concept iteration）。這兩個階段共同將一個模糊的想法轉化為 AI 模型的高度精確指令藍圖。

當面對「健康食物」這樣廣泛的主題時，人類的直覺很難在一開始就列出所有規則。在概念界定階段，系統會引導使用者將其總體概念分解為子概念和明確排除項的結構化層次。例如，使用者可能不會只使用一個廣泛的標籤，而是將「健康食物」分解為「沙拉」、「穀物碗」和「瘦肉蛋白」等正面子類別。同時，他們可能會定義明確的排除項，例如「加工食品」或「未經烹煮的生食材」。這建立了一個初始的結構化基準，作為模型理解的基礎。

建立初始結構後，該框架從靜態規劃轉向主動測試。傳統機器學習假設人類標註者是「神諭」，腦中已有一套完整的、定義明確的規則。Agile Deliberation 推翻了這個前提，轉而專注於協作式精煉。

這個階段的靈感來自於主動學習（active learning），這是一種傳統上用於檢索資訊豐富的資料點，以最大化機器訓練效率的方法。然而，Agile Deliberation 並不像主動學習那樣純粹為了最小化機器不確定性而選擇範例，而是利用視覺語言模型（VLMs）主動挖掘並呈現語義上處於邊界、挑戰當前基於文本定義的圖像。

例如，系統可能會呈現一張水果冰沙的圖片，以挑戰「健康飲食」的概念，迫使使用者決定：這是一種健康的飲料，因為它含有生水果，還是因為糖含量高而被排除在加工食品之外？面對這些模糊的邊緣案例，促使使用者反思自己隱藏的假設，釐清真實意圖，並相應地更新政策規則。這種人類回饋隨後直接導入自動提示詞優化迴圈，確保 VLM 的分類邊界與使用者精煉後的定義同步調整。

評估主觀視覺分類器面臨一個根本挑戰：沒有靜態、客觀的真實基準來衡量性能，因此，對預先標註資料集進行離線評估無法衡量該框架在人們對概念的心智模型於審慎思考過程中發生變化時的適應能力。為了捕捉這種動態，我們建立了一個功能原型，並透過即時使用者研究進行評估。

我們進行了 18 場即時使用者會議，每場持續 1.5 小時，參與者以隨機順序與我們的系統和替代基準進行互動，以防止學習偏差。我們選擇了兩個複雜、高度主觀的領域來測試這些系統的極限：

健康食物：一個個人健康理念、飲食限制和文化背景可能產生高度多樣化主觀觀點的領域。

付費遊玩（Pay-to-Play）：一個真實世界的內容審核挑戰，需要捕捉專家級的細微差別和特定情境。這涉及識別線上娛樂或遊戲中承諾誤導性財務或數位獎勵的點擊誘餌圖像。

我們將 Agile Deliberation 與三種常見的不同範式進行了評估：

零樣本分類器：標準的「一次性」方法。使用者撰寫初始提示詞，但無法看到邊緣案例，也無法在模型誤解邊界時進行調整。

模型協作者：一種自動化的、由上而下的方法，其中 AI 代理嘗試自行分解概念。雖然它會自動生成標準，但它將使用者排除在迴圈之外，無法引導或糾正其邏輯。

手動審慎思考：繁瑣、暴力式的現狀流程，使用者在試算表中檢查資料，猜測搜尋查詢以尋找異常，並手動重寫原始提示詞。

即時使用者會議顯示，Agile Deliberation 產生了更高性能的分類器模型，同時大幅改善了使用者體驗。

我們發現，經歷結構化審慎思考過程的研究參與者，其標註一致性隨時間顯著提高。透過及早解決邊界模糊性，他們建立的分類器顯著優於所有標準基準。這些性能提升在最具挑戰性的主觀圖像上最為顯著，這正是傳統分類器通常會失敗的領域，因為它們依賴預設的通用 AI 假設，而非使用者明確、細緻的意圖。

專家參與者報告說，該系統充當了有效的診斷工具。透過有意地呈現令人困惑的邊界圖像，AI 系統幫助他們發現了初始定義中的「盲點」，揭示了他們在遇到模糊的真實世界範例之前未曾預料到的情境。

我們即時研究的一個關鍵發現是手動提示詞工程對認知造成的負擔。我們的研究顯示，使用者在手動概念審慎思考過程中，試圖預測可能揭示邊緣案例的搜尋詞時，會經歷明顯的認知疲勞。此外，他們報告說持續感到焦慮，擔心手動調整文本提示詞來修正一個錯誤，可能會無意中降低分類器其他已修正部分的性能。

Agile Deliberation 透過處理繁重的計算工作來解決這個問題。使用者無需成為提示詞工程師；他們只需查看精選的邊界圖像庫並提供自然的回饋。系統會無縫地吸收他們的意圖並自動更新底層模型。因此，使用 Agile Deliberation 的參與者表示壓力、挫折感和精神疲憊感顯著降低，每位參與者都表示偏好 Agile Deliberation 而非手動方法。

最終，Agile Deliberation 將人機協作機器學習的範式從單向街（AI 系統僅從人類標籤中學習）轉變為人類與 AI 共同精煉概念的雙向協作。隨著機器學習系統越來越多地部署來處理複雜的真實世界社會任務，確保其邊界能反映細緻入微的主觀概念至關重要。

無論是賦能信任與安全團隊建立更安全的內容審核篩選器，幫助策展人塑造數位收藏，還是協助科學家分類複雜的視覺資料，Agile Deliberation 都為人機對齊提供了基礎。要了解更多關於底層主動學習技術以及我們界定和聚類演算法的技術實作，請閱讀我們的論文並查看 GitHub 上的開源實作。

要開始使用，請查看我們的互動式 Colab/Jupyter 示範，逐步了解本文中介紹的「健康食物」範例。從那裡，您可以將其應用於您是主題專家的任何領域（例如，標記誤導性點擊誘餌），或用它來根據您自己的主觀品味和標準建立個人化分類器（例如，策劃「鼓舞人心的藝術品」）。

我們要感謝我們的合作者，Wei Qiao、Thomas Denby、Krishnamurthy Viswanathan、Enming Luo、Chun-Ta Lu、Tushar Dogra、Ranjay Krishna 和 Ariel Fuxman，他們為這項工作和相關論文提供了寶貴的見解和貢獻。這項研究是透過 Google 之間的密切合作而實現的。