跳到主要內容
maxstudioNews
研究Hugging Face Blog約 6 分鐘

XYBench:評估 AI 助理理解用戶「真正問題」的能力

XYBench 是一個新的基準測試,包含超過 8,000 個問題,旨在評估 AI 助理處理「XY 問題」的能力。所謂的「XY 問題」是指用戶基於錯誤假設提出問題,而 AI 助理需要識別這些誤解並引導用戶解決其真正的目標。目前對多個大型語言模型(LLM)的評估顯示,它們在識別這些誤解並優先提供有效解決方案方面仍有顯著不足。

XYBench:評估 AI 助理理解用戶「真正問題」的能力
圖片來源:Hugging Face Blog

真正有用的 AI 助理,不僅要能幫助提出正確且詳細問題的用戶,更要能協助那些提出錯誤問題的用戶。我們發布了 XYBench,這是一個包含超過 8,000 個問題的基準測試,用於評估 AI 助理如何回應基於錯誤觀念的請求。例如,用戶可能詢問如何讓糖霜變濃稠以避免從杯子蛋糕上滑落,但真正的問題其實是杯子蛋糕還太熱不適合塗抹糖霜。XYBench 榮獲 EMNLP 2026 的最佳資源論文獎。

當一個人詢問的方法與他們想達成的目標不符時,這就是所謂的「XY 問題」:一個人想達成目標 X,卻假設方法 Y 會奏效,然後尋求關於 Y 的幫助。在杯子蛋糕的例子中,這個人一心只想讓糖霜黏住,卻沒有考慮到杯子蛋糕的溫度才是真正需要解決的問題。

XYBench 與卡內基美隆大學、NVIDIA 和約翰霍普金斯大學的研究人員共同開發,揭示了大型語言模型(LLM)在問題排解能力上的一個關鍵缺陷:它們難以辨識用戶的請求是否基於隱含的錯誤觀念,並將其適當地引導至解決實際目標的方案。我們利用 8,115 個涵蓋程式設計和烹飪、居家修繕等日常活動的真實世界問題,推出一個基準測試,衡量模型是否能識別這些誤解並在其回應中優先提供有效的解決方案。

我們在 XYBench 上評估的模型,包括 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro,通常會為用戶的問題提供解決方案,但其答案仍舊專注於最初錯誤的方法。與人類參考答案不同的是,這五個模型都較少將用戶從錯誤的方法引導開,轉而提供符合其目標的解決方案。

人們使用 AI 系統時,知識水平各不相同,可能不總是知道解決問題的最佳方法。我們希望 XYBench 能幫助研究人員衡量模型的改進是否能讓 AI 助理更擅長識別錯誤假設、解釋為何某個提議的方法可能無效,並提出更有效的替代方案,即使在用戶不知道該問什麼正確問題的情況下也能做到。

建構 XYBench

我們從四個來源建構了 XYBench:Stack Overflow 的 1,557 個問題、Stack Exchange 的 184 個問題、102 個手動策劃的範例,以及從 WikiHow 指南生成的 6,272 個問題。對於每個問題,我們都識別了「明確請求」(Y),即用戶明確提出的內容,以及「預期請求」(X),即可以從上下文推斷出的潛在目標。

對於公開論壇的問題,我們使用了得分最高的三個人類答案和被接受的答案(如果有的話),來確定預期請求和可能的解決方案。我們篩選掉了那些僅回答明確請求就足夠的情況。對於 WikiHow,我們使用 Sonnet 4.5 圍繞程序指南中可能存在的錯誤觀念生成問題,然後進行精煉,使其包含足夠的上下文,讓專家無需明確說明即可推斷出潛在目標。我們移除了那些僅回答字面請求就能大致解決問題的範例。

評估答案的幫助程度

一個模型可能會花好幾個段落推薦更強大的吸塵器,然後才簡短地建議檢查軟管是否堵塞。如果吸力弱的原因是堵塞,那麼清除堵塞就能解決問題。

一個更有幫助的答案會意識到用戶想要恢復吸力,並專注於診斷原因。這借鑒了語用學,即語言學中關注語境和溝通意圖如何塑造意義的分支。為了測試模型是否在答案中運用這種理解,XYBench 衡量了每個回應的三個方面:

實用解決方案:記錄模型的回應是否包含針對明確請求(Y)和預期請求(X)的解決方案,並分別檢查。

實用側重:衡量模型的答案是側重於明確請求(Y)、側重於預期請求(X),還是兩者兼顧。

誤解識別:衡量模型的回應是否將用戶引導至潛在目標(X),同時不鼓勵或避免錯誤的方法(Y)。

在 XYBench 中,Claude Sonnet 4.5 擔任自動評審。它會對每個模型回應中的個別建議進行分類,並評估答案的實用側重。

為了驗證 Sonnet 4.5 的判斷,兩位人類審閱者獨立評估了 500 個模型對 XYBench 問題的回應。審閱者與評審的平均一致性在解決方案是否出現方面為 97.5–100%,在誤解識別方面為 84.6–93.3%,在實用側重方面為 74.2–79.8%。

實驗結果顯示

我們在單輪設定下,使用 XYBench 評估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro,每個問題只給出一個回應。我們也使用相同的指標單獨評估了人類參考答案。

在所有四個來源中,每個模型都更有可能包含針對明確請求(Y)的解決方案,而非針對潛在目標(X)的解決方案。在 Stack Overflow 上,明確請求的解決方案出現在 75–86% 的回應中,而潛在目標的解決方案則為 59–71%。

僅僅提及一個解決方案並不能使其成為答案的重點。在吸塵器的例子中,模型可能會簡要建議疏通軟管,但其大部分回應卻集中在購買更強大的吸塵器上。我們會將這種回應視為包含潛在目標的解決方案,儘管模型強調的是明確請求。我們單獨測量了整體側重:在 Stack Overflow 上,模型主要側重於潛在目標的回應僅佔 35–41%,而側重於明確請求的回應則佔 47–57%。在其餘的回應中,模型對明確請求和潛在目標給予了相似的側重。

我們也測試了明確說明用戶目標是否有幫助。在一個「神諭實驗」中,我們在每個問題旁邊同時提供了明確請求(Y)和預期請求(X)。在 Stack Overflow 上,Sonnet 4.6 包含潛在目標解決方案的比率從 59% 上升到 67%,但其誤解識別率卻從 47% 下降到 34%。

在所有包含人類參考答案的來源中,此實驗中的每個模型在誤解識別方面仍然落後於人類。提供意圖確實有幫助,但並未能持續縮小與人類回應之間的差距。這表明檢測意圖只是挑戰的一部分:當意圖與明確請求不一致時,模型還需要根據意圖採取行動。

另一項獨立實驗測試了模型在判斷回應而非撰寫回應時,是否能識別出有用的建議。我們向這五個模型,加上 GPT-4.1,提供了每個問題的兩個可能答案:一個專注於字面請求,另一個則解釋誤解並解決潛在目標。在 Stack Overflow 上,所有六個模型在 71–84% 的情況下都選擇了以目標為中心的答案。

相比之下,在我們主要評估中,由這五個模型撰寫的答案中,只有 35–41% 主要側重於潛在目標。這些結果揭示了識別有用建議與實際產生有用建議之間的差距,這是單純的多選題測試無法發現的。

這對評估的意義

研究人員可以使用 XYBench 來測試提示詞或訓練方法的改變,是否有助於模型識別誤解、提供解決用戶潛在問題的方案,並將這些方案作為答案的重點。單獨測量每種行為,可以讓研究人員了解某方面的進步是否也能改善其他方面。

未來的研究可以測試哪些訓練方法能幫助模型根據推斷出的意圖採取行動,也就是說,不僅僅是回應用戶字面上的問題,而是滿足他們真正的需求。目前的 XYBench 涵蓋英文查詢,且主要針對程序性問題;將其擴展到其他語言、文化和對話情境仍是一個開放的方向。

我們希望 XYBench 能讓研究人員開發出即使在用戶最初的問題基於錯誤假設時,也能提供有用建議的模型。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Hugging Face Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。