大型語言模型評估研究新穎性：可靠性研究揭示挑戰

今天，我們發布了「舊想法，新問題」（Old Ideas, Novel Problems）這項新研究，探討大型語言模型（LLM）評估科學研究想法新穎性的可靠程度。除了這篇論文，我們還公開了一個用於測試新穎性判斷者的基準測試、資料和程式碼，以及一個研究人員可用來建立新評估集的自動化流程。

在 Ai2，我們一直在開發支援科學發現不同環節的 AI 系統。DataVoyager 協助研究人員探索和分析結構化資料，AutoDiscovery 生成並測試假設，而 Theorizer 則能從大量文獻中綜合證據，形成候選的科學理論。這些專案與 Asta 一起，預示著未來系統將能幫助研究人員從理解前人工作，進一步提出、測試並完善新想法。

然而，生成研究想法只是自動化科學發現挑戰的一部分。這些想法還需要有真正的創新貢獻，這意味著這些系統需要一種方法來區分新穎的方向與那些主要只是重新包裝現有工作的內容。

這種判斷通常交由另一個大型語言模型來執行，我們稱之為「新穎性判斷者」（novelty judge）。新穎性判斷者會評估一個研究想法相對於先前工作的創新程度，無論是單獨評估還是與另一個想法進行比較。目前並沒有標準的建構方式，研究團隊會選擇模型、提示詞、評估格式、推理預算，有時還會選擇文獻檢索系統。

這些選擇會實質性地影響判斷結果。然而，這些判斷者通常只在人類撰寫的論文上進行驗證，而非它們實際應評估的 AI 生成想法。

我們新的基準測試結果顯示，新穎性評估本身遠非可靠。在六個大型語言模型判斷者（GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6）中，評估設定看似微小的變化，卻會對相同想法產生截然不同的判斷。

在其中一項實驗中，提示詞中僅改變幾個字，就使模型在識別兩個想法中哪個更具新穎性方面的準確度，下降了超過 50 個百分點。檢索和額外推理並未持續改善判斷結果，而兩個專門為新穎性評估設計的系統，其表現甚至不如一個簡單提示詞驅動的 Claude Opus 4.6 基線模型。

如果 AI 將在科學發現中扮演更重要的角色，我們需要更可靠的方法來判斷它是否真的提出了新東西。我們的研究提供了研究這個問題的工具，同時也揭示了仍有多少問題尚未解決。

為了測試新穎性判斷者區分更具新穎性的研究想法與較不新穎想法的可靠程度，我們首先需要有強烈證據證明其潛在科學貢獻原創性的範例。

因此，我們圍繞 ICLR 2026 的同儕審查建立了一個自動化流程。我們沒有將論文被接受視為新穎性的代理指標，而是從審查意見本身中挖掘出審查者明確討論貢獻原創性的段落。這種區分至關重要，因為一篇論文即使不特別新穎，只要在其他方面足夠強大，也可能被接受。同樣地，一篇具有原創性貢獻的被拒絕論文，也可能存在其他弱點。

我們建立了一個包含 154 個由人類撰寫的高新穎性研究想法池，方法是選取其 ICLR 研究領域中排名前 10% 的被接受論文，這些論文的審查者明確肯定其新穎性，且沒有任何審查者提出異議。我們應用相反的標準來建立一個較低新穎性的想法池，包含 145 個來自排名前 10% 的被拒絕論文，這些論文的審查者提出了原創性疑慮，且沒有任何審查者明確肯定其新穎性。

在對審查挖掘過程的獨立檢查中，一位註解者在 50 個案例中有 47 個同意提取出的新穎性訊號極性；沒有任何分歧會改變審查者是否被計為讚揚或質疑論文新穎性。

這兩個想法池共同構成了我們的第一個評估設定「僅人類」（Human-Only），它測試新穎性判斷者能否區分具有強烈證據表明新穎性較高或較低的人類撰寫想法。但在實務中，新穎性判斷者越來越多地被用於評估 AI 生成的想法。因此，我們創建了第二個設定「人類+生成」（Human+Generated）。

對於這個想法池，我們將相同的 154 個經過驗證的人類想法，與 154 個由一個簡單的 LLM 生成器產生的想法配對。我們假設這些生成的想法比人類撰寫的對應想法較不新穎；這些是弱標籤，而非每個想法都經過驗證的判斷。該生成器僅接收一個研究領域和一個提出新穎想法的指令，沒有文獻搜尋、工具、迭代或回饋。

這為我們提供了一個保守的比較，比較來自基本生成器的想法與 ICLR 頂尖 10% 論文中，其審查者明確認可其原創性的貢獻。

作為額外檢查，一位專家獨立審查了 30 對「人類+生成」的想法，其中大部分是我們最強判斷者判斷錯誤的案例。我們還將人類和 AI 生成的想法重寫成共同的結構，以測試判斷者是否僅僅對寫作風格差異做出反應。該專家在所有 30 對中都偏好人類想法，並判斷所有生成的想法都不具新穎性。

重要的是，我們的許多核心發現根本不依賴於標籤。如果兩個合理的評估設定對同一對想法給出相反的答案，這種分歧本身就揭示了不穩定性。

利用我們收集的人類撰寫和 AI 生成的研究想法，我們測試了六個大型語言模型判斷者（GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6）透過逐點（即絕對新穎性評分）和成對（即比較兩個想法以找出最創新者）比較來評估新穎性的能力。

我們每次只改變一個因素：提示詞、推理預算、判斷者是否能看到相關論文、想法的格式、多少判斷被組合成最終結論，以及（對於 AI 生成的想法）是哪個模型生成了它們。

性能上最大的變化來自於我們如何提示模型來判斷新穎性。

例如，我們向 GPT-5.4 展示了相同的「人類+生成」配對（每個配對包含一個經過驗證的人類撰寫想法和一個 AI 生成想法），並使用了兩個提示詞。一個提示詞告訴模型，審查者發現每個配對中只有一個想法是新穎的，並要求模型識別是哪一個；另一個則只是簡單地詢問哪個想法是新穎的。

當我們切換到較簡單的提示詞時，準確度從 93.5% 下降到 40.9%，低於隨機猜測的機率，而且模型對超過一半的相同配對改變了判斷。

相比之下，相同的提示詞變化在「僅人類」資料集上僅使準確度改變了約七個百分點，該資料集將人類撰寫的想法與新穎性強弱的證據配對。這表明新穎性判斷者在人類撰寫的研究上可能顯得相對穩定，但在 AI 生成的想法上表現卻大相徑庭。

儘管如此，人類撰寫的想法也並非免疫。我們在「僅人類」資料集上也看到了顯著的變化；相同的改變使 Claude Opus 4.6 的準確度移動了 21 個百分點。只是這些變化不如在 AI 生成想法上那麼嚴重。

此外，並沒有一個普遍更好的提示詞。例如，在單獨判斷想法時，取消一項警告判斷者不要將瑣碎或增量貢獻視為新穎的指令，對某些判斷者提高了準確度，但對另一些判斷者卻降低了準確度。換句話說，一個對某個模型有效的提示詞，可能無法轉移到另一個模型。

我們還測試了新穎性判斷者的一個常見用途：比較來自兩個 AI 生成器的想法。我們將 Claude Opus 4.5 的想法與 Claude Sonnet 4.5 配對，並將 GPT-5.4 的想法與 GPT-5.1 配對。在測試的提示詞變化中，平均而言，六個判斷者中有大約四分之一到三分之一的判斷結果發生了變化。

這種分歧可以在不假設哪個生成器產生更多新穎想法的情況下進行測量，顯示了判斷者提示詞的選擇如何影響不同構思系統之間的比較。

更多的搜尋和推理不一定能產生更好的新穎性判斷。我們給予 GPT-5.6 Sol 超高的推理預算，並進行了限制在 arXiv 上的即時迭代搜尋，然後將其與每個看到五個預先檢索摘要的標準檢索判斷者進行比較。（在此比較中，所有判斷者在「人類+生成」資料集上對每個想法執行一次。）

該代理判斷者獲得 0.78 的 macro-F1 分數，比 Claude Opus 4.6 的 0.89 低 11 分，且與較簡單的 Claude Opus 4.5 和 GPT-5.4 設定大致相同，但以目前的 API 價格計算，每次判斷的成本約高出 10 倍。

（在此情境下，macro-F1 衡量判斷者識別新穎和非新穎想法的能力；分數越高越好。）

儘管成本高昂，專門設計的評估器也並未更準確。在「人類+生成」資料集上，一個使用低推理和三次呼叫多數決的簡單 Claude Opus 4.6 提示詞，以總評估成本 2.59 美元達到了 0.854 的 macro-F1 分數。相比之下，Idea Novelty Checker（一個基於文獻的檢索和重排序流程）得分為 0.642，成本為 30.66 美元，而 Sakana AI 的 AI Scientist（其新穎性評估器迭代搜尋 Semantic Scholar）得分為 0.772，成本為 82.05 美元。

（這兩個專用評估器都使用了 Claude Opus 4.6，每次判斷呼叫一次。）

換句話說，簡單提示詞驅動的基線模型，比任何一個專門設計的系統都更準確且成本顯著更低。

總而言之，這些結果表明，新穎性評估在這些系統越來越多地被要求判斷的 AI 生成想法上，尤其脆弱。

我們的結果表明，基於大型語言模型的新穎性評估仍然是一個重大的開放問題。在人類撰寫研究上看似可靠的判斷者，在 AI 生成的想法上可能表現不同；對一個模型有幫助的提示詞可能對另一個模型有害；而更多的搜尋或運算不一定能產生更一致的判斷。

未來的工作應該在判斷者實際將評估的想法類型上進行測試，衡量不同提示詞和模型之間的敏感度，改進如何整合先前的文獻，並建立能夠隨著科學文獻增長和 AI 系統改進而演進的基準。我們的基準測試和可重複使用的資料流程是一個起點，研究人員可以將它們應用於新的同儕審查、其他科學社群以及未來世代的新穎性判斷者。

自動化構思不僅僅依賴於生成合理的研究方向，我們還需要方法來判斷這些想法何時是真正新穎的。透過使當前新穎性判斷者的弱點更容易衡量，我們希望這次發布能幫助研究人員建立更穩健的方法來評估 AI 生成的研究想法。