Jason Semprini 對於他關於小學生強制接種人類乳突病毒（HPV）疫苗政策的研究感到興奮。HPV 是大多數子宮頸癌的病因，但 Semprini 反直覺地發現，強制接種政策對於降低人群中子宮頸癌的總體發生率並沒有太大作用。這雖然有些奇怪，但也並非完全出乎意料，我們知道強制接種疫苗可能會促使一些人尋找方法來避免接種。

Semprini 撰寫了這項研究並將稿件提交給一家期刊，隨後被送去進行同儕審查。同儕審查是一個長期存在的過程，由該領域的其他研究人員評估研究的有效性，並就其是否應發表提出建議。這通常以匿名和志願的方式進行。

在 Semprini 的案例中，審稿人並未分享他的興奮。這可能源於對研究核心訊息的誤解：審稿人錯誤地認為 Semprini 質疑的是 HPV 疫苗本身是否能預防子宮頸癌，而非研究旨在提高疫苗接種率的政策有效性。身為德梅因大學的健康經濟學家 Semprini 表示：「這兩者之間有非常大的區別。」

通常，論文會由兩到三位專家審查，因此如果其中一位誤解，其他人可以提供澄清。但在這個案例中，只有一位審稿人，所以論文被拒絕了。Semprini 對於自己的工作因為審稿人未仔細閱讀而被耽擱感到沮喪，一些研究人員表示這種情況正變得越來越普遍。

在各個學科中，出版物數量穩步上升。審稿人難以應付，整個系統似乎正在動搖。例如，Scopus 和 Web of Science 資料庫中收錄的論文數量近年來呈指數級增長，每年增長率為 5.6%。

據估計，全球研究人員每年總共投入 15,000 年的工作時間進行同儕審查，如果這些工作有償，僅在美國完成的部分就將花費 15 億美元。越來越多的研究人員發現很難捐獻這麼多時間。

Haseeb Irfanullah 表示：「我費盡心思也找不到同儕審稿人。」他是 Wiley 旗下《Learned Publishing》的編輯委員會成員，但他的評論代表他作為獨立顧問的個人觀點。Steven Mack 是《Human Immunology》的編輯，他最近不得不向大約三十位研究人員發送電子郵件，才找到一位願意審查論文的人。

他估計，五年前，可能只需要五到十封電子郵件就能找到三位願意審稿的人。在這種情況下，編輯將審查任務分配給不合格或沒有時間專心審稿的人也就不足為奇了。

在大多數領域，研究人員需要經過同儕審查的出版物才能獲得工作和研究經費，因此他們即使系統變得「極其漫長而痛苦」（用 Whitehead 研究所微生物學家 Sebastian Lourido 的話來說），也仍繼續在這個系統中掙扎。越來越多的人主張改革。同時，一些大膽的研究人員已經決定傳統的出版系統不再值得投入，特別是 AI 研究，已經轉向透過部落格等非常非正式的管道傳達具影響力的發現。

Semprini 說，同儕審查是「科學的基石」。但在這個時刻，「它並沒有站穩腳跟」。

儘管同儕審查在當今的研究文化中佔據核心地位，但它作為學術出版的普遍特徵，僅僅存在了約 50 年。聖安德魯斯大學的科學史學家 Aileen Fyfe 表示，早在 19 世紀初，科學學會就有審查投稿並評估其出版適宜性的機制，但其內部運作方式多變，且當時的研究精神與現在完全不同。

Fyfe 向我解釋早期科學審查的樣貌時說：「想像一下，你國家所有對天文學感興趣的人，人數不多，他們每週四晚上聚在一起聊天文學，然後一起出版一本期刊。」

研究人員是獨立的紳士，而非大學教授，因此出版與職涯發展無關。此外，為期刊工作是與朋友一起做的有趣事情，所以他們通常很樂意捐獻時間擔任審稿人。同儕審查幾乎是偶然地普及開來，作為解決品牌問題的一種方式。在 1970 年代，美國經濟陷入困境。

通貨膨脹上升，失業率下降，發生了石油危機，美國國家科學基金會（NSF）發現自己面臨公眾壓力，需要證明其支出合理性。這種壓力是在二戰後對科學的熱情時期之後出現的，當時聯邦資金增加了 25 倍。NSF 自 1950 年代以來一直使用外部審稿人評估研究經費申請，這在當時很不尋常，而這也成為它的救命稻草。

由於獨立審稿人小組決定如何分配經費，他們的決定具有正當性。最終，正是這種正當性阻止了立法者將基金會的經費決策置於其直接的政治控制之下。馬里蘭大學的科學史學家 Melinda Baldwin 說：「在很多方面，正是科學家向其他利益相關者進行的推銷，才使同儕審查成為科學的基石。」

英國在 1980 年代末和 1990 年代初也經歷了類似的時刻，當時許多具爭議性的科學議題，從 HIV 到自閉症的病因，再到冷核融合，引起了媒體的廣泛關注。Fyfe 表示，公眾突然對區分合法科學與偽科學產生了興趣，許多科學組織的回應是：「我們能判斷什麼是真正的科學，因為真正的科學是經過同儕審查的。」

如今，同儕審查已是標準做法。期刊編輯要求大學教授在眾多其他專業職責之外撰寫審查報告，而且這些請求往往來得很快。Lourido 估計他每月收到大約 10 份審查稿件的請求，而實際上，他只有時間處理一到兩份。Mack 作為加州大學舊金山分校的免疫遺傳學家（除了擔任期刊編輯外），每隔一兩天就會收到一份審查請求。

這種頻率部分是因為提交研究給期刊的人比以往任何時候都多。但期刊在 1960 年到 2020 年間也大量增加，有些期刊定期發行「特刊」，研究人員為此產生客製化內容。許多期刊也出版更多稿件，因為它們現在是純線上發行，這讓編輯不必將一期內容限制在有限的紙張上。

研究也越來越跨學科，這意味著許多研究需要更多的知識和時間來審查。而 AI 透過讓研究人員更容易撰寫論文，並讓全球各地的人更容易向英文期刊投稿，加劇了這種超負荷。此外還有論文工廠，這些服務向急於發表的研究人員收費，將他們的名字掛在偽造（但通常看起來合法）的出版物上。

所有這些都使得不僅難以維持同儕審查的品質，也難以確保其確實發生。Irfanullah 說：「有時候我覺得我們需要開始討論出版業的『去成長』。它已經增長得太快了。這極其不健康！」

AI 研究人員正強烈感受到內容爆炸的影響。電腦科學家通常在會議論文集中發表論文，自 2019 年以來，提交給頂級 AI 會議的論文數量增加了兩到十倍。加州大學聖塔芭芭拉分校的電腦科學家 Haewon Jeong 表示，因此，收到來自「根本不夠了解該領域以進行評估或提供良好回饋」的人的審查意見是很常見的。

AI 研究人員處於有利位置，可以嘗試不同的方法。他們的領域是新興的，發展速度極快，而且大部分工作發生在學術界之外，因此許多研究人員不需要正式出版物來推進他們的職涯。在這種背景下，部落格開始流行起來。Jeong 說，如今，「維護一個好的部落格幾乎就像擁有一個好的 Podcast 頻道一樣。你的聲音會被放大，你也會因此而聞名。」

許多部落格由業界領袖撰寫，但一些學術界人士也加入了這個潮流。Flatiron 研究所的 AI 研究員 Helen Qu 厭倦了會議投稿這種沒有回報的苦差事，以至於她決定只在她新的部落格上發表她的研究（她目前正在研究如何使用賽局理論來防止 AI 採取顛覆性行為）。

一個長期運營的部落格，名為 AI Alignment Forum，由廣泛的研究人員社群撰寫，其中包括許多學術界人士，他們關注如何使 AI 安全並造福人類。AI Alignment Forum 不使用同儕審查，而是採用一種機制，讓成員可以贊成或反對內容，並發表評論來解釋他們的觀點。

當然，讀者是否對贊成或反對投入了多少思考，甚至根本沒有思考，是沒有保證的。營運 AI Alignment Forum 的 Lightcone Infrastructure 執行長 Oliver Habryka 承認：「這是它的一大弱點。」

另一方面，貼文通常會獲得比期刊上少數同儕審查更多的反應。讀者在回應評論後也可以改變他們的投票。AI Alignment Forum 嘗試突顯優質工作的另一種方式是重新審視年度最佳內容，並要求成員撰寫評論，說明其時效性以及主張是否經得起考驗。

該系統比傳統出版提供了多項優勢。首先，它速度快得多，這在快速發展的領域中尤為重要。Habryka 說，通常，如果研究人員向傳統期刊投稿，「等到你的東西通過同儕審查時，很可能它已經過時了。」

但在 Habryka 看來，AI Alignment Forum 更強大的優勢或許是投票系統能吸引讀者關注好的研究以及針對它的反駁論點。如果沒有這種機制，許多研究人員會依賴社群媒體來突顯新興事物。但這會使一個領域的焦點受制於那些使用專有、可能帶有偏見且通常不透明的機制來決定突出顯示哪些內容的公司。Habryka 說：「我真的不希望我領域的關注點受制於 Twitter 演算法。」