Anthropic 攜手獨立評估機構，深化 AI 模型安全與透明度

上個月，我們承諾將加強對模型和安全實踐的獨立第三方評估。我們也簽署了白宮的「超級智慧協議」，其中各公司承諾與獨立的外部審計師或評估機構合作。今天，我們宣布已開始賦予非營利組織 METR 的團隊「員工級」權限，該組織專門評估尖端 AI 模型。

METR 將會公布其風險評估結果。在過去一年中，我們已與 METR 合作進行了數次風險報告審查。目前，我們也正與 SecureBio 和 Accenture 合作擔任評估機構，並與包括 Hugging Face 在內的其他幾個組織進行初步討論。在此，我們將解釋與評估機構合作的方式。

隨著模型變得越來越強大，它們需要更嚴格的防護措施和更具挑戰性的風險評估。我們希望對所做的決策負起公開責任，但我們無法公開分享所有與安全工作相關的資訊。其中一些資訊可能對惡意行為者有用，或者涉及商業機密，例如運算資源或訓練資料。

因此，我們讓第三方評估機構深入了解我們的資訊，並讓他們分享關於建構模型所涉及風險的證據和合理結論。我們的目標是縮小評估機構對尖端 AI 公司系統的理解，與公司本身理解之間的差距。

為了評估尖端模型，評估機構需要具備以下條件：評估尖端模型能力的專業知識，包括理解評估可能出錯的方式，例如對齊造假。他們必須保持獨立性，不應持有被評估公司的股權，也不應在財務或營運上依賴該公司。

評估機構需要足夠的權限才能有意義地評估風險。除了存取最新模型外，評估機構還需要了解這些模型的訓練方式、我們的防護措施如何運作等。他們也應擁有發布對模型或流程的觀察和評估的自由。

儘管這個類比不完全精確，但銀行監管的運作邏輯與此相似。銀行比外部人士更了解自身的風險狀況，因此監管機構會指派駐行審查員到大型銀行內部工作。如果銀行的風險承擔可能威脅到公眾，第三方會嘗試提前發現。

對於 AI 產業而言，這是邁向健全安全監管的重要一步。我們正與多個評估機構迅速合作，並積極學習哪種合作模式有效。我們承諾將持續分享最新進展。

所謂的「員工級權限」是指，我們已讓六名 METR 員工使用公司硬體、辦公空間，並存取內部工具和系統，其權限大致與我們自己的風險評估團隊相當。除了少數明確定義的類別（例如客戶資料、律師與客戶間的保密資訊，或模型架構資訊）之外，Anthropic 員工被鼓勵與他們分享資訊，就像與處理對齊風險的同事一樣。

METR 將會發布對我們風險等級、事件或實踐的分析。Anthropic 無法否決其發布，但如果資訊屬於上述狹窄、預先定義的類別，我們可以要求他們刪減。METR 可以公開描述我們的刪減行為，並說明其是否認為這些刪減是合理的，只要不洩露被刪減的資訊即可。

我們與 METR 的合作僅限於一個在可執行協議下運作的小型團隊。其他 METR 員工與該團隊的工作是隔離的，包括與我們合作其他專案的研究人員。嵌入式評估讓少數合格人員在 Anthropic 的安全標準下工作，近距離觀察我們的運作方式。這並非其他組織獲取我們或我們客戶、合作夥伴資訊的途徑。

我們正在進行其他幾項合作。由於這些合作仍處於早期階段，我們向這些評估機構提供的資訊較為有限，他們的發布權限也較為受限。這些早期合作的目標是確保我們的合作夥伴保護機密資訊，並具備評估我們模型所需的資源和專業知識。隨著合作進展和信任建立，我們希望能夠完全嵌入更多的獨立評估機構。

我們正在為評估機構開發三種層級的存取權限。隨著時間推移，我們希望有數個評估機構達到第三層級，每個團隊都能發布他們對我們風險狀況和關鍵決策的分析。在第一層級，評估機構進行範圍狹窄的風險調查。我們決定向第一層級評估機構提供哪些存取權限，評估機構經我們批准後可以發布其發現。

在第二層級，評估機構無需我們的批准即可發布，並且可以存取更多資訊。我們仍然可以要求刪除特定類別的資訊，儘管評估機構可以發布他們對我們刪減是否合理的看法。第三層級是我們與 METR 描述的安排，具有員工級的存取權限和類似於第二層級的發布權利。

SecureBio 在完成並發布了我們之前風險報告的試點審查後，目前正在審查我們八月份風險報告中關於化學和生物武器的章節。完成此次審查後，我們將考慮推進至更高存取權限的專案。

我們正與 Accenture 和 Faculty 合作，建立一項雄心勃勃的夥伴關係，內容包括評估和紅隊測試模型、進行對齊評估、測試模型防護措施，並在我們的組織之間建立能力。我們是自願嵌入評估機構的，並相信每家尖端 AI 公司都應該這樣做。