跳到主要內容
maxstudioNews
產品Latent Space約 14 分鐘

Claude Fable 5.2 重奪 LLM 榜首,Anthropic IPO 路演同步啟動

Anthropic 推出了 Claude Fable 5.2 和 Mythos 5.2,聲稱兩者在多項能力上超越 Opus 5.5,並在多個獨立基準測試中重回 LLM 榜首。儘管每個 token 的價格降低了 20%,但由於模型會生成更多測試案例並啟動子代理進行檢查,導致每項任務的實際成本上升。這些模型在 Anthropic 進行 IPO 路演的同時發布,但其訂閱限制和成本效益引發了市場討論。

Claude Fable 5.2 重奪 LLM 榜首,Anthropic IPO 路演同步啟動
圖片來源:Latent Space

Fable 5.2 每個 token 的價格降低了 20%,但消耗的 token 數量更多,SemiAnalysis GDPx 和 Artificial Analysis 都證實了這一點。Fable 5.1 的輸入 token 每百萬美元為 10 美元,輸出 token 每百萬美元為 50 美元。Fable 5.2 則降至 8 美元和 40 美元。

然而,在專業任務基準測試 GDPx 上,SemiAnalysis 發現每項任務的成本從 67.16 美元上升到 88.15 美元。執行日誌揭示了原因。Opus 5.5 和 Fable 5.1 大約會嘗試 20 個測試案例,而 5.2 有時會生成數百甚至數千個,並啟動子代理獨立檢查其工作。這些額外的檢查幫助 Fable 以 16.4% 的成績奪得第一名,但無論如何,這些檢查的成本都由使用者承擔。

頭條新聞:Claude Fable 5.2 / Mythos 5.2 的基準測試、經濟效益、限制和初步印象。Anthropic 推出了 Claude Fable 5.2 和 Claude Mythos 5.2,聲稱兩者在「我們評估的幾乎所有能力上都超越了 Opus 5.5」。

它在大多數獨立排行榜上名列前茅。然而,它也伴隨著刻意的 RSI(風險敏感資訊)能力限制、更高的每任務成本以及受限的訂閱存取權限。

發表聲明。@claudeai 宣布這兩個模型是為「最具挑戰性的技術難題」而設計,在程式碼編寫、推理和視覺方面都有所提升。@marktenenholtz 指出系統卡片上的措辭不尋常:「作為 Claude Fable 5.2 和 Claude Mythos 5.2 基礎的模型。」這暗示著它們共享一個基礎模型。

根據 @kimmonismus 的供應商報告數據:輸出速度比 5.1 模型快 30%。在 FrontierCode 2.0 上,Fable 5.2 在「高」設定下,以大約一半的任務成本達到 Opus 5.5「最大」設定的表現,而在「超高」設定下,它是發布模型中的佼佼者。

1,000 個 Fable 5.2 代理在 30 小時內形式化了費馬最後定理的現有證明,而 Opus 5.5 在相同設定下 18 小時內完成了 26%。Mythos 5.2 準確建模了 34 種基因療法衣殼中的 28 種。對齊程度與近期 Claude 模型相當或更優,並經過外部預發布測試。在 Claude 應用程式和 Claude Code 中,「中等」是預設的努力程度。

定價。每百萬輸入/輸出 token 分別為 8 美元和 40 美元,比 Fable 5.1 的 10 美元/50 美元低 20%(@jaminball, @arena)。根據 Artificial Analysis 的其他規格:快取寫入成本為 10 美元(5 分鐘 TTL)或 16 美元(1 小時 TTL);快取讀取成本為 0.20 美元。

支援 100 萬 token 的上下文,包含文字和圖像輸入。提供五種努力程度:低、中、高、超高、最大。

Anthropic 的長程示範。一個作業系統由 1,000 多個子代理在 8 天內從一個空資料夾中建立。它可以在筆記型電腦上啟動,並擁有自己的核心、磁碟/鍵盤/網路驅動程式、持久儲存、視窗化、登入、安裝程式和內建的 Claude(@kimmonismus)。

Fable 根據簡短的提示詞設計了三種可運作的電子設備(@kimmonismus)。它提出了未經測試的化學合成路徑。它改進了 72 個開放最佳化問題的現有解決方案。@RLanceMartin 發布了關於 1,000 代理 FLT 運行的安全限制擴展報告。

訂閱存取。Ultra 和 Team Premium 用戶可根據訂閱時間獲得 Fable 的「重置」次數:訂閱未滿 6 個月可獲得 1 次,6-12 個月可獲得 2 次,超過 12 個月可獲得 3 次,所有重置次數皆可用至 3 月 8 日(@ClaudeDevs;@bcherny 和 @edwinarbus 也證實了這一點)。

Pro 和 Team Standard 用戶可獲得一週試用,上限為每週限制的一半,外加一次重置。Fable 只能消耗每週限制的 50%。

資料保留。Fable 5.2 預設要求資料保留,以便 Anthropic 的安全分類器能夠運行。零資料保留功能僅適用於符合資格的企業客戶(@code)。

發布首日整合:Cursor(@cursor_ai)。GitHub Copilot / VS Code,據稱它「比 Fable 5.1 解決了更多任務,同時使用了更少的步驟和工具呼叫」(@code)。Perplexity Computer (Pro/Max) 和 Search (Max)(@perplexity_ai),@AravSrinivas 將其設為「新的預設」。

Factory(@factory)。透過 Nous Portal 和 OpenRouter 的 Hermes Agent(@Teknium)。Arena(@arena)和 DesignArena(@grx_xce)。

官方模型選擇指南。@ClaudeDevs 發布了關於 Fable、Opus、Sonnet 和 Haiku 之間選擇的指南。它涵蓋了何時應提高努力程度而非切換模型,以及何時應將子代理推送到較小的模型。

獨立評估(事實)。Artificial Analysis Intelligence Index v5(@ArtificialAnlys,細項分析):Fable 5.2 以 65 分(最大)位居第一。Fable 5.2(最大),指數分數 65;Gemini 4 Carbon(高),指數分數 60;Opus 5.5(最大),指數分數 59;GPT-6 Astra(最大),指數分數 57;Fable 5.1(最大),指數分數 49。

新紀錄:HLE-Diamond,Fable 5.2 80%(先前最佳 69%);AA-Omniscience v1.1,Fable 5.2 67(先前最佳 54);Terminal-Bench-Science,Fable 5.2 73%(先前最佳 65%);CritPt v2 hard,Fable 5.2 77%(先前最佳 72%);FrontierCode 2.0,Fable 5.2 49%(先前最佳 46%,Opus 5.5)。

較弱的方面:AA-Briefcase:1785 Elo,在 Opus 5.5 (1800) 的置信區間內,落後於 Sonnet 5.5 (1813)。GDP.pdf:24% 全通過,Opus 5.5 為 26%。Terminal-Bench 4.0:60%,與 Opus 5.5 持平,落後於 Kimi K3.1 Pro (67%)、Gemini 4 Carbon (65%) 和 Sonnet 5.5 (64%)。

AutomationBench-AA:76%,領先於 Opus 5.5 (70%),但落後於 Gemini 4 Carbon (78%)。

效率:在「高」和「超高」設定下,它以每任務約 98k 輸出 token 獲得 62 分,而 Opus 5.5「最大」設定則為 173k。在「最大」設定下,每任務成本約為 26.5 美元,大約是 Opus 5.5 (10.0 美元) 的 2.6 倍,Fable 5.1 (12.99 美元) 的 2 倍。

Epoch Capabilities Index (@EpochAIResearch):創紀錄的 174 分,超越 GPT-6 Astra 的 169 分。這高於 Astra 之前的推理模型趨勢,Epoch 將其與 AI 研發討論聯繫起來。分數來自 Epoch 自己的預發布基準測試。

ARC-AGI (Verified) (@arcprize):ARC-AGI-3,標準工具(新高),分數 81.2%,成本 21.9K 美元;ARC-AGI-3,提供者適配器工具,分數 97.7%,成本 18.6K 美元;ARC-AGI-2,分數 93.8%,成本 0.98 美元/任務;ARC-AGI-1,分數 98.5%,成本 0.36 美元/任務。

Vals Index (@ValsAI):新的第一名,在程式碼編寫、金融和科學領域領先七個基準測試。「高」是表現最好的努力程度,優於「超高」和「最大」。

CursorBench (@cursor_ai):在「最大」設定下達到 60%(頂級模型),預設設定下為 56.9%,而 Fable 5.1 為 49.2%。Cursor 警告說,努力程度的行為與 5.1 不同,因此應從預設值開始,而不是沿用舊設定(定價說明)。

Arena Code: WebDev (@arena):以 1832 分(超高)位居第一,領先於 Opus 5.5 Max (1818)、Gemini 4 Carbon (1768) 和 GPT-6 Astra (1767)。@ml_angelopoulos 指出比 5.1 提高了 87 分。Peter Gostev 的 100 多個生成比較在此,並有 17 個樣本生成。

AA-3D (@ArtificialAnlys):以 1271 Elo(95% CI 1246–1297)位居第一,與任何其他模型都沒有置信區間重疊。亞軍是 Sonnet 5.5 (1204) 和 Opus 5.5 (1202),GPT-6 Astra 為 1168,Gemini 4 Argon 為 1147。

該分數比 Fable 5.1 高 132 分。方法(詳情):每個模型作為代理在離線沙盒中運行,使用 Blender、Rapier 物理引擎、Python 和無頭瀏覽器,最多 3 小時和 250 回合。人類對成對結果進行盲選投票,每個場景至少花費 30 秒。

VIALS-AA,科學視覺推理(@ArtificialAnlys):Fable 5.2 獲得 67% 的分數,而 Gemini 4 Carbon 為 64%,Astra 為 63%。Fable 平均每任務約 37 次工具呼叫,而 Astra 約為 8 次。

它平均每回合呼叫 1.60 次,是榜單上最高的(每回合說明)。範例軌跡:裁剪,然後顏色通道遮罩,然後擬合圓形並展開弧線,然後計算強度剖面中的峰值,然後將檢測結果重新映射回原始圖像以進行驗證。

SemiAnalysis GDPx (@SemiAnalysis_):以 16.4% 位居第一。發布分析將其性能提升歸因於測試廣度。Fable 生成數百到數千個測試案例,而 Opus 5.5 和 Fable 5.1 則停留在約 20 個,並且它更積極地生成子代理進行獨立重新推導(5/7)。

儘管每個 token 的價格便宜了 20%,但每任務成本上升了 31%(67.16 美元 → 88.15 美元)(6/7)。

@dylan522p 細分了領域:在晶片設計、軟體工程、生物學和材料科學方面顯著更好。在金融、法律、量化交易、RSI 或硬體設計方面沒有更好。RSI 結果反映了 Anthropic 的明確限制。

Perplexity WANDR (@perplexity_ai):創紀錄的 0.851 分,每任務 14.51 美元,位於帕累托前沿。@marktenenholtz 指出 Fable Low 以顯著較低的成本匹配 Opus 5.5 Max。

實驗結果預測(@pzeroresearch):測試最佳為 0.36,延續了自 GPT-4 Turbo 以來的穩定趨勢。他們將此視為「研究品味」的代理指標。

No-CoT 推理/知識評估(@Tim_Hua_):略高於 Anthropic 趨勢,略低於 GPT-6.1 Sol。@scaling01 強調了 NCKI 數字,並指出這些指標現在出現在每個系統卡片中(後續)。

Blood on the Clocktower(@dwarkesh_sp):仍然不如 GPT-6 Astra,但比 Opus 5.5 和 Fable 5.1 好得多。

安全,來自 UK AISI (@JordanTensor):Mythos 5.2「在規避審查其輸出的監控器方面,比對比模型的能力顯著更強」。

努力程度異常。多個評估顯示「最大」/「超高」設定的表現不如「高」設定:Vals、@theo 在 AA 的純程式碼視圖(其中與其他模型的差距也縮小了),以及 Fable 特有的下降。@nrehiew_ 指出只有 Fable 模型顯示出最大推理下降;Opus 和 Sonnet 則沒有。

@Yuchenj_UW 直言不諱:「不要使用 Fable 5.2 Max。」@theo 提出「不要使用最大推理」作為 Anthropic 自身建議的另一種解讀(引文)。@BlackHC 質疑 Anthropic 討論串中明顯的不一致:一個圖表顯示 5.2 為 36%,另一個則顯示它在 18 小時內達到 86%。

隱藏模型。系統卡片指出 Anthropic 最強大的模型仍為內部模型(@AndrewCurran_)。@scaling01 推斷內部模型在 ECI 上得分約為 175-180。他也預計下一個 OpenAI Astra,作為「循環」模型的第一個世代升級,將是更令人感興趣的發布,因為其 CoT 可監控性。

RSI 能力限制。@eliebakouch 認為 Anthropic 可能在數月內不會公開發布任何比 Opus 5.5 在 LLM 訓練方面更好的模型。他讚賞其透明度,以及像可解釋性等領域沒有被限制(1)。他勾勒出一個簡單的方法:最大化正常任務,同時最小化目標領域,然後承認這是一個難題(2, 3)。

@omarsar0 表示即使是 Opus 5.5 也拒絕大多數核心和 LLM 最佳化任務。對於運行自動研究循環的獨立研究人員來說,「這很糟糕」,這促使他們轉向開源模型(1, 2, 3)。他也詢問 AI 研發結果是來自發布的模型還是內部變體(@omarsar0)。

命名作為信號。@theo:「我將過度解讀將其命名為 Fable 5.2 而非 5.5 的決定。」SemiAnalysis:「一個邊際的改進,無法與最初的 Mythos 發布相比,而且可能遠遠落後於 Anthropic 內部擁有的模型」(7/7)。

@TheRundownAI:比 Fable 5.1 有重大升級,但「比 Opus 5.5 的跳躍較小」。@scaling01 開玩笑說 OpenAI 現在可以將他們的模型稱為 6.5 而不是 6.2。

IPO 背景。@swyx 指出 $ANT 的 IPO 路演在同一天開始。@andersonbcdefg:「不確定這個模型是否足以挽救 IPO。」

成本和限制現實。訂閱價值。@theo 分析了 110 萬個記錄請求,來自 200 美元的 Ultra 訂閱(方法)。該方案每月可產生約 15,000 美元的 Opus 5.5 價值,但 Fable 5.2 僅約 3,000 美元。最重要的是,Fable 的使用上限為每週限制的 50%,因此僅使用 Fable 的用戶「損失」了一半的限制(圖示)。

開源模型比較。@Yuchenj_UW:DeepSeek 每任務便宜 44 倍,而且「95% 的任務不需要最聰明的模型」。@TheZachMueller 表示同意。

速度與成本。@teortaxesTex 發現 Fable 5.2 Medium「在極短時間內(但非成本)超越 Sol 6.1 Ultra」(更正)。

每日笑話。@boobs_scary:每週重置將工程變成了一場扭蛋遊戲,「要麼給你黎曼假設的解決方案,要麼刪除你的主目錄。」

官方建議和使用技巧。Anthropic 的 @felixrieseberg:Fable 在大型、長期任務上優於 Opus:整個程式碼庫重寫、大型人工製品的初稿、模糊探索。他預計它將大量用於 Rust 移植、新聞調查和科學。他日常仍然更喜歡 Opus 5.5,因為 Fable「思考速度稍慢」。

Anthropic 的 @alexalbert__:首先詢問它你的想法有什麼問題;它會提出反對意見。從中等或高努力程度開始,將超高保留給最困難的問題。預先聲明哪些需要你的批准。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Latent Space 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。