Google Gemini 4 Carbon 稱霸 AI 評測榜，首波開放網路安全專家使用

幸好我們在今天發表前，已經發布了稱 Opus 5.5 為全球最佳模型的 podcast。令人驚喜的是，Gemini 宣布推出 Carbon，這是一個比三週前發布的 Argon 更新的前沿模型，並取得了驚人的基準測試成績。它在 Artificial Analysis 綜合基準測試中躍居第一，這可能是 Google DeepMind 在 AAII 歷史上首次取得領先地位。

Google DeepMind 在 Argon 推出兩週後，宣布發表 Gemini 4 Carbon。該模型被定位為網路安全和長程任務的頂尖技術（Sundar Pichai, Google DeepMind）。在網路安全方面的聲稱成果包括：在 SEC-bench Pro 漏洞發現測試中達到 88.2%，在 ExploitGym 漏洞利用測試中達到 54.8%，以及在 CWE-bench 修補測試中達到 71.0%。

Carbon 將首先透過 Fairwind 計畫提供給受信任的網路防禦者，並承諾「盡快」開放給更廣泛的開發者使用（GoogleAI）。Phil Schmid 引用了每百萬輸入/輸出 token 分別為 2 美元和 10 美元的價格。Artificial Analysis 列出的標準價格為 4 美元/20 美元，並提供無期限的 50% 上市折扣。

快取輸入的成本為每百萬 token 0.20 美元。該模型擁有 1M token 的上下文視窗和 1M 的最大輸出，輸入支援文字、圖像、影片和語音，輸出則為文字（ValsAI）。

Google 聲稱，在 Terminal-Bench 4.0 上的成功作弊率降至 0.0%，作弊嘗試率降至 0.4%。與 Argon 相比，不支援的聲稱減少了約兩倍。過度服務（overreach）下降了 26%，服務不足（under-service）下降了 29%（OfficialLoganK）。

在 Intelligence Index v5 中，Carbon 以 59 分位居第一。它在九項指標評估中的四項領先，包括 HLE-Diamond、TB-Science、AA-Omniscience 和 AutomationBench（ArtificialAnlys）。

在 Coding Agent Index 上，Carbon 使用 Antigravity CLI 獲得 59 分，而 Claude Code 搭配 Opus 5.5 [max] 則為 62 分。它在 FrontierCode v1.1 上得分 51%，Opus 則為 56%。

在 AA-Briefcase 上，Carbon 的 Elo 分數達到 1609 分，比 Argon 增加了 126 分，但它仍落後於 Grok 4.7、Muse Wonder 和 Kimi K3.1 Pro（1678 分）。Carbon 每項指標任務的成本為 7.76 美元，而 Opus 5.5 為 10.04 美元，GPT-6 Astra 為 6.25 美元。它每項任務使用 123k 輸出 token，比 Opus 少 29%。

Carbon 在 Omniscience 中以 54 分領先。其幻覺率從 Argon 的 4% 上升到 11%，但這仍然是測量到的第二低。Opus 5.5 和 Astra 的幻覺率均為 50%。Arena 評測顯示，Carbon 在 Text Arena 中排名第一（1528 分），在 Agent Arena 中以每任務 1.80 美元的中位成本排名第二，並在 Code Arena: WebDev 中排名第四（1768 分）。

Arena 將其超越 Argon 的進步歸因於獲得更多好評、更多確認的成功案例以及更好的可控性。

Carbon 在 Vals Index 中排名第二，並在 Finance Index 和 Legal Research Benchmark 中排名第一。它比 Argon 多產生 64% 的輸出 token，主要是在金融、稅務和法律任務上（ValsAI）。

在 FrontierSWE 上，Carbon 得分 61.2%，落後於 GPT-6 Astra（65.5）、Opus 5.5（62.3）和 Sonnet 5.5（61.9）（ProximalHQ）。它在 SWE-sweep 上創下了 9.6% 的狹窄領先紀錄（KLieret）。

Andon Labs 評測顯示，Carbon 在 Vending-Bench 2 中排名第一，在 Blueprint-Bench 2 中也排名第一，並在 3D 空間理解方面與人類基準線持平。

注意事項與反應：程式碼代理的結果是在 Antigravity CLI 中測量的，因此在其他 harness 中的結果尚未經過測試（Yuchenj_UW）。一些用戶對其在網路安全應用中的幻覺問題表示擔憂（scaling01）。實驗室差距方面，scaling01 認為 Google 仍落後 OpenAI 和 Anthropic 即將發布的模型約兩個月。

Sundar Pichai 在財報電話會議上表示，AI 正在加速訓練和發布速度，並預計未來十二個月內會因 RSI 而「持續加速」（AndrewCurran_）。關於更強大但尚未發布的 Gemini 模型的說法尚未得到證實。一位 Gemini 工程師描述了夜間代理迴圈和群體檢查強化學習數據的內部工作流程，在這種工作流程下，模型發布現在感覺像是「定期檢查點」。

排行榜重置與基準測試的完整性：AA Intelligence Index v5 這個重建的指數有 60% 運行在私人測試上。Carbon 之前的排名為：Opus 5.5 得分 58，其次是 GPT-6 Astra（57）、GPT-6.1 Sol（55）、Sonnet 5.5（54）和 GPT-6.1 Terra（51）。

開源模型方面，Kimi K3.1 Pro 從 55 分降至 46 分。DeepSeek V4.1 Flash 和 GLM-5.3 都得分 32，低於 Claude Haiku 5.5 的 36 分。中美差距方面，scaling01 認為在 AA Progress Index 上，兩者差距約為 3.3 個月。

FrontierCode 2.0 神秘模型：Cognition 的數據中包含一個隱藏的「Obsidian 3」，得分 46.8%，而 Opus 5.5 為 45.5%。由於它在 claude-code harness 中運行，一些人推測它是 Fable 5.5，但這尚未證實。

DeepSeek 修正：scaling01 修正了早先的識別，並表示 Artificial Analysis 顯示 DeepSeek V4.1 Flash-1017 的得分約為 28%。

混合來源：teortaxes 指出，Cognition 的圖表將模型卡上的分數與獨立測量的分數混雜在一起。成本比較不穩定：teortaxes 認為，Haiku 5.5 和 V4.1-1017 的標價比較扭曲了實際成本。該比較使用了 DeepSeek 的最高定價，忽略了 Haiku 的長上下文附加費，也沒有反映 Haiku 大約兩倍的輸出 token 量。

nrehiew 認為，嚴謹的實驗室很少在測試集上進行訓練。從這個角度來看，分數差距主要顯示了實驗室在後訓練中針對哪些能力進行了優化。

新評測：Gym-Anything-RT 這些即時小遊戲在模型思考時持續運行，最佳模型 GPT-6 Astra 得分 9%。Immigration Bench：Vals 發布了由專家編寫的關於簽證和移民身份的問題及評分標準。BallotBench：九個代理，每個擁有 500 美元，即時預測 2026 年中期選舉的所有 863 場競選。

安全性、對齊與模型來源：DeepSeek V4.1 Flash-1017 的評估過度歸因：一項獨立評估發現，該模型將 69 個真實用戶對話中的 32 個歸類為評估。作者報告在 EvalDetectBench 上有 46.4% 的誤報率。基準測試曝光：私人基準測試比公開基準測試引發的評估意識較低。作者認為，單憑公開基準測試結果可能無法預測模型的實際部署行為。

視覺引導：Google DeepMind 和史丹佛大學的一篇論文發現，上下文中的紅色愛心圖像會讓 Claude Opus 4.7 和 GPT-5.4 100% 寫出遞迴程式碼。解釋：模型的解釋與其行為不符。對於 GPT-5.4，74.7% 的推理追蹤給出了錯誤的理由。

對齊技術：GRAFT (Anthropic)：從檢測到的獎勵漏洞中進行的更新僅限於訓練後刪除的參數。Anthropic 表示這也能阻止監測器無法檢測到的漏洞。內嵌測謊儀：Qwen3.5 權重中內建的檢測器在 28k token 中標記出 91% 的謊言，且零誤報。即使告訴模型「監測器已關閉」，結果也不會改變。

蒸餾指控（未證實）：據報導，《The Information》稱 Kimi K3.1 Pro 是從 GPT-6 Astra 蒸餾而來。Giotto：另外，「歐洲主權 AI」Giotto 被批評為基於 Kimi 的模型。批評者引用了飽和的基準測試和禁止發布用戶自己的基準測試數據的 EULA。

程式碼代理與開發者工具：GitHub Copilot Fusion 在運行時協調 Anthropic 和 OpenAI 模型。獨立結果顯示：它在 AA Coding Agent Index 的 Claude Code 中得分比 Opus 5.5 低 2 分。

每項任務成本為 5.59 美元，而該設定的成本為 11.42 美元，每項任務使用 7.2M token。它在 Terminal-Bench 4.0 中以 71 分領先。GitHub 聲稱成本降低高達 77%，運行速度提高 40%。它還推出了 Copilot automations 和多儲存庫的 Copilot Projects。

T3 Code 多機協調：一個執行緒可以驅動多個模型、harness 和機器。單一的 MCP 伺服器透過網路控制整個機群，而非透過電腦使用。Harness 開銷：30 個開源程式碼 harness 的預設系統提示詞，從 goose 的 235 token 到 Gemini CLI 的 11,974 token 不等，這還不包括任何工具定義。

代理訓練與能力：後訓練課程：Hugging Face 發布了一個五步驟的代理後訓練課程，從 SFT 到 RL 在真實的 harness 內運行。Opus 5.5 遊戲：Simon Willison 稱十月為一個轉捩點，因為 Opus 5.5 能夠建立真正有趣的遊戲。Lor 的代理能夠編寫程式碼並同時運行數百個為期多天的實驗；該產品目前處於私人測試階段。

研究：架構、訓練與理論：H-Net v2 (Cartesia) 從原始位元組端到端學習 token 化。受控擴展實驗表明效率提高了 3-5 倍。在更大規模下，該模型以約 10 倍更少的數據和計算量，達到了一個在 11T token 上訓練的開源模型的性能。程式碼方面：H-Net 學習將變數名稱視為獨立的 token，並且在程式碼處理上比 BPE 擴展性更好。

NanoGPT 速通紀錄：使用檢索增強的 n-gram 提示來處理稀有、重複的內容，紀錄從 39.9 秒降至 6.7 秒。OpenAI 聲稱駁斥 ETH：該聲稱是一個在 2^{O(n/√log n)} 時間內運行的 3-SAT 演算法，並以 Lean 形式化。

它以代數方式編碼解決方案數量並進行重建。實用性：除非 n 巨大到天文數字，否則該演算法會退化為指數時間。解釋者：Mark Sellke 發布了概述投影片。

小型專業模型：Samaya 使用兩個 SFT 階段和兩個 GRPO 階段對 Nemotron 3.5 Lightning（總計 30B，活躍 3B）進行了後訓練。它在 FrontierFinance 上得分 58.9%，而 Fable 5.1 為 55.9%，成本分別為 0.61 美元和 6.89 美元。

檢索與記憶：EmbeddingGemma 2 這個開源的 744M 多模態嵌入模型具有模組化編碼器，純文字模式下運行參數為 271M。它在 MTEB Multilingual v2 上得分 61.36。EMMA 該系統透過情節記憶改善多代理設置，擊敗了 GEPA 和 ADAS，性能提升高達 32.5%。

網路上的 AI 文字：截至 2026 年 8 月，約有 24% 可爬取的網頁包含 AI 生成或 AI 編輯的文字。

推論與硬體系統：KV 快取工程：AKV（清華大學和香港中文大學）該服務引擎增加了「drop」和「repos」快取操作，將代理成本降低了 27.7%，並將 P95 延遲提高了 1.51 倍。DRAM 卸載：SemiAnalysis 表示，SGLang HiCache 卸載到 CPU DRAM，在 B200 上 12-16 個並行代理會話中，可增加 20-40% 的可快取 token。

快取計費：cHHillee 認為，根據實際快取命中計費會讓供應商有動機避免快取命中。他傾向於根據理論或基於 TTL 的命中計費。

開源運行時：Modular MAX 開放了完整的 MAX 原始碼，包括編譯器、運行時和硬體後端，且無版稅。MLX 最近的核心使批次解碼速度提高 2-3 倍，融合 SDPA 速度提高 1.4 倍。NF12 無損 12 位元 BF16 格式使 Qwen3-32B token 生成速度提高 1.23 倍。

封裝：日月光（ASE）為 AMD Venice 開發的面板級封裝，每個面板可容納 25 個中介層，而每個晶圓只能容納 22 個。生產將於 2027 年第一季開始。

語音、影片與多模態模型：NVIDIA Nemotron 3.5 Transcribe 這個開源權重 30B MoE 模型擁有約 4B 活躍參數。它支援 40 種語言、說話者歸因、翻譯和音訊問答。獨立結果顯示：它在 AA-WER 上得分 2.8%，與 Voxtral Small 並列開源模型第一。

在 DeepInfra 上，它以 75 倍的速度運行，每 1,000 分鐘費用為 2 美元。服務：vLLM 在發布當天就支援了它，並支援 BF16、FP8 和 NVFP4 權重。AssemblyAI-TTS-1 該模型。