AI 視覺推理仍有不足，但研究品味與太空應用正加速發展

歡迎來到 Import AI，一份關於 AI 研究的電子報。Import AI 的運作仰賴 arXiv、咖啡和讀者的回饋。如果您想支持我們，請訂閱。

新基準測試揭示 AI 模型缺乏直覺式視覺推理能力：

「人類第六感」突顯了當前 AI 系統的一些不足之處。AI 新創公司 Elorian 和 Scale AI 共同開發並發布了「人類第六感」（Humanity’s Sixth Sense, HSS），這是一個旨在「衡量模型如何解讀並推理視覺場景中暗示而非明確顯示的資訊」的基準測試。

HSS 中的任務範例包括：一張書櫃的圖片，然後被問及是否能再放更多書；或者一張馬匹拉犁的照片，然後被問及鏈條是否承受了犁的拖曳重量。

HSS 包含 522 個問題，涵蓋 288 張圖片和 234 段短影片（總計 17.6 小時的影片）。這些問題分為四大類：

• 時間與因果動態：「場景發生前發生了什麼，接下來會發生什麼。」
• 物理與空間邏輯：「什麼能裝下，什麼在觸手可及的範圍內，以及其他人從他們站立的位置能看到什麼。」
• 社會理解：「意圖、注意力、歸屬感。」
• 抽象與情境推論：「場景所暗示的模式和規則。」

測試結果：

人類的基準表現並非完美，但非常高，總體通過率（pass@1）為 93.1%，細分到四個類別：圖片（94.1）、影片（91.9）、時間（97）和空間（94.9）。相比之下，得分最高的 AI 系統 GPT 6 Astra 的通過率為 53.6%，其中圖片（55.6）、影片（51.1）、時間（58.2）和空間（53.6）。

有趣的是，中國的開源模型表現不佳，GLM-5.3-flash 的通過率為 26.8%，Kimi K3 為 25.5%。他們寫道：「最常見的兩種單一錯誤是 (1) 錯過了決定答案的細節（21% 的失敗）和 (2) 錯誤識別了物體、人物或角色（20%）。」

為何這很重要，HSS 告訴我們世界模型是否是湧現的：

看待 HSS 的一種方式是突顯當前系統的缺陷，但更引人入勝的方式是突顯當今前沿大型語言模型（LLM）在執行許多人長期以來認為需要複雜且不同 AI 系統才能解決的任務方面的熟練程度。例如，許多人聲稱真正的視覺推理將依賴於開發具有空間意識的 2D 和 3D 世界模型，然後將其用於推理。

像 GPT 和 Claude 這樣的 LLM 在 HSS 上表現出色，這一事實在某種程度上反駁了這一論點。欲了解更多資訊，請閱讀 Elorian 的「Introducing Humanity’s Sixth Sense (HSS)」。您也可以在此處閱讀 Scale Labs 的論文「Humanity’s Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models」。

***

AI 競賽將進入太空，而且比你想像的更快：

「AI 在太空中有許多方式可以創造複合優勢。」在 2030 年代，隨著 Starship 等平台提供更大的軌道運載能力，太空基地的電力、計算和製造將大規模上線，我們將看到太空經濟的蓬勃發展。但這是否也會帶來新的危險，即 AI 系統既加速我們在太空的建設，最終又可能讓一個國家（或甚至一個 AI）能夠利用太空來集中權力？這就是 AI Frontiers 一篇引人入勝的文章的要旨。

AI 如何解鎖太空：

• 太空船可以自主運行。
• 我們可以重新設計太空船，假設它們將搭載 AI 而非人類：「一小塊太空碎片可能以致命的後果刺穿國際太空站（ISS），但對於一個無人、非加壓的同等太空船來說，可能仍能保持大部分功能。」
• 太空組裝和後來的製造將讓 AI 能夠建造大型、複雜的物體。

先發者是否有複合優勢？

如果一個 AI 文明在太空建立立足點，它可能會經歷複合優勢，使其在經濟和戰略上佔據主導地位。例如：

• 太空可能支持一個工業飛輪，初始基礎設施帶來更低的能源和製造能力成本，進而帶來更多的基礎設施，依此類推。
• 太空具有卓越的領域感知能力，太空基地力量可能能夠阻止其他國家進入太空。
• 先發者可以發送自我複製探測器，擴展到深空。

為何這很重要：

AI Frontiers 寫道：「太空並非一個全新的領域，但 AI 可能即將大幅加速其工業化，要求領導者在日益增長的緊迫性和不確定性下做出關鍵決策。」我同意這一觀點。我懷疑太空將比我們想像的更快地從一個廣泛的學術研究課題（當涉及 AI 及其關係時）轉變為一個具有非凡實際相關性的領域。

在最基本的層面上，考慮到所涉及的距離和通訊延遲，我們應該預期太陽系活動的某一部分將由自主機器主導，它們在深邃的黑暗中勞作，或許會思考為何需要聽從那些通訊緩慢且無法像它們一樣適應太空環境的有機生命體的命令。欲了解更多資訊，請閱讀 AI Frontiers 的「The AI Race Will Extend Far Beyond Earth」。

***

AI 系統在擁有良好研究品味方面越來越好：

「它們的品味越好，遞迴式自我改進的機會就越高。」根據 P-Zero Research 的新基準測試 TasteVal，AI 系統正在發展更多人類研究人員所稱的「良好科學品味」的創造性直覺。

TasteVal 測試什麼：

該基準測試評估 AI 系統在執行 8 項代表前沿 AI 開發的任務方面的表現，「涵蓋預訓練數據策劃、預訓練和微調語言模型、偏好建模以及對抗性提示的穩健性」。其目標是「將研究品味定義為選擇有趣問題、設計實驗和解釋實驗結果的能力」。

該基準測試透過衡量「研究品味的實驗成分」來運作；在給定固定研究問題的情況下，我們衡量模型如何迭代地設計實驗並從其結果中得出結論。被分析的模型設計實驗並解釋其結果。結果會與人類基準進行比較，該基準「來自 24 位專家（每個任務至少兩位），他們最近曾在 OpenAI、Google DeepMind、NVIDIA 和 Microsoft Research 等組織工作」。

測試結果：

「自 2025 年 12 月以來，前沿模型的實驗研究品味每 3.0 個月翻一番（95% 信賴區間 1.7-5.0 個月）。最佳模型 Opus 5.5 以 2.30 倍的計算乘數（95% 信賴區間 1.15-4.37 倍）顯著超越了我們的人類基準，而其每次嘗試的平均成本約為我們專家基準測試者的 1/30。」研究品味在早些年似乎增長得慢得多，斜率在 2025 年底和 2026 年初左右發生了變化。

為何這很重要，遞迴式自我改進（RSI）：

在我對遞迴式自我改進的分析中（「AI 系統即將開始自我建構」，Import AI 455），我反覆指出創造力似乎是 AI 系統發展自我改進能力速度的關鍵變數。今年年初我曾說：「AI 系統尚未以變革性和主要的方式展現這種（創造力），儘管一些加速數學研究的結果暗示了這一點。」

我認為在寫完那篇文章之後，我們已經看到了 AI 系統在創造性數學突破能力上的巨大進步，而且透過像這樣的基準測試，我們也看到了一些跡象，表明它們在 AI 研究方面也越來越出色。我現在認為，我們更有可能在 2027 年看到完全的 RSI 成為可能，而之前我認為更有可能在 2028 年。欲了解更多資訊，請閱讀 P-Zero Research 的「Introducing TasteVal」。

***

Reflection 透過 Reflection 模型實現了代幣效率，但表現仍遜於中國模型：

「Beam 承諾效率，Reflection 計劃發布開源模型。」AI 新創公司 Reflection 公開了 Beam，這是一個擁有 5010 億參數的 MoE（230 億活躍參數）大型語言模型。Beam 以其代幣效率而聞名，它能夠以比其他模型少得多的代幣進行智能思考。

然而，基準測試分數顯示，它的能力落後於中國公司如智譜（GLM）、月之暗面（Kimi）和 DeepSeek 所定義的前沿大型語言模型。

該公司在 10 月初寫道：「我們將於本月稍晚發布權重、技術報告、模型卡和開發者工具。」

龐大的計算資源：

Beam 在 6,144 個 GB300 NVL72 GPU 上進行了為期四週的預訓練，然後強化學習（RL）運行涉及約 10,500 個相同的 GPU，持續了四週。Reflection 寫道，預訓練的基礎數據是「來自網路和專有授權數據集的 23.8 兆個多樣化、精心策劃的高品質代幣，匹配或超越了可用的類似規模的開源基礎模型」。

「我們的數據管道旨在為 Beam 的下游代理編碼奠定基礎：原始碼、技術解釋以及數學和科學知識，在策劃的每個階段都得到保留。」

測試分數：

• DeepSWE 1.1: 44.4，而 GLM-5.3 為 61
• GPQA Diamond: 90.5，而 GLM-5.3 為 91.7
• MCP Atlas: 78.7，而 GLM-5.3 為 84.2

代幣效率：

他們寫道：「Beam 將編碼和代理能力與高效推理結合。在高級推理基準測試中，它取得了與 GLM-5.2 相當的分數，同時使用了 3-4 倍少的推理計算。」部分推理效率是透過精心設計的強化學習訓練實現的，該訓練涉及大量強化學習環境：「我們採集了一百萬個高品質的編碼、代理和 STEM 環境。我們相信這是迄今為止任何開源實驗室進行的最大規模的強化學習運行之一。」

為何這很重要，美國重返開源模型：

除了 Google 表現良好但規模較小的「Gemma」系列模型外，美國已經跌出了開源模型的前沿，這主要是因為 Meta 停止開發出色的 LLaMA 模型，其 MSL 團隊仍在組建中。像 Beam 這樣的模型和像 Reflection 這樣的公司代表了美國重返前沿的機會。

欲了解更多資訊，請閱讀 Reflection 部落格的「Introducing Beam: Reflection’s 501B open-weight model」。

***

Mistral 推出網路安全優化模型，表現遜於中國模型，計劃開源：

「網路拒絕成為賣點。」歐洲領先的 AI 開發商 Mistral 宣布推出 Mistral Large 4，這是一個開源模型，該公司計劃在本月底發布。Mistral 的主要賣點之一是它經過精心調整，擅長網路安全任務，同時比 Anthropic 和 OpenAI 的專有模型具有更少的煩人「拒絕」。

該公司寫道：「ML4 將頂級的網路性能與開源權重和自我部署相結合，為組織提供了在其自身政策下運行高級安全工作的能力和自主權。」ML4 在 3,800 個 NVIDIA Grace Blackwell 上進行訓練。