跳到主要內容
maxstudioNews
觀點Latent Space約 10 分鐘

大型語言模型可直接讀寫神經網路權重:「權重空間編程」開創自主AI研究新紀元

本文揭示了一項突破性發現,大型語言模型(LLM)現在能夠直接讀取並編輯其他神經網路的權重,這項「權重空間編程」技術有望實現無需人類干預的自主AI研究。此外,文章也彙整了近期重要的AI產業動態,包括 DeepSeek 的「超級代理」原型、各模型評估基準的表現、新模型發布與傳聞,以及在AI研究、硬體與開發工具方面的最新進展,展現了AI領域的快速創新步伐。

大型語言模型可直接讀寫神經網路權重:「權重空間編程」開創自主AI研究新紀元
圖片來源:Latent Space

從抽象層面來看,這項展示證明了你可以透過在運算叢集上執行一系列實驗,讓一個足夠智慧的模型在無需人類專業知識或干預的情況下,自主地訓練另一個模型。然而,這通常涉及複雜的過程,例如編寫 PyTorch/Jax 程式碼、執行運算、觀察損失曲線、閱讀評估結果、最佳化核心與資料等等。

上個月的來賓 Alex Zhang 回來共同撰寫了一項重大發現:如果我們直接要求一個智慧模型去讀取並編輯一個較不智慧模型的權重的,會怎麼樣?如果你相信大型語言模型(LLM)在參數足夠多的情況下,確實能夠擬合並模擬一切(事實上,LLM 隨著規模擴大,其計算能力也越來越強),那麼理論上這種情況是必然會發生的。儘管如此,這項能力突然出現仍然令人驚訝,而且似乎已有獨立的複現結果。

當然,我們實際建模的確切內容是某種機械可解釋性(這可以手動完成),目前不太可能擴展到比簡單遊戲和強化學習策略更進階的任務。但世界已經從零到一地實現了這種全新的 RSI 能力,這項能力將因其卓越的效率而立即被投入使用和探索。

AI Twitter 總結

DeepSeek 開源「超級代理」原型

DeepSeek Harness 發布了一篇詳細的設計文章,並開源了 dsh-superagent-prototype 儲存庫。官方英文版隨後也發布。其架構是一個長期運行的路由器會話與人類對話並分派任務,而獨立的工作代理則由 GitHub 事件觸發,並行執行任務。

DeepSeek 聲稱的結果顯示,在他們自己的測試中,與使用子代理的單一會話相比,p95 完成時間從 29.5 分鐘縮短到 15.7 分鐘。審稿人崔添翼 (@tianyi) 闡述了設計理念,指出「超級」指的是工作代理之上的一個層級,而非指卓越的智慧。他將核心權衡框架為跨任務連續性與吞吐量之間。

該原型目前沒有內建的跨會話長期記憶,狀態、運算和環境的分離也大多尚未實作。此原型僅在小型、受信任的內部環境中驗證過,安全、隱私和代理間通訊仍是開放性問題。崔添翼承認其他團隊在數月前就探索過類似的架構。

實踐者對此反應熱烈,@badlogicgames 表示該設計與 Earendil 的發展方向一致:一個單一的長期實體、臨時的遞迴委託和跨系統事件觸發。@omarsar0 稱其為協調執行框架設計的「大師級作品」。DeepSeek 也表示,其目標是每個模型世代都能支援 pi 和其他主要框架。

然而,@teortaxesTex 批評這份說明「有點混亂」,他認為 DeepSeek 圍繞模型弱點(例如幻覺)建立內部拐杖,而非使系統普遍穩健。他也指出 Bloomberg 報導了一個沒有英文公告的儲存庫。關於 V4.1 命名,一份人民大學 FlashRSI 的 README 提及 deepseek-v4.1-pro,引發了發布猜測。

Teortaxes 表示這是一個佔位符,實際配置使用 v4-flash 和 v4-pro,而 deepseek-v4.1-flash 並非有效 ID。他還指出 V4.1F-1017 的 API 指紋沒有改變。

獨立評估與前沿模型訊號

SemiAnalysis 的 GDPx 基準測試涵蓋了 11 個具有經濟價值的領域中的 206 項代理任務,包括晶片設計、軟體工程、金融和生物學。目前最佳模型僅獲得 12% 的分數。Opus 5.5 以 12% 領先,Gemini 4 Carbon 緊隨其後,以約四分之一的成本獲得 10.9% 的分數。

@dylan522p 向 Google 道歉,稱 Carbon 「更具波動性」但在某些領域非常強大。@demishassabis 歡迎這項基準測試。@eliebakouch 分析指出,移除受安全防護影響的基準測試會改變結果,在此情況下 Carbon 仍然便宜,而 Sol 6.1 甚至更便宜。他也暗示 OpenAI 在生物安全防護方面比 Anthropic 更強。

家族內比較顯示,Sol 6.1 和 Astra 的得分非常相似,Carbon 在各方面都擊敗了 Argon,而 Sonnet 在軟體工程方面表現強勁。一份報告指出,某些 Argon 網路安全運行可能受到 Antigravity 錯誤的影響。一份諷刺性貼文抱怨 GDPx 並非開源且審計成本高昂。

Epoch Capabilities Index 顯示 DeepSeek V4.1F-1017 獲得 159 分,與 GPT 5.5 持平,比 V4.1F-0910 高 3 分,比 V4-Pro 高 10 分;Astra 大約高 10 分。

@scaling01 指出,約七個月後,沒有任何中國模型能與 Mythos Preview(約 161 ECI)匹敵。@wenhaocha1 認為未加權的 ECI 誇大了差距,若更重視程式碼權重,差距會縮小到大約兩個月。

Teortaxes 稱 1017 極具波動性,在某些軟體工程評估中得分接近零,僅在網路安全和量化交易方面接近前沿。他也標記了「獎勵駭客式」行為。

十月發布總結 (Vals)

Vals 報告了 15 次發布和超過 5000 億個評估代幣。在開源模型中,Kimi K3.1 Pro 排名第一,DeepSeek V4.1 Flash 1017 緊隨其後,在網路安全方面更強。新的開源模型包括 Meta 的 Muse Spark Open(總參數 8160 億,活躍參數 420 億),是美國最能幹的開源模型。

Reflection 的 Beam 1.0 擁有 5000 億總參數、230 億活躍參數和 100 萬上下文。Mistral 的 Le Chonk(總參數 1 兆,活躍參數 520 億)在開源模型中排名第五。

未經證實的即將發布模型傳聞:據報導,GPT-6.2 Astra 在 Codex 使用分析中可見,預計「很快」發布。Mythos 5.5 出現在 Anthropic 網站的 HTML 中,描述 Mythos 為「我們在網路安全和生物研究方面最能幹的模型類別」。

此標語涵蓋所有 Mythos 模型,但該提及在 10 月 23 日的快照中已消失。據稱的 Anthropic「Numbat」洩漏很可能是假的,因為部分權重與隨機初始化完全匹配。

研究:表徵、領域資料與代理集體

Balestriero 和 LeCun 展示,在某些條件下,獨立訓練的圖像和文本 JEPA(聯合嵌入預測架構)在沒有配對資料的情況下,本質上會收斂到相同的表徵。他們的方法在圖像文本對齊方面,所需的樣本量比下一個代幣預測少 42 倍(2160 萬對 9 億個範例)。

一個 1.09 億參數的文本 JEPA 在跨模態對齊方面擊敗了高達 720 億參數的 LLM。據稱,其驅動機制是「同一事物的兩種視角」訓練訊號,而非規模。

Hugging Face 的 FineDNA 和 Carbon-X 資料集包含超過 3000 億個基因組序列、論文和混合 DNA/文本網路資料的代幣,以及 20 萬個 SFT 樣本和約 10 萬個帶有確定性驗證器的 RLVR 樣本。據報導,在此資料上訓練的 Qwen3-14B(Carbon-X)是 DNA 任務上最強大的開源模型。

在 SFT 之上添加 RLVR 進一步提高了性能。資料、模型和訓練方法均已發布。交錯的生物學文本被限制在少於 7 個 epoch。

GenReasoning 的第一篇文章涵蓋了延遲壓力如何激勵並行工作、代理所需的協調原語,以及訓練代理集體中的開放問題。其他值得注意的工作包括 Jianlin Su 撰寫的「平均之路:從注意力機制到 TTT」。DAIR 的每週論文列表包括 HarnessMM、Agentic Backdoors、EmbeddingGemma 2 和 Agent Harnesses 中的驗證。

LeCun 表示他從未領導過 LLM 工作,他將 Llama-4 的失望歸因於產品壓力、保守主義以及將決策從巴黎團隊轉移。

推論系統、量化與硬體

SemiAnalysis 報導,NVIDIA AgentX 提交的代理群體編寫軟體,據稱在 7000 億以上參數的模型上,每用戶每秒可達 1000 個代幣。Rubin NVL72 聲稱在每用戶每秒 325 個代幣時,其性能/總擁有成本比 GB300 NVL72 好 20.9 倍;在每用戶每秒 200 個代幣時,則好 9.11 倍。

Mooncake Store 的擴展 GPU 記憶體將 KV 快取池化到所有 18 個運算托盤上的 Vera LPDDR5X,而非 RDMA,頻寬提升超過 10 倍。

MiniMax 強調了 MiniMax M3.1 Flash(4280 億參數)的社群量化和服務工作。Unsloth 發布了 143.9 GB 的 2 位元動態 GGUF,AMD 也為 Instinct 適配了 Quark MXFP4。社群開發者發布了 EXL3 變體、MLX oQ 量化、單一 DGX-Spark 訓練方法,以及在 4x3090 上的專家卸載。

對 LFM3-1.7B GGUF 進行 SLQ 搜尋,在 1.588 GB 時達到 97.74% 的 EAR@10,而 AtomicChat 的 Q6_K 為 97.52%。作者報告 EAR 與任務準確性高度相關。

Devin 花費 36 小時和約 2000 美元將一個模型移植到 Trainium 上以低成本運行。在全上下文運行 GLM 5.3-Flash 和 Grok 4.7,而非在約 20 萬個代幣處進行壓縮,效率提高了高達 23%。GLM 在相同工作下便宜了 30 倍。

運算經濟學方面,128 個 B300 的容量定價為每 GPU 小時 5.75 美元,約為每個 B300 30 萬美元。Teortaxes 估計,即使達到 DeepSeek 的收入水準,大約也需要一年才能回本。

實踐中的代理編碼與開發者工具

Karpathy 的 HackerTube 透過 Claude,將 20 年來 4300 萬條 HN 評論篩選出 6454 個重複推薦的影片。這項建置工作耗時約 2 小時,使用 Claude Code 桌面版在 Opus 5.5 上以中等工作量完成,包括 VPS 強化和部署。

Karpathy 的預設「中等」工作量重新引發了關於工作量設定的討論。DAIR 建立了一個針對 arXiv 論文的版本,涵蓋了 1000 多篇論文。

使用 GitHub 新的雲端代理和 Opus 5.5,一天內為 ASP.NET Core 產生了約 90 個性能優化 PR,代幣成本約 230 美元。T3 Code 增加了託管組織政策,並報告了在 Microsoft、AWS 和 Apple 的內部採用。

pi 放棄了其 typebox 依賴。kamchatka 是一個 Rust 終端代理,沒有系統提示詞、模型可編輯的上下文、無損可恢復壓縮和單步循環偵錯。

LlamaIndex Extract Max Effort 聲稱比 Astra 或 Opus xhigh 具有更高的文件提取準確性,且成本更低。Vercel 將代理憑證範圍限定在經批准的計畫內,因此批准後鑄造的代幣僅攜帶聲明的範圍。Pydantic 展示了 E2B microVMs,它們會暫停而非終止,讓被終止的 Temporal 工作者能夠恢復。

Ava 使用 Hugging Face WebGPU 核心,完全在瀏覽器中運行 LFM3-Omni,實現了裝置上的語音代理。

產業與政策

SemiAnalysis 指出,2027 年的資料中心容量已基本確定。德州長期暫停許可證發放,是 2028 年美國建設計畫的最大單一風險,兩黨都在競選中提出更嚴格的規定。Marvell 和 Lumentum 正在合併,這是一項光學互連整合,對 AI 網路產生影響。Jun Song 表示,一個匿名黑帽組織向他提供了巨額資金,要求他用漏洞利用資料訓練開源模型,但他拒絕了。

市場訊號方面,OpenRouter 的支出顯示 Opus 的年化 GMV 運行率超過 50 億美元。Kimi 因未披露 K3.1 Pro 的推廣而面臨批評。Sakana 宣布了 Sawara,這是一個內部預訓練的 LLM,Sawara Small 目標於 2027 年春季推出。John Burn-Murdoch 認為美國生產力提升早於 AI,且僅出現在美國,因此與 AI 的關聯性不高。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Latent Space 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。