近幾個月來，關於模型所有權以及主權/在地 AI 的開放與封閉、美國與中國之間的討論日趨白熱化。在這樣的背景下，Poolside AI 終於推出 Laguna S 2.1 等新模型，其性能甚至超越 Thinking Machines 近期發布、規模近十倍的模型，這無疑是個好消息。

Poolside 最近的技術報告因其詳盡程度而廣受好評。Poolside 共同創辦人 Eiso Kant 投入超過十年時間，堅信程式碼是通往通用人工智慧（AGI）的途徑，並打造出一個能在八週內將模型從預訓練推向發布的「模型工廠」。

Eiso Kant 受到 Andrej Karpathy 於 2015 年關於循環神經網路（RNN）文章的啟發，堅信神經網路應能泛化一切，語言能泛化智慧和程式碼能力。他因此創立 Sourced 公司，致力於開發程式碼語言模型。

儘管投入四年時間和 1,200 萬美元，當時市場對此並不關心，Sourced 最終以失敗告終，成為 Eiso 職業生涯中最大的挫折。然而，ChatGPT 的問世對他而言是巨大的驗證，證明了他們當時的方向是正確的。

這段經歷也讓 Poolside 回歸開源路線，Eiso 堅信隨著 AI 能力的提升，其應保持開放和開源。他更傾向於一個擁有 100 家基礎模型公司的世界，而非寡頭壟斷。

我們深入探討了 Poolside 的「模型工廠」：支撐每月 10,000 至 20,000 次實驗的工程系統、將數據直接串流至訓練過程、可重現的實驗、低精度運算，以及日益能夠編寫程式碼、啟動任務、評估結果並修改用於訓練未來模型的 AI 代理人。

Poolside 官方推特宣布：「今天我們發布了 Laguna S 2.1，這是我們迄今為止最強大的模型。這是一個總參數達 1,180 億的專家混合模型（Mixture-of-Experts），每個詞元啟用 80 億參數，上下文視窗高達 100 萬個詞元，並具備思考與非思考模式。」該模型足以與許多規模更大的模型匹敵。

Eiso 也詳細闡述了他們近期發布的 Laguna S 模型，解釋了為何堅持、驗證和回溯可能比原始智慧更重要，小型模型中仍蘊藏多少潛力，以及為何強化學習將更早地融入預訓練階段。他指出，目前「下一個詞元預測」仍未能充分從網路中提取知識。

Poolside 不僅發布開放權重，更致力於推動真正開放的研究，並刻意在灣區人才戰之外建立全球性的研究組織。Eiso 強調，模型建構的本質有 90% 屬於工程範疇。

Poolside 的「模型工廠」是一個端到端系統，旨在快速訓練和改進模型。透過這個系統，不到 70 名研究人員每月可執行約 10,000 到 20,000 次實驗。他們將模型開發週期從六個月縮短至五到八週，這得益於將數據直接串流至訓練過程，從而加速了實驗進度。

不可變數據、版本化程式碼和可重現性，是確保模型研究嚴謹性的關鍵。Eiso 鼓勵有能力的科學家離開實驗室，成為 Poolside 的競爭對手，因為他相信 95% 的模型建構問題最終都能歸結為更好的數據或運算效率。

知識蒸餾（distillation）和環境模擬已成為 AI 產業最受歡迎的「藥方」，而中期訓練實際上是課程設計的早期形式。低精度訓練、網路瓶頸以及運算效率的進一步提升，都是未來發展的重點。Laguna S 總參數達 1,180 億，其中 80 億為活躍參數，從訓練到發布僅需八週，模型開發者通常能在新檢查點的前 30 分鐘內完成評估。

在模型與輔助系統（harness）的關係中，AI 代理人的能力究竟源自何處？Poolside 認為編碼和長期軟體任務是通往 AGI 的途徑。Eiso 認為 MCP 和傳統工具呼叫「很蠢」，未來的代理人將會編寫腳本，而非從數十種預定義工具中選擇。

他主張採用最小化的輔助系統、容器化和模型自由。Poolside 優先發展視覺能力，但短期內不預期會投入音訊領域，因為語言可能是編碼知識和推理最有效率的運算模態。

模型開發的真實成本以及為何最終訓練運行往往平淡無奇，也是討論的重點。Poolside 這個名字背後的故事，代表著不願降低雄心壯志。儘管投資者仍質疑 AGI 是否真實存在，Poolside 仍成功籌集了 5 億美元。

Eiso 預測智慧可能成為全球需求最大且最商品化的資源。當開放模型變得過於強大，可能需要限制其發布。在全球競爭環境中，單方面的 AI 安全措施是行不通的，而監管也可能意外地導致兩三家 AI 公司形成寡頭壟斷。

NVIDIA、TSMC 以及支撐基礎模型進步的硬體系統至關重要，而強化學習的實際運行時間是 Poolside 面臨的最大瓶頸之一。Poolside 選擇從頭開始訓練模型，而非僅僅蒸餾大型模型。

AI 正在改變公司衡量工程生產力的方式，而自主性（agency）可能成為 AI 時代員工最重要的特質。領導者透過共同目標和明確限制來協調高自主性人才。Poolside 在研究、後訓練、預訓練、架構、評估和工程等領域積極招募人才。