跳到主要內容
maxstudioNews
產品Latent Space約 4 分鐘

Jev 革命:工程師如何運用「系統一模型」打造智慧軟體

AI 工程師高峰會上,TypeSafe AI 共同創辦人 Diogo Almeida 介紹了 Jev 產品所引領的「系統一模型」趨勢。這些非生成式模型比大型語言模型(LLM)更快、更便宜且更可靠,Almeida 呼籲將其整合到程式碼中以實現全面自動化。Glean、UiPath 和 Workday 等公司已開始運用 Jev,展示了其在提升軟體智慧和可靠性方面的巨大潛力。

Jev 革命:工程師如何運用「系統一模型」打造智慧軟體
圖片來源:Latent Space

今天在 AI 工程師程式碼高峰會上,主題聚焦於「系統一模型」。這些非生成式模型會回傳結構化的選擇、分數或機率,通常比需要推理的 LLM(又稱系統二模型)更快、更便宜。

TypeSafe AI 的共同創辦人兼執行長 Diogo Almeida 是推廣系統一模型的最佳人選。Almeida 也是 Jev 的主要創作者,這款產品在不到兩個月前引領了這股新趨勢。

Jev 在九月發布時,立即讓 AI 工程師們耳目一新。Almeida 在產品發表時接受 Latent Space 播客採訪(該集迅速成為年度最受歡迎的節目),他解釋了將 LLM 作為軟體核心的主要問題:可靠性。

在今天 AIE Code 的主題演講中,他更進一步宣稱 Jev 是「可靠的智慧」,應該用於「自動化一切」。

對 AI 工程師來說,Almeida 提出的系統一模型應與程式碼整合的觀點特別引人注目。他在主題演講中表示:「程式碼是自動化的語言,因此你需要與程式碼整合。」

Latent Space 創辦人 swyx 將此解讀為一項號召,鼓勵大家「在應用程式碼中隨處大量嵌入『系統一』模型呼叫,以打造更智慧的軟體,而非採用日益複雜的『將字串拼接在一起然後聽天由命』的 AI 工程方法。」

「智慧軟體」這個詞貫穿了 Almeida 的演講。這聽起來像是微軟或 IBM 等公司在 Web 2.0 時代會使用的術語,但在 AI 時代,它確實揭示了 LLM 驅動軟體的一個殘酷現實:有時它並不是那麼智慧。正如 Almeida 在演講中打趣地說:「你 95% 的時間會得到愛因斯坦,但 5% 的時間卻是豆豆先生。」

他補充道:「如果你無法分辨兩者,你他媽的要怎麼自動化任何事情?」

Almeida 最後熱情地呼籲「自動化一切」。他像一位沉迷 AI、粉紅頭髮的史蒂夫·賈伯斯,向「夢想家和不願受限於現狀的人們」喊話,承諾 TypeSafe AI 將「為你們奮鬥,我們希望這能像第四個邏輯閘一樣可靠。」

Glean 的 Chinmay Goyal 接著 Almeida 上台,任務艱鉅,他展示了 Jev 更實際的應用方式。他解釋說,Glean 將系統一模型與 LLM 及其他分類器一同使用,而 Jev 特別適合「零樣本彈性」。

他說:「隨著決策空間的分類法改變,我們不必一次又一次地微調這些模型。」

演講結束後,Goyal 在一次簡短採訪中告訴 Latent Space,他們的客戶實際上不需要知道他們正在使用哪種類型的模型。他說:「Jev 驅動了大量的流程,但用戶只需要一個能正常運作的產品;這始終是我們開發任何產品的目標。因此,我們希望隱藏所有關於我們是使用 Jev 還是功能齊全的 LLM 的複雜性。」

在他的演講結論中,Goyal 提出了一些關於何時使用 Jev 的規則。接下來在 AIE Code 登場的是來自 UiPath(一家業務協調與自動化平台)的 Chibi Vikram 和 Kevin Bernstein。他們的一個範例展示了 Jev 對文件區塊進行排序的測試。

他們舉辦了一場「錦標賽」,Jev 從小組中選出最相關的區塊,然後獲勝者晉級下一輪,依此類推。即使進行了數千次 Jev 呼叫,整個過程也在不到一秒內完成。

Vikram 談到這項實驗和其他實驗時說:「我們意識到 Jev 是一個可以調整的建構區塊,我們必須找到新的策略來應用這個建構區塊。它本身可能看起來不那麼智慧,但透過這些策略和模式,即使是我們現有的 Jev 模型,也能變得更智慧。」

Workday 的首席工程師 Scott Roberts 以他的團隊使用 Jev 進行的一些原型展示,結束了 AIE Code 的「系統一」環節。

其中一個原型是,當用戶仍在輸入時,介面就開始填寫請假卡。這有趣地展示了 Almeida 的觀點,即快速的模型呼叫可以改變軟體本身的行為。Roberts 將其描述為從「預測你想說什麼」轉變為「預測你想做什麼」。

就像早期的網路一樣,我從今天的系統一模型演示中學到最重要的一點是,像 Jev 這樣的模型可以開啟構建軟體的全新方式。我旁邊坐著一位負責公司 AI 業務的會議參與者,他告訴我,他利用業餘時間使用 Jev 創建了一個網站,用於分類和排名奇幻足球新聞。

但最後的發言權必須交給 Almeida,他將系統一模型帶來的新機會比作早期網路的實驗精神。他說:「我認為軟體的功能將會爆炸性成長,我們希望人們探索軟體的這些邊界。不一定是因為它有價值,而是因為他們可以做到,因為我們有新的領域可以探索,這就像早期的網路一樣。」

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Latent Space 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。