儘管 NVIDIA 在市場上的主導地位尚未結束,但來自各方的挑戰者和新選擇正不斷湧現。
法國熱門 AI 新創 ZML 獲得圖靈獎得主 Yann LeCun 的支持,現已發布一款推論效能軟體。這款軟體能讓多種開源大型語言模型在 NVIDIA、AMD、Google TPU、Apple Metal 和 Intel Arc 等各式晶片上運行。
法國 AI 新創 ZML 推出免費的 LLM 推論伺服器 LLMD,旨在打破硬體限制,讓大型語言模型能在 Nvidia、AMD、Google TPU 等多種晶片上以最高速度運行。此產品有助於企業降低 AI 相關成本,並提升推論效率,讓 AI 應用能更廣泛地普及。

儘管 NVIDIA 在市場上的主導地位尚未結束,但來自各方的挑戰者和新選擇正不斷湧現。
法國熱門 AI 新創 ZML 獲得圖靈獎得主 Yann LeCun 的支持,現已發布一款推論效能軟體。這款軟體能讓多種開源大型語言模型在 NVIDIA、AMD、Google TPU、Apple Metal 和 Intel Arc 等各式晶片上運行。
ZML 創辦人 Steeve Morin 向 TechCrunch 表示,透過新推出的 LLM 推論伺服器 ZML/LLMD,該公司的目標是打破現有隔閡。他們希望讓不同的晶片能以最高速度,甚至有時更快地用於 AI 應用案例。
Morin 指出,隨著 AI 融入我們的工作和日常生活,優化推論(即處理提示詞)的重要性已超越模型訓練。然而,幕後的軟體和架構障礙常導致廠商鎖定,使得推論優化進展緩慢。
在多種晶片上實現最佳效能不僅是一項技術壯舉,也可能成為市場的顛覆者。尤其在人們日益擔憂 AI 相關成本的背景下,這項技術顯得更為重要。
ZML 希望為企業和雲端服務提供商提供選擇,讓他們能混合使用不同晶片,其中一些可能成本更低或能耗更少。Morin 表示:「我們的理念是讓使用者重新掌握建立自己系統的能力,實現真正的效率提升,從而讓 AI 得以普及。」
Morin 觀察到,這類軟體輔助可能對許多新興的 AI 晶片製造商有所幫助,其中不少來自歐洲,例如 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA。但他更看重的是,ZML 能與這些公司合作,共同完成「世界上前所未有的事情」。
這並不意味著 Morin 看空 NVIDIA。他表示並非如此,部分原因是 NVIDIA 現有的供應能力。他向 TechCrunch 透露,ZML 與這家 AI 晶片巨頭保持良好關係,NVIDIA 也一直在為推論的興起做準備。
推論一直是投資熱點,這股趨勢甚至被譽為「推論淘金熱」。因此,ZML 面臨著 Baseten(近期估值達 130 億美元)、由開源專案 vLLM 創作者推出的 Inferact,以及 SGLang 背後的商業公司 RadixArk 等競爭對手。
儘管 vLLM 和 SGLang 部分與 LLMD 競爭,但 Morin 對 ZML 的抱負涵蓋更廣泛的領域。他表示:「我們已經達到共同設計晶片的階段。」他進一步指出,ZML 僅有 20 人的精實團隊是這家巴黎新創公司能快速發展的原因,未來還有更多產品發布計畫。
此外,這個小團隊的資金規模相對其人數而言相當充足。Morin 曾是 Zenly 的工程副總裁,該公司於 2017 年被 Snapchat 以九位數金額收購。憑藉這項紀錄,他從 Harry Stebbings 的 20VC、>commit、AALVC、Drysdale Ventures、Xavier Niel 的 Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 等創投公司籌集了 2,000 萬美元。
與 ZML 在 2024 年發布並於三月更新的首個公開專案(一個專注於推論的機器學習框架)不同,ZML/LLMD 並非開源。但它以免費產品的形式推出,目的是為了了解使用情況。Morin 說:「我寧願先衡量,然後在最有效的地方創造收入,而不是因為一開始就過於貪婪而愚蠢地阻礙我的成長。」
目前判斷 ZML/LLMD 何時會成為付費產品以及其採用情況還為時過早。但該新創公司的股東名單證實,其他創辦人也正密切關注,其中包括 Dagger 和 Docker 創辦人 Solomon Hykes、Hugging Face 的 Clément Delangue 和 Julien Chaumond,以及現任 AMI Labs 的 LeCun。
這也證明了歐洲的 AI 新創公司現在可以在本土發展。Morin 表示:「我除了在巴黎,無法在其他任何地方創立 ZML。」
覺得值得一看?分享給朋友。
以上為 AI 自動翻譯導讀。原文版權歸 TechCrunch AI 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。
43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。