儘管 NVIDIA 在市場上的主導地位尚未結束，但來自各方的挑戰者和新選擇正不斷湧現。

法國熱門 AI 新創 ZML 獲得圖靈獎得主 Yann LeCun 的支持，現已發布一款推論效能軟體。這款軟體能讓多種開源大型語言模型在 NVIDIA、AMD、Google TPU、Apple Metal 和 Intel Arc 等各式晶片上運行。

ZML 創辦人 Steeve Morin 向 TechCrunch 表示，透過新推出的 LLM 推論伺服器 ZML/LLMD，該公司的目標是打破現有隔閡。他們希望讓不同的晶片能以最高速度，甚至有時更快地用於 AI 應用案例。

Morin 指出，隨著 AI 融入我們的工作和日常生活，優化推論（即處理提示詞）的重要性已超越模型訓練。然而，幕後的軟體和架構障礙常導致廠商鎖定，使得推論優化進展緩慢。

在多種晶片上實現最佳效能不僅是一項技術壯舉，也可能成為市場的顛覆者。尤其在人們日益擔憂 AI 相關成本的背景下，這項技術顯得更為重要。

ZML 希望為企業和雲端服務提供商提供選擇，讓他們能混合使用不同晶片，其中一些可能成本更低或能耗更少。Morin 表示：「我們的理念是讓使用者重新掌握建立自己系統的能力，實現真正的效率提升，從而讓 AI 得以普及。」

Morin 觀察到，這類軟體輔助可能對許多新興的 AI 晶片製造商有所幫助，其中不少來自歐洲，例如 Axelera、Fractile、Kalray、OLIX、Q.ANT、SiPearl、SpiNNcloud 和 VSORA。但他更看重的是，ZML 能與這些公司合作，共同完成「世界上前所未有的事情」。

這並不意味著 Morin 看空 NVIDIA。他表示並非如此，部分原因是 NVIDIA 現有的供應能力。他向 TechCrunch 透露，ZML 與這家 AI 晶片巨頭保持良好關係，NVIDIA 也一直在為推論的興起做準備。

推論一直是投資熱點，這股趨勢甚至被譽為「推論淘金熱」。因此，ZML 面臨著 Baseten（近期估值達 130 億美元）、由開源專案 vLLM 創作者推出的 Inferact，以及 SGLang 背後的商業公司 RadixArk 等競爭對手。

儘管 vLLM 和 SGLang 部分與 LLMD 競爭，但 Morin 對 ZML 的抱負涵蓋更廣泛的領域。他表示：「我們已經達到共同設計晶片的階段。」他進一步指出，ZML 僅有 20 人的精實團隊是這家巴黎新創公司能快速發展的原因，未來還有更多產品發布計畫。

此外，這個小團隊的資金規模相對其人數而言相當充足。Morin 曾是 Zenly 的工程副總裁，該公司於 2017 年被 Snapchat 以九位數金額收購。憑藉這項紀錄，他從 Harry Stebbings 的 20VC、>commit、AALVC、Drysdale Ventures、Xavier Niel 的 Kima Ventures、Kindred Capital、LocalGlobe 和 Puzzle Ventures 等創投公司籌集了 2,000 萬美元。

與 ZML 在 2024 年發布並於三月更新的首個公開專案（一個專注於推論的機器學習框架）不同，ZML/LLMD 並非開源。但它以免費產品的形式推出，目的是為了了解使用情況。Morin 說：「我寧願先衡量，然後在最有效的地方創造收入，而不是因為一開始就過於貪婪而愚蠢地阻礙我的成長。」

目前判斷 ZML/LLMD 何時會成為付費產品以及其採用情況還為時過早。但該新創公司的股東名單證實，其他創辦人也正密切關注，其中包括 Dagger 和 Docker 創辦人 Solomon Hykes、Hugging Face 的 Clément Delangue 和 Julien Chaumond，以及現任 AMI Labs 的 LeCun。

這也證明了歐洲的 AI 新創公司現在可以在本土發展。Morin 表示：「我除了在巴黎，無法在其他任何地方創立 ZML。」