跳到主要內容
maxstudioNews
產品Hugging Face Blog約 3 分鐘

llama.cpp v1.0.0 發布:為本地 AI 生態系奠定更穩固基礎

Hugging Face 宣布釋出 llama.cpp 與 ggml 的 v1.0.0 版本,為本地 AI 生態系提供更穩固的基礎。這些專案透過量化與優化,讓多模態大型語言模型(LLM)能在各種硬體上高效運行,從消費級裝置到企業伺服器皆可。此次更新也強調對開發者 API 穩定性的承諾,以支援日益增長的下游應用。

llama.cpp v1.0.0 發布:為本地 AI 生態系奠定更穩固基礎
圖片來源:Hugging Face Blog

llama.cpp 讓多模態大型語言模型(LLM)得以在廣泛的硬體上運行,從消費級本地機器到高階企業伺服器皆可。透過量化、優化後端以及可攜式的 C/C++ 實作,我們讓 AI 推論在軟體堆疊的每個層級都能輕鬆存取。我們相信這是建構跨平台與私有 AI 產品最輕量、多功能且合理的平台。

自專案啟動以來,在三年半的時間裡,它已大幅成長,許多下游應用程式都已依賴我們的工作。隨著本地 AI 和隱私在我們日常生活中變得越來越重要,我們預計這種趨勢將會持續。每一次新的整合都意味著更多開發者依賴我們的函式庫介面,因此擁有一個靈活但穩定的 API 至關重要。

今天我們發布了函式庫 v1.0.0,這突顯了我們對這些開發者的責任。未來,llama.cpp 和 ggml 都將透過主要版本號的提升來反映 API 和 ABI 的不相容性。隨著採用率的增長,我們將更嚴格地讓這些界線對下游使用者可見。

此次發布包括 llama.cpp v1.0.0,它是一個用於 C/C++ 的 LLM 推論函式庫,以及 ggml v1.0.0,一個用於機器學習的張量函式庫。兩者都提供了各自的公開標頭檔。

適用於所有使用語義化版本控制的 ggml-org 專案的規則如下:主要版本(MAJOR)表示對 ./include 中公開 C API 的破壞性變更;次要版本(MINOR)表示向後相容的功能、後端更新、模型支援或 API 新增;修補版本(PATCH)則表示沒有 API 變更的錯誤修復。

我們期待擴展 ggml-org 軟體的發布方式,使其能觸及更多開發者和終端使用者。關於如何將 ggml-org 專案添加到您的打包和發布流程的更多資訊,請查看相關討論。目前支援的發布管道包括預發布套件(Linux、macOS、Windows、Android、iOS)、Docker(Linux)、Debian(Linux)、Homebrew(macOS、Linux)、conda-forge(Windows、macOS、Linux)、MacPorts(macOS)、Winget(Windows)以及 XCFramework(iOS、macOS)。

該專案培養了一個令人驚嘆的開源社群,擁有高技能和才華橫溢的貢獻者。隨著軟體工程領域 AI 能力的快速發展,我們將繼續以周到合理的方式,在開發週期中適應並整合 LLM。保持高品質的程式碼庫、控制架構並理解實作細節仍將是我們的首要任務。

為了加快開發速度,我們持續投入越來越多的資源來改進專案背後的 CI 基礎設施。得益於 Hugging Face 的技術,例如 HF Buckets 和 HF Jobs,我們能夠擴展必要的容量,以確保主分支上每次變更的正確性。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬體支持下,我們繼續在所有主要硬體平台上部署更多的自託管執行器。

llama.cpp 的底層機器學習引擎 ggml 旨在運行在幾乎所有現有硬體上。這透過實作專用的 ggml 後端來實現,每個後端都可以編譯為動態函式庫並選擇性地在運行時載入。目前已實作的後端完整列表可在此處找到。我們致力於提供所有模型架構的持續支援,目前 llama.cpp 支援超過 150 種架構變體以及所有主流的推測性解碼方法。

Hugging Face 的 llama.cpp 團隊感謝社群的巨大支持。特別感謝專案的長期維護者和所有貢獻者。這是一個重要的里程碑,沒有大家的共同努力是不可能實現的!

額外資源包括 llama.cpp 範例、Hugging Face 上的 ggml-org、Github 上的 ggml-org。此外,還可以查看由 llama.cpp 和 Hugging Face 團隊精心打造的 Llama 桌面應用程式,適用於 macOS 和 Windows。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 Hugging Face Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。