llama.cpp 讓多模態大型語言模型(LLM)得以在廣泛的硬體上運行,從消費級本地機器到高階企業伺服器皆可。透過量化、優化後端以及可攜式的 C/C++ 實作,我們讓 AI 推論在軟體堆疊的每個層級都能輕鬆存取。我們相信這是建構跨平台與私有 AI 產品最輕量、多功能且合理的平台。
自專案啟動以來,在三年半的時間裡,它已大幅成長,許多下游應用程式都已依賴我們的工作。隨著本地 AI 和隱私在我們日常生活中變得越來越重要,我們預計這種趨勢將會持續。每一次新的整合都意味著更多開發者依賴我們的函式庫介面,因此擁有一個靈活但穩定的 API 至關重要。
今天我們發布了函式庫 v1.0.0,這突顯了我們對這些開發者的責任。未來,llama.cpp 和 ggml 都將透過主要版本號的提升來反映 API 和 ABI 的不相容性。隨著採用率的增長,我們將更嚴格地讓這些界線對下游使用者可見。
此次發布包括 llama.cpp v1.0.0,它是一個用於 C/C++ 的 LLM 推論函式庫,以及 ggml v1.0.0,一個用於機器學習的張量函式庫。兩者都提供了各自的公開標頭檔。
適用於所有使用語義化版本控制的 ggml-org 專案的規則如下:主要版本(MAJOR)表示對 ./include 中公開 C API 的破壞性變更;次要版本(MINOR)表示向後相容的功能、後端更新、模型支援或 API 新增;修補版本(PATCH)則表示沒有 API 變更的錯誤修復。
我們期待擴展 ggml-org 軟體的發布方式,使其能觸及更多開發者和終端使用者。關於如何將 ggml-org 專案添加到您的打包和發布流程的更多資訊,請查看相關討論。目前支援的發布管道包括預發布套件(Linux、macOS、Windows、Android、iOS)、Docker(Linux)、Debian(Linux)、Homebrew(macOS、Linux)、conda-forge(Windows、macOS、Linux)、MacPorts(macOS)、Winget(Windows)以及 XCFramework(iOS、macOS)。
該專案培養了一個令人驚嘆的開源社群,擁有高技能和才華橫溢的貢獻者。隨著軟體工程領域 AI 能力的快速發展,我們將繼續以周到合理的方式,在開發週期中適應並整合 LLM。保持高品質的程式碼庫、控制架構並理解實作細節仍將是我們的首要任務。
為了加快開發速度,我們持續投入越來越多的資源來改進專案背後的 CI 基礎設施。得益於 Hugging Face 的技術,例如 HF Buckets 和 HF Jobs,我們能夠擴展必要的容量,以確保主分支上每次變更的正確性。在 NVIDIA、AMD、Qualcomm、Arm、IBM 和 Intel 的硬體支持下,我們繼續在所有主要硬體平台上部署更多的自託管執行器。
llama.cpp 的底層機器學習引擎 ggml 旨在運行在幾乎所有現有硬體上。這透過實作專用的 ggml 後端來實現,每個後端都可以編譯為動態函式庫並選擇性地在運行時載入。目前已實作的後端完整列表可在此處找到。我們致力於提供所有模型架構的持續支援,目前 llama.cpp 支援超過 150 種架構變體以及所有主流的推測性解碼方法。
Hugging Face 的 llama.cpp 團隊感謝社群的巨大支持。特別感謝專案的長期維護者和所有貢獻者。這是一個重要的里程碑,沒有大家的共同努力是不可能實現的!
額外資源包括 llama.cpp 範例、Hugging Face 上的 ggml-org、Github 上的 ggml-org。此外,還可以查看由 llama.cpp 和 Hugging Face 團隊精心打造的 Llama 桌面應用程式,適用於 macOS 和 Windows。