我們很高興宣布，Baseten 現已成為 Hugging Face Hub 上支援的推論服務供應商！Baseten 的加入壯大了我們的生態系統，直接在 Hub 的模型頁面上擴展了無伺服器推論的廣度和功能。

推論服務供應商也無縫整合到我們的客戶端 SDK（支援 JavaScript 和 Python），讓您能輕鬆使用各種模型與偏好的供應商。

Baseten 是一個涵蓋無伺服器 AI、模型訓練等功能的 AI 基礎設施平台。憑藉其豐富的前沿模型目錄，Baseten 讓開發者能夠以最少的設定，輕鬆將各種 AI 功能整合到他們的應用程式中。

Baseten 支援廣泛的模型類型，從大型語言模型（LLMs）到文字轉語音等。作為此次初步整合的一部分，Baseten 將在 Hugging Face 上推出對對話和文字生成任務的支援，讓用戶能夠存取 Kimi K3、最新的 DeepSeek V4 Flash、GLM-5.2 等熱門開源大型語言模型。未來也將陸續推出對其他任務的支援！

在此查看 Baseten 支援的完整模型列表。

在 Hugging Face 上追蹤 Baseten：https://huggingface.co/baseten。

運作方式

在您的使用者帳戶設定中，您可以：設定您已註冊供應商的 API 金鑰。如果未設定自訂金鑰，您的請求將透過 Hugging Face 路由。依偏好順序排列供應商。這適用於模型頁面中的小工具和程式碼片段。

如前所述，呼叫推論服務供應商有兩種模式：自訂金鑰（請求直接發送給推論服務供應商，使用您自己的對應供應商 API 金鑰）由 Hugging Face 路由（在此情況下，您不需要供應商的 token，費用將直接從您的 Hugging Face 帳戶扣除，而非供應商帳戶）。

模型頁面會顯示第三方推論服務供應商（與當前模型相容，並依使用者偏好排序）。

透過客戶端 SDK

Baseten 可透過 Hugging Face SDK 取得，包括 Python 的 huggingface_hub (>= 1.26.1) 和 JavaScript 的 @huggingface/inference。

以下範例展示如何透過 Baseten 使用最新的 DeepSeek V4 Flash。使用 Hugging Face token 進行驗證，請求將自動路由到 Baseten。

透過您偏好的 Agent Harness

Hugging Face 推論服務供應商已整合到大多數 Agent Harnesses 中，包括 Pi、OpenCode、Hermes Agents、OpenClaw 等。這表示您可以將 Baseten 託管的模型直接插入您偏好的工具，無需額外的連接程式碼。在此瀏覽完整的整合列表。

Python 範例

```python

import os

from openai import OpenAI

client = OpenAI(

base_url="https://router.huggingface.co/v1",

api_key=os.environ["HF_TOKEN"],

)

completion = client.chat.completions.create(

model="deepseek-ai/DeepSeek-V4-Flash-0731:baseten",

messages=[

{

"role": "user",

"content": "Write a Python function that returns the nth Fibonacci number using memoization."

}

],

)

print(completion.choices[0].message)

```

JavaScript 範例

```javascript

import { OpenAI } from "openai";

const client = new OpenAI({

baseURL: "https://router.huggingface.co/v1",

apiKey: process.env.HF_TOKEN,

});

const chatCompletion = await client.chat.completions.create({

model: "deepseek-ai/DeepSeek-V4-Flash-0731:baseten",

messages: [

{

role: "user",

content: "Write a Python function that returns the nth Fibonacci number using memoization.",

},

],

});

console.log(chatCompletion.choices[0].message);

```

計費方式

對於直接請求，即當您使用推論服務供應商的金鑰時，費用將由該供應商收取。例如，如果您使用 Baseten API 金鑰，費用將從您的 Baseten 帳戶扣除。

對於路由請求，即當您透過 Hugging Face Hub 驗證時，您只需支付標準的供應商 API 費率。我們不會額外加價；我們只是直接轉嫁供應商成本。（未來，我們可能會與供應商合作夥伴建立收益分享協議。）

重要提示 ‼️ PRO 用戶每月可獲得價值 2 美元的推論點數。這些點數可用於所有供應商。訂閱 Hugging Face PRO 方案，即可獲得推論點數、ZeroGPU、Spaces 開發模式、20 倍更高的限制等。

我們也為已登入的免費使用者提供少量額度的免費推論服務，但如果您可以，請升級到 PRO 方案！

意見回饋與後續步驟

我們非常樂意聽取您的意見！請在此分享您的想法和/或評論：https://huggingface.co/spaces/huggingface/HuggingDiscussions/discussions/49。