在整個 AI 產業中,用戶越來越意識到其部署成本可能非常高昂,並迫切需要降低開支。儘管開源模型提供顯著較低的每代幣成本,但要為特定任務找到合適的模型卻可能很困難。

週四,為行銷人員提供 AI 工具和代理的 Writer 公司,推出了一款名為 Palmyra X6 的全新旗艦模型,旨在為其用戶解決這個問題。Writer 表示,這個新系統是基於 Z.ai 的開源模型 GLM-5.2 進行後訓練的變體,應能以更低的價格提供可部署的功能。該公司估計,新模型結合其架構基礎設施的改進,將能為客戶的基本任務節省高達 50% 的成本。

除了新模型之外,該公司還對其標準的代理式架構(agentic harness)進行了重大升級。這兩項新功能將於週四起向 Writer 客戶提供。

執行長 May Habib 告訴 TechCrunch:「我認為企業已經徹底厭倦了追逐下一個基準測試。他們想要平穩的成本,但似乎沒有人能做到這一點。」

這種新方法特別強調複雜的多步驟任務,能夠更快地執行並使用更少的代幣。Writer 認為,優化其架構是實現這一目標的關鍵槓桿。

Writer 研究人員最近發表的一篇論文證實了這種方法,該研究測試了在多個不同模型中,架構效率的微小變化。研究發現,在許多情況下,架構的改變比模型選擇更能可靠地降低成本,在他們的測試中,成本平均下降了 40%。

研究人員寫道:「架構是唯一一個其效率可以在組織運行中的每個模型,無論是現在還是未來,中倍增的組件。」

對於 Writer 的客戶來說,體驗仍然是模型無關的:Palmyra X6 將與其他 Writer 模型或透過 Azure 或 Amazon Bedrock 導入的外部模型並存。但 Habib 也認為,降低成本的推動正在導致對主要 AI 實驗室更廣泛的不信任,因為這些實驗室有財務動機來提高代幣使用量。

Habib 告訴 TechCrunch:「這裡的成本爆炸對客戶來說是前所未有的,而資訊長們放棄這些實驗室的程度也是如此。」她補充說,這些 AI 實驗室「沒有真正深入理解如何幫助企業從 AI 中獲益。」