跳到主要內容
maxstudioNews
商業OpenAI Blog約 5 分鐘

Amplitude 運用 OpenAI,將產品改進時程從數週縮短至 1-2 天

Amplitude 的主動式產品代理 Wave,主要由 OpenAI 模型驅動,能將產品洞察迅速轉化為實際改進。這項技術將產品改進的推出時間從大約一個月大幅縮短至 1-2 天。例如,Wave 協助 Amplitude 首頁個人化建議卡片,使卡片驅動的發送量增加了 160%。

Amplitude 運用 OpenAI,將產品改進時程從數週縮短至 1-2 天
圖片來源:OpenAI Blog

Amplitude 一直以來都協助團隊了解使用者如何實際運用其產品。其主動式產品代理 Wave 則幫助團隊將這些洞察轉化為實際推出的改進。

Amplitude 表示,Wave 大約 80% 的功能由 OpenAI 模型驅動,包括 GPT-6.1 Sol、GPT-6 Luna 和 GPT-Image-2.5 Flare。Wave 將產品洞察轉化為實施計畫,團隊可將其交付給包括 Codex 在內的程式碼代理,然後衡量其影響。

Amplitude 估計,Wave 能協助團隊在 1-2 天內推出產品改進,相較於過去大約一個月的時間大幅縮短。在 Amplitude 自己的首頁上,Wave 協助個人化建議卡片,使卡片驅動的發送量增加了 160%。

Amplitude 執行長 Spenser Skates 表示:「AI 現在可以找到我們從未想過要分配給它的有用工作。OpenAI 的模型能夠調查問題、編寫並執行程式碼,並利用結果來決定下一步該嘗試什麼。」

從產品資料到實際改進:Wave 是 Amplitude 的主動式產品代理。團隊向其提供產品領域以及希望改進的目標和指標。

Wave 整合了 Amplitude 資料、會話重播、客戶回饋和程式碼,以識別並優先處理機會、開發解決方案,並與人員和程式碼代理協調實施。然後,它會追蹤結果,並利用這些學習來指導下一輪的改進。

在這個工作流程背後,Amplitude 針對不同任務使用不同的 OpenAI 模型。GPT-6.1 Sol 支援機會管理員以及對程式碼和資料的深度調查。

GPT-6 Luna 處理頻繁且成本較低的任務,例如掃描程式碼和執行小型評估檢查。GPT-Image-2.5 Flare 則利用會話重播的截圖作為視覺參考,生成產品模型圖。

當一個機會準備好開發時,團隊可以直接從 Wave 將其連同技術計畫和驗收標準,發送給包括 Codex 在內的程式碼代理,以指導實施。

Wave 如何推動代理互動提升 160%:Amplitude 首席 AI 產品經理 Jacob Newman 解釋:「Wave 的理念是,你擁有一個統一的平台,其中的代理會梳理大量的會話重播、分析資料和程式碼,以尋找改進產品的機會。」

Amplitude 在自己的首頁上測試了 Wave,該頁面上的通用建議卡片旨在幫助使用者開始與 AI 代理對話。Wave 發現人們經常繞過這些卡片:在 100 個會話重播樣本中,有 80 位使用者自行輸入問題,只有 12 位選擇了建議。

Wave 建議利用最近的圖表、儀表板或使用者來源頁面來個人化這些卡片。它展示了這項改變,並提出了一份技術計畫,其中包括保留自由輸入功能,以及在個人化情境不可用時顯示通用建議。

經過簡短審查後,團隊將這項工作交給了一個程式碼代理,並對這項改變進行了 A/B 測試。

Amplitude 分享的實驗結果顯示,透過首頁建議卡片發送的訊息,在一天後相較於對照組增加了 160%。Amplitude 資深首席 AI 工程師 Eric Carlson 解釋:「這是一個很好的例子,說明那些被忽視、看似不具突破性的事物,如何以意想不到的方式提高功能採用率。」

為每個任務選擇合適的 OpenAI 模型:Wave 的任務對其模型提出了不同的要求。深度調查需要強大的推理能力和充分支持的結論。

而重複數百次的小型檢查則需要快速且經濟。Amplitude 針對每項任務評估品質、延遲和成本,然後相應地分配模型。

Amplitude 執行長 Spenser Skates 表示:「OpenAI 提供了強大的推理模型,以及更小、更快的模型,因此我們可以在整個產品中平衡品質、延遲和推論成本。」

針對 Wave 的「機會調查員」(Opportunity Investigator),Amplitude 評估了模型是否證實了發現、避免了誤報、整合了評估者回饋、從工具故障中恢復,並使主張與證據保持一致。

GPT-6.1 Sol 總體得分為 5 分中的 4.06 分,而其他三個替代模型分別為 3.62、3.52 和 2.94 分。它在所有五項調查標準中均領先,並擁有最快的調查中位時間,為 54 分鐘。

在對 Wave 的「資料科學代理」(Data Science Agent)的獨立評估中,GPT-6.1 Sol 獲得 100 分中的 67.5 分,而另一個領先模型則為 69.3 分,但 GPT-6.1 Sol 的平均模型成本為每次調度 1.28 美元,而後者為 2.63 美元。GPT-6.1 Sol 在工具合約遵循、估計與不確定性以及證據基礎方面也獲得了更高的分數。

GPT-6.1 Sol 資料科學代理評估:對於掃描程式碼和執行小型評估檢查等高頻率工作,Amplitude 使用 GPT-6 Luna 以保持低延遲和低成本。

將工作分配給專業代理,讓團隊能將更昂貴的推理能力保留給最需要的任務。在生成線框圖和模型圖方面,OpenAI 的圖像生成模型在解決方案線框圖方面獲得 100 分中的 80.3 分,而另一個圖像生成模型則為 63.9 分。

Amplitude 的評估涵蓋了 15 個機會的溝通品質、產品忠實度、指令遵循、文字和 UI 可讀性以及視覺一致性。

GPT-Image-2.5 Flare 線框圖評估:讓團隊掌握發布內容。各行各業的客戶已經在測試版中使用 Wave,以識別並推出產品改進。

Wave 分析會話和分析資料,然後提出建議,包括建議的修復方案、技術計畫和驗收標準。

從那裡開始,團隊可以控制自動化的程度。大多數團隊會將錯誤修復直接發送給程式碼代理,而新功能和更大的賭注則會經過人工審查。

對於達到發布階段的變更,從發現到執行的路徑可能很短:在客戶發布的實驗、標誌和指南中,四分之一在 Wave 發現機會的同一天上線,一半在四天內,三分之二在一週內上線。

此數據是根據提供的里程碑推斷,曲線僅為示意,非個別觀察結果。

展望未來:Skates 表示:「我們與 OpenAI 合作的目標是,讓自我改進的產品成為公司開發軟體的方式。」

隨著 OpenAI 模型在推理和程式碼編寫方面變得更強大,團隊將能夠將更多的調查和實施工作委託給代理,最終使更好的產品更快地觸達使用者。

Amplitude 已經看到了這一點,因為代理在其產品中發現並協助交付改進,同時團隊也能專注於其他優先事項:「我認為當他們的軟體與他們並肩工作以改進產品時,團隊將會驚訝於他們能完成多少事情。」

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 OpenAI Blog 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。