跳到主要內容
maxstudioNews
商業MIT Technology Review AI約 6 分鐘

企業擴展 AI 規模的四大關鍵架構要素

隨著 AI 能力快速發展,企業擴展 AI 應用時面臨投資風險。本文指出 IT 領導者應專注於 AI 架構的四大基石:資料品質、情境工程、治理與可觀察性,以及人類專業知識。這些要素能確保 AI 系統的可靠性、整合性與可擴展性,為未來 AI 代理系統奠定基礎。

企業擴展 AI 規模的四大關鍵架構要素
圖片來源:MIT Technology Review AI

隨著 AI 能力的快速進步以及代理系統的興起,各組織正不斷擴展其 AI 應用案例。然而,這種持續的演進也帶來了風險,讓 IT 領導者不禁思考,哪些投資即使在未來六個月內仍能保持其價值。

回歸 AI 架構的基礎要素,這是大規模部署和管理可靠、整合式 AI 系統所需的結構框架,能讓技術領導者做出明智的決策。同時,這也為未來能跨系統檢索資訊、做出決策並執行複雜工作流程的 AI 代理奠定基礎。

以下四個 AI 架構要素,無論底層技術如何演進,都能為您在邁向生產就緒部署的道路上提供穩定的指引。

1. 為大規模 AI 準備資料。模型的可靠性取決於其所能存取的資料品質;劣質的資料會導致 AI 產生幻覺、偏見和不可靠的輸出。

大多數企業依賴老舊系統、不一致的資料結構、分散的資料所有權以及不完整的資料集,這使得 AI 難以有效擴展。儘管 AI 本身功能強大,卻無法解決這些底層的資料問題。

正如 Elastic 的資訊長 Adnan Adil 所解釋:「資料是 AI 架構中持久的一部分,因為沒有它,這些模型將無法運行,無法提供正確的情境,也無法提供我們希望實施的服務水準。」產業調查一致指出,資料品質是 AI 成功最大的障礙之一。Adil 說:「資料品質必須良好,否則使用者會對系統失去信心。」

有效的 AI 策略始於連接組織內部的所有資料,並確保其有條理、準確、受治理且可即時存取。這些考量若能從模型和架構設計之初就納入,將會最為有效。可擴展的資料架構能讓 AI 系統隨著業務發展而演進,並可靠地連接到提供有意義價值所需的內部資訊。

Gartner 預測,到 2026 年,如果沒有 AI 就緒的資料支援,企業將放棄 60% 的 AI 專案。為避免這種結果,需要建立清晰的資料標準和所有權、乾淨且標記好的資料,以及支援即時檢索的資料管線。

2. 運用情境工程為每個 AI 查詢提供正確的資料。情境工程確保模型能針對每個查詢,從最相關的資訊中提取資料,並有效率地選擇和組織所需資料以產生準確的答案。

有效的情境工程塑造了引導 AI 推理和行動的輸入。提示詞工程(prompt engineering)著重於請求的措辭方式,而情境工程則設計模型周圍的整個資訊環境:檢索正確的資料並以結構化、機器可讀的方式呈現。許多組織發現,可靠的 AI 不僅取決於模型的強度,也同樣取決於情境的品質。

情境工程依賴現代化、統一的資料基礎,以及檢索與記憶系統,例如檢索增強生成(RAG)和向量資料庫。它還需要仔細的優先排序,以確定哪些資訊最重要、哪些應排除,以及何時應使用不同類型的資訊。向模型提供過多的情境可能會稀釋相關細節、增加成本並減慢回應時間。

Adil 表示:「最少的情境、正確且即時的資料,以及機器可讀的資訊,對於有效的情境工程至關重要。」

3. 從一開始就建立 AI 治理和大型語言模型(LLM)可觀察性。強大的治理和 LLM 可觀察性有助於組織控制 AI 系統如何使用資料、監控系統效能,並在問題影響營運之前及早發現。

如果缺乏對資料檢索、工作流程和模型使用的明確控制,AI 系統往往會處理遠超所需的資訊。這種低效率也會因需要額外的運算資源而推高營運成本,通常體現在更高的 token 消耗和 API 費用上。

治理也與強大的安全性協同運作。AI 擴大了攻擊面,引入了諸如基於提示詞的資料洩漏、模型漏洞和對抗性輸入等風險。保護敏感資訊需要強大的存取控制、監控和監督。

Adil 指出,包括安全性、精細成本管理、專案控制、資料安全和架構等基本控制措施,往往都不足夠。

為了讓治理系統支援透明、合規、值得信賴且具成本效益的 AI,組織不能將其視為一個日後再添加的層級。治理結構需要從一開始就嵌入到架構、工作流程和決策過程中。

當治理從一開始就建立時,它就能實現強大的可觀察性。可觀察性幫助組織了解 AI 應用程式在實際運作中的表現。LLM 可觀察性和基準測試機制讓團隊能夠隨著時間評估準確性和實用性,監控採用模式,並根據情況變化調整系統。可觀察性還能透過提高模型性能、行為和故障點的能見度來幫助組織贏得信任。

此外,可觀察性對於獲得 AI 專案的投資報酬率(ROI)至關重要,因為其效益往往是間接的,且業務價值很大程度上取決於系統的採用和使用方式。即時了解 AI 行為使組織能夠衡量實際表現與預期之間的差距,並隨著需求演變不斷完善系統。

Elastic 在 2026 年的一份報告中指出,85% 的 IT 決策者預計將為其內部生成式 AI 應用程式啟用 LLM 可觀察性。

Adil 說:「可觀察性實際上非常重要。我們可以利用可觀察性資料來進行成本控制、決策制定和工程效率提升。」

4. 保持人類參與。要最大化 AI 價值,需要深思熟慮的設計、整合和治理,這一切都離不開專業的內部知識。Deloitte 2025 年科技主管調查報告中,近 70% 的受訪者計畫直接因應生成式 AI 而擴大團隊,這與普遍報導的 AI 相關裁員形成鮮明對比。Adil 也同意:「我們認為,人的因素在很大程度上將決定 AI 未來的影響力。」

隨著 AI 系統越來越深入地嵌入營運中,組織需要能夠治理工作流程、評估輸出、重新設計流程並隨情況變化調整系統的人才。向日益自主的工具演進,需要團隊具備提示詞工程、協調和變革管理方面的技能。

具備批判性思維並準備好適應技術快速進步的人才將會非常搶手。儘管人員流動能帶來新思維,但也會在系統連續性、機構理解和創新方面產生高昂成本。以人為本的策略需要融入 AI 執行階段,以確保順利實施。

正如 Adil 所說:「技術堆疊的許多方面都進展神速,但機構知識和適應能力仍然是持久的。」

深思熟慮的 AI 投資以促進未來成長。隨著 AI 系統從單一任務助理演變為日益自主的代理,最能從中受益的組織將是那些投資於使 AI 能夠大規模可靠運作的底層系統、治理和專業知識的組織。專注於這些基本要素的技術領導者,可以在中期內有效地從實驗階段過渡到可靠的生產級部署,並確信這些要素在不斷進步的環境中仍將保持相關性和適應性。

Adil 說:「我們堅信,有了這些工具,工作速度將會大大加快。我們真正專注於如何以我們以前從未想過的方式,利用這些工具來完成工作。」

欲了解更多關於 Elastic 如何利用這些核心基礎組件建立 AI 優先企業的資訊,請點擊此處。此內容由 MIT Technology Review 的客製化內容部門 Insights 製作。它並非由 MIT Technology Review 的編輯人員撰寫。

其研究、設計和撰寫皆由人類作家、編輯、分析師和插畫家完成,包括調查的撰寫和資料收集。可能使用的 AI 工具僅限於經過嚴格人工審查的次要生產流程。

Share

覺得值得一看?分享給朋友。

以上為 AI 自動翻譯導讀。原文版權歸 MIT Technology Review AI 所有, 建議透過「閱讀原文」前往原始網站,以取得最完整資訊並支持原作者。

Newsletter

不用每天追,AI 重點每週寄給你

43 個來源、每 2 小時更新,太多看不完。電子報每週挑最值得看的幾則,附上 Max 的看法。

每週一封。Email 只用來寄電子報,每封信都能一鍵退訂。