隨著 AI 能力的快速進步以及代理系統的興起，各組織正不斷擴展其 AI 應用案例。然而，這種持續的演進也帶來了風險，讓 IT 領導者不禁思考，哪些投資即使在未來六個月內仍能保持其價值。

回歸 AI 架構的基礎要素，這是大規模部署和管理可靠、整合式 AI 系統所需的結構框架，能讓技術領導者做出明智的決策。同時，這也為未來能跨系統檢索資訊、做出決策並執行複雜工作流程的 AI 代理奠定基礎。

以下四個 AI 架構要素，無論底層技術如何演進，都能為您在邁向生產就緒部署的道路上提供穩定的指引。

1. 為大規模 AI 準備資料。模型的可靠性取決於其所能存取的資料品質；劣質的資料會導致 AI 產生幻覺、偏見和不可靠的輸出。

大多數企業依賴老舊系統、不一致的資料結構、分散的資料所有權以及不完整的資料集，這使得 AI 難以有效擴展。儘管 AI 本身功能強大，卻無法解決這些底層的資料問題。

正如 Elastic 的資訊長 Adnan Adil 所解釋：「資料是 AI 架構中持久的一部分，因為沒有它，這些模型將無法運行，無法提供正確的情境，也無法提供我們希望實施的服務水準。」產業調查一致指出，資料品質是 AI 成功最大的障礙之一。Adil 說：「資料品質必須良好，否則使用者會對系統失去信心。」

有效的 AI 策略始於連接組織內部的所有資料，並確保其有條理、準確、受治理且可即時存取。這些考量若能從模型和架構設計之初就納入，將會最為有效。可擴展的資料架構能讓 AI 系統隨著業務發展而演進，並可靠地連接到提供有意義價值所需的內部資訊。

Gartner 預測，到 2026 年，如果沒有 AI 就緒的資料支援，企業將放棄 60% 的 AI 專案。為避免這種結果，需要建立清晰的資料標準和所有權、乾淨且標記好的資料，以及支援即時檢索的資料管線。

2. 運用情境工程為每個 AI 查詢提供正確的資料。情境工程確保模型能針對每個查詢，從最相關的資訊中提取資料，並有效率地選擇和組織所需資料以產生準確的答案。

有效的情境工程塑造了引導 AI 推理和行動的輸入。提示詞工程（prompt engineering）著重於請求的措辭方式，而情境工程則設計模型周圍的整個資訊環境：檢索正確的資料並以結構化、機器可讀的方式呈現。許多組織發現，可靠的 AI 不僅取決於模型的強度，也同樣取決於情境的品質。

情境工程依賴現代化、統一的資料基礎，以及檢索與記憶系統，例如檢索增強生成（RAG）和向量資料庫。它還需要仔細的優先排序，以確定哪些資訊最重要、哪些應排除，以及何時應使用不同類型的資訊。向模型提供過多的情境可能會稀釋相關細節、增加成本並減慢回應時間。

Adil 表示：「最少的情境、正確且即時的資料，以及機器可讀的資訊，對於有效的情境工程至關重要。」

3. 從一開始就建立 AI 治理和大型語言模型（LLM）可觀察性。強大的治理和 LLM 可觀察性有助於組織控制 AI 系統如何使用資料、監控系統效能，並在問題影響營運之前及早發現。

如果缺乏對資料檢索、工作流程和模型使用的明確控制，AI 系統往往會處理遠超所需的資訊。這種低效率也會因需要額外的運算資源而推高營運成本，通常體現在更高的 token 消耗和 API 費用上。

治理也與強大的安全性協同運作。AI 擴大了攻擊面，引入了諸如基於提示詞的資料洩漏、模型漏洞和對抗性輸入等風險。保護敏感資訊需要強大的存取控制、監控和監督。

Adil 指出，包括安全性、精細成本管理、專案控制、資料安全和架構等基本控制措施，往往都不足夠。

為了讓治理系統支援透明、合規、值得信賴且具成本效益的 AI，組織不能將其視為一個日後再添加的層級。治理結構需要從一開始就嵌入到架構、工作流程和決策過程中。

當治理從一開始就建立時，它就能實現強大的可觀察性。可觀察性幫助組織了解 AI 應用程式在實際運作中的表現。LLM 可觀察性和基準測試機制讓團隊能夠隨著時間評估準確性和實用性，監控採用模式，並根據情況變化調整系統。可觀察性還能透過提高模型性能、行為和故障點的能見度來幫助組織贏得信任。

此外，可觀察性對於獲得 AI 專案的投資報酬率（ROI）至關重要，因為其效益往往是間接的，且業務價值很大程度上取決於系統的採用和使用方式。即時了解 AI 行為使組織能夠衡量實際表現與預期之間的差距，並隨著需求演變不斷完善系統。

Elastic 在 2026 年的一份報告中指出，85% 的 IT 決策者預計將為其內部生成式 AI 應用程式啟用 LLM 可觀察性。

Adil 說：「可觀察性實際上非常重要。我們可以利用可觀察性資料來進行成本控制、決策制定和工程效率提升。」

4. 保持人類參與。要最大化 AI 價值，需要深思熟慮的設計、整合和治理，這一切都離不開專業的內部知識。Deloitte 2025 年科技主管調查報告中，近 70% 的受訪者計畫直接因應生成式 AI 而擴大團隊，這與普遍報導的 AI 相關裁員形成鮮明對比。Adil 也同意：「我們認為，人的因素在很大程度上將決定 AI 未來的影響力。」

隨著 AI 系統越來越深入地嵌入營運中，組織需要能夠治理工作流程、評估輸出、重新設計流程並隨情況變化調整系統的人才。向日益自主的工具演進，需要團隊具備提示詞工程、協調和變革管理方面的技能。

具備批判性思維並準備好適應技術快速進步的人才將會非常搶手。儘管人員流動能帶來新思維，但也會在系統連續性、機構理解和創新方面產生高昂成本。以人為本的策略需要融入 AI 執行階段，以確保順利實施。

正如 Adil 所說：「技術堆疊的許多方面都進展神速，但機構知識和適應能力仍然是持久的。」

深思熟慮的 AI 投資以促進未來成長。隨著 AI 系統從單一任務助理演變為日益自主的代理，最能從中受益的組織將是那些投資於使 AI 能夠大規模可靠運作的底層系統、治理和專業知識的組織。專注於這些基本要素的技術領導者，可以在中期內有效地從實驗階段過渡到可靠的生產級部署，並確信這些要素在不斷進步的環境中仍將保持相關性和適應性。

Adil 說：「我們堅信，有了這些工具，工作速度將會大大加快。我們真正專注於如何以我們以前從未想過的方式，利用這些工具來完成工作。」

欲了解更多關於 Elastic 如何利用這些核心基礎組件建立 AI 優先企業的資訊，請點擊此處。此內容由 MIT Technology Review 的客製化內容部門 Insights 製作。它並非由 MIT Technology Review 的編輯人員撰寫。

其研究、設計和撰寫皆由人類作家、編輯、分析師和插畫家完成，包括調查的撰寫和資料收集。可能使用的 AI 工具僅限於經過嚴格人工審查的次要生產流程。