汽車工廠的工人能記住前一晚將部分組裝的零件放在哪個儲物箱，並迅速返回該處取回。然而，與她並肩工作的機器人卻難以發展和存取這種「時空」記憶。
現在，麻省理工學院的研究人員開發了一種長期記憶框架，讓機器人能快速形成並回憶複雜、大規模環境的詳細心智模型。
未來，這項進展可能讓工廠工人只需簡單地要求機器人助理「去拿我們昨晚開始組裝的零件」，就能讓機器人代勞。
這項新方法結合了先進的地圖表示與機器人在長時間移動過程中收集到的豐富環境描述。機器人可以快速存取這些記憶，以自然語言回答關於其環境的複雜問題。
這個記憶框架回答問題的準確度超越了最先進的方法，且運行速度夠快，足以讓移動機器人即時使用。
除了在機器人領域的潛在應用外，這種方法還可用於輔助維修人員進行異常檢測，或協助通勤者導航的擴增實境系統。
麻省理工學院航空航天系（AeroAstro）副教授、資訊與決策系統實驗室（LIDS）首席研究員兼麻省理工學院SPARK實驗室主任Luca Carlone表示：「如果我們希望機器人能與人類並肩工作並更好地互動，它們必須說相同的語言。機器人必須能像人類一樣推理時間和空間。這正是我們方法的核心。它將傳統地圖轉變為基於語言的地圖，讓機器人更容易思考並透過語言存取資訊。」
論文的共同作者包括主要作者、麻省理工學院研究生Nicolas Gorlo，以及前麻省理工學院研究科學家、現任德國紐倫堡科技大學教授Lukas Schmid。這項研究最近在電腦視覺與模式識別會議（CVPR）上發表。
時空記憶
記憶讓人工智慧系統（例如聊天機器人）能夠回答複雜問題，並對與用戶先前的互動進行推理。
Carlone說：「我們想設計一種新型記憶，一種時空記憶，讓具備AI能力的機器人能夠記住真實世界的互動和感測器觀察。就像ChatGPT一樣，但它根植於現實世界，並能回答關於環境的任何問題，例如『我把錢包忘在哪裡了？』」
為了開發這樣的記憶框架，麻省理工學院的研究人員結合了電腦視覺和機器人地圖繪製這兩個領域的工作。
多模態電腦視覺模型能夠理解並豐富地描述場景中的物體，但它們通常一次只能處理一個註釋。另一方面，機器人地圖繪製框架可以建立環境的3D地圖，例如整個公寓或大學校園，但通常缺乏對物體的詳細描述，或者計算成本高昂。
麻省理工學院研究人員開發的方法名為「隨時隨地描述任何事物」（Describe Anything, Anywhere, Anytime, at Any Moment, 簡稱DAAAM），它結合了這兩種方法的優點。
透過DAAAM，當機器人在其環境中移動時，它會為所見的物體附加豐富的描述。例如，機器人可能會記錄麻省理工學院校園內某棟特定建築物被稱為Stata中心，並具有某種建築風格，或者一個自行車架上停放著五輛自行車，其中一輛紅色的輪胎沒氣了。
它將這些詳細資訊儲存在一個基於3D地圖的表示中，並按空間排列，因此物體會被分組到不同的區域。透過這種方式，機器人可以記住那輛輪胎沒氣的紅色自行車就在Stata中心外的自行車架上。
然而，現有捕捉如此豐富描述的技術通常需要幾秒鐘才能註釋幾個物體。這對於即時性能來說太慢了，因為機器人在幾分鐘的探索中可能會看到數百個物體。
Carlone補充說：「機器人形成這種空間記憶的速度越快，它在環境中執行動作的效率就越高。」
簡化流程
為了加快速度，DAAAM在移動時會聚合附近的物體，並使用優化方法來選擇關鍵幀進行註釋。這些關鍵幀是能最清晰地看到多個物體的圖像，讓系統能夠同時徹底描述多個項目，將計算速度提高十倍。
當機器人探索空間時，它會將每批註釋附加到3D地圖上特定位置的多個物體。
Gorlo解釋說：「我們只對每個物體註釋一次，因此我們的框架可以在非常大規模的環境中即時運行。透過將物體分組到區域中，它能夠回答關於環境中物體和位置的廣泛查詢。」
一旦系統建立起這種空間記憶，它必須以高效的方式從龐大的物體和描述資料庫中檢索資訊。
為了實現這一點，研究人員使用了一個呼叫各種工具的LLM，這些工具可以快速檢索特定資訊，從而減少幻覺。這使得DAAAM能夠在幾秒鐘內準確回答用戶查詢。
例如，如果有人詢問機器人關於它在麻省理工學院校園建築附近看到的一個雕塑，DAAAM可以使用語義搜尋工具根據「雕塑」這個詞檢索資訊，或者使用不同的工具根據建築物的位置檢索資訊。
經測試並與其他方法比較，DAAAM的準確度提高了21%到53%，具體取決於問題類型。
未來，研究人員希望擴展DAAAM，讓系統能夠捕捉環境中發生的重要事件。他們也正在努力將置信度納入系統的回應中。
Gorlo說：「最終，我們希望機器人能夠協助處理任何類型的任務。透過這個框架，我們正努力為實現一個能夠執行您所要求任何任務的通用代理奠定基礎。」
這項研究部分由美國陸軍研究實驗室和海軍研究辦公室資助。Carlone目前正在亞馬遜擔任訪問學者；本文描述的工作是在麻省理工學院進行的，與亞馬遜無關。
