ToyBlocks：專為機器人學習與評估打造的受控模擬環境

機器人正在學習摺疊衣物、分類零件並處理不熟悉的物體。然而，這些示範往往相當狹隘，無法解釋機器人學到了什麼，也無法說明其失敗的原因。

為了研究複雜系統，科學家通常會從小型受控環境開始，例如培養皿或生態箱，他們可以在其中改變條件並觀察其影響。機器人學需要能實現這類研究的環境，研究人員應該能夠改變訓練資料或模型設計，重複測試，並追溯失敗的原因。

今天，我們將介紹一個用於創建這些環境的框架，我們稱之為 FoundationWorlds。每個 FoundationWorld 都將一個針對特定環境中機器人學研究的受控模擬世界，與自動生成任務和訓練示範的工具，以及衡量機器人行為隨時間變化的指標結合起來。它們共同提供了一個研究場景，用於探討諸如隨著更多訓練資料的可用，模型如何改進，以及如何最好地將高層次推理與精確的物理控制結合等問題。

我們的第一個 FoundationWorld 是 ToyBlocks：一個圍繞機器手臂和桌面上的積木構建的開源模擬框架。這個設定刻意保持簡單，但機器人仍然必須推理積木如何互動，以及如何在推、翻、疊的過程中安排它們。

ToyBlocks 會自動生成示範，這些示範是機器人在模擬中完成任務的錄影，無需耗時的人工遠端遙控。研究人員可以輕鬆改變這些訓練經驗。例如，一個團隊可以生成更多的推或翻轉示範，然後評估在訓練中未包含的任務上的表現。

以 ToyBlocks 作為我們的第一個 FoundationWorld，我們的目標是將這種方法擴展到日益複雜的環境。

ToyBlocks 的運作方式

基於我們早期在開源機器人學習方面的研究，包括 MolmoAct 2、MolmoBot 和 MolmoSpaces，ToyBlocks 為研究人員提供了一種在刻意受限的領域中研究機器人學問題的方法。

作為一個 FoundationWorld，ToyBlocks 圍繞四個要求設計：(1) 逼真的物理和外觀，(2) 大規模自動生成任務和示範，(3) 結合推理與靈巧性的挑戰，以及 (4) 廣泛涵蓋領域內所有可能的任務。

開放式領域需要建模廣泛的物體和互動，這使得滿足所有這些要求變得不可行。另一方面，ToyBlocks 的狹窄範圍使其能夠滿足所有這些要求。

在 ToyBlocks 較小的設定中，研究人員可以致力於研究機器人如何學習執行任何合理的任務，同時確信模擬手臂和積木的行為與其物理對應物非常相似。

ToyBlocks 不僅僅是關於拾取和堆疊積木：積木表面上的圖片和字母允許進行搜尋、分類和排列任務。機器人可能需要翻轉積木才能看到隱藏的表面，然後再決定它屬於哪裡。領域隨機化，即改變場景中積木大小、桌面高度和其他物理特性，測試模型在幾何形狀變化時的泛化能力。

ToyBlocks 自動生成技能（用於短任務的行為）和任務示範，這些可以用來訓練模型，或透過額外訓練（微調）來調整先前訓練好的模型。高層次推理模型決定要做什麼；低層次動作模型控制機器人的移動。該框架還可以用於輕鬆設計實驗和驗證假設。

ToyBlocks 使用強化學習（RL）和運動規劃（計算機器人應該如何移動）來生成短時程任務的技能，這些任務涉及簡短的動作序列。技能訓練在 Isaac Lab 中進行，這是 Nvidia 用於模擬中機器人學習的開源框架。透過試錯，這些策略（選擇機器人動作的模型）學習非抓取技能，例如將積木推過桌面或將其翻轉到另一個表面而無需拾取。

技能生成可以利用特權資訊，即模擬器可以直接提供但真實機器人無法提供的數值，例如積木的確切位置和方向，而不是從攝影機影像中估計。這使得自動生成在現實世界中需要遙控操作的技能成為可能。

為了生成示範資料，任務與運動規劃器（TAMP）會自動選擇並排序解決任務所需的技能，並規劃機器人之間的移動。在模擬中執行每個規劃會產生一個錄製示範的資料集，以及描述機器人執行哪個任務或技能的標籤。ToyBlocks 透過在單一圖形處理單元（GPU）上並行生成和執行數百個此類規劃來擴展資料生成，達到高達 24 倍的即時性能。

從感測器觀察中執行會增加一個感知問題：模型必須估計積木的姿態（其位置和方向），而模擬器可以直接提供這些資訊。為了反映真實世界的條件，ToyBlocks 訓練將原始感測器觀察映射到動作的模型。

ToyBlocks 的可控資料生成器允許使用者創建強調特定技能或填補現有資料集空白的訓練組合。研究人員可以研究模型需要多少資料，以及哪些經驗有助於其泛化到未見過的任務。例如，他們可以測試添加旋轉和拾取放置示範是否能改進翻轉，或者改變定義工作空間區域內外範例的平衡，並在訓練中未包含的任務上評估他們的選擇。

重要的是，訓練模型的評估不僅僅生成成功率指標，它還提供諸如執行速度、施加在物體上的力，以及透過與規劃模組相同的規範測量的任務進度等資訊。

一個網頁介面允許使用者連接 Claude 或其他前沿模型，並使用自然語言指示機器人或嘗試任務，提供了一種無需機器人專業知識即可探索模型如何規劃和行動的方式。

基於 ToyBlocks 的研究

以下評估使用 ToyBlocks 來研究訓練資料和方法如何影響性能、空間推理、對新字母和積木外觀的泛化、多步驟規劃、轉移到實體機器人，以及透過工具行動的前沿模型。使用者可以輕鬆設計自己的任務和測量方法來研究其他問題，例如，模型在透過指向選擇物體或發出「拾取黃色積木」等文字指令時，表現是否更好。

低層次動作模型：VLA 空間泛化

低層次動作模型，例如視覺語言動作模型（VLAs），將語言指令和視覺觀察映射到機器人動作。

VLA 的前提是，透過大規模資料集預訓練，它們可以快速泛化到不同的場景或特定工作空間。然而，關於這些動作模型泛化能力的證據仍然存在矛盾。一些研究報告稱這些動作模型對輸入的變化（例如不同的物體佈局和照明）很脆弱，而另一些則表明 VLA 泛化良好。

我們認為這些研究通常依賴於真實世界資料集，其空間變化靈活性有限。ToyBlocks 使我們能夠在一個簡單、易於重現且具有有意義任務空間多樣性的設定中，測試動作模型的泛化能力。

我們設計了泛化測試，這些測試改變了完成指令所需的技能序列、積木上的字母或顏色，以及場景中的積木數量。一項堆疊研究可以將四塊積木的堆疊從訓練中排除，然後測試模型是否可以組合熟悉的動作來構建它們。工作空間研究區分了訓練區域內新位置的性能與其邊界之外的性能，在後者中模型必須進行外推。我們在下面說明了研究設定和發現。

我們考慮四個任務：堆疊（Stack）、拆疊（Unstack）、翻轉（Flip）和旋轉（Rotate）。對於這些任務，我們研究內插（訓練範圍內的新配置）和外推（超出該範圍的配置）。例如，我們透過在物體僅在左側區域（綠色）生成的情境下進行訓練，並在右側區域（橙色）進行測試，或者透過在堆疊高度為 2 和 5 塊積木時進行訓練，並在高度為 3 和 4 時進行測試來評估泛化能力。

儘管進行了大規模預訓練，這些流行的動作模型在初步結果中泛化能力較差。我們改進了泛化並分析了每種技術的貢獻。圖表中的 LoRA 標籤代表低秩適應（low-rank adaptation），這是一種透過一小組可訓練權重更新來微調模型的方法。我們認為動作模型的泛化問題遠未解決；ToyBlocks 提供了一個寶貴的測試平台，用於系統地探索泛化技術。

高層次推理：視覺語言模型

長時程任務需要許多步驟，這使我們能夠衡量模型規劃動作序列以解決任務的能力。我們的框架使我們能夠創建此類長時程任務，並在高層次和低層次創建預言機（oracle，提供正確規劃或動作的參考組件）。這使我們能夠在模型任務失敗時，區分是高層次規劃失敗還是低層次執行失敗。

一個長時程任務的例子可能是用積木堆疊拼寫「Ai2」；由於字母可能不會立即顯現，代理必須首先選擇揭示資訊的動作，然後規劃並執行一系列動作來構建堆疊。

我們評估具有明確高層次規劃和低層次執行模型的階層式模型。在這種情況下，我們選擇視覺語言模型（VLM）Molmo 2 作為高層次規劃器，ManiFlow 作為低層次策略。Molmo 2 選擇要執行的技能和要執行該技能的積木，而低層次模型執行指令。

我們訓練 ManiFlow 等低層次模型在完成執行後暫停，並向高層次模型查詢下一個指令。我們在三個難度遞增的場景中評估模型的規劃能力。最簡單的場景初始化時，每個字元都直立並面向攝影機。中等難度的場景中，字元可能不直立，而最困難的場景中，字元在情節開始時不可見。

高層次推理：代理系統

我們對代理系統的實驗測試了前沿模型如何透過工具呼叫進行規劃和行動。我們使用 Claude Opus 5.5 研究了三種設定。在搜尋和拼寫設定中，我們透過模型上下文協定（MCP，一種將 AI 應用程式連接到工具的標準）公開 ToyBlocks 技能。代理透過攝影機影像查看場景，透過指向像素呼叫拾取、翻轉或旋轉等技能，並決定何時搜尋、構建或宣告任務完成或不可能。