機器人學習的瓶頸不在於模型，而在於數據。我們擁有強大的策略架構，如基於 Transformer 的 VLA、擴散和流匹配策略，甚至世界模型，以及訓練它們所需的 GPU。然而，我們缺乏的是大規模、多樣化的真實世界操作數據。

透過遠端操控機器人來收集數據既昂貴又費力：首先，它需要一台機器人。而且根據遠端操控方法，數據收集對使用者來說可能非常繁瑣，耗時數小時，並涉及重大的硬體和物流挑戰。這使得難以針對各種任務和環境進行規模化。

但你不需要機器人來收集機器人數據。只需要一隻人手、一個夾爪、一個相機，以及一種恢復手部 6 自由度軌跡的方法。捕捉示範，你就能得到機器人可以學習的數據。

這就是我們今天發布的 Grabette，一個開放、低成本的機器人操作數據記錄系統。拿起它，用你自己的手記錄一個任務，然後獲得一個乾淨、機器人可用的資料集。無需機器人、無需實驗室、無需遠端操控設備。

更大的目標是：如果記錄示範像拍攝影片一樣簡單，任何人都可以貢獻。我們希望 Grabette 能催生一個大型、開放、協作的機器人操作資料集，這是任何單一實驗室都無法獨自建立的。

Grabette 直接受到史丹佛大學通用操作介面（UMI）的啟發：這是一個帶有魚眼相機的手持夾爪，可以在「野外」記錄示範，使用 SLAM 恢復相機軌跡，並從中訓練視覺運動策略。UMI 證明了這種方法的可行性。其他（閉源）設備也存在，如 Agibot 的 MEgo 夾爪、Genrobot 的 DAS 夾爪和 Sunday Robotics 的技能捕捉手套。

我們的目標是讓它易於使用，將從「我有一個任務」到「我有一個訓練好的模型」的門檻降到最低。Grabette 整合到現代開放生態系統中：LeRobot 用於資料集，Hugging Face Hub 用於共享，以及一個無需安裝即可在瀏覽器中運行的處理流程。Grabette 是一個任何人都能在工作台上建造、在現場使用並貢獻數據的系統。

我們已經開發 Grabette 數月，覺得它已經足夠實用，可以分享了。我們很高興現在與大家分享！Grabette 是一個手持夾爪，配備了重建操作示範所需的一切。

它攜帶兩個相機，每個都有不同的任務。將這兩個角色分開是故意的：便宜的廣角魚眼相機為策略提供了所需的上下文豐富、腕部相機風格的視圖，而 RGBD 相機則負責穩健的 6 自由度追蹤的繁重工作。

當 Grabette 記錄使用者執行任務時的數據，它依賴其機器人對應物來執行訓練後學到的動作。因此，請認識 Gripette，它是 Grabette 的機器人手臂末端執行器雙生兄弟。這個家族共享相同的硬體 DNA：Grabette 是手持示範裝置（相機 + IMU + 夾爪，物料清單成本約 490 歐元），Gripette 是電動夾爪（相機 + 兩個伺服馬達，物料清單成本約 120 歐元），它在真實或模擬機器人手臂上實現閉環。

所有東西都是開源的，歡迎查看儲存庫！硬體：Grabette 和 Gripette 的 CAD 和生產文件。捕捉服務：設備上的 Raspberry Pi 軟體。處理流程：可在本地運行，或透過我們的 Hugging Face Space 線上運行。範例下游堆疊：作為參考的標準 LeRobot 訓練 + OpenArm 評估。

組件都是你可以購買的標準感測器，沒有閉源流程，也沒有供應商鎖定。一個 Raspberry Pi、一個標準的 Pi 相機、一個現成的 OAK-D 深度相機、磁性編碼器。重點是任何人都可以從訂購的零件中組裝一個。

設計上與機器人無關。捕捉或數據格式中沒有任何東西假定特定的機械手臂。示範以相機局部 6 自由度笛卡爾姿態加上夾爪狀態儲存，輸出是 Hugging Face Hub 上的標準 LeRobot 資料集，因此相同的數據可以驅動不同的機器人和不同的學習方法。不過，你仍然需要在你的機械手臂上安裝匹配的 Gripette 夾爪。

這次發布讓任何人都能快速且無需事先專業知識地從「我想示範一個任務」到「我有一個可供訓練的資料集」。

1. 記錄：按下按鈕，觀察相機、追蹤相機（顏色、深度和 IMU）以及夾爪編碼器關節值會同時記錄，使用單一共享時鐘以確保正確同步。再次按下按鈕停止片段，數據會儲存在 Raspberry Pi 上。

2. 在瀏覽器中直接處理：在瀏覽器中打開 Grabette 儀表板。選擇要加入資料集的片段，一鍵啟動後處理。這些片段會上傳到 HF Hub，grabette-slam 空間使用 RTAB-MAP 函式庫執行 SLAM 並驗證軌跡是否正確（沒有跳動或追蹤丟失），片段會轉換為 LeRobot 格式，一個新的資料集會上傳到你的空間，你可以在其中使用 LeRobot 視覺化工具查看每個片段的數據。現在一切都準備好開始訓練了！

一個資料集只有在能訓練出東西時才有意義。因此，為了展示端到端循環，我們提供了一個完整的範例。但要明確的是，這是一個展示其功能的範例，而不是產品：這次發布的是記錄系統。你的 Grabette 數據適用於任何消耗 LeRobot 資料集的方法。

我們的範例採用 200 個記錄的示範，並使用 LeRobot 堆疊訓練一個 Diffusion Policy（ResNet18 + SpatialSoftmax 編碼器，DDIM 排程器，6 自由度旋轉動作），它可以在單一消費級 GPU 上運行。然後在配備 Gripette 夾爪的 OpenArm 7 自由度機械手臂上進行評估。

數據瓶頸無法由單一實驗室解決，而是需要社群在各地記錄示範。你現在可以幫助建立資料集：建造一個 Grabette，記錄你感興趣的任務，並將它們分享到 Hub。每個片段都讓開放資料集更大、更多樣化，每個貢獻者都讓機器人學習不再被昂貴的硬體所限制。

這次發布只是專案的開始！Grabette 將持續發展。我們已經有更多內容即將推出，包括 Casquette，一個頭戴式 POV 裝置，用於補充 Grabette 的自我中心捕捉（仍在開發中）。但最重要的下一步不僅僅是我們的，也是你的：開始記錄，讓我們一起建立資料集。

👉 建造 Grabette (GitHub) · 處理你的數據 (HF Space) · 貢獻資料集。由 Pollen Robotics 傾心打造。