實體 AI 的前沿發展，正像是在加州聖利安卓（San Leandro）一處倉庫裡進行的疊疊樂遊戲。

這座倉庫是 Encord 的所在地，該公司專門開發用於訓練 AI 模型的數據工具。Andrew Ceja 是一名「飛行員」（公司對機器人訓練師的稱呼），他正小心翼翼地從搖搖欲墜的疊疊樂高塔中抽出木塊。他頭戴的耳機配有攝影機，能追蹤他所看到的一切，這在收集機器人訓練數據中相當常見。然而，這款耳機還包含感測器，能在他仔細拆解積木塔時測量他的腦波。

Encord 是少數但不斷成長的新創公司之一，他們認為人形機器人與倉儲機器人發展的下一個真正瓶頸，不會是模型架構，而是真實世界實體訓練數據的極度稀缺。Encord 不僅協助機器人公司管理現有數據，更致力於圍繞「製造」他們所缺乏的數據來建立業務。

Ceja 所佩戴的腦波耳機由德國神經科學新創公司 Zander Labs 製造。Zander Labs 認為，測量腦部活動（以推斷錯誤、意圖和驚訝等心理狀態）可以建立更有用的數據集來訓練模型。Encord 與 Zander 的合作目前處於試驗階段；Encord 表示，目標是建立一個初步的腦波標記數據集，將其應用於客戶的機器人模型，並評估其是否確實能提升性能，然後再決定是否擴大規模。

負責監督這項工作的 Zander 神經科學家 Lucas Gehrke 表示，在特定任務中任何時間點所使用的腦部活動量，都能為模型開發者提供線索，幫助他們判斷何時需要部署最高效能的模型。

根據 Encord 機器人學習主管 Vineeth Velmurugan 的說法，這是解決機器人數據瓶頸的「最前沿」努力。Velmurugan 曾是 OpenAI 機器人實驗室和倉儲自動化公司 Berkshire Grey 的資深員工，他加入 Encord 旨在建立該公司的內部數據創建團隊。

Encord 成立的宗旨是協助開發機器視覺應用程式的公司進行數據標註和模型評估。Velmurugan 表示，他們的客戶包含許多領先的機器人公司（但他未獲授權透露名稱）。隨著這些客戶開始將端到端學習應用於機器人操作任務，高層意識到他們必須自行生產訓練數據，而非僅僅管理現有數據。Velmurugan 說：「這些數據根本不存在。」

認為生成式 AI 能為機器人帶來像對聊天機器人一樣的變革，這種期望不斷遇到相同的瓶頸。自駕車公司自行收集實體世界數據，但難以擴展規模。雖然從影片中訓練可行，但它缺乏真實世界數據的精確度。Velmurugan 表示，要實現突破，所需的數據集規模可能達到 YouTube 影片庫的五倍左右，這種規模解釋了為何數據生成本身已成為一項業務，而不僅僅是研究問題。

如今，開發機器人「大腦」的公司正轉向兩個主要數據來源：「以自我為中心」（egocentric）的影片，由佩戴攝影機的工人收集，通常還輔以額外的攝影機角度和其他測量指標；以及遠端操作機器人所產生的數據。Encord 兩者兼顧，從全球多家工廠獲取以自我為中心的數據，並利用其聖利安卓設施實驗新的數據模式，例如腦波，或收集特定技能的數據集以進行微調。

當 TechCrunch 造訪時，飛行員們正使用「主從式」（leader-follower）裝置，一對機器手臂，其中一支由人類操作員直接控制，另一支則模仿其動作，來創建關於諸如將咖啡從壺中倒入馬克杯（非常晃動）和堆疊籌碼等任務的數據。Velmurugan 表示：「每一家開發人形機器人的公司都向我們詢問過這些部件。」

儲物架上擺放著花瓶裡的假花、書籍、塑膠蔬菜、貓砂盆和貓砂鏟、袋子和成捆的電線，這些都是訓練機器人執行家務任務的常用物品。

在其中一個工作站，另一位飛行員 Sofia Infante 正在操控機器手臂，將乙太網路線插入和拔出伺服器背面，這是資料中心操作員非常希望自動化的工作，只要機器人能以所需的精確度操作即可。親自操作後，我明白了為何這項任務仍遙不可及：機器夾爪的靈巧度遠不及人類手指，也缺乏我們手臂所擁有的自由度。

Encord 正在開發的另一種新數據模式，是利用綁在手臂上的感測器來偵測肌肉中的電訊號。人類手部操作物體的影片通常無法捕捉到整個手部，但 Velmurugan 希望能根據手臂感測器，建立手部在任何時間點的 3D 圖像，為模型提供更全面的理解。

Encord 的數據集會附帶影片內容的實體描述，例如「右手擰緊螺栓」，以幫助基於 LLM 的模型理解正在發生的事情。Velmurugan 估計，這種密集標註對於訓練特定任務的價值，是「劣質自我中心數據」（junky ego data）的 100 倍，而生產成本僅高出 20 倍，理論上來說是個划算的交易。

然而，「高出 20 倍」仍然是一筆可觀的費用，這就是問題所在：LLM 開發者透過從 Stack Overflow 和網路其他地方抓取文本來建立模型，幾乎不花費前沿實驗室任何成本。但生成實體訓練數據則不然，這也限制了將實體 AI 與 LLM 進行比較的適用性。這類數據必須「製造」出來，而不僅僅是收集，這改變了建立這些模型的經濟效益。

Velmurugan 表示，目前正在取得進展，憑藉 Encord 對整個產業專案的洞察力，他能夠看到新創公司和前沿實驗室都在摸索哪些方法能有效改進實體 AI 模型，哪些則不然。這種同時服務多家機器人公司的優勢，也是 Encord 的賣點之一。它能在任何單一客戶之前，就發現哪些數據技術正在整個產業中獲得關注。

這將讓 Encord 設施內十幾位飛行員持續忙碌。Infante 和 Ceja 都是這支不斷壯大的勞動力的一部分，他們正在為神經網路開發基礎構件；在加入 Encord 之前，他們都曾在另一家 AI 數據標註公司 Scale 工作。

Ceja 曾在一間廢棄物管理公司工作，他對科技的興趣讓他負責維護一台機器人垃圾分類機的正常運作。現在，當疊疊樂高塔倒塌時，他說他很享受為機器人解決訓練任務的挑戰，「每天都有新事物！」