Meta Platforms Inc.人工智能研究部門的研究人員今天宣布了圍繞自適應技能協調和視覺皮層復制的幾項關鍵進展，他們表示這些進展將允許人工智能驅動的機器人在沒有任何真實世界數據的情況下在現實世界中運行。

（Meta Platforms Inc.是美國一家經營社交網絡服務、虛擬現實、元宇宙等產品的互聯網科技公司，總部位于美國加州門洛帕克，旗下擁有Facebook、Instagram、WhatsApp等社交軟件。）

據稱，這些進展是在創建通用“具身人工智能代理”方面取得的重大進展，該代理能夠在無需人工干預的情況下與現實世界進行交互。第一個公告涉及創建一個名為 VC-1 的人工視覺皮層，該皮層在 Ego4D 數據集上進行訓練，該數據集由數千個執行日常任務的人的視頻組成。

正如研究人員在博客文章中解釋的那樣，視覺皮層是大腦中使生物體能夠將視覺轉化為運動的區域。因此，人工視覺皮層是任何需要根據眼前所見執行任務的機器人的關鍵要求。因為 VC-1 需要在廣泛的環境中很好地完成各種感覺運動任務，Ego4D 數據集被證明特別有用，因為它包含世界各地研究參與者執行日常活動的數千小時可穿戴相機視頻，例如烹飪、清潔、運動和手工藝。

研究人員說：“生物有機體有一個通用的視覺皮層，這就是我們尋找具身代理的目的。因此，他們著手創建一個在多項任務上表現良好的數據集，從 Ego4D 作為核心數據集開始，并通過添加額外的數據集來改進 VC-1 進行試驗。由于 Ego4D 主要關注烹飪、園藝和手工藝等日?；顒?，我們還考慮了探索房屋和公寓的以自我為中心的視頻數據集，”研究人員寫道。“

然而，視覺皮層只是具身人工智能的一個元素。對于在現實世界中完全自主工作的機器人，它還必須能夠操縱現實世界的物體。機器人需要能夠導航到一個物體，將其撿起，將其帶到另一個位置并放置該物體——并根據其所見所聞來完成所有這些工作。

為了解決這個問題，Meta 的 AI 專家與美國佐治亞理工學院的研究人員合作開發了一種稱為“自適應技能協調”的新技術，其中機器人完全在模擬中進行訓練，然后將這些技能轉移到現實世界的機器人上。

Meta 與波士頓動力公司合作展示了其 ASC 技術的有效性。ASC 模型與波士頓動力公司的 Spot 機器人集成在一起，后者具有強大的傳感、導航和操縱能力，盡管需要大量的人工干預。

“例如，挑選一個物體需要一個人點擊機器人平板電腦上的物體。我們的目標是構建能夠通過波士頓動力 API 的機載傳感和電機命令來感知世界的 AI 模型?！?/p>

ASC 在使用 HM3D 和 ReplicaCAD 數據集構建的環境中使用 Habitat 模擬器在 Spot 上進行了測試，其中包含 1,000 多個家庭的室內 3D 掃描。然后，模擬的 Spot 機器人被教導在一個以前看不見的家里四處走動，撿起不在地方的物體，把它們帶到正確的位置，然后把它們放下。后來，這些知識被轉移到現實世界中的 Spot 機器人中，這些機器人會根據它們對房屋外觀的了解自動執行相同的任務。

“當我們對我們的工作進行測試時，我們使用了兩個截然不同的現實世界環境，在這些環境中，Spot 被要求重新布置各種物體——一個家具齊全的 185 平方米公寓和一個 65 平方米的大學實驗室。總的來說，ASC 取得了近乎完美的表現，在 60 集中的 59 集中取得了成功，克服了硬件不穩定、拾取失敗以及移動障礙物或阻塞路徑等對抗性干擾?！?/p>

Meta 的研究人員表示，他們今天正在開源 VC-1 模型，并在隨附的論文中分享了他們在如何縮放模型大小、數據集大小等方面的詳細知識。與此同時，該團隊的下一個重點將是嘗試將 VC-1 與 ASC 集成，以創建一個更接近真正體現人工智能的單一系統。