機器人的進化源于它們理解其移動空間以及獨立但協(xié)作地前進的能力。美國麻省理工學院的盧卡·卡龍 (Luca Carlone) 正在研究這個問題

我們?nèi)祟愓J為這是理所當然的，但機器人的空間感知卻并不簡單。對人類來說，幾乎可以立即了解周圍環(huán)境，探測有關(guān)圖案、物體及其在環(huán)境中位置的復(fù)雜信息是直觀的，但對機器來說，這是一個非常復(fù)雜的問題。不過，有些人正在努力使機器人系統(tǒng)也能做到這一點：麻省理工學院（MIT）的 SPARK 實驗室就是這方面最先進的機構(gòu)之一。感知、知覺、自主和機器人動力學實驗室 "的主任是航空航天系副教授、美國麻省理工學院信息與決策系統(tǒng)實驗室（LIDS）首席研究員盧卡-卡隆（Luca Carlone）。

卡洛尼出生于意大利，擁有都靈理工大學機電一體化工程專業(yè)的學位，多年來一直從事智能機器人系統(tǒng)的研究，并獲得了眾多獎項。

Luca Carlone，“傳感、感知、自主和機器人動力學實驗室”主任，航空航天系副教授，麻省理工學院信息與實驗室首席研究員。決策系統(tǒng)（LIDS）。

特別是，他和他所領(lǐng)導的實驗室的興趣集中在空間感知，或者機器人感知和理解周圍環(huán)境的能力。它是人類移動、操縱和互動的關(guān)鍵因素。算法和感知系統(tǒng)的最新進展使機器人能夠創(chuàng)建未知環(huán)境的大規(guī)模幾何地圖并檢測感興趣的物體。盡管取得了這些進步，機器人和人類的感知之間仍然存在很大差距。這就是盧卡·卡龍 (Luca Carlone) 工作的地方，他堅信在這個問題上取得重大進展將對許多行業(yè)產(chǎn)生重大影響，機器人在“行業(yè)自動駕駛汽車的開發(fā)。只有最后一個市場預(yù)計將大幅增長：Statista 估計到 2030 年，該市場的規(guī)模將從 2021 年的 1060 億美元增至 23,000 億美元。

要點

對于人類來說，機器人的空間感知是本能和自然的，是一個高度復(fù)雜的問題，但它是保證它們能夠在最不同的環(huán)境中獨立、安全移動的基礎(chǔ)。

美國麻省理工學院的 Spark 實驗室由麻省理工學院教授、意大利人盧卡·卡龍 (Luca Carlone) 領(lǐng)導，正在努力創(chuàng)造條件，使機器人系統(tǒng)能夠依賴盡可能類似于人類感知的空間感知。

由于人工智能技術(shù)的采用，許多多機器人系統(tǒng)也帶來了前景：從搜索和救援行動到工業(yè)自動化，再到物流和自動駕駛汽車。

機器人空間感知今天取得的進展

正如 MIT 最近發(fā)表的一篇文章所報道的，由 Carlone 領(lǐng)導的團隊開發(fā)并發(fā)布了 Kimera，這是一個開源庫，它允許單個機器人實時構(gòu)建其環(huán)境的三維地圖，標記視野中的不同物體。兩年后的 2022 年，Carlone 和 Jonathan How（SPARK 實驗室和航空航天控制實驗室）的研究小組推出了Kimera-Multi，這是一個更新的系統(tǒng)，其中多個機器人相互通信以創(chuàng)建統(tǒng)一的地圖。這一發(fā)現(xiàn)和發(fā)表的論文為 Carlone 和 How 及其研究團隊贏得了IEEE Transactions on Robotics Fu King-Sun Memorial Best Paper Award 2023，授予上一年在該雜志上發(fā)表的最佳文章。

復(fù)雜環(huán)境中的機器人運動（Kimera-Multi）

Carlone教授，機器人的空間感知需要考慮哪些方面？

除了相當重要之外，機器人的空間感知也是一個令人著迷的問題，因為我們作為人類解決這個問題的容易程度與機器人解決這些挑戰(zhàn)的強大技術(shù)難度相對應(yīng)。莫拉維克悖論很好地解釋了這一點，該悖論指出：人工智能困難的事情看起來很簡單，而簡單的事情看起來很困難。讓我們想象一下人工智能系統(tǒng)在下國際象棋或圍棋或在很短的時間內(nèi)為人類解決需要高推理能力的復(fù)雜問題的輕松程度。相反，在環(huán)境中移動或操縱物體，即使對于孩子來說，這種與生俱來的簡單能力對于機器人來說仍然非常關(guān)鍵。

機器人感知從三維重建的角度進行了研究。本質(zhì)上，配備攝像頭或激光雷達等傳感器的機器人系統(tǒng)必須重建環(huán)境的 3D 模型才能自主導航。

在本例中，我們討論的是 SLAM（同時定位和建圖），這是一種允許對未知環(huán)境進行地圖繪制的方法。機器人利用地圖信息來執(zhí)行路線規(guī)劃、避障等任務(wù)。

SLAM 的研究始于 20 世紀 80 年代至 90 年代，多年來取得了巨大進步。這個問題已經(jīng)得到解決，SPARK 實驗室也研究和使用了有效的技術(shù)解決方案一段時間。它們是機器人、無人機的基礎(chǔ)，也是虛擬和增強現(xiàn)實觀眾的基礎(chǔ)。

因此，多年來人們進行了大量的研究來了解環(huán)境的幾何形狀，以確保機器人能夠四處移動并避開障礙物。

然而，近年來人們認識到（機器人和其他人的）空間感知比幾何問題復(fù)雜得多。

機器人的空間感知——麻省理工學院模擬

這在實踐中意味著什么？

我們?nèi)祟惒粌H了解障礙的存在，而且當我們環(huán)顧四周時，我們能夠賦予周圍一切以意義。在實踐中，我們發(fā)現(xiàn)自己面前的東西不僅被解釋為空曠的空間或被障礙物占據(jù)，而且我們很好地理解語義，即物體的含義，即使是以非常復(fù)雜的方式。例如，我們了解我們周圍人和物體的存在，我們在一個房間里，并且它是建筑物的一部分，因此我們形成了靜態(tài)和動態(tài)事物的非常復(fù)雜的表示。空間感知是一個過程，從感官數(shù)據(jù)開始，我們可以為我們腦海中清晰的周圍現(xiàn)實建立一個非常復(fù)雜的模型。過去十年中最有趣的元素也得益于人工智能的進步，其表現(xiàn)是語義部分變得更加容易理解。

在人工智能出現(xiàn)之前，解決識別和識別物體等任務(wù)非常復(fù)雜。現(xiàn)在，深度學習模型使我們能夠識別圖像中的像素并將其與某些對象進行匹配。

我們與 Kimera-Multi 合作的目的是將語義部分提升到一個新的水平。為此，我們繼續(xù)構(gòu)建包含幾何和語義部分的3D 地圖。這使得機器人可以在未知環(huán)境中移動，無需 GPS 和任何絕對參考，僅使用從攝像機和慣性傳感器獲得的傳感數(shù)據(jù)，進行推理并能夠構(gòu)建包含幾何圖形的三維模型。和語義信息。因此，機器人也可以通過這個接口了解物體的類型。

那么，今天的機器人系統(tǒng)能否更好地了解它們所在的位置以及它們周圍的事物？

沒錯。新穎的元素使機器人具有更高層次的理解：因此，它們理解場景的語義方面、完成高級任務(wù)的關(guān)鍵要素，包括導航和對象搜索、與人類的交互等等。我們現(xiàn)在開發(fā)了一個系統(tǒng)，多個機器人可以在該系統(tǒng)中相互通信以創(chuàng)建統(tǒng)一的地圖，目標它們擁有共享的環(huán)境表示，以便協(xié)調(diào)開展行動。

然而，這個問題非常復(fù)雜。機器人以分布式方式收集數(shù)據(jù)這一事實給建立單一模型帶來了困難。例如，如果我們考慮十個地理位置相距很遠的機器人，它們會以分布式方式收集大量數(shù)據(jù)，但很難交換數(shù)據(jù)。我們研究的主要目標之一是設(shè)計分布式協(xié)議，讓機器人繼續(xù)交換最少量的信息，試圖就如何構(gòu)建地圖及其軌跡達成共識。簡而言之，兩個機器人不是互相發(fā)送各自相機收集的所有圖像，而是每次看到對方時交換彼此在參考系統(tǒng)中的位置估計，從而改進彼此的地圖。因此，在此過程中，可以收斂到所有系統(tǒng)都一致的共同估計。這是這項工作的主要貢獻之一。

還有其他值得注意的方面嗎？

是的，另一個重要貢獻涉及此類系統(tǒng)的穩(wěn)健性問題。在實驗室進行演示是一回事，開發(fā)一個如此可靠的水平儀以允許您在非常復(fù)雜的外部環(huán)境中管理多個機器人則是另一回事。此時機器人的空間感知與人類相差甚遠。特別是，我們希望在這些地圖系統(tǒng)中，機器人始終能夠識別它是否正在訪問它已經(jīng)知道的地方。如果該區(qū)域已經(jīng)被訪問過，機器人必須能夠識別該位置，并且該信息對于改進其地圖非常有用。此外，機器人還必須識別它們是否正在查看另一個機器人已經(jīng)訪問過的地圖部分。

困難在于地點識別算法非常不精確，并且這些算法產(chǎn)生的不正確結(jié)果會導致嚴重錯誤重建地圖。我們已經(jīng)證明，可以以分布式方式實現(xiàn)我的研究小組過去開發(fā)的特定魯棒估計算法。通過這種方式，盡管地點識別算法中可能存在錯誤，但仍可以交換估計和測量結(jié)果，以形成正確且共享的地圖。

機器人的空間感知應(yīng)用了哪些人工智能技術(shù)？

在這項工作中，人工智能主要進入語義部分。深度學習算法用于根據(jù)不同語義類別對圖像中的像素進行分類。然后，每個像素被分類為某個對象并具有相關(guān)的語義，并為創(chuàng)建三維地圖提供有價值的信息。不僅如此：借助該系統(tǒng)，可以確保在多個圖像中多次觀察地圖的同一部分。這使我們能夠減少人工智能系統(tǒng)中可能錯誤地對某些像素進行分類的錯誤。

在研究方面，該領(lǐng)域有哪些承諾？您現(xiàn)在和未來幾個月正在做什么？

有很多人致力于多機器人系統(tǒng)和感知。前者尤其在更大的機器人技術(shù)中構(gòu)成了一個社區(qū)，并在多個方面進行操作，意識到這種類型的系統(tǒng)在許多情況下更加高效。例如，我想到的是搜索和救援行動，即在災(zāi)難性事件后搜尋幸存者，如果可以的話，成功的可能性會更高依靠更多的機器人。但在其他領(lǐng)域，依靠多機器人系統(tǒng)可以獲得更好的結(jié)果。

談到接下來的發(fā)展，我們需要回到人類的空間感知：它不僅超越幾何，而且超越物體。作為人類，我們對現(xiàn)實不僅有一個非常復(fù)雜而且有層次的概念，以便非常有效地計劃我們的行動。讓我們想想當我們計劃旅行時：我們在多個層面上建立了幾個步驟，通過機場、車輛和城市來計劃旅行。我們正在嘗試復(fù)制這種理解水平，讓機器人制定環(huán)境的分層抽象，并嘗試使用這種表示來加快決策速度。在這方面，我們提出了“3D場景圖”的想法，其中定義圖來插入不同級別的抽象環(huán)境并捕獲有關(guān)場景中不同對象或不同實體之間關(guān)系的信息。這些模型使您能夠推理不同對象之間或不同人之間的關(guān)系——這是執(zhí)行高級任務(wù)的一個重要方面。

我們正在研究更復(fù)雜的表示，并試圖了解如何在具有一個或多個機器人的系統(tǒng)中構(gòu)建這些表示。此外，我們正在嘗試將它們開發(fā)為其他人工智能模型的輸入，例如支撐決策的強化學習。我們希望了解如何使用人工智能算法提供這種感知表示，以便機器人能夠更有效地做出決策。此外，我們正在努力通過使用幾何來解決人工智能算法的一個基本問題，即需要擁有非常大的注釋數(shù)據(jù)集，這是人工智能圖像理解的基礎(chǔ)。

人工智能算法的有效性取決于大量數(shù)據(jù)集的可用性。我們知道，在許多機器人領(lǐng)域，沒有如此大的數(shù)據(jù)集。因此，我們打算重點關(guān)注自我監(jiān)督的可能性，即開發(fā)無需人工監(jiān)督即可運行的系統(tǒng)，無需注釋即可收集數(shù)據(jù)。大型語言模型，例如 ChatGPT，以這種方式工作，即以無監(jiān)督的方式工作，因此它們可以從互聯(lián)網(wǎng)上的文本中學習，而無需很多注釋。這是我們在機器人技術(shù)領(lǐng)域需要努力的前沿領(lǐng)域。未來我們必須擁有能夠觀察現(xiàn)實并通過推理來自行理解并做出決策的機器人，而無需人類操作員的頻繁干預(yù)。

您對機器人空間感知的研究和研究未來的應(yīng)用和好處是什么？

搜索和救援是一個非常重要的應(yīng)用：讓我們考慮一下在受地震或其他災(zāi)難性事件影響的地區(qū)派遣機器人進行救援行動、為團隊或獨立提供幫助的機會。在 DARPA（美國國防高級研究計劃局）最近發(fā)起的機器人系統(tǒng)競賽中，重點是地下研究。人們對開發(fā)地下環(huán)境中繪圖的能力非常感興趣，因為地下環(huán)境對人類來說非常困難且風險很大。除此之外，這種環(huán)境在很多方面都與其他行星上的外星探索非常相似。

另一個令人感興趣的背景是工業(yè)和物流領(lǐng)域，同樣是關(guān)于機器人的空間感知：今天亞馬遜已經(jīng)在使用機器人在其倉庫中，地面上有虛擬向?qū)б苿印Ｎ磥恚揽磕軌蛟诓煌h(huán)境中自主移動、與人類一起操作的機器人將會非常有趣。最后，空間感知的研究將使智能交通系統(tǒng)領(lǐng)域發(fā)生重大發(fā)展。例如，我正在考慮自動駕駛汽車，甚至卡車能夠相互通信，以便以更有效和更有效的方式移動。協(xié)作方式，大大提高安全水平。

美國麻省理工學院(MIT)的Hyperloop II團隊由一組具有航空航天，機械，電氣和系統(tǒng)工程背景的多學科研究人員組成。

MIT四十名學生合作設(shè)計和制造了Hyperloop II，這是一種高速、無摩擦的車輛，旨在通過空氣懸浮技術(shù)來運載人員或貨物。Hyperloop與許多需要軌道或在真空管運行軌道列車不同，這款模型僅需要平坦的表面并能在氣墊上行駛。它不依賴昂貴的磁性系統(tǒng)為其懸浮提供動力，不需要高昂的真空環(huán)境。

Hyperloop II是2019年在SpaceX Hyperloop Pod競賽中唯一以其功能齊全的空氣懸浮吊艙而聞名。這是一項年度的超級環(huán)形高鐵車廂大賽大賽，SpaceX公司旨在鼓勵開發(fā)新的運輸方式。該團隊在去年比賽中排名第5，并獲得了創(chuàng)新獎。因為大火摧毀了原始原型后，三周后該團隊再次對其軌道車進行了大幅度修改。

美國MIT開發(fā)的AirLev是第一款電動高速無摩擦空氣懸浮軌道車，旨在通過其空氣懸浮技術(shù)來運載人員或貨物。該團隊在2019年的SpaceX-Hyperloop大賽上展示了升級版-Hyperloop II，該軌道車在20秒內(nèi)，以0到200 mph(時速200英里/352公里)迅速提升。