顯示研究人員的任務(wù)規(guī)劃框架組成部分的圖表。資料來源：Delmerico等人。

在過去的幾十年里，工程師們創(chuàng)造了具有越來越先進(jìn)的功能和能力的設(shè)備。近年來，一種被大幅改進(jìn)的設(shè)備能力被稱為 "空間計算"。

空間計算一詞本質(zhì)上是指計算機(jī)、機(jī)器人和其他電子設(shè)備 "意識到 "其周圍環(huán)境并創(chuàng)建其數(shù)字表示的能力。尖端技術(shù)，如傳感器和混合現(xiàn)實（MR），可以大大增強(qiáng)空間計算，使復(fù)雜的傳感和制圖系統(tǒng)得以創(chuàng)建。

微軟混合現(xiàn)實和人工智能實驗室和蘇黎世聯(lián)邦理工學(xué)院的研究人員最近開發(fā)了一個新的框架，將MR和機(jī)器人技術(shù)結(jié)合起來，以增強(qiáng)空間計算應(yīng)用。他們在arXiv上預(yù)先發(fā)表的一篇論文中介紹了這個框架，并在一系列人與機(jī)器人互動的系統(tǒng)上進(jìn)行了實施和測試。

研究人員在他們的論文中寫道："混合現(xiàn)實設(shè)備上的空間計算和自我中心感應(yīng)的結(jié)合使它們能夠捕捉和理解人類的行動，并將這些行動轉(zhuǎn)化為具有空間意義的行動，這為人類和機(jī)器人之間的合作提供了令人興奮的新的可能性。"本文介紹了幾個人類-機(jī)器人系統(tǒng)，它們利用這些能力來實現(xiàn)新穎的機(jī)器人用例：檢查的任務(wù)規(guī)劃、基于手勢的控制和沉浸式遠(yuǎn)程操作。"

用戶對空間網(wǎng)狀結(jié)構(gòu)的看法，用HoloLens拍攝并疊加在真實世界上。資料來源：Delmerico等人。

這個研究小組設(shè)計的基于MR和機(jī)器人的框架在三個不同的系統(tǒng)上實現(xiàn)，具有不同的功能。值得注意的是，所有這些系統(tǒng)都需要使用HoloLens MR頭顯。

第一個系統(tǒng)被設(shè)計用來計劃機(jī)器人任務(wù)，需要檢查一個給定的環(huán)境?；旧?，人類用戶戴著HoloLens頭盔在他/她想要檢查的環(huán)境中移動，放置全息圖，作為定義機(jī)器人軌跡的航點。此外，用戶可以突出顯示其希望機(jī)器人收集圖像或數(shù)據(jù)的特定區(qū)域。這些信息經(jīng)過處理和翻譯，以便隨后可以用來指導(dǎo)機(jī)器人在檢查環(huán)境時的運動和行動。

研究人員提出的第二個系統(tǒng)是一個界面，允許人類用戶與機(jī)器人進(jìn)行更有效的互動，例如，使用手勢控制機(jī)器人的運動。此外，該系統(tǒng)還能實現(xiàn)不同設(shè)備的共定位，包括MR耳機(jī)、智能手機(jī)和機(jī)器人。

研究人員寫道："設(shè)備的共同定位要求它們各自能夠?qū)⒆约憾ㄎ辉谝粋€共同的參考坐標(biāo)系中。通過它們相對于這個共同坐標(biāo)框架的單獨姿勢，可以計算出定位設(shè)備之間的相對轉(zhuǎn)換，隨后用于實現(xiàn)新的行為和設(shè)備之間的協(xié)作?！?/p>

該團(tuán)隊創(chuàng)建的第一個系統(tǒng)將HoloLens地圖（上圖）轉(zhuǎn)換為二維占位網(wǎng)格表示，其坐標(biāo)框架與網(wǎng)格的坐標(biāo)框架一致，以便用LiDAR實現(xiàn)機(jī)器人定位。資料來源：Delmerico等人。

為了實現(xiàn)設(shè)備的共同定位，該團(tuán)隊引入了一個框架，確保其系統(tǒng)中的所有設(shè)備共享它們的相對位置和一個共同的參考地圖。此外，用戶可以使用HoloLens頭顯向機(jī)器人發(fā)出導(dǎo)航指令，只需執(zhí)行一系列直觀的手勢。

最后，第三個系統(tǒng)可以實現(xiàn)沉浸式遠(yuǎn)程操作，這意味著用戶可以遠(yuǎn)程控制機(jī)器人，同時查看其周圍的環(huán)境。這個系統(tǒng)在機(jī)器人需要瀏覽人類無法進(jìn)入的環(huán)境的情況下，可能特別有價值。

研究人員解釋說："我們探索將用戶的行動投射到遠(yuǎn)程機(jī)器人上，并將機(jī)器人的空間感投射到用戶身上。我們考慮了幾個層次的沉浸感，基于觸摸和操縱機(jī)器人的模型來控制它，以及更高層次的沉浸感，即成為機(jī)器人并將用戶的運動直接映射到機(jī)器人上。"

在最初的測試中，Jeffrey Delmerico和他在微軟的同事提出的三個系統(tǒng)取得了非常有希望的結(jié)果，突出了使用MR來加強(qiáng)空間計算和人與機(jī)器人互動的潛力。在未來，這些系統(tǒng)可以被引入許多不同的場合，讓人類與機(jī)器人密切協(xié)作，有效地解決更廣泛的復(fù)雜的現(xiàn)實世界問題。