麻省理工學院的研究人員開發了一種完全集成的機械臂，它融合了來自相機的視覺數據和來自天線的射頻 (RF) 信息，以尋找和檢索物體，即使它們被埋在一堆下面并且完全看不見。圖片來源：麻省理工學院

一個忙碌的通勤人員正準備走出門，卻發現他們把鑰匙放錯了地方，必須在成堆的東西中搜索才能找到它們。他們迅速篩選雜物，希望能找出哪一堆藏著鑰匙。

學院的研究人員已經創建了一個可以做到這一點的機器人系統。該系統 RFusion 是一個機械臂，其抓手上裝有攝像頭和射頻 (RF) 天線。它將來自天線的信號與來自攝像機的視覺輸入融合，以定位和檢索物品，即使物品被埋在一堆下面并且完全看不見。

研究人員開發的 RFusion 原型依賴于 RFID 標簽，這是一種廉價、無電池的標簽，可以粘在物品上并反射天線發送的信號。由于 RF 信號可以穿過大多數表面（例如可能會遮擋鑰匙的臟衣服堆），因此 RFusion 能夠定位一堆中的標記物品。

使用機器學習，機械臂會自動將物體的準確位置歸零，將物品移到上面，抓住物體，并驗證它是否撿到了正確的東西。攝像頭、天線、機械臂和 AI 完全集成，因此 RFusion 可以在任何環境下工作，無需特殊設置。

雖然找到丟失的鑰匙很有幫助，但 RFusion 在未來可能有更多更廣泛的應用，比如整理堆以完成倉庫中的訂單，在汽車制造廠識別和安裝組件，或幫助老年人在家中執行日常任務，盡管當前的原型對于這些用途來說還不夠快。

“能夠在混亂的世界中找到物品的想法是我們多年來一直在努力解決的一個懸而未決的問題。擁有能夠在一堆東西下搜索物品的機器人是當今行業日益增長的需求。對現在，您可以將其視為使用類固醇的 Roomba，但在短期內，這可能會在制造和倉庫環境中得到大量應用，”資深作者、電氣工程和計算機科學系副教授 Fadel Adib 說。麻省理工學院媒體實驗室信號動力學組主任。

共同作者包括研究助理 Tara Boroushaki，主要作者；電氣工程和計算機科學研究生 Isaac Perper；研究助理 Mergen Nachin；和 Alberto Rodriguez，機械工程系 1957 屆副教授。這項研究將在下個月的嵌入式網絡傳感器系統計算機協會會議上發表。

機械臂正在尋找隱藏在物品下面的鑰匙。圖片來源：麻省理工學院

RFusion 開始使用其天線搜索物體，天線從 RFID 標簽反射信號（如陽光從鏡子反射）以識別標簽所在的球形區域。它將該球體與相機輸入相結合，從而縮小了對象的位置。例如，該項目不能位于空的表區域上。

但是，一旦機器人對物品的位置有了大致的了解，它就需要在房間周圍廣泛擺動手臂，進行額外的測量以得出準確的位置，這是緩慢且低效的。

研究人員使用強化學習來訓練一個神經網絡，可以優化機器人到物體的軌跡。在強化學習中，算法通過反復試驗和獎勵系統進行訓練。

“這也是我們的大腦學習的方式。我們從老師、父母、電腦游戲等那里得到獎勵。強化學習中也會發生同樣的事情。我們讓智能體犯錯或做正確的事情，然后我們懲罰或獎勵網絡。這就是網絡如何學習很難建模的東西，”Boroushaki 解釋道。

在 RFusion 的情況下，當優化算法限制了定位項目所需的移動次數以及拾取項目所需的移動距離時，它就會得到獎勵。

一旦系統識別出正確的位置，神經網絡就會使用組合的射頻和視覺信息來預測機械臂應該如何抓取物體，包括手的角度和抓手的寬度，以及是否必須先移除其他物品. 它還最后一次掃描物品的標簽，以確保它拾取了正確的物體。

錯或做正確的事情，然后我們懲罰或獎勵網絡。這就是網絡如何學習很難建模的東西，”合著者 Tara Boroushaki（如圖所示）解釋說。圖片來源：麻省理工學院

解決雜亂

研究人員在幾種不同的環境中測試了 RFusion。他們把鑰匙鏈埋在一個雜亂無章的盒子里，把遙控器藏在沙發上的一堆物品下面。

但是，如果他們將所有相機數據和 RF 測量值提供給強化學習算法，系統就會不堪重負。因此，利用 GPS 用于整合來自衛星的數據的方法，他們總結了 RF 測量結果并將視覺數據限制在機器人正前方的區域。

他們的方法效果很好——RFusion 在檢索完全隱藏在一堆下的物體時的成功率為 96%。

“有時，如果你只依賴 RF 測量，就會有一個異常值，如果你只依賴視覺，有時相機會出錯。但如果你把它們結合起來，它們就會得到糾正” Boroushaki 說。

未來，研究人員希望提高系統的速度，使其能夠平穩移動，而不是定期停下來進行測量。這將使 RFusion 能夠部署在快節奏的制造或倉庫環境中。

Boroushaki 說，除了其潛在的工業用途外，這樣的系統甚至可以融入未來的智能家居中，以幫助人們完成任何數量的家務。

“每年都有數十億個 RFID 標簽用于識別當今復雜供應鏈中的物品，包括服裝和許多其他消費品。RFusion 方法為自主機器人指明了道路，該機器人可以挖掘一堆混合物品并將其分類使用存儲在 RFID 標簽中的數據，比單獨檢查每件物品更有效，尤其是當物品看起來類似于計算機視覺系統時，”CoMotion 總統創新研究員兼電氣和計算機副 教授 Matthew S. Reynolds 說華盛頓大學的工程學博士，他沒有參與這項研究。“對于在復雜供應鏈中運行的機器人技術來說，RFusion 方法是向前邁出的一大步，在這些供應鏈中，識別和‘揀選’。