陸軍研究人員使用人類教學來改善自主系統中的導航

將來，可能只需要一名士兵和一個游戲控制器就可以教機器人如何超越人類。

在美國陸軍作戰能力發展司令部的陸軍研究實驗室和得克薩斯大學奧斯汀分校，研究人員設計了一種算法，該算法允許自動地面車輛通過觀察人類駕駛來改善其現有的導航系統。該團隊在陸軍的實驗車輛Clearpath Jackal上測試了其方法，即通過演示進行自適應規劃器參數學習（Adaptive Planner Parameter Learning From Demonstration，APPLD）。

陸軍研究員加勒特·沃內爾博士說：“使用APPLD這種方法，現有訓練設施中的現役士兵將能夠通過簡單地正常操作車輛即可改進自主導航系統。” “像這樣的技術將對陸軍設計和部署能夠在越野環境中自動導航的下一代戰斗車輛的計劃做出重要貢獻。”

研究人員將演示算法和更多經典的自主導航系統中的機器學習融合在一起。APPLD并沒有完全取代經典系統，而是學習如何調整現有系統使其表現得更像人類演示。Warnell說，這種范例使部署的系統可以保留傳統導航系統的所有優點，例如最優性，可解釋性和安全性，同時還可以使系統靈活并適應新環境。

Warnell說：“ 使用日常的Xbox無線手柄提供的一次人類駕駛演示，使APPLD能夠學習如何根據特定的本地環境以不同的方式調整車輛現有的自動導航系統。” “例如，在狹窄的走廊中，駕駛員放慢速度并小心駕駛。觀察到這種行為后，自動駕駛系統學會了在類似的環境中也降低其最大速度并增加其計算預算。這最終使車輛能夠成功在以前失敗的其他狹窄走廊中自主導航。”

奧斯汀機器人聯盟的主席兼教授彼得·斯通博士說：“ APPLD是奧斯汀與陸軍研究實驗室之間獨特的合作促進了研究成果不斷增長的又一個案例。” “通過將沃內爾博士全職安排在奧斯汀分校，我們能夠迅速發現并解決尖端科學的研究問題。”

團隊的實驗表明，經過培訓，與傳統系統相比，APPLD系統能夠更快地導航測試環境，并減少故障。另外，受過訓練的APPLD系統通常比受過訓練的人在環境中的導航更快。經過同行評審的期刊《IEEE機器人與自動化快報》發表了該團隊的工作：APPLD：從演示中學習自適應規劃器參數。

“從機器學習的角度來看，APPLD與試圖從頭開始學習整個導航系統的所謂的端到端學習系統形成了鮮明的對比。” “這些方法往往需要大量數據，并且可能導致行為既不安全也不穩健。APPLD利用了經過精心設計的控制系統部分，同時將其機器學習成果集中在參數調整過程上，這就是通常是根據一個人的直覺來完成的。”

APPLD代表了一種新的范例，在這種范例中，不具備機器人專業知識的人可以在各種環境中幫助訓練和改善自動駕駛汽車導航。而不是由工程師組成的小型團隊試圖在少數測試環境中手動調整導航系統，實際上，數量不受限制的用戶將能夠向系統提供所需的數據，以將其自身調整至不受限制的環境。

陸軍研究員喬納森·芬克（Jonathan Fink）博士說：“通常，對于每個新的部署環境，必須手動重新調整當前的自主導航系統。” “此過程非常困難，必須由接受過機器人技術培訓的人員來完成，并且需要反復試驗，直到找到正確的系統設置為止。相反，APPLD通過觀察人工駕駛來自動調整系統系統，任何人只要有視頻游戲控制器的經驗就可以做。在部署過程中，APPLD還允許系統隨著環境的變化實時地重新調整自身。”

陸軍對下一代作戰車輛進行現代化改造的重點包括設計可以在越野部署環境中自主導航的可選載人作戰車輛和機器人作戰車輛。盡管士兵可以駕駛當前的戰車在這些環境中導航，但對于先進的自主導航系統而言，環境仍然充滿挑戰。APPLD和類似方法為陸軍改善現有的自主導航能力提供了新的潛在途徑。

除了與陸軍直接相關之外，APPLD還為彌合傳統工程方法與新興機器學習技術之間的鴻溝提供了機會，從而在現實世界中創建了強大，自適應和多功能的移動機器人。

為了繼續這項研究，研究小組將在各種戶外環境中測試APPLD系統，雇用士兵駕駛員，并嘗試使用多種現有的自動導航方法。此外，研究人員將調查是否包括其他傳感器信息（例如相機圖像）是否可以導致學習更復雜的行為，例如調整導航系統以在各種條件下（例如在不同地形或存在其他物體的情況下）操作。

參考文獻：X. Xiao, B. Liu, G. Warnell, J. Fink and P. Stone, "APPLD: Adaptive Planner Parameter Learning From Demonstration," in IEEE Robotics and Automation Letters, vol. 5, no. 3, pp. 4541-4547, July 2020, doi: 10.1109/LRA.2020.3002217.

Clearpath Jackal 無人車是一個小型，快速的入門級現場機器人研究平臺。它具有與ROS完全集成的機載計算機，GPS和IMU，具有開箱即用的自主功能。Jackal最大速度可達2m/s，線加速度可達20m/s2。負載20kg，最大爬坡角度可達40°。