利用強化學(xué)習(xí)技術(shù)，有可能在流體環(huán)境中教授微型機器人類似于生物細(xì)胞的運動技能，從而在需要特別復(fù)雜的動作或存在背景擾動時繞過步態(tài)設(shè)計問題，有利于未來在生物醫(yī)學(xué)領(lǐng)域的應(yīng)用。

要點

●通過兩所大學(xué)和香港大學(xué)的聯(lián)合工作，首次嘗試設(shè)計出能夠在明確目標(biāo)方向上游泳、執(zhí)行復(fù)雜動作和改變步態(tài)的微型機器人。

●一種強化學(xué)習(xí)算法和一個具有 "行為批判 "結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)確保微型游泳機器人獲得典型的微生物導(dǎo)航策略，并根據(jù)環(huán)境改變其動作。

●未來的研究設(shè)想采用同樣的方法，使微型機器人發(fā)展出三維導(dǎo)航能力，以及克服干擾、物理邊界和障礙物的能力。

采用人工智能技術(shù)，使微型機器人能夠在復(fù)雜的流體環(huán)境中自主移動，是指學(xué)習(xí)微型生物特有的運動技能，能夠制定導(dǎo)航策略，使它們能夠根據(jù)所處的環(huán)境改變步態(tài)。

這種策略的一個例子就是從平移和旋轉(zhuǎn)模式過渡到細(xì)菌典型的反向運動模式，或真核生物的運行-停止-沖擊模式。

這種自適應(yīng)步態(tài)切換能力在生物醫(yī)學(xué)領(lǐng)域尤為可取，例如使用人工微泳器進(jìn)行靶向藥物輸送和顯微外科手術(shù)，這些手術(shù)通常需要在不受控制和不可預(yù)測的環(huán)境條件下導(dǎo)航到目標(biāo)位置，"題為 "通過深度強化學(xué)習(xí)實現(xiàn)微泳器的步態(tài)切換和靶向?qū)Ш?"的論文如是說、該論文概述了加利福尼亞州圣克拉拉大學(xué)、新澤西理工學(xué)院和香港大學(xué)的研究人員利用機器學(xué)習(xí)技術(shù)在微型機器人和微型游泳技能方面開展的聯(lián)合工作。

研究報告的作者指出："有關(guān)這一主題的現(xiàn)有文獻(xiàn)表明，具有運動步態(tài)的簡單可重構(gòu)系統(tǒng)可以產(chǎn)生凈平移和旋轉(zhuǎn)。"然而，當(dāng)需要復(fù)雜的動作或存在背景環(huán)境擾動時，運動步態(tài)設(shè)計就會變得越來越棘手"。

這就是為什么現(xiàn)有的微型游泳器在設(shè)計時使用軟質(zhì)材料，并且仍然采用固定的運動步態(tài)，人工干預(yù)導(dǎo)航。

簡而言之，類似于生物細(xì)胞的自適應(yīng)運動策略，能夠在高度復(fù)雜和不可預(yù)測的環(huán)境中自主導(dǎo)航，是開發(fā)流體環(huán)境微型機器人的一項尚未解決的挑戰(zhàn)。

直到最近，旨在克服機器人運動問題的人工智能技術(shù)的發(fā)展才為下一代智能微型游泳機器人的設(shè)計開辟了道路。讓我們拭目以待。

微型機器人的人工智能：強化學(xué)習(xí)的作用

關(guān)于微型機器人的人工智能，研究人員使用的人工智能技術(shù)是強化學(xué)習(xí)（reinforcement learning），這是一種機器學(xué)習(xí)技術(shù)，旨在開發(fā)能夠在不同行動之間做出選擇的機器，以便通過與運行環(huán)境的交互來實現(xiàn)預(yù)先設(shè)定的目標(biāo)。

"我們利用強化學(xué)習(xí)來訓(xùn)練我們的模型系統(tǒng)，使其在初始微型游泳者的任意方向上沿著目標(biāo)方向游泳。方向由微型游泳者的重心（rc）和 r1 之間的相對位置定義。"研究小組解釋道。

具體來說，用于訓(xùn)練微型機器人的強化學(xué)習(xí)算法是 "近端策略優(yōu)化"（PPO），而運動控制則由一個具有 "行為批判 "結(jié)構(gòu)的人工神經(jīng)網(wǎng)絡(luò)來管理。

根據(jù)上圖，我們可以看到左側(cè)的人工微型游泳者模型由三個球體組成，球體之間由兩條長短不一的臂連接。球體 r1（紅色）表示微型機器人的初始位置和當(dāng)前方向，而兩個藍(lán)色球體則表示--在實驗中--其隨后的方向。

具有行為批判結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)

在微型機器人人工智能領(lǐng)域，研究團隊開發(fā)的兩個神經(jīng)網(wǎng)絡(luò)（Actor 和 Critic）都由三組層組成：輸入層（Input Layer）、隱藏層（Hiden Layer）和輸出層（Output Layer）。

每一層都由神經(jīng)元（標(biāo)記為節(jié)點）組成，而權(quán)重則表示為節(jié)點之間的鏈接。如上圖所示，"在 Actor 模型中，網(wǎng)絡(luò)輸出層的大小與輸入狀態(tài)的大小相同（三個節(jié)點），而 Critic 模型網(wǎng)絡(luò)的輸出層只有一個節(jié)點"，作者指出。

這是因為在強化學(xué)習(xí)中，每個后續(xù)行動都是通過行為者的神經(jīng)網(wǎng)絡(luò)（行為者模型）來定義的。然后由臨界神經(jīng)網(wǎng)絡(luò)（批判模型）對行動進(jìn)行評估，以指導(dǎo)訓(xùn)練過程。微型機器人執(zhí)行代理推薦的動作，并與水動力環(huán)境互動，從而產(chǎn)生構(gòu)成后續(xù)觀察和獎勵的動作。"代理和臨界神經(jīng)網(wǎng)絡(luò)都會定期更新，以提高整體性能"。

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程被分為一系列情節(jié)，每個情節(jié)由 150 個學(xué)習(xí)步驟組成。根據(jù)每20集后的訓(xùn)練結(jié)果，臨界神經(jīng)網(wǎng)絡(luò)更新人工智能算法，以最大限度地提高預(yù)期的長期獎勵。

而隨著劇情的推進(jìn)，演員-批判框架會逐步訓(xùn)練強化學(xué)習(xí)算法，從而提高人工游泳運動員的表現(xiàn)。通過所述方案，我們的目標(biāo)是讓微型機器人發(fā)展出獨特的運動步態(tài)，如轉(zhuǎn)向、過渡和平移，從而實現(xiàn)多模式導(dǎo)航策略。

"配備人工智能的微型游泳機器人能夠自主調(diào)整步態(tài)，朝著任意方向航行，并在不同環(huán)境變化的影響下航行"。

微型機器人的人工智能：未來前景

在這項關(guān)于微型機器人人工智能的研究中，"配備人工智能的微型游泳者所采用的多模式策略讓人聯(lián)想到細(xì)菌典型的奔跑和跌倒"，研究小組強調(diào)，這項研究取得的成果表明，強化學(xué)習(xí)方法在實現(xiàn)與生物有機體類似的適應(yīng)能力方面具有潛力，"可實現(xiàn)強大的運動和適應(yīng)能力，這對未來的生物醫(yī)學(xué)應(yīng)用至關(guān)重要"。

雖然第一項研究的重點是微型機器人的平面運動，但所使用的方法將來可能會擴展到三維導(dǎo)航等領(lǐng)域，"允許在游泳者的平面外旋轉(zhuǎn)，擴大觀察和行動空間以獲得額外的自由度"。

強化學(xué)習(xí)所代表的框架并不局限于特定的游泳者：本作品中使用的是一個簡單的多球體系統(tǒng)，僅供參考，但同樣的方案也適用于其他微型機器人系統(tǒng)。后續(xù)研究還可以解決訓(xùn)練階段的流動擾動問題，從而開發(fā)出更強大的人工智能算法，進(jìn)一步改進(jìn)微型機器人的導(dǎo)航策略。作者指出："目前正在研究熱波動對微型游水器訓(xùn)練過程和由此產(chǎn)生的導(dǎo)航性能的影響。"

除了水流和熱波動，其他環(huán)境因素，包括物理邊界和障礙物的存在，也可能在未來的研究中得到類似的解決。