最近開發(fā)的一種方法試圖用一種新的方法來檢測--通過機器視覺系統(tǒng)--非結(jié)構化空間中不完全可見的東西，成功地分割出可以被感知的物體和因其被隱藏而不能被看見的東西。

經(jīng)驗之談

韓國光州科技學院的研究借鑒了人類視覺感知的一個特定現(xiàn)象，設計出一個神經(jīng)網(wǎng)絡，使機器能夠管理其空間內(nèi)的遮擋物體。

對隱藏的非可見結(jié)構的推斷是通過閉塞的 "分層建模方案 "來實現(xiàn)的，然后它是整個系統(tǒng)的 "心臟"：它在感知對象的突出特征的基礎上工作，給它們分配一個層次和一個精確的順序。

這項研究定義的方法--仍在測試中--將促進那些涉及挑選、檢索和處理隱藏物體的機器人任務，特別是在生產(chǎn)現(xiàn)場和倉庫等背景下。

最近，人工智能技術在機器人設計中的應用所面臨的挑戰(zhàn)之一是發(fā)展與機器被要求操作的環(huán)境的感知和分割以及該環(huán)境中物體的分類有關的越來越精細的技能。機器人的計算機視覺引領著這些技能，并看到在越來越復雜的任務中的應用，包括，例如，自主駕駛和物體操縱。

然而，在被認為是無序、無結(jié)構的場景中識別單個物體的過程仍然是至關重要的，在這些場景中，它們被部分或完全隱藏（遮擋）在其他物體后面。

通常情況下，"韓國光州科技學院（GIST）的一項研究，將在2022年5月23日至27日在費城舉行的IEEE國際機器人和自動化會議上正式發(fā)表，"當涉及到這種情況時，機器視覺系統(tǒng)被訓練為僅根據(jù)其一些可見部分來識別被遮擋的物體。但這種類型的訓練需要大量的各類對象的數(shù)據(jù)，使得它非常耗時費力'。

因此，GIST團隊繞過這種方法，提出了一種替代方法，該方法基于人工神經(jīng)網(wǎng)絡模型的開發(fā)（稱為不可見物體模態(tài)實例分割--UOAIS），專門用于檢測非結(jié)構化環(huán)境中不完全可見的物體，成功地分割出可以看到的物體（可見區(qū)域）和因被其他物體隱藏而看不到的物體（不可見區(qū)域）。讓我們來看看這到底是怎么回事。

機器人的人工視覺：走向人類感知的機制

對機器人的計算機視覺的研究是基于一個精確的考慮：在人類視覺中，焦點落在所謂的 "被遮擋的物體 "的可見結(jié)構上，從中推斷出其整個結(jié)構。一種現(xiàn)象--這--被稱為'阿莫德知覺'，在此基礎上，圖像中的兩個不同區(qū)域，其連續(xù)性，其完整性，被推斷出在某個被稱為'遮擋者'的物體后面。而我們試圖模仿的正是人類的這種感知能力，這將使機器人能夠直接處理非結(jié)構化、無序化場景中的遮擋問題。

部分可見物體的示例，因為它們部分隱藏（遮擋）在其他物體后面。

為了實現(xiàn)這一目標，開發(fā)的人工神經(jīng)網(wǎng)絡模型經(jīng)過訓練，通過50,000張合成圖像學習不同的物體幾何形狀和不同的遮擋場景。

該模型所遵循的機制允許它在檢查了一個雜亂的場景后，即在物體排列中沒有任何線性的場景，作為第一步，識別被遮擋的物體（隱藏在另一個物體后面），并在一個 "可見 "掩碼和一個 "正交 "掩碼中對其進行分割、界定。其中，前者（如下圖所示）劃定了關于物體的視覺感知的結(jié)構，而后者則在一個單一的結(jié)構中劃定了感知和推斷的部分。

被遮擋物體的示例（隱藏在其他實體后面的圓柱體）、其可見結(jié)構的分割（可見遮罩）以及最后對其可見部分及其遮擋部分（無模態(tài)遮罩）的分割。

與以往研究的不同之處恰恰在于超越了人工智能系統(tǒng)對被遮擋物體及其直接可見區(qū)域的檢測，而專注于重建因被遮擋而未被視覺感知的事物的機制（適合人類視覺）。

模仿 "推理 "的層次化閉塞建模方法

在機器人的計算機視覺領域，光州科技學院的研究人員通過一種被稱為分層遮擋建模（HOM）的方案，實現(xiàn)了對場景中因被隱藏而無法被視覺感知的東西的重建機制。

"......通過對一些物體特征的組合--包括形狀、大小、在空間的存在--以及它們的預測順序分配一個精確的等級制度來工作。"

整個 "看不見的物體 "阿莫德實例分割方法就建立在這種分層建模的基礎上。而研究小組進行的實驗表明，在一個單一的結(jié)構中，它能夠進行可見和不可見（因為被遮擋）的檢測，無論有關物體的類別如何。

在機器人技術中，模擬正交感知（適合人眼）--研究人員回顧--對于管理機器運行空間內(nèi)的遮擋是很有用的，首先是在拾取和回收遮擋物體的操作中，"在這些操作中，決定正確的行動順序是很重要的"。

在其他機器人任務中也需要調(diào)和感知，包括在無序空間中尋找某些物體，抓取和主動感知。

然而，GIST在這一階段的目標是與機器人操縱有關，與機器對最初被認為幾乎不可見（或根本不可見）的物體的直接工作有關。試想一下生產(chǎn)現(xiàn)場和物流，這些環(huán)境顧名思義是不雜亂的，由異質(zhì)的、經(jīng)常重疊的和遮擋的物體組成，機器人的任務涉及到與這些物體直接接觸。

使用 Unseen Object Amodal Instance Segmentation (UOAIS) 方法恢復被遮擋的對象：在解構場景 (b) 中收集目標對象（框 a 的杯子），按順序抓取未被遮擋的對象（框 c）和碗 (d)，可以成為機器人 (e) 輕松執(zhí)行的動作。

機器人的人工視覺：GIST研究開辟的場景

這項關于機器人人工視覺的研究繼續(xù)朝著旨在開發(fā)能夠創(chuàng)造出在認知過程和行為上越來越像人類的機器的人工智能系統(tǒng)的方向進行。

在人工視覺的具體案例中，麻省理工學院（MIT）在一項關于模仿 "人類周邊視覺 "的研究中，已經(jīng)走得更遠，假設未來將設計一個人工智能系統(tǒng)，以抵抗其視野中感知的矛盾元素。

具體而言，韓國大學的研究試圖在實驗室中重現(xiàn) "視覺演繹"，這種能力在未來將允許自動駕駛汽車在城市街道上自動識別被一排汽車部分隱藏的停車區(qū)域或被卡車遮擋的行人身影。

在包括生產(chǎn)現(xiàn)場和倉庫等工作場所的場景中，配備模態(tài)感知的機器人不僅能滿足更準時和更快的性能需求，還能滿足安全要求，其中對環(huán)境中物體越來越正確的識別和越來越準確的分類是首要的因素。

因此，研究的道路是有跡可循的，等待進一步的元素來豐富它的路徑。