通常，使用傳統的機器視覺檢測方法來確定缺陷并不是一件容易的事，例如發現工業相機外殼上可能存在的缺陷。然而，深度學習技術卻為此類缺陷檢測應用提供了一種有效的方法。

為了測試這一點，FLIR Systems公司的工程師們使用頗具成效益的組件建立了一套演示裝置，用于測試該系統的可行性和有效性。

該演示包括檢查相機的外殼是否有劃痕、油漆是否均勻以及是否存在印刷缺陷。為了避免上述缺陷，工業相機制造商必須檢查相機外殼，以確保產品外觀完美。

很難對傳統機器視覺系統進行編程以識別一定范圍的潛在缺陷，并且也很難確定哪些潛在的缺陷是可以接受的，哪些潛在的缺陷是不能接受的。即便一個小缺陷可以接受，兩個小缺陷還可以接受嗎？一個大缺陷和一個小缺陷呢？這種需要主觀判斷的檢測應用，正是深度學習技術可以有效部署的地方。

圖1：為了對系統進行測試，FLIR的工程師使用了一臺工業相機、一個AAEON單板計算機和Intel Movidius的神經計算棒。

為了測試如何應用深度學習技術來解決這個問題，FLIR的工程師使用了一臺160萬像素的Blackfly S USB3工業相機以及一臺AAEON Up Squared單板計算機，單板機配備Celeron處理器和4GB內存，采用Ubuntu 16.04操作系統；此外還配備了Intel Movidius的神經計算棒（NCS）（見圖1）。據Intel報道，神經計算棒于2017年發布，是基于USB的“深度學習推理工具和獨立的人工智能加速器，為廣泛的邊緣主機設備提供專用深度神經網絡處理功能”。

神經計算棒采用英特爾Movidius Myriad 2視覺處理單元（VPU）。這是一個片上系統（SoC），配備兩個傳統的32位RISC處理器內核和12個獨特的SHAVE矢量處理內核。這些矢量處理內核可用于加速深度神經網絡使用的高分支邏輯。流行的深度學習框架（包括Caffe、TensorFlow、Torch和Theano）可用于為神經計算棒構建和訓練神經網絡。

選擇MobileNet V1作為神經網絡，因為它結合了高精度、小尺寸以及優化的移動硬件等優勢。FLIR使用TensorFlow框架來構建并訓練了一個權重為0.63的網絡，MobileNet網絡的最大可能權重為1。所選的輸入圖像大小為224×224。最終產生了一個具有大約3.25億Mult-Adds和260萬個參數的網絡。

圖2：Intel Movidius Myriad 2 VPU直接集成到新型Firefly相機中，使得用戶能夠將經過訓練的神經網絡直接部署到相機上，并在邊緣進行推理。

使用了包含61個已知良好外殼和167個不良外殼的一組小型數據集。通過仔細設計測試環境來獲得最大程度的圖像一致性，使得圖像之間的唯一變化是缺陷。為了消除不同外殼之間的過渡狀態的偽結果，增加了第三個“等待”狀態。這是通過在該階段的120幅圖像上訓練一個“等待”事件來實現的，其中部分相機外殼在框架外，被遮擋或未對準。

訓練是在臺式PC上進行的，并使用NVIDIA GTX1080圖形處理單元（GPU）進行加速。網絡經過優化，使用Bazel轉換為Movidius圖形格式。該工具最初是由Google開發的，可自動構建和測試軟件。

當分類速度能達到25fps、并且準確率達到97.3％時，就可以宣布成功了。這比每3~4秒檢測10臺相機（可以通過手動檢查實現）要快得多。

FLIR將Intel Movidius Myriad 2 VPU直接集成到新型Firefly相機（見圖2）中，實現了下一步的深度學習。這款相機已經在2018年11月的德國斯圖嘉特VISION展上展出。

FLIR能夠讓用戶將經過訓練的神經網絡直接部署到相機上，并能以“與系統相同的速度和精度”，在邊緣進行推理；主系統由單獨的相機、主機和神經計算棒構成。最初的型號采用單色158萬像素Sony IMX296 CMOS圖像傳感器，通過USB 3.1 Gen 1接口提供3.45μm的像素尺寸和高達60fps的幀率。推理結果可以通過GPIO輸出，也可以作為GenICam塊數據輸出。

對于具有Myriad 2 VPU和MobileNet特性的機器視覺應用，這臺售價299美元的相機可以省去主機系統。FLIR Firefly相機的重量僅為20克，體積不到標準“ice-cube”相機（27mm×27mm×14mm）的一半，能夠大大減小嵌入式視覺系統的尺寸和重量。

FLIR Firefly相機在成像和進行推理時消耗的功率為1.5W。對于需要進一步處理或結合推理與傳統計算機視覺技術的更復雜的任務，Firefly相機仍然不需單獨的神經計算棒。

FLIR表示，Firefly相機允許用戶輕松開始深度學習推理。由于使用熟悉的GenICam和USB3協議，用戶可以將其插入現有的應用中，并將其作為一個標準的機器視覺相機使用。推理生成的元數據，如對象分類或位置數據，可以作為GPIO信號或GenICam塊數據輸出。