澎思核心算法分為三類：

前沿算法細分上，第一個是圖像識別方面，我們可以看到很多的算法。

在人臉檢測方面、對準、識別到一人一檔、FaceID，以后走到哪里，你的臉就是你的ID；面部屬性檢測包括性別、年齡、人種、美顏、表情、狀態、性格等；人體檢測包括姿態、姿勢、穿著、描述、跟蹤、跨境識別/ReID，人的行為檢測包括特定行為判斷和預測等等。

在安防行業，很多危險行為的判斷預測也很重要。一個車發生事故后逃逸，我們只要調動就近的相機就很快抓到這輛車，這對智能交通的管理非常重要。還有其他物體的識別追蹤等等，還有語義的理解。

在圖像增強方面，有去噪聲、去模糊、去抖動、超分辨率，抗反光/抗逆光，還有去霧、去雨、去雪等等。在圖像抓拍方面，有新的傳感器的出現，比如AI-on-Sensor、AI圖像質量評價以及AI的在控捕捉等等。

現在我們談一下人臉識別的過去、今天以及面臨的挑戰。

人臉識別不是一個很新的課題，20多年前人臉識別就已經在某些產品里得到應用，用的是過去的機器學習。那個時候公開的數據集基本上都是限制性的人臉，都是近距離或者是光線受到控制的圖像。今天我們看到動態監控相機下捕捉的人臉，這個跨度非常大，行人是多姿態的，并且質量沒辦法控制，尤其是光線，會對識別造成很大的影響。

大家注意到，訓練數據級也變化了，從小數據到公開大數據、超級大數據，過去比賽的測試數據都是比對正臉的，即使今天的比賽也如此，一直到最近IJB-C出現多姿態側臉的競賽。

但這也不是真正代表安防場景下動態監控視頻下的數據。

如果我們談到人臉識別的迭代變化，2012年是一個分界點。在這之前，算法用的都是傳統的手工特征，過去傳統的機器學習，我們只能用這些。但是即使在正向的人臉識別里，比如LFW，都達不到90%。

今天的深度學習，一個小模型都可以拿到99%，所以這是兩個完全不一樣的概念。

2013年到2016年，我們看到特征的變化，以及有LFW數據庫的出現，超級大數據以及光線不均勻多姿態的動態測試集，帶動了新算法出現。我們也希望看到安防動態監視視頻下真正的數據集，能夠開放給大家比賽。

當然二維、三維人臉特征的識別和提取，以及人臉的防偽，都對將來FaceID這種功能提出要求。

大家知道無約束人臉的識別，面部姿態變化巨大，有很多遮擋、光線不均勻的情況，表情、像素也不一樣。從很遠的地方拉近后，失真嚴重。而且還有靜態、動態等情況。

上圖是Nist IJB-A比賽的圖像，不同的角度、不同的光線，遮擋、戴眼鏡，有些字擋住嘴巴，還有不同像素相機拍攝的圖片。我們2017年3月團隊代表松下參加比賽，拿到冠軍獎項。同年5月，松下也發表了這個成果。

這個挑戰賽也明確顯示了我們的算法在模板比賽下能做出很好的成績。

下圖是算法的總結，我們用了遷移算法，也用了異構多模型的融合，和大家知道的雙代理對抗生成網絡。當然在此當中，數據怎么樣清理、預處理，也起著重要的作用。

這是我們比賽的Leaderboard，紅色框里面是我們的成績。

你可以看到傳統的人臉識別算法，以前可能還是第一名、第二名。但是在IJB-A無約束人臉測試集下面，它們的識別率僅僅是20%、50%、60%，這個變化是非常大的，技術在不斷發展，性能在不斷提高，我們拿到了98%。

從這個圖里也可以看到，越小的error越好。盡管那個時候傳統的算法都是名列前茅，比如在身份證上和護照測試級上，但是要在一個多姿態、不同光線的人臉測試集下，傳統算法的性能可能會下降很大。

再談一下大數據人臉識別。2017年7月，微軟組織的一個百萬名人識別大挑戰。7月份公布，我們的成績又拿到雙項冠軍。

在2018年2月份，松下已經把這項成果應用到產品里，并且在東京召開發布會。從下圖中可以看到，我們這種跨年齡、跨姿態以及有遮擋的情況都能檢測出來。而且松下的產品不光是人臉識別算法，在攝像頭、圖像增強方面還可以減低很多傳輸帶寬。也許大家知道，松下的安防產品在日本是第一。

剛才談到測試數據集，比如現在的LFW在2012年就出現，現在已經飽和了。到今天的MegaFace、微軟以及IJB-A/B/C。所有的數據還是一個特點，都是基于網上收集的數據，不是動態監控下采集的數據。所以希望有一天很快到來，我們可以測試這樣的數據。

剛才講到GAN的應用，我分享一下這篇文章。

IJB中的多姿態識別，問題在于我們訓練數據集很難拿到很平衡的數據。上圖左邊是告訴大家，這個訓練集里面，左右角度的數據很多，但是角度偏一些數據就減少很大。我們用了這個GAN，右邊就產生了較多在側角度的數據。

我們也做了性能比較，大家可以看下我們自己做的b1、b2、DA-GAN的結果。b1是說我們不加任何多余的訓練數據。b2是我們用之前的訓練模型加額外的3D人臉合成訓練數據。最后一個是我們用自己的DA-GAN來產生的一些平衡數據。我們的GAN相比之下帶來明顯的性能增加。所以我們GAN的工作也在NIPS-IJCAI-AAAI等學術會議上發表，也用GAN來生成不同年齡的人臉。

剛才講到動態監控條件下捕捉的人臉，我們除了在人臉識別性能上提高外，我們也考慮別的方式。比如說在源端著手捕捉到更好的圖像，還有圖像增強的方法，我會在AI圖像增強、SoC方面做一些分享。

第一個分享的是去除運動模糊的問題。大家都知道，左邊的圖像我們常常看不到細節。大家說都用HDR來恢復圖像的細節，這個方法是長短曝光多次，合成光線均勻的寬動態范圍圖像。有個問題是什么呢？在場景當中有運動的物體出現，就沒辦法做到所謂的普通HDR圖像，會很模糊。但是下面這張用我們的算法運動補賞，可以很清晰地看到圖像的細節。我們拿到了最佳的Paper，也用在了公司的產品上面。

第二個是關于低光圖像增強方法，可以看到上面有兩組圖像。左邊黑漆漆的，但是用了圖像增強方法，就可以看到細節。尤其是對人臉來說，右邊的人臉就可以識別出來。傳統的圖像增強方法都有一些限制，今天人們結合深度學習可以做到更高的保真度。

去噪聲的方法，大家都知道BN3D是很出名的去噪聲方法，但是它總是根據相機的強度而做的，很難做好。我們這篇文章也獲得最佳論文，我們用了深度卷積CNN加了LSTM，能夠追蹤到噪聲的相關性，主觀和客觀質量結構表明，這種方法可以獲得很好的圖像質量。

下面來談一下超分辨率，超分辨率不是一個很新的課題，已經很多年了，大家都是用過去傳統的方法實現，也包括一些監督的和非監督的方法，這些方法很多。

我們要關心的是什么呢？我們關心的是你怎么評價它，你的評價標準是什么，跟你的應用有關系。我們說，人工智能要跟場景有關。我們比較重視的是人臉，你對人臉的識別保真度如何，這個對我們來講是非常重要的。