本文注意到，在優(yōu)化時(shí)根據(jù)結(jié)構(gòu)分布采樣一個(gè)路徑已經(jīng)出現(xiàn)在之前的權(quán)重共享方法之中，區(qū)別在于，在本文的訓(xùn)練中（等式(7)）分布是一個(gè)固定的先驗(yàn)，而在先前方法中，它是可學(xué)習(xí)和更新的（等式(4)），后者會(huì)使超網(wǎng)絡(luò)權(quán)重和結(jié)構(gòu)參數(shù)優(yōu)化高度關(guān)聯(lián)。

請注意，本文并未聲明在訓(xùn)練時(shí)一個(gè)固定的先驗(yàn)分布天生優(yōu)于優(yōu)化分布。不存在這樣的理論保證。本文更優(yōu)的結(jié)果可能是受益于這一事實(shí)：當(dāng)前優(yōu)化技術(shù)的成熟度不足以滿足等式 (4) 中的聯(lián)合優(yōu)化需求。

超網(wǎng)絡(luò)與選擇單元

選擇單元用于構(gòu)建一個(gè)超網(wǎng)絡(luò)。圖 1 給出了一個(gè)實(shí)例。一個(gè)選擇單元包含多個(gè)選擇。對于本文提出的單路徑超網(wǎng)絡(luò)，每個(gè)選擇單元一次只調(diào)用一個(gè)選擇。一個(gè)路徑的獲得是通過隨機(jī)采樣所有選擇單元實(shí)現(xiàn)的。

本文方法的簡易性允許定義不同類型的選擇單元，以搜索不同的結(jié)構(gòu)變量。具體而言，曠視研究院提出兩個(gè)全新的選擇單元，以支持復(fù)雜的搜索空間。

通道數(shù)搜索。選擇單元旨在搜索一個(gè)卷積層的通道數(shù)。其主要思想是預(yù)先分配一個(gè)帶有最大通道數(shù)的權(quán)重張量。在超網(wǎng)絡(luò)訓(xùn)練期間，系統(tǒng)隨機(jī)選擇通道數(shù)并分割出用于卷積的相應(yīng)的子張量。詳見下圖。

圖 4：用于通道數(shù)搜索的選擇單元

混合精度量化搜索。選擇單元可以搜索卷積層權(quán)重和特征的量化精度。在超網(wǎng)絡(luò)訓(xùn)練中，特征圖的位寬和和權(quán)重被隨機(jī)選取。詳見下圖。

圖 5：用于混合精度量化搜索的選擇單元

基于進(jìn)化算法的模型搜索

針對等式 (6) 中的模型搜索，先前的One-shot工作使用隨機(jī)搜索。這在大的搜索空間中并不奏效。因此，本文使用了進(jìn)化算法，同時(shí)揚(yáng)棄了從頭開始訓(xùn)練每個(gè)子結(jié)構(gòu)的缺點(diǎn)，只涉及推理部分，因此非常高效。詳見下圖。

算法 1：基于進(jìn)化算法的模型搜索

下圖描繪了使用進(jìn)化算法和隨機(jī)搜索兩種方法在進(jìn)化迭代時(shí)的驗(yàn)證集精度。很明顯進(jìn)化算法搜索更有效。

圖 3：進(jìn)化算法搜索對比隨機(jī)搜索

進(jìn)化算法可以靈活處理等式 (3) 的不同約束，因?yàn)樽儺惡徒徊孢^程是可控的，以產(chǎn)生滿足約束條件的合適候選。

總結(jié)

單路徑超網(wǎng)絡(luò)、均勻采樣訓(xùn)練策略、基于進(jìn)化算法的模型搜索、豐富的搜索空間設(shè)計(jì)，上述多種設(shè)計(jì)使得本文方法簡單、高效和靈活。下表給出了本文方法與其他權(quán)重共享方法的一個(gè)全方位、多維度對比結(jié)果。

表 1：本文方法對比當(dāng)前權(quán)重共享 SOTA 方法

實(shí)驗(yàn)

所有實(shí)驗(yàn)是在 ImageNet 上進(jìn)行的。驗(yàn)證集和測試集的設(shè)定遵從Proxyless NAS。對于超網(wǎng)絡(luò)的訓(xùn)練，以及（進(jìn)化搜索之后）最優(yōu)模型結(jié)構(gòu)的從頭再訓(xùn)練。

構(gòu)造單元搜索

構(gòu)造單元（building block）的設(shè)計(jì)靈感來自手工設(shè)計(jì)網(wǎng)絡(luò)的代表作——ShuffleNet v2。表 2 給出了超網(wǎng)絡(luò)的整體架構(gòu)。共有 20 個(gè)選擇單元。

表 2：超網(wǎng)絡(luò)架構(gòu)

表 3 給出了結(jié)果。為了對比，本文設(shè)置了一系列基線，如下：1）只選擇一個(gè)特定的單元選擇；2）從搜索空間中隨機(jī)選擇一些候選；3）使用隨機(jī)搜索替代本文的進(jìn)化算法模型搜索。

表 3：構(gòu)造單元搜索結(jié)果

通道數(shù)搜索

搜索卷積層的通道數(shù)非常有挑戰(zhàn)，如圖 4 所示，本文提出一個(gè)全新的選擇單元用于通道數(shù)搜索，并首先在基線結(jié)構(gòu) “all choice 3”（見表 3）做了評估，結(jié)果如表 4 （第一部分）所示；為進(jìn)一步提升精度，本文對構(gòu)造單元和通道做了聯(lián)合搜索。結(jié)果如表 4（第二部分）所示。

表 4：通道數(shù)搜索