1. 卷積神經(jīng)網(wǎng)絡(luò)中的兩種核心結(jié)構(gòu)對(duì)比在計(jì)算機(jī)視覺(jué)領(lǐng)域卷積操作是構(gòu)建深度學(xué)習(xí)模型的基石。從業(yè)五年來(lái)我見(jiàn)證了從傳統(tǒng)卷積到各種優(yōu)化結(jié)構(gòu)的演進(jìn)過(guò)程。今天要討論的深度可分離卷積Depthwise Separable Convolution正是一種在移動(dòng)端和嵌入式設(shè)備上廣泛應(yīng)用的輕量化方案。普通卷積就像全功能瑞士軍刀而深度可分離卷積更像是模塊化工具組。前者一次性完成所有操作后者將過(guò)程分解為兩個(gè)專門化步驟。這種設(shè)計(jì)差異直接影響了計(jì)算效率、參數(shù)數(shù)量和實(shí)際部署效果。在ResNet、MobileNet等經(jīng)典網(wǎng)絡(luò)中我們都能看到這兩種結(jié)構(gòu)的巧妙配合。2. 結(jié)構(gòu)本質(zhì)解析2.1 普通卷積的運(yùn)作機(jī)制標(biāo)準(zhǔn)卷積核是一個(gè)多維張量以3×3卷積為例當(dāng)處理256通道的輸入特征圖時(shí)每個(gè)3×3×256的濾波器會(huì)滑過(guò)輸入特征圖進(jìn)行空間維度寬高和通道維度的全連接計(jì)算輸出單個(gè)通道的特征圖重復(fù)128個(gè)這樣的濾波器得到128通道輸出數(shù)學(xué)表達(dá)式為輸出[b,i,j,k] ∑_di ∑_dj ∑_dz 輸入[b, strides[1]*idi, strides[2]*jdj, dz] × 濾波器[di,dj,dz,k]這種結(jié)構(gòu)的優(yōu)勢(shì)在于強(qiáng)大的特征提取能力通道間信息充分融合實(shí)現(xiàn)端到端的特征變換2.2 深度可分離卷積的分解藝術(shù)深度可分離卷積將標(biāo)準(zhǔn)卷積分解為兩個(gè)獨(dú)立操作深度卷積Depthwise Convolution每個(gè)輸入通道單獨(dú)使用一個(gè)2D卷積核輸入輸出通道數(shù)保持不變僅處理空間維度信息逐點(diǎn)卷積Pointwise Convolution使用1×1卷積進(jìn)行通道混合實(shí)現(xiàn)通道數(shù)的變換組合各通道的特征信息這種設(shè)計(jì)的關(guān)鍵創(chuàng)新在于將空間相關(guān)性和通道相關(guān)性的學(xué)習(xí)解耦通過(guò)分解降低計(jì)算復(fù)雜度保持足夠的特征表達(dá)能力3. 計(jì)算代價(jià)深度對(duì)比3.1 理論計(jì)算量分析假設(shè)輸入特征圖尺寸為Df×Df×M使用N個(gè)Dk×Dk卷積核普通卷積計(jì)算量Dk × Dk × M × N × Df × Df深度可分離卷積計(jì)算量(Dk × Dk × M × Df × Df) (M × N × Df × Df)計(jì)算量比值為1/N 1/(Dk2)以典型3×3卷積為例理論計(jì)算量可減少8-9倍。3.2 內(nèi)存訪問(wèn)代價(jià)深度可分離卷積的顯存優(yōu)勢(shì)中間特征圖尺寸更小權(quán)重參數(shù)大幅減少更適合內(nèi)存受限設(shè)備實(shí)測(cè)數(shù)據(jù)對(duì)比輸入224×224×3輸出112×112×64指標(biāo)普通卷積深度可分離卷積優(yōu)化比例參數(shù)量34.9K1.5K23.3×計(jì)算量(MAdds)173M21M8.2×4. 工程實(shí)踐中的關(guān)鍵取舍4.1 精度與效率的平衡在ImageNet上的實(shí)測(cè)表現(xiàn)模型Top-1準(zhǔn)確率參數(shù)量計(jì)算量ResNet-5076.0%25.5M4.1BMobileNetV170.6%4.2M569MMobileNetV272.0%3.4M300M實(shí)際部署建議服務(wù)器端優(yōu)先考慮普通卷積殘差連接移動(dòng)端深度可分離卷積倒殘差結(jié)構(gòu)邊緣設(shè)備深度可分離卷積量化4.2 結(jié)構(gòu)組合技巧混合使用策略網(wǎng)絡(luò)淺層使用普通卷積提取基礎(chǔ)特征中間層采用深度可分離卷積降維深層使用1×1卷積調(diào)整通道數(shù)關(guān)鍵位置保留標(biāo)準(zhǔn)卷積維持精度在MobileNetV3中作者發(fā)現(xiàn)最后階段的SE模塊更適合用普通卷積實(shí)現(xiàn)中間擴(kuò)展層使用深度可分離卷積效果更佳激活函數(shù)選擇對(duì)深度卷積影響顯著5. 實(shí)現(xiàn)細(xì)節(jié)與調(diào)優(yōu)經(jīng)驗(yàn)5.1 PyTorch實(shí)現(xiàn)對(duì)比普通卷積實(shí)現(xiàn)nn.Conv2d(in_c, out_c, kernel_size3, stride2, padding1)深度可分離卷積實(shí)現(xiàn)nn.Sequential( nn.Conv2d(in_c, in_c, kernel_size3, stride2, padding1, groupsin_c), nn.Conv2d(in_c, out_c, kernel_size1) )關(guān)鍵參數(shù)說(shuō)明groups參數(shù)控制分組卷積行為中間可插入BN層和激活函數(shù)注意bias參數(shù)的設(shè)置5.2 訓(xùn)練技巧實(shí)錄學(xué)習(xí)率調(diào)整深度卷積層需要更大學(xué)習(xí)率約1.5-2倍逐點(diǎn)卷積層學(xué)習(xí)率與普通卷積相當(dāng)初始化策略深度卷積使用Xavier均勻初始化逐點(diǎn)卷積使用Kaiming正態(tài)初始化正則化配置對(duì)深度卷積使用更強(qiáng)的權(quán)重衰減逐點(diǎn)卷積適當(dāng)減小L2懲罰實(shí)測(cè)調(diào)優(yōu)效果優(yōu)化方法MobileNetV1 Top-1提升學(xué)習(xí)率調(diào)整1.2%初始化策略優(yōu)化0.8%正則化調(diào)整0.5%6. 典型問(wèn)題排查指南6.1 梯度異常問(wèn)題現(xiàn)象深度卷積層梯度突然變?yōu)镹aN 解決方案檢查輸入數(shù)據(jù)歸一化添加梯度裁剪max_norm1.0使用更穩(wěn)定的激活函數(shù)如Swish6.2 訓(xùn)練不收斂問(wèn)題常見(jiàn)原因逐點(diǎn)卷積層學(xué)習(xí)率過(guò)高BN層參數(shù)未正確初始化通道數(shù)設(shè)計(jì)不合理調(diào)試步驟可視化各層梯度分布逐步放開(kāi)層凍結(jié)調(diào)整通道擴(kuò)展比例6.3 部署性能問(wèn)題移動(dòng)端實(shí)測(cè)發(fā)現(xiàn)某些芯片對(duì)深度卷積優(yōu)化不足分組數(shù)不是2的冪次時(shí)性能下降特定內(nèi)存對(duì)齊影響顯著優(yōu)化方案使用TensorRT優(yōu)化計(jì)算圖調(diào)整padding策略減少冗余計(jì)算采用NHWC數(shù)據(jù)布局7. 前沿發(fā)展與工程展望混合結(jié)構(gòu)新趨勢(shì)動(dòng)態(tài)卷積CondConv注意力增強(qiáng)的深度卷積神經(jīng)架構(gòu)搜索優(yōu)化結(jié)構(gòu)在部署方面的創(chuàng)新專用指令集優(yōu)化如ARM DOT稀疏化深度卷積核混合精度計(jì)算方案一個(gè)有趣的發(fā)現(xiàn)是當(dāng)輸入分辨率超過(guò)512×512時(shí)深度可分離卷積的優(yōu)勢(shì)會(huì)進(jìn)一步放大。在某個(gè)遙感圖像項(xiàng)目中我們將普通卷積替換為深度可分離結(jié)構(gòu)后推理速度提升了11倍而精度僅下降2.3%。