導(dǎo)航：圖像分類、目標(biāo)檢測與分割經(jīng)典論文系統(tǒng)研讀指南)
示例工程【免費(fèi)下載鏈接】deep-learning-for-image-processingdeep learning for image processing including classification and object-detection etc.項(xiàng)目地址https://gitcode.com/gh_mirrors/de/deep-learning-for-image-processing點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文以倉庫根目錄下的 article_link/README.md 文獻(xiàn)清單為骨架將其中收錄的近百篇深度學(xué)習(xí)圖像處理經(jīng)典論文按圖像分類、目標(biāo)檢測、語義分割、顯著性目標(biāo)檢測、實(shí)例分割、關(guān)鍵點(diǎn)檢測、網(wǎng)絡(luò)量化、自然語言處理與其他八個(gè)方向重新組織為每一篇論文補(bǔ)充核心思想速覽并將其與倉庫中對(duì)應(yīng)的源碼實(shí)現(xiàn)pytorch_classification、pytorch_object_detection、pytorch_segmentation、pytorch_keypoint 等逐一掛鉤。讀完本文你將獲得一條論文 → 原理 → 倉庫源碼 → 訓(xùn)練驗(yàn)證的完整研讀鏈路既能按圖索驥讀懂經(jīng)典模型也能在倉庫中找到可直接運(yùn)行、修改的對(duì)應(yīng)實(shí)現(xiàn)。這份文獻(xiàn)清單是什么article_link/README.md 本身是一份按任務(wù)類型整理的論文索引每篇論文均附有 arXiv 編號(hào)覆蓋了深度學(xué)習(xí)圖像處理從 1998 年 LeNet 到 2022 年 MobileOne、YOLOv7、MobileViT V2 等最新工作的主線脈絡(luò)。它的價(jià)值在于按任務(wù)劃分方向分類、檢測、分割、關(guān)鍵點(diǎn)、量化等各自成節(jié)便于按需查閱與倉庫代碼一一對(duì)應(yīng)清單中絕大多數(shù)論文在該倉庫中都有從零搭建的 PyTorch / TensorFlow 實(shí)現(xiàn)可以讀論文 → 跑代碼雙線并行兼顧主干與前沿既有 ResNet、VGG 等奠基性工作也收錄了 Vision Transformer、Swin Transformer、ConvNeXt 等 2020 年代新范式以及網(wǎng)絡(luò)量化這類工程落地主題。下文按原文檔的小節(jié)順序展開每節(jié)先完整列出該方向的論文清單再給出倉庫中的對(duì)應(yīng)實(shí)現(xiàn)位置與研讀要點(diǎn)。圖像分類Classification圖像分類是清單中體量最大的一節(jié)收錄了從傳統(tǒng) CNN 到 Transformer 再到輕量化移動(dòng)端骨干的完整演進(jìn)譜系。倉庫對(duì)應(yīng)的代碼集中在 pytorch_classificationPyTorch 版與 tensorflow_classificationTensorFlow 版其中多數(shù)目錄按論文逐一編號(hào)例如Test5_resnet對(duì)應(yīng) ResNet、Test6_mobilenet對(duì)應(yīng) MobileNet v2/v3、Test9_efficientNet對(duì)應(yīng) EfficientNet。奠基與經(jīng)典 CNN論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)LeNetarXiv:無見 Yann LeCun 主頁最早的卷積神經(jīng)網(wǎng)絡(luò)之一卷積池化全連接的手寫數(shù)字識(shí)別范式Test1_official_demoAlexNetarXiv:1102.0183 的 ImageNet 競賽論文清單標(biāo)注為 NIPS 2012ReLU 激活、Dropout、數(shù)據(jù)增強(qiáng)、雙 GPU 并行拉開深度學(xué)習(xí)時(shí)代Test2_alexnetZFNet / Visualizing and Understanding CNNsarXiv:1311.2901用反卷積可視化特征圖分析 CNN 學(xué)到了什么analyze_weights_featuremap 中的analyze_feature_map.pyVGGarXiv:1409.1556用 3×3 小卷積堆疊加深網(wǎng)絡(luò)探索深度對(duì)性能的影響Test3_vggnetGoogLeNet / Inception v1arXiv:1409.4842Inception 模塊并行多尺度卷積 1×1 卷積降維 輔助分類器Test4_googlenetBatch NormalizationarXiv:1502.03167對(duì)層內(nèi)激活做歸一化加速收斂、允許更大學(xué)習(xí)率融入各模型實(shí)現(xiàn)如 Test5_resnet/model.py 中每個(gè)卷積后緊跟的nn.BatchNorm2dInception v3arXiv:1512.00567分解大卷積核為小卷積核引入 BN 輔助層加深加寬網(wǎng)絡(luò)Test4_googlenet可擴(kuò)展改造Inception v4 / Inception-ResNetarXiv:1602.07261將殘差連接引入 Inception 結(jié)構(gòu)—XceptionarXiv:1610.02357將 Inception 模塊極致化為深度可分離卷積—ResNetarXiv:1512.03385殘差學(xué)習(xí)解決深層網(wǎng)絡(luò)退化問題Test5_resnet/model.py含 BasicBlock、Bottleneck、resnet34/50/101 與 ResNeXt 變體ResNeXtarXiv:1611.05431分組卷積提升 cardinality殘差分組并行同上文件中的resnext50_32x4d/resnext101_32x8dDenseNetarXiv:1608.06993層間密集連接特征復(fù)用與旁路梯度Test8_densenetNASNet-AarXiv:1707.07012用神經(jīng)架構(gòu)搜索NAS自動(dòng)設(shè)計(jì)單元結(jié)構(gòu)—SENetarXiv:1709.01507Squeeze-and-Excitation 通道注意力自適應(yīng)重標(biāo)定通道權(quán)重—Bag of Tricks for Image ClassificationarXiv:1812.01187總結(jié)一組不影響模型結(jié)構(gòu)即可漲點(diǎn)的訓(xùn)練技巧Test9_efficientNet 等訓(xùn)練腳本中的增強(qiáng)與優(yōu)化策略可對(duì)照輕量化移動(dòng)端模型論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)MobileNet v1arXiv:1704.04861深度可分離卷積將計(jì)算量壓縮一個(gè)數(shù)量級(jí)—MobileNet v2arXiv:1801.04381倒殘差結(jié)構(gòu)Inverted Residual 線性瓶頸Linear BottleneckTest6_mobilenet/model_v2.pyMobileNet v3arXiv:1905.02244基于 NAS 搜索 SE 注意力 Hard-Swish 激活Test6_mobilenet/model_v3.pyShuffleNet v1arXiv:1707.01083分組卷積 通道混洗Channel ShuffleTest7_shufflenet/model.pyShuffleNet v2arXiv:1807.11164以內(nèi)存訪問成本MAC為導(dǎo)向設(shè)計(jì)輕量網(wǎng)絡(luò)Test7_shufflenet/model.py含 v2 版本MobileOnearXiv:2206.04040基于重參數(shù)化的毫秒級(jí)移動(dòng)端骨干—高效網(wǎng)絡(luò)與設(shè)計(jì)空間論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)EfficientNet v1arXiv:1905.11946復(fù)合縮放寬度/深度/分辨率聯(lián)合縮放 MBConvTest9_efficientNet/model.py配合 trans_weights_to_pytorch.py 遷移官方權(quán)重EfficientNet v2arXiv:2104.00298訓(xùn)練感知縮放 漸進(jìn)式學(xué)習(xí)Progressive LearningTest11_efficientnetV2含 trans_effv2_weights.py 權(quán)重轉(zhuǎn)換CSPNetarXiv:1911.11929跨階段部分連接降低冗余梯度計(jì)算作為 YOLOv4/YOLOv5 等檢測器骨干被廣泛采用倉庫 yolov3_spp 的配置可對(duì)照RegNetarXiv:2003.13678從設(shè)計(jì)空間正則化中提取簡單高效的網(wǎng)絡(luò)規(guī)則Test10_regnet含 pretrain_weights.pyNFNetsarXiv:2102.06171去掉 BatchNorm 仍保持高精度的大規(guī)模訓(xùn)練技巧—Transformer 與 2020 年代新范式論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)Vision Transformer / ViTarXiv:2010.11929將圖像切分為 Patch 并做位置編碼直接用 Transformer 編碼vision_transformer/vit_model.pyDeiTarXiv:2012.12877蒸餾策略讓 Transformer 在小數(shù)據(jù)上高效訓(xùn)練vision_transformer 訓(xùn)練流程可對(duì)照Swin TransformerarXiv:2103.14030移位窗口注意力 分層特征兼顧效率與多尺度swin_transformer/model.pySwin Transformer V2arXiv:2111.09883更大容量與更高分辨率下的穩(wěn)定訓(xùn)練方案—BEiTarXiv:2106.08254掩碼圖像建模MIMBERT 式圖像預(yù)訓(xùn)練—MAEarXiv:2111.06377掩碼自編碼器遮蔽大部分 Patch 重建圖像—ConvNeXtarXiv:2201.03545借鑒 Transformer 設(shè)計(jì)思想重構(gòu)純卷積網(wǎng)絡(luò)ConvNeXt/model.pyMobileViT v1arXiv:2110.02178輕量 CNN Transformer 全局上下文建模MobileViT/model.py 與 transformer.pyMobileViT v2arXiv:2206.02680可分離自注意力Separable Self-attention進(jìn)一步降本—研讀提示倉庫中每個(gè)分類模型目錄都遵循統(tǒng)一流程——model.py搭建網(wǎng)絡(luò)、train.py訓(xùn)練支持--data-path、--weights等參數(shù)、predict.py單圖預(yù)測如 Test5_resnet 的文件結(jié)構(gòu)說明。對(duì)照論文讀代碼時(shí)可重點(diǎn)關(guān)注 model_complexityFLOPs/參數(shù)量統(tǒng)計(jì)、ConfusionMatrix混淆矩陣評(píng)估與 grad_cam可視化注意力等配套工具驗(yàn)證論文中的結(jié)論。目標(biāo)檢測Object Detection檢測方向論文對(duì)應(yīng)倉庫 pytorch_object_detection覆蓋了兩階段、單階段與無錨框三大路線數(shù)據(jù)標(biāo)注基于 PASCAL VOCpascal_voc_classes.json與 COCOcoco91_indices.json。兩階段R-CNN 家族論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)R-CNNarXiv:1311.2524選擇性搜索生成候選區(qū)域逐區(qū)域 CNN 分類—Fast R-CNNarXiv:1504.08083RoI Pooling 統(tǒng)一特征多任務(wù)損失端到端訓(xùn)練—Faster R-CNNarXiv:1506.01497引入 RPN 區(qū)域提議網(wǎng)絡(luò)真正端到端faster_rcnn網(wǎng)絡(luò)模塊在 network_files/faster_rcnn_framework.py支持 train_res50_fpn.py 與 train_mobilenetv2.py 兩種骨干Cascade R-CNNarXiv:1712.00726級(jí)聯(lián)多個(gè)不同 IoU 閾值的檢測器提升定位質(zhì)量—Mask R-CNNarXiv:1703.06870在 Faster R-CNN 上加分割分支RoIAlign 替代 RoIPoolmask_rcnn同時(shí)被歸入實(shí)例分割單階段SSD / YOLO / Anchor-free論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)SSDarXiv:1512.02325多尺度特征圖上鋪默認(rèn)框一次前向輸出全部框ssd/src/ssd_model.py訓(xùn)練入口 train_ssd300.pyFPNarXiv:1612.03144特征金字塔自頂向下融合多尺度特征faster_rcnn/backbone/feature_pyramid_network.pyRetinaNet / Focal LossarXiv:1708.02002Focal Loss 解決單階段正負(fù)樣本極度不平衡retinaNet損失實(shí)現(xiàn)于 network_files/losses.pyYOLOv1arXiv:1506.02640回歸式端到端檢測網(wǎng)格邊界框回歸—YOLOv2arXiv:1612.08242錨框、多尺度訓(xùn)練、批歸一化—YOLOv3arXiv:1804.02767多尺度特征預(yù)測 Darknet53yolov3_sppSPP 加強(qiáng)版含 trans_voc2yolo.py 數(shù)據(jù)集轉(zhuǎn)換YOLOv4arXiv:2004.10934大量訓(xùn)練技巧 CSP 骨干的集大成訓(xùn)練技巧可對(duì)照 yolov3_spp 的 cfg/hyp.yamlYOLOXarXiv:2107.08430無錨框 解耦頭 模擬正樣本—YOLOv7arXiv:2207.02696E-ELAN 高效聚合網(wǎng)絡(luò)—PP-YOLOarXiv:2007.12099基于 PaddleDetection 的純技巧改進(jìn)—PP-YOLOv2arXiv:2104.10419進(jìn)一步改進(jìn)檢測頭與訓(xùn)練策略—CornerNetarXiv:1808.01244通過左上/右下角點(diǎn)檢測目標(biāo)—FCOSOldarXiv:1904.01355全卷積無錨框逐像素預(yù)測—FCOSNewarXiv:2006.09214增加中心度分支與更多技巧—CenterNetarXiv:1904.07850用目標(biāo)中心點(diǎn)做關(guān)鍵點(diǎn)檢測—Bag of FreebiesarXiv:1902.04103檢測任務(wù)免費(fèi)漲點(diǎn)的訓(xùn)練技巧集可對(duì)照 train_coco_dataset 的數(shù)據(jù)增強(qiáng)與訓(xùn)練流程研讀提示倉庫中檢測項(xiàng)目的 README如 faster_rcnn/README.md給出了環(huán)境要求Python3.6/3.7/3.8、PyTorch 1.7.1 及以上、VOC2012 數(shù)據(jù)集準(zhǔn)備、預(yù)訓(xùn)練權(quán)重重命名規(guī)則、單卡/多卡訓(xùn)練命令python -m torch.distributed.launch --nproc_per_node8 --use_env train_multi_GPU.py以及--data-path需指向VOCdevkit根目錄等注意事項(xiàng)是配合論文落地實(shí)驗(yàn)的完整參考。語義分割Semantic Segmentation分割論文對(duì)應(yīng)倉庫 pytorch_segmentation以 PASCAL VOC 為主數(shù)據(jù)集提供 mIoU 驗(yàn)證與多 GPU 訓(xùn)練支持。論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)FCNarXiv:1411.4038全卷積網(wǎng)絡(luò)端到端像素級(jí)預(yù)測開創(chuàng)語義分割深度學(xué)習(xí)范式fcn/src/fcn_model.pyU-NetarXiv:1505.04597U 形編碼-解碼 跳躍連接醫(yī)學(xué)圖像分割經(jīng)典unet/src/unet.py另有 vgg_unet.py、mobilenet_unet.py 變體DeepLab v1arXiv:1412.7062空洞卷積擴(kuò)大感受野 全連接 CRF—DeepLab v2arXiv:1606.00915ASPP 多尺度空洞卷積池化金字塔—DeepLab v3arXiv:1706.05587改進(jìn)版 ASPP 與空洞卷積deeplab_v3/src/deeplabv3_model.pyResNet50/101、MobileNetV3 骨干README 提供官方 COCO 預(yù)訓(xùn)練權(quán)重與torchrun --nproc_per_node8 train_multi_GPU.py多卡命令DeepLab v3arXiv:1802.02611編碼-解碼結(jié)構(gòu) 深度可分離空洞卷積—SegFormerarXiv:2105.15203無位置編碼的分層 Transformer 分割網(wǎng)絡(luò)—此外 lraspp 提供了輕量級(jí)分割網(wǎng)絡(luò)的對(duì)照實(shí)現(xiàn)而 u2net 則跨入顯著性目標(biāo)檢測見下節(jié)。顯著性目標(biāo)檢測Salient Object Detection論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)U2NetarXiv:2005.09007嵌套的 U 形結(jié)構(gòu) RSU 模塊無需預(yù)訓(xùn)練骨干即可端到端檢測顯著目標(biāo)u2net/src/model.py含 convert_weight.py 權(quán)重轉(zhuǎn)換與 predict.py 推理腳本實(shí)例分割I(lǐng)nstance Segmentation論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)Mask R-CNNarXiv:1703.06870檢測分割雙分支并行RoIAlign 消除量化誤差mask_rcnn網(wǎng)絡(luò)定義于 network_files/mask_rcnn.py同時(shí)支持 VOC 與 COCO 數(shù)據(jù)集加載關(guān)鍵點(diǎn)檢測Keypoint Detection論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)HRNetarXiv:1902.09212全程保持高分辨率特征并聯(lián)融合人體姿態(tài)估計(jì)精度大幅領(lǐng)先HRNet/model/hrnet.py配套 COCO2017 數(shù)據(jù)準(zhǔn)備、--num-jointsCOCO 為 17、--fixed-size默認(rèn) [256, 192]等參數(shù)說明見 HRNet/README.md除 HRNet 外倉庫還提供 DeepPose 實(shí)現(xiàn)pytorch_keypoint/DeepPose作為經(jīng)典回歸式姿態(tài)估計(jì)的對(duì)照并包含 WFLW 數(shù)據(jù)集支持與 ONNX 導(dǎo)出export_onnx.py。網(wǎng)絡(luò)量化Quantization量化論文對(duì)應(yīng)倉庫的模型部署與加速模塊 deploying_service/deploying_pytorch以及 others_project/openvinotest 的 OpenVINO 測試。論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only InferencearXiv:1712.05877量化感知訓(xùn)練的經(jīng)典方案整數(shù)算術(shù)推理convert_openvino/convert_resnet34/quantization_int8.pyQuantizing Deep Convolutional Networks: A WhitepaperarXiv:1806.08342谷歌量化白皮書系統(tǒng)化后訓(xùn)練量化流程同一量化目錄下的校準(zhǔn)與轉(zhuǎn)換流程可對(duì)照Data-Free Quantization Through Weight Equalization and Bias CorrectionarXiv:1906.04721無需數(shù)據(jù)集的權(quán)值均衡與偏置校正—LSQarXiv:1902.08153可學(xué)習(xí)步長的低比特量化—LSQarXiv:2004.09576引入可學(xué)習(xí)偏移與更好的初始化—倉庫中可驗(yàn)證的量化落地包括ResNet34 的 OpenVINO INT8 量化quantization_int8.py、TensorRT 量化convert_tensorrt/convert_resnet34/quantization.py以及 OpenVINO 浮點(diǎn)/INT8 精度與速度對(duì)比float32vsint8.py可用于復(fù)現(xiàn)量化論文中精度損失小、吞吐提升顯著的核心結(jié)論。自然語言處理與 Others論文核心思想倉庫相關(guān)資源Attention Is All You NeedarXiv:1706.03762Transformer 架構(gòu)純注意力機(jī)制替代循環(huán)網(wǎng)絡(luò)也是 ViT/Swin 等視覺 Transformer 的理論源頭vision_transformer/vit_model.py 與 MobileViT/transformer.py 可對(duì)照閱讀其注意力實(shí)現(xiàn)Microsoft COCO: Common Objects in ContextarXiv:1405.0312大規(guī)模上下文標(biāo)注數(shù)據(jù)集檢測/分割/關(guān)鍵點(diǎn)通用基準(zhǔn)倉庫多處以coco91_indices.json、coco_eval.py使用 COCO 指標(biāo)如 mask_rcnnThe PASCAL Visual Object Classes Challenge: A RetrospectiveVOC 數(shù)據(jù)集回顧定義了檢測/分割經(jīng)典評(píng)測協(xié)議pascal_voc_classes.json、deeplab_v3/pascal_voc_classes.jsonGrad-CAMarXiv:1610.02391基于梯度的類別激活可視化解釋 CNN 決策依據(jù)grad_cam支持 CNN/ViT/Swin見 main_cnn.py、main_vit.py、main_swin.py如何配合倉庫源碼高效研讀這些論文按任務(wù)定位代碼分類看 pytorch_classification、檢測看 pytorch_object_detection、分割看 pytorch_segmentation、關(guān)鍵點(diǎn)看 pytorch_keypoint、量化部署看 deploying_service 與 others_project。讀論文先抓三要素模型核心模塊對(duì)照倉庫model.py、損失函數(shù)對(duì)照train_utils/losses.py或network_files/losses.py、訓(xùn)練技巧對(duì)照 README 中的參數(shù)與注意事項(xiàng)。用配套工具驗(yàn)證結(jié)論用 model_complexity 統(tǒng)計(jì)論文聲稱的計(jì)算量用 grad_cam 驗(yàn)證注意力/卷積關(guān)注區(qū)域用 ConfusionMatrix 與validation.py復(fù)現(xiàn)精度指標(biāo)。統(tǒng)一的數(shù)據(jù)流分類任務(wù)以一個(gè)類別一個(gè)文件夾組織數(shù)據(jù)訓(xùn)練與預(yù)測腳本通過--data-path、--weights、num_classes三個(gè)核心參數(shù)即可切換數(shù)據(jù)集檢測與分割任務(wù)則將--data-path指向 VOC/COCO 根目錄。這條通用流程可以讓你在讀完一篇論文后幾乎零成本地把對(duì)應(yīng)模型跑起來。小結(jié)article_link/README.md 是一份濃縮的深度學(xué)習(xí)圖像處理學(xué)習(xí)地圖從 LeNet 到 ConvNeXt 的分類演進(jìn)、從 R-CNN 到 YOLOv7 的檢測體系、從 FCN 到 SegFormer 的分割路線再到量化、關(guān)鍵點(diǎn)與可解釋性幾乎每個(gè)方向都能在 deep-learning-for-image-processing 倉庫中找到可運(yùn)行、可修改的源碼實(shí)現(xiàn)。建議以論文定方向、源碼驗(yàn)細(xì)節(jié)的方式交叉閱讀先看清單選定目標(biāo)論文再進(jìn)入對(duì)應(yīng)目錄跑通訓(xùn)練與預(yù)測最后用倉庫配套的可視化與評(píng)估工具復(fù)現(xiàn)論文核心結(jié)論即可形成完整的學(xué)習(xí)閉環(huán)。贊分享示例工程【免費(fèi)下載鏈接】deep-learning-for-image-processingdeep learning for image processing including classification and object-detection etc.項(xiàng)目地址https://gitcode.com/gh_mirrors/de/deep-learning-for-image-processing點(diǎn)擊查看免費(fèi)下載相關(guān)推薦deep-learning-for-image-processing 項(xiàng)目 PyTorch 圖像分類模塊實(shí)戰(zhàn)指南deep learning for image processing 項(xiàng)目 PyTorch 圖像分類模塊實(shí)戰(zhàn)指南 本篇指南以 pytorch_classific示例工程deep-learning-for-image-processing 教程全覽圖像分類、目標(biāo)檢測、語義分割與關(guān)鍵點(diǎn)檢測的完整實(shí)戰(zhàn)代碼庫deep learning for image processing 教程全覽圖像分類、目標(biāo)檢測、語義分割與關(guān)鍵點(diǎn)檢測的完整實(shí)戰(zhàn)代碼庫 本文圍繞開源倉庫 de示例工程使用 TensorFlow 讀取凍結(jié) PB 文件進(jìn)行目標(biāo)檢測預(yù)測deep-learning-for-image-processing 中 readPbFile 實(shí)戰(zhàn)指南使用 TensorFlow 讀取凍結(jié) PB 文件進(jìn)行目標(biāo)檢測預(yù)測deep learning for image processing 中 readPbFile示例工程上一篇Comfy-table API詳解掌握表格組件與樣式配置的終極指南下一篇CopyManga下載器新手快速上手指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 deep-learning-for-image-processing 文獻(xiàn)導(dǎo)航：圖像分類、目標(biāo)檢測與分割經(jīng)典論文系統(tǒng)研讀指南
示例工程【免費(fèi)下載鏈接】deep-learning-for-image-processingdeep learning for image processing including classification and object-detection etc.項(xiàng)目地址https://gitcode.com/gh_mirrors/de/deep-learning-for-image-processing點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文以倉庫根目錄下的 article_link/README.md 文獻(xiàn)清單為骨架將其中收錄的近百篇深度學(xué)習(xí)圖像處理經(jīng)典論文按圖像分類、目標(biāo)檢測、語義分割、顯著性目標(biāo)檢測、實(shí)例分割、關(guān)鍵點(diǎn)檢測、網(wǎng)絡(luò)量化、自然語言處理與其他八個(gè)方向重新組織為每一篇論文補(bǔ)充核心思想速覽并將其與倉庫中對(duì)應(yīng)的源碼實(shí)現(xiàn)pytorch_classification、pytorch_object_detection、pytorch_segmentation、pytorch_keypoint 等逐一掛鉤。讀完本文你將獲得一條論文 → 原理 → 倉庫源碼 → 訓(xùn)練驗(yàn)證的完整研讀鏈路既能按圖索驥讀懂經(jīng)典模型也能在倉庫中找到可直接運(yùn)行、修改的對(duì)應(yīng)實(shí)現(xiàn)。這份文獻(xiàn)清單是什么article_link/README.md 本身是一份按任務(wù)類型整理的論文索引每篇論文均附有 arXiv 編號(hào)覆蓋了深度學(xué)習(xí)圖像處理從 1998 年 LeNet 到 2022 年 MobileOne、YOLOv7、MobileViT V2 等最新工作的主線脈絡(luò)。它的價(jià)值在于按任務(wù)劃分方向分類、檢測、分割、關(guān)鍵點(diǎn)、量化等各自成節(jié)便于按需查閱與倉庫代碼一一對(duì)應(yīng)清單中絕大多數(shù)論文在該倉庫中都有從零搭建的 PyTorch / TensorFlow 實(shí)現(xiàn)可以讀論文 → 跑代碼雙線并行兼顧主干與前沿既有 ResNet、VGG 等奠基性工作也收錄了 Vision Transformer、Swin Transformer、ConvNeXt 等 2020 年代新范式以及網(wǎng)絡(luò)量化這類工程落地主題。下文按原文檔的小節(jié)順序展開每節(jié)先完整列出該方向的論文清單再給出倉庫中的對(duì)應(yīng)實(shí)現(xiàn)位置與研讀要點(diǎn)。圖像分類Classification圖像分類是清單中體量最大的一節(jié)收錄了從傳統(tǒng) CNN 到 Transformer 再到輕量化移動(dòng)端骨干的完整演進(jìn)譜系。倉庫對(duì)應(yīng)的代碼集中在 pytorch_classificationPyTorch 版與 tensorflow_classificationTensorFlow 版其中多數(shù)目錄按論文逐一編號(hào)例如Test5_resnet對(duì)應(yīng) ResNet、Test6_mobilenet對(duì)應(yīng) MobileNet v2/v3、Test9_efficientNet對(duì)應(yīng) EfficientNet。奠基與經(jīng)典 CNN論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)LeNetarXiv:無見 Yann LeCun 主頁最早的卷積神經(jīng)網(wǎng)絡(luò)之一卷積池化全連接的手寫數(shù)字識(shí)別范式Test1_official_demoAlexNetarXiv:1102.0183 的 ImageNet 競賽論文清單標(biāo)注為 NIPS 2012ReLU 激活、Dropout、數(shù)據(jù)增強(qiáng)、雙 GPU 并行拉開深度學(xué)習(xí)時(shí)代Test2_alexnetZFNet / Visualizing and Understanding CNNsarXiv:1311.2901用反卷積可視化特征圖分析 CNN 學(xué)到了什么analyze_weights_featuremap 中的analyze_feature_map.pyVGGarXiv:1409.1556用 3×3 小卷積堆疊加深網(wǎng)絡(luò)探索深度對(duì)性能的影響Test3_vggnetGoogLeNet / Inception v1arXiv:1409.4842Inception 模塊并行多尺度卷積 1×1 卷積降維 輔助分類器Test4_googlenetBatch NormalizationarXiv:1502.03167對(duì)層內(nèi)激活做歸一化加速收斂、允許更大學(xué)習(xí)率融入各模型實(shí)現(xiàn)如 Test5_resnet/model.py 中每個(gè)卷積后緊跟的nn.BatchNorm2dInception v3arXiv:1512.00567分解大卷積核為小卷積核引入 BN 輔助層加深加寬網(wǎng)絡(luò)Test4_googlenet可擴(kuò)展改造Inception v4 / Inception-ResNetarXiv:1602.07261將殘差連接引入 Inception 結(jié)構(gòu)—XceptionarXiv:1610.02357將 Inception 模塊極致化為深度可分離卷積—ResNetarXiv:1512.03385殘差學(xué)習(xí)解決深層網(wǎng)絡(luò)退化問題Test5_resnet/model.py含 BasicBlock、Bottleneck、resnet34/50/101 與 ResNeXt 變體ResNeXtarXiv:1611.05431分組卷積提升 cardinality殘差分組并行同上文件中的resnext50_32x4d/resnext101_32x8dDenseNetarXiv:1608.06993層間密集連接特征復(fù)用與旁路梯度Test8_densenetNASNet-AarXiv:1707.07012用神經(jīng)架構(gòu)搜索NAS自動(dòng)設(shè)計(jì)單元結(jié)構(gòu)—SENetarXiv:1709.01507Squeeze-and-Excitation 通道注意力自適應(yīng)重標(biāo)定通道權(quán)重—Bag of Tricks for Image ClassificationarXiv:1812.01187總結(jié)一組不影響模型結(jié)構(gòu)即可漲點(diǎn)的訓(xùn)練技巧Test9_efficientNet 等訓(xùn)練腳本中的增強(qiáng)與優(yōu)化策略可對(duì)照輕量化移動(dòng)端模型論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)MobileNet v1arXiv:1704.04861深度可分離卷積將計(jì)算量壓縮一個(gè)數(shù)量級(jí)—MobileNet v2arXiv:1801.04381倒殘差結(jié)構(gòu)Inverted Residual 線性瓶頸Linear BottleneckTest6_mobilenet/model_v2.pyMobileNet v3arXiv:1905.02244基于 NAS 搜索 SE 注意力 Hard-Swish 激活Test6_mobilenet/model_v3.pyShuffleNet v1arXiv:1707.01083分組卷積 通道混洗Channel ShuffleTest7_shufflenet/model.pyShuffleNet v2arXiv:1807.11164以內(nèi)存訪問成本MAC為導(dǎo)向設(shè)計(jì)輕量網(wǎng)絡(luò)Test7_shufflenet/model.py含 v2 版本MobileOnearXiv:2206.04040基于重參數(shù)化的毫秒級(jí)移動(dòng)端骨干—高效網(wǎng)絡(luò)與設(shè)計(jì)空間論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)EfficientNet v1arXiv:1905.11946復(fù)合縮放寬度/深度/分辨率聯(lián)合縮放 MBConvTest9_efficientNet/model.py配合 trans_weights_to_pytorch.py 遷移官方權(quán)重EfficientNet v2arXiv:2104.00298訓(xùn)練感知縮放 漸進(jìn)式學(xué)習(xí)Progressive LearningTest11_efficientnetV2含 trans_effv2_weights.py 權(quán)重轉(zhuǎn)換CSPNetarXiv:1911.11929跨階段部分連接降低冗余梯度計(jì)算作為 YOLOv4/YOLOv5 等檢測器骨干被廣泛采用倉庫 yolov3_spp 的配置可對(duì)照RegNetarXiv:2003.13678從設(shè)計(jì)空間正則化中提取簡單高效的網(wǎng)絡(luò)規(guī)則Test10_regnet含 pretrain_weights.pyNFNetsarXiv:2102.06171去掉 BatchNorm 仍保持高精度的大規(guī)模訓(xùn)練技巧—Transformer 與 2020 年代新范式論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)Vision Transformer / ViTarXiv:2010.11929將圖像切分為 Patch 并做位置編碼直接用 Transformer 編碼vision_transformer/vit_model.pyDeiTarXiv:2012.12877蒸餾策略讓 Transformer 在小數(shù)據(jù)上高效訓(xùn)練vision_transformer 訓(xùn)練流程可對(duì)照Swin TransformerarXiv:2103.14030移位窗口注意力 分層特征兼顧效率與多尺度swin_transformer/model.pySwin Transformer V2arXiv:2111.09883更大容量與更高分辨率下的穩(wěn)定訓(xùn)練方案—BEiTarXiv:2106.08254掩碼圖像建模MIMBERT 式圖像預(yù)訓(xùn)練—MAEarXiv:2111.06377掩碼自編碼器遮蔽大部分 Patch 重建圖像—ConvNeXtarXiv:2201.03545借鑒 Transformer 設(shè)計(jì)思想重構(gòu)純卷積網(wǎng)絡(luò)ConvNeXt/model.pyMobileViT v1arXiv:2110.02178輕量 CNN Transformer 全局上下文建模MobileViT/model.py 與 transformer.pyMobileViT v2arXiv:2206.02680可分離自注意力Separable Self-attention進(jìn)一步降本—研讀提示倉庫中每個(gè)分類模型目錄都遵循統(tǒng)一流程——model.py搭建網(wǎng)絡(luò)、train.py訓(xùn)練支持--data-path、--weights等參數(shù)、predict.py單圖預(yù)測如 Test5_resnet 的文件結(jié)構(gòu)說明。對(duì)照論文讀代碼時(shí)可重點(diǎn)關(guān)注 model_complexityFLOPs/參數(shù)量統(tǒng)計(jì)、ConfusionMatrix混淆矩陣評(píng)估與 grad_cam可視化注意力等配套工具驗(yàn)證論文中的結(jié)論。目標(biāo)檢測Object Detection檢測方向論文對(duì)應(yīng)倉庫 pytorch_object_detection覆蓋了兩階段、單階段與無錨框三大路線數(shù)據(jù)標(biāo)注基于 PASCAL VOCpascal_voc_classes.json與 COCOcoco91_indices.json。兩階段R-CNN 家族論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)R-CNNarXiv:1311.2524選擇性搜索生成候選區(qū)域逐區(qū)域 CNN 分類—Fast R-CNNarXiv:1504.08083RoI Pooling 統(tǒng)一特征多任務(wù)損失端到端訓(xùn)練—Faster R-CNNarXiv:1506.01497引入 RPN 區(qū)域提議網(wǎng)絡(luò)真正端到端faster_rcnn網(wǎng)絡(luò)模塊在 network_files/faster_rcnn_framework.py支持 train_res50_fpn.py 與 train_mobilenetv2.py 兩種骨干Cascade R-CNNarXiv:1712.00726級(jí)聯(lián)多個(gè)不同 IoU 閾值的檢測器提升定位質(zhì)量—Mask R-CNNarXiv:1703.06870在 Faster R-CNN 上加分割分支RoIAlign 替代 RoIPoolmask_rcnn同時(shí)被歸入實(shí)例分割單階段SSD / YOLO / Anchor-free論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)SSDarXiv:1512.02325多尺度特征圖上鋪默認(rèn)框一次前向輸出全部框ssd/src/ssd_model.py訓(xùn)練入口 train_ssd300.pyFPNarXiv:1612.03144特征金字塔自頂向下融合多尺度特征faster_rcnn/backbone/feature_pyramid_network.pyRetinaNet / Focal LossarXiv:1708.02002Focal Loss 解決單階段正負(fù)樣本極度不平衡retinaNet損失實(shí)現(xiàn)于 network_files/losses.pyYOLOv1arXiv:1506.02640回歸式端到端檢測網(wǎng)格邊界框回歸—YOLOv2arXiv:1612.08242錨框、多尺度訓(xùn)練、批歸一化—YOLOv3arXiv:1804.02767多尺度特征預(yù)測 Darknet53yolov3_sppSPP 加強(qiáng)版含 trans_voc2yolo.py 數(shù)據(jù)集轉(zhuǎn)換YOLOv4arXiv:2004.10934大量訓(xùn)練技巧 CSP 骨干的集大成訓(xùn)練技巧可對(duì)照 yolov3_spp 的 cfg/hyp.yamlYOLOXarXiv:2107.08430無錨框 解耦頭 模擬正樣本—YOLOv7arXiv:2207.02696E-ELAN 高效聚合網(wǎng)絡(luò)—PP-YOLOarXiv:2007.12099基于 PaddleDetection 的純技巧改進(jìn)—PP-YOLOv2arXiv:2104.10419進(jìn)一步改進(jìn)檢測頭與訓(xùn)練策略—CornerNetarXiv:1808.01244通過左上/右下角點(diǎn)檢測目標(biāo)—FCOSOldarXiv:1904.01355全卷積無錨框逐像素預(yù)測—FCOSNewarXiv:2006.09214增加中心度分支與更多技巧—CenterNetarXiv:1904.07850用目標(biāo)中心點(diǎn)做關(guān)鍵點(diǎn)檢測—Bag of FreebiesarXiv:1902.04103檢測任務(wù)免費(fèi)漲點(diǎn)的訓(xùn)練技巧集可對(duì)照 train_coco_dataset 的數(shù)據(jù)增強(qiáng)與訓(xùn)練流程研讀提示倉庫中檢測項(xiàng)目的 README如 faster_rcnn/README.md給出了環(huán)境要求Python3.6/3.7/3.8、PyTorch 1.7.1 及以上、VOC2012 數(shù)據(jù)集準(zhǔn)備、預(yù)訓(xùn)練權(quán)重重命名規(guī)則、單卡/多卡訓(xùn)練命令python -m torch.distributed.launch --nproc_per_node8 --use_env train_multi_GPU.py以及--data-path需指向VOCdevkit根目錄等注意事項(xiàng)是配合論文落地實(shí)驗(yàn)的完整參考。語義分割Semantic Segmentation分割論文對(duì)應(yīng)倉庫 pytorch_segmentation以 PASCAL VOC 為主數(shù)據(jù)集提供 mIoU 驗(yàn)證與多 GPU 訓(xùn)練支持。論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)FCNarXiv:1411.4038全卷積網(wǎng)絡(luò)端到端像素級(jí)預(yù)測開創(chuàng)語義分割深度學(xué)習(xí)范式fcn/src/fcn_model.pyU-NetarXiv:1505.04597U 形編碼-解碼 跳躍連接醫(yī)學(xué)圖像分割經(jīng)典unet/src/unet.py另有 vgg_unet.py、mobilenet_unet.py 變體DeepLab v1arXiv:1412.7062空洞卷積擴(kuò)大感受野 全連接 CRF—DeepLab v2arXiv:1606.00915ASPP 多尺度空洞卷積池化金字塔—DeepLab v3arXiv:1706.05587改進(jìn)版 ASPP 與空洞卷積deeplab_v3/src/deeplabv3_model.pyResNet50/101、MobileNetV3 骨干README 提供官方 COCO 預(yù)訓(xùn)練權(quán)重與torchrun --nproc_per_node8 train_multi_GPU.py多卡命令DeepLab v3arXiv:1802.02611編碼-解碼結(jié)構(gòu) 深度可分離空洞卷積—SegFormerarXiv:2105.15203無位置編碼的分層 Transformer 分割網(wǎng)絡(luò)—此外 lraspp 提供了輕量級(jí)分割網(wǎng)絡(luò)的對(duì)照實(shí)現(xiàn)而 u2net 則跨入顯著性目標(biāo)檢測見下節(jié)。顯著性目標(biāo)檢測Salient Object Detection論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)U2NetarXiv:2005.09007嵌套的 U 形結(jié)構(gòu) RSU 模塊無需預(yù)訓(xùn)練骨干即可端到端檢測顯著目標(biāo)u2net/src/model.py含 convert_weight.py 權(quán)重轉(zhuǎn)換與 predict.py 推理腳本實(shí)例分割I(lǐng)nstance Segmentation論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)Mask R-CNNarXiv:1703.06870檢測分割雙分支并行RoIAlign 消除量化誤差mask_rcnn網(wǎng)絡(luò)定義于 network_files/mask_rcnn.py同時(shí)支持 VOC 與 COCO 數(shù)據(jù)集加載關(guān)鍵點(diǎn)檢測Keypoint Detection論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)HRNetarXiv:1902.09212全程保持高分辨率特征并聯(lián)融合人體姿態(tài)估計(jì)精度大幅領(lǐng)先HRNet/model/hrnet.py配套 COCO2017 數(shù)據(jù)準(zhǔn)備、--num-jointsCOCO 為 17、--fixed-size默認(rèn) [256, 192]等參數(shù)說明見 HRNet/README.md除 HRNet 外倉庫還提供 DeepPose 實(shí)現(xiàn)pytorch_keypoint/DeepPose作為經(jīng)典回歸式姿態(tài)估計(jì)的對(duì)照并包含 WFLW 數(shù)據(jù)集支持與 ONNX 導(dǎo)出export_onnx.py。網(wǎng)絡(luò)量化Quantization量化論文對(duì)應(yīng)倉庫的模型部署與加速模塊 deploying_service/deploying_pytorch以及 others_project/openvinotest 的 OpenVINO 測試。論文核心思想倉庫對(duì)應(yīng)實(shí)現(xiàn)Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only InferencearXiv:1712.05877量化感知訓(xùn)練的經(jīng)典方案整數(shù)算術(shù)推理convert_openvino/convert_resnet34/quantization_int8.pyQuantizing Deep Convolutional Networks: A WhitepaperarXiv:1806.08342谷歌量化白皮書系統(tǒng)化后訓(xùn)練量化流程同一量化目錄下的校準(zhǔn)與轉(zhuǎn)換流程可對(duì)照Data-Free Quantization Through Weight Equalization and Bias CorrectionarXiv:1906.04721無需數(shù)據(jù)集的權(quán)值均衡與偏置校正—LSQarXiv:1902.08153可學(xué)習(xí)步長的低比特量化—LSQarXiv:2004.09576引入可學(xué)習(xí)偏移與更好的初始化—倉庫中可驗(yàn)證的量化落地包括ResNet34 的 OpenVINO INT8 量化quantization_int8.py、TensorRT 量化convert_tensorrt/convert_resnet34/quantization.py以及 OpenVINO 浮點(diǎn)/INT8 精度與速度對(duì)比float32vsint8.py可用于復(fù)現(xiàn)量化論文中精度損失小、吞吐提升顯著的核心結(jié)論。自然語言處理與 Others論文核心思想倉庫相關(guān)資源Attention Is All You NeedarXiv:1706.03762Transformer 架構(gòu)純注意力機(jī)制替代循環(huán)網(wǎng)絡(luò)也是 ViT/Swin 等視覺 Transformer 的理論源頭vision_transformer/vit_model.py 與 MobileViT/transformer.py 可對(duì)照閱讀其注意力實(shí)現(xiàn)Microsoft COCO: Common Objects in ContextarXiv:1405.0312大規(guī)模上下文標(biāo)注數(shù)據(jù)集檢測/分割/關(guān)鍵點(diǎn)通用基準(zhǔn)倉庫多處以coco91_indices.json、coco_eval.py使用 COCO 指標(biāo)如 mask_rcnnThe PASCAL Visual Object Classes Challenge: A RetrospectiveVOC 數(shù)據(jù)集回顧定義了檢測/分割經(jīng)典評(píng)測協(xié)議pascal_voc_classes.json、deeplab_v3/pascal_voc_classes.jsonGrad-CAMarXiv:1610.02391基于梯度的類別激活可視化解釋 CNN 決策依據(jù)grad_cam支持 CNN/ViT/Swin見 main_cnn.py、main_vit.py、main_swin.py如何配合倉庫源碼高效研讀這些論文按任務(wù)定位代碼分類看 pytorch_classification、檢測看 pytorch_object_detection、分割看 pytorch_segmentation、關(guān)鍵點(diǎn)看 pytorch_keypoint、量化部署看 deploying_service 與 others_project。讀論文先抓三要素模型核心模塊對(duì)照倉庫model.py、損失函數(shù)對(duì)照train_utils/losses.py或network_files/losses.py、訓(xùn)練技巧對(duì)照 README 中的參數(shù)與注意事項(xiàng)。用配套工具驗(yàn)證結(jié)論用 model_complexity 統(tǒng)計(jì)論文聲稱的計(jì)算量用 grad_cam 驗(yàn)證注意力/卷積關(guān)注區(qū)域用 ConfusionMatrix 與validation.py復(fù)現(xiàn)精度指標(biāo)。統(tǒng)一的數(shù)據(jù)流分類任務(wù)以一個(gè)類別一個(gè)文件夾組織數(shù)據(jù)訓(xùn)練與預(yù)測腳本通過--data-path、--weights、num_classes三個(gè)核心參數(shù)即可切換數(shù)據(jù)集檢測與分割任務(wù)則將--data-path指向 VOC/COCO 根目錄。這條通用流程可以讓你在讀完一篇論文后幾乎零成本地把對(duì)應(yīng)模型跑起來。小結(jié)article_link/README.md 是一份濃縮的深度學(xué)習(xí)圖像處理學(xué)習(xí)地圖從 LeNet 到 ConvNeXt 的分類演進(jìn)、從 R-CNN 到 YOLOv7 的檢測體系、從 FCN 到 SegFormer 的分割路線再到量化、關(guān)鍵點(diǎn)與可解釋性幾乎每個(gè)方向都能在 deep-learning-for-image-processing 倉庫中找到可運(yùn)行、可修改的源碼實(shí)現(xiàn)。建議以論文定方向、源碼驗(yàn)細(xì)節(jié)的方式交叉閱讀先看清單選定目標(biāo)論文再進(jìn)入對(duì)應(yīng)目錄跑通訓(xùn)練與預(yù)測最后用倉庫配套的可視化與評(píng)估工具復(fù)現(xiàn)論文核心結(jié)論即可形成完整的學(xué)習(xí)閉環(huán)。贊分享示例工程【免費(fèi)下載鏈接】deep-learning-for-image-processingdeep learning for image processing including classification and object-detection etc.項(xiàng)目地址https://gitcode.com/gh_mirrors/de/deep-learning-for-image-processing點(diǎn)擊查看免費(fèi)下載相關(guān)推薦deep-learning-for-image-processing 項(xiàng)目 PyTorch 圖像分類模塊實(shí)戰(zhàn)指南deep learning for image processing 項(xiàng)目 PyTorch 圖像分類模塊實(shí)戰(zhàn)指南 本篇指南以 pytorch_classific示例工程deep-learning-for-image-processing 教程全覽圖像分類、目標(biāo)檢測、語義分割與關(guān)鍵點(diǎn)檢測的完整實(shí)戰(zhàn)代碼庫deep learning for image processing 教程全覽圖像分類、目標(biāo)檢測、語義分割與關(guān)鍵點(diǎn)檢測的完整實(shí)戰(zhàn)代碼庫 本文圍繞開源倉庫 de示例工程使用 TensorFlow 讀取凍結(jié) PB 文件進(jìn)行目標(biāo)檢測預(yù)測deep-learning-for-image-processing 中 readPbFile 實(shí)戰(zhàn)指南使用 TensorFlow 讀取凍結(jié) PB 文件進(jìn)行目標(biāo)檢測預(yù)測deep learning for image processing 中 readPbFile示例工程上一篇Comfy-table API詳解掌握表格組件與樣式配置的終極指南下一篇CopyManga下載器新手快速上手指南創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考