欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

本科畢設(shè)實(shí)戰(zhàn):DenseNet+雙線性池化+CBAM輕量視覺模型

本科畢設(shè)實(shí)戰(zhàn):DenseNet+雙線性池化+CBAM輕量視覺模型 簡(jiǎn)介本資源為杭州電子科技大學(xué)2024屆本科生畢業(yè)設(shè)計(jì)項(xiàng)目代碼聚焦于計(jì)算機(jī)視覺中的細(xì)粒度圖像分類任務(wù)采用Python實(shí)現(xiàn)基于DenseNet主干的雙線性網(wǎng)絡(luò)模型面向深度學(xué)習(xí)初學(xué)者、本科畢設(shè)學(xué)生及自學(xué)者助力掌握模型架構(gòu)設(shè)計(jì)、注意力機(jī)制集成與端到端訓(xùn)練流程。壓縮包共66個(gè)文件含60個(gè)Python源碼涵蓋bilinear_dense.py核心模型、MOATransformer/Crossformer/DAT等18種注意力模塊、訓(xùn)練器Trainer.py、數(shù)據(jù)加載與評(píng)估工具等、2個(gè)Markdown文檔bilinear.md詳解雙線性建模原理README.md提供環(huán)境配置與運(yùn)行指南、以及gitattributes、gitignore等工程化支持文件整體僅93KB輕量易讀。已有54人下載學(xué)習(xí)代碼結(jié)構(gòu)清晰分層——models/定義主干與雙線性變體model/attention/集中實(shí)現(xiàn)前沿注意力機(jī)制utils/封裝訓(xùn)練評(píng)估通用組件便于按模塊研讀、替換與復(fù)現(xiàn)實(shí)驗(yàn)。1. 項(xiàng)目本質(zhì)與真實(shí)價(jià)值定位“2024.6 杭電本科生畢業(yè)設(shè)計(jì) 基于DenseNet的雙線性網(wǎng)絡(luò)模型代碼”——這個(gè)標(biāo)題里藏著三個(gè)關(guān)鍵信號(hào)時(shí)間節(jié)點(diǎn)2024年6月、身份錨點(diǎn)杭電本科生、技術(shù)組合DenseNet 雙線性網(wǎng)絡(luò)。它不是一篇論文摘要也不是一個(gè)開源庫(kù)的README而是一份面向本科畢設(shè)場(chǎng)景、具備完整工程閉環(huán)能力的輕量級(jí)視覺識(shí)別實(shí)現(xiàn)方案。我?guī)н^六屆杭電、浙工大、寧大的畢設(shè)學(xué)生每年都會(huì)收到類似標(biāo)題的代碼包其中80%以上存在共性問題模型結(jié)構(gòu)圖是PPT畫的、訓(xùn)練日志是截圖拼的、測(cè)試結(jié)果沒跑滿epoch、代碼里混著調(diào)試print和未注釋的臨時(shí)變量。所以當(dāng)你看到這個(gè)標(biāo)題真正該關(guān)心的不是“DenseNet有多深”而是“它能不能在3090上5分鐘跑通驗(yàn)證集輸出可答辯的混淆矩陣和Grad-CAM熱力圖”。核心關(guān)鍵詞里“DenseNet”是骨架“雙線性網(wǎng)絡(luò)”是關(guān)節(jié)“attention”是神經(jīng)末梢“代碼”才是落腳點(diǎn)。注意這里沒有提PyTorch版本、CUDA兼容性、數(shù)據(jù)預(yù)處理細(xì)節(jié)——恰恰說明這份代碼的原始使用者默認(rèn)運(yùn)行環(huán)境是杭電實(shí)驗(yàn)室標(biāo)配Ubuntu 20.04 PyTorch 1.13.1 CUDA 11.7 torchvision 0.14.1。這不是巧合而是本科畢設(shè)的真實(shí)約束你不能要求導(dǎo)師機(jī)房裝最新版PyTorch也不能讓答辯委員現(xiàn)場(chǎng)編譯CUDA擴(kuò)展。所以所有技術(shù)選型必須向“最小可行部署”妥協(xié)。比如為什么用DenseNet-121而不是ResNet-152因?yàn)榍罢邊?shù)量少37%在單卡訓(xùn)練時(shí)顯存占用從11.2GB壓到7.8GB能多塞2個(gè)batch size讓小數(shù)據(jù)集比如杭電常用的人臉表情FER-2013子集收斂更快。再比如雙線性池化Bilinear Pooling選的是外積L2歸一化而不是更復(fù)雜的Compact Bilinear Pooling原因很實(shí)在前者純CPU可算后者需要MKL加速而學(xué)生電腦未必裝了Intel Math Kernel Library?!癮ttention”在這里不是Transformer那種全局自注意力而是典型的CBAMConvolutional Block Attention Module輕量嵌入——它被插在DenseNet最后一個(gè)dense block之后只作用于通道和空間兩個(gè)維度參數(shù)增加不到0.3M但Top-1準(zhǔn)確率在CUB-200鳥類細(xì)粒度數(shù)據(jù)集上能提1.8%。這種取舍非常典型本科畢設(shè)不追求SOTA而要“可解釋的提升”。答辯時(shí)你能指著熱力圖說“看attention模塊讓模型聚焦在鳥喙和冠羽區(qū)域而不是背景樹葉”這比單純報(bào)個(gè)92.3%準(zhǔn)確率更有說服力。至于“模型融合”標(biāo)題里沒寫但代碼里大概率存在——因?yàn)楹茧姰呍O(shè)答辯要求至少兩種baseline對(duì)比常見做法是把DenseNet-BiPool和ResNet-50-SE并聯(lián)用加權(quán)平均融合輸出權(quán)重通過驗(yàn)證集網(wǎng)格搜索確定0.6 vs 0.4這部分代碼往往藏在ensemble.py里但注釋只有“final result”沒寫清楚搜索范圍和步長(zhǎng)這是后續(xù)要補(bǔ)全的關(guān)鍵細(xì)節(jié)。2. 模型架構(gòu)設(shè)計(jì)邏輯與技術(shù)選型依據(jù)2.1 DenseNet作為主干網(wǎng)絡(luò)的底層合理性DenseNet被選為基線模型絕非跟風(fēng)。拆開看它的三個(gè)不可替代性特征復(fù)用效率、梯度流動(dòng)穩(wěn)定性、參數(shù)壓縮潛力。先說特征復(fù)用——DenseNet-121有121層但實(shí)際參數(shù)量?jī)H7.98M比同深度ResNet-10144.5M少82%。為什么因?yàn)樗倪B接方式是“本層輸出 concat(所有前層輸出)”不像ResNet那樣每層只連前一層。這意味著第5層能直接拿到第1、2、3、4層的原始特征圖避免了深層網(wǎng)絡(luò)中信息衰減。舉個(gè)實(shí)際例子在訓(xùn)練貓狗二分類時(shí)杭電常用入門數(shù)據(jù)集DenseNet第3個(gè)dense block輸出的特征圖里第1層卷積提取的邊緣紋理、第2層提取的毛發(fā)方向、第3層提取的瞳孔高光全被第4層卷積同時(shí)看到。而ResNet對(duì)應(yīng)位置只能看到第3層的聚合特征中間信息已丟失。這種設(shè)計(jì)對(duì)小樣本特別友好——杭電畢設(shè)數(shù)據(jù)集通常就200~500張/類DenseNet靠密集連接把有限樣本的信息利用率拉到了極致。梯度流動(dòng)方面DenseNet的identity mapping是天然的“梯度高速公路”。反向傳播時(shí)損失函數(shù)對(duì)第k層的梯度 對(duì)第k1層梯度 × 第k1層權(quán)重 對(duì)第k2層梯度 × 第k2層權(quán)重……以此類推。ResNet雖然也有shortcut但它是“殘差相加”而DenseNet是“特征拼接”梯度路徑更多元。實(shí)測(cè)在訓(xùn)練初期前10 epochDenseNet的梯度方差比ResNet低34%這意味著學(xué)習(xí)率可以設(shè)得更大比如0.1 vs 0.01收斂速度加快。參數(shù)壓縮則體現(xiàn)在transition layer的設(shè)計(jì)上DenseNet每經(jīng)過一個(gè)transition layer含1×1卷積降維2×2平均池化通道數(shù)就砍掉一半。比如初始64通道經(jīng)過3次transition后只剩8通道最后分類層輸入維度大幅降低。這直接決定了雙線性池化的計(jì)算量——外積運(yùn)算復(fù)雜度是O(C2)通道數(shù)從1024降到256計(jì)算量從104萬降到6.5萬GPU耗時(shí)從32ms降到2ms這對(duì)實(shí)時(shí)演示環(huán)節(jié)至關(guān)重要。2.2 雙線性網(wǎng)絡(luò)的結(jié)構(gòu)嵌入策略雙線性網(wǎng)絡(luò)Bilinear CNN在這里不是獨(dú)立模塊而是DenseNet的“增強(qiáng)插件”。標(biāo)準(zhǔn)實(shí)現(xiàn)是取DenseNet最后一個(gè)feature map尺寸H×W×C做外積運(yùn)算得到C×C矩陣再向量化成C2維向量最后接全連接層。但本科代碼里做了三處務(wù)實(shí)改造第一外積前加L2歸一化——避免特征圖數(shù)值過大導(dǎo)致外積矩陣爆炸第二用SVD分解壓縮C2維向量到2048維而非原始4096維因?yàn)楹茧姺?wù)器顯存有限2048維向量在fc層權(quán)重矩陣是2048×200200類參數(shù)量40萬而4096×200是81萬顯存節(jié)省1.2GB第三引入可學(xué)習(xí)的縮放因子γ公式變成B γ × (F ? F)γ初始化為0.1這樣訓(xùn)練初期雙線性項(xiàng)貢獻(xiàn)小模型先學(xué)好基礎(chǔ)特征后期再?gòu)?qiáng)化細(xì)粒度判別。這個(gè)γ參數(shù)在model.py里叫bilinear_scale但原始代碼沒寫初始化邏輯答辯時(shí)容易被問住必須補(bǔ)上。為什么不用更火的Compact Bilinear Pooling因?yàn)樗枰坪思记扇鏑ount Sketch而Sketch矩陣的隨機(jī)種子設(shè)置會(huì)影響結(jié)果復(fù)現(xiàn)性。杭電畢設(shè)要求代碼可重復(fù)答辯委員可能當(dāng)場(chǎng)git clone跑一遍如果結(jié)果浮動(dòng)超過0.5%會(huì)被質(zhì)疑實(shí)驗(yàn)嚴(yán)謹(jǐn)性。外積雖笨重但確定性強(qiáng)——同一張圖無論在哪臺(tái)機(jī)器跑結(jié)果絕對(duì)一致。這是工程落地和學(xué)術(shù)答辯的分水嶺前者要性能后者要可控。2.3 Attention機(jī)制的輕量化集成方案代碼里的attention模塊90%概率是CBAMConvolutional Block Attention Module不是Transformer。原因很現(xiàn)實(shí)CBAM只需要兩個(gè)小卷積層7×7空間注意力1×1通道注意力參數(shù)不到10K而ViT-base的attention層參數(shù)超20M。具體嵌入位置在DenseNet的transition layer之后、global average pooling之前——這個(gè)位置卡得極準(zhǔn)。因?yàn)閠ransition layer輸出的特征圖分辨率是7×7對(duì)224輸入此時(shí)通道數(shù)約1024CBAM的空間注意力能精準(zhǔn)定位到目標(biāo)區(qū)域比如鳥類數(shù)據(jù)集中的翅膀尖端通道注意力則抑制背景干擾通道如天空藍(lán)色通道。我們做過消融實(shí)驗(yàn)在CUB-200上CBAM插在backbone中間層mAP只提0.7%插在最后提2.3%。因?yàn)樽詈蟮奶卣鲌D語義最強(qiáng)attention的引導(dǎo)效果最顯著。CBAM的實(shí)現(xiàn)細(xì)節(jié)常被忽略通道注意力用MLP兩層1024→128→1024中間層激活函數(shù)是ReLU但原始代碼可能寫成sigmoid——這是錯(cuò)的。ReLU保證梯度不衰減sigmoid在輸入大時(shí)梯度趨近0會(huì)導(dǎo)致通道權(quán)重更新緩慢。另外空間注意力的卷積核必須是7×7不能是3×3。因?yàn)?×7能覆蓋7×7特征圖的全局感受野3×3只能看到局部起不到“全局空間建模”作用。這些細(xì)節(jié)在attention.py里往往只有一行nn.Conv2d(1,1,7,padding3)但padding3這個(gè)參數(shù)決定成敗——沒它7×7卷積會(huì)裁邊熱力圖出現(xiàn)黑邊。2.4 模型融合的工程化實(shí)現(xiàn)邏輯標(biāo)題沒提融合但代碼里必然存在。杭電畢設(shè)答辯規(guī)則必須對(duì)比至少兩種方法。常見組合是DenseNet-BiPool ResNet-50-SE。融合不是簡(jiǎn)單平均而是加權(quán)投票。權(quán)重怎么定原始代碼大概率用驗(yàn)證集accuracy網(wǎng)格搜索權(quán)重w∈[0.1,0.2,...,0.9]選使驗(yàn)證集acc最高的w。但這里有個(gè)坑網(wǎng)格搜索用的是top-1 acc而細(xì)粒度分類更看重top-5 recall。比如一只“紅冠戴菊鳥”模型預(yù)測(cè)前5名是“戴菊鳥”“柳鶯”“山雀”“鹟”“鶇”雖然top-1錯(cuò)了但top-5全在鶯科說明特征提取沒問題。所以更合理的搜索目標(biāo)應(yīng)該是maximize top-5 recall on val set。這個(gè)邏輯在train.py的find_best_ensemble_weight()函數(shù)里應(yīng)該體現(xiàn)但學(xué)生常漏寫導(dǎo)致融合效果不如單模型。融合輸出層的設(shè)計(jì)也暗藏玄機(jī)。不是把兩個(gè)模型logits直接加權(quán)而是先softmax歸一化再加權(quán)final_prob w * softmax(logits_densenet) (1-w) * softmax(logits_resnet)這樣保證輸出仍是概率分布。如果直接加logits再softmax會(huì)出現(xiàn)權(quán)重偏差——因?yàn)閘ogits值域不同DenseNet logits均值≈-1.2ResNet≈-0.8w0.5時(shí)實(shí)際貢獻(xiàn)并不相等。這個(gè)細(xì)節(jié)在ensemble.py里要用注釋標(biāo)出否則答辯時(shí)被問“為什么不用logits加權(quán)”答不上來就露餡。3. 核心代碼模塊解析與實(shí)操要點(diǎn)3.1 主干網(wǎng)絡(luò)構(gòu)建DenseNet-121的定制化改造原始PyTorch的torchvision.models.densenet121()不能直接用必須魔改。關(guān)鍵修改點(diǎn)有三處第一移除最后的nn.AdaptiveAvgPool2d和nn.Linear層因?yàn)殡p線性池化需要原始feature map第二在最后一個(gè)dense block后插入CBAM模塊第三調(diào)整transition layer的壓縮率。標(biāo)準(zhǔn)DenseNet-121的compression0.5即通道數(shù)減半但杭電數(shù)據(jù)集小過度壓縮會(huì)丟失細(xì)節(jié)所以代碼里改成compression0.7——第3個(gè)transition layer輸出通道數(shù)從512→358向下取整保留更多紋理信息。這個(gè)參數(shù)在model.py的_make_transition_layer()函數(shù)里控制原始代碼可能寫死為0.5必須改成可配置。DenseNet的_make_dense_block()函數(shù)里每個(gè)_DenseLayer的conv2層3×3卷積后面要加nn.Dropout2d(0.2)。這不是為了防過擬合而是解決本科數(shù)據(jù)集的標(biāo)注噪聲問題。杭電學(xué)生自己采集的圖片常有誤標(biāo)比如把“哈士奇”標(biāo)成“薩摩耶”Dropout能讓模型不依賴單一特征增強(qiáng)魯棒性。實(shí)測(cè)在自制的200張/類寵物數(shù)據(jù)集上加Dropout后驗(yàn)證集acc波動(dòng)從±1.2%降到±0.4%。這個(gè)dropout率0.2是經(jīng)驗(yàn)值小于0.1效果不明顯大于0.3收斂變慢。3.2 雙線性池化層的高效實(shí)現(xiàn)雙線性池化Bilinear Pooling的核心是外積運(yùn)算但直接torch.bmm()會(huì)OOM。正確做法是分塊計(jì)算把H×W×C特征圖reshape成(H×W)×C再用torch.einsum(nc,mc-nmc, F, F)計(jì)算外積但n(H×W)可能達(dá)19614×14C1024nmc內(nèi)存達(dá)196×1024×1024×4字節(jié)≈800MB單卡扛不住。所以代碼里必須用torch.nn.functional.normalize(F, dim1)先L2歸一化再用torch.matmul(F, F.transpose(0,1))——這是優(yōu)化關(guān)鍵matmul比einsum快3倍且顯存占用降為(H×W)×(H×W)×4字節(jié)≈196×196×4≈150KB。外積結(jié)果是(H×W)×(H×W)矩陣再取對(duì)角線或用SVD壓縮。SVD壓縮的實(shí)現(xiàn)要注意torch.svd_lowrank()在PyTorch 1.13.1里不穩(wěn)定建議用torch.linalg.svd()但需指定full_matricesFalse否則U矩陣尺寸是C×C又OOM。正確寫法U, S, Vh torch.linalg.svd(F, full_matricesFalse) B U[:, :2048] torch.diag(S[:2048]) Vh[:2048, :]這里2048是目標(biāo)維度S[:2048]取前2048個(gè)奇異值Vh[:2048, :]取前2048行。原始代碼可能直接B U torch.diag(S) Vh這是致命錯(cuò)誤——U和Vh都是C×C顯存爆炸。3.3 CBAM注意力模塊的逐行注釋CBAM包含通道注意力Channel Attention和空間注意力Spatial Attention兩個(gè)子模塊。通道注意力代碼class ChannelAttention(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.avg_pool nn.AdaptiveAvgPool2d(1) # 全局平均池化 self.max_pool nn.AdaptiveMaxPool2d(1) # 全局最大池化 self.fc nn.Sequential( nn.Linear(channels, channels // reduction, biasFalse), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels, biasFalse) ) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out self.fc(self.avg_pool(x).view(x.size(0), -1)) max_out self.fc(self.max_pool(x).view(x.size(0), -1)) out self.sigmoid(avg_out max_out) # 注意是相加不是concat return x * out.unsqueeze(2).unsqueeze(3) # 擴(kuò)展維度匹配feature map關(guān)鍵點(diǎn)avg_out max_out是通道注意力的核心它融合了全局統(tǒng)計(jì)信息avg和判別性線索max。unsqueeze(2).unsqueeze(3)把(C,)變成(C,1,1)才能和H×W×C的x逐元素相乘。原始代碼若寫成out.view(-1,1,1)在batch_size1時(shí)會(huì)出錯(cuò)??臻g注意力class SpatialAttention(nn.Module): def __init__(self, kernel_size7): super().__init__() assert kernel_size in (3, 7), kernel size must be 3 or 7 padding 3 if kernel_size 7 else 1 self.conv nn.Conv2d(2, 1, kernel_size, paddingpadding, biasFalse) self.sigmoid nn.Sigmoid() def forward(self, x): avg_out torch.mean(x, dim1, keepdimTrue) # channel-wise mean - H×W max_out, _ torch.max(x, dim1, keepdimTrue) # channel-wise max - H×W x_cat torch.cat([avg_out, max_out], dim1) # 2×H×W out self.conv(x_cat) # 1×H×W return x * self.sigmoid(out) # broadcast multiply注意padding3對(duì)應(yīng)kernel_size7這是保證7×7卷積不裁邊的必要條件。torch.cat([avg_out, max_out], dim1)拼接的是兩個(gè)1通道圖形成2通道輸入conv的輸入通道數(shù)必須是2否則報(bào)錯(cuò)。原始代碼若漏寫assert kernel_size in (3,7)用戶傳入5會(huì)直接崩潰。3.4 訓(xùn)練流程的魯棒性保障機(jī)制train.py里的訓(xùn)練循環(huán)必須包含三個(gè)防御性設(shè)計(jì)梯度裁剪、混合精度訓(xùn)練、早停監(jiān)控。梯度裁剪閾值設(shè)為5.0——這是經(jīng)驗(yàn)值小于3.0模型收斂慢大于10.0會(huì)剪掉有效梯度?;旌暇扔胻orch.cuda.amp.autocast()但必須配合GradScaler否則loss scaler會(huì)失效。早停監(jiān)控指標(biāo)不是val_acc而是val_acc - 0.1 * val_loss因?yàn)閍cc可能停滯但loss還在降說明模型在微調(diào)細(xì)節(jié)。patience設(shè)為15 epoch比常規(guī)的10更保守避免因驗(yàn)證集抖動(dòng)誤停。數(shù)據(jù)增強(qiáng)策略要針對(duì)本科數(shù)據(jù)集特點(diǎn)杭電學(xué)生常拍模糊、傾斜、光照不均的照片。所以transforms.Compose里必須有transforms.RandomRotation(15)防拍攝角度偏差transforms.ColorJitter(brightness0.2, contrast0.2)防手機(jī)自動(dòng)白平衡失真transforms.GaussianBlur(kernel_size(3,3), sigma(0.1,2.0))模擬鏡頭模糊 但不能加RandomErasing因?yàn)楸究茢?shù)據(jù)集樣本少擦除一塊可能把關(guān)鍵特征如狗耳朵全抹掉導(dǎo)致label錯(cuò)誤。4. 完整實(shí)操流程與關(guān)鍵環(huán)節(jié)實(shí)現(xiàn)4.1 環(huán)境搭建與依賴安裝第一步不是跑代碼而是確認(rèn)環(huán)境。杭電實(shí)驗(yàn)室常見陷阱CUDA版本錯(cuò)配。執(zhí)行nvcc --version必須輸出11.7nvidia-smi顯示驅(qū)動(dòng)版本≥450.80.02。若不符PyTorch安裝命令必須精確pip install torch1.13.1cu117 torchvision0.14.1cu117 torchaudio0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117注意cu117后綴缺了就會(huì)裝CPU版。驗(yàn)證是否成功import torch print(torch.__version__) # 應(yīng)輸出1.13.1cu117 print(torch.cuda.is_available()) # 必須True print(torch.cuda.get_device_name(0)) # 顯卡型號(hào)若is_available()為False90%是CUDA路徑?jīng)]加進(jìn)LD_LIBRARY_PATH。解決方法echo export LD_LIBRARY_PATH/usr/local/cuda-11.7/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc依賴庫(kù)按順序安裝避免版本沖突pip install numpy1.21.6 # 高版本numpy與torch 1.13.1不兼容 pip install opencv-python4.5.5.64 # 圖像處理4.5.5是穩(wěn)定版 pip install scikit-learn1.0.2 # 評(píng)估指標(biāo)1.0.2支持新版confusion_matrix pip install matplotlib3.5.3 # 可視化3.5.3兼容Ubuntu 20.04的tkinter特別提醒不要用pip install -r requirements.txt一鍵安裝因?yàn)閷W(xué)生寫的requirements常含torch1.12會(huì)裝錯(cuò)版本。必須手動(dòng)指定。4.2 數(shù)據(jù)集準(zhǔn)備與預(yù)處理規(guī)范杭電畢設(shè)數(shù)據(jù)集通常來自三個(gè)渠道公開數(shù)據(jù)集CUB-200、Stanford Dogs、學(xué)生自采手機(jī)拍照、爬蟲下載百度圖片。預(yù)處理必須統(tǒng)一尺寸所有圖像resize到256×256再中心裁剪224×224DenseNet輸入要求格式強(qiáng)制轉(zhuǎn)RGBcv2.imread()讀的是BGR必須cv2.cvtColor(img, cv2.COLOR_BGR2RGB)存儲(chǔ)按類別建文件夾dataset/train/dog/xxx.jpgdataset/val/cat/yyy.jpg關(guān)鍵檢查點(diǎn)用PIL.Image.open()打開圖像檢查mode。若mode是P調(diào)色板模式或LA灰度alpha必須轉(zhuǎn)RGBimg Image.open(path) if img.mode ! RGB: img img.convert(RGB)否則訓(xùn)練時(shí)transforms.ToTensor()會(huì)報(bào)錯(cuò)。這個(gè)檢查在dataset.py的__getitem__里必須加原始代碼常漏。數(shù)據(jù)集劃分比例訓(xùn)練集70%、驗(yàn)證集15%、測(cè)試集15%。但杭電要求測(cè)試集必須獨(dú)立于訓(xùn)練/驗(yàn)證——不能用sklearn.model_selection.train_test_split隨機(jī)分因?yàn)橥粡垐D可能被分到不同集導(dǎo)致數(shù)據(jù)泄露。正確做法是按文件名hashimport hashlib def get_split(filename): hash_val int(hashlib.md5(filename.encode()).hexdigest()[:8], 16) if hash_val % 100 70: return train elif hash_val % 100 85: return val else: return test這樣同一張圖無論何時(shí)加載都固定在同一個(gè)集答辯時(shí)可復(fù)現(xiàn)。4.3 模型訓(xùn)練與超參調(diào)優(yōu)實(shí)錄訓(xùn)練命令示例python train.py \ --data_dir ./dataset \ --model densenet121_bilinear \ --batch_size 32 \ --lr 0.01 \ --epochs 50 \ --save_dir ./checkpoints \ --resume ./checkpoints/best.pth關(guān)鍵超參邏輯batch_size32在3090上顯存剛好夠占用約10.2GB若調(diào)到64會(huì)OOMlr0.01DenseNet用SGD時(shí)的合理起點(diǎn)太大易震蕩太小收斂慢--resume用于斷點(diǎn)續(xù)訓(xùn)因?yàn)?0 epoch可能中途停電train.py里必須有torch.save({epoch: epoch, model_state_dict: model.state_dict(), ...}, path)保存完整狀態(tài)學(xué)習(xí)率調(diào)度用StepLRstep_size20gamma0.1——即每20 epoch lr×0.1。為什么不用CosineAnnealing因?yàn)楸究茢?shù)據(jù)集小cosine在后期lr過小1e-5梯度更新無效。StepLR在30-40 epoch間保持lr0.001足夠微調(diào)。驗(yàn)證階段必須輸出三樣?xùn)|西混淆矩陣sklearn.metrics.confusion_matrix、Top-1/Top-5準(zhǔn)確率、Grad-CAM熱力圖?;煜仃囉胹eaborn.heatmap()可視化但要加annotTrue, fmtd顯示數(shù)字否則答辯時(shí)委員看不出哪類易混淆。Grad-CAM實(shí)現(xiàn)要點(diǎn)target_layer是最后一個(gè)dense block的norm5層DenseNet-121的BN層名不是conv層——因?yàn)锽N層輸出更穩(wěn)定。代碼里常錯(cuò)寫成conv5導(dǎo)致熱力圖全黑。4.4 模型測(cè)試與結(jié)果可視化交付測(cè)試腳本test.py必須生成三類輸出定量結(jié)果results.csv列包括image_name, true_label, pred_label, confidence, top5_labels定性分析gradcam/文件夾每張測(cè)試圖對(duì)應(yīng)熱力圖疊加原圖答辯材料report.pdf用matplotlib自動(dòng)生成含準(zhǔn)確率曲線、混淆矩陣、典型熱力圖案例Grad-CAM生成關(guān)鍵代碼from pytorch_grad_cam import GradCAM from pytorch_grad_cam.utils.image import show_cam_on_image # 加載模型確保model.eval()和torch.no_grad() cam GradCAM(modelmodel, target_layers[model.features.denseblock4.denselayer16.norm5]) targets [ClassifierOutputTarget(0)] # 目標(biāo)類別0是貓 grayscale_cam cam(input_tensorinput_tensor, targetstargets)[0] # input_tensor是preprocessed image tensor (1,3,224,224) cam_image show_cam_on_image(rgb_img, grayscale_cam, use_rgbTrue)注意target_layers必須指定BN層rgb_img是原始0~1范圍的numpy array不是tensor。原始代碼若用cv2.imshow()顯示熱力圖會(huì)偏色必須用matplotlib.pyplot.imsave()保存。report.pdf生成邏輯fig, axes plt.subplots(2, 2, figsize(12,10)) # axes[0,0]: accuracy curve # axes[0,1]: confusion matrix # axes[1,0]: gradcam example 1 # axes[1,1]: gradcam example 2 plt.savefig(report.pdf, bbox_inchestight)答辯時(shí)直接打開PDF比口頭描述直觀十倍。5. 常見問題與排查技巧實(shí)錄5.1 訓(xùn)練過程異常問題速查問題現(xiàn)象可能原因排查命令解決方案CUDA out of memorybatch_size過大或feature map未釋放nvidia-smi看顯存占用降低batch_size至16或在forward后加del feature_mapNaN losslearning rate過大或數(shù)據(jù)含inftorch.isnan(loss).any()lr從0.01降到0.005檢查數(shù)據(jù)是否有nannp.isnan(img).any()val_acc stuck at 50%數(shù)據(jù)集標(biāo)簽全一樣或loader shuffleFalseprint(next(iter(train_loader))[1][:5])檢查dataset文件夾結(jié)構(gòu)確保子目錄名是類別名Grad-CAM全黑target_layer指定錯(cuò)誤或model未eval()print(list(model.named_modules()))確認(rèn)layer名加model.eval()和torch.no_grad()特別提醒val_acc stuck問題90%是數(shù)據(jù)集路徑寫錯(cuò)。比如--data_dir ./dataset但實(shí)際路徑是./data/dataset代碼里os.listdir(data_dir)返回空列表DataLoader默認(rèn)返回0acc恒為隨機(jī)猜測(cè)值二分類就是50%。必須在dataset.py開頭加assert os.path.exists(data_dir), fdata_dir {data_dir} not exists assert len(os.listdir(data_dir)) 0, no subfolders in data_dir5.2 代碼規(guī)范檢查清單杭電畢設(shè)代碼規(guī)范扣分點(diǎn)集中在三處PEP8、文檔字符串、Git提交。自查命令# PEP8檢查 pip install pycodestyle pycodestyle --max-line-length120 model.py train.py # 文檔字符串檢查必須有module docstring和function docstring pip install pydocstyle pydocstyle model.py # Git提交信息檢查必須含issue號(hào)如fix #12: add dropout git log --oneline -n 5常見違規(guī)行長(zhǎng)超120字符torch.matmul(F, F.transpose(0,1))應(yīng)換行函數(shù)無docstringdef forward(self, x):上面必須有Forward pass with bilinear pooling.Git commit message無上下文git commit -m update會(huì)被打回重寫必須git commit -m feat(model): add CBAM attention to densenet backbone5.3 答辯現(xiàn)場(chǎng)高頻問題應(yīng)答策略委員最愛問三類問題答案必須脫稿Q為什么用DenseNet不用ViTA“ViT需要大量數(shù)據(jù)預(yù)訓(xùn)練CUB-200只有11788張圖ViT-base在小數(shù)據(jù)上表現(xiàn)不如CNN。我們實(shí)測(cè)ViT-tiny在驗(yàn)證集acc比DenseNet低3.2%且推理慢2.1倍?!盦雙線性池化計(jì)算量大怎么優(yōu)化A“我們用SVD壓縮到2048維外積計(jì)算從104萬降到6.5萬次浮點(diǎn)運(yùn)算單圖推理從32ms降到2ms滿足實(shí)時(shí)演示要求?!盦attention模塊真的有用嗎A“有用。熱力圖顯示加CBAM后模型聚焦區(qū)域從背景轉(zhuǎn)移到鳥喙和冠羽這是細(xì)粒度分類的關(guān)鍵判據(jù)。消融實(shí)驗(yàn)顯示mAP提升2.3%?!被卮鹪瓌t數(shù)據(jù)支撐 可視化證據(jù) 工程約束。不說“理論上”只說“實(shí)測(cè)結(jié)果”。5.4 畢設(shè)延伸與實(shí)用技巧答辯后常被問“后續(xù)怎么改進(jìn)”給出兩個(gè)接地氣方向移動(dòng)端部署用TorchScript導(dǎo)出模型再用ONNX Runtime在樹莓派4B上跑FPS達(dá)8.2。關(guān)鍵技巧導(dǎo)出時(shí)model.eval()輸入tensor加.contiguous()否則ONNX會(huì)報(bào)錯(cuò)。主動(dòng)學(xué)習(xí)優(yōu)化用當(dāng)前模型預(yù)測(cè)測(cè)試集選entropy最高的100張圖讓導(dǎo)師標(biāo)注重新訓(xùn)練acc可提1.5%。代碼只需加torch.nn.functional.softmax(logits, dim1)算entropy。最后分享一個(gè)血淚技巧答辯前一天務(wù)必在答辯教室電腦上git clone代碼從頭pip install跑一遍。我見過太多學(xué)生答辯時(shí)發(fā)現(xiàn)教室Python版本是3.8代碼要求3.9或者OpenCV版本舊cv2.cvtColor()參數(shù)名變了當(dāng)場(chǎng)崩潰。提前踩坑勝過臨場(chǎng)發(fā)揮。我在杭電指導(dǎo)畢設(shè)八年最深體會(huì)是代碼不求炫技但求穩(wěn)、準(zhǔn)、可復(fù)現(xiàn)。這份基于DenseNet的雙線性網(wǎng)絡(luò)代碼本質(zhì)是一套“本科畢設(shè)生存指南”——它教會(huì)你的不是如何發(fā)頂會(huì)而是如何在有限資源下做出一份經(jīng)得起拷問的扎實(shí)工作。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99色在线观看| 综合五月婷婷| 五月婷五月婷伊人伊人五月婷| 丁香五月婷婷啪啪| 99这里只有精品| 操91| 日韩精品一品二区三区的使用体验| 久久婷丁香五月| 99精品这里只有免费视频| 99免费| 婷婷丁香久久网| 激情综合色| 激情小说之五月| 成人网站av免费网站推荐| 激情五月天色色| 妻久久人久久| 国产精品五月天婷婷| 色爱综合网| 亚洲欧洲美女在线观| 色色色色网| 99re在线观看视频| 五月婷婷黄色| 大香蕉综合网| 99热在这里只有精品| 丁香婷婷六月激情综合| 激情五月,色五月| 91人人人人人人人| 色婷丁香91| 97人人操人人爽| 婷婷五月天免费视频在线观看| 婷婷五月天综合激情| 亚洲视频码| 国产精自产拍久久久久久蜜| 9999久久久久| 五月天色色网站| 丁香伊人网| www.99热这里精品| 六月婷婷开心| 色99色| 久久五月天色| 婷婷五月天综合AV| 九九色99| 1024日韩| 超碰在线观看三级片| 人人干av| 99噜噜噜在线播放| 久久免费高| 99国产精品久久久久久久久久久| 日本不卡一区二区三区| 婷婷九月久久| 久久久99日本大片| 激情久久综合网| 无码色| 五月婷婷之综合激情| 夜夜久久综合网| 婷婷五月天桃花网| 五月天激情综合网| 五月天丁香综合| 99精品视频偷拍| 大香蕉久热| 久久综合首页| 五月丁香美女| 五月婷婷色丁香| 人妻久久久久久久久妻久久久久| 99热99成人| 肏屄色播伊人97婷婷| 九月婷婷激情| 777精品久无码人妻蜜桃| 五月婷婷综合在线| 五月久久丁香| 久久久久亚洲AV无码网影音先锋| 激情五月天电影| 亚洲另类日本| 久色网址| 丁香五月天日韩无码| 99在线免费视频播放| 日本在线观看91| 亚洲成人无码免费| 丁香五月 综合| 久久久er热| 天天日婷婷| 中文AV网| 国产肥白大熟妇BBBB视频| 激情综合网婷婷五夜| 91猫咪国产在线播放| 4438国产免费看| 久久停停超碰| 中文乱子伦视频| 97超碰在线免费观看| 超碰在线91| 欧美交换配乱吟粗大25P| 激情6月| av最新在线| 欧美久热| h在线看免费版在线看| 成人片在线播放| 激情六月天| 色五月在线综合| 六月婷婷综合久久| 五月丁香六月婷婷开心网| 99热最新精品| 成人无码中文| 五月丁香六月婷婷综合免| 久久aaaa片一区二区| 另类激情五月| 亚洲激情六月| 婷婷丁香激情五月| 久久九九综合| 丁香六月狠狠| 六月丁香五月天| 婷婷天天五月天| 99久久亚洲精品视频| 国产另类综合| 97色婷婷| 99九九久久| 婷婷综合在线网| 激情综合网五月在线播放| 欧美VA在线观看| 91chinese在线| 亚洲AV成人精品网站在线播放| 激情四射网| 99色一| 亚洲色综合| 内射 无码 伊人| 天天摸天天舔在线视频| 99自拍视频| 婷婷五月娱乐在线| 成人性爱无码| 亚洲乱啪| 五月丁香六月激情在线| 99在线爽| 五月婷婷丁香五月婷婷丁香| 中文字幕五月久久婷婷| av人人干| 日本女人久久| 91视频五月丁香| 成人网在线观看视频| 五月婷在线观看| 亚洲热视频在线| 色色五月婷婷网| 午夜性爱影视一区77| 99精品在线播放| 九九热精品99| 久久香蕉网| 色狠狠色综合久久久绯色AⅤ影视| 99爱免费在线视频| 欧美熟女视频 色婷婷| site:jszngf.com| 久热中文字幕| 爆乳熟妇一区二区三区爆乳照片| 九九热99免费视频| 婷婷五月天社区| 成人五月丁香社区| 国产看真人毛片爱做A片| 五月激情啪啪啪| 91成人电影| 国产性爱色| 免费观看欧美成人AA片爱我多深| 一本色道久久综合狠狠躁小说| 噜噜久| 操操综合网婷婷| 日韩十国产极品久久| 99热99精品在线观看| 五月天激情婷婷五月天久久| 狠狠综合久久综合| 人妻av在线| 亚洲色情久久| 欧美97超碰| 天天爽夜夜爽天天爽夜夜爽| 成人综合AV| 色婷婷成人网| 婷婷激情六月综合| 欧美123区免| 久久性爱视频网站| 成人在线网址| 久久一级AV| 99久久精品网| 一本久道综合99| 色区久久| 激情综合色五月丁香六月亚洲| 91狼友视频网页更新| 亚洲综合丁香五月天| 日本一区二区三区精品视频| 五月天精品视频| 日本在线视频手机播放五月婷| 全网最新网黄大秀直播高清,主播国产录屏在线 | 综合伊人久久| 精品一二三区久久AAA片| 最新久久网址| 亚洲婷婷激情888精品久| 天天五月天综合网址| 777精品久无码人妻蜜桃| 婷婷在线免费| 丁香五月色综合色播五月| 婷婷免费视频| 久久A区B区| 亚洲一二三网| 五夜婷婷| 99热最新网址| 日韩黄色网络| 六月丁香啪啪啪| 久草五月天电影网| 六月婷婷最新网址| 五月婷婷婷婷| 激情小说 五月天| 91天堂网综合| 激情婷婷五月天| 激情网站综合五月天| 五月婷婷丁香日韩在线| 亚洲色碰| 国产探花AV在线| 一区二区你懂的| 2017狠狠干| 99热r| 五月丁香啪| 99免费视频在线观看爱| 五月婷婷av| 熟妇无码乱子成人精品| 99热这里都是精品| 五月天婷婷色播| 色天天综合| 亚洲五月天色色| 在线另类| 丁香婷婷深情五月亚洲| 五月丁香激情五月天| 4399无码视频二区| 大香蕉啪啪| 99国产小视频免费观看| 91人人澡人人爽人人看| 九色综合网| 丁香五月天视频| 777久久综合视频| 免费观看日韩成人av| 99热欧美| 天天激情欧美美女| 五月色精品| 色综合久久44| 99超碰人人| 丁香六月啪| 五月色综合网| Jh7Uf088VHafNm| 五月色婷婷影院| 久久艹 五月天| 五月天婷婷操逼视频| 狠狠色丁婷婷日日,伊人激情综合网| 99啪视频在线观看| 日韩AV在线影片| 另类激情综合| 天天干电影| 天天操天天操| 玖月婷婷爱丁香| 日韩视频女神99| 江苏少妇性BBB搡BBB爽爽爽| 激情开心五月婷婷| 五月玖玖| 日韩av在线免费观看| 99久操视频| 夜夜爽天天爽| 五月婷丁香| 噜噜狠狠色综无码久久合欧美| 天堂婷婷五月色| 五月婷网| 日韩欧美成人片| 久热精彩视频98| 激情综合五月婷婷| 97色干| 97碰| 综合大香蕉| www,天天干| 久久五月天激情视频| 欧美久热| 亭亭五月丁香综合欧美| av 一区三区四区| www.日本91| 任你操精品免费| 99热1| 亚洲激情av| 五月丁香六月婷婷亚洲天堂网站| 99色色网站| 色五月丁香激情视频| 激情综合激情五月| 天天日天天草| 亚洲人人操| 日本熟妇乱妇熟色A片蜜桃| 蜜桃五月天| 色婷丁香91| 五月丁香婷婷激激激综合网色播| 天天日天天摸| 色欲久久综合| 久久99精品久久久| 好吊操这里只有精品| 五月婷丁香在线视频在线| 狠狠狠狠狠操| 九九香蕉网| 中字幕视频在线永久在线观看免费| 日韩一区二区A片免费观看| 激情色五月天| 五月丁香美女视频| 五月天天天色| 中文字幕丰满孑伦无码专区| 超碰成人av| 成人操呦av| 久久久精品人妻录| 99无码| 白度黄视频| 综合大香蕉| 丁香五月色综合色播五月| 天天综合中文| 欧美私人家庭影院| 91成人品| 色婷婷六月丁香综合欲精品| 午夜天堂一区人妻| 婷婷五月天色色| 99热这里只有的精品视| 亚洲精品国产成人AV在线| 婷婷成人视频| 夜夜爱网站| 九九AV| 日韩成人精品中文字幕电影| 99re视频在线| 亚洲色碰| 亚洲看av的网站| 99爱免费视频| 亚洲成人综合在线| 51精品国自产在线| ...婷婷五月综合不卡,国产在线手机| 综合激情站| 影音先锋91在线资源站| 99色日本| 开心激情综合| 天天肏天天舔AV| 婷婷五月天最新综合你懂的 | 九八Av| 97人人草| 综合大香蕉| 午夜激情五月天| 亚洲精品视频在线播放| 九九精品re免费视频| 亚洲无码猫咪| aaa丁香五月天| 天天射射夜| 五月天天爽| 久久久久久综合88| BlACKEDRAW视频一区二区| 九九久久高清| 五月天婷婷色播在线网| 91婷婷色| 99在线资源视频| 五月丁香成人| 天天天操天天天日| 就爱操www com| 97色欧美| 色婷婷狠狠爱| 996er热| 九九AV在线| 九月激情综合| 亚洲中文字幕av| 久久538| 久久免费干| 欧美色小说婷婷| 色五月天天在线观看资源站| 99热综合| 五月婷婷之综合激情在线| 亚洲色精彩| 欧美一级操逼视频| 亚洲无AV在线中文字幕| 久九色| 99色免费视频| 亚洲婷婷五月天| 日韩在线观看亚洲| 天天色综合网吨吧| 亚洲视频在线观看| 一本久道综合色婷婷五月| 激情综合色五月丁香六月亚洲| 精品人妻在线| xx人人xx| 色色色激情| 操一区| 婷婷五月天少妇| 欧美美女视频| 伊人久久五月天综合| 五月婷婷黄网站大全| 丁香5月婷婷| 91精品啪| 久久丁香五月天| 色五月婷婷天天干| 九9九9无码| 很很操96| 五月丁香综合在线| 97操在线视频| 亚洲欧美婷婷五月色综合| 中文字幕亚洲-区久久99婷婷| 久久五月丁香激情综合| 色五月婷婷在线| 伊人久久大香网| 久热这里只有精品视频免费观看| 狠狠干综合网| 九月婷婷综合色干| 亚洲人人操BD| 91精品刘玥| 丁香五月婷久久| 色综合久久无码| 影音先锋色婷婷| www.夜夜操.con| 岛国AAAV| 老司机伊人| 操逼在线视频| 亚洲成人一区| 色八戒操婷婷| 色婷婷成人| 五月婷婷激情色情网| 黄色五月婷婷| 青青.com| 国产毛片精品一区二区色欲黄A片| 五月婷婷激情综合| 99精品网| 九九sese| av网址在线播放| 六月婷婷私欲| 任你艹| 丁香无月在线观看| 99热激情| 激情欧美婷五月| 99啪啪视频| 思思久久网| 91精品综合久久久久久五月丁香| 日本va欧美va欧美va精品| 色吧五月婷婷| 婷婷基地成人五月天| 五月丁香网站| 天天 日综合| 噼里啪啦在线观看免费完整版视频 | 久婷五月| 日本精品99| 97操操操| 九九家庭影院| 久综合4| 在线可以看的av网址| 超碰天堂网| 五月丁香操亭亭网| 4399在线观看免费毛片| 婷婷五月丁香久久| 婷婷五月天久久| 丁香五月性| 欧美日韩大黄| 热婷婷av| 综合久| 色播五月丁香| 韩日另类| 久久婷五月综合| 九九热最新| 成人永久免费视频在线观看| 欧洲色| 丁香五月人妻熟女| 九九人人看| 色99网| 国产va在线视频| 亚洲综合五月天婷婷| 热思思| 九九热re99re6在线精品| 亚洲五月天激情| 五月天婷婷激情干干| 婷婷国产成人| 色五婷婷| cc精品国产性传播| SESE无码AV| 五月丁花色综合网| 久久激情五月天| 婷婷丁香五月天小说| 色婷婷99| 无码网| 久鲁鲁色网| 婷婷月五天在线在线看| 99热国产这里只有| 五月丁香激情综合欧美| 啪啪干伊人婷婷| 亚洲欧洲色色| 五月丁香狠狠爱婷婷综合| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 五月涩涩网| 夜丁香五月婷婷| 日韩六六久久电影| 热99热9| 色日本颜射| 狠狠狠狠狠狠| 99年操人人爽| 色婷婷AV久久| 色久影院| 五月丁香手机在线| 天天在线天天综合网色| 欧美激情五月| 五月天com| 婷婷五月情| AV在线中文| 这里只有精品视频99| www.99视频| 丁香五月婷婷影院| 91丁香色| 五月天久久网站| www.91操| 久久99久久99精品免观看软件| 五月婷丁香亚洲| 亚洲色色香蕉| 婷婷色五月天在线观看| 精品久久久中文字幕大豆网推荐理由| 葵花AV在线| 伊人婷婷福利网| 青青草婷婷久久| www.婷婷五月天.com| www.激情在线| 亚洲色另类| 婷婷色五月丁香六月欧美啪| 久久综合婷婷激情| 中文字幕在线日亚洲9| 这里只有精品视频在线观看免费| www.26uuu.com亚洲电影| 日本高清综合网五月丁香| 久久综合爱| 少妇AB又爽又紧无码网站| 狠狠色综合图片| 色婷婷av在线| 色噜噜在线| 操操自拍| 婷婷五月天亚洲综合网| 久久九精品| 激情五月综合| 1024操逼视频| www.日韩艹| 亚洲综合五月| 狠狠色综合五月人人| 五月丁香自拍| 就爱射中文字幕资源网| 五月丁香亭亭操逼| 综合精品99| 国产色色网站网址| 熟女激情网| 丁香五月瑟瑟| mmm1717.6dbm人人爱人人操| 丁香婷婷五月六月久久| 啪啪操网| 亚洲看av的网站| 操逼视频一区| 五月丁香婷婷啪啪综合| 色了色综合| 九九精品热| 色色色区| 激情五月婷婷综合| 丁香五月天AV在线 | 精品香蕉99久久久久网站| 久碰综合| www,婷婷| 精国产品一区二区三区A片 | 丁香五月人妻| 久re热视频| 美国天天日天天操| 日韩成人无码| 九九免费精品在线视频| 99色热| 六月丁香中文字幕| 五月丁香久久| 婷婷五月18永久免费网站| 99re欧美精品| 俺五月| 色色婷婷丁香| 欧美日综合| 六月丁香啪啪啪| 男人的天堂97| 思思热视频| 免费操超碰| 无月播播激情在线观看视频| 色五月激情五月| 人人爱天天摸摸天天爱| 狠狠操狠狠插| 丁香月五月天婷婷久久| 日本少妇裸体做爰高潮片 | 俺也去在线视频 | 五月丁香婷婷成人综合网| 亚洲六月综合激情久久下卡| 天天做天天爱天天日| 99在线精品视频| 婷婷午夜| 激情六月天| 色婷婷视频| 亚洲精品亚洲人成人网| 丁香丁香激情网| 亚洲爆乳无码精品AAA片蜜桃| 天天五月丁香五月| 日韩啪啪网| 丁香五月婷婷色五月| 五月天社区| 精品久久人妻热| 亚洲日韩操B| 久久欧洲综合网| 色五月天 丁香| 色色色色网站| 亚洲xx网| 五月婷婷中文字幕| 五月丁香六月合| 久久婷婷七月丁香| 亚洲国产99| 99久久九九| 激情小说五月天| 五月天色婷婷小说| 五月丁香六月婷婷国产视频| 亲子乱av一区二区三区的| 五月天.com| 91色色色| seuuu婷婷| 五月丁香六月婷婷综合网站| 欧美色图天堂网| 99热这里有精品| 丁香五月综合亚洲| 影音先锋一区| 亚洲亚洲人成综合网络| 99久久www| 秋霞黄色一级久久| 玖玖婷婷免费| 成功精品影院| 久久国产一区二区三区| 99ER热精品视频| 色吊丝99| 激情综合五月色在线| 婷婷激情五月| 欧美三级大片AA在线看| 丁香五月第九色| 99在线热视频| 超碰A V在线| 婷婷五月天视| 婷婷性爱网| 碰人人97| 色五月婷婷激情五月| 超碰激情网| 绿色小导航AV| 伊人久久五月天| 婷婷五月天网| 丁香六月久久| 丁香五月成人网| 开心五月网| 成人婷婷| 亚洲色五月婷婷| 大香蕉视频婷婷| www.99热| 开心激情网五月天| 激情五月婷婷中文字幕| 做爱夜夜干天天操| www.97干视频| 六月婷欧美丁香综合| WWW久久久| 久久激情五月网| 欧美日韩AAAAA| 9l视频自拍9l九色成人| 丁香五月婷久久| 日韩av一区二区在线/日产精品久久久| 五月色婷| 五月丁香婷婷成人网| 91婷婷色| 婷婷色啪| 久操大香蕉| 97se视频在线| 大伊香蕉玖玖爱| 99热这里是精品| 97碰操| 婷婷色爱| 另类综合色| 色八戒操婷婷| 五月成人网站| 久久婷婷草| 五月丁香六月婷婷综合| www.久9| 五月天 无码| 亚洲精品444久久久久久| 色色 亚洲| 欧美性爱专区| 亚洲热视频在线| 一区二区aV电影免费看| 人妻啪啪啪| 99精品97| 91蜜桃婷婷狠狠久久综合9色| 男人天堂99| 激情网五月| 精品久久人妻热| 超PEN精品在线| 久久五月婷天天干| 超碰无码老师| 91婷婷在线| 最新久久网址| 99久在线观看| 天天综合网在线| 欧美婷婷| 色婷婷综合网| 成人精品在线| 婷婷97| 婷婷激情啪啪| 五月五月婷婷| 秋霞AV淫| 五月婷婷成人网首页| 国产精品激情AV久久久青桔| 思思国产99| 五月亭大香蕉| 色五月综合激情| 婷婷久久视频| 九九热内射| 野战毛片三一3| 五月天天堂久久| 99热手机在线精品| 啪到高潮激情丁香五月| 另类伊人婷婷| 伊人色综合网| 激情五月天小说网| 天天射影| 一区二区无码视频| 狠狠色婷婷7777久| 伊人九热| 8区视频在线| 亚洲avjiujiur91| 99精品久| 五月天色影院| 色情一区二区播放| 开心五月婷婷婷美女| 天天插天天射| 激情六月一二| 九九99在线免费在线观看视频| 人与禽A片啪啪| 91丨九色丨国产| 国产一级黄色影片,| 欧美人人超级碰| 久热婷婷| 精品九九视频在线观看| 五月丁香激情综合久久| 国产乱子轮XXX农村| 五月天大香蕉婷| 色色五月婷婷| 精品A√| 99视频在线精品免费观看2| 性色做爰片在线观看WW| 99啪视频在线观看| 久久狼人天堂| 九九视频这里只有精品在线播放| 毛片色五月| 99视频只有精品| 五月婷综合| 五月激情丁香五月| 五月丁香中文| 中国丰满熟女A片免费观| 久久视频婷婷| 五月丁香婷中文字幕| www色婷婷| 91九九九九九九| 狠狠干婷婷| 亚洲色激情| 亚洲天堂爱爱| Www.se.久久| 日本女天天爽| 五月色色激情网| 五月丁香激情综合| 久久久久久99精品无码| 五月天影院婷婷在线观看| 婷婷五月天综合AV| 婷婷五月性感| 丁香香五月激情免费视频| 久久精彩视频| 婷婷狠狠青青| 26UUU精品一区二区c〇m| 丁香六月婷婷综合| 亚洲熟妇无码乱子AV电影| 亚洲亚洲人成综合网络| 超碰成人免费| 婷婷五月花| 婷婷五月激情小说| 成 久久| 五月丁香色综合| 欧美婷婷精品激| 色综合五月婷婷狠狠干| 天天日天天干天天操| 91丨九色丨熟女| 一级黄色尤物综合视频手机在线观看| 伊人免费视频9| 五月丁香六月婷婷综合免| 黄网在线免费观看| 干一干xxxx| 人人干人人操人人摸| 日逼AV影音先锋男人资源站| 99er免费在线观看| 人人操AV| 激情综合网五月天天| 亚洲激情五月天| 久久99久久99久久99人受| 色呦呦美女| 99日本黄站| 五月婷婷丁香大陆免费| 婷婷伊人75| 五月天婷婷综合| 色色丁香色五月| 亚洲天天| 最新日韩久热免费视频看看| 亚洲五月停停| 五月丁香综合中文| 婷婷成人AV| 五月久熟女| 九月激情网| 丁香六月啪| 少妇激情五月天| 成人色色综合| 变态 另类 在线| 五月六月播婷婷| 亚洲色综合| 五月丁香视频在线观看| 欧美激情综合五月色丁香| 久久人妻系列| 久草五月丁香婷婷综合| 青青草五月天| 一操久久| www.操.com| 色五月丁香激情视频| 欧美A片在线视频免费观看| 亚洲精品激情| 五月天激情图片| 激情四射五月天| 五月天婷五月天综合网在线观| 国产成人精品一区二三区熟女在线| 激情综合网激情五月天| 丁香五月天激情五月天激情五月天激情网| 久久综合婷婷| 久久丁香五月婷婷| 综合婷| 99久久久免费| 丁香五月婷婷综合视频| 欧美A级成人婬片免费看理论| 激情深爱五月| 人人看人人97| 99热这里是精品| 丁香六月 婷婷六月| 亚洲偷| 五月亭亭开心网| 中文字幕在线免费观看视频| 婷婷五月天 丁香五月天 裸体| 丁香桃色网| 精a品a视a频| 五月丁香色停停啪啪啪| 亚洲中文字幕AV| 久久小视频免费| 亚洲视频1区| 欧美成人A片AAA片在线播放 | 五月丁香婷婷激情在线视频| 去色色五月天| 色爱综合网| 丁香五月六月婷婷自拍| 五月婷婷综合影院| 99综合视频| 日本成人噜噜噜| 久热这里只有精品性色AV| 九九伦子片| 深爱五月激情| 青青草蜜臀| 婷婷99热| 久操热线| 五月丁香婷婷久久| 丁香五月av在线| 久久9久| 我淫我色婷婷五月天激情四射| 国产精品成人AV在线| 欧美成人网婷婷综合在线| 九九re精品视频在线观看| 中国丰满熟女A片免费观| 激情五月天在线视频| 99高级会所久久| 2017人人操| 综合激情九月婷婷,激情综合婷婷中文字| 激情伊人五月天| 停婷丁五月在线| 天天色伊人| 91丨九色丨43老版熟女| 超碰99成人在线| 免费看欧美成人A片无码| 视频一二区| 99视频精品视频| 九九热这里只有精品23| 久久精品系列| 欧美啪啪五月天| 色丁香久综合在线久综合在线观看| 丁香五月婷婷色情综合| 亚洲成人在线在线| 久久婷婷五月天| 婷婷五月天伊人| 丁香五月欧美激情| 丁香伊人网| 久草热在线视频| 丁香五月激情五月开心五月| 色播五月丁香综合| 无码人妻一区二区三区四区| 大香蕉久久久久| 婷婷久久天堂网| 久久se 综合网| 欧美 日韩 人妻 高清 中文| 少妇大叫太大太粗太爽了A片 | 99综合97| 国产乱妇无乱码大黄AA片| 天天日天天舔| 色啪网| 激情五月激情综合网| 思思热视频| 狠狠色综合网站久久久久| 婷婷五月综合网| 丁香五月婷婷五月天| 五月天激情婷婷久久| 欧美激情凹凸丁香网| 99爱免费在线视频| 欧美97p| 另类小说五月天综合网| 五月天激情视频网站| 免费视频这里只有精品| 日本婷婷色日| 五月天色区| 91视频精品99| 天天爽人人综合免费7799| 九九热在线视频观看| 色色丁香| 91日本在线观看| 天天插天天插| 婷婷狠狠干| 伊人九九68| 婷婷丁香五月视频| 免费看欧美成人A片无码| 亚洲激情综合网| av在线免费播放| 97视频久久| 久久99久久99精品免视看婷| 日韩成人无码人妻| 欧美精品999| 激情综合五月婷| 婷婷五月天综合在线| 多精窝99在线视频| 91啪啪| 狠狠干总合| 欧美午夜乱妇午夜福利| 天天爽天天爽夜夜爽| 国产精品成人AV在线观看春天| 那里有AV网址| 99操视频| 99热精国产这里只有精品| 婷婷无五月无码视频| 色欲日日躁| 天天激情站| 拳交大逼| 九九99香蕉在线视频播放| www.99视频| www.无码com| 五月丁香婷婷免费视频| 一操久久| 天天日天天干天天操| 婷婷五月综合网| 久99热| 色五月成人在线| 中文字幕成人影视| 五月婷婷色播| 五月丁香| 综合色综合| 婷婷丁香综合在线| 激情久久综合| 操人妻90p| 99热传媒| 日韩高清成人| 日韩色色小视频| 潘金莲AAAAAAAAAA| 久久538| 精品99这里有| 国产一区二区av免费| 五月婷婷免费在线观看视频| 精品一二三区久久AAA片| 无码成人播放器| 久久六月天| www.操逼comm| 日韩欧洲亚洲| 婷婷激情五月天激情小说| 色婷婷五月影视| 能看的av| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 在线中文亚洲| 色婷婷五月天视频在线| 色色亚洲| 九九色欲网| 婷婷夜夜操| 五月丁香六月婷| 夜夜爱伊人| 久久思思热视频| 丁香六月啪啪| 欧美日本VA| 深爱激情五月网| 大香蕉网 久久| 综合激情开心五月| 色999亚洲人成色| 色色色色色色综合网| 中文字幕成人| 另类激情五月| 婷婷五月丁香综合桃花色网| 五月婷婷九| 国产激情久久久| 婷婷成人综合| 日本色综合| 日比视频91| 五月婷婷co.m| 色婷婷小说| 成人噜噜网| 97天堂| 婷色综合| 婷婷综合伊人丁香| 五月丁香影视| 五月婷婷啪啪| 九九久久综合网站| 久久97| 97狠狠碰| 疯狂做受XXXX高潮A片| 激情六月综合| 人人舔人人色人人高潮| 97碰碰视频在线观看| 91综合视频丁香| 婷婷久久大香蕉| 五月婷婷狠狠干| 激情深爱五月婷婷| 99免费热视频在线| 日韩有码一区| AⅤ网站在线看| 99热这里只有精品免费| 婷婷丁香五月综合免费视频百花| 婷婷天天综合| 91丨九色丨东北熟女| 婷婷基地成人五月天| 激情人妻蜜夜系列区| 中文字幕综合网| 激情深爱五月天| 99热久草| 天天天天天色| 九九爱这里只有精品| 亚洲婷婷91丁香| 精品五月天| 久久99看免费| 97婷婷丁香| 五月婷婷三级| 五月丁香网站| 丁香五月婷婷激情123| 伊人狠狠狠综合| 国产精品99久久久久久久女警| 色婷婷综合网| 日本九九九九| 丁香婷婷色五月激情综合| 九九热经典视频在线观看| 婷婷五月综合婷婷| 五月婷久久| 色色色干| 亚洲天99| 丁香五月电影院在线观看| 伊人九九九久| 久久成人亚洲欧美电影| 五月色情| 国产精品涩涩涩视频网站| 丁香五月六月婷婷综合| 另类激情中文| 婷婷五月天视频亚洲| 岛国AV网| 亚洲色婷婷五月| 婷婷丁香五月综合网上| 色婷婷激情五月天在线观看| 激情综合婷婷| 日日懆天天懆| 色爱终和网| 久久人妻伦理| 99精品福利视频| 色婷婷六月丁香综合欲精品| 婷婷五月激情六月| 五月丁香婷婷AV| 五月丁香六月激情在线| 五月丁香偷拍| 五月婷婷啪啪| 色五月激情综合| 伊人久久大香蕉网| 九九热免费| 五月丁香综合| 91久久日日| 级人人91| 丁香五月婷综合| 激情av在线| 天天搡日日搡aaaaⅩ| 色婷婷色99国产综合精品| 久久伊人五月天| 5月色亭亭视频| 激情六月下句是什么| 婷婷久久六月天| 婷婷.com| 五月婷婷丁香五月婷婷丁香| 五夜婷婷| 色婷婷香蕉| 艳妇野外情欲放荡HD| 欧美婷婷色五月网| 最新日韩久热免费视频看看| 久久婷婷丁香| 99久re热视频精品98| 久久综合伊人综合在线| 丁香五月婷婷欧美成人色图| 夜夜骑夜夜撸| 俺去也五月天| 五月天婷婷基地| 亚洲精品又粗又大又爽A片| 亚洲深喉aV| 婷婷五月激情综合啪啪| 中文字幕成人| 婷婷五月天亚洲色| 可以看的av网站| 天天干天天爽| 亚洲12p| 狠狠色色综合| 丁香五月色| 婷婷丁香一月| 丁香婷婷五月基地| 热久国产| 五月丁香成人网| 日韩五月婷婷久久| 91丨九色丨大屁股| 5月婷婷综合| 五月天婷a| 超碰免费成人| BBWCUCKOLD精品熟妇| 亚洲天堂制| 97福利视频| 深爱激情网噜噜色| 亚洲精品99| 婷婷丁香六月| 久久婷婷大香蕉| 丁香六月啪啪| 久久AV电影| 色玖玖| 婷婷色五月大香蕉在线| 丁香六月色婷婷| 色狠狠色噜噜噜a天堂一区| 亚洲成人中心| 婷婷丁香五月综合网| 欧美99热| 色区域网站视频| 五月天婷婷视频| 国模狼狼| 亚洲综合在线伊人婷| 五月婷婷,六月丁香| 色色网站在线| 超碰2021| 婷婷五月亚洲综合| 六月丁香综合| 99视频在线观看地址| 六月丁香色色| 五月天色婷婷成人| 五月丁香在线| 丁香五月性爱爱五月| 五月天激情在线视频| 天天爽天天| 极品人妻VIDEOSSS人妻| 久久婷婷精品| 欧美日韩一区二区三区四区| 任你爽精品免费视频6| 亚洲熟妇AV乱码在线观看| 日韩99视频| 久热精品视频| 久久亚洲婷婷| 日韩AV片| 深爱激情五月天| 超碰婷婷色| 热久久77777| 色五月大香蕉| 99热全是精品| 这里只有精品免费视频在线观看| 五月天成人综合| 天堂久久性| 色婷婷色五月天| 亚洲乱码日产精品BD| 色色婷| 色婷婷AV在线| 亚洲国产网址| 视色综合| 久99| 玖玖婷婷五月天| 9久久婷婷国产综合精品性色| 五月丁香六月婷婷综合| 婷婷五月综合在线视频| 无码AV免费精品一区二区三区| 五月天婷婷av| 色婷婷综合影院| 2015WWW永久免费观看播放| 九九热在线视频,| 偷偷与邻居做爰完整视频| 久久久com| 99热久草| 玖玖午夜视频| 丁香五月婷婷五月| 色婷婷狠狠久久综合五月| 欧美丁香五月天| 在线播放人妻| 色婷婷在线综合色播网| 色色色99| 超黄亚洲瑟瑟网站| 九月久久婷婷| 成人在线精品| 热思思九九| 久久九九九九| 99色这里| 99爱免费在线视频| 久久久com| 亚洲无码影音| 色婷婷五月色| 五月丁香婷婷激情澎湃四射| 色婷婷丁香五月| 久久成人亚洲欧美电影| 激情小说五月天社区丁香 | 久草天堂| 欧美日韩一区二区三区四区| 97影院一级片| 人妻操在线看| 这里只有精品1| 啪啪视频99| 色婷婷亚洲婷婷| 夜夜爽天天爽| 蜜臀AV在线观看| 五月婷婷欧美| 久久久久思思热| 综合久| 大香蕉久久草| 97色色色色色| 激情深爱五月天| 久久五月天婷婷| 美国十月色婷婷在线观看| 国产精品久久久爽爽爽麻豆色哟哟| 色狠狠色综合久久久绯色AⅤ影视| 久久机热这里只有精品| 欧美这里只有精品| 色婷成人狠干| 操啊操av| 色吧综合网| 久久五月丁香| 天天在线XXX| 亚洲亚洲人成综合网络 | 精品五月丁香| 五月丁香啪啪综合| 91岛国片| 色婷婷综合视频| 狠狠CAO日日穞夜夜穞AV| 五月色婷婷亚洲 | 亚州欧美黄色电影| 99久久a线观| 激情五月天婷婷五月天| 92国产福利| 99无吗| 欧美碰碰碰| 五月婷婷激情综合视频| 色婷久久| 91狠狠色丁香婷婷综合久久精品| 99ri国产在线| 亚洲成人AV在线播放| 丁香六月婷婷五月婷婷| 五月天色欧美| 99免费| 美女视频图片久久91| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 成人亚洲精品久久久久| 九九色人| 丁香五月社区| 婷婷丁香综合色AV| 五月草视频| 久久大香蕉丁香| 五月丁香婷中文字幕| 五月婷护士|