欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

研究生模型改進(jìn)第一課:先跑通基線,再談加模塊

研究生模型改進(jìn)第一課:先跑通基線,再談加模塊 很多研究生剛開始接觸深度學(xué)習(xí)模型改進(jìn)時(shí)心態(tài)通常是找一個(gè)高大上的新模塊往網(wǎng)絡(luò)里一插訓(xùn)練一輪指標(biāo)漲了就是創(chuàng)新指標(biāo)沒漲就是模塊不行。說實(shí)話這種方式我見過太多最后的結(jié)果基本都差不多代碼改了一堆實(shí)驗(yàn)做了好幾版導(dǎo)師問“你的改進(jìn)點(diǎn)到底在哪”你說不清楚寫論文的時(shí)候也補(bǔ)不齊消融實(shí)驗(yàn)。這篇內(nèi)容我想按真正能落地的順序把“模型改進(jìn)、創(chuàng)新、添加模塊”這件事拆開講一遍。適合剛?cè)腴T的碩士生也適合正在復(fù)現(xiàn)論文、準(zhǔn)備做自己實(shí)驗(yàn)的本科生和工程師。我的核心觀點(diǎn)是改進(jìn)模型的第一課不是寫模型而是先搞清楚基線、環(huán)境、數(shù)據(jù)、評(píng)價(jià)指標(biāo)和實(shí)驗(yàn)記錄。這些東西沒做好后面所有“加模塊”都只是在自我感動(dòng)。1. 為什么研究生的“模型改進(jìn)”第一課不是改模型先糾正一個(gè)常見誤區(qū)模型改進(jìn)不是“找一個(gè)模塊懟進(jìn)去”這么簡(jiǎn)單。真正有效的改進(jìn)至少包含三層問題定義、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證。層與層之間是串行關(guān)系前一層沒做好后面就白做。很多研究生一上來就急著看論文里最新的注意力機(jī)制、最新的特征融合方式然后往自己的主干網(wǎng)絡(luò)里塞。結(jié)果會(huì)遇到三類典型問題模型能跑但指標(biāo)沒有提升甚至下降。顯存直接爆掉batch size 被調(diào)小最后訓(xùn)練不穩(wěn)定。代碼報(bào)錯(cuò)后無從下手不知道是自己改錯(cuò)了還是原本就有 bug。這些問題不是模型能力不夠而是前置工作沒做好。你要先確定一個(gè)可復(fù)現(xiàn)的基線再談改進(jìn)。1.1 先搞定環(huán)境、數(shù)據(jù)和基線第一步不是寫模型而是把環(huán)境搭好把數(shù)據(jù)準(zhǔn)備干凈把原始模型跑通。建議按這個(gè)順序來確定框架版本。PyTorch 和 TensorFlow 都行但作為學(xué)術(shù)改進(jìn)PyTorch 更常見一些。確定 Python 版本。不要用太新的也不要太舊的。一般 PyTorch 官方支持的穩(wěn)定版本區(qū)間內(nèi)選一個(gè)即可。準(zhǔn)備數(shù)據(jù)。無論你用的是公開數(shù)據(jù)集還是實(shí)驗(yàn)室數(shù)據(jù)至少要保證訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分固定。跑通一個(gè)原始模型。這個(gè)原始模型就是你后面所有改進(jìn)的對(duì)比基準(zhǔn)也叫基線模型。這里有一個(gè)很容易踩的坑很多人直接下載一個(gè) GitHub 項(xiàng)目然后換數(shù)據(jù)、換模塊跑出來一個(gè)數(shù)字根本不確認(rèn)這個(gè)數(shù)字在原始代碼里是否可復(fù)現(xiàn)。正確做法是先不加任何改動(dòng)用項(xiàng)目自帶配置或者論文里的配置把基線指標(biāo)復(fù)現(xiàn)一次。如果基線都復(fù)現(xiàn)不出來后面你改完模型得到的任何提升都沒有說服力。1.2 把原模型跑通再談改進(jìn)把原模型跑通意味著你要完整走完四個(gè)環(huán)節(jié)數(shù)據(jù)讀取、前向傳播、反向傳播、驗(yàn)證評(píng)估。你可以先用一條命令跑一個(gè)極小的實(shí)驗(yàn)python train.py --config configs/baseline.yaml --max_epochs 1如果項(xiàng)目沒有這種參數(shù)化配置可以改在代碼里臨時(shí)指定迭代次數(shù)和 batch size。初始目標(biāo)不是訓(xùn)練出一個(gè)好模型而是確認(rèn)數(shù)據(jù)能正常加載沒有路徑亂碼。模型能正常前向沒有維度不匹配。loss 能正常下降而不是直接 nan。驗(yàn)證代碼能輸出指標(biāo)而不是只在訓(xùn)練集上自嗨。我第一次帶著學(xué)弟做實(shí)驗(yàn)時(shí)發(fā)現(xiàn)他把驗(yàn)證集和訓(xùn)練集的目錄寫反了。模型訓(xùn)練時(shí) loss 正常下降驗(yàn)證指標(biāo)也很高但換到真實(shí)測(cè)試數(shù)據(jù)上效果很差。查了三天最后發(fā)現(xiàn)是數(shù)據(jù)劃分的問題。這類問題在你開始“加模塊”之前暴露出來成本最低。1.3 建立實(shí)驗(yàn)記錄與評(píng)價(jià)指標(biāo)表研究生的實(shí)驗(yàn)記錄不能靠腦子記。需要的表格其實(shí)很簡(jiǎn)單實(shí)驗(yàn)編號(hào)、修改內(nèi)容、數(shù)據(jù)集、輸入尺寸、batch size、epoch、初始學(xué)習(xí)率、優(yōu)化器、最終指標(biāo)、顯存占用、訓(xùn)練時(shí)長(zhǎng)、備注。表格的作用有兩個(gè)一是讓你在投稿或?qū)懻撐臅r(shí)有據(jù)可查二是讓你在調(diào)參時(shí)能快速定位“哪個(gè)改動(dòng)帶來了提升”。評(píng)價(jià)指標(biāo)也要提前確定。分類任務(wù)看準(zhǔn)確率、精確率、召回率、F1檢測(cè)任務(wù)看 mAP分割任務(wù)看 mIoU。不同任務(wù)指標(biāo)不同但原則一致不要只記錄一個(gè)指標(biāo)。因?yàn)槟慵拥哪K可能提升準(zhǔn)確率、犧牲推理速度也可能提升少數(shù)類別的召回、拉低整體精度。只記一個(gè)數(shù)字很難判斷模塊到底是不是“凈增益”。2. 改進(jìn)模型前先把這些模塊看懂“加模塊”聽起來很容易但你要加得有理有據(jù)至少要認(rèn)識(shí)主流的模塊類型。下面按深度學(xué)習(xí)模型最常見的組成來拆開講。2.1 主干網(wǎng)絡(luò)Backbone主干網(wǎng)絡(luò)負(fù)責(zé)從原始輸入中提取特征。常見的有 VGG、ResNet、MobileNet、EfficientNet、ConvNeXt 以及各種基于 Transformer 的 ViT 系列。改進(jìn)主干網(wǎng)絡(luò)的核心思路一般是把普通卷積換成深度可分離卷積減少參數(shù)量。把標(biāo)準(zhǔn)殘差塊換成帶注意力機(jī)制或重參數(shù)化結(jié)構(gòu)的塊。引入多尺度信息讓淺層特征和深層特征能同時(shí)被利用。但要注意主干網(wǎng)絡(luò)改動(dòng)對(duì)訓(xùn)練穩(wěn)定性和預(yù)訓(xùn)練權(quán)重影響很大。如果你要換主干建議優(yōu)先選擇有 ImageNet 預(yù)訓(xùn)練權(quán)重的版本否則從頭訓(xùn)練的網(wǎng)絡(luò)很難收斂。2.2 特征融合模塊Neck / FPN / Transformer Encoder特征融合是目標(biāo)檢測(cè)和分割任務(wù)里的高頻改動(dòng)點(diǎn)。典型模塊是 FPN也就是特征金字塔。它把不同層級(jí)的特征進(jìn)行融合讓淺層位置信息和深層語義信息結(jié)合起來。常見的“加模塊”操作包括在 FPN 里加注意力模塊。把簡(jiǎn)單的特征相加改成特征拼接再加 1x1 卷積做通道壓縮。引入 PANet 的雙向融合、BiFPN 的加權(quán)融合等。這類模塊改動(dòng)通常不改變主干網(wǎng)絡(luò)所以原有預(yù)訓(xùn)練權(quán)重基本可以繼續(xù)用訓(xùn)練難度相對(duì)低一些。2.3 檢測(cè)頭與損失函數(shù)Head Loss檢測(cè)頭負(fù)責(zé)從特征中預(yù)測(cè)目標(biāo)位置和類別。改進(jìn)檢測(cè)頭的常見方向是設(shè)計(jì)更輕量的解耦頭或者把分類和回歸分支分開得更徹底。損失函數(shù)也值得看。交叉熵、Focal Loss、GIoU Loss、CIoU Loss 在不同任務(wù)上表現(xiàn)差異很大。從“加模塊”的角度看損失函數(shù)不一定算模塊但它和模塊是配套的。比如你給模型加了一個(gè)新的注意力模塊最終生效還要看損失函數(shù)能不能把梯度傳到對(duì)應(yīng)位置。如果損失函數(shù)本身不匹配模塊就白加。2.4 激活函數(shù)與歸一化激活函數(shù)和歸一化層雖然小但影響非常大。常見激活函數(shù)有 ReLU、Leaky ReLU、GELU、SiLU / Swish、Mish 等。常見歸一化有 BatchNorm、LayerNorm、InstanceNorm、GroupNorm。加模塊時(shí)經(jīng)常會(huì)被問到“你用了什么激活函數(shù)”。如果你的模型結(jié)構(gòu)比較深GELU 或 SiLU 往往比 ReLU 更平滑訓(xùn)練也更穩(wěn)定。如果你處理的是小 batch sizeBatchNorm 很容易不穩(wěn)定可以考慮換 LayerNorm 或 GroupNorm。2.5 注意力機(jī)制、可變形卷積、重參數(shù)化這類常見組件“加模塊”最常加的是以下幾類注意力機(jī)制SE、CBAM、ECA、CA、Self-Attention、Swin Transformer 里的 Window Attention。可變形卷積Deformable Convolution適合幾何形變比較大的目標(biāo)。重參數(shù)化RepVGG 這類結(jié)構(gòu)訓(xùn)練時(shí)用多分支推理時(shí)合并成單分支兼顧訓(xùn)練效果和推理速度。多尺度融合ASPP、PPM、SPP / SPPF適合語義分割和檢測(cè)。這些組件本身都是可復(fù)用的但你必須知道每個(gè)組件的輸入輸出形狀、計(jì)算量、是否改變通道數(shù)、是否影響梯度流動(dòng)。不然加進(jìn)去之后很容易出現(xiàn)維度對(duì)不上、訓(xùn)練速度驟降、loss 不收斂這類問題。3. 手把手演示給分類網(wǎng)絡(luò)添加一個(gè)注意力模塊下面我用一個(gè)非常具體的例子演示如何給一個(gè)卷積分類網(wǎng)絡(luò)添加一個(gè)注意力模塊。操作步驟并不難難的是每一步你都要知道為什么。3.1 場(chǎng)景設(shè)定假設(shè)我們現(xiàn)在用的是 ResNet18處理一個(gè) 10 分類圖像分類任務(wù)。數(shù)據(jù)是 224x224 的 RGB 圖片batch size 是 32。改進(jìn)目標(biāo)是在 ResNet 的 BasicBlock 殘差連接之后加一個(gè)輕量級(jí)的通道注意力模塊。為什么選 BasicBlock 而不是整個(gè) ResNet 的最后一層因?yàn)闅埐顗K是網(wǎng)絡(luò)的基本組成單元加在殘差塊內(nèi)部能讓注意力機(jī)制在每個(gè)階段都發(fā)揮作用。相比只在網(wǎng)絡(luò)最后加一個(gè)注意力模塊這種改法對(duì)特征的影響更全面。3.2 修改模型文件的步驟具體代碼以 PyTorch 為例。你要找到 ResNet 源代碼里的 BasicBlock在殘差分支輸出后面加入一個(gè) SE 模塊。SE 模塊實(shí)現(xiàn)如下import torch import torch.nn as nn class SEBlock(nn.Module): def __init__(self, channels, reduction16): super().__init__() self.squeeze nn.AdaptiveAvgPool2d(1) self.excitation nn.Sequential( nn.Linear(channels, channels // reduction), nn.ReLU(inplaceTrue), nn.Linear(channels // reduction, channels), nn.Sigmoid() ) def forward(self, x): b, c, _, _ x.size() y self.squeeze(x).view(b, c) y self.excitation(y).view(b, c, 1, 1) return x * y然后把 BasicBlock 里的 forward 改成def forward(self, x): identity x out self.conv1(x) out self.bn1(out) out self.relu(out) out self.conv2(out) out self.bn2(out) if self.downsample is not None: identity self.downsample(x) out identity out self.relu(out) # 添加注意力模塊 out self.se(out) return out注意這里我把 SE 加在了殘差相加和 ReLU 之后。有些論文會(huì)選擇加在相加之前效果會(huì)有差異。沒有統(tǒng)一標(biāo)準(zhǔn)你要通過實(shí)驗(yàn)對(duì)比才能確定哪種位置更適合你的任務(wù)。3.3 從論文到代碼的對(duì)應(yīng)很多研究生看論文能看懂公式但一到代碼就不知道實(shí)現(xiàn)哪里。這里給一個(gè)通用方法把論文里的網(wǎng)絡(luò)結(jié)構(gòu)圖畫成數(shù)據(jù)流向圖標(biāo)注每個(gè)步驟的輸出形狀。比如 SE 模塊輸入形狀[B, C, H, W]全局平均池化后[B, C, 1, 1]展平后[B, C]全連接壓縮到 C/r[B, C/r]全連接還原到 C[B, C]Sigmoid 激活[B, C]還原成 [B, C, 1, 1] 與原始特征相乘[B, C, H, W]只要形狀能對(duì)得上代碼就不會(huì)出大問題。3.4 最小改動(dòng)版本如果你嫌改 BasicBlock 的 forward 麻煩也可以直接寫一個(gè)新的 Block。但我覺得對(duì)于初學(xué)者來說最小改動(dòng)版本更安全。最小改動(dòng)版本的做法是在__init__里定義self.se SEBlock(self.out_channels)。在forward里按住標(biāo)準(zhǔn)殘差連接的方式插入即可。不要在同一個(gè)實(shí)驗(yàn)里同時(shí)改多個(gè)位置。先只在最后一層加看效果再?zèng)Q定要不要每個(gè) BasicBlock 都加。3.5 驗(yàn)證單批次前向、參數(shù)量、輸出形狀改完代碼后不要直接開始訓(xùn)練。先跑一段小腳本import torch from torchvision.models import resnet18 from models.resnet_se import resnet18_se model resnet18_se(num_classes10) x torch.randn(2, 3, 224, 224) y model(x) print(y.shape) total_params sum(p.numel() for p in model.parameters()) trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) print(fTotal params: {total_params}) print(fTrainable params: {trainable_params})這一步要確認(rèn)三件事前向輸出形狀是不是 [B, num_classes]。模型參數(shù)量相比原始 ResNet18 增加多少。推理不吃力顯存沒有明顯暴漲。如果輸出形狀不對(duì)說明你改動(dòng)的位置破壞了網(wǎng)絡(luò)整體結(jié)構(gòu)。如果參數(shù)量翻了好幾倍說明你的注意力模塊 reduction 設(shè)置得太小。SE 里的 reduction 常見值是 8 或 16越小代表中間層越寬參數(shù)量越大。4. 進(jìn)階改法給檢測(cè) / 分割模型加 Neck 或 Head如果你做的是目標(biāo)檢測(cè)或語義分割光是給分類網(wǎng)絡(luò)加注意力模塊還不夠。你需要改 Neck 或 Head。4.1 明確要改哪個(gè)文件、哪一行檢測(cè)類項(xiàng)目通常有清晰的目錄結(jié)構(gòu)。以 YOLO 系列為例一般有models/存放網(wǎng)絡(luò)結(jié)構(gòu)定義。cfg/存放網(wǎng)絡(luò)配置文件。utils/存放損失計(jì)算、數(shù)據(jù)處理等工具。train.py負(fù)責(zé)訓(xùn)練流程。改動(dòng)前先定位你的目標(biāo)模塊在哪。不要用 CtrlF 滿屏搜索先看網(wǎng)絡(luò)結(jié)構(gòu)配置文件。很多檢測(cè)框架把網(wǎng)絡(luò)寫成字典或列表形式每一層有 type、in_channels、out_channels、args 等字段。你要加模塊找到對(duì)應(yīng)層的位置按格式插入即可。4.2 保持輸入輸出形狀一致加模塊最容易出的問題是通道數(shù)或尺寸不匹配。舉例你在特征金字塔后面加了一個(gè)自注意力模塊它要求輸入特征圖是序列格式 [B, N, C]但你的特征圖是 [B, C, H, W]。如果不做轉(zhuǎn)換代碼直接報(bào)錯(cuò)。通用的解決辦法是在模塊外面做一個(gè)包裝器class SequenceAttention(nn.Module): def __init__(self, dim, num_heads): super().__init__() self.attn nn.MultiheadAttention(dim, num_heads) def forward(self, x): b, c, h, w x.shape x_flat x.flatten(2).permute(2, 0, 1) # [N, B, C] out, _ self.attn(x_flat, x_flat, x_flat) out out.permute(1, 2, 0).view(b, c, h, w) return out你不需要把注意力模塊改得特別花哨只要保證輸入輸出形狀和原特征圖一致訓(xùn)練才不會(huì)崩。4.3 如何加載預(yù)訓(xùn)練權(quán)重后繼續(xù)訓(xùn)練加了模塊之后模型的 state_dict 會(huì)多出新的鍵和原始預(yù)訓(xùn)練權(quán)重不一致。常見做法有兩種只加載能匹配的權(quán)重新模塊隨機(jī)初始化。凍結(jié)主干網(wǎng)絡(luò)前幾層只訓(xùn)練新模塊和后層。第二種方式更適合小數(shù)據(jù)集。因?yàn)樾履K隨機(jī)初始化如果一開始就用大學(xué)習(xí)率訓(xùn)練很容易把原有特征破壞掉。建議前幾個(gè) epoch 用較小學(xué)習(xí)率或者先把主干凍結(jié)住只訓(xùn)練新增模塊。代碼上可以用pretrained_dict torch.load(resnet18.pth) model_dict model.state_dict() pretrained_dict {k: v for k, v in pretrained_dict.items() if k in model_dict and model_dict[k].shape v.shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)這個(gè)寫法能兼容大部分情況。實(shí)際項(xiàng)目中如果新增模塊名字和原始模塊別名不一致還需要手動(dòng)映射鍵名。4.4 當(dāng)你發(fā)現(xiàn)訓(xùn)練 loss 不降時(shí)先查什么加了模塊后 loss 不降不要慌。按順序排查看 loss 初始值是不是明顯不合理。如果一開始就 nan大概率是學(xué)習(xí)率太大或輸入數(shù)據(jù)有問題。看新模塊輸出是否過小或過大。可以在模塊后打印均值、方差??粗鞲墒欠癖粌鲎×恕H绻麅鼋Y(jié)了主干但新模塊很淺可能學(xué)不到足夠特征。看 loss 曲線是震蕩不降還是完全不變。震蕩可以調(diào)低學(xué)習(xí)率完全不變可能是梯度沒傳到新模塊。有一個(gè)經(jīng)驗(yàn)新模塊加進(jìn)去之后如果 loss 比基線降得更慢不一定是“沒用”也可能是你學(xué)習(xí)率沒有重新調(diào)。模塊變深之后梯度流路徑變長(zhǎng)原來的學(xué)習(xí)率可能偏大或偏小都需要重新試。5. 研究生最容易踩的坑改一堆模塊實(shí)驗(yàn)卻無效下面這五個(gè)坑是我在帶學(xué)生和復(fù)現(xiàn)論文過程中反復(fù)遇到的。5.1 沒有基線沒有基線你的所有改進(jìn)都沒有參照物。哪怕你最后指標(biāo)是 90%你也說不清楚原始模型是不是 89%你的貢獻(xiàn)到底是什么。有同學(xué)會(huì)問原始模型只有 88%我改完是 90%這不就是提升了 2% 嗎問題是這 2% 到底是模塊帶來的還是因?yàn)槟阌?xùn)練隨機(jī)性更大、數(shù)據(jù)增強(qiáng)更強(qiáng)、訓(xùn)練輪次更多沒有控制變量結(jié)論不成立。5.2 參數(shù)對(duì)不齊、隨機(jī)種子不固定深度學(xué)習(xí)訓(xùn)練有隨機(jī)性同樣的代碼跑兩次指標(biāo)都可能差 0.3% 到 0.5%。如果你改模塊前后沒有固定隨機(jī)種子那么哪怕模塊沒用也可能因?yàn)殡S機(jī)種子不同導(dǎo)致指標(biāo)上漲給你虛假信心。建議在訓(xùn)練腳本里設(shè)置統(tǒng)一隨機(jī)種子import random import numpy as np import torch def set_seed(seed): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed)然后每個(gè)實(shí)驗(yàn)都記錄使用的種子值。5.3 訓(xùn)練不充分就下結(jié)論我見過很多同學(xué)訓(xùn)練 20 個(gè) epoch看到驗(yàn)證集指標(biāo)沒提升立刻覺得自己的模塊沒用。但很多時(shí)候改進(jìn)模塊需要更長(zhǎng)時(shí)間才能體現(xiàn)優(yōu)勢(shì)尤其是注意力機(jī)制前期可能先帶來波動(dòng)后期才穩(wěn)定提升。判斷標(biāo)準(zhǔn)應(yīng)該是基線模型和你改進(jìn)后的模型使用完全相同的訓(xùn)練配置訓(xùn)練相同的輪次然后對(duì)比。如果改進(jìn)后模型需要更多輪次才能超過基線也是一種結(jié)果但你要寫清楚訓(xùn)練成本。5.4 改多個(gè)變量導(dǎo)致無法歸因這是最致命的問題。你既換了主干網(wǎng)絡(luò)又加了注意力模塊還改了損失函數(shù)然后指標(biāo)提升了。請(qǐng)問到底是哪個(gè)改動(dòng)起到了決定性作用如果指標(biāo)下降了你也不知道該回滾哪個(gè)改動(dòng)。正確的做法是每次只改一個(gè)變量。示例第一次實(shí)驗(yàn)原始模型完整訓(xùn)練得到基線。第二次實(shí)驗(yàn)原始模型 SE 注意力其他一切不變。第三次實(shí)驗(yàn)原始模型 CBAM 注意力。第四次實(shí)驗(yàn)原始模型 SE 修改后的損失函數(shù)。這樣你才能知道每個(gè)模塊獨(dú)立貢獻(xiàn)了多少。5.5 顯存和 batch size 不一致導(dǎo)致比較不公平加了模塊后顯存占用變高于是你把 batch size 從 32 改到 16。最后發(fā)現(xiàn)指標(biāo)下降了。你可能會(huì)認(rèn)為是模塊沒用但實(shí)際是 batch size 變了影響了 BatchNorm 的統(tǒng)計(jì)特性和訓(xùn)練穩(wěn)定性。為了避免這種情況比較時(shí)盡量保持 batch size 一致。如果顯存不夠可以降低輸入分辨率。使用梯度累積。減少訓(xùn)練圖像的裁剪尺度。不要為了塞進(jìn)新模塊而隨意縮小 batch size這會(huì)引入額外的變量。6. 從“會(huì)加模塊”到“能發(fā)論文”的四步走如果你已經(jīng)不滿足于“跑通 提點(diǎn)”而是想做出真正能發(fā)論文的工作可以參考下面四步。6.1 第一步復(fù)現(xiàn)一篇論文跑出基線選一篇近期、方法不復(fù)雜、數(shù)據(jù)公開的論文。先別管創(chuàng)新按照原文設(shè)置復(fù)現(xiàn)一次拿到一個(gè)穩(wěn)定基線。這一步的價(jià)值是讓你知道一篇論文從方法到代碼的距離有多遠(yuǎn)也讓你積累一整套實(shí)驗(yàn)工具。很多論文在 GitHub 上都有官方實(shí)現(xiàn)但官方實(shí)現(xiàn)有時(shí)不能在別的數(shù)據(jù)上直接用。你復(fù)現(xiàn)的過程其實(shí)是一次“環(huán)境適配 模型結(jié)構(gòu)理解”的訓(xùn)練。6.2 第二步找到現(xiàn)有模型的一個(gè)具體瓶頸改進(jìn)模型最可靠的方向不是憑空造一個(gè)新模塊而是找到當(dāng)前方案在具體任務(wù)上的短板。比如小目標(biāo)檢測(cè)效果差可能是淺層特征利用不夠。遮擋場(chǎng)景識(shí)別差可能要引入上下文信息。分割邊界粗糙可能是損失函數(shù)過于關(guān)注整體區(qū)域。推理速度太慢可能是模型結(jié)構(gòu)過度復(fù)雜。找到瓶頸之后再想模塊怎么設(shè)計(jì)。這樣寫論文時(shí)Intro 和 Related Work 才有邏輯我先看到什么問題再針對(duì)問題設(shè)計(jì)了什么模塊。6.3 第三步設(shè)計(jì)可解釋的小改動(dòng)新模塊不一定非要特別復(fù)雜。審稿人最怕的是復(fù)雜到很難復(fù)現(xiàn)或者改動(dòng)多個(gè)點(diǎn)卻說不清哪個(gè)有用。一個(gè)合理的改動(dòng)通常是這樣的針對(duì)現(xiàn)有模塊的某個(gè)特定局限。改動(dòng)幅度小代碼量不大。有清晰的可視化或數(shù)學(xué)解釋。能通過消融實(shí)驗(yàn)證明每個(gè)組件都必要。比如你發(fā)現(xiàn)原模型的通道注意力只用了全局平均池化丟失了空間細(xì)節(jié)你可以加入全局標(biāo)準(zhǔn)差池化把兩種統(tǒng)計(jì)量拼接起來。這個(gè)改動(dòng)很小但解釋起來很清楚我們同時(shí)建模了通道均值和離散程度讓注意力更關(guān)注判別性區(qū)域。6.4 第四步做消融實(shí)驗(yàn)與可視化消融實(shí)驗(yàn)是論文里最關(guān)鍵的實(shí)驗(yàn)設(shè)計(jì)。所謂消融就是把你新增模塊中的每個(gè)組件依次拿掉看看效果變化。舉個(gè)具體例子你提出了一個(gè)模塊包含三個(gè)設(shè)計(jì)點(diǎn)坐標(biāo)注意力。多尺度卷積。重參數(shù)化結(jié)構(gòu)。你要做的實(shí)驗(yàn)至少包括基線模型?;€ 坐標(biāo)注意力?;€ 多尺度卷積。基線 重參數(shù)化結(jié)構(gòu)。基線 全部三個(gè)設(shè)計(jì)點(diǎn)。同時(shí)最好加上可視化分析。分類任務(wù)可以畫 Grad-CAM 熱力圖檢測(cè)任務(wù)可以畫特征圖響應(yīng)分割任務(wù)可以畫預(yù)測(cè)掩碼對(duì)比??梢暬苤庇^展示模塊帶來的改變也讓審稿人更容易接受你的貢獻(xiàn)。6.5 常見反饋和修改思路論文投稿后常見意見包括創(chuàng)新點(diǎn)不夠清晰。這時(shí)要把問題定義和模塊設(shè)計(jì)的關(guān)系再突出最好在引言里加一個(gè)問題示意圖。實(shí)驗(yàn)對(duì)比不充分。需要補(bǔ)更多同類型模塊的對(duì)比比如你已經(jīng)加了 SE就最好和 CBAM、ECA、CA 對(duì)比??蓮?fù)現(xiàn)性不足。要公開代碼、隨機(jī)種子、超參數(shù)配置。計(jì)算量分析缺失。要補(bǔ)充 FLOPs、參數(shù)量、推理延遲的對(duì)比表格。這些反饋其實(shí)都指向同一個(gè)問題你不僅要會(huì)改模型還要會(huì)從工程和實(shí)驗(yàn)設(shè)計(jì)兩個(gè)維度證明改動(dòng)的價(jià)值。7. 環(huán)境配置、依賴報(bào)錯(cuò)和“本地能跑”問題模型改進(jìn)這件事很多時(shí)候卡在最基礎(chǔ)的環(huán)境層。越早把環(huán)境整理干凈后面就越省心。7.1 環(huán)境先裝一個(gè)能跑的深度學(xué)習(xí)框架我建議研究生統(tǒng)一用 conda 管理環(huán)境一方面是環(huán)境隔離另一方面是方便復(fù)現(xiàn)。基礎(chǔ)環(huán)境可以這樣建conda create -n dl python3.9 conda activate dl pip install torch torchvision pip install numpy pandas matplotlib scikit-learn tqdm tensorboard如果你做的是目標(biāo)檢測(cè)或分割大概率還需要安裝一些額外依賴比如 pyyaml、opencv-python、thop、einops。不同的項(xiàng)目依賴不同不要看到一個(gè)項(xiàng)目要求裝什么你就裝一堆最好先用 requirements.txt 安裝pip install -r requirements.txt如果該項(xiàng)目沒有 requirements.txt你可以在跑項(xiàng)目前用pipreqs生成一個(gè)但生成的依賴不一定完整最終還是要以實(shí)際運(yùn)行報(bào)錯(cuò)為準(zhǔn)。7.2 依賴版本對(duì)應(yīng)關(guān)系深度學(xué)習(xí)項(xiàng)目最怕的是 PyTorch 和 CUDA 版本不對(duì)應(yīng)。你需要知道自己的顯卡驅(qū)動(dòng)能支持哪個(gè) CUDA 版本。PyTorch 的安裝命令里指定了哪個(gè) CUDA 版本。項(xiàng)目里有沒有用到需要特定版本才能編譯的擴(kuò)展模塊。最常見的問題是RuntimeError: CUDNN_STATUS_NOT_INITIALIZED這個(gè)報(bào)錯(cuò)可能由很多原因?qū)е伦畛R姷氖秋@存不足、CUDA 版本和 cuDNN 版本不匹配、多進(jìn)程初始化問題。遇到時(shí)先不要改代碼先查顯存占用再查nvidia-smi和 PyTorch 的 CUDA 版本。7.3 報(bào)錯(cuò)處理順序一個(gè)通用順序是先看完整報(bào)錯(cuò)棧定位到項(xiàng)目代碼里的哪一行再檢查這行涉及的數(shù)據(jù)形狀、設(shè)備、類型然后再考慮依賴問題。不要一上來就重新安裝 PyTorch。很多報(bào)錯(cuò)只是輸入維度不對(duì)或類型不對(duì)。比如你把 torch.Tensor 傳給了 numpy 函數(shù)或者把 CUDA tensor 和 CPU tensor 做了運(yùn)算這些都會(huì)報(bào)錯(cuò)但都不是安裝問題。報(bào)錯(cuò)信息是最直接的第一現(xiàn)場(chǎng)。先自己讀兩遍再復(fù)制關(guān)鍵詞搜索不要直接把整屏報(bào)錯(cuò)丟到群里。7.4 內(nèi)存、顯存、磁盤、日志本地跑深度學(xué)習(xí)實(shí)驗(yàn)除了看報(bào)錯(cuò)還要關(guān)注資源占用。顯存用nvidia-smi查看顯存剩余。如果爆顯存優(yōu)先減小 batch size、降低分辨率或者使用梯度累積。內(nèi)存數(shù)據(jù)增強(qiáng)時(shí)可能大量復(fù)制數(shù)據(jù)內(nèi)存不足容易導(dǎo)致進(jìn)程直接被殺??梢栽?dataset 里減少預(yù)加載或者用num_workers調(diào)低一點(diǎn)。磁盤訓(xùn)練日志、checkpoint、tensorboard 都很占空間。建議把輸出目錄固定定期清理舊模型。日志不要只保存模型不保存曲線。用 tensorboard 或 wandb 記錄 loss、學(xué)習(xí)率、準(zhǔn)確率等方便復(fù)盤。7.5 如果沒有 GPU 怎么跑如果你只有 CPU還是可以跑模型改進(jìn)相關(guān)的基礎(chǔ)實(shí)驗(yàn)但要注意三點(diǎn)模型盡量小ResNet18、MobileNet 這類輕量網(wǎng)絡(luò)可以跑ResNet50 也能跑但速度慢。數(shù)據(jù)集先抽樣比如一開始只用 10% 訓(xùn)練集驗(yàn)證代碼邏輯。不要直接開大步數(shù)訓(xùn)練。先用 1 個(gè) epoch 驗(yàn)證流程未來有 GPU 后再跑完整實(shí)驗(yàn)。模型改進(jìn)的本質(zhì)是實(shí)驗(yàn)科學(xué)你的代碼邏輯和實(shí)驗(yàn)設(shè)計(jì)在 CPU 上就能驗(yàn)證大半。唯一的問題是訓(xùn)練時(shí)間太長(zhǎng)不適合做大規(guī)模調(diào)參。8. 總結(jié)和留給你的行動(dòng)清單這篇文章寫下來核心思路其實(shí)就一句話模型改進(jìn)不是“加模塊”這個(gè)動(dòng)作本身而是圍繞“問題定位、模塊設(shè)計(jì)、實(shí)驗(yàn)驗(yàn)證”的一整套流程。能不能提分不完全取決于模塊有多新更取決于你在什么背景下加的模塊、怎么控制變量、怎么判斷結(jié)果。如果你現(xiàn)在正準(zhǔn)備開始做模型改進(jìn)我建議你按下面的行動(dòng)清單走先把環(huán)境搭好確認(rèn) PyTorch 和 CUDA 版本。下載一個(gè)帶預(yù)訓(xùn)練權(quán)重的標(biāo)準(zhǔn)模型比如 ResNet18 或 ResNet50跑通分類任務(wù)。固定隨機(jī)種子完整訓(xùn)練一次記錄基線指標(biāo)、顯存占用和訓(xùn)練時(shí)長(zhǎng)。選擇一個(gè)小而輕的模塊比如 SE 或 ECA加到網(wǎng)絡(luò)的指定位置。單批次前向驗(yàn)證確認(rèn)形狀和參數(shù)量變化。用和基線完全相同的配置訓(xùn)練對(duì)比指標(biāo)。如果指標(biāo)提升繼續(xù)做補(bǔ)充實(shí)驗(yàn)和可視化如果沒有提升先檢查訓(xùn)練是否充分、參數(shù)是否需要重調(diào)。每次只改一個(gè)變量記錄到實(shí)驗(yàn)表格里。深度學(xué)習(xí)領(lǐng)域里真正扎實(shí)的“創(chuàng)新”往往不是靈光一現(xiàn)而是把現(xiàn)有模塊用新的方式組合、改進(jìn)并驗(yàn)證。你不需要一開始就搞一個(gè)完全沒見過的模塊先把基本功練扎實(shí)把模塊和實(shí)驗(yàn)設(shè)計(jì)理解透后面自然會(huì)找到屬于自己的改進(jìn)點(diǎn)。如果這篇文章能幫你少走一點(diǎn)彎路那這次整理就是值得的。接下來打開你的代碼環(huán)境先把基線跑起來再說。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
西瓜美女a片| va亚洲中文在线| 97碰在线| 久久久久激情网| 婷婷五月激情六月| 免费97碰碰| 天天精品视频免费观看| 开心五月婷婷婷美女| 九九99热久久精品66中文字幕| 久久婷婷激情视频| 色色色色色日韩午夜激情| 色天天综合成人网| 97性高潮久久久| 人草人人| 操操人人| 国产特级毛片AAAAAAA高清| 久久狠狠色| 狠狠爱青青草| 色噜噜五月天| 婷婷狠狠97| 久热成人| 大香蕉视频婷婷| 五月天婷婷色综合| 色色色婷| 色综合大香蕉| 亚洲综合五月天婷婷丁香| 久色成人| 欧美五月丁香在线观看| 激情五月丁香色婷婷| 九九自拍网| 狠狠色色色| 五月婷婷丁香六月| 伊人久久艹| 天堂草在线看www| 噜噜色天天开心| 激情国产综合| 91热在线观看视频| 久久38视频| 粉嫩AV久久一区二区三区| 五月天婷a| 色999亚洲人成色| 九九综合网| 激情五月综合网| 色综合色五月| www.婷婷五月| 另类视频五月天| 婷婷社区五月天| 思思综合热| 色情性爱视频网址| 婷婷欧美激情综合| va婷婷在线| 色色色色色热| 丁香五月在线人妻| 再次出发二| 色五月综合网| 狠狠操.com| av激情在线| 最熟少妇乱码| 国产婷婷五月| 99九九综合久久九九| 婷婷丁香视频| 色久女| 亚洲殴洲精品Av在线| 92久久精品一区二区| 性爱久久| 精品欧美性爱超级爽| 久久99视频| 激情综合无码| av国产精品| 婷婷五月激情五月激情| 欧美三级巜人妻互换| 五月综合激情婷婷六月色窝| 91狼友视频网页更新| 婷婷丁香熟女| 五月狠狠| 伊人干综合| 91碰视频| 五月丁香 六月婷婷a| 五月丁香六月色婷婷综合五月天| 欧美综合丁香网| 五月花成人网| 99热这里只有精品5| 激情小说视频图片| 日本99在线视频| 91久久九久久九久久九久久九久久| 五月天激情综合| 五月婷六月婷婷| 色欲一二三| 天天摸天天舔| 欧美日韩999| 婷婷久久综合| 精品热九九| 九九久久腿| 四川操逼站| 操人精品| 色婷婷五月天激情久久| 五月丁香六月色| 99热首页| 内射爽无广熟女亚洲| 国产又色又爽又黄又免费| 99热精品在线观看| 婷五月天| 五月丁香婷婷在线综合蜜桃| 美女100%露全身无挡网站| 色丁香久久久| 97色在线| www.九九婷婷| 安息电影在线观看完整版| 精品人妻久久久| 99热免费在线| 亚洲成人免费电影| 狠狠久综合| 日韩九区| 久久99性爱| 99re视频在线播放| 狠狠色婷| 深爱五月激情综合| 天天操人人干| 日本高清久久| 九色综合五月天婷五月| 婷婷国产综合| 久久婷婷六月综合| 色色99| 波多野结衣不卡AV| 色婷婷狠狠爱| 青青草原99热| 丁香五月天黄色片| 综合久久十| www,色综合| 日日噜人人人做人| 色5月丁香婷婷| www.久久爱| www.五月天| 久久天堂婷婷五月| 婷婷丁香五月,狠狠综合| WWW.桔色成人.COM| 99操网站| 亚洲婷婷成人五月天| 色婷婷激情| 九九热在线视频| 成片免费观看大全| 激情六月婷| 婷色五月| 99操久久| 亚洲无码成人| 第四色网婷婷| 亚洲综合丁香五月天| 亚洲黄色影视| 日本99在线| 综合网五月天123| 色无码| 疯狂做受XXXX高潮A片| 综合狠久久| 天天久综合网永久入口17v| 婷婷六月色丁香视频在线观看| 99性爱| 久久性综合| 亚洲综合激情五月久久| 综合久久婷婷| 91一起操| 天天色亚洲| 九九色婷| 精品无码99| 九九在线精点品| 亚洲婷婷五月| 婷婷综合一二三| www.91av.com| 婷婷五月天免费| 婷婷99狠狠| 久久婷婷五月综合成人d啪| 国产在线网址1| 在线天堂9| 美女妹子后射视频网站在线观看| 91re色综合视频| 五月综合视频在线| 婷婷色在线| 色色婷婷五月天| 97色啪| 色五月自偷自拍婷婷婷婷| 99re在线这里只有精品视频首页| 久久密臀婷婷| 亚洲va国产va天堂va综合va| www.综合久久.com| 国产激情AV| 热99精品视频| 久久五月婷| 婷婷久久五月天丁香| 婷婷丁香五月激情密臀av| 五月婷婷国产| 欧美五月婷婷| 亚洲色色五月| 九九热10| 国产国产乱老熟女视频网站97| 国产老熟妇亲子乱对白| 亚洲人妻AV| 天天噜日日噜综合无码| 五月开心网| 天天做天天要天天爱| 色五月综合| 操操熟女| 色色色综合网| 五月色婷婷综合丁香精品无遮挡| 久久五月天激情| 激情欧美婷五月| 99久久国产宗和精品1上映| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 丁香婷婷视频一区二区| 五月天丁香综合在线| 五月婷婷av| 五月天婷婷丁香花| 亚洲九九视频| 婷五月丁香| 99热这里有精品| 婷婷激情欧美| 97五月综合网| 色婷婷久久| 天天色天天爽| 色约约视频一区二区三区四区五区 | 婷婷色五月综合| 婷婷色欧美激情| 亚洲色图啪啪| 五月婷婷丁香六月| 婷婷五月天开心激情网| 91热久久| 99视频这里有精品| 1区2区视频| 久久精彩免费视频精彩免费视频| 精品一区二区三区四区五区六区| 丁香六月久久| 深爱网深爱综合网| 99精品国产在热久久婷婷| 丁香五月欧美激情| 五月天色视频| 狠狠搞五月天| 99久高清视频| 99在线小视频| 97五月婷婷| 五月婷婷99热| 激情九九这里只有精品| 欧美激情丁香五月| 伊人久久大香线蕉AV最新午夜| 色欲婷婷五月天| 91啪级电影| 婷婷丁香先锋资源网站| 狠狠操狠狠| 五月天婷婷人妻| 丁香婷婷黄网站| 狠狠 久久| 国产精品国产成人国产三级| 狠狠草在线观看| 91欧美| 嫩草AV久久伊人妇女超级A| 色久丁香五| 色激情综合狠狠婷婷| 玖玖九九超碰| 亚洲va综合va国产va中文| 天天色天天爱天天爱天天爱y| 国产精品国产| 久操乱| 开心深爱激情网| 综合激情啪啪| 另类专区在线观看| 黄色91在线观看| 国产日韩精品SUV| 日本99在线| 艾小青av| 99热精品9| 婷婷色色五月天| 在线亚洲综合| 亚洲午夜国产成人电影VA国产欧…| 色五月网址| 综合激情五月天六月婷免费视频| 日日射天天射| 电影爱拉战争免费观看| 九九偷拍网| 性按摩玩人妻HD中文字幕| av在线免费播放| 婷婷爱婷婷| 热的国产99热| 五月丁香| 99热在线观看| 激情九月天天天天婷婷| 亚洲9久久精品| 色色五月婷| 超碰三级片| 国产精品人人妻人人爽| www.久久av.com| 啪啪啪啪五月天| 五月天激情播播网| 亚州激情网| 日本色色图| 久久天堂婷婷五月| 婷婷丁香成人| 婷婷五月天Av| 丁香九月激情| 婷婷开心久久| 9有码中文| 久久婷婷五月综合97色一本| 婷婷色吧| 激情婷婷五月天在线观看| 亚洲99精品九九在线| 婷婷综合五月天激情| 三级毛片视频| 97热这里精品在线视频| 操笔无码| 久久五月天丁香花| 久综合色| 这里只有在线精品| 久久99日本精品视频免费观看| 五月天婷婷丁香| 91互操| 色狠狠综合| 色婷久久| 涩五月色婷婷| 精品亚洲国产成AV人片传媒| 五月婷婷综合精品| 久久婷婷啪啪视频| 琪琪色综合网站| 久久婷婷综合五月趴| 综合九九中文字幕| 五月婷婷性爱| 婷婷六月综合激情| 秋霞午夜理论| 欧美电影在线观看| 亚洲va在线∨a天堂va欧美va| 色月九九| 牛牛澡牛牛爽| 深爱五月激情| 久久婷婷成人综合色怡春院| 丁香五月综合激情久久潮喷| 婷婷伊人网| 99成人网站| 国产色色色色色| 久久久久久激情| sisi热国产| 月丁香久久久| 亚洲精品V天堂中文字幕| 激情五月色在线播放| 91色五月| 亚洲无码免费看| 欧美日韩成人在线| 色亭亭五月天丁香综合AV - 百度 - 百度| 成人精品一区二区三区四区五区 | 日本在线va| 丁香五月电影| 日韩av高清| 婷婷综合色图| 激情性五月天免费小说视频| 久热这里只精品| 色九九中文字幕| 涩综合网| 久久综合五月| 亚洲十月婷婷综合| 久久黄A片| 色级婷婷| 91 欧美| 激情六月天婷婷| 99亚洲综合| www.久久久久久| 婷婷97碰碰| 嫩草哈哈操| 久草五月天| 色婷婷社区| 天天五月香欧美| 91AV视频| 97超级啪啪在线观看| 久操热线| 色婷婷国产精品综合在线观看| 色五月天网| 色婷婷五月天成人网| 欧美成人AAA片一区国产精品| 九九99九九99九九99视频网| ji'qi'luan'ren'lun| 99在线爽| 青草青草久热这里只有精品| 在线你懂的亚洲欧| 超碰在线资源| 亚洲五月六月婷婷| 99热这里只有精品4| 婷婷六月丁香五月| 俺五月| 操一区| 人碰91| 99热爆在线| 色五月 五月婷婷| 99丁香五月婷| 亚洲色视频| 欧美视频在线观看噜噜| 人人爱干人人爱草| 丁香五月天AV在线| 欧美交换配乱吟粗大25P| 五月天丁香网站| 青草五月天| 五月宗合激情网| 五月激情婷婷色| 亚洲中文av| 色九亚洲| 欧美人久久| 色99视| 色播激情婷婷| 日逼影音先锋AV男人资源站| 天啪天啪天啪天啪| 日本偷拍九九九| 欧美精品在线观看| www五月婷婷| 日本视频久久| 男女啪啪视频久 9| 五月婷婷激情啪啪| 色婷婷丁香AV综合| 久艹久| 婷婷婷五月香蕉| 26uuu成人网| 97人人干视频| 欧美男女婷婷| 国产综合81p| 婷婷性爱视频在线| 激情综合网色五月| 亚洲精品国产setv| 精品婷婷| 婷婷色五月综合丁香| 超碰在线国产9| 五月丁香激| 97碰碰视频在线观看免费| 婷婷伊人五月丁香天堂网| 婷婷综合干| 婷婷色六月| 九九爱精品网站| 欧美在线ee日韩| 91综合视频丁香| 91在线资源| 综久久久| 91玖玖| www.超碰在线| 激情五月综合免费| 这里只有精品免费观看网占| 少妇人妻人伦A片| 久99久精品视频| 激情av| 99热这里是精品| 婷婷色影院| 国产毛片精品一区二区色欲黄A片| 丁香婷婷影院| 婷婷五月花.97| 99热97美女| 99热最新| 婷婷五月天丁香花| 啪啪啪丁香五月| 免费看片操逼| 视频这里只有精品| 天天舔天天| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 五月天六月色| 99热这里是精品| 日韩少妇内射免费播放| 亚洲免费在线观看岛国| 成人精品在线观看| 婷婷娱乐丁香综合网| 亚洲婷婷欧美婷婷| 99热这里只有精品8| 97亚洲视频在线| 丁香五月天堂网AV| 深爱五月激情综合| 五月丁香六月综合激情无码软件亮点 | 婷婷色色狠狠| 婷婷综合精品视频97| 人人综合久| 天天天天操| 亚洲啪啪自拍| 久婷| 狠狠草综合网| 婷香五月| 欧美日韩成人h| 亚洲最大在线| 五月婷婷之美女图片| 欧美在线97| 大战熟女丰满人妻AV| 亚洲黄色av网站| 超碰超碰在线| 欧美性爱特黄一级aaaassss| 五月天婷婷免费| 国产全是老熟女太爽了| 色五月婷婷操逼| 六月伊人婷婷| 超碰97人人操| 丁香五月婷婷国产在线| 久久综合激情五月天| 婷婷婷婷婷婷婷五月丁香| 久久九九免费视频| 99久久五月丁香野外| 丁香婷婷免费| 久婷五月| 沈娜娜av| 婷婷色情 | 欧美日韩成人在线观看| 九九热视频免费| 激情婷婷| 激情婷婷九月| 色操b| 五月丁香五月婷婷| 日本久久人| 激情五月婷婷啪啪| 久久五月丁香| 久久总和99| 女力报到正好爱上你| 99免费| www.91AV.COM| 天天操天爱综合| www.超碰在线| 五月色婷| 国产免费一区二区三区三州老师F1F1.CC | 狠狠色综合网| 五夜丁香| 骚。com| 99在线精品免费视频| www.超碰在线| 97干视频在线| 色婷在线视频| 五月丁香六月婷婷在线| 影音先锋91网站在线观看| 欧美色色干| 久久婷婷五月天激情唯美| 亭亭玉月丁香| 九九99久久| 久久免费操| 伊人玖玖综合| 丁香五月天激情视频| 粉嫩AV久久一区二区三区| 久久久久久久97| 五月天婷婷久久视频| 丁香五月亚洲综合丝袜| 久久九九囯产| 激情五月天伊人av| av操B网站| 亚洲综合丁香婷婷六月天| 亚洲激情另类| 99爱视频精品| 五月天综合婷婷| 激情婷婷网| 九九热精品6| 91九色最新视频| ,99视频久久| 91精品婷婷国产综合久久| 2016日日夜夜操| 五月婷婷丁香五月天| 精品视频网| 久久性爱网站| 亚洲色图五月丁香| 激情开心五月天婷婷基地丁香社区| 五月天婷婷色| 色婷婷综合久色AV五色最新| 五月天婷婷影院| 六月丁香花婷婷| 丁香五月六月综合激情| 色吧五月| 国产67194| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 噼里啪啦完整版中文在线观看 | 91精品久久久久久77777| 人人性久久| 99热亚洲| 99精品在线观看| 这里只有精品免费视频| 久久五月天精品视频| 亚洲成人在线综合| 1024日韩| 少妇综合网| 婷婷五月花免费视频在线| 婷婷五月花| 人人天堂操| 久久综合久色欧美综合狠狠| 狠狠操天天日| 久久全色| 97操碰在线视频| 免费亚洲成人电影AV| 激情六月天| 天天操无码| 99久久综合网| 综合色综合| 最熟少妇乱码| 91要啪| 色色五月天激情| 97干在线| 久热视频这里只有精品| 丁香五月天天| 99热在线精品观看| 五月丁花色综合网| 亚洲视频无| 五月婷婷黄色| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 色欧美一级| 蜜乳中文字| 亚洲电影中文字幕| 六月婷婷激情| 五月欧美色色五月| 色青五月天| 婷婷香五月天| 99热只有这里才是精品| 欧洲精品爱爱| 大学生高潮无套内谢视频| 这里只有精彩亚洲视频推荐| 婷婷久久丁香五月| 国产精品久久久久久久久久免费 | 婷婷久久五月天丁香| 色偷偷综合| 五月天色视频| 色色色999| 欧美五月停| 99热网站| 日韩99无码| 天天天综合网| 五月丁香婷婷福利| 日本三日本三级少妇三级66| 这里只有精品久久| 婷婷五月天免费视频| 国产成人av在线| 日本视频不卡123区| 久久色五月| www.com操| 亚洲AV第二区国产精品| 少妇高潮呻吟A片免费看软件| 亚洲无码色色| 久久久色婷婷五月天| 欧美碰碰碰| 久久五月天婷婷| 亚洲综合丁香五月天| 人妻中文在线| 操日本色| 亚洲精品久久久久久久久久吃药| 99色性爰网络| 都市激情五月婷婷综合| 黄色精品五月婷婷| 美女久久天堂| 丁香婷婷久久 | 成人在线不卡| 婷婷色狠狠| 亚洲日本激情| 久久久.COM| 91九色超碰| 色婷婷操逼| 亚洲人妻五月丁香婷婷| wwwss在线观看| 9 1 A v久久久| 人人摸人人摸| 久久激情天堂| 六月色丁香中文字幕| 色综合丁香| www.色色com| 日本人妻伦在线中文字幕| 婷婷操超碰| 婷婷五月丁香网| 九九精品网站| 六月撸婷婷| 午夜]香婷婷深深爱| 99成人| 日本在线va| 婷婷激情五月天小说| 五月丁香激情四射综合| 六月综合婷婷开心伊人| AA片在线观看视频在线播放| 五月天激情丁香| 草综合网| 欧美六月| BT综合在线视频观看| 丁香五月婷婷综合激情啪啪啪啪啪啪啪| 久久大香蕉| 激情久久久| 午夜成人网站在线观看| 五月激情六月丁香| 天天草比天天爽| 99热只有精品在线观看| 五月丁香啪啪激情| 色亚洲中文| 久久综合激情五月天| 亚洲熟女色| 67194中文字幕| 九九热在线视频观看免费10| 免费播放AV| 九月丁香八月婷婷加勒比| 国产偷人爽久久久久久老妇APP | 国产99美少妇| www久久99com| 日本的α片xxxwww| 操操操av| 天天日天天摸天天| 天天做天天爱天天爽夜夜揉| 99人人干| 激情五月天婷婷| 婷婷综合在线| 99热这里只有99| 青青草性爱视频| 99久热这里只有精品视频删减版| 久热久| 91在线日本| 美国天天操无码| 大香蕉狠狠爱主页| 色情婷婷。| 8区视频在线| 超碰99久久| 任你操精品免费| 五月丁香视频色色| 亚洲综合色婷婷文学| 亚洲天堂色| 国产女人十八水真多1| 青青草网武则天| 丁香五月婷婷亚洲色图| 久久青草国| 丁香五月天亚洲综合| www.久9| 夜夜操夜夜操| 五月天色综合| 激情婷婷狠狠干综合| 亚洲国产精品二二三三区| 免费观看全黄做爰的视频 | 九月婷婷丁香| 99热在这里只有精品| 天天干天天做| 99啪啪| 乱精品一区字幕二区| 中文字幕日产A片在线看| 最新无毒无码AV| 丁香花五月天社区| 亚洲AV电影美洲AV电影| 91色逼| 在线观看五月婷婷网| 99热成人永久免费| 五月丁香欧美综合免费视频| 日日爽日日| 天天爽夜夜爽夜夜爽精品视频| 婷婷九月在线| 欧美日韩成人在线| 99精品偷自拍| 日韩婷久| PORNY九色9l自拍视频成人| 久久久人妻人伦| 啪啪啪啪五月天| 九九机热| 色哟哟精品| 九九综合久久| 伊人久久大香| 色婷婷在线播放| 精品久久婷婷五月天| 久久网思思| 色五月婷婷五月天| 区美毛片子| 五月婷婷大香蕉| 婷婷五月丁香国产| 色五月琪琪| 色色婷五月天| 99热碰碰| 国产AV一区二区三区最新精品| 亚洲中文AV网站| 欧美日韩91| 99亚洲色| 天天狠狠夜夜狠狠2023| 日韩日比视频在线| 亚洲在线综合| 五月丁香花免费视频| 激情婷婷五月久久| 婷婷激情五月天在线| 九九精品99| 婷婷五月性感| 超碰在线人妻| 99视频这里有精品免费观看| 婷婷五月天综合网| 五月婷婷综合激情小说| 另类专区在线观看| 欧美婷婷色五月| 久草五月婷婷| av操B网站| 大香蕉99热| 激情五月天色婷婷综合| 啪啪啪综合网| 超碰人人摸AV| 五月婷婷六月丁香激情深爱| www五月| 亚洲国产精品二二三三区| www.com.色色| 五月丁香久久久| 色五月激情五月天| 日本人妻操| 午夜 外网 精品 在线| xxxx久| 丁香五月欧美婷婷| 五月婷婷丁香深深爱| 激情五月婷黄版| 久草婷婷在线| 99热这里只有精品国产免费| 中文字幕丰满人妻无码专区| 99热在线观看| 色婷婷综合网站| A久久| 性爱网五月婷婷| 婷婷欧美色| 欧美日本黄色| 全部老头和老太XXXXX| 欧美婷婷日本| 五月天激情国产综合婷婷| 禁欲电影完整版在线播放| 色九月婷婷综合| 天天婷婷| 婷婷五月天丁香综合网| 26uuuu精品一区二区| 婷婷五月激情中文字幕| 性视频久久| 日韩aaaaa| 日本网站久久| www开心激情网| 少妇性按摩无码中文A片| 五月婷婷影院| AV天堂婷婷五月天| 亚洲妇女熟BBW| 激情五月天色色| 91大神操美女| 97热久久五月婷婷| 色色色色色色网| 性爱111111| 91小黄书网址在线观看| 99热这里有精品| av国产精品偷| 射久久丁香五月| 性爱五月婷| 人妻精品久久久久久久| 婷婷激情五月综合| 亭亭玉立国色天香| 激情五月婷婷五月| 亚洲av成人在线| 丁香五月区| 色婷婷色九月| 五月婷婷草| 久久 无毛。| 狠狠色综合网| 婷婷综合偷拍| 久久天天| www久久艹| 激情亚洲婷婷| 婷婷综合色网| 婷婷五月电影| 激情久久肏屄视频| 亚洲啪啪啪啪| 五月丁香 啪啪| 91九色视频| 久久免费9| www狠狠| 日韩操人| 日日干日日| 操笔无码| www.9操| 色色永久| 99无码视频| 婷婷五月天成人导航| 久久久精品人妻| 激情五月天在线观看色婷婷| 亭亭五月丁香五月天激情| 熟女人妻一区二区三区免费看| 99久久综合网| 色婷婷91激情小说| 99在线观看精品视频| 激情五月天色婷婷综合| 婷婷综合色色| 成人五月天色天堂| 色色欧美色色色| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 99精品偷拍视频| 婷婷成人五月天成人文学| 99人人干人人| 综合色情网| 九九九这里只有精品| 成人国产欧美大片一区| 色综合天天天天做夜夜| 色婷婷色综合激情91| 播播网色播播| 五月色婷婷在线观看| 亚洲精品无AMM毛片| 婷婷六月激情在线视频| 色色色97| 丁香六月天| 性生活久久朋友人妻| 91在线日本| 五月色婷婷影院| 性 色 婷婷| 色五月丁香91| 五月天 婷 欧美亚洲| 久久九色| 无遮羞AV| www.天天干| 九九亚洲视频| 思思热99er| 超碰九九热| 激情综合网,婷婷| 色综合久久无码| 色色激情| 色婷婷六月激情| 99久久高清视频| 亚洲婷婷丁香| 六月丁香婷婷网| 美国不卡视频| 97香蕉碰碰人妻国产欧美| 人人人va亚洲视频在线| ww久久| 日韩av手机在线观看| 久久婷婷六月综合综合| 99re99在线看| 欧美A A A A A| 丁香五月天堂| 人人综合五月人人婷婷| 久99在线视频| 免费在线观看AV网站| 97极品在线| 激情五月丁香色婷婷| 啪啪东京热| 人妻AV在线| 亚洲va欧美va天堂v国产综合| 综合激情五月四射婷婷| 丁香花狠狠婷婷亚洲中文字幕| 亚洲精品视频在线播放| 丁香五月天成人| 最新日韩久热免费视频看看| 欧美大肥婆大肥BBBBB| 另类激情五月在线视频欧美| 777丁香六月青青草婷婷综合久月 五月丁香综合伦理片 | 色色丁香婷婷综合| 五月丁香六月综合激情网| 综合99久久| 激情综合色五月丁香| 色五月婷婷综合| 伊人五月丁香| 精品一区二区三区四区五区六区介绍| 色婷婷五月天成人网| 激情综合网激情五月婷婷| 九九热超碰| 天天狠狠干| 亚洲欧洲自拍图片专区五月天| 激情综合国产| 久草x色在线观看99 | 99免费在线视频| 日本美女五月天| 日韩久久这里只有精品| 67194国产| 久久婷婷草| 九九色情网站| 日韩人妻无码专区| 久久久久亚洲AV无码网影音先锋| av五月天婷婷丁香| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 一级黄色操B| 久久久国产精品黄毛片| 91九色在线| 一区二区免费看| 日日夜夜久| tingtingzonghewang| 九九热精品| 婷婷婷久久久| 婷婷色婷婷| 久久五月婷婷电影| 91操人| 成人av在线网站| 婷婷五月丁香激情图片| 99热在线观看| 色99在线| 五月婷婷激情久久| 色在线99| 97人凄人人操人人爽| 青青草原伊人网| 91中文在线| 熟女少妇内射日韩亚洲| 精品久久久久久久人妻| 综合色婷婷| 这里只有精品视频99| 综合狠狠五月婷婷| 热婷婷av| 久久9精品| 婷婷六月丁香久| 狠狠爱婷婷五月天| 久草视频一,二三四| 天天综合亚洲综合网天天αⅴ| 日本4399天堂中出| 日本婷婷色日| www.婷婷五月天,com| 婷婷五月丁香基| 一区二区免费看| 激情伊人五月婷婷久久| 一级七香蕉| 激情欧美五月丁香| 亚洲欧州色情在线观看| 色情丁香五月婷婷精品| 大地资源色婷婷视频在线| 日婷婷久久开心| 色五月激情视频在线综合| 日韩黄色影院| www,色婷婷| 久久婷婷六月综合资源| 黄色99热| 色婷婷综合网| 色五月婷婷五月天激情综合| 啪啪91| 婷婷天堂综合网| 国产超碰在线| 天天色色天天| 精品婷婷五| 欧美精品狠狠色丁香婷婷| 五月激情六月综合| 色丁香影院| 五月天天天综合| 五月天停停日日| 成人av免费观看| 五月婷婷开心五月| 色区久久| 91超级碰人人操| 天天爽天天操| 夜夜骑天天操| 婷婷五月天99| 九九综合九九| 婷婷五月欧美| 亚洲网站观看视频| 秋霞AV淫| 色婷婷丁香五月综合| 丁香色情五月天| 久久亚洲天堂| 夜夜嗨一区二区三区直播内容 | www99精品| 久久开心五月婷婷| 亚洲激情综合网| 99啊精典免费视频| 伊人婷婷福利网| 色吧五月| 小视频久久久aaa| 婷婷情爱五月天6| 九九这里精品| 天堂婷婷五月在线| 久久狠狠干| 综合久久六月| 全部老头和老太XXXXX| 99久久久久| 天天天天操| 五月天久久www| 99国产小视频2013| 99碰视频| 1024欧美看片| 在线看九一V图片| 婷婷99| 99操| 丁香五月另类色婷婷麻豆| 久久婷婷五月综合伊人| 天天热夜夜操| 五月丁香综合久久| 丁香五月精品视频| 66精品国产成人| 另类A片| 色综合视频| 色欲婷婷五月天丁香| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香五月激情六月| 丁香六月亚洲| 欧美五月丁香啪啪响视频| 激情婷婷五月| 热99免费在线| 伊人久久大香线蕉综合网站| 97超级碰碰碰久久久| 热日韩欧美| 九色综合网| 深夜婷婷 丁香| 久久五月婷6 9| 青草青草视频2免费观看| AA片在线观看视频在线播放| 六月丁香啪啪| 激情小说五月天| 蜜桃人妻无码AV天堂三区| 99精品在线| 成人va在线播放| 国产精品一区在线观看你懂的| 婷婷激情综合| 色婷婷亚洲婷婷| 色婷婷成人做爰A片免费看网站| 人人操AV| 无码人妻丰满熟妇奶水区码| 狠狠婷婷色综合| 开心五月婷婷伊人| 五月丁香婷婷狠狠操| 九伊人网| www.色色五月天.com| 激情玖玖综合网| 久久青青日本视频| 久久91久久91色欲精品| 第四色网婷婷| 六月婷婷七月丁香| 9久国产精品| Av狠狠色丁香婷| 97婷婷丁香五月天激情图片| 中文字幕日韩无码制服诱或| av人人操| 五月丁香六月玩女人| 天天干天天做| 欧美久久婷婷| 色综合天天| 五月丁香狠狠爱| 91久久久久久久久久18| 超碰免费观看| 激情婷婷在线中文字幕| 婷婷五月天成人在线视频| 这里只有精品热| 丁香婷婷视频一区二区| 激情五月婷| 久热九九| 色五月,com| 综合婷| 人人操99| 婷婷五月天色网久| 99爱这里只有精品免费视频| 色婷婷888| 婷婷五月天色色| 99ER热精品视频| 操草草草| 激情久久肏屄视频| 狠狠色丁香99| 五月天婷婷爱| 国产 码在线成人网站| 日韩啪啪视频| 99热综合在线观看| 另类婷婷五月天啪帕帕| www.久久爱.com| 欧美日韓成人亚洲精品另类| 五月丁香综合在线| 婷婷伊人| 性爱激情综合网| 国产成人AV在线| 狠狠色丁香婷婷基地| 天天日 天天草| 亚洲午夜AV| 色级婷婷| 六月婷婷狠狠| 玖玖婷婷五月天| 亚州色色色| 91精品国产综合久久久不卡电影| 青青日韩| 婷婷五月丁香基| 五月 激情视频| 亚洲丁香花色| 久热亚洲| 丁香五月婷婷亚洲综合精品在线| 久久久精品人妻| 五月天激情婷婷| 婷婷国产欧美97| 色婷婷丁香五月观看| 任你操精品免费| 99热午夜精品| 五月婷婷在线丁香| 日日操天天爽| 青青草青青草五月天| 久久久这里有精品| 婷婷五月性感| 综合网色| 日本VA视频| 97人妻碰碰中文无码久热丝袜| 一级七香蕉| 五月婷婷激情69| 色丁香五月| 91oumei| 五月天久久成人| 97视频.干com| 欧美一级毛卡片无码| 婷婷开心深爱五月天| 丰满熟女人妻一区二区三| 婷婷中文字幕| 久婷婷婷| 密桃激情五月天综合网| 久久精品性爱| 婷婷九月在线| 99热99色| 国产精品久久久久久久久久免费| 九九精品视频免费在线| 在线观看亚洲AV| 激情五月综合免费| 久久激情五月婷婷| 综合色吧| 婷婷久久亚洲| AA片在线观看视频在线播放| 色色综合成人网| 激情综合99| 九九九九中文字幕| 9久热这里只有精品| 爱射综合| 激情五月天丁香| 日日干日日| 亚洲综合网在线| 色五月丁香五月激情五月激情| av在线免费网站 | 琪琪秋霞| 九九色婷婷| 97干欧美| h亚洲| 亚洲9久久精品| 丁香婷五月| 性做爰1一7伦| 五月丁香少妇A| 天天插天天爽| 思思热久久阴99| 五月激情啪啪| 亚洲岛国电影| 这里只精品热在线18| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 就爱射中文字幕资源网| 超碰日韩人妻在线| 婷婷激情六月综合| 国外亚洲成AV人片在线观看| 久久天天天| 91狠狠色丁香婷婷综合久久精品| 99re热在线视频| 99热碰碰热| 色婷婷久久| 婷婷五月天av| 五月天婷婷影院| 99热都是精品| 亚洲精品视频在线播放| 五月丁香琪琪| 日本久久9| 久热A| 91av无码| 色五月人妻| 婷婷色五月天色色| VfJxEwPH| 9视频在线成人网站| 色色欧美色色| 操逼综合激情网| 天天草比天天爽| 亚州激情九月| 天天爽免费视频| 91xxxx九色| 国产精品色婷婷AV综合色色| 色婷婷无吗| 久久久99精品| 国模九区| 深爱激情AV| 久久精品一区二区三区四区| 日撸夜撸日操| 五月天停婷基地| 在线网黄| 色婷丁香五月| 国产肥白大熟妇BBBB视频| 丁香五月天网友自拍啪啪啪视频| 亚洲国产成人AV在线| 亚洲情欲| 中文精品在| 九九热AV| 色综合爽| 久久98| 激情五月少妇| 亚洲无码免费看| 五月婷网| 天天插天天玩天天干| 六月婷婷综合| 99在线国| 九热久| 亚洲va成人va成人va在线观看| 色色色.com| 综合99在线| 9热精品| 只有精品在线观看| 国产精自产拍久久久久久蜜| 久久这里只有国产视频| 探花搜索结果 - 黄上黄| 99性视频| 色综合五月在线| 亚洲 欧洲 国产 伦综合| 五月丁香综合啪啪| 五月丁香欧美在线| 人妻22p|