欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ViT圖像分類(lèi)實(shí)戰(zhàn):PyTorch預(yù)訓(xùn)練模型微調(diào)與避坑指南

ViT圖像分類(lèi)實(shí)戰(zhàn):PyTorch預(yù)訓(xùn)練模型微調(diào)與避坑指南 簡(jiǎn)介這是一份基于 PyTorch 的 Vision TransformerViT實(shí)現(xiàn)面向深度學(xué)習(xí)研究者與工程師提供從原始 JAX/Flax 權(quán)重轉(zhuǎn)換而來(lái)的預(yù)訓(xùn)練模型可直接用于圖像分類(lèi)、特征提取以及下游任務(wù)微調(diào)。壓縮包約 173KB共 35 個(gè)文件其中以 22 個(gè) Python 源碼為主涵蓋模型定義、訓(xùn)練、評(píng)估、數(shù)據(jù)加載與配置管理另有 README、Markdown 說(shuō)明、requirements 環(huán)境文件、YAML 配置及 Notebook 示例等目錄結(jié)構(gòu)清晰便于二次開(kāi)發(fā)。資源描述了與原始模型相當(dāng)?shù)慕Y(jié)果支持 ImageNet2012 等數(shù)據(jù)集并附帶微調(diào)與評(píng)估腳本適合有一定 PyTorch 基礎(chǔ)、希望快速?gòu)?fù)現(xiàn) ViT 論文或?qū)⑵鋺?yīng)用于自身視覺(jué)任務(wù)的開(kāi)發(fā)者。已有 7800 余人瀏覽學(xué)習(xí)是入門(mén) Vision Transformer 并獲取可用預(yù)訓(xùn)練權(quán)重的實(shí)用參考。 我做視覺(jué)這兩年最常用的框架就是PyTorch而ViT相關(guān)的項(xiàng)目里vision-transformer-pytorch這個(gè)庫(kù)我?guī)缀跏欠磸?fù)在用。很多朋友第一次接觸Vision TransformerViT時(shí)被論文里一堆概念唬住總覺(jué)得這是個(gè)很復(fù)雜的模型。但如果你上手跑一遍這個(gè)庫(kù)會(huì)發(fā)現(xiàn)ViT的思路其實(shí)非常直接把圖像切成小塊當(dāng)成一串“視覺(jué)單詞”送給Transformer去處理。而且這個(gè)項(xiàng)目坐標(biāo)很明確——Pytorch 預(yù)訓(xùn)練模型正好是現(xiàn)在視覺(jué)任務(wù)落地最常用的一套組合。這個(gè)項(xiàng)目解決的核心問(wèn)題就是讓大家不用重復(fù)造輪子。它提供了完整的ViT模型實(shí)現(xiàn)結(jié)構(gòu)清晰、參數(shù)可調(diào)并且可以配合預(yù)訓(xùn)練權(quán)重直接使用。對(duì)我個(gè)人來(lái)說(shuō)它最大的價(jià)值在于既能幫新手理解ViT內(nèi)部到底發(fā)生了什么也能讓有經(jīng)驗(yàn)的工程師在幾行代碼內(nèi)完成模型搭建和遷移學(xué)習(xí)。無(wú)論你是打算做圖像分類(lèi)還是把ViT當(dāng)作骨干網(wǎng)絡(luò)接進(jìn)檢測(cè)分割框架這篇文章都適用。1. ViT模型為什么值得關(guān)注從CNN到Transformer的范式轉(zhuǎn)移1.1 圖像能否直接當(dāng)序列處理在ViT出現(xiàn)之前視覺(jué)模型幾乎被卷積神經(jīng)網(wǎng)絡(luò)CNN統(tǒng)治。CNN的核心假設(shè)是局部性和平移不變性相鄰像素關(guān)系更密切同一個(gè)卷積核在整張圖上滑動(dòng)。這個(gè)假設(shè)在ImageNet這類(lèi)中大規(guī)模數(shù)據(jù)集上非常好用因?yàn)榫矸e天然帶有先驗(yàn)不需要太多數(shù)據(jù)就能學(xué)會(huì)。但Transformer的想法完全不同。它最初在NLP里證明了一件事只要數(shù)據(jù)足夠多你不給模型任何結(jié)構(gòu)先驗(yàn)讓注意力機(jī)制自己去找全局關(guān)系效果反而可能更好。于是就有了一個(gè)自然的問(wèn)題圖像能不能也當(dāng)成一個(gè)token序列來(lái)處理ViT回答這個(gè)問(wèn)題的方式很直接——把圖像切成固定大小的patch每個(gè)patch線性映射成一個(gè)向量再按順序拼起來(lái)當(dāng)作一個(gè)“句子”來(lái)處理。我最早看到這個(gè)思路的時(shí)候也挺驚訝整個(gè)ViT居然沒(méi)有一個(gè)卷積層全靠自注意力在建模。也正是這種極簡(jiǎn)讓它在超大數(shù)據(jù)集上表現(xiàn)驚人。論文里用JFT-300M這種量級(jí)的數(shù)據(jù)集做完預(yù)訓(xùn)練之后ViT在ImageNet上的精度能超過(guò)同等規(guī)模的ResNet和EfficientNet。所以它不是換了個(gè)結(jié)構(gòu)而是換了一種視覺(jué)建模的范式。1.2 vision-transformer-pytorch解決的三個(gè)實(shí)際問(wèn)題用這個(gè)庫(kù)一年多我感受到的突出價(jià)值有三點(diǎn)。第一實(shí)現(xiàn)與論文高度對(duì)齊可讀性強(qiáng)。它不是把ViT封裝成黑盒而是把patch embedding、transformer encoder、分類(lèi)頭拆成模塊改哪里都一目了然。我在對(duì)比不同層數(shù)、不同head數(shù)量對(duì)精度影響的時(shí)候基本就是改幾個(gè)參數(shù)的事。第二原生PyTorch生態(tài)無(wú)縫銜接。庫(kù)本身不依賴(lài)timm或者更上層的框架直接就能和你自己的訓(xùn)練管線集成。我經(jīng)常需要把ViT輸出的特征接給檢測(cè)頭或者分割頭這個(gè)庫(kù)的數(shù)據(jù)流非常透明改起來(lái)很順手。第三社區(qū)認(rèn)可度高坑少。這個(gè)項(xiàng)目在GitHub上star量很大用的人多意味著踩坑經(jīng)驗(yàn)多。比如位置編碼的維度問(wèn)題、patch size選擇問(wèn)題網(wǎng)上一搜就有很多討論遇到bug不至于孤立無(wú)援。對(duì)做工程和做研究的人來(lái)說(shuō)這種成熟度很重要。2. 核心架構(gòu)拆解ViT到底在做什么2.1 Patch Embedding圖像是如何變成Token序列的ViT最核心的一個(gè)操作就是Patch Embedding。以最常見(jiàn)的ViT-B/16為例輸入是224x224的RGB圖像patch_size設(shè)為16那么圖像會(huì)被劃分成(224/16)(224/16)1414196個(gè)patch。每個(gè)patch大小為16x16x3把它展平成長(zhǎng)度為768的向量再經(jīng)過(guò)一個(gè)線性投影層映射到768維的embedding空間。很多人第一次看會(huì)疑惑為什么不直接展平再用全連接其實(shí)這里的線性投影本質(zhì)就是一個(gè)1x1卷積或者一個(gè)reshape加Linear它的作用是讓每個(gè)patch的原始像素映射到更適合Transformer處理的語(yǔ)義空間。實(shí)際操作中很多實(shí)現(xiàn)直接用nn.Conv2d(in_channels3, out_channelsdim, kernel_sizepatch_size, stridepatch_size)來(lái)一步完成切patch和投影效率更高。這也是為什么你會(huì)看到有些代碼里Patch Embedding層長(zhǎng)得像卷積層但它做的事情其實(shí)就是“切塊線性變換”。這里我想強(qiáng)調(diào)一個(gè)點(diǎn)patch size的選擇直接影響序列長(zhǎng)度。patch越小序列越長(zhǎng)計(jì)算量越大但細(xì)節(jié)保留越多。ViT-B/32用32的patch序列長(zhǎng)度只有491個(gè)token速度快很多但精度略降。實(shí)際工程里如果顯存有限又不想掉太多精度可以考慮用大patch或者保持patch不變減少層數(shù)。2.2 位置編碼、CLS Token與Transformer Encoderpatch被映射成token之后接下來(lái)的問(wèn)題很關(guān)鍵Transformer本身是順序無(wú)關(guān)的它不知道哪個(gè)token在圖像的哪個(gè)位置。ViT的做法是加一個(gè)1D可學(xué)習(xí)的位置編碼向量直接加到所有token的embedding上。這里沒(méi)有用NLP里常見(jiàn)的2D位置編碼因?yàn)檎撐膶?shí)驗(yàn)發(fā)現(xiàn)1D可學(xué)習(xí)編碼對(duì)效果影響不大但實(shí)現(xiàn)更簡(jiǎn)單。ViT還在序列最前面插入了一個(gè)特殊的CLS token它的作用和BERT里的CLS一樣用于匯聚全局信息。在Transformer編碼若干層之后模型拿出CLS token對(duì)應(yīng)的輸出向量接一個(gè)分類(lèi)頭完成最終分類(lèi)。我實(shí)際中還見(jiàn)過(guò)一些改造方案比如直接對(duì)所有token做全局平均池化再分類(lèi)效果有時(shí)也不差但標(biāo)準(zhǔn)ViT用的是CLS token方案。接下來(lái)是Transformer Encoder。以ViT-Base為例包含12層Encoder每層由多頭自注意力12個(gè)head、MLPhidden size從768擴(kuò)展到3072再降回來(lái)、LayerNorm和殘差連接組成。值得注意的是ViT用的是Pre-LayerNorm結(jié)構(gòu)也就是每個(gè)子層注意力或MLP之前先做歸一化。這個(gè)細(xì)節(jié)影響穩(wěn)定性訓(xùn)練大模型時(shí)尤其明顯。我自己的經(jīng)驗(yàn)是這種設(shè)計(jì)配合較大的學(xué)習(xí)率也能保持穩(wěn)定微調(diào)時(shí)不容易崩。2.3 模型規(guī)格怎么選Base、Large與HugeViT官方發(fā)布了幾個(gè)規(guī)格Base86M參數(shù)、Large307M參數(shù)、Huge632M參數(shù)。視覺(jué)任務(wù)里用最多的就是Base它和ResNet50規(guī)模差不多但效果更好。如果資源充足、任務(wù)復(fù)雜Large往往能帶來(lái)明顯提升Huge則適合在超大數(shù)據(jù)集上從頭訓(xùn)練一般做遷移學(xué)習(xí)的用不起。我選型時(shí)通常會(huì)先想清楚數(shù)據(jù)集規(guī)模。數(shù)據(jù)集只有幾千張圖直接用Base甚至Small版本配合在ImageNet上預(yù)訓(xùn)練的權(quán)重效果往往比從零訓(xùn)練要穩(wěn)得多。所以這里就引出了下一部分的重點(diǎn)預(yù)訓(xùn)練模型到底怎么選、怎么用。3. 預(yù)訓(xùn)練模型的選擇與微調(diào)實(shí)戰(zhàn)思路3.1 三種獲取預(yù)訓(xùn)練權(quán)重的方式對(duì)比標(biāo)題里特別提到了“帶有預(yù)訓(xùn)練模型”這一點(diǎn)其實(shí)是很多人最關(guān)心的。vision-transformer-pytorch庫(kù)本身側(cè)重于提供模型結(jié)構(gòu)而預(yù)訓(xùn)練權(quán)重通常可以從下面三個(gè)渠道獲取獲取渠道是否攜帶官方預(yù)訓(xùn)練權(quán)重適用場(chǎng)景vit-pytorch庫(kù)否只提供模型結(jié)構(gòu)學(xué)習(xí)結(jié)構(gòu)、自定義改造timm是ImageNet預(yù)訓(xùn)練權(quán)重日常分類(lèi)、工程落地HuggingFace transformers是Google官方權(quán)重研究復(fù)現(xiàn)、需要官方預(yù)處理我個(gè)人的建議是追求簡(jiǎn)單就直接用timm一行代碼搞定下載和加載追求跟原論文對(duì)齊就去HuggingFace。用timm加載預(yù)訓(xùn)練權(quán)重的方法非常直接import timm model timm.create_model(vit_base_patch16_224, pretrainedTrue, num_classes1000) model.eval()如果你要做的分類(lèi)任務(wù)類(lèi)別數(shù)不是1000可以直接在create_model時(shí)指定num_classestimm會(huì)自動(dòng)把最后的分類(lèi)頭替換成對(duì)應(yīng)數(shù)量微調(diào)時(shí)非常省事。另外timm還提供了豐富的數(shù)據(jù)增強(qiáng)策略、EMA等訓(xùn)練工具對(duì)訓(xùn)練精度的提升很友好。如果你更希望復(fù)現(xiàn)原論文的預(yù)處理流程可以用HuggingFace的transformersfrom transformers import ViTForImageClassification, ViTImageProcessor model ViTForImageClassification.from_pretrained(google/vit-base-patch16-224) processor ViTImageProcessor.from_pretrained(google/vit-base-patch16-224)這里的processor封裝了標(biāo)準(zhǔn)化和尺寸調(diào)整邏輯拿過(guò)來(lái)就能用不用自己糾結(jié)normalize參數(shù)。不過(guò)要注意transformers加載這種大權(quán)重時(shí)會(huì)從HuggingFace服務(wù)器下載雖然大部分時(shí)候沒(méi)問(wèn)題但偶爾會(huì)卡住這時(shí)候可以設(shè)置環(huán)境變量HF_ENDPOINThttps://hf-mirror.com用國(guó)內(nèi)鏡像加速下載。注意預(yù)訓(xùn)練權(quán)重的下載只是第一步真正決定模型效果的是后續(xù)微調(diào)策略。3.2 微調(diào)策略?xún)鼋Y(jié)層、學(xué)習(xí)率與數(shù)據(jù)規(guī)模拿到預(yù)訓(xùn)練模型后第一個(gè)選擇就是凍結(jié)還是不凍結(jié)。如果數(shù)據(jù)集比較小、只有幾千張我建議凍結(jié)前11層Encoder只微調(diào)最后一層和分類(lèi)頭。實(shí)操中Encoder底層學(xué)習(xí)到的都是一些基礎(chǔ)紋理、邊緣特征這些對(duì)于任何視覺(jué)任務(wù)都是通用的不需要重新學(xué)。凍結(jié)之后可以大幅減少顯存占用和訓(xùn)練時(shí)間加快收斂。如果數(shù)據(jù)集中等幾萬(wàn)張或者目標(biāo)域和ImageNet差異很大比如醫(yī)學(xué)影像、衛(wèi)星圖我建議全部微調(diào)但把學(xué)習(xí)率調(diào)低一些。常規(guī)的做法是整體學(xué)習(xí)率設(shè)0.0001左右分類(lèi)頭學(xué)習(xí)率可以稍微放大到0.001。ViT對(duì)學(xué)習(xí)率比較敏感一開(kāi)始就用太大學(xué)習(xí)率很容易出現(xiàn)loss震蕩甚至不收斂。另外一個(gè)小技巧是如果顯存允許可以先把模型在較大分辨率如384x384上微調(diào)幾輪效果通常會(huì)比224更好。因?yàn)閂iT沒(méi)有卷積的局部先驗(yàn)更大分辨率意味著更多patch更多細(xì)節(jié)。代價(jià)就是序列長(zhǎng)度變長(zhǎng)顯存和速度都翻幾倍。我自己做細(xì)粒度分類(lèi)時(shí)這個(gè)技巧帶來(lái)的精度提升很明顯。4. 實(shí)操記錄從安裝到自定義數(shù)據(jù)集微調(diào)4.1 環(huán)境準(zhǔn)備和安裝先說(shuō)我實(shí)測(cè)過(guò)的環(huán)境組合Python 3.10PyTorch 2.1以上CUDA 11.8顯卡是RTX 3090。PyTorch的安裝直接用官方命令就行如果下載慢可以把pip源換成清華源或者阿里源。裝完之后裝依賴(lài)pip install torch torchvision timm pip install vit-pytorch后面這個(gè)vit_pytorch就是lucidrains的版本也是很多博客里提到的vision-transformer-pytorch的PyTorch實(shí)現(xiàn)。不過(guò)我想特別提醒一句vit_pytorch這個(gè)包默認(rèn)不攜帶預(yù)訓(xùn)練權(quán)重它的作用是快速構(gòu)建模型結(jié)構(gòu)你想直接跑預(yù)訓(xùn)練推理還是要配合timm或者transformers。很多人一開(kāi)始沒(méi)搞清楚這點(diǎn)裝了個(gè)vit-pytorch然后發(fā)現(xiàn)模型是隨機(jī)初始化的以為庫(kù)有問(wèn)題。4.2 快速推理用預(yù)訓(xùn)練權(quán)重分類(lèi)一張圖下面這段代碼是我在項(xiàng)目里驗(yàn)證一張新圖時(shí)常用的模板基于timm實(shí)現(xiàn)簡(jiǎn)單可靠import torch import timm from PIL import Image from torchvision import transforms device torch.device(cuda if torch.cuda.is_available() else cpu) model timm.create_model(vit_base_patch16_224, pretrainedTrue) model model.to(device) model.eval() transform transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) img Image.open(test.jpg).convert(RGB) x transform(img).unsqueeze(0).to(device) with torch.no_grad(): out model(x) prob torch.softmax(out, dim1) top5 torch.topk(prob, 5)輸出top5之后去查一下ImageNet的類(lèi)別索引表就能知道模型預(yù)測(cè)的是什么類(lèi)。這里最常踩的坑有兩個(gè)一是忘了convert(RGB)導(dǎo)致灰度圖或RGBA圖報(bào)錯(cuò)二是忘了加batch維度unsqueeze(0)少寫(xiě)就報(bào)維度錯(cuò)誤。我剛開(kāi)始跑的時(shí)候就在這兩處浪費(fèi)過(guò)時(shí)間。4.3 自定義數(shù)據(jù)集微調(diào)假設(shè)現(xiàn)在你有一個(gè)10類(lèi)的自定義數(shù)據(jù)集目錄結(jié)構(gòu)大概是train/class1、train/class2這樣。用torchvision的ImageFolder讀進(jìn)來(lái)然后替換最后的分類(lèi)頭就可以開(kāi)始微調(diào)import torch import torch.nn as nn import timm from torchvision import datasets, transforms from torch.utils.data import DataLoader model timm.create_model(vit_base_patch16_224, pretrainedTrue, num_classes10) model.to(device) train_transform transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds datasets.ImageFolder(train, transformtrain_transform) train_loader DataLoader(train_ds, batch_size32, shuffleTrue, num_workers4) optimizer torch.optim.AdamW(model.parameters(), lr1e-4, weight_decay0.05) criterion nn.CrossEntropyLoss() for epoch in range(10): model.train() for x, y in train_loader: x, y x.to(device), y.to(device) loss criterion(model(x), y) optimizer.zero_grad() loss.backward() optimizer.step() print(fepoch {epoch}, loss {loss.item():.4f})這段代碼只是最基礎(chǔ)的訓(xùn)練循環(huán)。實(shí)際項(xiàng)目里我還會(huì)加warmup、余弦退火、Mixup和數(shù)據(jù)增強(qiáng)。ViT在中小數(shù)據(jù)集上容易過(guò)擬合所以增強(qiáng)策略比CNN時(shí)代更講究。還有一個(gè)細(xì)節(jié)AdamW的weight_decay我習(xí)慣設(shè)0.05這是從DeiT論文里來(lái)的經(jīng)驗(yàn)值實(shí)測(cè)比0.01穩(wěn)定。5. 避坑指南使用ViT時(shí)最容易踩的坑5.1 輸入尺寸和歸一化必須匹配ViT模型對(duì)輸入尺寸非常敏感這一點(diǎn)比CNN嚴(yán)格得多。timm里的vit_base_patch16_224要求輸入224x224如果你給它喂512x512的圖patch數(shù)量就變了位置編碼的維度對(duì)不上通常運(yùn)行到模型內(nèi)部就會(huì)直接報(bào)維度不匹配的錯(cuò)誤。我的建議是把預(yù)處理統(tǒng)一封裝成一個(gè)函數(shù)Resize到224歸一化參數(shù)就用ImageNet默認(rèn)的mean和std不要自己隨便改。另外一旦換了數(shù)據(jù)集別忘了重新檢查normalize參數(shù)是否匹配——尤其是醫(yī)學(xué)圖像或者紅外圖像它們的像素分布和自然圖像差別很大。5.2 預(yù)訓(xùn)練權(quán)重下載失敗怎么辦這個(gè)問(wèn)題在HuggingFace的權(quán)重上尤其常見(jiàn)。下載到一半斷掉、網(wǎng)絡(luò)超時(shí)、緩存損壞都會(huì)導(dǎo)致無(wú)法加載。我遇到這種情況一般分兩步排查先看報(bào)錯(cuò)是不是SSL或者超時(shí)如果是就說(shuō)明是網(wǎng)絡(luò)問(wèn)題可以設(shè)置HF_ENDPOINThttps://hf-mirror.com再重新拉取如果報(bào)錯(cuò)是鍵名不匹配那大概率是模型結(jié)構(gòu)定義和權(quán)重來(lái)源版本不一致比如用了patch16的定義去加載patch32的權(quán)重。權(quán)重和模型結(jié)構(gòu)的匹配相當(dāng)重要。提示HuggingFace的緩存目錄通常在~/.cache/huggingface刪掉對(duì)應(yīng)模型的緩存再重新下載可以解決很多奇怪的加載問(wèn)題。下載慢但沒(méi)報(bào)錯(cuò)時(shí)多試幾次或者手動(dòng)下載后放到緩存目錄也行。5.3 顯存不夠用先別急著換顯卡ViT雖然參數(shù)不算特別多但自注意力的計(jì)算復(fù)雜度是序列長(zhǎng)度的平方。224分辨率下197個(gè)token還好一旦輸入到448x448token數(shù)變成(448/16)^21785計(jì)算量增長(zhǎng)非常明顯。如果顯存爆了最直接的思路是減小batch size或者把patch_size從16改成32。還有一個(gè)實(shí)用技巧是開(kāi)啟梯度累積用多個(gè)小batch累加梯度模擬大batch效果能接近但省顯存。訓(xùn)練速度慢的話優(yōu)先檢查是不是數(shù)據(jù)加載瓶頸。num_workers調(diào)大或者用pin_memoryTrue經(jīng)常能把GPU利用率拉滿。我見(jiàn)過(guò)很多新人把num_workers默認(rèn)0跑GPU利用率低得可憐改到4或8之后速度立竿見(jiàn)影。相比一上來(lái)就換卡這招劃算得多。5.4 位置編碼與輸入分辨率不匹配如果你想在384x384或更大的分辨率上微調(diào)直接用vit_base_patch16_224的權(quán)重會(huì)報(bào)位置編碼維度不匹配。因?yàn)轭A(yù)訓(xùn)練權(quán)重的position embedding是1x197x768而384x384對(duì)應(yīng)的是1x577x768。解決辦法是插值調(diào)整位置編碼的尺寸。timm里有些版本支持img_size參數(shù)或者在create_model時(shí)指定img_size384但不是所有實(shí)現(xiàn)都自動(dòng)處理。如果要手動(dòng)插值可以這樣import torch from vit_pytorch import ViT model ViT(...) pos_embed model.pos_embedding # 形狀 [1, 197, 768] new_pos_embed torch.nn.functional.interpolate( pos_embed.permute(0, 2, 1).unsqueeze(0), size(577,), modelinear, align_cornersFalse, ).squeeze(0).permute(0, 2, 1) model.pos_embedding torch.nn.Parameter(new_pos_embed)不過(guò)說(shuō)實(shí)話如果只是做普通分類(lèi)任務(wù)我不建議手動(dòng)插值直接用timm里帶384后綴的模型比如vit_base_patch16_384會(huì)省心很多位置編碼部分timm已經(jīng)處理好了。把上面這些坑都踩過(guò)一遍之后我對(duì)ViT的理解反而更深了。說(shuō)實(shí)話ViT的門(mén)檻并不在模型本身而在于各種細(xì)節(jié)patch怎么切、位置編碼怎么處理、預(yù)訓(xùn)練權(quán)重怎么融合、微調(diào)參數(shù)怎么調(diào)。把這些細(xì)節(jié)弄明白它就是非常趁手的視覺(jué)骨干網(wǎng)絡(luò)。如果你剛開(kāi)始接觸ViT我的建議是先按著代碼把模型結(jié)構(gòu)打印出來(lái)一個(gè)個(gè)模塊核對(duì)再跑通預(yù)訓(xùn)練推理最后再上自己的數(shù)據(jù)。這個(gè)過(guò)程走一遍比干啃論文有用得多。最后分享一個(gè)我自己的習(xí)慣任何新項(xiàng)目要采用ViT我都會(huì)先用Base模型加ImageNet預(yù)訓(xùn)練跑一個(gè)baseline確認(rèn)任務(wù)可行之后再根據(jù)顯存和精度需求決定要不要換Large或者調(diào)分辨率。不要一開(kāi)始就上大模型否則調(diào)參和排錯(cuò)的成本會(huì)高到讓你懷疑人生。希望這篇內(nèi)容對(duì)你有幫助有問(wèn)題歡迎留言交流。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99色最新在线视频网站| 日本久久网| 综合视频久久| 极品五月天| 九色PORNY自拍成人精彩视频| 五月丁香综合啪啪| 伊人网啪啪| 激情丁香五月天| 综合图区激情| 五月婷丁香在线视频在线| 超爽内射| 99婷五月| 国产在线aaa片一区二区99| 五月丁香六月成人| 爱婷婷久久视频| 色婷丁香| 99热丁香| 亚洲一级AV在线免费播放| 婷婷五月天电影网| 五月玖玖| 国产精品国产| 久婷五月| 久久激情五月婷婷| 99热中文字幕久久| 婷婷综合色五月天| 六月丁香激情综合| 中文网AV| 色色热| 久久99久久99精品免观看软件 | 婷婷丁香人妻| 色爱99| 涩综合网| 91九色在线| 精品一二三区久久AAA片| 538在线精品| 亚洲五月丁香综合网| 日本97久久久精品| 91男人资源站| Www.久久| 伊人五月天久久| 国产成人综合电影| 亚洲三A| 欧美色图天堂网| 亚洲激情综合免费| 五月天婷婷在线AN| 婷婷深爱五月天| 九九视频热| 久久只有这里精品免费| 丁香五月网络网络| 精品综合久久久久久五月天| 热这里| 99色色网站| 伊人久久大香天蕉亚洲特级| 久久一级免费黄色片| 亚洲中文乱字字幕线在永久| 天天插天天插天天日| 另类激情综合| 亚洲精久久| 91色吧网| 91久久久久久久久| 婷婷 久综合| 色九月婷婷| 久久久WWW| 96精品久久久久久久久| 成人精品在线| 天天成人综合| 久久A V无码视频| 97韩国久久电影院| 久久人妻人人| 99久热| 五月婷婷激情性爱| 亚洲热视频在线| 久久久婷| 婷婷六月激情综合| 久激情| 五月天婷婷色色网| 丁香婷婷六月激情文学 | 婷婷激情五月色综合| 人人干天天舔| 无码激情精品色婷婷久久久久| 狠狠va| 久久五月丁香伊人青草| 天堂久久丁香| 91在线观看九区| 色噜噜狠狠一区二区三区| 色色色地址| 五月丁香久人妻中文| 五月丁香久久网| 丁香五月天啪啪| www.操.com| 婷婷五月天综合网| 日本三级片片| 伊人影音无码一区二区三区| 天天天摸夜夜夜玩| 99网99热| 六月婷婷综合| 97AV人人插人人操| 性色播| 五月丁香五月激情综合色综合| 五月天久久www| 婷婷五月天黄色小说| 99综合视频| 婷婷丁香五月亚洲17cao| 97在线视频人妻九色| 亚洲AV免费在线| 开心五月激情网| 久月久在线视频| 五月婷婷先锋| 欧美日韩成人在线| 99在线精品在线视频| 天天干天天色天天干| 区啪精品| 99免费成人网| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 激情久久久久久| 狠色狠色综合久久| 色婷婷五月丁香色| 99热精品在线观看| 深爱婷婷丁香五月激情| 色九月| 无码激情AAAAA片-区区| 99久久婷婷国产综合| 梁铮版《蜘蛛女侠》在线 | 思思久久思思| 东京热免费视频| 99久久99综合| 日本免费91| 五月婷婷新网站| 色丁香婷婷| 色婷婷基地| 无码少妇高潮喷水A片免费| 日逼影音先锋男人资源站| 成人电影在线免费试看| 99热在线观看精品| 午夜不卡久久精品无码免费| 九九碰九九爱97超碰| 亚洲久久婷婷| 伊人大香五月天| 丁香五月a| 超碰日日操| www.色五月| 国产激情一区| 五月深情久久| 丁香五月视频在线观看| 婷婷97| 免费色婷婷| 久久草人妻| 天天精品视频免费观看| 五月丁香亭亭电影久久| 久一这里有精品国产| 色99视频| 玖玖99精品视频| 成人欧美Va| 久久婷婷色| 亚洲视频另类| 开心五月色婷婷综合开心网| 婷婷五月天色色| 五月丁香婷婷潮喷中文字幕| 婷婷 丁香 精品| 亚洲最大视频| 五月激情啪啪啪| 一级操逼内射在线视频| 欧美日韩婷婷五月天| 亚洲性受XXXX五月丁香| 五月婷婷色五月| 狠狠色五月| 婷婷五月在线影院| 99成人无码| 欧美久热| 色婷婷精品小视频| 五月丁香六月婷| 欧美精品999| 99色热| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 午夜九九电影| AA片在线观看视频在线播放| 五月丁香六月激情狠狠| 国外亚洲成AV人片在线观看| 最新亚洲色色网| 久草五月| 久久婷婷亚洲五月天| 超碰av在线| 久久久人妻人伦| 99热国产精品| 99丁香五月婷| 影音先锋男人女人| 久狠日av| 国产avapp 网| www九九热| 久久婷婷热| 丁香五月婷久久| 久久丁香五月综合六月激情红杏视频 | 国精产品一区二区三区| 久久久久网站| 99热这里在线精品| 4399啪啪视频| 五月天婷婷色综合| www色色色com| 无码成人AAAAA毛片AI换脸| 免费的日逼视频| 天天干天天爽| 五月婷婷片| 色婷婷综合在线| 日本色五月婷婷| 伊人综合婷婷| 狠狠的日| 久久人妻在线| 99色在线观看视频| 成人短视频在线| 欧美色五月| 狠狠操综合| 九九热超碰| 色99视频| www.99视频| 色五月婷婷自拍| 久久人人看| 五月丁香六月婷婷,婷| 成人精品视频99在线观看免费| 色人五月婷婷| 79精品视频| A网在线欧洲| 欧洲一区二区| 第四色激情网| 日本一级大片| 六月丁香激情婷婷| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 啄木鸟黑丝一区二区| 激情第四色| 在线18av | 五月丁香六月香香蕉| 五月丁香婷婷三级| 国产精品美女久久久久AV超清| 色五月色图| 99日这里只有精品| 99热网精品| 99亚洲天堂| 极品人妻VideOssS人妻| 高清a片基地| 99re这里只有精品视频6| www,超碰| 91精产一区三区免费观看| 婷婷五月天激情视频| 激情丁香五月天| www.91婷婷| 五月婷婷人妻| 中文字幕在线视频播放| 国精产品久久| 亚洲AV久久久久久久久久久久久久久久| 日韩砖区| 激情综合网激情五月天| 婷婷久久久久久久| 国产毛片精品一区二区色欲黄A片| 五月婷婷中文字幕| 婷婷色丁香五月| 九九色天堂| 婷婷精品性性性性性性性| 免费无码毛片一区二区A片| 激情婷婷| 99热91| 99碰碰| 夜夜大香蕉婷婷丁香| 亚洲天堂制| 青青草六月丁香| 五月婷在线| 五月丁香亚洲校园欧美| 99综合| 五月婷婷深深爱| 狠狠搞狠狠操| 99日精品视频| 婷婷综合网| 99热偷拍| 超碰人人在线| 色婷綜合网| 久久小说| 亚洲欧美另类在线23p| ai97re99一本| 丁香婷婷六月男男| 97人人搞| 婷婷五月天成人| 丁香六月婷婷一区| 51精品国自产在线| 四色AVwww| 另类婷婷五月天啪帕帕| 色色色色色网| 婷婷伊人网| 国产成人99久久亚洲综合精品| 一区二区成人电影| 91九色网| 五月丁香基地| 91视频五月丁香| 99在线视频资源| 思思99久久| 婷婷五月综合在线| 99热国内| 狠狠色中色| 天天爽天天摸天天爱| 色一情一乱一乱一区9| 国产avapp 网| 99热 在线观看| 色色欧美。| 99爱在线视频观看| 激情伊人| 91色色五月天| www,超碰| wwW天天干| 日本V在线观看不卡视频网站| 亚洲激情网站| 婷婷五月香蕉| AA片在线观看视频在线播放 | 亚洲综合视频一下| 激情熟女网| 99这里有精品视频| 99精品在线下载| 五月丁香婷婷激情四射迷人| 99re这里只有| 五月天婷婷人妻| 国产性爱一级| 亚洲乱码日产精品BD| 色综合综合网| 99re在线视频精品,这里只有精品18,| 色啦啦视频| 97五月天| 在线五月色播| 久久香蕉丁香| 五月婷导航| 色噜久| 中文AV网站| 久久96热| 激情久久久| 婷婷五亚洲| 婷婷六月丁香激情综合| 色色国产| 国产在线网| 婷婷激情五月天小说校园| 五月丁香婷婷激情影院欧美| 青柠影视免费高清电视剧| 月婷婷婷婷五月| 九九这里只有精品在线视频| 超91在线视频| www.夜夜| 久9久9久9久9久9久9| 久久6这里只有精品| 天天 日综合| 五月综合视频| 伊人丁香五月| 99热在线中文字幕| 97色综合| 国产六月婷婷| 99热9999| 激情九九六月激情免费视频| 国产AV一区二区三区最新精品| 色偷偷五月天| 美女丁香五月天| 九九re视频在线视频| 综合激情五月丁香| 五月天婷婷成人网| 五月婷婷激情四月| 黄色99网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色色丁香五月天社区| 婷婷色在线| 色综合天天| 亚洲成人乱码av网站| 五月大香蕉| 五月色婷婷夜色| 九九色综合| 九九99九九99| 亚洲美女网Va| 五月天色婷婷成人| 五月婷婷六月激情网| 在线中文字幕视频| 噜噜操操| 婷婷欧美激情| 久久久精品99| 欧在线一区| 狠狠五月天| 97人凄人人操人人爽| 日夜夜久久| 丁香婷婷五月天色播| 香蕉婷婷| 新97人人上人人| 激情五月色婷婷| 婷婷四色成人综合色视| 森林影视大全,最好看的2019年视频| 婷婷五月天奸女| 99免费青青蜜臀| 亚洲日比视频| 午夜激情四射影院| 激情电影五月婷婷| 五月天另类小说久久小说网| 久久se 综合网| 九九热精品视频在线观看| 99精品在线| 九九在线视频| 99热这里都是精品| 97色女人在线| 六月婷婷综合激情| 超碰成人在线观看| 久久性爱视频| 五月丁香| 丁香五月综合在线视频| 综合超碰熟| 久99久热| 操嫩逼电影| yw.av| 亚洲色夜| www.伊人天堂偷偷婷婷| 97干干干丁香| 五月丁香六月色婷婷综合五月天| 99综合视频一体| 91色吧网| 五月天综合色| 五月婷婷大香蕉| 超碰激情网| 丁香五月婷婷亚洲综合精品| 婷婷丁香五月综合| 五月综合激情网| 九九综合色| 婷婷亚洲天堂| 久久久av久av久片一区二区| 性爱技巧五月| 男人的天堂97| 99ri精品视频在线观看| 天天做天天爱天天日| 色五月婷婷天天干| AV美美午夜| 色五月婷婷大| 操操操AV| 99色综合网| 大香蕉五月天婷婷丁香91| 婷婷五月天激情电影| 情色五月天网站| 五月丁香六月婷婷国产视频| 天天肏天天舔AV| 99热精品在线观看| 亚洲国产精品二二三三区| 久久久天天啊| 亚洲在线成人| 久色网| 、激情六月天| 精品热九九| 秋霞性爱AV| 久久色五月天综合网| 九月色婷婷| 青青艹b| 婷婷丁香五月亚洲| 日韩视频女神99| 色五月婷婷视频| 超碰免费人| 99热在线免费| 色色色地址| 91日本在线观看| 99黄色性生活| 欧美精品中文字幕亚洲专区| 丁香五月自拍| 欧美婷婷综合| 激情图片久久| 久久久久久久人妻| 成人AV综合在线| 九九亚洲综合| 狠狠色无码| 激情五月婷婷五月丁香五月开心五月| 久久婷婷伊人| 亚州第一黄网| 美日韩成人| 都市激情蜜桃婷婷五月天 | 激情五月天偷拍综合网| 9l视频自拍九色9l视频在线观看| 激情深爱五月天| 五月日韩中文字幕| 91九色PORNY中文啦| 97热久久五月婷婷| 成人五月天在线视频在线观看| 99在线亚洲| 91jiuseshunv| 婷丁香五月天| 免費亭亭成人| 色五月丁香伊人五月| 特黄三级片| 婷婷五月成人有| 久久久这里有精品| 婷婷草| 天天干狠狠操| 丁香五月婷婷色情综合| 亚洲一级AV在线免费播放| 97成人在线视频| 精品香蕉99久久久久网站| 91色久| 国产.亚洲.欧洲视频在线| 黄色片区子| 影音先锋 萱萱| 婷婷涩五月| 26UUU在线观看| 亚洲黄3级片网站欧美| 五月天另类激情在线| 99er精品视频| 婷婷六月丁香色| 色色色区| 婷婷色综合中心站| 色色日本欧美| 色色欧美色色| 国产精品99久久久久久久女警| 婷婷五月天亚洲综合| 色五月成人网| 五月婷婷免费| 操碰97| 男人天堂AV在线一区二区| 再次出发二| 黄色一级影片| 99资源人人| 五月天影院婷婷在线观看| 丁香五月香蕉| 超碰人人操| 天天透天天摸天天舔| 九九99久久| 五月久久网| 97色色色视频| 丁香网五月天| 日本人妻丁香婷婷久久寝取熟女五月| 九九热这里只有精品一| 婷婷天堂综合| 亚洲av日韩无码| 99热最新地址在线| 97香蕉碰碰人妻国产欧美| 婷婷五月丁香91| 九九亚洲小视频| 五月伊人综合| 97亚洲色 torrent magnet| 97超碰在线免费观看| 婷婷九月综合| 丁香婷婷五月份| 超碰在线9| 狠狠色性| 午夜大香蕉| 伊人狠狠丁香婷婷综合尤物| 亚洲成人无码网站| 天天操婷婷| 色噜噜狠狠插综合| 91热在线观看视频| 久99热| 国产精品第一国产精品| 婷婷大美在线| 色婷婷成人做爰A片免费看网站 | 26uuu最新地址| 国产99久| 丁香五月23111| 五月丁香六月片| 五月婷婷六月爱| 乱精品一区字幕二区| 色五月婷婷五月丁香五月激情五月视频| 超碰人人艹| 黄色精品五月婷婷| 久九色| 99久在线视频| 无码任你操| www色色色com| 色婷久久| 五月婷精品| 色婷婷激情五月天| 丁香色色网| 激情图片久久| 激情五月综合网| 熟女激情网| 五月丁香五月综合欧美| 色婷婷网| 天天做天天爽| 99久久这里只有精品免费官网| 婷婷五月综合激情免费| 婷婷五月丁香成人网| 色婷婷精品小视频| 97久久超碰| 9l视频自拍九色9l视频自拍九色9l社区 | 丁香五月天婷婷久久综合| 色情综合网| 操操操av| 丁香五月在线观看完整版| 天天日,天天射,天天舔| 91九色在线视频| 五月丁香综合| 日欧一片内射VA在线影院| 99只有精品9| 色婷婷综合电影| 久久免费操| 综合网啪| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷丁香综合| 99爱视频| 国产色丁香| 激情小说五月天| 丁香五月在线视频黑人| 中文AⅤ大全| 亚洲欧美婷婷五月色综合| 婷婷五月丁香花综合| 99在线观看| 插插插色综合网| 人人操9| 99色视频| 丁香六月av| 婷婷丁香久久网| 荷兰av一级| 激情深爱五月婷婷| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 九九九九九九毛片| 97天堂| 丁香五月婷婷性爱| 另类综合国产| 国产成人网站在线观看| 天天日中文| 91色色色18| 欧美成人色婷婷| 就去色色五月丁香婷婷久久久| 国产全是老熟女太爽了| 色综合com| 9久久精品| 五月天婷婷伊人| 国产AV一区二区三区最新精品| 丁香六月天婷婷色| 六月丁香婷婷五月天| 另类综合网| 99热精品中文字幕| 九月丁香八月婷婷久久综合久97| 五月丁香在线国产| 99久久99九九九99九他书对| 婷婷六月香| 思思热久久阴99| 五月天啪啪啪| 日本精品人妻无码77777| 五月丁香亭亭操逼| 99re6在线视频精品免费| 日本色爽| 丁香五月天激情小说| 久久久久久久久99精品| 最新无码专区| 久久久久久久人妻| 五月天网站免费欧美| 久久综合热17c| 久久9热| 九九丁香社区欧美激情| 99热综合网| 色色色色网| 5月丁香综合网| 免费97碰碰| 中文字幕成人| 色色色成人网| 五月激情六月婷婷| 5月丁香综合网| 五月丁香综合伦理片| 五月丁香龟婷婷| 99精品视频偷拍| 手机看片日日做夜夜| 婷婷激情五月色综合| 色吧综合网| 久机视频这只有精品| 婷婷五月情| 色哟哟精品| 婷色五月天| 99无码黄色视频| 九九视频这里是精品五月| 激情五月丁香五月| 九九無妻| 97色伦另类图片小说视频 | 九九九九毛片| 国产AV不卡福利| 五月婷婷影| 国产亚洲AV人片在线| 蜜乳A√| 婷婷五月天激情小说| 婷婷偷拍网| 99热精品中文字幕| 人人色人人摸人人看| 99欧美| 91精品久久久久久久久| 99re8热精品免费视频| 三男玩一女三A片| 激情五月婷婷| 久久性爱视频| 五月婷婷啪啪| 婷婷激情图片| 狠狠五月天| 亚州操人在线视频| 天天干狠狠| 色婷婷丁香| 67194中文字幕| 五月天色综合| 婷婷在线视频| 大香蕉婷婷五月| 99视频在线观看网址| 五月丁香成人视频| 热久精品| 66色在线日韩| 色婷婷国产精品综合在线观看| 99色在线| 丁香九月综合激情| 日本91在线| 超碰免费在线| 激情五月综合| 日本人妻伦在线中文字幕| 五月丁香六月婷婷综合| 久久久久久9| 丁香九月婷婷综合| 538任你爽视频不一样的| 9久操| 婷婷色色欧美| 五月天啪啪| 色色色区| 色婷婷成人做爰A片免费看网站| 丁香网五月网| 91N 一起草| 少妇性按摩无码中文A片| 久久婷婷青青草| 香蕉99网| 色色丁香婷婷| 六月婷婷狠狠色在线观看| 99re这里只有精品首页| 色五月人妻| 97五月婷婷| 91五月天| 99re6久热只有精品6在线直播| 另类综合激情| 好好日激情五月天| 五月婷婷亚洲色图| 色99色| 亚洲六月色| 99热网站| 99超级超级超级碰| 五月婷婷在线免费观看| 天天日日综合| 成人五月天婷婷| 开心久久网婷婷| 五月丁香激情婷婷| 精品久热| 亚洲视频在线观看| 九九中文色色| YJLZZJLZZ亚洲乱熟无码| 激情五月天婷婷激情| 激情五月丁香在线观看直播| 亚洲另类视频| 色99综合色88| 九九视频在线观看| 亚洲色婷婷视频| 六月激情综合| 五月天偷拍| 婷婷五月天美女| 校园激情 亚洲| 九九热99热| 欧美激情中文字幕| 婷婷久久色五月婷婷久久久| 99久久99视频只有精品| 凹凸操Av| 激情五月婷婷综合网| 91AV婷婷| 色综合色综合色综合| 激情综合五月激情| 久久婷婷五月天蜜桃| 91人人爱| 人人操AV| 99久久9| 色色AV色色色东莞| 手机激情网| 狠狠做五月| 欧洲区自拍| 婷婷色五月天色| 亚洲综合网激情五月天| 色五月偷偷| 婷婷在线网| 久9热| 啪啪亚洲综合| 六月丁香婷| 99re热在线观看| 99亚洲大片精品永久在线观看 | 五月婷婷六月丁香免费| 婷婷丁香色无五月 | 婷婷五月天激情在线观看| 成人网在线视频| 日韩二区搞逼插逼毛片| 婷婷色色五月| 婷婷成人五月天成人文学| 欧美成人猛片AAAAAAA| 六月婷久久| 99热12| 五月丁香婷婷色| 精品五月天| 五月婷婷开心亚洲无| 99A级片| 久久精品系列| 色色色色色色色色色色色色色97| AV六月丁香| 久爱综合| 欧美性爱五月天| 日韩日比视频| 99在线精品免费视频| 国精产品一区一区三区免费视频| 99热主页日本| 人妻操逼视频| 我淫我色婷婷五月天激情四射| 天天干,天天舔| www.99热在线观看| 久久99三级在线视频| 日逼免费视频| 六月婷婷激情| 9色视频在线| 99人妻碰碰碰久久久久视| 精品九九久久| 天天爽人人爽| 婷婷色播婷婷| 中文字幕视频在线播放| 丁香婷婷六月男男| 99久久婷婷国产综合亚洲| 久久久er热| www.五月天婷婷| 91丨九色丨国产在线| 国产精品久久7777777精品无码| 久久99国产综合精品免费| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 八戒青柠影视剧在线观看| 午夜丁香| 国产91视频| 91色逼| 欧美性爱一区| 九九综合网色全集 | 碰碰91| 99riAV国产精品视频| 丁香婷婷久久| 久久狠狠色| 99热在线观看精品免费| 色婷婷成人网| 97人人操人人操人人操人人| 成人五月天视频播放| 国内自拍97在线| 色婷婷在线视频综合| 香蕉人妻AV久久久久天天| 欧美天天综合网站上去吧| 狠狠干狠狠干| 久久A热| 成人超碰网| www.色五月天.com| 丁香婷婷狠狠97| 天天色综合综合| 婷婷婷久久| 激情五月色在线播放| 五月婷婷之综合激情在线| 一个色的综合| 婷婷丁香五月综合网上 | 狠狠色综合网| 天天做天天爱天天做| 五月婷婷xxx| 香蕉网久久| 五月色婷丁香| 婷婷五月天色| 六月婷婷视频| 五月丁香好婷婷A片网| 99热久草| 人人播| 69堂午夜视频最新地址| 国自产拍偷拍精品啪啪一区二区| 六月香五月婷| 激情五月黄色| 久久国产AV| 99re6热在线精品视频播放速度| 99精品网站| 99色热视频| 婷婷丁香六月天| 夜夜操天天爽| 91色碰| 久久 婷婷 五月天| caop在线视频| 九九成人| 国产婷婷五月天| 婷婷五月中文字幕| 99热亚洲精品| 伊人婷婷五月| 99丁香五月婷婷在线| 日本久久天堂| 激情婷婷亚洲五月| 禁片二区| 久久99精品九九久久久婷婷| 琪琪理论片| 欧美A A A A A| 丁香五月AV| 精品婷婷五| 九九九九热99超碰| 精品99在线| 99久久丝| 五月天婷婷Av| 五月丁香成人| 亚洲综合丁香五月| 俺去婷婷 丁香| 在线中文av| 丁香五月天殴美激情| 天天射色五月天| 丁香五月成人社区| 特级片神马电影| 夜夜大香蕉婷婷丁香| 婷婷综合激情| 五月丁香六月婷婷网站| 毛v一区二区视频| 一区视频网站| 丁香五月激情五月| 人人操人人妻| 婷婷五月天激情亚洲小说| www.久久| 天堂婷婷丁香六月网| 久久色五月天| 国产精品18久久久| 天天干一干| 五月婷婷狠天天色综合| 伦99热| 婷婷五月天综合网| 99热97| 79精品在线视频| 激情丁香久久久久久| 久99久视频| 色综合色色| site:wpjngj.com| 2022人人操人人看| 无码激情AAAAA片-区区| 人人九色| 久久这里99| 人人摸人人操人人爽| 亚洲操女| 久久久91| 久久久五月婷婷| 97久久视频| 狠狠爱婷婷五月天| 涩涩涩五月天| 一丁香五月天月AV| 色婷激情网| 久久精彩综合视频| 99热99草97| 草草夜夜操| 丁香五月激情啪啪| 激情六月天婷婷| 九九久久99| 丁香九月婷| 婷婷之玖玖| 日韩一区二区A片免费观看| 天堂久久精品| 五月天综合婷婷| 婷婷色色网站| 五月深爱激情网| 91色欲综合| 天天色图| Www,五月天| 五月丁香六月婷婷中文版| 久久五月激情综合| 综久久久| 日本五月婷| av婷婷丁香 六月| 99男人的天堂| 国产色香蕉精品五夜婷| 丁香五月在线视频| 婷婷网五月天| 婷婷中文字幕版| 久久99热只有精品| 久久最新色| 国产亚洲99久久精品熟女| 五月丁香亭亭| 五月天六月色| 婷婷色网站| 色综合天天| www.深爱激情| 丁香五月aV| 欧美丁香婷婷天天操| 综合婷婷久久| 国产激情av| 欧美网站视频4399| 六月婷在线| 人操91在线| 99色热综合| 丁香网五月天| 日韩丰满少妇无码内射| 五月天婷婷色| 欧美久热| 婷婷五月天视频| 四色五月婷婷| 色色色色色色色色网站| 色色色干| 亚洲精品成人| 99在线精品免费视频| 中文字幕五月久久婷婷| 欧美色色色| 亚洲激情视频网| 超碰网站在线观看| 婷婷五月天色| 九九热婷婷| 大香蕉久久婷婷| 99久久精品国产色欲| 五月丁香婷婷婷激情爱爱| 婷婷五月天国产在线播放| 天天天天天日| 色色网站| 九色啦蜜臀| 亚洲成人高清在线| 99热新网址| 五月婷婷丁香综合| 超碰人人草| 丁香五月激情六月欧亚激情综合导航| 婷婷五月av| 色色色777| site:esunnet.com| 五月婷婷久久综合| 狠狠色狠狠色综合日日91| 五月婷六月丁香| 五月婷婷m| 久久A热| 97色五月天| 伊人狠狠操| 精品人妻久久久久| 亚洲激情综合| 综合色五月| 五月丁香六月婷婷网| www.狠狠| 丁香性爱在线视频| 亚洲不卡123| 五月天丁香综合在线| 六月丁香色色色| 国产亚洲在线观看| 婷婷五月天.com| 五月丁香激情六月| 婷婷五月六月丁香| 亚洲av成人在线| 99精彩视频网站在线| 99热中文字幕久久| 久久日韩婷婷五月| 97九色| 国产精品热搜丁香五月婷婷| 欧美激情五月天婷婷| 亚洲xx网| WwW色婷婷| 亚洲午夜国产成人电影VA国产欧…| 69人人操人人爽| 婷婷五月中文字幕| 色碰碰视频| 另类综合激情| 精品无码视频| 久草大| 久久激情五月| 色婷婷基地 | 婷婷丁香综合在线| 婷婷99狠狠躁天天| 天天插天天很| 丁香五月天激情免费在线观看AV777| 婷婷射综合| 九九热视频在线观看| 精品五月花| 婷婷五月天黄色| 丁香五月第九色| 五月激情婷婷丁香天堂| 丁香九月激情| 操操操B| 婷婷五月丁香欧洲| 欧美狠狠草| www.成人婷婷综合| 亚洲中文字幕AV| 国产精品第一国产精品| 五月丁香天堂| 成人版视频在线观看| 六月综和久久| 婷婷无码五月天| 97色色网| 久久婷婷大香蕉| 九九色热| 女力报到正好爱上你| 人人澡玖玖一| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 婷婷综合偷拍| 99热思思在线观看| 天天干天天拍| 中文中文在线| 99精品在线观看视频| 亚洲九九九九| 色综合综合色| 91在线视频观看午夜福利| 丁香婷婷六月天| 六月色激情| 久热69| 热久国产| 成人在线精品| www.久久久.com| 久久婷婷五月草视频在线播放| 色五月激情网| 国产肥白大熟妇BBBB视频| 久久婷婷五月综合色欧美| 久久九九爽| 99热免费精品| 婷婷色综合| 欧美99视频| 亚洲五月情| 六月激情婷婷| 99人人干人人| 久久亚洲婷婷| 久久精彩免费视频| 色欲九区| 99热免费看| 精品国产AV色一区二区深夜久久| 九九婷婷综合| 开心激情网五月| 中文成人在线| 九九99免费视频| 夜夜骑夜夜撸| 不卡在线中文字幕无| 99视频这里只有免费精品| 99爱在线视频| 国精产品一区一区三区免费视频| 久草五月婷婷| 中文字幕色色| 性做爰1一7伦| 91丨九色丨大屁股| 六月婷婷视频| 一区=区操屄高清大全av| 天天做天天爰天天爽天天无遮挡| 久9视频| www.久久9| 激情小说 五月天| 国产精产国品一二三在观看| 网色99| 九九在线视频| 激情国产五月| 五月丁香综合精品| 久操热线| 久99| 欧美久久网| 激情五月瑟瑟| 色色丁香五月婷婷| 开心激情站| 久热大香蕉| 99这里有精品视频| 久久91久久精品久久| 日韩黄色AV无码| 欧美激情xxxXX| 丁香六月激情四射| 激情五月天婷婷播播久久综合91 | 欧美色色色色色色色色色色影视| 亚韩在线视频| 996热re视频精品视频| 综激情网| 色五月成人| 一起草性爱不卡视频| 九月婷婷综合| 五月天久久久| 99热大香蕉| 操操国产| 操逼视频一区| 站长推荐无码播放| 超碰在线观看9| 亚洲人妻电影| 久久婷婷五月综合啪| 日本色色网站| 激情AV在线| 情色婷婷五月天| 日韩人妻无码精品| 色婷婷亚洲| 丁香九月久久| 五月丁香啪啪综合| 国产片天天爽夜夜爽| 色五月婷婷老师| 激情美女五月天| 99国产精品久久久久久久久久久| 99热国产这里只有| 99在线精品免费视频| 六月香五月婷| 久久婷婷五月天大香蕉| 婷婷五月骚厕所| 人人操碰| 欧美婷婷成人| 91综合在线视频| 玖玖无码中文| 五月丁香| 五月花婷婷| 日本va网站| 免费在线观看AV网站| 内射激情在线| 日韩一本操| 五月丁香久久丝袜啪啪| 久久成人亚洲欧美电影| 色婷五月| 久久婷婷七月丁香| 丁香五月激情图片| 激情婷婷网| 超碰99久久| 激情婷婷五月亚洲| 黑人糟蹋人妻HD中文字幕| 伊人丁香花综合影院| 91久久九| 五月综合激情| 人妻久久久久| 无人区码一码二码三码医生系列| 91人妻视频| 色色色色色综合| www.99久久久| 思思热99er在线视频| 好吊兆人妻| 六月婷婷色综合| 久久激情网| 大地9中文在线观看免费高清| 五月花亭亭| 亚洲婷婷激情综合激情999精品| 九九热欧美| 袁子仪视频观看| 91婷婷丁香五月亚洲| 欧美久久网| 色九网| 国产毛片精品一区二区色欲黄A片| 偷拍视频五月天| 黄页免费一级视频懂色| 日本综合久久| 九九久久99| www91久久| 五月亭亭开心网| 婷婷五月噜噜| 庭庭久久内射| 欧美美女视频| 五月婷婷丁香俺日污视频| 99色网站| 天天色视频| 91人人超碰在线| 五月天激情婷婷| 五月丁香免费看| 大香蕉久久伊人婷婷五月丁香| 91人妻人人做人碰人人爽九色| 久久99久久99www| 开心婷婷五月天激情网| 黄页免费一级视频懂色| 五月婷婷开心综合| 婷婷久久女人| 亚洲成人黄色网| 丁香影院五月综合| 玖玖资源站中文| 色婷婷情片| 91在线日| 大香蕉精品视频| 五月婷婷五月天| 五月婷庭丁香在线| 99热10在线高清播放| 亚洲色色香蕉| g00d人体西西| 六月婷婷激情图片| 婷婷无码视频| 强壮的公次次弄得我高潮A片日本 | 精品三区影院| 婷婷丁香五月91| 大香蕉久| 韩国三级五月天婷婷。| 99热精品观看| 婷婷五月天网| 五月天天爽| 大香蕉手机视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 国产午夜精品AV一区二区麻豆| 成人精品99| 亚洲av综合网| 久久A极片| 97精品自拍视频| 亚洲性爱干干| 丁香五月久久社区| 97人人草| 欧美va欧美va差| 狠狠久久婷五月| 婷婷在线网| 日韩在线视频网站| 丁香色播五月天| 操碰久| 亚洲国产精品SUV| 99久精品视频| 激情二色月| 婷婷五月av|