欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

飛機(jī)100分類實(shí)戰(zhàn):細(xì)粒度圖像識(shí)別中如何用好獨(dú)立測(cè)試集

飛機(jī)100分類實(shí)戰(zhàn):細(xì)粒度圖像識(shí)別中如何用好獨(dú)立測(cè)試集 簡介本資源是面向深度學(xué)習(xí)圖像識(shí)別方向研究者與工程師的專用測(cè)試數(shù)據(jù)集聚焦航空器細(xì)粒度分類任務(wù)特別適用于模型性能評(píng)估與泛化能力驗(yàn)證。數(shù)據(jù)集嚴(yán)格限定為飛機(jī)100類別的測(cè)試子集共3333張高質(zhì)量JPG圖像占全部2000個(gè)文件中的1998個(gè)輔以1個(gè)類別映射JSON文件和1個(gè)可視化Python腳本開箱即用無需額外標(biāo)注或格式轉(zhuǎn)換。壓縮包總大小878.43MB解壓后形成標(biāo)準(zhǔn)ImageFolder結(jié)構(gòu)data-test根目錄下包含100個(gè)子文件夾每類對(duì)應(yīng)獨(dú)立文件夾并以原始機(jī)型命名如波音737-76J便于直接接入PyTorch/TensorFlow等框架的DataLoader。目前已有588人學(xué)習(xí)下載配套的classes.json支持類別索引快速查詢可視化腳本可一鍵展示樣本分布與典型圖像顯著提升測(cè)試流程效率與結(jié)果可解釋性。 最近在幫一個(gè)做航空?qǐng)鼍白R(shí)別的朋友調(diào)試模型他發(fā)來一個(gè)數(shù)據(jù)集鏈接附帶了一句讓我印象很深的話這次測(cè)評(píng)只給測(cè)試集標(biāo)簽在主辦方手里模型跑出來的結(jié)果就是最終成績。這句話幾乎概括了深度學(xué)習(xí)圖像識(shí)別里最容易被人忽視的環(huán)節(jié)——測(cè)試集的意義。很多初學(xué)者接觸到的訓(xùn)練集、測(cè)試集往往是同一批數(shù)據(jù)隨手一split訓(xùn)練時(shí)還反復(fù)在測(cè)試集上觀摩結(jié)果最后真正面對(duì)一個(gè)獨(dú)立測(cè)試集時(shí)才發(fā)現(xiàn)模型的泛化能力遠(yuǎn)低于自己當(dāng)初的預(yù)期。而飛機(jī)100分類數(shù)據(jù)集測(cè)試集正是一個(gè)典型的用于裸考的數(shù)據(jù)集它不會(huì)陪你演練它的存在就是用來檢驗(yàn)?zāi)阌?xùn)練的模型在沒見過的新樣本面前到底幾斤幾兩。這篇文章我想從飛機(jī)100分類這個(gè)具體場景出發(fā)聊聊拿到這樣的數(shù)據(jù)集后怎么理解它的地位怎么準(zhǔn)備數(shù)據(jù)流水線怎么設(shè)計(jì)評(píng)估流程會(huì)遇到哪些細(xì)粒度分類特有的坑以及這個(gè)數(shù)據(jù)集背后能延伸出什么實(shí)際應(yīng)用。適合正在做圖像分類入門、準(zhǔn)備參加視覺競賽或者需要在遙感、機(jī)場、航空器識(shí)別場景下做細(xì)粒度目標(biāo)識(shí)別的朋友參考。順帶說一句文章里給的代碼思路都偏PyTorch但你完全可以把同樣的邏輯遷移到TensorFlow、PaddlePaddle或者Ultralytics的框架上去。1. 為什么只有測(cè)試集的數(shù)據(jù)集反而最考驗(yàn)功力1.1 訓(xùn)練集、驗(yàn)證集、測(cè)試集到底在唱哪出戲很多剛上手深度學(xué)習(xí)的人對(duì)數(shù)據(jù)集的劃分只有一個(gè)模糊概念訓(xùn)練集用來訓(xùn)練測(cè)試集用來測(cè)試。這話大方向沒錯(cuò)但在真實(shí)項(xiàng)目中三個(gè)集合的分工遠(yuǎn)比這句話細(xì)。訓(xùn)練集是教材模型從里面反復(fù)學(xué)習(xí)特征更新權(quán)重。驗(yàn)證集是模擬考它的作用是調(diào)超參數(shù)、做早停Early Stopping、判斷模型有沒有過擬合。你可以反復(fù)在上面看結(jié)果、調(diào)整策略因?yàn)槟P筒]有直接學(xué)過它。測(cè)試集才是期末考試卷和答案嚴(yán)格隔離模型在訓(xùn)練階段絕對(duì)不能接觸。它衡量的是模型面對(duì)從未見過的數(shù)據(jù)時(shí)是否真的學(xué)到了可泛化的規(guī)律。飛機(jī)100分類數(shù)據(jù)集測(cè)試集這種以測(cè)試集為唯一交付物的形態(tài)本質(zhì)上是在強(qiáng)迫你遵守教育學(xué)的鐵律不能拿考過的題去衡量學(xué)生的真實(shí)水平。倘若訓(xùn)練時(shí)把測(cè)試集的信息——哪怕是統(tǒng)計(jì)信息——偷偷用進(jìn)去后來評(píng)估出來的分?jǐn)?shù)就失去了公信力。在工程實(shí)踐中很多人會(huì)犯一個(gè)隱蔽的錯(cuò)誤總愛拿測(cè)試集去做事后驗(yàn)證看看模型在測(cè)試集上表現(xiàn)差是哪個(gè)類拖后腿然后針對(duì)性地調(diào)整數(shù)據(jù)增強(qiáng)參數(shù)。這在日常自嗨項(xiàng)目里問題不大但一旦到了公開測(cè)評(píng)、比賽榜單或第三方驗(yàn)收?qǐng)鼍斑@就是典型的測(cè)試集泄漏最后用測(cè)試集調(diào)參出來的模型上線面對(duì)真實(shí)分布時(shí)往往會(huì)原形畢露。1.2 拿到一個(gè)測(cè)試集背后通常是三類任務(wù)在等你當(dāng)有人給你只有測(cè)試集的數(shù)據(jù)時(shí)先想清楚自己處在什么場景這會(huì)直接影響后續(xù)所有操作。第一類是競賽評(píng)測(cè)。數(shù)據(jù)集的訓(xùn)練集有標(biāo)簽測(cè)試集沒有標(biāo)簽?zāi)P屯评沓龅慕Y(jié)果提交到平臺(tái)由主辦方用他們手里的隱藏標(biāo)簽計(jì)算榜單分?jǐn)?shù)。你真正能控制的只有訓(xùn)練集和驗(yàn)證集的劃分方式測(cè)試集則是一個(gè)封閉的黑盒。飛機(jī)100分類數(shù)據(jù)集如果出現(xiàn)在這種場景里通常還有提交格式、類別編號(hào)等約定先讀清楚規(guī)則再動(dòng)手。第二類是模型選型。一家公司想上一套飛機(jī)分類系統(tǒng)采購方會(huì)提供一批帶標(biāo)簽或者不帶標(biāo)簽的獨(dú)立測(cè)試數(shù)據(jù)讓多個(gè)候選模型分別輸出結(jié)果。這個(gè)測(cè)試集直接決定了誰能中標(biāo)。此時(shí)你的目標(biāo)不是做出一個(gè)在自建數(shù)據(jù)上好看的模型而是讓自己的模型在對(duì)方的封閉測(cè)試集上表現(xiàn)最穩(wěn)。第三類是學(xué)術(shù)基準(zhǔn)。論文里要報(bào)告我們?cè)赬X飛機(jī)數(shù)據(jù)集上達(dá)到SOTA為了方便和同行公平對(duì)比所有人必須在同一個(gè)官方測(cè)試集上跑。這個(gè)時(shí)候測(cè)試集的唯一價(jià)值就是可復(fù)現(xiàn)、可對(duì)比。搞明白這三類場景后你會(huì)發(fā)現(xiàn)測(cè)試集不僅是一份數(shù)據(jù)它本質(zhì)上是一種評(píng)估契約。敬畏這份契約是做好深度學(xué)習(xí)項(xiàng)目的第一步。2. 飛機(jī)100分類到底難在哪細(xì)粒度識(shí)別的三個(gè)硬骨頭2.1 100類不是100個(gè)物種是看起來都差不多的近鄰類飛機(jī)100分類如果只是區(qū)分客機(jī)、戰(zhàn)斗機(jī)、直升機(jī)那壓根不需要上深度學(xué)習(xí)傳統(tǒng)圖像特征加個(gè)SVM都能做到七七八八。但100類意味著什么意味著標(biāo)簽體系是按廠商、系列、型號(hào)往下切的比如波音737下面的737-700、737-800、737-900空客A320系列下的A319、A320、A321它們之間的外觀差異可能僅僅是機(jī)身長度幾米之差、艙門數(shù)量少一個(gè)、翼尖小翼形狀不同。這就叫細(xì)粒度圖像識(shí)別Fine-Grained Image Recognition它的核心難點(diǎn)不是這是什么物種而是同一物種下的不同亞種怎么區(qū)分。貓和狗之間的差異是結(jié)構(gòu)性的而737-800和737-900之間的差異往往是一個(gè)局部細(xì)節(jié)。模型如果只學(xué)整體輪廓很容易把同系列不同型號(hào)混在一起。在深度學(xué)習(xí)里解決細(xì)粒度分類的思路大體分兩條一是用更精細(xì)的注意力機(jī)制讓模型主動(dòng)聚焦到機(jī)頭、機(jī)翼、尾翼、發(fā)動(dòng)機(jī)短艙這些判別性區(qū)域二是用更強(qiáng)的數(shù)據(jù)增強(qiáng)比如隨機(jī)裁剪出局部區(qū)域強(qiáng)制模型學(xué)習(xí)部件特征而不是只盯整體。后面我會(huì)展開講。2.2 視角、遮擋、光照、背景同一個(gè)型號(hào)在不同環(huán)境下的外貌方差飛機(jī)分類數(shù)據(jù)集有個(gè)天然讓初學(xué)者頭疼的地方同類樣本的類內(nèi)方差I(lǐng)ntra-class Variance非常大而不同類的類間方差I(lǐng)nter-class Variance反而很小。一個(gè)典型的場景同樣一架空客A320停在地面平拍、起飛時(shí)仰拍、遙感衛(wèi)星俯拍、機(jī)場監(jiān)控低分辨率拍四張圖在像素層面幾乎不像同一個(gè)東西。飛機(jī)又很吃光照中午頂光下機(jī)翼反光會(huì)蓋掉機(jī)身細(xì)節(jié)陰天時(shí)輪廓模糊陰影遮擋時(shí)發(fā)動(dòng)機(jī)位置都看不清。再加上機(jī)場跑道上常見的地勤車、廊橋、塔臺(tái)等復(fù)雜背景模型要想在所有條件下穩(wěn)定分類訓(xùn)練數(shù)據(jù)必須覆蓋足夠多變的拍攝條件。這里有個(gè)很容易踩的坑訓(xùn)練集里如果大量是某機(jī)場順光、正側(cè)面的標(biāo)準(zhǔn)照模型很可能學(xué)到的是在標(biāo)準(zhǔn)照環(huán)境下的分類而不是飛機(jī)的分類。一旦測(cè)試集換成俯拍、逆光或監(jiān)控視角準(zhǔn)確率斷崖式下跌。所以拿到飛機(jī)100分類測(cè)試集之前先看看訓(xùn)練集的圖像來源分布再?zèng)Q定數(shù)據(jù)增強(qiáng)策略是很有必要的。2.3 細(xì)粒度分類對(duì)數(shù)據(jù)增強(qiáng)和注意力機(jī)制的額外要求普通分類的數(shù)據(jù)增強(qiáng)套路是隨機(jī)裁剪、水平翻轉(zhuǎn)、顏色抖動(dòng)這套組合拳在細(xì)粒度分類上遠(yuǎn)遠(yuǎn)不夠。因?yàn)槟P捅緛砭腿菀缀鲆暭?xì)微差異你隨機(jī)裁剪反而可能把最具判別性的機(jī)頭或尾翼截掉。我個(gè)人在細(xì)粒度分類上更推薦這樣幾招隨機(jī)裁剪后放大Random Resized Crop強(qiáng)制模型從局部特征里找線索。隨機(jī)擦除Random Erasing或者Cutout防止模型死記某個(gè)部件的固定位置。Mixup、CutMix這種樣本混合增強(qiáng)在細(xì)粒度任務(wù)里能明顯提升魯棒性。測(cè)試時(shí)增強(qiáng)TTA推理時(shí)把每張圖做水平翻轉(zhuǎn)、多尺度變換最后對(duì)概率取平均。模型結(jié)構(gòu)層面可以優(yōu)先選帶通道注意力或空間注意力的網(wǎng)絡(luò)比如SENet、CBAM或者干脆用ViT這類Transformer架構(gòu)它們?cè)诩?xì)粒度任務(wù)里通常比純CNN更能捕捉判別性局部區(qū)域。訓(xùn)練完之后還可以用Grad-CAM畫一下激活圖看看模型實(shí)際盯的是機(jī)身還是背景——這一步對(duì)判斷模型到底學(xué)會(huì)了沒有特別有用。3. 從訓(xùn)練到測(cè)試搭建一個(gè)能刷飛機(jī)100分類測(cè)試集的圖像識(shí)別流程3.1 數(shù)據(jù)加載與預(yù)處理一切準(zhǔn)確率的地基模型再花哨如果數(shù)據(jù)讀取和預(yù)處理寫得潦草最終準(zhǔn)確率都會(huì)打折扣。飛機(jī)100分類數(shù)據(jù)集如果按ImageFolder的標(biāo)準(zhǔn)目錄組織PyTorch的torchvision.datasets.ImageFolder可以直接讀如果給了單獨(dú)的CSV標(biāo)注文件就自己寫一個(gè)Dataset子類。核心是把訓(xùn)練集和驗(yàn)證集分開測(cè)試集單獨(dú)一條流水線別把測(cè)試集的標(biāo)簽或者統(tǒng)計(jì)信息混進(jìn)訓(xùn)練流程。以PyTorch為例基礎(chǔ)的預(yù)處理一般長這樣from torchvision import transforms # 訓(xùn)練側(cè)增強(qiáng)拉滿 train_transform transforms.Compose([ transforms.RandomResizedCrop(224, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.1), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) # 驗(yàn)證/測(cè)試側(cè)只要確定性的預(yù)處理 test_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ])這里有兩個(gè)細(xì)節(jié)值得展開。第一個(gè)是歸一化參數(shù)上面用的是ImageNet的mean和std因?yàn)槟憬又鴷?huì)用ImageNet預(yù)訓(xùn)練權(quán)重做遷移學(xué)習(xí)輸入分布必須和預(yù)訓(xùn)練時(shí)的分布對(duì)齊。第二個(gè)是Resize到256再CenterCrop到224這是很多分類任務(wù)的默認(rèn)做法它相當(dāng)于在測(cè)試時(shí)做了一個(gè)輕微的空間擾動(dòng)比直接把圖拉到224效果略好。要注意的是RandomResizedCrop里的scale(0.7, 1.0)是我針對(duì)細(xì)粒度分類調(diào)的。尺度下限別設(shè)太低否則裁剪出的區(qū)域太碎丟失關(guān)鍵部件信息。如果你發(fā)現(xiàn)模型總把相鄰型號(hào)搞混可以嘗試把尺度下限調(diào)到0.5強(qiáng)制模型關(guān)注更局部的特征。3.2 模型選型為什么我推薦先啃遷移學(xué)習(xí)這塊紅利飛機(jī)100分類數(shù)據(jù)集的樣本量通常不會(huì)大到能支撐一個(gè)幾十層的CNN從零開始訓(xùn)練。如果只靠訓(xùn)練集那幾萬張甚至幾千張圖從零訓(xùn)練一個(gè)ResNet50結(jié)果往往是欠擬合或者嚴(yán)重過擬合。這時(shí)候最劃算的做法是遷移學(xué)習(xí)拿一個(gè)在ImageNet上預(yù)訓(xùn)練好的模型把最后的全連接層換掉在飛機(jī)數(shù)據(jù)集上微調(diào)。遷移學(xué)習(xí)為什么有效因?yàn)镮mageNet預(yù)訓(xùn)練模型的前幾層已經(jīng)學(xué)會(huì)了通用的視覺特征——邊緣、紋理、顏色塊、局部形狀這些底層特征對(duì)任何圖像任務(wù)都有用。你要做的只是讓模型的高層特征去適配飛機(jī)型號(hào)這個(gè)特定任務(wù)。這就像讓一個(gè)已經(jīng)會(huì)打羽毛球的人去學(xué)網(wǎng)球他不需要重新學(xué)眼睛追蹤球和跑動(dòng)到位只需要調(diào)整揮拍動(dòng)作。PyTorch里加載預(yù)訓(xùn)練模型并更換分類頭代碼非常簡單import torchvision.models as models import torch.nn as nn # backbone model models.resnet50(weightsmodels.ResNet50_Weights.IMAGENET1K_V1) num_features model.fc.in_features num_classes 100 model.fc nn.Sequential( nn.Dropout(0.2), nn.Linear(num_features, num_classes) )替換fc層的時(shí)候我習(xí)慣在前面加一個(gè)Dropout尤其是在訓(xùn)練樣本不算多的情況下Dropout能明顯抑制過擬合。你還可以把model.fc替換成兩層的小MLP比如Linear - ReLU - Dropout - Linear效果往往比單層更好但需要配合學(xué)習(xí)率調(diào)度來調(diào)否則容易震蕩。模型選型方面如果算力有限優(yōu)先ResNet50或者EfficientNet-B0/B1如果算力充足可以直接上ViT-B/16。實(shí)測(cè)下來ViT在細(xì)粒度任務(wù)上的收斂速度不如CNN快但上限通常更高尤其是當(dāng)你手里有多尺度數(shù)據(jù)增強(qiáng)撐腰的時(shí)候。3.3 訓(xùn)練超參數(shù)與策略模型能不能收斂就差這口氣選好模型后訓(xùn)練配置也很有講究。Fine-tune預(yù)訓(xùn)練模型時(shí)我最常用的基礎(chǔ)配置是優(yōu)化器AdamW初始學(xué)習(xí)率1e-4權(quán)重衰減1e-4。或者SGDmomentum0.9初始學(xué)習(xí)率1e-3配合CosineAnnealingLR。分類頭新加的fc層的學(xué)習(xí)率可以設(shè)成骨干網(wǎng)絡(luò)學(xué)習(xí)率的10倍因?yàn)樾聦右獜牧銓W(xué)步子可以邁大點(diǎn)。Batch size8卡以下用32或者64顯存不夠就降到16但盡量不要低于16否則BatchNorm統(tǒng)計(jì)不穩(wěn)定。Epoch30到50輪配合早停監(jiān)控驗(yàn)證集準(zhǔn)確率連續(xù)5輪不漲就停。這里我想多說一句學(xué)習(xí)率。很多人微調(diào)時(shí)習(xí)慣統(tǒng)一用1e-4其實(shí)骨干網(wǎng)絡(luò)和分類頭的學(xué)習(xí)率應(yīng)該分開對(duì)待。骨干網(wǎng)絡(luò)已經(jīng)學(xué)好了通用特征學(xué)習(xí)率太高會(huì)把預(yù)訓(xùn)練權(quán)重沖壞而新加的分類頭是隨機(jī)初始化的學(xué)習(xí)率太低又學(xué)得慢。所以我會(huì)用參數(shù)分組來做差異化學(xué)習(xí)率optimizer torch.optim.AdamW([ {params: model.backbone.parameters(), lr: 1e-5}, {params: model.head.parameters(), lr: 1e-4}, ])這個(gè)區(qū)分在細(xì)粒度分類上比普通分類更重要因?yàn)槟阈枰A艄歉删W(wǎng)絡(luò)在ImageNet上學(xué)到的精細(xì)紋理感知能力只針對(duì)飛機(jī)領(lǐng)域的特征做有限調(diào)整。損失函數(shù)上最常見的就是交叉熵?fù)p失。如果你發(fā)現(xiàn)某些飛機(jī)類別樣本特別少可以給交叉熵加類別權(quán)重或者用Label Smoothing。細(xì)粒度分類我用Label Smoothing的頻率很高它讓標(biāo)簽不是非0即1的硬目標(biāo)而是保留一點(diǎn)點(diǎn)模糊度能緩解模型對(duì)訓(xùn)練標(biāo)簽過于自信導(dǎo)致的過擬合。具體做法是把nn.CrossEntropyLoss()換成nn.CrossEntropyLoss(label_smoothing0.1)一行代碼的事收益通常很明顯。4. 模型拿到測(cè)試集之后評(píng)估環(huán)節(jié)的完整動(dòng)作4.1 評(píng)估流程不是predict一下就算完很多人訓(xùn)練完模型把測(cè)試集丟進(jìn)模型里跑一遍準(zhǔn)確率就宣告結(jié)束。這份草率在飛機(jī)100分類這種細(xì)粒度任務(wù)上尤其容易出問題。一份合格的評(píng)估流程至少要包含下面這些動(dòng)作。第一確認(rèn)模型處于評(píng)估模式。PyTorch里是model.eval()TensorFlow里是model.trainable False這一步會(huì)關(guān)閉Dropout和BatchNorm的訓(xùn)練行為。漏掉這一行測(cè)試集的分?jǐn)?shù)會(huì)莫名其妙地低一截因?yàn)镈ropout在推理時(shí)仍在隨機(jī)丟棄神經(jīng)元輸出不穩(wěn)定。第二整個(gè)推理過程包裹在torch.no_grad()里面。測(cè)試時(shí)不計(jì)算梯度既節(jié)約顯存又加快速度。代碼如下def evaluate(model, test_loader, device): model.eval() correct_top1 0 correct_top5 0 total 0 all_preds [] all_probs [] with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) # [B, 100] probs torch.softmax(outputs, dim1) # Top-1 preds probs.argmax(dim1) correct_top1 (preds labels).sum().item() # Top-5 top5_preds probs.topk(5, dim1).indices correct_top5 sum([labels[i] in top5_preds[i] for i in range(labels.size(0))]) total labels.size(0) all_probs.append(probs.cpu().numpy()) top1_acc correct_top1 / total top5_acc correct_top5 / total print(fTop-1 Accuracy: {top1_acc:.4f}, Top-5 Accuracy: {top5_acc:.4f}) return all_probs第三把概率輸出保存下來而不是只保留精度的數(shù)字。因?yàn)楹罄m(xù)要做混淆矩陣、錯(cuò)誤樣本分析、TTA投票都需要原始概率。只留一個(gè)accuracy排查問題的時(shí)候還得重新跑一遍推理浪費(fèi)時(shí)間。4.2 指標(biāo)解讀Top-1、Top-5、混淆矩陣到底看什么飛機(jī)100分類這種類數(shù)多、細(xì)粒度強(qiáng)的任務(wù)只報(bào)一個(gè)Top-1準(zhǔn)確率遠(yuǎn)遠(yuǎn)不夠。我習(xí)慣用一組指標(biāo)多維評(píng)估指標(biāo)說明細(xì)粒度任務(wù)里怎么讀Top-1 Accuracy預(yù)測(cè)概率最高的類別是否對(duì)基礎(chǔ)門檻但容易被類間混淆拖低Top-5 Accuracy前5個(gè)預(yù)測(cè)里是否包含正確類很能反映模型有沒有圈定正確范圍每類準(zhǔn)確率 / Recall每個(gè)類別的召回率快速揪出低分的那幾個(gè)類多半是標(biāo)注噪聲或樣本太少M(fèi)acro-F1所有類F1的均值類別不均衡時(shí)比原始Accuracy更可信混淆矩陣哪個(gè)類被判成哪個(gè)類找最像兄弟的類別對(duì)指導(dǎo)后續(xù)優(yōu)化在實(shí)際項(xiàng)目里我最先看的是混淆矩陣。飛機(jī)100分類里最容易出現(xiàn)的錯(cuò)誤是同一系列不同型號(hào)互相混淆比如波音737-700被識(shí)別成737-800。如果在混淆矩陣?yán)锇l(fā)現(xiàn)這類系統(tǒng)性錯(cuò)誤說明模型沒有抓到關(guān)鍵判別部位而不是隨機(jī)出錯(cuò)。這時(shí)候針對(duì)這兩個(gè)類多采集訓(xùn)練圖或者在數(shù)據(jù)增強(qiáng)里加大局部裁剪比例比盲目換網(wǎng)絡(luò)結(jié)構(gòu)更有效。Top-5準(zhǔn)確率在細(xì)粒度分類里尤其有價(jià)值。很多業(yè)務(wù)場景允許給候選列表比如塔臺(tái)輔助系統(tǒng)可以先給出Top-5的飛機(jī)型號(hào)再由調(diào)度員人工確認(rèn)。此時(shí)Top-5比Top-1更能反映系統(tǒng)的可用性。4.3 測(cè)試時(shí)增強(qiáng)(TTA)白撿的準(zhǔn)確率提升測(cè)試時(shí)增強(qiáng)簡單說就是把測(cè)試圖先做幾次變換得到多個(gè)預(yù)測(cè)再對(duì)預(yù)測(cè)概率求平均最終取平均概率最高的類別。最常用的TTA是水平翻轉(zhuǎn)和尺度縮放。以水平翻轉(zhuǎn)為例import torch from torchvision import transforms def predict_with_tta(model, img, device): model.eval() base_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) flip_transform transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.RandomHorizontalFlip(p1.0), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) with torch.no_grad(): img_orig base_transform(img).unsqueeze(0).to(device) img_flip flip_transform(img).unsqueeze(0).to(device) prob_orig torch.softmax(model(img_orig), dim1) prob_flip torch.softmax(model(img_flip), dim1) # 注意翻轉(zhuǎn)后的預(yù)測(cè)類別要和原圖對(duì)齊 final_prob (prob_orig prob_flip) / 2.0 pred final_prob.argmax(dim1).item() return pred一個(gè)容易忽略的細(xì)節(jié)水平翻轉(zhuǎn)后模型的輸出概率對(duì)應(yīng)的還是原圖像的類別語義不需要對(duì)類別做鏡像映射。因?yàn)轱w機(jī)型號(hào)分類是平移等變的不像數(shù)字6翻轉(zhuǎn)成9那種方向敏感任務(wù)。TTA在細(xì)粒度分類上通常能帶來1到3個(gè)百分點(diǎn)的Top-1提升成本只是推理時(shí)間翻倍。如果你的測(cè)評(píng)環(huán)境對(duì)推理時(shí)間要求不苛刻強(qiáng)烈建議加上。當(dāng)然TTA也要看場景。如果是比賽提交先確認(rèn)主辦方是否允許對(duì)測(cè)試集做多次推理。大多數(shù)情況下允許但有些線上測(cè)評(píng)會(huì)限制調(diào)用次數(shù)這時(shí)候TTA的性價(jià)比就要重新考量。5. 細(xì)粒度飛機(jī)數(shù)據(jù)集上踩過的雷數(shù)據(jù)質(zhì)量與泛化5.1 標(biāo)注噪聲有些標(biāo)簽從源頭就錯(cuò)了飛機(jī)100分類數(shù)據(jù)集的標(biāo)注難度比普通物體分類高得多因?yàn)閰^(qū)分點(diǎn)太細(xì)。我自己在某次項(xiàng)目中隨機(jī)抽查了200張訓(xùn)練圖發(fā)現(xiàn)大概有10張的標(biāo)簽和圖片內(nèi)容對(duì)不上準(zhǔn)確說不是狗被標(biāo)成貓那種離譜錯(cuò)誤而是波音777-300被標(biāo)成777-200ER這種張冠李戴。這種標(biāo)注噪聲對(duì)細(xì)粒度模型是致命的因?yàn)樗鼈儠?huì)直接扭曲類別邊界。怎么發(fā)現(xiàn)標(biāo)注噪聲一個(gè)有效的辦法是先訓(xùn)練一個(gè)模型然后找出訓(xùn)練集中l(wèi)oss最高的那些樣本比如交叉熵?fù)p失超過3的。這些高loss樣本往往就是兩種情況要么是特別難的正確樣本要么是錯(cuò)標(biāo)/多標(biāo)的臟數(shù)據(jù)。把Top-100的高loss樣本人工過一遍你會(huì)很快發(fā)現(xiàn)規(guī)律。處理標(biāo)注噪聲有幾種策略。最簡單的是直接刪掉或修正錯(cuò)標(biāo)樣本如果噪聲比例不大也可以在訓(xùn)練時(shí)用label_smoothing給模型一點(diǎn)緩沖防止它對(duì)錯(cuò)標(biāo)樣本死記硬背。更進(jìn)階的做法是錯(cuò)標(biāo)樣本重標(biāo)注但人力成本高適合只針對(duì)少量高頻混淆類別做。5.2 類別不均衡模型會(huì)偷偷只學(xué)多數(shù)類飛機(jī)100分類數(shù)據(jù)集的100個(gè)類別樣本量不可能完全均衡。熱門客機(jī)型號(hào)可能有一兩千張冷門的公務(wù)機(jī)或老舊型號(hào)可能只有幾十張。類別不均衡的直接后果是模型在訓(xùn)練時(shí)對(duì)多數(shù)類過擬合對(duì)少數(shù)類欠學(xué)習(xí)最終測(cè)試準(zhǔn)確率被多數(shù)類拉高看起來整體還不錯(cuò)但少數(shù)類的每類準(zhǔn)確率可能只有30%。肉眼可見的表現(xiàn)是模型一看到曲面輪廓明顯的飛機(jī)就傾向預(yù)測(cè)成樣本量大的那幾個(gè)主流客機(jī)型號(hào)。解決不均衡我常用的三個(gè)辦法重采樣訓(xùn)練時(shí)對(duì)少數(shù)類樣本過采樣讓每個(gè)batch里各類數(shù)量盡量接近配合WeightedRandomSampler使用。損失加權(quán)交叉熵里給少數(shù)類更大的權(quán)重weight參數(shù)直接傳入CrossEntropyLoss。模擬過采樣對(duì)少數(shù)類做更強(qiáng)的數(shù)據(jù)增強(qiáng)相當(dāng)于用變換生成偽樣本。這三種方式我通常組合使用但注意別把采樣比例設(shè)得過于極端否則模型會(huì)對(duì)少數(shù)類過擬合反而丟掉通用特征。5.3 訓(xùn)練集和測(cè)試集分布不一致高分可能是假的細(xì)粒度分類里最隱蔽的坑是領(lǐng)域漂移Domain Shift訓(xùn)練集圖像和測(cè)試集圖像來源差異過大。測(cè)設(shè)集是網(wǎng)上爬的高清側(cè)拍訓(xùn)練集是遙感俯拍那訓(xùn)練得再好的模型也白搭。飛機(jī)100分類的測(cè)試集很可能故意和你手里的訓(xùn)練集不完全同源以檢驗(yàn)?zāi)P驼嬲姆夯芰?。最常見的?yīng)對(duì)思路有三種。第一圖像歸一化的時(shí)候不要直接套ImageNet的mean/std而是用訓(xùn)練集和測(cè)試集的統(tǒng)計(jì)量重新算一遍消除掉不同拍攝設(shè)備帶來的顏色偏差第二在訓(xùn)練時(shí)加入更多針對(duì)測(cè)試集風(fēng)格的增強(qiáng)比如低分辨率模擬、模糊模擬、明暗變化模擬第三如果測(cè)試集沒有標(biāo)簽但數(shù)量夠大可以考慮半監(jiān)督學(xué)習(xí)用訓(xùn)練好的模型對(duì)測(cè)試集做高置信度偽標(biāo)簽再混合回去微調(diào)。最后這個(gè)操作有風(fēng)險(xiǎn)偽標(biāo)簽一旦錯(cuò)反而會(huì)把噪聲帶進(jìn)來所以偽標(biāo)簽的置信度閾值要設(shè)得很高比如0.99以上才采納。6. 一個(gè)測(cè)試集能延伸出哪些實(shí)用方向6.1 從分類到檢測(cè)YOLO和旋轉(zhuǎn)框的擴(kuò)展路徑飛機(jī)100分類解決的是這是什么型號(hào)但很多真實(shí)業(yè)務(wù)里第一步得先知道飛機(jī)在哪。這時(shí)候就需要從圖像分類往目標(biāo)檢測(cè)擴(kuò)展。比如Ultralytics YOLOv8在自定義數(shù)據(jù)集上訓(xùn)練先標(biāo)注出圖片里的飛機(jī)目標(biāo)框再配合分類模型去識(shí)別框內(nèi)型號(hào)是航空?qǐng)鼍氨容^通用的兩段式方案。如果你用的圖像里飛機(jī)是斜著停的普通水平框會(huì)把翼展方向的背景也框進(jìn)去很影響下游任務(wù)精度。這時(shí)候需要考慮旋轉(zhuǎn)目標(biāo)檢測(cè)比如mmrotate和基于DOTA數(shù)據(jù)集的檢測(cè)方案。旋轉(zhuǎn)框能更貼合飛機(jī)輪廓提取出的區(qū)域也更干凈為后續(xù)細(xì)粒度分類提供更好的輸入。分類和檢測(cè)不是互斥的。我見過很多工程的做法是檢測(cè)網(wǎng)絡(luò)負(fù)責(zé)畫框分類網(wǎng)絡(luò)負(fù)責(zé)辨認(rèn)。把檢測(cè)網(wǎng)絡(luò)輸出的裁剪圖喂給分類模型既省去全圖滑窗的算力開銷又讓分類模型聚焦于飛機(jī)區(qū)域而不是亂七八糟的背景。6.2 從測(cè)試集反推業(yè)務(wù)落地的評(píng)估方式獨(dú)立測(cè)試集的價(jià)值不止在競賽里。放到真實(shí)業(yè)務(wù)中測(cè)試集其實(shí)就是對(duì)未來線上數(shù)據(jù)流的一次預(yù)演。你今天把評(píng)估腳本寫得多規(guī)范未來模型上線后做監(jiān)控和回歸測(cè)試就有多順手。我會(huì)建議在每個(gè)項(xiàng)目里都建一個(gè)評(píng)估即代碼的管道數(shù)據(jù)集版本、預(yù)處理參數(shù)、模型權(quán)重路徑、評(píng)估指標(biāo)、TTA開關(guān)全部用配置文件和腳本固定下來。下次模型迭代一鍵重跑同一份測(cè)試集就能清楚看到改動(dòng)帶來的真實(shí)收益或損失。6.3 相關(guān)數(shù)據(jù)集與工具生態(tài)如果你對(duì)飛機(jī)細(xì)粒度識(shí)別這個(gè)方向感興趣還可以關(guān)注這些公開資源FGVC-Aircraft經(jīng)典的細(xì)粒度飛機(jī)分類基準(zhǔn)包含100種飛機(jī)型號(hào)和標(biāo)題里的飛機(jī)100分類天然對(duì)位。Aeroscapes航空?qǐng)鼍罢Z義分割數(shù)據(jù)集適合做機(jī)場、跑道、飛行器區(qū)域的分割任務(wù)。DOTA遙感旋轉(zhuǎn)框目標(biāo)檢測(cè)數(shù)據(jù)集里面有大量飛機(jī)目標(biāo)適合檢測(cè)方向進(jìn)階。工具層面torchvision、timm、mmclassification、Ultralytics YOLOv8、mmrotate都是非常實(shí)用的開源庫。timm里EfficientNet、ViT等模型的預(yù)訓(xùn)練權(quán)重很全換網(wǎng)絡(luò)結(jié)構(gòu)時(shí)強(qiáng)烈推薦優(yōu)先試timm的版本。最后再說一次我自己的經(jīng)驗(yàn)別小看測(cè)試集這三個(gè)字。很多時(shí)候模型掉鏈子不是網(wǎng)絡(luò)結(jié)構(gòu)不夠花哨而是數(shù)據(jù)側(cè)和評(píng)估側(cè)沒做好。飛機(jī)100分類這種細(xì)粒度很強(qiáng)的任務(wù)尤其能逼著人把每個(gè)細(xì)節(jié)摳到訓(xùn)練有沒有泄漏測(cè)試信息、評(píng)估是不是正確的eval模式、標(biāo)簽有沒有臟數(shù)據(jù)、類別權(quán)重是不是失衡……哪一環(huán)偷懶測(cè)試集上都會(huì)很誠實(shí)地還給你。所以做這類項(xiàng)目我向來是先花時(shí)間把評(píng)估腳本寫到無懈可擊再回頭去折騰網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練技巧。這個(gè)順序要是反了大概率會(huì)在最后交答案的時(shí)候吃大虧。你手里的測(cè)試集值得你認(rèn)真對(duì)待。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日日夜夜爽| 超碰人妻在线| 狠狠色噜噜狠狠狠888了| 青青久久大香蕉| 色婷婷丁香| www.99热精品| 五月丁香淫淫婷婷婷| 色婷婷五月天亚洲| 色五月成人| 五月婷婷综合天天操| 九九99免费视频| 五月花婷婷丁香| 国产精品久久..4399| 激情五月成年| 老美AA片| 亚洲色无码A片一区二区麻豆| 97干在线播放| 综合色色婷婷| 五月天开心网| 九九 激情 网| 91激情五月开心| 99热亚洲精品66| 五月天开心激情网色欲无码| 天天综合激情| 亚洲爱爱无码婷婷色五月| 殴美激情综合网| 亚洲中文字幕翔田千里| 91高潮喷水久久久久久久久| 韩国中文字幕91| 岛国av网站| 亚洲激情另类| 91九色国产熟女| 五月丁香基地| 第四色五月天| 26uuu欧美| 天天射色五月天| 亚洲精| 久热只有这里有精品| 婷婷的色色五月天| 色六月婷婷| 99热狠狠操| 六月婷婷最新网址| 夜夜躁婷婷AV| 亚洲AV成人在线| 久久99久久久久久久噜噜| 五月激情偷拍| 天天操天天操天天操| 激情综合网亚洲色图| 九九黄色网| 99热国产精品| 超碰在线国产| 在线中文AV| 五月天精品| 九九视频在线观看| 少妇人妻人伦A片| 激情四射五月天| 91九色精品熟女内射| 99热伊人| 影音先锋女人AA鲁色资源| 亚洲av骚货| 任你爽视频| 婷婷久热| 国产,欧美,学生妹,视频| 九九精品热| 九九热视频在线观看| 精品夜夜澡人妻无码AV| 亚洲视频另类| 久久性视频| 99色在线视频观看| 国产另类综合| 久久婷婷五月综合啪| 精品99在线观看| 激情五月综合网最新| 26UUU欧美| 婷婷五月天在线视频网站| 久久人妻视频| 成人精品一区日本无码网| 中文字幕日产A片在线看| 在线中文AV| 亚洲精品无码A片一区二区| 91碰免费视频| 丁香五月婷婷色| 婷婷色五月综合丁香| 丁香五月婷婷亚洲综合精品在线| 人人干av| a久久| 六月婷婷天堂| WWW,激情五月天,COM| 五月丁香 久久久| 亚洲激情免费视频| 六月丁香五月天| 久久99热这里只频精品6学生| 91精品国产综合久久久不卡电影| 99热综合在线| 一级二级香港秋霞欧美欧美秋霞| 丁香狠狠操| 婷婷五月天伊人| www.91在线观看| 九九热99热| 五月天久久成人| 五月丁香六月久久| 伊人五月天日日夜夜久久久天天| 亚洲午夜精品久久久久久人妖| 日韩综合久久| 中文字幕在线观看视频www| 五月激情婷婷国产精品久久久久久| 91精品刘玥| 92久久精品一区二区| 九九av| 九九色综合| 丁香五月色五月| 天堂网色婷婷| 91九色视频在线观看| 五月丁香 狠狠爱| 丁香五月天操B| 香蕉久久国产AV一区二区| 九九在线视频| 夜精品无码A片一区二区蜜桃 | 99ri精品在线观看| 超碰色人妾| 超级碰 久久9| 丁香五月大香蕉AV| 色婷婷狠| 伍月婷丁香婷| 第四色婷婷最爱| 少妇激情五月婷婷| 亚洲人人操BD| 五月激情小说| 五月开心激情| 久久99国产综合精品免费| 亚洲色婷婷| 99啪啪视频| 午夜丁香| 色情终和网| 丁香婷婷天堂| 久久香蕉婷婷| 丁香六月激情国产| 91九色首页| 亚洲综合一区二区| 婷婷娌伦网| 亚洲va欧美va天堂v国产综合| 99热66| 香蕉人在线香蕉人在线 | 这里只有精品在线播放| 9久热| 日韩成人电影Av| 偷拍视频五月天| 99成人| 婷婷情色五月天| 久久只有18视频| 大香网伊人久久综合| 五月色丁香| 亚洲综合激情五月久久| 国产特黄色精品一区二区三区精品无广告| 亚洲成人中心| 狠狠干2007| 九九热这里只有国产精品| 五月婷婷在线观看| 99ri在线| 99操九九网| 婷婷综合另类| 色五月婷婷天天干| 99精品在这里| 色色激情| 狠狠久久婷| 伊人婷婷大香蕉| 激情五月天婷婷| 天天色爽| 激情五月婷婷在线观看| 欧美色色色| 六月激情婷婷| 婷婷久久五月丁香| 久久激情网| WWW.天天日| 欧洲亚洲精品| 插插插色综合网| 任你草| www五月| 久99久视频精品| 玖玖婷婷五月| 五月丁香婷婷啪啪综合网| 狠狠爱综合网| 五月丁香综合激情网| 二色av| 五月开心激情| 色婷婷a三区麻| 天天干人人奸97| dingxiangtingtingliuyue| 五月婷无码| 五月丁香五月婷婷在线观看| 影音先锋一区二区三区| 六月婷婷激情| 天堂草在线看www| 99超碰在线免费| 丁香五月综合| 五月天婷基地| 色五月婷婷丁香凹凸| 丁香午夜天| 97干综合网| 欧美精品999| 色就是色婷婷五月亚洲激情| 人人操9| 人妻操逼视频| 丁香六月婷婷五月天| 丁香五月婷婷基地| 五月丁香六月婷婷操操操| 国产精品人妻在线网址| 色综合色色| 99热在线观看这里只有精品| 亚洲第一成人无码A片| 桃色五月天| 日日操日日干| 成人视频一区| 久久天堂女人| 激情综合五月| 五月综合视频| 夜夜夜夜操| 激情九九九九| 成人无码髙潮喷水A片| 久久九精品| 国产精品电影网| 另类视频在线| 大香蕉伊人99| 五月天五月天激情网| 天天噜日日噜综合无码| 人人操婷婷| 4399在线日本A片| 天天爱天天做天天舔| www.久久色.com| 五月婷婷AV| 激情久久综合网| 激情综合国产| 天天综合网~91| PORNY九色9l自拍视频成人| 激情婷婷五六月天| 欧美色99| 久久九九一區| 天天日天天久久青青| 激情网婷婷五月天| 日日操日日爽| 天天做天天双| 91丨九色丨东北熟女| 色九月丁香婷婷蜜桃在线观看| 五月婷精品| www开心激情网| 综合玖玖性爱免费视频| 久久精品系列| 色停停影院五月天| www.99色在线| 四川女人毛多水多A片| 色婷婷综合久久久久| 亚洲人人操BD| 日日肏夜夜干| 五月丁香在线精品| 五月婷婷六月丁香综合视频在线| 中文字幕视频在线播放| www.91婷婷| 亚韩精品视频1区| www婷婷| 日本九婷婷| 久久精品永久免费| 婷婷五月天,影院| 99久久99九九99九九九| 丁香五月最新地址| 97se视频在线| 婷婷五月综合色中文字幕| 人妻丰满精品一区二区A片| 欧美日朝成人| 色综合久| 天天精品视频免费观看| 99热9| 另类激情五月在线视频欧美| 99精品视频网| 天天干天天干天天操| 五月天成人在线| 99这里的视频都是精品| 日本在线免费中文com.| 色婷婷成人影片| 天天操夜夜啊| 国产日批视频| 欧美毛片www| 亚洲激情淫网| 精品色色网| 欧美va视频不用播放器的va视频网| 亚洲区视频| 影音先锋91| 色播播婷婷| 婷婷久久图片| 丁香五月人妻| 久久大香蕉| 色婷婷免费观看| 98永久精品| 美国不卡视频| 色欲天天综合网| 99这里有精品视频| 丁香五月丐人妻| 99热在线爱| AV色五月婷婷| 九九视频热| 天天干夜夜欢| 久机视频这只有精品| 五月丁香六月婷婷亚洲综合| 神马欧美精| 激情婷婷丁香| 激情六月五月婷婷综合网| 激情五月天噢美| 丁香五月在线人妻| 五月婷在线色视频| 噜噜噜噜综合在线| 99久视频| 免费无码毛片一区二区A片| 黄色片久久| 99久久综合狠狠综合久久| avh片在线观看| 色婷婷激情视频| 99热99思午夜精品| 精品久久99码| 99热99这里有免费的精品| 26uuu另类亚洲欧美日本一| 综合婷婷| 久久九九网| 丁香五月天堂| 久久久色情| 99热.com| AV操操操| 五月丁香婷婷激情| 丁香激情网| 五月婷婷综合在线亚洲视频| 99热啪啪| www.久热| 好好干av| 色婷久久| 99热第一页| 亚洲中文字幕网| 九九热99热| 国产毛片欧美毛片久久久| www.99成人视频| 色情综合| 亚洲九九婷婷| 97色综合| 成人国产欧美大片一区| 色婷婷99| 99热热这里只精品996小说| 五月丁香婷婷激情久久| 97色在线| 青青草色在线视频观看| 国产永久一黄| 5月丁香美女影院| 婷婷九月| 黄色一级影片| 午夜色丁香| 五月丁香综合啪啪啪啪啪| 怡红院91a√| 五月综合激情网| 亚洲 综合中文| 九九性爱网| 久久您您综合网| 九九Av| 亚洲综合五月| 色婷婷社区| 综合五月亭亭9| 色婷婷综合网站| 99久久久久久久| 涩丁香| 五月丁香激情综合| 久久婷色| 亚洲综合五月| 国产 码在线成人网站| 六月丁丁香| 色五月丁香五月婷婷五月成人网| 色色日韩无码| ss99热| 麻豆科斗777| 婷婷五月天综合网| 六月婷婷av| 色涩影院六月丁香| 99免费青青蜜臀| 国模狼狼| 国产九月婷婷| 九 九九九AV| 婷婷五月天99综合网站| 久久久天堂国产精品女人| 久久婷婷五月| 五月综合视频| 欧美成人AAA片一区国产精品| 中文字幕黄色片| 91九色网| 婷婷另类小说| 五月丁香综合| 欧美成人精品A片免费一区99 | 超爽内射| 综合精品99| 亚洲视频另类| 伊人大香蕉在线视频| 九97免费视频| 亚洲综合在线网站| 久久婷婷综合国产| 99在线视频色版| 五月婷婷综合久久| 婷婷成人综合| 综合久色五月| 五月天堂在线| 最新丁香六月婷婷| 九九色大香蕉| 狼人久草| 大香蕉九九| 亚洲视频一区| 91re色综合视频| 亚洲六月综合激情久久下卡| 99视频在线看| 久久与婷婷| 婷婷五月天堂| 99热久只有精品首页| 五月综合视频在线| 丁香激情六月天婷婷| 成人欧美Va| 天天干、天天日日| 婷婷情爱五月天6| 五月婷婷深深爱| 亚洲网站999| 成人av在线电影| 99er这里只有精品| 青青草蜜臀| 国产色五月| AV操操操| 夜夜 操无码| 99热精品中文字幕| AAA级久久久精品| 国内熟女黄色系列| 丁香六月激情四射| 激情五月综合免费| 婷婷婷婷色| 99九九视频| 狠狠操狠狠爱| 婷婷欠久少妇| 色婷婷综合成人| 九九热超碰| 天天人人天天爽| 婷婷激情五月天在线| 第四色大香蕉| 婷婷丁香六月| 五月婷免费视频| 黄网在线免费观看| 婷婷五月AV| www.夜夜操.com| 天天天天天天操| 久久久av久av久片一区二区| 色婷婷激情五月天| 国产精品五月丁香| 婷婷激情综合| 激情小说五月天| 97超级碰人人| 亚洲精品亚洲人成人网| 日韩欧美一级大黄网站| 97在线视频观看| 久久婷青青草原| 婷婷色五月开心五月| 久久视屏这里只有久久| 日本色色色| 91chinese在线| 婷婷色影音天| 色狠狠色| 久久婷婷综合五月趴| 超碰99在线| av婷婷丁香| 日本久久精品| 婷婷香五月天| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 久青操| 日欧一片内射VA在线影院| 我想看国产大学生口爆吞精的视频| 色色婷| 五月深爱激情网| 婷婷伊人綜合中文字幕小说| 久久五月天丁香| 天天噜天天插| 婷婷娌伦网| 亚洲国产精品VA在线看黑人| www.99在线| 99热这里只有精品2| 亚洲综合99| 91久久九色| 婷婷丁香五月精品| 五月天天天色| 琪琪色热色色| 思思热精品在线观看| 久热这里只有| 色五婷婷| 超碰熟女拍拍| 色色欧美色色色| 久久久久9| 日本色色色| 亚洲精品无码一区二区| 九九色影视| 婷婷香五月天| 婷婷五月天综合亚洲| 91超碰人人操| 婷婷五月色综合| 五月丁香激情综合网官网| 人人爽在线视频综合网| 97人人干人人操| 熟女国产在线一区二区三区四区| 97婷婷丁香五月| 在线日韩视频| 九热精品| 成人在线综合| 色综合香蕉| 亚洲成人va| 涩五月婷婷| 色婷婷在线播放| 五月丁香婷婷导航视频| 99色免费在线观看| 丁香成人色情五月天| 亚洲日韩乱码一区二区三区四区| 国产精品A成V人在线播放| 国产成人VA| www,五月天激情| 大地9中文在线观看免费高清| www久| 操97免费超级视频| 无码橾| 色婷婷亚洲精品天天综| 国产综合A片| 99aese| 国产露脸150部国语对白| 天天五月香欧美| 99热亚洲精品| 综合色久| 五月天激情偷拍| 国产激情综合五月久久| 九久9精品| 色婷操逼| 综合网色| 激情综合五月| 婷婷五月天在线观看av| 亚洲精品久久久久久久久久吃药| 亚洲第一色色色色| 粉嫩AV久久一区二区三区| 99热在线里有精品| 91男人操女人视频| 国精产品一区二区三区| 婷婷成人av| 天天天天天天噜| 激情小说色五月| 色久免费| 久久亭亭电影| 九九热在线观看视频| 九九色天堂| 91热网址| 久久婷婷青草五月天| 久久久免费精彩视频| 欧美va亚洲va| 婷婷91视频| 丁香五月婷在线| 五月综合激情图片| 色播播五月天| 婷婷色综合| 99热99色| 思思精品久久艹| 五月天婷婷激情六月久久| 九九爱激情| 色噜久| 91美女被操| 成人五月天婷婷| 中字幕视频在线永久在线观看免费| 亚洲五月婷天天操| 96精品国产综合久久久久久| 中文字幕丰满人妻无码专区| 婷婷精品| 90色免费视频| 91九色欧美| 伊人网欧美在线男人天堂五月丁香| 免费黄色片子| 五月六月激情| 色婷婷五月色| 国产成人精品一区二三区熟女在线 | 亚洲视频一区| 99亚州综合精品成人网| 大香蕉九九| 国产伦亲子伦亲子视频观看| 人妻操逼视频| 开心六月婷| 久久婷婷老| 天天做天天爱天天玩| 丁香婷婷大香蕉| 国产无遮挡又黄又爽免费网站| 五月丁香六月婷婷综合| 9|无码久久久久久| 最新无毒无码AV| 深爱激情综合| 天天干天天日天天插| 免费观看日韩成人av| 日本美女上人| 天天插天天干天天舔| 777久久久| 人人操av| 激情五月丁香亭亭 | 久久免费精品小视频| 欧美熟女视频 色婷婷| www.91在线观看| 激情五月丁香色婷婷| 日韩美女羞羞网站在线观看| 综合婷婷| 99色精品| 狠狠干五码| 五月婷婷色色色| 五月伊人91| 秋霞性爱AV| 六月丁香婷婷在线波多| 狠狠色色| 婷婷成人在线| av网站不卡在线| 久久婷婷成人| 激情五月狠狠| 婷婷黄色五月天在线视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 99re这里只有精品9| 九九99精品免费播放| 日本妈妈乱| 92久操视频| 色狠狠综合| 国产欧美va| 99热国产这里只有| 97五月久久丁香婷婷| 日曰躁夜夜躁2026| 久久伊人五月天| 色播五月婷婷五月| 激情五月天开心网丁香无码| 婷婷五月天黄色网址| WWW.亚洲无码| 亚洲天堂热| 久9精品视频| 久久这里只有精品1| www.99视频| 91在线观看www| 色五月天电影| 亚洲99在线| 99热这里只有精品50| 91超碰在线观看| 一区二区你懂的| 97 A I色色| 婷婷八月丁香激情综合| 五月天婷婷成人资源站| 天天 青草 制服丝袜 在线| 激情久久 婷婷| 91在线97视频| 亚洲最大成人综合网720P| 色九月| 九色啦蜜臀| 丁香五月无码| 日本性激情色播| 丁香五月婷婷亚洲色图| 另类天堂| 99色网站| 免费观看亚洲AV片| 日韩在线99| 六月婷婷最新网址| 色综合播放| 国产精品涩涩涩视频网站| 五月天伊人| 五月婷婷综合激情网| 久久看婷婷| 亚洲日日日| 色女伊人| 国产精品热搜丁香五月婷婷| 我爱宗和色| 99这里只有免费的小视频在线观看| 97狠狠色| 国产免费AV在线| 五月丁香少妇| 婷婷爱爱蜜臀天天操| 欧美操我| 亚洲乱码w在线观看| 五月丁了香蕉综合| 自拍视频在线观看9| 91久久人人操| 潮汕成人AV片在线| 欧美啪啪网| 蜜桃婷婷狠狠久久综合| 久激情| 丁香五月成人丝袜| www.久久99热地址发布| 美女精品一级不卡视频| 操逼六区| 91一起操| 18av天堂| 五月综亚洲| 五月情婷婷五月| 婷婷五月天激情综合深爱| 97婷婷丁香五月| 激情久久综合网| 婷婷六月花| 婷婷综合色五月天| 五月天久久综合婷婷| 日本婷色| 欧美在线97| 97色色婷婷| 婷婷射图| 久久婷五月| AA片在线观看视频在线播放| 色婷婷91激情小说| 色蜜婷婷| 国产日比| 丁香六月婷婷综合麻豆| 中文字幕色色| 日本九婷婷| 九热视频| 欧美电影在线观看| 日韩天堂久久| 色噜噜狠狠色综合成人99| 99色区| 五月天婷婷久色| 丁香五月天啪啪激情综和网| 五月天天天天天天天天天天天天天天天婷婷婷| 五月天开心网| 久久精彩视频| www.91五月| 综合色吧| 丁香五月天婷婷在线视频| 99色6爱9热| 五月丁香六月情婷婷久久| 婷婷丁香综合| 玖玖在线视| 久久小视频| 日韩在线视频9色| 第五婷婷伊人丁香| 五月丁香六月婷婷精品| www.夜夜騎夜夜狠| 国产97色在线| 人妻丰满精品一区二区A片| 五月婷中文娱乐综合| 九九re精品视频在线观看 | 婷婷射丁香| 欧美五月婷婷| 韩国中文字幕91| 五月色亚洲| 天天开心婷婷丁香五月| 狠狠狠五月婷婷六月丁香| 激情五月天啪啪| www.狠狠| 激情五月综合第一页| 激情五月天婷婷久久久久久久久久久| 日本操逼九九九九58日本操逼| 色婷婷六月天| 99亚洲精品综合在线| 婷婷人人操| 99热这只有| 免费在线观看欧美激情xx小视频| 天天狠狠夜夜狠狠2023| 热婷婷久| 操操操www.com| 天天做夜夜爽| 五月天激情网图片| 丁香五婷婷| 色五月婷婷、老熟女| 九九热99熟女| 日本无码专区| 亚洲激情网| 99r这里| 高清无码网址| 天天se在线视频| 九九操综合网| 中文字幕在线免费观看视频| 日本玖玖在线| 久久99热免费| 美女网黄| 色爱爱综合网| 激情网狠狠干| 97人人干人人操| 五月天堂六月丁香亚州中文字幕久久| 五月激情六月| 九月丁香亭亭| 激情丁香五月| 超碰AAAAAAV| Av大香蕉| 大香蕉Av在线| 亚洲性爱区无码区| 26uuu最新地址| 啪啪六月婷婷| 五月天另类小说久久小说网| 天天拍天天操| 成人AV免费观看| 五月天 无码| 色狠狠色噜噜AV天堂五区| 伊人久久艹| 99精品综合视频| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 色狠狠综合入口| 五月精品免费XXX| 极品少妇高潮啪啪AV无码| 国产avapp 网| 极品人妻VideOssS人妻| 99精品综合| 久久五月激情网| 激情综合网五月婷婷| 久久精品婷婷五月丁香| 天天舔天天操| AV操一操| 九九热手机在线视频| 婷婷五月影院| 99热综合在线| 激情綜合W W W,激情五月天| 亚洲色图五月丁香| 精品爆操| 99热第一页| 99热精品中文字幕| 涩丁香91| 五月天激情子轮| 亚洲精品字幕| 五月天婷婷色播| 中文字幕在线观看视频www| 丁香五月色情| 午夜大香蕉| WWW久久久| 99视频35精品视频在线观看| 色情五月天。| 婷婷色在线视频| 4438成人电影| 99激情视频| 亚洲操B视频| 日日撸夜夜操| 婷婷五月色色| 丁香婷婷色九月| 91九色中文字幕女在线观看| 婷婷五月丁香色综合| 91嫩草久久| 色五月五月婷婷| 婷婷丁香五月91| 色婷婷综合影院| 欧美啪啪9| 久超超碰| 五月天婷婷色色| 色婷婷五月在线| 婷婷久久婷婷色五月| 亚洲色色色| 2020久久婷婷五月| 国产人妻777人伦精品HD| 这里只有精品视频在线观看免费| 777精品久无码人妻蜜桃| 天天色情站| 亚洲V国产V欧美V久久久久久| 狠狠擼综合| 99热超碰人| 激情五月天小说| 五月天狠狠色| 久久久久9999| 99在线观看这里都是精品| 夜夜爽77777妓女免费下载 | www.色婷婷.com| 色婷五月天网站| 天天色中文字幕女优AV| 丁香五月在线| www.jiujiujiu| 一本色道久久综合狠狠躁小说| 五月天合网| 精品人妻午夜一区二区三区四区| www.狠狠干com| 久久婷婷东京热大香樵| 99在线视频播放| 久久九九怡红院| 香蕉AV777XXX色综合一区| 亚洲AV成人无码久久精品老人法拉利| 欧美久久九九| 狠狠干,狠狠操| 69热在线| 日本不卡高字幕在线2019| 婷婷五月在线播放| 综合激情在线| 嫩BBB槡BBBB搡BBBB| 久久这里99| 香蕉乱插| www.minyis.com【JT】实力收量可预付QQ2101460746 | 性一交一乱一交A片久久四色| 9这里只有精品| 婷婷99丁香| 来吧亚洲综合网| 噜噜噜精品欧美成人在线观看| 涩 五月 婷婷 狠狠| 9 1超碰九色| 色久五月| 五月丁香亭亭AV女优| 五月婷婷色| 久久欧洲综合网| 亚洲性爱电影| 日本少妇裸体做爰高潮片| 深爱激情丁香五月| 99亚洲精品视频在线观看| 欧美色图片88| 97资源欧美日韩大香蕉超碰一区| 激情综合网之激情五月| 97热超碰| 久久久久久久人妻| se99视频| 六月丁香婷婷视频综合在线观看| 亚洲成人日韩无码精品| 五月丁香激情啪啪| 色色色色色色97| 色婷婷在线播放| 久久人妻超碰一区| 久久六月天| 中国AV性爱观看| 婷婷五月激情图片| 色婷婷性爱网| 日本高清久久| 在线可以看的av网址| 思思热这里只有精品视频666| 久久3级片| 五月丁香| 99热这里只有精品9| 欧美群妇大交乱婬网| 激情五月婷婷她| 久久久久久久久久8888| 激情六月天| 综合在线丁香五月| 色五月琪琪| 伊人婷婷99热精品| 狠狠综合网| 影音先锋91资源站| 亚洲综合色丁香五月天| 亚洲色综合| www.久久99精品| 天天干天天干天天干| 最新va在线播放| 五月开心婷婷| 六月丁香啪啪| 婷婷五月丁香超碰| 国内精品免费一区二区2009| 丁香五月天色婷婷| 9月色婷婷| 久久欧洲综合网| 激情播丁香| 人妻久热| 极品九九九九九九| 99色爱| 日本人妻A片成人免费看片| 午夜爱爱网站| 久久免费婷婷视频| 激情综合激情五月| 思思热天天看| 丁香蜜臀黄色婷婷五月天| 一起操最新网址| 丰满少妇猛烈A片免费看观看 | 五月天激情网图片| 五月婷婷婷婷| 五月丁香久久网| 色综合激情| www夜夜操wwwcon| 五月天色婷好好| 五月色婷| WWW·色色色·COM| 996热re视频在线观看视频| 久久婷婷综合五月| 9久热| 色五月欧美| 嫩草视频在线观看| 色五月丁香婷婷久草| 伊人五月丁香| 亚洲激情精品| 99热久草| 婷婷玉月丁香五月在线视频| AV天堂淫乩| 天天骑日日爽| 国产精品久久99| 五月丁香色综合| 99精品国产在热久久婷婷| 在线91日韩| 超碰免费电影| 精品五月花| 精品二区| 婷婷五月天国产传媒| 99燥99日| 国外亚洲成AV人片在线观看| 精品无码久久久久久久久| 五月婷婷综合网| 亚洲免费看片| www色色com| 色五月婷婷丁香五月| 婷婷伊人五月天| WWW久久久| 五月婷婷片| 国产 码在线成人网站| 婷婷婷婷色| 天天爽夜夜操| 亚洲激情综合| 国产成人精品亚洲线观看| 五月天社区| 怡红院AV亚洲一区二区三区H | 婷婷精品视频| 欧美性生交XXXXX无码小说| 婷婷久久五月天| 国产乱妇无乱码大黄AA片| 中文字幕日产A片在线看| 少妇高潮呻吟A片免费看软件| 少妇2做爰HD韩国电影| 亚洲无AV在线中文字幕| 操大屄五月天视频| 99精品久久久久久久久| 久久激情婷婷| 天天操天天曰天天射| 日本免费91| 99视频精品| 狠狠五月天婷婷| 人人干人人操人人摸人人做| 开心婷婷五月中文字幕组| www99热| 色色狼人综合| 久久99网| 99只有精品| 91操黄| 免费在线a| 久久久激情视频| 色色色色热热| 五月丁香六月婷婷亚洲激情综合| 激情五月,深深爱五月| 99热这里只有免费精品| 99热首页| 天天色天天| 色哟哟精品| 九九碰九九爱97超碰| 影音先锋五月婷婷| 伊人久热91| 丁香六月综合激情| 激情播丁香| 天天日,天天插| 九九热av| 成人综合网站| 激情五月天第四色| 超碰免费99| 五月丁香综合伦理片| 五月天激情亚洲| 999精品乱码77777| 国产69久久久欧美黑人A片| 五月丁久久| 九月久久婷婷| 操人妻90p| 久久九九蜜| 天天操无码| 538在线精品| 美国不卡视频| 五月丁香 六月婷婷a| 婷婷五月婷婷五月天| 99热只有这里有精品| 久久曰曰| 成人在线二区| 婷婷五月丁香欧洲| 天天操夜夜夜夜爽| 五月婷深深爱激情网| 人人视频人人干人人做| 五月天婷婷基地| 另类图片五月天婷婷| 九九综合| 天天搞天天色综合| 婷婷五月综激情| 日本视频不卡123区| 久99热在线观看| 人人色性网| 9l视频自拍九色9l视频在线观看| 国产乱妇无乱码大黄AA片| 99热官网精品在线| 五月丁香激情五月天| 来吧亚洲综合网| 超碰在线成人| 亚洲免费av在线| 极品 少妇 内射| 久久9久| 丁香深五月婷婷| 热中文字幕| 天天色视频| 国产黄大片在线观看画质优化| 第四色网婷婷| 翔田千里无码| 久久综合中文字幕| 丁香婷婷五月色综合| 开心五月婷婷五月| 婷婷激情五月综合| 五月婷婷六月丁香| 丁香六月狠狠干| 偷拍视频五月天| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 丁香六月欧美| 中文字幕丰满孑伦无码专区| 99热爱爱干干日| 五月天影院| 粉嫩AV久久一区二区三区| 色99日韩| 人人爽欧美婷婷久久久五月丁香| 噼里啪啦在线观看免费完整版视频| 久99久热| 天天五月情| 专区无日本视频高清8| 丁香婷婷黄网站| 精品成人a v无码内射| 99超超碰| 婷婷五月天AV网| 大香蕉久热| 999九九九久久久99HD| 色噜噜,噜噜色| 九九色综合| 五月天婷婷操逼视频| 五月丁香六月婷婷的女人| av国产精品| 欧美在线骚货| 97碰在线视频| 色色色五月婷| 日本在线va| 日韩欧美成人一区二区三区| 月婷婷亚洲| 人人操AV| 久久婷婷婷| 五月丁香六月婷| 人人操人| 五月天激情日色在线| 五月天开心网| 丁香六月婷婷久久综合八月| 熟女网站久久| 婷婷五月综合啪| 久久99热这里只有精品| 久久五月婷综合| 开心五月婷婷在线视频免费观看| 五月天综合网| 欧美日韩成人在线| a在线观看| 91碰视频| 色综合久久中文| 9热在线观看| 激情婷婷五月天| 99ri视频在线观看| 五月丁香淫淫婷婷婷| 色婷婷丁香AV综合| 日日夜夜爽爽| 色色色激情网| 激情亚洲婷婷六月| 亚洲无AV在线中文字幕| 欧洲亚洲免费视频区| 97干在线| 欧美婷婷六月丁香综合色连续高潮抽搐| 99热在线只有精品| 丁香婷婷六月激情文学| 狠狠爱综合| aaaaa黄色| 丁香五月久久| www.99热日韩.com| 色情五月婷婷| AV伊人青草丁香六月| 天天综合精品| 久久这里只有国产| 伊人激情AV一区二区三区| www.五月天性.com| 蜜臀AV在线观看| 天天做综合网色综合| 亚洲av另类在线观看| 欧洲免费视频色| 欧美婷婷综合| 丁香六月综合激情| 91在线视频综合| 欧洲不卡视频| 99热这里只有精品268| 九九热这里只有精品6| 99re这里只有精品国产99| 久在线88综合| 综合网五月天123| 99热日本精品| 日本高清久| 婷婷和五月天| 五月天成人免费视频| 精品99爱免费视频在线观看| 中文字幕不卡网站| 婷婷五月激情网站| 五月婷婷丁香网| 激情av在线| 激情六月综合| 丁香五月综合久久八| 成人国产欧美大片一区| 日日狠狠久久偷偷四色综合免费 | 久久五月天影院| 五月婷婷69| 天天综合 99久久婷婷| 天天色播| 五月婷婷丁香五月亚洲色| 熟女人妻视频| 色五月在线观看| 久久在这里99| 99久久99九九九99九他书对| 欧洲亚洲免费视频9| 天天综合天综合久久网| 丁香激情五月天| 久久综合爱| 久久精品一区二区三区四区| 99热免费看| 色玖玖导航| 无码人妻少妇色欲AV一区二区| 五月丁香婷庭在线| 丁香激情五月少妇| 色99网站| 日本成人噜噜| 伊人色综合影院视频| 综合久| 啪到高潮激情丁香五月| 天天摸天天肏| 国产亚洲精品久久久久久豆腐| 婷婷精品性性性性性性性| 色噜噜夜夜夜综合网| 91色色色| 丁香六月婷婷姐网| 91丨九色丨白浆秘| 超pen个人视频97| 色综合色色色| 激情四射五月天偷偷看婷婷| 色婷婷色丁香色欲av| 五月天久久久| 九九热这里只有国产精品| av在线中文| 欧美亚洲色色色色| 欧美色频| 深爱激情四射| 中文字幕成| 国产婷婷色综合AV蜜臀AV | 欧美综合激情丁香五月六月婷| 高潮毛片遮挡费高一百度| 色婷婷aV四虎| 五月婷婷色色| 人妻无码精品一区| 色就是色婷婷五月亚洲激情| 丁香八月综合激情| 99A级片| 五月天婷婷深深爱| 9l视频自拍9l九色成人| 五月激情婷婷偷拍| 色5月婷婷| 操人妻视频91| 26uuu.| 69人妻人人澡人人爽久久| 日日做A爰片久久毛片A片英语| 色噜噜狠狠色综无码久久合欧美| 五月丁香六月欧美综合| 色婷婷激情四射视频| 婷婷丁香中文字幕| 婷婷激情社区| 五月社区丁香| 激情久久久久久| 国产色色色色色| 激情又色又爽又黄的A片| 色婷婷六月| 五月天婷婷伊人| 中文字幕成人| 亚洲AVDVD| 无码激情AAAAA片-区区| 97人人干人人操| 99A片| 婷婷五月丁香伊人网| 亚洲不卡| www.99热这里精品| 九九婷| 开心五月激情网| 综合激情五月婷婷| 夜夜干天天干| 天天操天天操天天操| 丁香婷婷激情综合五月激情| 青青草Avb在线| 激情综合网激情五月婷婷| 五月丁香在线| 五月天com| 久久精品亚洲一级牲爱综合| 黄色99网| 天天天天天天天干| 任你操精品免费|