欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

醫(yī)學(xué)圖像分類(lèi)實(shí)戰(zhàn):腎臟數(shù)據(jù)集組織、yolov5訓(xùn)練與混淆矩陣評(píng)估

醫(yī)學(xué)圖像分類(lèi)實(shí)戰(zhàn):腎臟數(shù)據(jù)集組織、yolov5訓(xùn)練與混淆矩陣評(píng)估 簡(jiǎn)介一套針對(duì)腎臟結(jié)節(jié)與腫瘤識(shí)別的醫(yī)學(xué)圖像分類(lèi)數(shù)據(jù)集包含正常、結(jié)節(jié)、腫瘤三種標(biāo)簽專(zhuān)為基于深度學(xué)習(xí)的影像分類(lèi)場(chǎng)景設(shè)計(jì)適用于醫(yī)學(xué)影像入門(mén)實(shí)驗(yàn)、算法驗(yàn)證及競(jìng)賽練習(xí)。數(shù)據(jù)已按照訓(xùn)練集、驗(yàn)證集、測(cè)試集劃分并保存在data目錄下的獨(dú)立文件夾中三類(lèi)圖像數(shù)量分別為訓(xùn)練集2800張、驗(yàn)證集800張、測(cè)試集400張可直接用作卷積神經(jīng)網(wǎng)絡(luò)分類(lèi)或YOLOv5分類(lèi)數(shù)據(jù)集的輸入。資源包共2000個(gè)文件主要由1998張JPG樣本圖組成另含1個(gè)記錄類(lèi)別名稱與索引對(duì)應(yīng)關(guān)系的JSON字典文件以及1個(gè)用于數(shù)據(jù)集可視化的Python腳本整體壓縮包約151.5MB結(jié)構(gòu)簡(jiǎn)潔、便于快速檢查數(shù)據(jù)質(zhì)量。目前已有299人學(xué)習(xí)下載類(lèi)別字典清晰標(biāo)注類(lèi)別與索引的對(duì)應(yīng)關(guān)系可視化腳本便于快速檢查樣本減少數(shù)據(jù)整理與預(yù)處理的繁瑣步驟。對(duì)于希望快速獲得劃分完善、格式規(guī)整醫(yī)學(xué)圖像數(shù)據(jù)的研究者這套資源能顯著縮短實(shí)驗(yàn)前期準(zhǔn)備時(shí)間。1. 醫(yī)學(xué)圖像分類(lèi)的第一步這份腎臟數(shù)據(jù)集的目錄里藏著什么做醫(yī)學(xué)圖像分類(lèi)的人最怕的不是模型選型而是數(shù)據(jù)本身沒(méi)收拾利索。標(biāo)簽對(duì)不上、圖片混在一起、訓(xùn)練驗(yàn)證切分不干凈這些問(wèn)題往往在項(xiàng)目過(guò)半時(shí)才暴露一返工就是幾天。這次拆的資源是一份已經(jīng)劃分好的腎臟結(jié)節(jié)、腫瘤圖像識(shí)別數(shù)據(jù)集3 分類(lèi)正常、結(jié)節(jié)、腫瘤訓(xùn)練集 2800 張、驗(yàn)證集 800 張、測(cè)試集 400 張按文件夾組織好還帶類(lèi)別字典 json 和一個(gè)可視化腳本可以直接喂給 yolov5 分類(lèi)模式或任意分類(lèi)網(wǎng)絡(luò)。拿到手之后我的第一感覺(jué)是這省掉的不是下載時(shí)間是整理數(shù)據(jù)的時(shí)間。很多開(kāi)源數(shù)據(jù)集只給一堆散圖和一個(gè)標(biāo)注文件你得自己寫(xiě)腳本按標(biāo)簽歸文件夾、按比例切分稍不注意就漏圖或者路徑寫(xiě)錯(cuò)。這份資源把 train、valid、test 三套目錄都鋪好了圖片按類(lèi)別歸類(lèi)路徑即標(biāo)簽。對(duì)剛上手醫(yī)學(xué)圖像分類(lèi)的開(kāi)發(fā)者來(lái)說(shuō)可以直接跳過(guò)數(shù)據(jù)預(yù)處理這個(gè)最容易翻車(chē)的環(huán)節(jié)直接進(jìn)入訓(xùn)練和調(diào)參對(duì)熟手來(lái)說(shuō)省掉的是重復(fù)造輪子的時(shí)間把精力放在類(lèi)別邊界和模型評(píng)估上。2. 拆開(kāi)數(shù)據(jù)集看門(mén)道目錄、類(lèi)別字典與 4000 張圖的分布邏輯2.1 train / valid / test 三份目錄yolov5 分類(lèi)模式默認(rèn)的數(shù)據(jù)組織方式我第一次拿這份資源時(shí)先做的不是訓(xùn)練而是把目錄結(jié)構(gòu)和文件數(shù)量完整數(shù)了一遍。分類(lèi)任務(wù)和檢測(cè)任務(wù)不一樣檢測(cè)要讀 xml 或 txt 標(biāo)注分類(lèi)任務(wù)最簡(jiǎn)單可靠的組織方式就是「一個(gè)文件夾一個(gè)類(lèi)別」文件夾名就是標(biāo)簽。yolov5 的 classify/train.py 正是按這個(gè)約定讀數(shù)據(jù)的它內(nèi)部用 torchvision 的 ImageFolder 機(jī)制指定根目錄后會(huì)自動(dòng)掃描子目錄把每個(gè)子目錄名當(dāng)作一個(gè)類(lèi)別。# 在項(xiàng)目根目錄執(zhí)行查看數(shù)據(jù)集目錄樹(shù) tree -L 3 datadata/ ├── train/ │ ├── normal/ # 正常腎臟影像 │ ├── stone/ # 腎結(jié)石 / 結(jié)節(jié) │ └── tumor/ # 腫瘤 ├── valid/ # 有些版本寫(xiě)作 valyolov5 兩個(gè)寫(xiě)法都認(rèn) │ ├── normal/ │ ├── stone/ │ └── tumor/ └── test/ ├── normal/ ├── stone/ └── tumor/數(shù)完目錄我心里的預(yù)期是 train 2800、valid 800、test 400實(shí)測(cè)后跟摘要對(duì)得上。這里的邏輯說(shuō)明很簡(jiǎn)單yolov5 對(duì)訓(xùn)練集和驗(yàn)證集目錄名有約定train 和 valid或 val是它掃描的固定關(guān)鍵詞test 目錄在訓(xùn)練階段不會(huì)被動(dòng)用只在推理或最終評(píng)估時(shí)使用。參數(shù)說(shuō)明一下如果目錄名寫(xiě)的是 validation 而不是 valid 或 val那個(gè)文件夾會(huì)被忽略模型把驗(yàn)證集當(dāng)成了不存在這個(gè)問(wèn)題我見(jiàn)過(guò)不止一次。2.2 類(lèi)別字典 json從文件夾名到訓(xùn)練標(biāo)簽的映射關(guān)系數(shù)據(jù)文件夾本身已經(jīng)把標(biāo)簽寫(xiě)在路徑里了那 json 文件還有什么用它解決的是「數(shù)字標(biāo)簽」和「語(yǔ)義標(biāo)簽」的對(duì)應(yīng)關(guān)系。模型輸出的 argmax 結(jié)果是個(gè)整數(shù)比如 0、1、2你總得知道 1 到底代表結(jié)節(jié)還是腫瘤這就是類(lèi)別字典存在的意義。import json with open(data/classes.json, r, encodingutf-8) as f: class_dict json.load(f) print(class_dict) # {0: normal, 1: stone, 2: tumor} # 具體鍵值順序以你下載到的 json 為準(zhǔn)這里只是示例 # 反向映射訓(xùn)練時(shí)模型輸出 0/1/2通過(guò)它轉(zhuǎn)成可讀類(lèi)別 idx_to_name {int(k): v for k, v in class_dict.items()} name_to_idx {v: k for k, v in idx_to_name.items()}邏輯說(shuō)明這段代碼把 json 讀進(jìn)來(lái)后同時(shí)生成了兩個(gè)方向的映射。訓(xùn)練階段用 name_to_idx 把文件夾名轉(zhuǎn)成目標(biāo)張量驗(yàn)證和推理階段用 idx_to_name 把模型輸出轉(zhuǎn)成可讀的類(lèi)別文字。參數(shù)說(shuō)明json 里的鍵不一定是字符串形式的數(shù)字有的資源直接寫(xiě)的 {normal: 0}如果你拿到的是這種結(jié)構(gòu)把 int(k) 那行去掉就行讀取前先 print 一下原文件是標(biāo)準(zhǔn)動(dòng)作。有一個(gè)容易忽略的點(diǎn)torchvision 的 ImageFolder 在掃描子目錄時(shí)是按字典序生成 class_to_idx 的和 json 里定義的順序不一定一致。如果你的類(lèi)別名是 normal、stone、tumor按字母序恰好是 normal0、stone1、tumor2和 json 一致算運(yùn)氣好如果類(lèi)別名是中文或者首字母大小寫(xiě)混亂就要以 ImageFolder.class_to_idx 的實(shí)際結(jié)果為準(zhǔn)拿 json 來(lái)校驗(yàn)而不是拿來(lái)直接替換。2.3 show 腳本先可視化再訓(xùn)練省掉一半冤枉路資源里附帶了一個(gè) show 腳本我的習(xí)慣是在任何訓(xùn)練開(kāi)始前先跑它。醫(yī)學(xué)圖像分類(lèi)的視覺(jué)檢查和自然圖像不一樣很多圖片在普通人眼里長(zhǎng)得幾乎一樣但模型要學(xué)習(xí)的紋理特征就藏在這些細(xì)微差異里。腳本的作用是把每個(gè)類(lèi)別隨機(jī)抽幾張圖拼成網(wǎng)格展示出來(lái)確認(rèn)圖片能正常讀取、沒(méi)有黑圖或損壞文件順便對(duì)類(lèi)別特征有個(gè)直觀印象。import matplotlib.pyplot as plt import os import random from PIL import Image data_root data/train classes [d for d in os.listdir(data_root) if os.path.isdir(os.path.join(data_root, d))] fig, axes plt.subplots(len(classes), 4, figsize(12, len(classes) * 3)) for row, cls in enumerate(classes): cls_dir os.path.join(data_root, cls) imgs os.listdir(cls_dir) sample random.sample(imgs, min(4, len(imgs))) for col, img_name in enumerate(sample): img Image.open(os.path.join(cls_dir, img_name)) axes[row, col].imshow(img) axes[row, col].set_title(f{cls}) axes[row, col].axis(off) plt.tight_layout() plt.show()邏輯說(shuō)明這段腳本遍歷訓(xùn)練集下每一個(gè)類(lèi)別文件夾每個(gè)類(lèi)別隨機(jī)抽 4 張圖拼成一行網(wǎng)格。random.sample 做的是無(wú)放回抽樣避免同一張圖重復(fù)出現(xiàn)。參數(shù)說(shuō)明figsize 的第二項(xiàng)用 len(classes) * 3 動(dòng)態(tài)計(jì)算高度類(lèi)別越多圖越高min(4, len(imgs)) 是為了防止某個(gè)類(lèi)別的圖片數(shù)量不足 4 張時(shí)報(bào)錯(cuò)這屬于防御性寫(xiě)法資源里每類(lèi)都遠(yuǎn)超 4 張但寫(xiě)腳本時(shí)保留這個(gè)保護(hù)沒(méi)壞處。跑完 show 腳本我還習(xí)慣順手統(tǒng)計(jì)一下每個(gè)子目錄的具體數(shù)量這一步在分類(lèi)任務(wù)里的重要性超出很多人想象具體原因下一章展開(kāi)講。如果 show 腳本跑出來(lái)個(gè)別圖片是純黑或者明顯是損壞文件趁早剔除而不是等訓(xùn)練到一半 loss 異常再去排查。3. 把圖片喂進(jìn)模型yolov5 分類(lèi)模式與通用 CNN 兩條訓(xùn)練路線3.1 yolov5 分類(lèi)模式命令行訓(xùn)練與關(guān)鍵參數(shù)說(shuō)明這份數(shù)據(jù)集直接兼容 yolov5 的分類(lèi)模式這是最快跑通 baseline 的路線。yolov5 倉(cāng)庫(kù)里 classify 目錄下提供了獨(dú)立的訓(xùn)練入口不需要額外寫(xiě)數(shù)據(jù)加載器目錄結(jié)構(gòu)滿足約定后一行命令就能開(kāi)訓(xùn)。git clone https://github.com/ultralytics/yolov5 cd yolov5 pip install -r requirements.txt # 使用官方分類(lèi)模型做預(yù)訓(xùn)練權(quán)重在腎臟數(shù)據(jù)集上微調(diào) python classify/train.py \ --model yolov5s-cls.pt \ --data ../kidney_dataset/data \ --epochs 50 \ --img 224 \ --batch 64 \ --name kidney_cls_run1這段命令的邏輯說(shuō)明--data 指向數(shù)據(jù)集根目錄yolov5 會(huì)自動(dòng)尋找該目錄下的 train 和 valid或 val子目錄--model 指定模型結(jié)構(gòu)同時(shí)加載官方在 ImageNet 上預(yù)訓(xùn)練好的權(quán)重遷移學(xué)習(xí)可以顯著加速收斂--img 224 是把輸入圖縮放到 224×224這是分類(lèi)模型在 ImageNet 上的標(biāo)準(zhǔn)輸入尺寸改成 320 或 640 可以提升小目標(biāo)細(xì)節(jié)的辨識(shí)度但顯存占用和訓(xùn)練時(shí)間會(huì)同步上漲。參數(shù)說(shuō)明里有兩個(gè)值得單獨(dú)拎出來(lái)--batch 64 依賴 GPU 顯存在 8GB 顯存以下的卡上建議降到 32 或 16否則會(huì)出現(xiàn) CUDA out of memory--name 是實(shí)驗(yàn)標(biāo)簽yolov5 會(huì)把權(quán)重和日志存到 runs/train-cls/name 目錄下?lián)Q一組超參就換一個(gè) name這是最簡(jiǎn)單的實(shí)驗(yàn)管理方式。訓(xùn)練完成后結(jié)果目錄里會(huì)自動(dòng)生成 confusion matrix 和 results.png那個(gè)混淆矩陣圖就是后文要重點(diǎn)看的東西之一。我一般會(huì)先跑 50 個(gè) epoch 看 loss 曲線是否正常下降再?zèng)Q定要不要加時(shí)間。醫(yī)學(xué)圖像數(shù)據(jù)集通常比自然圖像更「難學(xué)」因?yàn)轭?lèi)間差異小50 個(gè) epoch 往往還不夠收斂如果還有時(shí)間預(yù)算加到 100 epoch 效果會(huì)更好。yolov5 分類(lèi)模式默認(rèn)會(huì)做早停patience 默認(rèn) 100所以不用太擔(dān)心過(guò)擬合跑太久。3.2 通用 CNN用 torchvision 的 ImageFolder 手寫(xiě)一個(gè)數(shù)據(jù)加載器如果不想綁定 yolov5想自己控制模型結(jié)構(gòu)或做更精細(xì)的數(shù)據(jù)增強(qiáng)torchvision 的 ImageFolder 是最順手的加載方案。它做的事情正是章節(jié) 2.2 里說(shuō)的掃描根目錄下的子文件夾把文件夾名映射成整數(shù)標(biāo)簽返回 (圖像張量, 標(biāo)簽) 配對(duì)的數(shù)據(jù)集。這與本數(shù)據(jù)集的「文件夾保存」方式是完全對(duì)應(yīng)的不需要額外寫(xiě)標(biāo)簽解析邏輯。import torch import torch.nn as nn from torchvision import datasets, transforms, models # 訓(xùn)練集增強(qiáng)隨機(jī)水平翻轉(zhuǎn) 顏色擾動(dòng)抑制醫(yī)學(xué)圖像過(guò)擬合 transform_train transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(p0.5), transforms.ColorJitter(brightness0.2, contrast0.2), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) # 驗(yàn)證集只做縮放和歸一化不做隨機(jī)增強(qiáng) transform_val transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) train_ds datasets.ImageFolder(data/train, transformtransform_train) val_ds datasets.ImageFolder(data/valid, transformtransform_val) test_ds datasets.ImageFolder(data/test, transformtransform_val) train_loader torch.utils.data.DataLoader( train_ds, batch_size32, shuffleTrue, num_workers4, pin_memoryTrue) val_loader torch.utils.data.DataLoader( val_ds, batch_size32, shuffleFalse, num_workers4, pin_memoryTrue) # 用 ResNet18 做遷移學(xué)習(xí)把最后一層全連接換成 3 分類(lèi) model models.resnet18(weightsmodels.ResNet18_Weights.IMAGENET1K_V1) model.fc nn.Linear(model.fc.in_features, 3) criterion nn.CrossEntropyLoss() optimizer torch.optim.Adam(model.fc.parameters(), lr1e-3)邏輯說(shuō)明ImageFolder 返回的數(shù)據(jù)集對(duì)象自帶 classes 和 class_to_idx 兩個(gè)屬性classes 是文件夾名列表class_to_idx 是名字到數(shù)字的映射建議打印出來(lái)和類(lèi)別字典 json 對(duì)一遍防止字母序?qū)е碌臉?biāo)簽錯(cuò)位。驗(yàn)證集的 transform 不能帶隨機(jī)增強(qiáng)否則每次評(píng)估結(jié)果都有波動(dòng)無(wú)法橫向比較。參數(shù)說(shuō)明num_workers 在 Windows 上如果報(bào)多線程錯(cuò)誤就改成 0pin_memory 只在 GPU 訓(xùn)練時(shí)有意義CPU 訓(xùn)練可以刪掉。這里的優(yōu)化器只傳了 model.fc.parameters()意思是凍結(jié)主干網(wǎng)絡(luò)只訓(xùn)練新加的分類(lèi)頭先用這個(gè)配置跑通流程確認(rèn) loss 能降下來(lái)再解凍全部層做精調(diào)可以省一次從頭冷啟動(dòng)的時(shí)間。對(duì)比 yolov5 路線和通用 CNN 路線前者勝在開(kāi)箱即用日志、可視化、早停都內(nèi)置了后者勝在可控性強(qiáng)想換 loss、改 backbone、加自定義增強(qiáng)都方便。兩份數(shù)據(jù)是同一套切換路線的成本只在于重寫(xiě)數(shù)據(jù)加載器而這一節(jié)代碼可以直接復(fù)用到后續(xù)所有分類(lèi)實(shí)驗(yàn)里。3.3 loss 曲線的正常形態(tài)與異常形態(tài)跑通之后看什么不管用哪條路線訓(xùn)練起來(lái)之后第一件事是盯 loss 曲線。一個(gè)正常的訓(xùn)練過(guò)程train loss 在前 10 個(gè) epoch 應(yīng)該有明顯的下降趨勢(shì)val loss 緊隨其后下降但始終比 train loss 高一些。如果 val loss 先降后升而 train loss 還在降那就是過(guò)擬合信號(hào)需要增強(qiáng)正則化或提前停止。數(shù)據(jù)顯示這張表的對(duì)比場(chǎng)景我在 yolov5 的訓(xùn)練日志里整理過(guò)幾類(lèi)常見(jiàn)形態(tài)寫(xiě)在這里可以當(dāng)一份速查表用loss 曲線形態(tài)可能原因處理方式train/val loss 都不降學(xué)習(xí)率過(guò)大或過(guò)小、數(shù)據(jù)沒(méi)對(duì)齊先調(diào)到 1e-4 試跑 10 epoch確認(rèn)數(shù)據(jù)路徑正確train loss 降、val loss 升過(guò)擬合加數(shù)據(jù)增強(qiáng)、增大 weight_decay、提前停止兩個(gè) loss 都震蕩劇烈batch 太小或?qū)W習(xí)率偏大增大 batch 或降低學(xué)習(xí)率loss 為 NaN學(xué)習(xí)率過(guò)大、輸入含 NaN 像素用小學(xué)習(xí)率重啟檢查圖片是否損壞這里有個(gè)血淚經(jīng)驗(yàn)如果 train loss 在第一個(gè) epoch 就降到接近 0但不是收斂而是「假擬合」多半是標(biāo)簽和數(shù)據(jù)對(duì)不上——比如所有圖片被當(dāng)成同一類(lèi)。遇到這種詭異情況第一時(shí)間打印一個(gè) batch 的 data 和 label 出來(lái)人工核對(duì)不要急著調(diào)參這是深度學(xué)習(xí)圖像識(shí)別項(xiàng)目里最常見(jiàn)的「黑匣子」陷阱。4. 三類(lèi)標(biāo)簽的四個(gè)暗坑正常、結(jié)節(jié)、腫瘤容易翻車(chē)的地方4.1 類(lèi)別不平衡先數(shù)數(shù)再訓(xùn)練別等 loss 異常才回頭分類(lèi)任務(wù)里第一個(gè)暗坑就是類(lèi)別不平衡。摘要說(shuō)訓(xùn)練集總量 2800 張但沒(méi)保證三個(gè)類(lèi)別各 933 張現(xiàn)實(shí)是醫(yī)學(xué)圖像數(shù)據(jù)集里正常樣本往往比腫瘤樣本多得多。如果某個(gè)類(lèi)別只有 500 張而另一個(gè)有 1300 張模型會(huì)傾向于把模糊樣本預(yù)測(cè)為多數(shù)類(lèi)整體準(zhǔn)確率可能不低但少數(shù)類(lèi)的召回率會(huì)很難看。import os from collections import Counter def count_images(root): counter Counter() for cls in os.listdir(root): cls_path os.path.join(root, cls) if os.path.isdir(cls_path): counter[cls] len(os.listdir(cls_path)) return counter for split in [train, valid, test]: print(split, dict(count_images(fdata/{split})))邏輯說(shuō)明這段代碼統(tǒng)計(jì)每個(gè)集合下每個(gè)類(lèi)別的圖片數(shù)量輸出形如 {normal: 1200, stone: 800, tumor: 800} 的字典。拿到數(shù)量后做兩件事一是確認(rèn)每個(gè)類(lèi)別數(shù)量都在可訓(xùn)練范圍內(nèi)二是算一下最少數(shù)量的類(lèi)別能不能支撐訓(xùn)練。參數(shù)說(shuō)明如果發(fā)現(xiàn)某個(gè)類(lèi)別只有一兩百?gòu)堄袃煞N處理路徑一是對(duì)少數(shù)類(lèi)做過(guò)采樣在 DataLoader 里設(shè) sampler 按類(lèi)別權(quán)重抽樣二是用類(lèi)別權(quán)重加權(quán)損失函數(shù)把 torch.nn.CrossEntropyLoss 的 weight 參數(shù)設(shè)為 [1.0, 1.2, 1.5] 這類(lèi)與樣本量成反比的值。這是一個(gè)容易被忽略的地方驗(yàn)證集和測(cè)試集的比例分布也必須看一眼。很多項(xiàng)目訓(xùn)練集是平衡的但驗(yàn)證集因?yàn)殡S機(jī)劃分湊巧不平衡導(dǎo)致評(píng)估結(jié)果虛高或虛低。這份資源已經(jīng)劃分好了我們省了切分的力氣但「數(shù)數(shù)」這一步不能省。4.2 數(shù)據(jù)泄漏同一來(lái)源的圖片被拆進(jìn) train 和 valid醫(yī)學(xué)圖像和自然圖像有一個(gè)本質(zhì)區(qū)別同一病人的多次掃描切片之間高度相似。如果劃分?jǐn)?shù)據(jù)時(shí)只按文件名隨機(jī)打亂同一個(gè)案例的相鄰切片很可能同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里模型等于提前看過(guò)答案驗(yàn)證集指標(biāo)會(huì)虛高上真實(shí)場(chǎng)景就露餡。這張表的坑怎么識(shí)別看文件名。這份資源的文件名自帶.rf.加一串哈希的后綴如果多張圖片的哈希前綴相同大概率來(lái)自同一次標(biāo)注批次或同一個(gè)病例。檢查方法很簡(jiǎn)單對(duì)所有文件名提取哈希段統(tǒng)計(jì)同一個(gè)哈希前綴下的圖片是否被分到了不同集合。import os, re from collections import defaultdict def check_leakage(data_root): seen defaultdict(set) for split in [train, valid, test]: split_dir os.path.join(data_root, split) for cls in os.listdir(split_dir): cls_dir os.path.join(split_dir, cls) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): m re.search(r\.rf\.([a-f0-9]), fname) if m: seen[m.group(1)].add(split) leak {k: v for k, v in seen.items() if len(v) 1} return leak leak check_leakage(data) if leak: print(f發(fā)現(xiàn) {len(leak)} 組同源圖片被分到多個(gè)集合需重新劃分) else: print(未發(fā)現(xiàn)跨集合同源圖片)遇到數(shù)據(jù)泄漏時(shí)不要慌如果只是個(gè)別圖片串集直接刪掉測(cè)試集里那些同源圖片就行。如果比例很高要考慮重新劃分?jǐn)?shù)據(jù)劃分依據(jù)是哈希前綴而不是單張圖片文件名。這就是這份資源「按文件夾劃分好」背后的另一層價(jià)值劃分邏輯是可見(jiàn)的排查起來(lái)有跡可循。4.3 類(lèi)別字典與 ImageFolder 的索引順序不一致這個(gè)坑非常隱蔽我翻車(chē)過(guò)一次。ImageFolder 在構(gòu)建 class_to_idx 時(shí)按文件夾名的字典序排序如果類(lèi)別文件夾是 normal、stone、tumor索引恰好是 0、1、2但如果有人把文件夾命名成 normal、tumor、stone比如按創(chuàng)建時(shí)間排的那索引順序就變成 normal0、tumor1、stone2而類(lèi)別字典 json 里可能是 stone1、tumor2兩者對(duì)不上模型訓(xùn)練時(shí)的監(jiān)督信號(hào)就全亂了。# 打印 ImageFolder 實(shí)際生成的標(biāo)簽映射和類(lèi)別字典 json 對(duì)比 print(train_ds.class_to_idx) # 例如 {normal: 0, stone: 1, tumor: 2} # 讀取 json 里的映射 with open(data/classes.json, r, encodingutf-8) as f: json_map json.load(f) print(json_map) # 如果兩者不一致以 ImageFolder 為準(zhǔn)因?yàn)橛?xùn)練時(shí)用的就是它排查方法很簡(jiǎn)單把兩行打印結(jié)果并排對(duì)照。理論上這份資源在打包時(shí)已經(jīng)做過(guò)一致性校驗(yàn)但下載文件的版本可能不同json 也可能被編輯過(guò)跑這一步只需要一分鐘值得做。如果發(fā)現(xiàn)不一致解決方式是修改 json 字典的鍵順序而不是去改文件夾名因?yàn)槲募A名改起來(lái)牽連太多。4.4 隨機(jī)劃分的「看似隨機(jī)實(shí)則不隨機(jī)」最后一類(lèi)坑出在復(fù)現(xiàn)上。有人訓(xùn)練同一個(gè)模型兩次結(jié)果差異很大于是開(kāi)始懷疑模型問(wèn)題或者環(huán)境問(wèn)題但其實(shí)問(wèn)題出在數(shù)據(jù)加載順序。PyTorch 的 DataLoader 在 shuffleTrue 時(shí)用全局隨機(jī)數(shù)生成器洗牌如果不固定種子每次跑數(shù)據(jù)順序都不同結(jié)果自然不同。這在調(diào)參階段是災(zāi)難你不知道指標(biāo)變好是參數(shù)生效了還是隨機(jī)性帶來(lái)的。def seed_everything(seed42): import random import numpy as np random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) seed_everything(42)這段代碼要在訓(xùn)練腳本的最頂部執(zhí)行并且在 DataLoader 創(chuàng)建之前。參數(shù)說(shuō)明PyTorch 的 DataLoader 還可以單獨(dú)傳入 generator torch.Generator().manual_seed(42) 來(lái)控制洗牌隨機(jī)性這樣即便全局種子被其他庫(kù)污染數(shù)據(jù)順序依然可控。固定種子的價(jià)值在于讓每一次實(shí)驗(yàn)可復(fù)現(xiàn)這是深度學(xué)習(xí)項(xiàng)目從「玄學(xué)」走向「工程」的分水嶺。5. 圖像識(shí)別算法繞不開(kāi)的三件收尾驗(yàn)證分類(lèi)報(bào)告、混淆矩陣與誤判圖5.1 分類(lèi)報(bào)告別盯著準(zhǔn)確率看每類(lèi)的 precision / recall / f1訓(xùn)練結(jié)束后第一步跑測(cè)試集評(píng)估。很多人只看整體準(zhǔn)確率這對(duì)三分類(lèi)任務(wù)來(lái)說(shuō)遠(yuǎn)遠(yuǎn)不夠尤其在三個(gè)類(lèi)別數(shù)量不完全均衡時(shí)準(zhǔn)確率會(huì)被多數(shù)類(lèi)主導(dǎo)。sklearn 的 classification_report 一行代碼輸出每個(gè)類(lèi)別的精確率、召回率和 F1這三列合起來(lái)才能反映模型對(duì)每個(gè)類(lèi)的真實(shí)辨識(shí)能力。import torch from sklearn.metrics import classification_report, confusion_matrix device torch.device(cuda if torch.cuda.is_available() else cpu) model.to(device) model.eval() y_true, y_pred [], [] with torch.no_grad(): for images, labels in test_loader: images images.to(device) outputs model(images) _, predicted torch.max(outputs, 1) y_true.extend(labels.cpu().numpy()) y_pred.extend(predicted.cpu().numpy()) target_names list(train_ds.classes) print(classification_report(y_true, y_pred, target_namestarget_names))邏輯說(shuō)明model.eval() 是關(guān)鍵它關(guān)閉 dropout 和 batch norm 的訓(xùn)練行為否則同一張圖多次推理結(jié)果不同。torch.max(outputs, 1) 取的是每個(gè)樣本在 3 個(gè)類(lèi)別上的最大得分索引也就是模型的預(yù)測(cè)類(lèi)別。參數(shù)說(shuō)明target_names 直接取 ImageFolder 的 classes 屬性保證報(bào)告里的行順序和訓(xùn)練時(shí)一致不要手寫(xiě)類(lèi)名列表省得順序?qū)戝e(cuò)。這個(gè)報(bào)告還會(huì)輸出 macro avg 和 weighted avg前者是每個(gè)類(lèi)指標(biāo)的算術(shù)平均后者按樣本數(shù)加權(quán)兩者差距大說(shuō)明模型在少數(shù)類(lèi)上表現(xiàn)偏弱。5.2 混淆矩陣看模型把哪兩類(lèi)搞混了分類(lèi)報(bào)告給的是數(shù)值匯總混淆矩陣給的是錯(cuò)誤分布的具體位置。一個(gè) 3×3 的矩陣第 i 行第 j 列表示「真實(shí)類(lèi)別 i 被預(yù)測(cè)成 j」的樣本數(shù)對(duì)角線是預(yù)測(cè)正確的數(shù)量。看混淆矩陣我一般先找非對(duì)角線的最大值那個(gè)位置就是模型最容易混淆的類(lèi)別對(duì)。cm confusion_matrix(y_true, y_pred) print(混淆矩陣行真實(shí)列預(yù)測(cè)) print(cm) # 找出錯(cuò)誤最集中的位置 import numpy as np np.fill_diagonal(cm, 0) # 把對(duì)角線置零后剩下的最大值就是最嚴(yán)重的混淆 worst np.unravel_index(np.argmax(cm), cm.shape) print(f最嚴(yán)重混淆: 真實(shí){target_names[worst[0]]} - 預(yù)測(cè){target_names[worst[1]]}, 數(shù)量 {cm[worst]})對(duì)腎臟三分類(lèi)數(shù)據(jù)來(lái)說(shuō)最常見(jiàn)的混淆發(fā)生在結(jié)節(jié)和腫瘤之間因?yàn)閮烧咴谟跋裆系奶卣鬟吔绱_實(shí)模糊。如果混淆矩陣顯示 normal 和 stone 之間錯(cuò)誤很多那可能是標(biāo)注本身有問(wèn)題或者圖片采集條件不一致這時(shí)候去調(diào)模型是徒勞的要回頭查數(shù)據(jù)質(zhì)量。這一節(jié)里做的所有評(píng)估動(dòng)作本質(zhì)是回答一個(gè)問(wèn)題模型學(xué)到了什么又在什么地方學(xué)錯(cuò)了。5.3 誤判圖可視化把錯(cuò)誤樣本打出來(lái)看別再黑匣子調(diào)參混淆矩陣告訴你「哪里錯(cuò)了」誤判圖告訴你「錯(cuò)的是什么樣」。把預(yù)測(cè)錯(cuò)誤的樣本整理成網(wǎng)格畫(huà)出來(lái)標(biāo)題同時(shí)標(biāo)注真實(shí)類(lèi)別和預(yù)測(cè)類(lèi)別以及置信度分?jǐn)?shù)這一步對(duì)醫(yī)學(xué)圖像分類(lèi)尤其有價(jià)值。import matplotlib.pyplot as plt misclassified [] model.eval() with torch.no_grad(): for images, labels in test_loader: images, labels images.to(device), labels.to(device) outputs model(images) prob, pred torch.max(torch.softmax(outputs, dim1), 1) for i in range(len(labels)): if pred[i] ! labels[i]: misclassified.append((images[i].cpu(), labels[i].item(), pred[i].item(), prob[i].item())) if len(misclassified) 12: break if len(misclassified) 12: break fig, axes plt.subplots(3, 4, figsize(12, 9)) for idx, (img, true_label, pred_label, conf) in enumerate(misclassified): ax axes[idx // 4][idx % 4] img img.permute(1, 2, 0).numpy() img img * [0.229, 0.224, 0.225] [0.485, 0.456, 0.406] # 反歸一化 img img.clip(0, 1) ax.imshow(img) ax.set_title(f真:{target_names[true_label]}\n預(yù)測(cè):{target_names[pred_label]} ({conf:.2f})) ax.axis(off) plt.tight_layout() plt.show()這段代碼里的反歸一化是常見(jiàn)的坑模型訓(xùn)練時(shí)做了 Normalize 操作顯示圖片前必須用相同的 mean 和 std 還原否則看到的是一張偏色的圖無(wú)法判斷問(wèn)題出在哪。參數(shù)說(shuō)明clip(0, 1) 是為了防止數(shù)值越界導(dǎo)致圖像出現(xiàn)不自然的色塊。每次只取 12 個(gè)誤判樣本人眼能在一張圖內(nèi)快速瀏覽多了反而不容易看出規(guī)律。對(duì)誤判圖的觀察要落到具體模式上比如「所有被誤判成 tumor 的 stone 圖片都有明顯的強(qiáng)回聲區(qū)域」或者「正常樣本里有鈣化點(diǎn)所以被判成結(jié)節(jié)」。當(dāng)誤判呈現(xiàn)出明顯的視覺(jué)規(guī)律時(shí)說(shuō)明數(shù)據(jù)里有干擾特征下一步不是調(diào)模型結(jié)構(gòu)而是考慮加預(yù)處理步驟屏蔽干擾或者人工清理這些邊緣樣本。5.4 softmax 置信度的二次排查低置信度樣本單獨(dú)拎出來(lái)最后一層 softmax 輸出的置信度分布也值得看。醫(yī)學(xué)圖像分類(lèi)的實(shí)用場(chǎng)景里我們往往需要模型在拿不準(zhǔn)的時(shí)候「說(shuō)出來(lái)」而不是硬猜一個(gè)結(jié)果。統(tǒng)計(jì)一下測(cè)試集里置信度低于 0.6 的樣本數(shù)量如果占比很高說(shuō)明模型對(duì)大量樣本都缺乏把握部署時(shí)要考慮設(shè)置置信度閾值低于閾值的樣本轉(zhuǎn)人工審核。這個(gè)動(dòng)作的成本很低但對(duì)落地價(jià)值很大。yolov5 分類(lèi)模式在推理時(shí)會(huì)輸出每個(gè)類(lèi)別的置信度直接加判斷條件即可自己寫(xiě)的模型就是上面代碼里那個(gè) prob 變量。二分類(lèi)里有個(gè)概念叫閾值調(diào)整三分類(lèi)同樣適用只是要對(duì)每個(gè)類(lèi)分別設(shè)定。6. 三分類(lèi)項(xiàng)目收尾技巧把訓(xùn)練配置固化成一張復(fù)現(xiàn)清單訓(xùn)練完成、評(píng)估做完項(xiàng)目還沒(méi)結(jié)束。醫(yī)學(xué)圖像分類(lèi)模型如果要寫(xiě)進(jìn)報(bào)告或者準(zhǔn)備上線最忌諱的是「重啟之后不知道這次實(shí)驗(yàn)用了什么參數(shù)」。我的收尾習(xí)慣是把整次實(shí)驗(yàn)的可復(fù)現(xiàn)信息收斂成一個(gè)訓(xùn)練腳本或配置文件下次任何人跑一遍都能得到同一結(jié)果。# 訓(xùn)練復(fù)現(xiàn)腳本示例每次實(shí)驗(yàn)執(zhí)行前先讀取并記錄環(huán)境狀態(tài) export PYTHONHASHSEED0 python classify/train.py \ --model yolov5s-cls.pt \ --data data \ --epochs 100 \ --img 224 \ --batch 64 \ --seed 42 \ --name kidney_final參數(shù)說(shuō)明里有個(gè)容易被忽略的PYTHONHASHSEED 控制 Python 字符串哈希的隨機(jī)種子不固定它即使在代碼里調(diào)了 random.seed 和 torch.manual_seed某些依賴哈希次序的邏輯比如集合遍歷順序仍可能導(dǎo)致結(jié)果不一致。這個(gè)環(huán)境變量要放在訓(xùn)練命令的同一行 export而不是在 Python 代碼里設(shè)置因?yàn)樗诮忉屍鲉?dòng)前就必須生效。我還會(huì)在訓(xùn)練腳本同目錄下留一個(gè) data_report.txt把每次實(shí)驗(yàn)的數(shù)據(jù)集分布、類(lèi)別字典內(nèi)容、訓(xùn)練和驗(yàn)證的準(zhǔn)確率記錄在同一份文件里。這樣一個(gè)月后回來(lái)看不用重新打開(kāi)任何一個(gè)權(quán)重文件就能快速回憶起當(dāng)時(shí)的數(shù)據(jù)條件和模型表現(xiàn)那份文檔比模型權(quán)重本身更能說(shuō)明問(wèn)題。分享一個(gè)從不例外的習(xí)慣不管項(xiàng)目多急最后一輪實(shí)驗(yàn)完成后我強(qiáng)制自己用 10 分鐘把「數(shù)據(jù)集版本 劃分文件 訓(xùn)練命令 最終指標(biāo)」四件事寫(xiě)進(jìn)倉(cāng)庫(kù) README 里。做過(guò)的醫(yī)學(xué)圖像分類(lèi)項(xiàng)目里被返工最多的從來(lái)不是模型性能不夠而是后來(lái)者不知道當(dāng)時(shí)的實(shí)驗(yàn)是怎么配出來(lái)的。這類(lèi)資源真正的價(jià)值是幫你把數(shù)據(jù)從「看懂」推進(jìn)到「跑通」——如果這篇拆解幫你少走了彎路希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久热只有这里有精品| 日韩AV免费看| www.激情五月天com| 国产精品色情AAAAA片软件| 亚洲综合婷婷六月丁香五月| www久久99com| 色婷婷久久综合久色综| 99在线视频操999| 五月婷婷六月丁香| 另类图片婷婷五月天| 热99久| 色色无码| 婷婷伊人久久| 婷婷社区五月天| 综合欧美五月婷婷| 欧美精品99| 中文字幕人妻熟女在线| 综合色图区| 天天橾日日橾夜夜橾17| 五月丁香啪啪| 97丁香五月| 国产成人+综合亚洲+天堂| 婷婷日日天天| 国产永久一二一起草| 1024AV视频| 九九RE视频在线精品| 久久网思思| 国产熟女大叫受不了| 天天插天天干| 亚洲无码色| 五月婷婷婷婷| 俺也去在线视频 | 色婷婷另类| 丁香六月在线| av九九| 色色色色色色色色网站| 秋霞三及片| AV九九| 五月天丁香看婷婷| 国产精品国产| 亚洲婷婷激情综合激情999精品| 亚洲综合激情五月久久| 丁香五月自拍| 国产精品美女久久久久AV超清 | 欧洲毛片基地c区| 超碰人人在线观看| 天堂va久久久噜噜噜久久Va| 欧美久久久中文字幕| 久久久精品色| 天天插天天爽| 国产精品人成A片一区二区| 色欲影香| 色综合激情| 久热91精品| 天堂综合久久| 五月丁香六月激情综合欧美| 人。妻久久| 99久在线精品99re5热视频| 国产精产国品一二三在观看| 国产午夜精品AV一区二区麻豆| 热久国产| 五月婷婷激情综合网| 九九色热| 丝袜大香蕉| 玖玖99免费视频| 99精品在线| 午夜激情五月天| 久热这里只有精品视频6| 五月丁香好婷婷A片网| 日本www五月婷婷| 婷婷久久夜| 久久五月激情网| 久久无码激情视频| 夜夜天天久久婷婷| 五月天激情无码| 看久久性爱99视频| 五月丁香婷婷色| 色婷视频| 激情综合色五月丁香| 国产片XXXXA片国语对白| 午夜69成人做爰视频| 亚洲A片成人无码久久精品青桔| 9有码中文| 久热伊人9| 免费成片在线观看| 人妻射精AV| 久久丁香五月婷婷激情综合网| 亚洲久久视频| 噜噜五月天综合| 色日本综合| 91九色熟女| 另类精品视频在线观看| 婷婷99狠狠躁天天久久久九九九| 99热这里有精品首页10| 综合久久丁丁香婷| 丁香五月婷婷天激情| 五月停视频天堂| 色九综合| 草美女在线观看视频在线播放 | 亚洲精品亚洲人成人网| 9999色色色色| www激情| 99在线精品免费视频| 久久人人添人人爽添人人片αV | 亚洲小视频免费播放| 丁香女人五月天| 九九这里精品| 99视频内射三四| 99国产精品久久久久久久久久久| 2022人人操人人看| www好屌操| 激情五月婷婷五月| 五月婷婷影视| 深爱五月激情网| 夜夜骑夜夜撸| 六月丁花香啪啪激情欧美| 最新日韩久热免费视频看看| 六月婷婷日| 五月婷婷丁香俺日污视频| 婷婷综合激情| av在线观看网站| 69er小视频| www.五月婷婷.com| 狠狠色丁香久久综合婷婷亚洲成人福利| 天天噜日日噜综合无码| 六月激情综合| 婷婷五月在线| 五月丁香六月婷婷手机无线| 91精品91久久久中77777| 日韩欧美性爱| 99久久玖玖| 99A片| 免费操超碰| 99在线观看视频蜜臀| 久久久人妻| 婷婷伊人久久无码色五月| PORNY九色9l自拍视频成人| 丁香五月乱中文字幕| 五月丁香啪| 热婷婷在线视频| 色999五月色| www.91九色| 色婷婷精| 99热99热99热99热| 99视频综合网| 婷婷六月激情综合| 操比激情五月| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 婷婷五月丁香激情| 涩涩五| 久久丁香五月天| 丁香五月777| 国产日日操夜夜操的肉棒视频| 色五月婷婷影院| 99精品丰满| 9999热精品在线免费播放| 激情六月丁香| 丁香五月电影| 激情AV| 欧美日韩成人| 少妇人妻人伦A片| 丁香五月激情六月欧亚激情综合导航 | 五月天婷婷青青草| 7777久久亚洲中文字幕| 五月综合婷婷网| 日韩啪啪视频| 综合丁香婷婷五月天| 超碰91人人操| 婷婷人人操| 五月丁香在线| 丁香六月婷婷综合啪啪| 亚洲婷婷免费| 亚洲天堂AV免费片| 婷婷丁香18| 亚洲精| av操逼网| 婷婷五月天激情电影| 韩国19 主播内部福利vip免费播放| 激情五月色播五月| 91性高潮久久久久久久久| 91色五月| 欧美狠狠一在草| 色五月人妻| 91九色熟女| 色色色综合网| 日日骑夜夜撸| 色www久视频| 亚洲视频在线观看99| 精品一二三区久久AAA片| 色五月aV| 91九色超碰正在播放| 天天色天天日| 99热99思午夜精品| 99精品超在线播放| 乱精品一区字幕二区| 婷婷五月丁香色情| 99噜噜| 国产91视频| 丁香五月天偷拍| 久久xx| 九月色婷婷综合| 一区二区你懂的| 婷婷色导航| 色999五月色| 性做久久久久久久免费看| 成人做爰A片免费看视频| 六月亚洲婷婷6月中文字幕| 九九色影视| 草一草avb| 99只有精品| 丁香婷婷五色月| 婷婷五月天最新网址| 色色色在线观看| 99久久免费性爱视频`| 99热色精品| 都市激情五月婷婷亚洲| 激情 五月 婷婷 丁香| 中文字幕在线aⅴ免费观看| 丁香婷婷月| 激情网第九色| 综合伊人久久| 99色综合久久| 丁香色婷婷| 综合激情网激情五月。| 五月色亭丁香| 午夜成人AV在线| 男妓跪趴把舌头伸进我的嘴巴| 五月天久久综合婷婷丁香| 五月天天堂久久| 五月婷在线观看| 99热无码| 丁香五月狠狠综合欧美| 色情五月综合婷婷| 五月婷婷丁香六月 | 亚州色色色| 97人妻碰碰碰久| 特黄三级又爽又粗又大| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | VA婷婷亚洲| 99热主页日本| 婷婷五月电影| 日韩在线99| 婷婷六月色| 色色五月婷婷久久| 国产综合A片| 99热这里只有精品99| 波多野结衣AV无码Porn| 天天干天干| 九九久久99| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 亚洲婷婷欧美婷婷| 另类小说激情五月天| 久久激情综合| a69在线视频| 九九九九毛片| 91黄址| 久热re在线视频| 甈吧vv| 99re思思热在线视频| 狼友超碰| 日本三级日本三级99| 伊人网啪啪| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久久www| 五月丁香六月| 国产9色在线/日韩| 青青草成人网| 777精品久无码人妻蜜桃| 婷婷激情综合网| 天天日天天色| 伊人激情啪啪| 婷婷成人五月天成人文学| 激情综合网激情五月天| 网色99| 爱久综合| 五月丁香影视| 欧美三级视频| 人妻激情视频| 99er日韩| 欧美丁香婷婷天天操| 97成人丁香婷婷| 97人人草| 亚州日本欧州韩美高青高潮一| 婷婷综合五月天激情| 99热热九九| 久久亚洲色导航| 天天日天天摸天天| 婷婷五月在线播放| 亚洲色婷婷| 99综合免费视频| 免费观看18视频网站| 国产精品VIDEOSSEX久久发布| 婷婷五月天激情小说| 国产亚洲精品AAAAAAA片| 91久久日日| 国内精品免费一区二区2009| 成年人夜夜喷水| 91干| 丁香欧美| 亚洲综合色色| 超碰婷婷五月| 日韩性视频| 琪琪理论片| 婷婷激情网五月天| 香蕉狠狠爱视频| 色色亚洲五月天| 疯狂做受XXXX高潮A片动画| 内射 无码 伊人| 国产成人高清| 久久伊人日日夜夜| 97操视频| 五月 婷 久| 人人97碰| 丁香五月婷婷俺也要去| 婷婷成人视频| 狠狠久久婷| 色情五月综合婷婷| jizzdr| 亚洲色网址| www.99.色| 亚洲一级色电影| 插插插色综合网| 久久久久久久久人妻| 亚洲欧美婷婷五月色综合| 国产av一区二区三区| 国产AV不卡福利| bbwcuckold精品熟妇| 亚艹艹| 欧美色婷婷| 黄色99热| 五月天堂在线| 99re6在线视频精品免费| 激情九色| 五月丁香另类图片| 色婷婷色综合久久精品V| 超碰色色综合| 色五月成人| 大地9中文在线观看免费高清| 九九视屏| 99免费在线| 天天操夜夜操| 美女天天艹人人爽| 色色吧综合| 超级碰碰视频无码| 婷婷五月丁香手机在线视频| 人妻无码视频网| 久久五月视频| 婷婷亚洲影院| 97人妻碰碰碰久久香蕉| 欧美婷婷五月天| 激婷网| 人妻狠狠操| 99爱在线精品视频免费观看| 91操黄| 99日韩| 日屌日日操日日色| 婷婷丁香久久网| 在线区区区| 国产免费一区二区在线A片视频| 日韩AC在线免费观看| 激情美女五月天| 99热精品在线| 色色色777| 色五月丁香五月| 九九偷拍网| 亚洲欧美国产高清vA在线播放| 五月天婷婷色播| 婷婷丁香六月| 超碰人人在线| 26uuu国产| 丁香五月狠狠在线观看| 免费看欧美成人A片无码| www久久99| 青青草tp| 99re这里只有精品9| 96精品久久久久久久久| 婷婷色影院| 91丁香五月| 爆乳熟女一区二区三区爆乳| 97色在线视频| 五月婷婷内射网| 久久a热| 色五月婷婷婷婷婷婷婷婷婷婷| 99在线观看视频| 色综合久久88色综合天天99| 超碰精品在线| 婷婷五月综合啪| 婷婷五月天综合久久日美女| 六月份天丁香婷婷| 五月天色色激情综合| 色性综合| 激情丁香五月激情婷婷| 欧美三9久九观看| 激情五月,深深爱五月| 丁香婷婷综合影院| 国产免费一区二区三区三州老师F1F1.CC| 激情五月天99色| 激情图片婷婷丁香五月| 99色色热| 超碰69天堂| 五月性色| 丁香五月激情综合| 婷婷丁香五月精品| 日韩伊人大香蕉| 超碰亚洲天堂| 热久久视频99| 久热人妻| 激情婷婷五月在线合集| 国产成人+综合亚洲+天堂| 综合亚洲色色| 成人免费网站免费看| 啪啪激情综合| 婷婷综合伊人丁香| 香蕉久久六月| 中文中文在线| 亚欧州精品视频| 午夜理论片最新午夜理论剧| 亚洲成人av在线观看| 99在线免费观看| 中文字幕在线日亚洲9| 内射人妻视频国内| 日韩操逼大片| 色综合射婷婷| 影音先锋女人av鲁色资源网小说免费 | 在线中文亚洲| 狠狠ri| 99自拍视频在线观看| 26UUU在线观看| 五月天久久网站| 99热这里是精品| 玖玖资源站中文| 五月花综合| #NAME?| 天天干天天色综合| 五月丁香啪啪网| 婷婷五月激情基地| 日本三级中国三级99| 久久精品一区二区三区四区| 亚洲六月色| 俺也去在线视频 | 五月综合色| 六月丁香五月天| 99热这是里只有精品| 婷婷国产五月天17c| 六月色婷婷| 欧洲色色| 国产婷婷五月色情综合| 六月丁香婷婷尤物| 99亚洲综合| 免费AV在线| 超级碰碰99| 公的粗大挺进了我的密道| 五月综合在线| 天天色噜| 色香欲综合| 色色婷婷综合网| 77799热| 91色在线/日韩| 婷婷五月色惰| 丁香婷婷性久久| 亚洲成人日韩无码精品| 久久五月婷天天干| 伊人网色婷婷五月天| 香蕉久久国产AV一区二区| 国产三级片91| 婷婷涩五月| 日韩1区2区| 婷婷丁香激情五月天色色| 久久久久婷婷五月热综合| 九九九九综合| 热99这里只是精品| 久久亚洲婷婷| 99在线观看视频免费| 五月激情综合网| 偷拍九九五月丁香婷婷| 99久久.www| 丁香色情五月综合激情| 美女被肏网站在线看| 青青久久五月| 丁香六月综合| 最新日韩久热免费视频看看| 色色婷婷丁香五月天| 九九精品re免费视频| 99日本视频在线观看专区| 五月天操逼激情| 成人无码免费一区二区中文| 亚洲中文字幕在线电影| .comwww在线观看免费操| 啪啪操网| 伊人www22综合色| 伊人网碰碰| 99热这里都是精品| 五月久久噜噜| 丁香5月婷婷| 99久久玖玖| 五月激情婷婷国产精品久久久久久| 五月天啪啪啪| 久久99视频| 91狠狠综合久久久久久| 97caop| 日韩成人电影Av| www,com,五月色色| 欧洲99视频在线| 五月激情婷婷色| 五月情涩综合婷婷| av在线免费网站| 97在线视频观看| 99这里只有精品视频| 俺去也婷婷| 色情终和网| 天天综合色99| 九九久久99精品免费观看www| 五月大香蕉| 丁香色啪综合| 五月开心网| 夜夜干夜夜操| 色爱爱综合网| 99碰碰| 丁香婷婷久久老熟女综合网| 97色操| 亚洲精品又粗又大又爽A片| 婷婷丁香91综合| 婷婷五月色影视先锋| 青青操avbb| 99热在线这里| www.狠狠操| 96精品国产综合久久久久久| 激情五月综合色| 91dy.av| 久久激情五月婷婷| 97人人干| 国精产品一区二区三区| 777久久综合视频| 开心深爱激情网| 五月天婷婷影院| 五月天基地| 六月丁香成人| 99自拍网| 色色色色色色五月婷婷| 五月丁香综合伦理片| 综合伊人久久| 五月丁香狠狠爱婷婷综合| 成人AV免费观看| 深爱婷婷丁香五月激情| WWW.久久.COM| 丁香五月天激情网址| 六月丁香婷婷综合在线| 香蕉婷婷五月| 97丁香花五月天激情小说| 五月天网站免费欧美| 亚洲另类在线观看| 狠狠 久久| 色色五月婷婷| 五月婷婷六月丁香综合在线| 亚洲爆乳无码精品AAA片蜜桃| 色九综合| 久久婷婷综合五月趴| 国产毛片精品一区二区色欲黄A片| 亚洲无码www| 久99热| 国产午夜成人AV在线播放| 色色色婷婷五月天| WWW.99视频| 9久操| dingxiangtingtingliuyue| 大香蕉五月天婷婷| 丁香六月婷婷| 激情久久久| 操逼六区| 偷拍91九色| 久re在线| 丁香六月无码播放| 淫视馆av三区| 久久婷婷丁香六月天| 1000部毛片A片免费观看| 色欲婷婷五月天| 色99日韩| 五月丁香啪啪啪啪| 六月色色| 九九热这里只有精品23| AA丁香综合激情| 超碰人人射| 五月丁香久久网| 五月 成人 婷婷| 丁香五月天激情综合| 五月婷婷性爱视频| 婷婷五月色播| 久久久久亚洲AV无码网影音先锋| 激情综合区| 婷婷久久久久| 99热最新| 综合激情五月丁香| 婷婷天堂伊人| 激情六月丁| 五月丁香在线观看99| 天天噜| 九九九日本熟女| 色五月激情婷婷| 亚洲婷婷在线播放十月| 无码AV免费精品一区二区三区| 天天综合.com| 蜜乳AV成人| 夜夜干夜夜操| 欧美日韩99| 色综合色综合网| 五月天自拍视频| 色婷婷狠狠18yy| 日本五月婷| 狠狠色丁香婷婷久久综合| 99ri在线| 婷婷五月天色综合翘| 国产毛片精品一区二区色欲黄A片| 婷婷五月天日日日干干干| 久久久久久婷| 欧美五月婷婷| 26uuuu精品一区二区| 狠狠婷婷色| 婷婷五月激情图片| 欧美大香蕉视频| 激情婷婷丁香| 天天舔天天操| 五月婷婷开心亚洲无| 精品亚洲国产成AV人片传媒| 激情综合色婷婷啪啪六月天| 久久久久久天天日天天爱| 97超碰婷婷五月天| 99久久99久久| 蜜乳A√| 超碰色女人| 婷婷激情五月| 99热久久这里只有精品2010| 丁香婷婷网| 五月天婷婷丁香成人网| 九色视频91疯狂| 五月四色婷婷| 丁香五月激情啪啪| www99精品亚| 色婷婷丁香五月天| 五月激情久久| 丁香婷婷人妻综合网| 婷婷色基地在线看| 成人做爰A片免费看视频| 激情婷婷六月天| 欧美色骚婷婷五月天| 激情婷婷九月| 久热免费视频| 久久色亭亭五月天| 天天舔天天摸天天射| 色色五月天婷婷丁香| 亚洲亚洲人成综合网络| 久机视频这只有精品| 1024你懂的欧美曰韩| 色婷婷伊人| www,婷婷五月天777me,com| 91干视频| 激情婷婷五月天| 激情丁香五月婷婷| 五月丁香五月天现场视频| 色婷婷狠狠| 67194中文字幕| 五月精品99综合| 九九AV| 丁香五月天堂网| 国产这里只有精品| 婷婷射丁香| 久久 这里只有精品1| 丁香婷婷综合精品六月初| 91热视频色网站| 亚洲人成网站999综合| 天天色播| 色五月婷婷五月天| 超碰免费成人| av在线中文| 综合网五月| 激情五月视频在线婷婷| 亚洲狠狠狠| 五月天性色| 激情综合网婷婷久久| 久久人操-久草婷婷-成人AV| 婷婷综合玖玖五月| 97在线日韩| 美女被操一区二区| 丁香五月激情啪啪啪啪| 国产精女同一区二区三区久| 日本色99网站| 影音先锋男人AV资源站| 91干网站| 亚洲一级 片内射网站在线观看| 日本强伦片中文字幕免费看| 色135综合网| 日本视频久久| 中文字幕不卡网站| 操婷婷久久| 综合九九久久| 欧美五月婷婷综合| 成人短视频免费| 99久| 香蕉色色网| 9久9久| 久艹大香蕉| 91九色国产| 亚洲热手机在线观看| 青青草原中文字幕| 欧美大香蕉视频| 99视频网址| 久久Xx| 久久久99视频| 亚洲色9| 亚州激情在线视频| 五月四色婷婷| 五月丁香六月婷婷视频| 色婷六月| 免费视频无码| 日韩熟女啪啪视频| 热996精品在线观看| 色伊人啪| WWW.五月天9999| 五月丁香六月综合激情网| 九九热只有精品| 婷婷操超碰| 色丁香久久| 黄色片avv| 五月婷婷婷综合网| 色爱99| 色五月丁香五月婷婷五月成人网 | 五月婷在线色视频| 五月婷婷五月色| www夜夜| 97人人干视频| 97人妻碰碰碰久| 欧美噜一噜| 国产精品色婷婷久久久精品| 二色av| 超碰99在线观看| 伊人久久丁香狠狠婷婷综合香蕉 | 久久久www| 丁香五月天色| 激情5月天天天| 久久伦乱| 成人视频网| 亚洲美女裸体被操在线观看| 亚洲网视屏| 俺去也在线www色官网| 国产性爱一级| 婷婷狠狠综合网入口| 亚洲成人无码网站| 99r久久这里只有精品| 五月婷婷激情综合视频| 婷婷综合色图| 免费日本aⅴ中文字幕| 国产1区2区3区| 欧美va亚洲va在线播放| 久久久性爱视频| 九色成人AV在线| 五月婷婷啪啪网| 天天射综合网天天插| 在线中文亚洲| 俺也去色| 九九热99熟女| 密桃激情五月天综合网| 色婷操逼| se婷97| 丁香桃色综合网| 狠狠爱五月婷婷| 国产成人AV不卡| 亚洲欧洲另类| 人人播| 色一色综合| 丁香色五月婷婷17C| 99精品视频网| 蜜桃五月天| 综合久久久| 欧美综合五月丁香六月婷| 成片免费观看视频大全| 久久综合五月天| 五月天桃色深爱网| 97成人视频| 人妻VideOssS人妻| www.97视频| 六月激情婷婷色| 天天操比比| 九色在线观看91av| 丁香五月激情性色郤| 亚洲九九视频| 97干网站| 亚洲婷婷丁香| 中文久久婷婷| 五月人人丁香婷婷五月人人丁香| 日韩欧美一级大黄网站| 国精产品一区一区三区免费视频| 丁香丁香激情网| 五月天激情网图片| 九九人妻福利| 久99| 精品无码人妻一区| 婷婷色五月激情| 人人色人人摸人人看| 亚洲操B| 色播五月婷婷综合| A片试看50分钟做受视频| 高清无码.com| 欧美色综合天天久久综合精品| 激情五月第四色| WWW免费视频碰碰碰碰| 99玖玖在线视频| 丁香五月婷婷色情综合| 97碰啪啪| 丁香六月激情综合| 五月丁香好婷婷A片网| 亚洲综合五月天婷婷| 99思思热只有在这里看| 4438全国最大视频成人网站在线观看| se影音资源在线观看| www热久久yy9| 色五月激情婷婷| 激情五月婷婷欧美极品| 婷婷丁香无码专区| 激情六月综合| 久久婷婷综合基地| 亚洲免费看片| 蜜桃五月天色| 91婷婷在线观看| 久久丁香五月天| 青草性爱视频| 91五月花丁香| 综合性爱网| jiujiu热在线视频| 五月精品免费XXX| 丁香视频| 五月色亚洲| 99久久综合网| 婷婷爱五月| 久婷婷| 九九人妻福利| 国产在线aaa片一区二区99| 襙逼网| 五月丁香综合中文| www色婷婷| 我爱婷婷五月天综合88| 色亭亭九月| 色色色地址| 激情五月天激情网| 狠狠插.com| www.五月天婷婷| 少妇激情基地| 婷婷色影音天| 色五月婷婷基地| 婷婷五月天影院| 粉嫩AV久久一区二区三区| 天天爱夜夜爽| 殴美日比视频| 95精品区一区二| 天天情色综合网| 91久久免费| 五月色婷婷中文字幕| 五月花成人网| 色婷婷激情五月天| 五月激情天| 五月婷婷欲色| 91操屁股| 色色色色色色色色网站| 亚洲经典小视频| 亚洲综合99| 日韩99无码| 久久婷婷伊人| 色综合99| 丁香五月激情综合在线观看| 国产黄色一级片| 丰满人妻一区二区三区| 天天爽天天爽| 亚洲久久婷婷| 色狠狠五月天| 日本久久极品| 五月丁香婷婷色| 丁香五月第四色88| 五月天婷婷色综合| 丁香五月天堂网| 97色久| 丁香五月综合在线播放 | 五月天激情网图片 - 百度| 婷婷五月综合免费在线| 午夜少妇在线观看视频| 丁香九月久久| 亚洲熟妇无码乱子AV电影| 日本va视频| 热久久77777| 欧美人人操| 婷婷的色色五月天| se婷97| 淫五月停停| 99国产精品久久久久久久久久久 | 91久久综合| 日韩精品一曲二曲三曲四曲五曲| 国产精品18久久久| www.超碰在线| 成人丁香五月| 97碰在线视频| 丁香色色色| 成人一级片| 俺去也五月天| Www.se.久久| 99这里都是精品| 色吧五月| 色色婷婷五月| 欧美精品999| 九九热中文| 久综合色| 亚洲另类电影| 丁香五月婷婷影院| 婷婷六月色| 思思热在线播放| 亚洲综合色色色| 色婷婷久久| 婷婷丁香人妻天天爽| 激情综合在线观看| 99爽视频| 成人精品在线| 色五月 五月婷婷| 欧美噜一噜| 国产精品第一国产精品| 国产日韩欧美| 亚洲激情视频在线观看| 激情婷婷五月| 九九视屏| 91色噜噜狠狠狠狠色综合| 日本人人干| 99热免费精品| 超碰在线99| 开心婷婷五月激情网小说| 天天 青草 制服丝袜 在线 | www,久久久| 九月色婷婷| 丁香五月自拍| 亚洲色色精品| 91精品综合久久久久久五月丁香 | 五月丁香中文婷婷中文| 六月婷婷七月丁香| 国产成人综合网| 激情五月黄色小说| 丁香五月丁香伊人| 天堂草在线观| 激情六月天| 色丁香五月| 免费无码毛片一区二区A片| 操B无码视频国语| 第四色网婷婷| 五月天婷婷综合久久| 天天在线久久综合| 四五月婷婷| 五月天婷婷丁香视频| 激情99在线视频| 日韩综合久| 色偷偷综合| 日本猛少妇色XXXXX猛叫| 超碰人人摸AV| 激情五月色婷婷| jiujiu热在线视频| 色狠狠六月| 狠狠色狠狠色综合日日91| 五月丁香中文字幕| 日本色99| 秋霞免费视频| 丁香97综合| 91狠狠色色丁香婷婷综合久久| 色五月综合在线| 99爱免费在线视频| 国产精品色婷婷99久久精品| 伊人在线视频| 五月婷婷精品| 九九免费精品在线视频| 婷婷天天婷婷天天澡| 五月开心久久| 99免费青青蜜臀| 婷婷五月天激情四射五月天激情| 婷婷五月天激情综合深爱| 日本三级中文字幕| 丁香五月激情久久麻豆| 99在线观看| 激情五月丁香六月综合AVXXXX| 可以看的av网站| 97香蕉人人在线观看| 99 频99热国里只有精品| 六月丁香婷婷综合在线| 亚洲熟妇AV乱码在线观看| 991精品在线视频| 9999色色色色| 夜夜撸日日操| 91互操| 婷婷激情啪啪| 久久婷婷六月综合| 欧美激情综合色综合啪啪五月| 五月婷婷丁香六月在线| 丁香五月天啪啪| 精品综合爱| 淫荡工a| 久草热久草在线视频| 夜夜 操无码| 熟女激情五月天 | 日韩国产AV播放| 激情小说五月天| 五月丁香婷婷啪啪| 亚洲无码播放| 懂色av蜜臀av粉嫩av永陈冠希| 婷婷 久综合| 看国产探花操逼三级片| av人人干| 中文字幕在线免费观看视频| 久久这里只有精品8| 国产AV一区二区三区最新精品| 亚洲色碰| 99人妻碰碰碰久久久久视| 超级碰碰一区| 99re思思热这里| 极品人妻VIDEOSSS人妻| 午夜丁香丁香婷婷| 色婷操逼| 任你搞网站| 天天爽夜夜操| 婷婷九月在线| 99热综合网| 丁香狠狠操| 五月天涩涩| 日本在线wwww| 色五月丁香网| 在线免费视频caop| 丁香六月激情蜜桃| 丁香花大香蕉婷婷综合| 99re热视频| 九月激情婷婷丁香| 黄页大全十八禁| AⅤ网站在线看| 天天cha成人综合网| 欧美性生交xXxX久久久| 色五月激情综合| 色色五月婷婷狠狠| 亚洲丁香五月| 免费在线a| 99热官网| 丁香五月婷婷天堂大香蕉| 蜜桃五月天| 色五月激情图片| 婷婷日日天天| 北京熟妇搡BBBB搡BBBB| 99久热这里有精品| 中文字幕永久在线| 99热在线中文字幕| 91九色超碰| 五月天激情无码| 成人VAV视频在线观看| 成人视频在线免费播放| 亚洲五月婷| 天天插天天插| 五月天停停基地| 玖色色综合| 丁香花五月天激情| 思思久久99热| 操操操97| 色播五月| 精品久热| 操操操B| 舔色婷婷| 亚韩在线视频| 亚洲综合另类| 婷婷综合爱| 日本色99| 成人免费120分钟啪啪| 少妇人妻综合色6699| 久婷久婷激情肉| 99热.com| 五月丁香综合精品| Aα在线免费观看| 天堂A∨在线| 99热久久最新地址| 久久精品五月| 国产这里只有精品| 色天天综合| 26UUU欧美激情一区二区| 91九色在线| 天天插天天干天天舔| 黄色91在线观看| 激情五月天色播| 五月丁香龟婷婷| 五月丁香九九| 可以免费观看的AV| 天天操狠狠操| 大香蕉网站,大香蕉综合| 成人综合网站| 激情伊人五月天| 亚洲AV成人片无码网站| 激情第四色| 激情综合网色播五月| 人妻内射麻豆视频| 99热高清在线| 国产精品久久久久久久久久免费| 五月天婷久精视频| 五月天激情小说电影| 超碰人人99| 欧洲色色| 色婷婷在线视频久| 碰超亚洲| 婷婷五月六月| 亚洲99精品欧美一区| 亚洲夜五月| 九月色婷婷综合| av大片在线| 婷婷五月色| 激情五月天综合| 2020夜夜操天天爽| 爱操人妻| 婷婷久久婷婷色五月| 色999五月色| 伊人五月综合网| 开心激情久久久久久久| 99爱在线| 成人无码髙潮喷水A片| 婷婷人人操| 天天色宗合| 色欲丁香久久| 久热99| 无码A片一区二区免费| 久久五月婷婷综合网| 激情五月婷婷丁香| 成人丁香五月天Av| 五月综合激情视频| 亚洲视频a| 人伦30P| 成人综合视频在线| 久久婷婷人人| 亚洲a片免费观看| 五月丁香婷婷五月色| 爱99干99| 日产精品久久久久久久蜜臀| 91人妻PORNY九色大屁股| 色综合色色| 丁香激情久久| 激情九月婷婷| 色噜噜婷婷| 天天噜日日噜综合无码| 99热这里只有精彩| 色色网五月激情| 婷婷深爱五月丁香网| 婷婷激情五月天色| 青青草搞屄视频网站| 亚洲性受XXXX五月丁香| 激情五月丁香社区| 午夜激情婷婷| 色综合久久8| 丁香婷婷五月激情四射网| caop视频| 老美AA片| 久久综合久色欧美综合狠狠| 丁香激情网| 2018国产大陆天天弄| 97色色网| 另类少妇人与禽zOZZ0性伦| 新激情五月天| 五月六月婷| 婷婷香五月天| 国产精品热搜丁香五月婷婷| 免费播放99性爱视频| www.激情五月天com| 九九蜜臀精品| 色色成人網| 久久永久视频| 九九性视频| 色五月婷婷少妇人妻| 九九热思思热| 五月天伊人手机在线播放AV| 五月天精品综合| 丁香婷婷成人网| 91日视频| 婷婷九月色| 久草婷婷| 欧美日韩成卜| 丁香六月亚洲| 狠狠爱婷婷丁香| 日韩情色在线观看| 国产综合婷婷| 九九色色网| 亚洲五月婷| 色吧五月婷婷六月丁香| 丁香五月网在线观看| 激情五月天 婷婷| 黄色成人网站在线播放| 99在线观看| 久久激情网| 五月综合色| 亚洲中字AV电影在线网站| 久久33视频| 久七香蕉| 人人妻人人澡| sS丁香五月婷婷| 天天射天天射一道本日本社区 | 色综合久久天天综合网| 色狠狠五月天| 爱草视频在线观看| 五月天色婷婷成人| 久久久久久久人妻| 五月花激情| 国产精产国品一二三在观看| 超碰啪啪网| 91精品久久久久久综合五月天| 婷婷色系婷色| 天天狠狠夜夜狠狠2023| 天天激情站| 99热 精品在线| 婷婷激情四射网| 激情综合4月| 丁香九月婷婷色| 九色无码| 国产成人精品亚洲线观看| www,99色| WWW,激情五月天,COM| 亚洲人成人五月天| 欧美久热| 狠狠色婷| 成人做爰A片免费看网站找不到了| 欧美综合五月丁香六月婷| 久婷| 日韩黄色中文字幕| 婷婷激情四射五月天| 欧美VA视频| 天天插夜夜爽| 日韩欧洲亚洲| 久久激情四射| 激情婷婷丁香五月天小说| 中文在线视频久1| www.99热在线观看| 日韩乱轮AV| 伊人婷婷五月天| 五月丁香六月婷婷国产视频| 四色永久成人网站| 91丨九色丨国产在线| 无码G高清天| 色婷婷丁香女女| 五月婷婷黄色| 夜夜谢天天干| 亚洲欧洲美女在线观| 激情五月天激情网| 丁香婷婷久久| 97热这里精品在线视频| 色五月婷婷五月丁香五月| 色伊人91在线视频| 色七色九九| 99激情视频| 熟女网站久久| 丁香五月激情网| 亚洲无码黄色| 亚洲另类日本| 九九99精品免费播放| 天天插天天很| 亚洲V国产V欧美V久久久久久| 亚洲欧美综合7777色婷婷| 黄色成人网站在线播放| 成人AV中文字幕| 人人摸人人| 色综合久久无码| 中文乱子伦视频| 丁香花五月天婷婷成人社区| 丁香五月婷婷激情视频播放| 激情综合网激情五月天| 99re熱| 亚洲成av人影院| 五月婷婷免费视频| 乱精品一区字幕二区| 激情小说之五月|