欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

未知數(shù)據(jù)分類驗(yàn)證基線實(shí)戰(zhàn):基于MSP與AUROC的圖像開放集評(píng)估

未知數(shù)據(jù)分類驗(yàn)證基線實(shí)戰(zhàn):基于MSP與AUROC的圖像開放集評(píng)估 在真實(shí)的圖像分類落地場(chǎng)景中困擾我們的往往不是“已知類別識(shí)別得不夠準(zhǔn)”而是模型在面對(duì)從未見過的輸入時(shí)依然會(huì)給出一個(gè)十分自信的錯(cuò)誤答案。比如安防攝像頭采集到一種訓(xùn)練階段完全沒有出現(xiàn)過的物品分類器沒有能力判斷“我不認(rèn)識(shí)它”反而會(huì)把它強(qiáng)行歸到某個(gè)已知類別里。這個(gè)問題如果得不到控制直接上線就會(huì)帶來誤報(bào)、漏報(bào)和運(yùn)營(yíng)上的連鎖風(fēng)險(xiǎn)。本文圍繞 “VeriCam: A Verification Baseline for the Classification of Unknown Data” 展開。這里的關(guān)鍵詞并不單指某一套固定代碼而是代表一類任務(wù)如何在視覺分類系統(tǒng)中建立“未知數(shù)據(jù)分類驗(yàn)證基線”并用量化指標(biāo)評(píng)估模型對(duì)未知輸入的響應(yīng)。適合正在做圖像分類、開放集識(shí)別、模型上線前評(píng)估的算法工程師和學(xué)生閱讀。讀完你會(huì)掌握一套最小可運(yùn)行的驗(yàn)證基線流程包括數(shù)據(jù)劃分、未知樣本構(gòu)造、MSP 置信度基線、AUROC/FPRTPR95 指標(biāo)計(jì)算以及容易踩坑的細(xì)節(jié)。1. 未知數(shù)據(jù)分類為什么需要驗(yàn)證基線1.1 從閉集分類到開放世界分類傳統(tǒng)的圖像分類模型通常遵循閉集假設(shè)訓(xùn)練集和測(cè)試集來自同一組類別模型只需要在有限類別里選擇概率最大的答案。這種假設(shè)在學(xué)術(shù) benchmark 里非常常見但現(xiàn)實(shí)世界并不是一個(gè)封閉集合。攝像頭、傳感器、用戶上傳內(nèi)容隨時(shí)可能帶來未見過的類別。我們可以把這些輸入統(tǒng)稱為 Unknown Data也就是模型訓(xùn)練階段沒有見過的數(shù)據(jù)。此時(shí)模型面對(duì)的是開放世界既要能區(qū)分已知類別之間的差異也要能識(shí)別出“這個(gè)樣本不屬于任何已知類別”?!癠nknown Data”并不是單一概念。它可以包括與已知類別完全不同的新類別與已知類別語(yǔ)義相近但分布不同的數(shù)據(jù)數(shù)據(jù)損壞、噪聲、對(duì)抗擾動(dòng)帶來的異常輸入與任務(wù)完全無關(guān)的背景內(nèi)容。如果模型不具備對(duì)未知輸入的判斷能力那么它輸出的置信度分?jǐn)?shù)就沒有意義。所以我們需要一種“驗(yàn)證基線”先把模型面對(duì)未知數(shù)據(jù)時(shí)的行為量化出來再?zèng)Q定是否需要改進(jìn)算法。1.2 Verification Baseline 到底驗(yàn)證什么Verification Baseline 可以理解為一套標(biāo)準(zhǔn)化的驗(yàn)證流程。它回答的問題非常明確當(dāng)模型遇到 Unknown Data 時(shí)它能不能保持“謹(jǐn)慎”具體來說驗(yàn)證基線需要完成三件事。第一把已知類別和未知類別放在同一個(gè)評(píng)價(jià)框架里讓問題從“這張圖是哪個(gè)類”變成“這張圖是否來自已知類別空間”。第二為每個(gè)樣本計(jì)算一個(gè)可比較的置信度分?jǐn)?shù)例如最大 Softmax 概率分?jǐn)?shù)高代表模型認(rèn)為樣本更接近已知類別。第三在固定的指標(biāo)下匯報(bào)模型區(qū)分已知和未知的能力而不是只看分類準(zhǔn)確率。用 VeriCam 這類名稱作為驗(yàn)證基線本質(zhì)上是為了強(qiáng)調(diào)視覺場(chǎng)景中的可復(fù)現(xiàn)評(píng)估。真實(shí)項(xiàng)目里算法團(tuán)隊(duì)經(jīng)常用不同的數(shù)據(jù)集、不同的預(yù)處理方式、不同的評(píng)價(jià)口徑各自驗(yàn)證得到的結(jié)論無法橫向比較。有了統(tǒng)一基線后任何改進(jìn)方法都可以先在同一個(gè)協(xié)議上跑一遍確認(rèn)提升真實(shí)有效。1.3 與 OSR、OOD、異常檢測(cè)的關(guān)系這里有必要區(qū)分幾組經(jīng)?;煜母拍钜?yàn)椴煌瑘?chǎng)景里“未知數(shù)據(jù)”的定義差別很大。開放集識(shí)別也就是 Open Set Recognition簡(jiǎn)稱 OSR關(guān)注的是模型能否在測(cè)試時(shí)正確拒絕“新類別”同時(shí)保留對(duì)已知類別的識(shí)別能力。分布外檢測(cè)也就是 Out-of-Distribution Detection簡(jiǎn)稱 OOD Detection關(guān)注的是測(cè)試樣本是否來自訓(xùn)練分布之外比如 CIFAR-10 模型遇到 SVHN 圖像。異常檢測(cè)也就是 Anomaly Detection通常更關(guān)注數(shù)據(jù)中的少量異常點(diǎn)例如工業(yè)質(zhì)檢中的缺陷樣本。這三個(gè)方向在方法上經(jīng)常互相借鑒但評(píng)價(jià)口徑并不完全一致。本文以視覺圖像分類為主線重點(diǎn)解決 OSR 和 OOD 方向上都需要的核心問題如何構(gòu)造 Known/Unknown 數(shù)據(jù)并給出一個(gè)可靠的驗(yàn)證基線。2. 基線實(shí)驗(yàn)設(shè)計(jì)與評(píng)價(jià)指標(biāo)2.1 問題形式化定義為了把問題講清楚我們可以做一個(gè)形式化定義。假設(shè)有已知類別集合K {c1, c2, ..., cM}模型使用 K 中的訓(xùn)練數(shù)據(jù)完成分類因此模型見過所有已知類別。測(cè)試階段我們輸入兩類樣本已知類樣本標(biāo)簽確實(shí)屬于 K未知類樣本標(biāo)簽不屬于 K。驗(yàn)證基線的目標(biāo)不是判斷未知樣本具體屬于哪個(gè)新類別而是計(jì)算一個(gè)二分類判斷樣本是否為已知類別可以把來自已知類別的樣本視為正類把來自未知類別的樣本視為負(fù)類。這樣原本的“M 類分類問題”就被轉(zhuǎn)換成一個(gè)“驗(yàn)證問題”。Verification Baseline 的名稱也因此而來我們驗(yàn)證的其實(shí)是模型對(duì)已知類別空間的信任邊界。2.2 數(shù)據(jù)集應(yīng)該怎么劃分建立驗(yàn)證基線的第一步是準(zhǔn)備數(shù)據(jù)。為了保證實(shí)驗(yàn)可復(fù)現(xiàn)建議把數(shù)據(jù)劃分成四份數(shù)據(jù)集合數(shù)據(jù)來源是否參與訓(xùn)練用途已知類訓(xùn)練集已知類別中的訓(xùn)練樣本是訓(xùn)練分類器已知類驗(yàn)證集已知類別中的驗(yàn)證樣本否只用于選閾值確定判定邊界已知類測(cè)試集已知類別中的測(cè)試樣本否評(píng)估已知類識(shí)別能力未知類測(cè)試集未知類別樣本否評(píng)估對(duì)未知類的拒識(shí)能力一個(gè)常見的錯(cuò)誤是只用訓(xùn)練集上的表現(xiàn)來評(píng)估模型或者讓測(cè)試用的未知類別以任何形式出現(xiàn)在訓(xùn)練階段。這樣得到的結(jié)果會(huì)偏樂觀無法反映真實(shí)線上場(chǎng)景。未知類數(shù)據(jù)在驗(yàn)證階段應(yīng)該保持完全不可見。另一個(gè)關(guān)鍵點(diǎn)是閾值不能直接在測(cè)試集上挑選否則會(huì)產(chǎn)生信息泄漏。更規(guī)范的做法是先用已知類驗(yàn)證集確定一個(gè)能保證指定已知類召回率的閾值再把這個(gè)閾值固定下來去測(cè)試集上評(píng)估最終的混淆矩陣和指標(biāo)。2.3 核心指標(biāo)選擇分類任務(wù)里準(zhǔn)確率并不能完整反映驗(yàn)證基線的質(zhì)量。因?yàn)槿绻阎惡臀粗悢?shù)量不平衡模型即使把所有樣本都判為“已知”也可能獲得很高的準(zhǔn)確率。這里采用更合適的指標(biāo)。AUROCArea Under the ROC Curve是最常用的指標(biāo)之一。它的含義是隨機(jī)抽取一個(gè)已知類樣本和一個(gè)未知類樣本已知類樣本的分?jǐn)?shù)高于未知類樣本的概率。AUROC 越高說明模型對(duì)已知和未知的區(qū)分能力越強(qiáng)。AUROC 接近 0.5 表示模型基本沒有區(qū)分能力接近 1 表示區(qū)分能力很強(qiáng)。FPRTPR95 是另一個(gè)工程中很重要的指標(biāo)。TPR 表示已知類樣本被正確判定為已知類的比例FPR 表示未知類樣本被錯(cuò)誤判定為已知類的比例。FPRTPR95 的含義是當(dāng)模型能識(shí)別出 95% 的已知類樣本時(shí)有多少比例的未知類樣本會(huì)被誤判成已知類。這個(gè)指標(biāo)直接對(duì)應(yīng)業(yè)務(wù)中的“誤報(bào)率”在很多安全敏感場(chǎng)景中非常關(guān)鍵。除了上述指標(biāo)還可以額外統(tǒng)計(jì)已知類準(zhǔn)確率、未知類拒識(shí)率以及混淆矩陣方便從不同角度觀察結(jié)果。3. 環(huán)境準(zhǔn)備與項(xiàng)目結(jié)構(gòu)3.1 運(yùn)行環(huán)境本文示例以 PyTorch 為基礎(chǔ)實(shí)現(xiàn)環(huán)境要求如下。版本需要根據(jù)你的項(xiàng)目實(shí)際情況調(diào)整這里重點(diǎn)演示配置和代碼思路。操作系統(tǒng)Windows / Linux / macOS 均可Python建議使用 3.8 或更高版本深度學(xué)習(xí)框架PyTorch建議使用較新的穩(wěn)定版本數(shù)據(jù)集工具torchvision指標(biāo)計(jì)算scikit-learn數(shù)值計(jì)算NumPy。在命令行中安裝核心依賴pip install torch torchvision sklearn numpy如果你的機(jī)器有 CUDA 顯卡可以安裝對(duì)應(yīng)版本的 GPU PyTorch如果沒有CPU 版本也能完成整個(gè)演示只是訓(xùn)練速度會(huì)慢一些。安裝時(shí)盡量統(tǒng)一依賴版本避免不同包之間的接口沖突。3.2 演示項(xiàng)目結(jié)構(gòu)為了讓代碼模塊清晰建議按下面的目錄組織工程VeriCam-Demo/ ├── data_utils.py # 數(shù)據(jù)集劃分與 Known/Unknown 構(gòu)造 ├── models.py # 小型視覺分類網(wǎng)絡(luò) ├── metrics.py # 驗(yàn)證基線評(píng)估指標(biāo) └── run_demo.py # 主流程訓(xùn)練、閾值選擇、評(píng)估這份結(jié)構(gòu)足夠做一次完整實(shí)驗(yàn)。你在實(shí)際項(xiàng)目中可以繼續(xù)擴(kuò)展出config.py管理超參數(shù)、inference.py對(duì)接線上推理但核心的驗(yàn)證協(xié)議與這里的邏輯保持一致。4. 完整代碼實(shí)現(xiàn)4.1 數(shù)據(jù)劃分與 Unknown Data 構(gòu)造我們需要從 CIFAR-10 數(shù)據(jù)集中切出已知類別與未知類別。例如選擇其中 5 個(gè)類作為已知類另外 5 個(gè)類作為未知類。這樣能保證數(shù)據(jù)集的加載非常簡(jiǎn)單環(huán)境允許時(shí)會(huì)自動(dòng)下載到本地。值得注意的是這種劃分方式會(huì)讓未知類與已知類來自同一個(gè)數(shù)據(jù)集語(yǔ)義上仍屬于同一分布因此驗(yàn)證難度偏低。它適合用來打通實(shí)驗(yàn)流程。在更嚴(yán)格的實(shí)驗(yàn)中建議使用 CIFAR-100 或 Tiny ImageNet 等數(shù)據(jù)集裁剪出的圖像作為真正意義上的 Unknown Data。先把流程跑通再替換為更困難的數(shù)據(jù)是比較穩(wěn)妥的思路。下面是data_utils.py的完整代碼# 文件路徑VeriCam-Demo/data_utils.py import torch from torch.utils.data import Subset, Dataset from torchvision import datasets, transforms class VerificationDataset(Dataset): 將原始 Subset 包裝成驗(yàn)證數(shù)據(jù)集。 is_known1 表示該樣本屬于已知類別空間 is_known0 表示該樣本屬于未知類別空間。 def __init__(self, subset, is_known): self.subset subset self.is_known int(is_known) def __len__(self): return len(self.subset) def __getitem__(self, index): x, y self.subset[index] return x, y, self.is_known def filter_by_classes(dataset, allowed_classes): 只保留 dataset 中類別在 allowed_classes 里的樣本。 allowed_classes 是 list[int]。 allowed_set set(allowed_classes) indices [ i for i, (_, label) in enumerate(dataset) if int(label) in allowed_set ] return Subset(dataset, indices) def get_cifar10_datasets(data_root./data, known_classes(0, 1, 2, 3, 4)): 返回?cái)?shù)據(jù)字典包含 - known_train: 訓(xùn)練分類器使用的已知類訓(xùn)練集 - known_val: 用來選擇閾值的已知類驗(yàn)證集 - known_test: 已知類測(cè)試集 - unknown_test: 未知類測(cè)試集 train_transform transforms.Compose([ transforms.RandomHorizontalFlip(), transforms.RandomCrop(32, padding4), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) test_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2470, 0.2435, 0.2616)), ]) # 下載并加載完整 CIFAR-10 full_train datasets.CIFAR10( rootdata_root, trainTrue, downloadTrue, transformtrain_transform ) full_test datasets.CIFAR10( rootdata_root, trainFalse, downloadTrue, transformtest_transform ) all_classes set(range(10)) known_set set(known_classes) unknown_classes sorted(all_classes - known_set) # 過濾出已知類訓(xùn)練數(shù)據(jù) known_train_full filter_by_classes(full_train, known_classes) # 再?gòu)囊阎愑?xùn)練數(shù)據(jù)中切出驗(yàn)證集例如 5000 個(gè)樣本 n len(known_train_full) n_val 5000 indices list(range(n)) torch.manual_seed(0) val_indices set(torch.randperm(n)[:n_val].tolist()) train_indices [i for i in indices if i not in val_indices] known_train Subset(known_train_full, train_indices) known_val Subset(known_train_full, sorted(val_indices)) # 已知類測(cè)試集和未知類測(cè)試集 known_test filter_by_classes(full_test, known_classes) unknown_test filter_by_classes(full_test, unknown_classes) # 包裝成驗(yàn)證數(shù)據(jù)集 return { known_train: VerificationDataset(known_train, is_known1), known_val: VerificationDataset(known_val, is_known1), known_test: VerificationDataset(known_test, is_known1), unknown_test: VerificationDataset(unknown_test, is_known0), }這段代碼需要注意三個(gè)地方。第一驗(yàn)證集的索引來自已知類訓(xùn)練數(shù)據(jù)內(nèi)部不能和測(cè)試集有交集。第二VerificationDataset返回的第三個(gè)元素 1/0 用來告訴評(píng)估函數(shù)當(dāng)前樣本是已知還是未知。第三隨機(jī)種子固定為 0方便復(fù)現(xiàn)在真實(shí)項(xiàng)目中可以把 seed 作為參數(shù)傳入方便做多次重復(fù)實(shí)驗(yàn)。4.2 定義視覺分類網(wǎng)絡(luò)本文用一個(gè)小型 CNN 而不是大型預(yù)訓(xùn)練網(wǎng)絡(luò)。原因是驗(yàn)證基線討論的重點(diǎn)在協(xié)議和指標(biāo)上使用小型網(wǎng)絡(luò)可以在普通 CPU 機(jī)器上完成訓(xùn)練方便讀者快速?gòu)?fù)現(xiàn)。# 文件路徑VeriCam-Demo/models.py import torch.nn as nn class SmallCNN(nn.Module): 適用于 CIFAR-10 32x32 輸入的小型卷積網(wǎng)絡(luò)。 輸出維度為 num_classes不包含 Softmax。 def __init__(self, num_classes5): super(SmallCNN, self).__init__() self.features nn.Sequential( nn.Conv2d(3, 32, 3, padding1), nn.BatchNorm2d(32), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(32, 64, 3, padding1), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), nn.Conv2d(64, 128, 3, padding1), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.AdaptiveAvgPool2d((1, 1)), nn.Flatten(), nn.Linear(128, num_classes), ) def forward(self, x): return self.classifier(self.features(x))CIFAR-10 的圖像尺寸是 32x32。經(jīng)過三次MaxPool2d(2)后特征圖會(huì)縮小到 4x4最后引入AdaptiveAvgPool2d((1, 1))把特征圖統(tǒng)一池化到 1x1保證網(wǎng)絡(luò)對(duì)輸入尺寸變化有更好的魯棒性。需要重點(diǎn)理解的是網(wǎng)絡(luò)最后一層輸出的是 logits不是概率。我們?cè)诤罄m(xù)計(jì)算最大 Softmax 概率時(shí)會(huì)先對(duì) logits 做 Softmax再取最大值。不要把 Softmax 寫進(jìn)模型里因?yàn)橛?xùn)練時(shí)使用的交叉熵?fù)p失函數(shù)會(huì)自動(dòng)結(jié)合 logits 和 Softmax單獨(dú)把 Softmax 放進(jìn)模型反而會(huì)增加數(shù)值不穩(wěn)定性。4.3 評(píng)估指標(biāo)實(shí)現(xiàn)在驗(yàn)證基線中我們要計(jì)算三個(gè)核心結(jié)果AUROC、FPRTPR95、混淆矩陣。下面把指標(biāo)封裝成獨(dú)立模塊方便在訓(xùn)練結(jié)束后直接調(diào)用。# 文件路徑VeriCam-Demo/metrics.py import numpy as np from sklearn.metrics import roc_auc_score, roc_curve def compute_metrics(known_scores, unknown_scores, threshold): 計(jì)算驗(yàn)證指標(biāo)。 參數(shù) - known_scores: 已知類樣本的置信度分?jǐn)?shù) - unknown_scores: 未知類樣本的置信度分?jǐn)?shù) - threshold: 判定閾值分?jǐn)?shù) threshold 判定為已知類 返回 - dict 類型的指標(biāo)結(jié)果 y_true np.concatenate([ np.ones(len(known_scores)), np.zeros(len(unknown_scores)), ]) y_score np.concatenate([known_scores, unknown_scores]) # 在固定閾值下計(jì)算混淆矩陣相關(guān)指標(biāo) pred (y_score threshold).astype(int) tp np.sum((pred 1) (y_true 1)) fn np.sum((pred 0) (y_true 1)) fp np.sum((pred 1) (y_true 0)) tn np.sum((pred 0) (y_true 0)) known_acc tp / max(tp fn, 1) unknown_acc tn / max(tn fp, 1) auc roc_auc_score(y_true, y_score) fprs, tprs, _ roc_curve(y_true, y_score) # 找到 TPR 0.95 時(shí)盡量低且首次滿足條件的 FPR valid_indices np.where(tprs 0.95)[0] fpr_at_tpr95 fprs[valid_indices[0]] if len(valid_indices) 0 else float(nan) return { auc: auc, fpr_at_tpr95: fpr_at_tpr95, known_acc: known_acc, unknown_acc: unknown_acc, confusion_matrix: { tp: int(tp), fn: int(fn), fp: int(fp), tn: int(tn), }, } def select_threshold_by_known_scores(known_scores, tpr_target0.95): 使用已知類驗(yàn)證集的分?jǐn)?shù)挑選閾值。 目標(biāo)是讓已知類樣本保留 tpr_target 比例的召回率。 if len(known_scores) 0: raise ValueError(known_scores 不能為空) # 例如 tpr_target0.95則取已知樣本分?jǐn)?shù)分布的 5% 分位點(diǎn) # 約 95% 的已知樣本分?jǐn)?shù)會(huì)大于等于該閾值 threshold np.percentile(known_scores, (1 - tpr_target) * 100) return float(threshold)這里的閾值選擇邏輯非常重要。我們是在“已知類驗(yàn)證集”上選擇閾值而不是在測(cè)試集上選擇。測(cè)試集只負(fù)責(zé)最終評(píng)估這樣可以避免閾值過擬合。如果線上業(yè)務(wù)對(duì)誤報(bào)率更敏感可以把閾值定得更高如果希望盡量少漏掉已知類樣本可以調(diào)低閾值。驗(yàn)證基線的意義恰恰就是提供一個(gè)可調(diào)節(jié)的評(píng)估框架而不是固定某一條規(guī)則。4.4 主流程訓(xùn)練與驗(yàn)證最后是主流程代碼。它會(huì)依次完成訓(xùn)練、分?jǐn)?shù)采集、閾值選擇和指標(biāo)計(jì)算。# 文件路徑VeriCam-Demo/run_demo.py import numpy as np import torch import torch.nn as nn from torch.utils.data import DataLoader from data_utils import get_cifar10_datasets from models import SmallCNN from metrics import compute_metrics, select_threshold_by_known_scores def collect_confidence_scores(model, loader, device): 遍歷數(shù)據(jù)集返回最大 Softmax 概率分?jǐn)?shù)和 is_known 標(biāo)簽。 model.eval() scores_list [] known_list [] with torch.no_grad(): for x, _, is_known in loader: x x.to(device) logits model(x) probs torch.softmax(logits, dim1) max_probs probs.max(dim1).values scores_list.append(max_probs.cpu().numpy()) known_list.append(is_known.numpy()) scores np.concatenate(scores_list) is_known np.concatenate(known_list) return scores, is_known def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) print(device:, device) # 使用 5 個(gè)類別作為已知類 known_classes [0, 1, 2, 3, 4] num_classes len(known_classes) datasets get_cifar10_datasets( data_root./data, known_classesknown_classes, ) train_loader DataLoader( datasets[known_train], batch_size128, shuffleTrue, num_workers2, drop_lastTrue ) val_loader DataLoader( datasets[known_val], batch_size256, shuffleFalse, num_workers2 ) known_test_loader DataLoader( datasets[known_test], batch_size256, shuffleFalse, num_workers2 ) unknown_test_loader DataLoader( datasets[unknown_test], batch_size256, shuffleFalse, num_workers2 ) model SmallCNN(num_classesnum_classes).to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-3) criterion nn.CrossEntropyLoss() epochs 10 for epoch in range(epochs): model.train() total_loss 0.0 correct 0 total 0 for x, y, _ in train_loader: x x.to(device) y y.to(device) logits model(x) loss criterion(logits, y) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() * x.size(0) pred logits.argmax(dim1) correct (pred y).sum().item() total y.size(0) train_acc correct / max(total, 1) avg_loss total_loss / max(total, 1) print(fepoch{epoch 1}, loss{avg_loss:.4f}, train_acc{train_acc:.4f}) # 1. 在已知類驗(yàn)證集上選擇閾值 val_scores, val_known collect_confidence_scores(model, val_loader, device) # val_known 應(yīng)該全是 1閾值選擇只看已知類分?jǐn)?shù) threshold select_threshold_by_known_scores( val_scores, tpr_target0.95 ) print(selected threshold:, round(threshold, 4)) # 2. 在測(cè)試集上評(píng)估 known_scores, _ collect_confidence_scores(model, known_test_loader, device) unknown_scores, _ collect_confidence_scores(model, unknown_test_loader, device) results compute_metrics( known_scoresknown_scores, unknown_scoresunknown_scores, thresholdthreshold, ) print(AUROC:, round(results[auc], 4)) print(FPRTPR95:, round(results[fpr_at_tpr95], 4)) print(known_acc:, round(results[known_acc], 4)) print(unknown_acc:, round(results[unknown_acc], 4)) print(confusion_matrix:, results[confusion_matrix]) if __name__ __main__: main()這里有幾個(gè)工程細(xì)節(jié)需要解釋。第一模型訓(xùn)練使用交叉熵?fù)p失輸出維度是 5。訓(xùn)練過程中只使用 known_classes 對(duì)應(yīng)的 5 類數(shù)據(jù)未知類數(shù)據(jù)完全沒有參與訓(xùn)練。這保證了驗(yàn)證基線考察的是模型面對(duì)全新類別的泛化能力而不是記憶能力。第二閾值的選擇來自驗(yàn)證集。select_threshold_by_known_scores會(huì)找出一個(gè)閾值使得約 95% 的已知類驗(yàn)證樣本能夠被正確保留。然后我們固定這個(gè)閾值再到 known_test 和 unknown_test 上評(píng)估。第三所有測(cè)試都使用torch.no_grad()包裹并讓模型進(jìn)入 eval 模式。如果忘記調(diào)用model.eval()BatchNorm 層在推理時(shí)仍然會(huì)使用當(dāng)前 batch 的均值和方差導(dǎo)致結(jié)果不穩(wěn)定。5. 運(yùn)行與結(jié)果分析5.1 運(yùn)行命令在項(xiàng)目目錄下直接運(yùn)行python run_demo.py第一次運(yùn)行會(huì)自動(dòng)從互聯(lián)網(wǎng)下載 CIFAR-10 數(shù)據(jù)集。下載完成后控制臺(tái)會(huì)輸出類似下面的內(nèi)容device: cpu epoch1, loss1.5321, train_acc0.3892 epoch2, loss1.3147, train_acc0.5021 epoch3, loss1.1842, train_acc0.5621 ... epoch10, loss0.9313, train_acc0.6881 selected threshold: 0.4213 AUROC: 0.7721 FPRTPR95: 0.4215 known_acc: 0.6924 unknown_acc: 0.6203 confusion_matrix: {tp: 3421, fn: 1579, fp: 1898, tn: 3102}以上輸出只是格式示意。不同機(jī)器、不同隨機(jī)種子和不同訓(xùn)練輪數(shù)一定會(huì)產(chǎn)生差異重點(diǎn)不是記住某個(gè)具體數(shù)字而是理解每一行結(jié)果的含義。5.2 怎樣解讀這些結(jié)果AUROC 如果明顯高于 0.5說明模型已經(jīng)具備一定的已知/未知區(qū)分能力。AUROC 很高不代表系統(tǒng)可以直接上線因?yàn)榫€上場(chǎng)景的未知數(shù)據(jù)分布會(huì)更復(fù)雜。FPRTPR95 則告訴我們?nèi)绻麡I(yè)務(wù)要求漏掉已知類的比例不超過 5%那么會(huì)有多少未知類樣本被誤判為已知。這個(gè)數(shù)字越低越好0 表示不存在誤報(bào)1 表示全部誤報(bào)。再看混淆矩陣。TP 是正確保留的已知類樣本FN 是漏掉的已知類樣本FP 是誤判為已知的未知類樣本TN 是正確拒識(shí)的未知類樣本。當(dāng)我們要設(shè)定業(yè)務(wù)閾值時(shí)往往是在 FN 和 FP 之間做權(quán)衡。不能說“哪個(gè)數(shù)字越小越好”因?yàn)榻档?FN 通常會(huì)導(dǎo)致 FP 上升反之亦然。5.3 結(jié)果可視化的一種思路如果想讓驗(yàn)證結(jié)論更直觀可以增加一個(gè)簡(jiǎn)單的可視化代碼片段。這里不要求必須畫圖但展示思路import matplotlib.pyplot as plt def plot_score_distribution(known_scores, unknown_scores, threshold): plt.hist(known_scores, bins50, alpha0.6, labelknown) plt.hist(unknown_scores, bins50, alpha0.6, labelunknown) plt.axvline(threshold, colorred, linestyle--, labelthreshold) plt.xlabel(confidence score) plt.ylabel(count) plt.legend() plt.show()把 known_scores 和 unknown_scores 的分布畫出來可以很直觀地看到兩個(gè)分布的重疊程度。重疊越少模型對(duì)已知和未知的區(qū)分越好重疊越大說明模型在很多未知樣本上也給出了高置信度這是非常危險(xiǎn)的信號(hào)。6. 常見問題與排查思路6.1 高頻問題排查表問題現(xiàn)象常見原因解決思路訓(xùn)練 loss 不下降學(xué)習(xí)率過大或模型結(jié)構(gòu)有誤降低學(xué)習(xí)率檢查數(shù)據(jù)標(biāo)簽是否錯(cuò)位AUROC 接近 0.5Unknown Data 與 Known Data 太相似或模型訓(xùn)練不充分換更難的數(shù)據(jù)集增加訓(xùn)練輪數(shù)檢查特征提取能力FPRTPR95 接近 1模型對(duì)所有樣本都給出高置信度考慮引入溫度縮放、Energy Score 等更復(fù)雜的 OOD 方法驗(yàn)證集上指標(biāo)高、測(cè)試集指標(biāo)低閾值在驗(yàn)證集上過擬合擴(kuò)大驗(yàn)證集規(guī)模使用交叉驗(yàn)證多次重復(fù)實(shí)驗(yàn)同一份代碼兩次運(yùn)行結(jié)果不同沒固定隨機(jī)種子或 GPU 計(jì)算存在非確定性固定 PyTorch 和 NumPy 種子多次運(yùn)行取均值Unknown Data 混入訓(xùn)練集后指標(biāo)異常偏高數(shù)據(jù)泄漏排查數(shù)據(jù)劃分的類別交集確保 unknown 完全不參與訓(xùn)練6.2 為什么 MSP 是最簡(jiǎn)單也是最穩(wěn)的基線Maximum Softmax Probability也就是最大 Softmax 概率是驗(yàn)證任務(wù)里最常見的 Baseline。它的核心假設(shè)是模型對(duì)已知類樣本會(huì)給出更高的最大概率對(duì)未知類樣本會(huì)比較猶豫。這個(gè)方案實(shí)現(xiàn)簡(jiǎn)單只需要在模型輸出后取 Softmax 最大值幾乎不需要修改網(wǎng)絡(luò)結(jié)構(gòu)所以它非常適合作為 Verification Baseline。但它的缺點(diǎn)也很明顯深度神經(jīng)網(wǎng)絡(luò)往往過度自信對(duì)分布外輸入也會(huì)給出較高的 Softmax 概率。正因?yàn)槿绱薓SP 通常是一個(gè)“下限”參考。如果某個(gè)新方法連 MSP 都打不過那說明提升可能來自實(shí)驗(yàn)設(shè)置問題而不是算法本身。6.3 一個(gè)非常容易忽略的坑同源數(shù)據(jù)劃分在本文示例中我們讓 CIFAR-10 的 5 個(gè)類作為已知類另外 5 個(gè)類作為未知類。這種做法雖然方便但會(huì)讓任務(wù)偏簡(jiǎn)單。因?yàn)橥粋€(gè)數(shù)據(jù)集內(nèi)部的圖像在風(fēng)格、分辨率、背景上高度一致模型很可能僅僅因?yàn)榧y理或者顏色分布差異就把未知類區(qū)分開。更貼近真實(shí)場(chǎng)景的做法是使用另一個(gè)數(shù)據(jù)集作為未知類。例如用 CIFAR-10 作為已知類分布用 CIFAR-100 或 SVHN 作為未知類分布。這樣才能驗(yàn)證模型是否學(xué)到了“對(duì)已知類別的語(yǔ)義邊界”而不是數(shù)據(jù)集的某種表面特征。在正式實(shí)驗(yàn)中建議至少準(zhǔn)備多個(gè)不同難度的 Unknown Data 集合避免單點(diǎn)結(jié)論。7. 最佳實(shí)踐與工程建議7.1 實(shí)驗(yàn)配置要可追溯驗(yàn)證基線的核心價(jià)值之一是“可復(fù)現(xiàn)”。我建議在項(xiàng)目中保存一份固定配置記錄下列信息已知類列表和未知類列表訓(xùn)練集、驗(yàn)證集、測(cè)試集的大小模型結(jié)構(gòu)、預(yù)訓(xùn)練權(quán)重來源優(yōu)化器、學(xué)習(xí)率、訓(xùn)練輪數(shù)隨機(jī)種子每天運(yùn)行使用的框架版本。一個(gè)可行的方式是把這些配置寫入 JSON 或 YAML 文件并將結(jié)果和配置一起存檔。這樣即使三個(gè)月后再回看實(shí)驗(yàn)結(jié)果也能知道當(dāng)前指標(biāo)是在什么條件下產(chǎn)生的。7.2 盡量使用多次獨(dú)立重復(fù)實(shí)驗(yàn)深度學(xué)習(xí)的訓(xùn)練過程有隨機(jī)性單次實(shí)驗(yàn)不足以證明方法優(yōu)劣。工程上建議固定一個(gè)隨機(jī)種子集合比如[0, 1, 2, 42]分別跑完實(shí)驗(yàn)后匯報(bào) AUROC 的均值和標(biāo)準(zhǔn)差。穩(wěn)定性和平均值同樣重要。如果某個(gè)方法在 seed0 時(shí)表現(xiàn)很好但換一個(gè) seed 就大幅下降那么它對(duì)實(shí)際業(yè)務(wù)的價(jià)值要打折扣。7.3 先定評(píng)估協(xié)議再做模型改進(jìn)很多團(tuán)隊(duì)拿到 Unknown Data 分類需求后第一反應(yīng)是換更好的 Backbone 或者更復(fù)雜的損失函數(shù)。但如果沒有先建立 Verification Baseline后續(xù)所有改進(jìn)都缺乏參照。更好的順序是固定數(shù)據(jù)劃分固定評(píng)估指標(biāo)跑最簡(jiǎn)單的 MSP 基線記錄 baseline 結(jié)果再逐步引入更復(fù)雜的算法例如溫度縮放、ODIN、能量分?jǐn)?shù)、OpenMax每次只改變一個(gè)變量比較結(jié)果。這套做法看起來不夠炫酷卻是保證技術(shù)演進(jìn)方向正確的關(guān)鍵。尤其在安全敏感場(chǎng)景中謹(jǐn)慎的評(píng)估流程比技巧更重要。7.4 對(duì)未知樣本保持“可解釋的拒絕”真實(shí)工程系統(tǒng)里模型除了輸出分類結(jié)果還需要輸出一個(gè)“不確定”信號(hào)。當(dāng)置信度分?jǐn)?shù)低于閾值時(shí)系統(tǒng)應(yīng)該走一條獨(dú)立的分支比如人工審核、二次校驗(yàn)或者直接拒絕。這個(gè)閾值的確定不應(yīng)該只依賴算法人員的經(jīng)驗(yàn)而要和產(chǎn)品、安全團(tuán)隊(duì)共同協(xié)商。驗(yàn)證基線提供的是模型能力量化結(jié)果業(yè)務(wù)側(cè)則要結(jié)合誤報(bào)成本和漏報(bào)成本選擇一個(gè)對(duì)業(yè)務(wù)最合理的閾值。8. 總結(jié)與下一步方向本文從驗(yàn)證基線設(shè)計(jì)的角度拆解了 Unknown Data 分類問題。我們先明確了 Unknown Data 與 OOD、OSR 的關(guān)系然后設(shè)計(jì)了一套可復(fù)現(xiàn)的數(shù)據(jù)劃分和評(píng)估協(xié)議。在代碼實(shí)現(xiàn)部分基于 CIFAR-10 構(gòu)建了已知類與未知類集合并以最大 Softmax 概率作為 Baseline計(jì)算了 AUROC、FPRTPR95 和混淆矩陣。這套流程的核心價(jià)值并不是把模型準(zhǔn)確率提得有多高而是幫助你在上線前回答三個(gè)問題模型是否對(duì)未知數(shù)據(jù)保持謹(jǐn)慎現(xiàn)有決策閾值會(huì)造成多少誤報(bào)新的改進(jìn)算法是否真的比 Baseline 更可靠如果你正在處理視覺分類相關(guān)的工程問題可以把這套代碼作為起點(diǎn)先把評(píng)估體系固化下來。后續(xù)可以繼續(xù)探索的方向包括使用不同難度的 Unknown Data 集合做壓力測(cè)試引入 ODIN 中的溫度縮放策略嘗試基于能量的分?jǐn)?shù)函數(shù)在分類網(wǎng)絡(luò)中加入 OpenMax 層來對(duì)開放集進(jìn)行建模。不同方法的適用場(chǎng)景差異很大但只要驗(yàn)證基線足夠穩(wěn)健所有方法都可以在同一個(gè)尺度下公平比較。如果本文對(duì)你有幫助可以收藏備用也歡迎在實(shí)踐中結(jié)合實(shí)際數(shù)據(jù)繼續(xù)驗(yàn)證和調(diào)整這套流程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色五月综合激情| 国产精产国品一二三在观看| 新精品99| 99色1| 97碰在线免费观看| 99ri6在线视频| 激情五月天色播| 九热视频| 人人操超踫| 人人操女人| 亚洲激情综合| 性爱久久| 色婷婷香蕉| 激情五月天综合| 99精品久久久久久久婷婷久久 | 亚洲性视频| 国产婷婷色综合AV蜜臀AV | 久草婷婷网| 日本不卡中文字幕| 色色色婷| 五月婷啪| www.超碰在线| 欧美影院婷婷| 九九青青草成人| 天堂va久久久噜噜噜久久Va| WWW.久久.COM| 99年操人人爽| 日逼影音先锋男人AV资源站| 嫩草极品| 欧美五月婷婷综合| 青青操日本摸摸看看| 欧美日韩99| 日亚二欧美| 日韩精品二三区| 色婷婷欧美在线| 97人人草| 小视频aaa久久久| WWW.99热| 第四色五月激情网| 色五月在线| 六月丁香成人| 日本丁香久在线| 天天干夜夜谢| 六月天婷婷| 大香蕉手机视频| 欧美婷婷日本| 天天综合色| 久久99视频| 日韩 中文 欧美| 丁香五月婷婷AV在线| 婷婷草| 丁香 婷婷 亚洲 熟女| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 亚洲日本韩国| 伊人香大香蕉视频| 日韩操女| 丁香婷婷激情综合五月激情| 欧美色播综合在线观看| 五月天激情婷婷丁香| www.狠狠操.com| 婷五月天在线草| 成人久久天天x资源站| 9er热在线精品视频| 亚洲一个色| 99视频内射三四| 婷婷丁香社区网| 丁香五月1页| 色色婷婷五月天| 超碰操网| 五月婷色啪| 99亚洲色色| 日韩九九| 久久曰曰| 肏日网在线看| 综合激情五月四射婷婷| 一区二区你懂的| 人人操人人妻| 亚洲成人免费在线| 五月婷婷网站| 婷婷开心激情| 婷婷激情97| 任你搞网站| 亚洲中文字幕网| 操操操操操操婷婷五月天| WWW五月婷婷| 丁香六月婷婷高清| 美女精品一级不卡视频| 超碰国产在线播放| 成人AV免费观看| 激情五婷精品网在线观看网址| 丁香色六月婷婷| 五月丁香激情在线| 亚洲热视频| 丰满少妇猛烈A片免费看观看| www日本熟妇99在线视频| 亚洲色色五月| 久久这里只有精品07| 国产成人va在线| 99这里都是精品| 人妻久久久久久久 | 91肏| 伊人久久丁香狠狠婷婷综合香蕉| 97人妻碰碰碰久| 九九久久五月天综合伊人| 99热只有这里有精品| 五月丁香| 夜夜久久综合网| 一區四區歐美日韓| 九九色精品| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天综合色| 丁香伍月婷电影全集| 色综合偷拍| 久久激情五月| 五月天天堂久久| 婷婷五月情色| 激情五月天综合| 色五月丁香91| 色婷婷4| 五月亭亭网成人在线视频| 极品人妻VideOssS人妻| 亚洲AV中文在线| 天天日夜夜爽。| 99色婷婷视频| 九月婷婷色色| 五月婷婷在线免费观看 | 校花娇喘呻吟校长陈若雪视频| 天天干天天操天天射 | 夜夜操狠狠操| 丁香六月开心| 欧美影院婷婷| 91AV婷婷| 色色色婷| 久久久99免费视频| 免费视频无码| 看全色黄大色大片| 美女天天爽| 高清一区二区三区日本久| 中美月韩免费A片| 丁香六月无码播放| 色欲色欲久久宗合网| 91精品综合久久久久久五月天| 99热这里有精品2| 99亚洲视频| 丁香五月情色| 久色激情| 2015超碰| 亚洲激情97五月天| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久久久久亚洲AV成人无码电影| 精品一二三区久久AAA片| 四季AV综合网| 激情五月天色播| www久久久| http://www.sd-xiangsu.com/| 五月婷婷婷婷| 五月天另类小说亚洲| 99男人的天堂| 色吧综合网| 久热精彩视频98| 婷婷五月丁香综合桃花色网| 激情综合另类| 韩日AV片| 丁香婷婷色| 欧洲电影在线观看免费版英语版| 九九热在视频| 日本猛少妇色XXXXX猛叫| 中文字幕婷婷| 双性美人被调教到喷水A片| 99久久网站| 99欧美| 97AV在线视频| 无遮羞AV| 六月丁香色色| 激情99热| 91亚洲天堂| 久久久久久9| 国产色丁香| 九九人人操| 色五月婷婷激情五月| 成人综合视频网址| 超碰在线9| 亚洲五月天色| 久久九九99.www| 26uuu成人网| 91.com男女操| 国产成人精品一区二三区熟女在线 | 色综合射婷婷| 91干| 91久久精品视频| www.五月丁香| 色色色色av777| 婷婷五月天午夜激情影院| 五月婷婷黄色| 欧美va在线| 99视频九九热| 狠狠噪| 五月天婷婷AV| 蜜臀av在线成人电影| 欧美日韩五月婷婷| 精品影院| 99日本精品视频热| 激情五月视频在线婷婷| 99精品在线播放| 国产午夜精品一区二区三区四区 | 九九热99精品在线| 丁香五月婷婷基地| 亚洲视频1区| 日日爽日日| 五月好婷婷| 亚洲激情AV| 五月婷婷黄网站大全| www.久久久.com| 伦99热| 午夜成人网站在线观看| 婷婷色网址| 久/久精品99看9| 亚洲va在线| 九九色影院| 综合另类激情| 国产婷婷婷| 五月丁香综合啪啪| 日本色爽| 日韩爱操视频| WWW.99热| 五月天婷爱综合| 天天摸天天肏| 丁香五月六月综合激情| 欧美激情中文字幕| 综合九九久久| 综合久久首页| 九九综合网| 丝袜大香蕉| 超碰在线精品| caop在线视频| 久草A片| 久久综合五月天| 狠狠干思思热| 第四色26uuu| 国产免费一区二区在线A片视频| 99ri视频在线观看| 日韩无码亚欧无码| 97碰 在线视频观看| 乱精品一区字幕二区| 九九99九九99九九99视频网| 国产精品人人妻人人爽| WWW五月| 中文aV网| site:ornaments52.com| 亚洲激情免费视频| 欧美激情综合色综合| 婷婷五月激情六月丁香 | 久碰久| 超91热| 老师的粉嫩小又紧水又多A片视频 欧美三级巜人妻互换 | 五月婷婷色| 久久曰曰| 久久人妻视频| 天天干天天av天天射| 国色天香成人网| 婷婷伊人网| 丁香五月婷婷影院| 亚洲成人AV电影在线| 国产伦亲子伦亲子视频观看| 丁香五月天天久久综合小说| 99操网站| 激情AV在线| 碰97久久| 这里只精品| 丁香女人五月天| 丁香色情五月天| 狠狠操之狠狠操| 日日干日日色| 日韩人妻操逼视频| 91干视频| 五月婷婷丁香| 夜色五月天| 国产av网| 色欲九区| 天天操九九插| 欧美婷婷综合| 久色网| 丁香六月五月天| 亚洲六月婷婷| 五月天色色色网| 色色综合热| 91疯狂操操操操| 玖玖综合色| 婷婷的激情五月| 99热在线免费观看精品| 成人中文网| 国产做A爰片毛片A片美国| 国产日韩精品SUV| 久久XX日本综合| 991自拍视频| 伊人网啪啪| 五月大香蕉| 五月丁香六月婷婷免费视频| 六月婷婷五月丁香| 色五月激情网| 九九人人看| 亚洲激情AV| SS丁香五月婷婷| 日本天天操| 久久五月丁香| 婷婷伊人綜合| 婷婷丁香高潮了| 激情五月,婷婷五月,丁香五月| 日本一级特黄大片AAAAA级| 97 A I色色| 久777| 婷婷99狠狠躁天天躁中| 人人爽欧美婷婷久久久五月丁香 | 99久操视频| 97人人搞| 99这里都是精品| 五月天激情婷婷| 性爱网六月丁香| 九九爱这里只有精品| 日韩AV大全| 79精品视频在线观看,| 伊综合蕉| 9999色色色色| 九九激情网| 爆乳熟女一区二区三区爆乳| 俺也高清无码高清视频| 日韩免费视频| 婷婷丁香色五月亚洲| 激情www| 丁香五月色| 天天婷婷色六月| 国产精产国品一二三在观看| VA婷婷| 91色吧网| 天堂网啪啪| 丁香五月久久综合| 亚洲欧洲中文日韩久久AV乱码 | www激情com| 99热在线观看| 亚洲综合新99视频| 婷婷丁香六月| WWW五月天| 亚洲色网络| 大香蕉欧美在线| 天天射天天射一道本日本社区| 激情五月婷婷综合| 久久色婷婷| 婷婷在线视频| 国产老熟妇亲子乱对白| 九九热99免费视频| w婷婷五月婷婷w| 亚洲视频图片婷婷五月| 久久香视频| 狠狠狠狠狠草| 狠狠色噜噜狠狠狠狠狠色综合久久| 久久最新色色色| 热99免费在线| 玖玖99免费视频| 玖玖精品视频| 色婷婷亚洲综合网站| 另类综合激情| 熟女色色一区二区| 天天色综合网吨吧| 97sese婷婷| 丁香五月婷在线观看| 国精产品一区一区三区免费视频 | 美女丁香五婷婷| 五月天丁香色色| 婷婷深爱五月天在线| 五月天婷婷综合| 噜综合| 丁香五月天色婷婷| 激情黄色五月天| 国产又爽又猛又粗的视频A片| 欧美成人无码一区二区三区| av免费在线看不卡无毒| 这里只有精品在线视频在线观看| 国产午夜精品一区二区| 日日综合网| 久婷婷五月丁香在线观看| 99这里有精品| 五月丁香激情婷婷综合| 射久久丁香五月| 大香蕉婷婷久久| 九色视频91| 婷婷中文字幕| 国产婷婷五月色情综合| 99热综合网| 婷婷五月天开心网| 99色1| 超碰五月婷婷五月天| 婷婷色六月| 五月久熟女| 中文激情网| 操丝袜视频影院导航| 亚洲国产另类av| 无码啪啪| 丁香五月六月激情| 久久丁香五月婷婷| 丁香五月激情综合久久| 啪啪啪综合网| 亚洲一区二区无码蜜乳av| 亚洲久艹| 精品人妻伦九区久久AAA片| 婷婷综合网伊人| 色色色色区| 99超级碰免费视频| 亚洲激情网| 婷婷五月激情网站| 亚洲视频码| 99爱这里只有精品免费视频| 天堂草在线观看| 中文字幕AV在线| 五月激情四射网站| 这里只有精品1| 国产精品热搜丁香五月婷婷| VA日本视频| ww超碰在线| 99啪啪视频| 五月丁香婷婷激情澎湃四射| 丁香五月狠狠在线观看| 综合一区二区三区| 亚洲视频另类| 成人国产欧美大片一区| 婷婷色导航| 永久AⅤ1| 五月婷婷六月激情网| 日韩操逼大片| g00d人体西西| 丝袜熟女一区二区三区| 久久99国产综合精品免费| 五月婷婷综合丁香视频| 俺去也在线www色官网| 97色婷婷成人综合在线观看| 青青999| 五月丁香影院| 99热这里只有精品1| 激情五月天com| 激情5月婷婷狠狠干| av线电影| 一区二区三区XXXXXX| 日本精品久久久久中文字幕| 日韩AV大全| 中文av网| 婷婷激情五月综合| 国产在这里只有精品| 激情五月天综合图片小说网站| 97综合色片| 天天日P天天射P| 婷婷五月花| 99婷婷| 色婷婷婷婷| 超碰国产AV| 日日夜夜久| 婷婷五月天手机版视频| 99久久思思| 亚洲激情亚洲激情 | 欧美成人精品一区二区 | 婷婷五月综合网| 中文字幕色色色| 婷婷在线五月天观看| 激情久久久| 91人人操人人爱| 1024婷婷综合久久五月天| 久久女人九九| 99re热在线视频观看| 中文字幕在线不卡视频| 久久人五月| 天堂亚洲 在线| 亚洲色图在线视频| 伊人色综合影院视频| 伊人久久大香线蕉av一区| 成人啪啪色婷婷久| 91色涩| 99热主页日本| 婷婷五月天丁香| 色婷婷综合视频| 亚洲综合激情五月久久| 丁香六月婷婷综合激情欧美| 狠狠草婷婷| 色婷婷五月综合在线| 六月婷婷狠狠做| 开心综合激情综合| 精品色色| AV性爱网| 亚洲六月综合激情久久下卡| 看逼中文字幕| 欧美99热| 色婷婷影音| 激情综合色婷婷六月天| 999激情视频| 亚洲综合婷婷| 久久激情四射| 99九九在线| 婷婷激情五月天网站| 午夜九九电影| 日本色综合| 久热欧美| 五月婷婷av在线| 久久综合五月| 欧美天天五月丁香免费观看| 五月天成人小说网| 天天色天天日| 另类图片五月天激情| 色色色色色五月| aa久久| 六月婷伊人| 天天舔天天操| 色婷婷久久| 91干99| 大香蕉九九| 久久aaaa片一区二区| 五月天狠狠色| 亚洲日韩成人三级av| 五月丁香九九| 人人操超踫| 26uuu欧美| 色色激情| 婷婷五月大香蕉| 狠狠色综合777| 欧美性爱五月天| 国产性爱亚洲是图| 99视频在线啪| 丁香五月婷婷激情123| 五月婷婷熟女| 香蕉久久国产AV一区二区| 天天日夜夜草进麻麻的子宫| 最新色色五月天| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月婷婷影院| 久久婷婷成人综合色怡春院| 国产精品a无线| 人人操人人爽成人AV| 成人片久久网站| 五月丁香婷婷视频| 182.t午在线观看| 九九国产精视频| 丁香五月综合| 超碰2021| 五月综合亚洲婷婷| 婷婷久久五月天| 五月婷婷久久久久| 亚洲六月色| 天天射影院| 九九av| 欧美色频| 色九综合| 五月丁香婷婷综合网| 综合久久激情久久| 五月丁香婷婷激情久久| 狠狠五月天| 91九色小视频| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 五月婷av| 日韩啪啪自拍| 久久久精品人妻录| 丁香婷婷五月色综合| 国产伊人五月天| 久久久激情| www99久久| 婷婷五月丁香欧洲| 91啪啪网| 婷婷射图| 婷婷丁香花五月天| 综合啪啪| 婷婷五月天成人导航| 天堂久久精品| 久久五月综合| 午夜婷婷| 欧美噜噜免费观看| 国产精品VIDEOSSEX久久发布| 金桔一区二区ab地址| 99ri视频| 五月丁香色婷婷伊人| XX色综合| 色亚洲中文| 五月天开心网| 五月天四色房丁香| 97久久精品视频| 天天干天天干天天干天天干天| 婷婷丁香无码专区| 六月丁香色婷婷| 99热亚洲综合| 色久九| 色婷婷XXXXX| 91狠狠色丁香婷婷综合久久精品| 欧美婷婷五月激情| 在线精品97| 成年人丁香五月| 99色五月| 99无码精品| 爱草视频在线| 婷婷第一页| 欧美三级欧美一级| 五月丁香久久久日婷婷久久婷婷日| 99精品视频在线观看| 色婷婷色人人射| 日韩天堂久久| 五月激情小说| 99在线精品视频免费观看20| 九九这里是免费的视频5| www.minyis.com【JT】实力收量可预付QQ2101460746 | 亚洲精品乱码久久久久久按摩观| 日本色色色色色色色色一色二色| 色五婷婷开心缴| 99热偷拍| 亚洲综合五月天婷婷| 五月丁香婷婷基地| 色色日韩| 五月伊人婷婷999| 国产熟女一区二区三区五月婷| 亚洲视99| 99日在线观看视频| 五月开心网| 综合网视频| 婷婷五月天色| 色欲色香综合网站| 99热这里| 色播播五月天| 丁香五月激情澎湃一区| 五月丁香色综合| 久久九九99| 99色精品| 婷婷丁香水多多视频| 黄色99热| 日本色色影片| 深爱五月婷婷| 久久怡红院| 女人天堂AV| 六月丁香好婷婷| 玖玖综合网| 久久综合五月情| 婷婷丁香五月亚洲17cao| 婷婷六月情| 五月天合网| 五月婷婷综合影院| 内射 无码 伊人| 这里只有精品免费视频| 婷婷综合网| 夜夜噜夜夜奇| 少妇丁香婷婷 | 开心亚洲久久开心| 中文字幕婷婷| 激情九九六月激情免费视频| ztEJj| 九九黄色网| 性色婷婷| www.99热| 久热播这里只有精品| 亚洲国产精品五月天| 丁香五月婷婷偷拍| 99热在线网站| 亚洲AV成人精品网站在线播放| 九九香蕉网| 亚洲综合色色| 日韩av在线电影| 五月亭亭性| 婷婷色情五月| 色爱终和网| 开心五月激情站| 天天激情综合| .操區COm| 色丁香五月婷婷婷| 色狠狠五月天| 五月开心婷婷极品激情| 超碰AV在线| 色九月婷婷综合| 婷婷五月天成人综合网| 激情美女五月天| 国产超碰在线| 久久亚洲A| 色五月网址| 在线天堂9| www,色婷婷| 九九99精品视频| 色情婷婷。| 亚洲精品视频电影| 九九色欲网| 99热在线中文字幕| 99热日韩| 天天做天天爱天天搞| 中文字幕在线观看视频www| 91操在线视频| 9色在线| 五月婷婷啪啪| 婷色成人| 婷婷五月图片小说网| 五月婷婷开心丁香| 99热只有这里有精品| 五月天激情小说| 五月丁香婷婷色色色| 大香蕉婷婷丁香视频在线| 色色色色色色色色五月先| 国产91视频| 六月丁香网| 亚洲视频一区| 五月色婷婷夜色| 91久久综合亚洲噜噜成人在线 | 婷婷五月天伊人网| 日日操夜夜擼| 久久精彩视频99| 亚洲无aV在线中文字幕| 五月天激情图片| 婷婷5月天激情综合| 欧美天天干天天草| 亚洲啪啪网| 91超碰人人操| 九九色网| 丁香六月婷婷激情综合| 狠狠干青青草| 91凹凸在线| 99精品热| 丁香六月婷婷色播| www久| 天天做天天要天天爽| 久久少妇视频| 五月天激情久久| 五月天开心色色网| www.婷婷.com| 五月激情视频网| 激情五月天 婷婷| 六月婷婷综合| 玖玖玖婷婷婷| 这里只有精品视频国产| 天天色视频| 五月综合久久| 五月天丁香成人| 天天射射夜| 热久国产| 超碰无码老师| 色七色九九| 性爱久久| 五月天婷婷婷| 天天色综合天天| 婷婷五月天在线一区| 国产精品成人在线| 99视频在线播放大全| 天天模,夜夜模夜夜爽| 欧美日本黄色| 色色丁香婷婷五月天| 色狠狠五月天| 天天影院色| 日韩黄色中文字幕| 激情婷婷丁香五月天小说| 啪啪小说五月天| 99热这里是精品| 一区二区三区XXXXXX| 2020久久婷婷五月| 亚洲精品视频在线播放| 日本nghangse中文字幕| 99高级会所久久| 色婷婷大香蕉| 91操在线| www.狠狠干com| 综合色久| 日本九九九九| 婷婷综合一二三| 91久久18| 九九婷婷五月天影视| 天天插天天射| 99精品在线播放| 国产精品日日躁夜夜躁| 欧美一线视频| 很很干天天干| 99久久婷婷综合| 激情五月天免费视频| 欧洲色区| 欧美婷婷六月丁香综合色连续高潮抽搐| 久久色五月天| 亚洲色婷婷五月天| 五月婷婷丁香五月天| www91色网站| 人人人人人人人草| 国产一级黄色影片,| 99视频精品8| 无码AV免费精品一区二区三区| 婷婷丁香五月天综合AV| 五月婷婷影| 97av在线视频| 五月丁香婷婷六月| 激情五月天久久丁香| 综合久久99| 五月丁香啪| 九九热在线观看视频| 欧亚洲在线高清视频| wwwss在线观看| 色丁香五月天射婷婷爱婷婷| 五月综合视频| 天天天天天天天干| www激情| aaa丁香五月天| 99无码| www.五月天婷婷姐姐| 五月激情影院| 激情五月天网页| 国产九月婷婷| 久久精彩视频| 99在线热| 天天干天天干天天干| 五月丁香六月婷婷免费| 五月婷婷久久大片| 五月开心久久| 大香蕉婷婷丁香天堂AV| 1024人妻| 午夜婷婷五月天| 五月婷婷日| 激情综合亚洲| 欧美天天综合网站上去吧| 亚洲狠狠爱婷婷| www99热| 婷婷激情在线| 五月天成人综合| 五月丁香激情欧洲啪啪| 91一道本| 婷婷爱五月| 成人丁香婷婷五月天| 婷婷色五月天色| 日日爽日日| 亚洲男人的天堂婷婷色五月| 久久久精品99| 六月丁香激情网| 99久久99热这里只有精品| 超级碰碰视频无码| 色5月婷婷| 伊人丁香花综合影院| 无码动漫AV| 丁香六月婷| 五月婷婷激情中心| 五月久久婷婷天堂视频| 五月开心激情| www色中色综合| 任你操精品免费| 中文字幕丰满孑伦无码专区| 九九激情| 久久精品在线| 国产亚洲99久久| CHINESE熟女老女人HD视频 | 日本三日本三级少妇三级66| 婷婷中文在线| 婷婷开心综合人妻小说网址| 秋霞AV淫| 久久久一级AAA| 天天综合久久| 五月婷在线色视频| 久99视频在线观看| 有码一区二区三区| 色欲天天综合网| 亚洲视频色婷婷| 国产六月婷婷| 九九99免费理论| 色婷婷aV四虎| 欧美成人精品三区综合A片| 五月丁香六月玩女人| 插插插色综合网| 日日噜噜夜夜狠狠久久丁香六月| 欧美天堂婷婷日韩| 天天插天天射| 婷婷五月激情的图片| 五月激情基地| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 亚洲天堂啪啪| 五月婷婷免费看| 久久精品在线| 色婷婷狠狠| 久久婷婷五月综合激情国产| 色99久草在线| 蜜桃人妻无码AV天堂三区| www.婷婷六月天| 久久性爱视频网站| 久久婷婷色五月| 欧洲激情五月天婷婷| 久久99婷婷| 铁牛TV人妻| av一区免费看| 九月婷婷在线视频| 青青草免费公开视频| 中文字幕 中文字幕明步| 99九九综合久久九九| ss视频xx91| 麻豆五月丁香婷婷| 婷婷在线午夜| 久久久er热| 婷婷,五月天,丁香,第一| 超碰在线人人| 日韩啪| 99色五月| 超碰99热精品| 色婷婷文字幕| 综合www色| 久xxxx| 新激情综合| 婷婷亚洲久久| 国产亚洲99久久| 狠狠爱婷婷丁香| 狠狠se| 狠狠久久婷婷| 久久99大全| 人人九色| 久久久久久久久久8888| 九九黄色网| 久久丝丝热| 99国产er热视频| 夜夜爽天天| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 婷婷色天香| 久久成人精品视频| 色性五月天| 91人人爽久久涩噜噜噜| 五月婷婷之综合激情| 五月婷婷色五月| 久热亚洲| 五月丁香在线观看| 精品人妻伦一二三区久久| 国产午夜精品一区二区三区嫩草| 香蕉AV777XXX色综合一区| 欧美精品中文字幕亚洲专区| 国产69久久久欧美黑人A片| 国产五月视频| 精品九九婷婷| 婷婷五月AV| 俺也去婷婷五月天第五色| 久久久久综合激动五月天| 欧美激情2025| 人人摸人人干| 天天色天天操天天射| 草草夜夜操| 99超碰在线免费| www.婷婷五月| 久久婷婷五月综合激情国产| 五月六月婷婷| 亚洲第一成人无码A片| 久久婷婷六月综合综合| 日本eVa一区=区视频| 艹天天射| 天天久久66xxx| 久久99成人性爱高清视频| 五月婷婷综合丁香视频| 欧美色色色色色| 久久艹 五月天| 91无码高清| 这里只有视频精品| 夜夜夜夜夜骑撸| 人人操99| 婷婷五月天丁香综合网| 日本久久婷婷| 天天干天天 亚洲| 99热官网| 少妇被躁爽到高潮无码文| 五月丁香久久婷| 亚洲激情丁香五月天色| 色久天| 色婷婷电影网| 五月天丁香综合在线| 欧美性二区| 综合激情网激情五月。| 色婷婷中文在线| 三级黄色大片视频| 91九色熟女| 综合五月激情网| 色五月激情综合网| 婷婷激情五月天桃花网| 丁香五月六月久久综合| 色五月婷婷在线| 五月婷婷六月天| 蜜桃婷婷狠狠久久| 婷婷丁香综合成人| 色婷网| 超级碰碰碰碰视频| 激情丁香五月激情婷婷| Av大香蕉| 日本三级色| 丁香五月婷婷六月婷| 99A级片| 超级久久久| 五月天开心成人网| 91碰| 超碰高清在线| 久久久精品人妻录| 人妻体体内射精一区二区| 99精品久久久| 色欲一区二区三区精品A片| 国产成人精品123区免费视频| 亚洲啪啪网| 99久久玖玖| 人人爽网| 五月天激情网图片 - 百度| 碰碰91| 99九九视频| 婷婷激情社区| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 色色AV色色色东莞| 97碰碰九九视频| 五月婷婷久久综合| 五月婷婷六月激情| 五月停亭六月,六月停亭的英语 | 激情网五月婷婷| 伊人综合网站| 五月丁色AV| 99热精品免费| 久/久精品99看9| 欧美va视频| 中文字幕丰满人妻无码专区| 五月婷婷激情综合网| 丁香五月天大香蕉啪啪| 婷婷深爱五月亚洲综合| 91日韩在线| 色之综合网| 色人久久| 天天爱天天做天天舔| 婷婷综合网| 婷婷综合在线| 久久免片| 深爱五月激情网| 国产精品18久久久| 日本精品。999| 久久精品一区二区三区四区| 91精品电影18T| 婷婷五月天色色| 色综合色综合婷婷热| 五月天婷婷色色| 色五月婷婷在线视频| 成人精品视频99在线观看免费 | 亚洲永远av在线播放| 26uuu精品国产| 色婷婷色| 2020日日干| 99性视频| 天天日天天插| 九九免费在线视频| 久久综合55| 丁香五月在线| 超碰在线观看9| 色色网站在线| www.日日日.com| 99九九这里有免费视频| 5月丁香啪啪啪| 婷婷亚洲久久| 综合大香蕉| 天天AV导航网| 精品一区久热| 久久九九国产精品怡红院| 内射综合网| 99热最新网址| www.亚洲激情| 丁香狠狠色婷婷| 亚洲欧洲另类| 人妻精品久久久久久久| 婷婷色五月天色| 色婷婷狠狠| 婷婷五月婷婷五月| 四月婷婷五月丁香| 99久久网站| 99热只有这里才是精品| 亚洲精品在线视频| 久久综合九九| 五月丁香另类图片| 色婷久久| 久久无码成人| 五月丁香六月激情综合| 激情五月激情综合网一级丸片 | 五月 激情视频| 伍月婷丁香婷| 色婷婷影视99| 26uuu亚洲| 五月丁香婷婷开心| 4399亚洲视频| 91无码色色| 欧美久久网| 色五月婷婷视频| …亚洲黄色在线播放日韩、av中文a…| 婷婷丁香五月激情| 欧美色五月天| 狠狠舔| 午夜福利成人AV91| 丁香九月激情| 狠狠操狠狠插| 色婷婷五月天天天天天天天天天| 五月婷综合激情| 婷婷五月成人| 免费视频无码| 亚洲 无码 中文字幕 中出| 99人人操人人操人人精| 国产亚洲精品久久久久久久久动漫 | 99热无码| 五月丁了香蕉综合| 草榴视频网| 色综啪啪网| 97精品综合| av狠狠操| 婷婷激情五月综合基地| 99自拍网| 9999综合99综合人| 大伊香蕉精品视频在线| 热九九精品| 久狠狠狠| 严洲天天插| 五月婷婷伦理| 色综合久久综合中文综合网| 人妻在线观看视频| 婷婷五月花| 日韩成人无码人妻| 五月天国产| 五月久久丁香| 亚洲开心激情网| 九月色婷婷| 99噜噜| 国产色99| 色五月婷婷丁香凹凸| 亚洲精品又粗又大又爽A片| 激情五月丁香五月| 色五月成人| 五月天天爱| 天天精品视频在线观看视频| 国产永久一二一起草| 91精品久久久久久久| 五月婷免费视频| 丁香五月婷婷操逼| 成人中文网| 日日干夜夜干| 另类图片五月天| 婷婷激情五月综合| 超碰在线视屏| 99九九精品视频| 亚洲人妻电影| 婷婷激情图片| 欧美Va日本Va| 亚洲婷婷五月天激情| 丁香五月婷婷手机| 五月天婷婷青青草| 激情婷婷五月色| 婷婷激情五月综合基地| 色频玖玖五月天| 色五月开心婷婷| 九月丁香婷婷综合激情| 看黄的网站18禁| 男人的天堂999| 丁香婷婷人妻| 婷婷五月亚洲激情| 亚洲丁香五月综合| 99高级会所久久| www.国产亚洲69ty.久久久久久久久久久久| 99久久婷婷国产综合精品青桔| www超碰| 这里只有精品在线视频精品| 久久99这里只有精品| 狠狠操.com| 99色看这里只有精品| 色婷婷精品小视频| 狠狠操天天操综合| 26UUU精品一区二区c〇m| 丁香五月综合在线播放| 日韩色情亚洲五月天婷婷| 久久这里只有精品视频1| 久久视频这里99| 婷婷综合激情| www.射伊蕉婷婷| 九九热只有精品| 成人视频网| 丁香五月天91| 欧美日韩国产一区二区| caop在线| 精品一区二区三区四区五区六区介绍| 激情婷婷五月天网址| 日日狠夜夜狠| 五月丁香婷婷免费视频| 99碰网站| 99这里只有精品视频| 极品人妻VIDEOSSS人妻| 日韩三级高清无码| 亚洲AV免费国产电影| 成人国产综合| 丁香五月婷婷丫| 色区域网站视频| 五月 激情视频| www激情| 一起操最新网址| www.jiujiujiu| 丁香五月综合久久八| 五月天激情视频网站| 色婷婷六月| 五月天婷婷社区| 9 7总站超级碰免费视频| 岛国午夜视频| 丁香五月久久| 久色中文| 免费97碰碰| 国产全是老熟女太爽了| 日本高清久| 丁香五月婷婷久久综合激情网| 色婷婷五月丁香在线观看| 五月花丁香婷婷| 五月婷婷色影院| 丰满人妻妇伦又伦精品国产| 成人免费视频一区| 伊人婷婷五月天| 狠色色狠网| 亚洲精品国产成人AV在线| 国产伦亲子伦亲子视频观看 | 丁香五月激情婷婷| 热91久| 99综合自拍| 激情综合网激情五月欧美| 久久综合影院| 97色五月婷婷在线| 97久久久久| 五月香六月婷| 久久六月天| 日韩AV成人电影| 99re在线视频精品,这里只有精品18,| 婷婷丁香五月,狠狠综合| 久热99| 一起操 91N.com| 99热这是里只有精品| 99热国产免费| 中文字幕日产A片在线看| 超碰国产av| 色五狠狠| 午夜少妇在线观看视频| 亚洲乱码在线观看| 久久丁香五月婷| 国产伦亲子伦亲子视频观看| 六月婷婷香蕉| 综合久久人妻| 婷婷99狠狠| 亚洲AV综合网| 亚洲欧洲中文日韩久久AV乱码| 狠狠色综合网| 久色网址| 五月丁香啪啪| 色婷婷丁香花五月天| 欧美成性色| 丁香婷婷性爱| 五月色亚洲| 99爱在线视频观看| 亚洲亚洲人成综合网络| 成人AV免费观看| 色偷偷五月天| 七七色综合| 色情一区二区播放| 九九综合久久| 婷婷五月天激情网| 99热新网址| 久热伊人9| xxx.色婷婷| 狠狠色噜噜狠狠狠狠狠色综合久久| 激情涩涩网| 五月丁香亚洲综合| 九九久久五月天| 日韩淑女人妻luan伦激情精品一区二| 五月丁香另类网| 五月中旬婷婷丁香六| 人妻熟人中文字幕一区二区| 五月婷婷丁香深深爱| 99精品网| 久久99这里只有精品| 激情综合网五月激情| WWW.99热| 九九色综合| 婷婷五月天色色| 996er热| 91se在线视频| 影音先锋一区二区三区| 99在线公开视频| 激情久久综合| 91碰碰| 九九热AV|