欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

語義分割mIoU從原理到代碼實現(xiàn):各類別指標(biāo)計算與避坑指南

語義分割mIoU從原理到代碼實現(xiàn):各類別指標(biāo)計算與避坑指南 簡介在語義分割任務(wù)中總體像素精度容易被高頻類別主導(dǎo)逐類別的mIoU才是定位薄弱環(huán)節(jié)的關(guān)鍵指標(biāo)。這套輕量腳本工具面向PyTorch實踐者聚焦上述評估需求。壓縮包內(nèi)僅含2個Python腳本整體約4KB結(jié)構(gòu)精簡無需額外依賴即可直接運行。兩段腳本分工明確一段將模型輸出轉(zhuǎn)化為8位預(yù)測圖另一段讀取對應(yīng)標(biāo)注mask逐類別計算IoU并匯總整個測試集的平均mIoU輸出結(jié)果可用于分析類別不平衡等典型問題。腳本邏輯直觀便于按需修改既能用于快速驗證分割模型也能嵌入現(xiàn)有訓(xùn)練評估流程。目前已有7160人學(xué)習(xí)下載小巧實用適合語義分割初學(xué)者掌握評估細(xì)節(jié)也方便研究者快速獲取各類別精度反饋。1. 語義分割里那個繞不開的mIoU它是精度表也是黑匣子做過語義分割的人十有八九都經(jīng)歷過這樣一幕跑完幾十個epoch的模型日志里總損失掉到了0.1以下看起來完美收斂可一算mIoU只有六十幾個點。換一個解碼頭、調(diào)一下輔助loss的權(quán)重mIoU可能突然又漲了三個點。你隱約覺得哪里不對勁但指標(biāo)擺在那只能繼續(xù)調(diào)參。這個mIoU就是全類別的平均交并比是所有語義分割論文里必須出現(xiàn)的一個數(shù)字也是工程上判斷模型好不好用的硬指標(biāo)。問題是它并不是一個單一數(shù)字那么簡單——mIoU背后藏著各類別的IoU、類別不均衡、混淆矩陣、忽略像素等一系列容易把人繞進去的細(xì)節(jié)。這篇文章只聊一件事怎么把各類別mIoU計算這件事徹底搞清楚從公式原理到代碼實現(xiàn)再到邊界情況和踩坑經(jīng)驗。不管你是剛開始跑FCN、DeepLab還是U-Net還是已經(jīng)在訓(xùn)遙感影像分割模型但被驗證集指標(biāo)搞到懷疑人生這篇文章想做的是讓那個黑匣子打開給你看。mIoU全稱是Mean Intersection over Union語義分割任務(wù)中最常見的評價指標(biāo)衡量模型預(yù)測的每個像素類別和真實標(biāo)注的重合程度。這個指標(biāo)直接反映了模型對每個類別的分類精度尤其是小目標(biāo)、邊緣區(qū)域和類別不平衡場景下的表現(xiàn)。這篇筆記適合所有做語義分割算法落地、模型評估和調(diào)優(yōu)的從業(yè)者從原理到代碼實現(xiàn)從參數(shù)設(shè)置到常見坑點一次講透。2. 從交并比到平均交并比mIoU公式里藏著的高頻細(xì)節(jié)2.1 先搞懂單個類別的IoU預(yù)測和標(biāo)簽的交集/并集但分母不是你想的那樣單個類別的IoU定義很簡單對于類別$c$來說假設(shè)模型把所有像素預(yù)測成了兩類——是類別$c$或者不是類別$c$同時真實標(biāo)注也把所有像素分成了是類別$c$或者不是類別$c$。于是就有了四個數(shù)字真正例TP預(yù)測是類別$c$且標(biāo)注也是類別$c$的像素數(shù)、假正例FP預(yù)測是類別$c$但標(biāo)注不是、假負(fù)例FN預(yù)測不是類別$c$但標(biāo)注是、真負(fù)例TN預(yù)測不是且標(biāo)注也不是。那IoU的數(shù)學(xué)形式直觀來看是交集像素數(shù)除以并集像素數(shù)即$$\text{IoU}_c \frac{TP_c}{TP_c FP_c FN_c}$$注意這里的分母并集是三類像素之和而不是TPFPTNFN。TN不在分母里也不在分子里。這個區(qū)分非常重要因為很多初寫代碼的人會很自然地拿整個圖像的像素總數(shù)當(dāng)分母或者把TN算進去那樣算出來的數(shù)字非常虛高——背景類別占比大時IoU可以被沖到0.99看起來模型無敵了其實只是在碾壓背景。$$IoU_c \frac{TP_c}{TP_c FP_c FN_c}$$再往深想一步FP和FN的性質(zhì)完全不同。FP是模型把別的類別錯認(rèn)成了類別$c$FN是模型漏檢了本屬于類別$c$的像素。這兩個數(shù)字一不平衡IoU就下來了。以遙感圖像語義分割為例建筑物邊緣通常只有1-2個像素寬一旦解碼器輸出邊緣偏移半個像素FP和FN同時爆發(fā)IoU直接掉到0.5以下而其他指標(biāo)比如準(zhǔn)確率還好端端地停在0.95以上。所以IoU對邊緣像素的敏感度遠(yuǎn)比像素準(zhǔn)確率高這也是它成為語義分割核心指標(biāo)的原因。2.2 經(jīng)典的11點法和像素級累加兩種差之毫厘的實現(xiàn)路徑mIoU之所以叫平均顧名思義是把所有類別的IoU求平均。但具體怎么算業(yè)界存在兩套常見做法數(shù)學(xué)上等價但工程實現(xiàn)不同數(shù)值上可能有微小差異。第一種是PASCAL VOC最早推廣的辦法先按類別逐張圖像算IoU然后對同一類多張圖的結(jié)果做平均最后對所有類別再做一次平均。這種做法學(xué)名叫per-image平均。第二種是像素級累加把整個驗證集的所有像素對應(yīng)的TP、FP、FN先全局累加然后一次性計算每個類別的IoU最后求平均。第二種是現(xiàn)在的主流做法因為整個驗證集上類別分布更穩(wěn)定單張圖如果某個類別只出現(xiàn)幾個像素per-image平均會把這張圖的IoU拉得特別低產(chǎn)生劇烈波動。如果你跟論文對比mIoU數(shù)值盡量確認(rèn)對方用的是哪種累加方式不然你復(fù)現(xiàn)出來的數(shù)字可能和論文差一兩個點。實現(xiàn)上有一個非常重要的細(xì)節(jié)各類別的IoU逐類計算完成后求的是算術(shù)平均不是加權(quán)平均。也就是說不管某個類別在數(shù)據(jù)集中只占0.1%的像素還是占50%的像素它對最終mIoU的貢獻是相同的。這就是為什么mIoU天然是類別不均衡場景下更嚴(yán)苛的指標(biāo)——小類別的表現(xiàn)一旦差直接把整體mIoU拖下水。反過來這也意味著如果一個小類別的IoU為0整體mIoU可能會被拉低好幾個點即便模型在絕大多數(shù)像素上都預(yù)測正確。2.3 為什么要各類別單獨算混淆矩陣、weighted IoU和頻率平衡有些語義分割框架默認(rèn)給你一個總的mIoU數(shù)字不看各類別明細(xì)。但工程上真正的排障信息全藏在各類別IoU列表里。舉例來說道路分割任務(wù)里路面的IoU可能已經(jīng)到0.92但人行道只有0.61這說明問題大概率出在路緣邊界附近或者是標(biāo)注本身不一致。此時如果你只盯著mIoU0.76這個數(shù)字你根本不知道從何下手調(diào)模型。在實踐中我一般會同時打印三個東西各類別的IoU、各類別的TP/FN/FP像素數(shù)、以及類別頻率占比。這三個放在一起才能判斷IoU低到底是標(biāo)注太差、類別太稀有還是模型根本沒有學(xué)會這個類別的特征。順便說一句有個常見的操作是把懲罰因子加進loss或評估里也就是weighted IoU——給罕見類別更高的權(quán)重讓模型優(yōu)先學(xué)它。這種做法的前提是你能拿到可靠的各類別IoU來反向設(shè)計權(quán)重系數(shù)而各類別IoU的計算能力正是這一步的地基。類別不均衡對mIoU的影響非常微妙一個做無人駕駛的朋友跟我說過他的血淚經(jīng)驗馬路上行人這一類別只占全部像素的不到2%模型每幀圖像都能錯過分岔路口的那幾個行人像素整個人行類別IoU就只剩0.3上下而總mIoU還能維持在0.72。這個0.72其實掩蓋了安全隱患。所以如果做自動駕駛或遙感影像語義分割建議把每類IoU最低閾值寫進驗收標(biāo)準(zhǔn)而不是只看最終mIoU。3. 動手實現(xiàn)各類別mIoU計算PyTorch代碼、參數(shù)與邊界坑3.1 最小可用的mIoU實現(xiàn)預(yù)測輸出如何對齊標(biāo)注形狀寫代碼之前先明確輸入輸出。訓(xùn)練好的模型輸出是一張?zhí)卣鲌D形狀通常是[B, C, H, W]其中C是類別數(shù)。要算mIoU首先要把這張?zhí)卣鲌D轉(zhuǎn)成每個像素的預(yù)測類別也就是在通道維度上做argmax得到[B, H, W]的索引圖。同時真實標(biāo)注gt的形狀一般是[B, H, W]每個位置存放類別編號邊界往往是255或某個特殊值表示忽略區(qū)域。下面是我在PyTorch里常用的一個基礎(chǔ)實現(xiàn)思路非常直白先算混淆矩陣再逐類取IoUimport torch def compute_miou_per_class(pred, label, num_classes21, ignore_index255): pred: [B, H, W] 已經(jīng)做過argmax的預(yù)測類別索引 label: [B, H, W] 真實標(biāo)注 num_classes: 類別總數(shù)包含背景 ignore_index: 需要忽略的標(biāo)注像素值通常為255或-1 返回: 每個類別的IoU列表和整體的mIoU # 先忽略ignore_index的像素置為一個不影響后續(xù)統(tǒng)計的臨時類別 pred pred.clone() label label.clone() ignore_mask (label ignore_index) label_copy label.clone() label_copy[ignore_mask] num_classes # 移到額外的bin里 # 定義有效像素mask并展平為一維 valid_mask (label ! ignore_index) p pred[valid_mask] l label_copy[valid_mask] # 用interruptible的bincount構(gòu)造混淆矩陣 # 混淆矩陣形狀: (num_classes1, num_classes1)最后一個bin是忽略像素 count torch.bincount(l * (num_classes 1) p, minlength(num_classes 1) ** 2) confusion count.view(num_classes 1, num_classes 1) # 只取前num_classes行和前num_classes列忽略bin是第num_classes行/列 confusion confusion[:num_classes, :num_classes] # 逐類計算IoU iou_list [] for c in range(num_classes): tp confusion[c, c].item() fp confusion[:, c].sum().item() - tp fn confusion[c, :].sum().item() - tp denom tp fp fn iou tp / denom if denom 0 else float(nan) iou_list.append(iou) # 只對有效類別求平均nan直接忽略 valid_iou [iou for iou in iou_list if iou iou] # 過濾nan miou sum(valid_iou) / len(valid_iou) if valid_iou else 0.0 return iou_list, miou這段邏輯很簡單bincount把一個像素的(ground_truth類別, 預(yù)測類別)二元組線性化為一個整數(shù)下標(biāo)然后統(tǒng)計頻次最后reshape回混淆矩陣。有效像素這里只排除了ignore_index但實際場景中你很可能還需要排除預(yù)測為num_classes之外值的越界情況尤其是模型輸出類別數(shù)和你統(tǒng)計類別數(shù)不一致時。另一個常見操作是把預(yù)測和標(biāo)注都直接拉到0到num_classes-1范圍內(nèi)再統(tǒng)計但那樣忽略了預(yù)測越界這一信息不利于排障。如果數(shù)據(jù)量大到用PyTorch的bincount都變慢可以用更簡單的逐圖累加方式替代但務(wù)必保持全局累加而不是逐圖平均前文已經(jīng)說過了全局累加的mIoU變化更平穩(wěn)。3.2 訓(xùn)練中如何實時計算并記錄各類別IoU記錄頻率與評估批次模型訓(xùn)練的時候每一步都算全量驗證集的mIoU當(dāng)然不現(xiàn)實常規(guī)做法是每隔N個epoch對驗證集跑一次前向推理所有樣本拼接后統(tǒng)一算mIoU。這里有個非常容易翻車的點驗證集一次能塞進顯存嗎如果顯存有限只能一塊一塊算每一塊的預(yù)測結(jié)果不能急著算IoU而是要把所有batch的TP、FP、FN先按類別累加起來。正確姿勢是寫一個混淆矩陣?yán)鄯e器每跑完一個batch就把該batch的混淆矩陣加到全局混淆矩陣上最后統(tǒng)一計算IoU。這個和3.1中直接用全量像素計算本質(zhì)上是一模一樣的但如果你在每個batch上單獨算IoU再平均結(jié)果會被樣本數(shù)量不均衡嚴(yán)重影響。代碼上把混淆矩陣?yán)奂悠鞫x成類每個batch調(diào)用update接口傳入pred和label訓(xùn)練結(jié)束時調(diào)用compute_miou。class ConfusionMatrixAccumulator: def __init__(self, num_classes, ignore_index255): self.num_classes num_classes self.ignore_index ignore_index self.confusion torch.zeros((num_classes, num_classes), dtypetorch.long) def update(self, pred, label): # pred和label形狀均為[B, H, W] valid_mask (label ! self.ignore_index) p pred[valid_mask] l label[valid_mask] # 等價于3.1中的bincount邏輯這里直接用矩陣索引累加 count torch.bincount(l * self.num_classes p, minlengthself.num_classes ** 2) self.confusion count.view(self.num_classes, self.num_classes) def compute(self): ious [] for c in range(self.num_classes): tp self.confusion[c, c].item() fp self.confusion[:, c].sum().item() - tp fn self.confusion[c, :].sum().item() - tp denom tp fp fn ious.append(tp / denom if denom 0 else float(nan)) valid [iou for iou in ious if iou iou] return ious, sum(valid) / len(valid) if valid else 0.0注意update里pred必須已經(jīng)是argmax之后的形狀如果你直接把概率圖傳進來這個類的運算就會錯得離譜。另外在訓(xùn)練時我建議記錄頻率不是每個epoch都打印全部類別IoU那樣日志太長而是用trainer的eval回調(diào)每5個epoch打印一次全量類別IoU表格其余只打印mIoU和loss。真正發(fā)生突變的是某個特定類別IoU的波動而不是總mIoU這個細(xì)節(jié)能幫你早幾個epoch發(fā)現(xiàn)問題。3.3 三張圖像分割神器對比MMSegmentation與TorchMetrics如果你不想自己手寫mIoU計算也可以用現(xiàn)成框架。MMSegmentation里有一個IoU的Metric類它內(nèi)置了ignore_index、accumulate等參數(shù)底層就是混淆矩陣?yán)奂幽阒恍枰谂渲美镏付╰ypeIoU它會在每個驗證周期結(jié)束時輸出各類別IoU和mIoU。這類框架的好處是省事壞處是如果配置不當(dāng)比如忘記設(shè)ignore_indexNone導(dǎo)致標(biāo)注邊界被統(tǒng)計容易得到虛高或者虛低的指標(biāo)。另外有一個輕量的選擇是TorchMetrics的JaccardIndex它可以直接在訓(xùn)練循環(huán)里用支持num_classes、averagemacro或者nonenone正好返回每個類別的IoU列表。它的工程實現(xiàn)是純Tensor化的延遲很低適合在訓(xùn)練循環(huán)里每個batch都算但要注意TorchMetrics里的averagemacro默認(rèn)是加權(quán)平均還是算術(shù)平均不同版本行為有差異務(wù)必讀源碼確認(rèn)。我個人的習(xí)慣是自己的實驗代碼里用3.1的手寫版本因為能控住所有細(xì)節(jié)跑大批次對比實驗時用MMSegmentation因為它自帶驗證流程和日志模塊。兩者算出來的數(shù)值應(yīng)該極其接近如果出現(xiàn)偏差優(yōu)先檢查類別排序是否一致——很多框架的類別順序是按ASCII碼或者數(shù)據(jù)集字典序排的不一定是你心里想的背景在0號位。3.4 訓(xùn)練過程中mIoU不漲但loss下降可能哪里出了問題這個現(xiàn)象非常常見——訓(xùn)練loss持續(xù)下降但驗證mIoU停滯甚至抖動。最經(jīng)典的原因有兩個。第一個是閾值偏移。如果你的模型輸出沒有做argmax而是直接拿概率圖里的最大值當(dāng)預(yù)測類別那么只要相對的類別概率大小關(guān)系對了loss已經(jīng)很低了mIoU自然接近飽和。但如果各類別概率分布越來越尖銳但選錯類別mIoU就會紋絲不動。這時你需要檢查的是模型是否過度自信——看各類別平均置信度如果一個類別的平均置信度是0.97但IoU只有0.4那大概率是模型在瞎蒙一個高頻類別。第二個是標(biāo)注噪聲。語義分割標(biāo)注的邊界其實非常主觀城市景觀數(shù)據(jù)集中某些類的邊緣像素標(biāo)注在不同標(biāo)注員之間可能差異十幾像素。如果你用MSE或CE loss硬學(xué)這些噪聲標(biāo)注模型輸出的概率圖會變得平滑但IoU可能上不去。這里有個玄學(xué)經(jīng)驗如果訓(xùn)練魯棒性差可以把邊緣幾像素的標(biāo)簽?zāi)ǖ粝喈?dāng)于擴大ignore區(qū)域mIoU反而可能上漲1-2個點。這種做法本質(zhì)上是在告訴模型別學(xué)我不確定的東西。4. 各類別mIoU的避坑指南五個最容易翻車的地方4.1 第一個坑ignore_index沒處理好把背景或邊界帶進統(tǒng)計現(xiàn)象mIoU異常偏高或異常偏低一查發(fā)現(xiàn)某個類別——通常是背景——的IoU高達(dá)0.99其他類則全部低于0.3最終mIoU看似正常但完全沒有參考價值。原因很多數(shù)據(jù)集在標(biāo)注時邊界像素、未標(biāo)注區(qū)域或特定類別都被標(biāo)成255或者-1如果代碼里沒有屏蔽這些像素它們會被當(dāng)成背景類別統(tǒng)計進去背景的TP數(shù)量擴大好幾倍IoU被拉飛了。解決檢查評估代碼里的valid_mask是否排除了ignore_index同時還要注意255這類值在PyTorch里會變成無符號大數(shù)直接參與bincount會把混淆矩陣撐爆。最安全的做法是先把label里所有ignore_index替換成一個在num_classes之外的孤立值再做掩碼統(tǒng)計。4.2 第二個坑類別tensor的精度和device不一致導(dǎo)致靜默出錯現(xiàn)象訓(xùn)練時一切正常一到算mIoU就報錯或者mIoU值跳變到不合理范圍代碼不報異常但結(jié)果看著詭異。原因pred經(jīng)過了GPU上的argmax算出來的索引值label可能是從Dataset里讀出來的PIL Image轉(zhuǎn)的numpy數(shù)組兩者一個是torch.float32一個是torch.int64且device不同。當(dāng)你做pred[valid_mask]時類型被隱式轉(zhuǎn)換數(shù)值根本不匹配導(dǎo)致混淆矩陣完全錯位。解決統(tǒng)一 tensor 的類型和device最好統(tǒng)一為torch.long并放到CPU上算mIoU。還有一個容易被忽視的點有些數(shù)據(jù)集的標(biāo)注類別從1開始而不是0此時要在訓(xùn)練前做一個整體減1的操作否則所有類別都錯位mIoU直接變成0.1以下。4.3 第三個坑類別數(shù)沒對齊預(yù)測的通道數(shù)和評估的num_classes不一致現(xiàn)象模型最后一層有19個通道但你評估時傳的num_classes21或者反過來。結(jié)果就是某些類別幾乎沒有positive預(yù)測IoU異常低甚至有的類完全沒出現(xiàn)在混淆矩陣?yán)?。原因定義模型分類頭時用了num_classes變量定義評估器時可能硬編碼或者從不同配置文件讀取兩處一旦沒同步就會靜默錯位。解決寫一個單例配置類或直接使用同一份config文件里的num_classes并且啟動評估時打印模型類別數(shù) vs 評估類別數(shù)的日志確保兩者一致。這個檢查應(yīng)該寫進CI或訓(xùn)練腳本里而不是手動確認(rèn)。4.4 第四個坑小數(shù)位取舍導(dǎo)致論文復(fù)現(xiàn)時mIoU對不上現(xiàn)象自己實現(xiàn)在驗證集上跑出的mIoU是0.674但論文報告的是0.680怎么調(diào)都復(fù)現(xiàn)不出。多方排查后發(fā)現(xiàn)問題出在統(tǒng)計方式差異——論文可能只在subset上評估或者每張圖單獨算IoU再平均或者四舍五入到小數(shù)點后一位。原因嚴(yán)格來說這不是實現(xiàn)的錯而是評估協(xié)議不一致。不同數(shù)據(jù)集的官方評測工具有不同的邊界處理方式比如Cityscapes在eval期間會把邊界像素的預(yù)測類別忽略掉而PASCAL VOC則全部計入。解決看論文的Evaluation段落確認(rèn)對方有沒有提到ignore pixels、背景類是否算入mIoU、鏡像翻轉(zhuǎn)或其他數(shù)據(jù)增強是否應(yīng)用在推理階段。復(fù)現(xiàn)的時候務(wù)必使用官方評估腳本而不是自己寫一套近似實現(xiàn)。如果實在沒有官方腳本就在論文里說清楚自己的評估條件和忽略像素規(guī)則避免別人復(fù)現(xiàn)時產(chǎn)生疑慮。4.5 第五個坑類別不均衡導(dǎo)致小類IoU不升反降誤判模型在變差現(xiàn)象某次加了數(shù)據(jù)增強或者改了loss權(quán)重總mIoU從0.75漲到0.76但小類別的IoU從0.31掉到0.28。有人會很緊張覺得模型退化了于是rollback版本。原因mIoU是算術(shù)平均你看到的0.01漲幅可能完全來自大類別的提升而小類別本來就只有幾百個像素個別圖像標(biāo)注錯誤就足以讓它的IoU波動幾個百分點。這不是模型退化是統(tǒng)計噪聲。解決畫每個類別的TP/FP/FN隨時間變化的曲線而不是只看IoU數(shù)字。如果小類別的TP在增加、FP也在略增一般說明模型在往正確方向走如果FP快速增長但TP不動說明模型在把小類別誤分類成大類別。另外評估集如果太小建議做多次采樣評估并報告均值±方差。5. 從mIoU再往前一步邊界IoU與頻率加權(quán)是什么值不值得投入5.1 邊界IoU對邊緣更敏感適合評估分割質(zhì)量標(biāo)準(zhǔn)mIoU對所有像素的貢獻是一視同仁的因此一張圖上占大面積的類別主導(dǎo)了統(tǒng)計。邊緣像素往往只占不到5%的比例但它們才是決定分割質(zhì)量觀感的關(guān)鍵。為了更精確地評估邊緣質(zhì)量業(yè)界提出了Boundary IoU它的思路很直接只統(tǒng)計預(yù)測和標(biāo)注的邊界區(qū)域附近的像素。實現(xiàn)上Boundary IoU通常先把標(biāo)注和預(yù)測各做一次形態(tài)學(xué)腐蝕保留邊界帶然后在邊界帶內(nèi)計算TP、FP、FN。如果模型邊緣抖動嚴(yán)重標(biāo)準(zhǔn)mIoU可能只掉0.5-1個點但Boundary IoU能掉5-10個點放大問題。這個指標(biāo)適合用在醫(yī)學(xué)圖像、衛(wèi)星圖像等對邊界精度要求極高的任務(wù)中如果只是做傳統(tǒng)的街景分割它的增益未必明顯但可以做參考指標(biāo)來觀察模型瓶頸。5.2 類別頻率加權(quán)mIoU什么時候該用它來替代原版mIoU對所有類別一視同仁但如果你的應(yīng)用核心是背景和大面積物體小類別幾乎不影響安全性那么不加權(quán)確實說不過去。Frequency Weighted IoUFWIoU就是把每個類別的IoU按像素頻率加權(quán)后求平均這樣占比高的類別對指標(biāo)的貢獻更大數(shù)值上更接近人眼對整體視覺質(zhì)量的判斷。FWIoU的值通常比mIoU高因為高頻類別的IoU一般也更高。在做產(chǎn)品驗收時我會同時報告mIoU和FWIoU前者告訴算法團隊模型在小類上的極限后者告訴產(chǎn)品團隊模型在真實場景中的體感效果。如果你的目標(biāo)是發(fā)論文或比賽沖榜建議鎖定mIoU因為它是通行語言如果目標(biāo)是業(yè)務(wù)交付兩者都看但驗收線畫在FWIoU上更貼合實際。5.3 訓(xùn)練時直接優(yōu)化mIoU可微近似和置信度校準(zhǔn)的兩個選擇既然mIoU是最終評價指標(biāo)自然有很多人想在訓(xùn)練時直接優(yōu)化它。mIoU本身不可微因為它內(nèi)部有argmax操作所以常規(guī)做法是用Lovasz-Softmax或者Dice loss做代理它們分別從排序損失和集合相似度的角度近似mIoU。Lovasz-Softmax的做法是把每個像素的誤差按大小排序然后對排序后的誤差向量做凸損失的逐步優(yōu)化它的梯度能讓模型在訓(xùn)練過程中優(yōu)先修正那些IoU貢獻大的誤分類像素。Dice loss則直接對每個類別的soft輸出和標(biāo)簽的重疊程度求梯度對小類別天然有放大作用。我自己在遙感影像分割里試下來的經(jīng)驗是Lovasz-Softmax作為輔助loss與CrossEntropy混合mIoU能比純CE高0.5-1.5個點但要注意讓輔助loss的權(quán)重不要過大初始設(shè)0.1-0.3之間再根據(jù)loss數(shù)值動態(tài)調(diào)整。如果你追求的是工程上的確定性還有一種間接但有效的思路先用標(biāo)準(zhǔn)CE訓(xùn)練到mIoU平臺期再凍結(jié)backbone只訓(xùn)head并用Dice loss微調(diào)20個epoch往往能再擠出一點mIoU。這種兩段式訓(xùn)練不需要改模型結(jié)構(gòu)只是換了一下loss調(diào)度策略性價比很高。5.4 大模型時代的新問題類別加權(quán)與logit縮放對mIoU的影響這兩年用的分割模型越來越大有的直接在CLIP、SAM預(yù)訓(xùn)練權(quán)重上微調(diào)。在這種大模型上各類別的logit尺度差異可能非常大直接做argmax取值會有系統(tǒng)性偏差。你會看到某個高頻類別幾乎霸屏小類別全部消失mIoU低得離譜。解決方法是給logits做類別級別的溫度縮放也就是在argmax前對每個類別的logit乘以一個可學(xué)習(xí)的系數(shù)這個系數(shù)用驗證集的混淆矩陣來調(diào)優(yōu)。本質(zhì)上等于在評估時做一個類別偏置的補償。這個技巧如果配合類別頻率加權(quán)使用可以顯著提升小類別的IoU代價是多了一個超參數(shù)需要小心過擬合驗證集。一個血淚經(jīng)驗是這個縮放系數(shù)必須在另一個驗證集上確認(rèn)不能在訓(xùn)練集上反推否則會把訓(xùn)練集的偏差放大到評估結(jié)果上。6. 驗證和調(diào)參技巧如何用各類別mIoU反向定位模型問題6.1 可視化混淆矩陣一眼看出哪些類別互相打架一個模型mIoU只有0.63但你不知道是所有類別都差一點還是兩三個類別互相嚴(yán)重混淆。這時候把整個驗證集的混淆矩陣畫出來類別之間互相錯認(rèn)的規(guī)律一清二楚。在Python里可以直接用matplotlib的imshow配合colorbar畫混淆矩陣圖行是真實類別列是預(yù)測類別。你通常會發(fā)現(xiàn)一個規(guī)律形狀相似或語義相近的類別之間互相混淆嚴(yán)重比如卡車vs公交車、植被vs樹。看到這種模式就該考慮給模型加更多上下文信息或者在解碼器階段對不同類別分支做區(qū)分。另一個常見規(guī)律是一切類別向背景靠攏如果背景列的數(shù)值整體偏高說明模型把前景當(dāng)背景的概率很大這是類別不均衡下的典型表現(xiàn)此時可以考慮給前景類別的loss加權(quán)重。6.2 per-image監(jiān)測哪張圖的mIoU最低定位數(shù)據(jù)集本身的坑除了全局混淆矩陣逐張計算圖像IoU并排序找到最低的幾張圖去肉眼檢查是定位數(shù)據(jù)問題的利器。我經(jīng)常發(fā)現(xiàn)mIoU最低的圖像幾乎全是標(biāo)注有問題的圖——比如路牌被遺漏、小型車輛在遠(yuǎn)距離完全沒標(biāo)注。這類情況光看指標(biāo)根本無法發(fā)現(xiàn)但一旦發(fā)現(xiàn)把它們從驗證集里剔除或修正mIoU可能立刻提升1-2個點。做法不復(fù)雜在eval循環(huán)里為每張圖像維護一個獨立的mIoU列表跑完后按值排序把后5%的圖像路徑導(dǎo)出到一個txt文件再配合可視化腳本截圖保存。需要注意的是這種挑刺只能在調(diào)試階段做一旦決定用某個測試集做最終驗收就不要再反復(fù)挑刺刪圖否則指標(biāo)失去了公正性。這里有一個折中的做法把評估數(shù)據(jù)分成兩個集合一個用于日常迭代找bug一個最終定版只跑一次。6.3 把mIoU拆成precision和recall繞開指標(biāo)掩蓋問題IoU是precision和recall的一種復(fù)合形態(tài)但它把兩者壓縮成單個數(shù)字有時會掩蓋問題。比如某個類別IoU是0.5但你的precision可能是0.9recall只有0.32也就是說模型很少漏檢但誤檢極多導(dǎo)致大量FP在分母里膨脹。這種情況在很多目標(biāo)比較稀疏的任務(wù)里很常見。排查時我給每類打印precision和recall再看看邊界。如果recall低但是precision高考慮降低置信度閾值、增加正樣本的采樣如果precision低但recall高則考慮收緊邊界或者增加負(fù)樣本。本質(zhì)上這可以讓你判斷mIoU低是定位不準(zhǔn)還是檢測太少。6.4 多尺度與TTA推理是否能提升mIoU我自己的經(jīng)驗和判斷常見做法是在推理時做多尺度縮放并融合結(jié)果最典型的TTA配置是[0.5, 0.75, 1.0, 1.25, 1.5]五種尺度再把預(yù)測的概率圖縮放回原分辨率做平均。這個操作通常能讓mIoU漲0.3-0.8個點尤其是對邊緣細(xì)節(jié)和尺度變化明顯的遙感場景增益明顯。另一個效果很好的技巧是水平翻轉(zhuǎn)做TTA成本只有一次額外前向推理。但老實說TTA帶來的提升在大型backbone上并不總是值得的因為推理時間翻倍甚至五倍。最終是否需要TTA取決于業(yè)務(wù)場景的延遲要求。如果你服務(wù)端推理有50ms預(yù)算加一次水平翻轉(zhuǎn)可能剛好能承受如果是實時視頻流就別做TTA了。這里有一個實際參數(shù)建議驗證階段用TTA做best model的最終確認(rèn)訓(xùn)練過程中的epoch評估不要開TTA因為會拖慢實驗循環(huán)。我自己的習(xí)慣是先不開TTA跑完一個訓(xùn)練周期選出一個候選模型然后只對這個候選模型開TTA做最終報告這樣既保證了驗證的嚴(yán)謹(jǐn)性又不拖慢實驗迭代速度。6.5 給論文或項目交付的一個mIoU報告模板避免被質(zhì)疑不管你是發(fā)論文還是交付項目最終團隊之間對mIoU的理解不一致會帶來巨大扯皮。建議報告至少包含以下內(nèi)容數(shù)據(jù)集名稱和圖像數(shù)量類別列表和每類的像素占比confusion matrix圖每類precision、recall、IoU和整體mIoU表格是否忽略邊界像素、ignore_index值推理時是否使用TTA及多尺度參數(shù)單GPU還是多GPU平均、world size是否影響B(tài)atchNorm統(tǒng)計量以及評估腳本的commit版本。把這些寫進報告后別人復(fù)現(xiàn)你的數(shù)字就非常容易了。如果你的評估腳本和訓(xùn)練腳本不在同一個倉庫遞交給對方時順便附上一個版本號讓驗收方知道自己的代碼對沒對上。被質(zhì)疑mIoU造假是一件極痛苦的事而這種事大多源于評測約定不清楚而不是真正的偽造。最后說一個我自己的教訓(xùn)在遙感影像語義分割項目上有一次我從開源的MMSegmentation換到自己的輕量推理管線結(jié)果mIoU掉了0.03。我花了整整兩天排查最后發(fā)現(xiàn)是Resize時插值方式從bilinear變成了nearest導(dǎo)致邊界像素發(fā)生了微妙偏移。從那天起我給自己立了一個規(guī)矩任何評估代碼的改動都用同一組測試圖像跑一遍新舊管線對比mIoU差異差異超過0.1個點就必須找到原因再繼續(xù)。這個習(xí)慣救了我很多次。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99这里只有精| 97午夜一区二区| 五月色丁香成人| 久操大香蕉| 高清无码 一区 二区 三区| 四虎国产精品永久在线国在线| 五月天婷婷青青| 色婷婷精| 日本精品人妻无码77777| 极品五月天| 亚洲一区国产传媒| 五月婷婷先锋| 开心五月色婷婷综合开心网| 亚洲精品大片| 91视频五月丁香| 五月天婷婷综合久久| 天天草女人| 思思久久精品| 久久久久久人妻久久久久久久久久人妻久久久 | 人妻系列久久久久久久久久久| AV成人在线网站| www.99热这里精品| 啪啪小说五月天| 亚洲中文av| 亚洲AV久久久久久久久久久久久久久久 | 日韩在线观看亚洲| 狠狠色噜噜| 日本99久久| 1769在线观看欧美国产| 成人综合视频网址| 五月天开心色色网| 国产特级毛片AAAAAAA高清| 天干夜夜操| 青青草原中文字幕| 99欧美| 国产成人亚洲综合亚洲| 欧美偷偷操| 色色色网站| 婷婷五月色網站| 五月丁香综合啪啪啪啪啪| 人妻五月天激情开心网| AV在线收看| 国产精品久久久爽爽爽麻豆色哟哟 | 人妻爽爽爽久久久久久久久| 99热思思久| 色婷婷综合电影| 最近中文字幕2019视频1| 五月色综合| 国产精品美女| 人妻九九九九| 色综合伊人网| 色综合五月| 天天做天天爱天天高潮| 五月婷婷亚洲| 日本狠狠色| 免费亚洲婷婷中文字幕| 色五月AV| 91se视频| 色444综合网| 国产精品第一国产精品| 一起草AV入口| 日本欧美啪啪| 大香蕉99热| 久久在线大香蕉| www亚洲无码| 琪琪色五月婷婷老师| 亚洲精品久久久久久久久久吃药| 无码AV免费精品一区二区三区| 五月天色色网站| 超碰在线观看9| 色五月婷婷九月| 久久美女五月天| 激情婷婷啪啪| 日日干天天| 五月婷丁香| 激情婷婷五月天| 日韩在线99| 五月丁香六月| 色色色999| 欧美在线干| 97人人干| 在线99精品| 开心五月婷婷综合在线精品素人| 五月天丁香网| 五月天婷婷视频30| 色婷婷先锋| 五月丁香久久综合| 一级黄在线| 99福利视频导航| 五月天激情日色在线| 亚洲成人av在线播放| 九九无码AV| 国产精品99久久久久久久女警| 色色色免费视频| 婷婷五月天AV在线| 久久伊人大香蕉| 97丁香花五月天激情小说| 色婷婷婷综合五月天| 色五月婷婷开心| 丁香五月激情综合啪啪| 天天插天天爱| 精品久久婷婷| 操嫩逼电影| 999热在线视频| 五月激情网站| 182.t午在线观看| 激情五月综合久久| 婷婷激情5月| 婷婷丁香五月色| 丁香五月综合| 久久久精品99| 甈你aaaaa| 综合网啪| 伊人喵咪a V| 九九热啪啪| 天天开心婷婷丁香五月| 六月激情综合| 丁香六月婷婷色XXXX| 五月婷婷黄| 天天性视频| 五月涩涩网| 夜夜 操无码| 99视频在线观看视频| 操日挥操日日| 亚洲精品久久久久AV无码| 天天透天天干| 国产精品色一哟哟| 色婷婷成人做爰A片免费看网站| 色色综合网。| 99久久综合精品五月天| 色色色综合网| 五月丁香久久精品在线观看| www.色九月| 欧美日韩中文国产一区发布| 怡红院 久久| 夜夜骑夜夜撸| 一区=区操屄高清大全av| 天天操夜夜爽天天操| 婷婷五月天激情文学| 天天日夜夜爽| 大香蕉婷婷| 五月婷婷天| 五月激情天| 91色噜噜狠狠狠狠色综合| 丁香五月激情澎湃一区| 国产精产国品一二三在观看| 婷婷在线五月天观看| 狠狠操综合| 天天爱天天爽| 激情综合网五月婷婷| 亚洲精品久久久无码| 人人干99| 色婷婷免费观看| 超碰97色| 五月天亭亭俺也| 日韩黄色影院| 夜丁香综合| 亚洲乱码日产精品BD在线观看| 999婷婷综合| 亚洲九九视频| 91色干| 99亚洲色色| 国产亚洲成AV人片在线观黄桃| 色婷婷AAA| 久久婷婷国产| 99精品在线播放| 久久网日本| 色婷婷色五月综合| 九九热自拍| 久久狠狠干| 色情五月天丁香社区| 亚洲成人无码网站| 成人精品在线| 天天拍夜夜爽日日| 97人人妻人人艹| www.日韩艹| 国产毛片欧美毛片久久久| 色婷婷电影网| 亚洲开心激情网| 99超级碰免费视频| av免费人人| 五月丁香激情综合网官网| 婷婷六月久久| 色婷在线视频| 色色色99| 九九久久视频| 96精品久久久久久久久| 久久99视频| 欧美精品久久久久久视频观看| 丁香激情五月天| 日本激情ⅩXX免费视频| 69人人操人人爽| 五月丁香婷婷成人网| 人妻激情视频| 色婷五月天| 婷婷五月丁香在线观看| 色色综合院| 天天爱天天狠天天透| 色九亚洲| 无码人妻丰满熟妇奶水区码| 久久丁香五月| 五月亭亭激情综合| 国产精品视频免费看| 26uuu在线观看| 九九这里只这里只有精品| 日本无码专区| 99九九玖玖| 国产亚洲在线观看| 丁香五月婷婷影院| 97色色色视屏| 97人妻碰碰碰久久久久-最近国语高清| 久久性操| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 九热免费视频| 超碰色碰碰| 色99视频| 午夜电影网VA内射| 亚洲色色色色色色色色色| 欧美搡BBBBB摔BBBBB| 这里只有免费精品| 五月婷婷六月丁香激情综合网| 日噜噜色| 99视频| 色五月婷婷91| 婷婷色情六月| 五月色婷婷综合丁香精品无遮挡| 超碰人人操在线| 国产偷人爽久久久久久老妇APP| 色婷婷亚洲五月天| 天天婷婷天天| 九九视频免费| 丁香五月中文字幕| 九九综合网色全集| 9999综合99综合人| 婷婷综合九色伊人| 国产乱妇无乱码大黄AA片| 久久综合人妻| 五月天另类小说久久小说网| 丁香五月亚洲AV| 五月J香蕉婷婷| 91热在线| 五月99久久| 国产精品18久久久| 激情五月天婷婷| 色婷婷狠| 久久网日本| 天天色综合图片| 五月婷婷久久激情| 六月婷婷之青青草| 超碰三级秋霞| 色激情综合狠狠婷婷| 色婷婷丁香社综合| 91亚洲天堂| 另类丁香五月天区图| 玖玖在线视频| www.狠狠| 免费观看的av| 婷婷亚洲天堂| site:jszngf.com| 伊人婷婷福利网| 婷婷五月天伊人| 丁香五月天视频| 婷婷激情五月综合丁| 五月综合激情| 人妻在线网站| 日韩在线视频9色| 在线观看中文字幕| 天天综合五月| 久久人妻乱| 天天日夜夜夜操操操操| 欧美群妇大交乱婬网| 99精品在这里| 天天操天天操综合| 五月丁香婷婷福利| 丁香五月婷婷狠狠色| 激情碰碰碰| 日韩免费视频| 丁香六月婷婷| 中文字幕 中文字幕明步| 夜夜撸夜夜骑| 国产欧洲欧洲精品久久| 九九爱激情| 成人AV在线网站| 天天爽在线视频| 99九九在线视频| 大香蕉在线99热| 九九热在线精品视频| 天天草天天爽| www.色五月| 婷婷精品性性性性性性性| 操笔无码| 很很操很很操| 五月深爱婷婷| 成人欧美Va| 天天爽天天日人人爱| 99久.| 亚洲免费av在线| 色综合播放| www.seqingwuyuetian| 久久婷婷六月综合| 色噜噜狠狠色综无码久久合欧美| 91狠狠综合久久| 婷婷色中文字幕| 丁香密臀AV激情网| 99操久久| 亚洲综合在线伊人婷| 91精品91久久久中77777久久玖玖九九| 久久五月婷综合网| www91精品| 国产熟女大叫受不了| 91精品综合久久久久久五月天| 碰超亚洲| 色色婷婷色色| 天堂色婷婷| 色播六月| 婷婷色色综合激情| 乱轮A片| 青草激情在线| 久久五月丁香| 婷婷五月花| 亚洲操人| 97人人操人人爽| 婷婷六月综合基地| 丁香婷婷色九月| 少妇综合网| 婷婷五月天福利| 91狠狠色色丁香婷婷综合久久| 婷婷色操| 俺去也婷婷| 激情内射人妻1区2区3区| 啪啪啪五月天| 狠狠色五月天| 久热超碰| 色涩视频久久| 精品人人操| 亚洲人妻AV| 色婷婷电影网| 变态另类色图| 五月色色色| 亚洲精品网站色视频| 狠狠色官网| 色五月亚洲开心网| 伊人超碰| 色综合久久久无码中文字幕999| OYIWbGcPu8H| 精品99在线观看| 久99久在线| 激情综合4月| 丁香五月天综合网| 九九热欧美| 在线观看国产高清视频免费网站 | 精品,99| 色婷婷亚洲婷婷在线观看| 91男同| 国产亚洲精品AAAA片APP| 操碰色一区就去操| 日韩无码系列| 天天日日人| 婷婷色五月色妇| 99无码视频| 久久怕怕视频| 色综啪啪啪啪啪啪| 五月天开心激情网色欲无码| 亚洲激情网| 五月天激情网图片| 日韩成人综合网| 伊人无码高清| www.色五月.com| renre人人操国产超碰在线| 日本狠狠色| 五月天综合网| 国内一级精品| 曰日爽日日操| 亚洲第一成人无码A片| 伊人综合婷婷| 丁香五月天激情AV| 日日操夜夜爽| 奇米网大香蕉| 色性五月天| www,天天干| AV网在线观看| 天天天天做夜夜夜夜做| 伊人久久艹| 五月丁香人妻| 久久婷婷五月综合色和| 国产亚洲精品久久久久久牛牛| 久re热视频| 婷婷丁香五月久久| 色色婷婷丁香| 久一网站| 色情五月综合婷婷| 99精品丰满| 99热久只有精品首页| 色激情五月| 久久婷婷原创视频| 九九草热在线观看| 久久久网站| 91青娱乐青青草| 夜夜撸天天日| 999热在线视频| 99免费视频| 国产精品色婷婷久久久精品| 欧美色色色色色色色| 五月天激情网图片| 99激情在线| 蜘蛛女侠2003满天星免费观看| 综合天堂AV久久久久久久| 超碰人妻在线| 亚洲av骚货| 超碰91人人操| 丁香婷婷色九月| 青青操丝袜美腿| www.sezonghe| 日韩熟女啪啪视频| 这里只有免费的精品| 激情小说五月天| 婷婷色网| 久久九九国产精品怡红院| 六月婷婷香蕉| 婷婷五月色综合| 激情骚五月| 日日操日日爽| 日本一区二区三区精品视频| 激情丁香图片| 狠狠色噜噜狠狠亚洲A∨| 狠狠干五码| 丁香五月天大香蕉啪啪| 天天爽天天干天天| 色偷偷人人| 国产成人99久久亚洲综合精品| 婷婷五月天VI| 色欲久久久久| 婷婷成人AV| 91免费看片| 婷婷五月天综合久久| 香蕉人在线香蕉人在线 | 黄色毛片精品| 婷婷综合97| 丁香婷婷五月色成人网站| 超碰成人电影| 五月丁香婷婷综合| 天天操,夜夜骑| 男女av免费看| 99热碰碰| 99操| 亚洲欧洲中文日韩久久AV乱码| 森林影视大全,最好看的2019年视频| 99国产精品白浆在线观看免费| 思思视频精品| 婷婷色色色| 俺去也综合| 超碰免费大香蕉| 五月天综合视频| 欧美精品久久久久久视频观看| www.婷婷六月天| 天天日综合网射| 激情内射人妻1区2区3区| 久久这里有精品在线观看| 亚洲视频码| 日韩色五月| 最新热中文字幕| 熟妇内谢69XXXXXA片| 五月丁香花婷婷玉莉AV| 亚洲在线综合| 久久无码成人| 亚洲综合在线播放| 66久久视频在线| 亚洲国产成人AV在线 | 五月婷婷香蕉| 五月婷婷色综图片| 这里只有精品视频看看| 开心五月婷婷综合在线精品素人| 九九精品热| 激情图片婷婷| 国产精品色婷婷久久久精品| 国产亚洲在线| 天天插天天日| 丁香婷婷免费| 色综合狠狠色| 无码少妇高潮喷水A片免费| jizzdr| 国在线激情网| 亚洲AVwwwwwww| 99热这里只有精品66| 停停色综合伊人| 99热超| 国产亚洲99久久精品| 九九精品视频在线6| 黄网免费观看| 狠狠色噜噜色狠狠狠综合色| 丁香五月Av| 天天做天天爱天天玩夜夜爽| 九九成人精品免费视频| 九色PORNY在线精品酒店| 色无码| 九九精品在线观看视频6| 五月天婷婷色色| 色婷小说| 欧美搡BBBBB摔BBBBB| 99这里有精品视频| 色婷婷六月精品| 婷婷永久在线| 91婷婷视频| 色综合久久之分久久| 欧美精品999| 99色视频| 超碰猛烈的性猛交| 性色99| 亚洲激情网| 涩涩激情五月婷婷| 国产露脸150部国语对白| 日韩成人AV在线| 蜜臀嫩草| 狠狠色综合777| 九热...av| Av免费网站在线| 婷婷五月丁香五月| 婷婷综合激情| 日本九九视频| 色播五月婷婷| 99re热视频这里只精品5| 亚洲激情 久久| 99re视频在线播放| 婷丁香五月天| 久热婷婷在线视频| 在线免费观看激情视频| 色婷婷伊人激情在线观看| 思思re99视频在线观看| 欧美天堂久久| 99无码| 99er精品视频| 色五月丁香伊人五月| 丁香婷五月天| 欧美色六月婷婷| 五月花综合网| 开心五月天私房婷婷| 免费亚洲婷婷中文字幕| 五月天丁香成人社| 91丨九色丨熟女|新版| 色噜噜五月丁香婷婷| 北条麻妃伊人| 日欧一片内射VA在线影院| 五月婷精品| 日韩啊啊啊| 五月色天情| 五月综合精品| 五月婷婷色激情| 人人看人人摸人人| 色五月婷婷内射| 狠狠狠激情网| 99激| 麻豆123区| 色五月视频无码播放| 亚洲五月天伊人| 综合激情综合啪啪| 久久成人天| 五月天婷婷永久免费视频| 婷婷激情啪啪| 开心五月婷婷婷美女| 五月叮香啪| 思思久久99| 国产激情综合五月久久| 亚洲午夜视频| 狠狠干,狠狠操| 99热综合| 久久九九思思| 婷婷香蕉视频| 久久久99视频| 天天色综合色色色色色。| 色五月av伊人| 综合婷婷五月丁香在线观看| 五月天天久久香| 五月天丁香综合| 婷婷五月天激情四射| 99色色网| 欧美,日韩成人在线| 色五月色五天色情网址| 六月色播| 思思热在线视频观看精品| www.久久五月天.com| 精品成人无码A片观看香草视频| 夜夜操少妇| 色天天综合| 99国产精品久久久久久久久久久 | 中文色婷婷| 色人久久| 黑人巨粗进入警花疼哭A片| 在线中文字幕免费视频| 色综合大香蕉| 成人久久天天x资源站| 激情婷婷另类| 色九亚洲| 成人片黄网站色大片免费毛片| 中文字幕丰满乱孑伦无码专区| 伊人五月天久久| 99久久99九九九99九他书对| www.五月天婷婷姐姐| 国产色色色色| 亚洲九九视频| 九月婷婷在线观看| AV激情五月| 99热这里只有精品在线播放| 男女99免费视频| 疯狂做受XXXX高潮A片| 69精品人妻不卡视频| 婷婷午夜| 亚洲a色| 色香欲综合| 日韩一级淫乱片一区二区三区| 五月天婷婷社区久久综合| 五月天激情偷拍| 天天日日综合| 色色色热| 九九这里是免费的视频5| 天天草天天舔| 91九色国产| 久久婷婷五月综合色丁香花| 久操婷婷| 日婷婷久久开心| www.五月天| 丁香香蕉婷婷| 五月天婷婷在看| 婷婷色综合| 免费无码毛片一区二区A片| 国产高潮白浆一区二区| 激情五月天在线观看婷婷| 丁香五月五婷| 六月婷婷开心| 婷婷中文字幕在线| 五月丁香六月婷婷,婷| 色视频五月天| 男女啪啪做爰高潮无遮挡| 手机在线日韩视频中文字幕| 99性爱视频网站| 99激情| 日本色99| 激情五月天婷婷在线网址发给我| 精品欧美性爱超级爽| 九九色逼| 久久激情五月天| αV电影| www.狠狠狠.com| 激情文学久久| 干一干xxxx| 精品,99| 中文字幕丰满孑伦无码专区 | 亚洲无码另类| 99在线视频喷水| 亚洲性爱99在线| 狠狠操狠狠爱| 亚洲av免费在线| 久久九九国产精品怡红院| 亚洲xx在线| 五月激情婷婷开心五月| 色情五月综合婷婷| 三级黄网站| 色婷婷伊人| 欧美婷婷综合网| VA婷婷亚洲| 成 人片 黄 色 大 片| 美日韩成人| 九九九色综合| 午夜激情综合| 色婷婷欧美| 日韩高清成人| 97碰久久| 日韩欧美一级大黄网站| 色婷婷偷拍| 99日精品视频| caop在线| 激情黄色小说色五月| 97婷婷丁香| 五月婷婷偷拍| 久99久视频| 狠狠色婷婷777| 综合久久综合| 久久综合丁香五月| 婷婷99| 91丨熟女丨首页| 五月天激情影院| 婷婷色五月噜噜| 最近中文字幕2019视频1| 丁香六月亚洲| 亚州在线中文字幕| 婷婷五月情天| 久久婷婷激情四射五月天| 亚洲色婷婷| 日本久久婷婷| 天天干电影| 久久五月婷综合网| 超碰2021| 蜜臀99精品| 夜夜资源站| 99精品网| 久99久热只有精品国产99| 天堂网亚洲色图| Www.狠狠| 超碰猛烈的性猛交| 激情婷婷五月天| 丁香五月激情宗合网| 久久ww| 婷婷丁香五月天综合网| av操B网站| 婷婷五月丁香综合激情| 大香蕉伊人99| 99综合| 五月天激情无码高清| 久操香蕉| 99热官网| 九九久久99| 久草热8精品视频在线观看| 蜜臀A∨在线水帘洞| 免费看欧美成人A片无码| 婷婷色5月激情网| 91嫩草久久| 成人av免费观看| 欧美激情凹凸丁香网| 超碰av天堂| 九月色婷婷| 五月色色激情网| 亚洲av网站| 婷婷在线网| 91热视频色网站| 色日本丁香婷婷| 五月情涩综合婷婷| 色狠狠综合| 五月丁香六月婷婷综合网站| 99九九久久| 伊人九热| 欧美内射AA| 欧美婷婷五月天综合| 久大香蕉| 五月婷婷久久大片| 综合久久99| 五月婷婷网五月在线| 天天射美女| 色综色网| 99爱视频在线观看这里只有精品| 欧美狠狠地| 5月激情天| 亚洲精品444久久久久久| 五月天婷婷色| 婷婷五月天在线观看| 婷婷六月丁香久| www一起操| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 天天干com| 久久久婷| 伊人五月综合网| 青青久在线视频免费观看| 另类激情五月| 狠狠xx| 激情小说五月天中文字幕| 婷婷五月电影| 综合一啪| 色情终和网| 婷婷激情图片| AV操逼网| 婷婷狠狠色| 99热在线中文字幕| site:pzdcoin.com| 婷婷亚洲天堂| 五月婷综合| 丁香五月亚洲综合| 国产阿姨日皮艹逼内射视频 | 69久久99精品久久久久婷婷| 激情网婷婷婷| ss99热| 丁香五月婷婷六月婷婷| 91成人电影| ady狠狠入| 日本三级99人妇网站| 色5月婷婷| 亚洲成人免费电影| 久久五月激情综合| 久久金品黃色| 天天草比天天爽| 色综合综合色| 婷婷五月天伊人网在线观看视频| site:jszngf.com| 91九九| 日本久久综合| 无码啪啪| 久久网日本| 日韩在线视频网站| 五月天伊人综合| 久久最新色| 大香蕉久久婷婷精品综合| 综合婷| 五月婷婷丁香综合,亚洲天堂| 亚洲 在线 另类| 精品一区二区三区免费毛片爱| www超碰| 中文字幕黄色片| 五月伊人网| 91婷婷五月天嫩女| www.色婷婷| 色五月天成人| 九九热在线精品| 婷婷综合视频| 9热精品| 婷婷少妇激情| 亚洲啪啪啪啪| 狠狠操狠狠操| 成人做爰A片免费看视频| 99色色| 99re6在线视频精品免费| 色婷婷成人做爰A片免费看网站| 五月婷婷色色| 亚洲精品V天堂中文字幕| 图片区 小说区 区 亚洲五月| 色五月婷婷网| j五月香在线| 久热精彩视频98| 色久99| 91精品久久久久久久久久久久| 超碰不卡在线| 亚洲色五月| 久久久思思热| 五月天丁香啪啪综合| 777久久精品| 婷婷五月激情丁香激情| 日日肏天天操| 色五月天婷婷| 99熟女| 99色视频| 最新国产AV| 超碰人人99| 快乐激情五月色婷婷 | 99熟女啪啪视频| 超碰人人在线| 97高清国语自产拍| 五月婷婷性爱网| 色噜噜五月丁香婷婷| 人人搡人人| 婷婷性爱| 日逼免费视频| 五月婷婷六月丁香在线视频免费在线观看| 日日干天天射| 亚洲精品一区中文字幕乱码| 婷婷激情五月天激情小说| 日本久久爽| 日日日日做夜夜夜夜无码| 这里只有精品视频一区| 五月丁香激| 日韩精品AV一区二区三区| 操草草草| 91久热| www色五月天| 91pornav在线| 99成人精品六| 综合色色色| 99热这里只有精品9| 99久久超级| 五月丁香啪综合| 久久无码激情视频| 99爱在线视频观看| 亚洲精品在线视频| 五月大香蕉| 亚洲人操亚洲人| 激情六月丁香| 丁香五月 六月婷婷首页| 色五月婷婷大香蕉| 丁香五月花| 色情婷婷。| 丁香五月在线观看综合| 99热亚洲| 人妻激情久久| 色色色色欧洲| 五月花免费视频| 激情丁香婷婷| 伊人五月天97| 1995年关宝慧版蜘蛛女| 五月丁香色情| 色欲色香,www,com| 99这里的视频都是精品| 伊人婷婷五月天| 亚洲精品V天堂中文字幕| 99久re热| 开心五月天激情网站| 激情五月激情综合网| 九九综合图片网| 欧美丁香六月在线观看视频| 97色图片中文字幕视频在线观看| 丁香五月天色婷婷| 国产精品成人AV在线| 欧美丁香婷婷五月天| 色亚洲婷婷| 玖玖资源站国产| 日本一级一片免费视频| 丁香五月狠狠在线观看| 激情五月天综合网| 久热91| 精品99在线| 丁香五月欧美| www夜夜| 丁香五月成人社区| 狠狠狠狠狠操| 99视频在线观看视频| 99亚洲综合| 韩日在线熟女| 777色婷婷爱五月| 婷婷久久综合久| 人妻中文在线| 99re66热这里只有精品| 啪啪啪大香蕉| 色色色色色热| 亚洲美女婷婷五月天| 五月五婷婷网| 色久在| 色播播之激情五月婷婷| 九九综合久久丁香婷婷,开心激情综合网| 色色丁香五月天| 激情婷婷五月| 大香蕉婷婷| 美女天天艹人人爽| 视频这里只有精品| 就99这里只有精品| 激情五月丁香在线观看直播| 丁香五月婷婷乱| 天天操狠狠操| 亚洲九九视频| 天天射美女| 五月综合无码| 国产国产乱老熟女视频网站97| 少妇2做爰HD韩国电影| 狠狠CAO日日穞夜夜穞AV | 中文AV在线播放| 97人人操人人干| 色色色9| 专区无日本视频高清8| 51精品国自产在线| 67194线路二在线观看| 91男人操女人视频| 婷婷五月天A V| 99热免费18| 吊色AV男人的天堂| 91天天操天天干天天射| 久久亚洲精品成人无码网站导航| 婷婷丁香视频| 色婷婷五月在线| www久| 粉嫩AV久久一区二区三区| 182tv992tv人之初午夜免费观看| 日韩情色在线观看| 五月婷婷色情| 国产26uuu视频| 色播五月| 大香蕉综合| 玖玖婷婷色欲| 久久久久久久久久久97| 14色综合婷婷| 婷婷爱综合| 开心激情网在线| 亚洲精品国产成人AV在线| 另类少妇人与禽zOZZ0性伦| 婷色综合| 亚洲精品国产成人AV在线| www.精品99| 26uuu成人网| 五月丁香综合激情| 日本久碰| 亚洲艹网| 天天爽夜爽| 9+1视频网址| 五月婷婷亚洲色图| 激情五月婷婷免费视频| 深爱激情婷| 九热视频| 亚洲狠狠婷婷| 亚洲色五月| 丁香五月五月婷婷五月天激情四射| 五月亭亭网成人在线视频| www色色com| 停停综合色色| 99精品在| 精品久热| 色情五月| 人人干AV| 婷婷五月婷婷| 神马欧美精| 五月婷六月天| 天天干狠狠| 婷婷五月六月| 五月婷婷婷婷婷婷艺术| 大香蕉九九| 五月丁香婷婷综合网色欲| 99这里只有免费的小视频在线观看| 丁香五月六月| 色九九中文字幕| 色婷婷综合久色AV五色最新| 夜夜操狠狠操| 亚洲无码性爱| 国产Va视频| 五月婷婷久久综合| 日韩美女在线视频19| 日韩激情人伦人| 成人av免费观看| 婷婷六月激情| 天天干天天插| 丁香婷婷婷| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 日本天天操| 亚洲黄色精品| 噜噜狠狠色综无码久久合欧美| 国产伦亲子伦亲子视频观看| 色一区高清| 大香蕉婷婷色| 亚洲综合在线播放| AV性爱在线| 操b视频在线观看一区二区| www.五月婷婷久久.com| 99亚洲精品| 天天色播| 99视频精品| 五月天伊人综合| 日狠狠| www.色色com| 五月丁香婷婷激情澎湃四射| 欧美色图片88| 久久九九怡红院| 天天操人人干| 丁香狠狠色婷婷| 久久久久婷| 日熟女| 操日视频| 翔田千里 50岁 无码| 中文资源在线a | 五月丁花六月丁香综合| AⅤ在线播放网| 96五月丁香熟女| 男人的天堂婷婷色五月| 五月开心婷婷网| 欧美成人A片AAA片在线播放| 伊人久久婷婷| 99久久综合网| 久久这里只有精品07| 婷婷大香蕉| 爱草视频在线| 色综啪啪网| 五月六月婷婷| 秋霞丝袜啪啪啪| 欧日韩成人| 激情丁香婷婷| 亚洲五月花| 婷婷五月天777| 人人草人人舔| 久色网| 无码99| 激情二色月| 激情丁香五月| 久久五月激情| 26UUU| 九九在线热九九在线热99热| 99热成人在线| 婷婷五月中文字幕| 综合色色婷婷| 色色色视频| 久久综合9| 操逼六区| 99色最新在线视频| 五月天丁香啪啪网| 色色色色热| 99综合| 色偷偷综合| 五月丁香啪啪啪啪| 成人五月天综合网| 九九综合| 激情小说婷婷小说| 色天使久久综合| 久久伦乱| 99高级会所久久| 婷婷五月天渟渟| 九九综合| 久热最新视频| 中文AV在线观看| 天天日天天插| 日本人人xxx| 亚洲综人色综网| 色婷婷久久| 欧美激情五月| 欧美人人操| 大香蕉久久视频久久视频 | 啪啪九九色| 99久久九九| 婷婷丁香五月天亚洲| 97se视频在线| 国产肥白大熟妇BBBB视频| 另类激情首页| www.sd-xiangsu.cpm| 91精品国产色猫| 日日噜噜夜夜狠狠久久丁香五月| 欧美VA在线观看| 日本三级日本三级99| 大香蕉色婷婷伊人在线| 九九99免费视频| 激情色视频| 99碰碰| 久草婷婷视频| 99热这里都是精品| 国产激情av| 五月婷婷婷婷婷| 欧美天天草人人草| 99热一本| 人妻熟女一区二区AV| 久久九色| 五月天天天色| 深爱激情九九五月天| 91人妻人人操人人爽| 有码一区二区三区| 色婷婷小说网| 天天天在线观看| 五月丁香婷婷伊人| 精品九九在线观看视频| 久99精品视频| 超碰97在线观看免费| 四色永久成人网站| 99操视频| 九月色婷婷综合| 性天天中文网| 天天搞夜夜叫| 色射7856五月天激情四射| 国产欧美精品AAAAAA片| 人人爱国产| 五月丁香五月综合欧美| 欧美激情凹凸丁香网| 99这里精品| 国产韩日亚洲美州欧亚综合在线| 婷婷五月,偷窥偷拍网| 九热av| 精品人妻伦九区久久AAA片| 亚洲色综合| 91丨九色丨熟女| 丁香五月在线播放| 国产五月天欧美色| 大陆肏屄视频| 婷婷五月色丁香在线看| 五月丁香成人版| 午夜九九电影| 久久五月激情网| 日本a片网址| 婷婷情色五月天| 九九综合色综合| 伊人婷婷色| 久久一级片| 成人短视频免费| 99热很操老逼| 五月色婷婷夜色| av人人操| 婷婷无五月无码视频| 91久久久久久久| 99无码视频| 色综合五月天| 99性爱视频| 全部老头和老太XXXXX| 热久久这里只有精品| 丁香五月激情网| 成人做爰高潮A片免费视频| 国产午夜精品AV一区二区麻豆| 玖玖色综合| 大地9中文在线观看免费高清| 成人综合网站| 中文字幕视频色婷婷| 五月激情四射网站| 婷婷色色色| 一本色道久久综合狠狠躁小说| 免费人人操| 夜夜大香蕉婷婷丁香| 91色涩| 丁香五月香蕉在线| 色色婷五月天| 色婷婷狠狠色| 五月花综合视频| 色日本综合| 五月天com| 婷婷六月激情综合| 久久久27操| se99高清无码| 六月丁香激情综合| 婷婷九月在线| 啪啪一区| 黄色aa观看aaguochan| 婷婷丁香九月| 婷婷丁香一月| 99热这里只有精品8| 可以直接看的av| 五月丁香色停停啪啪啪| 色在线99| 99热最新精品| 色色 9| 性爱网五月天| 色色色色色色网站| 五月丁香成人网| 婷婷丁香18| 色娸娸综合网| av在线超清中文| 狠狠搞亚洲| 99re久久| 婷婷在线网| 五月天成人免费视频| 色性五月天| 天天做天天爱天天综合| 超碰免费人妻| 国产3p露脸普通话对白| 91熟妇大香蕉| 99婷婷| 精品无码av丁香五月激情| 婷婷色网站| 另类视频综合| 五月综合色播播丁香婷婷| 91在线日| WWW.HENHENL.| 丁香六月婷月91婷月| 999热这里只有精品| 最近中文字幕2019视频1| 久草 天堂| 狠狠色综合精品视频在线| 国产av天堂| 激情九月综合| 五月婷婷亚洲| 国产精品18久久久| 婷婷色导航| 五月天精品| 香蕉久日夜| 99热在这里只有免费精品| 大香蕉五月婷婷| 久热久re| 丁香五月色情| 欧美日韩99| 五月丁香另类图片| 第五色婷婷| 超碰熟女农村在线69| 精品无码色| 五月婷六月| 中文字幕,综合,91| 天天激情站| 久久九网| 五月社区婷婷激情| 99热精品在线播放| 丁香无月在线观看| 激情综合婷婷| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 五月激情久久| 这里只有精品在线免费视频| 国产肥白大熟妇BBBB视频 | Www99热| 婷婷五月天国产在线播放| 九久热| 深爱激情网综合| 亚洲欧美综合7777色亭亭| 激情婷婷丁香色情五月天| 操99| 人妻操逼| 99久久国产宗和精品1上映| 五月丁香久人妻中文| 婷婷五月天成人| 成人午夜无码视频| 国产成人AV在线| 中文无码婷婷| 九九久久精品| 五月丁香美女视频| 丁香五月婷婷网| 五月激情丁香久久综合网| 日本片日本片祼观看网站在线看中文版网页在线看 | 久热免费视频| 亚洲视频色色|