欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

乳腺癌病理圖像分類:從WSI訓(xùn)練集構(gòu)建到高精度模型實(shí)戰(zhàn)

乳腺癌病理圖像分類:從WSI訓(xùn)練集構(gòu)建到高精度模型實(shí)戰(zhàn) 簡介本資源是面向醫(yī)學(xué)AI研究者、計(jì)算機(jī)視覺初學(xué)者及高校課程實(shí)踐者的高精度乳腺癌病理圖像分類訓(xùn)練集專為構(gòu)建可落地的智能輔助診斷模型而設(shè)計(jì)。數(shù)據(jù)集包含691個(gè)文件689張經(jīng)專業(yè)醫(yī)生復(fù)核標(biāo)注的256×256 JPG病理圖像涵蓋cancer與normal二分類、1個(gè)開箱即用的Python可視化腳本支持類別分布、樣本網(wǎng)格、尺寸統(tǒng)計(jì)等分析以及1個(gè)結(jié)構(gòu)清晰的JSON標(biāo)簽映射文件壓縮包僅8.79MB輕量高效。目前已有68人學(xué)習(xí)下載適用于學(xué)術(shù)論文實(shí)驗(yàn)、Kaggle式課程項(xiàng)目或初創(chuàng)企業(yè)原型開發(fā)。目錄嚴(yán)格按訓(xùn)練集/驗(yàn)證集分層同類圖像歸入同一子目錄兼容PyTorch、TensorFlow及YOLO系列框架附贈(zèng)腳本可一鍵探查數(shù)據(jù)質(zhì)量顯著提升數(shù)據(jù)增強(qiáng)策略制定與模型調(diào)優(yōu)效率。1. 項(xiàng)目起源為什么聚焦乳腺癌病理圖像分類1.1 粉紅絲帶背后尚未被滿足的真實(shí)需求第一次接觸粉紅絲帶項(xiàng)目時(shí)我正在做醫(yī)學(xué)圖像方向的算法調(diào)研。團(tuán)隊(duì)討論的初始目標(biāo)很直接構(gòu)建一套高精度的乳腺癌病理圖像分類訓(xùn)練集配合AI模型完成輔助診斷。后來真的跑起來才發(fā)現(xiàn)這個(gè)問題的難度遠(yuǎn)超自然圖像分類。先說一個(gè)背景粉紅絲帶是全球乳腺癌防治的公認(rèn)標(biāo)志。很多城市每年10月都會(huì)開展公益活動(dòng)呼吁女性定期篩查。大眾對乳腺癌的認(rèn)知往往停留在拍個(gè)鉬靶、做個(gè)超聲但實(shí)際上病理檢查才是確診的金標(biāo)準(zhǔn)。病理醫(yī)生拿到組織切片在顯微鏡下觀察細(xì)胞形態(tài)、排列方式、核異型性然后給出良惡性判斷、分級(jí)分型。這個(gè)過程依賴高倍鏡下的觀察經(jīng)驗(yàn)工作量大、主觀性強(qiáng)不同醫(yī)生之間的判讀一致性也不是百分之百。AI能切入的正是這個(gè)環(huán)節(jié)。我的定位很明確不做臨床診斷本身而是把數(shù)字化病理切片WSI全切片圖像切成可訓(xùn)練的patch構(gòu)建一個(gè)標(biāo)注準(zhǔn)確、分布合理、能支撐高精度分類模型的訓(xùn)練集。這套訓(xùn)練集既要解決能不能分的問題也要解決分得準(zhǔn)、分得穩(wěn)的問題。1.2 病理圖像分類為什么比自然圖像難得多很多人一開始以為病理圖像分類就是把圖像丟進(jìn)ResNet跑一下這個(gè)想法在CIFAR-10上沒錯(cuò)但在病理圖像上會(huì)撞得頭破血流。第一圖像尺寸極其巨大。一張標(biāo)準(zhǔn)的WSI在40倍放大下可能達(dá)到100000×80000像素單張切片上百GB都是常事。而正常模型輸入是224×224或256×256的patch。這意味著你必須先把大圖切成小圖再?zèng)Q定哪些小圖進(jìn)入訓(xùn)練。這引出了后面要重點(diǎn)講的patch選取策略。第二語義粒度非常細(xì)。正常細(xì)胞和癌細(xì)胞之間的差異很多時(shí)候只是細(xì)胞核大小、核質(zhì)比、染色質(zhì)分布這些非常微觀的差別。拿自然圖像的分類經(jīng)驗(yàn)套上去模型容易學(xué)到染色背景的分布而不是真正的病理形態(tài)。第三類不平衡極其嚴(yán)重。一個(gè)切片中可能99%的區(qū)域是正常組織只有1%是癌變區(qū)域。如果把所有patch均勻采樣訓(xùn)練集里會(huì)堆滿無意義的正常patch模型看到的有效信息極少。第四標(biāo)注成本極高。標(biāo)注病理圖像需要專業(yè)的病理醫(yī)生不能靠眾包也不能靠沒有醫(yī)學(xué)背景的人隨便框框。這意味著訓(xùn)練集的規(guī)模和精度之間必須做現(xiàn)實(shí)取舍。1.3 一個(gè)訓(xùn)練集項(xiàng)目真正要解決的三件事我在推進(jìn)這個(gè)項(xiàng)目時(shí)把需求抽象成了三個(gè)核心問題后續(xù)所有技術(shù)選型都圍繞這三個(gè)問題展開數(shù)據(jù)從哪來、怎么獲得合法合規(guī)的使用授權(quán)標(biāo)注怎么做才既保證質(zhì)量、又不過度消耗病理醫(yī)生的時(shí)間模型訓(xùn)練和評估怎么做才能證明訓(xùn)練集是真的高精度而不是只在某個(gè)測試集上自嗨。后面幾章的思路完全按這三條線展開。如果你也是做醫(yī)學(xué)圖像、或者自己整理訓(xùn)練集訓(xùn)練模型這條路線可以照搬。2. 訓(xùn)練集構(gòu)建從原始切片到高質(zhì)量標(biāo)注2.1 數(shù)據(jù)來源、倫理與合規(guī)這個(gè)環(huán)節(jié)不能省醫(yī)學(xué)圖像和網(wǎng)上爬蟲抓來的貓狗圖片完全不同涉及患者隱私、機(jī)構(gòu)倫理、數(shù)據(jù)安全。我這邊走的路徑是合作醫(yī)院提供脫敏后的切片數(shù)據(jù)簽署了科研合作協(xié)議。切片在導(dǎo)出前已經(jīng)在醫(yī)院內(nèi)部完成了患者姓名、病歷號(hào)等敏感信息的清除只保留影像本身和對應(yīng)的病理診斷結(jié)論。這里有一個(gè)很容易踩的坑脫敏不只是刪掉文件名里的名字這么簡單。WSI文件內(nèi)部可能包含元數(shù)據(jù)比如掃描儀型號(hào)、掃描時(shí)間、操作員工號(hào)。這些字段看起來不起眼但按嚴(yán)格的數(shù)據(jù)合規(guī)要求都屬于需要處理的信息。我們在數(shù)據(jù)清洗階段專門寫腳本檢查了WSI的元數(shù)據(jù)字段把非必要信息全部抹掉只保留圖像和必要的掃描參數(shù)。如果你是自己做類似的醫(yī)學(xué)圖像數(shù)據(jù)集我強(qiáng)烈建議先找所在機(jī)構(gòu)的倫理委員會(huì)或者法務(wù)確認(rèn)項(xiàng)目是否涉及人類受試者研究、是否需要倫理審批。哪怕只是用公開數(shù)據(jù)集做實(shí)驗(yàn)也要讀清楚數(shù)據(jù)的使用條款。公開數(shù)據(jù)集的License限制差別很大有的允許商用有的只允許科研有的要求不重新分發(fā)。不要等論文都寫完了一審才發(fā)現(xiàn)數(shù)據(jù)授權(quán)有問題那種返工是最痛苦的。2.2 標(biāo)注流程設(shè)計(jì)讓病理醫(yī)生和算法工程師高效配合標(biāo)注是整個(gè)訓(xùn)練集構(gòu)建中最耗時(shí)、也最影響模型上限的環(huán)節(jié)。我們采用的是粗篩精標(biāo)復(fù)核三層流程而不是直接讓醫(yī)生從零開始框選。第一步粗篩。用預(yù)訓(xùn)練的CNN模型對全切片做初步預(yù)測把預(yù)測為可疑的區(qū)域提前框選出來作為候選patch推薦給醫(yī)生。這么做不是為了替代醫(yī)生而是把醫(yī)生的注意力集中到真正有判讀價(jià)值的位置減少醫(yī)生在正常組織上翻找的時(shí)間。實(shí)際測試下來這一步能減少大約一半的標(biāo)注工作量。第二步精標(biāo)。醫(yī)生在推薦框的基礎(chǔ)上對每個(gè)patch做二分類或多分類標(biāo)注。我建議用多分類而不是簡單的良惡性二分。在乳腺病理里常見的類別包括正常/良性病變、非典型增生、原位癌、浸潤性癌等。多分類的好處是模型訓(xùn)練時(shí)可以利用更豐富的監(jiān)督信號(hào)實(shí)際部署時(shí)也能按不同類別設(shè)置不同的下游策略。第三步復(fù)核。隨機(jī)抽取10%的已標(biāo)注patch交給第二位醫(yī)生獨(dú)立盲審計(jì)算兩位醫(yī)生之間的一致性指標(biāo)比如Kappa系數(shù)。如果Kappa低于0.8說明標(biāo)注標(biāo)準(zhǔn)模糊需要回到第二步重新校準(zhǔn)標(biāo)準(zhǔn)。這是很多團(tuán)隊(duì)會(huì)省略的環(huán)節(jié)但我建議一定保留因?yàn)闃?biāo)注一致性直接決定了訓(xùn)練集的噪聲水平而噪聲水平的容忍度在病理場景里很低。2.3 類不平衡與patch選取策略這一步是訓(xùn)練集構(gòu)建的技術(shù)核心也是真正拉開差距的地方。我最終采用的策略是將WSI按20倍放大倍率切成224×224的patch然后對每個(gè)patch做篩選。篩選規(guī)則包括組織覆蓋率必須大于閾值比如80%排除大面積的背景和雜質(zhì)同時(shí)根據(jù)標(biāo)注密度控制采樣比例。在類別分布上我會(huì)刻意做類別的混合采樣而不是讓模型直接面對原始分布。具體的采樣比例通過一個(gè)簡單的公式控制每個(gè)batch中正樣本基數(shù)為基準(zhǔn)負(fù)樣本按設(shè)定比例下采樣。這樣模型每個(gè)batch都能看到足夠數(shù)量的癌變patch避免在小類別上欠擬合。同時(shí)我還會(huì)控制同一個(gè)患者來源的patch不要同時(shí)落到訓(xùn)練集和測試集。醫(yī)學(xué)圖像里有一個(gè)常見bug如果把同一個(gè)病人的不同patch隨機(jī)劃分模型相當(dāng)于見過了正確答案的一部分測試指標(biāo)會(huì)虛高。這種泄漏在跨病人泛化測試中會(huì)暴露得一干二凈。所以劃分時(shí)必須以患者為最小單位而不是以patch為單位。這也是很多人做醫(yī)學(xué)圖像時(shí)忽略的細(xì)節(jié)。2.4 數(shù)據(jù)劃分訓(xùn)練集、驗(yàn)證集、測試集各司其職訓(xùn)練集和測試集的作用經(jīng)常被人混淆。我習(xí)慣用一句話來解釋它們的區(qū)別訓(xùn)練集是學(xué)生平時(shí)做的練習(xí)冊測試集是考試卷驗(yàn)證集是考前模擬卷。訓(xùn)練集讓模型學(xué)習(xí)參數(shù)驗(yàn)證集用來調(diào)整超參和選擇模型測試集只能用一次用來估計(jì)模型在真實(shí)場景中的最終水平。在比例選擇上我目前的配置是約70%訓(xùn)練集、15%驗(yàn)證集、15%測試集。如果數(shù)據(jù)量非常少可以考慮用交叉驗(yàn)證替代固定劃分K折交叉驗(yàn)證的K一般取5把K-1折用于訓(xùn)練、1折用于驗(yàn)證輪流進(jìn)行最終指標(biāo)取K次的平均。但要注意交叉驗(yàn)證的訓(xùn)練時(shí)間會(huì)成倍增加在大規(guī)模WSI場景下未必劃算。另外一個(gè)關(guān)鍵點(diǎn)劃分時(shí)要考慮標(biāo)簽分布均衡。不能出現(xiàn)在訓(xùn)練集中良性病例占90%、測試集中惡性病例占90%這種極端情況。我通常用分層采樣stratified sampling來確保每個(gè)子集的類別比例與原數(shù)據(jù)集大致一致。sklearn里面有個(gè)StratifiedShuffleSplit可以直接用省得手寫。3. 模型選型與訓(xùn)練細(xì)節(jié)把數(shù)據(jù)集的價(jià)值榨干3.1 Backbone選型ResNet、EfficientNet還是Vision Transformer訓(xùn)練集的質(zhì)量是上限但模型選擇決定你能不能逼近這個(gè)上限。我在這個(gè)項(xiàng)目里前后對比過ResNet-50、EfficientNet-B3/B4和ViT-Small簡單說一下選型結(jié)論。ResNet-50最大的優(yōu)點(diǎn)是穩(wěn)定、資源消耗小、社區(qū)資料多適合作為基線模型快速驗(yàn)證數(shù)據(jù)和標(biāo)注的質(zhì)量。但遇到細(xì)粒度識(shí)別任務(wù)它的精度提升空間有限。EfficientNet-B3/B4是我最終選擇的折中方案。同樣的精度目標(biāo)下EfficientNet的計(jì)算量比ResNet小得益于它的復(fù)合縮放策略。實(shí)際測試中EfficientNet-B4在patch分類上的AUC比ResNet-50高1.5%到2%推理耗時(shí)增加的幅度在我能接受的范圍內(nèi)。Vision TransformerViT在小規(guī)模醫(yī)學(xué)圖像數(shù)據(jù)集上并不一定占優(yōu)因?yàn)閂iT需要更多數(shù)據(jù)來學(xué)習(xí)歸納偏置。這個(gè)項(xiàng)目的數(shù)據(jù)量還沒到能讓ViT發(fā)揮優(yōu)勢的水平。如果你用的是幾十萬甚至上百萬patch的規(guī)??梢栽囋嘨iT但做好調(diào)參的心理準(zhǔn)備。我的建議是不要一開始就上最復(fù)雜的模型先拿ResNet跑通Pipeline確認(rèn)訓(xùn)練集的分布、標(biāo)注質(zhì)量、loss曲線都正常再換EfficientNet或ViT做精度提升。模型換血前先保證流程是通的這能省掉大量排查問題的時(shí)間。3.2 損失函數(shù)設(shè)計(jì)的醫(yī)學(xué)動(dòng)機(jī)二分類場景下交叉熵?fù)p失CrossEntropyLoss是默認(rèn)選擇但醫(yī)學(xué)圖像分類里類不平衡問題太嚴(yán)重因此我會(huì)優(yōu)先考慮加權(quán)的交叉熵或Focal Loss。Focal Loss的核心思想是用一個(gè)調(diào)制因子降低易分類樣本的權(quán)重讓模型訓(xùn)練時(shí)更關(guān)注難分類樣本。具體公式是FL(p_t) -α_t(1 - p_t)^γ log(p_t)。其中γ是聚焦參數(shù)通常設(shè)為1.5到2.0α_t是類別權(quán)重用來調(diào)整正負(fù)樣本的比例。在病理場景里γ取2.0時(shí)模型對罕見癌變patch的敏感度明顯提升。這里有個(gè)心得損失函數(shù)的不平衡處理和采樣策略的不平衡處理是雙保險(xiǎn)不能只依賴一個(gè)。采樣能保證每個(gè)batch的類別比例合理損失函數(shù)能進(jìn)一步懲罰模型對難例的忽視。兩者配合效果才穩(wěn)定。另外在訓(xùn)練多類別分類時(shí)我建議直接在輸出層做多類softmax而不是訓(xùn)練多個(gè)二分類器。多類softmax能強(qiáng)制類別之間互相競爭讓特征表示更有判別力。3.3 數(shù)據(jù)增強(qiáng)與訓(xùn)練策略穩(wěn)定復(fù)現(xiàn)更關(guān)鍵病理圖像的數(shù)據(jù)增強(qiáng)我保持相對克制。隨機(jī)水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)90度、隨機(jī)裁剪這些幾何增強(qiáng)可以放心用。顏色增強(qiáng)要非常小心因?yàn)椴±砬衅娜旧桨副热鏗E染色有標(biāo)準(zhǔn)流程如果顏色抖動(dòng)幅度太大模型會(huì)學(xué)到對染色響應(yīng)的錯(cuò)誤不變性導(dǎo)致?lián)Q了一個(gè)掃描儀之后性能驟降。我之前踩過一個(gè)坑用了過強(qiáng)的色彩抖動(dòng)在原始掃描儀數(shù)據(jù)的測試集上表現(xiàn)還行但換了一臺(tái)不同品牌掃描儀采集的數(shù)據(jù)AUC直接從0.96掉到0.88。后來重新調(diào)整了色彩增強(qiáng)的范圍把亮度、對比度、飽和度的擾動(dòng)幅度減小后跨掃描儀的魯棒性才恢復(fù)到接近0.94。訓(xùn)練策略上我采用兩階段先在ImageNet預(yù)訓(xùn)練權(quán)重基礎(chǔ)上凍結(jié)backbone只訓(xùn)練分類頭幾個(gè)epoch然后解凍全部參數(shù)做細(xì)調(diào)finetune。這個(gè)做法的好處是避免了訓(xùn)練一開始就大范圍破壞預(yù)訓(xùn)練特征。學(xué)習(xí)率用余弦退火調(diào)度初始學(xué)習(xí)率從1e-4起步batch size 64。別的細(xì)節(jié)像AdamW優(yōu)化器、weight decay設(shè)1e-4這些是常規(guī)操作。真正要讓模型穩(wěn)定復(fù)現(xiàn)關(guān)鍵是固定隨機(jī)種子PyTorch里需要同時(shí)設(shè)置torch.manual_seed、np.random.seed如果用了CUDA還要設(shè)置torch.cuda.manual_seed_all。另外把cudnn.deterministic設(shè)為True否則即使種子一樣某些CUDA算子依然可能帶來非確定性差異。3.4 高精度評估不能只看Accuracy用準(zhǔn)確率評估醫(yī)學(xué)圖像分類模型是非常危險(xiǎn)的尤其在類別不平衡的場景里。舉個(gè)極端例子如果測試集里90%是良性那么一個(gè)全猜良性的模型準(zhǔn)確率也有90%實(shí)際卻完全沒用。醫(yī)學(xué)場景下我更關(guān)注的指標(biāo)是AUC、敏感度Sensitivity、特異度Specificity、F1-score。敏感度代表有病的人被查出來的比例臨床篩查寧可誤報(bào)也不能漏診所以敏感度是優(yōu)先保障的指標(biāo)。特異度代表沒病的人被正確排除的比例它決定過度診斷的程度。AUC綜合反映模型在所有閾值下的排序能力適合模型選型時(shí)做橫向?qū)Ρ鹊皇亲罱K部署指標(biāo)。部署時(shí)還需要根據(jù)臨床可接受的敏感度水平反推分類閾值。比如把決策閾值從默認(rèn)的0.5下調(diào)到0.3敏感度可能從0.88升到0.96但特異度會(huì)相應(yīng)下降。具體閾值怎么選要和臨床團(tuán)隊(duì)一起定不能算法工程師自己拍腦袋。我最終的評估報(bào)告里會(huì)同時(shí)給出多組閾值下敏感度-特異度的對應(yīng)表格方便決策方根據(jù)實(shí)際場景權(quán)衡。提示在做模型選擇時(shí)不要只比較最優(yōu)AUC一個(gè)數(shù)字。把模型的PR曲線Precision-Recall曲線畫出來看。在不平衡數(shù)據(jù)集上PR曲線比ROC曲線信息量更大。4. 實(shí)戰(zhàn)排坑標(biāo)注錯(cuò)誤、Loss不降與過擬合4.1 標(biāo)注錯(cuò)誤會(huì)導(dǎo)致訓(xùn)練集Loss降不下來嗎很多人在訓(xùn)練自己的數(shù)據(jù)集時(shí)都問過這個(gè)問題錯(cuò)誤標(biāo)注導(dǎo)致訓(xùn)練集loss降不下去到底是真的嗎我的結(jié)論錯(cuò)誤標(biāo)注確實(shí)會(huì)讓loss下降變慢、最終loss值偏高但不一定表現(xiàn)為完全降不下去。因?yàn)樯窠?jīng)網(wǎng)絡(luò)對單點(diǎn)噪聲有較高的容忍能力少量錯(cuò)誤標(biāo)注會(huì)被周圍大量正確標(biāo)注稀釋。但如果是系統(tǒng)性的錯(cuò)誤標(biāo)注——比如某一位醫(yī)生把非典型增生一律標(biāo)成了浸潤癌——模型就會(huì)學(xué)到錯(cuò)誤規(guī)律loss可能降到比較低的水平但測試集上表現(xiàn)很一般。這在病理AI里是最隱蔽的坑訓(xùn)練時(shí)一切正常測試時(shí)打回原形。所以發(fā)現(xiàn)問題不能只盯著loss曲線。定期做誤分類樣本的bad case分析更有效。我每周會(huì)抽出一些訓(xùn)練集中預(yù)測錯(cuò)誤且置信度很高的樣本請醫(yī)生重新復(fù)核。如果發(fā)現(xiàn)某類別的錯(cuò)誤率系統(tǒng)性偏高就很有可能是標(biāo)注標(biāo)準(zhǔn)出了問題。另外我還做了一版標(biāo)簽清洗的實(shí)驗(yàn)把訓(xùn)練集里被模型反復(fù)預(yù)測錯(cuò)誤、且醫(yī)生復(fù)核后確認(rèn)標(biāo)注有誤的樣本移除重新訓(xùn)練。結(jié)果很能說明問題模型在測試集上的AUC提升了1.1%。不要小看這1%在醫(yī)學(xué)場景里這可能是幾十個(gè)誤診病例的差異。4.2 Loss不收斂的排查清單如果你的模型訓(xùn)練集loss確實(shí)降不下來先從這幾個(gè)方向查不要一上來就調(diào)模型結(jié)構(gòu)學(xué)習(xí)率設(shè)置是否合理。學(xué)習(xí)率過大導(dǎo)致震蕩無法收斂過小導(dǎo)致收斂過慢。檢查每個(gè)step的loss變化幅度如果loss在初始幾步突然飆升大概率是學(xué)習(xí)率太大。數(shù)據(jù)預(yù)處理是否一致。訓(xùn)練和測試的尺寸resize、歸一化參數(shù)是否統(tǒng)一很多詭異問題都出在這里。標(biāo)簽是否有錯(cuò)誤或遺漏。隨機(jī)抽100個(gè)訓(xùn)練樣本人工核對一遍看看有沒有標(biāo)簽錯(cuò)位、文件路徑讀取錯(cuò)誤導(dǎo)致圖片和標(biāo)簽對不上。模型是否學(xué)到了有效特征。把中間層的feature map可視化或者把模型在簡單子集上的表現(xiàn)單獨(dú)測試。如果連最簡單的子集都擬合不了數(shù)據(jù)管線大概率有bug。我遇到過一個(gè)最難查的問題某個(gè)類別的圖片在讀取時(shí)出現(xiàn)了排bytes順序錯(cuò)誤導(dǎo)致圖像顏色通道錯(cuò)亂模型在訓(xùn)練集上始終到不了目標(biāo)精度。最后是用可視化batch的方式才發(fā)現(xiàn)的。所以建議你在訓(xùn)練啟動(dòng)后沒事就打印幾行batch圖像出來肉眼檢查這個(gè)習(xí)慣能幫你省很多排查時(shí)間。4.3 可解釋性讓模型像在看病理而不是猜答案病理醫(yī)生不會(huì)輕易信任一個(gè)只報(bào)惡性概率0.93的模型。要讓這個(gè)訓(xùn)練集形成的模型真正被臨床接受可解釋性必須跟上。我最常用的工具是Grad-CAM熱力圖。把模型最后一層卷積的梯度傳到輸入圖像生成高亮區(qū)域疊加到原patch上。一個(gè)合理的模型熱力高亮區(qū)域應(yīng)該集中在細(xì)胞核密集、核異型性明顯的區(qū)域如果模型高亮的區(qū)域全是染色背景或組織間隙那基本可以斷定模型學(xué)到了偽相關(guān)。更進(jìn)一步的方案是用基于Patch的決策融合。我把整個(gè)WSI切成多個(gè)patch分別預(yù)測再把預(yù)測結(jié)果映射回全切片坐標(biāo)形成熱力圖。醫(yī)生能直觀看到哪塊組織被模型判為高風(fēng)險(xiǎn)。這種做法比單獨(dú)給patch熱力圖更符合病理醫(yī)生的工作習(xí)慣也更容易建立信任。可解釋性還有一個(gè)加分項(xiàng)記錄模型在不同放大倍率下的預(yù)測一致性。惡性病變在高倍鏡下往往有比較明顯的異型性如果模型在低倍率下判惡性、高倍率下判良性說明可能受到了某些低倍率下的干擾因素影響這類樣本需要人工復(fù)核。4.4 模型壓縮與部署的取舍訓(xùn)練集和模型跑到一定精度以后就要考慮部署場景了。病理AI最終要嵌入到醫(yī)院的病理信息系統(tǒng)PACS或者輔助診斷工作流里對推理速度有硬性要求。我試驗(yàn)了幾種壓縮方案簡單說下結(jié)論。模型權(quán)重量化到INT8后推理速度提升約3倍內(nèi)存占用下降75%但AUC下滑約0.8%在敏感度優(yōu)先的場景下有點(diǎn)難受。知識(shí)蒸餾是一個(gè)更值得嘗試的方案用EfficientNet-B4當(dāng)teacher蒸餾到一個(gè)較小的EfficientNet-B0可以做到只損失0.3%的AUC換來接近2.5倍的推理加速。部署時(shí)還要考慮的一件事是GPU和CPU的選型。如果醫(yī)院已經(jīng)有NVIDIA的GPU工作站直接上TensorRT優(yōu)化是最高效的路徑。如果只有CPU環(huán)境那就得認(rèn)真考慮量化策略和模型規(guī)模。不要做那種我們模型精度特別高但部署要一臺(tái)四卡A100的方案臨床環(huán)境沒那么慷慨。5. 常見問題速查按從數(shù)據(jù)到部署的順序排坑我整理了這份實(shí)操中反復(fù)出現(xiàn)的問答速查表覆蓋從訓(xùn)練集構(gòu)建到部署的完整鏈路供直接參考。常見問題排查方向推薦處理方式訓(xùn)練集loss降不下來學(xué)習(xí)率、數(shù)據(jù)管線、標(biāo)簽錯(cuò)誤先可視化和核對數(shù)據(jù)再調(diào)整學(xué)習(xí)率用簡易子集驗(yàn)證訓(xùn)練集loss降了但測試集AUC低過擬合、數(shù)據(jù)泄漏、標(biāo)注系統(tǒng)性錯(cuò)誤檢查數(shù)據(jù)劃分是否按患者分組做bad case分析同一患者patch被同時(shí)分到訓(xùn)練集和測試集數(shù)據(jù)劃分時(shí)以patch為單位隨機(jī)劃分改成按患者ID進(jìn)行分組劃分訓(xùn)練集類別嚴(yán)重不平衡正負(fù)樣本比例失調(diào)混合采樣 Focal Loss/加權(quán)CE雙保險(xiǎn)換掃描儀之后性能暴跌顏色增強(qiáng)過強(qiáng)模型學(xué)到染色偏移調(diào)小色彩增強(qiáng)幅度加入多掃描儀數(shù)據(jù)模型高亮區(qū)域落在背景而不是細(xì)胞學(xué)習(xí)到了偽相關(guān)特征用Grad-CAM檢查清洗包含過多背景的patch部署后推理太慢模型太大、未做優(yōu)化嘗試量化、知識(shí)蒸餾、TensorRT加速醫(yī)生反饋模型結(jié)論無法解釋只輸出概率沒有可視化依據(jù)輸出patch級(jí)的空間熱力圖公開數(shù)據(jù)集licenses不一致項(xiàng)目存在分發(fā)或商用風(fēng)險(xiǎn)提前核查license必要時(shí)只做內(nèi)部科研除了上面的速查表再說幾個(gè)心得體會(huì)。第一標(biāo)注質(zhì)量比樣本數(shù)量更值錢。與其急著擴(kuò)到100萬patch不如先把1萬patch做到高一致性標(biāo)注。醫(yī)學(xué)標(biāo)注的邊際成本很高如果花大量人力標(biāo)注出來的數(shù)據(jù)里混入10%錯(cuò)誤標(biāo)簽對模型帶來的負(fù)面效果可能抵消新增樣本的收益。第二模型訓(xùn)練過程中要保留checkpoint。不要只留最終一版。用驗(yàn)證集評估AUC找到驗(yàn)證集AUC最高的那個(gè)epoch對應(yīng)的模型而不是最后一個(gè)epoch的模型。在醫(yī)學(xué)場景中早停幾乎總是比訓(xùn)到底好因?yàn)橛?xùn)練后期的模型容易開始記住訓(xùn)練數(shù)據(jù)中的噪聲。第三數(shù)據(jù)版本管理必須做。訓(xùn)練集、驗(yàn)證集、測試集的劃分一旦確定就要用hash或版本號(hào)固化下來。后續(xù)跑實(shí)驗(yàn)時(shí)任何數(shù)據(jù)變更都要生成新版本不然會(huì)出現(xiàn)兩個(gè)實(shí)驗(yàn)用的數(shù)據(jù)根本不一樣卻還以為是算法差異的尷尬情況。5.1 給新手的建議從一個(gè)小規(guī)模可復(fù)現(xiàn)項(xiàng)目開始如果你第一次做醫(yī)學(xué)圖像分類我真心建議不要一上來就搞幾千張WSI。先把目標(biāo)縮小找到一個(gè)幾百patch的小數(shù)據(jù)集跑通完整流程確認(rèn)每個(gè)環(huán)節(jié)的輸出都是預(yù)期中的再逐步擴(kuò)大。小規(guī)模項(xiàng)目的好處是你可以在有限時(shí)間內(nèi)人工檢查每個(gè)環(huán)節(jié)搞清楚我的數(shù)據(jù)標(biāo)注長什么樣模型看到的batch是什么loss下降到多少算正常哪些樣本是難例。這些感知一旦建立后面做大項(xiàng)目就有參照了。工具鏈上我推薦把PyTorch、TensorBoard、Weights Biases三者結(jié)合起來用。尤其要用TensorBoard或WB定期查看訓(xùn)練圖像和預(yù)測結(jié)果不要只盯loss曲線。圖像是你了解模型訓(xùn)練的眼睛loss只是體溫計(jì)。另外寫代碼時(shí)建議寫一個(gè)簡單清晰的config文件統(tǒng)一管理超參。病理圖像的實(shí)驗(yàn)周期長每個(gè)實(shí)驗(yàn)跑起來要幾個(gè)小時(shí)甚至幾天如果超參靠手工改代碼記錄和復(fù)現(xiàn)都會(huì)非常痛苦。用config管理參數(shù)配合實(shí)驗(yàn)日志能在長期迭代中保留大量可回溯的歷史記錄。5.2 關(guān)于這個(gè)訓(xùn)練集項(xiàng)目后續(xù)可以擴(kuò)展的方向這套訓(xùn)練集在完成良惡性分類這個(gè)基礎(chǔ)目標(biāo)之外還可以往幾個(gè)方向擴(kuò)展。第一個(gè)方向是分子分型預(yù)測。乳腺癌有Luminal A、Luminal B、HER2陽性和三陰性等不同分子分型不同分型的治療策略差異很大?,F(xiàn)有研究表明部分分子分型在組織形態(tài)學(xué)上有一定的特征信號(hào)但肉眼未必能穩(wěn)定捕捉。用AI訓(xùn)練集在這些亞型上做預(yù)測是一個(gè)有價(jià)值的研究方向。第二個(gè)方向是多模態(tài)融合。把病理圖像和影像學(xué)圖像比如鉬靶、磁共振、基因組數(shù)據(jù)結(jié)合用多模態(tài)模型做綜合預(yù)后判斷。這個(gè)方向?qū)?shù)據(jù)整合能力的要求更高但也是臨床真正需要的。第三個(gè)方向是跨中心泛化。同樣的訓(xùn)練集在這個(gè)醫(yī)院訓(xùn)練得很好換到另一家醫(yī)院、另一個(gè)掃描設(shè)備上表現(xiàn)是否穩(wěn)定是需要專項(xiàng)驗(yàn)證的。要把數(shù)據(jù)按醫(yī)院或設(shè)備分組做外部隊(duì)列測試反復(fù)迭代模型和數(shù)據(jù)增強(qiáng)策略。我在實(shí)際項(xiàng)目中最深的體會(huì)是訓(xùn)練集的價(jià)值不在于量大而在于干凈且分布合理。做到了這一點(diǎn)哪怕模型結(jié)構(gòu)不是最前沿的也能在真實(shí)場景中取得不錯(cuò)的成績。沒做到這一點(diǎn)再花哨的模型方案都會(huì)在臨床數(shù)據(jù)面前現(xiàn)出原形。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.99精品日操伊人乱碰在线| 小泽玛利亚视频一区二区| 日日夜夜小色哥| 狠干综合| 69凹凸成人综合网| 丁香六月婷婷| 婷婷丁香激情综合色情| 成 人 色 色| 亚洲色图81p| 99热这里只有精品首页| 久久久免费精彩视频| 国产成人网站在线观看| 久久区区一二三av| 91中文狠狠综合| 亚洲欧美另类在线23p| 99视频在线播放大全| 色五月综合| 婷婷丁香五月高清| 天天操夜夜肏| 另类小说婷婷色| 精品激情| 亚洲激情综合| 婷婷五月综合在线| 中文字幕高清av| 看片视频在线免费日产在线看| 丁香五月天欧美在线| 九九久久99精品免费观看www| 激情五月天丁香| 日日噜噜夜夜狠狠久久丁香六月| 亚洲久热无码| 激情综合网亚洲色图| 色综合com| 67194线路二在线观看| 激情五月丁香社区| 五日激情综合| 国产这里只有精品| 五月天激情视频| 激情性五月天免费小说视频| 99热99这里只有精品| 玖玖国产视频一区| 日韩色色小视频| 日韩啪| 999热视频精品99免费在线| 另类小说色婷婷| 大香线蕉伊人| 99热欧美| 图片区 小说区 区 亚洲五月 | 激情98色婷婷五| 丁香久久| 高潮毛片又色又爽免费| 91丁香色| 亚洲成人av在线观看| 丁香婷婷九月在线| 红桃91人妻爽人妻爽| 久久一级AV| 成人无码髙潮喷水A片| 六月婷婷综合| 五月婷婷av在线| 天天干人人奸97| 国产精品天天狠天天看| 碰人人97| 婷婷免费无马| 色久婷婷网| 婷婷丁香视频在线观看免费 | 久久38视频| 一起操最新网址| 啪啪啪丁香五月| 色色97丁香婷婷五月天| 成人亚洲精品| 丁香五月天婷婷久久综合| sewuyuejiqingwang| 337p午夜影院| nvrentiantang av| 九九热精品视频在线观看| 五月婷婷综合激情| www.玖玖婷婷在线| 亚洲人妻av| 91婷婷丁香五月天免费视频网站| 久久这里有精品99| 成人丁香五月天Av| 精品一区二区三区免费毛片爱| 艳妇野外情欲放荡HD| 五月婷婷色在线| 色综色网| 婷婷综合亚洲| 9999色色色色| 中文字幕在线资源| 91嫩草国产线观看亚洲一区二区| 啪啪操操| 激情婷婷综合| 亚洲天堂大香蕉| 丁香五月天啪啪| 亚洲精品字幕在线观看| 大胆伊人久久| 国产日韩欧美性生活| 夜夜撸天天日| 日日撸夜夜操| 久久综合网桃花| 九九色中文| 五月激情丁香五月宗合| 超碰资源在线| 日韩精品一区二区三区,四区,五区视频| 国产性爱色| 99热这里| 99热中文字幕久久| 九九在线精点品| 99视频日韩| 99九九玖玖| 五月婷婷五月天| 伊人天堂婷婷| 伊人天天色| 五月天婷婷AV| 90色免费视频| 99热精品在线播放观看| 狠狠爱五月婷婷| 中文字幕人成乱码在线观看| 久久综合九九| 五月天四色房丁香亭亭| 日韩av一区二区在线/日产精品久久久 | 色婷婷丁香五月| 久久这里只有精品视频15| 色综合香蕉| 激情q青青草在线婷婷| 婷婷六月丁| 丁香五月六月久久综合| 99色 | 96丁香六月婷婷蜜桃综合久久| 91久久久久久久| 婷婷五月天最新网址| 婷婷五月天激情网| 亚洲性视频| 无码AV久久久久久久久| 再次出发二| 五月天.com| 激情久久久| 一级二级色大片| 互月天综合| 五月激情婷婷在线| 午夜免费试看| 婷综合| 9超碰在线| 玖玖综合色| 啪啪激情网站| A片试看120分钟做受图片| 黄色五月婷婷| 热九九精品| 亚洲无码激情| 五月天婷婷在线播放| 免费无码毛片一区二区A片| 九九色综合网| 天天综合网91| 久操干| 五月婷婷激情四月| 在线免费视频caop| 五月丁香无码| 碰人人97| 亚洲狠狠干| www婷婷色| 婷婷五月花免费视频在线| 激情六月丁香| 色丁香五月天| 99久久这里只有精品| 日韩高清成人| 婷婷丁香18| 中文资源在线a| 五月天婷婷影院| 99久久婷婷五月| 婷婷五月丁综合| 激情五月婷婷| 五月久久丁香| 中文字幕不卡视频| 亚州操操| 国产片天天爽夜夜爽| 久机视频这只有精品| 國語久久婷| 热99在线精品| 激情五月婷黄版| 大香蕉啪啪网| 激情五月网站| 精品国产a| 五月天色婷婷伊人网| 99热传媒| 丁香五月婷婷五月天| 激情综合婷婷久久| 色婷婷97| 丁香五月天天| 亚洲欧洲美女在线观| 色婷婷丁香五月色综合网| 欧美情色一区| 国产无套精品一区二区| XX久久| WWW久久久| 超碰人人射| 精品久久人妻| 伊人狠狠干| 狠狠色综合无线观看| 久久免费婷婷视频| 五月婷在线影院| 久久五月丁香婷婷| 色五月婷婷五月久久| 超碰只有精品在线| 久久视频婷婷| 国内婷婷丁香社区在线播放| 无毒黄色网址| PORNY九色9l自拍视频成人| 五月婷精品| 性爱久久| 天天干天干| 激情综合色图| 在线中文AV| 久久ab| 激情性爱五月| 日韩AV免费电影在线播放| 激情九九综合网| 97sese婷婷| 丁香五月天.com| 99热久| 国产精品成人AV在线观看春天| 深爱激情网噜噜色| 99热99在线| 免费无码毛片一区二区A片| 。久久久久久久久久久久久久人妻| 五月色婷丁香| 激情综合婷婷| 天天色99| 日本熟女一区二区| 99色色热热| 人妻丰满精品一区二区A片| 五月激情婷婷在线| 99热香港| 99福利导航| 久久久亚洲精品一区二区三区浴池| 色欲色香伊人| 婷婷在线五月天观看| 亚洲殴洲精品Av在线| 激情AV| 丁香五月冃欧美| 五月丁香琪琪| 9 1 A v久久久| 97色干| 26uuu成人网| 99这里只有精品国产| 3DAV亚洲香蕉久久 一区二区| 99热99在线| 99久久er| 亚洲综合网激情小说| 色五月婷婷大香蕉| 丁香五月激情综合久久| 八戒青柠影视剧在线观看| 99精品在线观看视频| 99热精品少| 婷婷五月无码| 在线一起草av| 99re资源在线视频导航| 国产AV一区二区三区最新精品 | 五月丁香啪啪网| 99久久玖玖| 99热这是里只有精品| 91嫩草久久| 日本黄色三级片内射| 免费亚洲婷婷中文字幕| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月激情综合网| 99亚洲视频| 五月天成人在线播放丁香| 婷婷她六月天| 思思99热这里只有精品| 丁香婷婷色九月| 日韩av在线播放综合网| 国产欧美大香蕉一区| 疯狂做受XXXX高潮A片动画| 99玖玖免费视频| 五月丁香六月婷婷操操操| 日日操夜夜爽天天天| 狠狠色噜噜狠狠狠狠综合| 操逼巨乳91| 激情小说婷婷五月| 丁香桃色网| 五月婷婷丁香综合| 婷婷六月花| 久久机只有这里精品| 这里只精品| 五月天婷婷综合久久| 激情亚洲婷婷| 久久色天堂| 婷婷丁香五月天影院 | 色色综合色| 五月丁香六月婷婷在线播放| 激情激情激情网| 久久视频这里都是精品| 精品福利911| 99热国内| 婷婷五月天激情综合网| 激情小说视频图片网| 天天干天天射综合网| 亚洲婷婷丁香五月视频| 婷婷五月天免费视频在线观看| 天天操夜夜玩!| 婷婷五月天777| 久久久久久久久久久久久久人妻视频 | 伊人久久婷| 日韩啪| 在线另类视频| 婷婷五月丁香六月伊人网| 高清无码.com| 五月丁香六月婷婷玖玖| 黄色AAAAA| 99这里只有| 日本婷婷| 这里只有精品1| 九九热在线视频| 五月香婷婷| 久久五月天婷婷| 蜜桃五月天| 亚洲精品一区中文字幕乱码| Av在线不卡一区| 99精品偷拍视频| 超碰免费人妻| 超碰人人在线| 91综合网| 亚洲高清在线| 亚洲色色色色| 五月婷婷六月情| 亚洲成人av在线| 狠狠操狠狠爱| 五月天开心色色网| 大香蕉99| 天天综合五月| 播五月丁香三月婷婷| 综合啪啪| 亚洲成人AV电影在线| 亚洲中文字幕翔田千里| 99久在线| 天天射夜夜骑| 婷婷射丁香| www.99视频| 日韩丁香涩| 婷婷综合偷拍| 另类五月婷婷| 综合成人小说婷婷| 色婷婷五月天| 久久视频婷婷| 久热这里只有精品99re,久热这里只有精品7| 夜夜爽天操| 色久影院| 五月丁香亭亭电影久久| 成人在线精品| 丁香五月婷婷在线视频| 激情综合亚洲| 五月婷婷亚洲色图| 精品无码色欲AV| 五月婷婷天天| 亚洲精品V天堂中文字幕| 91九色PORNY中文啦| 日本三级日本三级99| 五月丁香婷婷婷婷综合网| 色色亚洲视频| 天天日中文| AV在线大香蕉| 六月色播| 狠狠精品干练久久久无码中文字幕| 日韩视频女神99| 蜜臀av无码久久久久久久久| 五月天激情网站| 五月天婷婷色| 91一起操| 六月丁香啪啪啪| 亚洲午夜av| 丁香五月黄色| 久久五月婷天天干| 日本99热| 婷婷五月电影院| 欧美草久久五月天91| 色婷婷视频在线| www.色色com| 亚洲五月婷婷在线| 26uuu国产| 色色影院黄大片| 色五月婷婷视频| 五月丁香色情| 91精品久久久久久久久| 色婷婷色婷婷五月| 123日本不卡在线| 五月丁香婷婷综合在线| 91婷婷搞| 97操碰在线视频| 久久ri精品| 色色色精品无码区| www.色99| 去干网av| 婷婷色六月| 五月天激情久久| 99热这里只有精品86| 无码人妻少妇色欲AV一区二区| 色99热| 婷婷六月激情| 色色丁香五月天社区| 五月婷六月丁| 婷婷在线五月综合| 五月天激情婷婷丁香| 婷婷中文字幕| 99久久这里只有精品免费官网| 东京热免费视频| 婷婷内射视频在线| 色婷婷免费观看| 六月丁香停| 久机视频这只有精品| 婷婷5月久久综合网站| 色色色在线播放| av色色国产| 超碰人人色| 91婷婷色五月| 香蕉综合在线| 日日爽夜夜爽| www.日日日.com| 色五月婷婷在线| 婷婷偷拍网| 久久五月天综合| 五月激情丁香五月| 99视频只有精品| 五月天色播网| 亚洲乱码日产精品BD| 清色五月天| 免费视频在线观看的网站| 亚洲视频色色| 五月天sesese| 六月丁香VA| 一区二区传媒视频| 亚洲六月婷婷| 天天肏屄夜夜爽| 国产又粗又大又爽又黄| 久久九九蜜| 天天色凹凸| 激情www| 大香蕉欧美在线| 久久人妻视频| 日韩色色色色色| 国产精品色| 天色综合网站| 五月婷婷九九热| 色色色婷| 国产伊人五月天| 五月日韩中文字幕| 色五月av| 色婷婷手机在线| 五月丁香网站| 丁香色五月婷婷| 天天肏高清在线| 五月丁香狠狠爱| 久久综合热17c| www.金莲av| 深爱婷婷网| 久久与婷婷| 综合色播| 亚洲操b| 影音先锋色婷婷| 婷婷五月激情综合| 五月情婷婷| 日本成人综合| 人妻丰满精品一区二区A片| 丁香五月天视频在线播放| 大香蕉人人网| 五月婷婷久久综合| 亚洲成人无码免费| 激情五月天综合网| 五月精品| 天天操夜夜夜拍拍拍| 超级碰人人操人人干| 色婷视频| 狠狠操狠狠干综合| 中文字幕成人| 操逼视频网址| 日韩成人电影AV| 久久五月综合| 热久久77777| 丁香伊人五月色婷婷五十路| 色婷婷综合网站| 天天干天天干天天干天天干天| 久草大| 第四色色色色色丁香五月天| AV性爱网| 香蕉人在线香蕉人在线 | 五月天五月色婷婷综合| 久久9999| 开心婷婷五月综合| 99色热| 伊人婷婷五月天| 激情开心五月婷婷| 天天摸天天肏| 中文字幕性爱视频| 99视频在线观看地址| 五月天堂婷婷| 99视频这里只有精品10| 五月婷婷中文网| 久久久久8888| 六月激情网| 97在线观看| 97精品综合久久| 丁香五月综合在线观看| 激情五月婷婷色综合| 六月婷婷av| 中文字幕成人日韩| 婷婷丁香红五月91C| 九九色综合| A久久| 伊人五月网| 色丁香五月天射婷婷爱婷婷| 日本在线视频播放91| 夜夜做夜夜愛| www.日韩艹| 天天色月| 免费九九热| 久久九九中文字幕| 亚洲AV第二区国产精品| 久久九九经典| 人操91在线| 精品亚洲国产成AV人片传媒| 国产看真人毛片爱做A片| 玖玖综合色| 欧美影院| 96丁香六月婷婷蜜桃综合久久| 婷婷五月噜噜| 五月丁香花开综合网| 99热欧| 五月丁香六月婷婷啪啪综合| 色色婷婷五月天| 九九干视频| 99热99草97| 色色色五月天激情资源| 日本在线wwww| 久久久精品99| 日本久久人| 色色日本欧美| 另类激情四射| 91玖玖| 99色热视频| 激情久久肏屄视频| 六月婷婷色综合| 五月婷婷激情综合| 色婷婷婷av| 婷婷丁香六月五月天| 日本高清久久| 【乱子伦】黄色| 狠狠色婷婷7| 天天拍夜夜撸| 99视频精品全部免费观看| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 色狠狠伊人久久五月丁香| 丁香五月aV| 激情五月六月丁香| 狠狠狠狠狠狠狠狠| 激情AV在线| 无码se| 人人人操Av| 婷婷五月天直播| 最新亚洲色色网| 五月之婷婷| 色五月婷婷小说亚洲中文字幕组| 久久多色| 狠狠五月天| 久久五月婷天天干| 久久超级碰视频| 日本色图综合| 66久久视频在线| 丁香五月天婷婷中文| 影音先锋人妻出差| 婷婷五月天丁香社区| 99操逼视频| 思思热在线| 国产精产国品一二三在观看| 亚洲情欲久久| 91丨九色丨高潮丰满日本| 婷婷激情伍月网| 天天干天天干天天干天天干天天| 激情文学五月丁香六月婷婷| 五月天社区| 国产欧美日韩综合精品一区二区| 91热久| 欧美97色| 天天操天天爱天天玩| 五月天成人在线视频网站| 噜噜干日本| av亚洲国产小电影| 色婷婷久久视屏| 国产成人网| 婷婷五月天首页| 超碰色综合| A久久| www亚洲无码| 99久久精彩视频。| 亚洲99精品欧美一区| 久/久精品99看9| 亚洲综合网在线| 伊人久久大香线蕉av一区| 一區四區歐美日韓| 九九热免费视频| 激情五月激情综合网| 夜夜夜夜夜骑撸| 日韩欧美颜射| 婷婷中文字暮| 五月六月激情婷婷| 婷婷涩五月| 久久五月婷天天干| 久久久婷婷| 久久久精品色| 五月天激情网图片| 站长推荐无码播放| 天天射色五月天| 久久久婷婷| 99操不停| 色婷婷六月综合| 婷色五月天| 亚洲mm免费| 日本a片网址| 五月丁香六月婷婷色情| 91久女| 亚洲性受XXXX五月丁香| 大伊香蕉玖玖爱| 五月六月激情婷婷| av九九| 五月丁香婷婷99| 最新亚洲色色网| 五月天婷婷色综合| 激情av在线| 牛牛碰免费| 涩涩五月天| 国产99久久久| 91久久九久久九久久九久久九久久| 成人精品视频99在线观看免费| 中文字幕AV在线| 欧美激情综合色综合啪啪五月| 婷婷五月天免费99| 婷婷五月天激情综合婷婷五月天激情综合| 色九月婷婷| 超碰不卡在线| 俺去也五月| 337久久| 99er在线观看| 99热这里有精品| 精品视频这里只有精品| 亚洲AV网站| www.com色播五月天| 丁香婷婷色五月合集| 欧美三级A做爰在线观看| 色啪综合| 五月婷婷黄色| 91精品国产91久久久久青草| 猫咪伊人久久| 欧美久久网| 色婷av| 亚洲色视频| 免费观看日韩成人av| 狠狠五月综合在线| 久久综合站| 囯产精品一品二区三区| 色色五月婷婷狠狠| 韩国久久少妇视屏| 99热在线播放精品| 婷婷性色| 五月丁香婷婷成人版| 99色综合| 91avse| 色啪影院| 天天综合久久| 亚洲亚洲人成综合网络| 五月丁香综合久久| 久久九久久| 色色 9| 色播色丁香五月| www.com五月天| 第四色网婷婷| 五月激情综合网| 久久五月婷| 啪啪一区| 久久66精品| 日韩小视频在线99| 丁香婷婷色九月| 国产亚洲色婷婷久久99精品91| 综合激情站| 99这里只有免费的小视频在线观看| 女人高潮内射99精品| 蜜乳A√| 无码字幕中文| 另类激情五月在线视频欧美| 激情久久久久久| 婷婷五月天av| 五月婷婷综合潮喷| 玖玖五月| 1024日韩| 久久这里只| 色情五月天丁香社区| 人妻无码精品一区| 天天拍夜夜爽| 国产资源在线视频| 五月花综合网| 六月丁香AV| 99在线资源| 婷婷五月丁香六月伊人网| 熟女强人妻一区二区三区四区无| 噜噜视频| 天天做天天爱天天摸| 日B日潘金莲BB| 七七色色综合| 色五月丁香激情视频| 人人超碰99| 色婷婷狠狠| 丁香婷在线| 亚洲最大在线| 久久婷婷五月天丁香| 波多野结衣AV无码Porn| 99热这里只有在线播放| 亚洲AV电影美洲AV电影| 思思久久99| 色婷婷激情五月天| 高清无码.com| 色爱综合五月| 国产午夜精品AV一区二区麻豆| 天天做天天爱天天要| 91九色精品女同系列| 成人 在线观看国产| 亚洲av日韩无码| 婷婷五月天伊人网在线观看视频| 4438激情网| 大陆极品少妇内射AAAAAA| 婷婷五月天电影网| 少妇久久诱惑视频| 91丨九色丨高潮丰满日本| 国产精品电| 九九色逼| 婷婷激情六月| 开心五月丁香啪| 99在线视频色版| 婷婷综合在线网| 日本狠狠色| 99激情| 天天草天天日| 婷婷,五月天,丁香,第一| 99热很操老逼| 丁香性爱在线视频| 五月亭亭开心网| 狠狠穞A片一區二區三區| 内射丰满人妻| 99热欧美在线观看| 欧美精产国品一二三区| 99热10在线高清播放| www夜夜操| 天天日天天插| 亚洲av无码精品色午夜| 91无码色色| 99热免费| 色人久久| 婷婷五月丁香综合激情| 99亚洲精品视频| 国产在线另类五月婷婷| 99热国产国产| 99re热精品在线视频| 婷婷五月天久久综合88| 久久99免费视频网站| 男女啪啪做爰高潮无遮挡 | 欧美激情VA永久在线播放| WWW、日本色丁香、co m| 久久丝丝热| 99re免费精品视频| 九九人人自拍| 激情宗合 激情宗合| 中文字幕av久久爽| 久久ri精品| 中文字幕丰满孑伦无码专区| 日本片日本片祼观看网站在线看中文版网页在线看| 九九自拍网| 香蕉人在线香蕉人在线 | 深情五月天| 婷婷五月天亚洲综合| 天天摸天天高潮天天爽| 色五月婷婷丁香婷婷| 婷婷激情五月天在线视频| 亚洲区,视频区,视频区免费| 97色在线视频| 亚洲天堂99| 婷婷色网站| www狠狠| 久久精彩综合视频| 欧美日韩成人在线| 9.1综合网| 思思热久久阴99| 九九精品在线视频观看| 激情婷婷五月久久| 丁香五月婷婷综合视频| 妻久久久久| 色婷婷成人在线| AⅤ色区| 午夜婷婷五月天在线| 伊人狠狠干| 国产VA亚洲VA96| 色七七色九九| 99色中文| 99热综合| 国产精品色情AAAAA片软件| 狠狠色噜噜狠| 婷婷久久女人| 久久香蕉丁香| 120分钟婬片免费看| 婷婷综合另类小说| 婷婷中文字幕| 国产SUV精品一区二区883| 日韩AV免费电影在线播放| 99欧美精品99日本精品| 激情性爱网站| 亚洲无码播放| 五月天激情网图片 - 百度| 亚洲99手机免费看视频| 丁香五月区| 99九九视频精彩在线| 综合色播| 中文字幕 中文字幕明步| 日比视频91| 九月色婷婷综合| 91九色在线| 2025中文在线视频字幕免费观看| 婷婷五月中文字幕国产| 噜噜在线| 日日夜夜干| 欧州婷婷五月天综合| 91精品综合久久久久久五月天| 久久99精品久久久久子伦| 丁香五月天导航| 色婷婷香蕉丁丁网| 九九热婷婷| 久久九九网| 开心婷婷五月综合| 99热播放| 五月婷婷婷婷婷婷艺术| 五月丁香六月婷婷激情网| 99热色精品| 2015在线中文字幕| 在线看片av| 婷婷五月天伊人网在线观看视频| 丁香五月婷婷五月天| 思思热在线观看| 啪啪五月婷婷| 性色欲情 网站| 99成人精品视频| 99这里只有精品|v| 亚洲区在线| www.狠狠| 五月色影院| 婷婷久草| 中文字幕激情综合| 丁香五月婷婷88在线| 啪色综合| www婷婷色| 色情五月丁香| 思思精品热在线| 日本五月婷| 人人操人人添人人摸97| 亚洲第一色色色| 99精品网| 国产一区二区av免费| 91人人网| 亚洲成人在线五月天| 色五月综合| 日91高清无玛| 日日夜夜天天爽| 99亚州综合精品成人网| 丁香色五月AV在线| 激情五月网站| 婷婷激情五月综合| 九九九午夜视频| 婷婷五月婷婷五月天| 久综合网| 激情五月丁香六月综合AVXXXX| 天天噪夜夜爽| 婷婷六月久久综合导航| 丁香九月激情久久| 麻豆五月丁香婷婷| 9l视频自拍9l九色成人| yellow视频在线观看91| 人人妻久久妻| 91丁香综合| 91蜜桃婷婷狠狠久久综合9色| 成人丁香五月| 五月美女婷婷风骚| 少妇日麻屄| 综合婷婷| 色哟哟精品| 日本欧美成人片AAAA| 色情网综合| 五月婷婷网久久| 狠狠操综合| 激情综合色网| 综合另类视频| 激情久久丁香| 久久狠狠干| 婷婷狠狠香蕉综合| 情涩婷婷五月天| 婷婷色情 | 激情精品久久| 另类小说五月天| 亚洲人妻AV| 91热在线| 色色色国产| 久9热视频| 久久综合色五月| 色欲一区二区三区精品A片| 婷婷五月天综合久久日| 精品99只有。| 九九成人电影婷婷| 激情综合网亚洲色图| 国产欧美日韩综合精品一区二区| 伊人青草成人| 成人片在线播放| 99精品视频免费在线播放| 久久久久er热| 丁香综合婷婷开心激情网| 久久激情视频| 九九99久久| 欧美精品18| 婷婷色五月婷婷姐妹| 综合久| 五月停停直播| 欧美三级巜人妻互换| www.日韩艹| 久久婷婷丁香花综合网| 99热这里只有免费| 久久综合香蕉国产国产蜜臀AV| 天天免费日日夜夜夜夜| 超碰免费人人肏| 九九九九这里只有精品| 久热99久热| 天天插天天干| 丁香五月区| 99A片| 婷婷区日本| 成人在线观看精品| 激情丁香六月| 热99精品视频| 色色色综合色| 色五月丁香婷婷综合| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 无码地址| 色欲一区二区三区精品A片| 五月丁香六月情婷婷久久| 碰碰碰97国产| 噜噜狠狠色综无码久久合欧美| 国产婷婷五月天| 色婷婷五月天在线观看| 色婷婷六月综合| 激情婷婷五月在线合集| 婷婷八月丁香激情综合| 特黄三级片| 天天综合网站| 新伍月婷婷| 欧美激情中文字幕| 五月丁香六月激情| 综合五月天婷婷色| 1024婷婷综合久久五月天| 天天操婷婷| 综合综合网| www91久久| 色色com| 五月天成人在线播放丁香| 成人色图情色成人网 www.5b5b5bcom 五月天 | 丁香五月婷婷综合精品素人| 青青草性爱视频| 99精日本久久| 永久免费视频| 婷婷五月色影视先锋| 色97啪啪| 激情深爱五月天| 九九无码视屏| 激情综合婷婷| 久婷婷视平| 亚洲无码成人| 九月婷婷丁香| 91丨九色丨熟女丰满| 激情六月天| 亚洲九九视频| www.激情五月天.com| 中文字幕av网站| 深爱激情五月网| 婷婷五月天美女视频| 中文字幕视频在线播放| 国产免费性爱| 婷婷九月丁香| 婷婷亚洲色| 色~性~乱~伦~噜| 熟女强人妻一区二区三区四区无| 91色色色18| 色丁香久综合在线久综合在线观看| 99热丁香五月| 99riav 亚洲| 啪啪激情网| 五月丁香六月婷婷亚洲视频| 丁香五月在线人妻| 欧美久人人| 办公室少妇激情呻吟A片在线观看| 蜜臀99精品| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 丁香五月婷婷激情小说| 五月天婷婷丁香人人操91| 激情五月天网站| 一本色道久久综合狠狠躁小说| 精品人妻伦| 九九婷婷综合| 色噜婷婷| 国产美女无遮挡裸体毛片A片| 射区导航| 天天搞天天色综合| 怡红院院在线导航网 | 色婷婷AV在线| 综合图区激情| 五月激情婷婷图片基地| 蜜桃婷婷狠狠久久| 97亚洲精品| 免费看欧美成人A片无码| 成人亚洲精品| 欧美激情VA永久在线播放| 婷婷五月综合在线视频| 亚洲小视频免费看| 91黄操| 综合色吧| 热久久婷婷| 玖玖99婷婷| 国产在线aaa片一区二区99| 91天天操天天干天天射| 深爱激情五月天| 天天日夜夜帕| 五月天婷婷成人资源站| 六月丁香基地| 97色在线| 97超碰人人操| 91精品人妻少妇无码影院| 激情五月婷婷丁香综合网| ..真实国产乱子伦对白在线_欧| 激情小说在线视频| 亚洲色综合| 婷婷色五月激情强奸四射| 色五月丁香婷婷在线观看| 午夜电影网VA内射| 热久久66| 五月天色婷婷小说| 思思热99er在线视频| 九九热色视频| 99久热在线精品| 久久XX| 亚洲激情四射| 日本色婷婷| 婷婷色中文字幕| 9191avse| 婷婷色丁香五月| 丁香五月综合激情啪啪| 六月婷欧美| 操日视频| 色碰碰| 91精品婷婷国产综合久久| 97操视频| 99婷婷| 激情5月舔| peg 2区三区四区的| 99久久黄色顶级视频| 多精窝99在线视频| a v色婷婷| 色色色色色色97| 俺去啦综合网| 开心五月深爱婷婷| 99热这里只有精品3| 色香欲综合| 超碰猛烈的性猛交| 99热这里只有精品1025| 91丨九色丨大屁股| 六月婷婷综合| 日日影院 | 激情98色婷婷五| 97热超碰| 五月丁香欧美综合| 99热啪啪| 天天日日天天| www.激情五月天| 五月婷婷激情五月| 久操无码| 婷婷综合网| 免费看欧美成人A片无码| www,奇米影视| 综合九九日本| 久久久性爱网| 久久欧洲久久| 亚洲综合色丁香五月天| 婷婷瑟瑟五月天| 伊人网碰碰| 丁香六月婷婷综合| 日本大人久久| www、丁香五月天| 亚洲综合网区| 五月天婷婷青青草| 日韩淑女人妻luan伦激情精品一区二 | 激情5月舔| 色天天综合成人网| 激情六月天| 婷婷久久久| 伊人大香蕉爱聚| 狠狠第四色| 秋霞午夜理论| 五月激情婷婷丁香| 97av在线视频| 久久97久久99久久综合欧美| 婷婷人妻激情| 激情五月天婷婷| WWW.99热| 综合另类视频| 中国丰满熟女A片免费观| 老师把我爽高潮了免费A片| 超碰99在线观看| 深爱丁香激情| 91色操| 五月开心播播网| 99久久视频| 丁香五月婷婷色五月| 色爱亚洲| 久久婷婷精品| 亚洲天堂有码| 第四色色六月色综合| 五月色色激情网| 天天干天天做| 成人在线视频男人的天堂4399| 九九热在线亚洲免费视频| 天天爱夜夜爽| 色综合婷婷| 五月丁香久久综合色| 五月天久久婷婷婷| 991精品在线视频| 久操欧美在线观看97| 婷婷爱爱蜜臀天天操| 少妇人妻凹凸视频| 欧美日韩999| AV中文字幕夜夜操b天天摸bb | 五月婷人妻| 先锋资源婷婷| www.色多多婷| 精品九九在线观看视频| 久久538| 思思9久久| 五月婷婷色色色| 天天插,天天射| 日本人妻伦在线中文字幕| 久久久五月婷婷| 激情色视频| 99精品视频在线观看| 欧美色宗和激情| 婷婷激情五月色综合| 亚洲精品久久久久久久久久吃药| 91啪啪网| 情久久综合五月天| 欧美内射AAAAAAXXXXX| 青青草原精品久久| 五月丁香六月婷婷的女人| 九九99久久| 色狠狠综合入口| 性天天中文网| 99国产精品白浆在线观看免费| 色婷婷69| 婷婷丁香社区| 天天热夜夜操| 欧美槡BBBB槡BBB少妇| 婷婷中文无码| 天天爽天天操| 亚洲综合碰| 怡红院院久久| 五月婷婷啪啪| 婷婷五月色| 久久久99免费视频| 天花AV无码| 国产色五月| 屁股翘好撅高迎合跪趴| 五月丁了香蕉综合| 五月丁香香蕉| 97人人做| 婷婷成人AV| 亚洲免费av观看| 亚洲成人人人操| aaaa久久| 热久久视频99| 色偷偷AV亚洲男人的天堂| 色5月婷婷| 99热都是精品| a片在线免费观看一区| 性生活视频98791| 欧美情色电影一区二区| 欧美五月丁香在线观看| 五月天婷婷久久| 婷婷激情五月| 激情五月婷婷网| 91性高潮久久久久久久久| 五月丁香激情综合啪啪| 玖玖精品婷婷| 天天干,夜夜爽| 九九超日本| 五月激情婷婷丁香| 成人VAV视频在线观看| www,99热| 五月婷婷黄| 26uuu精品国产| 熟美女麻豆| 色婷婷精品视频| 九九色大香蕉| 激情五月婷黄版| 五月天婷婷基地综合网| 五月天久久综合| 久99久视频| 激情五月天小说网| 婷婷五月天成人网| 久久五月天婷婷| 97涩涩丁香五月天| 色婷婷丁香花五月天| 亚洲精品小视频| 97综合视频在线| 五月天婷婷成人| 91久久综合| 91要啪| 思思热天天看| EEUSS鲁片一区二区三区| 激情婷婷五月色| www网站在线观看| 日婷婷久久开心| 天天干一干| 99ri视频| 国产又爽又猛又粗的视频A片| 五月激情婷婷六月丁香| 五月婷A V在线| 婷婷情爱五月天6| 青青草原亚洲天堂| 久久激情视频| 99aese| 五月婷婷色白丝| 天堂久久精品| 欧洲亚洲免费视频区| 狠狠精品干练久久久无码中文字幕 | 五月激情综合网| 天天操天天爱天天玩| 久久全色| 超碰91在线| 天天色综合色| 久久人视频| 婷婷月综合| 色色亚洲无码| 亚洲视频在线网| 色五月婷婷av| 第六色在线| 1024久婷| av九九| 丁香五月 六月婷婷首页| 奇米网大香蕉| 久操婷婷| 婷婷五月开心中文字幕在线| 婷婷久久五月天中文字幕在线观看| 丁香色色网| 东北婷婷五月天| 婷婷五月激情视频网| 久草五月| 精品色色色| 99视频久久| 天天做天天爱天天爽| 青草热视频这里只有精品| 精品网站:999WWW| 人妻丰满精品一区二区A片| 婷婷五月天在线观看| 久久婷婷激情五月天一区二区|