欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

條件擴(kuò)散模型合成病理圖像評(píng)估實(shí)戰(zhàn)

條件擴(kuò)散模型合成病理圖像評(píng)估實(shí)戰(zhàn) 之前在做病理圖像分類項(xiàng)目時(shí)最頭疼的不是模型結(jié)構(gòu)怎么選而是數(shù)據(jù)根本不夠用。醫(yī)院病理科收集的切片數(shù)據(jù)本身就需要專家逐張標(biāo)注標(biāo)注一塊 Tiles 往往就要耗費(fèi)大量時(shí)間再加上罕見(jiàn)病樣本稀缺、患者隱私保護(hù)嚴(yán)格想湊齊一個(gè)類別均衡的訓(xùn)練集非常困難。后來(lái)我們?cè)诜桨咐镆肓藯l件擴(kuò)散模型Conditional Diffusion Model做合成組織病理學(xué)圖像生成把類別標(biāo)簽當(dāng)成生成條件成功補(bǔ)充了低樣本類別下游模型效果也有明顯提升。這篇文章就把這套評(píng)估流程完整記錄下來(lái)包含原理講解、可運(yùn)行代碼、量化評(píng)估方法和常見(jiàn)踩坑總結(jié)希望對(duì)做病理AI、醫(yī)學(xué)圖像生成的朋友有幫助。1. 為什么需要生成合成組織病理學(xué)圖像1.1 病理AI的數(shù)據(jù)瓶頸組織病理學(xué)圖像是病理醫(yī)生診斷腫瘤類型、分級(jí)、判斷預(yù)后最重要的依據(jù)。在進(jìn)行全玻片掃描成像WSI后一張切片往往能達(dá)到數(shù)萬(wàn)像素甚至十億像素級(jí)別直接訓(xùn)練深度學(xué)習(xí)模型并不現(xiàn)實(shí)常規(guī)做法是先將其切分為 256×256 或 512×512 的 Tiles再針對(duì)這些 Tiles 做分類、分割或特征提取。但數(shù)據(jù)層面存在幾個(gè)難以繞開(kāi)的瓶頸。首先是隱私合規(guī)病理圖像涉及患者診斷信息直接跨機(jī)構(gòu)共享樣本需要經(jīng)過(guò)嚴(yán)格的倫理審批和數(shù)據(jù)脫敏流程。其次是標(biāo)注成本病理結(jié)構(gòu)與自然圖像差異極大判定一個(gè)組織區(qū)域是良性、惡性還是腫瘤浸潤(rùn)前沿往往需要多年經(jīng)驗(yàn)的病理醫(yī)生參與標(biāo)注費(fèi)用高、周期長(zhǎng)。第三是類別不均衡某些罕見(jiàn)病變類型在真實(shí)臨床數(shù)據(jù)里占比很低模型在訓(xùn)練時(shí)很容易被多數(shù)類主導(dǎo)對(duì)少樣本類別幾乎學(xué)不到有效特征。合成圖像生成技術(shù)成為緩解上述問(wèn)題的關(guān)鍵手段。通過(guò)生成模型構(gòu)造符合目標(biāo)類別分布的新樣本可以在不直接復(fù)用患者原始數(shù)據(jù)的前提下擴(kuò)充訓(xùn)練集為分類、分割、檢測(cè)等下游任務(wù)提供額外樣本。這類合成樣本不是簡(jiǎn)單的裁剪、翻轉(zhuǎn)、顏色抖動(dòng)而是從數(shù)據(jù)分布層面產(chǎn)生了全新圖像對(duì)提升模型泛化能力更有價(jià)值。1.2 為什么是條件擴(kuò)散模型過(guò)去幾年生成對(duì)抗網(wǎng)絡(luò)GAN是醫(yī)學(xué)圖像生成的主流方案尤其是 StyleGAN 系列在人臉和自然圖像上取得了很好的效果。但在病理圖像場(chǎng)景中GAN 存在訓(xùn)練不穩(wěn)定、模式坍塌、生成圖像紋理重復(fù)等明顯問(wèn)題。組織病理圖像有極強(qiáng)的形態(tài)學(xué)特征比如腺管結(jié)構(gòu)、核異型性、間質(zhì)纖維化一旦模型坍塌到少數(shù)幾種模式生成結(jié)果對(duì)整個(gè)訓(xùn)練集的補(bǔ)充意義就非常有限。擴(kuò)散模型Diffusion Model提供了一個(gè)更穩(wěn)定的生成范式。它的思路不是像 GAN 那樣直接讓生成器與判別器對(duì)抗而是先給真實(shí)圖像逐步加入高斯噪聲直到圖像幾乎完全變成噪聲再訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)逐步去噪從而恢復(fù)原始圖像。這個(gè)過(guò)程可以看作從目標(biāo)數(shù)據(jù)分布驅(qū)動(dòng)的噪聲還原訓(xùn)練過(guò)程相對(duì)穩(wěn)定生成質(zhì)量也更容易通過(guò)增加去噪步數(shù)來(lái)提升。無(wú)條件擴(kuò)散模型雖然能生成逼真圖像但無(wú)法控制生成類別這在醫(yī)學(xué)場(chǎng)景中很難直接用。條件擴(kuò)散模型則在噪聲預(yù)測(cè)網(wǎng)絡(luò)中引入額外條件信息比如類別標(biāo)簽、文本描述、圖像引導(dǎo)等。它解決了病理 AI 中非常核心的訴求我們不僅需要生成一張圖像更需要生成一張指定類別、指定病理特征的圖像。這也就是為什么在合成組織病理學(xué)圖像生成任務(wù)中條件擴(kuò)散模型逐步成為主流研究方向。1.3 本文評(píng)估方案與閱讀路線本文圍繞條件擴(kuò)散模型在組織病理學(xué)圖像生成中的評(píng)估展開(kāi)完整流程包括核心原理、數(shù)據(jù)預(yù)處理、基于 Diffusers 庫(kù)的最小實(shí)現(xiàn)、FID、IS、MS-SSIM 評(píng)估方法以及訓(xùn)練穩(wěn)定性和工程落地建議。如果你是剛開(kāi)始接觸擴(kuò)散模型建議先完整閱讀第 3 章原理部分再對(duì)照代碼運(yùn)行。如果已經(jīng)跑過(guò)相關(guān)實(shí)驗(yàn)可以直接跳到第 5 章看評(píng)估指標(biāo)再對(duì)照第 6 章常見(jiàn)問(wèn)題排查。整篇文章的代碼以 PyTorch 生態(tài)為基礎(chǔ)可以按你自己的數(shù)據(jù)集替換數(shù)據(jù)路徑和類別配置。2. 環(huán)境準(zhǔn)備與實(shí)驗(yàn)設(shè)計(jì)2.1 硬件與依賴環(huán)境訓(xùn)練擴(kuò)散模型對(duì)算力有一定要求。本文示例使用 128×128 分辨率和較淺的 UNet顯存占用約 6GB 到 12GB一張 NVIDIA GTX 3060 或更高顯存的顯卡可以完成訓(xùn)練。如果只有普通 CPU 環(huán)境也可以通過(guò)減小圖像尺寸、降低 batch size 跑通流程但生成質(zhì)量會(huì)受限制。跨設(shè)備訓(xùn)練時(shí)建議使用顯存 16GB 以上的 GPU或使用云 GPU 平臺(tái)。軟件環(huán)境以 Python 3.9 以上版本為基準(zhǔn)依賴庫(kù)包括 PyTorch、Diffusers、Torchvision、Accelerate、Tqdm、Pillow、Scikit-learn、OpenCV、Pytorch-FID 和 Torchmetrics。這里不固定具體版本號(hào)因?yàn)?PyTorch 和 Diffusers 迭代較快建議安裝時(shí)使用當(dāng)前穩(wěn)定版本。以下命令可以創(chuàng)建基礎(chǔ)環(huán)境pip install torch torchvision diffusers accelerate tqdm pillow pip install scikit-learn opencv-python pytorch-fid torchmetrics實(shí)際項(xiàng)目中版本需要根據(jù)你的項(xiàng)目環(huán)境調(diào)整。如果使用 Conda也可以先創(chuàng)建虛擬環(huán)境再安裝依賴避免與系統(tǒng) Python 環(huán)境沖突。2.2 項(xiàng)目結(jié)構(gòu)設(shè)計(jì)開(kāi)始寫代碼前先把項(xiàng)目結(jié)構(gòu)規(guī)劃清楚。本文采用以下結(jié)構(gòu)histo_diffusion_eval/ ├── config.py # 全局配置數(shù)據(jù)路徑、訓(xùn)練輪數(shù)、圖像尺寸 ├── dataset.py # 病理 Tiles 數(shù)據(jù)集加載與增強(qiáng) ├── model.py # 條件 UNet 構(gòu)建 ├── train.py # 訓(xùn)練入口 ├── sample.py # 條件生成采樣 └── evaluate.py # 評(píng)估腳本FID、IS、MS-SSIM這種按功能拆分的結(jié)構(gòu)便于復(fù)現(xiàn)實(shí)驗(yàn)也方便后續(xù)更換數(shù)據(jù)集或調(diào)整模型。配置集中在config.py中可以避免在多個(gè)文件里硬編碼參數(shù)。3. 條件擴(kuò)散模型原理與條件注入方式3.1 擴(kuò)散模型的核心過(guò)程擴(kuò)散模型由前向過(guò)程和逆向過(guò)程組成。前向過(guò)程是一個(gè)固定的加噪過(guò)程每一時(shí)間步都向圖像中添加少量高斯噪聲經(jīng)過(guò)足夠多步之后圖像近似變成標(biāo)準(zhǔn)高斯噪聲。若用 T 表示總時(shí)間步數(shù)通常取 1000則前向過(guò)程可以寫成從原始圖像 x? 出發(fā)逐步得到 x?, x?, ..., x_T。訓(xùn)練階段并不需要逐步迭代采樣擴(kuò)散模型的數(shù)學(xué)性質(zhì)允許直接根據(jù)任意時(shí)間步 t 計(jì)算出帶噪圖像。設(shè) α?_t 是噪聲調(diào)度器的累計(jì)系數(shù)隨機(jī)噪聲為 ε則帶噪圖像 x_t 可以表示為x_t sqrt(α?_t) * x_0 sqrt(1 - α?_t) * ε神經(jīng)網(wǎng)絡(luò)的任務(wù)是預(yù)測(cè)噪聲 ε。只要模型能準(zhǔn)確預(yù)測(cè)出當(dāng)前時(shí)刻添加的噪聲逆向過(guò)程就可以從 x_t 中減去預(yù)測(cè)噪聲逐步得到更接近原始圖像的 x_{t-1}最終從純?cè)肼曋羞€原出清晰圖像。這個(gè)方法被驗(yàn)證為穩(wěn)定的生成方案也是近年擴(kuò)散模型在圖像生成領(lǐng)域快速發(fā)展的基礎(chǔ)。3.2 條件信息的三種注入方式條件擴(kuò)散模型與無(wú)條件擴(kuò)散模型最大的區(qū)別在于去噪網(wǎng)絡(luò)需要額外接收條件信息。不同任務(wù)的數(shù)據(jù)形態(tài)不同條件注入方式也有區(qū)別。第一類是類別條件最典型的做法是把類別標(biāo)簽通過(guò)nn.Embedding映射成類別嵌入向量再在 UNet 的殘差塊中與時(shí)間嵌入向量相加引導(dǎo)每個(gè)特征層在去噪時(shí)保持對(duì)應(yīng)類別的語(yǔ)義。本文后續(xù)代碼使用的UNet2DModel支持通過(guò)class_labels參數(shù)傳入類別標(biāo)簽屬于這一類。第二類是圖像條件常用于圖像修復(fù)、超分辨率、分割引導(dǎo)等任務(wù)比如把低分辨率圖或掩碼圖與噪聲圖像在通道維度拼接或者通過(guò)交叉注意力機(jī)制讓網(wǎng)絡(luò)參考條件圖像的特征。這種方法在病理場(chǎng)景中也可以用于指定生成區(qū)域的形態(tài)結(jié)構(gòu)。第三類是文本條件常見(jiàn)做法是使用 CLIP 文本編碼器提取文本特征再通過(guò)交叉注意力層與 UNet 內(nèi)部圖像特征交互。這類方法在自然圖像生成中很流行但病理文本描述標(biāo)注成本高因此目前醫(yī)學(xué)圖像生成研究中使用類別條件和圖像條件的場(chǎng)景更多。本文的病理圖像生成屬于多類別組織分類場(chǎng)景適合使用類別條件。實(shí)際項(xiàng)目中如果數(shù)據(jù)集中包含病變區(qū)域分割掩碼也可以進(jìn)一步改成圖像條件讓模型生成指定區(qū)域的病理結(jié)構(gòu)。3.3 訓(xùn)練目標(biāo)與采樣要點(diǎn)條件擴(kuò)散模型的訓(xùn)練目標(biāo)非常簡(jiǎn)潔。給定干凈圖像 x?、類別標(biāo)簽 c、隨機(jī)時(shí)間步 t 和噪聲 ε模型輸出其對(duì)噪聲的預(yù)測(cè) ε_(tái)θ(x_t, t, c)損失函數(shù)采用噪聲預(yù)測(cè)與真實(shí)噪聲的均方誤差L E[ || ε - ε_(tái)θ(x_t, t, c) ||2 ]這個(gè)目標(biāo)函數(shù)不依賴對(duì)抗訓(xùn)練因此訓(xùn)練過(guò)程相對(duì)穩(wěn)定。需要注意的是時(shí)間步 t 應(yīng)該隨機(jī)均勻采樣讓模型學(xué)會(huì)在所有噪聲強(qiáng)度下都能正確去噪而不是只擅長(zhǎng)某幾個(gè)時(shí)間步。條件信息在訓(xùn)練時(shí)也不能總是參與否則模型會(huì)過(guò)度依賴條件導(dǎo)致無(wú)條件采樣時(shí)效果明顯退化。采樣階段可以使用 DDPM 調(diào)度器逐步去噪。DDPM 的采樣步數(shù)與訓(xùn)練步數(shù)一致速度較慢如果需要更快生成可以使用 DDIM 采樣器用更少的采樣步數(shù)達(dá)到接近的效果。實(shí)際項(xiàng)目中我通常先用 DDPM 完整采樣確認(rèn)質(zhì)量再調(diào)整為 DDIM 加速實(shí)驗(yàn)迭代。4. 完整實(shí)戰(zhàn)條件擴(kuò)散模型生成病理圖像4.1 數(shù)據(jù)集準(zhǔn)備與預(yù)處理本文代碼假設(shè)數(shù)據(jù)集目錄按類別組織每個(gè)類別一個(gè)子文件夾文件夾內(nèi)是已經(jīng)切好的病理 Tiles。Camelyon16、TCGA 等公開(kāi)組織病理數(shù)據(jù)集都可以作為實(shí)驗(yàn)來(lái)源但使用時(shí)需要核對(duì)數(shù)據(jù)授權(quán)協(xié)議按自己的科研或業(yè)務(wù)場(chǎng)景合規(guī)使用。切塊預(yù)處理通常包含以下幾個(gè)步驟從 WSI 中讀取組織區(qū)域過(guò)濾掉純白色背景和玻璃雜質(zhì)區(qū)域?qū)⒂行ЫM織區(qū)域切分為固定尺寸的 Tiles最后人工或基于已有標(biāo)簽完成類別標(biāo)注。對(duì)于快速?gòu)?fù)現(xiàn)實(shí)驗(yàn)可以先收集每類 200 到 500 張 Tiles數(shù)量不多但足夠驗(yàn)證完整流程。dataset.py中實(shí)現(xiàn)一個(gè)讀取本地病理 Tiles 數(shù)據(jù)集的Dataset類。它掃描根目錄下的子文件夾把類別名稱轉(zhuǎn)換成數(shù)字標(biāo)簽并返回圖像和標(biāo)簽。數(shù)據(jù)增強(qiáng)部分使用了隨機(jī)水平和垂直翻轉(zhuǎn)保持病理圖像的結(jié)構(gòu)語(yǔ)義不變。import os from PIL import Image import torch from torch.utils.data import Dataset from torchvision import transforms class HistologyTileDataset(Dataset): def __init__(self, root_dir, image_size128): self.image_paths [] self.labels [] self.class_names sorted(os.listdir(root_dir)) self.class_to_idx {name: i for i, name in enumerate(self.class_names)} for cls_name in self.class_names: cls_dir os.path.join(root_dir, cls_name) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): if fname.lower().endswith((.png, .jpg, .jpeg)): self.image_paths.append(os.path.join(cls_dir, fname)) self.labels.append(self.class_to_idx[cls_name]) self.transform transforms.Compose([ transforms.Resize((image_size, image_size)), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img Image.open(self.image_paths[idx]).convert(RGB) label self.labels[idx] img self.transform(img) return img, label這里把圖像像素歸一化到 -1 到 1 范圍與擴(kuò)散模型噪聲調(diào)度器的輸出范圍保持一致。如果你的數(shù)據(jù)集圖像不是正方形Resize會(huì)統(tǒng)一拉伸到指定尺寸實(shí)際項(xiàng)目中也可以考慮中心裁剪后再縮放減少形變影響。4.2 構(gòu)建條件UNet模型部分直接使用 Hugging Face Diffusers 庫(kù)提供的UNet2DModel它內(nèi)部已經(jīng)實(shí)現(xiàn)了時(shí)間嵌入、類別嵌入、殘差塊、注意力機(jī)制和上下采樣路徑。這樣可以在保持代碼簡(jiǎn)潔的同時(shí)使用經(jīng)過(guò)大規(guī)模實(shí)驗(yàn)驗(yàn)證的模型結(jié)構(gòu)。model.py中的構(gòu)建函數(shù)接收Config對(duì)象返回一個(gè)支持類別條件的 UNet。num_class_embeds對(duì)應(yīng)類別數(shù)量block_out_channels控制每一層的通道數(shù)sample_size需要與數(shù)據(jù)集中圖像尺寸一致。from diffusers import UNet2DModel def build_unet(config): return UNet2DModel( sample_sizeconfig.image_size, in_channels3, out_channels3, layers_per_block2, block_out_channelsconfig.block_out_channels, num_class_embedsconfig.num_class_embeds, dropout0.1, )如果想更深入理解條件注入機(jī)制可以在UNet2DModel的源碼中看到它把類別標(biāo)簽映射為嵌入向量并在多個(gè)殘差塊中與時(shí)間嵌入相加。這種做法可以有效引導(dǎo)生成過(guò)程讓不同類別的圖像在去噪階段逐漸分離開(kāi)來(lái)。config.py中統(tǒng)一管理所有參數(shù)這里給出一個(gè)可運(yùn)行的默認(rèn)配置import torch class Config: # 數(shù)據(jù) data_dir data/tiles image_size 128 num_classes 2 class_names [benign, malignant] # 訓(xùn)練 batch_size 16 num_epochs 100 lr 2e-4 weight_decay 1e-4 grad_clip 1.0 ema_decay 0.995 device cuda if torch.cuda.is_available() else cpu # 模型 block_out_channels (64, 128, 128, 256) time_emb_dim 256 class_emb_dim 128 num_class_embeds 2 # 擴(kuò)散 timesteps 1000 beta_start 1e-4 beta_end 0.02 # 采樣與評(píng)估 ddim_steps 100 sample_batch_size 16 ckpt_dir checkpoints4.3 訓(xùn)練循環(huán)配置訓(xùn)練過(guò)程包括加噪、噪聲預(yù)測(cè)、損失計(jì)算和參數(shù)更新四個(gè)核心步驟。train.py使用DDPMScheduler管理噪聲調(diào)度調(diào)用add_noise方法一步生成帶噪圖像然后用模型預(yù)測(cè)噪聲計(jì)算 MSE 損失。import os import torch import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import transforms from diffusers import DDPMScheduler from tqdm.auto import tqdm from config import Config from dataset import HistologyTileDataset from model import build_unet def train(config): device torch.device(config.device) dataset HistologyTileDataset(config.data_dir, config.image_size) loader DataLoader( dataset, batch_sizeconfig.batch_size, shuffleTrue, num_workers4, drop_lastTrue, ) noise_scheduler DDPMScheduler( num_train_timestepsconfig.timesteps, beta_startconfig.beta_start, beta_endconfig.beta_end, ) model build_unet(config).to(device) optimizer torch.optim.AdamW(model.parameters(), lrconfig.lr, weight_decayconfig.weight_decay) lr_scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxlen(loader) * config.num_epochs ) os.makedirs(config.ckpt_dir, exist_okTrue) global_step 0 for epoch in range(config.num_epochs): model.train() pbar tqdm(loader, descfEpoch {epoch 1}/{config.num_epochs}) for images, labels in pbar: images images.to(device) labels labels.to(device) noise torch.randn_like(images) timesteps torch.randint( 0, config.timesteps, (images.shape[0],), devicedevice ).long() noisy_images noise_scheduler.add_noise(images, noise, timesteps) noise_pred model(noisy_images, timesteps, class_labelslabels).sample loss F.mse_loss(noise_pred, noise) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), config.grad_clip) optimizer.step() lr_scheduler.step() optimizer.zero_grad() global_step 1 pbar.set_postfix(lossloss.item()) # 每個(gè) epoch 結(jié)束后保存一次 torch.save(model.state_dict(), os.path.join(config.ckpt_dir, fmodel_epoch{epoch 1}.pt)) if __name__ __main__: train(Config())訓(xùn)練中同時(shí)使用了余弦退火學(xué)習(xí)率調(diào)度和梯度裁剪這兩項(xiàng)對(duì)穩(wěn)定訓(xùn)練很有幫助。noise_scheduler.add_noise的第三個(gè)參數(shù)是隨機(jī)采樣的時(shí)間步不要固定成一個(gè)值。模型輸出的.sample字段才是預(yù)測(cè)噪聲這一點(diǎn)在使用UNet2DModel時(shí)需要注意。如果顯存較小可以調(diào)低image_size到 64 或 96或者減小batch_size。如果 GPU 利用率過(guò)低可以增加num_workers來(lái)加速數(shù)據(jù)加載。4.4 生成采樣與保存模型訓(xùn)練完成后使用DDPMScheduler的timesteps從 T 到 0 逐步去噪。每步將當(dāng)前時(shí)刻的帶噪圖像和類別標(biāo)簽輸入模型得到預(yù)測(cè)噪聲再調(diào)用調(diào)度器的step方法獲取去噪后的prev_sample。循環(huán)結(jié)束后即可得到生成圖像。import os import torch from torchvision.utils import save_image from diffusers import DDPMScheduler from tqdm.auto import tqdm from config import Config from model import build_unet def sample(config, class_label0, ckpt_namemodel_epoch100.pt): device torch.device(config.device) noise_scheduler DDPMScheduler( num_train_timestepsconfig.timesteps, beta_startconfig.beta_start, beta_endconfig.beta_end, ) model build_unet(config).to(device) ckpt_path os.path.join(config.ckpt_dir, ckpt_name) model.load_state_dict(torch.load(ckpt_path, map_locationdevice)) model.eval() labels torch.full( (config.sample_batch_size,), fill_valueclass_label, dtypetorch.long, devicedevice, ) x torch.randn( config.sample_batch_size, 3, config.image_size, config.image_size, devicedevice, ) for t in tqdm(noise_scheduler.timesteps): with torch.no_grad(): noise_pred model(x, t, class_labelslabels).sample x noise_scheduler.step(noise_pred, t, x).prev_sample # 從 [-1, 1] 轉(zhuǎn)回 [0, 1] 并保存 x (x 1) / 2 x torch.clamp(x, 0.0, 1.0) save_image(x, fgenerated_class{class_label}.png, nrow4) return x if __name__ __main__: config Config() sample(config, class_label0)生成的圖像可以保存為一個(gè)網(wǎng)格圖片肉眼檢查生成結(jié)果是否具備目標(biāo)類別的基本組織形態(tài)。后續(xù)定量評(píng)估時(shí)則需要把生成圖像批量導(dǎo)出到文件夾中作為 FID 等指標(biāo)的輸入。5. 量化評(píng)估與對(duì)比分析5.1 FID評(píng)估FIDFréchet Inception Distance是圖像生成任務(wù)中最常用的評(píng)估指標(biāo)之一。它先使用特征提取網(wǎng)絡(luò)提取真實(shí)圖像和生成圖像的高維特征再計(jì)算兩個(gè)特征分布之間的 Wasserstein-2 距離。FID 越低說(shuō)明生成圖像與真實(shí)圖像的分布越接近。對(duì)于病理圖像直接用 ImageNet 預(yù)訓(xùn)練的 InceptionV3 提取特征并不是最優(yōu)選擇因?yàn)?ImageNet 的自然圖像特征與病理圖像的形態(tài)特征差異很大。更合理的做法是使用病理圖像預(yù)訓(xùn)練模型作為特征提取器例如在 WSI 數(shù)據(jù)上訓(xùn)練的病理基礎(chǔ)模型。如果只是為了橫向?qū)Ρ炔煌赡P偷南鄬?duì)好壞使用通用的pytorch_fid實(shí)現(xiàn)也能得到一個(gè)有效的參考指標(biāo)。from pytorch_fid import fid_score real_dir data/real_images_class0 gen_dir data/generated_images_class0 fid_value fid_score.calculate_fid_given_paths( [real_dir, gen_dir], batch_size32, devicecuda, dims2048, ) print(fFID: {fid_value:.4f})計(jì)算 FID 時(shí)真實(shí)圖像和生成圖像最好保持相同的數(shù)量和預(yù)處理方式避免因分辨率不一致導(dǎo)致指標(biāo)偏差。生成圖像數(shù)量太少會(huì)帶來(lái)較大方差實(shí)際評(píng)估時(shí)建議每類生成 1000 張以上。5.2 IS評(píng)估ISInception Score從兩個(gè)維度衡量生成質(zhì)量清晰度和多樣性。它使用 InceptionV3 對(duì)生成圖像進(jìn)行分類如果每張圖像的類別預(yù)測(cè)置信度很高同時(shí)整體預(yù)測(cè)分布足夠分散IS 就高。IS 并不需要真實(shí)圖像作為參考因此計(jì)算簡(jiǎn)單但它對(duì)病理圖像的指導(dǎo)意義有限。病理圖像類別的定義與 ImageNet 類別完全不同高 IS 只能說(shuō)明生成圖像在自然圖像特征空間中可分和清晰不能說(shuō)明其病理學(xué)特征是否真實(shí)。所以建議在病理場(chǎng)景中將 IS 作為輔助指標(biāo)重點(diǎn)仍然看 FID 和下游任務(wù)性能。使用torchmetrics可以快速計(jì)算 ISimport torch from torchmetrics.image.inception import InceptionScore inception InceptionScore(splits10) # gen_tensors 是歸一化到 [0, 1] 的生成圖像 Tensor形狀為 [N, C, H, W] inception.update(gen_tensors) score, std inception.compute() print(fIS: {score:.4f} ± {std:.4f})5.3 MS-SSIM與下游任務(wù)評(píng)估FID 和 IS 主要從感知分布上評(píng)估生成質(zhì)量無(wú)法直接反映生成圖像內(nèi)部結(jié)構(gòu)是否合理。組織病理圖像有腺管、細(xì)胞核、間質(zhì)等結(jié)構(gòu)特征因此結(jié)構(gòu)相似性指標(biāo)也有一定參考價(jià)值。MS-SSIMMulti-Scale Structural Similarity Index Measure通過(guò)多尺度比較亮度、對(duì)比度和結(jié)構(gòu)信息衡量生成圖像與真實(shí)圖像之間的結(jié)構(gòu)相似程度。需要強(qiáng)調(diào)MS-SSIM 衡量的是兩幅圖像逐像素級(jí)別的結(jié)構(gòu)相似性它天然適合圖像修復(fù)、超分辨率類任務(wù)。在無(wú)條件生成任務(wù)中生成圖像和真實(shí)圖像本來(lái)就不應(yīng)該完全一致因此 MS-SSIM 更適合作為生成樣本與真實(shí)樣本之間是否出現(xiàn)大面積結(jié)構(gòu)崩壞的參考而不能作為唯一的生成效果指標(biāo)。實(shí)際使用建議分兩類分別計(jì)算比如良性和惡性 Tiles 各自比較避免混合類別導(dǎo)致指標(biāo)失真。更貼近業(yè)務(wù)價(jià)值的評(píng)估方式是下游任務(wù)評(píng)估。將真實(shí)數(shù)據(jù)加上生成數(shù)據(jù)混合訓(xùn)練一個(gè)病理圖像分類模型在獨(dú)立測(cè)試集上評(píng)估分類準(zhǔn)確率或 AUC。如果加入合成數(shù)據(jù)后分類效果有提升說(shuō)明生成樣本確實(shí)能夠補(bǔ)充有效信息。這也是很多醫(yī)學(xué)圖像生成論文使用的評(píng)估思路。最終評(píng)估報(bào)告建議同時(shí)包含生成質(zhì)量指標(biāo)和下游任務(wù)指標(biāo)結(jié)論更有說(shuō)服力。6. 常見(jiàn)問(wèn)題與排查清單6.1 高頻問(wèn)題匯總條件擴(kuò)散模型訓(xùn)練和評(píng)估過(guò)程中會(huì)遇到一些高頻問(wèn)題下面整理成表格方便對(duì)照排查。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路訓(xùn)練損失不下降學(xué)習(xí)率過(guò)大或過(guò)小、數(shù)據(jù)歸一化不一致調(diào)整學(xué)習(xí)率檢查圖像是否歸一化到 [-1,1]生成圖像模糊訓(xùn)練輪數(shù)不足、模型容量偏小增加訓(xùn)練輪數(shù)適當(dāng)增大 UNet 通道數(shù)類別條件失效生成結(jié)果與標(biāo)簽無(wú)關(guān)標(biāo)簽沒(méi)有傳入模型、類別嵌入維度過(guò)大導(dǎo)致過(guò)擬合檢查class_labels參數(shù)考慮類別條件 dropout顯存溢出batch size 過(guò)大、圖像分辨率過(guò)高減小 batch size降低分辨率使用梯度累積FID 偏高生成數(shù)據(jù)量少、評(píng)估特征提取器不匹配增加采樣量使用病理預(yù)訓(xùn)練特征提取器采樣時(shí)出現(xiàn) NaN學(xué)習(xí)率過(guò)高導(dǎo)致模型發(fā)散降低學(xué)習(xí)率使用梯度裁剪檢查 beta 配置訓(xùn)練速度非常慢UNet 注意力層計(jì)算量大使用小分辨率跑通減少block_out_channels6.2 訓(xùn)練不穩(wěn)定排查訓(xùn)練不穩(wěn)定是擴(kuò)散模型最需要注意的問(wèn)題。如果損失曲線出現(xiàn)劇烈抖動(dòng)先檢查學(xué)習(xí)率。擴(kuò)散模型一般使用 1e-4 到 3e-4 的 AdamW 學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致噪聲預(yù)測(cè)目標(biāo)震蕩。其次是檢查beta_start和beta_end配置是否合理默認(rèn)值適合絕大多數(shù)自然圖像任務(wù)自定義數(shù)據(jù)集也可以適當(dāng)調(diào)整。另一個(gè)常見(jiàn)問(wèn)題是條件信息在訓(xùn)練時(shí)分布過(guò)分集中。病理數(shù)據(jù)往往類別樣本量差異很大如果某個(gè)類別只有幾十張圖模型很難學(xué)會(huì)該類別的條件映射。一個(gè)簡(jiǎn)單做法是在訓(xùn)練時(shí)以一定概率比如 10%將類別標(biāo)簽隨機(jī)替換成其他類別或者使用條件 dropout讓模型即使丟掉條件信息也能保持一定生成能力這也有助于避免類別條件過(guò)擬合。采樣階段如果發(fā)現(xiàn)生成圖像中混有非目標(biāo)類別的結(jié)構(gòu)可以檢查采樣時(shí)傳入的class_labels是否與訓(xùn)練時(shí)的標(biāo)簽編號(hào)一致。num_class_embeds的編號(hào)是從 0 開(kāi)始的類別名稱排序過(guò)后的索引必須保持一致否則會(huì)生成錯(cuò)誤類別。7. 最佳實(shí)踐與工程建議7.1 數(shù)據(jù)工程建議病理圖像生成首先要重視數(shù)據(jù)質(zhì)量。原始 WSI 中大量區(qū)域是背景、玻璃、氣泡或邊緣陰影這些區(qū)域如果進(jìn)入訓(xùn)練集模型會(huì)把無(wú)意義紋理當(dāng)作病理結(jié)構(gòu)生成圖像就會(huì)包含大量無(wú)用區(qū)域。預(yù)處理時(shí)建議先分割組織區(qū)域過(guò)濾低對(duì)比度的空白 Tiles再用顏色歸一化降低不同染色方案帶來(lái)的色彩差異。類別劃分需要基于真實(shí)病理標(biāo)注不能只靠文件名約定。如果使用弱標(biāo)簽數(shù)據(jù)還需要額外處理標(biāo)簽噪聲。擴(kuò)展樣本時(shí)要避免同一張 WSI 的近鄰 Tiles 同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集防止數(shù)據(jù)泄漏導(dǎo)致評(píng)估虛高。對(duì)于小數(shù)據(jù)集先不要追求分辨率。可以用 64×64 跑通流程確認(rèn)模型能夠擬合訓(xùn)練集后再逐步提高到 128×128 或 256×256。過(guò)早使用高分辨率不僅訓(xùn)練慢排查問(wèn)題也會(huì)更困難
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天基地| 丁香五月婷婷啪啪啪| 国产午夜一区二区三区| 五月综合久久| 人人干人人干骚美女| 噜噜色天天开心| 婷婷精品| 五月熟妇婷婷久久| www.久久| 69精品人人人人| 五月丁香激情欧洲啪啪| 色你久久| 五月丁香婷婷色| 伊人久久丁香五月91| 一起操最新网址| 五月久久丁香| 色婷久久| 亚洲欧洲午夜成人精品av| 久碰久操| 大战熟女丰满人妻AV| 97人人草| 婷婷色五月激情| 一起草日本| 96五月丁香熟女| 久久丝袜婷婷| 婷婷va| 国产精品色色| 亚洲中文字幕在线观看| 无码人妻少妇色欲AV一区二区| 婷婷五月激情五月激情| 久久人妻系列| 久久激情五月| 九九热只有这里精品| 野战毛片三一3| av操一操| 99riAV成人在线视频| 婷婷综合在线播放| 丁香久久| 久久九九热视频| 色五月婷婷大| 伊人9999| 五月婷在线| 91免费试看| 丁香六月久久| 超碰国产AV| 久久久18| 欧美网站视频4399| 狠狠爱婷婷| 激情五月丁香亭亭| 色五狠狠| 97色色综合| 精品亚洲国产成AV人片传媒| 色五月婷婷激情基地| 九九热在线精品视频| 丁香六月毛片| 丁香花五月天| 91精品综合久久婷婷九色| 青青草搞屄视频网站| 五月天色裸体视频| 色欲久久综合| 久热91| 五月间天堂综合| 97人碰人操| 国产精品人成A片一区二区| 久久婷婷老| 色五月激情五月| 色噜噜97视频在线观看| 人人操操| 人妻精品久久久久久久| 丁香五月综合无码趴趴| 爆乳熟妇一区二区三区爆乳照片| 97色碰| 日韩av网站在线观看| 国产精品爽爽久久久久久| 99少妇精品| 91久久免费| 99人妻碰碰碰久久久久| 性做久久久久久久免费看| 色五月婷婷色五月| 九九婷婷网五月天| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 九九黄色网| 久久婷婷五月天蜜桃| 99色五月| 色情·com| 婷婷激情五月综合丁| 五月天大香焦| 久99综合婷婷| 五月天.com| 五月婷婷色色| 9热精品| 99热 这里只有精品 国产 日韩| 色婷婷久久久| 五月天激情小说| 丁香六月婷婷久久高清| 97五月天| 久久香视频| 99色精品| 午夜九九九九九九九九九九九九九| 久久久九九视频精品18| 97干视频| 99热这里| 五月天综合在线网| 狠狠操综合| www.热99热| 亚洲va欧美va国产综合久久久| 色色网91| 开心五月婷婷六月丁香| 思思99热这里只有精品| 欧美久人人| 色999五月色| 影音先锋偷偷色男人站| 亚洲深喉aV| 久久五月天网| 这里只有精品免费视频| 狠狠婷婷爱| 综合网视频| 九九爱精品网站| 色啪综合| 亚洲区视频| 99色免费观看全部| 丁香六月天婷婷色| 色色色色欧美| 综合婷| 五月婷婷久久内射| 亚洲综合视频网| 久久女婷| 丁香 亚洲 久久| WWW久久99久久99久久| 激情五月天视频| 久久婷婷亚洲| 日韩精品VIP| 亚洲精品色色色| 五月天成人小说| 黄色成人网站在线播放| 久久大大香| 思恩热国产视频右线观看| 激情图片亚洲| 欧美五月婷婷| 狠狠色综合网站久久久久| 五月丁香六月停停| xx久久| 五月婷婷激情综合拍| 天天综合五月| 综合一区二区三区| 桃色五月婷婷| 野战毛片三一3| 91精品综合久久婷婷九色| 天天激情站| 99re这里只有精品国产99| 热99视频| 九九热这里| 婷婷五月影院| www九月婷婷| 婷婷五月色情天| www.狠狠| 任你爽视频| 久久看婷婷| 丁香激情久久| 丁香五月第九色| 中文字幕性爱丰满| 久久3p| 色五月激情| 色香久久| 99精品无码| 337午夜福利| 欧美日韩成人h| 亚洲 小说 欧美 激情 另类| 久久人人九九| 男女免费视频999| 国产日韩欧美性爱| 日韩色色一区| 在线99热| 五月五婷婷| 99操逼| 91丨九色丨东北熟女| 五月天桃色深爱网| 丁香综合伊人AV| 久热伊人在91| 亚洲男女激情| 中文字幕 久久9999| 九九亚洲| 色色影院aaaav| 爱狠射| 成人短视频在线观看| 色五月激情五月开心五月| 亚洲成人网址在线观看| 丁香五月中文字幕久色| 色五婷婷在线视频| 六月婷婷狠狠色在线观看| 在线观看中文字幕| 天天色天天舔天天爱天天爽| 超碰狠狠操| 99这里只有精品在线| 99精品视频网站| 五月天狠狠网站| 婷婷五月丁香青青草在线| 伊人婷婷福利网| 任你爽精品免费视频6| 亚洲精品白浆高清久久久久久| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 日韩婷婷| 日本丁香五月| 丁香婷婷月| 丁香婷婷基地| 丁香五月中文字幕色播| 五月婷婷中文字幕| 狠狠五月激情丁香六月| 黄色热99| 996er热| 久月丁香爱婷婷综合| 狼人久草| 99性爱视频| 可以免费看av网站| 97碰久久| 操婷婷久久| 桃色五月婷婷| 亚洲日韩成人三级av| 久久一品区| 欧美久久婷婷| 97丨九色丨国产丨PORNY| 开心久久网婷婷| 婷婷天堂综合| 婷婷五月天干干| 99色1| 干亚洲天堂| 九色啦蜜臀| 日日噜狠狠色综| 色综合区| 日本片日本片祼观看网站在线看中文版网页在线看 | 婷婷久久女人| 欧亚成人A片一区二区| 丁香五月婷婷色情综合| 99热97| www.com在线操视频免费观看| 久久精彩视频99| 黄色片区子| 99乱视频| 丁香啪啪| 亚洲精级| 九月婷婷激情| 色婷婷瘦婷婷日韩| 99自拍网| 中文字幕黄色片| 婷婷国产日本欧美| 久久超级碰视频| 五月丁香六月激情| 欧美操我| 激情综合亚洲| 性爱在线播放av| 婷婷五月天激情在线观看| 9久久精品| 日本啪啪网| 深夜激情网| 五月天六月婷婷| 五月丁香综合中文| 色永久| 日日夜夜狠狠操| 丁香婷婷激情网站| 亚洲国产成人在线| 婷婷丁香五月亚洲| 99热精品在线在线| 琪琪色网址| 天天色综| 亚洲最大视频| 五月婷婷爽爽爽| 真实亲子乱子伦高清在线观看| 97人人射| 狠狠色婷婷7777久| 五月婷婷久久大片| 婷婷午夜丁香| 五月天色婷婷图片| 欧美日韩成人在线网| 欧美天堂婷婷日韩| 天堂中文国产| 伦乱美欧| 天天摸天天舔天天爽| 五月丁香六月香综合激情| 中文av在线观看| 99久久婷婷精品视频| 女人露出p毛视频www网站| 99超碰欧美| 99热99艹在线观看| 色婷久久| 五月婷婷综合激情| 碰超在线九色| 国产一级婬片毛片| 色狠狠综合网| 97综合视频在线| 天久久久久| 亚洲久热| 另类激情综合| 日韩国产在线精品| 久久免费干| Av九九| 99热在线中文字幕| 99热97| 丁香六月激情四射| 五月停停色| 天天天天天操| 大香蕉九九| 久草热久草在线视频| 性生活视频98791| 久久99精品视频| 国产精品天天狠天天看| 婷婷精品视频| 色99婷婷五月天| 婷婷 激情 五月| 777久久综合视频| 五月色网| 亚洲成人在线播放| 日本人人干| 色久女| 五月社区婷婷激情| 99热97| 97色啪| 五月婷婷丁香狠狠撸久久| 热99玖玖99玖玖99九九| 99人人爽| sS丁香五月婷婷| 五月天丁香久久| 热99色| 超碰97色| 五月丁香激情婷婷| 中文字幕成人日韩| 永久精品| 91九九热| 久久丁香五月婷婷| 亚洲综合婷婷五月| 欧美婷婷六月丁香综合色| 丁香五月 无码| 性生活久久人妻| 夜夜操狠狠操| 欧美性爱中文字幕| 欧韩性爱| 2025中文在线视频字幕免费观看| 五月婷婷婷综合网| 色五月综合资源推荐| 国产精品激情五月天色婷婷| 日日操人人操| 老师的粉嫩小又紧水又多A片视频| 五月丁香六月激情| 中文字幕五月久久婷婷| 婷婷五月综合在线| 亚洲乱码成人| 久久婷婷七月丁香| 亚洲天码视频www蛋播视频| 色五月综合激情| 五月丁香六月婷婷久久肏| 开心深爱激情网| 久久免费高| 五月婷婷狠狠干| 国产美女无遮挡裸体毛片A片| 五月天成人小说| 99性视频| 国产精品天天狠天天看| 99色视频| 另类图片色五月| 色婷五月天| 涩涩涩婷婷| 久草视频大香蕉99| www.操.com| Xx色综合| 不卡在线视频| 色色婷| 五月丁香美女| 国产精品久久久久久久久久免费 | 激情綜合W W W,激情五月天| 五月婷婷在线丁香| 四色女婷婷| 亚洲色区17| 深爱五月激情五月| www.久久| 久草热在线视频| 五月婷婷成人网首页| 天天干夜夜欢| 亚洲色色五月| 日日夜夜干| 五月天婷婷青青草| 看黄的网站18禁| 极品少妇高潮啪啪AV无码| 婷婷五月色惰| 翔田千里aV中文字幕| 五月丁香啪啪网| 中文字幕丰满乱孑伦无码专区| 一起肏在线视频| 久综合色| 国产AV一区二区三区日韩| 国产精品色| 热九九精品| 精品一二三区久久AAA片| 偷拍99在线视频观看| 99久久www| 五月丁香六月激情综合欧美| 婷婷五月天在线综合| 婷婷涩五月天综合| 人人爽人人射-美女久久久久久久久久-成人AV | 桃色五月婷婷| 久久久婷丁香五月| 五月婷婷中字在线| 五月丁香婷色| 日本婷婷综合精品| 九九伦子片| 思思久久99| 五月婷婷五月天亚洲无码| WWW.桔色成人.COM| 99热r| 国产精产国品一二三在观看| 97人人搞| 精品久久艹| 天天婷婷色六月| site:xiongshengzz.com| 婷婷性爱五月天| 97成人丁香婷婷| 97自拍99| 99热自拍| 91九色丨国产丨爆乳| 91欧美日韩综合| 激情五月亚洲| 国产午夜一区二区三区| 久久精品夜色噜噜亚洲a∨| 性做久久久久久久免费看| 婷婷五月天777| 激情综合丁香| 无码碰碰| 天干夜夜操| 五月天丁香成人社| 亭亭色色五月天| 六月婷婷综合| 亚洲色综合| 天天色综合天天| 婷婷久久天堂网| 99操| 成人免费在线电影| 激情丰满熟妇五月| 天天日,天天射,天天舔| 色综合99| 激情综合网激情五月天| 亚洲av成人一区二区电影在线| 亚卅毛片| 猫咪伊人久久| 色九九九综合| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 丁香六月色婷婷| 国产婷婷五月色情综合| 影音先锋日本三级资源| www.lchjjc.com| 亚洲天天操| 中文av在线观看| 青青草视频福利| 婷婷五月天激情在线| 97碰碰在线观看视频| 综合色视频| 激情五月天福利| 久热伊人在91| 超碰日韩人妻在线| 日本道久久91| 久久丝袜婷婷| 五月份婷婷| 天天日天天做天天操| 中文字幕无码人妻少妇免费视频| 亚洲精品第一国产综合亚AV | 婷婷综合在线| 五月激情网综合| 97精品人人A片免费看| 色吧综合网| 五月天婷婷成人网| 99色在线观看视频| 日日夜夜小色哥| 精品网站:999WWW| 丁香激情网| 婷婷丁香成人| 久热这里有精品视频| 免费无码毛片一区二区A片| 五月丁香va| 99区视频| 九热视频| 久久久久9999| YW无码| www一起操在线观看| 久久婷婷五月丁香网| 久久丁香五月天| 99久在线精品99re8| 丁香婷婷大香蕉| 日日干日日s| 天天射影视综合网| 青青夜夜狠狠夜夜狠狠| 激情五月丁香亭亭 | 五月丁香啪啪综合| 婷婷丁香基地在线| 久久99热这里只频精品6学生| 色婷婷视频| 操逼三区| www.五月天社区| 久久人妻久久| 丁香天堂夜| 99爱爱| 婷婷五月天视| 久久只有这里精品免费| 97日本操| 99精品热| 九九色色| 精品久色| 香蕉国产2013| 抽插特写| 人妻射精AV| 天天肏夜夜肏| 热久久视频99| 思思热在线| 99熟女| 激情五月综合| 九九色天堂| www.夜夜夜| 激情五月丁香色婷婷| 97色综合| 久久9精品| www、色色色| Aaa久久| 久久多色| 九九热免费视频| 丁香啪啪中文字幕| 超碰9| 激情综合色五月六月婷婷| 色婷婷在线视频| 国内一级精品| 九九精品免费| 一级内射毛片| 思思精品热在线| 婷婷丁香五月天激情四射| 99热这里只有精品96| 伊人婷婷色| 日本熟女一区二区| 中文人妻AV久久人妻18| 婷婷开心青青草| 国产无套精品一区二区| 亚州操操| 五月天婷婷社区| 五月婷婷综合在线| 久热久| 超级碰碰碰碰视频| 亚洲VA口| 激情丁香九九五月综合网| 先锋影音av色五月天资源站| 噜噜狠狠色| 五月婷在线| 人人操97| 丁香九月婷婷| 五月丁香五月天现场视频| 欧美成性色| 网色99| 色综合激情| 99r这里| 九九综合| 国产3p露脸普通话对白| 国产欧美精品AAAAAA片| 亚洲123区高清入口| 五月天激情四射| 97福利视频| 久热这里只有精品66| 六月婷婷综合久久| 91九色在线视频| 狠狠爱成人综合网| 天天爱天天做天天| 深爱五月月天| 91狠狠色丁香| 亚洲五月婷| 国产毛片精品一区二区色欲黄A片| 色色日韩无码| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 久久无码成人| 久久婷婷丁香五月一二三| 免费黄色视频网址| www.婷婷五月天| 99热 在线播放| 激情涩涩网| 久久这里有精品| 少妇被躁爽到高潮无码文| 婷婷99综合| 日本九九热| 91九色精品熟女内射| 9l视频自拍九色9l视频自拍九色9l社区| 九九九九九九九九九九九九九国产精品| 美欧成人视频| 色色网站免费在线视频| 久久婷婷五月综合色播| 99热9999| 五月激情天天干| 婷婷综合| 五月丁香在线婷婷美女| 99色性爰网络| 五月丁香A∨在线| 色五月播五月| 天天狠狠夜夜狠狠2023| 中文字幕视频色婷婷| 亚洲区,视频区,视频区免费| 激情网综合| 9精品视频在线观看| 亚洲无码黄色| 性av| 中文国产五月天| 五月婷婷丁香91| 九九99在线免费在线观看视频| 天天射夜夜骑| 婷婷五月丁香在线视频| 成人精品视频99在线观看免费| 日韩小视频在线99| 婷婷六月婷婷| 黄网免费观看| www.激情五月天com| 中文av网| 丁香五月婷婷激情视频播放| 日本久久精品18| 成人网在线视频| 97综合在线| 亚洲精品成人| 一个色的综合| 99小视频在线| 婷婷亚洲影院| 婷婷影院欧美| 亚洲精品网址| 丁香五月手机在线| 日日狠狠久久偷偷四色综合免费| 26uuu国产| 五月综合婷婷网| 免费无码毛片一区二区A片 | 婷婷99热| 婷婷月综合| 天天插操| 亚洲欧美在线观看| 色综合九九| 久久9视频欧美| 色五月婷婷九月| 万月丁香狠狠爱| 丁香色六月婷婷| 天天日夜夜曹| 色五月婷婷大| 99色一| 99精品网址| 日日夜夜久| 色吧婷婷| 伊人五月天97| 婷婷伊人综合| 热久久国产视频| 久久99这里只有精品| 99热这里只有精品最新| 五月草影视| 天天色综合综合| 色婷婷狠狠色| 毛片新网地| 九九婷婷五月天影视| 26uuu另类亚洲欧美日本一| 麻豆观看夏晴子| 欧美人与性动交CCOO| 五月丁香999| 欧美在线ee日韩| 色情五月综合婷婷| 96精品久久久久久久久| 91porn一起草| 色综合综合色| 伊人热婷婷| 99热这里只有精彩| av在线免费网站| 玖玖福利视频资源| 操人91| 99无码视频| 人人摸人人干| 亚洲传媒在线观看| 激情床戏| 精品国产va久久久久久久| 丁香五月天啪啪a日本| 黄网在线播放| 亚洲区视频| 五月婷婷中文字幕| 九九热视频在线观看| 婷婷色丁香六月| 婷婷激情社区| 五月花丁香婷婷| 天色色综合网| 123草逼网| 九九热这里只有精品556| 色婷婷亚洲六月婷婷中文字幕| 黄色五月婷婷| 久草大| 五月色俺婷婷| 香焦网五月天| 五月丁香六月香香蕉| 婷色五月天| 激情综合色婷婷啪啪五月天| 丁香五月婷婷啪啪| 9 大屁股在线视频精品| 免费看欧美成人A片无码| 5月丁香婷婷| 伊人狠狠操| 欧美婷婷综合| 五月婷护士| 婷婷综合激情| 天天日天天爽| 五月天婷婷偷拍| 91chinese在线| 99热精品超碰| 色区久久| wwwxxx五月婷婷小说| 色人久久| 91九色偷拍| 久久人视频| 五月天婷婷色播在线网| 色五月婷婷开心| 婷婷五月六月激情| 99激情| 色婷婷色99国产综合精品| 17.c黄色| eeuus五月婷| 98色丁香五月婷婷综合网| 日韩av在线电影| 五月天激情国产综合婷婷婷| 99热这里只有精品99| 五月婷在线色视频| 九九综合久久| www.henhenl| 五月丁香综合激情网| 久久女人天堂| 色久综合| 五月婷婷97| 五月婷婷六月丁香激情综合网| 国产精品人成A片一区二区| 91狠狠综合久久久久久| 99热精品在线| 欧美在线ee日韩| 狠狠色狠狠鲁| 色综合久久88色综合天天看| 梁铮版蜘蛛女在线观看| 99re思思热在线视频| 91精品久久久久久久| 国产ava| 五月天综合在线网| 日韩色五月| 色色色五月天婷婷| 91小黄书网址在线观看| 操操操操操电影网| 精品夜夜澡人妻无码AV| xxxx五月天色色| AAAA网站| 色色五月综合| 欧美97色| 天天拍久久| 丁香五月婷婷性爱| 97日在线视频| 亚洲不卡| 综合五月草| 色综合五月天| 99超在线| 9国产在线视频| 开心亚洲久久开心| 久久97久久99久久综合欧美| 日韩精品AV一区二区三区| 狠爱婷色| 五月丁香六月婷婷久久| 九九九九操逼| 色A网| 成人看片网站| 色婷精品91| 深爱激情五月网| 丁香五月婷婷色综合基地| 五月婷婷免费在线观看| 色婷婷电影网| 就要爱综合| 婷婷五亚洲| 激情五月婷婷在线区| 国产精品国产| 色五月丁香一区在线| 五月天激情久久| 婷婷五月18永久免费网站| 思思re99视频在线观看| 丁香成人五月天| 色激情综合| 五月婷婷成人| 这里只有久久精99| 欧洲婷婷五月天| 久草婷妨| 亚洲男女激情| 五月婷婷开心爱| 人妻无码精品一区| 91丁香色五月| 在线视频另类| 婷婷丁香久久五月综合| 激情丁香五月婷婷| 天天日P天天射P| 六月激情婷婷| 色99热| 欧美内射AA| 色很久综合| 久9视频| 亚洲国产色婷婷| 日韩专区五月天婷婷丁香| 欧韩性爱| 人人爽欧美婷婷久久久五月丁香| 草做免费在线观看| 伊人婷婷综合| 1024AV视频| www九九免费视频| 欧美婷婷五月激情| 99碰碰| 婷婷激情五月天小说校园| 亚洲精品激情| 五月天婷婷一起草| 影音先锋男人AV资源站| 99热婷婷| 免费观看2018www黄色操逼网站| 久久久久久草黄色片AV在线观看| 五月天伊人| 成人综合视频网址| 色色婷| 五月婷婷之综合激情在线| 玖玖在线| 九月激情综合婷婷| 亚洲久艹| 亚洲影院婷婷色| 婷婷丁香红五月91C| 深爱网深爱综合网| 久久丁香五月天| 99色热视频| 狠狠搞五月天| 五六月婷婷久久| 色婷婷六月| 99这里有精品| 婷婷综合激情| 99久久99热这里只有精品| 丁香五月狠狠综合欧美| 欧美内射AAAAAAXXXXX| 五月天伊人av| 色狠狠综合| 五月停停色色丁香| 4438成人电影| 丁香六月| 亚洲欧洲国产精品| 99福利导航| 人妻九九九九| 欧美色99| 成人色站,在线视频,看片-SS1AV| 五月婷婷丁香| 日本婷久久| 丁香婷婷久久激情| 中文不卡一二区| 五月天四色房丁香| 色五月天综合网| 大香蕉啪啪啪| 丁香五月激情棕合| 金桔一区二区ab地址| 囯产精品久久欠久久久久久九大| 26UUU一区二区| 亚洲六月婷婷| 99热| 无码操B| 四虎成人精品永久免费AV九九| 午夜日韩久久久网站| 亚州美女| 另类小说五月天| 99ri视频在线播放| 99久在线视频| 99视频| 在线看AV| 天天干,夜夜爽| 婷婷成人视频| 天堂AV在线看| www,com,五月色色| 久久99热这里只有精品| 婷婷九色| av第一二区| 我爱大香蕉| 51成人| 开心婷婷五月天综合| 亚洲V国产V欧美V久久久久久 | 六月丁香激情综合网| 久热免费| 色情五月停停丁香| 日日撸夜夜操| 丁香影院五月综合| 国产成人AV| 青青久久91| 9精品视频在线观看| 欧洲色色| 91人人爽久久涩噜噜噜| 99热这里只有精品50| 日本99久久| 激情影院免费视频婷婷五月天| 日韩啪啪视频| 五月天中文网| 人人操人人看97干| 欧美激情综合色综合啪啪五月| 七月丁香五月婷婷在线| 99热啪啪| 亚洲 六月 综合| 99久久成人| 久久99网址| 日本三久久| 艾小青av| 开心五月天激情网| 大香伊人久色| 丁香五月香蕉在线| 欧日美女Va| 欧美色五月天| 色色亚洲无码| 婷婷香五月天| 五月天婷婷AV| 99r这里| 玖玖在线视| 国外亚洲成AV人片在线观看| 97色色色视屏| 久久欧洲综合网| 五月天色社区| 99碰网站| 99热精地址| 9久久狠狠的| 亚洲无码免费看| 99热在线播放精品| 天海翼中文字幕高| 五月婷三级片| 91婷婷视频| 亚洲综合五月天| 色五月琪琪| 色婷婷基地| 激情伊人五月天| 色久综合| 九九碰九九爱97| 深爱婷婷基地| 激情综合亚洲| 91超碰在线观看| 99玖玖免费视频| 亚洲天堂啪啪| 五月伊人网| 丁香五月另类色婷婷麻豆| 五月丁香在线| 色天使色婷婷| 色婷婷免费观看| 九九热超碰| 97色色色| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 婷婷丁香五月天激情| 色狠狠色| 国产亚洲色婷婷久久99精品91| 五月激情婷婷色| 99福利导航| 六月婷婷五月丁香首页| 日韩人妻无码精品| 99久久婷婷国产综合精品草原| 直接看的AV| JlZZJlZZ8JlZZ亚洲熟女| 婷婷五月,偷窥偷拍网| 激情深爱婷婷网| 99精品在这里| 久草嫩草在线观看| 91凹凸在线| 在线观看熟女少妇| 在线视频九色97| 毛v一区二区视频| 婷婷丁香五月天影院 | 国产婷婷五月色情综合| 毛片色五月| 337p大胆噜噜噜噜噜91Av| 丁香六月激情| WW婷婷五月天com| 免费操超碰| 激情五月四色| 新97人人上人人| 91九色PORNY肉丝在线| 午夜福利8055| www.久久久.com| 色欲五月婷婷| 五月丁香六月| 色色婷婷色色| 人妻操操色| 色丁香五月天| 国产精品美女久久久久AV超清 | 色综合激情图区| www.婷婷五月| 日韩精品无码AV| 色婷婷基地在线| 91超级碰| 538任你爽视频不一样的| 色情五月综合婷婷| 色婷婷中文| 最新热中文字幕| 深爱五月天 开心网| 五月丁香六月香综合激情| 91色综合网| 亚洲乱码日产精品BD| 亚洲99热| 在线99热| 91久久| 日本色色网| 五月丁香啪啪啪啪| 色婷婷久久综合久色综| 91超级碰碰碰| 日韩在线99| 精品国产va久久久| www.五月婷婷久久.com| 五月丁香婷婷色| 五月色影院| 亚洲五月情| 色五月婷婷婷婷婷婷婷婷婷婷| 91人妻PORNY九色大屁股| 永久天堂日本| 激情综合丁香五月| 久热丁香| 激情综合网五月婷婷| 丁香五月WWW| 伊人网碰碰| 99视频在线| 亭亭玉月丁香| 激情开心五月天婷婷基地丁香社区| 丁香色色网| h亚洲| 99啪啪视频| 5月丁香综合网| 爱操人妻| 亚洲欧洲99| 99色嘟嘟精品网站| 激情网婷婷五月天| 99啪啪视频| 丁香久久在线| 亚洲六月色| 婷婷激情小说网| 中文字幕 码精品视频网站| 激情丁香五月AV| 五月天成人小说| 色99在线观看| 九九精品视频在线观看| 日韩中文字幕| 婷婷成人丁香色情基地30| 99色免费观看全部| 97操碰在线视频| 欧美顶级少妇做爰HD | 五月色亚洲| 五月丁香六月婷婷视频| 日逼AV影音先锋男人资源站| 久久99热 这里有精品| 97人人干| 日本久久人| 亚洲婷婷五月天激情综合| 日韩999| 五月天婷婷人妻| 俺来也综合网精品一区| 久久人妻精品| 久久色亭亭五月天| 79精品视频| 五月丁香大香蕉| 国产熟妇乱子伦hd| 神马欧美精| 就爱操www com| 日本在线va| www.色综合| 99热大| Www99热| 午夜青草资源| 婷婷五月天电影在线| 丁香色六月婷婷| 欧美丁香五月| 亚洲亚洲人成综合网络| 午夜天堂一区人妻| 综合九九久久| 五月丁香啪啪啪免费看| 色色色色欧洲| 午夜国产精品AV在线播放| 99热最新网址| www.99日本| 成人综合网站| 亚洲色频| 热99精品视频观看| 99在线视频精品| 五月天天综合| 久久9精品视频| 五月丁香啪啪综合| 狠狠狠狠狠草| 成人视频网| 久久大香蕉伊人| 91日韩美女被插视频| 丁香色综合| 五月婷婷人人人操| 日本色色图| 热99精品视频五月| 婷色五月天| 综合99久久| 亚洲另类在线观看| 97人人干人人操| 99原创自拍视频在线观看| 亚洲天堂爱爱| www.99视频| 久久综合婷婷| 1024亚洲无码| 久久久久视剧HD| 丁香五婷| 色情五月婷婷| 嫩草AV久久伊人妇女超级a| 非洲一级AV| 久久九九热re6这里有精品| 97人人干人人操| 五月激情小说| 午夜亚洲AV日韩无码| 99A片| 欧美久热| 婷婷情色五月| 伊人碰碰碰| 精品少妇蜜臀91| 激情综合网激情五月天| 99人人操人人摸| 午夜婷婷五月天在线| 狠狠色狠狠鲁| 久久伊人五月天| 99热66| 亚洲欧美成人在线观看| 丁香九月激情| 久久女人九九| 婷婷丁香午夜综合影视| 精品思思久久| 五月天性色| 手机旧版看人妻1025| 丁香色五月天| 97干在线视频| 看逼中文字幕| 亭亭色色五月天| 婷婷爱五月天人人爱| 色五月激情基地| 99ri在线观看视频| 无码少妇高潮喷水A片免费| 色婷婷小说| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 丁香婷婷综合激情五月色| 婷婷丁香五月激情图片| 成人欧美Va| 激情五月小说婷婷| 99精品视频偷拍| 九九无毛| 中文无码婷婷| 天天射色五月天| www.夜夜操.com| 丁香婷婷91在线观看视频| 婷婷五月天丁香久久| 九九综合网色全集| 丁香成人色情五月天| 99色婷婷视频| 97久久婷婷色| 97人人操| 久久伊人五月天| 好吊丝aV| 操婷婷久久| 色999;丁香五月| 亚洲VA在线| 玖玖九九超碰| 丁香五月AV| 亚洲五月天综合| 中文字幕无码成人电影| 日日鲁鲁夜夜爽爽| 久久久九九九 99| 久99| 综合色五月| 深情六月婷婷综合久久| 久久婷婷激情| 99er6热在线观看精品6| 婷婷欧美| www.五月天婷婷姐姐| 五月天社区婷婷| 9l视频自拍九色9l视频自拍九色9l社区 | 日韩综合久| 99精品网| 超碰人人操人人干| 另类小说五月天| 色综合色婷色基地| 九九综合伊人| 狠狠看狠狠| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷久久综合久| xxx日本东京热| 青柠影视免费高清电视剧| 婷婷五月天AV在线| 久久性爱视频| 久久 婷婷 五月天| 91一起操| 色婷婷丁香五月丁香| 五月婷婷天堂| 激情五月开心五月在线视频| 激情婷婷六月天| 91丨九色丨白浆秘| 丁香五月激情网| 国产VA亚洲VA96| 激情综合5| 五月综合久久| 99热啪啪| 国产精品涩涩涩视频网站| 深爱五月日韩| 五月婷婷之六月丁香| 手机在线日韩视频中文字幕| 日本欧美成人片AAAA| 开心五月婷| 五月天免费色| 激情5月婷婷狠狠干| 亚洲啪啪自拍| 欧美日韩123| 99在线资源| 亚洲成人人人操| 五月婷婷丁香av| 丁香婷婷久久综合在线| www.久久爱| 在线中文av| 婷婷五月天丁香| 亚洲午夜精品久久久久久人妖| yjzz亚洲国产| 婷婷五月天综合久久日美女| 丁香婷婷色五月激情综合| 婷婷丁香五月综合网上| 超碰日日操| 成人视频一区| 亚洲中文字幕av| 婷婷丁香激情综合色情| 欧美成人性爱网| 99成人网站| XX久久| 成人一区在线观看| 亚欧州精品视频| 青草激情在线| 在线视频另类| 四月婷婷五月丁香| av在线资源| 青青草深爱激情网| 五月激情婷婷丁香天堂| 米奇影视五月天| 襙逼网| 天天做天天爱天天要| 天天综合久久| 日日激情网| 久99在线视频| 九九99久久| 婷婷丁香久久网| 丁香五月天电影| 激情综合网五月婷婷| 九九热这里只有精品31| 色色色婷婷五月天| 六月激情婷婷综合| 国产97色在线 | 日韩| www.狠狠| 青青草tp| 五月天另类激情在线| 女人天堂 AV| 久久人妻熟女一区二区| 激情四射网| 青青草原亚洲天堂| 久久宗合影| 97资源欧美日韩大香蕉超碰一区| 婷色五月| 午夜天天精品视频| 99热传媒| 99热久久日本| 久99视频在线观看| 99热99ai| 丁香五月激情澎湃一区| 五月丁香亚洲校园欧美| 九九九干精品| 97超级碰碰碰| 久久五月网| 99er在线观看| 区区欧美你爱| 六月天六月婷| 婷婷 月 丁香| 天天精品视频免费观看| 激情综合网激情五月欧美| 91精品婷婷国产综合久久| 丁香 亚洲 久久|