欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

GAIN缺失值填補(bǔ)實(shí)戰(zhàn):基于TensorFlow的生成對(duì)抗網(wǎng)絡(luò)完整實(shí)現(xiàn)與調(diào)優(yōu)

GAIN缺失值填補(bǔ)實(shí)戰(zhàn):基于TensorFlow的生成對(duì)抗網(wǎng)絡(luò)完整實(shí)現(xiàn)與調(diào)優(yōu) 簡(jiǎn)介基于生成對(duì)抗網(wǎng)絡(luò)的缺失數(shù)據(jù)填補(bǔ)方法完整實(shí)現(xiàn)面向機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等方向的開發(fā)者與研究者適用金融、醫(yī)療、傳感等多領(lǐng)域數(shù)據(jù)預(yù)處理場(chǎng)景。以TensorFlow作為后端深度學(xué)習(xí)框架實(shí)現(xiàn)了GAIN、SGAIN、WSGAIN-CP、WSGAIN-GP四種主流對(duì)抗填補(bǔ)模型完整代碼與十個(gè)標(biāo)準(zhǔn)評(píng)估數(shù)據(jù)集一同打包在6.72MB的zip壓縮包內(nèi)。壓縮包共28個(gè)文件除7個(gè)Python源碼文件分別承擔(dān)模型構(gòu)建、訓(xùn)練流程與數(shù)據(jù)裝載外還包含10個(gè)CSV格式的數(shù)據(jù)集、XML工程配置文件、說明文檔以及緩存文件目錄劃分清晰便于直接運(yùn)行、修改與二次開發(fā)。目前已有1778人學(xué)習(xí)下載特別適合需要對(duì)比不同對(duì)抗填補(bǔ)機(jī)制、完成論文復(fù)現(xiàn)或課程設(shè)計(jì)的研究者使用。從說明文檔、主程序到模型定義用戶可快速定位入口基于自帶數(shù)據(jù)進(jìn)行實(shí)驗(yàn)也可替換自有數(shù)據(jù)集開展驗(yàn)證。 做數(shù)據(jù)分析和機(jī)器學(xué)習(xí)建模的人大概率都躲不過數(shù)據(jù)處理這個(gè)坎。尤其是拿到一批數(shù)據(jù)發(fā)現(xiàn)里面不是這里空一塊、就是那里缺一截這時(shí)候最簡(jiǎn)單的辦法是刪行或者用均值填一下但稍微有點(diǎn)追求的人都會(huì)猶豫刪掉太浪費(fèi)均值填補(bǔ)又太粗暴萬一把變量之間的關(guān)系搞壞了后面的模型效果直接崩。這幾年我一直在折騰各種缺失數(shù)據(jù)填補(bǔ)方案從統(tǒng)計(jì)插補(bǔ)到多重插補(bǔ)都用過直到接觸到基于生成對(duì)抗網(wǎng)絡(luò)的缺失數(shù)據(jù)填補(bǔ)方法GAIN才發(fā)現(xiàn)原來這個(gè)老問題還能用生成模型來解而且效果確實(shí)能打。GAIN全稱是Generative Adversarial Imputation Nets最早由Jinsung Yoon等人提出本質(zhì)上是把生成對(duì)抗網(wǎng)絡(luò)的思想遷移到缺失值補(bǔ)全場(chǎng)景中。我用TensorFlow復(fù)現(xiàn)了一遍完整版本跑通了訓(xùn)練、評(píng)估到落地應(yīng)用的整套流程過程中踩了不少坑也積累了一些經(jīng)驗(yàn)。這篇文章就把整個(gè)實(shí)現(xiàn)思路、關(guān)鍵代碼、訓(xùn)練細(xì)節(jié)和排查技巧完整記錄下來想折騰缺失數(shù)據(jù)填補(bǔ)的朋友可以直接參考這版實(shí)現(xiàn)去改。1. 內(nèi)容整體設(shè)計(jì)與思路拆解1.1 為什么普通填補(bǔ)方法不夠用偏偏要上生成對(duì)抗網(wǎng)絡(luò)先聊一個(gè)最基礎(chǔ)的問題為什么均值填補(bǔ)、中位數(shù)填補(bǔ)、前向填充這些方法不夠用不是說它們完全不行而是它們有一個(gè)共同的致命弱點(diǎn)——沒有充分挖掘特征之間的關(guān)聯(lián)關(guān)系。比如一個(gè)用戶表里年齡和收入有相關(guān)性如果只拿全局均值去填缺失的年齡等于把這種相關(guān)性抹掉了模型后續(xù)學(xué)到的模式就會(huì)變形。多重插補(bǔ)MICE好一些能利用其他特征去預(yù)測(cè)缺失值但它本質(zhì)是回歸思路對(duì)特征間復(fù)雜的高維非線性關(guān)系捕捉能力有限。而生成對(duì)抗網(wǎng)絡(luò)的思路完全不一樣。它不直接預(yù)測(cè)缺失值而是讓一個(gè)生成器去學(xué)著造假數(shù)據(jù)另一個(gè)判別器去分辨哪些是觀測(cè)數(shù)據(jù)、哪些是填補(bǔ)數(shù)據(jù)兩邊互相博弈、互相進(jìn)步。放到缺失數(shù)據(jù)填補(bǔ)這個(gè)場(chǎng)景里生成器拿到的任務(wù)是針對(duì)缺失的位置生成盡可能真實(shí)的數(shù)值騙過判別器。判別器不僅要判斷整個(gè)樣本是否真實(shí)更關(guān)鍵的是要學(xué)會(huì)判斷哪個(gè)位置的值是被填出來的。兩邊的博弈結(jié)果就是生成器被迫學(xué)習(xí)到了整個(gè)數(shù)據(jù)集的分布規(guī)律填出來的值自然比簡(jiǎn)單插補(bǔ)更符合特征間的關(guān)系。1.2 GAIN的核心結(jié)構(gòu)拆解生成器、判別器和提示機(jī)制GAIN和普通GAN最大的區(qū)別在于它的數(shù)據(jù)形態(tài)和博弈方式都有調(diào)整。標(biāo)準(zhǔn)GAN處理的是圖像那種完整數(shù)據(jù)而GAIN面對(duì)的是帶缺失的表格數(shù)據(jù)。它的整體結(jié)構(gòu)包含三個(gè)關(guān)鍵組成部分生成器Generator、判別器Discriminator還有一個(gè)很多人第一次看容易忽略的提示機(jī)制Hint Mechanism。生成器接收兩部分輸入一部分是帶有缺失值的數(shù)據(jù)缺失位置先用0或者其他占位值填充另一部分是隨機(jī)噪聲向量用于給生成過程引入隨機(jī)性。生成器的輸出是一個(gè)完整的填補(bǔ)后數(shù)據(jù)但只對(duì)缺失位置的數(shù)值生效。判別器接收的是生成器補(bǔ)全后的完整數(shù)據(jù)以及提示向量輸出的是一個(gè)掩碼預(yù)測(cè)結(jié)果——也就是說它要判斷數(shù)據(jù)中每個(gè)位置的值到底是真實(shí)觀測(cè)值還是被生成的填補(bǔ)值。提示機(jī)制是GAIN的精髓所在。它按一定概率把真實(shí)的掩碼信息泄露給判別器這樣判別器才能在訓(xùn)練初期有足夠的信息去區(qū)分真假。如果沒有提示機(jī)制判別器幾乎無法判斷哪些值是真實(shí)觀測(cè)值訓(xùn)練過程容易失控。實(shí)現(xiàn)中提示向量的生成邏輯是每個(gè)缺失位置按概率保留真實(shí)掩碼值1表示缺失0表示觀測(cè)其余位置用0.5填充作為模糊信號(hào)。這個(gè)設(shè)計(jì)初看不復(fù)雜實(shí)際訓(xùn)練中卻直接影響收斂速度和最終填補(bǔ)質(zhì)量后面我會(huì)詳細(xì)說參數(shù)怎么調(diào)。1.3 為什么瞄準(zhǔn)TensorFlow版本做完整實(shí)現(xiàn)現(xiàn)在說起深度學(xué)習(xí)框架PyTorch和TensorFlow的討論度都很高各有各的生態(tài)。我這次選擇TensorFlow版本首要原因是GAIN原版論文就是基于TensorFlow實(shí)現(xiàn)的官方代碼也是TF架構(gòu)直接還原TensorFlow版本更容易和原論文的參數(shù)設(shè)置對(duì)齊。另一個(gè)原因是TensorFlow在部署環(huán)節(jié)確實(shí)方便訓(xùn)練好之后導(dǎo)成SavedModel或者用TensorFlow Serving提供服務(wù)都不用額外做框架轉(zhuǎn)換。我在網(wǎng)上搜了一圈發(fā)現(xiàn)GAIN的TensorFlow實(shí)現(xiàn)雖然能搜到但很多是搬運(yùn)的論文附帶的壓縮包注釋少、結(jié)構(gòu)亂版本還停留在TF 1.x。用的時(shí)候一堆兼容性問題光是tf.contrib這塊就勸退不少人。我當(dāng)時(shí)想索性自己按TF 2.x的習(xí)慣寫一版完整的動(dòng)態(tài)圖模式下調(diào)試直觀得多控制流也不用繞來繞去。keras API配合自定義訓(xùn)練循環(huán)既能看清每一步的梯度流向也方便調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)。這版實(shí)現(xiàn)我后面用幾個(gè)UCI標(biāo)準(zhǔn)數(shù)據(jù)集和一份業(yè)務(wù)部門的真實(shí)脫敏數(shù)據(jù)做了驗(yàn)證填補(bǔ)效果和穩(wěn)定性都達(dá)到了可用的水平。2. 環(huán)境準(zhǔn)備與工具選型解析2.1 Anaconda安裝與TensorFlow環(huán)境配置要點(diǎn)真正動(dòng)手寫代碼前環(huán)境是最容易消耗熱情的環(huán)節(jié)。我見過很多人在這一步被各種版本兼容問題勸退尤其是TensorFlow這貨版本之間的API變動(dòng)非常大。第三個(gè)版本之前的代碼遷移到2.x常有大量報(bào)錯(cuò)更別說那些年tf.contrib說沒就沒的情況了。關(guān)于Anaconda安裝TensorFlow的實(shí)操我的建議是創(chuàng)建一個(gè)干凈的獨(dú)立環(huán)境不要直接裝在base環(huán)境里。用conda管理環(huán)境的好處是可以鎖定Python版本和依賴的版本范圍不同項(xiàng)目互不干擾。我常用的創(chuàng)建命令是conda create -n tf_gain python3.8 conda activate tf_gain pip install tensorflow2.10這里要特別說一句版本選擇的門道TensorFlow 2.10是最后一個(gè)原生支持Windows GPU的版本之后的版本在Windows下裝GPU版得靠WSL2很多人第一次裝不知道這個(gè)兼容坑。如果是Linux環(huán)境可以放心裝更高版本2.10以上對(duì)Windows用戶就不太順了。CPU版本訓(xùn)練小數(shù)據(jù)集問題不大但如果數(shù)據(jù)量上去、隱藏層節(jié)點(diǎn)加多建議還是整個(gè)GPU版本。再補(bǔ)一個(gè)Anaconda安裝時(shí)的經(jīng)驗(yàn)conda默認(rèn)的軟件源在國(guó)內(nèi)環(huán)境下往往下載速度感人建議先把conda源和pip源換成清華的鏡像不然下載一個(gè)幾百兆的包要等半天。這個(gè)操作屬于老生常談但確實(shí)能幫后面省出大量時(shí)間。2.2 版本兼容矩陣TensorFlow 2.x的API差異盤點(diǎn)這次實(shí)現(xiàn)里我主要用到了TensorFlow 2.x的幾個(gè)核心API和網(wǎng)上流傳的非官方1.x版本實(shí)現(xiàn)有不小的差別。具體包括用tf.keras.Sequential或者函數(shù)式API堆疊網(wǎng)絡(luò)結(jié)構(gòu)替代了1.x里繁瑣的tf.variable_scope加手工初始化參數(shù)的操作用tf.GradientTape記錄梯度并完成反向傳播替代了tf.Session.run配合feed_dict的方式tf.compat.v1作為兼容層用來處理個(gè)別1.x風(fēng)格的既有代碼。寫的時(shí)候要特別小心幾個(gè)版本的坑tf.contrib在2.x里已經(jīng)被徹底移除很多老代碼里的tf.contrib.layers相關(guān)調(diào)用必須改寫成tf.keras.layerstf.placeholder在動(dòng)態(tài)圖模式下也不需要了直接定義好輸入張量就能前向傳播tf.losses系列函數(shù)的位置也變了用tf.keras.losses更穩(wěn)。我建議安裝時(shí)直接定下版本不要裝最新版因?yàn)樽钚掳嫱殡S新特性但也會(huì)引入潛在的不穩(wěn)定因素。生產(chǎn)環(huán)境里穩(wěn)定壓倒一切選一個(gè)經(jīng)過廣泛驗(yàn)證的版本比追新更重要。TensorFlow 2.10配Python 3.8這組搭配我跑下來非常穩(wěn)定整個(gè)訓(xùn)練過程沒有遇到莫名其妙的底層報(bào)錯(cuò)。3. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)3.1 數(shù)據(jù)預(yù)處理標(biāo)準(zhǔn)化和掩碼矩陣的構(gòu)造邏輯GAIN對(duì)輸入數(shù)據(jù)有一個(gè)硬性要求所有特征需要預(yù)先做歸一化處理我習(xí)慣用最小最大歸一化把數(shù)值壓到0到1之間。這樣做有多個(gè)好處生成器的激活函數(shù)通常選tanh或者sigmoid輸出范圍天然匹配判別器對(duì)輸入尺度敏感范圍一致可以避免某些特征值過大導(dǎo)致梯度震蕩歸一化后缺失位置用0填充也不會(huì)引入極端值干擾。數(shù)據(jù)預(yù)處理的第二個(gè)關(guān)鍵是構(gòu)造掩碼矩陣Mask Matrix。這個(gè)矩陣和原始數(shù)據(jù)形狀一致觀測(cè)位置值為1缺失位置值為0。這里有個(gè)容易搞反的點(diǎn)要先理清楚原論文掩碼矩陣是1表示觀測(cè)0表示缺失而后面提示機(jī)制生成的向量又是另一套邏輯。代碼里這兩處我特別加了注釋防止自己和看代碼的人繞暈。構(gòu)造掩碼矩陣的代碼如下def create_mask(data): mask np.ones_like(data) mask[np.isnan(data)] 0 data[np.isnan(data)] 0 return data, mask實(shí)際操作時(shí)一定要在標(biāo)準(zhǔn)化之前把NaN標(biāo)記單獨(dú)提取出來不能先標(biāo)準(zhǔn)化再判斷缺失。因?yàn)闃?biāo)準(zhǔn)化過程用到的均值和方差本身就會(huì)受到缺失值影響處理順序錯(cuò)了結(jié)果會(huì)有偏差。3.2 生成器與判別器結(jié)構(gòu)設(shè)計(jì)的經(jīng)驗(yàn)之談網(wǎng)絡(luò)結(jié)構(gòu)這塊我看過很多GAIN口徑的實(shí)現(xiàn)隱藏層設(shè)置五花八門。有的把生成器和判別器都設(shè)計(jì)得特別龐大隱藏層節(jié)點(diǎn)數(shù)上千實(shí)際效果反而不如小而精的結(jié)構(gòu)。原論文里使用的隱藏層節(jié)點(diǎn)數(shù)建議是數(shù)據(jù)維度的一到兩倍左右我驗(yàn)證下來這個(gè)經(jīng)驗(yàn)值比較靠譜。比如數(shù)據(jù)維度是22隱藏層設(shè)置為128節(jié)點(diǎn)表現(xiàn)就已經(jīng)不錯(cuò)加到256收益有限但訓(xùn)練開銷漲了一截。激活函數(shù)方面生成器中間隱藏層我用ReLU輸出層用Sigmoid配合數(shù)據(jù)范圍0-1判別器中間層同樣用ReLU最后輸出用Sigmoid因?yàn)槊總€(gè)位置輸出的都是一類概率值。有個(gè)經(jīng)驗(yàn)值得單獨(dú)拿出來說生成器的輸入除了帶缺失的數(shù)據(jù)和隨機(jī)噪聲我建議再加上一個(gè)拼接的輔助特征比如逐樣本的缺失比例或者缺失模式編號(hào)。這樣生成器能感知到不同樣本缺失嚴(yán)重程度的差異對(duì)重度缺失樣本的填補(bǔ)效果有肉眼可見的提升。這個(gè)小改動(dòng)原論文里沒有直接提到但我在實(shí)際訓(xùn)練中對(duì)比過加上之后判別器的loss收斂更平穩(wěn)。網(wǎng)絡(luò)搭建的代碼核心結(jié)構(gòu)如下def build_generator(dim, hidden_units128): inputs tf.keras.Input(shape(dim * 2,)) x tf.keras.layers.Dense(hidden_units, activationrelu)(inputs) x tf.keras.layers.Dense(hidden_units, activationrelu)(x) x tf.keras.layers.Dense(dim, activationsigmoid)(x) return tf.keras.Model(inputs, x) def build_discriminator(dim, hidden_units128): inputs tf.keras.Input(shape(dim * 2,)) x tf.keras.layers.Dense(hidden_units, activationrelu)(inputs) x tf.keras.layers.Dense(hidden_units, activationrelu)(x) x tf.keras.layers.Dense(dim, activationsigmoid)(x) return tf.keras.Model(inputs, x)這里生成器輸入維度是dim * 2分別是拼接后的帶缺失數(shù)據(jù)和隨機(jī)噪聲。判別器輸入維度同樣是dim * 2是拼接后的填充數(shù)據(jù)和提示向量。網(wǎng)絡(luò)結(jié)構(gòu)不算復(fù)雜真正的技術(shù)含量在損失函數(shù)設(shè)計(jì)和訓(xùn)練循環(huán)的編寫上。3.3 損失函數(shù)詳解Hinge Loss和提示機(jī)制的配合GAIN的訓(xùn)練過程看似是兩個(gè)網(wǎng)絡(luò)在對(duì)抗實(shí)際損失函數(shù)的設(shè)計(jì)非常講究。判別器輸出的不是單個(gè)真假概率而是一個(gè)和特征維度相同的向量每個(gè)元素表示對(duì)應(yīng)特征位置的值是不是被填補(bǔ)過的概率。這樣設(shè)計(jì)的原因很明顯GAIN的目標(biāo)不只是判斷樣本整體真?zhèn)味且?xì)到判斷哪些位置是偽造的。損失函數(shù)這塊我用的是Hinge Loss的變體形式。生成器的目標(biāo)是最小化判別器對(duì)填補(bǔ)位置的預(yù)測(cè)概率等價(jià)于讓判別器盡可能認(rèn)為所有位置都是真實(shí)觀測(cè)值。判別器的目標(biāo)則是最小化它對(duì)真實(shí)觀測(cè)位置和填補(bǔ)位置的分類誤差即正確地區(qū)分哪些位置被生成器動(dòng)了手腳。具體的損失計(jì)算邏輯如下def compute_loss(D_pred, G_pred, mask, hint_rate): # D_pred是判別器輸出形狀(B, dim) # G_pred是生成器輸出形狀(B, dim) # mask是掩碼矩陣1表示觀測(cè)0表示缺失 # 缺失位置權(quán)重設(shè)置為1觀測(cè)位置權(quán)重降低 missing_w 1.0 observed_w 1.0 / hint_rate # 判別器對(duì)缺失位置的預(yù)測(cè)越接近0越好真實(shí)位置的可能性低 D_loss -tf.reduce_mean( missing_w * mask * tf.math.log(D_pred 1e-8) observed_w * (1 - mask) * tf.math.log(1 - D_pred 1e-8) ) # 生成器要讓判別器對(duì)缺失位置也認(rèn)為是真實(shí)位置 G_loss -tf.reduce_mean( (1 - mask) * tf.math.log(D_pred 1e-8) ) return D_loss, G_loss注意到這里的權(quán)重設(shè)置沒有observed_w設(shè)成了1.0 / hint_rate目的就是調(diào)節(jié)判別器對(duì)真實(shí)觀測(cè)位置和填補(bǔ)位置的關(guān)注度。hint_rate接近1時(shí)判別器看到的大多是真實(shí)的掩碼信息它就可以非常明確地判斷缺失的位置訓(xùn)練啟動(dòng)快hint_rate較小時(shí)判別器拿到的提示信息少任務(wù)難度增加生成器的壓力反而小了。這樣一個(gè)對(duì)抗過程的結(jié)果是生成器隨著訓(xùn)練進(jìn)行逐漸學(xué)會(huì)生成與真實(shí)觀測(cè)值統(tǒng)計(jì)特征一致的填補(bǔ)值不僅單個(gè)特征分布接近特征間的聯(lián)合分布也能在博弈中保留下來。3.4 提示機(jī)制的參數(shù)選擇原則關(guān)于hint_rate這個(gè)參數(shù)我在實(shí)驗(yàn)里試過從0.5到1.0的多個(gè)值發(fā)現(xiàn)它對(duì)訓(xùn)練結(jié)果的影響不是線性的。hint_rate太高比如0.95以上判別器太容易判斷出哪些是填的梯度對(duì)生成器的指導(dǎo)價(jià)值反而減弱生成器學(xué)到的只是表面規(guī)律hint_rate太低比如0.5以下判別器長(zhǎng)期難以收斂生成器也得不到有效反饋整個(gè)對(duì)抗過程處于僵持狀態(tài)。原論文里的默認(rèn)值是0.9這是一個(gè)比較安全的起點(diǎn)但我實(shí)際用下來發(fā)現(xiàn)具體數(shù)據(jù)集的缺失模式也會(huì)影響最優(yōu)值。如果數(shù)據(jù)缺失完全是隨機(jī)缺失MCAR0.9效果很好如果缺失跟特征本身有關(guān)MNAR建議降到0.8左右給判別器一點(diǎn)模糊空間反而能讓生成器探索到更深層的分布規(guī)律。實(shí)現(xiàn)提示向量生成的代碼如下def generate_hint(mask, hint_rate): hint mask.copy() prob np.random.rand(*mask.shape) hint[prob hint_rate] 0.5 return hint4. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)4.1 完整訓(xùn)練循環(huán)的搭建與說明GAIN的訓(xùn)練流程可以用一句話概括交替更新生成器和判別器讓兩個(gè)網(wǎng)絡(luò)在對(duì)抗中共同進(jìn)步。但落實(shí)到代碼要處理的細(xì)節(jié)其實(shí)挺多包括數(shù)據(jù)分批、梯度累積、loss記錄等。我這份實(shí)現(xiàn)采用批量訓(xùn)練的方式每輪迭代從訓(xùn)練集中采樣一個(gè)小批量樣本依次完成正向傳播、計(jì)算損失、反向傳播、更新參數(shù)。生成器和判別器的更新頻率可以1比1也可以2比1論文里沒明確說我測(cè)試后覺得1比1最穩(wěn)不然容易出現(xiàn)一方壓倒另一方的情況。訓(xùn)練循環(huán)的核心代碼如下# 訓(xùn)練參數(shù) batch_size 128 epochs 2000 learning_rate 1e-3 # 初始化優(yōu)化器 G_optimizer tf.keras.optimizers.Adam(learning_rate) D_optimizer tf.keras.optimizers.Adam(learning_rate) for epoch in range(epochs): for batch_start in range(0, len(data_normalized), batch_size): batch_end min(batch_start batch_size, len(data_normalized)) x_batch data_normalized[batch_start:batch_end] m_batch mask_matrix[batch_start:batch_end] # 生成提示向量 h_batch generate_hint(m_batch, hint_rate0.9) with tf.GradientTape() as tape_G, tf.GradientTape() as tape_D: # 拼接數(shù)據(jù)和噪聲 z_batch np.random.uniform(0, 1, sizex_batch.shape) G_input np.concatenate([x_batch, z_batch], axis1) # 生成器前向傳播 G_output generator(G_input, trainingTrue) # 只取缺失位置的生成值 filled_data x_batch * m_batch G_output * (1 - m_batch) # 判別器輸入 D_input np.concatenate([filled_data, h_batch], axis1) D_output discriminator(D_input, trainingTrue) # 計(jì)算損失 D_loss, G_loss compute_loss(D_output, G_output, m_batch, hint_rate0.9) # 分別更新梯度 G_grads tape_G.gradient(G_loss, generator.trainable_variables) D_grads tape_D.gradient(D_loss, discriminator.trainable_variables) G_optimizer.apply_gradients(zip(G_grads, generator.trainable_variables)) D_optimizer.apply_gradients(zip(D_grads, discriminator.trainable_variables))一個(gè)容易被忽視的細(xì)節(jié)是填補(bǔ)值的還原操作訓(xùn)練時(shí)生成器輸出的是整個(gè)樣本的補(bǔ)全結(jié)果但實(shí)際填補(bǔ)只需要替換缺失位置。所以代碼里專門用filled_data x_batch * m_batch G_output * (1 - m_batch)做了掩碼合并確保觀測(cè)位置的原始值不被覆蓋。這一行看起來簡(jiǎn)單卻是GAIN能保持?jǐn)?shù)據(jù)原有信息的關(guān)鍵。4.2 觀測(cè)值保留策略和收斂判斷除了掩碼合并我還在損失計(jì)算里做了一個(gè)小改進(jìn)判別器更新時(shí)真實(shí)觀測(cè)位置參與計(jì)算的權(quán)重只有缺失位置的1/hint_rate。這意味著訓(xùn)練初期判別器更關(guān)注缺失位置的判斷而不會(huì)被大量真實(shí)觀測(cè)樣本帶偏。這個(gè)細(xì)節(jié)原論文里的實(shí)現(xiàn)只是簡(jiǎn)單加權(quán)沒解釋為什么這么設(shè)計(jì)我在復(fù)現(xiàn)時(shí)分析下來認(rèn)為這是為了平衡兩類樣本的數(shù)量差異。關(guān)于收斂判斷GAIN有一個(gè)天然的優(yōu)勢(shì)判別器的loss可以當(dāng)作訓(xùn)練進(jìn)度的參考。訓(xùn)練初期判別器能輕松區(qū)分真實(shí)和生成的數(shù)據(jù)loss下降很快隨著生成器能力的增強(qiáng)判別器的loss會(huì)緩慢上升這時(shí)說明生成器已經(jīng)開始騙過判別器了。我一般觀察生成器和判別器loss曲線的交叉點(diǎn)交叉之后再訓(xùn)練100到200個(gè)epoch效果基本就穩(wěn)定了。如果兩個(gè)loss都不動(dòng)了但數(shù)值偏高很可能是學(xué)習(xí)率太大造成震蕩建議調(diào)低一個(gè)數(shù)量級(jí)再訓(xùn)。4.3 填補(bǔ)效果評(píng)估不只是看RMSE訓(xùn)練完模型后怎么判斷填補(bǔ)效果好不好很多人第一反應(yīng)是算RMSE或者M(jìn)AE。這確實(shí)是最常用的指標(biāo)做法是把一批完整的數(shù)據(jù)手動(dòng)挖掉一些值跑完填補(bǔ)后和真實(shí)值做對(duì)比??偨Y(jié)一下我自己實(shí)踐中的做法# 手動(dòng)制造缺失評(píng)估填補(bǔ)效果 def evaluate_imputation(model, data_complete, missing_rate0.2): data_missing data_complete.copy() mask np.ones_like(data_complete) for i in range(data_complete.shape[0]): n_missing int(data_complete.shape[1] * missing_rate) missing_idx np.random.choice(data_complete.shape[1], n_missing, replaceFalse) data_missing[i, missing_idx] 0 mask[i, missing_idx] 0 # 執(zhí)行填補(bǔ) filled model.impute(data_missing) # 計(jì)算RMSE只統(tǒng)計(jì)缺失位置 diff filled - data_complete mse np.sum(diff**2 * (1 - mask)) / np.sum(1 - mask) rmse np.sqrt(mse) return rmse但單純看RMSE有盲區(qū)。我遇到過一種情況RMSE數(shù)值不算高但把所有樣本的填補(bǔ)值拉出來看分布發(fā)現(xiàn)某些特征的填補(bǔ)值方差特別小幾乎都在均值附近擺動(dòng)。這說明生成器學(xué)會(huì)了預(yù)測(cè)均值但沒有真正學(xué)會(huì)特征的波動(dòng)范圍。所以我還建議額外做一些分布檢驗(yàn)比如對(duì)比填補(bǔ)后數(shù)據(jù)和原始數(shù)據(jù)在關(guān)鍵特征上的直方圖、相關(guān)系數(shù)矩陣差異。判斷標(biāo)準(zhǔn)很簡(jiǎn)單好的填補(bǔ)應(yīng)該讓缺失位置的數(shù)據(jù)分布和觀測(cè)位置盡量一致特征間相關(guān)性也基本保持。原論文代碼里實(shí)驗(yàn)場(chǎng)景主要是數(shù)據(jù)缺失率在20%到30%之間的情況這個(gè)范圍內(nèi)GAIN的填補(bǔ)效果非常明顯。我額外測(cè)了40%和50%的高缺失率場(chǎng)景效果有下降但還是優(yōu)于均值填補(bǔ)和MICE說明模型的穩(wěn)健性還不錯(cuò)。5. 常見問題與排查技巧實(shí)錄5.1 維度不匹配問題最頻繁踩的坑GAIN實(shí)現(xiàn)過程碰到最多的報(bào)錯(cuò)就是維度不匹配。因?yàn)檎麄€(gè)流程里要拼接帶缺失數(shù)據(jù)、噪聲、提示向量、掩碼矩陣好幾個(gè)參與方任何一個(gè)維度對(duì)不上都會(huì)炸。典型報(bào)錯(cuò)是ValueError: Dimensions must be equal類型。這類問題大部分情況出在數(shù)據(jù)經(jīng)過標(biāo)準(zhǔn)化后形狀發(fā)生變化或者掩碼矩陣與數(shù)據(jù)矩陣的行列順序不對(duì)。我的排查習(xí)慣是在網(wǎng)絡(luò)輸入構(gòu)建之前用print(x_batch.shape, m_batch.shape, h_batch.shape, z_batch.shape)全部打出來逐一核對(duì)。四個(gè)張量的第一維batch size必須完全一致第二維通常是特征維度或者特征維度的兩倍拼接后。把所有參與拼接的變量維度列出來對(duì)照檢查比看報(bào)錯(cuò)信息省事得多。5.2 訓(xùn)練不收斂或損失函數(shù)震蕩的排查方向訓(xùn)練不收斂是另一個(gè)高頻問題。現(xiàn)象是loss值一直跳動(dòng)沒有規(guī)律地下降訓(xùn)練幾百輪后生成器填出來的值還是一團(tuán)糟。這種問題我遇到過太多次排查順序可以按如下步驟來第一步是檢查學(xué)習(xí)率是不是設(shè)置得過大GAIN的對(duì)抗訓(xùn)練本身就比較敏感學(xué)習(xí)率高很容易震蕩。我在實(shí)踐中發(fā)現(xiàn)學(xué)習(xí)率設(shè)置在1e-3到1e-4之間比較安全如果loss跳動(dòng)明顯優(yōu)先調(diào)到1e-4。第二步是看hint_rate是否合適這個(gè)參數(shù)直接影響判別器的任務(wù)難度參數(shù)設(shè)置和缺失模式不匹配容易造成生成器和判別器loss收斂速度差距過大一個(gè)收斂了另一個(gè)還在原地打轉(zhuǎn)。第三步是檢查數(shù)據(jù)標(biāo)準(zhǔn)化操作。如果原始數(shù)據(jù)里有極端異常值還沒處理掉即使做了歸一化模型也會(huì)被個(gè)別樣本牽著走。所以我在預(yù)處理階段會(huì)先做異常值裁剪用3倍標(biāo)準(zhǔn)差截?cái)鄷?huì)讓訓(xùn)練過程踏實(shí)不少。5.3 填補(bǔ)結(jié)果全部趨同的處理經(jīng)驗(yàn)還有一個(gè)比較隱蔽的問題訓(xùn)練成功了loss看起來正常但生成器對(duì)不同的缺失樣本給出的填補(bǔ)值幾乎一樣。這說明生成器沒有學(xué)會(huì)區(qū)分不同樣本的特征模式退化成了類似均值填補(bǔ)的效果。我遇到這個(gè)問題的原因最初是隨機(jī)噪聲的維度設(shè)得太低。生成器輸入里的噪聲向量如果維度太小或者全部是常數(shù)生成器就沒有隨機(jī)性來源學(xué)來學(xué)去只會(huì)輸出一個(gè)固定模式。我把噪聲從標(biāo)量擴(kuò)展到和特征維度相同的向量并確保它每一輪訓(xùn)練都重新采樣問題就解決了。另外生成器的能力如果太弱比如隱藏層節(jié)點(diǎn)太少它也學(xué)不到足夠的樣本差異。適當(dāng)增加隱藏層寬度或者增加一層都可以緩解模式坍縮問題。5.4 不同缺失率下的表現(xiàn)和參數(shù)調(diào)整建議實(shí)測(cè)下來缺失率在10%到20%之間時(shí)GAIN填補(bǔ)效果顯著優(yōu)于均值填補(bǔ)和MICERMSE能降低20%到30%。缺失率超過40%時(shí)效果下降比較明顯因?yàn)橛行畔⑻偃魏畏椒ǘ己茈y精確恢復(fù)原始分布。這時(shí)建議先把缺失率高的特征標(biāo)記出來看看有沒有其他特征可以提供輔助信息。參數(shù)調(diào)節(jié)方面總結(jié)一下我常用的調(diào)參順序先固定hint_rate為0.9把學(xué)習(xí)率調(diào)到穩(wěn)定收斂的程度然后再動(dòng)hint_rate觀察生成器loss變化如果發(fā)現(xiàn)填補(bǔ)值的分布與實(shí)際不符再調(diào)整生成器和判別器的隱藏層寬度。不用一上來就瘋狂調(diào)網(wǎng)絡(luò)結(jié)構(gòu)很多時(shí)候?qū)W習(xí)率和hint_rate的組合才是決定成敗的關(guān)鍵。6. 經(jīng)驗(yàn)總結(jié)與拓展思考GAIN這套方法我用到現(xiàn)在最深的感受是它把缺失值填補(bǔ)從插值思維提升到了分布擬合思維。傳統(tǒng)方法試圖用一個(gè)簡(jiǎn)單的函數(shù)去逼近缺失值而GAIN試圖理解整個(gè)數(shù)據(jù)集背后的生成機(jī)制。當(dāng)然這不意味著GAIN在所有場(chǎng)景都能碾壓傳統(tǒng)方法。小數(shù)據(jù)集、特征維度很低、數(shù)據(jù)模式簡(jiǎn)單的情況下多重插補(bǔ)可能已經(jīng)夠用堆一個(gè)對(duì)抗網(wǎng)絡(luò)性價(jià)比不高。但數(shù)據(jù)維度高、特征關(guān)系復(fù)雜的場(chǎng)景GAIN真的很能打。目前GAIN還有一個(gè)可以改進(jìn)的方向是結(jié)合自注意力機(jī)制。表格數(shù)據(jù)其實(shí)也存在特征的全局依賴關(guān)系比如某些特征之間隔了好幾列但關(guān)系非常密切。自注意力可以捕捉這種跨特征依賴如果應(yīng)用到GAIN的生成器里理論上效果會(huì)更好。另外一個(gè)方向是把時(shí)間序列的時(shí)序依賴引入生成器用LSTM或者Transformer結(jié)構(gòu)替代普通全連接網(wǎng)絡(luò)這條路我還沒跑完但初步思路已經(jīng)有了。如果你準(zhǔn)備動(dòng)手復(fù)現(xiàn)建議不要直接抄代碼就跑先把數(shù)據(jù)預(yù)處理、掩碼矩陣、提示機(jī)制這幾塊原理理解了再跑訓(xùn)練循環(huán)。否則遇到問題都不知道從哪里排查。有朋友問我要不要直接用官方GitHub的代碼我的意見是可以先看但一定自己按2.x語法重寫一遍——因?yàn)榕f代碼改動(dòng)起來往往比自己從零寫還費(fèi)時(shí)間。最后再分享一個(gè)小技巧訓(xùn)練結(jié)束后保存好生成器模型對(duì)同類型的新數(shù)據(jù)做填補(bǔ)時(shí)直接加載模型推理即可不需要重新訓(xùn)練。只要新數(shù)據(jù)和訓(xùn)練數(shù)據(jù)分布相似填補(bǔ)質(zhì)量基本不會(huì)差太多。這個(gè)特性在生產(chǎn)環(huán)境中特別實(shí)用相當(dāng)于一次訓(xùn)練、多次使用省下的時(shí)間可不是一星半點(diǎn)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月婷婷AV在线| 能看的av| 婷婷激情人妻| 色婷婷亚洲婷婷| 色五月婷婷在线观看第一页舔| 婷婷六月天| 99热在线资源| 激情丁香网| av狠狠操| 亚洲爆乳无码精品AAA片蜜桃| 操操综合网婷婷| 婷婷五月天网址| 久久激情视频99| 亚洲 小说 欧美 激情 另类| 色色激情网| 国产99久久久国产精品免费看| 婷婷五月天综合久久日美女| 欧美极品999| 伊人丁香花综合影院| 天天操夜夜橾| 北京熟妇搡BBBB搡BBBB | 狠狠色丁香| 国产无遮挡又黄又爽免费网站| 色色色五月| 日韩欧美五月丁综合| 激情综合另类| 久草热在线视频| 色婷婷狠狠禁18久久| 操日视频| 五月天色裸体视频| 99在线免费视频| 大香蕉伊然在亚洲90| 九月婷婷久久久| 激情婷婷狠狠干| 激情丁香九九五月综合网| 99热精品免费| 色综合区| 亚洲这里只有精品| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁香五月婷婷五月| 色狠狠色综合久久久绯色aⅴ影视| 色综合色色色色| 精品视频99看在线视频| 丁香五月天堂| www.99热精品| 色色免费网战视频| 国产肥白大熟妇BBBB视频 | 婷婷婷婷婷婷婷五月丁香| 欧美人人草草| 丁香五月天无码| 51XX午夜影福利| 极品精品一区二区三区在线| 免费AV黄在线播放| 亚洲免费婷婷| 欧美久久婷婷| 亚洲成人网站在线播放| 丁香五月成人自拍| 激情五月婷婷在线| 久久视频在线视频| 色婷婷婷av | 色五月激情网| 4399人妻无码久久久| 深爱丁香激情| 亚洲精品又粗又大又爽A片| 色呦呦美女| 丁香综合网| 激情av| 99热销国产这里有精品| 成人开心五月天| 八戒青柠影视剧在线观看| 色欧美影院| 天天做天天爱天天玩夜夜爽| 久久大香蕉丁香| 新久久五月天激情| 久久精品性爱| 日本三级黄色大片| 婷婷五月天精品| 伊人玖玖网| 激情六月婷| 亚洲乱码日产精品BD| 日本99久久| 五月婷婷深深爱| 丁香99| 婷婷五月天视频小说| 99热这里只有精品中文字幕| 超碰在线91| 九九色图| 991国产精选视频在线播放下载| 六月丁香色婷婷| 久久人人做人人妻人人玩精品va| 中国AV性爱观看| 亚洲色五月| 丁香婷婷性爱| 99亚州综合精品成人网| 丁香六月婷婷综合色| 亚洲人妻AV| 91肏| 婷婷大香蕉| 4399在线观看免费高清黄色视频| 超碰在线免费9| 国产亚洲成人综合| 天天干天天插| 91精品国产91久久久久青草| 99热九九热| 中美日韩成人在线| 这里只有精彩视频| 婷婷综合网在线| 丁香五月婷婷基地| 五月婷色丁香| 91综合视频丁香| 天天舔天天插天天干| 国产3p露脸普通话对白| 这里只有精彩视| 五月婷婷 激情按摩| 婷婷五月色亚洲| 丁香六月成人| 色色色综合色| 婷婷五月丁香啪啪| 激情综合久久| 99黄色| 色五月婷婷777| 婷婷色Av| av成人在线播放| 激情网婷婷五月天| 丁香九月久久| 粉嫩AV久久一区二区三区 | 五月婷婷97| 四色五月婷婷| 日韩影院三级| 99色在线| 亚洲第一精品成人999久久精品| 色色综合网。| 99热天堂| 五月欧美色播| 超碰操日| 91九色中文| 玖玖爱资源站| 裸体做A爰片毛片A片免费| 激情五月婷婷综合网| A片天天| 五月婷婷在线播放| 超碰成人免费| 亚洲AV在线免费看| 能看的av| 天天色一道本综合婷婷| 亚洲婷婷综合视频| 日本一级一级一级一级| 思思精品久久艹| 亚洲人成网站999久久久综合| 丁香五月激情五月| 成人色站,在线视频,看片-SS1AV| AV大片在线观看| 另类激情五月在线视频欧美| 五月丁香激情片| 99热网精品| 99精品在这里| 色丁香五月婷婷婷| 综合九九日本| 五月丁香六月色| 五月丁香狠狠爱婷婷综合| 日韩野外 无套| 深爱激情五月网| 婷婷五月天色色| 99精品国产乱码久久久人妻| 丁香六月婷婷综合缴| 97久久人人| 国产乱人偷精品人妻A片| 婷婷五月六月激情| 如何安全看伊人婷婷| 在线视频区| 综合婷婷五月天| 五月亭亭六月色| 婷婷丁香五月社区亚洲| 91精品久久久久久77777| 久久99激情| 色yeye欧美| 婷婷中文字幕| 成人精品亚洲性爱| 五月天婷婷在线啪啪视频| 色色色色色色色色色色色色色五月天| www.色婷婷| 婷婷五月天激情五月天深爱五月天| av国产精品偷| av在线婷婷| 99综合在线| 色婷婷六月开心中文字| 日本99热| 91精品丝袜久久久久久久久粉嫩| 国产精品第一国产精品| 亚洲在线资源| 99热只有精| 色播综合| 激情宗合 激情宗合| 欧美大肥婆大肥BBBBB| 丁香五月在线| 五月丁香色狠狠干大屄| 九九热这里只有精品7| 久久人人添人人爽添人人片αV| 久久久婷婷五月亚洲97号色| 五月婷婷丁香色播网| 激情婷婷色色| 色婷婷AⅤ| 激情五月婷婷欧美极品| 91九色|疯狂|高潮|对白|| 91九色最新视频| 婷婷永久在线| 夜夜躁爽日日| 精品色色色| 五月丁香六月婷婷综合在线| 久久精品婷婷五月丁香| 中文字幕在线视频播放| 国产肥白大熟妇BBBB视频| 九色七七| 五月开心久久| 婷婷五月花西瓜| 色色自拍视频网站| 九九青青草成人| 97人人操人人操人人操人人| 999热在线观看视频| 九九这里都是精品| 色婷婷免费观看| 久久色这里只有精品| 婷婷五月黄色激情在线| www.色99| 国产在线黄色| 亚洲AV第二区国产精品| 婷婷日本色| 五月丁香婷婷成人网| 亚洲五月婷| 丁香婷婷成人网站| 精品五月天| 激情5月婷婷狠狠干| 久热一本| 亚洲AV日韩无码| 五月天丁香啪啪啪啪| 人人插操| 国产偷人爽久久久久久老妇APP| 狠狠色综合网站久久久久| 丁香五月人妻| 99爱视频在线| 亚洲天天操| www.av骚货| 日本狠狠爽| 五月天色色激情综合| 成人婷婷| 天天色丁香| 婷婷久久影院| 26UUU欧美激情一区二区| 四色五月视频| 色五月大| 任你擦免费视频| 欧美婷婷丁香五月| 中文字幕黄色电影网址| 玖玖婷婷婷丁香五月| 婷婷综合国产| 色欲色香综合网站| 五月丁香六月婷婷的女人| 91狼友视频在线观看| 超碰成人黄色网| 99国产精品白浆在线观看免费| 亚洲综合五月天婷婷| 大香蕉久久| 久久久999精品| 淫视馆AV在线| 一起草AV| 亚洲综合色网| 欧美日韩成卜| 91 久热| 亚洲啪啪自拍| 超级碰碰碰碰视频| 99ri在线观看视频| 色就是色婷婷五月亚洲激情| 色五月婷婷少妇人妻| 六月婷婷六月天天在线免费| 成人小说 五月天 婷婷| 91人操| 2016日日夜夜操| 激情五月综合第一页| 伊人玖玖婷婷| 久久曰曰| 激情综合网,婷婷| 婷婷深爱五月天在线| www.久久五月天.com| 婷婷大美在线| 丁香 婷婷 亚洲 熟女| 可以看的AV网站| 亚洲免费婷婷| 97操在线视频| 免费看欧美成人A片无码| 97精品人人A片免费看| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 91操片| 天天性视频| 天天色综合色色色色色。| 色婷婷最爱五月| 天天插天天干天天舔| 激情五月天婷婷视频| 天天撸天天干天天插| 丁香五月六月综合欧美| 欧美色色色| 丁香五月色情| 99精品网址| 九热...av| www.粉嫩av.com| 六月婷婷日| 天天色激情| 五月天色五月| 天天综合精品| av婷婷丁香| 色五月婷婷影院| 超碰人人色| 婷婷五月丁香高清无码| 99色色色色| 97影院一级片| 亚洲熟妇AV乱码在线观看| WWW.HENHENL.| 六月丁香久久| 五月天色婷婷成人| 色婷婷久久| 日本人妻伦在线中文字幕 | 色婷婷基地| 五月美女婷婷风骚| 狼友视频在线观看18| 99热久只有| 五月网在线| 日本啪啪网| 五月色综合| 日本人妻操| 狠狠干综合| 欧美性爱5月天天天看| 超碰高清在线| 丰满老熟妇BBBBB搡BBB| 偷拍91九色| 综合xx网| 9色在线视频| 免费视频WWW在线观看网站| 久久33视频| 九月丁香| 九九热在线精品| 色综合99| 午夜丁香 婷婷| 天天狠狠婷婷在线| 婷婷免费视频| 在线看的免费网站| 九九综合九九| 99爱视频在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 99久在线观看| 思思re99视频在线观看| 香蕉AV福利精品导航| 色99免费视频中文| Jh7Uf088VHafNm| 99热9999| CAOBIBI| 99 频99热国里只有精品| 婷婷成年人免费视频| 婷婷综合激情| 色婷婷综合久久久久| 五月丁香久久丝袜啪啪| 超碰在线人妻| 丁香婷婷五月六月久久| 五月天成人小说网| 久久小说| 玖热精品综合视频| 婷婷综合视频| 九九九九成人| 丁香五月激情澎湃一区| 五月婷婷基地| 乱码操操| 五月天偷拍| 婷婷在线五月综合| 天干天天干天天天天天| 岛国AV网| AV在线资源| 婷婷五月天堂| 9视频在线成人网站| 区区久久妻| 天天做天天爱天天爽| 中文字幕丰满孑伦无码专区| a色色色色色| 亚洲色色色| 伊人五月婷| 美女亚洲五月丁香| 久久久18| 中文字幕在线不卡| 日韩超碰在线| 成人在线视频一区| 丁香六月欧美| 婷婷伊人綜合中文| 五月婷婷综合精品| 九九久久9 9在线观看| 色七色九九| 99九九精品| 欧美啪啪9| 日韩三级高清无码| 婷婷综合天堂| WWW,婷婷,COM| 亚洲综合碰| 五月天欧美激情| 婷婷五月天激情四射| 91久久久久久久久18| 天天肏高清在线| 成人VAV视频在线观看| 综合色综合| 色伦专区97中文字幕| 第2色五月婷| 大香蕉AV在线| 99re熱| 国产亚洲在线| 亚洲区,视频区,视频区免费| 99re6久热只有精品6在线直播| 久9热视频在线观看| 色噜噜狠噜噜视频| 伊人网啪啪| 丁香五月偷拍| 啪啪操超碰| 色婷婷六月| 色五月自偷自拍婷婷婷婷| 丁香五月激情啪啪| 亚洲AV成人无码电影| 丁香桃色网| 丁香伊人五月色婷婷五十路| 婷婷六月天激情| 伊人久久大香线蕉AV最新午夜| 日韩色五月| 丁香五月天激情四射网络不好| 久久人妻人人槡| 色色草97| 日日干日日| 97色啪| 91丨九色丨熟女| 日本视频99| 色色色国产| 久久九九爽| 99亚州综合精品成人网| 五月深爱婷婷| 欧美久久久中文字幕| 婷婷精品综合| 99久操| 色婷| 26uuu.| 中文字幕日本最新乱码视频| 丁香五月综合在线观看| 大香av| 久9久9久9久9久9久9| 少妇激情基地| 午夜69成人做爰视频| 色久天| 色色无码| 五月婷在线播放| 五月狠狠| 99爱在线视频| 五月丁香成人版| 久久久久视剧HD| 99九九在线视频| 色啪影院| 午夜无码熟熟妇丰满人妻| 日本激情综合| 五月色婷婷影院| 激情五月天色播| 熟女五月天久久综合| 亚洲丁香婷婷| 狠狠人妻色综合| VA日本视频| 曰韩五月丁香色婷婷无码| 五月天亚洲色| 五月婷婷在线丁香| aaaa久久| 国产精品成人在线| 亚洲国产精品成人va在线观看| 久操大屁股女人av| 色综合色色| 思思热热久久| 五月天婷婷网站888| 91啪啪视频| 欧美久久婷婷| 99久久网站| 国产XXXX搡XXXXX搡麻豆| 天天综合在线网| 99色综合网| 情欲禁地| 激情五月色婷婷| 777久久综合视频| 九九综合网| 97狠狠色| 天天干天天操天天爱| 国产avapp 网| 亚洲国产精品成人午夜| 另类专区在线| 婷婷五月天激情五月天| 久热9| 亚韩精品视频1区| 欧美婷婷丁香五月社区| 这里只有精彩亚洲视频推荐| 玖热精品综合视频| 九九九九成人| 欧美槡BBBB槡BBB少妇| 99热99热在线| 美女丁香五月天| 日韩成人电影Av| 97婷婷色| 91人人操人人爱| 九六五月天婷婷| av在线免费播放| 久久九九激情五月天 | 99热1| 丁香五月久久综合| 成人做爰A片免费看网站找不到了| 蒲京久久无码视频| 99久久婷婷国产综合| 第五色色色婷婷| 激情婷婷五六月天| av国产精品偷| 色婷婷另类| 最近中文字幕大全免费版在线 | 五月亭亭直播| 欧美色五月| 欧美成人网婷婷综合在线| 99热大香蕉| 亚洲视频在线网| 国产美女无遮挡裸体毛片A片| 六月份天丁香婷婷| 天天干、天天日日| 狠狠干天天内射| 91凹凸在线| 六六久久黄色| 日韩成人无码| 亚洲操B| 人人摸人人干| 五月六月伦理| 这里只精品热在线18| 精品久久人妻热| 成人一级片| 婷综合六月| 99热在线观看| 丁香六月婷婷| 色综合色色色| 五月丁香福利| 99色在线| 五月天婷婷爱| dingxiangtingtingliuyue| www.五月天婷婷.com| 99热在线观看精品| 丁乡久久| 91视频久久久| 综合网网欲色| 91av色色乱视频| 影音先锋美国A| 五月天色网站| 伊人综合网4| 久久色五月| 婷婷99狠狠| 91久久精品无码一区二区三区| 五月色激情综合网| 色亭亭九月| 日韩黄在免| 欧美经典片免费观看大全| 欧洲亚洲精品| 少妇激情五月天| 翔田千里 50岁 无码| www.色婷婷.com| 日婷婷久久开心| 视频色色色色色色| 五月丁香婷婷成人综合网| 五月丁香六月激情综合在线| 99热精品一区| 79色色免费| 色七色九九| 婷婷五月天改成什么了| 亚洲第一色网站| 深爱丁香网| 五月综合视频在线| aaaaaa片| 五月丁香啪啪拍| 婷婷五月深深的爱| 丁香五月婷婷88在线| 成人久久天天x资源站| 玖玖伦理电影| 亚洲五月六丁香激情| 亚色网站小视频| 色婷婷视频| 亚洲激情 久久| 77799热| 99久久国产宗和精品1上映| 玖玖99福利| 欧美天天干五月丁香| 五月婷婷六月丁| 久久精品国产AV一区二区三区 | 丁香五月综合网| 另类婷婷五月天啪帕帕| 国产性爱色| 久久九九精彩| 噜噜干日本| 97成人丁香婷婷| 综合激情啪啪| 欧美性丁香色色五月天| 亚洲色情网站| 超碰猛烈的性猛交| AA丁香综合激情| 激情五月婷| 五月婷婷色| 婷婷六月天国产综合| 嫩草视频。| 九九性爱网| AV在线观看网站| 国产VA播放| 四五月婷婷| 开心五月激情婷婷| 亚洲婷婷激情综合激情999精品| 97狠狠色| 99综合网| 婷婷五月综合免费在线| 在线观看亚洲视频影院| 亚洲精品网站色视频| 午夜性爱影视一区77| 骚货艹网站视频| 色五月播五月| 激情综合五月丁香| 国产成人精品一区二三区熟女在线| 狠狠婷婷色| 伊人热婷婷| 大香蕉婷婷丁香天堂AV| 69午夜成人影片| 99热免| 丁香婷婷性爱| 熟女少妇内射日韩亚洲| 免费成人网在线观看| 九九五月天| 丁香色啪综合| 天天爽天天干| 色综合天天| 69天堂99| 久久婷婷色| 丁香婷婷六月激情综合| 久久婷婷丁香| 777精品久无码人妻蜜桃| 激情婷婷护士激情| 激情网第九色| 亚洲亚洲亚洲AAAAAA| 黄色三级日本| 婷婷久综合| 国产综合色婷婷精品久久| 2023天天日夜夜爽| 五月激情网站| 伊人丁香在线| 久久人人九九| 天天天天天久久久久久| 色情·com| 欧美激情综合色综合| 97碰碰视频在线观看| 三级黄色大片视频| 玖玖爱综合网| 婷婷五月深深爱| 超碰99在线观看| 骚逼视频一区2区| 激情五月婷婷综合| 五月综合激情视频在线| 国产精品国产成人国产三级| 成人免费高清在线播放| 五月综合亚洲婷婷| 九九综合久久| 久久一级免费黄色片| 精品九九在线观看| 五月婷婷啪啪啪| 亚洲久久天堂| 婷婷久久欧美| 97热在线精品| 色综合网页| 狠狠干天天内射| 激情五月天婷婷| 五月天开心色色网| 五月天国产成人| 久久99精品久久久久久三级| 影音先锋秋秋五月婷婷| 国产99美少妇| 欧美精品啪啪| 丁香五月www| 中文字幕日韩无码制服诱或| 国产亚洲在线观看| 色综合狠狠色| 五月丁香亚洲婷婷| 怡红院AV亚洲一区二区三区H| 色婷婷婷婷| 亚洲色五月婷婷| 另类五月激情| 天天狠天天狠| 大香蕉综合| 毛v一区二区视频| 五月婷婷六月奇米网丁香| 亚洲精品成人| 久激情网| 五月丁香婷草| 超碰伊人碰婷婷五月| 亚洲一区二区无码蜜乳av| 操人91| 五月天久久婷婷| 五月丁香激情综合网| 男人的天堂婷婷色五月| 伊人青草成人| 五月激情精品视频| 亚洲激情在线| 欧美性久| 66色在线日韩| 男人的天堂99| 色婷五月| 一本大道嫩草AV无码专区| 色噜噜狠狠色综| 色色色色色色色色色色色色色97| 香蕉中文在线| 天天色综合网1| 99国产在线精品视频| 色色综合无码| 亚洲中文乱字字幕在线永久| 亚韩在线视频| 九月丁香婷婷综合| 99人人操人人爱久久久| 青青热久精品视频在线观看| 丁香五月成人网| 丁香五月中文字幕| 婷婷精品在线| 九九九九大香蕉| 第五色婷婷| 中文字幕av久久爽| 99热精品在线播放| 另类婷婷五月天啪帕帕| 丁香六月婷婷综合在线| 黄色视频网站在线播放| 新激情五月开心五月婷婷五月丁香五月 | 狠狠综合| 成人在线精品| 色色婷婷丁香| 入口五月婷婷六月香| 婷婷五月综合在线| 欧美色婷婷| 久9热| 五月丁香六月婷婷亚洲天堂网站| 五月综合无码| 五月丁香激情五月天| 五月天激情网站| 夜夜操夜夜爽| 拍真实国产伦偷精品| 婷婷丁香六月激情综合| 亚洲乱码日产精品BD| 五月色丁香综合| 国产AV国片偷人妻麻豆| 中文字幕日韩无码制服诱或| 激情综合网激情五月俺也去| 亚洲行行色色| 婷婷亚州综合| 激情五月天偷拍综合网| 91精品91久久久中77777久久玖玖九九| 丁香美女五月天婷婷| 成人免费在线电影| 婷婷少妇激情| av中文在线| 亚洲人人操| 甈吧vv| 97午夜一区二区| 丁香婷婷深情五月亚洲| 久久婷婷东京热| 色碰碰| 另类天堂| 蜜臀AV在线观看| 五月天色在线| 婷婷第一页| 亚洲综合草草| 五月天色婷伊人| 国产露脸150部国语对白| 精品,99| 97人人操人人操人人操人人| 欧美精品啪啪| 久久黄A片| 成人国产欧美大片一区| 久久精品亚洲一级牲爱综合| 九色无码| 99热久| 五月天婷婷久色| 182.t午在线观看| 欧美成人日韩| 五月婷视频久久| 五月激情久久综合网| 天花AV无码| 亚洲AV成人在线| 很很操96| 激情综合另类| 色婷婷免费视频| www色婷婷久久综合久色 | 全亚洲最大的婷婷五月天网站COM| 丁香五月婷婷基地| 99精品22| 亚洲黄色精品| 开心五月婷婷| 亚洲av免费在线| 九九亚洲视频| 成人中文字幕在线| 日日干夜夜干| 狠狠干综合网| av中文在线| 97人妻超级碰碰碰碰碰| 中文久久婷婷| 激情小说五月丁香在线视频观看视频| 色婷婷av综合网| 秋霞成人毛片一级A片| 激情五月天之五月婷婷| 九九精品re免费视频| 色五月激情五月天| 99久久99热这里只有精品| 视频久久9| 五月婷婷片| 色婷婷丁香五月综合| 久久3p| 无码人妻少妇色欲AV一区二区| 丁香五月激情综合啪啪| 国产成人+综合亚洲+天堂| 极品人妻VIDEOSSS人妻| 五月婷婷激情| 五月色婷婷影视在线电影| 天堂五月婷婷| 五月香婷婷| 欧美色性色好| 79精品在线视频| 在线99色| 第九色区av天堂| 精品久热69| 婷五月天在线草| 91啪啪网| 国内一级片| 九九九九毛片| 99色在线观看视频| 五月总合激情网| 96精品国产综合久久久久久| 超碰免费人人| 另类视频五月天| 天天爱天天做天天爽| 五月婷婷综合激情网| 亚韩精品视频1区| 天天干电影| 婷婷五月激情天| 五月www| 九九热10| 9色在线视频精品观看| 久久怡红院| 五月天丁香成人| 五月天成人在线| 婷婷国产综合| 亚洲免费av在线| 日本www免费九九| 99re8这里只有精品99re8热视频| 色色色热热热| 激情五月丁香激情综合网| 久久婷婷五月综合97色一本| 久久五月情| 久久婷婷五月天大香蕉| 91欧美| 天天插综合网| 五月丁香无码| 月婷婷亚洲| 久久女婷| 亚洲一区二区无遮挡A片| 五月丁香在线观看| 婷婷伊人激情婷婷| 色婷婷视频| 射久久丁香五月| 亚洲欧美日韩另类| www.色五月| 色五月网址| 99在线精品视频在线观看| 激情五月天开心| 婷婷六月久久综合导航| 婷婷成人丁香色情基地30| 美女va| 日本综合色色| 久久9热| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 婷婷在线免费| 色播五月丁香婷婷| 五月丁香久久网| 五月丁香操婷逼| 色五月婷婷综合在线| 9久9久9久女女女九九九一九| 亚洲视频综合网| 国产亚洲精品久久久久久牛牛| 色婷婷狠狠18禁| AV在线观看网站| 婷婷五月天播播| 天天色宗合| 五月丁香激情深爱婷婷| av婷婷丁香| 91久久婷婷人人澡草| 精品综合五月| renrencaoni| 婷婷伊人无码| 欧美天天爽| 日韩成人精品中文字幕| 五月丁香激情综合网| 五月天三级久久| 91九色欧美| 99热欧美精品| 好色婷婷| 91人碰| 另类在线观看视频| 2050人人操免费工开爱| 大香蕉五月婷婷丁香| .青娱乐天天操B| 亚洲第一成人无码A片| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 五月丁香啪啪啪| 国产午夜精品一区二区三区嫩草| 337p大胆噜噜噜噜噜91Av| 99热18| 丰满老熟妇BBBBB搡BBB| 国自产拍偷拍精品啪啪一区二区| 色播五月婷婷五月| 涩 五月 婷婷 狠狠| 婷婷五月电影院| 天天色天天爱天天舔| 狠狠CAO日日穞夜夜穞AV| 99精品综合视频| 夜夜干天天干| 九九热短视频在线观看| 婷婷中文字幕在线| 婷婷五月色情天| 亚洲小视频免费播放| 色欲色香,www,com| 五月丁香成人视频| 久久XX| 黄桃AV无码免费一区二区三区| 久久这有这里精品| 色五月人妻| 欧美日韩99| 亚洲色色色| www.精品99| 夜夜爽天天干| 五月丁综合在线观看| AV在线不卡网站| 久久久大香蕉| 激情国产五月| 69激情小说| 婷婷综合婷婷| 久热网站| 国产探花一片区| 激情五月婷| 亚洲成人人人操| 狠狠色丁香久久| 五月婷婷中文字幕| 草综合网| 国产精品电| 99久久大片| 国産精品| 丁香婷婷久久综合在线| 六月丁香VA| 9久热在线视频精品| 天天人人人人人人人人人人人| 97五月天婷婷午夜| 色欧美一级| 五月成人网站| 丁香婷婷五月激情综合| 热久国产| 国产欧美精品AAAAAA片| 五月丁香在线综合| 九色91视频| 日本综合九九| 欧洲亚洲免费视频9| 在线va网站| 综合久久狠狠| 超碰久热| 9l视频自拍九色9l视频在线观看| 色小说婷婷五月天天天| AV大片在线观看| 五月激情站| 五月丁香六月婷婷激情视频在线观看免费 | 五月丁香婷婷综合久久| 伊久大香蕉| 久草热在线视频| 色色网站| 亚州激情网站无码| a在线观看| 欧美又粗又大一区二区在线观看| 日韩AV中文字幕在线| 综合婷婷| 丁香六月毛片| 免费啪啪亚州视频| 六月婷婷综合| 亚洲AV无码一区二| 色婷婷欧美| 亚洲国产精品综合色区| 久久激情综合| 久久精品一区二区三区四区| 97干在线看| 色五月成人婷婷| 五月婷婷中文字幕| 色综合色| 激情综合网站| 五月色情婷婷开心五月色情| 婷婷五月综合网| h在线看免费版在线看| 欧美啪啪五月天| 丁香五月图片| 日本99色| 国产XXXX搡XXXXX搡麻豆| 另类精品视频在线观看| 久热中文字幕在线线观看| 五月婷婷偷拍| 97搞在线| 色色婷婷五月| 人人摸人人摸| 日韩成人无码| 五月综合激情| 精品人妻久久久久| 九九热在线99| 在线看av| 玖久精品视频9| 色哟哟精品| 人操91在线| 久久与婷婷| 操九色| 97久久综合网| 99色区| 激情九色| 色色图五月天| 色色色色色色色综合| 99热精品99| 97爱艹婷婷开心丁香激情综合| 国产欧美日韩性爱| 婷婷五月天天爽| 色色色色色色综合网| 五月婷婷在线短视频| 亚洲成人黄色网| 国产精品久久久久久久久久免费| 久热欧美| 五月丁香婷婷欧美| 不卡成人免费| 五月婷婷久久综合| 九月丁香亭亭| 婷婷九月在线| 婷婷丁香综合成人| 嫩草AV久久伊人妇女超级A| 狠狠干综合| 久久人妻视频| 婷婷五月丁香性爱| 天天操天天日天天爽| 色99网站| 婷婷综合亚洲| 五月的色婷婷高潮| 日韩日比视频在线| 色婷婷伦理| 思思精品视频| 亚洲av成人在线| 97久久超级| 深爱丁香激情| 性色做爰片在线观看WW| 激情综合5| 97香蕉碰碰人妻国产欧美| 五月久久网| 啪啪小说五月天| av五月天婷婷丁香| 午夜无码精品色综合久久| 久久久中文| 丁香五月天婷婷在线视频| 91操网| 99久久精品国产色欲| 第五色婷婷| 超级碰 久久9| 人妻VideOssS人妻高清| 天天爱天天天射AV| 夜夜噜夜夜奇| 色噜噜狠狠色综无码久久合欧美| 色五月激情问网站| 婷婷五月天色| 色综合色综合网| 日本久久精品| 久热一本| 天天肏视频| 99操无码视频观看| 五月丁香好婷婷A片网| 99久精品视频| 天天日天天舔| 激情中文在线| 婷婷五月激情欧美| 99九九中文字幕视频| 色五月 五月婷婷| 91九色欧美| WWW.17C亚洲精品| 9热精品| 日韩综合久久| 涩综合网| 日本综合久久| 九九热亚洲中文在线观看免费| 91chinese在线| 久久五月天激情美女| 五月色影院| 婷婷色婷婷亚洲成人| 亚洲操逼网| 狠狠综合| 欧美一级色| 第六色在线| 影音先锋男人女人| 99综合一区| 国产色香蕉精品五夜婷| 亚洲视色| 骚五月婷婷| 91丨九色丨国产打屁股| 色婷婷基地| 婷色五月| 婷婷激情五月综合丁| 九九精品大香蕉| 激情婷婷啪啪| 五月天婷综合| 性欧美日本| 欧洲99视频在线| 免费无码毛片一区二区A片| 另类小说五月天综合| 在线中文AV| 色综合久久88色综合天天| 色婷婷很很丝袜| 婷婷五月天电影在线| 99色在线视频观看| 日本爆乳片手机在线播放| 伊人www22综合色| 播播网色播播| 99在线看片| 在线视频九色97| 天天操天天干天天日| 伊人久久大香网| 超碰成人电影| 少妇激情五月婷婷| 特黄三级又爽又粗又大| 五月综合丁香婷婷| 狠狠舔| 人人人操 超碰| 综合久久99| 婷婷午夜丁香| 99在线免费视频| 26uuu亚洲精品国产| 欧美精品XXXXBBBB| 久久五月视频| 国产成人+综合亚洲+天堂| 毛片新网地| 五月狠狠| 99热6这里只有精品| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 看黄的网站18禁| 色色色九九九五月婷婷| 婷婷五月天免费视频在线观看| 91九色大屁股| 人妻丰满精品一区二区A片| 五月丁香六月婷婷在线观看| 婷婷五月丁香花综合| 五月丁香婷婷啪啪| 人人噜天天上| 亚洲午夜电影| 亚洲乱码日产精品BD在线观看 | 五月婷久久| 五月婷三级片| 久久婷狠狠色| 丁香六月亚洲| 玖玖综合玖玖| 91操人视频| 五月网在线| 99在线观看| 9 7总站超级碰免费视频| 97色婷婷成人综合在线观看| 欧美激情丁香五月天久久婷婷一区| 五月天婷婷丁香人人操91| 久久免费精彩视频| 激情色视频| 狠狠色丁香| 亚洲 成人 电影av在线观看| 国产精品久久久久久白浆色欲| 日韩综合大黄| 超碰在线人人| 无码字幕中文| 丁香婷婷久久| 婷婷干五月综合在线播放| 五月天无码| 26UUU精品一区二区| 国产伦理精品高清在线观看网站一区二区 | 天天干天天拍| 欧美色婷婷| 亚洲俩性性爱图片久久第六页| 久久大香蕉伊人| EEUSS鲁片一区二区三区| 五月丁香婷婷五月| 凹凸探花电影| 色婷婷五月天成人网| http:色情日本com| 99re免费精品视频| 久热这里只有精品99re| 成人噜噜网| 日韩无码人妻一区二区| 人妻熟女一区二区AV| 香蕉狠狠爱视频| 色情免费视频播放| 欧美激情丁香五月| 日韩一级网站| 99精品国产在热久久| 五月婷婷久久久| 99热在线成人网站| 玖玖资源部在线播放| 久久精品五月| 激情人妻蜜夜系列区| 色偷偷五月天| 婷婷激情综合| 噜噜噜精品欧美成人在线观看| 久久精彩综合视频| 大香蕉人在线65| 婷婷在线网| 久操大香蕉| 久热中文字幕| 激情婷婷五月天日本系列| 十月丁香婷婷| 妇激情基地| 99久久玖玖| 婷婷福利影院| 精品一二三区久久AAA片| 天天综合在线网| 亚洲日日操| 99热网站在线观看| 婷婷丁香熟妇综合网| 五月开心久久| 婷婷五月丁香基| 岛国AV网| 成人网站免费在线播放| 久久久久人妻网址| 天天射综合网夜夜操| 丁香五月 综合| 五月天婷婷久久| 色婷婷88| 99超碰人人| 在线超碰免费| 极品人妻VIDEOSSS人妻| 亚洲中文字幕网| 影视av久久久噜噜噜噜噜三级| 丁香五月婷婷激情蜜桃| 婷婷五月天亚洲综合网| 狠狠va| 日本99久久| 久久久ww| 99九九在线视频| 亚洲精品网址| 亚洲精品**不卡在线播he| 九九在线热九九在线热99热| 激情综合五月天| 超碰人妻在线| 99熟女| 另类图片色五月| 成人精品人妻| 久久hd| 午夜做爱影院| 婷婷丁香色情| 色婷婷丁香五月天| 26uuuuuuuu国产| 精品99爱免费视频在线观看| 五月婷婷 六月丁香| 99er6| 丁香五月婷婷色五月| 天天日日人| 色情五月丁香婷婷网| 丁香亭亭久久| 天天色天天色天天色天天色天天色天天色| 色色五月天丁香| 99日本在线| 久久HD| 丁香无月在线观看| 色五月激情网| 青青草原中文字幕|