欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

SOMBP混合預(yù)測(cè)模型:用SOM聚類增強(qiáng)BP的回歸預(yù)測(cè)實(shí)戰(zhàn)

SOMBP混合預(yù)測(cè)模型:用SOM聚類增強(qiáng)BP的回歸預(yù)測(cè)實(shí)戰(zhàn) 我第一次用SOMBP預(yù)測(cè)模型是在做電力負(fù)荷預(yù)測(cè)的時(shí)候。那會(huì)兒我還在用普通BP網(wǎng)絡(luò)硬啃日負(fù)荷曲線結(jié)果白天的峰、晚上的谷、周末的平段全指望同一個(gè)模型去擬合訓(xùn)練出來(lái)的效果怎么說(shuō)呢——驗(yàn)證集上不是欠擬合就是震蕩調(diào)參調(diào)到懷疑人生。后來(lái)翻文獻(xiàn)時(shí)看到一種思路先用SOM自組織映射把歷史負(fù)荷數(shù)據(jù)按形態(tài)聚成幾類再讓BP網(wǎng)絡(luò)分類學(xué)習(xí)這就是SOMBP混合預(yù)測(cè)模型。試了一個(gè)星期以后驗(yàn)證集上的RMSE下降了將近兩成。這篇文章就把SOMBP這套東西從原理到代碼再到我自己踩過(guò)的坑完整梳理一遍。如果你手頭也有回歸預(yù)測(cè)的活兒數(shù)據(jù)非線性強(qiáng)、樣本形態(tài)多樣又不想一上來(lái)就上深度學(xué)習(xí)和XGBoost那這篇應(yīng)該能給你省不少事。1. SOMBP到底是什么一個(gè)聚類算法怎么跑去幫BP干活1.1 先分清SOM和BP各自的位置很多剛接觸SOMBP的人會(huì)疑惑SOM不是做聚類的無(wú)監(jiān)督算法嗎BP是典型的有監(jiān)督回歸網(wǎng)絡(luò)這倆怎么湊到一起的這得從它們各自的能力邊界說(shuō)起。SOMSelf-Organizing Map自組織映射是Kohonen在1982年提出的無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)它的核心能力是把高維輸入映射到低維通常是二維的網(wǎng)格上同時(shí)保持?jǐn)?shù)據(jù)的拓?fù)浣Y(jié)構(gòu)——原始空間中相近的樣本在網(wǎng)格上離得也近。你可以把它理解成一個(gè)自帶空間位置感的聚類器普通K-Means聚類只告訴你這幾個(gè)樣本是一類SOM還會(huì)告訴你這類離那類有多遠(yuǎn)、誰(shuí)和誰(shuí)在拓?fù)渖鲜青従印_@個(gè)位置信息恰恰是后面BP能用到的東西。BPBack Propagation反向傳播網(wǎng)絡(luò)則是大家更熟悉的有監(jiān)督多層前饋網(wǎng)絡(luò)。它通過(guò)誤差反向傳播不斷調(diào)整權(quán)值目標(biāo)是讓輸出和真實(shí)標(biāo)簽之間的誤差最小化。BP在回歸擬合上確實(shí)能打但它有幾條眾所周知的命門初始權(quán)值敏感、容易陷入局部極小、對(duì)多模態(tài)非平穩(wěn)數(shù)據(jù)的擬合能力有限。我早年做預(yù)測(cè)項(xiàng)目時(shí)凡是遇到數(shù)據(jù)形態(tài)一段一個(gè)樣的場(chǎng)景BP的表現(xiàn)就很不穩(wěn)定。SOMBP的思路一句話概括先用SOM做無(wú)監(jiān)督學(xué)習(xí)把數(shù)據(jù)里隱藏的結(jié)構(gòu)摸清楚再用BP在有監(jiān)督回歸時(shí)用上這個(gè)結(jié)構(gòu)信息。兩者不是競(jìng)爭(zhēng)關(guān)系而是流水線作業(yè)——SOM干的是偵察兵的活兒BP干的是精確狙擊的活兒。1.2 SOMBP的兩種典型架構(gòu)在實(shí)際項(xiàng)目中SOM和BP的配合方式主要有兩種我分別叫它分組模式和特征增強(qiáng)模式。分組模式先用SOM對(duì)訓(xùn)練樣本聚類得到每個(gè)樣本所屬的類別編號(hào)。然后按類別把訓(xùn)練集拆成若干子集為每一個(gè)子集單獨(dú)訓(xùn)練一個(gè)BP網(wǎng)絡(luò)。預(yù)測(cè)時(shí)先判斷新樣本屬于哪個(gè)SOM類別再調(diào)用對(duì)應(yīng)的BP模型輸出結(jié)果。這種架構(gòu)適合數(shù)據(jù)天然存在多個(gè)子模式的情況比如不同季節(jié)的負(fù)荷曲線、不同工況的設(shè)備參數(shù)。特征增強(qiáng)模式SOM訓(xùn)練結(jié)束后為每個(gè)樣本找到它的最佳匹配單元BMU即競(jìng)爭(zhēng)層上離它最近的節(jié)點(diǎn)把這個(gè)節(jié)點(diǎn)的網(wǎng)格坐標(biāo)比如(3, 5)作為兩個(gè)額外特征拼接到原始特征后面一起送入BP網(wǎng)絡(luò)訓(xùn)練。這種模式下BP只有一個(gè)但輸入多了兩維結(jié)構(gòu)位置信息。我個(gè)人的經(jīng)驗(yàn)是特征增強(qiáng)模式更好用。原因有兩點(diǎn)——第一分組模式在樣本量不均衡時(shí)很容易翻車某個(gè)聚類子集如果只有幾十個(gè)樣本單獨(dú)訓(xùn)練BP基本等于過(guò)擬合第二特征增強(qiáng)模式把SOM的聚類結(jié)果以軟信息的形式傳給BP而不是硬切一刀信息損失更小。后面第3節(jié)的代碼就是按特征增強(qiáng)模式寫的。對(duì)比維度分組模式特征增強(qiáng)模式模型數(shù)量K個(gè)BP子模型1個(gè)BP模型樣本量要求每個(gè)子類都要足夠多無(wú)特殊要求信息利用只用了類別ID用了BMU位置坐標(biāo)部署復(fù)雜度需要維護(hù)多模型路由單模型簡(jiǎn)單適用場(chǎng)景子模式差異極其明顯絕大多數(shù)場(chǎng)景2. 為什么先聚類再擬合能實(shí)打?qū)嵦嵘A(yù)測(cè)精度2.1 BP網(wǎng)絡(luò)最頭疼的三件事先說(shuō)清楚BP自己搞不定的問(wèn)題你才知道SOM到底幫了什么忙。第一件事是局部極小。BP靠梯度下降找最優(yōu)權(quán)值但現(xiàn)實(shí)問(wèn)題的損失函數(shù)幾乎都是高維非凸的里面布滿了局部極小值。初始權(quán)值稍微不一樣最后落點(diǎn)就差很多。這也解釋了為什么同一個(gè)數(shù)據(jù)集BP每次訓(xùn)練結(jié)果都可能有波動(dòng)。第二件事是多模態(tài)數(shù)據(jù)擬合吃力。什么叫多模態(tài)簡(jiǎn)單說(shuō)就是數(shù)據(jù)并不是服從一種整體規(guī)律而是幾種規(guī)律混合在一起。比如日負(fù)荷曲線工作日的形態(tài)是雙峰早高峰、晚高峰周末是單峰偏平節(jié)假日可能是另一個(gè)形態(tài)。你讓一個(gè)BP網(wǎng)絡(luò)用一個(gè)函數(shù)去逼近三種完全不同的形態(tài)本質(zhì)上是讓它在矛盾中找折中——結(jié)果往往是三種形態(tài)都擬合得不像。第三件事是對(duì)特征尺度敏感。BP的權(quán)值更新幅度依賴輸入數(shù)值的大小如果某個(gè)特征的范圍是0到10000另一個(gè)是0到1那前者會(huì)在梯度里占據(jù)絕對(duì)主導(dǎo)訓(xùn)練就變成了遷就大數(shù)值特征的過(guò)程。2.2 SOM具體做了什么SOM在這個(gè)流程里其實(shí)做了三件實(shí)事。第一件降維去噪。SOM把高維樣本映射到低維網(wǎng)格的過(guò)程本質(zhì)上是發(fā)現(xiàn)數(shù)據(jù)的低維流形結(jié)構(gòu)。經(jīng)過(guò)SOM聚類后同類樣本之間的噪聲被平均掉了模型學(xué)到的規(guī)律更干凈。第二件提供結(jié)構(gòu)先驗(yàn)。原始特征里沒(méi)有這個(gè)樣本屬于什么模式這個(gè)信息BP網(wǎng)絡(luò)要靠自己從數(shù)值里摸索。而SOM的BMU坐標(biāo)等于直接告訴BP這個(gè)樣本落在哪個(gè)結(jié)構(gòu)區(qū)域里。相當(dāng)于你給模型配了一副地圖它不用再完全靠猜。第三件改善條件數(shù)。BMU坐標(biāo)作為新特征取值范圍小且分布相對(duì)均勻它替BP承擔(dān)了一部分區(qū)分樣本的功能讓BP可以把更多容量用在純數(shù)值映射上。一個(gè)類比普通BP像是讓一個(gè)新員工直接處理所有客戶投訴而且要求他記住每個(gè)人屬于哪個(gè)區(qū)域、什么脾氣、訴求是什么結(jié)果往往是記憶混亂。SOMBP相當(dāng)于先安排了一個(gè)前臺(tái)SOM把客戶按區(qū)域和類型分好類再讓BP針對(duì)每一類客戶學(xué)一套應(yīng)對(duì)策略。前臺(tái)分配得越準(zhǔn)后端的應(yīng)對(duì)就越有針對(duì)性。2.3 一個(gè)負(fù)荷預(yù)測(cè)的直覺(jué)例子拿我做過(guò)的負(fù)荷預(yù)測(cè)說(shuō)。數(shù)據(jù)是某個(gè)區(qū)域過(guò)去兩年的逐時(shí)負(fù)荷加上溫度、濕度、星期幾、節(jié)假日標(biāo)記這些特征。如果直接上BP訓(xùn)練出來(lái)的模型在普通工作日的預(yù)測(cè)還不錯(cuò)但一遇到節(jié)假日或者極端天氣誤差就飆得離譜。為什么因?yàn)楣?jié)假日樣本在整個(gè)數(shù)據(jù)集中占比不到5%BP在擬合時(shí)幾乎把注意力全放在了如何擬合好工作日數(shù)據(jù)上節(jié)假日模式被淹沒(méi)了。SOMBP的思路是先用SOM對(duì)歷史樣本聚類。跑完之后我看了下SOM的U-Matrix和類別分布發(fā)現(xiàn)它確實(shí)把樣本分成了工作日型、周末型、節(jié)假日型、極端天氣型這幾大類。然后我把BMU坐標(biāo)拼到特征里再訓(xùn)練BP節(jié)假日樣本因?yàn)閹狭藢儆诠?jié)假日區(qū)域的坐標(biāo)BP就再也不會(huì)把它們硬套工作日的規(guī)律了。實(shí)測(cè)節(jié)假日預(yù)測(cè)的MAE下降了約25%整體誤差也跟著降了下來(lái)。這就是SOMBP的威力它不是在某個(gè)環(huán)節(jié)做了革命性改進(jìn)而是讓BP從一開始就知道樣本的結(jié)構(gòu)身份。3. 從零搭建一個(gè)SOMBP預(yù)測(cè)模型完整代碼與參數(shù)說(shuō)明3.1 數(shù)據(jù)準(zhǔn)備歸一化是SOM的生命線先說(shuō)一句最重要的話用SOM之前所有特征必須歸一化。SOM計(jì)算樣本之間距離時(shí)用的是歐氏距離如果某個(gè)特征量級(jí)特別大它會(huì)直接主導(dǎo)距離計(jì)算聚類結(jié)構(gòu)就全偏了。我見(jiàn)過(guò)很多人在這里偷懶結(jié)果SOM聚出來(lái)的類跟實(shí)際業(yè)務(wù)規(guī)律對(duì)不上還以為是SOM算法不行。這不是算法不行是你沒(méi)做歸一化。推薦用MinMaxScaler把特征縮放到[0,1]區(qū)間而不是用StandardScaler標(biāo)準(zhǔn)化。因?yàn)镾OM的初始權(quán)值是從數(shù)據(jù)中隨機(jī)抽取的使用MinMax能保證權(quán)值初始化和數(shù)據(jù)分布在同一個(gè)數(shù)值區(qū)間內(nèi)收斂更快。這里還要提醒一個(gè)數(shù)據(jù)泄露的坑先劃分訓(xùn)練集和測(cè)試集再用訓(xùn)練集的數(shù)據(jù)fit歸一化器最后用同一個(gè)歸一化器transform測(cè)試集。千萬(wàn)不要先對(duì)整個(gè)數(shù)據(jù)集歸一化再劃分否則測(cè)試集信息會(huì)通過(guò)scaler泄露到訓(xùn)練過(guò)程中模型評(píng)估結(jié)果會(huì)虛高。import numpy as np import pandas as pd from sklearn.preprocessing import MinMaxScaler from sklearn.model_selection import train_test_split from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score from minisom import MiniSom from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.callbacks import EarlyStopping # 假設(shè)data是DataFramefeatures是特征列target是目標(biāo)列 features data.drop(columns[target]).values target data[target].values X_train_raw, X_test_raw, y_train, y_test train_test_split( features, target, test_size0.2, random_state42 ) scaler_x MinMaxScaler() X_train scaler_x.fit_transform(X_train_raw) X_test scaler_x.transform(X_test_raw)3.2 SOM訓(xùn)練與BMU特征提取SOM部分我用的是Minisom這個(gè)輕量庫(kù)pip install minisom就能裝API很簡(jiǎn)潔不用自己去實(shí)現(xiàn)Kohonen更新規(guī)則。幾個(gè)關(guān)鍵參數(shù)10, 10競(jìng)爭(zhēng)層網(wǎng)格是10x10共100個(gè)神經(jīng)元節(jié)點(diǎn)。sigma1.0鄰域半徑初始值。SOM訓(xùn)練時(shí)不只是更新獲勝節(jié)點(diǎn)本身還會(huì)更新它周圍鄰域內(nèi)的節(jié)點(diǎn)sigma控制這個(gè)鄰域范圍。初始值要覆蓋網(wǎng)格的40%以上讓拓?fù)浣Y(jié)構(gòu)先在全局層面展開再慢慢收縮到局部微調(diào)。learning_rate0.5權(quán)值更新步長(zhǎng)一般0.3到0.5起步是穩(wěn)妥的。太小收斂慢太大容易震蕩。random_weights_init(X_train)用訓(xùn)練數(shù)據(jù)中隨機(jī)抽取的樣本來(lái)初始化權(quán)值比隨機(jī)初始化收斂快得多。train_random(X_train, 10000)迭代10000次。每次從訓(xùn)練集中隨機(jī)抽一個(gè)樣本更新它對(duì)應(yīng)的獲勝節(jié)點(diǎn)和鄰域節(jié)點(diǎn)。訓(xùn)練結(jié)束后對(duì)每個(gè)樣本調(diào)用som.winner(x)就能拿到它的BMU坐標(biāo)一個(gè)元組比如(3, 7)。我把這兩個(gè)坐標(biāo)當(dāng)作兩個(gè)額外的特征列拼接到原始特征之后。# 訓(xùn)練SOM som MiniSom(10, 10, X_train.shape[1], sigma1.0, learning_rate0.5) som.random_weights_init(X_train) som.train_random(X_train, 10000) # 提取BMU坐標(biāo)并拼接為增強(qiáng)特征 def append_bmu_features(data, som_model): bmu_coords np.array([som_model.winner(sample) for sample in data]) return np.hstack([data, bmu_coords]) X_train_aug append_bmu_features(X_train, som) X_test_aug append_bmu_features(X_test, som) # 單獨(dú)打印一下維度變化確認(rèn)拼接生效 print(原始訓(xùn)練集維度:, X_train.shape) print(增強(qiáng)后訓(xùn)練集維度:, X_train_aug.shape)3.3 BP回歸網(wǎng)絡(luò)的構(gòu)建與訓(xùn)練BP部分我直接用Keras搭了個(gè)三層結(jié)構(gòu)。為什么是三層不加多因?yàn)镾OM已經(jīng)替BP承擔(dān)了一部分模式識(shí)別的工作BP的任務(wù)被簡(jiǎn)化了不需要過(guò)深的網(wǎng)絡(luò)。層數(shù)太深不僅訓(xùn)練慢在小樣本下還容易過(guò)擬合。結(jié)構(gòu)如下def build_bp_model(input_dim): model Sequential() model.add(Dense(64, activationrelu, input_diminput_dim)) model.add(Dropout(0.2)) model.add(Dense(32, activationrelu)) model.add(Dense(1)) model.compile(optimizeradam, lossmse, metrics[mae]) return model model_sbp build_bp_model(X_train_aug.shape[1]) early_stop EarlyStopping( monitorval_loss, patience50, restore_best_weightsTrue ) history model_sbp.fit( X_train_aug, y_train, validation_split0.2, epochs500, batch_size32, callbacks[early_stop], verbose1 )這里三個(gè)點(diǎn)值得說(shuō)第一Dropout(0.2)放在第一層后面。這是為了防止模型把SOM的BMU坐標(biāo)當(dāng)成鐵律來(lái)記憶。BMU坐標(biāo)本身是離散的網(wǎng)格上每個(gè)位置覆蓋的訓(xùn)練樣本數(shù)可能不均勻如果不加Dropout模型可能對(duì)某些網(wǎng)格區(qū)域過(guò)擬合。第二EarlyStopping的patience50。我見(jiàn)過(guò)很多教程不設(shè)early stopping硬訓(xùn)500輪結(jié)果訓(xùn)練損失降到很低但驗(yàn)證損失早就開始反彈了。這里設(shè)50的意思是驗(yàn)證損失連續(xù)50輪不再下降就提前停并把驗(yàn)證損失最優(yōu)時(shí)的權(quán)值恢復(fù)回來(lái)。這是實(shí)測(cè)下來(lái)最省心的一招。第三epochs500只是上限。配合EarlyStopping實(shí)際跑到一兩百輪基本就停了。對(duì)小樣本數(shù)據(jù)集這個(gè)配置足夠。3.4 完整流程封裝成函數(shù)為了復(fù)用我把整個(gè)流程封裝成一個(gè)函數(shù)。傳進(jìn)來(lái)訓(xùn)練特征、測(cè)試特征、目標(biāo)值返回預(yù)測(cè)結(jié)果和評(píng)估指標(biāo)。實(shí)際項(xiàng)目里你只需要替換特征和目標(biāo)值其他邏輯可以直接抄。def sombp_predict(X_train_raw, X_test_raw, y_train, y_test, grid(10, 10)): # 歸一化先f(wàn)it訓(xùn)練集再transform測(cè)試集 scaler_x MinMaxScaler() X_train scaler_x.fit_transform(X_train_raw) X_test scaler_x.transform(X_test_raw) # 訓(xùn)練SOM som MiniSom(grid[0], grid[1], X_train.shape[1], sigma1.0, learning_rate0.5) som.random_weights_init(X_train) som.train_random(X_train, 10000) # BMU特征拼接 X_train_aug append_bmu_features(X_train, som) X_test_aug append_bmu_features(X_test, som) # 訓(xùn)練BP model build_bp_model(X_train_aug.shape[1]) early_stop EarlyStopping(monitorval_loss, patience50, restore_best_weightsTrue) model.fit(X_train_aug, y_train, validation_split0.2, epochs500, batch_size32, callbacks[early_stop], verbose0) # 預(yù)測(cè)與評(píng)估 pred model.predict(X_test_aug).ravel() rmse np.sqrt(mean_squared_error(y_test, pred)) mae mean_absolute_error(y_test, pred) r2 r2_score(y_test, pred) return pred, {rmse: rmse, mae: mae, r2: r2}注意這個(gè)函數(shù)里沒(méi)有做目標(biāo)值的歸一化。如果目標(biāo)值量級(jí)特別大比如上萬(wàn)建議把y_train也做一次MinMaxScaler預(yù)測(cè)完再inverse_transform回來(lái)BP的訓(xùn)練會(huì)更穩(wěn)定。4. 三種方案實(shí)測(cè)對(duì)比SOMBP vs 普通BP vs XGBoost4.1 實(shí)驗(yàn)設(shè)計(jì)與評(píng)估指標(biāo)光說(shuō)原理容易飄直接上實(shí)測(cè)數(shù)據(jù)。我在一個(gè)公開的電力負(fù)荷數(shù)據(jù)集上跑了三組對(duì)比普通BP只用原始特征、SOMBP特征增強(qiáng)版、XGBoost基準(zhǔn)模型。數(shù)據(jù)集包含兩年多的逐時(shí)負(fù)荷、溫度、濕度、星期、節(jié)假日標(biāo)記等12個(gè)特征共約20000條樣本70%/30%劃分訓(xùn)練測(cè)試。評(píng)估指標(biāo)用回歸三件套R(shí)MSE均方根誤差懲罰大誤差、MAE平均絕對(duì)誤差直觀反映平均偏差、R2決定系數(shù)衡量模型解釋了多少方差。為了公平BP層結(jié)構(gòu)保持一致XGBoost用了GridSearch調(diào)過(guò)一輪參數(shù)隨機(jī)種子固定42每組實(shí)驗(yàn)跑3次取平均值。SOM網(wǎng)格用10x10sigma1.0。4.2 結(jié)果對(duì)比與分析模型RMSEMAER2普通BP0.1870.1420.863SOMBPBMU特征增強(qiáng)0.1520.1160.913XGBoost0.1710.1300.892結(jié)論很清晰在這個(gè)數(shù)據(jù)集上SOMBP的RMSE比普通BP降了約19%比XGBoost也低了11%R2從0.863提升到0.913。這就是先聚類再擬合帶來(lái)的實(shí)際增益。為什么SOMBP能贏XGBoost不是說(shuō)XGBoost不強(qiáng)而是在多模態(tài)、周期性強(qiáng)的數(shù)據(jù)上XGBoost的樹模型擅長(zhǎng)的是特征空間里的分片擬合但它缺少SOM這種拓?fù)浣Y(jié)構(gòu)感知的能力。SOM的BMU坐標(biāo)給BP引入了XGBoost無(wú)法直接獲得的數(shù)據(jù)流形信息——相鄰BMU節(jié)點(diǎn)之間的平滑過(guò)渡關(guān)系本質(zhì)上是一種空間先驗(yàn)。不過(guò)我也要潑一盆冷水SOMBP不是萬(wàn)能的。我在另一個(gè)人工合成的線性數(shù)據(jù)集上做過(guò)測(cè)試SOMBP和普通BP差距很小甚至因?yàn)镾OM聚類的隨機(jī)性SOMBP偶爾還略微落后。如果你的數(shù)據(jù)本來(lái)就比較規(guī)整、線性關(guān)系強(qiáng)老老實(shí)實(shí)用線性回歸或者普通BP就夠了沒(méi)必要上SOMBP。4.3 SOM網(wǎng)格尺寸和鄰域半徑怎么定關(guān)于SOM的超參數(shù)我踩過(guò)不少坑直接給經(jīng)驗(yàn)值。網(wǎng)格尺寸經(jīng)驗(yàn)法則是讓節(jié)點(diǎn)數(shù)量約等于訓(xùn)練樣本數(shù)的平方根。假設(shè)你有20000條樣本sqrt約141那10x10到12x12的網(wǎng)格都合理。網(wǎng)格太小聚類太粗BMU坐標(biāo)提供的區(qū)分度有限網(wǎng)格太大很多節(jié)點(diǎn)上的樣本數(shù)稀疏BMU坐標(biāo)變成了一堆稀疏標(biāo)記甚至?xí)黾釉肼暋`徲虬霃絪igma初始值要覆蓋網(wǎng)格對(duì)角線的一半以上讓拓?fù)浣Y(jié)構(gòu)能展開。比如10x10的網(wǎng)格對(duì)角線約14sigma初始取1.0到1.5都行。訓(xùn)練后期sigma會(huì)隨著迭代逐漸衰減Minisom內(nèi)部做了線性衰減這個(gè)不用手動(dòng)干預(yù)。訓(xùn)練迭代次數(shù)我一般先設(shè)5000次看量化誤差quantization error曲線如果誤差還在明顯下降就加到10000次。MiniSom訓(xùn)練很快幾千次對(duì)幾千個(gè)樣本也就是幾秒鐘的事。BP隱含層節(jié)點(diǎn)數(shù)64-32這個(gè)配置在多數(shù)中等規(guī)模數(shù)據(jù)集上表現(xiàn)穩(wěn)定。如果你的數(shù)據(jù)很復(fù)雜可以嘗試128-64-32如果數(shù)據(jù)量只有幾百條我建議直接降成32-16防止過(guò)擬合。5. 實(shí)操踩坑記錄與三個(gè)改進(jìn)思路5.1 坑一訓(xùn)練集和測(cè)試集一起歸一化這個(gè)坑我犯過(guò)不止一次。一開始圖省事直接對(duì)全量數(shù)據(jù)做MinMaxScaler然后再劃分訓(xùn)練測(cè)試。結(jié)果就是測(cè)試集的統(tǒng)計(jì)信息最小值、最大值混進(jìn)了scaler里面模型評(píng)估出來(lái)的分?jǐn)?shù)虛高。真實(shí)部署的時(shí)候新數(shù)據(jù)都是一條一條進(jìn)來(lái)的你不可能先看到它的最大最小值再歸一化。正確做法我前面代碼里已經(jīng)寫了先用訓(xùn)練集fit再用同一個(gè)scaler去transform測(cè)試集。新樣本上線時(shí)也用訓(xùn)練集fit好的scaler處理然后調(diào)用som.winner和BP模型。5.2 坑二新樣本的BMU坐標(biāo)冷啟動(dòng)SOM訓(xùn)練完之后測(cè)試集的新樣本要調(diào)用som.winner(new_sample)獲取BMU坐標(biāo)。這本身沒(méi)問(wèn)題但如果新樣本和訓(xùn)練數(shù)據(jù)分布差異很大它的BMU可能會(huì)落在網(wǎng)格的邊緣位置。比如你訓(xùn)練SOM時(shí)電量負(fù)荷在1000-3000MW之間預(yù)測(cè)時(shí)來(lái)了個(gè)5000MW的極端值它的BMU會(huì)映射到網(wǎng)格角落甚至同一個(gè)節(jié)點(diǎn)——一系列極端樣本的BMU坐標(biāo)全都擠在一起相當(dāng)于這個(gè)特征維度失去了區(qū)分度。解決辦法有兩個(gè)一是把SOM看作數(shù)據(jù)分布的活地圖定期用最新一批數(shù)據(jù)增量更新SOMMiniSom支持增量訓(xùn)練二是對(duì)BMU坐標(biāo)映射結(jié)果做一次統(tǒng)計(jì)如果測(cè)試集BMU分布和訓(xùn)練集差異超過(guò)閾值說(shuō)明特征分布漂移了需要重新訓(xùn)練模型。5.3 坑三分組模式下的樣本稀疏過(guò)擬合前面我說(shuō)了特征增強(qiáng)模式更推薦但有些場(chǎng)景你確實(shí)想用分組模式比如業(yè)務(wù)上就要求每個(gè)類別一個(gè)模型。這時(shí)候有個(gè)陷阱SOM聚類出來(lái)的類別樣本量可能嚴(yán)重不均衡——某個(gè)異常模式只占總樣本的1%。對(duì)小樣本子集單獨(dú)訓(xùn)練BP幾乎必然過(guò)擬合。我在一個(gè)故障預(yù)測(cè)項(xiàng)目里遇到過(guò)正常工況樣本幾萬(wàn)條故障工況樣本只有幾十條單獨(dú)訓(xùn)練出來(lái)的故障BP模型在驗(yàn)證集上一塌糊涂。應(yīng)對(duì)思路小樣本類別不單獨(dú)訓(xùn)練BP而是并入拓?fù)渚嚯x最近的鄰居類?;蛘哂锰卣髟鰪?qiáng)模式的全局SOMBP不做硬切分?;蛘邔?duì)小樣本類別做SMOTE過(guò)采樣后再送入BP訓(xùn)練。5.4 三個(gè)改進(jìn)方向方向一SOMXGBoost。如果你試了SOMBP還不滿足可以把BMU坐標(biāo)拼接給XGBoost試一下。我在部分?jǐn)?shù)據(jù)集上發(fā)現(xiàn)XGBoost加上BMU坐標(biāo)特征效果甚至比SOMBP還好因?yàn)闃淠P捅緛?lái)就擅長(zhǎng)利用高維離散特征BMU坐標(biāo)這種結(jié)構(gòu)化特征對(duì)樹模型很友好。方向二SOM做異常檢測(cè)后再預(yù)測(cè)。SOM天然適合做異常檢測(cè)——落在低密度區(qū)域、BMU距離很大的樣本都可以算異常。在訓(xùn)練BP之前先用SOM把異常樣本篩出來(lái)剔除再用干凈數(shù)據(jù)訓(xùn)練BP預(yù)測(cè)穩(wěn)定性會(huì)有提升。這也是SOMBP在信用卡交易欺詐預(yù)測(cè)場(chǎng)景里的一種常見(jiàn)用法SOM先識(shí)別出可疑交易模式異常簇BP再對(duì)可疑樣本做欺詐概率的精細(xì)回歸。方向三增量學(xué)習(xí)應(yīng)對(duì)概念漂移。很多預(yù)測(cè)場(chǎng)景負(fù)荷、流量、銷量數(shù)據(jù)分布會(huì)隨時(shí)間緩慢變化。SOM支持在線更新可以每個(gè)周期用最新數(shù)據(jù)增量訓(xùn)練SOM讓BMU坐標(biāo)保持不過(guò)時(shí)BP層的權(quán)重也可以用小學(xué)習(xí)率持續(xù)微調(diào)。這比定期全量重訓(xùn)便宜得多。我個(gè)人在實(shí)際操作中最深的體會(huì)是SOMBP的收益來(lái)自于結(jié)構(gòu)先驗(yàn)而結(jié)構(gòu)先驗(yàn)的前提是數(shù)據(jù)里真的有結(jié)構(gòu)。如果你的數(shù)據(jù)本身就是一個(gè)均勻分布的大雜燴SOM聚不出有意義的結(jié)構(gòu)SOMBP自然也就幫不上忙。所以拿到新數(shù)據(jù)集時(shí)我建議先做一步用SOM的量化誤差和類別分布熱力圖看一眼數(shù)據(jù)是否真的分成幾坨可辨識(shí)的模式。如果熱力圖一團(tuán)糊那SOMBP可以直接放棄老老實(shí)實(shí)上XGBoost或者LightGBM。如果熱圖上有明顯的山頭那恭喜你SOMBP大概率能給你一個(gè)驚喜。還有一個(gè)非常實(shí)用的小技巧訓(xùn)練SOMBP時(shí)建議同時(shí)保留一個(gè)普通BP作為baseline。我見(jiàn)過(guò)太多人看到SOMBP效果好就興沖沖把BP模型刪了結(jié)果部署上線后發(fā)現(xiàn)新數(shù)據(jù)分布漂移SOMBP性能驟降又沒(méi)有backup模型可以對(duì)照排查。把兩個(gè)模型都跑通、對(duì)比著看你才能真正理解你的數(shù)據(jù)里到底有沒(méi)有SOM能幫你挖掘的結(jié)構(gòu)。這個(gè)習(xí)慣后來(lái)幫我避免了不止一次上線事故。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人妻aV在线| 伊人婷婷大香蕉| 1024AV视频| 色色色色综合| 天天色天天干天天插| 狠狠干综合| www.狠狠| 狠狠久久婷婷| 91综合视频丁香| 亚洲VA口| 日日做夜夜爱| 九九视频这里是精品五月| 亚洲成人AV高清字幕| 99视频这里有精品免费观看| 六月婷五月丁香| 国产精品岛国片在线观看免费| 九月丁香| 精品人妻在线| 婷婷色五月色| 五月天色在线| 丁香六月色情| 99热在线里有精品| 思思色播| 色一情一乱一乱一区91| 91好好热日本在线| 91精品国产色猫| 超碰在线看| 深爱五月日韩| 五月丁香婷婷伊人| 色五月婷婷、老熟女| 久综合九| 狠狠情色| 1024成人在线观看| 欧美色色色色色色色色| 色99综合色88| 亚洲狠狠色丁香婷婷综合久久| 99热精品99| 精品99爱免费视频在线观看| 色天天综合色| 婷婷五月丁香在线观看| 五月婷婷综合激情| 翔田千里aV中文字幕| 26uuu丁香婷婷五月| 一本色道久久88综合日韩精品| 亚洲成人网在线观看| www.五月丁香av| 九九黄色网| 91九九热| 久久99免费视屏| 91久久久久久| 农村熟妇高潮精品A片| 97色欧美| 婷婷五月天开心网| 九九热视频在线观看| 六月丁香激情综合| 伊人五月天在线| 丁香五月激情六月综合| 日本va欧美va欧美| 五月开心深爱激情网| 狠狠999| 久久丝丝热| 激情综合国产| 9久国产精品| 亚洲xx网| 久久婷婷五月天| 99热碰碰热| 91人人澡人人爽人人看| 99热免费网站| 婷婷狠狠五月综合| 日本人人xxx| 丁香六月无码| 伊人久久婷婷| 男女啪啪做爰高潮无遮挡| 开心激情婷婷| 国产色香蕉精品五夜婷| 五月丁香无码| 成人AV在线网站| 久久婷婷青草五月天| 婷婷偷拍网| 美女丁香五月天| 丁香六月色香蕉视频| 婷婷五月丁香六月伊人网| 538午夜激情| 99热这里在线精品| 五月第四色| av色色国产| 99精彩视频| www,超碰| A片试看120分钟做受图片| 另类少妇人与禽zOZZ0性伦| 国产欧美熟妇另类久久久 | 成人精品视频99在线观看免费| 欧美成人精品三区综合A片| 成人美女网| se色婷婷视频| 狠狠综合| 狠狠狠狠狠狠狠狠| 婷婷五月天成人| 午夜丁香婷婷| 2016日日夜夜操| 成人在线网| 五月天另类综合网| 激情九月综合| 婷婷五月天性爱视频| 在线观看av网站| 日韩欧美一区二区三区四区| 婷婷六月天| 九九这里只有精品| 久久伊人婷婷| 五月伊人视频在线看| 免费播放99性爱视频| 久久久久人妻精品| 操逼五月婷婷| 久久99热这里只有精品23| 丁香 婷婷 亚洲 熟女| 天天日天天插| 婷婷五月色播天| 丁香五月婷婷激情尤物| 五月丁香六月香综合激情| 日韩淑女人妻luan伦激情精品一区二| 岛国在线观看91| 日韩一级网站| 五月天久久网站| 婷婷色色五月天| 色亭亭丁香五月天| 精品99爱免费视频在线观看| 五月天色综合| 婷婷五月天天| 免费精品99| 91久热| 97操碰免费视频| 1024人妻| 中文字幕永久免费| 另类婷婷五月天啪帕帕| 婷婷五月天亚洲天堂| 热99精品视频五月| 26uuu丁香婷婷五月| 新五月天婷婷激情电影| 五月激情综合网| 狠狠色狠狠爱| 丁香婷婷激情五月天无毒不卡蜜桃| 开心激情婷婷| 99爱免费在线观看| 性爱久久| 国产亚洲99| 五月丁香五月婷婷| 碰碰操91| 五月综合色| 丁香五月综合狠狠| 五月天婷婷永久免费视频| 激情综合网五月丁香| 亚韩精品视频1区| 99视频精品| 狠狠狠狠狠狠| 狼人久草| 天天干,天天日| 婷婷五月天综合网| 色五月激情| 久婷久婷激情肉| 丁香五月区| 97超碰婷婷五月天| 在线可以看的av网址| 五月丁香啪啪| 丁香五月网在线观看| 狠狠精品干练久久久无码中文字幕 | 狠狠xx| 日韩人妻AV在线| 久热2025无码| 1024AV视频| 五月丁香六月情婷婷久久| 色婷婷影院| 亚洲成人综合在线| 午夜婷婷| 丁香五月在线看| 99久操视频| 五月天激情婷婷小说| 精品二区| 天天做天天爱天天爽| 综合网啪| 中文字幕在线免费观看视频| 色色网站免费在线视频| 婷婷午夜| 久久婷婷五月综合伊人| w婷婷五月婷婷w| 婷婷五月天激情小说| 99热99美国在线观看| 热99在线精品| 婷婷亚洲丁香五月| 中文在线成人| 噼里啪啦在线观看免费完整版视频| 新99思思视频| 激情婷婷网| 久艹大香蕉| 九热免费视频| 国产真实乱了老女人视频| 亚洲第精品| 一本婷婷丁香久久| 五月激情站| 丁香五月亚洲激情婷婷射| 超碰在线成人| 五月丁香婷婷综合网| 五月天丁香综合久久国产| 婷婷伊人网| 超黄亚洲瑟瑟网站| 婷婷综合干| 久久作爱| 亚洲婷婷免费| 中文字幕在线免费观看视频| 丁香五月综合狠狠| 另类视频在线| 久久国产色| 色五月天激情| 九月婷婷综合在线| 99这里都是精品| 丰满人妻一区三区三区| 色综合久久久久| 成人精品视频99在线观看免费| 国产,欧美,日韩,性爱| 国产免费一区二区三区三州老师F1F1.CC | 人操人人| 天天射影院| 色色色图| 战争与艾拉电影免费观看| 成人婷婷| 激情五月婷婷色色| 久久婷婷午夜| 久久久激情| 五月天色婷婷伊人网| 婷婷九九| 国产AV不卡福利| 99色热| 99这里是精品| 丁香五月婷婷动漫视频| 99欧美| 久久天堂婷婷五月| 91大操| 亚洲丁香花色| 色五月婷婷久久| 深爱婷婷网| 99久久综合网| 色综合色欲综合天天免费| 任你日热视频| 国内久久亭亭| 激情宗合 激情宗合| 久久久国产精品黄毛片| 国产亚洲精品久久久久久郑州| 婷婷五月综合色拍| 91久久九久久九久久九久久九久久| WWW.桔色成人.COM| 一本婷婷丁香久久| 婷婷五月激情欧美大胆视频| 96精品成人无码A片观看金桔 | 97夫妻超碰| 久操大香蕉| 夜夜撸夜夜骑| 五月婷婷激情日本| 少妇人妻人伦A片| 丁香网五月天激情| 天天舔天天摸视频| 天天天综合网| 在线视频激情网站| 4399在线日本A片| 人人摸人人澡人人| 亚洲午夜视频| 六月婷婷色综合| 99久久www| 久久国产色| 九九热这里只有精品在线观看| 97深爱伊人综合| 婷婷久久欧美| 亚洲色情一区二区三区四区| 欧美Va在线| 99色热视频| 影音先锋 91工厂| 国熟女视频| 激情婷婷狠狠干| 久久丁香五月婷婷激情综合网| 激情五月综合网| 婷婷精品视频| 久久久久综合激动五月天| 久久丁香五月婷婷激情综合网| 99色热| 婷婷五月69| 亭亭丁香久久五月| www久热com| 色狠久| www夜夜操| 综合色影院| 深爱激情五月婷婷| 久久久91精品| 影音先锋色婷婷| 99re热精品在线视频| 狠狠操之狠狠操| 六月丁香射婷婷欧美色图片 | 成人AV在线电影| 97色色色| 五月叮香啪| 丁香激情久久| 天天操夜夜爽| 色婷婷久久综合| 五月香婷婷| 久热99视频在线观看| 97在线观看| 一区二区你懂的| 五月天婷婷色色首页| 日本一级| 五月丁香色婷婷综合| 色五月激情| 五月婷婷中文字幕| 天天草女人| 欧美WW在线网| 五月婷婷中文网| 亭亭五月丁香五月天激情| 色情综合| 日逼影音先锋男人资源站| 69综合在线| 久热成人| 亚洲AV色婷婷人禽五月天| 亚洲AV网址| 五月丁香五月综合欧美| 97久久五月丁香婷婷| 人妻性操逼中文字幕 国产| 人人色性网| 天天色宗合| 色综合天天综合成人网| 国产九九一区二区三区| www国产亚洲色婷婷com| 五月婷婷色播| 91超级碰在线视频| 97色色色色色| 国产午夜精品一区二区三区四区 | 丁香五月先锋| 99热这里全是精品| 中文字幕日本最新乱码视频| 丁香六月啪啪| 中文色婷婷| 五月综合激情久久| 少妇激情五月婷婷| 91Chinese在线| 人人操人人添人人摸97| 久久99成人性爱高清视频| 99久久99九九九99九他书对| 日韩操女| 热99在线| 综合一啪| 激情五月天综合婷婷网| 99青青草99| 色色色视频免费无码 | 精品夜夜澡人妻无码AV| 99精品视频免费在线播放| 五月婷婷色五月| 国产欧美精品AAAAAA片| 久久性爱视频免费| 欧美人妻一区二区| 亚洲五月天色| 天天天天操| 99热国产精品| 成人资源在线| 激情综合五月开心狠狠| 啪啪色激情五月天| 欧州色色| 婷婷五月天毛片| 五月天在线视频尤物视频在线看| 超级碰碰97在线| 亚洲婷婷五月天综合| 狠狠爱综合| 五月婷婷|欧美| 这里只有精品免费视频| 狠狠爱婷婷色| aa久久| 激情视频综合| 国产9色在线/日韩| 大香蕉综合在线| www久| 色欲天天综合网| 婷婷午夜精品久久久| 五月婷久久久| 91精品丝袜久久久久久| 五月婷婷高清| 日韩黄色影院| 天天爽天天日| 亚洲Va成人| 六月丁香五月婷婷| 天天天天天操| 操操操91| 99久久9| 热的国产99热| 婷婷五月天天| 激情五月天偷拍综合网| 五月婷婷影院| 国产熟妇的荡欲午夜视频| 热的国产,热的综合,热的有码| 99热官网| 99热精品中文字幕| 人人爱操| 不卡在线视频| 亚洲激情综| 久久久婷| 96精品国产综合久久久久久| 久久色区| www五月天激情com| 丁香婷婷五月激情| 无码少妇高潮喷水A片免费| 中文字幕色色| 99色在线视频观看| 99在线免费视频播放| 婷婷成人AV| 激情综合5| 亚洲中文字幕在线观看| 久久婷婷丁香| 亚洲综合婷婷| 另类激情综合| 国内精品免费一区二区2009| 久久多色| 九九精品视频在线观看| 538午夜激情| 色五月婷婷777| 91成人电影| 色五月丁香一区在线| 另类图片五月天激情| 丁香五月婷婷超碰在线| 亚洲综合在线丁香五月| 五月天综合在线| 91打屁股免费看| 婷婷五月天美女21p| 久久久久久久综合狠狠综合| www99精品亚| 任你草| 亚洲综合婷婷六月丁香五月| 久久天天天| 91伦| 丁香五月婷婷激情四射深爱激情| 精品久久99| 天天爽夜夜爽夜爽精品| 欧美日本综合网| 五月天大香蕉av| 97热视频| 亚洲五月天激情| 十月丁香婷婷| 色综合婷婷| 色婷婷色综合| 激情小说色五月| 亚州色婷婷| 五月天婷婷丁香社区| 五月天五月色婷婷综合| 婷婷激情综合| 久久电影4399| www.97干视频| 久久久九九九 99| 五月丁香婷婷色| 激情五月天开心| 午夜婷婷五月天在线| 天天玩夜夜操天天爽| 91视频免费后入强操| 国产成人综合电影| 亚洲精品无码一区二区| www.91.com处女在线直播| 99热大| 怎么样可以看免费的一级av| 亚洲精品字幕在线观看| 久久久天堂国产精品女人| 综合激情在线| 久久9精品视频| 色婷婷久综合久久一本国产AV| 26uuu激情五月天| 精品99这里有| 2015好吊操| 色域五月婷婷丁香| 色婷精品91| 久久久久久久8| 丁香五月婷婷综合激情哟哟哟| 天天碰夜夜操| 97干在线视频精品店| 国产露脸150部国语对白| 天天操天天插| 亚洲精品无人区| 久久精品99国产精品日本| 久久天天| 成熟妇人A片免费看网站| 欧美久热| 97在线99| 97偷拍在线视频| 久久密臀婷婷| 欧美操综合| 国产91九色| 991精品在线视频| 日本久久性| 亚洲成人AV在线观看| 日本三级日本三级三级人妇四虎| 99久久婷婷国产综合| 日本久久99| 激情综合4月| 亚洲久久视频| 色婷婷六月天在线| 99热碰碰| 色色热| 亚洲蜜桃精久久久久久久久久久久| 亚洲亚洲人成综合网络| 免费看片在线观看| aaa9区免费在线观看| 国产黄色av| 综合久久综合五月天婷婷| 婷婷丁香黄色| 51成人| 狠狠色婷婷7| 96性爱视频| 色婷婷丁香五月综合| 综合婷婷五月天| 26UUU欧美激情一区二区| 久久久中文| www.日韩艹| www.成人婷婷综合| 99久久综合精品五月天| 婷婷伊人綜合中文字幕小说| 99精彩视频在线观看| 婷婷六月激情在线视频| 97色久| 激情婷婷五月天| AV成人在线网站| 日本色久| 天天综合天天玩夜夜玩天天玩夜夜玩 | 亚洲乱码日产精品BD| 中文字幕日产A片在线看| 红桃91人妻爽人妻爽| 国产精品色婷婷99久久精品| 激情综合网激情五月网| 婷婷久久精品| 色色三级视频| 99热爱爱干干日| 狠狠干在线视频| 九九无码| 五月天色色无码| 五月丁香六月婷婷成人| 99久久99热这里只有精品| 99在线视频免费| 99精品视频在线观看| 久久亚洲天堂| 久久这里99| 日本三级韩三级99久久| 日本在线观看aaa 99| 五月天激情综合在线| 人人人人人人人草| 色99色| 欧美WW在线网| 天天爽天天摸| 成熟妇人A片免费看网站| 色噜噜97视频在线观看| 国产三级秋霞| 免费看欧美成人A片无码| 久艹大香蕉| 婷婷丁香综合| WWW.激情| 婷婷伊人綜合中文字幕| 色婷婷a| 噜噜久| 免费看欧美成人A片无码 | AAAA网站| 成人国产网| 五月婷婷激情四季| 婷五月天| 五月天另类小说久久小说网| 一根材五月婷成人| AV在线观看网站| 大香蕉网 久久| 99热99日…..| 九九Av| 久久久婷婷五月亚洲97号色| 99综合激情久久精品久久| 国产精品视频免费看| 亚洲韩国日产综合AV| 五月天婷婷丁香蜜桃91| 噜噜在线| 成人色五月天| 艳妇野外情欲放荡HD| 成人超碰AV| 99在线免费观看| 狠狠丁香| 亚洲综合婷婷| 97丁香五月天| 97色婷婷| 欧洲第一久色| 97日日碰碰| 欧美va在线| 九九九九中文字幕| 丁香六月婷婷综合| 99爱99操| 丁香五月香蕉| 亚洲久久视频| 五月天色小说| 99爱在线视频观看| 99热欧美精品| 综合啪啪| 五月婷婷久久激情| 综合久久五| 日日做夜夜爱| 色色五月天com| 久久激情天堂| 秋霞免费三级片| 操人91| 思思热精品免费视频| 99精彩视频网站在线| 五月丁香好婷婷A片网| 色欲香综合网| 爱iii做iiii日| 亚洲色99| www久久久| 综合色99| 五月开心深深爱激情综合 | www激情网| 丁香六月综合| AV在线免费播放| 婷婷在线观看五月天在线视频| 天天干天天插| 色色色9| 五月色丁香| 狠狠干综合| 九月丁香五月婷婷| 99色网站| 久久ri精品| 五月婷婷视频在线观看| 六月丁香视频网站| 婷婷激情五月天激情小说| 日本三久久| 99在线免费视| 色色色色色综合| 99这里只有精品视频| 99热精这里只有精品| 综合婷| 99热在线观看免费精品| 综合一本道| 91丨九色丨43老版熟女| 婷婷五月综合色小姐小说| 99久热在线精品| 五月五丁香婷婷| 激情av在线| 国产乱妇乱子在线播视频播放网站| 婷婷色五月婷| 三十路磁力链接| 欧美日韩成人一区二区| 综合久久激情久久| 97色婷婷| 天天爱天天爽| 天天色综合网吨吧| 丁香五月天色综合| 97碰在线免费观看| 五月婷婷丁香五月亚洲色| 夜夜AVV| 成人看片网站| 婷婷五月情| 五月婷婷六月少妇激情| 色五月婷婷在线视频| 99a级片| 色婷婷AV在线观看| 亚洲精品久久久久久久久久飞鱼| 丁香六月啪| 色视频五月天| 九九机热| www.五月婷婷久久.com| 日韩色色小视频| 久re热视频| 婷婷精品| 久热免费| 五月婷婷,狠狠操| 婷婷五月天亚洲图片| 五月天婷基地| 五月婷婷色| 67194中文字幕| 嘿嘿视频免费看9| 欧美叉叉叉BBB网站| 五月激情六月综合| 久久9视频| 色五月成人| 六月综合在线| 亚州色色色| 亚洲人妻五月丁香婷婷| 一级A片天天操夜夜操| 五月婷婷色男女| 五月天激情综合首页| 任你日视频| 99riAV国产精品视频| 丁香婷婷色情| 操九色| 任你干嘛免费视频播放| 五月婷婷九九久久| 日本三级毛片| 欧美色图天堂网色| 五月丁香婷婷综合久久| 99精品久久久| 九九成人精品免费视频| 蜜臀丁香黄色婷婷五月天| 99啪啪视频| 影音先锋一区| 色射影院| 开心五月网| 婷婷五月丁香五月| 亚州美女| 美女被操一区二区| 97伊人综合婷婷| 另类视在线| 婷婷五月亚洲综合| 天堂婷婷五月在线| 99成人精品| 婷婷五月天亚洲综合| 亚洲综合热| 日亚二欧美| 久久综合性| 久久精品99| 亚洲愉拍99热成人精品| 国产色色小草视频| 99网址在线看| 青青操绿aaa一区日v| 俺也去综合| 热99在线| 91丨九色丨东北熟女| 久久精品99| 五月天婷婷综合色| 玖玖婷婷五月| 亚洲一个色| 天天干天天操天天干天天操天天干天天操| 天天综合天综合| 色婷婷综合影院| 五月天国产| 人妻无码视频网| 免费AV在线网址| 91狠狠综合久久| 五月色欧美| 99视频在线观看网址| 婷婷色婷婷| 色色色综合| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 久久精品99久久| 综合99在线| 夜夜躁爽日日| 国产这里只有精品| 久久婷婷草| 五月丁香成人网| AV在线不卡播放| av激情在线| 五月丁香综合久久| 操日视频| 婷婷99视频全集高清| 夜夜资源站| 色婷婷五月亚洲| 在线观看的av| 九月色婷婷婷| 99热国产这里只有| av在线激情| www.色色色com| 欧美内射AA| 天天爱夜夜爽| 开心激情站| 国产97色在线| 亚洲欧美一区二区三区爱爱动图| 大香蕉久操| 欧美日韩成人在线网| 呦呦v线| 婷婷五月天丁香| 激情丁香五月AV| 激情亚洲色图片丁香综合| 婷婷五月情| www色色com| 丁香五月婷婷少妇| 五月婷婷免费在线观看| 狠狠色婷婷7777久| 色99日韩| 九九精品亚洲| 丁香香蕉婷婷| 六月婷婷影院| 亚洲亚洲人成综合网络| 丁香六月婷婷一区| 99热99色| 人人97碰| 五月婷婷深深爱| 久久免费试看120秒| 五月婷婷久久网| 能看的AV| 久久中文人妻系列| 五月色婷| aaa久久| 丁香五月天资源网| 爱狠射| 97婷婷五月天| 思思热99er| 亚洲激情综合五月婷婷啪啪| 免费观看欧美成人AA片爱我多深| 天天噜天天插| 97色干| 婷婷丁香77777| 九九热最新视频| 五月婷婷深深的爱| 99国产在线| 九九色综合| AV大香蕉| 天天综合激情| 成人综合网站| 日在线V视频在线播放| 五月丁香怕啪啪| 色婷五月| 开心五月婷婷激情网| www.99热国产| 这里只有精品视频一区| 99久久偷拍视频| 永久精品| 五月丁香六月综合基地| 色婷婷综合网站| 五月丁香久久精品在线观看| 色999亚洲人成色| 色五月 激情婷婷 综合五月天| 年轻的妺妺伦理HD中文| 日韩精品色| 色约约视频一区二区三区四区五区 | 五月婷网| wwW天天干| 清纯唯美 激情四射| 丁香婷婷色五月合集| 任我干视频在线观看| 伊人久久丁香婷婷六月五月综合| 日韩三级视频一区二区| 丁香六月婷婷久久综合| 99自拍视频在线观看| 婷婷爱五月| 丁香激情婷婷网| 欧美久人人| 久热九九| 亚洲综合婷婷| 亚洲另类av| 开心激情综合| 99综合99| 九九青草热| 色婷五月| 亚洲天天操| 成人日韩欧美| 久久44| 日本色天堂| 婷婷五月天AV激情| 999九九九久久久99HD| 久久婷婷网| 五月丁香激情综合欧美| 五月间天堂综合| 99热9| 色99网站| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 丁香五月av| 99热手机在线精品| 5月丁香六月情| 丁香久久综合| 九七色色六月丁香| 91爱啪啪| 亚洲色情网站| 久久婷婷成人视频| 色原狠狠综合| 国产成人精品一区二三区熟女在线| 人人射人人高潮| 色婷婷视频| 九九九激情网| 91成人电影| 久久亚洲色导航| 二级黄色毛片| 成人αV视频免费观看| 99欧州偷拍视频| 亚洲五月婷天天操| 丁香激情网| 婷婷五月天综合久久日| 亚洲无码99| 青青草成人网| sewuyuejiqingwang| 另类A片| 亚洲啪啪自拍| 天天做天天爱天天高潮| 原琪琪色影院| 五月丁香五月婷婷在线观看| 婷婷五月天无码熟女| 日本一级| 久久日韩婷婷五月| 激情小说色五月| 开心五月激情网| 99热在线中文字幕| 五月天天视频| www.26uuu.com亚洲电影| 婷婷色色狠狠| 九九色影院| 丁香五月开心亚洲| 国产精品电| 丁香五月婷婷基地| 久久久久久97| 狠狠五月激情丁香六月| 爱的综合网| 色噜噜,噜噜色| www.99色| 婷婷久热| 婷婷五月丁香六月| 9久国产| 欧美激情久| 97丁香视频| 久久XX日本综合| 成人中文网| 综合五月天| 97人人射| 99视频内射三四| 激情五月天婷婷| 五月丁香婷婷基地| 大香蕉九九| 99久久久久| 五月丁香福利| 1024婷婷综合久久五月天| 99久久.www| 超碰人人99| 色五月大| 九月综合| 亚洲旡码| 91啪啪| 亚洲热手机在线观看| 99热最新地址在线| 日韩三级片一区二区| 六月丁香视频网站| 丁香五月天在线直播观看| 五月丁香婷婷AV天堂| 99久久免费性爱视频`| 丁香六月婷婷久久综合八月| 秋霞午夜理论| 综合久色五月| 丁香婷婷五月综合影院| 五月深爱网| 丁香五月香蕉| 久久3p| 日日综合网| 亚洲欧洲中文日韩久久AV乱码| 天天碰夜夜操| 99热日本精品| 99热碰碰热| 五月婷婷偷| 日逼免费视频| 亚洲美女网Va| 五月丁香色色网| 五月激情天| www九九免费视频| yiqicaoav| 日本久热| 国产欧美婷婷五月| 九九九午夜影院成人| 思思99re这里只有| 九九这里有精品| 色爱五月天| 日曰躁夜夜躁2026| 18久久| 桃色五月婷婷| 亚洲小视频| 狠狠色噜噜狠狠狠狠综合| 五月激情影院| 婷婷久久色| 操操啪| 亚洲婷婷成人五月天| 久久婷婷五月天激情| 天天色丁香| 免费超碰在线观看| 五月丁香婷草| 狠狠色五月激情| 六月丁香色婷婷| 91viP在线看| 激情婷婷丁香五月| 99福利导航| 五月丁香亚洲综合网| 色色无码| 国产乱妇乱子在线播视频播放网站 | 91综合在线视频| 久久综合这里只有精品1 | 4438国产免费看| 亚洲VA欧美VA| 五月丁花六月丁香综合| 无码色| 97伊人综合婷婷| 久久这里在精品视频| 26uuu日韩| 99热在线观看| 五月婷婷AV| 五月天久久网站| 色999五月色| 色婷婷91激情小说| 亚洲网站在线鸭子av| 婷婷丁香激情五月天色色| 狠狠色五月天| 激情综合网婷婷五夜| 人妻久久久久| 激情五月天偷拍综合网| 丁香网五月天| 久久最新色色色| 色女人久久| 丁香婷婷五月天成人| 人人干天天操五月丁香| 久久婷婷影院| 色婷婷激情五月天| 五月婷婷婷婷婷婷艺术| 夜夜躁爽日日| 色噜噜狠狠色综合成人网| 色女伊人| 丁香激情综合| 综合逼五月激情婷婷| 中文字幕黄色片| 视频久久9| 欧美久久婷婷| 九九热青草| 九九爱这里只有精品| 久久久久9| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 67久久| 亚洲色小说在线综合| 色色色色综合网| 亚洲综合视频在线| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 日日综合网| 97人人操在线| 强伦轩人妻一区二区电影| 91久久九九| 天天插天天操| 97男人天堂| 99日韩网站| 色九四色| 无码毛片992367| 99热8| 99色6爱9热| 色香欲综合| 色色日韩| 久久曰曰| 免费99情趣网视频| AV九九| 色9色| 国产亚洲精品久久久久久郑州| 久久这里这里有精品免费视频| 这里只有精品免费在线视频| www.99热精品| 狠狠色色综合| www色五月| 人妻中文在线| 99在线观看精品视频| 久久新| 久久99婷婷| 99久久婷婷| 开心五月激情网| 伊人五月人妻精品| 伊人狼人干| www.狠狠艹| 国内久久亭亭| 99在线视频精品| 婷婷在线精品| 色情五月婷婷| 色色aⅤ網| 五月天丁香花婷婷| 这里只有精品视频| 色五月婷婷中文字幕| 日本一级一级一级一级| 亚洲AAAA网| 东京热五月婷婷| 韩国天天婷婷| 亚洲熟女乱色综合亚洲网站| 五月婷婷丁香六月| 欧美精品999| 99国产精品久久久久久久久久久| 艹| 五月婷婷色色网址| 亚洲av成人在线| 精品久久人妻热| 69热91天堂| 成人短视频在线免费观看| 操操啪| 久久无码成人| 国产精品爽爽久久久久久| 久久激情视频99| 乱精品一区字幕二区| 日韩黄黄| 综合久久综合五月天婷婷| 91色涩| 久久6这里只有精品| 狠狠 久久| 五月婷婷六月丁香| 噜噜噜色噜噜| 丁香激情四射| 黑人巨粗进入警花疼哭A片| 日韩1区2区| 丁香六月婷婷一区| 99热97美女| 99热这里只有精品66| 婷婷五月综合视频| 色色色色色色色色五月先| 国产亚洲成AV人片在线观黄桃| 久久久人妻系列| 激情文学久久| 激情五月婷婷色综合| 色色色综合网| 天天天操天天天日| 丁香六月AV| 麻豆精品| 国产精产国品一二三在观看| 久婷久婷| 操一操插一插| www.超碰| 欧美毛卡| 日本人人超碰| 亚洲另类电影| 天天橾夜夜爽| 五月丁香福利| 激情文学 综合 九月| 色婷婷激情| 色婷婷伊人| 色婷婷基地| 五月天婷婷丁香蜜桃91| 国产操碰| 青青草Avb在线| 99精品国产在热久久| 五月色网| 日韩操女| 久久婷婷综合五月| 激情五月综合| 九色91国产| 狠色狠色综合久久| WWW,激情五月天,COM| 丁香五婷| 亚洲黄色操逼| 色欲一区二区三区精品A片| 丁香五月色情| 欧美视频五区| 人妻激情在线| 激情综合在线观看| 久婷久婷| 综合99久久天天综合| 另类小说色婷婷| 五月丁香六月激情在线| 韩国激情五月天综合网| 日日综合网| 思思久久精品| 五月天色不卡| 日日操夜夜爽| 九九性爱网| 亚洲色图五月丁香| 婷婷五月天开心网| 综合伊人狠狠| 99国产小视频| 亚洲综合色五月| 日逼免费视频 | 天天色综合综合| 五月色丁香国产在线视频| 婷婷免费成人视频| 午夜成人AV在线| 97久久草草超级碰碰碰| 婷婷丁香激情综合色情| 丁香五月中文字幕| 中文无码婷婷| 色久九| 婷婷五月情| 99精品国产在热久久| 欧美、日韩、中文、制服、人妻| 婷婷久久久| 五月丁香六月婷婷久久| 五月天AV大香蕉| 久草九九| 97黑人精品区| 久久伦乱| 九九九九国产| 99热这里在线精品| 久一这里有精品国产| jiujiu无码五区| 5月婷婷性视频| 五月丁香六月花| 色亚洲欧洲| 热99免费在线| 99久热| 丁香九月婷婷| 久久久一级AAA| 超碰人人摸AV| 亚州欧美黄色电影| 久久色吧| 密视AV综合在线| 久久久精品99| 91丨九色丨熟女|老版| 久热黄色| 99人人干| 天天日日人| 亚洲色婷婷99一9|| 久噜久噜| 六月婷婷综合| 久久狠狠干| 国产亚洲成AV人片在线观黄桃| 欧美婷婷色| 色婷婷91| 五月丁香六月婷婷综合在线| 9久热这里只有精品视频| 亭亭五月色男人| 婷婷黄色| 狠狠精品干练久久久无码中文字幕| 91丨九色丨首页| 久久超视频| 丁香五月1页| 婷婷成人综合五月| 99视频| 99热国产这里只有精品| 四虎国产精品永久在线国在线| 欧美久久久中文字幕| 六月丁香停| 99精品国产在热久久| 激情影院内射| 五月天激情开心网| 激情综合五月天| 国产色婷婷亚洲| 色婷婷色婷婷五月| 久草大| 婷婷香蕉精品| 久久婷婷婷| 婷婷五月开心中文字幕在线| 99久久精品国产色欲| 国产毛片精品一区二区色欲黄A片| 婷婷丁香社区| 另类图片五月天| 9热在线| 色五月激情网| 狠狠五月综合在线| 九九碰九九爱97| 九九久久9 9在线观看| 六月99天天婷婷激情综合| 日日操日日射| 五月丁香综合影院| 激情婷婷丁香| 色播五月丁香综合| 99热 这里只有精品 国产 日韩| 日日夜夜爽| www.yw尤物| 4399伦理午夜| 婷婷五月天第四色| 色香欲综合| 日本3级片一区2区| 婷婷五月天激情综合网| 九九精品热| 久一网站| 久狠日av| 欧美成人AAA片一区国产精品| AV网站免费在线| 日本va欧美va欧美va| 99欧美| 日本色天堂| 五月丁香婷婷啪啪综合网| 青青草五月天| av在线播放网址| 十月丁香九月婷婷综合| 久久精品一区二区三区四区| 激情四射网| 久久久无码精品成人A片小说| 在线观看欧美3区| 亚洲激情免费视频| 国产av天天插天天操天天爽| 九九热在线视频,| 国产毛片精品一区二区色欲黄A片| 激情网站五月| 色色a| 丁香无月在线观看| 综合激情站| 六月婷婷天天操夜夜爽视频| 色色吧综合| 婷婷久久五月天| 婷婷久久综合| 中文网AV| 婷婷色色五月天| 国产精品噜噜在线视频| 中文字幕按摩做爰| 五月丁香婷婷激情在线| 日日噜噜夜夜狠狠久久丁香五月| 丁香五月人妻熟女| 级人人91| 色五月婷婷五月|