欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Matlab實(shí)現(xiàn)GA-XGBoost回歸預(yù)測與SHAP可解釋分析完整方案

Matlab實(shí)現(xiàn)GA-XGBoost回歸預(yù)測與SHAP可解釋分析完整方案 簡介本資源是一套面向科研人員與工程實(shí)踐者的MATLAB智能建模工具包聚焦于XGBoost回歸模型的參數(shù)優(yōu)化、可解釋性分析與實(shí)際預(yù)測應(yīng)用。針對傳統(tǒng)XGBoost超參數(shù)調(diào)優(yōu)依賴經(jīng)驗(yàn)、特征貢獻(xiàn)難以量化的問題資源集成遺傳算法GA自動尋優(yōu)、SHAP值深度解釋及新樣本預(yù)測全流程適用于環(huán)境監(jiān)測、工業(yè)預(yù)測、金融風(fēng)控等需高精度與強(qiáng)可解釋性的回歸任務(wù)。壓縮包共47個文件含13個核心MATLAB腳本如main.m、GA.m、shapley_function.m、4個Excel數(shù)據(jù)集含訓(xùn)練數(shù)據(jù)與預(yù)測結(jié)果、22張可視化圖表擬合圖、誤差分布、蜂群圖、雷達(dá)圖等以及C編譯依賴文件與詳細(xì)運(yùn)行說明整體56.52MB。目前已有157人學(xué)習(xí)下載提供從數(shù)據(jù)預(yù)處理→GA優(yōu)化→XGBoost建模→SHAP解釋→多維可視化的完整閉環(huán)代碼所有模塊解耦清晰、注釋詳盡支持開箱即用與二次開發(fā)。 做回歸預(yù)測的同行肯定都有體會模型效果是一關(guān)解釋性是另一關(guān)兩個都做到位才算真正能交付。我去年在做一個工業(yè)過程參數(shù)預(yù)測項(xiàng)目時用XGBoost精度雖然不錯但超參數(shù)調(diào)起來極其費(fèi)勁而且模型像個黑箱業(yè)務(wù)方拿著預(yù)測結(jié)果也不敢直接拍板。后來我把遺傳算法和SHAP加了進(jìn)去在Matlab里把整條流水線串起來形成了這套“GA-XGBoost回歸SHAP分析新數(shù)據(jù)預(yù)測”的完整方案。從超參數(shù)尋優(yōu)到模型訓(xùn)練再到對新樣本預(yù)測和解釋每一個預(yù)測值每步都有章可循而且數(shù)據(jù)、代碼都在本地可復(fù)現(xiàn)。這篇文章就是這套方案的完整復(fù)盤。我會從方案選型、環(huán)境準(zhǔn)備、核心代碼實(shí)現(xiàn)、SHAP可解釋性分析到實(shí)際問題排查把整個過程捋一遍。如果你正在用Matlab做回歸預(yù)測受困于手動調(diào)參、模型不好解釋或者想把“訓(xùn)練-預(yù)測-解釋”串成一套自動化流程這篇文章應(yīng)該能幫你省下不少試錯時間。1. 方案整體設(shè)計(jì)為什么把GA和SHAP加到XGBoost上1.1 XGBoost精度高但超參數(shù)調(diào)起來是真麻煩XGBoost在結(jié)構(gòu)化數(shù)據(jù)回歸上的能力不需要多吹業(yè)界早就驗(yàn)證過了。它本質(zhì)上是梯度提升決策樹的進(jìn)階版本通過不斷擬合上一輪殘差用一堆弱學(xué)習(xí)器組合成一個強(qiáng)回歸器。相比傳統(tǒng)隨機(jī)森林XGBoost引入了二階導(dǎo)數(shù)、正則化項(xiàng)、特征列采樣和近似直方圖算法所以在精度和泛化上都有明顯優(yōu)勢。但問題在于它的超參數(shù)空間非常龐大。稍微數(shù)一下就有l(wèi)earning_rate、max_depth、min_child_weight、subsample、colsample_bytree、reg_alpha、reg_lambda等等。這些參數(shù)之間還有交互作用比如max_depth大一些可能就需要把learning_rate調(diào)小subsample太高可能導(dǎo)致過擬合調(diào)太低又欠擬合。手動一個個試不僅效率低而且很容易陷進(jìn)局部最優(yōu)。用網(wǎng)格搜索呢參數(shù)組合是爆炸式增長我遇到過一組三參數(shù)網(wǎng)格搜索跑了一整夜都沒跑完的經(jīng)歷更別說七參數(shù)同時調(diào)了。所以在工程上超參數(shù)尋優(yōu)一般交給智能優(yōu)化算法。我選遺傳算法GA而不是貝葉斯優(yōu)化或者粒子群原因是GA實(shí)現(xiàn)相對直觀而且Matlab自帶的Global Optimization Toolbox里有現(xiàn)成的ga函數(shù)不需要額外裝包。GA的思想簡單說就是模擬自然選擇先隨機(jī)生成一批參數(shù)組合作為“個體”用交叉驗(yàn)證結(jié)果算適應(yīng)度然后通過選擇、交叉、變異一代代進(jìn)化最后收斂到一組比較優(yōu)秀的超參數(shù)。它不依賴梯度信息對XGBoost這種非連續(xù)、非光滑的目標(biāo)函數(shù)特別友好。1.2 SHAP讓黑箱回歸模型有了透明的解釋模型訓(xùn)練完業(yè)務(wù)方第一個問題往往不是“精度多少”而是“哪些因素影響了預(yù)測結(jié)果這個預(yù)測值憑什么這么高”如果回答不上來再好的模型也難落地。XGBoost雖然自帶feature_importance但它只能給一個粗粒度的特征重要性排序無法解釋單個樣本的預(yù)測值是怎么構(gòu)成的。SHAPSHapley Additive exPlanations解決的就是這個問題。它源于博弈論中的Shapley值把每個特征想象成合作博弈中的一個“玩家”通過計(jì)算每個玩家在不同組合下的邊際貢獻(xiàn)公平地分配總預(yù)測值給各個特征。在回歸模型里SHAP值表示某個特征對預(yù)測結(jié)果貢獻(xiàn)的正負(fù)和大小正數(shù)表示把預(yù)測值往上推負(fù)數(shù)則往下拉。相比LIME這類局部解釋工具SHAP有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)而且全局一致性好。對XGBoost這種樹模型還有專門的TreeExplainer計(jì)算效率極高不用采樣就能算出精確的SHAP值。我用下來最大的感受是SHAP能把“模型為什么預(yù)測成這樣”這個問題從只能講“大概這個特征重要”推進(jìn)到“這個樣本因?yàn)锳特征高、B特征低所以預(yù)測值偏高”這完全是兩種說服力。1.3 整體技術(shù)棧Matlab調(diào)用Python兩邊優(yōu)勢都吃滿標(biāo)題里直接寫了Matlab那就得說清楚一個現(xiàn)實(shí)Matlab原生并沒有XGBoost和SHAP的官方工具箱。網(wǎng)上有人用fitcensemble之類的方法模擬XGBoost但本質(zhì)不是一回事很多參數(shù)和特性都沒有。真正成熟的方案是Matlab調(diào)用Python讓Python環(huán)境負(fù)責(zé)xgboost、shap這些庫Matlab負(fù)責(zé)數(shù)據(jù)預(yù)處理、遺傳算法尋優(yōu)、結(jié)果可視化和工程調(diào)度。好處很明顯。機(jī)器學(xué)習(xí)生態(tài)最強(qiáng)的庫都在Python這邊而Matlab在數(shù)據(jù)處理、矩陣運(yùn)算、圖形可視化以及很多傳統(tǒng)工程領(lǐng)域有不可替代的價值。兩者通過Python接口打通等于同時拿了兩邊的長處。我們項(xiàng)目里前端界面和數(shù)據(jù)處理都在Matlab里做模型訓(xùn)練和解釋調(diào)用Python庫整個流程對終端用戶完全透明。需要提醒的是這種方式要求電腦上同時裝好Matlab和Python環(huán)境并且版本要匹配。我在2.1節(jié)會給出具體的配置步驟。2. 環(huán)境準(zhǔn)備與數(shù)據(jù)工程先踩平這些坑2.1 環(huán)境搭建Matlab調(diào)用Python的3個關(guān)鍵步驟環(huán)境這一塊我在最開始折騰了不少時間。最主要的坑就是Matlab內(nèi)置的Python版本和系統(tǒng)Python不一致或者庫裝到了不同環(huán)境里結(jié)果調(diào)用的時候報(bào)ModuleNotFoundError。所以第一步一定要在Matlab里用pyenv確認(rèn)當(dāng)前加載的Python解釋器路徑。% 查看當(dāng)前Python環(huán)境 pyenv % 如果路徑不對手動指定系統(tǒng)Python % pyenv(Version, D:\ProgramData\Python\Python311\python.exe)指定好之后需要確認(rèn)Matlab能正常導(dǎo)入Python庫。我一般習(xí)慣在命令行里敲一行py.importlib.import_module(numpy); py.importlib.import_module(xgboost); py.importlib.import_module(shap); disp(Python環(huán)境OK);如果某個庫沒裝回到系統(tǒng)命令行用pip install xgboost shap numpy pandas補(bǔ)上。這里要注意如果你的Python是Anaconda環(huán)境最好在conda環(huán)境里裝好后再把Matlab的pyenv指向這個環(huán)境的python.exe否則極容易出現(xiàn)版本錯亂。另外一個容易忽略的點(diǎn)是Matlab R2021b之前和之后對Python版本的支持差異不同新版Matlab支持更新的Python版本。裝Python時不要裝太新比如某些庫還沒適配也不要太舊Matlab可能不支持。我測試過Python 3.9到3.11都能比較好地和xgboost、shap配合。2.2 數(shù)據(jù)準(zhǔn)備與預(yù)處理歸一化參數(shù)必須保存數(shù)據(jù)和預(yù)處理是整個流程的地基。以我當(dāng)時做的工業(yè)過程數(shù)據(jù)為例特征有溫度、壓力、轉(zhuǎn)速、進(jìn)料流量等十幾個維度目標(biāo)是一個質(zhì)量指標(biāo)。原始數(shù)據(jù)量約2000條樣本。這種量級下XGBoost訓(xùn)練很快GA尋優(yōu)也扛得住。數(shù)據(jù)文件我習(xí)慣用CSV格式Matlab用readtable讀進(jìn)來。預(yù)處理主要做三件事去缺失值、去異常值、特征歸一化。對于XGBoost其實(shí)特征歸一化不是必須的因?yàn)闃淠P蛯μ卣鞒叨炔幻舾械绻粴w一化后續(xù)SHAP解釋時不同特征的量綱差異會影響圖的觀感所以我一般還是會把特征歸一化到均值為0、方差為1或者縮放到[0,1]區(qū)間。更重要的是歸一化的均值和標(biāo)準(zhǔn)差必須在訓(xùn)練集上計(jì)算然后把同一組參數(shù)保存下來后續(xù)處理新數(shù)據(jù)時再調(diào)用。這一步很多人會漏導(dǎo)致新數(shù)據(jù)預(yù)測時歸一化不一致結(jié)果完全失真。我項(xiàng)目里直接用Matlab的mapminmax或手動計(jì)算mean/std并保存到mat文件后面預(yù)測時加載。% 讀取數(shù)據(jù) data readtable(industrial_process_data.csv); % 分離特征和標(biāo)簽 features data{:, 1:end-1}; target data{:, end}; % 用訓(xùn)練集計(jì)算歸一化參數(shù) xmean mean(features); xstd std(features); features_norm (features - xmean) ./ xstd; save(data_scaler.mat, xmean, xstd);然后劃分訓(xùn)練集、驗(yàn)證集和未來的新數(shù)據(jù)預(yù)測集。這里的新數(shù)據(jù)預(yù)測集是模擬未來線上進(jìn)來一批新樣本只有特征沒有標(biāo)簽需要用到訓(xùn)練好的模型去預(yù)測。劃分的時候要注意隨機(jī)種子固定保證實(shí)驗(yàn)可復(fù)現(xiàn)。3. 核心實(shí)現(xiàn)GA優(yōu)化XGBoost回歸模型的完整流程3.1 目標(biāo)函數(shù)與適應(yīng)度設(shè)計(jì)遺傳算法優(yōu)化的核心是目標(biāo)函數(shù)也就是給一組超參數(shù)返回模型表現(xiàn)好壞。這里我用的評價指標(biāo)是K折交叉驗(yàn)證的負(fù)均方根誤差NRMSE或者直接取均方根誤差RMSE的相反數(shù)因?yàn)間a函數(shù)默認(rèn)是求最小值。目標(biāo)函數(shù)的輸入是GA種群中的一個個體也就是一組超參數(shù)。我需要定義編碼方式通常是給GA傳入變量邊界和整數(shù)約束。比如我想優(yōu)化的超參數(shù)有5個learning_rate0.01~0.3浮點(diǎn)數(shù)max_depth3~10整數(shù)min_child_weight1~10整數(shù)subsample0.5~1.0浮點(diǎn)數(shù)colsample_bytree0.5~1.0浮點(diǎn)數(shù)目標(biāo)函數(shù)里要做的事情是把這些參數(shù)傳給Python的xgboost訓(xùn)練函數(shù)完成K折交叉驗(yàn)證返回平均RMSE作為適應(yīng)度值。function rmse ga_xgb_fitness(params) % params: [lr, max_depth, min_child_weight, subsample, colsample_bytree] lr params(1); max_depth round(params(2)); min_child_weight round(params(3)); subsample params(4); colsample_bytree params(5); % 將Matlab數(shù)組轉(zhuǎn)換為Python列表 X_train_py py.numpy.array(py.numpy.asarray(training_features)); y_train_py py.numpy.array(training_target); % 調(diào)用Python函數(shù)執(zhí)行訓(xùn)練和交叉驗(yàn)證 cv_rmse py.main.xgb_cv_eval(X_train_py, y_train_py, ... lr, lr, max_depth, max_depth, ... min_child_weight, min_child_weight, ... subsample, subsample, colsample_bytree, colsample_bytree); rmse double(cv_rmse); endPython側(cè)對應(yīng)的xgb_cv_eval函數(shù)基本就是一個標(biāo)準(zhǔn)的train加cv組合。在實(shí)際寫代碼時我用Matlab的ga函數(shù)設(shè)置種群大小30最大代數(shù)20這在小數(shù)據(jù)量下幾分鐘就能跑完。種群太小容易早熟太大則非常耗時。參數(shù)邊界需要根據(jù)經(jīng)驗(yàn)設(shè)得合理一些比如max_depth如果允許到20模型很容易過擬合且訓(xùn)練速度慢一般3~10就夠了。3.2 用交叉驗(yàn)證評估每組超參數(shù)跑通GA主流程GA尋優(yōu)的主流程其實(shí)不長。核心是定義變量邊界和整數(shù)索引然后調(diào)用ga。這里有一個容易被忽視的細(xì)節(jié)目標(biāo)函數(shù)不能在Matlab的并行池里調(diào)用Python對象否則容易導(dǎo)致Python環(huán)境不穩(wěn)定。所以我建議GA尋優(yōu)期間不要開并行或者在parpool之前先確認(rèn)Python接口沒問題。% 定義參數(shù)邊界 lb [0.01, 3, 1, 0.5, 0.5]; ub [0.3, 10, 10, 1.0, 1.0]; IntCon [2, 3]; % max_depth 和 min_child_weight 是整數(shù) % 調(diào)用遺傳算法 options optimoptions(ga, ... PopulationSize, 30, ... MaxGenerations, 20, ... Display, iter, ... UseParallel, false); [best_params, best_rmse] ga(ga_xgb_fitness, 5, [], [], [], [], lb, ub, [], IntCon, options);跑完之后把最優(yōu)參數(shù)保存下來。先不要急著訓(xùn)練最終模型而是用最優(yōu)參數(shù)在完整訓(xùn)練集上訓(xùn)練并在測試集上做一次驗(yàn)證確保泛化能力。此時RMSE一般會比交叉驗(yàn)證的均值好或者相近如果差太多說明數(shù)據(jù)劃分或隨機(jī)種子有問題。訓(xùn)練最終模型時我會把Python側(cè)的訓(xùn)練函數(shù)封裝好在Matlab里包一層。這里的關(guān)鍵是numpy數(shù)組在Matlab和Python之間的類型轉(zhuǎn)換。Matlab里的double矩陣要轉(zhuǎn)成Python能接受的形式用py.numpy.array(py.numpy.asarray(data))通常是可以的。但如果數(shù)據(jù)是表格類型或者存在NaN就要先清理干凈否則Python那邊直接報(bào)錯。3.3 新數(shù)據(jù)預(yù)測流程加載模型、特征對齊、反歸一化新數(shù)據(jù)預(yù)測是這套流程的出口。寫代碼時一定要把預(yù)測封裝成一個函數(shù)這樣以后每來一批新數(shù)據(jù)只需要調(diào)用一次。我這里寫了一個predict_new_data.m做的事情是加載訓(xùn)練階段保存的歸一化參數(shù)xmean和xstd加載最優(yōu)模型文件Python側(cè)把模型保存為json格式讀入新數(shù)據(jù)的特征按同樣的順序?qū)R列做同樣的歸一化調(diào)用Python xgboost的predict接口得到歸一化預(yù)測值對預(yù)測值做反歸一化還原到真實(shí)量綱。不需要對預(yù)測值做歸一化嗎這里要注意如果訓(xùn)練target是原始值那么預(yù)測值直接就是原始量綱如果訓(xùn)練時也對target歸一化了那么預(yù)測值要反歸一化。我習(xí)慣上不對target歸一化因?yàn)闃淠P筒恍枰疫€能少一層麻煩。所以預(yù)測出來的值就是最終結(jié)果。function pred predict_new_data(model_path, new_features) load(data_scaler.mat, xmean, xstd); new_norm (new_features - xmean) ./ xstd; X_py py.numpy.array(py.numpy.asarray(new_norm)); model py.xgboost.Booster(); model.load_model(model_path); dnew py.xgboost.DMatrix(X_py); pred py.array.array(d, model.predict(dnew)); pred double(pred); end這里有個細(xì)節(jié)xgboost.Booster加載模型后再用DMatrix封裝特征。如果新數(shù)據(jù)特征順序和訓(xùn)練時不一致預(yù)測結(jié)果會完全亂掉。所以我在訓(xùn)練階段會把特征列名順序存成一個order.mat預(yù)測時按這個順序重新排列新數(shù)據(jù)的列。這也是很多新手踩坑最多的地方。4. SHAP可解釋性分析與結(jié)果解讀4.1 全局解釋用SHAP值看哪個特征真正驅(qū)動預(yù)測模型訓(xùn)練好之后SHAP閃亮登場。這塊我分成全局和局部兩個層面。全局層面是看所有樣本的平均特征貢獻(xiàn)。使用shap.TreeExplainer傳入訓(xùn)練好的模型然后計(jì)算整個訓(xùn)練集或測試集的SHAP值矩陣最后畫summary plot也就是那個經(jīng)典的蜜蜂圖。import shap import xgboost as xgb import numpy as np import matplotlib.pyplot as plt model xgb.Booster() model.load_model(best_model.json) X np.loadtxt(train_features_norm.csv, delimiter,) explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X) shap.summary_plot(shap_values, X, feature_namesfeature_names, showFalse) plt.savefig(shap_summary.png, bbox_inchestight)SHAP值矩陣的維度是樣本數(shù) × 特征數(shù)每行代表一個樣本每個值代表該特征對該樣本預(yù)測值的貢獻(xiàn)。summary plot中橫軸是SHAP值正負(fù)代表方向顏色代表特征值高低。如果一個特征在高值時SHAP值為正說明這個特征與目標(biāo)正相關(guān)反之則負(fù)相關(guān)。從這片圖里能直接看出業(yè)務(wù)上的關(guān)鍵驅(qū)動因素。比如我們項(xiàng)目里“熔爐溫度”特征的SHAP值范圍最大說明它對目標(biāo)指標(biāo)的影響最強(qiáng)而“冷卻水流量”主要是負(fù)向影響流量越高目標(biāo)值越低。這種信息對于工藝調(diào)整非常有價值。4.2 局部解釋單個新數(shù)據(jù)的預(yù)測值是怎么算出來的光有全局解釋還不夠?qū)γ恳粋€新預(yù)測樣本我一般還會生成一個force plot或者waterfall plot把預(yù)測值拆解給業(yè)務(wù)方看。比如某天來了一個新樣本模型預(yù)測質(zhì)量指標(biāo)是86.5那就可以解釋為基準(zhǔn)值大概是72這個樣本的“熔爐溫度”偏高把預(yù)測值推高了8.2“進(jìn)料流量”中等偏高推高了4.1“雜質(zhì)含量”偏低貢獻(xiàn)了-2.3最后得到86.5。這樣一來預(yù)測就不再是一個無源可溯的數(shù)字了。在實(shí)際代碼中我會把單個樣本的SHAP值保存到Excel表格里同時生成waterfall圖。single_row X[0].reshape(1, -1) shap.waterfall_plot(shap.Explainer(model)(single_row), showFalse) plt.savefig(shap_waterfall.png, bbox_inchestight)waterfall圖放在報(bào)告里很直觀。上面是最終預(yù)測值往下逐步分解每個特征的貢獻(xiàn)。Matlab端可以把生成的圖片直接顯示到figure窗口也可以嵌入到自動生成的Word/Excel報(bào)告中。4.3 模型診斷SHAP還能當(dāng)異常檢測工具用這是我自己摸索出來的一個用法SHAP值不僅能解釋還能輔助模型監(jiān)控和異常檢測。當(dāng)新數(shù)據(jù)的某條預(yù)測結(jié)果嚴(yán)重偏離預(yù)期時我會計(jì)算它的SHAP值然后和訓(xùn)練集所有樣本的SHAP值分布比較看看是不是某個特征的SHAP值特別極端。比如工業(yè)數(shù)據(jù)里經(jīng)常出現(xiàn)傳感器漂移溫度讀數(shù)失真。這種樣本喂給模型預(yù)測值往往很怪但僅從預(yù)測值本身看不出來是輸入數(shù)據(jù)有問題還是模型失效。用SHAP加一個特征貢獻(xiàn)對比如果一個特征的SHAP值遠(yuǎn)超訓(xùn)練集的正常范圍多半就是輸入數(shù)據(jù)可疑。這個方法我在兩個項(xiàng)目里都真正用上了能提前抓住幾批有問題的數(shù)據(jù)避免錯誤預(yù)測流到下游系統(tǒng)。5. 常見問題與排查技巧實(shí)錄5.1 GA收斂慢或陷入局部最優(yōu)怎么辦GA跑起來最惱火的不是慢而是跑到十幾代之后適應(yīng)度曲線基本平了找到的參數(shù)仍然不理想。這種情況我遇到幾次主要原因有三個一是種群大小太小我一開始用20后面調(diào)成4060效果明顯改善。二是參數(shù)范圍定得太窄導(dǎo)致最優(yōu)解不在搜索范圍內(nèi)。比如我把learning_rate上限設(shè)為0.3實(shí)際最優(yōu)解可能在0.05附近雖然在里面但隨機(jī)初始種群如果都落在0.2附近就很難探索到低學(xué)習(xí)率區(qū)域。三是交叉和變異概率不匹配Matlab默認(rèn)參數(shù)一般沒問題但如果發(fā)現(xiàn)早熟可以降低交叉比例、適度提高變異比例或者使用自適應(yīng)變異。另一個實(shí)用技巧是先用粗糙的GA跑一輪找到較好的參數(shù)區(qū)域后縮小邊界再跑一輪。這種“二次精搜”比一次加大種群更高效我實(shí)測能節(jié)省一半以上的計(jì)算時間。5.2 Matlab與Python數(shù)據(jù)類型轉(zhuǎn)換的經(jīng)典報(bào)錯在Matlab里調(diào)用xgboost時最常見的報(bào)錯是“Python argument types did not match”或者“Unable to resolve the name py.xgboost.Booster”。前者多半是數(shù)據(jù)類型沒轉(zhuǎn)對后者多半是Python庫沒裝好或路徑?jīng)]配對。數(shù)據(jù)轉(zhuǎn)換上我總結(jié)了一個簡單規(guī)則凡是傳給Python的數(shù)據(jù)一律用py.numpy.array(py.numpy.asarray(data))。如果是目標(biāo)向量建議用一維數(shù)組如果是特征矩陣確保是二維。Matlab里的矩陣是列優(yōu)先存儲Python的numpy是行優(yōu)先但在通過py.numpy.asarray轉(zhuǎn)換時通常能自動處理維度只有當(dāng)矩陣是稀疏矩陣或包含NaN/Inf時才會出問題。如果碰到類型不對可以先用class(X_py)和py.type(X_py)檢查類型。另外字符串參數(shù)一定要轉(zhuǎn)成Python字符串。比如model.load_model(best_model.json)這里Matlab字符串對象會自動轉(zhuǎn)換但如果有多個參數(shù)可能需要用py.args顯式處理。5.3 SHAP計(jì)算慢或內(nèi)存溢出怎么辦TreeExplainer雖然快但當(dāng)樣本數(shù)和特征數(shù)都很大時計(jì)算整個數(shù)據(jù)集的SHAP值仍然會占不少內(nèi)存。我試過用2萬條樣本、80個特征的數(shù)據(jù)集一次性計(jì)算直接把內(nèi)存干爆了。解決辦法很簡單在計(jì)算全局SHAP值時先用k-means或者隨機(jī)采樣選一個背景數(shù)據(jù)集一般500~1000條足夠了。TreeExplainer支持傳入一個背景數(shù)據(jù)子集用來計(jì)算期望值。這樣不僅快結(jié)果也幾乎沒差別。如果要計(jì)算單樣本的SHAP解釋直接用該樣本本身的特征向量即可不涉及背景集計(jì)算量很小。X_background X[:500, :] # 或者隨機(jī)采樣 explainer shap.TreeExplainer(model, X_background) shap_values explainer.shap_values(X)5.4 新數(shù)據(jù)預(yù)測結(jié)果異常大概率是特征對齊問題預(yù)測階段最容易翻車的不是模型而是數(shù)據(jù)管道。比如新數(shù)據(jù)的列順序變了或者訓(xùn)練時的特征工程步驟沒有復(fù)用。我有一次因?yàn)榧恿艘粋€新特征訓(xùn)練時用了13個特征預(yù)測時只傳了12個結(jié)果xgboost直接報(bào)錯。還有一次是列順序變了模型沒報(bào)錯但預(yù)測結(jié)果明顯偏移排查了很久才發(fā)現(xiàn)是列順序錯了。所以我把特征列名的順序在訓(xùn)練階段固定保存下來預(yù)測前強(qiáng)制重新排序。另一個細(xì)節(jié)是新數(shù)據(jù)里的某個類別特征如果出現(xiàn)了訓(xùn)練時沒有的取值XGBoost可能無法處理。這種情況要么在訓(xùn)練前做類別編碼時保留一個“未知”類別要么在預(yù)測前做合法值檢查。附完整代碼結(jié)構(gòu)參考到這里這套流程的核心部分已經(jīng)全部講完了。我最后列一下我在Matlab工程里常用的代碼結(jié)構(gòu)方便你整體把握project/ ├── main_ga_xgb_train.m % 主訓(xùn)練腳本讀數(shù)據(jù)、GA尋優(yōu)、訓(xùn)練模型 ├── predict_new_data.m % 新數(shù)據(jù)預(yù)測函數(shù) ├── data/ │ ├── train_data.csv │ └── new_data.csv ├── lib/ │ ├── ga_xgb_fitness.m % GA目標(biāo)函數(shù) │ └── plot_shap.py % SHAP分析與畫圖腳本 ├── outputs/ │ ├── best_model.json │ ├── best_params.mat │ ├── data_scaler.mat │ └── shap_summary.png分享一個小技巧我習(xí)慣把Python側(cè)的可復(fù)用函數(shù)封裝到一個py文件里比如main.py然后在Matlab中通過py.main.func()調(diào)用。這樣比在Matlab里一行行拼Python代碼清晰得多也方便Python端單獨(dú)調(diào)試。項(xiàng)目上線后這個main.py基本上沒怎么改過所有改動都在Matlab側(cè)。這套方法我已經(jīng)在不止一個回歸預(yù)測場景里驗(yàn)證過了。個人最大的體會是GA-XGBoost加SHAP并不是“為了高級而高級”而是在精度、可解釋性和工程可維護(hù)性三者之間找到了一個很好的平衡點(diǎn)。如果你也在做類似的預(yù)測項(xiàng)目建議先拿小數(shù)據(jù)量把流程打通再慢慢放大前期多花半天調(diào)試環(huán)境后面能省下好幾個星期。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷婷婷色| 五月婷婷六月丁香五月| 久久婷婷五月综合色播| wWwCom夜操wwW| 激情亭亭五月| 91色色色视频| 丁香婷婷老熟女综合网| 五月丁香六月激情| 色色色综合网| 五月停亭六月,六月停亭的英语 | 激情网五月天| 色五狠狠| 丁香激激情网| www.十八禁不禁AV.com| 这里只有精品,日韩视频| 色噜噜五月天| 婷婷欧美激情| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 欧美精品999| 激情五月婷婷六月丁香| 久热播这里只有精品| site:esunnet.com| ww亚洲ww在线观看| 色色五月天激情| 丁香五月综合久久综合| 婷婷影院欧美| 日韩成人无码片| 麻豆AV一区二区三区| 久久婷婷五月天| 激情人妻综合| 天天射影院| 天天天天天久久久久久| 色五月婷婷天天操夜夜操| 成人操呦av| 日本久久婷| 天堂网色色| 亚洲最大视频网站| 91色色色视频| 色色97丁香婷婷五月天| 91干99| 专区无日本视频高清8| 中文AV网| 五月天婷婷久久视频| 激情床戏| 中文字幕视频在线播放| 99热老司机| 99热在线看片| 久久视频婷婷| 26.uuu丁香五月婷婷| 天天综合网在线| 十月丁香九月婷婷综合| 久久久五月四色| 69激情小说| site:esunnet.com| 婷婷5月开心6月| 久久综合激情五月天| 国产亚洲99久久精品| 亚洲熟女色| 亚洲AV第二区国产精品| 淫视馆AV在线| 色婷婷久久综合久色综| 51成人| 五月婷婷偷拍| 色停停香蕉视频| 亚洲黄色精品| 人妻综合网| 91丨九色丨熟女|新版| 色婷婷五月综合在线| 99啪啪网| 婷婷久久亚洲| 极品色丁香| 九九人人操| 97色干| 婷婷综合| 久久99最新| 2050人人操免费工开爱| 欧美婷婷五月激情| WWW.桔色成人.COM| 99国产这里只有精品| 激情网综合| 国产精品久久7777777精品无码| www,婷婷五月天,com| 丁香六月成人网| 好好干av| 亚洲另类噜噜| 五月丁香六月婷婷的女人| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 九九爱这里只有精品| 丁香五月婷婷深爱综合激情| 丁香六月 婷婷六月| 久久久er热| 天天做天天爱天天爽在| 六月丁香婷婷在线波多| 日本五月婷| 国产午夜一区二区三区| 97性视频| 色五月人妻| 激情五月天网站| av大香蕉| 五月婷婷 激情按摩| 人妻免费网站| 伊人碰碰婷婷| 人妻AV在线| 五月伊人综合| 99色一| 久久这里只有国产视频| 99热这里只有精品在线观看| 亚洲另类婷婷综合| 伊人色综合网| 五月丁香花成人社区| 五月四色激情| 国产精品岛国片在线观看免费| 麻豆雪千夏| 久久99操| 色五月亚洲五月天| 伍月婷丁香花全集| 丁香婷婷月| 狠狠爱婷婷爱| 国产亚洲色婷婷久久99精品91| 国产精品人成A片一区二区| 国产精品91抖高| 99久久偷拍视频| 五月亭亭欧美女人| 色婷婷狠狠| 狠狠 婷婷| 思思热久久久久思思热| 日本狠狠网| 亚洲六月色婷婷| 啪啪啪综合网| 久久久国产精品黄毛片| 69精品人妻不卡视频| 日韩 中文 欧美| 婷婷五月色播网| 丁香五月婷婷动漫| 99热a片免| 五月天操逼网| 99热久久这里只有精品| www.婷婷五月.com| 婷婷欧美综合| 久热这里精品免费| 97色色色| 91色久| 色婷青青| 麻豆雪千夏| 精品婷婷五| 天天拍久久| 五月天成人网在线观看| 久久a热| AA片在线观看视频在线播放| 综合激情在线观看| 伊人婷婷青青cao| 丁香花五月天| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色五月婷婷丁香婷婷| 婷婷丁香五月亚洲| 日韩啪啪视频| 日本黄 色 片| 五月激情网站| 六月色狠狠色| 啪啪色区| 欧美成人AAA片一区国产精品| 亚洲a片免费观看| 97精品自拍| 婷婷五月天色综合翘| 五月丁香在线综合| 久久综合人妻| 色综合久久8| 天天噜日日噜综合无码| 天天干天天干天天干天天干天天干天天| 噜噜网免费视频| 亚洲精品亚洲人成人网| 九九精品9| 五月天激情久久| 五月丁香婷婷激情在线| 9l视频自拍九色9l视频自拍九色9l社区| 国产又爽又猛又粗的视频A片| 九九色区| 人妻在线中文字幕久久| 另类激情五月| 色www99| 国产1区2区3区| 五月婷婷,六月激情| 五月婷视频| 天天肏夜夜肏| 少妇婷婷五月天| 久久五月天激情美女| 久久这里只有欧美| 久久HD| 丁香婷婷五月人体| 婷婷亚洲激情在线观看视频| 五月丁香成人网| 99精品久久| AV六月丁香| 丁香五月亚洲激情婷婷射| 色五月丁香六月婷婷| 99在线播放视频| 天天草女人| 国产av基地| 天天综合 99久久婷婷| 天天 青草 制服丝袜 在线| 亚洲热久久| www久| 丰满少妇乱A片无码| 免费播放片大片| 天天成人五月天| 五月色综合| 91超级碰| 99热99ai| 婷婷天天色| 色播丁香| 欧美熟女99| 这里只有精品视频99| 99热91| 99色在线观看视频| 婷婷五月天在线观看第二页| 青青草免费公开视频| 亚洲A片成人无码久久精品青桔 | 久久这里只有精品07 | 免费视频WWW在线观看网站| 色婷婷69| 99久热这里只有精品| 熟妇人妻中文字幕无码老熟妇 | 九九免费在线视频| 久热这里只有| PORNY九色9l自拍视频成人| 婷婷五月天激情丁香| 激情五月综合亚洲另类| 97干网站| 成人丁香五月天Av| 97干资源在线观看| 婷婷丁香基地在线| 久久久中文| 色五月婷婷在线| 五月天激情亚洲| 青柠影视免费高清电视剧| 91精品婷婷国产综合久久| 激情五月天电影| 91九色最新视频| 久久五月婷婷电影| 五月天激情图片| 综合日本婷婷| 亚洲无码九九| 老妇六区| 色婷五月天亚洲| 尔尔AV一区| 色色色地址| 99热这里只有精品86| 女人被躁到高潮嗷嗷叫小| 亚洲日韩国产黑丝黑丝AVAV一区二区三区 | 色久五月| 国产精品国产成人国产三级| 高潮毛片遮挡费高一百度| 26uuu精品一区二区| 禁片二区| 五月婷婷综合精品| 3p九色在线| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 五五月五月| 99热只有| 丁香五月亚洲AV| 五月婷婷激情性爱| 日韩黄色网络| 狠狠干狠狠干| 啪啪操操| 人人摸人人澡人人| 九月婷婷综合网| 第四色婷婷丁香五月| 韩国中文字幕91| 五月熟妇婷婷久久| 777精品久无码人妻蜜桃| 丁香五月天啪啪| 狠狠人妻色综合| 五月开心久久| 夜夜躁婷婷AV| 激情文学第四色婷婷丁香五月| 色五月婷婷很很操| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 伊人大香蕉综合在线| www色综合| 99在线视频精品| 高清国产AV| 99精品亚洲| 亚洲啪啪自拍| 综合激情站| 操逼视频网址| 五月婷婷六月综合| 影院久久久| 亚洲综合丁香五月天| 在线观看日韩12345区| 少妇久久诱惑视频| 超碰日韩人妻在线| 五月天婷婷青青草| 久综合九综合99| 五月丁香激情婷婷综合| 性爱技巧五月| 婷婷性爱五月天| 婷久久综合| 日韩视频99| 亚洲乱啪| 五月婷婷导航| 99爱99操| 亚洲色五月| 99re6热在线精品视频播放速度| 超碰在线成人| 99re熱| www婷婷| 久久婷婷激情五月天一区二区| 婷婷五月在线观看| 一本久久亚洲五月婷婷| 色无婷婷| 色情五月停停丁香| 欧美日本高清视频99| 高清无码视频网址| 九月婷婷色色| 久久激情综合| 做爱夜夜干天天操| 日本不卡一区二区三区| 热99热9| 丁香五月欧美婷婷| 五月天成人综合| 99五月婷| 9l视频自拍9l九色成人| 婷婷 久综合| 青草视频在线观看视频| 婷婷五月婷婷五月| 操日本色| 色婷婷狠| 永久的网站AAAA | 五月婷婷色五月| 五月天激情综合网站| 九九无码| 丁香五月婷婷欧美成人色图| 国产色香蕉精品五夜婷| 国产免费AV在线| 久久人人看| 天天爽天天干| 啪啪啪五月天| 91n网站cad入口在线观看| 色五月欧美| 综合久久高清| 色婷婷激情| 日本五月婷婷久久久六月丁香| 麻豆观看夏晴子| 国产裸舞表演WWWW| 久久电影4399| 婷婷成人综合免费视频| 色五月视频无码播放| 色色色色热热| 色狠狠狠干| 那里有AV网址| 天天草天天爽| 婷婷五月天久久久| 国产亚洲成AV人片在线观黄桃| 激情六月婷婷啪啪| 激情婷婷网| 五月天婷婷色小说| 五月天激情视频网站| 亚洲秘 无码一区二区三区妃光/1| 色五月激情网| 色女人久久| 黄色成人网站在线播放| 丁香婷婷六月天| 立川无码av| 激情婷婷综合| 热无码A∨| 久久小视频免费| 色五月成人婷婷| 五月婷婷伦理| 天天插天天插天天插天天插 | 欧美五月停| caopeng超碰| 亚洲天堂热| 伊人久久婷婷| 亚洲va欧美va国产综合久久久| www.天天干.com| 一个色的综合| 欧美色频| 丁香婷婷色| 久草五月婷婷| 日韩成人影片网站| 99在线视频免费| 婷婷五月激情图片| 第四色激情网| 996热re视频精品视频| 久久曰9| 无码中文一区二区三区| 亚洲激情四射| 四色综合网| 天天噜| 日韩亚洲视频| 丁香久久五月天视频在线观看 | 大香蕉啪啪网| 婷久久高清| 97热这里精品在线视频| 丁香六月婷婷综合网| 久久九九re热| 丁香久久| 色激情五月天| 九九热只有这里是精品| 九草性爱| 777精品久无码人妻蜜桃| 伊人网色婷婷五月天| 五月丁香婷婷国产精品综合| 亚洲无码99| 怎么样可以看免费的一级av| 丁香六月青青草| 国产精品视频| 五月婷婷中文网| 97色色视频| 26uuu欧美激情另类| 激情久久肏屄视频| 色啪网| Av大香蕉| 久久香蕉丁香| 97超碰,人人舔,人人操,人人摸 | www.天天干| 97人人草| 人人妻久久妻| 色综色网| 39视频第二区| 婷婷色在线视频| 99五月婷| 99热精品9| 噜一噜免费视频| 深爱开心激情| 久久人人妻| 五月丁香亭亭电影久久| 色婷婷五月天成人网| 久9热视频在线观看| 国产精品久久久久久妇女6080| 五月丁香999| 亚洲精品激情| 五月激情婷婷在线| 青吴乐视频| 丁香五月成人自拍| 婷婷久久五月天| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 色99视频| 在线可以看的av网址| 丁香深五月婷婷| 婷婷五月天电影区小说区| 超碰资源在线| 夜夜操狠狠操| 色婷婷五月天视频在线| 中文字幕AV网址| 好好干av| 色婷婷基地在线| 久久 中文 日本| 国精产品一区一区三区免费视频| 成人午夜视频精品一区| 五月丁香 啪啪啪| 久久怕怕视频| 色偷偷色婷婷| 中文AV网| 丁香五月天狠狠操| 依人大香蕉在钱1| 色狠狠色噜噜AV天堂五区消防| 五月婷色| 在线视频你懂得| 亚洲第一色色色| 激情婷婷六月| 天天操夜夜啊| 开心五月婷婷激情网| 天天色综合色色色色色。| 337p午夜影院| 中日韩美欧成人一区二区精品在线| 五月天社区| 99这里只有免费的小视频在线观看| 日韩在线观看网址| 婷婷五月激情图片| 综合色99| 五月伊人网| 五月婷婷,六月婷婷| 人人操9| 五月天 另类图片| 日本色色网站| 天天插天天日| 大波美女VA网站| 日日干天天爽| 婷婷伊人综合中文字幕| 色婷亚洲| 只有精品在线观看| 激情五月婷婷色综合| 99热综合| 五月天色婷婷基地| 亚洲久艹| 无码日本精品XXXXXXXXX| 嫩草极品| 日 日干 日日做| 人人人操 超碰| 五月停停直播| 在线视频你懂得| 91九色在线| 久久ri精品视频| 青柠影视免费高清电视剧| 香蕉久久国产AV一区二区| 三级三久久线久久99久目本WW| 五月婷婷综合网| 九九综合九| 嫩草综合网| 久久se 综合网| 激情综合五月色在线| 婷婷五月丁香综合桃花色网| 丁香婷婷九月| 在线超碰91| 婷婷开心激情五月激情网| 超碰国产在线| 99久在线精品99re5热视频| 日本三级中国三级99人妇网站| 婷婷五月天av| 男人的天堂五月丁香| 9 1超碰九色| 激情五月婷婷丁香综合网| 五月婷在线观看| 俺去也在线视频| 51国精产品自偷自偷综合| 日本色色色色色色色色一色二色| 99热在线观看精品免费| 爆乳熟妇一区二区三区爆乳照片| 色综合色综合网| 一级片操逼视频| 俺去啦综合网| 操操自拍| 操逼五月婷婷| 亚洲小视频免费播放| 国产精品人成A片一区二区| 五月丁香怕啪啪| 丁香色婷婷五月天| 五月天自拍网| 五月婷婷色色| 五月婷婷六月丁香在线| 国产又色又爽又黄又免费| 婷婷五月骚厕所| 五月丁香婷婷综合网色欲| 婷婷深爱五月天| 人人草人人舔| 久久婷婷超碰| 激情小说五月丁香在线视频观看视频| 五月天婷婷小说| 黄网免费看| 色婷婷色婷婷五月| 五月停性愛| 综合色色婷婷| 丁香婷婷婷婷十二月在线观看视频| 六月五月丁香五月欧美| 亚洲欧美成人在线观看| 丁香五月激情综合| 人妻熟女一区二区AV| 激情五月天伊人av| 人妻AV在线观看| 五月丁香啪啪啪综合网| 激情综合五月婷| 丁香色婷婷| 亚洲人妻AV| 99色婷婷| 爱超碰性| 99热在线观看| 狠狠色狠狠| 99色五月| 第四色婷婷五月| 久综合4| 丁香五月天激情网| www.久久爱| 色99无码| 538在线精品| 日狠狠| 91熟妇大香蕉| 婷婷五月深情丁香深爱日韩| 人人综合91网| yazhoujiqingav| 五月五婷婷网| 少妇高潮呻吟A片免费看软件| 日本色狠狠| 99久在线精品99re8热| 国产精品18久久久| 色色色免费视频| 九热视频| 99热伊人综合| 99热66| 五月丁香激情综合| 久久久久久性爱视频| 亚洲天堂色色| 99热免费| 久久九九网| 久9久成人精品视频| 狠狠操在线视频| 五月婷婷综合潮喷| 九月婷婷综合八月丁香在线观看| 色停停香蕉视频| 亚洲V国产V欧美V久久久久久| 丁香九月激情| 色色综合热| 涩综合婷婷| 亚洲第一色色色| 五月丁香色婷婷色| 精品国产va久| 日日操人人操| 亚洲、热| 另类图片婷婷五月天| 色婷婷狠| 开心婷婷五月天激情网| 97碰人人操| 九九热大香蕉| 九九RE视频在线精品| ..真实国产乱子伦对白在线_欧 | 久久一级AV| 五月丁香六月激情在线| 五月婷啪啪| 婷婷瑟瑟五月天| 婷婷久久精品| 超碰av在线| 婷婷99狠狠躁天天躁| 丁香六月婷婷激情| 婷婷五月在线视频| 婷婷五月激情基地| 91精品国产综合久久久不卡电影| 97人人操人人插| 秋霞AV美国| 丁香五月电影| 丁香六月色婷婷欧美| 99久久色| 婷婷婷久久久| 欧美色小说婷婷| 婷婷激情五月天天天开心| http://www.lingjunshare.com/| 婷婷金品综合视频| 婷婷色播婷婷| 丁香五月婷婷成人网| 五月婷婷导航| 丁香五月欧美激情| 色99超碰| 极品少妇婷婷五月| 第四色色六月色综合| av国产精品偷| WWW五月天| 九九热在线视频,| 成人婷婷五月天| 婷婷五月天狠狠| 狠狠色狠狠| 丁香婷婷久久| 日日干夜夜干| 无码人妻少妇色欲AV一区二区 | 激情婷婷在线中文字幕| 开心五月激情网| 五月天婷婷在线视频| 色色影院黄大片| 亚洲视频久久| 五月天开心色情网| 亚洲欧洲一二| 极品另类| 欧美日韩成人在线网| 婷婷激情综合色五月久久91| 九九综合久久丁香婷婷,开心激情综合网| www.精品99| 青青草原中文字幕| 久热这里只有精品99re,久热这里只有精品7| www五月天com| 婷婷久久色| 深爱激情AV| 五月丁香六月婷婷姐| 99热最新| 色婷av| 成人国产综合| 丁香五月 综合| 亚洲午夜精品久久久久久人妖| 播五月丁香三月婷婷| 五月婷婷六月丁香在线| 伊人五月天| 亚洲乱码日产精品BD| 大香蕉天堂| 亚洲乱码在线观看| 亚洲日本激情| 国产亚洲99久久精品| 亚洲综合99| 色欲午夜无码久久久久久张津瑜 | 婷婷伊人綜合中文字幕| 丁香婷婷啪啪| 五月香蕉婷婷| 国产性av| 五月天激情婷婷五月天久久| 亚洲另类婷婷五月综合| 影音先锋一区二区三区| h在线看免费版在线看| www久久99com| 91碰视频| 欧美丰满熟妇BBB久久久| 亚洲AV无码影院| 丁香五月乱中文字幕| 五月婷婷久久爱| 五月丁香婷草| 无码婷婷五月天| 女同激情久久av久久| Blackedraw视频一区二区| 开心五月婷婷综合在线精品素人| 伊人网啪啪| 五月天激情视频五月天| 日韩AV片| 99日本精品视频热| 超碰成人电影| 国产性爱一级| 五月涩涩网| 久久久婷婷五月亚洲97号色| 99精品偷自拍| 丁香婷婷五色月| 色婷婷久久| 97在线精品| 深爱激情五月婷婷| 综合丁香婷婷五月天| 五月花综合| 热九九精品| 天天狠狠夜夜狠狠2023| www.99热精品99.com| 少妇性BBB搡BBB爽爽爽视頻| 亚洲视频在线网| 综合图区激情| 99综合视频| 丁香五月最新地址| 色婷婷裸体色性在线| 日韩成人不卡| 亚洲第一精品成人999久久精品| 97精品综合| 免费操超碰| 综合激情网激情五月。| 久久9精品视频| 思思热在线| 影音先锋日本三级资源| 去干网最新版本亚洲版| 色色色色热| 中文字幕乱码亚洲精品一区| 91九色中文字幕女在线观看| 99久久综合网| 丁香婷婷综合激情五月色| 六月婷综合| 99热免费精品| 99综合免费视频| 夜夜夜夜操| 国产精品视频免费看| 一级片sese片.COM| 婷婷五月激情五月激情| 伊人大综合| 9l视频自拍九色9l视频在线观看| 婷婷的色色五月天| 秋霞网在线免费基地五月婷婷丁香| 日本色婷婷| 天天干天天拍| 亚洲操人| 激情网五月天| 狼人久草| 婷婷深爱五月| 五月丁查人人| 国产ava| 色五月激情网| 国产乱妇无乱码大黄AA片| 久久精品五月天| 嫩草AV久久伊人妇女超级A| 成人操呦av| 伊人99热| 99福利导航| 婷婷五月天VI| 天天舔日日肏夜夜爽| 成人无码髙潮喷水A片| 秋霞免费三级片| 国产性爱在线| 思思久久精品视频| 九九热视频网站| 亚洲va欧洲va国产va不卡| 亚洲色人妻| 91久久久久久久久18| 97久久精品| 金品在线视频99| 五月天综合视频| 五月婷婷激情| 这里只有精品1| 久久受www免费人成| 亚洲综合色丁香五月天| 色情五月丁香| 69婷婷丁香午夜| 六月婷婷色色色| 婷婷五月花| 久久色六月| 噜噜色五月| 色色色免费视频| 婷婷综合激情| 99精品国产在热久久| 激情五月色综合国产精品| 在线观看国产高清视频免费网站 | 人人亚洲| 久久免片| 五月丁香激情四射综合| 天天爽天天操| 色情五月天小说| 婷婷五月免费视频| 991精品在线视频| 欧美久久九九| 丁香五月天的网址。| 影音先锋毛片网站| 天天干一干| 美女丁香五婷婷| 综合99视频| 日本久久99| www色色com| 91久女| 久久精品人妻| 99ri视频| 网站免费一站二站| 婷婷中文字幕版| 激情婷婷激情在线不卡| 91久热| 在热视频精品| 超碰在线人妻| 色综合久久综合| 亚洲激情综合网| www夜夜操wwwcon| 欧美狠狠一在草| 精品人妻在线免费观看| 五月天伊人| 五月六月丁香婷婷在线观看| 日本狠狠色| 色色婷婷五月天| 91seAV| 99热这里只有精品1025| 99精品这里只有免费视频| A片天天| 在线只有精品| 99热精在线九九久久保| 天堂呦 呦百度搜索-百度搜索| 天天弄天天操| 色色色色欧洲| 婷婷丁香激情综合色情| 天堂亚洲 在线| 午夜爱爱网站| 狠狠狠五月婷婷六月丁香| 99热在线观看| 九九热9| 超pen个人视频97| 五月天婷久精视频| 97在线视频观看| 五月丁香激| 亚洲人操亚洲人| 五月开心网| 五月婷婷视频在线观看| 色色色婷| 九九色院| 五月婷婷丁香日韩在线| 婷婷综合五月色播| 97在线日本| 亚洲av另类在线观看| AV在线观看网站| 中文在线视频久9| 久久天堂网| 26uuu另类亚洲欧美日本一| 婷婷情色五月天| 91日韩在线| 狠狠干综合| 美女网黄| 婷婷五月丁香91| 国产高潮A片羞羞视频涩涩| 色婷婷基地在线| 亚洲精品影视| 亚洲精品色色| 亚洲一区二区 成人网站戴套| 日韩啪啪视频| 99热的无码| 色色亚洲五月天| 99久超碰| 色亚洲欧洲| 婷婷色女| 51XX嘿嘿午夜无码| 久热A片| 五月婷婷色色网址| 国产激情综合五月久久| 亚洲最大视频| 欧美丁香五月天| 亚洲色域网| 五月婷婷久久激情| 亚洲午夜成人av电影网| 色综合色综合色综合色综合| 夜夜骑日日夜夜| 99热在线精品播放| 99热精品在线观看| 天天色色婷婷| 丁香五月六月激情久久| 丁香五月婷综合网| 综合色婷婷| 五月天激情丁香| 26uuu成人网| 丁香六月五月天| Av大香蕉| 日日噜噜夜夜狠狠久久丁香五月| 色婷婷8| 五月丁香婷婷啪啪网| 亚洲啪视频| 亚洲热视频| 啄木鸟黑丝一区二区| 久久综合热17c| 深爱激情五月天色婷婷| 丁香五月性爱爱五月| 99熟女视频| 五月婷婷五月色| 99热啪啪| 久久久久综合激动五月天| av在线播放网站| 极品人妻VIDEOSSS人妻| 一区二区成人电影免费播放| 婷婷在线视频| 欧美25p| 狼人久草| 国产真实乱对白精彩| 五月婷婷www| 99国产在线精品视频| 婷婷五月花| 狠狠另类视频| 五月天天爱| 丁香五月久久| 色婷操逼| 激情五月婷婷丁香| 色五月综合激情| 影音先锋一区| 粉嫩AV久久一区二区三区| 99色天堂| 激情深爱五月天| 99热精品中文字幕| 91在线操逼视频| 丁香五月五月婷婷欧美大香蕉| 一级性爱视频| 99热只有| 色婷婷激情| 大香蕉五月天婷婷| 女人被躁到高潮嗷嗷叫小| 黄页大全十八禁| 婷婷色色播五月天| 3p日韩网站视频| 欧美色婷婷| 丁香五月激情婷婷婷婷在线观看| 婷婷五月丁香伊人| 五月丁香 啪啪啪| 天天草比天天爽| 五月婷婷色五月| 亚洲va欧美va天堂v国产综合| 久久五月天合网| 亚洲高清在线| 天天操天天操| 伊人五月成人| 日日操夜夜骑| 很很干天天干| caop在线视频| 综合 激情 婷婷| 久久er免费视频| 色婷婷女优有码五月亭| BBWCUCKOLD精品熟妇| 国成人网| 色婷婷五月影视| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 久久总和99| 久久婷五月婷| 中文人妻AV久久人妻18| 野战J办公桌椅H| 蜜桃婷婷狠狠久久综合| 久久视频婷婷视频| 亚洲六月色婷婷| 亲子乱AV一区二区三区下载| 色吊操色妞| 丁香亭亭久久| 婷婷色啪| 伊人网啪啪| 超碰在线91| 北条麻妃九九九国产精品视频| 丁香婷婷天堂| 日本玖玖在线| 久久一操| 五月视频日本免费观看| 韩国婷婷丁香五月| 激情五月婷婷丁香| 免费观看欧美成人AA片爱我多深| 天天干天天叉| 五月激情站| 白人荫道BBWBBB大荫道| 五月丁香婷婷五月色| 五月婷婷激情综合| 亚洲AV成人精品网站在线播放| 操逼综合网| 人妻六月天| 9久久AV| 天天做综合| 婷婷久月| 91日韩在线| 久久精品综合色| 色婷婷欧美在线| 婷婷五月天综合网| 天天综合久久| 色丁香久久久| 人妻内射视频| 97视频久久| 九九久久五月天| 五月丁香综合久久夜夜| 管管補管管紱| www.婷婷五月天.com| 婷婷丁香精品视频在线观看| 婷婷五六月丁香| 婷婷激情另类| 国产精品五月丁香| 四月婷婷五月丁香| 国产69久久久欧美黑人A片| 国产成人精品一区二三区熟女在线| 国产成人精品亚洲线观看| 综合五月激情| 综合激情网| 99热自拍| 麻豆AV一区二区三区| 激情五月天的婷婷| 高清无码网址| 婷婷的99视频网站| 久久婷婷五月天激情唯美| 99久久婷| 操操综合网婷婷| ,99视频久久| 国产美女视频久| 狠狠精品干练久久久无码中文字幕 | 婷婷色香六月综合激情| 色五月丁香婷婷久草| 99精品视频在线观看| 日韩成人中文| 91玖玖| 人人操91| 丁香五月图片| 五月天大香蕉| 1区2区视频| 久久九精品| 婷婷久久性爱| 婷婷五月天激情亚洲小说| 色情丁香五月婷婷精品| 久久婷婷七月丁香| 亚洲、热| 99这里只有精品| 综合久久综合五月天婷婷| jiujiu无码五区| 另类视在线| 99操久久| www.99.色| 99网址在线看| 丁香婷婷视频一区二区| AA片在线观看视频在线播放| site:xiongshengzz.com| 无码区婷婷五月花开| 狠狠插狠狠操| 丁香六月婷月91婷月| 99视频只有这里精品| av在线免费播放| 97热视频| 色婷视频| 一本九九色| 婷婷五月天香蕉| 婷婷五月天激情小说| 99久热在线精品| 色99色| 色婷婷先锋| 狠狠精品干练久久久无码中文字幕 | 六月亚洲| 亚洲1区| 久久一级免费黄色片| 丁香五月成人网| 中文资源在线a| 开心五月丁香婷婷| 无码字幕中文| 66成人网| 中文字幕人妻熟女在线| 亚洲AAA| 丁香五月区| 99超级碰碰| 91九色精品女同系列| 69热在线| 九九色热| 色婷婷成人影片| 亚洲欧洲午夜成人精品av| 五月丁香成人| 色域五月婷婷丁香| 精品网站:999WWW| 九热视频| 97人妻碰碰中文无码久热丝袜| 99熟女视频| 亚洲综合在线网站| 激情久久肏屄视频| 亚洲精色| 亚洲无码黄色| 婷婷综合五月| 99热都是精品| 伊人五月成人| 久久天堂| 丁香色综合| 九洲一级A片| 五月天婷婷色| 99热777| WWW色色色COM| 午夜大香蕉| 激情小说五月天中文字幕| 精品无码久久久久久久久| 五月好婷婷| 99热国品免费| 婷婷色影音天| 色色色com| 欧美色色色色色色色色色色影视| 激情5月婷婷| 五月婷婷官网色| 超碰人人操人人干| 欧美顶级少妇做爰HD| 五月婷婷久草在线视频综合| 另类图片天天影视在线观看| 久久综合九九| 色综合性视频| 九月婷婷在线视频| 婷婷丁香五月天操逼| 亚洲综合另类| 91九色首页| h亚洲| 色啪网| 99视频精品全部免费 在线| 久久五月天丁香花| 啊V视频在线观看| 六月激情婷婷综合| 色婷婷影视99| 99啪啪视频| 五月丁香久久综合精品| 99热久久日本| 五月婷综合| 国产精品激情五月天色婷婷| 婷婷五月天黄色| 99久久超级| 熟妇天天综合| 色情开心五月| 亚洲啪啪啪啪| 色婷婷4| 六月丁香好婷婷| 激情小说在线视频| 97人人干人人操| 五月天社区| 99cao婷婷| 欧美日韩国产一区二区| 五月天开心色情网| 91热er| 久久99性爱| 色情丁香五月婷婷精品| 色五月首页| 91丨九色丨首页| 五月天狠狠色| 在线国产精品色| 激情五月天小说视频| 丁香五月天婷婷中文字幕| 色播五月婷婷| 三十熟女| 黄色99热| 一区色色色色网| 色视五月天婷婷| 亚洲va在线∨a天堂va欧美va| 色情五月综合婷婷| 中国女人做爰A片| 奇米色大香蕉| 综合色五月| 五月激情久久综合| 欧美黄色韩日网| 99精品视频网站| 丁香五月影| 天天插天天射天天干| 狠狠干五月天婷婷网| 五月色婷婷激情| 婷婷久久精品| 激情综合五月婷婷| 亚洲中文AV网站| 99啪啪视频| 六月婷婷网站| 国产激情在线| 欧美日韩成人在线| 91seAV| 日本九九九九| 久久99热精品a片在线观看| 婷婷五月色惰| 日本天天色| 日韩 mm 不卡| 色情性爱视频网址| va亚洲中文在线| 午夜色婷婷| 秋霞少妇AV网站| www久久艹| 激情图片婷婷| 六月激情综合| 九九热AV| 99色在线视频观看| 久久五月婷婷电影| 五月天婷婷丁香社区| 五月婷婷AV| 丁香六月婷婷缴情欧美| 丁香五月色网| 五月综合777| 1区2区视频| 免费无码毛片一区二区A片 | 色五月婷婷很很操| 99热综合网| 另类国产欧美视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 综合久久8| 99色这里| 成人开心五月天| 99热只有| 丁香花婷婷五月天| 人妻性爱| 播五月,色五月,开心五月播放器| 九九热精品| 九九99在线| 婷婷五月天无码熟女| 人人草人人舔| 亚洲乱码日产精品BD| 91肏| 天天干天天操天天爱| 91久热| av人人操| 五月婷婷内射网| 久热免费视频| 99色爱| 9l视频自拍九色9l视频自拍九色9l社区| 亚洲综合婷婷五月天| 激情综合五月丁香| wuyuedingxiang| 色噜噜狠狠色综合伊人| 可以看的av网站| 99色综合| 非洲一级AV| 国产精品蜜臀99| 亚州色色色| 五月婷婷国产| 色欲丁香久久| 婷婷伊人久久| 99操不停| 99这里精品| 91九色在线视频| 九九色婷| 激情五月综合色| 天天干天天干天天干天天干天天干| 欧美性生交XXXXX无码小说| 狠狠第四色| 五月婷婷网五月在线| 五月天激情视频| 91pornav在线| 甈你aaaaa| 操一操干一干| 国产AV不卡福利| 日日夜夜噜噜爽爽| 久久a热| 性爱人人网| 99精品无码网站| 六月婷婷综合| 日本女人久久| 99热99这里只有精品| 99热最新| 大香蕉婷婷五月| 色五月第四色| 被强行糟蹋的女人A片| 亚洲av免费在线| 欧美黄色AA片哗啦啦啦| 亚洲亚洲人成综合网络| 狠狠色综合网| 久久丁香五月| 日韩二区搞逼插逼毛片| 天天插天天狠| 国产精品视频免费看| 婷婷婷五月香蕉| 色五月婷婷视频| 色五月激情网|