欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

惡意網(wǎng)站檢測(cè)模型選型指南:SVM、隨機(jī)森林與DNN實(shí)戰(zhàn)對(duì)比

惡意網(wǎng)站檢測(cè)模型選型指南:SVM、隨機(jī)森林與DNN實(shí)戰(zhàn)對(duì)比 簡(jiǎn)介這是一套面向高校計(jì)算機(jī)、人工智能與電子信息等專業(yè)學(xué)生的機(jī)器學(xué)習(xí)實(shí)踐資源圍繞惡意網(wǎng)站檢測(cè)這一網(wǎng)絡(luò)安全場(chǎng)景提供從特征提取到多算法驗(yàn)證的完整實(shí)現(xiàn)方案。壓縮包共11個(gè)文件約3.32MB以Python腳本為主體輔以數(shù)據(jù)壓縮包、備份文件與說(shuō)明文檔覆蓋特征向量提取、分布可視化、模型訓(xùn)練與分類決策等環(huán)節(jié)。系統(tǒng)整合支持向量機(jī)、隨機(jī)森林與深度神經(jīng)網(wǎng)絡(luò)三類算法分別通過(guò)超平面構(gòu)建、多決策樹(shù)集成與多層感知機(jī)進(jìn)行非線性特征學(xué)習(xí)并經(jīng)過(guò)交叉驗(yàn)證分類準(zhǔn)確率均達(dá)95%以上。數(shù)據(jù)集中已整合特征對(duì)照表便于模型訓(xùn)練與標(biāo)注。已有50人學(xué)習(xí)適合作為課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)或算法對(duì)比實(shí)驗(yàn)的參考讀者可據(jù)此理解特征工程流程、復(fù)現(xiàn)三種模型的訓(xùn)練與評(píng)估并在此基礎(chǔ)上調(diào)整網(wǎng)絡(luò)參數(shù)或引入增量學(xué)習(xí)機(jī)制進(jìn)行擴(kuò)展優(yōu)化。1. 惡意網(wǎng)站檢測(cè)的三駕馬車(chē)SVM、隨機(jī)森林與DNN到底怎么選做惡意網(wǎng)站檢測(cè)的工程師大概率都經(jīng)歷過(guò)這樣的場(chǎng)景老板丟過(guò)來(lái)一份幾十萬(wàn)條的URL數(shù)據(jù)集說(shuō)“做個(gè)分類模型把釣魚(yú)、掛馬、詐騙的站點(diǎn)挑出來(lái)”然后你打開(kāi)Jupyter Notebook面對(duì)SVM、隨機(jī)森林、DNN三個(gè)選項(xiàng)一時(shí)不知道從哪個(gè)下手。這不是一個(gè)“哪個(gè)模型最強(qiáng)”的問(wèn)題而是一個(gè)“哪個(gè)模型適合當(dāng)前數(shù)據(jù)形態(tài)和部署條件”的問(wèn)題。SVM擅長(zhǎng)高維稀疏特征下找最大間隔超平面隨機(jī)森林在特征工程做得粗糙時(shí)依然穩(wěn)如老狗DNN則能在海量URL字符序列上自動(dòng)提取n-gram級(jí)別的隱含模式。三者的關(guān)系不是替代而是互補(bǔ)——很多線上系統(tǒng)最終跑的是集成投票。這篇文章面向有一定機(jī)器學(xué)習(xí)基礎(chǔ)、想把惡意網(wǎng)站檢測(cè)從demo推到可復(fù)現(xiàn)實(shí)驗(yàn)的從業(yè)者從特征構(gòu)造講到模型訓(xùn)練、調(diào)參、避坑每一步都給出能直接抄的代碼和參數(shù)解釋。如果你正在糾結(jié)“隨機(jī)森林需要跑多長(zhǎng)時(shí)間”“DNN到底要不要上GPU”這類問(wèn)題下面的內(nèi)容應(yīng)該能幫你省下不少試錯(cuò)時(shí)間。2. 特征工程先立住URL里到底能榨出哪些信號(hào)2.1 從原始URL到數(shù)值向量的四條路徑惡意網(wǎng)站檢測(cè)的第一道坎不是模型是特征。你拿到的原始數(shù)據(jù)通常就是一堆字符串URL偶爾附帶頁(yè)面標(biāo)題或WHOIS信息。直接丟給模型是不行的必須先把URL拆成有判別力的數(shù)值特征。常見(jiàn)做法是走四條路徑詞法特征、主機(jī)特征、路徑特征、外部特征。詞法特征看的是URL字符串本身的統(tǒng)計(jì)規(guī)律。比如URL總長(zhǎng)度、域名長(zhǎng)度、路徑深度、是否包含IP地址、特殊字符、-、_、、%的出現(xiàn)次數(shù)、數(shù)字與字母的比例、是否使用短鏈接服務(wù)。釣魚(yú)網(wǎng)站往往URL偏長(zhǎng)、特殊字符多、域名里帶很多連字符。這些特征用幾行Python就能算出來(lái)import re from urllib.parse import urlparse def lexical_features(url): features {} features[url_length] len(url) parsed urlparse(url) hostname parsed.hostname or features[hostname_length] len(hostname) features[path_length] len(parsed.path) features[num_dots] url.count(.) features[num_hyphens] url.count(-) features[num_at] url.count() features[num_digits] sum(c.isdigit() for c in url) features[digit_ratio] features[num_digits] / max(len(url), 1) # 是否直接使用IP作為主機(jī) ip_pattern re.compile(r^\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$) features[is_ip_host] 1 if ip_pattern.match(hostname) else 0 # 是否包含可疑頂級(jí)域名 suspicious_tlds [.tk, .ml, .ga, .cf, .gq] features[suspicious_tld] 1 if any(hostname.endswith(t) for t in suspicious_tlds) else 0 return features這段代碼的邏輯很直白把URL當(dāng)作純文本統(tǒng)計(jì)那些在惡意樣本中高頻出現(xiàn)的模式。digit_ratio這個(gè)特征值得多說(shuō)一句——正常電商網(wǎng)站的URL里數(shù)字比例通常低于0.15而很多釣魚(yú)URL為了偽造參數(shù)會(huì)塞大量數(shù)字比例經(jīng)常超過(guò)0.3。is_ip_host直接命中一類低級(jí)但依然常見(jiàn)的攻擊手法。suspicious_tld列表可以根據(jù)你實(shí)際拿到的黑名單動(dòng)態(tài)調(diào)整不要死守這幾個(gè)。主機(jī)特征需要額外查詢比如域名注冊(cè)時(shí)長(zhǎng)、DNS記錄數(shù)量、是否有MX記錄、SSL證書(shū)頒發(fā)者。這些特征判別力極強(qiáng)但獲取成本高適合離線批量跑。路徑特征看的是URL中path部分的規(guī)律比如是否包含“l(fā)ogin”“verify”“account”“secure”等敏感詞路徑層級(jí)是否超過(guò)5層。外部特征包括Alexa排名、Google索引量、頁(yè)面外鏈數(shù)量這些需要調(diào)用第三方接口在實(shí)驗(yàn)階段可以先用公開(kāi)數(shù)據(jù)集里附帶的字段。2.2 特征歸一化與維度選擇別讓量綱毀了SVM特征算出來(lái)之后直接喂給SVM會(huì)翻車(chē)。SVM基于距離計(jì)算如果url_length的取值范圍是0到2000而is_ip_host只有0和1那么長(zhǎng)度特征會(huì)完全主導(dǎo)核函數(shù)計(jì)算其他特征相當(dāng)于不存在。所以標(biāo)準(zhǔn)化是必須的from sklearn.preprocessing import StandardScaler import numpy as np # 假設(shè)X是n_samples x n_features的矩陣 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 對(duì)于隨機(jī)森林其實(shí)不需要標(biāo)準(zhǔn)化但統(tǒng)一處理沒(méi)壞處 # 對(duì)于DNN標(biāo)準(zhǔn)化后還需要檢查是否有極端離群值 print(f標(biāo)準(zhǔn)化后均值: {np.mean(X_scaled, axis0)[:5]}) print(f標(biāo)準(zhǔn)化后標(biāo)準(zhǔn)差: {np.std(X_scaled, axis0)[:5]})StandardScaler做的是z-score標(biāo)準(zhǔn)化把每個(gè)特征變成均值0、方差1。注意fit_transform只能在訓(xùn)練集上調(diào)用驗(yàn)證集和測(cè)試集必須用訓(xùn)練集的均值和方差做transform否則就是數(shù)據(jù)泄露。這個(gè)坑我見(jiàn)過(guò)太多次尤其是用交叉驗(yàn)證的時(shí)候很多人圖省事在全部數(shù)據(jù)上做標(biāo)準(zhǔn)化結(jié)果交叉驗(yàn)證分?jǐn)?shù)虛高上線后直接崩。維度選擇方面如果你初始構(gòu)造了40個(gè)特征建議先用隨機(jī)森林跑一遍特征重要性排序把重要性低于0.01的特征砍掉。SVM對(duì)無(wú)關(guān)特征很敏感維度越高過(guò)擬合風(fēng)險(xiǎn)越大。隨機(jī)森林本身對(duì)無(wú)關(guān)特征有一定容忍度但砍掉之后訓(xùn)練速度會(huì)明顯提升。DNN則可以通過(guò)Dropout和L2正則來(lái)抑制無(wú)關(guān)特征的影響但輸入維度太高時(shí)第一層全連接層的參數(shù)量會(huì)爆炸還是提前篩一遍更劃算。提示特征重要性排序用RandomForestClassifier的feature_importances_屬性即可但要注意如果特征之間存在強(qiáng)共線性重要性會(huì)被分散這時(shí)候最好結(jié)合業(yè)務(wù)判斷不要機(jī)械地按閾值砍。3. 三個(gè)模型逐個(gè)跑通從sklearn到PyTorch的最小實(shí)現(xiàn)3.1 SVM核函數(shù)選擇與C值、gamma的網(wǎng)格搜索SVM在惡意網(wǎng)站檢測(cè)里的定位是“小樣本高維特征的精細(xì)分類器”。如果你的標(biāo)注數(shù)據(jù)只有幾千條但特征維度有幾十維SVM往往比隨機(jī)森林表現(xiàn)更好因?yàn)樗业氖亲畲箝g隔超平面對(duì)過(guò)擬合有天然抑制。但SVM的調(diào)參比隨機(jī)森林敏感得多尤其是RBF核的C和gamma。from sklearn.svm import SVC from sklearn.model_selection import GridSearchCV from sklearn.metrics import classification_report # 假設(shè)X_train, y_train已經(jīng)準(zhǔn)備好 param_grid { C: [0.1, 1, 10, 100], gamma: [scale, 0.01, 0.1, 1], kernel: [rbf] } svm SVC(class_weightbalanced, probabilityTrue) grid GridSearchCV(svm, param_grid, cv5, scoringf1, n_jobs-1, verbose1) grid.fit(X_train, y_train) print(f最佳參數(shù): {grid.best_params_}) print(f最佳F1: {grid.best_score_:.4f}) # 用最佳模型在測(cè)試集上評(píng)估 best_svm grid.best_estimator_ y_pred best_svm.predict(X_test) print(classification_report(y_test, y_pred))C控制懲罰系數(shù)C越大對(duì)誤分類的容忍度越低容易過(guò)擬合C越小則允許更多誤分類可能欠擬合。gamma控制RBF核的“影響半徑”gamma越大單個(gè)樣本的影響范圍越小決策邊界越曲折。class_weightbalanced在惡意樣本遠(yuǎn)少于正常樣本時(shí)非常關(guān)鍵它會(huì)自動(dòng)按類別頻率反比調(diào)整權(quán)重。probabilityTrue會(huì)啟用Platt縮放來(lái)輸出概率但會(huì)顯著增加訓(xùn)練時(shí)間如果只需要類別標(biāo)簽可以關(guān)掉。網(wǎng)格搜索的范圍不要一上來(lái)就鋪太寬。我一般先用C[1, 10]、gamma[scale, 0.1]跑一輪看最佳值落在哪個(gè)區(qū)間再在附近細(xì)化。n_jobs-1用滿所有CPU核心但注意如果數(shù)據(jù)量超過(guò)5萬(wàn)條SVM的訓(xùn)練時(shí)間會(huì)急劇上升這時(shí)候要么降采樣要么換線性核。3.2 隨機(jī)森林n_estimators到底設(shè)多少跑多長(zhǎng)時(shí)間算正常隨機(jī)森林是三個(gè)模型里最省心的但“省心”不等于“隨便設(shè)”。最常被問(wèn)到的兩個(gè)問(wèn)題是n_estimators設(shè)多少合適訓(xùn)練要跑多久from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import cross_val_score import time # 先跑一個(gè)基線看看不同樹(shù)數(shù)量的效果 for n in [50, 100, 200, 500]: rf RandomForestClassifier( n_estimatorsn, max_depthNone, min_samples_split5, min_samples_leaf2, class_weightbalanced, n_jobs-1, random_state42 ) start time.time() scores cross_val_score(rf, X_train, y_train, cv5, scoringf1) elapsed time.time() - start print(fn_estimators{n}, F1{scores.mean():.4f}, 耗時(shí){elapsed:.1f}秒)n_estimators是樹(shù)的數(shù)量。理論上越多越好但收益遞減。從50到100通常有肉眼可見(jiàn)的提升從100到200提升就很小了200到500基本持平。我的經(jīng)驗(yàn)是如果特征維度在20到50之間數(shù)據(jù)量在10萬(wàn)條以內(nèi)n_estimators200是一個(gè)性價(jià)比很高的選擇訓(xùn)練時(shí)間在普通筆記本上大約30到60秒。如果數(shù)據(jù)量到百萬(wàn)級(jí)n_estimators100加上max_depth20左右的限制能把時(shí)間控制在幾分鐘內(nèi)。min_samples_split和min_samples_leaf是控制樹(shù)生長(zhǎng)深度的關(guān)鍵。惡意網(wǎng)站檢測(cè)中很多特征存在噪聲如果讓樹(shù)完全生長(zhǎng)每片葉子可能只對(duì)應(yīng)一兩個(gè)樣本過(guò)擬合嚴(yán)重。min_samples_split5表示一個(gè)節(jié)點(diǎn)至少要有5個(gè)樣本才繼續(xù)分裂min_samples_leaf2表示葉子節(jié)點(diǎn)至少保留2個(gè)樣本。這兩個(gè)值可以根據(jù)數(shù)據(jù)量調(diào)整數(shù)據(jù)量越大可以適當(dāng)放寬。class_weightbalanced同樣重要。惡意網(wǎng)站檢測(cè)的數(shù)據(jù)集通常正負(fù)樣本比例在1:10到1:100之間不加權(quán)的話模型會(huì)傾向于預(yù)測(cè)多數(shù)類召回率慘不忍睹。3.3 DNN用PyTorch搭一個(gè)能跑URL字符序列的分類器DNN在惡意網(wǎng)站檢測(cè)里的優(yōu)勢(shì)是端到端。你可以跳過(guò)手工特征工程直接把URL字符序列喂進(jìn)去讓網(wǎng)絡(luò)自己學(xué)。但代價(jià)是需要更多數(shù)據(jù)、更長(zhǎng)訓(xùn)練時(shí)間以及一塊還過(guò)得去的GPU。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset # 字符級(jí)編碼把URL映射為整數(shù)序列 class URLCharEncoder: def __init__(self, max_len200): self.max_len max_len # 常見(jiàn)URL字符集 self.chars abcdefghijklmnopqrstuvwxyz0123456789-._~:/?#[]!$()*,;% self.char_to_idx {c: i1 for i, c in enumerate(self.chars)} # 0留給padding def encode(self, url): url url.lower()[:self.max_len] seq [self.char_to_idx.get(c, 0) for c in url] # padding到固定長(zhǎng)度 seq seq [0] * (self.max_len - len(seq)) return seq class MaliciousURLNet(nn.Module): def __init__(self, vocab_size80, embed_dim32, hidden_dim128, num_classes2): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.conv1 nn.Conv1d(embed_dim, 64, kernel_size3, padding1) self.conv2 nn.Conv1d(64, 128, kernel_size3, padding1) self.pool nn.AdaptiveMaxPool1d(1) self.fc1 nn.Linear(128, hidden_dim) self.dropout nn.Dropout(0.3) self.fc2 nn.Linear(hidden_dim, num_classes) self.relu nn.ReLU() def forward(self, x): x self.embedding(x) # (batch, seq_len, embed_dim) x x.permute(0, 2, 1) # (batch, embed_dim, seq_len) x self.relu(self.conv1(x)) x self.relu(self.conv2(x)) x self.pool(x).squeeze(-1) # (batch, 128) x self.dropout(self.relu(self.fc1(x))) x self.fc2(x) return x # 訓(xùn)練循環(huán) def train_model(model, train_loader, val_loader, epochs10, lr1e-3): device torch.device(cuda if torch.cuda.is_available() else cpu) model model.to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lrlr, weight_decay1e-4) for epoch in range(epochs): model.train() total_loss 0 for batch_x, batch_y in train_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) optimizer.zero_grad() outputs model(batch_x) loss criterion(outputs, batch_y) loss.backward() optimizer.step() total_loss loss.item() # 驗(yàn)證 model.eval() correct 0 total 0 with torch.no_grad(): for batch_x, batch_y in val_loader: batch_x, batch_y batch_x.to(device), batch_y.to(device) outputs model(batch_x) _, predicted torch.max(outputs, 1) total batch_y.size(0) correct (predicted batch_y).sum().item() val_acc correct / total print(fEpoch {epoch1}, Loss: {total_loss/len(train_loader):.4f}, Val Acc: {val_acc:.4f}) return model這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是字符級(jí)CNN不是純DNN但在惡意網(wǎng)站檢測(cè)里比全連接DNN更常用因?yàn)榫矸e核能捕捉URL中的局部模式比如“l(fā)ogin”這樣的敏感詞。embed_dim32表示每個(gè)字符映射為32維向量max_len200截?cái)喑^(guò)200字符的URL。AdaptiveMaxPool1d(1)把卷積輸出的每個(gè)通道壓縮為一個(gè)最大值這樣不管URL多長(zhǎng)輸出維度固定。訓(xùn)練時(shí)weight_decay1e-4是L2正則防止過(guò)擬合。Dropout(0.3)在訓(xùn)練時(shí)隨機(jī)丟棄30%的神經(jīng)元。如果驗(yàn)證集準(zhǔn)確率在幾個(gè)epoch后不再上升可以降低學(xué)習(xí)率或者提前停止。GPU顯存不夠的話把batch_size降到32或16或者把hidden_dim從128降到64。注意字符級(jí)編碼的vocab_size要略大于實(shí)際字符集大小因?yàn)閜adding占用了索引0。如果URL里出現(xiàn)了字符集之外的字符比如中文域名會(huì)被映射為0和padding混淆。解決辦法是單獨(dú)留一個(gè)UNK索引或者先把URL做百分號(hào)編碼。4. 模型對(duì)比與集成什么時(shí)候該把三個(gè)模型串起來(lái)用4.1 用交叉驗(yàn)證做公平對(duì)比準(zhǔn)確率之外還要看什么三個(gè)模型各自跑通之后下一步是公平對(duì)比。不要只看準(zhǔn)確率惡意網(wǎng)站檢測(cè)中正負(fù)樣本極不平衡準(zhǔn)確率會(huì)被多數(shù)類主導(dǎo)。必須同時(shí)看精確率、召回率、F1和AUC。from sklearn.metrics import precision_score, recall_score, f1_score, roc_auc_score def evaluate_model(model, X_test, y_test, model_name): y_pred model.predict(X_test) # 對(duì)于SVM和隨機(jī)森林用predict_proba獲取正類概率 if hasattr(model, predict_proba): y_prob model.predict_proba(X_test)[:, 1] else: y_prob y_pred metrics { 模型: model_name, 精確率: precision_score(y_test, y_pred), 召回率: recall_score(y_test, y_pred), F1: f1_score(y_test, y_pred), AUC: roc_auc_score(y_test, y_prob) } return metrics # 假設(shè)三個(gè)模型已經(jīng)訓(xùn)練好 results [] results.append(evaluate_model(best_svm, X_test, y_test, SVM)) results.append(evaluate_model(best_rf, X_test, y_test, 隨機(jī)森林)) # DNN需要單獨(dú)處理因?yàn)檩斎敫袷讲煌?# results.append(evaluate_model(dnn_model, X_test_seq, y_test, DNN)) import pandas as pd df pd.DataFrame(results) print(df.to_string(indexFalse))精確率和召回率的取舍取決于業(yè)務(wù)場(chǎng)景。如果系統(tǒng)是給安全運(yùn)營(yíng)團(tuán)隊(duì)做告警精確率更重要因?yàn)檎`報(bào)太多會(huì)導(dǎo)致告警疲勞如果是做自動(dòng)攔截召回率更重要漏掉一個(gè)惡意網(wǎng)站可能造成實(shí)際損失。F1是兩者的調(diào)和平均適合做綜合對(duì)比。AUC衡量的是模型對(duì)正負(fù)樣本的排序能力不受閾值影響在對(duì)比不同模型時(shí)比準(zhǔn)確率可靠得多。我一般會(huì)畫(huà)一張P-R曲線直觀看到不同閾值下精確率和召回率的權(quán)衡。如果兩個(gè)模型的AUC接近但一個(gè)在低閾值下召回率更高另一個(gè)在高閾值下精確率更高那就看業(yè)務(wù)更容忍哪種錯(cuò)誤。4.2 軟投票集成把三個(gè)模型的概率平均一下能漲多少如果三個(gè)模型的表現(xiàn)各有千秋比如SVM在精確率上領(lǐng)先隨機(jī)森林在召回率上更好DNN在AUC上最高那么集成是一個(gè)自然的選擇。最簡(jiǎn)單的是軟投票把三個(gè)模型輸出的正類概率取平均然后按0.5閾值分類。import numpy as np def soft_voting(svm_model, rf_model, dnn_model, X_tabular, X_seq): # 表格特征模型 svm_prob svm_model.predict_proba(X_tabular)[:, 1] rf_prob rf_model.predict_proba(X_tabular)[:, 1] # DNN模型 dnn_model.eval() with torch.no_grad(): X_tensor torch.LongTensor(X_seq) dnn_output dnn_model(X_tensor) dnn_prob torch.softmax(dnn_output, dim1)[:, 1].numpy() # 平均概率 avg_prob (svm_prob rf_prob dnn_prob) / 3 return (avg_prob 0.5).astype(int), avg_prob y_pred_ensemble, y_prob_ensemble soft_voting(best_svm, best_rf, dnn_model, X_test, X_test_seq) print(f集成后F1: {f1_score(y_test, y_pred_ensemble):.4f}) print(f集成后AUC: {roc_auc_score(y_test, y_prob_ensemble):.4f})軟投票的效果取決于模型之間的多樣性。如果三個(gè)模型都在同一個(gè)特征空間上訓(xùn)練而且都犯了類似的錯(cuò)誤集成收益很小。SVM和隨機(jī)森林用的是手工特征DNN用的是字符序列兩者的錯(cuò)誤模式差異較大集成通常能漲1到3個(gè)百分點(diǎn)的F1。但如果DNN的AUC比另外兩個(gè)低很多比如低5個(gè)點(diǎn)以上那它可能會(huì)拖后腿這時(shí)候可以考慮加權(quán)平均給DNN更低的權(quán)重。還有一種做法是堆疊stacking把三個(gè)模型的輸出概率作為新特征再訓(xùn)練一個(gè)邏輯回歸做元學(xué)習(xí)器。堆疊理論上比簡(jiǎn)單平均更強(qiáng)但需要額外的交叉驗(yàn)證來(lái)生成元特征實(shí)現(xiàn)復(fù)雜度高不少。如果團(tuán)隊(duì)沒(méi)有成熟的MLOps流程軟投票的性價(jià)比更高。5. 避坑與排查惡意網(wǎng)站檢測(cè)里最容易翻車(chē)的五個(gè)地方5.1 數(shù)據(jù)泄露為什么你的交叉驗(yàn)證分?jǐn)?shù)虛高現(xiàn)象交叉驗(yàn)證F1達(dá)到0.95上線后實(shí)際檢測(cè)率不到0.7。原因最常見(jiàn)的是在全部數(shù)據(jù)上做了標(biāo)準(zhǔn)化或特征選擇然后才劃分訓(xùn)練集和測(cè)試集。StandardScaler的均值和方差包含了測(cè)試集信息SelectKBest的特征選擇也用到了測(cè)試集的標(biāo)簽分布。另一個(gè)隱蔽的泄露是時(shí)間泄露如果用隨機(jī)劃分訓(xùn)練集里可能包含未來(lái)才出現(xiàn)的惡意網(wǎng)站樣本而測(cè)試集里是更早的樣本模型學(xué)到了“未來(lái)模式”。解決用Pipeline把預(yù)處理和模型串起來(lái)在交叉驗(yàn)證內(nèi)部做fit。時(shí)間相關(guān)的數(shù)據(jù)必須按時(shí)間切分比如用前6個(gè)月的數(shù)據(jù)訓(xùn)練后1個(gè)月的數(shù)據(jù)測(cè)試。from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC pipeline Pipeline([ (scaler, StandardScaler()), (svm, SVC(C10, gammascale, class_weightbalanced)) ]) # 這樣在cross_val_score內(nèi)部scaler只在訓(xùn)練折上fit scores cross_val_score(pipeline, X, y, cv5, scoringf1)5.2 類別不平衡召回率上不去模型只會(huì)說(shuō)“正?!爆F(xiàn)象測(cè)試集上正常網(wǎng)站的召回率接近100%惡意網(wǎng)站召回率只有30%。原因惡意樣本太少模型學(xué)會(huì)了“全部預(yù)測(cè)為正?!本湍苣玫胶芨叩臏?zhǔn)確率。class_weightbalanced能緩解但如果比例超過(guò)1:100效果有限。解決除了類別權(quán)重還可以用SMOTE做過(guò)采樣或者用RandomUnderSampler做欠采樣。我一般先試類別權(quán)重不行再上SMOTE。注意SMOTE只能在訓(xùn)練集上做而且對(duì)高維稀疏特征效果一般對(duì)表格特征比較適用。from imblearn.over_sampling import SMOTE from imblearn.pipeline import Pipeline as ImbPipeline pipeline ImbPipeline([ (scaler, StandardScaler()), (smote, SMOTE(random_state42)), (rf, RandomForestClassifier(n_estimators200, class_weightbalanced)) ])5.3 特征穿越URL里的數(shù)字特征在訓(xùn)練集和測(cè)試集分布不一致現(xiàn)象url_length在訓(xùn)練集上惡意樣本平均長(zhǎng)度是80測(cè)試集上變成150模型性能驟降。原因攻擊者會(huì)動(dòng)態(tài)調(diào)整URL長(zhǎng)度來(lái)繞過(guò)檢測(cè)。如果你的訓(xùn)練集是半年前收集的測(cè)試集是最近的特征分布可能已經(jīng)漂移。解決定期用最新數(shù)據(jù)重新訓(xùn)練或者構(gòu)造對(duì)分布漂移不敏感的特征比如用分位數(shù)而不是原始值。另外監(jiān)控線上特征的分布變化一旦發(fā)現(xiàn)某個(gè)特征的均值偏移超過(guò)閾值就觸發(fā)告警。5.4 DNN過(guò)擬合訓(xùn)練集準(zhǔn)確率99%驗(yàn)證集只有70%現(xiàn)象DNN在訓(xùn)練集上很快收斂到接近100%準(zhǔn)確率但驗(yàn)證集準(zhǔn)確率停滯在70%左右且隨epoch增加不升反降。原因URL字符序列的參數(shù)量很大如果訓(xùn)練數(shù)據(jù)只有幾萬(wàn)條網(wǎng)絡(luò)很容易記住訓(xùn)練樣本。Dropout和weight_decay沒(méi)設(shè)對(duì)或者embed_dim和hidden_dim太大。解決先降低模型容量把embed_dim從32降到16hidden_dim從128降到64。增加Dropout到0.5。如果還不行用早停early stopping驗(yàn)證集損失連續(xù)3個(gè)epoch不下降就停止訓(xùn)練。# 早停實(shí)現(xiàn) best_val_loss float(inf) patience 3 counter 0 for epoch in range(epochs): # ... 訓(xùn)練代碼 ... val_loss validate(model, val_loader) if val_loss best_val_loss: best_val_loss val_loss counter 0 torch.save(model.state_dict(), best_model.pt) else: counter 1 if counter patience: print(f早停于epoch {epoch1}) break5.5 線上推理延遲隨機(jī)森林模型文件幾百M(fèi)B加載慢現(xiàn)象訓(xùn)練好的隨機(jī)森林有500棵樹(shù)模型文件300MB線上服務(wù)啟動(dòng)要十幾秒單次推理延遲超過(guò)100ms。原因n_estimators設(shè)得太大樹(shù)沒(méi)有深度限制每棵樹(shù)都完全生長(zhǎng)。解決把n_estimators降到100到200設(shè)置max_depth15到20min_samples_leaf5。這樣模型文件能壓到幾十MB推理延遲降到10ms以內(nèi)。如果性能下降明顯可以用joblib的壓縮參數(shù)保存模型或者用ONNX Runtime做推理加速。import joblib # 保存時(shí)壓縮 joblib.dump(rf_model, rf_model.pkl, compress3) # 加載 rf_model joblib.load(rf_model.pkl)6. 進(jìn)階技巧用特征重要性反哺規(guī)則引擎讓模型和規(guī)則互相驗(yàn)證模型跑通之后別急著上線。我習(xí)慣做一件事把隨機(jī)森林的特征重要性排序打印出來(lái)和團(tuán)隊(duì)里安全分析師的經(jīng)驗(yàn)規(guī)則做對(duì)比。如果模型認(rèn)為最重要的特征和分析師直覺(jué)一致說(shuō)明模型學(xué)到了真實(shí)信號(hào)如果不一致要么是模型發(fā)現(xiàn)了新模式要么是數(shù)據(jù)有問(wèn)題。import pandas as pd import matplotlib.pyplot as plt rf RandomForestClassifier(n_estimators200, class_weightbalanced, random_state42) rf.fit(X_train, y_train) feature_names [url_length, hostname_length, path_length, num_dots, num_hyphens, num_at, num_digits, digit_ratio, is_ip_host, suspicious_tld] importances pd.Series(rf.feature_importances_, indexfeature_names) importances.sort_values(ascendingTrue).plot(kindbarh, figsize(8, 6)) plt.xlabel(重要性) plt.tight_layout() plt.savefig(feature_importance.png, dpi150)這張圖能告訴你很多事。如果is_ip_host和suspicious_tld排在前列說(shuō)明數(shù)據(jù)里的低級(jí)攻擊樣本不少規(guī)則引擎可以直接覆蓋這部分模型專注于更復(fù)雜的樣本。如果digit_ratio重要性很高但安全分析師覺(jué)得這個(gè)特征不可解釋那就需要檢查數(shù)據(jù)里是不是混入了大量帶參數(shù)的正常URL被誤標(biāo)為惡意。另一個(gè)技巧是用SHAP值做單樣本解釋。當(dāng)模型判定某個(gè)URL為惡意時(shí)SHAP能告訴你每個(gè)特征貢獻(xiàn)了多少分。這在給安全運(yùn)營(yíng)團(tuán)隊(duì)做告警時(shí)特別有用——他們需要知道“為什么這個(gè)URL被攔了”而不是只看到一個(gè)冷冰冰的分?jǐn)?shù)。import shap explainer shap.TreeExplainer(rf) shap_values explainer.shap_values(X_test[:100]) # 對(duì)第一個(gè)樣本查看各特征的貢獻(xiàn) shap.initjs() shap.force_plot(explainer.expected_value[1], shap_values[1][0], X_test[0], feature_namesfeature_names)SHAP的計(jì)算開(kāi)銷比特征重要性大不適合全量跑但可以對(duì)高風(fēng)險(xiǎn)樣本做抽樣解釋。我一般會(huì)在告警郵件里附上SHAP圖運(yùn)營(yíng)團(tuán)隊(duì)反饋說(shuō)比單純的置信度有用得多。最后說(shuō)一個(gè)我踩過(guò)的坑不要用測(cè)試集調(diào)參。哪怕只是“看一眼”測(cè)試集上的表現(xiàn)再?zèng)Q定用哪個(gè)模型也是一種信息泄露。正確的做法是訓(xùn)練集調(diào)參、驗(yàn)證集選模型、測(cè)試集只跑一次。如果測(cè)試集結(jié)果不理想回到訓(xùn)練集重新調(diào)不要反復(fù)在測(cè)試集上試。這個(gè)習(xí)慣我堅(jiān)持了三年雖然有時(shí)候會(huì)覺(jué)得麻煩但上線后的表現(xiàn)和測(cè)試集分?jǐn)?shù)基本一致省去了很多“線上翻車(chē)、回頭查數(shù)據(jù)泄露”的時(shí)間。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.五月天性.com| 老师的粉嫩小又紧水又多A片视频| 九九激情综合| 九 九九九AV| Av大香蕉| 天天做天天爽| 亚洲 五月 婷婷 成人| 婷婷玖玖五月天| 五月丁香啪啪啪| 综合久久六月| 七月丁香婷婷 色色| 99精品久久久| 激情婷婷护士激情| www.99热国产| 99九九精品| 激情五月婷婷六月丁香| 婷婷五月天人妻| 色婷婷偷拍| 大地资源色婷婷视频在线 | 五月香婷婷| 99亚洲色色| 99热最新| 丁香五月色色| 99男人的天堂| 狠狠色丁香久久婷婷综合五月| 婷婷五月天激情网| 激情五月天影院| 九九热视频这里只有精品| 亚洲欧洲99| 丁香青青五月天| 香蕉AV777XXX色综合一区 | 五月综合婷婷五月| 啪啪六月婷婷| 五月婷婷综合精品| 狠狠干思思热| 夜夜操天天爽| 激情 婷婷 插| 天天色天天舔天天爱天天爽| 影音先锋 91工厂| 99九九综合久久九九| 婷婷狠狠操| 亚洲狠狠狠色婷婷综合激情久久久| 超碰不卡在线| 婷婷射丁香| 久久久人人操A V| 在线看的免费网站| 五月婷婷爽爽爽| 99精品无码| 国产婷婷综合在线免费视频| 综合色影| 久久免费操| 婷婷另类小说| 色婷操逼| 人妻久久久久久久 | 久久ww| 99热国产| 欧美大奶熟女噜噜噜噜| 婷婷在线操| 只有精品视频在线观看| 婷婷丁香色情| 噜噜干日本| 婷婷网影院| 婷婷丁香黄色| 色噜噜狠狠色综合成人网| 欧美激情综合色综合啪啪五月| 天天日夜夜操五月| 婷婷五月天啪啪| 中文字幕 久久9999| 九九在线免费观看| av性爱网站| WWW.99热| 大香蕉五月婷婷| 97碰久久| 国产欧美熟妇另类久久久| 中文字幕永久在线| 这里只有精品96| 热91久| 五月天婷婷婷| 五月婷婷综合影院| 9.1综合网| 国产免费一区二区在线A片视频| 婷婷五月丁香啪啪| 一个色的综合| 色五月婷婷激情| 99热官网精品在线| 五月色综合| 亚韩在线视频| 日本熟妇乱妇熟色A片蜜桃| 亚洲精品无码一区二区| 激情国产综合| 久月丁香爱婷婷综合| 99热在线99| 婷婷区日本| 伊人午夜综合色啪| 人人97碰| 丁香六月天婷婷色| 91干在线| 丁香五月婷婷激情123| 婷婷五月免费在线| 日韩在线9| 久草热在线视频| 九月色婷婷| 婷婷色色综合| 久草视频一,二三四| 大香蕉久艹| 天天色综合色| 91久久精品无码一区二区三区| 国产午夜一区二区三区| 色综合9| www.五月婷婷| 久草热视频在线观看| 国产性爱一级| 超碰97在线观看免费| 大香蕉伊在| 日韩啪啪视频| 丁香五月六月婷婷怡红院| 夜夜躁婷婷AV| 天天狠狠综合精区| 五月婷成人| 在线A色| www.99久久久| 超碰人人妻| 日韩啪啪视频| 99热这里| 精品国婬伦V无码久久久| 成人网站av免费网站推荐| 成人网址在线观看| 可以看的av网站| 婷婷五月天网| 亚洲综合成人网| 夜夜操激情| 亚洲精品亚洲人成人网| 97自拍99| 天天插天天插天天插| 亚洲黄色精品| 五月丁了香蕉综合| 综合五月天婷婷色| 国产全是老熟女太爽了| 婷婷操逼| 久久婷婷成人| 日本黄色精品| 免费五月婷婷网| 色婷五月天| 久久99精品久久久| 久久久久人妻精选| 日韩成人中文| 99成人精品六| 色婷婷丁香五月| www一起操| 色大综合| 男同91 | 91人人爱| 99爱免费在线视频| 蜜臀AV在线观看| 中文字幕九九九九| 91视频一起草| 五月丁香啪啪综合| 婷婷五月天综合久久| 99九九精品视频推荐| 99综合视频在线| 丁香婷婷色色| 五月丁香啪啪综合网| 久久人妻伊人| 热久91| 操逼在线视频| 狠狠色丁香| 五月天综合网| 激情婷婷六月天| 美欧日韩国产成人在战| 久久超级碰碰| 久久久97| 99热在这里只有精品| av第一二区| 丁香五月婷婷色| 另类小说五月天| 五月色网| 激情五月天影院| 71在线精品视频一区| 丁香六月无码播放| 国精产品一区二区三区| 婷婷五月天在线观看| 亚洲无码性爱| 婷婷色六月| 香蕉五月婷婷| 丁香五月影院| 另类专区在线| 99无码精品| 久久er视频6| 久久久久人妻网址| 五月丁香六月婷婷不卡免费无码| 国产精品18久久久| 99热99干| www久久久久| 思思热AV| 非洲一级AV| 婷婷色五月丁香六月欧美啪| 99久久99视频| 天天干天天做| 亚洲 在线 性爱| 丁香六月婷婷缴情欧美| 亚洲综合色网| 丁香五月大香蕉| 91精品久久久久久77777| 日日日,com| 激情丁香五月| 噜噜噜久久亚洲精品国产品91| 色日本颜射| 国产色五月婷婷| 91人人人人人人人| 亚洲欧美婷婷五月色综合| 色区久久| 婷婷综合性爱网| 99性爱视频网站| 久久久精品99| 91精品久久久久久| 五月丁香六月情婷婷久久| 久久男人网婷婷| 婷婷99狠狠| 97碰| 国内自拍97在线| 激情五月色播五月| 色亚洲无码| 免费视频WWW在线观看网站| 色情播放| 97人人搞| 五月丁香婷婷五月色| 色色射| 色婷婷a| 九九这里有精品| 婷婷五月天综合蜜桃| 999热这里只有美国精品| 另类激情首页| 婷婷久久久久久久| 色五月婷婷影视| 婷婷五月av| 五月www| www激情网站| 噜噜在线| 欧美日韩成人一区二区| 六月亭亭久久综合激情| 涩五月婷婷| 超91热| 国产成人AV在线| 成人色情五月天婷婷丁香| 1769在线观看欧美国产| 九九热在线视频| 婷婷天天日婷婷| 99热国品免费| 97色天堂| 丁香五月激情综合久久| 国产亚洲色婷婷久久99精品91| 色五月婷婷在线观看| 久久久久久xxxxx| 久超免费视频| 色五月激情五月| 五月婷婷六月丁香色| 婷婷五月色播网| 中文字幕91,综合| 中文幕无线码中文字蜜桃| 九九热最新| 亚洲视频在线观看99| 99在线观看精品视频| 蜜臀av无码久久久久久久久| 色碰碰| www.一区二区三区| 爽tv | 婷香五月| 丁香五月综合激情性爱| 国产午夜一区二区三区| 夜夜噜夜夜奇| 色综合xx| www.国产亚洲69ty.久久久久久久久久久久 | 六月激情婷婷| 中文字幕色色| 六月色五月天天婷婷| 亚洲AV成人片无码网站| 五月色丁香婷婷综合| 国产精品色色| 狠狠色综合网| 99热免费观看| 色五月婷婷综合| 五月丁香婷婷深深爱| 五月丁香狠狠地噜噜噜噜| 精品乱码视频| 操碰97| 丁香激情四射| 久久精品4| www.久久9| 伊人婷婷99热精品| 综合色在线| 99精品免费| 五月婷婷综合网| 婷婷色在线播放| 五月婷天天搞视频| 婷婷六月啪啪| 日日噜噜夜夜狠狠久久丁香六月| 激情五月丁香六月| 亚洲五月停停| 亚洲人人操| 久久伊人五月天| 天天日天天干天天插天天射| 婷婷丁香五月高清| 色五月丁香婷婷| 五月婷婷免费看| 9久热这里只有精品| 国产精品色色色色| 热99热9| 五月综合婷婷久久在线| 天天爽夜夜爽天天爽夜夜爽| 久草热视频在线观看| 丁香久久久| 中文不卡一二区| 婷婷五月综合啪| 日日夜夜天天爽| 久久九九99亚洲国产久精综合| 中文aV网| 丁香色婷婷| 久热免费| 色综合激情| 涩涩五月天| 激情综合亚洲| 亚洲免费成人电影AV| 9热成人在线视频| 五月综合激情久久| 色一情一乱一乱91Av| 人妻激情在线| 久久久er热| 白天AV月月| 天天色色婷婷| 91热视频色网站| WWW,五月| 亚洲爆乳无码精品AAA片蜜桃| WWW.国产| 99热99在线精品| 国产精品电影网| 九九色热| 丁香婷婷在线| 久久三级视频| 成人中文网| 色色综合网。| 色婷婷成人| 九九视频免费| VfJxEwPH| 五月久久婷婷丁香| 久久性爱网| 五月成人丁香av91| 九九热av| 欧美激情-区二区三区| 五月婷婷婷| 婷婷性爱影院| 69天堂99| 丁香婷婷人妻| ji'qi'luan'ren'lun| 色爽九九| 色播jjjj| 婷婷成人网五月天| 99热精品一| 色噜噜狠狠色综无码久久合欧美| 天天干一干| 婷婷五月天性爱视频| 精品在线网站| 欧美激情综合色丁香婷婷五月天| 五月花免费视频| 97热91| AAA久久久AAA久久久AAA| 涩综合在线 | 99热综合色图| 好吊兆人妻| 91AV婷婷| 精品色| 天天操夜夜操| 色情五月天丁香社区| 六月婷婷视频| 色婷婷丁香五月| 免费看欧美成人A片无码| 婷五月天丁香婷五月| 青草性爱视频| 狠狠爱综合| 一点色成人网| 天天爽在线视频| 婷婷五月天激情电影小说| 激情丁香五月| 五月天婷婷免费| 久久综合天天综合| 婷婷五月成人| 九久9精品| 无码任你操| 成熟妇人A片免费看网站| 五月天婷婷社区久久综合| 大伊久久| 丰满人妻妇伦又伦精品国产| 日本三级黄色大片| 久9精品视频| 日韩啪啪视品| 五月激情婷婷色| 激情五月综合网最新| 99操网站| 日本欧美国产| 成人.在线日韩| 99九九久久| 噜啊噜在线| 激情亚洲五月| 79色色免费| 九九色精品| 婷婷五月激情图片| 久久总和99| 国产44页| 五月丁香六月在线| 月丁香久久久| 激情欧美丁香五月| 色 噜噜 九月 婷婷| 襙比视频| 国产在线网| 亚州激情在线视频| 能看的AV| 另类丁香五月天区图| 五月丁香在线| 秋霞三级影视资源| 99精品国产在热久久| 人人色婷婷五月天| 久久er99热精品一区二区| 玖玖婷婷五月| 996热re视频精品视频| 热99在线精品| 九九热婷婷| 一操久久| 91精品婷婷国产综合久久| 日本97在线| 天天做天天爱天天做| 亚洲AV无码电影| 激情五月婷婷色播网| 五月丁香久久久| 开心五月深爱五月婷| 狠狠狠狠狠干| 色综合综合色| 久久综合婷| 色色色色热| 成人在线视频男人的天堂4399| 99热这里只有精品免费观看| 九九99热久久精品66中文字幕| 天天干天天拍| 99小视频| 午夜精品久久久久久久爽| 五月婷婷在线网站| 久久色午夜在线导航| 激情五月小说婷婷| 五月婷婷三级| 91九九| 奸逼视频| 久久丁香社| 久久激情天堂| wuyuedingxiang99| 婷婷99综合| 色婷婷色五月天| 97五月天婷婷综合激情网| 久99综合婷婷| 6月丁香婷婷激情| 婷婷丁香激情五月天色色色| 丁香五月天视频| 99热9999| aV直接看| 日韩久热| 激情综合网激情五月网| 色五月综合97| 激情综合网五月激情| 深爱激情AV| 亚洲综合碰| 99精品性爱| 99精品久久| AA片在线观看视频在线播放| 婷婷五月天网址| 思思99热热热99| 伊人婷婷福利网| 99色 | 欧美日韩99| 乱精品一区字幕二区| 色色色色av色色色色| 色婷婷www| 色爽干| 黄网在线观看免费| 涩涩网五月天| 婷婷性爱影院| 丁香五月婷婷亚洲天堂| 丁香五月影| 99热99色| 午夜成人av在线| 影音先锋一区| 99热国产在线| 五月丁香 狠狠爱| 六月婷婷视频| 天天干,天天日| 婷婷日在线观看| 久久婷婷五月综合色区| 亚洲综合成人网站| 五月天婷婷久色| 亚洲婷婷基地| 一级韩国产精品毛| hd五月婷婷在线| 色呦呦美女| 黄色国久久| 五月久久网| 婷色成人| 伊人玖玖精品| 奇米色大香蕉| 深爱激情AV| 网色99| 五月婷婷性爱网| 色七色九九| 婷婷六月综合基地| 丁香五月婷婷老师网站| 狠狠另类视频| 久久狠狠干| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99热在线看| 久久久婷丁香五月| 免费AV播放| 色综合中文| www,99热| 在线综合啪| 丁香伊人综合| 熟女人妻一区二区三区免费看 | 97婷婷狠狠久久综合9色| 综合久久五月| 香蕉AV777XXX色综合一区 | 久色视频| 六月婷欧美| 久久久99精品| 久久久天堂国产精品女人| 五月丁香激情综合啪| 成人av播放| 色综合色色色色| 日本操逼九九九九58日本操逼| 久久er99热精品一区二区| 日本一级黄色电影| 欧美激情综合| 亚洲区视频| 9久国产| 影音先锋天天日| 欧美成人A片AAA片在线播放| 色婷婷丁香AV综合| 日韩精品二三区| 性爱激情五月| 欧美3AaAa大片| 婷婷成人五月天| 九九热只有这里精品| www.久久久久| 色色色色欧洲| 九九久久网| 亚洲AV成人在线| 色~性~乱~伦~噜| 91狠狠综合网| 狠狠综合网| 99热资源在线| 激情伊人| 五月婷婷激情刺激| 91碰碰| 只有精品在线观看| 九九在线视频| 久久99热精品a片在线观看| AAA级久久久精品| 精久久色| 爱狠射| 综合色播| 美女激情综合| 亚洲旡码| 婷婷五月丁香久久| 五月丁香综合| 丁香五月天精品| 97五月婷| 久热A| 91综合视频在线| 噜一噜在线| 丁香婷婷五月色成人网站| 国产无人区大片| 亚洲综合1024| 日本天天操| 国产热精品| 九九精品丁香花| 欧美性猛交99久久久99| 伊人五月天综合网| 影音先锋日本三级资源| 99爱在线精品视频免费观看| 狠狠爱婷婷爱| 久操热线| av性爱在线| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久热播这里只有精品| 久久一伦| 婷婷色网| 久久机只有这里精品| 日本熟女啪啪| 久久9精品| 婷婷五月天激情综合婷婷五月天激情综合| 色欲五月丁香| 久热AA| 伊人大香五月天| 春色激情| 欧美影院| 天天草天天爱| 一起操最新网址| 五月丁香色婷婷色| 婷婷激情五月天在线视频| 丁香五月影| 无码髙清| www.日韩艹| 色综合99无码| 99热99色| 色色丁香激情五月| 激情五月天色色| www免费在线视频| 天天色,天天日,天天做| 伊人久久艹| 久久精品99国产精品日本| 天天爽天天摸天天爱| 99热欧美| 在线一起草av| 9l视频自拍9l九色成人| 天天天天天天操| 噜噜噜噜噜久| 免费啪啪啪网站| 人人摸人人| 亚州操人在线视频| 琪琪理论片| 欧美婷婷综合网| 日本三级韩三级99久久| www.天天干| 狠狠狠狠狠狠狠狠草| 丁香五月综合激情性爱| 九久久婷婷| 久久xxxx| 久久综合丁香激情五月| 五月丁香怕怕综合| 开心五月婷婷婷美女| 国产乱妇乱子在线播视频播放网站 | 午夜天堂一区人妻| 五月丁香啪啪啪| 九九爱看亚洲| 99开心五月五月丁香激情| 青青色com久久| 另类少妇人与禽zOZZ0性伦| 91九色国产熟女| 色婷婷五月天在线| 立川无码av| 精品女人九九九| 五月丁香在线观看国产| 亚洲综合另类| 色综合久| 99综合自拍| 99亚洲无码| 人人干天天操五月丁香| 日本99久久| 青青草轻轻操| 99热999| 婷婷碰碰| 日本少妇裸体做爰高潮片 | 狠狠干婷婷| 成人毛片在线免费观看| 九九精品9| 99久久人妻精品无码二区| 五月婷婷之综合激情| 91视频综合网| 99热在这里只有精品| 日逼免费视频| 久久这里只有精品16| 99这里的视频都是精品| 91成人品| 免费婷婷| 99碰| 伊人狠狠色婷婷综合丁香一区| 亚洲日比视频| 色域五月丁香| 五月婷护士| 精品人妻在线免费观看| 做爰丰满少妇1313| 色婷婷成人做爰A片免费看网站 | 狠狠人人婷婷| www.99热视频| 天天日日综合| 激情欧美丁香五月| 五月天婷婷激情小说电影| 深爱激情69热| 六月丁香AV| 五月天久久小说| 婷婷丁香熟女| 91九色偷拍| 色播激情| 91大神在线免费看视频全集男男一起操| 激情影院69| 中文字幕人妻一区二区| 久久婷婷五| 青青艹b| 久久激情婷婷| 婷婷色五月大香蕉在线观看| 色九九综合热99| 美欧日韩国产成人在战| 五月丁香啪啪综合| 欧洲激情网站| 欧美激情丁香五月天久久婷婷一区| 九九热这里只有精品7| 精品乱码视频| 人妻系列久久久久久久久久久 | 日韩av在线免费观看| 日韩一级A片黄色| 久久久婷婷婷| 激情五月婷婷网在线观看| 五月天自拍网| 天天做天天爱天天综合| 欧美性爱五月天| 综合久久高清| 亚洲综合激情五月久久| 亚洲V国产V欧美V久久久久久| 婷婷五月天性色| 色色六月| 色丁香五月天| 操人妻90p| 亚洲麻豆乱码国产2028| 丁香五月电影| 成人av免费观看| 婷婷五月天色色| 屁股翘好撅高迎合跪趴| 日本人妻操| 91要啪| 亚洲亚洲激情| 99色免费视频| 97资源欧美日韩大香蕉超碰一区| 天天拍天天操| 久久婷婷五月综合网| 亚洲另类AV| 五月婷婷六月丁香综合| 九九草热在线观看| 婷婷成年人免费视频| 中文字幕婷婷| 强辱丰满人妻HD中文字幕| 色护士综合| 色五月婷婷基地| 五月丁香亚洲五月| 99无码精品| 免费观看的av| 激情综合文学| 色婷婷另类| 色,激情五月天| 五月婷婷视频ab| 人人操人人干AV| 狠狠干综合| 婷婷五月天丁香激情| 这里只有精品免费在线视频| 五月丁香六月花| 色私五月婷婷| 国产成人精品一区二三区熟女在线| 五月婷婷之综合激情在线| 97日在线视频| 热的无码综合视频| 五月婷婷狠狠干| 夜夜嗨一区二区三区直播内容| 超碰网站在线观看| 欧美毛片www| www.91在线观看| 第四色五月天| 99久久婷婷五月| 淫荡家庭AV| 五月天综合激情网| 欧美色五月| 丁香五月激情欧美| 色婷婷4| 久久资源网五月婷| 色五月丁香A欧美com | 春色激情第四色| 91激情五月开心| 裸睡玩奶头(高H)| 激情综合99| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 五月丁香六月综合情在线观看| 第四色首页| 午夜一区| 五月婷激情影院| 天天爽曰日爽| 亚洲超碰在线| 久久女伦| 99热精品10| 婷婷情色五月天| 97se在线视频| 五月六月丁香婷婷在线观看| 26.uuu丁香五月婷婷| 激情五月婷婷老师| 色五月天.con| 五月丁香琪琪| 伊人久热91| 99视频这里只有久久精品| 天天爽夜爽| 国产激情在线| 九九九九这里只有精品| 婷婷D区| 天天 青草 制服丝袜 在线| 日韩色久| 日韩伊人大香蕉| 天天干天天操| www.99热国产| 天天 日综合| 丁香五月天激情视频| 丁香五月在线自慰| 99热激情| 久久五月天激情婷婷| 久久视频九九视频| 人妻熟人中文字幕一区二区| 99在线观看视频免费| 五月丁香婷婷中文网| 99九九精品| 狠狠色综合网| 色综合久| 五月婷婷亚洲| 天堂色婷婷| 天天综合色丁香| 婷婷五月天综合在线| 婷婷五月天综合久久日美女| 伊人午夜综合色啪| AV大片在线播放| 婷婷五月精品在线| 性一交一乱一交A片久| 激情5月舔| 一级黄色影片| 99re6热在线精品视频播放速度| 日本在线视频播放91| 国产.亚洲.欧洲视频在线| 激情五月影院| 六月婷婷香蕉| 丁香婷婷91在线观看视频| 69精品人妻不卡视频| 天天色激情| 色婷婷五月综合色婷婷| 天天综合天综合| 伊人超碰在线| 欧美成人网99网| 五月丁香婷色| 五月丁香激情综合网| www91久久| 九九热精品视频在线观看| wWW九九在线播放| AV色婷婷| 婷婷伊人| 一起草av| 久热最新视频| 97午夜一区二区| 99热最新| 99玖玖人人| 日本激情91| 99热人人| 久久久天堂国产精品女人| 婷婷激情五月天7| 国自产拍偷拍精品啪啪一区二区 | 四川BBB搡BBB爽爽视频| 九九热手机在线视频| 亚洲无码性爱| 亚洲激情五月| 欧美日韩成人在线观看| 爆乳熟妇一区二区三区爆乳照片| 久久久久久久97| 九九色综合九九色| 安息电影在线观看完整版| 俺去也五月| 色丁香五月婷婷在线| 色丁香五月婷婷综合久久| 婷婷综合在线| 久久婷婷啪啪视频| 超碰人人色| 婷婷色五月天综合网| 99re久热| 欧美99视频| 掩去也综合五月视频| 三人荫蒂添的好舒服A片| 婷婷丁香五月,狠狠综合| 99天堂网最新| 欧洲综合视频| 亚洲 精品 综合 精品| 亚洲欧洲中文日韩久久AV乱码| 五月激情综合深爱| 婷婷丁香五月天色色| 99九九玖玖| 久热九九| 一本色综合色| 五月停停999| 婷婷欧美色| 1024AV视频| 天堂久久婷婷| 丁香五月综合福利视频导航| 日韩有码一区| 天天插综合| 五月婷婷m| 99碰| 激情99| 精品人妻久久久久久| 六月婷婷综合| 久热re视频在线观看网站| 日韩99色99| 婷婷久久大香蕉| 天天插操| 九九热99视频| 丁香五月天成人| 婷婷色情网| 超碰av在| 九九精品综合| 五月婷婷色吧!| 丁香五月人妻| 日韩成人无码| 成人开心五月天| 五月天狠狠网站| 丁香五月亚洲综合| 99热亚洲精品| 久久机热/这里只有精品| 天天曰夜夜爽| 99热69| 禁欲电影完整版在线播放| 99热精品中文字幕| 天天射夜夜爽| 六月丁香成人| 极品人妻VIDEOSSS人妻| 天天操夜夜操| 丁香五月网| 亚洲、欧美、国产另类笫二区| 99精品国产在热久久| 色婷婷丁香五月在线观看| 色色色色色热| 538任你爽视频不一样的| 大战熟女丰满人妻AV| 超碰人人91| 丁香欧美| 激情五月天在线观看婷婷| 奇米色大香蕉| 丁香五月天激情综合| 开心五月深爱五月| 五婷婷六月合| 色色色婷婷五月| 性爱111111| 久久精彩免费视频| 97人人做| 五月久久婷婷成人网| 婷婷五月欧美综合| 色丁香五月天| 五月丁香婷婷综合网色欲| 亚洲精品无码一区二区| 久久网日本| 五月婷天天搞视频| 丁香六月婷婷高清| 亚洲激情在线| 国产精品人妻在线网址| www.99精品日操伊人乱碰在线| 涩涩五月天| 亚洲精品国产成人AV在线| 天天操天天曰| 婷婷五月中文字幕国产| 深爱 五月天| 97色久| 久久嘟嘟丁香| 天天干天天av天天射| 国产亚洲99久久精品| 欧美日韩99| 色五月成人| 夜夜骑天天操| 丁香五月天激情AV| 亭亭丁香久久五月| 99精品热| 色五月婷婷操逼| 9|在线观看视频| 少妇人妻偷人精品无码视频新浪| 婷婷97| 伊人激情影院| 色丁香五月| 五月婷婷六月丁香玖玖玫瑰91| 激情五月色在线播放| 九九热这里只有精品9| 五月六月激情婷婷| 五月婷伊人| 五月色情婷婷开心五月天| 久久婷婷六月| se99高清无码| 五月丁香激情综合啪| 色婷久久| 激情五月天色网站| 伊人久久婷婷| 69精品人人人人| 97成人丁香婷婷| 色播丁香| 五月丁香综合啪啪啪啪啪| 婷婷情色五月天| 五月丁香激| 亚洲另类婷婷综合| 婷婷97碰碰| 久久色情| 狠狠搞五月天| 电影《战争与艾拉》免费观看| 亚洲视频色色| www.狠狠干| 婷婷五月丁香久久| 99热在线观看免费| 玖玖资源在线视频| 天天骑天天操| 日本天堂免费99| 射区导航| 特黄三级片| 欧美成人精品A片免费一区99| 亚洲综合五月天婷婷| 99只有精品| 欧美日韩精品人妻狠狠躁免费视频| 男女啪啪做爰高潮无遮挡| 亚洲精品又粗又大又爽A片| 亚洲妇女熟BBW| 日本三级日本黄色| 在线成人av播放| 色噜噜狠狠色综合网| 操操国产| 天天插天天玩天天干| 日日干夜夜撸夜夜骑| 99性感视频| 六月婷婷色综合| 丁香婷婷五月六月久久| 丁香五月天啪啪| 人人操AV| 91无码色色| 五月天激情图片网| 久久久性爱视频| 亚洲成人综合在线| 第2色五月婷| 翔田千里无码| 99热这里只有精品2| 欧洲不卡视频| 色婷婷小说| 婷五月天影院| 七月激情六月婷婷综合在线播放| 91丁香五月| 在线五月色播| 激情性五月天免费小说视频| 欧美丁香五月夫妻天| 色婷婷大香蕉| 五月大香蕉| 少妇高潮呻吟A片免费看软件| 天综合日日夜综合7799| 久久人人九九| 六月婷婷狠狠| 色婷婷五月中文字幕在线dvd| 99啪啪网| 九九热精品在线| 五月丁香色色色| 日韩在线99| 婷婷五月天改成什么了| 9久热这里只有精品| 欧美乱码国产一级A片| 99性爱视频| 五月天综合色| 97久久超碰| 五月天天天开心激情网| 天天天天天天天操| 在线色色| 久操欧美在线观看97| 91丨九色丨老农村| 玖玖99福利| 综合狠狠五月婷婷| 久婷久婷| www.色五月| 亚洲成人网站在线| 色亚洲中文| 99这里| 五月婷婷色色| 超级97碰碰| 五月欧美色播| 五月天婷婷乱论小说| 激情视频网址| 最新AV在线观看| 亚洲性图一区二区三区| 深爱五月激情五月| 国外亚洲成AV人片在线观看| 久久久五月天网站| 99在线爽| 色婷婷激情四射视频| 白人荫道BBWBBB大荫道| 九九干视频| 丁香色情五月天| 五月激情六月综合| 97色婷婷| 久久东京热婷婷五月| 淫荡综合网| 91九色精品熟女内射| 免费观看2018www黄色操逼网站| 五月丁香啪啪拍| 狠狠操综合| 五月婷婷 自拍| 五月丁香激情综合网官网| 天天天综合网| 538在线精品| 色五月色五天色情网| 婷婷.com| 免费视频在线观看的网站| 99在线观看精品| 婷婷丁香综合| 国产小精品| www.sebowuyue| 亚洲激情综合五月婷婷啪啪| 婷婷五月天久久久| 另类激情码| 夜夜操天天干| 日本eVa一区=区视频| 婷婷五月四狠狠| 久热 91| 69色婷婷| 五月综合婷婷久久在线| 亚洲中文字幕av| 人妻综合网| 天天拍天天操| 碰99在线| 97av在线视频| 六月婷婷视频| 色九月综合| 六月丁香婷婷网| 99性视频| 婷婷五月丁香基地在线视频官网| 九九热婷婷| 九九中文字幕九| 九九99一区| 欧美槡BBBB槡BBB少妇| 精品视频99看在线视频| 五月综合久久| 久婷| 婷婷六月天天| 成人午夜免费电影| 激情五月天综合| 久久婷婷青青| 思思色综合网站| 九九热在线99| 97人妻碰碰碰久久| 五月激情综合美女久久| 国产亚洲99久久精品熟女| 天天爽夜夜爽天天爽夜夜爽| 日产精品久久久久久久蜜臀| 99久久这里只有精品免费官网| 婷婷五月av| 狠狠舔| 欧美色色色| 婷婷综合| 婷婷丁香色五月| 97色久| 婷婷六月色| 操99| 丁香六月婷| 秋霞免费三级片| 99九色视频在线观看| 五月色网| 大香蕉九九| 色播综合| 五月开心网| 99热香港| 一本大道嫩草AV无码专区| 激情校园 亚洲| 丁香综合日产精品久久| 人人干人人操人人摸人人做| 99视频| 五月天深爱激情网| 午夜]香婷婷深深爱| 五月深爱激情网| www久久久久久| 免费观看的av| 人人操人人操919999| 久久网日本| 日本久久精品| 97天堂| 天天透天天摸天天舔| 久久精彩视频18| 丁香婷婷成人网站| 天堂色婷婷| 久久艹99| 亭亭五月丁香综合欧美| 极品人妻VIDEOSSS人妻| 先锋资源 996| 91操黄| 亚洲天天操| 色你久久| 99久久66| 欧美99热| www.久久五月天.com| 97啪在线观看视频| 另类国产综合| 伊人激情AV一区二区三区| 亚洲、热| 久久婷婷东京热大香樵| 久久五月丁香| 婷婷天堂综合| www.久久99| 色六月丁香婷婷啪啪啪| 色婷婷激情| 婷婷激情网五月天| 97性高潮久久久| 五月丁香六月激情综合| 开心五月六月婷婷| 五月婷婷深深爱| 五月婷婷久草在线视频综合| 另类亚洲视频| 青草五月天| 丁香五月天婷婷中文| 国产精品岛国片在线观看免费| 五月色综合| 99热这里只有精品21| 99精彩视频在线观看| 免费AV播放| 色综合天天网| 97se在线视频| 九九热超碰| 深爱五月天 开心网| 人操人人| 婷婷网五月天| 激情五月丁香综合网站| www.AV在线| 大香蕉人妻| 狠狠干在线视频| OYIWbGcPu8H| 色色五月天丁香婷婷| 99热欧美在线观看| 免费看欧美成人A片无码| 深爱激情综合网| 操操操操操操婷婷五月天| 综合aV在线| 日日日天天干| 4399在线观看免费高清黄色视频| 婷婷操逼| 这里只有精品69| 色色丁香婷婷综合| 欧美性猛交99久久久久99按摩| 在线只有精品| www.粉嫩av.com| 超碰在线日夜| 天天爱综合网| 色婷婷综合网| 久久丁香综合精品综合| 9l视频自拍9l视频自拍九色学生| 99热99日…..| WWW.久久99| 九月婷婷综合| 99热首页| 丁香婷婷丁香五月欧美人| 大香蕉人人网| 狠狠操狠狠| 激情第四色| 人人爱天天摸摸天天爱| 国产成人在线精品| 色狠狠婷婷| 丁香六月激情| 噜噜吧天天爱| 99热九九这里只有精品10| 激情五月综合| 天天操综合网站| tingtingjiqingwuyue| 久久精品噜噜噜成人A∨色欲| 26uuu最新地址| 五月草视频| 九九草热在线观看| 五月丁香婷婷在线| 伊人五月婷| 深爱激情五月网| 色婷婷激情四射视频| 婷婷射婷婷舔| 日韩三级片一区二区| 婷婷五月欧美| 久久99国产综合精品免费| 97色干| 五月天婷婷在线AN| 亚洲开心激情网| 久久综合中文| 香焦网五月天| 天天久久婷婷| 三人荫蒂添的好舒服A片 |