欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

BAS-SCA混合優(yōu)化極限學(xué)習(xí)機(jī):從ELM隨機(jī)性痛點(diǎn)看參數(shù)尋優(yōu)實(shí)戰(zhàn)

BAS-SCA混合優(yōu)化極限學(xué)習(xí)機(jī):從ELM隨機(jī)性痛點(diǎn)看參數(shù)尋優(yōu)實(shí)戰(zhàn) 做機(jī)器學(xué)習(xí)調(diào)參這些年我一直對(duì)極限學(xué)習(xí)機(jī)ELM又愛又恨。愛的是它訓(xùn)練速度確實(shí)快恨的是它那套隨機(jī)生成輸入權(quán)重和隱層偏置的機(jī)制導(dǎo)致每次跑出來的結(jié)果方差極大換個(gè)隨機(jī)種子預(yù)測(cè)精度就跟過山車一樣。后來我在實(shí)際項(xiàng)目中嘗試用天牛須算法BAS和正余弦算法SCA做了一版混合改進(jìn)的BAS-SCA優(yōu)化ELM方案用雙重搜索機(jī)制去替代ELM的隨機(jī)初始化實(shí)測(cè)下來不但精度上去了穩(wěn)定性也比單用BAS或單用SCA好不少。這篇就把這套方案的完整思路、融合機(jī)制、代碼實(shí)現(xiàn)和調(diào)參經(jīng)驗(yàn)一次講清楚給同樣被ELM隨機(jī)性困擾的朋友做個(gè)參考。1. 先從ELM的痛點(diǎn)聊起為什么要優(yōu)化它1.1 ELM的隨機(jī)權(quán)重問題到底影響多大極限學(xué)習(xí)機(jī)的核心邏輯說起來很簡(jiǎn)單輸入層到隱層的權(quán)重 W 和偏置 b 隨機(jī)生成然后用解析方式求解輸出層權(quán)重 β。因?yàn)?β 是通過最小二乘或嶺回歸一步計(jì)算出來的所以訓(xùn)練過程不需要反向傳播速度自然快得離譜。但問題恰恰出在那個(gè)“隨機(jī)生成”上——ELM的理論基礎(chǔ)之一是只要隱層節(jié)點(diǎn)足夠多隨機(jī)映射也能把原始特征投影到高維空間使得原本線性不可分的問題變得線性可分。理論沒問題實(shí)際操作中卻隱藏著一個(gè)巨大的坑隨機(jī)權(quán)重不同隱層輸出矩陣 H 就不同最終求出來的 β 也完全不同模型的泛化性能跟著劇烈波動(dòng)。我在回歸任務(wù)上做過一個(gè)簡(jiǎn)單實(shí)驗(yàn)同一個(gè)數(shù)據(jù)集隱層節(jié)點(diǎn)設(shè)為20連續(xù)跑10次原始ELM測(cè)試集RMSE的極差能差出30%以上。這在工業(yè)落地場(chǎng)景中是很難接受的——你今天訓(xùn)練好一個(gè)模型上線明天重新訓(xùn)練一遍性能就變了下游業(yè)務(wù)根本沒法穩(wěn)定復(fù)用。所以業(yè)內(nèi)很自然的思路就是用一個(gè)優(yōu)化算法去搜索出一組更優(yōu)的初始權(quán)重和偏置讓ELM不再完全依賴“隨機(jī)抽卡”而是通過尋優(yōu)讓每次訓(xùn)練都能落在更優(yōu)的參數(shù)區(qū)間。1.2 BAS和SCA為什么會(huì)出現(xiàn)在同一個(gè)解決方案里既然要優(yōu)化ELM選擇哪個(gè)優(yōu)化算法就成了關(guān)鍵。我當(dāng)時(shí)最先嘗試的是天牛須算法BAS因?yàn)樗慕Y(jié)構(gòu)非常簡(jiǎn)單不需要群體協(xié)作只靠一只“天?!庇脙筛毺綔y(cè)左右兩側(cè)的氣味濃度差異就能朝更優(yōu)方向移動(dòng)。BAS收斂速度快、計(jì)算開銷小用起來很順手。但它的問題也很明顯單一個(gè)體沒有種群信息共享天牛只能感知當(dāng)前點(diǎn)附近的局部梯度特別容易陷進(jìn)局部最優(yōu)。一旦初始位置選得不好后面再怎么走都翻不出那個(gè)局部坑。后來我在另一個(gè)項(xiàng)目里接觸了正余弦算法SCA它的設(shè)計(jì)思路跟BAS完全相反——維護(hù)一個(gè)種群每個(gè)個(gè)體通過正弦和余弦函數(shù)的振蕩波形在搜索空間里來回?cái)[動(dòng)既能做大幅度的全局探索也能逐步收斂到最優(yōu)解附近。SCA的全局搜索能力比BAS強(qiáng)得多但它的更新方式依賴于“當(dāng)前個(gè)體與全局最優(yōu)之間的差值”到了后期種群會(huì)快速向最優(yōu)個(gè)體靠攏搜索步長(zhǎng)逐漸收縮收斂精度其實(shí)一般。一個(gè)小技巧是先各自跑一遍然后觀察收斂曲線BAS前期下降極快后期幾乎不挪動(dòng)SCA前期探索充分但收斂慢后期精度提升也很有限。這時(shí)我意識(shí)到把BAS的局部感知能力和SCA的全局振蕩能力結(jié)合起來正好可以互補(bǔ)——用SCA保證大范圍找到靠譜區(qū)域用BAS在找到的區(qū)域里做精細(xì)打磨這才是這套方案真正的出發(fā)點(diǎn)。1.3 整體方案設(shè)計(jì)思路互補(bǔ)優(yōu)于單一BAS-SCA混合算法的設(shè)計(jì)邏輯并不復(fù)雜但融合方式需要仔細(xì)推敲。最樸素的做法是“串行”先用SCA跑一半迭代再用BAS接著精搜。但這樣會(huì)導(dǎo)致兩個(gè)算法各自為政切換時(shí)信息斷層前期SCA收斂到的位置未必是適合BAS繼續(xù)開發(fā)的位置。我最終采用的是“并行混合”策略每個(gè)個(gè)體在同一輪迭代中同時(shí)執(zhí)行SCA更新和BAS搜索通過一個(gè)隨迭代次數(shù)變化的融合權(quán)重 λ把兩種機(jī)制的貢獻(xiàn)動(dòng)態(tài)疊加起來。前期讓SCA的全局振蕩占主導(dǎo)后期讓BAS的局部精細(xì)搜索占主導(dǎo)。這樣既不會(huì)丟失全局探索能力又能保證收斂階段的精度是整個(gè)算法的關(guān)鍵所在。另外這套方案要作用的對(duì)象是ELM而不是一個(gè)抽象的優(yōu)化測(cè)試函數(shù)所以在設(shè)計(jì)時(shí)還必須考慮ELM本身的特性——權(quán)重和偏置的取值范圍、適應(yīng)度函數(shù)的計(jì)算成本、隱層節(jié)點(diǎn)數(shù)量對(duì)搜索維度的影響等。這些細(xì)節(jié)處理不好優(yōu)化算法的理論再好也落不了地。2. 三個(gè)基礎(chǔ)算法的核心機(jī)制先搞清楚再動(dòng)手2.1 天牛須算法BAS一只天牛怎么找食物天牛須算法的靈感來自天牛覓食時(shí)的行為天牛的兩根觸須可以感知食物氣味的濃度如果左側(cè)氣味濃它就往左走如果右側(cè)濃就往右走。這個(gè)過程抽象成數(shù)學(xué)模型后非常簡(jiǎn)潔。假設(shè)當(dāng)前位置是 X天牛隨機(jī)生成一個(gè)歸一化的方向向量 dir左須位置和右須位置分別表示為XL X d * dir / 2 XR X - d * dir / 2其中 d 表示兩只觸須之間的距離。然后分別計(jì)算左右兩個(gè)位置對(duì)應(yīng)的適應(yīng)度 f(XL) 和 f(XR)如果左須位置的適應(yīng)度更好求最小值時(shí)更小天牛就朝左移動(dòng)否則朝右移動(dòng)。位置更新公式為X_new X - step * sign(f(XL) - f(XR)) * dir這里的 step 是天牛的搜索步長(zhǎng)sign 是符號(hào)函數(shù)決定移動(dòng)方向。隨著迭代推進(jìn)step 和 d 都會(huì)按一定比例衰減模擬天牛越來越接近食物源時(shí)步子越邁越小的過程。BAS的優(yōu)點(diǎn)是單個(gè)體搜索每輪只算兩次適應(yīng)度開銷低、收斂快缺點(diǎn)是缺少種群信息一旦方向判斷出錯(cuò)就可能直接走進(jìn)死胡同。2.2 正余弦算法SCA用三角函數(shù)畫出來的搜索軌跡SCA是Mirjalili在2016年提出的群體智能優(yōu)化算法核心思想是用正弦和余弦函數(shù)的周期性震蕩來模擬個(gè)體在解空間中的波動(dòng)搜索。對(duì)種群中的每個(gè)個(gè)體位置更新公式如下當(dāng) r4 0.5 時(shí) X_new X r1 * sin(r2) * |r3 * P - X|當(dāng) r4 0.5 時(shí) X_new X r1 * cos(r2) * |r3 * P - X|這里的 P 是當(dāng)前全局最優(yōu)位置r2 是[0, 2π]內(nèi)的隨機(jī)數(shù)決定步進(jìn)方向r3 是[0, 2]內(nèi)的隨機(jī)數(shù)用來給最優(yōu)位置加一個(gè)隨機(jī)權(quán)重r4 是[0, 1]內(nèi)的隨機(jī)數(shù)用來在正弦和余弦兩種更新模式之間做選擇。r1 是一個(gè)從 a 線性遞減到 0 的控制參數(shù)a 通常取2它決定了搜索幅度前期 r1 大個(gè)體大范圍震蕩進(jìn)行全局探索后期 r1 小震蕩幅度收窄轉(zhuǎn)為局部開發(fā)。所以SCA本質(zhì)上是通過三角函數(shù)周期性和隨機(jī)參數(shù)配合在“探索”和“開發(fā)”之間做平衡的多個(gè)體搜索算法。2.3 極限學(xué)習(xí)機(jī)ELM隨機(jī)映射加一步解析求解ELM的結(jié)構(gòu)是一個(gè)單隱層前饋神經(jīng)網(wǎng)絡(luò)假設(shè)輸入樣本是 X隱層節(jié)點(diǎn)數(shù)是 L激活函數(shù)是 g。隱層輸出矩陣 H 通過下面的公式計(jì)算H g(X * W b)其中 W 是輸入層到隱層的權(quán)重矩陣b 是隱層偏置這兩個(gè)就是隨機(jī)生成的部分。ELM的訓(xùn)練核心在于輸出權(quán)重 β 的求解目標(biāo)是最小化 ||Hβ - T||2其中 T 是訓(xùn)練目標(biāo)。這是一個(gè)線性最小二乘問題可以直接用Moore-Penrose偽逆求解β pinv(H) * T整個(gè)訓(xùn)練過程一步到位沒有任何迭代式梯度更新所以訓(xùn)練速度極快。但正因?yàn)?W 和 b 是隨機(jī)生成的H 的好壞完全取決于運(yùn)氣。如果隨機(jī)生成的映射不能有效提取特征ELM的精度就會(huì)很差。所以用BAS-SCA去搜索最優(yōu)的 W 和 b本質(zhì)上是把ELM從“隨機(jī)映射”升級(jí)為“優(yōu)化映射”在保留快速訓(xùn)練優(yōu)勢(shì)的同時(shí)大幅提升模型性能的穩(wěn)定性和上限。3. 融合邏輯與混合改進(jìn)機(jī)制的核心設(shè)計(jì)3.1 第一個(gè)改進(jìn)把天牛須擾動(dòng)嵌進(jìn)SCA更新公式這是整套混合機(jī)制最核心的部分。我沒有把BAS和SCA當(dāng)作兩個(gè)獨(dú)立的流水線串聯(lián)使用而是把BAS產(chǎn)生的方向擾動(dòng)直接作為一項(xiàng)修正量注入SCA的更新公式中。混合后的位置更新式為X_new λ * X_sca (1 - λ) * X_bas其中 X_sca 是SCA生成的候選位置X_bas 是BAS生成的候選位置。X_sca 保證了當(dāng)前個(gè)體向全局最優(yōu)方向移動(dòng)的趨勢(shì)X_bas 則通過左右須的適應(yīng)度比較提供了局部的方向修正。融合權(quán)重 λ 控制兩種機(jī)制的貢獻(xiàn)比例。這樣做有一個(gè)很實(shí)際的好處如果某個(gè)個(gè)體位于一個(gè)局部最優(yōu)附近SCA的震蕩幅度又已經(jīng)很小單靠SCA幾乎不可能跳出去而BAS的左右須方向判斷可以提供繞開局部坑的微調(diào)路徑相當(dāng)于在SCA的搜索路徑上增加了一個(gè)局部勘探器。反過來BAS容易誤判方向的問題也能被SCA的全局最優(yōu)牽引所糾正不至于走偏太遠(yuǎn)。3.2 第二個(gè)改進(jìn)自適應(yīng)融合權(quán)重的動(dòng)態(tài)調(diào)節(jié)融合權(quán)重 λ 不是固定值而是隨迭代次數(shù)動(dòng)態(tài)調(diào)整的。我使用的公式是λ 0.8 - 0.6 * (t / T)其中 t 是當(dāng)前迭代次數(shù)T 是最大迭代次數(shù)。迭代初期 t0 時(shí) λ0.8SCA占絕對(duì)主導(dǎo)保證種群在全局范圍內(nèi)充分探索迭代結(jié)束時(shí) λ0.2BAS占主導(dǎo)對(duì)已經(jīng)找到的較優(yōu)區(qū)域做精細(xì)搜索。這個(gè)設(shè)計(jì)的思路很簡(jiǎn)單全局探索階段需要大尺度的震蕩BAS的步長(zhǎng)再大也有限不如讓SCA放開手腳跑到了后期種群已經(jīng)集中在某個(gè)區(qū)域了再用SCA大幅震蕩反而會(huì)破壞已找到的好解此時(shí)BAS的小步精細(xì)修正更有價(jià)值。在實(shí)際操作中有人也會(huì)用非線性衰減或余弦衰減來調(diào)整 λ比如 λ 0.5 0.3 * cos(π * t / T)效果大同小異。我建議不用糾結(jié)具體衰減函數(shù)關(guān)鍵是保證“前期探索、后期開發(fā)”這個(gè)趨勢(shì)不能變。3.3 第三個(gè)改進(jìn)邊界反射與精英保留策略優(yōu)化ELM的權(quán)重和偏置時(shí)搜索范圍通常被限制在[-1, 1]或[-2, 2]之間。如果某個(gè)個(gè)體的位置更新后超出了邊界最常見的處理是直接裁剪到邊界值但這樣會(huì)導(dǎo)致大量個(gè)體聚集在邊界上損失種群多樣性。我實(shí)際用的是反射邊界策略如果某一維度的值超過上界就根據(jù)超出部分按比例反彈回邊界內(nèi)。反射法能把個(gè)體留在邊界附近但又不全部疊在邊界點(diǎn)上對(duì)保持種群多樣性有明顯幫助。同時(shí)每一輪迭代結(jié)束后我會(huì)單獨(dú)記錄全局歷史最優(yōu)解下一輪不論個(gè)體如何更新全局最優(yōu)始終不會(huì)被覆蓋。這個(gè)精英保留策略幾乎是所有優(yōu)化算法落地時(shí)的標(biāo)配尤其當(dāng)適應(yīng)度函數(shù)本身有一定噪聲時(shí)比如數(shù)據(jù)分布不均勻沒有精英保留很容易把已經(jīng)找到的好解弄丟。3.4 改進(jìn)后的搜索行為分析從搜索行為上看改進(jìn)后的BAS-SCA兼具了“群體信息共享”和“單體方向感知”兩種能力。SCA負(fù)責(zé)在宏觀上把種群引向有希望的區(qū)域BAS負(fù)責(zé)在每個(gè)個(gè)體層面做微觀修正。融合權(quán)重 λ 又保證了兩者的主導(dǎo)地位隨時(shí)間平滑切換。相比原始BAS混合算法顯著降低陷入局部最優(yōu)的概率相比原始SCA混合算法在后期的收斂精度和收斂速度都有提升。我在測(cè)試函數(shù)Sphere、Rastrigin和Griewank上做過快速驗(yàn)證結(jié)論很直觀在Rastrigin這種多峰函數(shù)上原始BAS基本逃不出局部最優(yōu)原始SCA能到達(dá)不錯(cuò)的區(qū)域但后期收斂緩慢BAS-SCA不僅收斂到了更優(yōu)值而且連續(xù)運(yùn)行多次的方差明顯小于兩個(gè)單一算法。這個(gè)結(jié)果也讓我放心把它用到ELM參數(shù)尋優(yōu)上。4. 手把手實(shí)操BAS-SCA優(yōu)化ELM的完整實(shí)現(xiàn)4.1 個(gè)體編碼與適應(yīng)度函數(shù)用BAS-SCA優(yōu)化ELM第一步是把ELM的待優(yōu)化參數(shù)編碼成優(yōu)化算法中的個(gè)體向量。假設(shè)輸入特征維度是 n_input隱層節(jié)點(diǎn)數(shù)是 n_hidden那么需要優(yōu)化的參數(shù)包括輸入權(quán)重 W形狀為 n_input × n_hidden和隱層偏置 b形狀為 1 × n_hidden。把 W 展平后拼接上 b得到一個(gè)長(zhǎng)度為 n_input * n_hidden n_hidden 的向量這就是一個(gè)個(gè)體。適應(yīng)度函數(shù)的設(shè)計(jì)直接影響最終效果。分類任務(wù)可以用錯(cuò)誤率或交叉熵作為適應(yīng)度回歸任務(wù)最常用的是均方根誤差RMSE或平均絕對(duì)誤差MAE。我習(xí)慣用驗(yàn)證集上的誤差來評(píng)估個(gè)體的好壞而不是用訓(xùn)練集因?yàn)閮?yōu)化算法很可能過擬合訓(xùn)練集導(dǎo)致最終選出的參數(shù)泛化性能差。如果數(shù)據(jù)集規(guī)模較小也可以采用K折交叉驗(yàn)證取平均誤差作為適應(yīng)度。4.2 核心代碼實(shí)現(xiàn)下面是我整理出的一個(gè)可以直接跑通的核心代碼框架依賴只有numpy。這段代碼用偽代碼風(fēng)格保留了主要邏輯幫助你理解每個(gè)步驟到底在干什么。import numpy as np def sigmoid(x): return 1.0 / (1.0 np.exp(-x)) def elm_predict(X, W, b, beta): H sigmoid(X W b) return H beta def compute_beta(X, y, W, b): H sigmoid(X W b) # 加入小量正則項(xiàng)防止偽逆計(jì)算不穩(wěn)定 return np.linalg.pinv(H.T H 1e-6 * np.eye(H.shape[1])) H.T y def fitness_function(individual, X_train, y_train, X_val, y_val, n_input, n_hidden): W individual[:n_input * n_hidden].reshape(n_input, n_hidden) b individual[n_input * n_hidden:].reshape(1, n_hidden) beta compute_beta(X_train, y_train, W, b) y_pred elm_predict(X_val, y_val, W, b, beta) return np.sqrt(np.mean((y_val - y_pred) ** 2)) # RMSE def bas_sca_elm(X_train, y_train, X_val, y_val, n_input, n_hidden, pop_size20, max_iter100, lb-1.0, ub1.0): dim n_input * n_hidden n_hidden # 初始化種群 pop np.random.uniform(lb, ub, (pop_size, dim)) fitness np.array([fitness_function(ind, X_train, y_train, X_val, y_val, n_input, n_hidden) for ind in pop]) gbest_idx np.argmin(fitness) gbest pop[gbest_idx].copy() gbest_fit fitness[gbest_idx] a 2.0 step0 (ub - lb) * 0.3 for t in range(max_iter): r1 a - t * (a / max_iter) for i in range(pop_size): # SCA更新 r2 2 * np.pi * np.random.rand() r3 2 * np.random.rand() r4 np.random.rand() if r4 0.5: X_sca pop[i] r1 * np.sin(r2) * np.abs(r3 * gbest - pop[i]) else: X_sca pop[i] r1 * np.cos(r2) * np.abs(r3 * gbest - pop[i]) # BAS更新方向感知 step step0 * (1 - t / max_iter) d step * 0.5 dir_vec np.random.randn(dim) dir_vec dir_vec / np.linalg.norm(dir_vec) XL pop[i] d * dir_vec / 2 XR pop[i] - d * dir_vec / 2 fL fitness_function(XL, X_train, y_train, X_val, y_val, n_input, n_hidden) fR fitness_function(XR, X_train, y_train, X_val, y_val, n_input, n_hidden) direction -1 if fL fR else 1 X_bas pop[i] - step * direction * dir_vec # 融合權(quán)重前期SCA主導(dǎo)后期BAS主導(dǎo) lam 0.8 - 0.6 * (t / max_iter) X_new lam * X_sca (1 - lam) * X_bas # 邊界反射 for j in range(dim): if X_new[j] ub: X_new[j] 2 * ub - X_new[j] if X_new[j] lb: X_new[j] 2 * lb - X_new[j] pop[i] X_new fitness[i] fitness_function(pop[i], X_train, y_train, X_val, y_val, n_input, n_hidden) gbest_idx np.argmin(fitness) if fitness[gbest_idx] gbest_fit: gbest pop[gbest_idx].copy() gbest_fit fitness[gbest_idx] W gbest[:n_input * n_hidden].reshape(n_input, n_hidden) b gbest[n_input * n_hidden:].reshape(1, n_hidden) beta compute_beta(X_train, y_train, W, b) return W, b, beta, gbest_fit代碼中需要特別留意的有兩點(diǎn)一是 compute_beta 中給 H.T H 加了一個(gè)小量正則項(xiàng)防止矩陣奇異導(dǎo)致偽逆計(jì)算報(bào)錯(cuò)二是邊界反射是逐維度處理的避免整體向量操作時(shí)邊界邏輯出錯(cuò)。這段代碼在中小規(guī)模數(shù)據(jù)集上運(yùn)行的速度是可以接受的適應(yīng)度函數(shù)的計(jì)算次數(shù)是 pop_size * (1 2) * max_iter也就是每輪每個(gè)個(gè)體除了自身適應(yīng)度外還要額外算兩次天牛須位置的適應(yīng)度計(jì)算量相比標(biāo)準(zhǔn)SCA有所增加但換來的是更穩(wěn)的收斂表現(xiàn)。4.3 參數(shù)配置建議把代碼跑起來之后參數(shù)配置就成了決定效果好壞的另一個(gè)關(guān)鍵因素。我不建議一上來就照搬默認(rèn)參數(shù)因?yàn)椴煌瑪?shù)據(jù)集的維度和樣本量差異很大。以下是我調(diào)參過程中的一些經(jīng)驗(yàn)值參數(shù)建議范圍說明種群規(guī)模 pop_size20~30太小容易早熟太大增加計(jì)算開銷最大迭代次數(shù) max_iter100~300視適應(yīng)度函數(shù)計(jì)算成本靈活調(diào)整邊界范圍 lb/ub±1 或 ±2權(quán)重和偏置在這個(gè)范圍通常夠用初始步長(zhǎng) step0邊界寬度的0.3倍過大導(dǎo)致震蕩劇烈過小收斂慢融合權(quán)重初值0.8保證前期SCA主導(dǎo)探索融合權(quán)重終值0.2保證后期BAS主導(dǎo)精細(xì)搜索4.4 效果對(duì)比怎么看驗(yàn)證混合算法的效果不能只看一次實(shí)驗(yàn)的結(jié)果。因?yàn)镋LM本身有隨機(jī)性優(yōu)化算法也有隨機(jī)性至少要跑10次以上對(duì)比平均值和標(biāo)準(zhǔn)差。我在實(shí)際項(xiàng)目中通常做這樣幾組對(duì)比原始ELM隨機(jī)初始化、BAS-ELM、SCA-ELM、BAS-SCA-ELM。觀察兩個(gè)維度一是平均預(yù)測(cè)誤差二是多次運(yùn)行的標(biāo)準(zhǔn)差。前者看精度上限后者看穩(wěn)定性。典型的實(shí)驗(yàn)趨勢(shì)是原始ELM的平均誤差最大且方差極大BAS-ELM精度提升明顯但方差依然不小說明BAS在某些初始點(diǎn)上會(huì)陷進(jìn)局部最優(yōu)SCA-ELM平均誤差優(yōu)于原始ELM但收斂需要的迭代次數(shù)更長(zhǎng)BAS-SCA-ELM在平均誤差和方差兩個(gè)指標(biāo)上通常都是最優(yōu)的。如果你跑出來的結(jié)果違背了這個(gè)規(guī)律大概率是參數(shù)沒調(diào)對(duì)而不是算法有問題繼續(xù)往下面的排查思路去找原因。5. 我踩過的坑與排查經(jīng)驗(yàn)5.1 優(yōu)化后精度反而更差先查這四處第一處是隱層節(jié)點(diǎn)數(shù)太少。ELM本身能力不足時(shí)任何優(yōu)化算法都救不回來因?yàn)樗阉骺臻g本身就不存在足夠好的解。隱層節(jié)點(diǎn)數(shù)一般先按輸入特征的2到3倍起步再逐步增加觀察效果。第二處是適應(yīng)度函數(shù)用錯(cuò)了數(shù)據(jù)集——如果直接在訓(xùn)練集上優(yōu)化得到的結(jié)果在測(cè)試集上反而差大概率是過擬合了換成驗(yàn)證集評(píng)估或者加交叉驗(yàn)證能緩解。第三處是邊界范圍設(shè)置不合理。權(quán)重初始化為±1是ELM的常見做法但不同數(shù)據(jù)集的合適范圍差異很大有時(shí)候把邊界放到±2反而更好這個(gè)需要根據(jù)激活函數(shù)和數(shù)據(jù)分布去試。第四處是融合權(quán)重衰減速度太快導(dǎo)致后期完全切到BAS模式后全局?jǐn)_動(dòng)消失而BAS又正好陷在局部最優(yōu)里出不來把 λ 終值從0.2適當(dāng)上調(diào)到0.3或0.4保留一部分SCA擾動(dòng)經(jīng)常能解決問題。5.2 算法收斂到一半就僵住了怎么診斷“僵住”表現(xiàn)為適應(yīng)度曲線在迭代中段就長(zhǎng)期持平幾乎不再下降。最直接的原因通常是種群多樣性喪失——所有個(gè)體都聚集到了同一個(gè)位置附近SCA的震蕩幅度又已經(jīng)被 r1 衰減得很小個(gè)體之間差異幾乎為零算法失去了繼續(xù)搜索的動(dòng)力。這時(shí)可以先檢查種群的分布情況如果所有個(gè)體的距離都很小說明多樣性出了問題。一個(gè)問題排查順序是先調(diào)大 r1 的初始值讓前期的震蕩幅度更大再檢查邊界反射實(shí)現(xiàn)是否有 bug如果實(shí)現(xiàn)正確個(gè)體應(yīng)該不會(huì)大量堆積在邊界上最后檢查是否不小心把全局最優(yōu)個(gè)體也覆蓋掉了沒有精英保留的話這種情況特別容易發(fā)生。我最初實(shí)現(xiàn)時(shí)就是因?yàn)槁┝司⒈A魧?dǎo)致每輪的最優(yōu)解在下一次迭代中被新的隨機(jī)更新沖掉曲線看起來就像一直原地踏步。5.3 面對(duì)不同數(shù)據(jù)集的調(diào)參路線如果做的是高維稀疏數(shù)據(jù)比如文本分類搜索維度會(huì)非常高個(gè)體長(zhǎng)度動(dòng)輒幾千這時(shí)需要把種群規(guī)模降下來、迭代次數(shù)適當(dāng)增加因?yàn)槊看芜m應(yīng)度計(jì)算都涉及矩陣運(yùn)算種群太大會(huì)拖慢整體速度。如果面對(duì)的是小樣本數(shù)據(jù)集適應(yīng)度評(píng)估很容易受噪聲影響建議用交叉驗(yàn)證代替單次驗(yàn)證集評(píng)估同時(shí)把邊界范圍縮小防止優(yōu)化算法在噪聲中亂跑。如果隱層節(jié)點(diǎn)數(shù)較多超過50搜索維度就很大BAS天牛須的方向向量生成和歸一化會(huì)占不少計(jì)算時(shí)間。一種優(yōu)化做法是先把ELM的隱層特征中心初始化到一個(gè)合理范圍比如通過原始ELM跑幾次取平均權(quán)重再用BAS-SCA在這個(gè)范圍內(nèi)做局部精搜。這樣可以大幅縮短搜索空間但代價(jià)是可能錯(cuò)過真正的最優(yōu)解屬于精度和速度之間的權(quán)衡。5.4 這套方案最適用的場(chǎng)景我不建議在超大規(guī)模數(shù)據(jù)集上直接使用這套方案因?yàn)閮?yōu)化算法需要反復(fù)計(jì)算ELM的適應(yīng)度每一輪都要做矩陣偽逆運(yùn)算數(shù)據(jù)量大了之后整體耗時(shí)不可接受。它更契合的場(chǎng)景是中小規(guī)模數(shù)據(jù)、對(duì)模型穩(wěn)定性要求高的任務(wù)比如工業(yè)設(shè)備的故障診斷、小樣本回歸預(yù)測(cè)、金融風(fēng)控里的評(píng)分卡建模這些場(chǎng)景數(shù)據(jù)量可控但對(duì)每次訓(xùn)練的結(jié)果一致性要求很高很值得用BAS-SCA-ELM去替換原始ELM。如果數(shù)據(jù)集樣本量在幾千到幾萬級(jí)別、特征維度在幾十到幾百這個(gè)范圍BAS-SCA-ELM的尋優(yōu)時(shí)間通常在幾十秒到幾分鐘內(nèi)可以完成換來的穩(wěn)定性提升是實(shí)打?qū)嵉?。另一個(gè)常見用途是作為集成學(xué)習(xí)里的基學(xué)習(xí)器——由于優(yōu)化后的ELM每次運(yùn)行結(jié)果更一致集成時(shí)不容易出現(xiàn)個(gè)別基學(xué)習(xí)器效果極差拉低整體表現(xiàn)的問題。最后再分享一個(gè)實(shí)際使用中的小技巧在跑BAS-SCA-ELM之前先用原始ELM快速跑幾輪記錄一下隨機(jī)初始化下的典型誤差水平然后把這個(gè)誤差水平作為BAS-SCA尋優(yōu)的“基線”。如果優(yōu)化后的結(jié)果連基線都打不過說明算法流程中一定有 bug而不是算法本身沒用。這個(gè)習(xí)慣幫我排查了很多初期實(shí)現(xiàn)問題也適合你在自己調(diào)試代碼時(shí)參考。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香婷婷成人网站| 国产做爰视频免费播放| 日本久久精品| 五月婷婷激情| 五月丁香在线看| 五月婷婷婷色| 色碰碰| 天天干天天操天天射 | 亚洲妇女熟BBW| 激情综合网亚洲色图| 色色色色欧美| 97热在线精品| 深爱女色婷婷丁香五月亚洲图区| 亚洲最大成人综合网720P| 襙逼网| W色综合| 99热99| 日韩操啪| 日本色狠狠| 色色色99| 亚洲小视频免费播放| 欧美日韩99| 五月婷六月综合在线观看| 五月天亭亭俺也| 欧美日韓成人亚洲精品另类| 99精品久久久久久久久| 五月婷婷综合激情网| 天天爽成人综合网站| 亚洲精品又粗又大又爽A片| 激情小说之五月| 91丨九色丨老熟女激情| 99视频内射三四| 久久婷婷成人视频| 六月丁香开心婷婷欧美| 欧美色色色色色| 亚洲开心激情网| 操B无码视频国语| 婷婷香五月天| 九九综合精品| 久大香蕉| 久久婷婷五月综合色丁香花| 九九久久五月天| 婷婷色五月天第7色| 国产精品A片在线| 综合网啪啪| 色色色777| 色婷婷六月| 久久538| 日韩亚洲视频| 九月婷婷激情久久| 欧美丰满熟妇BBB久久久| 九九热只有精品| 五月色网| 丁香五月天天| 国产SUV精品一区二区883| 怡红院视频| 五月天色色无码| 亚洲av电影在线| 狠狠狠狠狠狠色| 亚洲激情淫网| 青青草色在线视频观看| 久久月天堂| 玖玖爱综合网| 丁香色五月天| 内射丰满人妻| 久久精品色| 久久XX日本综合| 色碰碰| 色五月aV| 99热成人永久免费| 中文色婷婷| 五月婷视频| 久久综合婷婷| 五月婷婷色播| 国产精品VA在线| 欧美五月丁香啪啪响视频| 91婷婷五月丁香碰| 丁香婷婷五月天成人| 五月天另类视频| 六月婷婷在线视频| 五月天久久丁香| 俺来也综合网精品一区| 黄网网站在线播放| 日本3级片一区2区| 婷综合六月| 午夜成人av在线| 狠狠狠狠狠狠色| 天天肏在线| 久热伊人| 亚洲av成人在线| 狠狠久综合| 天天射影| 成人日韩欧美| 夜夜爽77777妓女免费下载| 狠狠操狠狠操AV| 九九视频精品在线免费| 激情网五夜婷婷| 久久精品99久久久久久| 精品99在线看| 中文字幕AV网址| 亚洲精品**不卡在线播he| 大香蕉综合| www.婷婷五月天| 另类小说激情五月天| 天天干天天干天天干天天干天天干天天 | 五月天激情小说| 99精品国产在热久久婷婷| 日日插日日干| 夜夜骑夜夜撸| 婷婷久久五月天| 青青草婷婷久久| 亚洲精品又粗又大又爽A片| 依人大香蕉| 99热久久这里只有精品2010| 色婷婷在线影院| 99热青青草| 美女婷婷六月色| 丁香五月婷婷啪啪| 久久精品色| 人妻九九九九| 久久久婷婷| 五月色色色| 天天操天天曰天天射| 一片AV片免费播放| 97婷婷在线| 色色色色色五月| CAOBIBI| WWW色色色COM| 九九综合图片网| 日本全黄一级999| 日韩婷久| 人妻久久久久| 五月丁香色色| 丁香五月精品视频| 这里只有精品99www| 丁香五月天在线直播观看| 九九热10| 日日操,夜夜爽| 人人看人人摸人人| 国产精品美女| 99久久9| 激情婷婷| 少妇性BBB搡BBB爽爽爽视頻| 婷婷久久爱| 色久一| 无码区婷婷五月花开| 婷婷久久丁香| 久久婷婷色| 九九热只有精品| 久热这里只有精品99re| 日本欧美成人片AAAA| 欧美槡BBBB槡BBB少妇| 俺去也五月| 草草夜夜操| 丁香五月天激情视频| 色色色色网站| 亚洲精品第一国产综合亚AV| 丁香久久综合| 五月激情网五月综合网| 丁香五月婷婷日本| 丁香成人五月天| 国产AV国片偷人妻麻豆| A级毛片高清免费不卡播放谢谢谢谢| 日本精品干| 亚洲成人AV在线观看| 五月天开心激情网色欲无码| 五月丁香青草综合啪啪| 9l视频自拍9l九色9l成人| 另类在线| 伊人激情综合| 久久98| 五月天成人网婷婷| 久久久香| wwwav大香蕉| 婷婷伊人五月丁香天堂网| 久操福利| 九九九九九九九热| 国产精品美女| 九月丁香久久网| 色色婷婷丁香五月天| jiqingtaose五月天| 色婷丨日丨天丨综合久久| 激情文学五月丁香六月婷婷| 激情小说五月天| 婷婷五月综合色小姐小说| www.久久久久久| 夜夜涩涩涩| 热久久婷婷| 99热日| 国产日批视频| 超碰操网| 激情婷婷视频在线| 欧美丁香六月激情视频| 色色色国产| 国产AV一区二区三区最新精品| 久久九九一區| 国内自拍1区| 亚洲不卡欧洲| 日碰日| 全高清无码视頻| 狠狠狠狠狠狠狠狠草| 天天爽天天| 97操操| 婷婷色色丁香| 五月中旬婷婷丁香六| 色播婷婷五月天| 在线看的免费网站| 亚洲Va成人| 婷婷草| 无码99| 丁香五月ⅤA久久久| 亚洲精品色色| 久久草中文日韩欧美| 一本大道熟女人妻中文字幕在线 | 色五月婷婷久久| 久久久久人妻精品| 91精品人妻少妇无码影院| 操逼在线视频| 六月天婷婷| 激情四射婷婷色色色| 99热日本| 开心激情站| yellow视频在线观看91| h在线看免费版在线看| 香蕉AV777XXX色综合一区| 97亚洲婷婷| 99性爱精品| 亚洲va综合va国产va中文| 日韩无码91| 五月天中文字幕在线婷婷| 五月天婷婷基地| 97久久五月丁香婷婷| 五月丁香六月合| 99re热在线视频| 亚洲啪| 丁香伊人综合| 五月丁香| 免费的日逼视频| www.婷婷五月天| 人人97操| 五月丁香成人视频| www.com任你艹| 色五狠狠| 成人一区在线观看| 99热97| 变态另类色图| 久久伊人五月天| www.金莲av| 成人婷婷五月| 婷婷五月天VI| 天天xxxxxx天天日| 久久婷婷桃花五月天| 丁香六月婷婷色XXXX| 成AV人片一区二区三区久久| 天天日日天天| 五月天婷婷色播综合在线| 99视频精品视频| 色欲色香综合网| 玖玖无码中文| www色色com| 色玖玖综合网| 中文AV网| 五月丁香啪啪激情| 精品欧美性爱超级爽| 天天草天天舔| 丁香8月手机综合| 色婷婷六月开心中文字| 久久婷鲁| 欧美影院| 婷婷五月丁香五月| 无码AV免费精品一区二区三区| 777.色色| 久久久91精品| 最新丁香六月婷婷| 97久人人| www婷婷| 久久网站免费亚洲| 欧洲电影在线观看免费版英语版| 热99热9| 丁香五月天亚洲综合| 99九九精品| 色五月婷婷伊人| 六月婷婷视频| 九九热超碰| 亚洲综合婷婷| 99热在线观看这里只有精品| 热久久色| 天天干狠狠| 欧美狠狠一在草| 年轻的妺妺伦理HD中文| 丁香九月久久| 激情五月天噢美| 亚洲丁香花色| dingxiangtingtingliuyue| 91夫妻网站九色| 五月天 另类图片| 97人妻碰碰碰久久| 色久天| 91操色| 人妻无码视频网| 色婷婷狠狠干芒果TV| 久七香蕉| 九月丁香| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 六月婷婷综合| 色VA| 99ri国产精品| 婷婷五月天综合在线| 五月综合777| 日韩有码一区| 天天日天天色| 亚洲热久久| 婷婷爱爱蜜臀天天操| 大香蕉久久| 婷婷五月天日本无码| 丁香五月婷婷Av| 九九热在线精品视频| 婷婷五月天激情AV影院| 久久婷婷五月丁香网| 公的粗大挺进了我的密道| 99日这里只有精品| 日本超碰在线| 日本久碰| 91久久久久久| 91丨九色丨熟女丰满| 亚洲视99| 久婷婷色| 琪琪色五月婷婷老师| 国产成人AV在线播放 | 欧美日本免费一道免费视频| 久久久久久激情| 天天天天天操| 粉嫩av懂色av蜜臀av熟妇| 国外亚洲成AV人片在线观看| 激情综合国产| 色五月首页| 粉嫩av懂色av蜜臀av熟妇| 成人αV视频免费观看| 激情小说五月天| 夜夜骑操AV| 99资源人人| 国产激情综合| 丁香五月综合婷婷| 五月激情婷婷国产精品久久久久久| 狠狠色丁香久久久婷| 91成人看| 丁香五月花| 色婷婷免费观看| 免费看片在线观看| 亚洲成av人影院| 色五月五月婷婷| www.六月丁香看AV| 五月天婷婷色紫薇阁| 中文字幕av亚洲| 666555。COm毛片| 99精品在线观看| 无码人妻一区| 可以直接看的AV网站| 六月婷婷深深爱| 久久人人九| 激情电影五月婷婷| 99免费超碰在线| 狠狠色综合网站久久久久| 五月激情小说网| 一个色的综合| 日韩三级片一区二区| www:99热视频| 色综合女人99| 亚洲狠狠爱婷婷| 日本一级黄色电影| 丁香六月欧美| 伊人久久婷婷| 中文无码婷婷| 亚洲成人中心| 狠狠色噜噜狠狠| 丁香五月在线看| 日在线V视频在线播放| 这里有精品99| 欧美日综合| 久9免费视频| 免费成人中文字幕| 综合网网欲色| 久久婷婷的综合色丁香五月| 变态另类色图| 久久婷婷大香蕉| 天天综合天综合久久网| 婷婷综合性爱网| 丁香五月天激情综合| 欧美婷婷五月丁香| 丁香五月婷婷影院| 99这里只有精品|v| 青青草五月天| 婷婷久久五月| 久99热| 天天干,夜夜爽| 亚洲六月色| 中文字幕在线日亚州9| 婷婷久久五月天丁香| 夜夜爱网站| 色五月丁香婷婷| 色综合天天天天做夜夜| 五月亚洲| 91青娱乐青青草| 热99在线精品| 九九九色综合| 狠狠色成人影片| 色香欲综合| 五月婷婷丁香六月| 202丰满熟女妇大| 乱岳熟女50岁| 99福利视频导航| 亚洲成人电影在线免费观看| 日韩欧美婷婷丁| 久热9热| 94干大香蕉| 五月丁香毛片| 色综合色五月| 开心婷婷五月激情网小说| 99热欧美在线观看| a性生活久久无| Www.sesese丁香| avh片在线观看| 久在线综合69| 丁香五月影视| 九九热视频99| 丁香五月婷婷欧美成人色图| 吊色AV男人的天堂| 五月花激情| 99久久久久久www| 色情婷婷。| 精品丁香五月天在线播放| 丁香五月婷婷久久久| 97操碰日本女人| 五月丁香婷婷99| 丁香五月激情啪啪| 五月婷婷亚洲综合网| 欧美色色色| 夜夜操,天天撸| 色播五月| 久久精品这里只有精品免费首页| 79色色色色| 99爱视频在线| 99色精品| 色吧网综合| 天天肏高清在线| www.xtbsty.cn.com蜜乳AV| 玖玖九九99| 五月婷婷激情久久| 五月丁香综合激情网| 在线观看免费人成视频无码| 月色色综合婷婷网| 26uuu视频欧美| 五月婷婷丁香大陆免费| 久狠狠狠| 国产做爰视频免费播放| 久久久五月天网站| 久久久久久草黄色片AV在线观看| 四月婷婷丁香| 狠狠插狠狠操| 91精品久| 综合亚洲五月天| 婷婷AV丁香| 婷婷五月免费观看| 国产无人区大片| 久久久久9999| 久久婷婷人人| 操嫩逼电影| 五月天婷婷激情| 色情婷婷| 啪啪黄页网| 开心深爱五月天| 五月丁花六月丁香综合| 99自拍视频| 96色婷婷| 26uuuavcom| 激情人妻综合| 久久综合66| 丝袜人妻| 五月婷亚洲精品| 日本狠狠干| 久久女人九九| α久久| 九九碰九九爱97超| 狠狠狠狠狠狠狠狠| 亚洲欧洲中文日韩久久AV乱码| 欧美性爱中文字幕| 五月天色视频| 国产成人一区二区三区在线观看| 色五月婷婷综合| 五月之婷婷| 色婷婷丁香五月| 美女伊人久久| 激情六月一二| 精品夜夜澡人妻无码AV| 99色综合网| 俺去也五月天婷婷| 五月婷婷啪啪啪啪| 婷婷天天色| 九九精品热| 国产av天天插天天操天天爽| 玖玖资源在线视频| 国产肥白大熟妇BBBB视频| 97成人视频| 色久综合| AV在线免费播放| 丁香五月天成人| 99在线观看视频免费| 绿色小导航AV| 日韩人妻在线播放| 操人妻AV| 能看的AV| 色噜噜狠狠色综无码久久合欧美| 激情五月天综合网| 五月婷婷丁香在线| 中文不卡一二区| 这里只有精9| 综合久久综合| 色欲天天综合| WWW.99视频| 天天综合色99| 精品五月花| 俺也去五月婷婷丁| 成人做爰高潮A片免费视频 | peg 2区三区四区的| 日韩av在线电影| 日韩伊人大香蕉| 日本wwww在线| 天天操天天插天天射| 免费无码毛片一区二区A片| 99热都是精品| 欧美在线操| 激情网婷婷五月天| 日本欧美999久久久三级片| 色狠狠综合| 免费黄网不卡AV| 5月色亭亭视频| www色色com| 久久色五月天| 五月丁香在线| 丁香五月激情综合网激情五月| 99热这里只有精品8| 99re99热| 精品国产AV色一区二区深夜久久| 色青青五月| 国产精自产拍久久久久久蜜| 日日撸天天干| 天堂在线观看视频| 夜夜夜夜夜操| 九九综合网色全集 | 99热只有精品在线播放| 五月天久久久| 夜夜噜夜夜奇| 狠狠色噜噜狠狠狠777奇米| 99er6热在线观看精品6| 91猫咪国产在线播放| 五月丁香婷婷综合视频| 天天做天天爱天天爽| 日韩高清久久| 婷婷色婷婷| 99热思思久| 99热综合| 常久最新免费的色吊丝| 金品在线视频99| 影视av久久久噜噜噜噜噜三级| 婷婷色情网| 激情綜合W W W,激情五月天| 人妻videos人妻高清| 婷婷香蕉精品| 亚洲色五月婷婷| 97影院一级片| 激情综合五月| 婷婷五月丁香综合人妻| 国产综合婷婷| 超碰在线成人| 99国产性感视频| 99re视频在线| 天天干狠狠| 丁香五月激情欧欧美| 九九色插| 国产成人av在线播放| 六月婷婷五月丁香首页| 99热这里在线精品| 无码字幕中文| 丁香花五月天激情| 五月天激情在线视频| 久草婷妨| 色五月激情综合网| 亚洲 在线 性爱 | 操逼巨乳91| 99亚色色色| 成人草榴视频| 色99日韩| 日本va视频| 久久婷网| 99视频这里有精品| www热久久yy9| 日本色婷婷久久99精品91| 婷婷五月综合丁香久久| 伊人激情| 九九视频这里有精品| 无码区婷婷五月花开| 色135综合网| 婷婷五月天综合AV| 色婷婷五月天天天做| 亚洲AV成人片无码网站| 农村熟妇高潮精品A片| 丁香婷婷情色五月天| 丁香六月婷婷综合色| 亚洲欧美日韩另类| 久操热线| 97碰碰视频| 日日色五月天| 伊人五月婷婷| 狠狠色噜噜狠狠狠777奇米| 97碰碰人人| 五月婷婷激清网| 成片免费播放| 亚洲国产网站| 欧美性生交XXXXX无码小说| 91免费看片| 五月婷婷深爱六月| 久久婷婷影院| 日本久久爱| 大香蕉综合| 亚洲免费av观看| 天天爽天天爽夜夜爽| 久久97| 色久99| 色婷婷a三区麻| 婷婷成人视频| 亚洲六月婷婷| 天天肏天天肏天天肏| 91九色偷拍| 天天狠狠插| 免费观看日韩成人av| 第四色色色色色丁香五月天| 狠狠色婷婷777| 夜夜干天天干| 热99玖玖99玖玖99九九| 欧美成人精品一区二区 | 99色爱| 99色视频| 九月丁香婷婷综合| 久久久久久久久久91| 天天五月天综合网址| 久热久69| 天天插天天| 江苏少妇性BBB搡BBB爽爽爽 | 五月色婷婷影院| 玖玖五月丁香| 欧美色色色色色| Y11111111111少妇电影院| 五月天在线视频尤物视频在线看| 国产做A爰片毛片A片美国| 激情网战码亚洲A| 亚洲久热| 激情婷婷五月亚洲| 99自拍视频在线| 91操碰| www.久久99| 五月停亭六月,六月停亭的英语| 色情五月天丁香社区| 香蕉网久久| 天天干,夜夜爽| 色九月国产| 色色色综合| 99久久新视频| AV色婷婷| 久久久人妻人伦| 亚洲欧美婷婷五月色综合| 综合欧美五月婷婷| 天天射影院| 天天拍久久| 牛牛澡牛牛爽| 人。妻久久| 在线观看亚洲AV| 久久看婷婷| 秋霞性爱AV| 九九热AV| 亚洲激情区| 9色操| 殴美日韩成人| 另类激情五月天。| 成人中文网| 久热网站| 久久婷婷网| 五月丁香六月婷| 国产热精品| 丁香五月婷婷少妇| 久久在这里99| 色婷婷在线视频久| 性爱激情久久| 日韩精品一区二区亚洲AV观看| 成人在线精品| 91 九色大美女| 丁香五月综合AV在线| 久久九九@| 丁香九月激情| 婷婷激情五月天小说| 狠狠综合区| 99操逼| 丁香综合伊人AV| 91热久| 99热精品无码| 99热这里只有的精品视 | 国产激情综合五月久久| av在线播放网站| 青青草五月天| 蜜臀av无码久久久久久久久| 超级久久久| 日本99热| 五月丁香龟婷婷| 无码啪啪| 九月停停| 99热97| 激情五月天无人视频在线| 另类视频综合| 婷婷婷久久| 亚洲综合激情五月久久| 婷婷激情五月天激情| 《诡秘之主》在线观看 | 色哟哟性爱av| 97在线99| 99视频在线精品免费观看2| 精品成人无码A片观看香草视频| 99在线视频女女视频| 五月丁香| 丁香婷婷五月天激情四射| 九九热99精品在线| 在线中文av| 成人AV播放| 91久久久久久久久18| 婷婷五月天激情开心网| 深爱五月中文字幕| 91超碰人人操| 性爱激情小说AV五月丁香花| 色五月激情五月| 婷婷伊人网| www,天天干| 日韩成人精品一区久久久久| 亚洲色综合| 91oumei| 丁香五月婷婷天激情| 激情五月综合婷婷| 色婷婷超碰| 色色免费网战视频| 色婷婷国色天香综合| 久99综合婷婷| 91精品啪| 亚洲情欲久久| 99精品丁香五月| 国产超碰在线| 五月激情婷婷丁香| 色噜噜狠狠色综合网| 啪啪亚洲综合| 狠狠色噜噜狠狠狠888了| 激情小说五月丁香在线视频观看视频| 99在线视频播放| 五月婷婷亚洲色图| 久久99大| 日韩在线观看网址| 99免费视频| 26uuu日韩| AAA久久久| 色播五月天激情| 26uuu另类亚洲欧美日本一| 五月婷伊人| WWW.激情| 美女va| 婷婷丁香色五月亚洲| 婷婷九月激情| 91一起艹| 色99视频| www.yw尤物| 色情综合| 欧美极品999| 色5月婷婷| 久9久9久9久9久9久9| 五月婷婷综合久久| 大香蕉网站,大香蕉综合| 婷婷五月丁香花综合| 伊人9在线| 先锋资源91| 久久最新色| 天堂中文国产| 久久9久| 六月婷婷激情| 毛片网站谁有| 99热欧| 色婷婷成人影片| 婷婷六月插屄激情| 色噜综| 蜜乳中文字| 天堂草在线看www| 亚洲第一精品成人999久久精品| 九九热精品6| 欧美五月丁香| 亚洲xx在线| 日日夜夜青青草| 深爱激情四射| 激情五月天婷婷视频| 激情激情激情网| 五月婷婷插一插| 五月婷丁香亚洲| 狠狠干综合网| 久久伊人9| 狠狠色综合网站久久久久| 91久热| 7EzOBIhNq85TO| 激情五月婷婷丁香综合网| 日韩精品99久久| 91丨九色丨熟女| 99久久久国产大片| 亭亭色天香| http://www.sd-xiangsu.com/| 亚洲丁香五月天视频| 亚洲av成人在线| 久热9| 伊人狼人干| 丁香视频| 4399亚洲视频| 777精品久无码人妻蜜桃| 五月激情婷婷播播开心| 色综合播放| 丁香五月综合激情性爱| 婷婷五月天VI| 婷婷色五月丁香六月欧美啪| 久久人妻视步| 丁香五月天天哦| 色一情一乱一乱一区9| 99成人| 婷婷少妇激情| 99er视频在线| 这里都是精品99| 在线超碰91| 国产免费一区二区在线A片视频| 久久99免费视频| A一级操| 婷婷久久丁香五月| 大香蕉视频婷| 亚洲成av人影院| 9色视频在线| 丁香婷婷视频| 第四色婷婷色五月| 五月天婷婷基地| 91AV视频| 日韩在线观看网址| 免费亚洲婷婷| 久热AA| 99re思思热久久| 五月激情开心婷婷| 99re热精品在线视频| 丁香五月婷婷亚洲另类| 丁香五月婷婷av影院| 性一交一乱一交A片久久四色| 婷婷成人AV| 天天操天天草天天草天天| 丁香亭亭久久| 日本啪啪天堂| 94干大香蕉| 久久免费高| 婷婷丁香社区| h在线看免费版在线看| 色欲天天综合| 天天插天天干| 欧美VA在线| 999九九九久久久99HD| 成人做爰高潮A片免费视频| 26uuu精品一区二区| 99热99久久| 婷婷五月激情图片| 五月丁香激情婷婷| 五月天激情婷婷小说| 色情五月天se| 青青草搞屄视频网站| 九月婷婷综合| 久操人妻| 大香蕉婷婷丁香天堂AV| 婷婷综合97| 日本97在线| 九草性爱| 超碰色人妾| 92久久久| 人妻免费网站| 老司机视频lsj爱就色| 五月天网址在线刘玥| 激情六月天| AA丁香综合激情| 色五月婷婷中文字幕| 丁香婷婷色五月激情综合| 色婷婷99| 丁香五月婷婷影院| 丁香五月花婷婷开心| 六月合五月婷| 五月天婷婷色综合| 天天爽天天爽夜夜爽| 丁香五月AV| 五月丁香网视频| 婷婷五月天久久| av激情在线| 丁香五月六月综合欧美| 大香蕉在线99热| 久久只这里有精品| 无码日本精品XXXXXXXXX | 99re思思| 五月综合激情网| 丁香五月久久| 黄网在线免费观看| 欧美va视频| 色综合色五月| 7超碰自拍| 中文字幕av在线| 91ncm视频| 国产激情在线| 久热99热| 色婷婷操逼| 黄色一级影片| 九九99精品视频| 欧美人久久| 超碰在线精品| 五月丁香久久综合| 99热精品在线观看| 色婷婷操逼| 996er热| 任你草| 五月天婷久久| 亚洲成人av在线观看| www91久久| 色色爽爽天天| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 精品草原久久视频| 一区中文字幕电影| 亚洲激情综合| 97精品在线| 99无码视频| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 欧美久久婷婷| 99丁香五月婷婷在线| 深爱五月天| 99热亚洲| 五月天婷婷久久| 色播五月丁香婷婷| 五月婷婷综合成人| 五月天精品| www.五月婷婷| 亚洲V国产V欧美V久久久久久| 婷婷免费无视频| 日本操B片| 欧美这里只有精品| 成人在线网| 三男玩一女三A片| 色色综合视频| 色色色区| 中文字幕在线免费观看视频| 六月婷婷国产| 日本99色| 99亚洲精品| 欧美激情-区二区三区| 婷婷欧美激情| 五月丁香啪啪啪| 999热成人在线综合网| 精品久热69| 久久小视频| 99爱免费视频| 九九色之九九色88| 99在线精品免费视频| 精品成人a v无码内射| 五月丁香激情四射综合| 欧美性猛交AAAA片黑人 | 天天色天天爱天天爱天天爱y| 久久免费9| 国产看真人毛片爱做A片| 丁香婷婷色五月| 色吧五月| 久久九九99视频| 伊人久久大香网| 久久草婷婷丁香网站| 天天色99| 日日躁夜夜躁狠狠久久AV| 婷婷五月天网| 另类图片激情五月天| 色婷婷综合在线| 另类在线| 日韩一级网站| 五月丁香成人| 色五月婷婷综合在线| 精品影院| 97精品自拍| 婷婷五月天六月| 思思热天天看| se.久久视频在线观看| 99热这里只有精品9| 99色热| 伊人综合网4| 色五月五月婷婷| 综合久久婷婷99| 婷婷六月啪啪| 五月天色婷婷综合| WwW天天干| 丁香婷婷性爱| 热久久婷婷| 精品一二三区久久AAA片| 日本久久性| 成人丁香婷婷五月天| 亚洲色精彩| 97色婷婷在线观看| 五月丁香色欲| 97精品综合| 99热这里都是精品| 狠狠色综合久久| 婷婷伊人激情婷婷| 色欲天天综合网| 丁香五月天天| 182.t午在线观看| 99热精品在线在线| 亚洲中文字幕AV| 99精品免费视频| 六月丁香婷婷在线波多| 五月天婷亚洲综合在线嫩草网| 成人av在线网址| 色都都狠狠色都都色综合色| 亚洲情综合五月天| 天天干,天天日| 亚洲另类婷婷综合| 五月丁香六月婷婷激情视频在线观看免费 | 色婷婷综合网站| 先锋资源婷婷| 色停停影院五月天| 色五月丁香91| 最近中文字幕大全免费版在线| 久热大香蕉| 狠狠爱五月婷婷| 伊人啪啪网| 特级片神马电影| 精品九九视频| 狠狠色丁婷婷日日,伊人激情综合网 | 99精品无码| 色噜噜狠狠色综合日日| 日本一级| 五月色婷婷影院| 五月丁香六月色| 狠狠狠狠狠干| 99精在线| 亭亭五月色男人| 五月丁香黄色视频| 天天综合影院| VfJxEwPH| 欧美色色网| 99视频精品全部观看10| 色欲一二三| 26uuu成人网| 色五月天婷婷| 婷婷六月丁香五月| 26UUU精品一区二区| www.夜夜操.com| 99视频在线精品| 九九这里只有精品| 97se视频在线| 另类天堂| 婷婷婷婷色| 亚州操操| 亚洲人人操| 久久44| 丁香五月网络网络| 99婷婷| 91九色在线| 九色91视频| 99在线公开视频| 青青草Avb在线| 色丁香婷婷| 婷婷五月色色| 亚洲午夜Av| 亚洲六月婷婷| 婷婷九月丁香天堂丁香天堂| 九九热视| 婷婷伊人视婷婷婷| 五月婷婷丁香俺日污视频| 中文字幕欧美日韩VA免费视频| 99色精品视频| 五月婷婷激情| 99热这里只有精品国产免费| 丁香五月婷婷在线| 99色区| 婷婷色五月激情| 丁香五月1页| 可以免费观看的av| 再綫Av免费視品| 极品少妇XXXX精品少妇偷拍| 色狠狠999综合网| 乱精品一区字幕二区| 婷婷色5月天在线。| 色色热| 亚洲婷婷婷| 99久久超级| 天天日天天做天天操| 婷婷色综合中心站| 婷婷五月天久久| 九九九激情网| 久久99性爱| 久久精品系列| 色婷婷丁香| WWW久久久| 亚洲五月天激情| 97丁香五月天| 五月婷在线色视频| 美女爆乳18禁www久久久久久| www,天天干| 大香蕉视频婷婷| 色婷婷五月综合| 激情婷婷五月| 99热这里只有精品8| 激情五月图| 4399无码视频| 亚洲成人人人操| 色情五月天导航| 夜夜大香蕉婷婷丁香| 五月婷婷大香蕉| 香蕉AV福利精品导航| 亚洲女婷婷五月基地综合久久久| 超碰免费观看| 激情六月婷婷| 欧美久久婷婷| 九九热最新| 五月天基地| 色播五月天婷婷老师| 五月天久久婷婷| 亚洲成色综合网站免费观看| 色九九中文字幕| 日日夜夜天天综合| 97人人操人人| 99热这里有精品| 婷婷日日夜夜| 日本激情91| 这里只有精品久久| 日日日天天干| 热婷婷在线视频| 婷婷久月| 欧美毛片www| 99视频在线啪| 五月婷婷草| 天天干天天日天天操| 久久久久久久五月| 天天干狠狠操| 色欲久久久久久综合网综合网| 一起草AV入口| 99久久婷婷国产综合精品草原| 婷婷五月中文字幕国产| 久久伊人五月天| 久久婷婷五| 思思色综合网站| 日本三级中国三级99| 婷婷丁香精品视频在线观看| 六月丁香视频网站| 天天爽天天| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天日夜夜高潮| 天堂久久精品| 99在线爽| 人妻videos人妻高清| 九九热99热| 开心五月婷婷婷美女| 亚洲99手机免费看视频| WWW,五月| 91精品婷婷国产综合| 天天高潮夜夜爽| 亚洲中文字幕在线观看| 色婷婷电影网| 91免费看片| 中文成人在线| a v色婷婷| 91操人| 丁香婷婷色五月| www.五月婷婷.com| 色黄啪啪| 婷婷五月天资源| 欧美色图片88| 久久国产精品乱子伦_靑青草…| 熟女激情网| 久操干| 激情综合激情综合| 97碰91| 丁香五月婷婷天激情| 久草热8精品视频在线观看| 天天日日夜夜爽| 少妇人妻综合色6699| 岛国在线观看91| 五月天综合区| 五月天电影网| 久久与婷婷| 天天综合色| 99热99成人| 婷婷综合五月天| 丁香五月激情六月欧亚激情综合导航| 国产97色在线 | 日韩| 第四色网婷婷| 99爱视频| 特黄三级又爽又粗又大| 婷婷五月丁香五月天| www.色五月| 丁香涩涩五月天| 久热免费| 第2色五月婷| 26uuu欧美| www.狠狠狠.com| 国产性爱在线| 亚洲无码成人性爰网| 亚洲精品久久久久久久久久飞鱼| 婷婷大美在线| 色日本颜射| 天天成人五月天| 色爽干| 都市激情五月婷婷亚洲| 中文字幕成人日韩| 夜丁香综合| 五月婷婷日本| 久操激情| 亚洲丁香花色| 色爱五月天| 欧美日韓成人亚洲精品另类| 99热在线观看| 天天日天天干天天插天天射| 任你躁XXXXX麻豆精品| 欧美激情凹凸丁香网| 日韩精品无码AV| 久久久久久9| 99久在线精品99re8热| 婷婷狠狠干| 色六月丁香婷婷狠狠干| 99在线爽| 婷婷五月天xxx| www99精品日韩| 五月丁香六月激情综合欧美| 日韩黄色AV无码| 亚洲永久免费| site:esunnet.com| 亚洲乱码日产精品BD在线观看| 天天情色五月天| 精品综合爱| 色婷婷成人| 婷婷色色狠狠| 久久久久久久91| 色婷婷a| www.xtbsty.cn.com蜜乳AV| 不卡在线视频| 久久久久久久久人妻| 久99久在线| 亚洲V国产V欧美V久久久久久| 婷婷色五月综合| 国产资源在线视频| 26uuu精品一区二区| 天天插天天干天天舔| 超碰在线综合| 狠狠干,狠狠操| 丁香五月,激情五月,深爱五月| 丁香五月婷婷Av| 色婷婷久久| 色五月丁香五月天| 色开心五月丁香| 五月天色不卡| 五月天婷婷丁香六月| 五月丁香 啪啪| 岛国在线观看91| 久久狠狠干| 日本色婷婷久久99精品91| 婷婷成人在线| 国产精品国产成人国产三级|