欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

MATLAB實(shí)現(xiàn)受限玻爾茲曼機(jī):從原理到實(shí)踐

MATLAB實(shí)現(xiàn)受限玻爾茲曼機(jī):從原理到實(shí)踐 簡(jiǎn)介本資源是一份面向機(jī)器學(xué)習(xí)初學(xué)者與研究者的受限玻爾茲曼機(jī)RBMMATLAB實(shí)現(xiàn)代碼包聚焦無(wú)監(jiān)督特征學(xué)習(xí)與概率生成建模任務(wù)適用于圖像數(shù)據(jù)如手寫(xiě)數(shù)字的隱層表示訓(xùn)練與采樣生成。壓縮包共29個(gè)文件包含7個(gè)核心MATLAB腳本如RBM.m、trainRBM.m、gibbs.m、8個(gè)預(yù)訓(xùn)練模型參數(shù)文件.mat格式含RBM50.mat、RBM200.mat等不同隱單元規(guī)模、10張可視化結(jié)果圖.jpg涵蓋權(quán)重圖、重構(gòu)圖及損失曲線以及訓(xùn)練/驗(yàn)證數(shù)據(jù)文本digitstrain.txt等和說(shuō)明文檔README.md。資源大小為8.86MB結(jié)構(gòu)清晰模塊分工明確訓(xùn)練主流程、Gibbs采樣、Sigmoid激活、權(quán)重可視化等功能均獨(dú)立封裝便于理解RBM前向傳播、對(duì)比散度CD訓(xùn)練及采樣機(jī)制。目前已有592人學(xué)習(xí)下載可直接運(yùn)行main.m復(fù)現(xiàn)經(jīng)典RBM訓(xùn)練過(guò)程并基于K5/K10/K20等預(yù)存模型快速開(kāi)展特征提取或生成實(shí)驗(yàn)。1. 從理論到實(shí)踐為什么選擇MATLAB實(shí)現(xiàn)RBM如果你正在機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的入門(mén)階段尤其是對(duì)神經(jīng)網(wǎng)絡(luò)中的生成模型感興趣那么“受限玻爾茲曼機(jī)”這個(gè)名字你一定不陌生。它不像卷積神經(jīng)網(wǎng)絡(luò)那樣直接處理圖像也不像循環(huán)神經(jīng)網(wǎng)絡(luò)那樣擅長(zhǎng)序列但它在特征學(xué)習(xí)、協(xié)同過(guò)濾、降維乃至深度信念網(wǎng)絡(luò)的構(gòu)建中扮演著奠基者的角色。很多教程和論文會(huì)告訴你RBM的數(shù)學(xué)原理但當(dāng)你真正想動(dòng)手跑通一個(gè)例子看看它如何從一堆隨機(jī)數(shù)中“學(xué)習(xí)”出數(shù)據(jù)的潛在結(jié)構(gòu)時(shí)往往會(huì)卡在實(shí)現(xiàn)這一步。這時(shí)MATLAB就成為了一個(gè)極具吸引力的選擇。為什么是MATLAB對(duì)于算法研究者、在校學(xué)生以及需要快速驗(yàn)證想法的工程師來(lái)說(shuō)MATLAB提供了一個(gè)近乎“一站式”的環(huán)境。你不需要花大量時(shí)間去配置復(fù)雜的Python深度學(xué)習(xí)框架如TensorFlow或PyTorch及其依賴(lài)也不用擔(dān)心版本沖突。MATLAB的語(yǔ)法直觀矩陣運(yùn)算原生高效并且內(nèi)置了豐富的可視化工具這對(duì)于理解RBM這種基于概率和能量模型的“黑箱”學(xué)習(xí)過(guò)程至關(guān)重要。你可以實(shí)時(shí)看到權(quán)重矩陣的變化、重構(gòu)誤差的下降曲線甚至可視化學(xué)習(xí)到的特征這種即時(shí)反饋對(duì)加深理解有巨大幫助。當(dāng)然MATLAB并非生產(chǎn)部署的首選但其在算法原型開(kāi)發(fā)、教學(xué)演示和科研探索中的便捷性是其他工具難以比擬的。本文將帶你從零開(kāi)始在MATLAB中實(shí)現(xiàn)一個(gè)標(biāo)準(zhǔn)的二值受限玻爾茲曼機(jī)。我們不會(huì)止步于一個(gè)能運(yùn)行的“玩具代碼”而是會(huì)深入每一步背后的動(dòng)機(jī)解釋為什么參數(shù)要這樣初始化、為什么采樣要那樣做、對(duì)比散度算法究竟在干什么。我會(huì)分享在調(diào)試過(guò)程中遇到的典型“坑”比如學(xué)習(xí)率設(shè)置不當(dāng)導(dǎo)致的震蕩、權(quán)重初始化太小造成的學(xué)習(xí)停滯以及如何正確評(píng)估一個(gè)RBM模型是否真的學(xué)到了東西。無(wú)論你是想完成課程作業(yè)還是為更復(fù)雜的深度模型打基礎(chǔ)這篇內(nèi)容都將提供一條清晰的、可復(fù)現(xiàn)的路徑。2. 受限玻爾茲曼機(jī)核心原理速覽與MATLAB建模思路在動(dòng)手寫(xiě)代碼之前我們必須對(duì)RBM有一個(gè)清晰、直觀的理解這決定了我們?nèi)绾斡肕ATLAB的數(shù)據(jù)結(jié)構(gòu)和運(yùn)算來(lái)刻畫(huà)它。你可以把RBM想象成一個(gè)兩層、對(duì)稱(chēng)連接的神經(jīng)網(wǎng)絡(luò)但它沒(méi)有通常意義上的“輸出層”。底層叫可見(jiàn)層代表我們能看到的數(shù)據(jù)比如一張二值化圖片的像素。頂層叫隱藏層是我們希望機(jī)器自動(dòng)學(xué)習(xí)到的、能夠解釋數(shù)據(jù)規(guī)律的特征。每個(gè)可見(jiàn)層神經(jīng)元和每個(gè)隱藏層神經(jīng)元之間都有連接權(quán)重但同層神經(jīng)元之間沒(méi)有任何連接這就是“受限”的含義——它讓概率計(jì)算變得可處理。RBM是一個(gè)基于能量的模型。它為系統(tǒng)的每一種狀態(tài)即每一組具體的可見(jiàn)向量v和隱藏向量h的取值定義一個(gè)“能量”能量越低的狀態(tài)出現(xiàn)的概率越高。這個(gè)能量函數(shù)是核心E(v, h) -b*v - c*h - v*W*h這里v是可見(jiàn)層向量h是隱藏層向量b是可見(jiàn)層的偏置c是隱藏層的偏置W是連接權(quán)重矩陣。公式里的三項(xiàng)分別代表了可見(jiàn)單元自身、隱藏單元自身以及它們之間交互對(duì)能量的貢獻(xiàn)。我們的目標(biāo)是調(diào)整參數(shù)W, b, c使得訓(xùn)練數(shù)據(jù)即我們觀測(cè)到的v對(duì)應(yīng)的能量盡可能低也就是讓模型認(rèn)為這些數(shù)據(jù)出現(xiàn)的概率高。那么給定可見(jiàn)層狀態(tài)v隱藏層神經(jīng)元h_j取值為1的概率是多少由于層內(nèi)無(wú)連接這個(gè)計(jì)算是獨(dú)立并行的公式非常簡(jiǎn)潔P(h_j1 | v) sigmoid(c_j sum_i(v_i * W_{ij}))在MATLAB里這就是一個(gè)sigmoid函數(shù)1./(1exp(-x))的應(yīng)用。給定隱藏層狀態(tài)h計(jì)算可見(jiàn)層神經(jīng)元v_i取值為1的概率也是對(duì)稱(chēng)的P(v_i1 | h) sigmoid(b_i sum_j(h_j * W_{ij}))這種給定一層、另一層條件獨(dú)立且可并行計(jì)算的性質(zhì)是RBM能夠進(jìn)行高效吉布斯采樣的基礎(chǔ)也是后續(xù)對(duì)比散度算法的關(guān)鍵。我們的學(xué)習(xí)目標(biāo)是最大化訓(xùn)練數(shù)據(jù)的似然概率。通過(guò)推導(dǎo)權(quán)重的更新規(guī)則可以表示為ΔW learning_rate * ( v_i h_j_data - v_i h_j_model )尖括號(hào)代表求期望。v_i h_j_data是當(dāng)可見(jiàn)層固定為訓(xùn)練數(shù)據(jù)時(shí)隱藏層根據(jù)上述概率采樣或取其概率值即“均值場(chǎng)”然后計(jì)算v_i和h_j的關(guān)聯(lián)。這代表了數(shù)據(jù)驅(qū)動(dòng)的“正能量”它試圖降低訓(xùn)練數(shù)據(jù)的能量。v_i h_j_model則是模型本身定義的分布下的期望計(jì)算它理論上需要從模型分布中采樣直到平衡這非常耗時(shí)。Hinton提出的“對(duì)比散度”算法巧妙地解決了這個(gè)問(wèn)題用訓(xùn)練數(shù)據(jù)初始化可見(jiàn)層然后進(jìn)行少數(shù)幾步通常是1步即CD-1吉布斯采樣可見(jiàn)→隱藏→可見(jiàn)來(lái)近似這個(gè)模型期望。這構(gòu)成了我們MATLAB實(shí)現(xiàn)的核心迭代循環(huán)。在MATLAB中建模我們將把W定義為一個(gè)[n_visible, n_hidden]的矩陣b是[n_visible, 1]的列向量c是[n_hidden, 1]的列向量。訓(xùn)練數(shù)據(jù)data是一個(gè)[n_samples, n_visible]的矩陣每一行是一個(gè)樣本。所有的運(yùn)算都將利用MATLAB高效的矩陣乘法來(lái)實(shí)現(xiàn)避免低效的循環(huán)。3. MATLAB環(huán)境準(zhǔn)備與數(shù)據(jù)預(yù)處理實(shí)戰(zhàn)工欲善其事必先利其器。在開(kāi)始編寫(xiě)RBM核心算法前我們需要確保MATLAB環(huán)境就緒并將數(shù)據(jù)處理好。這個(gè)過(guò)程看似簡(jiǎn)單卻藏著不少初學(xué)者容易忽略的細(xì)節(jié)直接影響到后續(xù)訓(xùn)練的成敗。首先確保你有一個(gè)能正常運(yùn)行的MATLAB版本。對(duì)于RBM這類(lèi)基礎(chǔ)算法其實(shí)對(duì)版本要求并不高R2016a之后的版本都完全夠用。關(guān)鍵在于你需要熟悉如何在MATLAB中組織你的項(xiàng)目。我強(qiáng)烈建議為這個(gè)RBM項(xiàng)目單獨(dú)創(chuàng)建一個(gè)文件夾比如命名為MyRBM_Project。在這個(gè)文件夾里你可以創(chuàng)建以下文件主腳本train_rbm.mRBM核心函數(shù)rbm.m以及可能的數(shù)據(jù)加載和可視化腳本。這樣做的好處是路徑清晰便于管理也方便你后續(xù)擴(kuò)展成深度信念網(wǎng)絡(luò)。接下來(lái)是數(shù)據(jù)。RBM的可見(jiàn)層單元默認(rèn)是二值的0或1。因此我們使用的數(shù)據(jù)必須是二值化的或者可以合理地解釋為概率。一個(gè)經(jīng)典的數(shù)據(jù)集是MNIST手寫(xiě)數(shù)字但它的像素值是0到255的灰度。直接使用是不行的。常見(jiàn)的預(yù)處理方法是設(shè)定一個(gè)閾值如128大于閾值置1否則置0。但更推薦的方法是將其歸一化到[0, 1]區(qū)間即將每個(gè)像素值除以255。此時(shí)像素值可以解釋為該像素點(diǎn)“激活”為1的概率。我們的RBM代碼將能夠處理這種連續(xù)概率值此時(shí)稱(chēng)為“伯努利-高斯RBM”的可見(jiàn)層但采樣時(shí)仍按此概率進(jìn)行二值化。在MATLAB中加載和預(yù)處理MNIST數(shù)據(jù)可以借助一些開(kāi)源工具箱但為了理解本質(zhì)我們可以用一個(gè)小型人造數(shù)據(jù)集開(kāi)始。假設(shè)我們想學(xué)習(xí)一個(gè)簡(jiǎn)單的“十字”圖案。我們可以創(chuàng)建一些5x5的二值圖像其中中心行和中心列的像素為1其余為0。在MATLAB中我們可以這樣生成數(shù)據(jù)% 生成合成數(shù)據(jù)十字圖案 n_samples 1000; % 1000個(gè)樣本 img_size 5; % 5x5圖像 data zeros(n_samples, img_size*img_size); % 初始化數(shù)據(jù)矩陣 for i 1:n_samples img zeros(img_size); img(ceil(img_size/2), :) 1; % 中心行置1 img(:, ceil(img_size/2)) 1; % 中心列置1 % 添加少量隨機(jī)噪聲使數(shù)據(jù)更真實(shí) img img 0.1 * randn(img_size); % 添加高斯噪聲 img (img 0.5); % 二值化閾值0.5 data(i, :) img(:); % 展平為行向量并存入數(shù)據(jù)矩陣 end % 檢查數(shù)據(jù)維度應(yīng)該是 1000 x 25 disp(size(data));注意在實(shí)際科研中你可能會(huì)用到loadMNISTImages等函數(shù)來(lái)讀取真實(shí)MNIST數(shù)據(jù)。但無(wú)論數(shù)據(jù)來(lái)源如何預(yù)處理的核心原則是一致的確保數(shù)據(jù)矩陣的每一行是一個(gè)樣本每一列是一個(gè)特征可見(jiàn)單元且值在[0,1]區(qū)間內(nèi)。對(duì)于非二值數(shù)據(jù)務(wù)必進(jìn)行歸一化。數(shù)據(jù)準(zhǔn)備好后我們還需要思考一個(gè)問(wèn)題需不需要?jiǎng)澐钟?xùn)練集和測(cè)試集對(duì)于RBM這種無(wú)監(jiān)督學(xué)習(xí)模型我們通常用所有數(shù)據(jù)來(lái)訓(xùn)練以學(xué)習(xí)數(shù)據(jù)的分布。評(píng)估則可以通過(guò)查看模型重構(gòu)數(shù)據(jù)的能力或者用學(xué)習(xí)到的特征作為下游任務(wù)如分類(lèi)的輸入。因此在初始實(shí)現(xiàn)階段我們可以用全部數(shù)據(jù)訓(xùn)練。但一個(gè)好的習(xí)慣是始終保留一小部分?jǐn)?shù)據(jù)作為“驗(yàn)證集”用于監(jiān)控訓(xùn)練過(guò)程是否過(guò)擬合雖然RBM的過(guò)擬合風(fēng)險(xiǎn)相對(duì)較低但仍可能發(fā)生。最后初始化一個(gè)隨機(jī)數(shù)種子是個(gè)好習(xí)慣這能確保你的實(shí)驗(yàn)結(jié)果是可復(fù)現(xiàn)的。在MATLAB中可以使用rng(42)42是一個(gè)常用種子來(lái)固定隨機(jī)數(shù)生成器。這對(duì)于調(diào)試和對(duì)比不同參數(shù)的效果至關(guān)重要。4. RBM核心算法實(shí)現(xiàn)權(quán)重初始化與對(duì)比散度有了清晰的理論認(rèn)識(shí)和準(zhǔn)備好的數(shù)據(jù)我們現(xiàn)在可以著手實(shí)現(xiàn)RBM最核心的部分參數(shù)初始化和對(duì)比散度訓(xùn)練循環(huán)。這是將數(shù)學(xué)公式轉(zhuǎn)化為可運(yùn)行代碼的關(guān)鍵一步其中每一步的設(shè)計(jì)都有其道理。首先我們初始化參數(shù)W, b, c。初始化不當(dāng)會(huì)導(dǎo)致訓(xùn)練初期梯度消失或爆炸。一個(gè)廣泛使用的經(jīng)驗(yàn)法則是從均值為0、標(biāo)準(zhǔn)差較小的正態(tài)分布中隨機(jī)初始化權(quán)重W。標(biāo)準(zhǔn)差通常設(shè)為0.01或1/sqrt(n_visible)。偏置b和c可以初始化為0。在MATLAB中我們可以這樣寫(xiě)function [W, b, c] rbm_init(n_visible, n_hidden) % 初始化RBM參數(shù) % n_visible: 可見(jiàn)層單元數(shù) % n_hidden: 隱藏層單元數(shù) % 返回: 權(quán)重矩陣 W, 可見(jiàn)層偏置 b, 隱藏層偏置 c % 權(quán)重初始化使用較小的隨機(jī)值打破對(duì)稱(chēng)性 std_dev 0.01; % 或者 1/sqrt(n_visible) W std_dev * randn(n_visible, n_hidden); % 偏置初始化為0 b zeros(n_visible, 1); c zeros(n_hidden, 1); end接下來(lái)是核心的訓(xùn)練函數(shù)它實(shí)現(xiàn)了對(duì)比散度算法。我們將遵循CD-1的流程并采用“小批量”隨機(jī)梯度下降來(lái)加速訓(xùn)練并增加穩(wěn)定性。函數(shù)的輸入包括數(shù)據(jù)、隱藏單元數(shù)、學(xué)習(xí)率、訓(xùn)練輪次和批量大小。function [W, b, c, errors] train_rbm(data, n_hidden, learning_rate, n_epochs, batch_size) % 使用對(duì)比散度(CD-1)訓(xùn)練RBM % data: 訓(xùn)練數(shù)據(jù)每行一個(gè)樣本值在[0,1] % n_hidden: 隱藏層單元數(shù) % learning_rate: 學(xué)習(xí)率 % n_epochs: 訓(xùn)練輪次 % batch_size: 批量大小 % 返回: 訓(xùn)練好的參數(shù) W, b, c以及每輪的重構(gòu)誤差 [n_samples, n_visible] size(data); num_batches ceil(n_samples / batch_size); % 初始化參數(shù) [W, b, c] rbm_init(n_visible, n_hidden); errors zeros(n_epochs, 1); % 記錄每輪的平均重構(gòu)誤差 for epoch 1:n_epochs err_sum 0; % 打亂數(shù)據(jù)順序 shuffled_idx randperm(n_samples); data_shuffled data(shuffled_idx, :); for batch 1:num_batches % 獲取當(dāng)前小批量數(shù)據(jù) batch_start (batch-1)*batch_size 1; batch_end min(batch*batch_size, n_samples); batch_data data_shuffled(batch_start:batch_end, :); batch_size_curr size(batch_data, 1); % 將數(shù)據(jù)矩陣轉(zhuǎn)置便于后續(xù)矩陣運(yùn)算 (n_visible x batch_size) v0 batch_data; % 初始可見(jiàn)層狀態(tài)概率值 % --- 正向傳播計(jì)算隱藏層概率并采樣 --- % h0_prob: 給定v0時(shí)隱藏層激活的概率 (n_hidden x batch_size) h0_prob sigmoid(bsxfun(plus, c, W * v0)); % 等價(jià)于 c W*v0 h0_state h0_prob rand(size(h0_prob)); % 二值采樣 % --- 計(jì)算數(shù)據(jù)相關(guān)的統(tǒng)計(jì)量 --- % positive_associations: v_i h_j_data 的近似 positive_associations v0 * h0_state / batch_size_curr; positive_visible_bias mean(v0, 2); % v_i_data positive_hidden_bias mean(h0_prob, 2); % 這里用概率也可以用采樣后的狀態(tài) % --- 負(fù)相從模型中采樣CD-1--- % 從h0_state重構(gòu)可見(jiàn)層 v1_prob sigmoid(bsxfun(plus, b, W * h0_state)); % 重構(gòu)的可見(jiàn)層概率 v1_state v1_prob rand(size(v1_prob)); % 采樣得到v1 % 從v1_state再次計(jì)算隱藏層 h1_prob sigmoid(bsxfun(plus, c, W * v1_state)); % h1_state h1_prob rand(size(h1_prob)); % CD-1通常這里不采樣直接用概率 % --- 計(jì)算模型相關(guān)的統(tǒng)計(jì)量 --- % negative_associations: v_i h_j_model 的近似 (CD-1) negative_associations v1_state * h1_prob / batch_size_curr; negative_visible_bias mean(v1_state, 2); negative_hidden_bias mean(h1_prob, 2); % --- 參數(shù)更新 --- W W learning_rate * (positive_associations - negative_associations); b b learning_rate * (positive_visible_bias - negative_visible_bias); c c learning_rate * (positive_hidden_bias - negative_hidden_bias); % --- 計(jì)算當(dāng)前批次的重構(gòu)誤差用于監(jiān)控--- % 使用v0和重構(gòu)的v1_prob之間的交叉熵或均方誤差 reconstruction_error -sum(sum(v0 .* log(v1_prob 1e-10) (1-v0) .* log(1-v1_prob 1e-10))) / batch_size_curr; err_sum err_sum reconstruction_error; end % 記錄本輪平均誤差 errors(epoch) err_sum / num_batches; % 可選每若干輪打印一次進(jìn)度 if mod(epoch, 10) 0 fprintf(Epoch %d, Reconstruction Error: %f\n, epoch, errors(epoch)); end end end % Sigmoid輔助函數(shù) function y sigmoid(x) y 1 ./ (1 exp(-x)); end這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要解釋矩陣運(yùn)算與維度注意我們始終將數(shù)據(jù)以列向量的形式堆疊成矩陣n_visible x batch_size。這樣W * v0就能一次性計(jì)算所有樣本的隱藏層輸入極大提升了效率。bsxfun函數(shù)用于處理偏置向量與矩陣的加法對(duì)于新版MATLAB直接使用運(yùn)算符即可自動(dòng)廣播。采樣策略在正向傳播中我們根據(jù)概率h0_prob進(jìn)行了二值采樣得到h0_state。這是“隨機(jī)”RBM的標(biāo)準(zhǔn)做法。也有一種變體叫“均值場(chǎng)”方法直接使用概率值而不采樣這通常會(huì)使訓(xùn)練更穩(wěn)定但可能丟失一些隨機(jī)性。在負(fù)相中CD-1算法通常只對(duì)可見(jiàn)層進(jìn)行采樣得到v1_state而對(duì)第二次的隱藏層使用概率h1_prob來(lái)計(jì)算梯度這被證明是更有效的。重構(gòu)誤差我們使用二進(jìn)制交叉熵作為重構(gòu)誤差它衡量了原始數(shù)據(jù)v0概率值與重構(gòu)數(shù)據(jù)v1_prob概率值之間的差異。添加一個(gè)極小值1e-10是為了避免對(duì)數(shù)為負(fù)無(wú)窮。這個(gè)誤差是監(jiān)控訓(xùn)練進(jìn)程的重要指標(biāo)它應(yīng)該隨著訓(xùn)練輪次增加而穩(wěn)步下降。批量更新我們不是用一個(gè)樣本更新一次參數(shù)而是用一個(gè)小批量batch_size的數(shù)據(jù)計(jì)算平均梯度后再更新。這能減少參數(shù)更新的方差使訓(xùn)練過(guò)程更平滑也更能利用MATLAB的矩陣運(yùn)算優(yōu)勢(shì)。5. 訓(xùn)練過(guò)程監(jiān)控、調(diào)參與常見(jiàn)問(wèn)題排查代碼寫(xiě)好了直接運(yùn)行可能不會(huì)一帆風(fēng)順。訓(xùn)練一個(gè)RBM就像烹飪火候?qū)W習(xí)率、食材比例網(wǎng)絡(luò)結(jié)構(gòu)、時(shí)間訓(xùn)練輪次都需要細(xì)心把控。這一節(jié)我們來(lái)聊聊如何監(jiān)控訓(xùn)練過(guò)程調(diào)整關(guān)鍵參數(shù)并解決那些讓你抓狂的典型問(wèn)題。首先學(xué)習(xí)率是首要超參數(shù)。學(xué)習(xí)率太大權(quán)重更新會(huì)“過(guò)沖”導(dǎo)致重構(gòu)誤差劇烈震蕩甚至發(fā)散變成NaN。學(xué)習(xí)率太小訓(xùn)練會(huì)慢如蝸牛誤差下降曲線幾乎是一條平線。對(duì)于RBM一個(gè)常見(jiàn)的起始值是0.01或0.1。我個(gè)人的經(jīng)驗(yàn)是可以先設(shè)為0.1觀察前幾十輪的重構(gòu)誤差。如果誤差爆炸立刻降到0.01或0.05。如果誤差下降非常緩慢可以嘗試增大到0.2。一個(gè)更穩(wěn)健的策略是使用衰減的學(xué)習(xí)率比如每50輪將學(xué)習(xí)率乘以0.95。其次隱藏層單元數(shù)決定了模型的容量。單元太少模型無(wú)法捕捉數(shù)據(jù)的復(fù)雜結(jié)構(gòu)重構(gòu)誤差會(huì)停留在一個(gè)較高的平臺(tái)。單元太多則可能導(dǎo)致過(guò)擬合模型會(huì)記住訓(xùn)練數(shù)據(jù)的噪聲而非一般規(guī)律。對(duì)于我們的5x5十字圖案25個(gè)可見(jiàn)單元隱藏單元數(shù)可以從10到50之間嘗試。一個(gè)粗略的經(jīng)驗(yàn)法則是隱藏單元數(shù)可以與可見(jiàn)單元數(shù)在同一數(shù)量級(jí)或略少。你可以通過(guò)觀察“權(quán)重可視化”來(lái)輔助判斷如果很多隱藏單元學(xué)習(xí)到的權(quán)重圖看起來(lái)是重復(fù)或模糊的可能意味著隱藏單元過(guò)多或訓(xùn)練不足。批量大小影響梯度估計(jì)的噪聲和訓(xùn)練速度。較小的批量如10 20會(huì)帶來(lái)噪聲更大的更新有時(shí)有助于跳出局部最優(yōu)但訓(xùn)練不穩(wěn)定。較大的批量如100 200能提供更平滑的梯度估計(jì)訓(xùn)練更穩(wěn)定但可能內(nèi)存消耗更大。對(duì)于MNIST60000樣本批量大小128或256是常見(jiàn)選擇。對(duì)于我們的合成數(shù)據(jù)1000樣本批量大小64或128比較合適。訓(xùn)練輪次需要通過(guò)監(jiān)控重構(gòu)誤差來(lái)決定。在訓(xùn)練開(kāi)始時(shí)誤差應(yīng)該快速下降。隨著輪次增加下降速度會(huì)變慢最終趨于平穩(wěn)。你可以繪制誤差隨輪次變化的曲線。當(dāng)曲線在連續(xù)多輪比如50輪內(nèi)不再有明顯下降變化小于一個(gè)閾值如1e-5就可以考慮停止訓(xùn)練了。設(shè)置一個(gè)最大輪次如500作為保險(xiǎn)?,F(xiàn)在讓我們把訓(xùn)練和監(jiān)控腳本整合起來(lái)% 主腳本訓(xùn)練并監(jiān)控RBM clear; close all; clc; % 1. 生成或加載數(shù)據(jù) % 這里使用第3節(jié)生成的合成數(shù)據(jù)假設(shè)變量data已存在 % 或者加載MNIST等 % load(mnist_train.mat); % 假設(shè)數(shù)據(jù)在變量 train_x 中且已歸一化到[0,1] % data train_x; % 2. 設(shè)置超參數(shù) n_hidden 20; % 隱藏層單元數(shù) learning_rate 0.1; % 初始學(xué)習(xí)率 n_epochs 200; % 訓(xùn)練輪次 batch_size 64; % 批量大小 % 3. 訓(xùn)練RBM [W_trained, b_trained, c_trained, errors] train_rbm(data, n_hidden, learning_rate, n_epochs, batch_size); % 4. 可視化訓(xùn)練過(guò)程 figure; plot(1:n_epochs, errors, b-, LineWidth, 1.5); xlabel(訓(xùn)練輪次 (Epoch)); ylabel(平均重構(gòu)誤差); title(RBM訓(xùn)練誤差曲線); grid on; % 5. 可視化學(xué)習(xí)到的權(quán)重特征 % 將權(quán)重矩陣的每一列對(duì)應(yīng)一個(gè)隱藏單元重塑為圖像尺寸 img_size sqrt(size(W_trained, 1)); % 假設(shè)是方形圖像 if img_size floor(img_size) % 確保可以重塑 figure; for i 1:min(25, n_hidden) % 最多顯示25個(gè)特征 subplot(5,5,i); w_img reshape(W_trained(:, i), img_size, img_size); imagesc(w_img); colormap(gray); axis image off; title(sprintf(Hid %d, i)); end sgtitle(RBM學(xué)習(xí)到的隱藏層特征權(quán)重列); end運(yùn)行這段代碼后你會(huì)得到兩張圖。第一張是誤差曲線它應(yīng)該是一條平滑下降的曲線。如果曲線震蕩嘗試降低學(xué)習(xí)率。如果曲線幾乎水平嘗試增大學(xué)習(xí)率或檢查權(quán)重初始化是否過(guò)小。第二張圖是權(quán)重可視化。每個(gè)子圖代表一個(gè)隱藏單元與所有可見(jiàn)單元連接的權(quán)重。對(duì)于一個(gè)學(xué)習(xí)良好的、處理圖像數(shù)據(jù)的RBM這些權(quán)重圖應(yīng)該看起來(lái)像“邊緣檢測(cè)器”或“局部斑點(diǎn)”它們代表了模型從數(shù)據(jù)中提取的基礎(chǔ)特征。如果所有圖都是模糊的噪聲說(shuō)明模型可能沒(méi)有學(xué)到有意義的東西需要檢查數(shù)據(jù)、學(xué)習(xí)率或訓(xùn)練輪次。常見(jiàn)問(wèn)題與排查重構(gòu)誤差為NaN或Inf這幾乎總是因?yàn)閷W(xué)習(xí)率太大導(dǎo)致權(quán)重更新爆炸。立即降低學(xué)習(xí)率例如降到原來(lái)的1/10。同時(shí)檢查sigmoid函數(shù)的輸入是否過(guò)大導(dǎo)致指數(shù)運(yùn)算溢出。可以在sigmoid函數(shù)中加入數(shù)值穩(wěn)定處理y 1./(1 exp(-max(min(x, 50), -50)));將輸入限制在[-50, 50]區(qū)間。誤差不下降檢查數(shù)據(jù)確保數(shù)據(jù)已正確歸一化到[0,1]。打印幾行數(shù)據(jù)看看。檢查初始化權(quán)重初始化標(biāo)準(zhǔn)差std_dev不能為0或太小。嘗試0.01或0.1。檢查學(xué)習(xí)率學(xué)習(xí)率可能太小。嘗試增大。檢查梯度更新在訓(xùn)練循環(huán)中打印positive_associations和negative_associations的范數(shù)看看梯度是否非零且方向合理。訓(xùn)練速度慢確保你使用了矩陣運(yùn)算而不是在循環(huán)中對(duì)每個(gè)樣本單獨(dú)計(jì)算。對(duì)于大數(shù)據(jù)集可以考慮將數(shù)據(jù)轉(zhuǎn)換為single單精度類(lèi)型以減少內(nèi)存占用和加速計(jì)算但要注意精度損失。模型過(guò)擬合雖然RBM作為生成模型過(guò)擬合表現(xiàn)不如判別模型明顯但如果隱藏單元過(guò)多它可能會(huì)過(guò)度記憶訓(xùn)練數(shù)據(jù)。除了減少隱藏單元可以引入權(quán)重衰減即在梯度更新中加入一個(gè)懲罰項(xiàng)W W lr * (positive_associations - negative_associations - weight_cost * W)其中weight_cost是一個(gè)小的正數(shù)如0.0002。6. 模型評(píng)估與應(yīng)用重構(gòu)、采樣與特征提取訓(xùn)練完成后我們?cè)趺粗肋@個(gè)RBM模型是好是壞它除了能降低一個(gè)叫“重構(gòu)誤差”的數(shù)字還能做什么這部分我們將探討RBM的三個(gè)核心應(yīng)用數(shù)據(jù)重構(gòu)、隨機(jī)采樣和特征提取并在MATLAB中實(shí)現(xiàn)它們。這才是模型價(jià)值的真正體現(xiàn)。6.1 數(shù)據(jù)重構(gòu)與可視化重構(gòu)是檢驗(yàn)RBM學(xué)習(xí)質(zhì)量最直觀的方式。給定一個(gè)測(cè)試樣本我們讓RBM進(jìn)行一次“正向傳播”數(shù)據(jù)→隱藏層和一次“反向傳播”隱藏層→可見(jiàn)層得到重構(gòu)后的數(shù)據(jù)。比較原始數(shù)據(jù)和重構(gòu)數(shù)據(jù)可以直觀看出模型抓住了哪些主要特征丟失了哪些細(xì)節(jié)。% 假設(shè)我們有一個(gè)測(cè)試樣本 test_sample (1 x n_visible 的行向量) test_sample data(1, :); % 取第一個(gè)訓(xùn)練樣本作為示例 % 將行向量轉(zhuǎn)為列向量以便計(jì)算 v_test test_sample; % 正向傳播得到隱藏層概率/狀態(tài) h_prob sigmoid(c_trained W_trained * v_test); % h_state h_prob rand(size(h_prob)); % 采樣得到隱藏狀態(tài)這里我們用概率 % 反向傳播重構(gòu)可見(jiàn)層 v_recon_prob sigmoid(b_trained W_trained * h_prob); % 使用概率h_prob進(jìn)行重構(gòu) % 如果想得到二值重構(gòu)可以采樣v_recon v_recon_prob rand(size(v_recon_prob)); % 可視化比較 img_size sqrt(length(v_test)); if img_size floor(img_size) figure; subplot(1,2,1); imagesc(reshape(v_test, img_size, img_size)); title(原始圖像); colormap(gray); axis image off; subplot(1,2,2); imagesc(reshape(v_recon_prob, img_size, img_size)); title(RBM重構(gòu)圖像 (概率)); colormap(gray); axis image off; end % 計(jì)算該樣本的重構(gòu)誤差交叉熵 recon_err_single -sum(v_test .* log(v_recon_prob1e-10) (1-v_test).*log(1-v_recon_prob1e-10)); fprintf(單個(gè)樣本重構(gòu)誤差: %f\n, recon_err_single);一個(gè)好的RBM其重構(gòu)圖像應(yīng)該能清晰保留原始圖像的主體結(jié)構(gòu)。對(duì)于十字圖案重構(gòu)結(jié)果應(yīng)該依然是一個(gè)清晰的十字。如果重構(gòu)結(jié)果模糊或失真嚴(yán)重說(shuō)明模型沒(méi)有充分學(xué)習(xí)到數(shù)據(jù)的分布。6.2 吉布斯采樣與生成新樣本RBM作為一個(gè)生成模型最酷的能力是從其學(xué)到的分布中“幻想”出新的、與訓(xùn)練數(shù)據(jù)類(lèi)似但又不完全相同的樣本。這個(gè)過(guò)程通過(guò)吉布斯采樣實(shí)現(xiàn)從一個(gè)隨機(jī)初始的可見(jiàn)層狀態(tài)開(kāi)始交替地對(duì)隱藏層和可見(jiàn)層進(jìn)行采樣經(jīng)過(guò)足夠多的步驟后采樣得到的可見(jiàn)層狀態(tài)就來(lái)自于模型分布。function generated_sample rbm_gibbs_sample(W, b, c, n_steps, img_size) % 從訓(xùn)練好的RBM中通過(guò)吉布斯采樣生成樣本 % n_steps: 采樣步數(shù)越多樣本越接近模型分布 % img_size: 生成圖像的尺寸用于可視化 n_visible size(W, 1); n_hidden size(W, 2); % 隨機(jī)初始化可見(jiàn)層可以全0.5或隨機(jī)二值 v rand(n_visible, 1) 0.5; % 隨機(jī)二值初始化 % v 0.5 * ones(n_visible, 1); % 或用概率0.5初始化 for step 1:n_steps % 給定v采樣h h_prob sigmoid(c W * v); h h_prob rand(n_hidden, 1); % 給定h采樣v v_prob sigmoid(b W * h); v v_prob rand(n_visible, 1); end generated_sample v; % 最終采樣得到的可見(jiàn)層狀態(tài) % 可視化生成的樣本 if nargin 5 ~isempty(img_size) figure; imagesc(reshape(generated_sample, img_size, img_size)); colormap(gray); axis image off; title(sprintf(吉布斯采樣生成樣本 (步數(shù)%d), n_steps)); end end % 使用訓(xùn)練好的模型生成一個(gè)樣本 gen_sample rbm_gibbs_sample(W_trained, b_trained, c_trained, 1000, img_size);采樣步數(shù)n_steps需要足夠大以確保馬爾可夫鏈達(dá)到平穩(wěn)分布。通??梢詮?00步開(kāi)始嘗試觀察生成的樣本是否穩(wěn)定。如果模型訓(xùn)練得好生成的樣本應(yīng)該看起來(lái)像訓(xùn)練數(shù)據(jù)例如一個(gè)模糊但可辨的十字形狀。這是一個(gè)強(qiáng)有力的證明表明RBM確實(shí)捕捉到了數(shù)據(jù)的本質(zhì)特征。6.3 特征提取將RBM作為預(yù)處理工具RBM的隱藏層激活可以看作是對(duì)輸入數(shù)據(jù)的一種“編碼”或“特征表示”。這些特征通常比原始數(shù)據(jù)更具代表性和區(qū)分度。我們可以用訓(xùn)練好的RBM為下游任務(wù)如分類(lèi)提取特征。% 為整個(gè)數(shù)據(jù)集提取隱藏層特征 % data_matrix 是 n_samples x n_visible 的數(shù)據(jù)矩陣 data_matrix data; % 假設(shè)是我們的訓(xùn)練數(shù)據(jù) n_samples size(data_matrix, 1); % 將數(shù)據(jù)轉(zhuǎn)置為 n_visible x n_samples 以便矩陣乘法 data_for_feat data_matrix; hidden_features_prob sigmoid(bsxfun(plus, c_trained, W_trained * data_for_feat)); % hidden_features_prob 的維度是 n_hidden x n_samples % 轉(zhuǎn)置回來(lái)得到 n_samples x n_hidden 的特征矩陣 extracted_features hidden_features_prob; % 現(xiàn)在extracted_features 可以作為新的特征輸入到邏輯回歸、SVM等分類(lèi)器中。 fprintf(提取的特征矩陣維度: %d x %d\n, size(extracted_features));這里我們使用了隱藏層的概率值h_prob作為特征而不是采樣得到的二值狀態(tài)。概率值包含了更多信息通常作為特征效果更好。這些特征維度更低n_hidden維且是原始數(shù)據(jù)的一種非線性變換往往能提升后續(xù)分類(lèi)器的性能。注意在深度信念網(wǎng)絡(luò)中正是通過(guò)堆疊多個(gè)RBM將每一層的隱藏層特征作為下一層的輸入從而逐層學(xué)習(xí)到越來(lái)越抽象的特征表示。我們這里實(shí)現(xiàn)的單層RBM是構(gòu)建更復(fù)雜深度模型的基礎(chǔ)模塊。7. 性能優(yōu)化、擴(kuò)展與踩坑實(shí)錄當(dāng)你跑通了一個(gè)基礎(chǔ)的RBM并看到了初步結(jié)果后可能會(huì)想如何讓它跑得更快、更穩(wěn)、處理更復(fù)雜的數(shù)據(jù)這一節(jié)我將分享一些進(jìn)階的優(yōu)化技巧、處理非二值數(shù)據(jù)的方法以及我在實(shí)踐中踩過(guò)的一些“坑”。7.1 性能優(yōu)化向量化與并行化我們之前的實(shí)現(xiàn)已經(jīng)充分利用了MATLAB的矩陣運(yùn)算這是最大的性能優(yōu)勢(shì)。但仍有優(yōu)化空間使用單精度數(shù)據(jù)如果內(nèi)存和精度允許將數(shù)據(jù)和參數(shù)轉(zhuǎn)換為single類(lèi)型可以加速計(jì)算并減少內(nèi)存占用??梢栽跀?shù)據(jù)加載后使用data single(data);并在初始化參數(shù)時(shí)使用randn(..., single)。預(yù)分配數(shù)組在訓(xùn)練循環(huán)中我們?yōu)槊總€(gè)批次計(jì)算h0_prob,v1_prob等。確保這些中間變量不會(huì)在循環(huán)中動(dòng)態(tài)改變大小這有助于MATLAB的JIT即時(shí)編譯優(yōu)化。利用GPU對(duì)于大規(guī)模數(shù)據(jù)和大網(wǎng)絡(luò)MATLAB支持使用GPU加速。你可以使用gpuArray將數(shù)據(jù)和參數(shù)轉(zhuǎn)移到GPU上。例如data_gpu gpuArray(data);然后在GPU上進(jìn)行所有矩陣運(yùn)算。這通常能帶來(lái)數(shù)量級(jí)的加速但需要你有兼容的NVIDIA GPU和Parallel Computing Toolbox。7.2 處理實(shí)值數(shù)據(jù)高斯-伯努利RBM我們的RBM假設(shè)可見(jiàn)層是二值的。但現(xiàn)實(shí)中很多數(shù)據(jù)是實(shí)值的比如像素灰度值、音頻波形等。這時(shí)可以使用高斯-伯努利RBM。其核心改變?cè)谟诳梢?jiàn)層單元的條件分布從伯努利分布變?yōu)楦咚狗植颊龖B(tài)分布。這意味著可見(jiàn)層單元v_i的條件均值是sigmoid(b_i sum_j W_{ij} h_j)的函數(shù)但方差需要額外學(xué)習(xí)或固定。數(shù)據(jù)需要標(biāo)準(zhǔn)化為零均值和單位方差或某個(gè)固定方差這是高斯分布的要求。權(quán)重更新公式需要做相應(yīng)調(diào)整。在MATLAB中實(shí)現(xiàn)時(shí)一個(gè)常見(jiàn)的簡(jiǎn)化是固定可見(jiàn)層方差為1。此時(shí)可見(jiàn)層采樣公式變?yōu)関_i ~ N( mean_i, 1 )其中mean_i b_i sum_j W_{ij} h_j。 而重構(gòu)誤差則從交叉熵變?yōu)榫秸`差。這需要對(duì)train_rbm函數(shù)中的采樣和重構(gòu)誤差計(jì)算部分進(jìn)行修改。這是一個(gè)重要的擴(kuò)展方向讓你能處理MNIST原始灰度圖等數(shù)據(jù)。7.3 我的踩坑實(shí)錄與經(jīng)驗(yàn)技巧學(xué)習(xí)率與權(quán)重初始化的耦合我曾遇到過(guò)模型完全不學(xué)習(xí)的情況誤差曲線是一條直線。排查后發(fā)現(xiàn)是因?yàn)闄?quán)重初始化標(biāo)準(zhǔn)差std_dev設(shè)得太小如1e-5導(dǎo)致sigmoid函數(shù)的輸入始終在0附近梯度極小。無(wú)論學(xué)習(xí)率多大更新都微乎其微。經(jīng)驗(yàn)權(quán)重初始化的尺度要與學(xué)習(xí)率匹配。通常用1/sqrt(n_visible)或0.01是安全的起點(diǎn)。“死神經(jīng)元”問(wèn)題在訓(xùn)練過(guò)程中某些隱藏單元可能因?yàn)槌跏紮?quán)重不利或?qū)W習(xí)過(guò)程中梯度始終很小導(dǎo)致其激活概率永遠(yuǎn)接近0或1不再對(duì)學(xué)習(xí)有貢獻(xiàn)。這被稱(chēng)為“死神經(jīng)元”。對(duì)策可以監(jiān)控隱藏層的平均激活度。如果某個(gè)單元的平均激活度在整個(gè)訓(xùn)練集上長(zhǎng)期接近0或1可以考慮在偏置更新中加入一個(gè)“稀疏性”懲罰鼓勵(lì)平均激活度接近一個(gè)目標(biāo)值如0.1或者簡(jiǎn)單地重新初始化這個(gè)神經(jīng)元的權(quán)重。CD-K中K的選擇我們使用了CD-1即只進(jìn)行一次吉布斯采樣。理論上K越大CD-3 CD-10對(duì)模型期望的近似越好但計(jì)算成本也越高。在實(shí)踐中CD-1對(duì)于很多問(wèn)題已經(jīng)足夠好并且是訓(xùn)練深度信念網(wǎng)絡(luò)時(shí)的標(biāo)準(zhǔn)選擇。經(jīng)驗(yàn)除非你追求極致的模型性能并且有充足的計(jì)算資源否則CD-1是性?xún)r(jià)比最高的選擇。重構(gòu)誤差下降但生成樣本質(zhì)量差有時(shí)誤差曲線看起來(lái)很好但用吉布斯采樣生成的樣本卻是一團(tuán)噪聲。這可能是因?yàn)槟P拖萑肓四硞€(gè)局部最優(yōu)或者學(xué)習(xí)到的分布是多峰的而采樣過(guò)程沒(méi)有充分混合。排查嘗試增加吉布斯采樣的步數(shù)如5000步并使用不同的隨機(jī)種子初始化。同時(shí)檢查訓(xùn)練數(shù)據(jù)的多樣性是否足夠。MATLAB版本與函數(shù)兼容性代碼中使用了bsxfun函數(shù)這在舊版MATLAB中是必須的。但在R2016b及以后版本MATLAB引入了隱式擴(kuò)展可以直接使用、-、.*、./等運(yùn)算符對(duì)維度匹配的數(shù)組和向量進(jìn)行操作。如果你在新版MATLAB中看到關(guān)于bsxfun的警告可以安全地將其替換為直接運(yùn)算符。例如h0_prob sigmoid(bsxfun(plus, c, W * v0));可以寫(xiě)成h0_prob sigmoid(c W * v0);MATLAB會(huì)自動(dòng)將列向量c擴(kuò)展到與矩陣W*v0相同的列數(shù)。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久热这里只有精品6| 婷婷激情小说| 狠狠狠婷婷五月综合| 国产婷婷婷| 五月丁香六月欧美| 99这里有精品免费| 99ri在线视频| 欧美超碰人人| 狠狠婷婷色| 久久总和99| 欧美熟女乱又伦| 欧美日韩国产日本精品四虎网网站物| 欧美内射AAAAAAXXXXX| 婷婷五月花西瓜| 七七色色综合| 99re资源在线视频导航| 成人美女网| 99九九在线视频| 日日射天天射| 26uuu四色| 九月婷婷综合在线| 99re8热精品免费视频| 婷婷午夜激情| 婷婷五月激情中文字幕| 第四色婷婷五月| 亚洲综合视频八| 高清视频一区| 日本三级99人妇网站| 婷婷六月激情综合| 亚洲人人操BD| 激情五月激情综合网一级丸片| 日韩大片艹艹| 婷婷丁香成人色综合| 综合网亚洲| 开心深爱激情网| 五月婷婷香蕉| 最新日本A片| 区啪精品| 五月婷婷黄色毛片| 五月婷婷综合性爱噜噜| a片在线免费观看一区| 午夜69成人做爰视频| 67194成I人在线观看线路1| 深爱激清网| 人妻系列久久久久久久久久久| 久久精品五月天| 欧美性猛交99久久久久99按摩| 久久XX| 狠狠干综合网| 国产精品成人av在线观看春天| 青草网在线观看| 9久久久| 成人国产欧美大片一区| 女人被躁到高潮嗷嗷叫小| 偷拍91九色| 草逼大片| 日韩色色视频| 性生活视频98791| 亚洲视频99| 五月婷婷狠狠干| 99久热这里有精品| site:jszngf.com| 久久黄A片| 九9九9无码| 91丨人妻丨国产丨丝袜| 婷婷五月,偷窥偷拍网| 在线不卡的视频| 免看黄大片AA | 丁香五月色情| 日韩成人影片网站| 色播jjjj| 哇嘎成人久久| 婷婷久久五月| 情婷婷五月天在线| 丁六月激情| 亚洲婷婷丁香五月亚洲| 天天xxxxxx天天日| 天天插天天日| 婷婷大香蕉| 亚洲中文乱字字幕在线永久| 激情五月丁香五月| 亚洲国产精品SUV| 蜜桃成语时李时珍 免费| 亚洲欧美婷婷五月色综合| 色综合色色色| 极品精品一区二区三区在线| 4438成人电影| 夜夜爽天天| 婷婷97狠狠干| 五月天天爽| 五月综合婷婷五月| 九九视频在线| 日韩有码一区| 任你艹| 色婷婷丁香网| 激情五月综合网最新 | 亚洲射激情| 亚洲婷婷丁香五月亚洲| 俺去也综合| 日韩综合天堂| 9视频在线成人网站| 欧美五月婷婷综合| 婷婷色网站| 婷婷色五月激情| 天天拍夜夜爽| 97人凄人人操人人爽| 精品人妻久久久久久| 久久小说网| 九九热狼人| 狠狠爱成人综合网| 99热1| 色婷天天| 丁香六月婷月91婷月| 91无码视频| 丁香婷婷五月六月久久| 亚洲avjiujiur91| 日本三级大片| 丁香婷婷噜噜| 欧美电影在线观看| 久久狠婷婷| 99热这里只有99| 精品婷婷五月视| 色婷婷www| 精品99视频| 激情综合色| 久久大国产香蕉| 92久操视频| 久久久com| www.日韩艹| 这里有精品| 五月婷婷在线免费观看| 亚洲mm免费| 日本色99| 五月婷婷丁香婷婷| 91操操| 激情超碰网| 人人97碰| 色婷婷在线视频综合| 超碰免费大香蕉| 免费观看全黄做爰的视频| 婷五月天六| 色综合色综合色综合高潮| 五月丁婷婷| 美欧日韩国产成人在战| 97艹| 成人电影丁香六月天| 日本在线99| 亚洲精品V天堂中文字幕| 欧美日韩国产日本精品四虎网网站物| 综合五月天婷婷色| 九九成人| 六月丁婷婷| 五月激情站| 丁香狠狠干| 9色在线| 开心婷婷五月| 婷婷五月天直播| 91狠狠色丁香| 婷婷综合在线| 亚洲成人在线观看网址| 亚洲色情在线| www.韩日视频| 婷婷综合色五月天| 成人国产欧美大片一区| 97色在线| 五月婷视频在线| 天天爱天天天射AV| 射久久丁香五月| 天天操夜夜操| 秋霞午夜理论| 成人精品一区日本无码网 | 九伊人网| 99综合视频| 日韩99无码| 丁香六月婷婷高清| 精品人妻午夜一区二区三区四区| 5月婷婷激情6月| 色九九综合| 超碰人人超碰| 日本久久99| 久热伊人在91| z色五月播播久久| 色婷婷久久7777| 天天天日天天天干| 日本二级毛片二级毛片| 五月天天堂久久| 不卡影院午夜理论片| 男妓跪趴把舌头伸进我的嘴巴| 婷婷在线观看五月天在线视频| 五月婷婷久久久| 玖玖综合色| 影音先锋男人资源站一区二区| 五月婷婷激情视频| 丁香婷婷色色| 色五月成人| 六月婷在线| 综合色色婷婷| 日本色99网站| 9热在线观看| 成人短视频免费观看| 日日天天干| 伊人9草在线观看| 天天肏天天肏天天肏| 狼人婷婷久久| 色99色| 91艹人| 最新高清无码专区| 丁香五月综合婷婷| 久久婷婷六月综合| 日韩综合网络男女香蕉a片| 欧美丁香五月97色| 色婷婷丁香五月观看| 桃色成人网| 久久深爱激情网| 丁香花五月天婷婷成人社区| 色婷婷国产精品综合在线观看| 天堂综合久久| 9l视频自拍9l九色成人| 玖玖福利视频资源| 淫视馆AV在线| 开心色色五月天综合| 狠色色狠网| 思思热久久爱| 色香欲综合| 久久er+| 婷婷色五月大香蕉在线| 色五月婷婷大香蕉| 夜夜爽日日躁| 丁香六月| 伊人激情AV一区二区三区| 九六五月天婷婷| 免费看欧美成人A片无码| 婷婷五月天激情综合深爱激情 | 亚洲欧美一区二区三区四区爱爱动图| 欧美啪啪五月天| 亚洲无码另类| 噜噜色com| 六月久久婷婷| 五月天婷婷综合色| 婷婷五月天久久久| 五月天婷婷在线观看| 九九九九综合| 久久九九囯产| 欧美搡BBBBB摔BBBBB| 五月天久久www| 欧美搡BBBBB摔BBBBB| 五月婷婷二月丁香| 超碰在线国产| 97一区二区| 五月天婷婷成人| 99热情这里只有精品在线播放 | 色色无码日韩| 六月婷婷香蕉| 丁香婷婷五月天成人| 婷婷色九月| 日本在线视频手机播放五月婷| 一起草日本| 亚洲超碰在线| 欧美成人色婷婷| 五月丁香啪啪| 久re热视频| 久久久国产精品黄毛片| 超碰在线99| 草逼大片| 1995年关宝慧版蜘蛛女| 婷婷综合另类小说| 婷婷五月天色色| 任我肏视频精品| 五月丁香啪啪网| 婷婷五月天久久| 99热这只有| www.97碰碰com| 黄色片avv| 六月丁香五月天| 国产午夜一区二区三区| 国产精品A片| 五月婷婷久久久| 97干干干丁香| 五月天婷婷在线AN| 任我肏| 99热这里只有精品热| 久久 中文 日本| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 婷婷五月天成人网站| 婷婷,五月天,丁香,第一| 91婷婷五月丁香碰| 日本操B片| 欧美激情综合五月色丁香| 大香蕉啪啪啪| 亚洲色五月天| 99色热| 激情影院丁香五月| 五月丁香婷爱在线| 婷婷五月天堂一本在线| 婷婷五月丁香手机在线视频| 六月婷婷久久大全| 亚洲国产va| 婷婷五月综合在线视频| 2w在线视频| 丁香五月婷婷五月天在线| 任我鲁这里有精品视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 嫩草乱码一区三区四区| 99在线观看精品视频| 天天插天天草人人玩| 亚洲Va成人| 亚洲人人艹| 成人亚洲精品久久久久| 精品9197碰| 亚洲黄色网址| 超碰在线资源| 超级碰碰碰碰视频| 1024国产| 精品无码av丁香五月激情| 色狠狠狠干| 五月天国产成人| 3pAV| 极品五月天| 麻豆五月丁香婷婷| 色老久久| 九九黄色网| 99精品在线观看| 99热这里只有精品55| 亚洲中文乱字字幕在线永久| 久热99| 俺去也综合| 激情五月综合| 99热网精品| 婷婷的五月天另类视频| av在线不卡播放| 色综合色婷色基地| 狠狠舔| 五月情四婷婷| 九九免费视频| 久操人妻| 色九九综合色| 日本在线视频播放91| 五月丁香啪啪综合| 综合综合色色| 日本九九热| 久久久精品色| 99久久婷婷国产综合精品草原| 可以免费观看的AV| 婷婷桃色网| 五月天丁香综合久久国产| 亚洲99综合| 26uuu色噜噜精品一区| 色婷丁香| 色丁香五月婷婷在线| 狠狠色综合网| 久久婷色| 亚洲Av成人在线观看| 91超级碰碰| 丁香五月骚喷水视频| 丁香婷婷中文字幕| 99色亚洲| 91av无码| 五月天大香蕉| 26UUU欧美| 婷婷九月丁香| 久超免费视频| 思思99久久| 只有精品在线观看| 久久综合丁香激情五月| 久热久| 五月天丁香色色| www一起操在线观看| 综合五月草| 有哪些A片网站| 五月丁香色婷婷色| 婷婷五月,综合伊人| 人妻熟女一区二区AV| 99婷婷精品推荐在线视频| 亚洲操B视频| 欧美情月伍月天| 五月婷婷视频28| 激情综合五月天| 一级AV片| 婷婷六月丁香综合| 九九热10| 三级99热| 天天摸天天日天天舔| 日韩无码色色| 五月丁香激情婷婷| 91午夜激情| 婷婷久久综合久| 真实的国产乱XXXX在线91| 另类激情五月| a久久| 香蕉久久国产AV一区二区| 98永久精品| 丁香婷婷啪啪啪| 啪啪综合网| 激情婷婷网| 亚洲色情一区二区三区四区| 婷婷丁香人妻天天爽| 丁香五月成人自拍| 色久激情在线| 色婷婷很很十八禁| 亚洲黄网AV| 在线观看熟女少妇| 99爱视频免费| 色婷婷综合久久久久| 久久思思热视频| 天天插天天干| 97人人操人人爽| 日本激情综合| 99热只有| 久热这里只有精品性色AV| 九九视频在线观看| 一起操 91N.com| 五月婷婷免费| 91se精品国产| 久久66精品| 丁香婷婷综合激情五月色| 人妻综合网| 2020日日干| 丁香五月婷婷综合91| 亚洲婷婷丁香五月在线| 97天堂| 毛片网站谁有| 丁香五月天激情综合| 狠狠爱综合网| 丁香六月综合激情| 天天日夜夜高潮| 久久久婷婷| 男人天堂99| 91人人网| 亚洲精品国产setv| 玖玖热视频| 亚洲国产成人在线| 久久xxxx| 色五月丁香五月五月婷婷| 这里只有精彩视频| 亚洲性爱干干| 婷婷五月色播天| 中文字幕 久久9999| 91久久99久久91熟女精品| 丁香丁婷五月激情| 丁香五月综合| 天天色综合综合| 免费色婷婷| 五月婷婷丁香综合| 91丁香| 99热综合色图| 成人噜噜网| 99热这里是精品| 美女va| 丁香久久| 九九热视频思思| 九九在线热九九在线热99热| 五月丁香婷爱在线| 成人网在线视频| 91丨九色丨高潮丰满日本| WWW,五月| 九九色逼| 夜丁香五月婷婷| 日本九九九九九九| 丁香久久| 快色t v在线入口| 色很久综合| 91九色在线视频| 婷婷伊人| 在线不卡AC| 99热一区| 狠狠色噜噜狠狠色噜噜噜999| 无码人妻丰满熟妇奶水区码| 色婷婷丁香香香蕉视频| 欧美五月婷婷| 国产肥白大熟妇BBBB视频| 色婷婷五月天综合网| 丁香五月天天| 丁香五月激情婷婷| 99热综合网| 国产成人网址| 亚洲中文字幕在线电影| 91色噜噜狠狠狠狠色综合| 99久热这里只有精品视频删减版| 99碰碰碰| 久久久噜噜噜久久人妻| 色五月六月| 久久激情网| 在线中文AV| 婷婷在线播放| 激情小说五月天中文字幕| WwW色婷婷| 色婷婷丁香五月| 激情深愛五月視頻| 狠狠色噜噜狠狠| 思思热在线视频精品| 天天热夜夜操| 九月婷婷综合| 97色视频网| 天天日天天插| 天天综合精品| 丁香五月综合在线播放| 久久人人看| 岛国AAAV| 午夜丁香婷婷| 婷婷五月六| 九九综合久久丁香婷婷,开心激情综合网| 日本婷婷色| 九九av| 开心激情网五月| 综合亚洲六月婷婷在线| 超碰伊人碰婷婷五月| 国产亚洲精品久久久久久牛牛| 天天天天天天操| 一區四區歐美日韓| 五月天激情四射| 色婷婷AV久久| 亚洲V国产V欧美V久久久久久| 色综合天天综合成人网| 狠狠999| 91操片| 亚洲av综合在线| 在线只有精品| 激情六月丁香| 五月婷婷丁香六月| 婷婷丁香五月亚洲免费| 亚洲综合色丁香五月天| 色五月开心婷婷| 婷婷精品综合| 亚洲成片在线观看| 懂色av粉嫩AV蜜臀AV| 九九九九这里只有精品| www.色9| 亚洲狠狠干| 亚州视频九九99| 五月婷五月婷伊人伊人五月婷| 色吊丝永久访问网址| 成人AV播放| 日欧一片内射VA在线影院| 老司机伊人| 99色综合网| 亚洲性爱电影| 婷婷九月亚洲| 国产婷婷综合| 久久综合影院 | 97人人草| 91婷婷| 久久婷婷五月综合色和| 超碰国产一区| av操B网站| 91精品国产综合久久久不卡电影| 思思热在线观看| www五月| 九九碰九九爱97超碰| 我去色色网五雨天| 久久免费操| 色色狼人综合| 久操大香蕉| 丁香花色色网| 五月天另类小说| 色婷五月天激情| 亚州AV超碰人人操| 超碰狠狠色| 99视频一区| 丁香六月婷婷综合在线| 午夜五月天| 狠狠五月激情丁香六月| AV性爱在线| 熟女激情五月天| 99热久| 婷婷色婷婷| 丁香五月人妻| 五月婷丁香| 婷婷色在线| 搡BBBB搡BBB搡18 | 精品视频网| 婷婷综合九月| 色婷久久| 色综合久久88色综合天天人守婷| 国际国外精品欧洲南美洲专区无码不卡| 婷婷天天综合| 五月激情婷婷在线| 婷婷五月激情小说| 91精品综合久久久久久五月丁香| 天天爽天天爽| 亚洲狠9| 狠狠色婷婷丁香五月| 激情久久久久久久久久| eeuus五月婷| 三级大香蕉网| 久久免费操| 可以免费观看的AV| yw国产AV| 激情综合九月| 九九热在这里只有精品| 丁香五月婷婷色情综合| 色五月综合在线| 五月婷视频| 国产在线aaa片一区二区99| 九色亚洲| 99ri在线观看视频| 婷婷狠狠五月综合| 99性爱视频| 99热精品无码| 婷婷五月激情在线| 久热九九| 九九久久这里只有精品XB| 久久人妻www| 夜夜骑夜夜撸| 久婷婷久草| 中文字幕av在线| 五月丁六月香av| 婷婷五月六月丁香| 国精产品一区一区三区免费视频| 99啪视频在线观看| 热热久久精品视频| 丁香五月成人婷婷| 97碰碰碰免费公开在线视频| 91日综合欧美| www.99热视频在线观看| 9九色首页| 熟女人妻一区二区三区免费看| 亚洲爱婷婷| 99久热这里有精品| 国产在线黄色| 日本色色视频| 色五月婷婷天天干| 婷婷情色五月天| 丁香五月婷婷综合啪啪| 亚洲操逼片| 性日本精品| 欧洲色| ai97re99一本| 五月丁香综合啪啪| 亚洲色色图片| 婷婷色五月久久| 五月婷网| 丁香六月成人网| 亚洲视频色色| 久久婷五月天| 99色| 五月天自拍视频| 五月丁香啪啪激情| 少妇婷婷五月天| 亚洲、热| 丁香五月天啪啪| www98日本小时间到了| 天天橾日日橾夜夜橾17| 开心婷婷五月| 另类小说五月天| 久热只有精品| 狠狠 久久| 99热精品9| 综合色色色| 91久久综合| 五月花激情| 精品人妻一区二区三区在| 国产韩日亚洲美州欧亚综合在线| 大香蕉五月婷婷| 亚洲成人综合网在线免费观看| 狠狠另类视频| 99热婷婷| 天天在线天天综合网色| 成人婷婷| 婷婷五月天综合久久| 色婷婷五月在线| 91热久88| 日本五月视频| 日韩在线观看网址| 五月婷婷成人w| 操一区| 久久er视频6| 超碰人人干| 久久婷婷婷| 97精品在线| 狠狠色丁香久久综合婷婷亚洲成人福利 | 大香蕉综合网| 色色色99| 99热首页| 蜜臀A∨在线水帘洞| 五月天综合久久| 思思久久99热| www.夜夜| 西瓜美女a片| www免费在线视频| 丁香五月婷婷动漫| 97caop| 狠狠色无码| 综合色七七| 婷婷九月激情网| 五月丁香网站| 色婷婷六月精品| 少妇性BBB搡BBB爽爽爽电影| 五月丁香婷婷激情久久| 5月丁香综合图区| 五月婷婷狠狠干| 九九热内射| 五月天综合视频| 9伊人网| 综合久久久| 色综合激情| 综合激情五月丁香| 九九免费视频在线| 射婷婷中文字幕| 亚洲另类噜噜| 色99自拍| 丁香激情五月天| 五月天久久www| 91九九精品| 五月激情婷婷综合| 凹凸7777操操操| 淫五月停停| 婷婷五月六| 91人操人人人操人| 色色吧综合| 五月婷丁香花| 成人超碰网| 天天操天天曰| 欧美极品999| 久久怡红院| 丁香成人综合| 狠狠色网| 日韩成人网址| 色五月首页| 99在线视频播放| 久草热8精品视频在线观看| 五月天激情子轮| 久久婷五月综合| 色婷婷成人做爰A片免费看网站| 五月丁香基地| 97久久久久| 日本乱子人伦在线视频| 能看的av| 久久在这里有精品| 久久色9| 91chinese在线| 中国激情网| 色噜噜97视频在线观看| 成人亚洲精品久久久久| 婷婷五月天视频| 免费黄色视频网址| 天天肏视奸| 婷婷丁香色五月| 色天天综合成人网| www.婷婷| 欧美日韩精品一区二区三区钱| 亚洲另类电影| 亚洲第一视频 久久| 色婷婷久久综合| 人碰人人人玩91| 久久ab| 五月天婷婷激情在线色图| 色五月天天在线观看资源站| 99在线综合视频| 日本天天色| 91色在线 | 日韩| 婷婷激情鹿城五月天| 色婷婷五月在线| 色欲五月丁香| www.天天干| 九九热精品| 亚洲精品性色| 9久热| 久久国产高清| 99欧美精品99日本精品| 五月天社区| 六月丁香av| 久久激情五月天| 婷婷久久久久久久| 久久婷婷综合网| 天啪色| 91肏肏肏| 久久99久久99精品免视看婷婷| 亚洲色夜| 五月丁香成人小说| 亚洲色在线观看| 婷婷色播综合五月| 欧美五月丁香在线| 婷香五月| 色婷婷色综合| 日本人妻伦在线中文字幕| 91精品91久久久中77777| 狠狠操狠狠| 欧美日韩aaaa| 99在线精品视频免费| 亚州操操| 97人人爱人人操| 超碰在线观看caop| 欧美在线ee日韩| 免费无码毛片一区二区A片| 俺去也婷婷| 天天插天天插天天插天天插| 五月天婷婷视频小说| 五月花丁香婷婷| 丁香五月天激情综合网| 丁香婷婷免费| 五月婷婷久久开心网| 亚洲成人色五月天| 99热这只有| 99色看这里只有精品| 六月丁香婷婷色狠狠久久| 亚洲av电影网站| 四LLL少妇BBBB槡BBBB| 狠狠色色| 中文字幕日产A片在线看| 久久久婷| 九九热精品| 精品国产AV色一区二区深夜久久| 婷婷五月激情综合| 国产乱妇无乱码大黄AA片| AAA久久| 中文字幕黄色片| 超碰99热| 黄网在线免费| 97干干干丁香| 丁香五月激情啪啪综合| 91啦丨九色丨刺激中文| 操操操91| 色吊丝永久访问网址| 色综合丁香婷婷| 91一起艹| 91精品熟女| 第四色色六月色综合| 日日噜噜久久婷婷五月天| 日夜夜天天| 婷婷五月天成人网站| 99热日韩| www.狠狠| 婷婷五月天精品| 色婷婷色99国产综合精品| 国产一区二区三区影院| 91综合视频丁香| 色99超碰| 九九操操| 狠狠色狠狠鲁| 色色哒五月婷婷六月丁香| 99re6久热只有精品6在线直播| 亚洲成人五月天| 欧美色色色色色色色色色色| 亚洲激情五月| 国产视频色色色色色色色| 亚洲性爱AV| 欧美在线看| 久热九九| 亚洲久久婷婷| 丁香五月婷婷六月丁香| 六月丁香激情网| 99热免费| 欧美性爱丁香五月| 99久久婷婷国产综合精品| 99热精品在线播放| 国产精品久久久久久久久久免费 | 亚洲综合网 665566| 九九视频精品这里只有| 丁香五月a| 欧美99热| 亚洲狠狠色丁香婷婷综合久久| 亚洲电影在线观看| 香蕉97碰碰碰超视精品| 婷丁香久综合| 激情深爱五月| 99热在线只有精品| 97日本操| 人人爽天天莫| 五月丁香色婷婷熟女| 久久丁香五月| 久久黄色片| 九九99热| 99在线观看视频免费| 99无吗| 激情五月丁香婷婷| 久色大香蕉| 激情五月深爱五月观看| 激情五月婷婷六月丁香| 激情五月五月婷婷| 亚洲不卡123| WWW色综合| 桃色五月天| 国产精品久久久爽爽爽麻豆色哟哟| 色五月婷婷影视| 色色色在线播放| 婷婷五月天成人网| 精品欧美一区二区三区久久久| 婷婷精品综合| 日日做夜夜爱| 九九无码| 99精品综合视频| 色月丁| 插少妇综合网| 日韩无码专区| 人人草碰| 五月婷婷激情综合在线| 丁香五月天在线观看| 少妇做爰免费视看片| 一本久道综合99| 亚洲精色| 强辱丰满人妻HD中文字幕| 日韩综合久久| 五月婷婷开心综合| 色婷婷基地 | 狠狠搞五月天| 色婷婷88| 丁香五月婷婷社区| 日韩无码一区二区三区四区| 天天情色五月天| 色999五月色| 日本3级片偷拍网站| 五月天综合婷婷| 成人 在线观看国产| 99在线观看| 精品爆操| 综合久久婷婷99| 天天色五月| 思思热精品在线| 国产avapp 网| 色色色热| 日本三级色| 九九色热视频| 成 人片 黄 色 大 片| 66精品国产成人| 日韩性视频| 综合久久五月| 激情综合网,婷婷五月天| 五月色网| 97人妻碰碰碰久| 丁香五月综合激情啪啪| 国产精品国产| 5月婷婷6月六月丁香| 五月丁香久久激情综合| 日日夜夜天天爽| 国产人妻人伦精品一区二区| 就99这里只有精品| 久99| 国产日批视频| av中文在线| 熟女激情网| 五月天成人综合| 九九热色视频| 婷婷五月激情图片| 丁香六月激| 99色精品| 丁香五月AV综合| 色五月婷婷av| 午夜免费试看| 五月丁香在线观看| 日韩九九视频| 另类激情综合| 狠狠操天天操| 五月天激情影院| 亚洲久久视频| 中文字幕有多少字| www.俺去也com| 日韩三级高清无码| 婷婷五月天伊人网| 超级碰碰视频无码| 天天做天天爱天天高潮| 丁香六月婷婷久久高清| 色综合久| 久久亚洲色导航| 欧亚成人A片一区二区| 丁香五月综合在线| 韩国不卡AC视频| 思思热久久爱| 丁香婷婷浪潮AV久久综合| 激情久久五月网| 蜜臀综合久草| 狠狠色噜噜狠狠狠狠综合| 另类在线观看视频| 99久久综合| 丁香五月天AV在线| 人妻体体内射精一区二区| 亚洲精品性色| 色综合av超碰| 亚洲精品成人| 五月色视频| 青青草青青草五月天| 丁香五月婷婷在线观看| 婷婷亚洲久久| 婷婷激情六月综合| 五月丁色AV| 黄色av高清| 99九九在线精品热动漫| 涩涩涩,com| 红桃91人妻爽人妻爽| 婷婷久久丁香| 影音先锋按摩| 色色色五月天婷婷| 久9免费视频| 爱之国产色情综合| 91色五月在线观看| 999激情视频| 天天日狠狠| 97爱综合| 国产精品美女| 狠狠色性| 久久看九九90| 99在线热| 六月婷婷国产| 五月天婷婷香蕉狠狠超碰综合| 女人天堂AV| 婷婷六月久久综合导航| 久久久婷| 久久性爱激情| 成人丁香五月| 亚洲色A| AV在线观看网站| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 极品精品一区二区三区在线| 停婷丁五月在线| 草操AV在线| 精品欧美一区二区三区久久久| 开心激情婷婷| a v色婷婷| 日韩欧美成人片| 51精品国自产在线| 人人干人人操人人摸| 激情深爱婷婷网| 久久久久婷| 99热在线观看| 天天爱天天操| 夜夜骑日日夜夜| 激情综合在线观看| 黄色片avv| 思思热在线| 五月婷婷综合在线| 青青操avbb| 婷婷操超碰| AV在线免费观看不卡| 婷婷成人五月天成人文学| 婷婷五月丁香五月天| www.99在线| 丁香激情五月少妇| 久久曰曰| 成人AV免费观看| 五月天色婷婷激情| 色插综合网| 久久婷狠狠色| 97丁香视频| 精品国产AV色一区二区深夜久久 | 成人欧美一区二区三区在线观看| A级毛片高清免费不卡播放谢谢谢谢| 丰满人妻妇伦又伦精品国产 | 久热久| 狠狠狠狠狠狠| 激情五月综合网最新| 操操操www.com| 永久免费一区二区三区| 九九99九九精品免费 | 天天噜日日噜综合无码| 成人开心五月天| 69激情小说| 六月婷婷俺也去| 九九RE视频在线精品| 停停综合色色| 91欧美日韩| 2050人人操免费工开爱| 欧美搡BBBBB摔BBBBB| 婷婷五月激情网| 五月婷婷综合在线视频小说| 五月婷婷之激情五月| www.久久| 婷婷色吧| 丁香 亚洲 久久| 一级韩国产精品毛| 嫩草AV久久伊人妇女超级A| 亚洲中文字幕av| 强伦轩人妻一区二区电影| 99人碰碰碰| 色噜噜狠狠色综合成人99| 激情第四色| 日本婷色| 婷婷欧美激情| av五月天婷婷丁香| 色五月丁香六月婷婷| 午夜激情五月| 欧洲免费视频色| 青青草原99热| 天天插综合在线| 99成人网站| 最新激情五月天| 激情com| 综合婷婷六月| 色五月婷婷在线视频| 婷婷六月丁香激情综合| 五月丁香六月激情网| 欧美韩日AAA网站| WWW.开心五月天.COM| 五月婷在线视频免费播放| 性 色 婷婷| 丁香色播五月天| 99爱免费在线视频| 六月丁香好婷婷| 五月激激激情综合网| 久久成人天| 婷婷欧美激情| 五月激情婷婷播播开心| www,婷婷| 天天拍天天操| 五月婷婷六月丁香综合| 天天精品视频免费观看| 亚洲AV免费在线| 精品久久久91久久影视网| www.丁香黄色五月天人与| 亚洲天堂制| 亚洲色图日韩网址| 丁香综合网| 色色综合成人网| 色优久久| 丁香五月老师| 亚洲欧美999| 超碰在线9| 色播播五月天| 免费看欧美成人A片无码| 色色色香蕉五月婷| 成人网站高清无码| 久久丁香| 国产AV一区二区三区最新精品| 日本91在线播放| 9热久久| 中文字幕黄色片| 婷婷五月丁香在线观看| 九九视频这里有精品| 97人妻碰碰碰久久香蕉| 99久久久久| 99超超碰| 中文字幕av亚洲| 99er这里只有精品视频| 五月天欧美激情| 天堂综合久久| 久久婷五月天| 婷婷激情五月天激情小说| 色欲色天天香综合| 色婷婷丁香五月观看| 五月开心激情| 99热精品在这里| 色逼综合网| 好看的国产精品| 人妻熟妇六区| 九九性爱网| 第九色区av天堂| 亚洲天堂制| 超碰99在线| 五月综合色播播丁香婷婷| www.91久久| 久婷婷视平| 另类激情综合| 99热99热| 久久五月天综合| 大香蕉视频99| 九九九这里只有精品| 亚洲欧州色情在线观看| 婷婷五月天色色| 665566 无码| 五月婷婷六月丁香免费| 五月天色婷婷激情| 99热这里只有精品5| 五月丁香婷婷伊人| 色婷婷丁香| 婷婷色情五月| 99ri视频| 99狠狠| 婷婷五月天综合色| 深爱五月婷婷| 五月婷av| 婷婷伊人激情婷婷| 色综合久久天天综合网| 五月丁香另类网| 亚洲激情淫网| 婷婷色五月开心五月| 久草丁香婷婷1024| 久久伊人大香蕉| 婷婷狠狠干| 免费黄网不卡AV| 开心五月六月婷婷| 日本3级片一区2区| 欧美日韩成人综合9| 99热最新地址在线| 国产精品日日躁夜夜躁| 久久久全国免费视频| www.25五月婷婷| 青青草原亚洲天堂| 狠狠久久婷| 日日婷婷不卡| 久久丁香五月天| 久热超碰91| 五月天婷婷婷| 国产午夜精品AV一区二区麻豆| 91精品久久久久久77777| 26uuu亚洲| 最新婷婷五月丁香| 密乳视频| 国产成人精品一区二三区熟女在线| 9|无码久久久久久| 九九视屏| 激情AV中文| 5月婷婷激情在线| 少妇性BBB搡BBB爽爽爽视頻 | 色色热| 狠狠舔| 五月婷婷啪| 丁香五婷婷| 色色亚洲视频| 91美女啪啪| 极品人妻videosss人妻| 九九久久网| 中文AV在线播放| 黄网在线观看免费| 日本三级毛片| 欧美成人色婷婷| av五月丁香婷婷网| 色色色.COM| 婷婷丁香中文字幕| 狠狠va| 久久精品99国产精品日本| 色五月婷婷五月丁香五月激情五月视频| 色情综合网| 99精品色色| 韩国中文字幕91| 青青草原精品久久| 99资源人人| 婷婷久久精品| 五月丁香成人网| 26uuu欧美| 狠狠干思思热| 婷婷五月色惰| 婷婷亚洲综合| 色黑鬼导航| 99热传媒| 成人va在线播放| 乱码操操| 欧亚成人A片一区二区| 第五色色色婷婷| 亚洲蜜桃精久久久久久久久久久久| 五月丁香 久久久| 国产免费一区二区三州老师F1……| av操一操| 日韩综合久久| 亚洲精品视频在线| 久热这里只有精品66| 一级无码作爱片| 91黄址| 亚洲色情免费网| 色婷婷小视频| 激情五月婷| 26uuu.| 天天操天天国产三级片处女学生妹| 免费播放片大片| 婷婷国产综合| 在线不卡AC| 色色丁香五月天| 婷婷丁香五月激情中文字幕版| 欧美婷婷色五月网| 99精品在线播放| 五月婷婷插一插| www.日本91| 国产 码在线成人网站| 五月天激情无码专区| 久久网日本| 97caop| 婷婷欧美激情综合| 99热国产在| 婷婷激情四射五月天| 久草热在线视频| 99免费视频网| 成人短视频在线观看| 婷婷大香焦| 亚洲第一成人无码A片| 综合性视频99| 欧美在线看| 五月丁香综合精品欧美| 亚洲婷婷91丁香| 久久婷婷一级片|