欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

基于DQN的室內(nèi)無線資源分配:Matlab仿真實現(xiàn)與調(diào)參實踐

基于DQN的室內(nèi)無線資源分配:Matlab仿真實現(xiàn)與調(diào)參實踐 上一周我做室內(nèi)無線網(wǎng)絡(luò)的資源分配仿真時遇到一個很典型的困惑在靜態(tài)拓撲下傳統(tǒng)注水算法和輪詢方案表現(xiàn)都還可以可一旦把用戶終端位置變化、突發(fā)業(yè)務(wù)和信道波動放進去固定策略的效果就會迅速劣化。折騰了一陣子后我徹底轉(zhuǎn)向了深度Qlearning強化學習方案——把功率分配看作一個序貫決策問題讓智能體在仿真環(huán)境里反復試錯學出一套“狀態(tài)到動作”的映射策略。這篇文章就把我踩過的坑和最終跑通的Matlab仿真實現(xiàn)完整記錄下來內(nèi)容包括室內(nèi)無線資源分配問題的建模思路、深度Q網(wǎng)絡(luò)DQN各核心組件的落地細節(jié)、Matlab環(huán)境搭建到訓練主循環(huán)的完整鏈路以及收斂性分析和調(diào)參心得。適合通信工程相關(guān)專業(yè)的研究生、剛接觸強化學習但想盡快上手仿真驗證的工程師以及所有準備在無線網(wǎng)絡(luò)領(lǐng)域引入智能決策方案的朋友參考。1. 問題建模把室內(nèi)無線資源分配寫成一個強化學習能理解的決策過程任何強化學習項目的第一步都不是敲代碼而是想清楚“智能體到底在做什么決策”。這一步?jīng)]有處理好后面網(wǎng)絡(luò)結(jié)構(gòu)再漂亮、調(diào)參再努力訓練出來的策略也大概率是廢的。我自己的習慣是先花大量時間定義狀態(tài)、動作、獎勵并且用最樸素的語言把問題描述一遍確認這個MDP馬爾可夫決策過程閉環(huán)是合理的再開始寫Matlab代碼。1.1 為什么室內(nèi)場景比室外場景更需要動態(tài)分配策略室內(nèi)無線網(wǎng)絡(luò)和室外宏基站覆蓋有一個很大的不同點信道狀態(tài)受環(huán)境結(jié)構(gòu)影響極其顯著。穿墻損耗、人員走動遮擋、家具擺設(shè)反射、多徑衰落混疊在一起信號強度的空間變化非常劇烈。加上用戶終端往往是手機或筆記本電腦移動性雖然不如車載場景那么夸張但在辦公室、商場、實驗室這樣的環(huán)境里用戶隨時可能在幾個AP的覆蓋范圍內(nèi)切換。在這種條件下如果使用固定資源分配策略最直觀的問題就是信道質(zhì)量好的用戶可能被分配了過高的功率造成對相鄰信道用戶的額外干擾而信道質(zhì)量差的邊緣用戶又沒有得到足夠資源吞吐量被壓得很低。傳統(tǒng)做法一般有兩種思路應(yīng)對一種是通過信道狀態(tài)信息CSI的實時測量做集中式調(diào)度另一種是采用自適應(yīng)功率控制。集中式調(diào)度在用戶數(shù)少、拓撲穩(wěn)定時算力開銷還能接受但一旦用戶規(guī)模上來每時隙的優(yōu)化問題復雜度會快速提升現(xiàn)實場景中很難做到毫秒級響應(yīng)。強化學習的思路則完全不同。它把資源分配策略隱含在一個神經(jīng)網(wǎng)絡(luò)里通過智能體與仿真環(huán)境的持續(xù)交互逐步逼近最優(yōu)策略。每次決策只需要一次前向傳播推理速度非常快而且它不需要精確知道信道模型的數(shù)學表達式是典型的“數(shù)據(jù)驅(qū)動”方法。這正是它在室內(nèi)動態(tài)場景下的核心價值所在。1.2 馬爾可夫決策過程的四項要素如何落到無線資源分配上將一個物理問題轉(zhuǎn)化為MDP最常見的困惑就是“我的狀態(tài)空間到底要包含哪些信息”。我的經(jīng)驗是遵循一個原則只放那些對當前決策有直接影響、且智能體能夠觀測到的信息。在室內(nèi)無線資源分配這個場景中我的狀態(tài)設(shè)計如下信道狀態(tài)信息所有用戶到各接入點的信道增益矩陣。因為室內(nèi)信道有快衰落分量實際仿真中一般取瞬時CSI或者經(jīng)過平滑后的有效SNR。用戶業(yè)務(wù)需求每個用戶當前時隙的需求速率或緩存隊列長度。這決定了資源分配的優(yōu)先級。歷史資源分配結(jié)果上一時隙各用戶獲得的功率或資源塊數(shù)量。加入這個狀態(tài)可以讓智能體感知到“上一輪我給了誰多少資源”有利于策略的平穩(wěn)性。干擾水平各接收端當前受到的鄰區(qū)干擾功率。在室內(nèi)多AP場景中這個量對吞吐量影響很大。動作空間是強化學習建模中最需要謹慎設(shè)計的部分。連續(xù)功率分配可以用連續(xù)動作空間的DDPG等算法來做但Matlab仿真調(diào)試成本相對較高。我的做法是做離散化處理將每個用戶的發(fā)射功率劃分為若干等級。假設(shè)一個AP給它的關(guān)聯(lián)用戶分配下行功率功率范圍為0到20dBm以2dBm為步長就是11個等級有N個關(guān)聯(lián)用戶時聯(lián)合動作空間就是11的N次方這個復雜度顯然不可接受。所以更合理的做法是每次只為某個特定的用戶分配功率或者將用戶按優(yōu)先級排序后逐個決策。我在仿真中采用了“逐用戶決策”的方式每次智能體選擇一個用戶的功率等級然后環(huán)境返回對應(yīng)的瞬時吞吐量反饋更新狀態(tài)后繼續(xù)為下一個用戶決策。這樣動作空間就是11個離散等級網(wǎng)絡(luò)輸出維度完全可控。獎勵函數(shù)的設(shè)計直接決定了算法最終學出來的策略長什么樣。我的獎勵項拆成三部分吞吐量獎勵當前用戶獲得的吞吐量這是核心目標公平性懲罰用Jain公平性指數(shù)作為正則項如果某一輪資源分配導致用戶間速率差距過大就給予懲罰功率代價發(fā)射功率本身有能耗代價同時過大的發(fā)射功率會加劇干擾所以對高功率等級施加輕微懲罰。將三者按權(quán)重相加得到最終的獎勵值。這里有一個關(guān)鍵經(jīng)驗獎勵的數(shù)值尺度要保持在合理范圍如果獎勵值動輒上千神經(jīng)網(wǎng)絡(luò)訓練的穩(wěn)定性會非常差。我通常將吞吐量歸一化處理讓單位時隙獎勵落在0到5之間。生活化一點去理解這個建模過程智能體就像一位外賣調(diào)度員不能只知道哪個餐館訂單多就往哪里安排騎手還要知道每個騎手的位置、路況、訂單時效要求和超時懲罰才能做出合理派單。強化學習要做的就是讓調(diào)度員在大量派單-反饋循環(huán)中逐漸積累經(jīng)驗。1.3 狀態(tài)空間維度與動作離散化粒度的權(quán)衡在定義MDP時很多人會犯一個錯誤把能觀測到的信息統(tǒng)統(tǒng)塞進狀態(tài)向量。我剛開始做的時候也是這樣結(jié)果網(wǎng)絡(luò)參數(shù)量驟增樣本效率急劇下降訓練幾百輪都不見收斂。一個比較穩(wěn)妥的做法是控制狀態(tài)向量維度在幾十以下。在8個用戶、4個AP的室內(nèi)場景中狀態(tài)向量可以設(shè)計成狀態(tài)項維度說明用戶信道增益8×432展平為向量歸一化業(yè)務(wù)需求8每個用戶需求速率上一輪功率等級8上一時隙各用戶功率當前干擾水平8各接收端的干擾功率合計56維屬于全連接網(wǎng)絡(luò)能夠處理的范疇。如果用戶數(shù)量繼續(xù)增加比如到32個用戶就需要考慮用降維處理比如只取Top K個干擾源的信息或者對CSI做特征提取否則網(wǎng)絡(luò)訓練難度會顯著上升。動作離散化粒度方面2dBm步長通常是一個不錯的起點。如果步長太細動作數(shù)量增多每個動作被探索到的概率下降訓練時間增加如果太粗功率控制精度不夠算法的性能上限會受影響。實際仿真中可以先粗后細先用較大步長驗證整體框架能收斂再逐步細化功率等級。2. 深度Q網(wǎng)絡(luò)與表格Q學習的本質(zhì)差異為什么無線資源分配必須上神經(jīng)網(wǎng)絡(luò)這一節(jié)我想重點聊一聊DQN這個方法本身因為很多初學者把DQN當成一個通用黑盒工具直接調(diào)用不理解它內(nèi)部三個關(guān)鍵機制的設(shè)計動機一旦仿真不收斂就完全不知道從哪里排查。2.1 表格Q-Learning在連續(xù)狀態(tài)空間下的致命缺陷Q-Learning的核心是維護一張Q值表 (Q(s,a))記錄每個狀態(tài)-動作對的價值估計。算法每次與環(huán)境交互后根據(jù)獲得的獎勵和下一狀態(tài)的最大Q值來更新當前Q值[ Q(s,a) \leftarrow Q(s,a) \alpha [r \gamma \max_{a} Q(s, a) - Q(s,a)] ]這個公式理解起來并不困難真正的問題在于表格的規(guī)模。如果狀態(tài)向量是56維就算每個維度只做二值化處理狀態(tài)總數(shù)也有 (2^{56})這個數(shù)量的Q值表不要說存儲就是遍歷一遍都不可想象。更何況信道增益、業(yè)務(wù)需求這些變量本質(zhì)上都是連續(xù)值簡單量化會丟失信息。更關(guān)鍵的一點是泛化能力完全喪失。無線信道狀態(tài)幾乎不會和歷史狀態(tài)完全一致表格方法遇到一個沒見過的狀態(tài)就無從決策只能重新隨機探索。這使得表格Q-Learning在真正意義上的無線資源分配場景里完全不可行。而DQN用神經(jīng)網(wǎng)絡(luò)擬合Q函數(shù)輸入是連續(xù)狀態(tài)向量輸出是每個動作的Q值估計天然具備泛化能力相似的輸入會得到相似的決策輸出。2.2 經(jīng)驗回放與目標網(wǎng)絡(luò)讓神經(jīng)網(wǎng)絡(luò)訓練穩(wěn)定下來的兩個關(guān)鍵機制神經(jīng)網(wǎng)絡(luò)訓練的基本前提是樣本獨立同分布。但在強化學習中數(shù)據(jù)是智能體與環(huán)境交互產(chǎn)生的時序數(shù)據(jù)相鄰時隙的狀態(tài)、動作、獎勵高度相關(guān)直接用這些時序數(shù)據(jù)做梯度下降訓練過程會劇烈震蕩甚至發(fā)散。經(jīng)驗回放機制就是針對這個問題設(shè)計的。實現(xiàn)上很簡單在Matlab中維護一個經(jīng)驗緩沖區(qū)每輪交互產(chǎn)生的四元組狀態(tài)、動作、獎勵、下一狀態(tài)存入緩沖區(qū)訓練時隨機從緩沖區(qū)中采樣一個小批量進行網(wǎng)絡(luò)更新。隨機采樣打破了樣本之間的時間相關(guān)性同時多條歷史經(jīng)驗可以被反復使用提高了數(shù)據(jù)利用效率。我的經(jīng)驗是緩沖區(qū)容量不要設(shè)得太小至少2萬條起步否則隨機采樣的效果不明顯。目標網(wǎng)絡(luò)機制解決的是另一個問題自舉偏差。Q值更新的目標中包含當前網(wǎng)絡(luò)本身的輸出 ( \max_{a} Q(s,a) )這意味著網(wǎng)絡(luò)在更新時是在“用自己當前的價值判斷去指導自己更新”。如果當前估計已經(jīng)偏差很大更新方向也會被帶偏形成惡性循環(huán)。DQN的做法是維護一份延遲更新的目標網(wǎng)絡(luò)每隔固定步數(shù)才從在線網(wǎng)絡(luò)復制參數(shù)。更新目標網(wǎng)絡(luò)時使用目標網(wǎng)絡(luò)輸出的是Q值而不是當前正在訓練的網(wǎng)絡(luò)輸出[ y_i r_i \gamma \max_{a} Q_{\text{target}}(s_i, a) ]再結(jié)合經(jīng)驗回放訓練穩(wěn)定性會有質(zhì)的提升。我從實測中的感受是目標網(wǎng)絡(luò)更新周期設(shè)置在400到1000步之間效果較好更新太頻繁目標網(wǎng)絡(luò)和在線網(wǎng)絡(luò)過于接近容易恢復震蕩更新太慢價值估計收斂變慢。2.3 網(wǎng)絡(luò)結(jié)構(gòu)選擇與Double DQN的必要性對于室內(nèi)無線資源分配這種規(guī)模的問題網(wǎng)絡(luò)結(jié)構(gòu)不需要太復雜。我在Matlab中使用的網(wǎng)絡(luò)結(jié)構(gòu)如下% 狀態(tài)維度56維動作數(shù)量11個 % 使用Deep Learning Toolbox構(gòu)建網(wǎng)絡(luò) statePath [ featureInputLayer(56, Normalization, none, Name, state) fullyConnectedLayer(128, Name, fc1) reluLayer(Name, relu1) fullyConnectedLayer(128, Name, fc2) reluLayer(Name, relu2) ]; qNetwork [ statePath fullyConnectedLayer(11, Name, output) ];兩個隱藏層、每層128個單元這個規(guī)模對56維輸入、11個動作的輸出空間已經(jīng)完全夠用。更深的網(wǎng)絡(luò)結(jié)構(gòu)在復雜視覺任務(wù)中有效但在無線資源分配這類狀態(tài)維度并不太高的場景中過度加深網(wǎng)絡(luò)只會增加過擬合風險和訓練時間。Double DQN是針對Q值過估計問題的改進。傳統(tǒng)的DQN在計算目標值時要取 ( \max_{a} Q(s,a) )由于函數(shù)逼近存在誤差取最大值操作會系統(tǒng)性高估動作價值而且這種高估在訓練后期會越來越明顯導致策略變得過于激進。Double DQN的思路很簡單用在線網(wǎng)絡(luò)選擇最優(yōu)動作用目標網(wǎng)絡(luò)評估該動作的Q值[ a^* \arg\max_{a} Q_{\text{online}}(s, a) ] [ y_i r_i \gamma Q_{\text{target}}(s_i, a^*) ]在Matlab中實現(xiàn)這個邏輯時最關(guān)鍵的技術(shù)點在于如何在不打斷自動微分鏈路的情況下只使用在線網(wǎng)絡(luò)做動作選擇。具體做法是先用predict(onlineNet, nextState)得到在線網(wǎng)絡(luò)的所有動作Q值找到最大值對應(yīng)的動作索引然后用predict(targetNet, nextState)取出該索引對應(yīng)的值作為目標Q值。這兩個操作都只做前向傳播不參與梯度計算。我的實際經(jīng)驗是Double DQN幾乎不會比原始DQN差在多數(shù)情況下能明顯改善訓練的穩(wěn)定性屬于性價比極高的改進。如果你已經(jīng)決定做這個仿真項目建議直接從Double DQN起步不要先用標準DQN跑通了再改省掉一次重復調(diào)試的時間。3. Matlab仿真實現(xiàn)全流程從場景參數(shù)配置到訓練主循環(huán)Matlab做強化學習仿真有兩個路線一是使用自帶的Reinforcement Learning Toolbox它提供了rlQAgent等現(xiàn)成接口缺點是自定義環(huán)境相對繁瑣而且工具箱版本差異較大二是完全手寫訓練流程靈活度高適合做研究驗證。我個人傾向后者因為要觀察每一步的中間結(jié)果、修改獎勵函數(shù)、打印調(diào)試信息手寫代碼更直觀可控。3.1 室內(nèi)場景參數(shù)配置與信道模型選擇仿真場景我設(shè)置為一個20米×30米的室內(nèi)空間部署4個接入點用戶數(shù)量根據(jù)實驗需求調(diào)整默認8個用戶。AP位置固定在四個角落附近用戶在場景內(nèi)隨機分布并關(guān)聯(lián)到距離最近且信號強度最佳的AP。核心參數(shù)如下參數(shù)數(shù)值說明場景尺寸20m × 30m模擬中型辦公環(huán)境AP數(shù)量4位于固定位置用戶數(shù)量8可在4到20之間調(diào)整載波頻率2.4 GHz室內(nèi)WiFi典型頻段發(fā)射功率范圍0 ~ 20 dBm按2dBm步長離散化噪聲功率-90 dBm接收機底噪路徑損耗指數(shù)2.8室內(nèi)視距與非視距混合穿墻損耗8 dB/堵墻隔斷墻體損耗陰影衰落標準差4 dB對數(shù)正態(tài)陰影業(yè)務(wù)需求速率1 ~ 10 Mbps按均勻分布生成信道模型方面我采用的是經(jīng)典的路徑損耗加陰影衰落模型再加上一階自回歸模型模擬時間相關(guān)性。這樣做比每時隙完全獨立生成信道要更貼近真實場景。Matlab中可以用如下方式生成% 生成室內(nèi)路徑損耗 function pl pathLoss(d, fc, n) % d: 距離(m), fc: 載波頻率(Hz), n: 路徑損耗指數(shù) pl 20*log10(4*pi*d*fc/3e8) 10*n*log10(d); end % 加入陰影衰落和穿墻損耗 shadowStd 4; wallLoss 8; pl_total pathLoss(distance, 2.4e9, 2.8) ... shadowStd*randn wallLoss * numWalls;需要特別提醒的是穿墻損耗的加入對算法性能影響非常大。如果沒有穿墻損耗用戶只需選擇最近的AP就能獲得不錯性能問題過于簡單體現(xiàn)不出智能算法的優(yōu)勢加入墻體阻隔后用戶可能距離某個AP很近但隔了兩堵墻此時選擇另一個AP反而更好這種非直觀關(guān)聯(lián)正是強化學習能夠?qū)W習的價值所在。3.2 經(jīng)驗回放緩沖區(qū)與目標網(wǎng)絡(luò)更新實現(xiàn)經(jīng)驗回放緩沖區(qū)在Matlab中可以用簡單的結(jié)構(gòu)體數(shù)組實現(xiàn)。為了效率我預先分配了固定大小的矩陣并用環(huán)形緩沖的方式覆蓋舊經(jīng)驗。這一點非常重要——很多人在Matlab仿真中發(fā)現(xiàn)越跑越慢問題就出在反復動態(tài)擴容數(shù)組上。% 經(jīng)驗回放緩沖區(qū)初始化 bufferSize 50000; stateBuffer zeros(56, bufferSize); actionBuffer zeros(1, bufferSize); rewardBuffer zeros(1, bufferSize); nextStateBuffer zeros(56, bufferSize); doneBuffer zeros(1, bufferSize); bufferPtr 1; bufferCount 0; % 存儲一條經(jīng)驗 function storeExperience(state, action, reward, nextState, done) stateBuffer(:, bufferPtr) state; actionBuffer(bufferPtr) action; rewardBuffer(bufferPtr) reward; nextStateBuffer(:, bufferPtr) nextState; doneBuffer(bufferPtr) done; bufferPtr mod(bufferPtr, bufferSize) 1; bufferCount min(bufferCount 1, bufferSize); end % 隨機采樣一個小批量 batchSize 64; idx randi(bufferCount, batchSize, 1); batchStates stateBuffer(:, idx); batchActions actionBuffer(:, idx); batchRewards rewardBuffer(:, idx); batchNextStates nextStateBuffer(:, idx); batchDones doneBuffer(:, idx);目標網(wǎng)絡(luò)的更新不采用軟更新而是硬復制每訓練500步將在線網(wǎng)絡(luò)參數(shù)整體賦值給目標網(wǎng)絡(luò)。在Matlab中可以用dlupdate配合自定義函數(shù)實現(xiàn)更簡單的方式是直接保存網(wǎng)絡(luò)結(jié)構(gòu)體再載入% 每500步更新一次目標網(wǎng)絡(luò) if mod(totalStep, 500) 0 targetNet onlineNet; % 直接賦值 end這里有一個性能優(yōu)化的細節(jié)在線網(wǎng)絡(luò)和目標網(wǎng)絡(luò)都使用dlnetwork類型訓練時要把輸入狀態(tài)轉(zhuǎn)換為dlarray指定數(shù)據(jù)格式。建議把整個訓練過程用“白箱”方式編寫每100步輸出一次當前損失和平均獎勵方便實時觀察訓練狀態(tài)。3.3 主訓練循環(huán)中容易出錯的關(guān)鍵代碼段訓練主循環(huán)是DQN的核心邏輯本身不復雜但有幾個細節(jié)容易出錯我逐個說明。第一個細節(jié)是狀態(tài)歸一化。信道增益數(shù)值范圍可能在1e-8到1e-4之間跳躍業(yè)務(wù)需求在1到10Mbps之間量綱不同會導致網(wǎng)絡(luò)輸入分布差異過大。我在生成狀態(tài)向量時將信道增益除以參考值業(yè)務(wù)需求除以最大需求功率等級減去平均值再除以標準差讓所有輸入落在相對一致的數(shù)值范圍內(nèi)。這一步對收斂速度的影響是決定性的。第二個細節(jié)是ε-greedy探索策略的設(shè)計。探索率從1.0線性衰減到0.05衰減步數(shù)一般是總訓練步數(shù)的一半epsilon max(1.0 - totalStep / decaySteps, 0.05); if rand epsilon action randi(numActions); else qValues predict(onlineNet, dlarray(state, CB)); [~, actionIdx] max(extractdata(qValues)); action actionIdx; end第三個細節(jié)是在計算目標Q值時對終止狀態(tài)的處理。如果下一狀態(tài)是終止狀態(tài)那么目標Q值就等于獎勵本身不再加折扣的未來價值for i 1:batchSize if batchDones(i) targetQ(i) batchRewards(i); else % Double DQN: 在線網(wǎng)絡(luò)選動作目標網(wǎng)絡(luò)給價值 nextQOnline predict(onlineNet, dlarray(batchNextStates(:,i), CB)); [~, aBest] max(extractdata(nextQOnline)); nextQTarget predict(targetNet, dlarray(batchNextStates(:,i), CB)); targetQ(i) batchRewards(i) gamma * extractdata(nextQTarget(aBest)); end end很多初學者在Matlab代碼里會遺漏extractdata導致數(shù)值類型錯誤或者無法計算梯度這個坑我在調(diào)試時踩了不止一次。確認清楚當前數(shù)據(jù)是dlarray還是普通數(shù)值數(shù)組訓練過程的絕大多數(shù)報錯都能避掉。訓練主循環(huán)整體流程如下先隨機重置一次室內(nèi)場景智能體在當前狀態(tài)下對每個用戶依次執(zhí)行功率決策環(huán)境根據(jù)決策計算吞吐量、干擾和滿意度得到獎勵并轉(zhuǎn)移到下一狀態(tài)。當一個時隙內(nèi)所有用戶的決策都完成后為一個完整回合episode然后重新隨機生成用戶位置和業(yè)務(wù)需求開始下一回合。4. 收斂性分析、傳統(tǒng)方案對比與常見異常排查訓練完成后最關(guān)心的就是策略是否真正提升了資源分配性能。這一部分我拿實際仿真結(jié)果說話同時給出調(diào)試中經(jīng)常遇見的異常情況及對應(yīng)的排查思路。4.1 訓練收斂曲線如何解讀獎勵曲線與損失曲線的配合判斷一個常見的誤區(qū)是只盯著獎勵曲線看不下降就認為算法有問題。獎勵曲線本身噪聲很大尤其在前幾百回合波動甚至可能看起來是負優(yōu)化。真正可靠的判斷指標是滑動平均獎勵曲線以及損失曲線的整體趨勢。我在8用戶場景下用如下參數(shù)訓練了2000個回合每個回合執(zhí)行8次決策對應(yīng)8個用戶的功率分配超參數(shù)數(shù)值學習率1e-4折扣因子gamma0.95經(jīng)驗池容量50000批量大小64探索衰減步數(shù)30000目標網(wǎng)絡(luò)更新頻率500步訓練回合數(shù)2000訓練結(jié)果呈現(xiàn)典型的三個階段第一階段前200回合獎勵值在1.0到2.0之間波動基本沒有上升趨勢此時智能體主要靠隨機探索積累經(jīng)驗第二階段200到1000回合獎勵穩(wěn)步上升從2.0附近逐漸攀升到3.5左右說明網(wǎng)絡(luò)已經(jīng)開始學到有效的功率分配策略損失曲線同步下降第三階段1000回合之后獎勵曲線增幅放緩在3.5附近波動并趨于平穩(wěn)損失趨近于小范圍內(nèi)震蕩此時可以認為策略基本收斂。值得注意的是損失曲線并不一定完全平滑下降偶爾出現(xiàn)突然上升的尖峰是正常的。如果尖峰頻率過高且獎勵曲線同步驟降大概率是學習率過大可以把學習率從1e-4降到5e-5重新訓練。4.2 與輪詢分配和最大信噪比分配的性能對比單看DQN自己的訓練曲線無法說明算法好在哪里。我在相同場景下對比了三種方案輪詢RR平均分配、最大信噪比Max-SNR分配和DQN學習到的分配策略。每個方案運行100個獨立仿真時隙取平均結(jié)果方案平均系統(tǒng)吞吐量(Mbps)公平性指數(shù)平均功率(dBm)輪詢分配41.60.8410.0最大信噪比分配46.20.6212.4DQN策略52.80.8710.8從這個結(jié)果可以明顯看出DQN在系統(tǒng)總吞吐量上比傳統(tǒng)方案提升約14%到27%同時維持了較好的公平性。有意思的是Max-SNR方案雖然用更大的平均發(fā)射功率換來一定的吞吐量但用戶間速率差距被拉大公平性跌到0.62這種結(jié)果在真實業(yè)務(wù)中其實是不可接受的——邊緣用戶可能長期得不到服務(wù)用戶體驗非常差。從我個人實驗的角度來看DQN策略最大的價值不是簡簡單單提高吞吐量而是學會了“看人下菜碟”的分配邏輯對信道質(zhì)量好、業(yè)務(wù)需求大的用戶多給功率對信道質(zhì)量差、本身也沒有太多業(yè)務(wù)需求的用戶少給功率甚至不給功率。這種分配方式既保證了總體收益又兼顧了用戶間的平衡。4.3 訓練不收斂與訓練崩潰的排查路徑訓練過程出現(xiàn)異常時不要盲目改參數(shù)先按下面幾個維度逐步排查。獎勵函數(shù)尺度問題如果獎勵值的絕對數(shù)值過大比如幾十上百神經(jīng)網(wǎng)絡(luò)梯度會異常大更新一步就足以讓參數(shù)面目全非。解決辦法是把獎勵值壓縮到一個合適的尺度我的做法是除以一個參考吞吐量常量把獎勵控制在0到5之間。鄰居信道的干擾建模出錯仿真中最隱蔽的錯誤是把所有用戶的信道增益統(tǒng)一用同一隨機種子生成導致用戶間的信道狀態(tài)高度相關(guān)算法學不到有效區(qū)分用戶差異的模式。檢查方法是輸出幾個用戶狀態(tài)向量看看數(shù)值分布是否明顯不同。梯度爆炸導致的NaN崩潰訓練到一半損失突然出現(xiàn)NaN最常見的原因是梯度累積過大。此時需要檢查網(wǎng)絡(luò)層是否使用了合適的初始化或者在損失計算后添加梯度裁剪。在Matlab中可以手動裁剪梯度gradients dlgradient(loss, dlnet.Learnables); % 梯度裁剪閾值設(shè)為1 gradients dlupdate((g) max(min(g, 1), -1), gradients);“損失不降但獎勵在升”這類情況往往不是bug而是因為ε在衰減策略逐漸從隨機探索轉(zhuǎn)向利用已學知識Q值的估計誤差在合理范圍??梢圆榭匆幌掠柧毜幕瑒悠骄剟钍欠癯掷m(xù)走高如果是就繼續(xù)訓練觀察不用擔心損失不降。5. 從單時隙決策到實際場景落地我實踐中的幾個心得體會與可擴展方向完成基礎(chǔ)DQN仿真之后如果想往深水區(qū)走有幾個方向值得繼續(xù)探索。第一階段可以先從算法改進入手——在同一個仿真框架上嘗試Dueling DQN或優(yōu)先經(jīng)驗回放。Dueling DQN將Q值拆分為狀態(tài)價值和動作優(yōu)勢兩部分在有大量相似狀態(tài)但不同動作的無線場景中這種結(jié)構(gòu)能讓網(wǎng)絡(luò)更快學習狀態(tài)價值函數(shù)從而提升收斂速度。優(yōu)先經(jīng)驗回放則重點關(guān)注那些TD誤差較大的歷史樣本讓網(wǎng)絡(luò)優(yōu)先學習“難樣本”在非平穩(wěn)信道場景下效果很明顯。第二階段是向多智能體方向拓展。單智能體DQN在做多AP協(xié)同資源分配時本質(zhì)上把全局觀測都集中到一個智能體上做決策。這種集中式做法在小區(qū)數(shù)量增大后狀態(tài)維度會迅速膨脹。更合理的思路是為每個AP部署一個智能體采用集中式訓練、分布式執(zhí)行的架構(gòu)訓練時每個智能體共享全局Q值信息執(zhí)行時只依賴局部觀測。以VDN或QMIX為代表的合作多智能體強化學習算法值得在室內(nèi)多AP場景中試一把。這里還想分享一個很實用的工程經(jīng)驗Matlab內(nèi)手寫的DQN代碼調(diào)通之后如果追求更快的訓練速度可以用Matlab的Parallel Computing Toolbox并行跑多個環(huán)境的采樣。因為經(jīng)驗回放機制本來就能容忍不同環(huán)境產(chǎn)生的混合數(shù)據(jù)并行采樣可以有效打散樣本間的時序相關(guān)性一舉兩得。我在實驗里用4個并行工作器采樣訓練時間大致縮短了50%以上收斂性能還略有改善。最后做一個邊界問題的提醒仿真環(huán)境畢竟是真實世界的近似DQN策略在仿真中訓練到收斂并不等于部署到現(xiàn)網(wǎng)就能直接照搬。真實環(huán)境中存在信道估計誤差、反饋時延、信令開銷等問題這些都是仿真很難完美復現(xiàn)的。如果你的目標是學術(shù)驗證或算法對比當前這套仿真框架已經(jīng)足夠扎實如果你希望走向?qū)嶋H部署更穩(wěn)妥的思路是首先在仿真中加入一個CSI估計誤差模型觀察策略的魯棒性變化再逐步引入更多非理想因素。這一步做扎實了算法從仿真到真實場景的距離才會真正縮小。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
狠狠操天天操综合| 激情五月丁香六月| 秋霞九九无码| 超碰色综合| 99热九九这里只有精品| 91美女艹逼网站| 大天天伊人| 久热这里只精品| AA片在线观看视频在线播放| 97干欧美| 激情久久综合网| 亚洲操B视频| Av大香蕉| 日日操夜夜骑| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 亚洲色色五月| 开心五月婷婷| 色婷婷五月天天天做| 91人人妻人人操人人爽| 久久精品人妻| 九九免费在线视频| 六月丁香网| 婷婷五月色丁香在线看| 五月天激情综合在线| 强辱丰满人妻HD中文字幕 | 成人丁香五月| 五月婷婷九九久久| 九九热123| 99热免费精品| 久久AAAA片一区二区| 色开心五月婷婷丁香HD| 五月丁香久久激情综合| 99热综合| 欧美va亚洲va在线播放| 狠狠看狠狠| 99久高清视频| 天天色视频| 色情久久久| 91九色国产| 日本波多野结衣视频| 久久97| 久色国产| 九九色视频| 六月五月丁香五月欧美| 久久五月网| 国产精品A片在线| 涩五月婷婷| 国产婷婷五月天| 怕怕視頻| 六月丁香啪啪| 五月丁香综合在线| 黄色AV日韩| 色天天综合成人网| 激情都市五月天| 大香蕉综合网| 涩五月婷婷| 婷婷影院欧美| 亚洲色基地| 99热.com| 超碰91在线| 丁香婷婷性爱| 丁香综合网| 色五月激情网| 大香蕉五月婷婷| 久久伊人五月天| 天天色天天爱天天爽| 婷婷综合激情| 99这里只有精品国产| 大香蕉婷婷色| 色狠狠综合| 99热1| av免费在线网站| 亲子乱AV-区二区三区| 天天拍天天操| 久热一本| 色综合伊人网| 色色色成人网| 少妇AB又爽又紧无码网站| 五月婷综合| 91九色首页| 97色色色| 艹色18p| 性爱五月婷婷| 人妻自慰在线| 深爱婷婷网| 久9热视频| 色五月大| 丁香五月五月婷婷| 99re热视频这里只精品| 色碰97| 免费一区二区三区| 久久久国产精品黄毛片| 人妻中文av| 婷婷玖玖丁香| 久久这里只有精彩| 丁香五月六月婷婷综合激情| 亭亭五月丁香五月天激情| 五月婷婷二月丁香| 九九热av| 激情综合视频| 猫咪伊人久久| 一本久久亚洲五月婷婷| 99热网站| 伊人五月天在线| 五月丁香五月婷婷| 999热视频精品99免费在线| 九九视频这里只有精品| 五月丁香六月激情| 青青草色在线视频观看| 精品成人在线观看| 婷婷色播综合五月| 亚洲色频| 综合伊人久久| 亚洲亚洲人成综合网络| 国产激情在线观看| 青青草a在线| 激情综合网亚洲色图| 五月丁香综合伦理片| 亚洲天堂aaa| 亚洲天堂热| 丰满少妇乱A片无码| 香蕉大综综综合久久| 少妇丁香婷婷 | 國語久久婷| 日本色婷婷五月天成人电影| 亚洲AV网站| 久操乱| 9久久精品| 26uuu亚洲| 婷婷五月天激情四射| 丁香婷婷婷五月综合色情| www.狠狠色.com| 伊人婷婷大香蕉| 五月天丁香婷婷视频网址| 99色热| 婷婷色正月| 亚洲天堂99| 五月天婷婷綜合院| 婷婷五月天天爽| 久久艹 五月天| 色综合综合色| 欧美精品99| 任我肏视频精品| 伍月激情天| 亚洲第一黄网| 久久精品63| 五月天婷婷影院影院观看| 99免费视频| 亚洲性爱电影| 色婷婷伊人| 色色色在线观看| 大香伊人久色| 五月婷婷视频28| 中文字幕欧美日韩VA免费视频| 日本九九九九| 99这里只有精品视频| 海外网站专业操老外| 天天操夜夜玩!| 久久激情五月| 亚洲视99| 激情内射人妻1区2区3区| 午夜天堂啪啪| 五月天激情综合网| 五月天开心婷婷久久| 夜夜撸日日操| 日韩一66精品| 精品欧美一区二区三区久久久| 天天五月香欧美| 人人爱国产| 久久久久亚洲AV成人无码电影| 婷婷五月情| 91人无码久久久久久| 日韩欧美骚货| 久re热视频| 天天插综合| 黄色短视频在线观看| 色狠狠综合| 伊人丁香五月天丁香在线婷| 色婷婷丁香五月综合| 香蕉影院色| 操逼棍操逼| 亚洲AV日韩在线观看| 森林影视大全,最好看的2019年视频| www.婷婷| 天天情色五月天| 色婷婷成人色网| 久久久久99精品成人片| www:99热视频| 99精品在这里| 天天射夜夜骑| 欧美啪啪9| 国产91视频| 色五月琪琪| 国产激情久久久| 激情四射五月天| 91操人| 五月丁香久久精品在线观看| 免费黄网不卡AV| 99re最新地址| 色999五月色| 久久婷婷五月天| 五月激情婷婷六月丁香| 免费看片在线观看| 丁香九月婷婷| 丁香五月在线观看完整版| 婷久久综合| 五月婷婷六月丁香| 亚洲天天免费| 精品九九网| 人妻综合网| 成人超碰AV| 亚洲六月色| 久机视频这只有精品| 中文字幕AV网址| 婷婷五月天色| 曰日爽日日操| 99热国品免费| Www.狠狠| www.色五月| 六月亚洲| 欧美综合五月丁香六月婷| 欧美这里只有精品| 成人va视频| 五月婷婷xxx| 久久加勤综合| 色色网站| 亚洲操操操| 丁香五月天黄色片| 日美三级| 曰韩少妇内射免费播放| 91要啪| 激情综合网,五月| 91人无码久久久久久| 九九干视频| 少妇婷婷五月天| 九九热在线精品视频| 久久婷婷五月天丁香| 婷婷六月花| 一本久道综合99| 99ER热精品视频| 91精品综合久久久久久五月丁香| 六月婷婷狠狠色在线观看| www.1024久久| 国外亚洲成AV人片在线观看| 五月丁香啪综合| VA国产在线综合网站| 久热精彩视频98| 天天爽天天爽视频| 久久久区区一久久久久久| 97婷婷狠狠久久综合9色| 99热综合| 日本色狠狠| 五月丁香六月婷婷精品| 五月婷久久久| 色综啪啪啪啪啪啪| 狠狠色丁香乆乆| 9l视频自拍9l九色9l成人| 婷婷激情鹿城五月天| 激情久久丁香| 久99久视频精选| 国产日产亚系列精品版优势 | a在线观看| 性综合网| 亚洲视频99| 丁香五月婷婷综合视频| 日本九九九九| 激情综合五月天| 五月婷中文娱乐综合| 538在线精品| 激情久久综合| 婷婷狠狠97| 26uuu91| 99无码视频| 99精品偷拍视频| 韩国中文字幕91| 性爱久久| 婷婷五月情| 超碰国产在线观看| 久久丁香五月| 人妻久久久久久| 婷婷五月图片小说视频| 在线观看玖玖资源免费观看| 六月丁香综合999| 超碰久热| 色婷婷影院| 五月色婷婷影院| 国产高潮白浆一区二区| 欧美黄色一级| 久久久亚洲成人无码A片| 婷婷五月天综合网| 99色在线| 国产在线网| 久久九九网| 日本久久人人| 久9热| 狠狠干在线| 99热无码首页| 激情五月天网站| 天天操婷婷| 玖玖热视频| 五月综合六月婷婷| 亚洲色模骚货| 免费不卡狠操美女视频网 | 久热成人| 只有精品视频在线观看| 国产99精品免费视频| 久草婷婷| 欧美性爱特黄一级aaaassss| 色婷婷激情五月天在线观看| 夜夜躁爽日| 开心五月深爱婷婷| 激情综合五月开心狠狠| 婷婷九月亚洲| 五月婷婷六月丁香综合在线| AV中文在线| 91chinese在线| 99热18| 色情五月婷婷| 综合色、色综合| 超碰99成人在线| 亚洲视频久久| 日本一道久久| 五月丁香综合伦理片| 极品 少妇 内射| 婷婷五月天视| 色综合天天天天做夜夜| 欧美日韩成人在线网| 久久色五月| 日本一级黄色电影| 亚洲乱码日产精品BD在线观看| 亚洲激情四射色| a免费在线| 99在线播放| 99热在线资源| 这里只有视频精品| 亚洲成人在线五月天| 国产精品色| 亚洲五月婷婷| 久久婷婷七月丁香| 久婷久婷| 天天更新天天亚洲| 五月婷综合网| 另类图片天天影视在线观看| 亚洲日韩久久婷婷伊人| 国产午夜精品一区二区| 五月婷婷亚洲天堂激情在线| 亚洲色在线观看| 色综合久久88色综合天天99| 中文字幕日产A片在线看| 丁香五月停停av| 久久综合色五月| 日韩婷婷五月| 五月丁香拍拍激情综合| 五月丁香婷草| 色青青电影色五月| 激情久久综合| 天天日天天干天天天| 久久综合五月天| 日韩av一区二区在线/日产精品久久久| 9色操| 五月丁香六月婷| 五月丁香综合啪啪対白| 亚洲综合九九| 六月婷婷综合网2| 五月婷婷黄| 婷婷丁香五月亚洲欧美| 色五月婷婷亚洲| 亚洲激情婷婷| 怡红院91a√| 婷婷在线操| 影音先锋91资源站| 丁香五月天AV在线 | 婷婷狠狠操| 九九黄色网| 午夜福利8055| 五月色婷婷综合丁香精品无遮挡| 亚洲成人在线播放| 伊人五月天久久| 激情丁香久久| 影视av久久久噜噜噜噜噜三级| 国产成人精品亚洲线观看| 久久综合综合综合| 婷婷十月丁香| 99re6在线视频精品免费| 激情图片99| 五月综亚洲| 97视频久久| 婷婷丁香六月天| 久久99久久99久久99人受| 女人天堂 AV| 久99热| 久久六月婷婷| 人五月天婷婷喷水| 丁香五月人妻| 丝袜激情网| 亚洲激情免费视频| 亚洲狠狠爱婷婷| 97香蕉久久超级碰碰高清版| 久久激情网| 丁香六月婷婷缴情欧美| 五月激情综合五月| 激情五月天婷婷| 亚洲另类婷婷综合| 亚洲视频二区| 香蕉婷婷色五月| 五月天六月婷| 97日本在线播放| 婷婷五月丁香影院| 在线综合网| 伊人久久大香蕉网| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 大香蕉久久综合网| 国产色五月| 一本色道久久88综合日韩精品| 六月丁香久久| 99婷婷| 淫视馆AV在线| 91热99| 玖玖99免费视频| 99色热| 综合九九久久| 五月综合久久| 日韩成人AV在线| 色五月婷婷影院| 日本九九网| 天天日天天插| 大香蕉五月天婷婷丁香91| 色久丁香五| 任你日热视频| 日韩狠狠色| 大香蕉久久草| 九九热这里| 日本美女上人| 婷婷丁香六月| 九九婷婷五月天影视| 国产AV熟妇人震精品一品二区| 激情综合五月激情17| 99色在线视频| 丁香婷婷六月激情| 色五月网址| 国产激情视频在线观看| 99热思思| 五月情涩综合婷婷| 97超级碰碰碰| 伊人久久婷婷| 99爱免费在线观看| 婷婷久综合| 99亚洲日韩| 加勒比日本一区二区三区| 婷婷色操| 综合激情五月四射婷婷| 538在线精品| 午夜激情五月| 欧美日韩五月婷婷| 色五月婷婷五月| 婷婷五月天中文字幕.| 激情五月天色播| 婷婷在线午夜| 丁乡久久| 六月丁香五月婷婷| 婷婷激情五月色综合| 婷婷五月中文字幕| 日本天天色| 亚洲女婷婷五月基地综合久久久 | 日韩视频99| 激情婷婷九月| 99热这里只有精品9| 色五月综合网| 香蕉国产2013| 无码视频国内精品久久久| 狠狠xx| www激情| 亚洲天堂婷婷丁香| 国产婷婷五月色情综合| AA丁香综合激情| www,奇米影视| 九色91国产| 激情图片婷婷| 另类激情四射| 超碰成人黄色网| 五月天婷综合| 思思热在线精品视频网站| 人人操女人| 狠狠操狠狠操| 这里只有精品视频在线| 五月激情婷婷色| 色综合狠狠色| 色色色色色色色色色影院| 99热网址| 色五月天视频| 久热这里只有精品6官网亚洲| 五月综合人妻| 99超级碰免费视频| 欧美va在线观看| 色婷婷综合久色AV五色最新| 五月丁香趴趴| 国产五月视频| 日本va欧美va国产激情| 无码色色色| 丁香婷婷久久激情| 综合大香蕉| 久热A片| 99热精品在线| 成年人看Va免费视频| 色婷婷丁香五月| 熟女国产在线一区二区三区四区| 99久久九九| 久久玖玖综合| 成人视频婷婷| 亚洲精品五月| 九九热再线九九视频免费在线观看 | 99视频色在线观看| 欧美色偷拍| 天天肏在线视频| 色婷视频| 五月天综合视频| 天天做天天爱天天爽| 亚洲无码成人性爰网| 欧美在线干| 国产精品视频网| 久草婷婷网| 婷婷五月天激情小说| 五月综合激情综合久| 99热大全在线观看| 97在线碰| 9191avse| 狠狠第四色| 五月婷婷色白丝| 欧美特大片黄| 欧美性猛交99久久久久99按摩| 久久一热| 五月天激情图片| 国产精品视频久久99| 色色色在线播放| 国产亚洲色婷婷久久99精品91| 久久看九九90| 超碰人人摸AV| 五月做爱| 中字幕视频在线永久在线观看免费| 国产成人网址| 色噜噜狠狠色综| 欧美性交一区二区三区| 色婷婷综合丁香五月天| 久久婷婷五月综合色丁香| 中文字幕综合色| 丁香婷婷综合影院| 99在线爽| 懂色av蜜臀av粉嫩av永陈冠希| 精品九九久久| 五月色激情综合网| 色婷婷AⅤ| 丁香花操逼| 久婷视频| 日本色色网站| 色婷婷香蕉| 99爱爱| 97久久久久| 操逼毛片国语对白| 天天想夜夜爽天天爽| 亚洲婷婷五月天在线激情综合网| 丁香五月情色| 开心久久爱五月天| 激情综合丁| 亚洲欧州色情在线观看| www.五月.com| 六月婷婷av| 狠狠色综合网站久久久久| 日狠狠| 六月丁丁香| 高清资源站日A美A欧亚…| 日韩人妻AV在线| 最新日韩AV中文字幕| 久艹伊| 色色五月婷婷久久| 国产色色在线| 六月婷婷国产| 五月天开心网| 26uuu亚洲| 中字幕视频在线永久在线观看免费| 操一区| 国产成人精品一区二三区熟女在线| 黄色热99| 色www.con| 激情久久久久| 亚洲一区先锋影音| 婷婷五月天综合在线| 婷婷97碰碰| 激情五月天视频| www.97视频| 色情五月| 色亚洲无码| www.日日夜夜| 亚洲在线综合| 日韩黄在免| 91天堂网综合| 丁香五月婷婷婷婷欧美综合| 夜夜爽天操| 在线观看亚洲视频影院| 五月天综合| 熟妇国产| 免费国产视频| 五月婷视频久久| 丁香五月 无码| 婷婷色五月开心五月| 九九热这里只有精品556| 99热99免费| 99热这里都是精品| 欧美顶级少妇做爰HD| 人人叉久| 天天免费成年人视频| 丁香五月成人在线| www久久99| www五月婷婷88导航| 六月丁香停| 天天做天天爱天天爽在| 五月丁香婷婷婷激情爱爱| 色五月婷婷五月天| 色九综合| 777丁香六月青青草婷婷综合久月| 另类小说五月天| 国产国产乱老熟女视频网站97| 中文久久婷婷| 激情五月婷在线精品| 色婷婷欧美| 狠狠狠狠狠狠草| 六月丁香啪啪| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 久操干| 五月天色综合服务平台| 狠狠干婷婷| 亚洲色综合色网| 狠狠色激情在线| 婷婷伊人综合中文字幕| 五月婷婷丁香五月| 婷婷五月丁香伊人网| 91婷婷在线| 天天视频精品9| 六月婷婷色色色| 六月婷婷激情| 人人97操| 99视频| 26UUU欧美| 婷婷五月草| 五月丁香久久呀| 伊人成人宗合网| 99激情网| 在线成人国产| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 这里只有精品96| 99精品久久久久久久婷婷久久 | 婷婷丁香五月婷婷| 99热网站| 91在线视频观看午夜福利| 婷五月天天| 五月天久久婷婷| 婷婷五月天av小说| 日逼免费视频| 欧美大片免费播放器| 伊人久久激情图区五月| 国产成人+综合亚洲+天堂| 激情久久综合网| 99热在线观看免费| 婷婷伊人欧美| 五月久久亚洲| 婷婷五月激情基地| 五月丁香婷中文字幕| 婷婷色播婷婷| 天天日夜夜高潮| 九九热视频精品| AV免费在线网站| 欧美丁香婷婷五月| 色开心五月丁香| 天天婷婷| 婷婷综合偷拍| 五月婷婷丁香五月| 国产精品人妻在线网址| 久9免费视频| 9精品视频在线观看| av在线免费网站 | 超碰亚洲天堂| 丁香五月婷婷啪啪| 五月丁香在线| 深爱五月天婷综合| 成人丁香婷婷| 色婷婷色婷婷五月| 月色色综合婷婷网| 国产精品成人AV在线| 超碰在线资源| 涩五月婷婷| 91干在线| 婷婷五月天最新综合你懂的 | 久久多色| 亚洲性天天| 久久激情网| 国产va在线视频| 亚洲熟妇AV乱码在线观看| 亚洲VA在线| 久久久婷婷色五月资源网| 婷婷色婷婷| 久久综合爱| 三年高清大片免费观看国语| cc精品国产性传播| 国产婷婷综合在线免费视频| 亚洲午夜AV| 思思热99er在线视频| 国产午夜精品一区二区三区四区| 丁香五月天啪啪激情综和网| 色色色色色色色色色色色色色五月天| 91久久婷婷| 色色色综合视频| 不卡在线超碰| 日本不卡五月婷婷丁香| 婷婷色在线播放| 色色色色色色网站| 亚洲精品五月| 九九精品综合| 午夜性做爰电影| 久久色这里只有精品| 3p久久| 婷婷综合激情| 操丝袜视频影院导航| 九九热婷婷| 五月丁香影院| 99精品性爱| 天搞天天天天天| 天天干天天日蜜臀av| 综合网天天| 婷婷激情丁香五月天综合| 天天干人人奸97| h亚洲| 丁香五月日啪| 九月激情综合婷婷| 亚洲亚洲人成综合网络| 日日夜夜爽爽| 色中色综合| 6080av| 伊人婷婷大香蕉| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 开心激情综合| 日韩成人网站精品久久大全| 国产AV熟妇人震精品一品二区| 国产97色在线 | 日韩| 色婷婷丁香五月丁香| 天天色99| 色婷婷中文| 91精品91久久久中77777| 五月六月激情| 色综久久久| 欧美日韩123| avh片在线观看| 久热这里| 丁香五月婷婷啪啪啪| 色99欧洲色19| 狠狠88综合久久久久噜噜噜| 久9无码视频| 久99婷婷色综合| 激情开心五月天| 狠狠干五月天| 成人性爱无码| 欧美99热| 人人爽天天莫| 婷婷色网站| 99er热精品视频| 精品国产AV色一区二区深夜久久| 99热老司机| 婷婷五月色播放| 超碰精品手机在线| 五月丁香啪啪啪免费看| 久久久久久欧美精品se一二三四| 国产免费av在线| 日韩国产AV播放| 四川BBB搡BBB搡多人乱亂| 亚洲六月色| 久久精品系列| 性色99| 丁香五月六月激情| 婷婷五月欧美综合| 婷婷五月在线综合| 婷婷五月综合婷婷| 另类天堂| 久久久999精品| 五月丁香毛片| 激情无码网| 亚洲4区国产欧美| 色婷婷久久9.com| 国产99久| 99爱在线| 2015在线中文字幕| 国产首页在线| 97色射| 色网五月婷婷| 色五月亚洲| 日韩性爱AV| 五月天久久色| 91干网站| 91精品久| 日韩无码系列| 色婷婷先锋| 91九色丨国产丨爆乳| 欧美色色干| 噜噜色五月| 久久男人网婷婷| 超碰妻人人| 97男人天堂| 婷婷自拍| 91精产一区三区免费观看| 婷婷涩涩五月天| 日本不卡中文字幕| 5月丁香啪啪啪| www婷婷| 久久激情五月| 少妇高潮呻吟A片免费看软件| 亚洲精品字幕| www.久久色.com| 91色吧网| 久久综合婷婷| 3p日韩网站视频| 亚洲狠狠操| 天天做好综合色| 色色亚洲| 婷婷天天日婷婷| 色婷婷电影网| AV中文字幕夜夜操b天天摸bb | 五月天婷婷综合| 婷婷五月天激情电影| 99热这里只有精品2| 婷婷五月色| 丁香婷婷激情网站| 影音先锋偷偷色男人站| 亚洲区视频| 色婷婷视频| 中文字幕簧片| 综合五月丁香六月婷婷| 五月丁香婷婷色色色| 亚洲网视屏| 五月婷婷性爱| 婷婷五月成人社区| 五月丁香六月成人| 五月婷婷六月爱| www.五月丁香| 另类激情综合| www.夜夜| 五月综合激情网| 亚洲区1| 五月开心婷婷网| 激情五月天免费视频| 丁香五月婷婷丫| 激情内射p| www.99热| 中文字幕丰满乱孑伦无码专区| 色婷婷狠狠久久YY| 电影爱拉战争免费观看| 99在线观看视频| 五月天播播| 色色色色色色色五月| 国产韩日亚洲美州欧亚综合在线| 色播丁香婷婷五月激情| 色久丁香五| 亚洲亚洲人成综合网络| 第四色大香蕉| 天天色五月| 人人操AV| 亚洲亚洲人成综合网络| wWW九九在线播放| 狠狠干青青草| 久久婷婷啪啪视频| 色网五月婷婷| 五月婷丁香| 亭亭社区五月天| 久久99视频| 激情五月黄色| 亚洲天堂热| 九九精品网| 麻豆WWWCOM内射软件| 操人久久| 久久婷婷五月综合色和| 欧美性爱五月天| 18久久| 久久996re热这里只有精品无码| 久婷久婷| 久久久精品人妻| 97在线观视频免费观看| www久| 久狠日av| 极品人妻VIDEOSSS人妻| 欧美va视频| 色导航色婷婷五月天在线观看| 激情五月天色播| 天堂网啪啪| 日日懆天天懆| 久久A极片| 欧洲99视频在线| 婷婷五月丁香色综合| 超碰婷婷五月| 思思久ren热| 激情综合无码| 97九色视频| 99青青草| 天天爽天天爽| 色五月婷婷久久| 极品人妻VideOssS人妻| 岛国AAAV| 激情久久五月网| 六月婷婷五月丁香| 婷婷色五月激情| 激情六月天| 182tv992tv人之初午夜免费观看| 精品婷婷五月视| 婷婷爱五月天| 97操操操| 日本啪啪天堂| 综合99视频| 涩综合婷婷| 另类图片五月激情| 欧美日韩AAA| 婷婷综合国产| 婷婷六月色播| 丁香五月婷婷久久久| 丁香五月网在线观看| 香蕉AV777XXX色综合一区| 久久综合热17c| 国产激情综合| 五月婷婷亚洲天堂激情在线| 久久六月综合| 久久婷婷五月综合97色一本| 免费视频99| 五月色情婷婷| 思思精品视频| 五月色婷婷亚洲 | 综合99在线| 丁香六月婷婷| 色10月婷婷视频| 超碰操网| 五月丁香综合啪啪| 思思热精品在线视频| 五月婷婷亚洲综合在线| 婷婷五月丁香手机在线视频| 91怕怕网| 亚洲xx在线| 这里只有精品久| 色婷婷很很丝袜| 五月丁香六月婷婷国产视频| 婷婷丁香五月综合久久| 婷婷六月久久综合导航| 激情九月丁香婷婷| 婷婷久久亚洲| 97超碰婷婷五月天| 天天夜夜操| 免费超碰在线| 91色情播放| 日韩日比视频| 婷婷午夜激情| 99re思思热在线视频| 99热这里只有精品9| 激情综合五| 67194中文字幕| 狠狠综合网| 狠狠狠狠狠狠| 99色一| 久久六月综合| 大香蕉九操| 伍月婷丁香婷| 婷婷五月天 丁香五月天 裸体| 99热在线精品观看| 色丁香五月| 五月婷婷激情网| 天天射影视综合网| 中文字幕久久婷九女同| 久久人人九| 丁香色五月婷婷17C| 香蕉久久国产AV一区二区| 淫荡综合网| 丁香婷婷老司机久操| 色婷婷9| 草操AV在线| 91国产精品视频播放| 亚洲成人超碰| 五月天激情网址| 99视频在线啪| 天天插天天爱| renrencaoav| 日本天堂免费99| 天天做天天爱天天高潮| 婷婷五月色亚洲| 激情五月婷婷她| 五月亭亭直播| 日本激情综合| 91色婷婷综合久久中文字幕二区| 三人荫蒂添的好舒服A片 | 久久精品五月| 天天爽夜夜操| 亚洲人妻一区二区| 天堂久久婷婷| 婷婷成人视频| 狠狠色综合网站久久久久| 亚洲黄色影视| 五月天久久小说| 综合婷婷| 天天干天天 亚洲| Www99热| 五月婷婷六月天| 99热这里只有精品9| 99热这里只有精品亚洲| 国产综合久久久777777| 国产亚洲在线观看| 五月婷婷六月丁香在线视频免费在线观看| 精品99这里有| 99视频在线看| 久久久亚洲精品一区二区三区浴池 | 天天插天天爽| 婷婷激情图片| 伊人久久五月天| 五六月婷婷| 国产精产国品一二三在观看| 久热 91| 六月婷婷五月丁香| 久久久久久久97| 无码人妻一区| 九九精品在线视频观看| 69人人操人人爽| 五月天婷婷乱| 激情综合婷婷| 国产亚洲精品AAAAAAA片| 噜一噜在线| 婷婷五月中文字幕国产| 色五月无码| 色婷天天| 人人操 色| 色播色丁香五月| 亚洲精品V天堂中文字幕| 激情五月婷婷丁香| 原琪琪色影院| 丁香五月香蕉| 丁香五月中文字幕久色| 丁香五月自拍| 亚洲成人影视在线观看| 色月丁| OYIWbGcPu8H| 久久精品一区二区三区四区| 丁香五月在线| 国産精品| 丁香六月婷婷久久综合| www.99成人视频| 婷婷五月激情片| 国产视频久色| 开心久久xxx色| www.激情| 九九碰九九爱97超碰| 99热1| 婷婷色色丁香五月天| 日本99婷婷| 亚洲AV电影av| 激情婷婷22月间| 日逼影音先锋男人资源站| 亚洲亚洲人成综合网络| 无码人妻少妇色欲AV一区二区| 四色99久久| 99久久99久久综合| 99久久久久久| 337p大胆噜噜噜噜噜91Av| 狠狠久久婷五月| 超碰成人免费| 日韩成人综合网| 九九热免费视频| 99热这里是精品| 国产激情综合五月久久| 思思热精品在线| 综合五月亭亭9| 6080av| 岛国av网| 色久激情在线| 久久机热这里只有精品| 五月精品免费XXX| 五月婷婷视频28| 九九婷婷五月天| 五月天婷婷乱论小说| 婷婷五月美女直播| 播五月丁香三月婷婷| 激情六月婷婷| 97色欧美| 97久久人人操| 激情综合网五月天| 国产成人网址| 成人国产欧美大片一区| www.色色色com| 五月婷婷九九久久| 色婷婷天堂| 激情久久久| 婷婷国产日本欧美| 五月天激情综合网站| 操笔无码| 99er6热在线观看精品6| 狠狠色综合精品视频在线| 夜夜爽天操| 激情五月六月| 天堂综合久| 大香蕉五月婷婷| 天天操天天插| 91丨九色丨老熟女激情| 哇嘎成人久久| 变态另类9| 亚州欧美国产久精国产99综合视频| 久久久久99精品成人片| 欧美α√| 欧美日韩99| 五月婷婷激情| 日韩小视频在线99| 丁香五月色五月| 欧美天天爽| 天天操夜夜爽| 婷婷五月亚洲综合| 激情六月婷婷| 中文字幕免费高清电视剧| 99在线看视频| 婷婷伊人网| 秋霞网在线观看理论91| 五月丁香六月婷婷视频| 91视频五月丁香| 99色在线| 99久久終合| 久久婷婷五月综合| 亚洲综合视频一下| 饮料下药迷倒漂亮女同事强干| 日韩婷婷| 操操操B| 狠狠色丁香婷婷久久综合| 99热欧美在线观看| 巴基斯坦粉嫩无码视频| 婷婷99中文字幕| 欧美三级巜人妻互换| 蜜桃婷婷狠狠久久| 伊人久久婷婷| 色噜噜在线| 日本三级中国三级99| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久精品婷婷| 亚洲五月天狠狠| 婷婷色综合| 丁香五月综合| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 色五月婷婷在线| 五月亭亭欧美女人| 久久AAAA片一区二区| 深爱开心激情| 精品久久99码| 中文字幕人妻一区二区| 9l视频自拍九色9l视频在线观看| 人人色性网| 夜夜干 夜夜操| 丁香网五月天| 99九九玖玖| 婷婷五月丁香伊人网| 五月花免费视频| 黄页免费一级视频懂色| 五月婷婷少妇之| 日韩啪啪视频| 九九超碰人人| 亚洲mm色| 婷婷99| 日韩操逼大片| 久久99性爱视频| 99欧美| 激情六月丁香| 日日操夜夜骑| 色狠狠色噜噜AV天堂五区| 在线观看av网站| 久久九九蜜| 亚洲综合色色色| 六月婷婷综合激情| 97色色综合| 无码人妻AV久久久一区二区三区| 色色五月天丁香| 五月天激情国产综合婷婷| 1024欧美看片| 午夜丁香六月婷| www夜夜操| 中文字幕,综合,91| 中文av网站| 99青青草99| 激情五月婷婷在线区| 日日干天天爽| 91丨九色丨大屁股| 97视频久久| 欧美三级大片AA在线看| 丁香五月aV| 亚洲综合在线视频| 天堂久久精品| 丁香色婷婷五月天| 激情网 久久| 婷婷激情五月天7| 狠狠摸狠狠摸| 嫩草AV久久伊人妇女超级A| 色九月婷婷| 丁香五月婷婷啪啪啪| 成人精品视频99在线观看免费| 黄久久久| 色噜噜狠噜噜视频| 色综合9| 五月天色婷婷激情综合| 久久曰曰| www.精品99| 激情5月婷婷| www.色欲丁香婷婷| 思思99re这里只有| 99超超碰| 亚洲综合视频一下| 色色色色丁香| 欧美va亚洲va| 色五月激情五月开心五月| 影音先锋色色色资源色资源色| 99热精品在线| 中文字幕永久免费| 六月婷婷久久| 亚洲国产成人在线| 激情婷婷丁香五月天| 欧美日本黄色| 天天爽人人综合免费7799| 人妻激情综合| 狠狠99| 色婷婷色情| 91碰碰碰| 性爱AV天堂| 激情五月综合网| 丁香六月开心| 性做爰1一7伦| 久久精品爱爱| 99热这里只有精品9| 99丁香五月婷| 中文字幕日产A片在线看| 中文国产五月天| 五月丁香婷婷老司机| 色中色综合| 26.uuu丁香五月婷婷| 婷婷久久色| 五月激情婷婷图片基地| 能看的AV| 国产裸舞表演WWWW| 亚洲色婷婷久久99精品91| 五月天天爱| 成人永久免费视频在线观看| 五月天另类视频| 色婷綜合网| 婷婷五月激情综合网| 五月婷婷视频在线观看| 大香蕉婷婷五月| 激情综合五| 亚洲精品五十一区| 婷婷丁香日韩五月| 色五月成人| 九月色婷婷| 久久精品熟女亚洲AV麻豆| 激情五月天com| 91碰在线| 禁欲电影完整版在线播放| 六月丁AV| 亚洲不卡欧洲| 综合色久| 第四色婷婷最爱| 亚洲婷婷综合视频| 丁香五月婷婷基地| 久久色天堂| 日韩AV中文在线观看| 婷婷播5月| 天天久久人人| 新激情五月天| 亚洲婷婷五月天|