欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

MADDPG多智能體博弈對抗實戰(zhàn):從DDPG到中心化訓(xùn)練去中心化執(zhí)行

MADDPG多智能體博弈對抗實戰(zhàn):從DDPG到中心化訓(xùn)練去中心化執(zhí)行 簡介面向希望系統(tǒng)學(xué)習(xí)多智能體強(qiáng)化學(xué)習(xí)的高校學(xué)生與開發(fā)者這份基于Python與MADDPG的多智能體博弈對抗算法資源完整覆蓋算法搭建、訓(xùn)練與測試流程可直接用于畢業(yè)設(shè)計、課程設(shè)計、工程實訓(xùn)或初期項目立項。壓縮包共含14個文件其中10個Python腳本構(gòu)成核心代碼分別實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)定義、DDPG與MADDPG智能體構(gòu)建、經(jīng)驗回放緩沖區(qū)、訓(xùn)練主循環(huán)、測試環(huán)境交互等模塊同時附帶README說明文檔、配置文件及虛擬環(huán)境配置信息方便快速還原運(yùn)行環(huán)境。整個壓縮包僅19KB代碼量不大但結(jié)構(gòu)完整便于逐行閱讀與二次開發(fā)。目前已有266人學(xué)習(xí)適合希望從零理解多智能體博弈機(jī)制的入門者或中高級學(xué)習(xí)者。讀者可通過這些腳本搭建自己的對抗實驗觀察智能體在競爭與合作環(huán)境中的策略演化并在此基礎(chǔ)上修改獎勵函數(shù)或環(huán)境邏輯擴(kuò)展出更強(qiáng)的自定義博弈算法。1. 多智能體博弈對抗為什么簡單復(fù)制單智能體策略會全線翻車設(shè)一個場景三架無人機(jī)圍堵一架入侵機(jī)。你把單智能體的 DDPG 復(fù)制成三個獨(dú)立進(jìn)程去跑結(jié)果經(jīng)常是——三架無人機(jī)先亂撞一氣然后集體躺平在原地轉(zhuǎn)圈。原因不復(fù)雜多智能體強(qiáng)化學(xué)習(xí)里每個智能體面對的“環(huán)境”都包含其他智能體的策略而別人的策略一直在變單智能體那套“環(huán)境穩(wěn)定”假設(shè)被直接打破。MADDPG 算法就是沖這個痛點(diǎn)來的。它保留 DDPG 在連續(xù)控制上的優(yōu)勢用“中心化訓(xùn)練、去中心化執(zhí)行”的思路讓訓(xùn)練階段每個智能體能看到他人的狀態(tài)和動作部署時卻只依賴自身局部觀測。這篇文章會從算法原理、環(huán)境搭建、PyTorch 落地到訓(xùn)練踩坑把一條可復(fù)現(xiàn)的博弈對抗訓(xùn)練路線完整走一遍。適合剛開始做多智能體強(qiáng)化學(xué)習(xí)的同學(xué)也適合想把現(xiàn)有單智能體代碼升級改造的工程師。2. 讀懂 MADDPG 的核心思想中心化訓(xùn)練、去中心化執(zhí)行改的是什么2.1 先理解 DDPG再看 MADDPG 改了什么DDPG 是單智能體連續(xù)控制的經(jīng)典方案actor 網(wǎng)絡(luò)根據(jù)狀態(tài)輸出動作critic 網(wǎng)絡(luò)評估“狀態(tài) 動作”的價值。訓(xùn)練時 critic 給 actor 提供梯度方向actor 負(fù)責(zé)實際決策。它在機(jī)械臂、自動駕駛等單智能體連續(xù)控制任務(wù)上表現(xiàn)穩(wěn)定到了多智能體對抗場景卻會出問題。根本原因是每個智能體的 reward 不只取決于自己的動作還取決于對手和隊友的當(dāng)前策略當(dāng)隊友的策略隨訓(xùn)練不斷更新“環(huán)境”對任意單個智能體都是非平穩(wěn)的。非平穩(wěn)性對經(jīng)驗回放的傷害尤其明顯。DDPG 依賴經(jīng)驗回放假設(shè)過去采樣的經(jīng)驗仍然能代表當(dāng)前環(huán)境分布但多智能體對抗中對手策略一變舊經(jīng)驗的獎勵含義就過時了直接拿去更新會讓價值估計左右搖擺。MADDPG 的解法很直接每個智能體訓(xùn)練時把環(huán)境中所有智能體的觀測和動作都喂給自己的 critic讓價值函數(shù)在“看得見全局”的前提下做評估從而把其他智能體策略變化帶來的非平穩(wěn)性部分轉(zhuǎn)化成了可觀測的輸入變量。這就是它和 DDPG 最本質(zhì)的區(qū)別。2.2 critic 看全局、actor 看局部為什么這是對抗場景下的正確折衷先明確一點(diǎn)MADDPG 并不是一個全局策略算法而是一組“每個智能體一套 actor-critic”的結(jié)構(gòu)。訓(xùn)練階段第 i 個智能體的 critic 輸入是環(huán)境中所有智能體的觀測拼接、所有智能體的動作拼接而它的 actor 輸入只有自己的觀測。兩者結(jié)構(gòu)差異可以這樣對比結(jié)構(gòu)項單智能體 DDPGMADDPGactor 輸入自身觀測 o自身觀測 o_icritic 輸入自身觀測 自身動作全部觀測 [o_1,...,o_N] 全部動作 [a_1,...,a_N]目標(biāo)網(wǎng)絡(luò)數(shù)量actor、critic 各 1 個每智能體 actor、critic 各 1 個目標(biāo)網(wǎng)絡(luò)部署時actor 可用只部署 actorcritic 留在訓(xùn)練端critic 看全局能帶來兩個實際好處。第一在對抗中對手動作被顯式作為輸入Q 值擬合時不用再去“猜測”對手下一步會干什么對手策略更新造成的影響被納入了輸入維度經(jīng)驗回放的失效問題大幅緩解。第二在協(xié)作對抗混合場景里隊友動作也在 critic 輸入里價值評估能正確反映“配合”帶來的增益而不是把隊友造成的獎勵變化誤判成環(huán)境噪聲。actor 保持局部觀測則是一個工程折衷。在真實對抗系統(tǒng)里部署時往往沒有全局通信條件鏈路可能丟包、帶寬有限、某些觀測天然不可共享。如果策略依賴全局狀態(tài)部署時就會因為信息缺失而直接失靈。MADDPG 把“全局信息”只留在訓(xùn)練端部署時每個智能體靠自己的局部觀測獨(dú)立決策這符合絕大多數(shù)實際系統(tǒng)的約束。很多初學(xué)著看到 CTDE 就以為算法能集中決策這是最常見的誤解——它只是集中地“學(xué)”并不要集中地“做”。2.3 目標(biāo)網(wǎng)絡(luò)與軟更新參數(shù)怎么設(shè)才不激進(jìn)MADDPG 的更新邏輯沿襲 DDPG每個智能體都有主網(wǎng)絡(luò)和目標(biāo)網(wǎng)絡(luò)兩組參數(shù)。計算 TD 目標(biāo)時下一時刻的 Q 值用目標(biāo)網(wǎng)絡(luò)算避免自舉式更新導(dǎo)致的價值發(fā)散。目標(biāo)值的表達(dá)式是y r γ × Q_target(全部下一觀測, 全部目標(biāo)動作)這里的“目標(biāo)動作”不是主網(wǎng)絡(luò)輸出的動作而是每個智能體各自目標(biāo) actor 網(wǎng)絡(luò)輸出的動作。我見過不少實現(xiàn)圖省事直接用當(dāng)前 actor 輸出算下一時刻動作這樣會讓目標(biāo)值里同時包含兩份在更新的參數(shù)梯度被持續(xù)注入偏置收斂會慢很多。正確做法是目標(biāo) actor 輸出后接 detach切斷梯度回傳。軟更新參數(shù) tau 是第二個容易踩的坑。常見做法是每訓(xùn)練一步就把目標(biāo)網(wǎng)絡(luò)參數(shù)向主網(wǎng)絡(luò)滑動一點(diǎn)tau 取 0.01 起步。在多智能體對抗里我一般取 tau0.01同時把更新頻率從“每步”改成“每 100 步同步一次”相當(dāng)于兼顧平滑和穩(wěn)定。如果 Q 值曲線像鋸齒一樣劇烈抖動把 tau 降到 0.005并把同步間隔拉大到 200 步。注意目標(biāo)網(wǎng)絡(luò)參數(shù)不是復(fù)制越勤越好。多智能體場景里每個 critic 都耦合了所有智能體的策略某個智能體策略突變會被同步放大到其他人的目標(biāo)值里表現(xiàn)為集體振蕩。軟更新參數(shù)寧可保守。另外要強(qiáng)調(diào)的是MADDPG 并沒有修改 DDPG 的另一個基礎(chǔ)組件——探索。訓(xùn)練時 actor 輸出的動作要疊加噪聲常見做法是高斯噪聲或 Ornstein-Uhlenbeck 噪聲。對抗環(huán)境下 OU 噪聲的時序相關(guān)性有助于維持探索的連貫性但參數(shù)不好調(diào)我實際用下來簡單的高斯噪聲配合噪聲方差衰減在大多數(shù)仿真環(huán)境里已經(jīng)夠用也更少出現(xiàn)調(diào)參玄學(xué)。3. 環(huán)境與博弈配置用 MPE 搭一個可訓(xùn)練的對抗環(huán)境3.1 選哪個環(huán)境simple_tag 里天然帶對抗與追逐博弈算法學(xué)習(xí)不能只在 gym 的連續(xù)控制環(huán)境里跑那里壓根沒有第二個對手。做 MADDPG 博弈對抗入門最常用的是 OpenAI 早期開源的 multiagent-particle-envs簡稱 MPE。它是一組 2D 粒子世界環(huán)境雖然物理精度不高但動作連續(xù)、觀測可控、訓(xùn)練速度快非常適合先驗證多智能體算法邏輯再遷移到重仿真場景。MPE 里有幾個環(huán)境選型時要分清楚simple_spread 是純協(xié)作多個智能體分散覆蓋地標(biāo)里面沒有對手不適合驗證對抗simple_adversary 是“1 個追蹤者 vs 2 個被追者”的不對稱博弈適合練手simple_tag 則是最經(jīng)典的追逐對抗追捕方若干、獵物若干還有一塊障礙區(qū)域每個 agent 都能施加連續(xù)加速度。做 2v2 或 3v3 對稱對抗我通常從 simple_tag 改起。選這個環(huán)境的理由很實際。一是它足夠小一次完整訓(xùn)練幾分鐘到十幾分鐘就能看出策略有沒有分化迭代速度快。二是它的觀測是“相對位置 相對速度 自身信息”這種低維向量便于排查 Q 值、獎勵曲線等訓(xùn)練指標(biāo)比一上來就上 AirSim、Isaac 這類重型仿真器好定位問題。等算法在 MPE 上真的學(xué)出追逐和逃跑策略再遷移到高保真環(huán)境是效率最高的技術(shù)路線。3.2 多智能體如何配置最小安裝與依賴版本MPE 的安裝不算復(fù)雜但版本兼容問題容易卡住新手。這個環(huán)境包依賴較早版本的 gym 接口直接用最新 gym 運(yùn)行常會報 API 不匹配。常見的做法是 clone 源碼后在虛擬環(huán)境里以可編輯模式安裝之后如果跑出 gym 相關(guān)報錯就說明依賴版本偏新需要把 gym 降到老版本。我第一次跑的時候問題就出在 gym 新老接口的差異上折騰了一個多小時才定位到所以這步值得提前注意。一個更省事的配置做法是先把環(huán)境目錄放到項目文件夾里直接在代碼里 import避免全局安裝帶來依賴污染。下面的命令是最小配置路徑# 創(chuàng)建虛擬環(huán)境避免污染系統(tǒng) Python python3 -m venv maddpg_env source maddpg_env/bin/activate # 安裝 torch 和基本依賴 pip install torch numpy # 從源碼安裝 MPE在項目目錄下執(zhí)行 git clone https://github.com/openai/multiagent-particle-envs.git cd multiagent-particle-envs pip install -e .參數(shù)說明虛擬環(huán)境是這里最重要的一步多智能體項目后續(xù)會頻繁改依賴版本沒有虛擬環(huán)境隔離系統(tǒng)級 Python 會被搞得一團(tuán)糟。-e表示可編輯安裝環(huán)境包源碼在 project 目錄中改動后立即生效方便臨時修改環(huán)境邏輯比如改獎勵函數(shù)。安裝完成后用一段腳本確認(rèn)環(huán)境能正常加載# test_env.py from multiagent.environment import MultiAgentEnv import multiagent.scenarios as scenarios # 加載 simple_tag 場景 scenario scenarios.load(simple_tag.py).Scenario() world scenario.make_world() env MultiAgentEnv( world, scenario.reset_world, scenario.reward, scenario.observation, info_callbackscenario.info, ) obs_n env.reset() print(智能體數(shù)量:, env.n) print(觀測維度:, [o.shape[0] for o in obs_n]) print(動作空間:, env.action_space[0])這段代碼只做一件事確認(rèn)環(huán)境對象能不能正常創(chuàng)建。環(huán)境數(shù)量env.n打印出來應(yīng)該是場景中的智能體總數(shù)觀測維度每個智能體可能不同這取決于場景各自的觀測函數(shù)定義。動作空間打印出的類型決定了后續(xù)網(wǎng)絡(luò)輸出層怎么設(shè)計。如果這段腳本直接報錯先檢查 gym 版本再看 Python 版本是否過新而不是去懷疑算法代碼。3.3 觀測空間與動作空間寫 reward 前先把坐標(biāo)算明白MPE 的動作空間默認(rèn)是離散的 5 個動作上下左右不動。但 MADDPG 的 actor 輸出層通常接 Tanh輸出連續(xù)值在 [-1, 1]。兩個對不上時常見的做法是寫一個動作映射層把連續(xù)動作映射到離散動作區(qū)間。例如 [-1, -0.5) 映射為向左、[-0.5, 0.5) 映射為不動、(0.5, 1] 映射為向右。更順手的做法是直接改場景把動作空間改成連續(xù)力控制這樣 MADDPG 原生的連續(xù)動作輸出就能直接用。我建議走連續(xù)動作這條路原因有兩個。一是省掉映射層的精度損失離散映射會讓細(xì)小的策略差異被抹平二是后續(xù)遷移到真實機(jī)器人或無人機(jī)仿真時控制量本來就是連續(xù)的提前用連續(xù)動作訓(xùn)練策略遷移性更好。改法不復(fù)雜在場景的make_world里把 mover agent 的action_space從離散改成連續(xù)即可。觀測空間則要看場景的observation函數(shù)。simple_tag 里每個智能體的觀測大致包括自己的相對位置、相對速度、標(biāo)記以及與其他實體的相對坐標(biāo)。訓(xùn)練前一定要打印一份實際觀測向量逐段搞明白每個維度是什么。我踩過最典型的坑是reward 里用了“距離差”做目標(biāo)但觀測里給的是相對坐標(biāo)網(wǎng)絡(luò)要自己學(xué)習(xí)“距離 坐標(biāo)差的范數(shù)”這個映射。這個映射不是學(xué)不會而是會拖慢收斂。不如直接在 reward 和觀測里都用距離讓網(wǎng)絡(luò)把精力放在策略上而不是解算術(shù)。一個穩(wěn)定的 reward 設(shè)計方案是分層給追逐方設(shè)置“接近獵物給正獎勵 持續(xù)貼近保持不動給正獎勵 出界懲罰”給獵物設(shè)置“遠(yuǎn)離追捕者給正獎勵 被抓住給大懲罰”。注意獎勵幅度不要跨數(shù)量級距離獎勵量級在 0.1 左右、捕獲懲罰在 -5 左右這樣一個量級內(nèi)的獎勵設(shè)計Q 值不會因為方差過大而爆炸。4. PyTorch 落地MADDPG 訓(xùn)練主循環(huán)的四個關(guān)鍵代碼步驟4.1 網(wǎng)絡(luò)結(jié)構(gòu)兩層 MLP 起步先別上復(fù)雜結(jié)構(gòu)很多初學(xué)者一上來就給 actor 加注意力機(jī)制、給 critic 加圖神經(jīng)網(wǎng)絡(luò)結(jié)果收斂更差。做 MADDPG 博弈對抗我的經(jīng)驗是最穩(wěn)的結(jié)構(gòu)就是兩層 MLPactor 中間層 128critic 中間層 128。先把這條基線跑通再根據(jù)任務(wù)復(fù)雜度逐步加深。下面是最小可用的網(wǎng)絡(luò)定義import torch import torch.nn as nn class Actor(nn.Module): 每個智能體一套輸入只看自己的觀測 def __init__(self, obs_dim, act_dim, hidden128): super().__init__() self.net nn.Sequential( nn.Linear(obs_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, act_dim), nn.Tanh(), # 輸出限制在 [-1, 1]匹配連續(xù)動作范圍 ) def forward(self, obs): return self.net(obs) class Critic(nn.Module): 訓(xùn)練階段用輸入所有智能體的觀測和動作 def __init__(self, n_agents, obs_dim, act_dim, hidden128): super().__init__() input_dim (obs_dim act_dim) * n_agents self.net nn.Sequential( nn.Linear(input_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, 1), ) def forward(self, obs_all, act_all): x torch.cat([obs_all, act_all], dim-1) return self.net(x)邏輯說明actor 輸出層用 Tanh 把動作限制在 [-1, 1]這正好匹配 MPE 連續(xù)動作空間的邊界。如果動作空間范圍不是 [-1, 1]可以在環(huán)境側(cè)做 scale而不是改網(wǎng)絡(luò)的激活函數(shù)。critic 把“所有觀測”和“所有動作”拼成一個大向量這個拼接發(fā)生在特征維度上所以每個智能體的 obs 和 act 都要先展平再拼接。參數(shù)說明hidden128是起步值對絕大多數(shù) MPE 級別的任務(wù)足夠如果任務(wù)狀態(tài)維度特別高可以先翻倍到 256而不是直接加網(wǎng)絡(luò)層數(shù)。激活函數(shù)用 ReLU 即可不需要 Gelu 這類花活多智能體訓(xùn)練穩(wěn)定性瓶頸通常不在激活函數(shù)。4.2 經(jīng)驗回放多智能體數(shù)據(jù)的結(jié)構(gòu)比容量更重要多智能體的經(jīng)驗回放和單智能體有一個關(guān)鍵區(qū)別一條經(jīng)驗必須同時保存所有智能體的觀測、動作、獎勵否則更新時 critic 拿不齊全局輸入。很多直接把單智能體經(jīng)驗回放搬過來的實現(xiàn)只存了當(dāng)前智能體的數(shù)據(jù)訓(xùn)練時其他智能體的歷史數(shù)據(jù)全是亂的導(dǎo)致 critic 輸入格式對不上。import numpy as np from collections import deque class ReplayBuffer: def __init__(self, capacity100000): self.buffer deque(maxlencapacity) def push(self, obs_n, act_n, rew_n, next_obs_n, done_n): # 一次性存入所有智能體的數(shù)據(jù) self.buffer.append((obs_n, act_n, rew_n, next_obs_n, done_n)) def sample(self, batch_size): batch np.random.choice(len(self.buffer), batch_size, replaceFalse) # 按智能體維度拆開每個智能體拿到自己的一批數(shù)據(jù) obs_n [[] for _ in range(len(self.buffer[0][0]))] act_n [[] for _ in range(len(self.buffer[0][1]))] rew_n [[] for _ in range(len(self.buffer[0][2]))] next_obs_n [[] for _ in range(len(self.buffer[0][3]))] done_n [[] for _ in range(len(self.buffer[0][4]))] for i in batch: o, a, r, no, d self.buffer[i] for j in range(len(o)): obs_n[j].append(o[j]) act_n[j].append(a[j]) rew_n[j].append(r[j]) next_obs_n[j].append(no[j]) done_n[j].append(d[j]) return ([np.array(x) for x in obs_n], [np.array(x) for x in act_n], [np.array(x) for x in rew_n], [np.array(x) for x in next_obs_n], [np.array(x) for x in done_n])邏輯說明push這次把整條多智能體經(jīng)驗存進(jìn)去而不是只存某個智能體的sample返回的是按智能體索引拆分后的列表每個元素形狀為(batch_size, obs_dim)。更新時訪問obs_n[i]就拿到第 i 個智能體的一批觀測。參數(shù)說明capacity100000是中小型對抗任務(wù)的起步值太小會讓經(jīng)驗分布頻繁被新策略覆蓋失去回放的意義太大則老樣本占比過高策略更新后舊經(jīng)驗價值失真。跑一次訓(xùn)練如果發(fā)現(xiàn)前中期 Q 值擺動劇烈優(yōu)先檢查 buffer 容量是不是設(shè)太小。batch_size我建議取 512 或 1024比單智能體常用的 64 大一個量級因為 critic 的輸入維度更高小 batch 的梯度方差更大。4.3 更新公式的代碼化actor 的梯度到底從哪來這一節(jié)是整個實現(xiàn)里最容易寫錯的部分。MADDPG 更新分兩步先更新 critic再更新 actor。critic 的 loss 是 TD 誤差actor 的 loss 則不是常見的策略梯度形式而是“最大化當(dāng)前狀態(tài)下被 critic 打分的 Q 值”。換句話說actor 的梯度來自 critic 對自己輸出動作的評分def update(agent_id, replay_buffer, batch_size, actors, critics, target_actors, target_critics, optimizers_actor, optimizers_critic, gamma0.95, tau0.01): obs_n, act_n, rew_n, next_obs_n, done_n replay_buffer.sample(batch_size) # 當(dāng)前智能體自己的數(shù)據(jù) obs torch.FloatTensor(obs_n[agent_id]) act torch.FloatTensor(act_n[agent_id]) rew torch.FloatTensor(rew_n[agent_id]).unsqueeze(-1) next_obs torch.FloatTensor(next_obs_n[agent_id]) done torch.FloatTensor(done_n[agent_id]).unsqueeze(-1) # 用目標(biāo) actor 生成所有智能體的下一個動作 next_act_n [] for j in range(len(actors)): next_act_j target_actors[j](torch.FloatTensor(next_obs_n[j])).detach() next_act_n.append(next_act_j) obs_all [torch.FloatTensor(o) for o in obs_n] act_all [torch.FloatTensor(a) for a in act_n] next_obs_all [torch.FloatTensor(o) for o in next_obs_n] # 更新 critic target_q target_critics[agent_id](next_obs_all, next_act_n).detach() y rew gamma * (1 - done) * target_q q_current critics[agent_id](obs_all, act_all) critic_loss ((q_current - y) ** 2).mean() optimizers_critic[agent_id].zero_grad() critic_loss.backward() optimizers_critic[agent_id].step() # 更新 actor # 用當(dāng)前 actor 替換掉自己原來的動作 act_all[agent_id] actors[agent_id](obs) q_actor critics[agent_id](obs_all, act_all) actor_loss -q_actor.mean() optimizers_actor[agent_id].zero_grad() actor_loss.backward() optimizers_actor[agent_id].step() return critic_loss.item(), actor_loss.item()邏輯說明更新 critic 時y里的 target Q 值完全用目標(biāo)網(wǎng)絡(luò)計算并 detach防止梯度穿回目標(biāo)網(wǎng)絡(luò)。更新 actor 時act_all[agent_id]被替換成當(dāng)前 actor 的輸出然后整體送給 critic 打分對actor_loss反向傳播時梯度會流經(jīng) critic 網(wǎng)絡(luò)再回到 actor這就是“critic 指導(dǎo) actor”的含義。其他智能體的動作在這次更新里保持采樣值不變這體現(xiàn)的是 MADDPG“站在別人真實動作上評估自己動作價值”的思想。參數(shù)說明gamma0.95適合步數(shù)較短、回合結(jié)束快的對抗博弈如果任務(wù)是長程圍捕可以提到 0.99。但不要在高 gamma 下配合稀疏獎勵直接訓(xùn)前期的 Q 值會因為遠(yuǎn)期回報方差過大而飄。我一般把 gamma 和回合長度掛鉤回合長度越長gamma 越接近 1。4.4 目標(biāo)網(wǎng)絡(luò)軟更新一條命令的事別省略目標(biāo)網(wǎng)絡(luò)更新有兩種寫法硬復(fù)制每 N 步直接賦值和軟更新每步滑動混合。多智能體對抗里我堅持用軟更新因為多個智能體的目標(biāo)網(wǎng)絡(luò)同時硬復(fù)制會造成目標(biāo)值跳躍式變化這種跳躍在多智能體相互耦合的情況下會被放大成集體振蕩def soft_update(target_net, net, tau): for target_param, param in zip(target_net.parameters(), net.parameters()): target_param.data.copy_( tau * param.data (1.0 - tau) * target_param.data ) # 每個智能體更新后調(diào)用一次 for agent_id in range(n_agents): soft_update(target_actors[agent_id], actors[agent_id], tau0.01) soft_update(target_critics[agent_id], critics[agent_id], tau0.01)參數(shù)說明tau0.01意味著每步只把主網(wǎng)絡(luò)參數(shù)向目標(biāo)網(wǎng)絡(luò)移動 1%目標(biāo)網(wǎng)絡(luò)的變化足夠平滑。實際項目中我常用另一個版本每 100 步把上面這段soft_update循環(huán)執(zhí)行一次每次 tau 取 0.05。這樣既控制了更新頻率又保持了平滑度比每步都軟更新省計算資源效果反而更穩(wěn)。訓(xùn)練結(jié)束時還有一個容易被忽略的細(xì)節(jié)actor 網(wǎng)絡(luò)保存時要把訓(xùn)練時疊加的噪聲去掉后再保存一輪“干凈版本”。如果直接保存正在帶噪聲探索的 actor評估時會發(fā)現(xiàn)策略表現(xiàn)明顯偏差因為噪聲已經(jīng)把動作污染了。保存前先eval()模式跑一遍推理再存權(quán)重文件。torch.save(actors[0].state_dict(), actor_0.pt) torch.save(actors[1].state_dict(), actor_1.pt) # 加載時同樣先建網(wǎng)絡(luò)再 load_state_dict加載模型時注意和保存時保持相同的網(wǎng)絡(luò)結(jié)構(gòu)隱藏層數(shù)、激活函數(shù)都對齊否則state_dict會直接報 key 不匹配。多智能體項目里每個智能體一套權(quán)重文件是最清晰的做法比混合在一個文件里省去不少定位時間。5. 訓(xùn)練避坑收斂慢、策略崩潰、Q 值爆炸的六個典型問題5.1 現(xiàn)象所有智能體 reward 一起歸零策略集體“擺爛”訓(xùn)練到中期曲線突然斷崖式下跌所有智能體的回合獎勵都在零附近無論調(diào)學(xué)習(xí)率還是 batch size 都拉不回來。原因是 reward 設(shè)計給對抗雙方設(shè)了絕對值相反的導(dǎo)向而某一方策略先崩了另一方跟著失去訓(xùn)練信號。比如追逐方的獎勵是“接近獵物 1”獵物是“被接近 -1”追逐方一旦找到“站住不動也能拿 0 分”的局部最優(yōu)獵物就再沒有逃跑壓力雙方策略同時固化。解決的做法是在 reward 里加一個“過程導(dǎo)向”的持續(xù)激勵而不是只給相對量。追逐方除了“接近”加分還要在持續(xù)追出距離時給額外獎勵讓“行動”而不是“不動作”成為收益來源。同時給雙方訓(xùn)練曲線分開記錄不要只看平均 reward——對抗場景下平均獎勵被兩個相反方向的曲線抵消看起來像歸零實際是雙方在對抗。5.2 現(xiàn)象Q 值起步正常幾千步后直接上千萬訓(xùn)練日志里 critic loss 從個位數(shù)跳到百萬級Q 值輸出數(shù)值爆炸。原因是 reward 量級跨度過大或者 target Q 的更新里用了沒 detach 的目標(biāo)網(wǎng)絡(luò)輸出。MADDPG 的 critic 輸入是所有智能體拼接向量維度高、數(shù)值量級差異大比如速度在 0.1 量級、距離在 10 量級未經(jīng)歸一化直接進(jìn)全連接層梯度會不穩(wěn)定。解決的順序先確認(rèn)更新代碼里next_act_n和target_q都加了.detach()再檢查 reward 量級是否控制在 0.1 到 5 之間最后給 critic 輸入做標(biāo)準(zhǔn)化。我常寫一個簡單的觀測歸一化層把 reward 和觀測都縮放到 [-1, 1] 區(qū)間Q 值爆炸基本會在前一萬步內(nèi)暴露并解決。5.3 現(xiàn)象訓(xùn)練曲線反復(fù)橫跳甚至出現(xiàn)間歇性瘋狂尖峰同一份代碼同一份超參數(shù)訓(xùn)練曲線每次跑出來長得很不一樣有幾條 run 的曲線會突然出現(xiàn)尖峰后回彈。原因是多智能體環(huán)境初始狀態(tài)是隨機(jī)的智能體出生位置分布差異大某些初始配置下回合特別長或獎勵特別高被存進(jìn)經(jīng)驗回放后干擾了價值估計。這在博弈對抗里是常態(tài)因為對抗雙方的初始位形直接決定了一整局的難度。解決的關(guān)鍵是固定初始分布的隨機(jī)種子并做“混合采 樣”。我在環(huán)境 reset 時固定隨機(jī)種子讓每局初始條件覆蓋到主要位形但不必完全確定。更有效的辦法是經(jīng)驗回放里按回合分段抽樣讓每局的經(jīng)驗被均勻抽到避免某一局極端經(jīng)驗獨(dú)占 batch。實現(xiàn)的代價不大但對曲線穩(wěn)定性的改善非常明顯。5.4 現(xiàn)象訓(xùn)練完成后策略變成“高頻抖動機(jī)”actor 輸出的動作序列在很小的時間尺度上劇烈跳動仿真里表現(xiàn)為智能體原地高頻抖動幾乎沒有有效位移。原因是追求平滑的策略梯度下actor 被訓(xùn)練得對輸入中的噪聲高度敏感而輸入觀測本身就有 1e-3 量級的數(shù)值噪聲。策略在噪聲方向放大了微小差異反映出動作的高頻分量。解決的思路是在 replay buffer 保存時對觀測做輕量低通濾波或者更直接的做法是訓(xùn)練時給 actor 輸出加動作平滑懲罰將相鄰兩步動作差值的平方加入 loss。我一般會同時做兩件事訓(xùn)練開始時把噪聲方差的衰減調(diào)慢一些讓探索噪聲在最早期保證動作充分多樣性訓(xùn)練后期則對動作加平滑項讓策略只保留低頻控制分量。5.5 現(xiàn)象target 網(wǎng)絡(luò)每步都在更新前期正常后期震蕩加劇目標(biāo)網(wǎng)絡(luò)跟隨主網(wǎng)絡(luò)太緊訓(xùn)練后期主網(wǎng)絡(luò)參數(shù)在局部區(qū)域輕微來回移動目標(biāo)網(wǎng)絡(luò)也跟著在每個時間步追最新值導(dǎo)致 target Q 持續(xù)小幅跳變critic 永遠(yuǎn)追不上會動的標(biāo)靶震蕩越到后期越明顯。原因是 tau 設(shè)成較大固定值加上目標(biāo)網(wǎng)絡(luò)更新頻率和主網(wǎng)絡(luò)訓(xùn)練頻率完全一致。在多智能體場景這種“跟得太緊”的問題尤其突出因為每個智能體的目標(biāo)網(wǎng)絡(luò)耦合了所有人的策略變化。解決的要點(diǎn)是把軟更新變成“低頻大幅”模式每 100 到 200 步做一次完整軟更新tau 取 0.05比每步 0.01 的版本更穩(wěn)。運(yùn)行完第一萬步后如果震蕩仍明顯把同步間隔繼續(xù)加大到 300 步。這個操作不對實驗曲線造成顯著副作用卻能把后期策略崩潰的概率降一個量級。5.6 現(xiàn)象reward 曲線一路向上但實際對抗還是一碰就碎訓(xùn)練日志里 reward 穩(wěn)步上升你覺得快成功了拿訓(xùn)練好的 actor 去做實際對抗測試卻發(fā)現(xiàn)策略莽撞、經(jīng)常被簡單戰(zhàn)術(shù)克制。原因是 reward 曲線只能衡量“在當(dāng)前對手策略下的收益”不能衡量策略的真實強(qiáng)度。對抗訓(xùn)練中對手是自己所以 reward 上升可能只是雙方同時變笨后的“和平相處”而不是真的更強(qiáng)。repo 里訓(xùn)練日志展示的 reward 上升往往沒法和實際對抗能力畫等號。解決的唯一可靠手段是定期評估對抗勝率。訓(xùn)練過程每 N 局保存一組候選模型訓(xùn)練結(jié)束后把不同 checkpoints 兩兩對戰(zhàn)繪制固定種子的勝率熱力圖。只有勝率矩陣能告訴你哪個 checkpoint 真正更強(qiáng)而不是看誰 reward 曲線更高。這個習(xí)慣應(yīng)該從第一天就建立不要等技術(shù)方案全跑完了才去補(bǔ)評估腳本。6. 從“能跑”到“能打”自對弈、優(yōu)先經(jīng)驗回放與勝率評估多智能體博弈對抗訓(xùn)練里最難的不是讓 reward 上升而是讓策略“真的變強(qiáng)”。要驗證和固化成 果我常用的三招是自對弈蓄水、優(yōu)先經(jīng)驗回放、勝率矩陣選模型。自對弈的思路是維護(hù)一個“歷史策略池”每隔一段訓(xùn)練輪數(shù)就把當(dāng)前模型復(fù)制一份放進(jìn)去然后讓在線智能體和歷史版本隨機(jī)對戰(zhàn)。這樣做的目的很樸素如果只和“現(xiàn)在的自己”練雙方會同時進(jìn)化但可能一起走向某個局部最優(yōu)和歷史版本打相當(dāng)于逼策略去適應(yīng)更多變體而不是只記住當(dāng)前對手的弱點(diǎn)。在 MPE 這類輕環(huán)境里策略池每個階段就存一份池子容量 10 個左右每次對戰(zhàn)隨機(jī)抽一個對手效果比單純和當(dāng)前版本對練好很多。優(yōu)先經(jīng)驗回放是另一個收益明顯的改動。博弈對抗中大部分經(jīng)驗是平淡的雙方距離遠(yuǎn)、沒接觸、獎勵接近零這些樣本對網(wǎng)絡(luò)價值不大。反而是那些發(fā)生捕獲、發(fā)生劇烈機(jī)動、獎勵差異大的稀有經(jīng)驗攜帶了更多策略信息。給每條經(jīng)驗按 TD 誤差大小記一個優(yōu)先級采樣時按優(yōu)先級加權(quán)能讓網(wǎng)絡(luò)更頻繁地“復(fù)習(xí)”關(guān)鍵時刻。實現(xiàn)時注意兩點(diǎn)優(yōu)先級指數(shù) alpha 取 0.6 左右不要設(shè)過高否則采樣分布太偏剛存進(jìn)去的經(jīng)驗給一個中等偏上的初始優(yōu)先級避免完全不被采到。勝率評估是最終裁決手段。訓(xùn)練過程中每幾個訓(xùn)練輪次固定保存一組 actor全部訓(xùn)練結(jié)束后把所有 checkpoint 兩兩對陣用相同隨機(jī)種子跑足夠多局統(tǒng)計勝率。為什么必須這樣因為對抗訓(xùn)練里 reward 的絕對數(shù)值沒有意義只有相對某個固定對手的勝率才反映真實強(qiáng)度。我看過太多 reward 曲線很好看、實際對戰(zhàn)一碰就碎的項目都是因為跳過了這一步。評估用的對手必須是“凍結(jié)策略”不能在評估時打開探索噪聲否則勝率數(shù)據(jù)會混入噪聲變量無法反映策略本身水平。這三步做完一個 MADDPG 博弈對抗項目才算真正閉環(huán)自對弈保證訓(xùn)練動力優(yōu)先回放提高樣本效率勝率矩陣給出可信的模型選擇依據(jù)。做項目時我養(yǎng)成的習(xí)慣是評估腳本和訓(xùn)練腳本同步開發(fā)第一次啟動訓(xùn)練前評估代碼就已經(jīng)能跑通了而不是訓(xùn)練跑了幾天之后才補(bǔ)評估。這個習(xí)慣省下過無數(shù)次返工希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色很久综合| 丁香色五月 97干| 超碰精品手机在线| av大片在线| 99热 在线观看| 亚洲激情四射| 婷婷丁香五月天综合网| av免费在线看不卡无毒| 另类视频丁香五月| 婷婷六月综合基地| AV大香蕉| 99色1| 精品9197碰| 五月婷婷开心色伊人| 天天做天天爱天天爽| 欧美色色色色色色色| 97色天堂| 伊人大香五月天| 丁香六月啪啪| 91wwmm导航| 久热久re| 久久久久这里只有精品| 俺也去综合| 七月丁香五月婷婷在线| 先锋资源91| www.久久爱.c n| 久久丝袜婷婷| 青青草搞屄视频网站| 大学生高潮无套内谢视频| 婷婷丁香五| 国产精产国品一二三在观看| 婷婷色五月天在线| 人人人操Av| 久久激情视频| 色狠狠综合| av一区二区电影免费在线观看| 婷婷久久六月天| 五月丁香啪啪啪啪| 99精品免费欧美小视频| 99热日本精品| 国产免费一区二区在线A片视频| 深爱激情五月天色婷婷| 丁香五月婷婷激情四射| 一级AV片| 综合久久97| 婷婷色五月丁香六月欧美啪| 欧美情色电影一区二区| 99操不停| 99这里只有| 日本婷婷综合精品| 丁香伊人网| 激情五月婷婷| 亚洲黄色影视| 婷婷五月丁香综合激情| 久久999久久999久久999久久| 狠狠色丁香| 人人干天天操五月丁香| 九九精品自拍| 九九伦子片| 久色大| 亭亭玉立国色天香| 岛国午夜视频| 国产精品久久久久久久久久免费| 色色色综合| 婷婷五月小说色综合| 91re色综合视频| 五月丁香色综合| 久久99网站| 五月婷丁香亚洲| 免费黄色视频网址| 婷婷五月天丁香成人社区| 99这里有精品| 九九在线免费观看| 综合狠狠伊人| 久久婷网| 日本网站久久| 九九99久久精品| 久久99热这里只有精品| 五月丁香婷婷成人伊人网| 久久青草国| 五月激情影视| 夜夜资源站| 夜夜爽日日躁| 婷激情五月天视频导航| 九九久久五月天| 超碰婷婷色| 色婷婷五月六月丁香综合视频| 久草 tingting| 五月天综合网| 99热手机在线精品| 色五月天网| 激情 婷婷| 青草视频在线播放| 饮料下药迷倒漂亮女同事强干| 六月丁香激情网| 天天爽成人综合网站| 99久久色| 成人va在线| 久久婷婷视频| 色五月激情五月天| 丁香九月久久| 亚洲av成人在线| 五月丁香六月婷婷亚洲激情综合| 99色综合网| 久久婷婷东京热| 激情五月天色色| 色情五月天丁香社区| 色大综合| 天天爱天天做综合| 精品成人久久久久久久_一二三四视| 综合色播| 99久在线精品| 色色五月丁香| 亚洲综合草草| 人妻激情综合| 色射影院| 亚洲人妻AV| 97丁香五月| 丁香久久激情俄| 无码激情AAAAA片-区区| 国产69久久久欧美黑人A片| 九九碰九九爱97| 精品网站:999WWW| av操一操| www色中色综合| 五月婷婷内射网| 欧美久热| 3pAV| 超碰超碰在线| 激情五月天婷婷丁香| 天天色天天爱天天舔| 狠狠搞五月天| 超黄亚洲瑟瑟网站| 在线观看免费观看在线9久| 五月丁香婷婷色| 久久婷婷五月综合色奶水99啪| 26uuu精品一区二区| www.99热. com这里只有精品| 91 欧美| 色噜噜婷婷| www久久99| 99视频在线观看网址| 天天做天天爱天天爽综合网| 五月天成人免费视频| 亚洲热综合| 99热精品在这里| 中文AV网站| 婷婷五月天电影区小说区| 五月婷婷丁香瑟瑟视频| 饮料下药迷倒漂亮女同事强干| 五月天啪啪| 丁香五月亚综合图片| 婷婷激情五月色综合| 天天干天天爽天天操| 欧美三日本三级少妇三99| 亚洲九九婷婷| 久久精品63| 婷色五月天| 丁香婷婷大香蕉| 婷婷五月天最新综合你懂的| 99极品视频| 琪琪理论片| www.国产亚洲69ty.久久久久久久久久久久| 婷香五月网在线| 五月激情丁香久久综合网| 3pAV| 99视频只有这里精品| 人人草人| 99热精品在线播放| 久热免费视频| chaopeng在线人人| 久久在线92| 亚洲成人高清在线| 五月婷婷久久开心网| 天天射影视综合网| 日本五月天网站| 色综合网址| 九九香蕉网| 婷色五月天| 六月婷婷综合网2| 成人va在线| 91丨九色丨老农村| 久热91| 亚洲综合新99视频| 五月婷天天搞视频| 婷婷综合色色| 激情综合五月| 日韩AV一区二区三区| 99热1| 日本三级中国三级99| 婷婷五月深情丁香深爱日韩| 99爱在线免费视频| 久久大香蕉同僚| 色九九综合| 国语精品探花| 玖玖资源站中文| 亚洲va日| 天天操天天爱天天玩| 五月综合久久| 中文字幕无码人妻少妇免费视频| 免费V片在线| 五月丁香亭亭操逼| 呦呦v线| 亚洲无AV在线中文字幕| 婷婷六月偷拍| 久热视频A.| 婷婷五月天色综合| 丁香五月社区| 99热在线看片| 国自产拍偷拍精品啪啪一区二区| 99热草草| 六月丁香婷婷视频综合在线观看| 夜夜爽天天日| 天天干天天操天天拍| 日 日干 日日做| 五月婷婷自拍视频| 九九色逼| 久久影视婷婷五月| 天天插天天日天天爽| 色99欧洲色19| 婷婷成人基地| 亚洲五月天,激情视频| 99爱在线视频观看| 天堂成人A片永久免费网站| 亚洲4区国产欧美| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 极品人妻VideOssS人妻| 在线中文字幕免费视频| 五月丁香六月色婷| 五月婷婷六月丁香综合| 在线理论片| 久久五月天网| 五月婷综合网| 一点色成人网| 丁香五月天在线观看视频| 激情五月视频在线婷婷| 亚洲精品V天堂中文字幕| 99ri精品视频在线观看| 天天插天天日| 亲子乱av一区二区三区的| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 国产精品天天狠天天看| 日本女va| 婷婷丁香人妻天天爽| 五月天久草| 五月丁香六月婷婷在线小说视频| 性综合网| 五月美女婷婷风骚| 电影蜘蛛女| 成人av在线网址| 天天操天天干天天射| 丁香五月,激情五月,深爱五月| 99在线精品视频| www.久操| 色老久久| 日本啪啪网| 亚洲婷婷丁香五月| 天天色亚洲| av在线婷婷| 五月婷婷天天色| 五月丁香六月婷婷网| xxxx久| 久久久久久五月天| 丁香五月婷婷激情网| 加勒比久热| 婷婷激情六月天视频| 蜜臀AV在线观看| 国产噜一噜天天噜| 婷婷欧美激情| 激情综合网 激情五月天| 天天色亚洲| 五月情涩综合婷婷| 99热99热不卡| 少妇高潮呻吟A片免费看软件| 亚洲免费99| 久久人妻伊人| 97操碰人免费| 密乳视频| 香蕉人妻AV久久久久天天| 日韩人妻在线观看| 色私五月婷婷| 这里只有精品免费视频在线观看| 色播播五月天| 人人玩人人橾| 精品一二三区久久AAA片| 亭亭丁香久久五月| 天天色2017| 色丁香五月| 色播五月丁香| 综合大香蕉| 天天干天天干天天操| 丁香色婷婷色手机免费在线| 手机激情网| 婷婷五月丁香人妻无码高清| 天天综合亚洲综合| 色噜噜狠狠色综合网| 成人国产网| 狠狠色激情在线| 99色婷婷视频| 婷婷五月天成人网| 色五月在线观看| 月色色综合婷婷网| 久久久久久久人妻| 大伊香蕉玖玖爱| 欧美婷婷精品激情| 欧美精品A片一区在线观看| 久久这里只有精品视频1| 激情丁香五月| 天天操夜夜夜拍拍拍| 4399成人黄A片| 五月天天堂久久| 日日夜夜干| 亚洲精品中文字幕成人片| 九九视频这里有精品| 色色色色丁香| 热99只有里视频| 丁香性爱在线视频| 国产精品久久7777777精品无码| 国产精品电| 国产性色蜜乳| 免费日本aⅴ中文字幕 | 激情婷婷人妻| 国产偷人爽久久久久久老妇APP| 再綫Av免费視品| 思思久久99热只有频精品66| 丁香五月婷婷香| 性天天中文网| 五月激情综合性爱| 五月丁香av中文| 精品网站:999WWW| 综合久久影院| 五月丁香六月在线欧美| 亚洲欧美在线观看| 色婷婷五月中文字幕在线dvd| 婷婷丁香五月基地| www.久久爱.com| 日本久久天堂| 色色亚洲| 日韩综合大黄| 成人在线高清| 97色色婷婷| 色色自拍视频网站| 97超碰免费超级在线观看| 1010日日无码| 色yeye欧美| 综合网啪| 久久综合激情五月天| 无遮挡国产高潮视频免费观看| 热99久久这里只有精品| 色玖玖网| 99热偷拍| 逼逼AV| 中文字幕人妻一区二区| 99色视频| www.五月天婷婷.com| 中文字幕丰满孑伦无码专区| 99热在线这里| 色热久| 婷婷综合网| 婷婷五月天中文字幕| 99九九精品视频| www.激情五月天。com| 欧美色五月| 这里只有精品在线播放| 无码A片一区二区免费| 丁香婷婷性爱| 久久性爱视频免费| bukadeavzaixian| 色天堂A| 久久视这里只有精品| 99久久九九视频| 色五月婷婷色五月婷婷色五月婷婷| 丁香九月综合| 免费看成人AA片无码视频吃奶| www.丁香五月| 色五月婷婷久久| 91精品激情9| 六月婷婷五月天| 久久综合首页| 五月色情| 婷色五月天| 五月丁香六月欧美综合| 狠狠se| 99re这里只有| 综合网视频| 久热伊人| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 国产激情在线| 草草女人亚洲| 停停五月色宗合| 色七色九九| 狠狠色狠狠色综合日日91| www.日韩艹| 五月五月婷婷| 专区无日本视频高清8| 天天搞天天色综合| 丁香综合伊人| 久re热视频| 九九成人| 亚州操操| 丁香五月综合网亚洲综合欧美狠狠| 丁香五月区| 免费无码毛片一区二区A片| 狠狠狠狠狠狠| 人人干AV| 久久久久久久久久8888| 大香人妻| 2018国产大陆天天弄| 天天做天天爱| 久99久热只有精品国产99| 婷婷爱爱蜜臀天天操| 97超碰免费超级在线观看| 狠狠干综合网| 9久热这里只有精品| 二色av| 日噜噜色| 激情婷婷五月天| 日本爆乳片手机在线播放| 日本色婷婷五月天成人电影| 91丨九色丨高潮丰满日本| www,setingting| 人妻22p| 欧美综合激情丁香五月六月婷| 久久99最新| 丁香五月婷婷偷拍| 91操女| 99综合网| 99热这是里只有精品| 九热电影av| 成人无码髙潮喷水A片| 99色亚洲| 五月色婷婷激情| 色综合网上班开心婷婷久久| 色五月欧美| 婷婷中文字幕网站| 精品人妻伦九区久久AAA片| 婷婷涩涩五月天| 热99只有里视频| 小视频在线亚洲| 殴美激情综合网| 五月天激情黄色网址| 国产乱人偷精品人妻A片| 婷婷丁香亚洲色综合91| 777色色色| 婷婷基地五月色| 99久久66| 大香蕉婷婷| 日本久久精品18| 99ri6在线视频| 国产精品国产成人国产三级| 五月婷婷综合在线| 婷婷91| 五月婷婷视频| 天干夜夜操| 丁香五月亚洲综合| RenRenSe在线视频网站| 99这里有精品免费| 天天综合情| 成人综合AV| 久久婷婷综合色丁香| 五月天婷婷狂暴白浆| 丁香五月av| 天天操天天干天天日| 操操国产| 婷婷色系婷色| 包操45分钟网站| 九九热欧美| 亚洲成人无码网站| 老师把我爽高潮了免费A片| 68热超碰在线| 婷婷5月久久综合网站| 久久a热| 91狠狠色| 久久婷五月天| 五月丁香六月激情欧美综合| 丁香五月电影| 色色色99| AV中文在线| 丁香五月婷婷影院| 26uuu| 婷婷激情社区| 级情九色| 涩涩涩五月天| 婷婷久久五月天| 五月天天天色| 九九aV| 久久九九免费视频| 91人妻PORNY九色大屁股| 久热免费| 777精品久无码人妻蜜桃| 国产成人综合网| 噜噜视频| 五月激情在线| 性欧美大战久久久久久久83| 精品9久| 九九色婷婷Av| 九九久久免费视频44| 人人叉久| 久热 91| 久9热在线视频| 97色干| 激情视频婷婷五月花| 在线超碰免费| 超碰成人AV| www网站在线观看| 92久操视频| 久久影视婷婷五月| 91超级碰在线视频| 久久久人妻人伦| 开心 五月 综合| 久久五月丁香六月婷| 亚洲色婷婷网站| 五月丁香久久呀| 欧美激情综合色丁香婷婷五月天| 停停五月色宗合| 欧美丁香五月97色| 久久婷婷色| 8050一级网| 人人操大| 伊人婷婷色| 九九热欧美| 婷婷激情五月天激情在线| 五婷婷六月合| 亚洲经典小视频| 亚洲激情五月| 精品乱码久久久久| 丁香五月激动深爱欧美| 五月婷婷97| 日韩久热| 99热综合在线| 情涩婷婷五月天| 天天摸天天舔| 亚洲这里只有精品| 4399无码视频二区| 日韩AV在线免费观看| 五月丁香色色网| 婷婷五月天Av| 深爱激情六月| 五月丁香六月激情综合| 六月丁香婷| 夜夜 操无码| 超碰99热| 五月天婷婷网站| 超碰日日操| 麻豆科斗777| 色婷婷视频综合| 五月婷婷|欧美| 丁香五月婷婷色情综合| 亚洲成av人影院| 色97啪啪| 丁香五月色色色色| 五月天激情开心网| 丁香婷婷久久 | 亚洲亚洲人成综合网络| 色婷婷最新域名| 激情五月婷婷| 夜夜躁爽日| 九九热超碰| 成人在线观看国产| 婷香五月| 久久机热这里只有精品| 97操在线视频| 九九九AAA热视频| 五月丁香久久综合| 狠狠狠狠狠操| 婷婷五月天Av| 日韩AC在线免费观看| 婷婷射丁香| 新激情五月开心五月婷婷五月丁香五月| 99狠狠| 熟女人妻视频| 日日噜噜夜夜狠狠久久丁香六月| 激情婷婷五月基地| 五月天色不卡| 人人操人人看97干| 婷婷五月激情欧美大胆视频| 婷婷亚洲综合| 夜色爱爱亚洲| 五月婷婷成人网首页| 99精品热视频只有精品10| hd五月婷婷在线| 久久久久久久97| 亚洲丁香五冃97色| 五月婷婷免费在线| 五月丁香六月婷婷啪啪| 超pen个人视频97| 狠狠人妻色综合| 婷婷王月天影院| 天天爱天天操| 99人人操人人操人人精| 思思国产99| 大香蕉AV在线| 欧美日韩成人免费在线| 久久免片| 久久艹 五月天| 色色色999| 激情图片五月天| 任你躁XXXXX麻豆精品| 美女黄频aⅴ视频| 久久久久99精品成人片| 9999久久久久| 91黄址| 99热这里只有精品最新网址| 欧美成人猛片AAAAAAA| 伊人久久五月天| 色五月在线播放| 99热在线中出| 婷婷深爱五月天在线| 亚洲成人综合在线| 色婷婷免费视频| 日日操天天爽| 婷婷情色五月| 婷婷六月丁香激情综合| 婷婷丁香18| 67194中文字幕| 人人爽亚洲| 色香蕉精品五夜婷| 插插插丁香五月婷婷| 色色丁香婷婷| AA久久| 99热在线这里| 久99久视频精品| 很操日本7| 五月丁香影视| 久99热| AV在线免费网站| 九九九九九九毛片| 婷婷干五月综合在线播放| www.91av.com| 五月永久激情| 深爱五月天| 五月丁色AV| 色婷婷欧美| 久久9热| 996er热| 欧美一黄一色一乱一伦| 激情九九这里只有精品| 色九九中文字幕| 亚洲射激情| 婷婷五月成人| 婷婷五月天亚洲色| www.狠狠| 国产夫妻操逼内射视频| 精品一二三区久久AAA片| 精品在线| 天天综合精品| 色婷婷欧美在线| 99视频在线| 综合欧美五月婷婷| 中字幕视频在线永久在线观看免费| AV伊人青草丁香六月| 日韩亚洲视频| 久久永久网址| 丁香在线视频| 六月婷婷无码| 免费观看欧美成人AA片爱我多深| 亚洲五月天天| 成人做爰高潮A片免费视频| 天天综合图片| 五月丁香六月激情网站| 伊人婷婷五月天av| 色综合久久无码| 九九色综合九九色| 久久香蕉婷婷| 伊人网大香| 色色丁香五月天| 九九热欧美| WWW,激情五月天,COM| 亚洲天天| 九九精品片一| 日韩青青| 99国产视频网| 中文字幕日韩成人| 久久久18| 五月天天天操天天爽夜夜操| 中文字幕日本最新乱码视频| 精品成人无码A片观看香草视频| 成人网在线观看视频| 五月色丁香视频精品| 亚洲视频码| 亚洲色频| 综合久久综合| 天天色播| 婷婷播播五月天| 欧美碰碰碰| 婷婷五月天基地| 综合久久高清| 色色婷婷丁香| 俺也去综合| 久久99网| 日本一道久久| 美女丁香五月天| 久久婷婷五月天丁香| 色播五月婷婷五月| 激情久久久久久久久久久| 狠狠搞狠狠操| 天天艹天天色| 九九九九无码| 色婷婷小说| 天天更新天天亚洲| 五月丁香色停停啪啪啪| 五月天激情啪啪| 丁香五月电影| 成人五月丁香花| 俺去也五月| 97碰碰视频在线观看| 六月丁香五月婷婷| 婷婷色五月综合| 天天肏高清在线| 97人人草| 亚洲欧美国产高清vA在线播放| 婷婷五月天AV在线| 欧美大片免费播放器| 欧美久久婷婷| 色碰碰视频| 成人国产欧美大片一区| 色五月在线观看| 国产免费一区二区在线A片视频| 日本人妻伦在线中文字幕| 精品久久66| 色婷婷狠狠18禁| 久久精品国产精品| 婷婷色啪| 开心五月激情站| 99热 在线播放| 国产精品美女| 久久99热久久99精品| 日本三级日本三级三级人妇四虎| AV中文网| 操操国产| 欧美va亚洲va在线播放| 久久五月天视频| 国产69久久久欧美黑人A片| 99re这里只有| 天天草婷婷五月| 丁香婷婷五月人体| 日本人妻伦在线中文字幕| 99热精品无码| WWW五月婷婷| 9999热精品| 婷婷爱五月| 狠狠xx| 综合五月草| 啪啪色激情五月天| 丁香五月综合| 伊人五月综合网| 欧美综合在线五月天色婷婷| 欧美丁香五月97色| 激情综合视频| 久久婷婷亚洲| 五月婷婷亚洲色视频| 五月总合激情网| 国产在线自| 免费视频WWW在线观看网站| 超碰99久久| 婷婷五月天成人影片| 操久久网| 丁香五月婷婷欧美成人色图| 狠狠操狠狠| 色域五月婷婷丁香| 色综合色色色色色| 深爱五月月天| 日韩欧美成人片| 日B日潘金莲BB| 天天综合精品| 丁香久久五月婷综合| 色色色色色色色色色999| 久久五月天激情美女| 丁香五月天婷婷91| 色色亚洲99com| 五月天成人免费视频| 国产va视频| 成人丁香婷婷五月天| 九九国产视频| 久久色五月| 五月婷婷婷色| 国自产拍偷拍精品啪啪一区二区 | 六月丁香激情婷婷| 人人操Av| AV在线中文| 狠狠综合久久综合| 久久九久久| 六月婷婷综合| 色九网| 开心五月网| 激情五月色综合国产精品| 综合激情啪啪| 亚洲中文av| 97黑人精品区| 五月天大香蕉视频| av中文网| 任你躁XXXXX麻豆精品| 狠狠干在线| 五月天成人综合| 激情五月天婷婷丁香| 亚洲性爱日韩无码| 五月丁香色五月| 五月婷丁香花| 91精品久久久久| 五月开心久久| 丁香五月婷婷久久久| 91九色PORNY大屁股| 一本道在线电影| 色色操| 99色精品| 久久综合五月| 深夜男女福利刺激影院一区完整| 五月婷婷五月色| 六月婷婷在线| 欧美3AaAa大片| 五月丁香亚洲综合网| 天天摸天天舔天天爽| 五月天激情综合网俺也去| 亚洲综合成人网| 色女人久久| 人人性久久| 百度4399有码精品V在线观看| 国产精品24r| 婷婷六久久| 97人人操人人插| 操精品9| 婷婷丁香18| 色啦啦视频| 琪琪色网在线| 操老逼综合网| 玖玖婷婷免费| 伊人婷婷99热精品| 九色视频入口91| 97日本操| 超碰99成人在线| 欧美色偷偷大香| 久久久久久久久久久jjjj| 一区操| 人妻Av在线| 99啪在线| 婷婷五月中文字幕| 日本黄色精品| 99re热在线视频观看| 婷婷中文字幕在线| www.jiujiujiu| 成人综合AV| 综合久久婷婷| 色婷婷基地在线| 激情深爱综合| ...婷婷国产成人亚洲日韩| 国产成人VA| 呦呦视频无码播放| 中文字幕性爱丰满| 精品久久久人妻| 噜啊噜在线| 在线观看的av| 婷婷基地爱| 天天日天天插| 九九99九九精品免费 | 午夜九九电影| 六月丁香激情婷婷| 色噜噜在线| 日本五月婷婷| 色婷久| 狠狠色婷婷7777久| www.婷婷| 99精品视频免费观看近期发布| 国内自拍97在线| 99热全是精品| 五月色婷婷影院| www激情| 深爱婷婷色| 热99精品视频| 久久在线大香蕉| 伊人久久婷婷| 亚洲无AV在线中文字幕 | 激情婷婷人妻| 丁香五月天BBw| 天天天天操| 五月天堂色| 五月婷婷久久综合| 久久九九99视频| 色色丁香五月天社区| 大香蕉久艹| 婷婷久久久久久久| 亚城区在线| 五月丁香色婷婷久久| 日日噜噜夜夜狠狠久久丁香六月| 疯狂做受XXXX高潮A片| 日本婷婷激情四射中文字幕在线观看| 日韩操啪| 激情四射网| 色婷婷五月天天天天天天天天天| 亚洲五月情| 久99久在线观看| 色偷偷五月天| 丁香五月婷婷操逼| 狼人婷婷综合| 南京搡BBBB搡BBBB| 99精在线| 99色视频在线| 五月婷婷电影院| 成年视频免费观看| 亚洲无码成人网| 五月婷婷六月奇米网丁香| 丁香婷婷五月综合| 久久婷婷五月天| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 亚洲综合视频天天精品| cc精品国产性传播| 91超碰在线播放| 蜜桃五月天| 丁香五月天社区婷婷| 丁香无月在线观看| 六月婷婷国产| 日韩啪啪视频| 天天日天天久久青青| 久久九九@| 丁香五月婷婷成人色区| 婷婷五月天堂| 色五月激情五月| 青吴乐视频| 91狠狠综合久久| 99久久精品网| 婷婷五月花| 韩国中文字幕91| 丁香激情网| 人人综合五月人人婷婷| 五月丁香性爱| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷99狠狠| 色播激情| www.婷婷五月天,com| 人人爱人人摸人人澡| 婷婷金品综合视频| 五月婷天堂视频| 五月天另类小说亚洲| 五月激情婷婷丁香天堂| 99激情视频| 色99视| 99久久黄色顶级视频| 色五月成人| 欧美韩国日本| 五月色婷婷影院| 天天爽综合| 99免费| 97在线视频 欧美| 日韩色色网| 99无码视频| 国产成人精品一区二三区熟女在线| www久久久久久久| 久热久色| 婷婷狠狠操| 日本视频不卡123区| 99久久九九| 丁香五月亚综合图片| 欧美色五月| 97碰碰在线观看视频| www.lingjunshare.com| av狠狠操| 91色在线| 日本五月视频| 色噜噜狠狠色综无码久久合欧美| 干一干xxxx| 99在这里有精品| 五月天偷拍| A在线观看| 丁香五月激情无码视频| 色婷婷影院| 五月婷啪啪| 色婷婷AV久久久久久久| 另类少妇人与禽zOZZ0性伦| 小泽玛利亚视频一区二区| 色婷婷五月天激情综合| 色五月婷婷基地| 亚洲乱码w在线观看| 欧美激情综合色综合| 91操碰| 久久视频婷婷视频| 丁香五月香蕉| 亚洲无码影音| 国产色色网站网址| 久久婷五月| 色五月婷婷AV| 五月丁香中文字幕| 日韩一区二区A片免费观看| 青青草原中文字幕| 婷婷97碰碰| 狠狠色狠狠爱| 五月天久久丁香| 被强行糟蹋的女人A片| 啪啪啪综合网| 久久9视频欧美| 七月激情六月婷婷综合在线播放| 久久机热这里只有精品| 中文成人在线| 五月在线婷色| 99久久婷婷国产综合精品草原| 日91高清无玛| 婷婷五月丁香伊人| 91在线视频观看午夜福利| 天干天天干天天天天天| 97福利视频| 综合久久婷婷| 国产精品成人在线| 色婷婷a v| 97人妻碰碰碰久久香蕉| 丁香五月婷婷色偷偷| 婷婷激情五月天激情| 五月婷婷很很色| 天天拍久久| 婷婷丁香社区| 婷婷色系婷色| 亚洲精品99| 五月天婷亚洲综合在线嫩草网| 久久婷婷五月天激情四射| 色一情一乱一乱91Av| 996er热| 日韩精品电影| 婷婷爱五月天| 综合网色综合| 久久精品人妻| 99色.com| 婷婷综合五月天| 五月花激情网| 精品99在线观看| 一起肏在线视频| 亚洲婷婷激情综合激情999精品| 五月天激情黄色网址| 婷婷丁香十月| 老师把我爽高潮了免费A片| 五月天激情丁香| 丁香五月激情欧美| 亚洲精品99| 久久婷婷丁香五月宗合| 久久伊人9| 色婷婷女优有码五月亭| 丁香五月婷婷六月丁香| 六月丁香六月婷婷欧美| 色色日本欧美| 亚洲色碰| 婷婷久久色| 国内婷婷丁香社区在线播放| 99精品网| 天天日夜夜操五月| 婷婷综合九色伊人| 五月丁香六月婷婷在线观看| 国内久久婷婷| 欧美色婷婷| 黑人熟妇一区二区三区| 久久东京热婷婷五月| 激情av在线| 色婷婷色99国产综合精品| 婷婷五月亚洲激情| 日本色婷婷| 婷婷五月天a| 激情五月天.色网| 99热这里是精品| 欧美日韩成人在线观看| 婷婷久久综合| 怕怕av| 热热色色五月天婷婷| 69激情小说| 超碰在线资源| 91婷色| 婷婷五月色播网| 国产亚洲精品久久久久苍井松| 好好干av| 欧美三级视频下载| 97色97干| 婷五月天天| 极品少妇高潮啪啪AV无码| www.五月天婷婷姐姐| 婷婷五月激情综合网| 丁香五月婷婷在线| 久久色五月天| 丁香桃色网| sewuyue第四色| 色婷婷精| 久久综合首页| 女性自慰系列第五页| 专区无日本视频高清8| 久久这里只| 色色五月天网站| 丁香五月成人| 五月丁香基地| 色综合天堂| 久久激情综合| 五月婷婷综合潮喷| 亚洲色夜| 色婷婷成人做爰A片免费看网站| 五月婷婷亞洲中文| 亚洲xx网| 开心五月婷婷激情| 色操b| 国产精品成人AV在线| 色婷婷基地| 亚洲欧美一区二区三区四区爱爱动图| 伊人久久大香| 色五月婷婷丁香五月| 五月噜噜| 91视频综合网| 久久久GOGO无码啪啪艺术| 久久思思热视频| 久久五月网| 亚洲精品又粗又大又爽A片 | 丁香五月天之婷婷影院| 99视频色在线观看| 五月精品99综合| 色色婷婷丁香| 丁香五月人妻熟女| 91色综合网| 色五月婷婷在线| 玖玖资源站中文| 色情性爱视频网址| 天天射天天操天天干| 99热精品在线播放| 婷婷五月天性| 9 1超碰九色| 91精品91久久久久77777| 五月天综合激情网| 欧美97p| 亚卅毛片| 狠狠干.com| 久久色情| 五月花婷婷丁香| 亚洲激情综合| 五月婷婷性爱网| 婷婷五月天电影网| 天天干天天操天天拍| 99色激| 人人干人人操外国| 婷婷久久五月| 99热这里| 五月丁香久久久日婷婷久久婷婷日 | 婷婷色色综合激情| 六月婷基地| 婷婷97色| 久99久视频| 婷婷五月色情天| 丁香五月六月久久综合| 久久久久久久久久久月丁| 99精品国产乱码久久久人妻| 天天操夜夜操| 天天情色五月天| 久久久www| 一区二区传媒视频| 成人精品视频99在线观看免费| 99综合| 五月丁香亚洲综合网| 成人在线不卡| 色护士综合| 96精品成人无码A片观看金桔| 97丁香五月| 久久 视频这里只有精总| 99激情网| 中文字幕欧美久久| 波多婷婷久久| 日本一级黄色片。| 久久欧洲综合网| 五月婷婷激情综合在线| 久久加勒比| 久久久天堂国产精品女人| 日本五月婷婷| 色色亚洲五月天| 五月丁香亭亭天天舔| 99精品无码视频| 国产操肏网站| 丁香狠狠色婷婷久久无码视频| 五月天大香蕉| 色五月天综合网| 艾小青av| 天天爽夜夜爽夜夜爽精品| 色私五月婷婷| 九九美女视频| 免费无码毛片一区二区A片| 色色性爱视频| 99性爱视频| 99成人免费热视频| 极品人妻videosss人妻| 性爱综合网| 久久婷婷色情7777网站| 日本理论久久| www.丁香六月婷婷久久天堂影院.con| 天天日天天插| 国産精品| 中文在线成人| 综合激情视频| A A色色| 人人干天天操五月丁香| 人人爽人人射-美女久久久久久久久久-成人AV| 激情亭亭五月| 免费成人中文字幕| 天堂婷婷综合| 农村熟妇高潮精品A片| 丁香六月啪啪| 99热啪啪| 婷婷涩五月| 婷婷五月天综合久久| 五月丁香六月综合基地| 5月丁香六月婷婷| 色5在线| 婷婷99狠狠| 在线播放中文字幕| 丁香五月婷婷综合精品素人| 五月婷婷狠狠久久| 丁香花五月天社区| 九九XX视频| 欧美婷婷色| 欧美情色电影一区二区| 日日夜夜天天| www久久久| 天天综合色| 国产日韩欧美性爱| 99在线免费观看| 婷婷五月大香蕉| 色天堂A| 狠狠爱婷婷爱| 亚洲人人操| 天天干一干| 色噜噜五月天| 综合图片色色| 久久国产色| 婷婷五月天在线视频网站| 欧美一级操逼视频| 五月婷精品| 永久精品| 婷婷五月天免费视频| 五月婷婷丁香社区| 色爱亚洲| 99久久激情视频| 婷婷操婷婷干婷婷射| 久久国产色| 天天噜噜| 最新va在线播放| 亚洲精品在线视频| 激情图片婷婷丁香五月| 991精品在线视频| 91超碰九色| 亚洲永久免费| 人人草人人爱| 丁香婷婷色五月| 欧美色五月| 五月丁香婷婷成人网| 97色精品视频 | 天天五月丁香五月| 五月色丁香综合| 激情婷婷人妻| 第四色婷婷最爱| 极品五月天| 毛片色五月| 成人五月天视频| 久久WW| 五月丁香婷婷色色| 99久久久久| 色一情一乱一乱一区91Av| http:色情日本com| 新激情婷婷| 91免费试看| 无码yw| 亚洲午夜av| 激情综合网丁香| 丁香五月骚喷水视频| 婷婷五月天亚洲丁香| 色吧五月婷婷| 九九大香视频| 婷婷色五月丁香六月欧美啪| 色噜噜综合网| 99精品丁香五月| 久久久A级视频| 啪啪99|