欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

深度Q學(xué)習(xí)網(wǎng)絡(luò)(DQN)股票交易實戰(zhàn):從環(huán)境建模到回測避坑全解析

深度Q學(xué)習(xí)網(wǎng)絡(luò)(DQN)股票交易實戰(zhàn):從環(huán)境建模到回測避坑全解析 簡介一份基于深度Q學(xué)習(xí)網(wǎng)絡(luò)的股票交易策略設(shè)計源碼面向量化交易入門者、金融AI研究者和Python算法開發(fā)人員解決如何利用強(qiáng)化學(xué)習(xí)對歷史行情建模并自動生成交易決策的問題。壓縮包共24個文件約12.21MB包含Python核心腳本、CSV行情數(shù)據(jù)、TensorFlow模型檢查點與說明文檔覆蓋數(shù)據(jù)預(yù)處理、訓(xùn)練、回測等完整鏈路。項目提供分鐘級與日級深證個股數(shù)據(jù)DQN_trade.py實現(xiàn)智能體決策邏輯stock_env.py構(gòu)建模擬交易環(huán)境test.py支持策略回測saved_network中保存了多個訓(xùn)練好的網(wǎng)絡(luò)權(quán)重可基于已有模型繼續(xù)訓(xùn)練或直接驗證效果。已有330人學(xué)習(xí)下載適合希望快速上手深度強(qiáng)化學(xué)習(xí)在股票交易中應(yīng)用的開發(fā)者源碼結(jié)構(gòu)清晰稍作修改即可遷移到其他市場或策略場景。1. 深度Q學(xué)習(xí)網(wǎng)絡(luò)做股票交易從“決策會反悔”開始的設(shè)計閉環(huán)把股票交易交給深度Q學(xué)習(xí)網(wǎng)絡(luò)DQN來做經(jīng)常被當(dāng)成玄學(xué)其實它的核心邏輯一句話能說清讓模型學(xué)會回答“在當(dāng)前市場狀態(tài)下做哪個動作最劃算并且把動作之后的未來收益也考慮進(jìn)去”。這套基于深度Q學(xué)習(xí)網(wǎng)絡(luò)的股票交易策略設(shè)計源碼落地的價值不在“預(yù)測漲跌”而在于把交易決策變成可訓(xùn)練、可回測、可排錯的序貫決策問題環(huán)境模塊模擬市場Q網(wǎng)絡(luò)估計動作價值經(jīng)驗回放和目標(biāo)網(wǎng)絡(luò)負(fù)責(zé)解決訓(xùn)練穩(wěn)定性的老問題。適合手里有 Python 和機(jī)器學(xué)習(xí)基礎(chǔ)、想認(rèn)真驗證強(qiáng)化學(xué)習(xí)在交易上有多大價值的人不適合指望導(dǎo)出模型就穩(wěn)賺的人。接下來我把建模、代碼落地和踩坑點按可復(fù)現(xiàn)的順序過一遍。2. 把股票交易改造成強(qiáng)化學(xué)習(xí)問題狀態(tài)、動作與獎勵的三步建模2.1 交易環(huán)境是第一個要寫死的模塊數(shù)據(jù)、撮合與手續(xù)費(fèi)很多人拿到源碼第一件事是看網(wǎng)絡(luò)結(jié)構(gòu)這是誤區(qū)。深度Q學(xué)習(xí)網(wǎng)絡(luò)在交易場景里翻車八成不是網(wǎng)絡(luò)的問題是環(huán)境寫錯了。環(huán)境在這里做的不是“預(yù)測行情”而是把“給定狀態(tài) → 執(zhí)行動作 → 得到獎勵 → 進(jìn)入下一個狀態(tài)”這個過程完整閉環(huán)。一個寫壞的環(huán)境會直接污染所有后續(xù)訓(xùn)練結(jié)果。我寫環(huán)境時遵循一個原則模擬器能多簡單就多簡單但三個東西必須嚴(yán)格——價格時序、手續(xù)費(fèi)、撮合時點。下面是一個能直接跑通最小訓(xùn)練循環(huán)的單標(biāo)的交易環(huán)境動作空間是 0空倉、1持有、2買入import numpy as np import pandas as pd class TradingEnv: 單標(biāo)的離散動作交易環(huán)境滿倉進(jìn)滿倉出T0 簡化撮合 def __init__(self, df, features, window30, cost0.001): self.df df.reset_index(dropTrue) self.features features self.window window self.cost cost # 單邊交易成本按比例扣 self.reset() def reset(self): self.t self.window self.position 0 # 0 空倉1 持有 self.cash 1.0 # 初始資金歸一化 self.shares 0.0 self.prev_price float(self.df[close].iloc[self.t - 1]) return self._get_state() def _get_state(self): # 取最近 window 根 K 線的特征矩陣壓平成一維 x self.df[self.features].iloc[self.t - self.window:self.t].values return x.flatten().astype(np.float32) def step(self, action): price float(self.df[close].iloc[self.t]) reward 0.0 # 第一步結(jié)算上一個 bar 到當(dāng)前 bar 的持倉浮盈 if self.position 1: log_ret np.log(price / self.prev_price) reward log_ret # 第二步執(zhí)行當(dāng)前動作扣交易成本 # 買入空倉狀態(tài)下才成交 if action 2 and self.position 0: self.shares self.cash / price self.cash 0.0 self.position 1 reward - self.cost # 賣出持有狀態(tài)下才成交 elif action 0 and self.position 1: self.cash self.shares * price self.shares 0.0 self.position 0 reward - self.cost # 動作 1 是持有不改變倉位也不額外扣費(fèi) self.prev_price price self.t 1 done self.t len(self.df) - 1 return self._get_state(), reward, done, {}代碼邏輯分三步走先結(jié)算浮盈再執(zhí)行動作最后推進(jìn)時間步。獎勵使用對數(shù)收益log(price / prev_price)好處是收益可以直接跨時間相加不會因為價格的絕對水平導(dǎo)致獎勵尺度漂移。注意買入和賣出都加入了reward - self.cost交易成本是 DQN 能不能學(xué)會“少動手”的關(guān)鍵約束去掉它模型會退化成高頻亂動。參數(shù)上有幾個點我習(xí)慣固定下來window30表示用過去 30 根 K 線做狀態(tài)特征數(shù)量由features決定cost0.001是單邊千一如果你做 A 股把印花稅和滑點一起算進(jìn)去單邊 0.001 到 0.002 都是常見取值。這個環(huán)境沒做漲跌停限制也沒區(qū)分 T1目的是先跑通訓(xùn)練真實約束后面再逐條加一次加太多約束會讓模型學(xué)不動。2.2 狀態(tài)空間設(shè)計行情窗口、技術(shù)特征與“不要碰未來數(shù)據(jù)”的紅線狀態(tài)空間決定了模型能看到什么。我見過很多人把網(wǎng)上那些指標(biāo)源碼里的金叉死叉信號直接拿來當(dāng)特征結(jié)果模型學(xué)到的是指標(biāo)的滯后轉(zhuǎn)譯而不是交易邏輯本身。這不是說技術(shù)指標(biāo)不能用而是用之前必須明確特征向量是給 Q 網(wǎng)絡(luò)做價值判斷的輸入不是信號生成器。我的常用特征是八到十二個維度的組合全部基于滾動窗口內(nèi)已知數(shù)據(jù)計算收益率、最高最低價相對收盤的位置、成交量變化率、ATR平均真實波幅、RSI、MACD 線與其信號線的差。關(guān)鍵約束是所有特征在 t 時刻必須只用 t 時刻之前的數(shù)據(jù)最穩(wěn)妥的辦法是先用shift(1)把整列特征向后平移一根 K 線再進(jìn)環(huán)境。def prepare_features(df): 構(gòu)造特征并統(tǒng)一做 z-score 標(biāo)準(zhǔn)化注意用 expand 窗口避免未來數(shù)據(jù)泄漏 df df.copy() df[ret] df[close].pct_change() df[high_low_pos] (df[close] - df[low]) / (df[high] - df[low]) df[vol_ratio] df[volume] / df[volume].rolling(20).mean() # 計算 RSI 這類指標(biāo)后統(tǒng)一 shift(1) df df.replace([np.inf, -np.inf], np.nan).fillna(0) return df這里有兩個坑。第一個是標(biāo)準(zhǔn)化不能用全樣本的均值和方差做 z-score那等于讓訓(xùn)練集偷看了測試集的分布正確做法是在訓(xùn)練集上fit一個StandardScaler再應(yīng)用到測試集。第二個是shift(1)它能擋住所有計算出來的指標(biāo)但對一些天生帶未來信息的字段沒用比如直接用close.shift(-1)做標(biāo)簽這種低級前視偏差我在別人的課程設(shè)計源碼里見過不少回測曲線好看得離譜實盤直接歸零。2.3 獎勵函數(shù)選型單步收益、持倉懲罰與折扣因子的配合獎勵函數(shù)是深度Q學(xué)習(xí)網(wǎng)絡(luò)在交易場景里最敏感的旋鈕。最直覺的做法是“賺錢給正獎勵、虧錢給負(fù)獎勵”但直接這么寫會讓模型變得極其短視它會抓住單步大波動去頻繁交易因為每步的即時獎勵比折扣后的長期價值更吸引人。我的做法是把獎勵拆成兩段持倉浮盈變化加上交易成本懲罰再疊加一個可選的“非必要不交易”懲罰項。環(huán)境代碼里已經(jīng)實現(xiàn)了前兩段第三段可以在訓(xùn)練時額外控制——每次判斷動作與當(dāng)前倉位不一致時額外減去一個小常數(shù)。下面是獎勵含義的對照關(guān)系方便你按自己的策略微調(diào)獎勵來源計算方式作用持倉浮盈log(price_t / price_{t-1})讓模型感知持倉收益變化交易成本單邊固定比例成本抑制過度交易動作切換懲罰每次買賣額外減 0.00020.0005降低無效換手終點大獎勵最后一刻結(jié)算累計收益強(qiáng)化長期目標(biāo)但只適合短周期折扣因子gamma在這里的作用比在游戲里更重要。金融市場是強(qiáng)非平穩(wěn)環(huán)境gamma0.99意味著模型會看重未來幾十步的收益這適合趨勢跟蹤如果做高頻gamma要降到 0.95 以下讓模型更關(guān)注眼前。我一般先固定gamma0.99看訓(xùn)練曲線的穩(wěn)定性再決定是否調(diào)整不要一開始就同時調(diào)三個旋鈕。3. 核心組件實現(xiàn)經(jīng)驗回放、目標(biāo)網(wǎng)絡(luò)和ε-greedy策略的代碼落地3.1 Q網(wǎng)絡(luò)與經(jīng)驗回放打破樣本相關(guān)性的第一個關(guān)鍵交易數(shù)據(jù)天生是時間序列相鄰樣本高度相關(guān)。如果像普通監(jiān)督學(xué)習(xí)那樣把相鄰狀態(tài)直接喂給網(wǎng)絡(luò)更新梯度Q值的估計會像醉漢走路一樣來回震蕩。經(jīng)驗回放就是為了解決這個問題把轉(zhuǎn)移樣本(s, a, r, s2, done)存進(jìn)一個大緩沖區(qū)訓(xùn)練時隨機(jī)抽樣一個小批量。隨機(jī)抽樣在數(shù)學(xué)上的作用是打破樣本間的時間相關(guān)性讓梯度更新近似滿足獨(dú)立同分布假設(shè)這是深度Q學(xué)習(xí)網(wǎng)絡(luò)能穩(wěn)定收斂的基石。網(wǎng)絡(luò)結(jié)構(gòu)我固定用最簡單的三層全連接別一開始就上 LSTM 或者 Transformer先讓整個訓(xùn)練循環(huán)能跑通再說。常見實現(xiàn)如下import torch import torch.nn as nn from collections import deque import random class QNetwork(nn.Module): 三層全連接 Q 網(wǎng)絡(luò)輸入狀態(tài)輸出每個動作的 Q 值 def __init__(self, state_dim, hidden128, n_actions3): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, n_actions) ) def forward(self, x): return self.net(x) class ReplayBuffer: 環(huán)形經(jīng)驗回放緩沖區(qū)容量滿后自動覆蓋舊樣本 def __init__(self, capacity100_000): self.buffer deque(maxlencapacity) def push(self, s, a, r, s2, done): self.buffer.append((s, a, r, s2, done)) def sample(self, batch_size): batch random.sample(self.buffer, batch_size) states torch.from_numpy(np.stack([x[0] for x in batch])) actions torch.tensor([x[1] for x in batch], dtypetorch.int64) rewards torch.tensor([x[2] for x in batch], dtypetorch.float32) next_states torch.from_numpy(np.stack([x[3] for x in batch])) dones torch.tensor([x[4] for x in batch], dtypetorch.float32) return states, actions, rewards, next_states, dones回放容量的選擇有講究。容量太小緩沖區(qū)里全是近期交易經(jīng)驗時間相關(guān)性沒有被打散容量太大老樣本占多數(shù)模型跟不上市場近期的狀態(tài)分布變化。日線上做交易我的經(jīng)驗是5_000到50_000之間比較合適。選擇10_000時假設(shè)一個 episode 是 200 步緩沖區(qū)大約覆蓋 50 個完整交易周期足夠多樣化又不會讓舊經(jīng)驗把新趨勢蓋住。3.2 目標(biāo)網(wǎng)絡(luò)延遲復(fù)制參數(shù)為什么能穩(wěn)住訓(xùn)練如果不加目標(biāo)網(wǎng)絡(luò)Q 值的更新公式里r gamma * max(Q(s2))用的和預(yù)測用的是同一個網(wǎng)絡(luò)這會造成“自己追自己尾巴”的效應(yīng)目標(biāo)一直在變梯度更新方向不穩(wěn)定表現(xiàn)為 loss 曲線鋸齒狀劇烈震蕩、甚至發(fā)散。目標(biāo)網(wǎng)絡(luò)就是給更新目標(biāo)加了一層延遲——用一份舊參數(shù)的網(wǎng)絡(luò)去計算目標(biāo) Q 值每隔固定步數(shù)再把當(dāng)前網(wǎng)絡(luò)的參數(shù)復(fù)制過去。這種延遲參數(shù)復(fù)制機(jī)制在一個訓(xùn)練循環(huán)里就幾行代碼但它的作用被很多人低估。我用一個全局步數(shù)計數(shù)器控制同步節(jié)奏每UPDATE_TARGET200步同步一次讓目標(biāo)網(wǎng)絡(luò)比當(dāng)前網(wǎng)絡(luò)“慢半拍”Q 值更新時目標(biāo)相對穩(wěn)定訓(xùn)練自然就穩(wěn)了。以下是帶目標(biāo)網(wǎng)絡(luò)同步的最小訓(xùn)練主循環(huán)optimizer torch.optim.Adam(q_net.parameters(), lr1e-4) replay ReplayBuffer(capacity10_000) target_net QNetwork(state_dim) target_net.load_state_dict(q_net.state_dict()) UPDATE_TARGET 200 BATCH_SIZE 64 GAMMA 0.99 EPSILON 1.0 EPS_DECAY 0.998 EPS_MIN 0.05 global_step 0 for episode in range(200): state env.reset() done False while not done: # ε-greedy 選擇動作 if random.random() EPSILON: action random.randint(0, 2) else: with torch.no_grad(): state_t torch.from_numpy(state).unsqueeze(0) q_values q_net(state_t) action q_values.argmax().item() next_state, reward, done, _ env.step(action) replay.push(state, action, reward, next_state, done) if len(replay.buffer) BATCH_SIZE: s, a, r, s2, d replay.sample(BATCH_SIZE) q_pred q_net(s).gather(1, a.unsqueeze(1)).squeeze() with torch.no_grad(): q_next target_net(s2).max(dim1)[0] y r GAMMA * q_next * (1 - d) loss nn.functional.smooth_l1_loss(q_pred, y) optimizer.zero_grad() loss.backward() nn.utils.clip_grad_norm_(q_net.parameters(), 1.0) optimizer.step() global_step 1 if global_step % UPDATE_TARGET 0: target_net.load_state_dict(q_net.state_dict()) state next_state EPSILON max(EPS_MIN, EPSILON * EPS_DECAY)這段代碼里的smooth_l1_loss是個值得注意的選型它結(jié)合了 L1 和 L2 損失的特點Q 值目標(biāo)誤差大時梯度不會爆炸誤差小時收斂平穩(wěn)。如果不做梯度裁剪即使用了 Huber 損失早期訓(xùn)練的異常獎勵也可能讓權(quán)重一步跳壞。clip_grad_norm_的 1.0 取值是我從實際訓(xùn)練里調(diào)出來的日線級別獎勵通常很小裁剪閾值設(shè)太大等于沒設(shè)設(shè)太小會讓學(xué)習(xí)變慢。3.3 ε-greedy 與衰減探索策略不是拍腦袋是調(diào)參對象ε-greedy 控制模型在“按當(dāng)前策略行動”和“隨機(jī)探索”之間的切換。初始EPSILON1.0表示策略完全隨機(jī)隨著訓(xùn)練推進(jìn)降低到0.05最終 95% 的動作來自 Q 網(wǎng)絡(luò)、5% 的隨機(jī)動作兜底。這個 5% 的探索要保留因為在交易場景里市場狀態(tài)會變化完全放棄探索意味著模型在沒見過的行情下沒有逃生通道。衰減率EPS_DECAY0.998在 200 個 episode 的訓(xùn)練里大約 400 步后 ε 會降到 0.05 下限附近。對日線交易一個 episode 大約就是兩三個月的交易數(shù)據(jù)200 個 episode 覆蓋的數(shù)據(jù)量足夠長。你要注意一個反向誤區(qū)ε 降得太快模型過早固化到局部最優(yōu)降得太慢訓(xùn)練前期大量時間在隨機(jī)亂走樣本利用率低。我一般先在訓(xùn)練日志里同時打印“平均獎勵”和“ε 當(dāng)前值”如果發(fā)現(xiàn)平均獎勵在 ε 還很高的時候就開始上升說明當(dāng)前策略已經(jīng)有效可以略微提高衰減率。4. 從訓(xùn)練到回測數(shù)據(jù)切分、驗證流程和一組可用參數(shù)4.1 數(shù)據(jù)切分與信號執(zhí)行時序時間序列不能隨機(jī)打亂強(qiáng)化學(xué)習(xí)在交易里的數(shù)據(jù)切分比監(jiān)督學(xué)習(xí)嚴(yán)格得多。常見錯誤是直接用train_test_split(random_state42)這會把未來數(shù)據(jù)混進(jìn)訓(xùn)練集回測結(jié)果完全失真。時間序列必須按時間順序切前 70% 做訓(xùn)練集中間 15% 做驗證集用來選超參數(shù)最后 15% 做測試集只允許跑一次。信號執(zhí)行時序同樣有硬性要求策略在 t 時刻用收盤價算好特征、生成動作但動作要在 t1 時刻的 bar 上才能生效。環(huán)境代碼里step執(zhí)行動作前先按當(dāng)前 price 結(jié)算上一段持倉已經(jīng)隱式實現(xiàn)了這個時序但你要檢查自己從外部接數(shù)據(jù)時有沒有破壞這個順序。def evaluate(env, q_net, eps0.0): 評估模式關(guān)閉探索輸出累計收益和每次動作用于畫凈值曲線 state env.reset() done False total_return 0.0 actions_log [] while not done: with torch.no_grad(): state_t torch.from_numpy(state).unsqueeze(0) action q_net(state_t).argmax().item() if random.random() eps else random.randint(0, 2) next_state, reward, done, _ env.step(action) total_return reward actions_log.append(action) state next_state return total_return, actions_log這套時序規(guī)則帶來的一個直接效果是回測凈值曲線的最后一天會有“幸存者偏差”的假象因為策略在最后一天只結(jié)算不交易。真實做法是剔除最后一天的浮盈或者把評估期多留一根 bar 做緩沖。驗證集選參、測試集定論這是交易策略設(shè)計里最低限度的紀(jì)律。4.2 訓(xùn)練主循環(huán)與損失函數(shù)什么時候看哪個日志訓(xùn)練循環(huán)的日志設(shè)計是調(diào)試效率的分水嶺。我見過有人只在命令行打印 lossloss 從 0.5 慢慢降到 0.1 就覺得贏了結(jié)果去回測發(fā)現(xiàn)模型從頭到尾沒買過一手。訓(xùn)練日志至少要有四列全局步數(shù)、loss、累計 episode 獎勵、動作分布占比。動作分布是最重要的信號。如果一段時間內(nèi)動作 2買入的占比趨近于 0說明模型學(xué)成“永久空倉”策略——它在用“不虧錢”作為最優(yōu)解止損比止盈更狠。如果動作 0 占比接近 0模型又變成“無腦滿倉”。兩種情況都要停下來查獎勵函數(shù)和成本設(shè)置。訓(xùn)練中 loss 的正常形態(tài)不是單調(diào)下降而是先快速下降再在一個平臺附近波動。交易數(shù)據(jù)的非平穩(wěn)性決定了 Q 值不可能收斂到固定點loss 在一個范圍內(nèi)震蕩是正常的別看到小幅回升就慌。真正的異常是 loss 突然跳高一個量級那通常是因為某一步獎勵出現(xiàn)了極端值比如除權(quán)未復(fù)權(quán)造成的價格跳空。這種時候去查數(shù)據(jù)源不要改學(xué)習(xí)率硬壓。4.3 評估指標(biāo)和關(guān)鍵參數(shù)一組能直接當(dāng)起點的默認(rèn)配置回測評估不能只看累計收益。最大回撤、換手率、交易次數(shù)、夏普比率這四項必須一起看。我見過一個模型年化收益 80%但最大回撤 45%中間任意一次腰斬級別的回撤都足以讓實盤者心理崩潰、手動干預(yù)亂掉整個策略。下面這個參數(shù)表是我在滬深 300 日線上跑過的最小可用配置直接用它當(dāng)起點再按數(shù)據(jù)微調(diào)參數(shù)取值說明window30狀態(tài)窗口長度日線短周期夠用hidden128隱藏層神經(jīng)元數(shù)256 以上容易過擬合learning_rate1e-4日線場景推薦 1e-4不要用默認(rèn)的 1e-3batch_size64常用 32128小批量噪聲更大replay_capacity10_000控制舊經(jīng)驗占比日線 5k50k 區(qū)間調(diào)update_target200每 200 步同步目標(biāo)網(wǎng)絡(luò)參數(shù)gamma0.99趨勢策略首選高頻調(diào)低epsilon_decay0.998200 episode 內(nèi)在 1.0 → 0.05 之間完成衰減cost0.001交易成本按單邊千一A 股可提到 0.0016這組參數(shù)的調(diào)參邏輯是先把學(xué)習(xí)率壓住訓(xùn)練曲線穩(wěn)定之后再微調(diào)窗口和成本?;販y結(jié)果的可視化同樣重要如果你習(xí)慣把行情腳本以本地方式跑起來自建圖表直接把評估日志里的資金曲線和基準(zhǔn)指數(shù)曲線畫在一起能快速看出策略的超額收益集中在哪段行情、在震蕩期是否失效。把每一筆交易的持倉區(qū)間標(biāo)在圖上比盯著盈利數(shù)字更容易定位問題。5. 深度Q學(xué)習(xí)網(wǎng)絡(luò)做股票交易的常見問題和必看避坑點5.1 現(xiàn)象訓(xùn)練集收益曲線漂亮測試集直接虧到懷疑人生原因排除法按先后順序查第一查特征標(biāo)準(zhǔn)化是否用了全樣本統(tǒng)計量第二查是否用了未來數(shù)據(jù)特別是shift(-1)這種目標(biāo)泄漏第三查數(shù)據(jù)集里有沒有未復(fù)權(quán)的除權(quán)跳空。解決標(biāo)準(zhǔn)化器只在訓(xùn)練集fit然后transform驗證集和測試集把特征工程里所有滾動指標(biāo)統(tǒng)一shift(1)用后復(fù)權(quán)價格重新生成數(shù)據(jù)集。測試集只能跑一次跑完發(fā)現(xiàn)不行就回去改特征改完再回測試集等于把測試集當(dāng)驗證集用這個習(xí)慣會讓你對自己的策略產(chǎn)生系統(tǒng)性誤判。上一輪剛改完獎勵函數(shù)就立刻去跑測試集得到負(fù)收益后調(diào)整參數(shù)再跑一次這次結(jié)果變正了但我心里清楚這個“正收益”已經(jīng)不能說服任何人包括我自己。正確順序是訓(xùn)練集調(diào)整 → 驗證集選參 → 測試集只做一次最終確認(rèn)。5.2 現(xiàn)象loss 在某個平臺反復(fù)震蕩但不下降訓(xùn)練幾十輪沒有進(jìn)展原因通常是獎勵尺度與網(wǎng)絡(luò)初始化不匹配。對數(shù)單步收益的量級在 0.001 到 0.01 之間而 Q 網(wǎng)絡(luò)輸出的初始 Q 值通常在 0 附近、范圍在正負(fù)幾之間。兩個尺度差距過大TD 目標(biāo)里的r會被gamma * max(Q(s2))蓋住模型學(xué)不到任何來自獎勵的信號。解決把獎勵整體乘以一個放大系數(shù)比如reward * 20讓獎勵信號和目標(biāo) Q 值在同一個數(shù)量級。另一個常見做法是把初始輸出層權(quán)重調(diào)小讓網(wǎng)絡(luò)的初始 Q 值分布在 0 附近一個小范圍內(nèi)而不是標(biāo)準(zhǔn)的全連接初始化。我自己的習(xí)慣是先統(tǒng)計訓(xùn)練集里單步收益的均值與標(biāo)準(zhǔn)差把獎勵縮放到標(biāo)準(zhǔn)差為 1 左右再進(jìn)入訓(xùn)練循環(huán)。5.3 現(xiàn)象模型不交易或者一直滿倉不動先說“一直空倉”模型發(fā)現(xiàn)什么都不干的累計收益是 0而瞎交易的期望收益是負(fù)的于是學(xué)到空倉是最優(yōu)策略。這說明獎勵函數(shù)里缺少對機(jī)會成本的約束或者交易成本設(shè)得過高。解決檢查動作分布如果空倉動作占比超過 95%把cost調(diào)低一個數(shù)量級測試同時給持倉增加一個“行情上漲時未持倉的隱性懲罰”比如if position 0 and next_return 0: reward - 0.001。再說“一直滿倉”模型發(fā)現(xiàn)持有股票的長期收益期望為正于是決定永遠(yuǎn)不賣。這個策略在單邊上漲的訓(xùn)練集里是理性的但測試集一旦進(jìn)入熊市就全線崩潰。解決訓(xùn)練數(shù)據(jù)里必須包含熊市和震蕩市不要只挑一段牛市訓(xùn)練或者把獎勵從“單步收益”改成“收益減去最大回撤懲罰”讓模型被迫學(xué)會出逃。5.4 現(xiàn)象除權(quán)除息讓凈值曲線出現(xiàn)詭異的跳空模型在跳空位置瘋狂交易原因數(shù)據(jù)源沒有做復(fù)權(quán)處理。A 股除權(quán)除息會讓價格在除權(quán)日斷崖下跌看起來像暴跌模型會把它當(dāng)成做空信號實際上這只是權(quán)益分派導(dǎo)致的價格調(diào)整。解決全部使用后復(fù)權(quán)價格做訓(xùn)練與回測。后復(fù)權(quán)保證價格序列在歷史任意一天的相對比例是真實的實盤時再把信號映射回當(dāng)前價格即可。數(shù)據(jù)下載時如果只拿到原始價必須檢查每個交易日的漲跌幅是否超過 10%超過的多半是除權(quán)除息停牌復(fù)牌也要單獨(dú)標(biāo)記。5.5 現(xiàn)象同參數(shù)、同數(shù)據(jù)兩次訓(xùn)練結(jié)果完全不一樣回測收益差 10 個百分點原因沒有固定隨機(jī)種子。PyTorch 的模型初始化、PyTorch 的 drop 操作、Python 的 random 模塊、NumPy 的隨機(jī)數(shù)生成器四個隨機(jī)源都要在同一處固定。只固定torch.manual_seed是不夠的因為經(jīng)驗回放采樣用的是random.sample。import torch import numpy as np import random def seed_all(seed): torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) np.random.seed(seed) random.seed(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False固定隨機(jī)種子不只是為了復(fù)現(xiàn)報告里的數(shù)字它更重要的作用是讓你在調(diào)參時能對照實驗改了一個參數(shù)收益變了到底是參數(shù)的效果還是隨機(jī)噪聲固定種子情況下收益變化可歸因于參數(shù)調(diào)整否則整個調(diào)參過程都是無效操作。多隨機(jī)種子評估應(yīng)該放到最后驗證階段而不是每次調(diào)試都換不同種子。6. 用多模型集成穩(wěn)住策略從單次訓(xùn)練到可信效果的進(jìn)階驗證6.1 多隨機(jī)種子集成用源碼基礎(chǔ)結(jié)構(gòu)把單模型變成策略組合單個 DQN 模型在日線交易上的穩(wěn)定性通常不夠隨機(jī)種子一變、結(jié)果就飄這其實是正?,F(xiàn)象。我的做法是從“訓(xùn)一個模型”升級成“訓(xùn) N 個模型再投票”。用 5 個不同的隨機(jī)種子訓(xùn)練 5 個 Q 網(wǎng)絡(luò)每個網(wǎng)絡(luò)獨(dú)立生成動作信號最終動作取多數(shù)投票。當(dāng)三個以上模型同時選擇買入時信號的一致性明顯提高假突破帶來的噪聲被中和掉。6.2 多空市場切片驗證不追求永遠(yuǎn)賺錢最后一個習(xí)慣是按行情狀態(tài)切片復(fù)盤把測試期按年或者按市場狀態(tài)分成若干段分別計算每段的收益、回撤和交易次數(shù)。如果模型的超額收益全部來自牛市段熊市段全靠躲跌那策略本質(zhì)上是一個擇時器如果收益分散在各類行情里說明模型學(xué)到的是更泛化的狀態(tài)-動作關(guān)系。這兩類策略的交易邏輯和實盤預(yù)期完全不同提前知道比事后吃大虧好。我現(xiàn)在再看一份交易策略源碼時第一眼不看它的收益曲線先看它的訓(xùn)練集與測試集有沒有嚴(yán)格隔離、隨機(jī)種子有沒有固定、交易成本有沒有扣干凈這三個基礎(chǔ)點在課程設(shè)計源碼和開源的免費(fèi) Python 源碼里恰恰最容易被跳過。用這套 DQN 源碼方案做交易策略真正的門檻不是算法本身而是把所有“看起來小”的細(xì)節(jié)釘死。希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99碰碰碰| 五月丁香啪啪综合| 婷婷五月天亚洲综合| 亚洲黄色操逼| 热九九精品| 六月婷婷影院| 激情五月深爱五月| 亚洲AV网址| 婷婷99狠狠躁天天躁中| 999影院成人在线影院| 激情六月天婷婷| 色色婷婷五月天| 激情性五月天免费小说视频| 激情宗合哪里能看| 丁香五月婷婷五月| 97超碰在线观看免费| 夜夜撸夜夜骑| 超碰在线人人| 久久久精品人妻| 九九热这里有精品视频| 日本婷婷在线| 五月天婷婷激情网| 美女被操一区二区| av在线播放网站| 超碰高清在线| 中文av网| 五月激情婷婷丁香| 五月天天天开心激情网| 美女va| 五六月婷婷久久| www.五月丁香| 天天操天天插| 激情综合激情综合| 人人摸人人澡人人| 五月婷婷啪啪| 天天爽天天干| 第四色五月天| 婷婷五月av| 囯产精品一品二区三区| 色情激情五月| 色五月婷婷DVD| 99热只有精品在线播放| 五月丁色AV| 久久99久久久| 五月婷婷丁香啪啪| 亚洲AV综合在线观看| 青青草Avb在线| 人妻操逼视频| 婷婷五月丁香五月| www.天天干| 狠狠狠色激情综合适合| 日韩精品一区二区亚洲AV观看| 色五月激情五月丁香五月婷婷啪啪综合| 91玖玖| 久久一品区| 99色综合久久| 久久九九亚洲| 欧美在线看| 123草逼网| 超碰在线中文字幕| 婷婷九月色| 久久丁香五月| 狠狠干婷婷| 色999五月色| 五月丁香婷婷中文| 精品国产va久久久久久久| 丁香五月婷婷综合视频| 天天干狠狠艹| 五月天大香蕉| 666555。COm毛片| 丁香五月婷婷总啪啪| 久热精品免费视频4| 日本三级99人妇网站| 婷婷色色网站| 六月婷婷激情| 婷婷五月深深爱| 思思精品热在线| 五月天天视频| 99热在线播放| 黄色aa观看aaguochan| 日本在线观看91| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 91黄址| 日韩一级片| 天天性视频| 婷婷丁香五月视频| 五月天社区婷婷丁香社区| 97干在线| 97超碰欧美中文字幕| 97干欧美| 直接看的AV| 激情久久久久久| 九九热精品| 农村熟妇高潮精品A片| 久草婷婷在线| 99自拍视频在线观看| 日日日,com| 丁香婷五月| 日撸夜撸日操| 性色五月天| 日本一级淫| 无码一区二区三区四区五区91c| 久久一级片| 久热九九| 日韩色色视频| 国产麻豆视频| 婷婷丁香五月亚洲欧美| 精a品a| 久久五月综合| 久久 无毛。| 亚洲色五月| 天天插天天草人人玩| 久久综合五月天| 苗黎美女四级成人版一级二级毛片| 狼人伊人干| 超碰狠狠操| 激情五月婷婷综合网| 婷婷五月综合网| 超碰人人草| http:色情日本com| 人人操91| 九九碰九九爱97超碰| 五月天婷婷狂暴白浆| 五月婷婷|欧美| 丁香女人五月天| 婷婷色丁香六月| 久久综合五月天| 色色婷婷综合| 色婷婷4| 日本色婷婷| 思思久久99| 色婷婷综合在线| 婷婷五月天视| 狠狠色婷婷7777久| 久久婷婷成人| 超碰成人电影| 91网站黄| 色欲久久久久久综合网综合网| 九月激情婷婷丁香| 天堂婷婷丁香六月网| 久久婷婷精品| 丁香六月婷婷久久综合| 99天堂网最新| 26uuu精品国产| 欧美成人AAA片一区国产精品| 亚洲综合婷婷五月| 另类激情综合| 久久五月视频| 人妻av在线| 97欧美在线| 五月天五月婷五月激情网| 午夜丁香婷婷| 欧美噜噜久久久XXX| 欧美啄木乌丝袜人妻系列| 人人爱操| 婷婷五月综合在线| 五月婷丁香| 六月丁香六月婷婷欧美| 婷婷成人综合| 日本九九九九| 日本婷婷五月天| 欧美色图天堂网色| 国产成人网站在线观看| 少妇丁香婷婷| 成人无码免费一区二区中文| 婷婷丁香综合成人| 99ri视频在线观看| 操久久网| 大香蕉综合网| 99区视频| 色五月天 丁香| 色性日本| 婷五月天六| 久久五月天激情| 欧美在线ee日韩| 六月婷婷色宗合| 亚洲欧美在线观看| 亚洲综合激情五月| 偷拍91九色| 五月色天情| 婷婷五月丁香四射| 色99热| 九九99免费视频| 玖玖色综合网| 婷婷丁香人妻| 久久久九九九 99| 99久久6| 百度4399有码精品V在线观看| 五月丁香婷婷综合| 久久狠狠欧美| a片在线免费观看一区| 五月丁香啪啪伦理电影| 婷婷午夜精品久久久| 久久激情综合| 国精产品久久| 伊人久久大香线蕉av最新| 香蕉婷婷色五月| 欧美色99| 思思热性操| 国内精品免费一区二区2009| 九九色人| 五月丁香久久呀| 婷婷天天五月天| 色婷婷97| 五月丁香六月婷婷亚洲视频| 97碰免费视频在线| 日韩99无码| 九九99久久| 婷婷九月| 美女伊人久久| 国产精品天天狠天天看| 亚洲午夜AV| 精品一区二区三区四区五区六区介绍| 久久五月天色婷婷| 伊人喵咪a V| 伊人久久大香网| 最新激情五月天| 五月色婷婷夜色| 国产成人综合在线| 999热在线视频| 五月婷婷色影院| 色婷婷色99国产综合精品| 日韩色情亚洲五月天婷婷| 五月天狠狠色| 91操黄| 亚洲色图五月丁香| 狠狠色综合图片| 9色视频在线| 九月婷婷丁香| 丁香五月香蕉| 婷婷欧美综合| 五月天婷婷狠狠| 偷偷与邻居做爰完整视频| 色噜噜狠噜噜视频| 亚洲色在线观看| 婷婷伊人| 538任你爽| 五月丁香色色色| WWW.婷婷| 91爱啪啪| 国产综合色婷婷精品久久| www.激情五月天| 激情久久久| 久色大香蕉| 国产毛片精品一区二区色欲黄A片| 婷婷五月天天天| 亚州激情在线视频| 婷婷免费精品视频| 久热这里只精品| 色五月大| 六月婷婷激情图片| 成年人夜夜喷水| 潮汕成人AV片在线| 99热99天堂| 综合色、色综合| 九九色中文| 伊人热婷婷| 91热视频| 日韩有码一区| Aα在线免费观看| 丁香五月影| 91综合在线| 激情四射五月天| 五月天婷婷色色网| 97色久| 国产激情在线| 久操激情| 97人凄人人操人人爽| 婷婷六月激情| 丁香五月天.com| 热99这就是精品视频| 99热日韩| 久久精彩视频| 亚洲成人一区| 欧美电影在线播放| 成人性生活免费观看。| 超碰精品国产首页| www,色婷婷| 日本3级片一区2区| 久久久.COM| 色5月婷婷色| 99热精品99| 久久与婷婷| 女婷久久| 五月丁香在线国产| 五月花激情| 直接看的AV| 能直接看的av网站| 99热在线精品观看| 日韩六十路91性交电影| 激情婷婷六月| 伊人啪啪网| 激情五月天社区| 色偷偷五月天| 可以看的AV| 九九亚洲| 丁香婷婷综合影院| 91丨九色丨东北熟女| 色爱综合视频| 玖玖精品视频| 亚洲色啪| 超级碰碰碰91| 全网最新网黄大秀直播高清,主播国产录屏在线 | 国产又色又爽又黄又免费| 日韩av变天就操逼不卡区| 婷婷五月激情欧美大胆视频| 影音先锋天天日| 原琪琪色影院| 五月丁香激情六月| 啪啪啪综合网| 婷婷欧美激情| 2023天天日夜夜爽| 99爱爱| A片试看120分钟做受图片| 五月婷性爱| 婷婷五月天激情电影| 天天久久66xxx| 婷婷激情5月| 天天做夜夜爽| 国产看真人毛片爱做A片| 人人叉久| 爱草视频在线| 大香蕉久艹| 人妻内射一区二区在线视频| 大香蕉伊人99| 激情六月日韩| 白人荫道BBWBBB大荫道| 91热99| 天插天啪天啪天啪| 丁香五月婷婷在线| 大香蕉网站,大香蕉综合| 婷婷五月天手机版视频| 婷婷五月天影院| 99久热在线精品99re6热| 狠狠色婷婷| 五月天色婷婷成人| 色婷婷丁香五月| 99热在线看| 午夜色色色极品视频| 欧美婷婷五月天| 色色五月丁香| 99 热| 欧美啄木乌丝袜人妻系列| 丁香五月影院| 91viP在线看| 狠狠插日日干撸| 99在线精品免费视频| 26uuu成人网| 狠狠舔| 婷婷色片| 久久久久久久久久久月丁| 天天草天天日| 欧美怡红院黄站| 五月天激情四射| 亚洲人人操BD| 第四色色六月色综合| 国产夫妻操逼内射视频| 五月婷婷激情综合| 99色色爰| 99免费在线| 婷婷色色欧美| 婷婷五月花| 东京热人妻一区二区三区在线| 欧美噜噜免费观看| 五月婷婷丁香六月| 天天在线天天综合网色| 国产精品99久久久久久久女警| 99re在线视频精品,这里只有精品18,| AV五月丁香| 激情久久综合网| 思思精品热在线| 91蝌蚪窝视频在线| 丁香六月婷婷综合欧美| 久久婷婷丁香视频网| 丁香六月在线| 草草影院爱爱| 色婷| 久久人妻久久久久| 欧美搡BBBBB摔BBBBB| 99 r热| 久久三级视频| 激情综合网,婷婷| 久久婷婷成人综合色怡春院| 人妻VideOssS人妻| 伊人大香蕉综合在线| 丁香五月婷老师| 第1影院之五月婷婷| 国产激情综合五月久久| 亚洲视频操| 另类综合激情| www.狠狠操.co m| 色色综合网站| 99热 免费| 5月丁香综合图区| 99色爱| 丁香亚洲色综合| 婷婷五月天在线综合| 97成人在线视频| ji'qi'luan'ren'lun| 亚洲无码九九九| 99在线视频精品| 亚洲另类婷婷综合| 99国产在线精品视频| 国产精品久久久60086| 久久婷婷六月综合综合| 天天干天天日天天操| 思思热久在线观看视频| 国产精品 的国产| 九九色色| 天天射色五月天| 超碰高清在线| 免费视频WWW在线观看网站| 婷婷亚洲在线| 色婷婷婷婷| 国产乱人偷精品人妻A片| 色综合天天天天做夜夜| 啊V视频在线观看| 疯狂做受XXXX高潮A片动画| 天天舔天天插天天干| Av在线不卡一区| 婷婷丁香五另类网站| 色综合播放| 人人草碰| 亚洲人妻av| 婷婷丁香五月六月激情| wWwCom夜操wwW| 亚洲AV成人精品网站在线播放| 婷婷五月天在线视频网站| 久久久婷婷婷| 九月大香蕉| 99热都是精品| 婷婷六月亚洲综合| 最新五月天婷婷影| 亚洲欧洲另类| 九九色色网| 91av成人| 99在线精品免费视频| 激情五月综合| 色狠狠图片| 超碰色综合| 久久婷婷青青草| 欧美日综合| 综合五月丁香六月婷婷| 日日操,夜夜爽| 九九国产视频| 婷婷色啪| 丁香五月开心亚洲| 去色色五月天| 熟妇高潮一区av| 欧美性丁香色色五月天干干| 五月丁香啪啪啪| renrencaoav| 同性gv国产精品一区二区| 九九人人自拍| 日本 色综合| 影音先锋高清无码资源网| 亚洲无线视频| 伊人影院久久网| 青草视频在线播放| 五月丁香婷婷综合| 欧美婷婷综合| 天天天天操| 1024人妻| 激情综合五月婷婷| 天天干 夜夜爽| 超碰99资源站| 婷婷色情网| 激情五月天社区| 99国产小视频| 五月丁香六月情亚洲| 丁香六月成人网| 婷婷激情五月天7| 久久曰曰| sS丁香五月婷婷| 久热9| 久草视频一,二三四| 91视频免费后入强操| 精品九九久久| 中文字幕精品推荐免费在线观| 91久热| 97色色视频| 99热在线精品观看| 色婷婷国色天香综合| 婷婷成人网五月天| va中文资源在线观看| 日韩一区二区在线播放| 日 日干 日日做| 狠狠干总合| 五月天综合区| 婷婷五月亚洲一本在线丁香| 五月六月婷| 狠狠干五月天| 亚洲成人网在线观看| 大香蕉久久| 五月天激情影院| 中文字幕日产A片在线看| 无遮挡国产高潮视频免费观看| 欧美在线视频99| 婷婷丁香六月天| 五月丁香激情综合| 99re资源在线视频导航| 丁香五月激情网| 五月婷婷啪啪啪| 天天色天天搡| 激情五月天免费视频| 色色色.COM| 久久这里只有欧美| 天天久久狠狠色综合| 97在线碰| 九九热这里只有国产精品| 狠狠激情五月天| 9999色色色色| 国产成人在线精品| 亚洲精品无人区| 亚洲色区17| 99色免费在线观看| 九九热这里只有精品23| 丁香九月婷婷色| 丁香激情五月天| 五月丁香啪| 国产成人网| 大香蕉婷婷婷| 、激情六月天| 啄木鸟丝袜美女福利视频| 久久xxxx| 玖玖九九超碰| 久久香蕉影院| 婷婷五月天中文字幕| 任我肏| 久久久久久人妻| www色哟哟| 九九九九毛片| 5月婷婷五月天| 久久久18| 热996精品在线观看| 亚洲综人色综网| 97色婷婷五月天| 婷婷中文无码| 99视频综合网| 色久婷婷网| 99热这里只有精品中文字幕| 俺去也五月天婷婷| 99偷拍视频在线日本| 五月色婷婷亚洲 | 九九热只有精品| 丁香激情网| 97色啪| 激情婷婷另类| 日韩啪啪网| 熟美女麻豆| 久色姿源| 婷婷成人网五月天| 久久国产色| 五月婷婷六月色| www.yw色| 激情www| 国产3p露脸普通话对白| 欧美情月伍月天| 综合婷婷五月天| 香蕉网婷婷| 婷婷,五月天,丁香,第一| 五月久视频| 久久久亚洲精品一区二区三区浴池| 九九热视频99| 99精品在线观看视频| 丁香8月手机综合| 色五月之第四色| 激情六月丁香| 精品人妻在线| 五月天婷婷激情| av在线婷婷| 九九Av| 99热亚洲| 超碰成人在线观看| 免费视频99| 日韩一级| 亚洲va欧美va国产综合久久久| 九九碰九九爱97超碰| 色五月色图| 狠狠干综合网| 色婷天天| 91九九| 91爱啪啪| 四色99久久| 91精品久久久久久综合五月天| 五月丁香六月婷婷久久| 久久伊人9| 噜噜操操| 超碰人人艹| www.婷婷五月| 99在线观看视频免费| 色欲色香综合网| 午夜色婷婷| 停婷丁五月在线| 中文字幕av亚洲| 亚洲激情| 天天玩夜夜操| 激情国产综合| www九九| 婷婷五月丁香久久| 中文字幕,综合,91| 综合久久99| 色色com| 五月色丁香综合| 亚洲国产精品二二三三区| www好屌操| 亚洲精品第一国产综合亚AV| 成人丁香五月| AV成人在线播放| 亚洲色啪| 日批在线看| 激情五月最新网址| yellow视频在线观看91| 乱女乱妇熟女熟妇综合网站| 婷久久高清| 激情开心五月天婷婷基地丁香社区| 伊人五月天久久| 影音先锋一区二区三区| 丁香六月激情综合网| 91操女| 在线婷婷| 九九热这里只有精品9| Av在线不卡一区| 婷婷五月色情天| 9久久久久| 日本99热| 九九视频在线观看| 六月婷婷五月丁香首页| 婷婷五月天丁香综合网| 五月婷精品| 思思久ren热| 久久全色| 色婷婷丁香五月| 丁香五月六月婷婷怡红院| 天天射综合网站| 激情婷婷丁香| 狼人狠狠操| 日韩人妻无码一区二区| 成人短视频免费| 日日干天天爽| 99亚洲精品视频| 丁香五月综合久久八| 99综合97| 五月婷婷久久综合| 桃色五月婷婷| 色墦五月丁香| 亚洲婷婷六月天| 五月天伊人综合| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 欧美婷婷日本| 久久久精品色色色| 99久久免费性爱视频`| 色婷婷aV四虎| 欧美性生交XXXXX无码小说| 天天综合 99久久婷婷| 九九热在线视频,| 99精品自拍| 五月丁香婷婷激情爱爱| 国产亚洲精品AAAAAAA片| 成人av在线网址| 五月丁香婷婷AV天堂| 五月婷婷深深爱| 五月丁香婷婷老司机| 少妇性按摩无码中文A片| 99热播放| 人妻久久久久久| 婷婷五月天亚洲综合| 99久久99热| 九色91视频| 日日噜噜久久婷婷五月天| 无码激情AAAAA片-区区| 五月天婷婷色| 亚洲男女激情| 97在线/亚洲| www.色色五月天.com| 婷婷婷婷婷开心无码播放| 精品人妻午夜一区二区三区四区| 日本婷婷五月天| 久热综合| 九九热欧美| 婷婷五月天第三页| 五月丁香六月婷婷姐| 色情五月停停丁香| 欧美激情综合色丁香婷婷五月天| 99性爱精品| 婷婷五月色网| 久久人妻高清中文| AV 3P| 五月丁香六月婷婷综合网| 丁香六月婷婷五月天| 一起草无码视频| 婷婷五月丁香五月| 色婷五月婷婷| hd五月婷婷在线| 国产精品视频久久99| 久久久五月婷婷| 天天夜夜操| 日日操天天| 天天操夜夜爱| 婷婷六月丁| 97色色色| 成人视屏在线观看| 日韩色色视频| 久久AAAA片一区二区| 国产成人AV不卡| 91九九热| 五月丁香激情综合啪啪| 久久婷婷91| 久热丁香| 天天搞夜夜爽夜夜爽| 一夜福利不卡| 五月天色视频| 色久影院| 日韩视频99| 色五月激情网| 日韩专区五月天婷婷丁香| 情色五月天 网站| g00d人体西西| 亚洲精品乱码久久久久久按摩观| 深爱婷婷色| 淫荡综合网| 丁香五月AV| jiZZdr| 狠狠干五月| 婷婷五月色图| 思思久久精品视频| 99啪在线| 欧美天天草人人草| 91wwmm导航| 97干97色| 91丁香色| 欧美熟女99| 九九婷婷五月天影视| 色色国产| 麻豆AV一区二区三区| 日韩欧美性爱| 婷婷五月激情四月综合| 亚城区在线| 丁香五月激情啪啪| 婷婷久草| 大香蕉啪啪啪| 五月天婷婷久色| 婷婷五月天亚洲| 能看的av网站| 色综合久久88| 丁香六月婷婷色XXXX| 91久久五月天| www,奇米影视| www,8050,午夜三级| 色综合色综合网| 九九热视频这里只有精品| 亚洲在线网站| 亚洲视频在线观看99| 久99久精品视频| 婷婷欠久少妇| 色狠狠五月天| 婷婷五月花| 五月婷婷色色爱| 九九激情综合| 五月激情网站| 日韩久久日| 开心五月丁香综合久久| 99久在线视频| 欧美日本高清视频99| 丁香五月天激情五月天激情五月天激情网| 五月天婷婷操逼视频| 九九九九热99超碰| 丁香婷婷激情五月色| 五月婷婷天堂| 日hao1区| 艹| 香蕉久久av一区二区三区| 无码啪啪| 丁香五月成人| 超碰精品国产首页| 精品,99| 久婷婷视平| 狠狠另类视频| 九久9精品| 日韩综合网络男女香蕉a片| 激情婷婷六月天| 婷婷激情五月天桃花网| 丁香五月天天高清在线| 久爱综合| 狠狠色官网| 天天插天天射| 99久久a线观| 97在线视频人妻九色| 日本3级片一区2区| 久久激情网| 五月丁香婷婷色播无码| 岛国AV网站| 亚洲精品第一国产综合亚AV | 色色a| 日本9区视频| 天天摸人人摸| 六月丁香啪| 五月花激情| 婷婷五月综合社区在线| 婷婷五月色综合| 五月天色软件| 五月婷婷六月少妇激情| 疯狂做受XXXX高潮A片| 六月婷五月丁香| 99精品偷自拍| 开心五月综合激情综合五月| av大片在线| 欧美综合五月丁香五月天| www.婷婷五月.com| 欧美五月婷婷| 97操碰在线视频| 五月婷婷综合久久| 久久综合干| 五月久熟女| 天天干天天日天天操| 五月婷六月综合在线观看| 婷婷99狠狠| 色五月婷婷开心| 婷婷丁香色性爱| 婷婷五月激情欧美| 久久视屏这里只有久久| 日本熟妇乱妇熟色A片蜜桃| 亚洲看av的网站| 久久99日本精品视频免费观看| 色五月婷婷九月| 991精品在线视频| 色五月人妻| 婷婷涩涩网| 色五月婷婷在线观看第一页舔| 五月丁香亚洲综合| 亚洲操逼片| 色五月激情五月| 五月开心色| 操操自拍| 色婷婷成人做爰A片免费看网站 | 久久人人添人人爽添人人片αV| 亚洲A色| 亚洲乱码在线观看| 亚洲亚洲人成综合网络| 99热这里只有精品最新| 区美毛片子| 国产亚洲精品久久久久久郑州| 天天操夜夜爱| 久婷| 伊人激情综合| 日韩999| 亚洲天堂aaa| 91美女被操| av免费在线看不卡无毒| 色日本综合| 中文激情网| 九色99视频| 色婷婷久久| 996日日爱| 天天爽在线视频| 《久久综合九色综合97婷婷| 六月丁香激情网| 美英法精品无码免费视频| 超碰免费成人| 美女爆乳18禁www久久久久久| 九九激情综合| 五月丁香婷婷俺| 激情五月天婷婷图| 欧美色色日韩| 成人精品视频99在线观看免费| 五月天伊人综合| 狠狠做六月爱婷婷综合aⅴ| 久久天堂女人| 激情综合五月婷婷| 婷婷中文无码| 色五月婷婷激情| 天天搽天天射| 另类视在线| 白人荫道BBWBBB大荫道| 夜夜资源站| 丁香六月欧美| 婷婷五月天论坛| 天天日天天舔天天摸| 国产在线视频1234| 91精品久久久久久久久久| 五月丁香激情综合| 婷婷丁香六月天| 天天综合亚洲综合| 五月丁香婷婷综合在线| 97影院一级片| 久久伦乱| 99热99草97| 97超级碰人人| 天堂无码人妻精品AV一区| 天天干狠狠| 综合激情网激情五月。| 五月天色婷婷视频| 狠狠干天天内射| 超碰av在线| 激情综合网五月丁香| 激情五月婷婷色色| 天堂呦 呦百度搜索-百度搜索| 夜夜爽天天爽| 综合色五月| 99网| 人人操五月天| 日韩婷婷| 91精品无码久久久久久五月天| 国产偷人爽久久久久久老妇APP| 亚洲色综合| 五月天综合视频| 91啪啪视频| 日本一级黄色电影| 欧美婷婷日本| 青青草原亚洲天堂| 无码人妻电影| 久久9久| 九九色逼| 婷婷精品| 精品国产乱码久久久久久免费| 欧美性爱五月天| 伊人无码高清| 天天久综合网永久入口18| 99国产在线精品视频| 国产偷人爽久久久久久老妇APP| 国产一区二区三区影院| 麻豆AV一区二区三区| 狠狠爱婷婷五月天| 综合超碰熟| 国内一级精品| 五月色色色| 丁香五月婷婷啪啪| 亚洲小说五月婷婷| 丁香五月大片| 久久久人妻门| 五月久视频| 丁香九月综合| 五月天成人综合| 中文字幕无码人妻少妇免费视频| 中国女人做爰A片| 日本97在线观看| 超色欲天天| 色五月超碰| 天天五月丁香五月| 四五月婷婷| 日本成人噜噜噜| 26uuu亚洲欧美| 色屌丝中文字幕| 伊人狠狠丁香婷婷综合尤物| 99ri视频| 九九99精品视品| 9 9 9色色| 亚洲网视屏| 天天做天天爱天天摸| www..com色爱| 五月婷婷天| 婷婷色中文字幕| 亚洲亚洲人成综合网络| 久久区区一二三av| 日韩无码专区| 亚洲男人的天堂婷婷色五月| 看国产探花操逼三级片| 五月丁香综合啪啪| 日本操天堂| 激情 婷婷| 五月婷婷在线视频免费观看| 天天狠狠夜夜狠狠2023| 久久五月婷| 91av传媒高清在线视频网| 伊人狠狠色婷婷综合丁香一区| 99超碰人人| 狠狠人妻久久久久久综合丁香| 色导航色婷婷五月天在线观看| 婷婷五月av| 91碰免费视频| 欧美日本综合网| 99热这里只有精品18| 亚洲啪啪视频| www.色色色com| 99热这里只有精品26| 26uuu欧美日本| 六月天婷婷| www.射伊蕉婷婷| 欧美爆乳一区二区三区| 久九色| 色情激情五月婷婷| 五月综合激情久久| 色狠狠999综合| 婷婷六月天| 男女免费视频999| 色五月婷婷啪啪五月| 国产日比| 国产4P视频精品五区| 久久久久综合激动五月天| 狼人婷婷综合| 人人爽欧美婷婷久久久五月丁香| 99er精品| 婷婷伊人综合中文字幕| 婷婷99狠| 激情五月深爱五月| 99免费| 五月Huangsewang| a色色片| 亚洲免费婷婷| 91美女啪啪| 能看的av片| 丁香五月婷婷网| 99超级碰免费视频| 97色97干| 婷婷综合九月| 五月丁香基地| 成 人片 黄 色 大 片| 五月婷婷丁香| 五月天婷婷綜合院| 综合精品99| 99热在线观看这里只有精品| 伊人激情AV一区二区三区| 无码激情| 99热在线观看免费精品| 激情五月天综合网| 亚洲色频| 骚逼视频一区2区| 久久欧洲综合网| 精品人妻一区二区三区在| 国产永久一二一起草| 久久a热| 9久久久久| 色婷婷9| 成人免费在线电影| 日韩淑女人妻luan伦激情精品一区二| 丁香婷婷老司机久操| 丁香五月婷婷骚视屏| 97干干干丁香| 久久久人人人妻丝丝丝| 香蕉人妻AV久久久久天天| 青草性爱视频| 91久久久久久久| 激情五月婷黄版| 99热这里只有精品在线观看| 超碰91在线| 91蜜桃婷婷狠狠久久综合9色| 久久最新色色色| 99热免费| 欧亚色色| 亚洲中文字幕AV在线| 色五月婷婷久久爱| 丁香婷婷综合激情五月色| 艾小青av| 国产中文字幕在线视频免费观看 | 久久丁香网| 蜜乳中文字| 色九月丁香婷婷蜜桃在线观看| 丁香5月婷婷| 天天透天天干| 久热91精品| 操人妻90p| 大香蕉婷婷| 思思热久久久久思思热| 欧美婷婷色五月网| 97欧美在线| 超碰在线成人| 婷婷久久综合| 天天日,天天射,天天舔| 婷丁香五月天| 99热精品在这里| 色久婷婷网| 99色免费观看全部| 五月丁香六月| 日韩在线视频中文字幕| 大香蕉520| 丁香五月天啪啪激情综和网| 69人人操人人爽| 激情深爱五月天| 这里只有国产精品在线| 久久婷婷色综合老司机| 激情av在线| 开心 五月 综合| 99久久偷拍视频| 精品人人操| 思思久久99热只有频精品66| 成人AV中文字幕| www99热| 另类小说色婷婷| 中文字幕在线资源| 国产伦亲子伦亲子视频观看| 五月丁香六月婷婷国产视频| 色碰干| 专区无日本视频高清8| 五月天色婷婷激情| 色色色激情| 天天操天天插天天射| 免费看欧美成人A片无码| 六月丁香综合999| 中文字幕丰满人妻无码专区| www久久久| 精品久久人妻| 天天爱天天做综合| 99久久99视频| 九九热内射| 婷婷天天色| 狠狠色综合网站久久久久| 5月丁香婷婷| www.色九月| 亚洲精品又粗又大又爽A片| 播五月开心婷婷欧美综合| 五月婷婷六月丁香激情综合网| 99超碰在线免费| 亚洲中文字幕av| www.色婷婷.com| 噜噜噜噜在线| 99综合| 久久99网址| 99久久欧美| 亚洲天堂99| 大香蕉精品视频| 99操逼| 五月激情开心婷婷| 国产欧美婷婷| 99亚洲视频| a性生活久久无| av亚洲国产小电影| 五月婷婷婷| 丁香六月婷婷色XXXXX| 亚洲婷婷激情888精品久| 色综合夜夜| 精品牛仔裤超碰| 狠狠99| 久久五月天丁香| 亚洲精品V天堂中文字幕| 激情五月天丁香| 97中文在线| 99热这里是精品| 99热久草| 99热这里只有精品1998| 免费的日逼视频| 5月婷婷综合| 99综合网| 色噜久| 色九月欧美| 天天干,天天操,天天射| www.金莲av| 欧美肉大捧一进一出免费视频| 天天爽人人综合免费7799| 天天 青草 丝袜制服 在线| 日日婷婷不卡| 六月丁香基地| www久久99| 在线成人网址| 另类伊人婷婷| 色五月综合| 99啪| 大香蕉天堂| 久re热视频| 国产资源在线视频| 91精品久| 国产超碰av| 97人人干。| 成人一区在线观看| 亚洲婷婷丁香五月| 色99欧洲色19| 六月丁香停| 六月婷婷久久| 丁香六月激情| 五月色婷婷影院| 中文字幕在线免费| 99丁香五月婷| 丁香伊人综合| 1995年关宝慧版蜘蛛女| 五月天亭亭俺也| 这里有精品| 五月婷婷色播| 色狠狠色噜噜AV天堂五区| 色五月婷婷网| 天堂美国久久| 激情丁香五月AV| 日韩色久| 日本人妻丁香婷婷久久寝取熟女五月| 天天爽,天天操。| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 久久婷婷五月天懂色| 久热只有这里有精品| 亚洲婷婷开心五月| 欧美国产一区二区三区| 成功精品影院| 日韩成人综合网| 日产精品一线二线三线芒果| 青青草青青草五月天| 七七色色综合| 日本久久99| 激情五月天啪啪| 综合激情五月天六月婷免费视频| 美国十月色婷婷在线观看| 久/久精品99看9| 五月婷婷香蕉| 久久久五月婷婷| 天天插天天日天天爽| 色噜噜婷婷| 2017人人操| 嫩BBB搡BBBB榛BBBB| 一级韩国产精品毛| 欧美色狠婷久| 青青草蜜臀| 五月天伊人| 99精品偷自拍| 亚洲无码www| 五月丁香婷婷激情在线| 五月丁香中文| 激情五月天婷婷| 色婷婷五月成人网| 成人做爰A片免费看网站找不到了| 精品免费99| 久热九九| 97伦乱| 天天摸天天肏| 婷婷五月天亚洲丁香| 精品人妻伦一二三区久久| 色婷婷狠狠18yy| 大香蕉婷婷丁香视频在线| 九热视频这里只有精品| 色欧美影院| 欧美A A A A A| 亚洲综合字幕色色| 激情综合网之激情五月| 九九无码| 日韩av一区二区在线/日产精品久久久 | 99视频这里只有久久精品| 欧美激情五月天婷婷| 久色激情| 亚洲国产精品VA在线看黑人| 婷婷丁香综合色AV| 激情合网婷婷| 久热伊人| 人妻aV在线| 五月成人网天天| 丁香五月伊人| 操逼综合网| 日韩无码人妻一区二区三区综合| www久久久| 天堂久久大香蕉| 丁香五月天色| 亚洲综合色色色| 99re在线免费视频| 99热99热| 久热九九| 色色网站免费在线视频| 超碰在线超碰| 嫩草视频。| 亚洲国产色婷婷| 91丨九色丨熟女丰满| 人妖色AV色综合| 99热这里只是精品| 极品另类| 色五月中文字幕| 凹凸探花电影| 99视频在线精品免费观看2| 五月丁香趴趴| 狠狠干无码| 丁香婷婷成年| 五月婷婷性爱| 婷婷丁香五月综合| www.婷婷,com| 伊人网啪啪| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 亚洲精品性色| 疯狂做受XXXX高潮A片| 久久黄A片| 九九色婷婷| www,超碰| 99视频在线观看网址| 色99在线看| 丁香婷婷激情五月天无毒不卡蜜桃|