欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Pytorch實(shí)現(xiàn)Transformer時(shí)間序列預(yù)測(cè):從單步到多步的完整指南

用Pytorch實(shí)現(xiàn)Transformer時(shí)間序列預(yù)測(cè):從單步到多步的完整指南 簡(jiǎn)介本資源是一套基于PyTorch實(shí)現(xiàn)的Transformer時(shí)間序列預(yù)測(cè)完整實(shí)驗(yàn)方案面向機(jī)器學(xué)習(xí)初學(xué)者與時(shí)間序列建模實(shí)踐者聚焦單步與多步預(yù)測(cè)兩大核心任務(wù)適用于氣象、能源、金融等領(lǐng)域的時(shí)序數(shù)據(jù)分析場(chǎng)景。壓縮包共10個(gè)文件3.21MB包含2個(gè)核心訓(xùn)練腳本transformer-singlestep.py與transformer-multistep.py、1個(gè)真實(shí)溫度數(shù)據(jù)集daily-min-temperatures.csv、1張預(yù)測(cè)效果可視化圖transformer-future200.png、1個(gè)動(dòng)態(tài)訓(xùn)練過程演示gifresult.gif、1份環(huán)境依賴說明requirements.txt及README文檔等結(jié)構(gòu)清晰、開箱即用。已有2909人學(xué)習(xí)下載所有代碼均經(jīng)實(shí)測(cè)可直接運(yùn)行附帶每日最低溫度數(shù)據(jù)上的100輪訓(xùn)練結(jié)果與多步預(yù)測(cè)對(duì)比分析便于讀者理解模型輸入構(gòu)造、位置編碼設(shè)計(jì)、掩碼機(jī)制應(yīng)用及輸出解碼邏輯是深入掌握Transformer在時(shí)序領(lǐng)域落地的優(yōu)質(zhì)實(shí)踐素材。 拿到一個(gè)時(shí)間序列預(yù)測(cè)需求時(shí)很多人第一反應(yīng)是先套LSTM。我一開始也是這么干的但項(xiàng)目數(shù)據(jù)拉長(zhǎng)到幾百個(gè)時(shí)間步后LSTM訓(xùn)練慢不說往后預(yù)測(cè)的曲線像一個(gè)被壓扁的彈簧越來越“平”。朋友建議試試Transformer我?guī)е鴮⑿艑⒁傻膽B(tài)度用Pytorch從零搭了一套單步和多步預(yù)測(cè)實(shí)驗(yàn)。沒想到的是模型把長(zhǎng)距離依賴抓得很穩(wěn)預(yù)測(cè)結(jié)果比LSTM明顯更貼合趨勢(shì)。這篇文章就是這次實(shí)驗(yàn)的記錄從為什么選Transformer、單步/多步怎么設(shè)計(jì)到Pytorch完整實(shí)現(xiàn)和踩坑實(shí)錄都會(huì)拆開講。適合已經(jīng)會(huì)上手Pytorch、但還沒用Transformer處理過時(shí)間序列的同學(xué)也適合做量化、銷量預(yù)測(cè)、設(shè)備監(jiān)測(cè)等場(chǎng)景的工程師參考。我會(huì)盡量把每個(gè)關(guān)鍵選擇背后的原因?qū)懬宄皇侵粊G代碼。1. 整體設(shè)計(jì)與思路拆解1.1 為什么用Transformer而不是LSTM在時(shí)間序列上做預(yù)測(cè)本質(zhì)上是在建模“過去的時(shí)間點(diǎn)如何影響未來”。LSTM和GRU的思路是遞歸地、逐步地把信息往后傳這種過程的優(yōu)點(diǎn)是參數(shù)少、可解釋性強(qiáng)但缺點(diǎn)也很明顯訓(xùn)練是串行的序列一長(zhǎng)梯度消失和長(zhǎng)期依賴丟失的問題就會(huì)顯現(xiàn)。Transformer的設(shè)計(jì)是直接計(jì)算序列中任意兩個(gè)位置之間的關(guān)聯(lián)度通過多頭注意力機(jī)制一次性看到全局信息。放在時(shí)間序列里這就意味著模型可以自己學(xué)會(huì)“第1個(gè)時(shí)間點(diǎn)對(duì)第50個(gè)時(shí)間點(diǎn)很重要”而不是像RNN那樣靠門控一路“背”過去。不過話說回來Transformer也不是沒有代價(jià)。它不像LSTM自帶順序概念必須靠位置編碼把順序信息硬塞進(jìn)輸入而且注意力矩陣的空間復(fù)雜度是O(n^2)窗口特別長(zhǎng)的時(shí)候會(huì)吃顯存。這決定了我們?cè)趯?shí)驗(yàn)里不能無腦堆窗口需要在數(shù)據(jù)長(zhǎng)度和模型容量之間做取舍。但總體上對(duì)于中等長(zhǎng)度幾十到幾百個(gè)時(shí)間點(diǎn)的時(shí)間序列Transformer的精度和訓(xùn)練效率都很有競(jìng)爭(zhēng)力。我在做實(shí)驗(yàn)對(duì)比時(shí)同一個(gè)數(shù)據(jù)切了兩份一份用兩層LSTM一份用兩層Transformer encoder。LSTM訓(xùn)練了接近200個(gè)epoch才收斂Transformer在100個(gè)epoch左右就已經(jīng)更好了尤其在后半段的預(yù)測(cè)曲線上Transformer更貼近原始趨勢(shì)。這其實(shí)不難理解時(shí)間序列里“之前一段時(shí)間的形態(tài)”往往比“最后一個(gè)點(diǎn)的值”更重要而注意力機(jī)制天生擅長(zhǎng)捕捉這種形態(tài)。1.2 單步預(yù)測(cè)和多步預(yù)測(cè)的差異單步預(yù)測(cè)是經(jīng)典的監(jiān)督學(xué)習(xí)任務(wù)輸入過去一段序列輸出下一個(gè)時(shí)間點(diǎn)的值。多步預(yù)測(cè)的難度要高一個(gè)檔次因?yàn)檩敵龅氖且粋€(gè)連續(xù)的未來區(qū)間不只是“下一個(gè)點(diǎn)”的精確值還要考慮未來多個(gè)點(diǎn)之間的疊加誤差。我在實(shí)驗(yàn)中分別實(shí)現(xiàn)了兩種多步方案這里先做一個(gè)直觀對(duì)比指標(biāo)直接多步遞歸多步實(shí)現(xiàn)復(fù)雜度輸出層維度設(shè)為horizon簡(jiǎn)單需要把預(yù)測(cè)值拼回輸入循環(huán)推理推理速度快一次forward得到K個(gè)點(diǎn)慢要連續(xù)forward K次誤差累積幾乎沒有因?yàn)镵個(gè)點(diǎn)同時(shí)輸出明顯越往后越偏訓(xùn)練難度需要同時(shí)擬合K個(gè)標(biāo)簽數(shù)據(jù)量小時(shí)難度大訓(xùn)練時(shí)仍是單步難度低適用場(chǎng)景horizon較大、訓(xùn)練數(shù)據(jù)充足小規(guī)??焖賹?shí)驗(yàn)、模型迭代期直接多步Direct Multi-stepTransformer輸出層的維度直接設(shè)為horizon長(zhǎng)度讓模型一次生成未來K個(gè)點(diǎn)。缺點(diǎn)是模型要同時(shí)擬合K個(gè)輸出訓(xùn)練難度高但推理快。遞歸多步Recursive Multi-step先用單步模型預(yù)測(cè)出下一個(gè)點(diǎn)再把這個(gè)預(yù)測(cè)值當(dāng)輸入滑進(jìn)窗口繼續(xù)預(yù)測(cè)下下個(gè)點(diǎn)。實(shí)現(xiàn)簡(jiǎn)單但誤差會(huì)隨著步數(shù)累積越往后越偏。還有一種Teacher Forcing的訓(xùn)練方式只在訓(xùn)練時(shí)用真實(shí)值替代預(yù)測(cè)值喂養(yǎng)模型推理時(shí)再用預(yù)測(cè)值這個(gè)后面在訓(xùn)練循環(huán)里會(huì)講。這兩個(gè)方案我都跑了也記錄了各自的loss曲線和誤差指標(biāo)。直接多步在horizon比較大時(shí)會(huì)比遞歸更穩(wěn)但前提是訓(xùn)練數(shù)據(jù)要充足遞歸多步在小樣本上更靈活適合快速迭代。建議你在自己的數(shù)據(jù)上都試試對(duì)比后再選。2. 核心細(xì)節(jié)解析與實(shí)操要點(diǎn)2.1 位置編碼不能省但不要照搬NLPTransformer本身沒有順序感。把序列順序打亂注意力算出來的結(jié)果是一模一樣的。所以位置編碼是Transformer做時(shí)序預(yù)測(cè)繞不開的基礎(chǔ)。NLP里常見的是正弦位置編碼把位置索引用sin/cos函數(shù)映射到embedding維度上。在時(shí)間序列里這個(gè)方式一樣能用但我測(cè)試下來直接把時(shí)間戳比如間隔、周幾、小時(shí)作為額外特征拼進(jìn)輸入效果往往更好尤其是數(shù)據(jù)有明顯周期性的場(chǎng)景。實(shí)用的做法是“加”而不是“拼”把正弦位置編碼加到輸入embedding上然后額外把標(biāo)準(zhǔn)化后的時(shí)間特征拼在輸入特征維度后面。這樣模型既能感知絕對(duì)位置也能感知周期性信息。代碼實(shí)現(xiàn)時(shí)位置編碼的維度要和d_model一致否則維度對(duì)不上沒法加。為什么要乘sqrt(d_model)這是Transformer原論文里的一個(gè)細(xì)節(jié)。輸入經(jīng)過embedding后數(shù)值范圍通常會(huì)比較小直接往上面加位置編碼位置信息很容易蓋過原始特征。乘上sqrt(d_model)相當(dāng)于把輸入embedding放大到和位置編碼一個(gè)量級(jí)讓兩者在相加時(shí)都能保留有效信息。我在實(shí)驗(yàn)里試過不乘這個(gè)系數(shù)訓(xùn)練loss收斂明顯變慢所以這個(gè)細(xì)節(jié)不建議省。2.2 數(shù)據(jù)預(yù)處理決定模型上限先講一個(gè)我踩過的坑一開始我直接用整個(gè)序列的均值和方差做歸一化訓(xùn)練loss很漂亮但測(cè)試特別差。后來才意識(shí)到這是把未來信息透漏給了訓(xùn)練過程也就是典型的數(shù)據(jù)泄漏。正確的做法是只在訓(xùn)練集上fit scaler再用同一套scaler去transform驗(yàn)證集和測(cè)試集?;瑒?dòng)窗口的構(gòu)造也值得細(xì)品。單步預(yù)測(cè)時(shí)每條樣本是[look_back, feature_dim]的輸入和[1]的標(biāo)簽多步預(yù)測(cè)時(shí)標(biāo)簽就變成[horizon]或者[horizon, feature_dim]。窗口長(zhǎng)度look_back一般取序列長(zhǎng)度的10%~20%不能太短也不能太長(zhǎng)。我常用look_back24或48來預(yù)測(cè)未來6~12個(gè)點(diǎn)效果比拍腦袋定的窗口好不少。另外如果數(shù)據(jù)有缺失不要用均值填充盡量用前向填充或插值避免引入錯(cuò)誤的局部趨勢(shì)。關(guān)于歸一化我一般用MinMaxScaler。它在數(shù)據(jù)有明顯上下界時(shí)非常穩(wěn)能讓模型更快收斂。StandardScaler也不是不行但對(duì)異常值更敏感。如果數(shù)據(jù)里有特別大的尖峰MinMax可能把正常值壓得太扁這時(shí)候可以先做一輪異常值截?cái)嘣儆谩2灰簧蟻砭桶阉袛?shù)據(jù)丟進(jìn)模型先畫圖看分布這個(gè)習(xí)慣能省掉后面很多麻煩。2.3 核心超參數(shù)怎么定才有得跑下面是這次實(shí)驗(yàn)里的核心超參數(shù)可以直接照抄參數(shù)數(shù)值說明d_model64輸入embedding和注意力投影的維度nhead4多頭注意力頭數(shù)需能被d_model整除num_encoder_layers2標(biāo)準(zhǔn)Transformer里encoder層數(shù)我用了2層dim_feedforward256前饋網(wǎng)絡(luò)隱藏層維度dropout0.1防止過擬合batch_size64顯存不大就調(diào)小建議32~128learning_rate1e-3初始學(xué)習(xí)率配合cosine調(diào)度epochs100早停耐心值建議設(shè)20注意nhead一定要能整除d_model否則Pytorch會(huì)直接報(bào)錯(cuò)。層數(shù)不是越多越好我試過4層在數(shù)據(jù)量不大的情況下反而更容易過擬合。學(xué)習(xí)率建議用AdamW 余弦退火Transformer對(duì)學(xué)習(xí)率比LSTM敏感固定學(xué)習(xí)率容易震蕩。dim_feedforward我習(xí)慣設(shè)成d_model的4倍左右太大參數(shù)量漲得快太小表達(dá)能力受限。還有一個(gè)常被忽略的參數(shù)是dropout。時(shí)間序列訓(xùn)練數(shù)據(jù)一般不會(huì)特別大dropout設(shè)太小容易過擬合設(shè)太大又可能欠擬合。0.1到0.2之間是個(gè)安全區(qū)間。如果你的數(shù)據(jù)量超過十幾萬條可以把dropout降到0.05加快收斂。3. 實(shí)操過程與核心環(huán)節(jié)實(shí)現(xiàn)3.1 環(huán)境搭建與項(xiàng)目結(jié)構(gòu)動(dòng)手前先把環(huán)境理順。我習(xí)慣用conda建一個(gè)獨(dú)立環(huán)境避免跟其他項(xiàng)目打架。conda create -n ts_transformer python3.9 -y conda activate ts_transformer pip install torch2.1.2 --index-url https://download.pytorch.org/whl/cu118 pip install numpy pandas matplotlib scikit-learn如果你用的是GPU機(jī)器裝完后第一時(shí)間檢查一下CUDA是否可用python -c import torch; print(torch.cuda.is_available(), torch.cuda.device_count())輸出“True 1”就說明Pytorch能用GPU了。如果輸出False不是驅(qū)動(dòng)問題就是Pytorch版本沒選對(duì)。我還在Jetson等嵌入式設(shè)備上裝過那又得單獨(dú)挑適配版本不建議新手一上來就碰。項(xiàng)目目錄我習(xí)慣這樣組織time_series_transformer/ ├── data.csv # 原始數(shù)據(jù) ├── dataset.py # 數(shù)據(jù)集與預(yù)處理工具 ├── model.py # Transformer模型定義 ├── train.py # 單步/多步訓(xùn)練腳本 ├── evaluate.py # 評(píng)估與可視化 └── requirements.txt這個(gè)結(jié)構(gòu)看著簡(jiǎn)單但足夠用。實(shí)驗(yàn)迭代時(shí)最怕把所有代碼堆在一個(gè)文件里改一個(gè)地方牽一發(fā)動(dòng)全身。把數(shù)據(jù)、模型、訓(xùn)練、評(píng)估拆開后面換數(shù)據(jù)集或者換模型會(huì)輕松很多。3.2 數(shù)據(jù)準(zhǔn)備與Dataset類為了把實(shí)驗(yàn)說透我用了一段周期信號(hào)疊加噪聲的數(shù)據(jù)模擬傳感器讀數(shù)或者銷量曲線。你也可以換成自己的csv只要確保日期列按時(shí)間升序排列。import numpy as np import pandas as pd from torch.utils.data import Dataset, DataLoader # 生成示例數(shù)據(jù)正弦 線性趨勢(shì) 噪聲 np.random.seed(42) t np.arange(0, 1200) signal 10 * np.sin(2 * np.pi * t / 50) salary t * 0.01 noise np.random.normal(0, 1, sizet.shape) data signal salary noise注意這個(gè)數(shù)據(jù)只是示例真正項(xiàng)目里數(shù)據(jù)要復(fù)雜得多但處理和建模邏輯是一樣的。這里我故意加了一個(gè)單調(diào)趨勢(shì)是想看Transformer能不能在趨勢(shì)和周期并存時(shí)學(xué)出結(jié)構(gòu)。接下來是滑動(dòng)窗口。我寫了一個(gè)繼承Dataset的類輸入是[look_back, feature_dim]序列標(biāo)簽是未來horizon個(gè)點(diǎn)。class TimeSeriesDataset(Dataset): def __init__(self, data, look_back24, horizon6, step1): self.x, self.y [], [] for i in range(0, len(data) - look_back - horizon 1, step): x data[i:i look_back] y data[i look_back:i look_back horizon] self.x.append(x) self.y.append(y) self.x np.array(self.x, dtypenp.float32) self.y np.array(self.y, dtypenp.float32) def __len__(self): return len(self.x) def __getitem__(self, idx): return self.x[idx], self.y[idx]需要注意這里的data是一維數(shù)組所以我構(gòu)建x時(shí)每個(gè)時(shí)間點(diǎn)只有1個(gè)特征。如果有多維特征沿著最后一個(gè)維度拼接即可上一節(jié)的“拼時(shí)間戳”也是在這里做。構(gòu)造好的樣本可以用DataLoader加載look_back, horizon 24, 6 dataset TimeSeriesDataset(data, look_back, horizon) # 按時(shí)間順序切分 train_size int(0.7 * len(dataset)) val_size int(0.15 * len(dataset)) test_size len(dataset) - train_size - val_size train_data, val_data, test_data torch.utils.data.random_split( dataset, [train_size, val_size, test_size], generatortorch.Generator().manual_seed(42) )這里要特別提醒random_split會(huì)在內(nèi)部做隨機(jī)打亂但因?yàn)槲覀儤?gòu)造樣本時(shí)本身就是按時(shí)間順序滑動(dòng)窗口生成的可能不太合適。更穩(wěn)妥的做法是直接按索引切分不調(diào)用random_split具體看你自己需求。如果是嚴(yán)格的時(shí)序預(yù)測(cè)建議手動(dòng)切片保證訓(xùn)練集在時(shí)間上完全早于驗(yàn)證集和測(cè)試集。3.3 Transformer模型核心實(shí)現(xiàn)標(biāo)準(zhǔn)Transformer結(jié)構(gòu)里包含Encoder和Decoder。但時(shí)間序列預(yù)測(cè)不一定需要Decoder尤其是單步預(yù)測(cè)和直接多步預(yù)測(cè)用Encoder堆疊后接一個(gè)全連接輸出層就能取得不錯(cuò)的效果。我在實(shí)驗(yàn)中選的是Encoder-only方案結(jié)構(gòu)更輕訓(xùn)練更快。如果想做遞歸多步同樣可以復(fù)用這個(gè)Encoder只是在推理時(shí)多繞幾圈。下面是完整的模型定義位置編碼和Encoder主體都放進(jìn)去。import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, dropout0.1, max_len5000): super().__init__() self.dropout nn.Dropout(pdropout) pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) self.register_buffer(pe, pe) def forward(self, x): x x self.pe[:, :x.size(1), :] return self.dropout(x) class TimeSeriesTransformer(nn.Module): def __init__(self, feature_dim1, d_model64, nhead4, num_layers2, dropout0.1): super().__init__() self.d_model d_model self.input_proj nn.Linear(feature_dim, d_model) self.pos_encoder PositionalEncoding(d_model, dropout) encoder_layer nn.TransformerEncoderLayer( d_modeld_model, nheadnhead, dim_feedforward256, dropoutdropout, batch_firstTrue, ) self.transformer_encoder nn.TransformerEncoder(encoder_layer, num_layersnum_layers) def forward(self, x): # x: [batch, seq_len, feature_dim] x self.input_proj(x) * math.sqrt(self.d_model) x self.pos_encoder(x) x self.transformer_encoder(x) return x在單步任務(wù)里輸出層可以只取編碼序列的最后一幀再接一個(gè)Linear。在多步任務(wù)里要么對(duì)最后一幀輸出horizon維要么把整個(gè)編碼序列壓平再接全連接。后者參數(shù)量大一般用前者class SingleStepHead(nn.Module): def __init__(self, d_model): super().__init__() self.fc nn.Linear(d_model, 1) def forward(self, enc_output): return self.fc(enc_output[:, -1, :]) # 取最后一個(gè)位置的編碼 class MultiStepHead(nn.Module): def __init__(self, d_model, horizon): super().__init__() self.fc nn.Linear(d_model, horizon) def forward(self, enc_output): return self.fc(enc_output[:, -1, :])為什么取“最后一個(gè)位置的編碼”而不是所有位置的編碼因?yàn)門ransformerEncoder每一層都會(huì)做全局注意力也就是說每個(gè)位置的輸出都已經(jīng)包含了對(duì)整個(gè)序列的“總結(jié)”。最后一個(gè)位置在時(shí)間上離預(yù)測(cè)目標(biāo)最近拿它做輸出頭的信息瓶頸最合適。如果要保留更多細(xì)節(jié)也可以把最后幾幀拼起來但代價(jià)是參數(shù)量增加收益不一定明顯。3.4 單步預(yù)測(cè)訓(xùn)練流程訓(xùn)練循環(huán)本身不復(fù)雜但有幾個(gè)地方我會(huì)特別注意。第一個(gè)是loss單步用MSE這是回歸任務(wù)的標(biāo)配。第二個(gè)是優(yōu)化器AdamW配合余弦退火幾乎是當(dāng)前Transformer訓(xùn)練的標(biāo)準(zhǔn)配置比單純用Adam穩(wěn)定。def train_model(model, train_loader, val_loader, epochs50, lr1e-3): device cuda if torch.cuda.is_available() else cpu model model.to(device) criterion nn.MSELoss() optimizer torch.optim.AdamW(model.parameters(), lrlr) scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) for epoch in range(epochs): model.train() train_loss 0.0 for x, y in train_loader: x, y x.to(device), y.to(device) optimizer.zero_grad() enc_out model(x) pred model.output_head(enc_out) loss criterion(pred, y) loss.backward() optimizer.step() train_loss loss.item() scheduler.step() val_loss evaluate(model, val_loader, criterion, device) if (epoch 1) % 10 0: print(fEpoch {epoch1}, Train Loss: {train_loss/len(train_loader):.6f}, Val Loss: {val_loss:.6f}) return model寫這段代碼時(shí)要注意model.output_head是我們?cè)谕獠繏焐先サ?。一個(gè)更方便的做法是在TimeSeriesTransformer里增加一個(gè)head_type參數(shù)直接在構(gòu)造函數(shù)里決定使用單步頭還是多步頭這樣訓(xùn)練代碼可以共用。訓(xùn)練時(shí)如果loss長(zhǎng)時(shí)間不下降先查兩件事學(xué)習(xí)率是不是太大數(shù)據(jù)有沒有標(biāo)準(zhǔn)化。絕大多數(shù)奇怪現(xiàn)象都出在這兩處。3.5 多步預(yù)測(cè)實(shí)現(xiàn)方式直接多步訓(xùn)練起來和單步幾乎一樣只是y的維度從1變成horizon輸出頭換成MultiStepHeadloss仍然用MSE。推理的時(shí)候一次拿到的就是未來horizon個(gè)點(diǎn)非常直接。遞歸多步需要額外寫一個(gè)推理函數(shù)把模型預(yù)測(cè)出的下一個(gè)值拼到輸入序列尾部同時(shí)丟掉最前面的點(diǎn)讓窗口“滑”起來。def recursive_forecast(model, history, steps, devicecpu): # history: [look_back, feature_dim] model.eval() history torch.tensor(history, dtypetorch.float32).unsqueeze(0).to(device) preds [] with torch.no_grad(): for _ in range(steps): enc_out model(history) pred model.output_head(enc_out) # [1, 1] preds.append(pred.item()) pred pred.unsqueeze(-1) # [1, 1, 1] history torch.cat([history[:, 1:, :], pred], dim1) return preds這個(gè)思路很直觀但坑也在這輸入用的預(yù)測(cè)值本身就是不準(zhǔn)的誤差會(huì)隨著步數(shù)增多不斷放大。我實(shí)測(cè)下來horizon6時(shí)還能看horizon24時(shí)后面基本變成一條平滑直線。緩解誤差累積有幾個(gè)實(shí)用技巧訓(xùn)練時(shí)用Teacher Forcing即以一定概率用真實(shí)值替代預(yù)測(cè)值去喂下一步讓模型適應(yīng)自己的預(yù)測(cè)對(duì)輸出做clip限制預(yù)測(cè)值的合理范圍避免極端值把窗口帶偏推理階段用確定性策略比如取中位數(shù)而不是單次路徑。3.6 評(píng)估與可視化評(píng)估指標(biāo)我用三個(gè)MAE、RMSE和R2。MAE好解釋RMSE對(duì)大誤差更敏感R2則能反應(yīng)模型對(duì)真實(shí)趨勢(shì)的擬合程度。from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score def evaluate_metrics(y_true, y_pred): mae mean_absolute_error(y_true, y_pred) rmse mean_squared_error(y_true, y_pred, squaredFalse) r2 r2_score(y_true, y_pred) return {MAE: mae, RMSE: rmse, R2: r2}畫圖建議用matplotlib把測(cè)試集真實(shí)值和預(yù)測(cè)值畫在同一張圖里。多步預(yù)測(cè)時(shí)我會(huì)把每個(gè)預(yù)測(cè)窗口的起點(diǎn)和終點(diǎn)連起來畫成階梯狀能更清楚地看到誤差累積發(fā)生在哪個(gè)階段。import matplotlib.pyplot as plt plt.figure(figsize(12, 5)) plt.plot(y_true, labelTrue) plt.plot(y_pred, labelPred) plt.legend() plt.title(Time Series Prediction) plt.show()這張圖是判斷模型有沒有“學(xué)到東西”的最快方式。如果pred和true的相位都對(duì)不上先檢查窗口長(zhǎng)度是否合理如果趨勢(shì)對(duì)但局部抖動(dòng)不對(duì)考慮加更多特征或調(diào)d_model。4. 常見問題與排查技巧實(shí)錄4.1 數(shù)據(jù)泄漏最隱蔽也最致命數(shù)據(jù)泄漏是時(shí)間序列預(yù)測(cè)里出現(xiàn)頻率最高的“幽靈問題”。除了歸一化泄漏還有一種是數(shù)據(jù)集劃分時(shí)不注意時(shí)間順序把未來樣本混進(jìn)訓(xùn)練集結(jié)果模型在測(cè)試集上表現(xiàn)“超神”一到線上就崩。處理辦法是嚴(yán)格按時(shí)間順序劃分且在構(gòu)造滑動(dòng)窗口時(shí)讓訓(xùn)練集只使用該時(shí)間點(diǎn)之前的數(shù)據(jù)。另外如果數(shù)據(jù)來自多個(gè)實(shí)體比如多個(gè)城市或設(shè)備的序列不能把它們混在一起打亂劃分應(yīng)該按實(shí)體分組切分否則也會(huì)出現(xiàn)實(shí)體級(jí)別的泄漏。我自己的判斷標(biāo)準(zhǔn)很簡(jiǎn)單如果訓(xùn)練集和測(cè)試集的MAE差距小得離譜或者測(cè)試集比訓(xùn)練集還好那大概率是泄漏了。正常情況訓(xùn)練誤差應(yīng)該略低于測(cè)試誤差這個(gè)經(jīng)驗(yàn)雖然不絕對(duì)但能幫你快速發(fā)現(xiàn)問題。4.2 訓(xùn)練Loss不降或變成NaN我遇到過一次Loss變成NaN的情況查了半天發(fā)現(xiàn)是沒有對(duì)輸入數(shù)據(jù)做歸一化數(shù)值稍微大一點(diǎn)經(jīng)過多頭注意力里的softmax后就爆炸了。解決方法是先把數(shù)據(jù)縮放到[0, 1]或標(biāo)準(zhǔn)化到均值0方差1再開始訓(xùn)練。如果標(biāo)準(zhǔn)化后還是NaN檢查一下學(xué)習(xí)率Transformer的訓(xùn)練不太吃固定的大學(xué)習(xí)率建議從1e-4或者3e-4開始試。還有一種可能是位置編碼的max_len不夠序列長(zhǎng)度超過上限導(dǎo)致pe切片出問題這種一般會(huì)直接報(bào)IndexError不太會(huì)靜默NaN。另外一個(gè)容易忽視的點(diǎn)是batch_first。Pytorch的TransformerEncoderLayer默認(rèn)batch_firstFalse如果輸入維度是[batch, seq_len, feature]必須顯式設(shè)置batch_firstTrue否則會(huì)對(duì)seq_len維度做batch維處理雖然不報(bào)錯(cuò)但結(jié)果完全不對(duì)。這種錯(cuò)誤很難排查因?yàn)樗憩F(xiàn)成loss一直在下降但驗(yàn)證曲線不對(duì)勁。4.3 多步預(yù)測(cè)后期曲線“平”了多步預(yù)測(cè)的誤差累積問題前面提過這是所有遞歸式預(yù)測(cè)的通病。處理思路有兩個(gè)方向一是把模型換成直接多步輸出一次性預(yù)測(cè)完整未來區(qū)間從根源上避免遞歸累積二是引入機(jī)器學(xué)習(xí)里的魯棒性技巧比如訓(xùn)練時(shí)對(duì)輸入加小噪聲、預(yù)測(cè)時(shí)對(duì)輸出做平滑。我自己的經(jīng)驗(yàn)是如果horizon不超過10遞歸多步能省顯存且效果不差如果horizon到了24以上直接多步會(huì)更穩(wěn)定。建議在實(shí)驗(yàn)設(shè)置里同時(shí)保留這兩種模式用驗(yàn)證集決定到底用哪個(gè)。有時(shí)“曲線平了”也不全是誤差累積的問題可能是數(shù)據(jù)本身的信噪比太低。我畫過頻譜圖之后發(fā)現(xiàn)數(shù)據(jù)里真正可預(yù)測(cè)的成分只占很小一部分模型很容易傾向于輸出均值附近的值。這時(shí)候考慮對(duì)數(shù)據(jù)做差分或季節(jié)分解把趨勢(shì)和周期拆開建模再對(duì)殘差做預(yù)測(cè)。4.4 顯存和訓(xùn)練速度問題注意力矩陣的大小是平方級(jí)增長(zhǎng)的窗口長(zhǎng)度從24改成96顯存占用可能直接翻好幾倍。如果顯存不夠優(yōu)先調(diào)小batch_size或者用梯度累積gradient accumulation模擬更大的batch。Pytorch的自動(dòng)混合精度AMP也值得開torch.cuda.amp里封裝得已經(jīng)很成熟能省不少顯存還能加速訓(xùn)練。下面是一個(gè)簡(jiǎn)化的混合精度訓(xùn)練片段scaler torch.cuda.amp.GradScaler() for x, y in train_loader: optimizer.zero_grad() with torch.cuda.amp.autocast(): pred model(x) loss criterion(pred, y) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()AMP在NVIDIA GPU上用Pytorch 2.x已經(jīng)非常穩(wěn)定CPU上不用開。還有一個(gè)建議盡量用batch_firstTrue的TransformerEncoderLayerPytorch默認(rèn)是False如果搞錯(cuò)了維度雖然報(bào)錯(cuò)你會(huì)知道但排查起來很煩。4.5 長(zhǎng)序列窗口的改進(jìn)空間標(biāo)準(zhǔn)Transformer處理幾百甚至上千的時(shí)間步時(shí)顯存和效率都會(huì)遇到瓶頸。我這次實(shí)驗(yàn)主要用的是中等長(zhǎng)度窗口但如果你遇到超長(zhǎng)序列建議看看Transformer的改進(jìn)變體比如Informer的稀疏注意力、Autoformer的分解機(jī)制、PatchTST把時(shí)間序列切成patch再編碼。這些都在標(biāo)準(zhǔn)Transformer的思路上做了針對(duì)性優(yōu)化很適合高頻金融數(shù)據(jù)、長(zhǎng)時(shí)間傳感器監(jiān)測(cè)這類場(chǎng)景。我后續(xù)也在計(jì)劃把PatchTST并進(jìn)這套實(shí)驗(yàn)框架里做對(duì)比。另外提醒一句模型調(diào)參不是全部。數(shù)據(jù)質(zhì)量、特征工程、異常值處理對(duì)最終預(yù)測(cè)效果的影響往往比換模型更明顯。我在做這套實(shí)驗(yàn)時(shí)花了將近一半時(shí)間在清洗和構(gòu)建特征上模型本身雖然重要但絕不是唯一變量。做完整套單步、多步實(shí)驗(yàn)后我最深的體會(huì)是Transformer不是一個(gè)“萬能開關(guān)”它適合的是長(zhǎng)依賴和多變量交互明顯的時(shí)間序列。在這套實(shí)驗(yàn)中我用Pytorch從數(shù)據(jù)預(yù)處理、模型搭建到評(píng)估可視化完整走了一遍也踩了不少坑。如果你正打算在自己的數(shù)據(jù)上復(fù)現(xiàn)建議先把數(shù)據(jù)好好看一眼再按文中的代碼結(jié)構(gòu)一點(diǎn)點(diǎn)搭別急著直接套大模型。先把單步跑通再多步最后再回頭調(diào)超參這樣每一步都能定位到問題。希望這篇記錄能幫你少走點(diǎn)彎路。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
荡乳尤物3HP1V5| 日韩精品无码AV| 日本狠狠爽| 色九月| 99丁香五月婷婷在线| 丁香五月综合网亚洲综合欧美狠狠 | 涩婷婷视频快播人妻| 久久亚洲婷婷综合色五月| 性综合网| 综合性视频99| 亚洲天堂色| 婷婷五月AV| 久久婷婷网址| 五月婷啪啪| 丁香玖玖| 99久在线精品99re8热| 欧美激情五月天婷婷| 五月婷视频| 亚洲无码黄色| 色噜噜狠狠色综合日日| 99成人精品六| #NAME?| 狠狠摸狠狠摸| 久久五月天视频| 天天肏视频| 99er日韩| 日韩三级高清无码| AV在线观看网站| 五月婷在线影院| 五月成人综合| 精品人人操| 亚洲无码色色| 五月婷色激情五月| 伊人久久五月天| AA丁香综合激情| 国产色丁香| 日日夜夜干| 超碰狠狠色| 日韩AV中文字幕在线| 久久WW| 大香蕉久久伊人婷婷五月丁香| 日本99热| 五月婷婷自拍| 五月婷俺去也| 亚洲区在线| 久久久噜噜噜久久人妻| 丁香五月婷婷久久久| 熟女少妇内射日韩亚洲| 可以免费观看的AV| 婷婷另类开心| 九九人人精品| 色九九中文字幕| 五月婷婷激情日本| 深爱婷婷色| 区啪精品| 免费看欧美成人A片无码| 五月丁香啪啪伦理电影| 深爱五月综合网| 五月停视频天堂| 亚洲日日操| 国产AV不卡福利| 亚洲六月婷婷| se99视频| 区区久久妻| 亚洲欧美成人在线| 五月天婷婷色色网| 五月的婷婷六月丁香| 久热9热| 久久婷婷伊人| 五月天六月色| 精品怡红九九九| 日本色色网站| 亚洲一二三网| 疯狂做受XXXX高潮A片动画| 五月激情婷婷六月| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 久久婷婷激情| 91av传媒高清在线视频网| 玖玖热视频| 激情另类综合| 99热这里| 日本人人草草| 色婷婷aV四虎| 中文字幕丰满孑伦无码专区| 五月久久婷婷| 丁香五月开心五月激情| 思思99re这里只有| 色99亚洲| 精品五月视频婷婷在线观看| 欧美操综合| 精品一二三区久久AAA片| 九九热这里| 第二色AⅤ| 免费人人操| 婷婷九月| 五月天亭亭俺也| 婷五月丁香| 91九色中文字幕女在线观看| 激情丁香五月| 日韩av高清| 亚洲激情网| 少妇性按摩无码中文A片| 色五月开心开心五月激情五月| 色人久夂| 激情五月瑟瑟| 精品久9| 另类在线| 婷婷色在线| 91久久电影| 天天做天天爱天天玩夜夜爽| 五月丁香六月激情综合在线| 草美女在线观看视频在线播放| 综合久久五月天| www.1024久久| 92久操视频| 色婷插| 成人国产欧美大片一区| 8090在线影视少妇| 成人做爰高潮A片免费视频| 五月天激情影院| 婷婷激情图片| 天天干一干| 亚洲久热无码| 激情综合激情五月| 欧美性丁香色色五月天| 亚洲第一色色色色| 五月丁香 久久久| 日本99视频| 影音先锋偷偷色男人站| 天天综合色丁香| 中文字幕天天干| 9l久久久视频| 色婷婷最新域名 | 色综合网上班开心婷婷久久| 欧美极品999| 9月色婷婷| 玖玖综合色区在线观看| 禁片二区| 玖玖婷婷婷丁香五月| 丰满少妇猛烈A片免费看观看| 久久538| 亚洲黄色影视| 五月丁香色六月激情干大屄| 激情綜合網址| 五月婷综合| 婷婷婷婷色| 五月婷婷丁香在线| 99国产精品白浆在线观看免费| 五月婷色| 大香蕉婷婷婷| 综合日本婷婷| 婷婷丁香成人| 97av在线视频| 天天爱天天做天天日| 99精品热| 91dy.av| 国产精品一区在线观看你懂的| 91超级碰碰碰| 日日爽夜夜爽| 91大操| 丁香五月婷婷欧美成人色图| 婷婷五月天大香蕉在线视频观看| 岛国午夜视频| 欧美激情综合| 26UUU精品一区二区c〇m| 六月天六月婷| 欧美成人性爱网| 伊人色综合网| 99色热| 免费无码毛片一区二区A片| 丁香五月婷婷国产av| 91麻豆国产三级精品福利在线观看| 操人妻AV| 欧美色图天堂网色| 第四色婷婷日本| 婷婷五月天777| 婷婷丁香激情| 婷婷 伊人 久久| 综合色图区| 五月婷丁香| 久久婷婷五月天激情新地址| 九九99热| 亚洲性受XXXX五月丁香| 洗浴中心操B视频| 涩涩五月天| 综合五月婷婷| 婷婷五月在线影院| 91操片| 丁香色六月| 青草久久五月婷伊人| 婷婷激情五月天色| 狠狠xx| 欧美99热| 在线中文AV| 91精品视频男人的天堂| 丁香六月婷婷综合色| 久久久久久久久18久久| 色吊丝永久访问网址| 丁香五月天激情网址| 色色色.com| 影音先锋天天日| 五月天综合在线| 六月丁香五月婷婷| 视频一二区| 影音先锋xfplay资源男人网| 99热免费| 最近免费中文字幕大全高清大全1| 婷婷五月天丁香久久| 另类专区在线| 天天综合中文| 亚洲精品又粗又大又爽A片 | 九九热欧美| 99在线观看视频精品| 婷婷中文字暮| 国产色网站| 欧美 日韩 人妻 高清 中文| 手机旧版看人妻1025| 激情婷婷亚洲五月| 久久综合99| 精品国婬伦V无码久久久| 九九碰九九爱97超碰| 亚洲综合网激情五月天| 色吧五月| 午夜激情四射影院| 久久美女五月天| 亚洲五月天激情| 久久婷网| 丁香五月电影| 激情亚洲网| 欧美激情综合色综合啪啪五月| 激情婷婷护士激情| 清色五月天| 亚洲旡码| 久久日曰| 久久久久人妻精选| 婷婷五月久久| 婷婷五月天伊人网| 91热视频色网站| 五月天五月婷五月激情网| 欧美内射AA| 夜夜穞天天穞狠狠穞AV美女按摩| 久久激情五月网| 丁香五月婷婷激情视频播放| 嫩草AV久久伊人妇女超级A| 国内在线99视频| 五月丁香久久呀| 97干网站| 婷婷情色五月天| 狠狠插日日干撸| AA片在线观看视频在线播放| www.99热视频在线观看| 久久综合爱| 毛v一区二区视频| 精品久久久久久久久久久久人妻| 色色色综合网| 综合97五月| 秋霞A V毛片| 4399精品一区二区| 色综合久久88色综合天天| 26uuu日韩| 丁香花五月天社区| 婷婷情色激情| 六月婷婷毛片| 国产精品久久久60086| 99热精品免费| 五月色导航| 激情五月婷| 婷婷五月天黄色| 综合99久久| 色婷婷丁香社综合| 激情av在线| 色情婷婷久久五月天| 婷婷精品在线| 亚洲精品V天堂中文字幕| 国内婷婷丁香社区在线播放| www.久久久久| 99精品视频在线| 欧美性生交XXXXX无码小说| 日本久久婷| 玖玖玖婷婷婷| 五月天婷婷免费视频| 日韩AV中文字幕在线| 99热这里只有精品最新网址| 香港九九六区八区99| 丁香五月在线观看完整版| 亚洲三级无码| 天天操天天日天天爽| 久久全意婷婷| 五月丁香欧美在线| 日韩啪啪自拍| 综合噜噜| www九月婷婷| 欧美黄色AA片哗啦啦啦| 日本综合99| 五月综合激情综合久| 婷婷久久大香蕉| 丁香五月婷婷婷婷欧美综合| 五月丁香久久综合| 丁香五月婷婷天| www.com久久久久久久久久久久久久久久久| 五月丁综合在线观看| 玖玖精品视频| 五月天另类小说久久小说网| 婷婷五月天激情综合深爱激情 | 热99视频精品| 五月综合777| 激情五月深爱五月| www.91.com处女在线直播| 婷婷五月天久久| 丁香五月AV| 人人操人人看97干| 任你搞网站| 日韩三级高清无码| 中文字幕不卡视频| 99热免费精品| 亚洲一个色| 狠狠色色| 五月天婷婷网站| 国产精品第一国产精品| 白人荫道BBWBBB大荫道| 色色五月婷婷狠狠| 潮汕成人AV片在线| 9热在线观看| 婷婷国产五月天17c| 婷婷五月天亚洲综合网| 丁香深五月婷婷| 免费观看高清无码| 丁香婷婷五月激情| 婷婷五月综合在线| 色七色九九| 热久久99视频| 婷婷开心久久| 五月丁香六月成人| 久久99精品视频| 狠狠狠狠狠狠| 97丁香视频| 丁香五月人妻| 日韩人妻无码一区二区| 人人色婷婷五月天| 开心五月天激情网站| 拳交大逼| 91九色视频| 97干在线视频| 色综合9| 婷婷成人av| 色婷av| 99九九精品| 婷婷五月欧美综合| 99re6久热只有精品6在线直播| 久久99热这里只频精品6学生| 国产婷婷综合| 97色婷婷| 99久精品视频| 激情五月天婷婷久久久久久久久久久| 伍月婷丁香花全集| 成人av在线网站| www五月| 91久女| 日本精品干| 色色五月丁香| 婷婷五月美女直播| 日日噜噜夜夜狠狠久久丁香五月| 99在线视频观看| 久久亚洲无码| 夜夜骑日日夜夜| 狠狠干天天日| 精品欧美性爱超级爽| www.久9| www色婷婷久久综合久色| 人人视频色| 91婷婷搞| 超碰色碰碰| 欧美色色色色色| 五月色婷婷影视在线电影| 色五月婷婷五月丁香五月| 99日本黄站| 天堂成人A片永久免费网站| 亚洲无码www| 久久视频这里都是精品| 亚洲天堂爱爱| 欧美123区免| 狠狠色狠狠干| 日本三级日本三级三级人妇四虎| 区区欧美你爱| 日本婷婷五月天| 久草 tingting| 五月丁香婷婷网网网网| www夜夜操comwww| 色色日本| 国产精品色婷婷99久久精品| 99re这里只有精品在线观看| 26uuu国产| www.五月天色色色| 久久人妻久久| 91久热| 久久色五月天| 久久久久丁香婷婷五月天| 开心五月激情网| 碰99在线| 丁香激情六月天婷婷| 九九色影院| 丁香花五月天婷婷成人社区| 丁香五月成人论坛| 天天日综合| 大香蕉在九| 色婷婷狠狠| 丁香五月婷婷亚洲色图| 996黄色片| 色播五月丁香综合| 国产FREESEXVIDEOS性中国| 激情五月综合网| 成人短视频在线免费观看| 激情综合五月| a网站免费观看| 荷兰av一级| 色综合网页| 久久五月天激情视频| 99精品网| 男女99免费视频| EEUSS鲁片一区二区三区| 久久桃花网色婷婷| 亚洲、热| 午夜在线成人网站免费观看| 久99热| 超碰熟女农村在线69| 久热这里精品免费| 婷婷久综合| 天天舔天天摸天天射| 欧美激情综合| 亚洲中文丁香| 亚洲婷婷五月天| 伊九九三级区| 99久久99久久综合| 5月色亭亭视频| 女人高潮内射99精品| 五月丁香六月婷婷,婷| 久久女婷| 久久这里只有精品07 | 色色精品色| 色色色综合色| 五月婷婷天天色| 午夜69成人做爰视频| 激情婷婷丁香五月天小说| 色色色色网站| 九九综合精品| 精品无码久久久久久久久| 这里只有精品热| AA片在线观看视频在线播放| 日韩人妻操逼视频| 五月丁香综合中文| 91久久99久久91熟女精品| 久久婷.com| 性五月激情| 五月天偷拍| 狠狠操狠狠爱| 思思re最新视频| 五月婷婷狠狠干| 五月色情婷婷| 久久婷婷激情| 色播五月丁香综合| www.99riav99| 五夜丁香| 91vip在线观看| 五月丁香六月色| 色八月婷婷| 国产XXXX搡XXXXX搡麻豆| 天天操,天天插| 99久久色| 婷婷综合| 亚洲免费99| 九热视频精品| 亚洲午夜av| 色色亚卅| 久久 婷婷 五月天| AA片在线观看视频在线播放| 蜘蛛女侠2003满天星免费观看| 久久与婷婷| 五月天成人免费视频| 婷婷五月婷婷五月天| 久久9热综合| 久久99久久久久久| 思思热再线视频| 综合狠狠干| 婷婷激情四射| 深爱激情网五月天| 99色中文| 热99色| 日本久久性| 99久久国产宗和精品1上映| 欧美性爱专区| 九九在线精点品| 婷婷五月六月激情| 无码人妻电影| 久久综合最新网址| 五月天.com| 国色天香伊人狠狠色| 九热视频在线精品15| 91艹人| 久久人五月| 五月丁香六月激情综合| 五月亭亭狠狠| 激情婷婷另类| 狠狠搞五月天| 激情婷婷九月| 久热A片| 91人妻PORNY九色大屁股| 小视频一区| 丁香色婷婷| av网站免费在线| 九九激情综合| 精品久久99码| 中国AV性爱观看| 丁香婷婷色情| 色色色色色日韩午夜激情| 这里只有精品视频| www.91在线观看| 激情婷婷网| 久久五月天综合视频网站| 啪啪啪大香蕉| 在线免费视频caop| 亚洲成人影视在线观看| 7777久久亚洲中文字幕| 图片区 小说区 区 亚洲五月| 色婷婷五月在线| 丁香五月av在线| 五月天亚洲图片婷婷| 日本97久久久精品| 密着浓厚中出乚交尾GvG935| 六月丁香久久| 狠狠五月天| www.久久久久久久| 国产三级片91| 久久99这里只有精品视频 | 91丨九色丨熟女丰满| 情婷婷五月天| 色性五月天| 天天婷婷天天| 婷婷爱综合| 日本啪啪网| 日韩啊啊啊| 99热精品一| 婷婷五月天少妇| 色综合色综合婷婷热| 大香蕉久久婷婷精品综合| 久久99激情五月天| 丁香婷婷五月综合欧美另类| 丁香花综合永久入口| 河北真实伦对白精彩脏话| 噜噜噜狠狠色综合| 天天综合在线网| 九九久久综合| 久99久在线| 91狠狠综合网| 九九青青草成人| 五月婷婷与六月丁香图片激情| 99久久网站| 丁香五月婷婷成人网| 五月婷婷影视| 五月天色视频| 丁香六月视频免费观看| 激情五月天色婷婷| 五月婷婷免费在线观看视频| 99热日韩| 色五月综合| 激情综合一| 丁香五月综合| 中文在线成人| 久久香蕉网| 超碰99在线| 天天日天天摸| 国产欧美精品AAAAAA片| 日韩啪啪网| 成人国产欧美大片一区| 碰99在线| 婷婷色在线播放| 日本啪啪网| 五月丁香六月色婷婷综合五月天| 99热久久这里只有精品| 婷婷五月丁香色情| 丁香五月综合AV在线| 饮料下药迷倒漂亮女同事强干| 日韩黄色电影| 99精品在线| 久久99网站| 日本人人超碰| 伊人九九热| 五月天堂色| 怡红院院在线导航网 | 日日鲁鲁鲁夜夜爽爽狠狠视频97| 色狠狠婷婷| 久久大香免费| 俺也去婷婷五月天第五色| 五月天婷婷色播综合在线| 操一操| 色99在线| 嫩BBB搡BBBB榛BBBB| 青吴乐视频| www99在线观看视频| 99色热视频| 天天婷婷天天| 婷婷五月天综合网| 99日韩| 狠狠色综合图片| 日韩 中文 欧美| 激情99热| 丁香婷婷激情五月天无毒不卡蜜桃| 综合婷婷久久| 伊人99久久| 亚洲天堂啪啪| 色99综合色88| 欧美天堂久久| 五月婷婷视频ab| 91九色精品| 99久久婷婷国产综合| 婷婷五月天亚洲综合网| 婷婷综合网站| 丁香六月婷婷综合啪啪| 欧美这里只有精品| 婷婷婷五月香蕉| 永久的网站AAAA | 婷婷少妇激情| 伊人五月天婷婷| 久99热| 丁香五月婷婷影视先锋| 99在线观看视频免费| 99热这里只有精品无码| 五月婷婷开心网| 欧美日韩国产成人在线| 日日日日做夜夜夜夜无码| 丁香五月六月综合激情| 婷婷情色开心五月天99| 超碰人人操人人干| 激情婷婷六月天| 中文字幕网伦射乱中文| 99 re视频一区| 久久丁香五月婷婷| www99热| 婷婷爱爱蜜臀天天操| 涩涩网五月天| 亚洲人人操| 香蕉国产2013| 99在线观看精品视频| 亚洲愉拍99热成人精品| 丁香六月婷婷久久综合| 色色色网站| 五月婷婷电影院| 五月丁香激情片| 夜夜爱伊人| 日韩欧美性爱| 丁香五月综合亚洲| 国产精产国品一二三在观看 | 久久五月婷| 久久宗合影| 色婷婷精| 五月婷婷影视| 99re6在线视频精品免费| 色综合综合色| 婷婷五月天丁香社区| 亚洲天堂色| 五月综亚洲| 色婷婷网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 五月婷婷 激情五月| 成人视频网| 噜一噜免费视频| 狠狠香蕉| 丁香婷婷啪啪| 国产成人+综合亚洲+天堂| 色天使色婷婷| 丁香婷婷色九月| 丁香九月激情久久| 综合色色色| 97人人操com| 六月丁香激情网| 婷婷五月综合丁香久久| 色欲天天综合| 玖玖综合色区在线观看| 日本社区五月天激情| 亚州美女| RenRenSe在线视频网站| 熟惀91九色在线| 天天爱天天做天天爽| 亚洲激情另类| 久久网站免费亚洲| 97色色视频| 5月色亭亭视频| 99国产精品久久久久久久久久久 | 欧美六月| 久久性爱视频| 久久五月丁香激情综合| 色婷青青| 四色99久久| 国产精品人妻在线网址| 99欧美| 99视频这里只有免费精品| 中国女人内射6XXXXX| 米奇影视资源777狠狠色婷婷五月天激情网 | 色婷婷丁香综合中文字幕| 久久激情五月婷婷| 丁香五月香蕉在线| 日日干四虎| 99性感视频| 97人人操人人操人人操人人| 99热综合色图| 婷婷丁香五月天哟啪| 五月丁香啪啪| 蜜乳中文字| www一起操| 六月丁香啪啪啪| 777丁香六月青青草婷婷综合久月| 五月丁香花成人社区| 激情小说婷婷五月| 人妻综合网| 丰满老熟妇BBBBB搡BBB| 狠狠色噜噜| 成人电影在线免费试看| 丁香五月久久| 日本一级一级一级一级| 欧亚成人A片一区二区| 国产精品热搜丁香五月婷婷| 五月 成人 婷婷| 婷婷色导航| 停停五月天激情网 | 五月婷婷综合色啪首页| 婷婷五月色情| 色婷婷综合网| 久久婷婷成人综合色怡春院| 九九黄色网| 五月天丁香婷婷久久九| 丁香五月天.com| 色色色精品无码区| 六月婷婷久久| 五月丁香花成人社区| 九九九九综合| 人人操人av| 婷婷丁香五月亚洲欧美| 伊人超碰在线| 国产AV一区二区三区最新精品| 婷婷开心激情| 色婷婷九月综合| 丁香花五月天激情| 黄色毛片精品| 国产精品国产成人国产三级| 国精产品一区一区三区有限公司杨 | 草榴视频网| 婷婷五月天综合色| 九九色婷婷| 色综合色婷色基地| 国产乱子轮XXX农村| 香蕉久久国产AV一区二区| 欧美草久久五月天91| 国产裸舞福利资源在线视频| 在线观看亚洲视频影院| 极品五月天| 亚洲精品久久久久久久久久吃药 | 成人va在线观看视频| 六月婷婷七月丁香| 婷婷五月天综合久久日美女| 婷婷五月天基地| 91碰超| 天天爱天天做天天操| 人人干人人操人人摸人人做| 五月天婷婷一起草| 99ri国产在线| 国产精品丝| 99热99日天天干| 欧美成人猛片AAAAAAA| 这里只有精品免费视频| 综合99综合久久久久久久| va婷婷| 天天操夜夜爽| 亚洲综合色丁香五月天| 久久久久综合激动五月天| 操操碰| 九九热av| 五月色婷婷影院| 91日日日| 色婷婷在线影院| 5月丁香美女影院| 中国女人内射6XXXXX| 久热免费视频| 久久久18| 五月激情在线| 91人妻PORNY九色大屁股| 激情丁香五月天| 色播五月| 亚州色色色| 色亭亭五月天丁香综合AV - 百度 - 百度| 这里只有九九精品| 久久欧洲综合网| 天天综合亚洲综合| 这里只有精彩视| 国产精品久久久60086| 国产片色| 伊人狠狠干| 婷婷五月天在线综合| 五月婷婷激清网| 婷婷五月丁香网| 五月天婷婷视频30| 欧洲激情精品婷婷| 免费在线观看欧美激情xx小视频| 99视频这里有精品| wWW九九在线播放| 超碰在线99热| 五月丁香六月婷婷啪啪| 天天性视频| AV在线观看网站| 色狠狠五月天| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 激情小说五月天中文字幕| 九九热10| 婷婷五月天综合中文| 五月香六月婷| 色综合九九| 伊人五月婷婷| 九九热免费| 97高清国语自产拍| 激情涩播| 色五月欧美| 丁香五月婷婷色情综合| 五月天色婷婷激情综合| 亚洲第一色色色色| 丁香五月五月婷婷五月天激情四射| 思思精品热在线| 91久久综合亚洲鲁鲁五月天| 成人AV免费观看| 强辱丰满人妻HD中文字幕| 丰满少妇猛烈A片免费看观看| 午夜]香婷婷深深爱| 狠狠色丁香婷婷| 色99在线| 狠狠五月丁香色婷| 五月丁香六月综合激情无码软件亮点 | 九久热| 五月天综合久久| 人妻性爱| 激情五月天电影| 色综合色五月| se色婷婷视频| 无码橾| 视色网在线播放| 色丁香五月天婷婷| 伊人五月天在线| av高清无码| 色五月婷婷综合在线| 激情宗合 激情宗合| HD久久精品视频| 女人露出p毛视频www网站| 丁香六月婷婷综合麻豆| www.婷婷,com| 精品婷婷五| 夜夜骑夜夜撸| 激情深爱五月天| 久久99免费视频| 久久综合婷婷| jizzdr| 婷婷丁香人妻天天爽| 91色色色视频| 国产日产成人亚洲欧美国产VA| 99思思热只有在这里看| 99热在线精品观看| 久9精品视频在线| 性生活视频98791| 人人看人人草人人摸| 综合色图区| 玖玖91| 色5在线| 婷婷va| 日本人妻伦在线中文字幕| 97碰成超视频免费视频| 婷婷丁香激情五月| 超碰在线成人| 久久人五月| 日本五月丁香| 久久a热| 日本全黄一级999| 丁香五月激情综合网激情五月| 无码橾| 久9精品视频在线| 五夜婷婷| 九九热精品| 三日本无码| 天天综合色丁香| 99干日本| 婷婷香蕉视频| 99精品久久久久久久婷婷久久 | 激情五月天福利| 六月丁香视频网站| 99综合久久| 激情九色| 婷婷射婷婷舔| αv中文字幕在线观| 九九99精品视频在线观看| 久久丁香综合| 九月丁香婷婷网| 26uuu国产精品| 九九精品热| 亚洲最大在线| 成人va视频| 强奸幻女毛片| AV美美午夜| 五月天色婷婷综合| 久久人人看| 综合五月天| 99伊人婷婷在线| 婷婷五月天激情五月天| 日本色色影片| 色婷婷六月激情| 五月婷婷久久综合| 久久性操| 色色色五月婷| 久久大香蕉同僚| cao视频,现在观看| 五月天婷婷人妻| 99超超碰| 另类国产综合| 久9热| 五月天色导航婷婷资源婷婷| 五月丁香啪啪网| 亚洲婷婷丁香| 国产精品久久..4399| 狠狠色色综合| 外国碰视频网站97| 97极品在线| 操操国产| 日韩操人| 色婷婷综合网| 丁香五月六月久久综合 | 色99色| 色色色色热热| h在线看免费版在线看| 99热日本| 五月丁香影院| 亚洲综合激| 成人国产欧美大片一区| 99热日| 天天激情站| 五月草视频| 99综合成人视频在线观看| 六月激情综合| 久综合九| 狠狠搞狠狠操| 婷婷五月天深爱| 综合色色五月| 国产成人亚洲综合A∨婷婷| 任你干嘛免费视频播放| 丁香花五月天激情| 天天日天天做天天舔| 99这里只有精品| 婷婷六月伊人| 99啪在线视频| 婷婷五月av| 久久婷婷激情五月天一区二区| 国产亚洲精品AAAAAAA片| 久色中文| 亚洲人人操| 婷婷色综合| 六月欧美综合色情| 影音先锋一区二区资源站| 五月丁香六月激情欧美综合| 日本三级中国三级99| www.99热这里只有精品| 思思热精品免费视频| 五月丁香六月婷婷激情四射| 99riAV国产精品视频| 久热这里只有精品在线观看 | 婷婷色五月在线视频| 五月丁香婷婷在线| 五月色综合| 激情五月深爱婷婷| 99视频精品| 激情无码五月天| 老司机视频lsj爱就色| www久久久久久久97| 婷婷五月天视| 伊人久久大香线蕉综合网站| 色婷婷综合久久久久| 午夜性爱影视一区77| 色色热日| 久久亚洲婷婷| 99热99re6国产在线播放| 日本久久人| 99综合免费视频| 激情五月天激情综合网| 成人在线精品| 黄色AAAA韩国guochansanji| 久艹大香蕉| 99热综合在线观看| 婷婷色中文| 亚洲精品V天堂中文字幕| 人妻少妇色综合| 欧美狠狠草| 久久日韩婷婷五月| 开心五月激情网| 婷婷丁香十月| 久久综合99| 自拍视频99| 国产伦亲子伦亲子视频观看| 少妇达人正片在线播放_ikun_福利吧| 色五月xxx| 欧美性猛交XXXX乱大交极品| 亚洲乱码w在线观看| 热久久这里只有精品20| 黄色片精品| 三日本无码| 丁香色五月天| 丁香五月天综合| www.思思99热| 久久停停超碰| 色色色色色色色色色色色色色五月天| 91色色色| 影音先锋天天日| 亚洲成人va| 丁香五月天激情网址| enecarbon-materials.com污K127封锁请涟系@wip1688 | 综合成人小说婷婷| 99免费视频精品| 午夜成人AV在线| 综合激情sV| 色综合激情图区| 99热这里全是精品| 99热天堂| 日韩AV大全| www..com色爱| 激情五月开心五月在线视频| 亚洲操B视频| 99情色五月天| 国产黄色在线观看| av色色国产| 中文字幕激情综合| 五月涩涩网| 青草视频在线蜜臀| 成人深爱丁香五月| 中美月韩免费A片| 久久丁香婷婷五月| 一区=区操屄高清大全av| 天天干天天拍| 久久激情视频| 超碰chaompinm| AV成人在线播放| 另类激情五| 亚洲一二三网| ZpRSw| 久热99中文字幕| 婷婷丁香社区| 亚洲日韩一页精品发布| 五月丁香久久| 色情综合网| 99久在线精品99re8| 可以免费观看的AV| 久久人妻人人| 色色色com| 色五月丁香伊人五月| 丁香久久久| 五月天久久综合婷婷丁香| 色五月天成人在线| 九月婷婷丁香| 久久五月丁香综合17C| 五月天激情网址| 另类图片 五月激情| 精品国产人人爱人人| 天天色天天爱天天舔| 天天舔天天摸天天射| 丁香综合伊人| 丁香六月色情| 人妻五月天激情开心网| 99热国产国产| 99精品视频在线| 人色五月天婷婷| 国产一区男女| 噜噜噜噜噜色| 免费观看欧美成人AA片爱我多深| 99热这里只有精品22| www.99热这里精品| 思思热视频| 99欧州偷拍视频| 舔色婷婷| 91色涩| 99视频在线| 婷婷爱五月| 免费看欧美成人A片无码| 狠狠爱成人综合网| 欧美日韩一区二区三区四区| 久久婷婷综合色丁香| 日本久久人| 五月玖玖| www.激情在线| 天天天天做夜夜夜夜做| 色情综合网| 国产精品国产| 亚洲色视频| 九九热精品| 91色性感五月婷婷丁香| 丁香视频| caop在线| 日本在线视频手机播放五月婷| 六月丁香深深爱| 婷婷欧美激情| 99久久久久久| 欧美性爱五月天| 五月丁香综合色婷婷| 色九九七七| 久操婷婷| 99热精国产这里只有精品| 亚洲日日日| 婷婷六月啪啪| 国产精产国品一二三在观看 | www.99久| 蜜臀久久99精品久久久久久酒店| 色综色网| g00d人体西西| 婷婷五月天播| 台湾佬天天日丁香婷婷五月天| 可以看的av| 99热精品在线观看| 久久综合五月天激情小说网站 | 啪啪东京热| 日本久久精品| 视色综合| 色五月天激情| 国产国产乱老熟女视频网站97| 婷婷丁香综合在线| 九月激情网| 色综合久久88色综合中文字幕| 亚洲精品色| 九色婷婷| 久草婷妨| 婷婷偷拍网| 激情五月婷婷六月丁香| 婷婷色中文字幕| 岛囯综合激情网| 看婷婷五月天网| 婷婷五月AV| 97久久视频| 韩国97天堂| 色狠狠色| 婷婷噜噜| 久久久久久久人妻| 成人 九九九九| 五月丁香色婷婷伊人| 五月天婷婷丁香| 五月亭亭六月天| 激情丁香婷婷| 婷婷五月丁香青青草在线| 99热最新| 久久偷拍综合五月天| www.minyis.com【JT】实力收量可预付QQ2101460746 | 99亚洲精品综合在线 | 激情综合网五月激情| 热九九精品| 久久九九@| 丁香婷婷久久老熟女综合网| 久久久com| 97碰碰碰| 中文字幕簧片| 99热精品在这里| 玖玖婷婷色| 五月天激情网图片| AV成人在线播放| 五月花综合视频| 国产又色又爽又黄又免费| 大香线蕉伊人| 99在线观看视频| 图片区 小说区 区 亚洲五月| 激情啪啪五月| 丁香久久| 日韩啪啪视品| www久久五月com| 超碰人妻在线| www.五月天婷婷| www激情五月天| 97碰碰碰免费公开在线视频| 色色吧综合| 91热视频色网站| 五月丁香婷婷激情图片| 激情五月天啪啪| 成人精品在线| 51成人| 综合网天天| 色婷婷精品视频在线播放| 91丨熟女丨首页| www.婷婷.com| 欧美日韩99| 综合视频久久| 丁香六月av| 五月激情小说网| Www.se.久久| 九九99久久精品| 久碰视频| 欧美va亚洲va| 99成人在线观看| 日日干天天射| 九月丁香亭亭| 伊人色综合影院视频| 色婷婷综合视频| 丁香六月婷婷社区| 色情五月婷婷| 9热久久| 久久亚洲婷婷| www.韩日视频| 五月激情久久综合网| 99热在线观看| 婷婷综合激情五月综合| 韩日另类| 国精产品一区二区三区| 日本无码专区| 思思精品久久艹| 亚洲99精品九九在线| 九九热这里只有精品12| 影音先锋美国A| 亚洲五月天婷婷综合| 丁香五月激情啪啪综合| 激情综合网亚洲色图| 大香蕉伊人丁香五月| 久久久精品人妻录| 国产精品成av人在线视午夜片| 人人看人人摸人人| 丁香五月天社区婷婷| www天天色天天射| 热996精品在线观看| 丁香五月六月婷婷综合| 啪啪激情综合| 色色婷婷五月天| 性色播| 色呦精品| 五月丁香啪啪伦理电影| 97在线日韩| 日日夜夜天天| 亚洲精品视频在线| 91久久婷婷| 色播丁香五月婷婷操:屄| 久爱综合| 婷婷五月天综合在线| 亚洲一区二区无遮挡A片| 日韩人妻无码专区| 色五月丁香总合网| 69凹凸成人综合网| 99热这里只有精品最新网址| 九九99男女视频在线观看| 伊人久久婷| 这里只有精品免费在线视频| 欧美性猛交99久久久久99按摩| 久久九九大香蕉电院| 天天综合色丁香| 成人AV免费观看| 国产夫妻操逼内射视频| 思思干精品| 天天操夜夜操| 另类视频在线| 美女久久婷婷| 中文久久婷婷| 久久综合五月天| 久9视频| 深爱激情网五月天| 久久婷婷五月综合色奶水99啪| 欧美色色色色色色色| 综合激情五月综合激情五月激情1| 五月天小说激情| 超碰成人电影| 天天爽日日搞| 色色色色区| 久久久久久久久久8888| 久久激情五月天| 97干免费视频| 九九爱激情| 91se在线视频|