欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Transformer從零實現(xiàn):核心原理與PyTorch實戰(zhàn)

Transformer從零實現(xiàn):核心原理與PyTorch實戰(zhàn) 如果你正在做 NLP、圖像分類、時序預測或者只是刷到“Transformer 漲點”“手撕 Transformer”這類詞卻還不太清楚它內(nèi)部到底怎么運轉這篇內(nèi)容就是給你準備的。先給一個明確判斷Transformer 不是一個只屬于 NLP 的模型結構它已經(jīng)從語言模型走向了視覺、語音、時序預測、推薦系統(tǒng)等幾乎所有深度學習領域。真正理解它不是背下來“自注意力 多頭 位置編碼”這幾個名詞而是能回答下面三個問題為什么 RNN 會被它替代它的每一層結構到底在處理什么如果讓我從零實現(xiàn)一個最小可用版本我該怎么寫這篇文章不會只停留在概念層面。我會從問題切入講清楚 Transformer 的核心原理然后用 PyTorch 從零實現(xiàn)一個可以訓練的分類模型跑通訓練和驗證流程。接著再把視野擴展到 Vision Transformer、Swin Transformer 這些熱門變體最后給出工程落地和調(diào)試建議。如果你之前看公式看得頭大或者復制過別人的代碼卻不知道怎么改這篇文章會盡量讓你讀完后能自己動手。1. 為什么最后是 Transformer很多人第一次接觸 Transformer是在學習 NLP 的時候。當時主流的序列建模工具是 RNN、LSTM、GRU。它們有一個天然問題按時間步順序處理序列。這意味著第 100 個詞要等前 99 個詞算完才能開始訓練速度慢而且長距離依賴容易丟失。雖然 LSTM 通過門控機制緩解了梯度消失但本質上仍然受限于“按順序”這個約束。CNN 在 NLP 里也被用過。TextCNN 通過不同尺寸的卷積核提取 n-gram 特征優(yōu)點是能并行計算缺點是感受野有限。想要捕捉長距離關系就必須堆很多層或者用很大的卷積核效率不高。Transformer 換了一個思路不再依賴順序處理而是讓序列中的每個元素直接和所有元素計算相關性。這個機制叫自注意力。它帶來兩個關鍵變化計算可以并行訓練速度大幅提升。任意兩個位置之間只隔一次計算長距離依賴不再是難題。所以“為什么最后是 Transformer”這個問題的答案可以概括為它同時解決了 RNN 的串行瓶頸和 CNN 的局部感受野限制而且隨著數(shù)據(jù)量和算力增大它的擴展性遠好于前兩者。更重要的是Transformer 的架構足夠通用輸入不一定非得是文本只要你能把數(shù)據(jù)變成一組向量就能用 Transformer 處理。從工程角度看Transformer 還帶來了一個隱性優(yōu)勢統(tǒng)一建模。以前做文本用 RNN做圖像用 CNN做語音用專門的模型。現(xiàn)在 Transformer 提供了統(tǒng)一的基礎結構不同模態(tài)的數(shù)據(jù)經(jīng)過適當編碼后都能塞進同一個架構。這也是 GPT、BERT、ViT、Swin Transformer 等模型真正重要的原因——它們共享同一套底層設計邏輯。當然Transformer 不是沒有代價。它的計算復雜度是序列長度的平方顯存占用大訓練需要更多數(shù)據(jù)。這也是后面 Swin Transformer 這類模型嘗試優(yōu)化的方向之一。了解它的優(yōu)點和局限才算真正理解它。2. 核心機制自注意力與多頭注意力2.1 自注意力想解決什么問題先看一個具體場景。假設輸入一句話“小明把蘋果放在桌上然后拿走了它。”要讓模型知道“它”指代的是“蘋果”還是“小明”就需要讓“它”這個位置的向量能參考其他位置的向量。自注意力做的事情就是讓每個 token 根據(jù)自己的 Query 向量去所有 token 的 Key 向量上做匹配再用匹配結果對 Value 向量加權求和。用大白話說每個詞都發(fā)出一條查詢問“誰和我相關”然后根據(jù)收到的答案從其他詞那里匯總信息。這個匯總結果就是當前詞的新表示。整個過程可以做一次矩陣運算完全并行。2.2 縮放點積注意力公式自注意力的核心公式是Attention(Q, K, V) softmax(Q K^T / sqrt(d_k)) V其中Q 是 Query 矩陣代表當前元素要查詢的信息。K 是 Key 矩陣代表其他元素能被匹配的特征。V 是 Value 矩陣代表其他元素實際提供的內(nèi)容。d_k 是 Key 向量的維度除以 sqrt(d_k) 是為了防止點積結果過大導致 softmax 進入飽和區(qū)。從實現(xiàn)角度Q、K、V 通常來自同一個輸入序列 X經(jīng)過不同的線性變換得到Q X W_Q K X W_K V X W_V三種變換使用不同的權重矩陣才能讓模型在同一份輸入上學到不同視角的表示。2.3 多頭注意力不是一種注意力而是多套并行如果只做一次自注意力模型只能學到一種相關性模式。但真實語言中的關系是多樣的可能是語法關系、指代關系、語義相似關系等。多頭注意力把 Q、K、V 拆成 h 份每份獨立計算注意力最后把所有頭的結果拼接起來再經(jīng)過一個線性層。公式如下MultiHead(Q, K, V) Concat(head_1, ..., head_h) W_O head_i Attention(Q W_Q^i, K W_K^i, V W_V^i)多頭的好處有三個不同頭可以關注不同位置的關系。每個頭運行在更低維空間計算成本不會成倍增加。增加模型并行度表達能力更強。實際項目中BERT-base 使用 12 個頭GPT 使用 12 個頭ViT 的 large 版本使用 16 個頭。頭數(shù)不是越大越好頭數(shù)過大會導致每個頭的維度太小表達能力下降也會增加訓練開銷。2.4 注意力機制的一般視角還有一點值得理解注意力機制不是 Transformer 獨有的。早年機器翻譯中的 Bahdanau Attention 和 Luong Attention 就已經(jīng)用注意力來對齊源語言和目標語言。Transformer 的貢獻在于把它從輔助模塊變成了主架構并且用自注意力取代了所有循環(huán)結構。所以理解 Transformer本質上就是理解自注意力在深層網(wǎng)絡中的組織和實現(xiàn)方式。3. Transformer 總體架構拆解3.1 標準架構編碼器和解碼器原始論文《Attention Is All You Need》中Transformer 采用編碼器-解碼器結構兩條線分別處理后輸出。編碼器由 N 個相同的層堆疊每層包含兩個子層多頭自注意力層。逐位置前饋網(wǎng)絡。每個子層后面都接一個殘差連接和層歸一化。用公式表示就是x LayerNorm(x Sublayer(x))解碼器與編碼器類似但有兩點不同解碼器使用帶掩碼的自注意力防止當前位置看到未來位置。解碼器額外插入一個交叉注意力子層讓解碼器能關注編碼器的輸出。很多實際任務不一定需要完整的編碼器-解碼器結構。比如 BERT 只用編碼器適合理解任務GPT 只用解碼器適合生成任務。這個取舍在工程上非常常見后面講視覺變體時還會看到。3.2 位置編碼給并行模型一個順序概念自注意力本身不關心 token 的先后順序因為它同時計算所有兩兩關系。要引入順序信息必須在輸入向量里注入位置信號。原始 Transformer 使用正弦位置編碼PE(pos, 2i) sin(pos / 10000^(2i/d_model)) PE(pos, 2i 1) cos(pos / 10000^(2i/d_model))其中 pos 是位置索引i 是維度索引d_model 是模型維度。每個維度的頻率不同模型可以從角度關系里學到相對位置信息。工程上還有幾種常見位置編碼可學習位置編碼把位置向量當作普通參數(shù)訓練BERT 和 ViT 都采用了這種方案。相對位置編碼建模兩個 token 之間的距離而非絕對位置。旋轉位置編碼RoPE在 LLaMA 等大模型中被廣泛使用能更好地處理長序列。理解位置編碼的重要性是因為很多從零實現(xiàn) Transformer 的人最容易忽略的就是這里。如果你的模型在訓練時表現(xiàn)不錯但序列一變長效果就很差可以先檢查位置編碼的方案。3.3 前饋網(wǎng)絡與層歸一化每個 Transformer 塊中的前饋網(wǎng)絡Feed-Forward NetworkFFN由兩個線性層和一個激活函數(shù)組成。常用的設置為FFN(x) max(0, x W_1 b_1) W_2 b_2第一個線性層將維度從 d_model 擴展到 4 * d_model第二個線性層再降回 d_model。中間用一個 ReLU 激活函數(shù)有些實現(xiàn)會換成 GELU。層歸一化LayerNorm對每個 token 的特征維度做歸一化。它與 BatchNorm 的主要區(qū)別BatchNorm 對一個 batch 的同一特征維度做歸一化依賴 batch 大小。LayerNorm 對單個樣本的所有特征做歸一化不依賴 batch 大小在 NLP 和 Transformer 中更穩(wěn)定。公式LayerNorm(x) (x - mean) / sqrt(var eps) * gamma beta這里的 gamma 和 beta 是可學習參數(shù)。3.4 殘差連接的意義Transformer 層數(shù)一般很深BERT-base 有 12 層GPT-3 有 96 層。如果沒有殘差連接梯度很難傳到淺層。殘差連接讓每一層的輸出變?yōu)?x Sublayer(x)相當于把原始信息沿著網(wǎng)絡直接傳遞。這既緩解了梯度消失也保證了模型不會因為層數(shù)增加而明顯退化成恒等映射。4. 環(huán)境準備與前置條件在動手寫代碼前先說明運行環(huán)境。本文核心演示使用 Python 和 PyTorch具體版本以你實際安裝為準思路在不同版本下都適用。建議環(huán)境操作系統(tǒng)Windows / Linux / macOS 均可。Python 版本3.8 或更高。PyTorch2.0 或更高。CUDA如果你有 NVIDIA 顯卡建議安裝 CUDA 版 PyTorch訓練會快很多。Jupyter Notebook 或 VS Code 均可。如果還沒安裝 PyTorch可以用下面的命令安裝 CPU 版本pip install torch torchvision需要 GPU 支持的話建議到 PyTorch 官網(wǎng)選擇對應的 CUDA 版本安裝命令這里不寫死某個版本的 CUDA 號以免因為顯卡驅動不匹配導致安裝失敗。安裝完成后可以運行一段代碼驗證環(huán)境import torch print(torch.__version__) print(torch.cuda.is_available()) device torch.device(cuda if torch.cuda.is_available() else cpu) print(device)如果打印的版本正常并且torch.cuda.is_available()在有 GPU 的機器上返回 True就說明環(huán)境沒問題。5. 手撕 TransformerPyTorch 從零實現(xiàn)這一章是全文核心。我們不用現(xiàn)成的nn.Transformer而是手動實現(xiàn)每個組件這樣你能真正理解內(nèi)部機制。5.1 項目結構為了方便維護建議用下面的文件結構transformer-tutorial/ ├── data.py # 數(shù)據(jù)準備 ├── model.py # Transformer 模型定義 ├── train.py # 訓練腳本 └── utils.py # 輔助函數(shù)這里為了控制篇幅把關鍵代碼放在 model.py 和 train.py 中方便組合運行。5.2 模型定義model.py先引入依賴import torch import torch.nn as nn import math然后是縮放點積注意力class ScaledDotProductAttention(nn.Module): def __init__(self, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) def forward(self, q, k, v, maskNone): d_k q.size(-1) scores torch.matmul(q, k.transpose(-2, -1)) / math.sqrt(d_k) if mask is not None: scores scores.masked_fill(mask 0, float(-inf)) attn_weights torch.softmax(scores, dim-1) attn_weights self.dropout(attn_weights) output torch.matmul(attn_weights, v) return output, attn_weights這段代碼有幾個關鍵細節(jié)scores 的維度是 [batch_size, num_heads, seq_len, seq_len]。除以 sqrt(d_k) 是為了穩(wěn)定梯度。mask 中為 0 的位置會被替換成負無窮softmax 后這些位置的概率趨近于 0。返回 attn_weights 是為了方便可視化注意力權重。然后是單頭注意力模塊class MultiHeadAttention(nn.Module): def __init__(self, d_model, n_head, dropout0.1): super().__init__() assert d_model % n_head 0, d_model must be divisible by n_head self.n_head n_head self.d_k d_model // n_head self.w_q nn.Linear(d_model, d_model) self.w_k nn.Linear(d_model, d_model) self.w_v nn.Linear(d_model, d_model) self.w_o nn.Linear(d_model, d_model) self.attention ScaledDotProductAttention(dropout) self.dropout nn.Dropout(dropout) def _split_heads(self, x): batch_size, seq_len, _ x.size() x x.view(batch_size, seq_len, self.n_head, self.d_k) x x.transpose(1, 2) return x def forward(self, q, k, v, maskNone): batch_size q.size(0) q self._split_heads(self.w_q(q)) k self._split_heads(self.w_k(k)) v self._split_heads(self.w_v(v)) x, attn_weights self.attention(q, k, v, mask) x x.transpose(1, 2).contiguous().view(batch_size, -1, self.n_head * self.d_k) output self.w_o(x) return output這里有一個很容易出錯的地方把多頭拆開計算后要記得把維度重新拼接回 [batch_size, seq_len, d_model]。同時view之前要確保 tensor 在內(nèi)存中是連續(xù)的所以需要調(diào)用contiguous()。接下來是位置編碼class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len512, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp( torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model) ) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0).transpose(0, 1) self.register_buffer(pe, pe) def forward(self, x): x x self.pe[: x.size(0), :] return self.dropout(x)位置編碼使用正弦余弦函數(shù)好處是它能外推到更長序列并且相對位置信息隱含在相位差中。下面是編碼器層class FeedForward(nn.Module): def __init__(self, d_model, d_ff, dropout0.1): super().__init__() self.linear1 nn.Linear(d_model, d_ff) self.linear2 nn.Linear(d_ff, d_model) self.dropout nn.Dropout(dropout) def forward(self, x): x self.linear1(x) x torch.relu(x) x self.dropout(x) x self.linear2(x) return x class EncoderLayer(nn.Module): def __init__(self, d_model, n_head, d_ff, dropout0.1): super().__init__() self.self_attn MultiHeadAttention(d_model, n_head, dropout) self.ffn FeedForward(d_model, d_ff, dropout) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout nn.Dropout(dropout) def forward(self, x, maskNone): x x self.dropout(self.self_attn(x, x, x, mask)) x self.norm1(x) x x self.dropout(self.ffn(x)) x self.norm2(x) return x注意這里先做殘差再 LayerNorm這種寫法叫 Post-Norm是原始 Transformer 的實現(xiàn)方式。實際工程中很多模型改用 Pre-Norm即先 LayerNorm 再做殘差訓練更穩(wěn)定后面會細說。最后是完整編碼器模型class TransformerEncoder(nn.Module): def __init__(self, vocab_size, d_model, n_head, n_layers, d_ff, max_len, num_classes, dropout0.1): super().__init__() self.embedding nn.Embedding(vocab_size, d_model) self.positional_encoding PositionalEncoding(d_model, max_len, dropout) self.layers nn.ModuleList([ EncoderLayer(d_model, n_head, d_ff, dropout) for _ in range(n_layers) ]) self.norm nn.LayerNorm(d_model) self.fc_out nn.Linear(d_model, num_classes) def forward(self, x, maskNone): x self.embedding(x) x self.positional_encoding(x) for layer in self.layers: x layer(x, mask) x self.norm(x) cls_rep x[:, 0, :] # 取第一個 token 的表示作為分類結果 logits self.fc_out(cls_rep) return logits這里我們采用一個常見做法在每個序列開頭加一個特殊的 [CLS] token最后用它的表示做分類。這個思路來自 BERT在文本分類任務里非常實用。5.3 訓練腳本train.py再寫一個最小訓練腳本。數(shù)據(jù)部分用一個小型文本分類演示你可以替換成自己的數(shù)據(jù)集。import torch import torch.nn as nn from torch.utils.data import DataLoader, Dataset from model import TransformerEncoder # 假設有 4 條簡單樣本 texts [ this movie is great, the film is terrible, I love this book, what a waste of time ] labels [1, 0, 1, 0] # 構造詞表 def build_vocab(texts): vocab {pad: 0, cls: 1} for text in texts: for word in text.split(): if word not in vocab: vocab[word] len(vocab) return vocab vocab build_vocab(texts) max_len 6 def encode(text, vocab, max_len): tokens [cls] text.split()[: max_len - 1] ids [vocab.get(w, 0) for w in tokens] ids ids [0] * (max_len - len(ids)) return torch.tensor(ids, dtypetorch.long) class TextDataset(Dataset): def __init__(self, texts, labels, vocab, max_len): self.texts texts self.labels labels self.vocab vocab self.max_len max_len def __len__(self): return len(self.texts) def __getitem__(self, idx): x encode(self.texts[idx], self.vocab, self.max_len) y torch.tensor(self.labels[idx], dtypetorch.long) return x, y dataset TextDataset(texts, labels, vocab, max_len) dataloader DataLoader(dataset, batch_size2, shuffleTrue) model TransformerEncoder( vocab_sizelen(vocab), d_model32, n_head4, n_layers2, d_ff64, max_lenmax_len, num_classes2, dropout0.1 ) criterion nn.CrossEntropyLoss() optimizer torch.optim.AdamW(model.parameters(), lr3e-4) for epoch in range(30): total_loss 0 for x, y in dataloader: optimizer.zero_grad() logits model(x) loss criterion(logits, y) loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 5 0: print(fEpoch {epoch 1}, Loss: {total_loss / len(dataloader):.4f})這里使用AdamW而不是傳統(tǒng) Adam因為它把權重衰減和梯度更新解耦是 Transformer 訓練中最常用的優(yōu)化器。5.4 這份實現(xiàn)缺了什么可以看到上面的實現(xiàn)是一個編碼器模型適合做分類但它不是完整的編碼器-解碼器 Transformer。如果你想做翻譯或生成任務還需要實現(xiàn)DecoderLayer加入掩碼自注意力和交叉注意力。masked_fill 的因果掩碼確保位置 i 只能看到它之前的位置。訓練時用 teacher forcing推理時逐步生成。不過對大多數(shù)想理解 Transformer 核心機制的人來說理解編碼器已經(jīng)建立了一個非常重要的基礎。6. 運行結果與效果驗證把上面兩個文件放在同一目錄下然后運行python train.py預期輸出類似Epoch 5, Loss: 0.6123 Epoch 10, Loss: 0.4371 Epoch 15, Loss: 0.2789 Epoch 20, Loss: 0.1682 Epoch 25, Loss: 0.1094 Epoch 30, Loss: 0.0731如何判斷模型訓練成功了Loss 是否在持續(xù)下降。如果 loss 停滯或升高說明學習率可能太大或代碼存在 bug。訓練完成后可以看預測結果model.eval() with torch.no_grad(): sample encode(this film is terrible, vocab, max_len).unsqueeze(0) logits model(sample) pred torch.argmax(logits, dim-1).item() print(Predicted label:, pred)如果訓練順利這條樣本應該輸出 0。如果輸出 1說明模型還沒收斂可以增加訓練輪數(shù)。從實操角度看這里第一個要檢查的地方不是 loss而是:詞表構建是否正確有沒有把詞映射到正確的索引。輸入 batch 是否完整填充到相同的長度。位置編碼的維度是否和 embedding 維度一致。7. 從 NLP 到視覺Vision Transformer 與 Swin TransformerTransformer 真正讓人驚訝的地方是它從語言模型進入了計算機視覺領域并且開始挑戰(zhàn) CNN 的地位。7.1 Vision Transformer 的核心思路Vision Transformer 的做法很直接。把一張圖片切成一堆 patch比如 224x224 的圖片切成 16x16 的 patch會得到 196 個 patch。每個 patch 展平成一個向量經(jīng)過線性映射后變成 token。再加上一個 [CLS] token 和位置編碼然后送入標準的 Transformer 編碼器。最后用 [CLS] token 的表示做分類。這個設計最吸引人的一點是幾乎沒有為視覺任務定制專門的架構直接把圖像變成了序列就取得了很好的效果。它證明 Transformer 的建模能力不限于文本。但 ViT 有一個明顯弱點需要大規(guī)模數(shù)據(jù)預訓練。因為 patch 之間沒有 CNN 那種天然的先驗知識在小數(shù)據(jù)集上容易過擬合。7.2 Swin Transformer 的改進Swin Transformer 為了解決 ViT 的問題引入了兩個關鍵設計層次化結構不同階段逐漸降低分辨率、增加通道數(shù)類似 CNN 的 pyramid 結構。窗口注意力在局部窗口內(nèi)計算自注意力限制計算復雜度。窗口注意力雖然減少了計算量但窗口之間信息無法交互。Swin Transformer 為此引入了 shifted window 機制交替移動窗口讓不同窗口之間的 token 有機會互相看到。這樣既保留了 Transformer 的建模能力又讓計算復雜度從 O(n^2) 降到了 O(n)。從工程角度看Swin Transformer 的一個價值在于它更容易復用到檢測、分割等稠密預測任務上。ViT 處理這類任務時需要額外設計而 Swin 的層次化結構天然適配。7.3 視覺 Transformer 的落地選擇做圖像分類時到底該選 CNN 還是 Transformer一個務實的建議是如果數(shù)據(jù)集很小比如幾千張圖片建議先從 ResNet 這類 CNN 入手。如果有大規(guī)模數(shù)據(jù)或者能用預訓練權重ViT 和 Swin Transformer 值得優(yōu)先考慮。如果要部署到邊緣設備CNN 在速度、顯存占用、推理優(yōu)化上通常更省心。這里并不是說 Transformer 一定比 CNN 好只能說它的架構選擇面更寬、上限更高但需要的數(shù)據(jù)和算力也更多。8. Transformer 的改進方向與工程實踐8.1 訓練穩(wěn)定性原始 Transformer 的 Post-Norm 結構在深層網(wǎng)絡下容易出現(xiàn)訓練不穩(wěn)?,F(xiàn)在的主流做法是 Pre-LayerNorm即x x Sublayer(LayerNorm(x))這個改動雖然簡單但對深層模型有明顯幫助。GPT、BERT 后續(xù)版本以及很多開源大模型都采用了 Pre-Norm 結構。理解這一點的價值在于你在復現(xiàn)別人代碼時會看到兩種不同的寫法不要覺得是錯誤只是設計選擇不同。8.2 長序列優(yōu)化Transformer 平方復雜度的短板催生了一系列優(yōu)化方法sparse attention只讓每個 token 關注部分位置而不是全部。FlashAttention從訪存優(yōu)化的角度減少顯存占用不改變數(shù)學結果。Longformer、BigBird針對超長文本設計稀疏注意力模式。上下文擴展在大模型中通過調(diào)整位置編碼的方式支持更長上下文。實際應用里如果你只是處理幾千 token 的文本標準注意力完全夠用。如果文本動輒幾萬甚至幾十萬 token就需要考慮這些優(yōu)化手段。8.3 工程落地建議在實際業(yè)務中很少有人真的從隨機初始化開始訓練一個 Transformer。最穩(wěn)妥的路徑是使用預訓練模型比如 BERT、RoBERTa、ViT、Swin Transformer。在自己的領域數(shù)據(jù)上做微調(diào)fine-tuning。評估效果時不僅看準確率還要看推理延遲、顯存占用、模型體積。這里要特別提醒一點如果你用預訓練模型上游模型使用的分詞器和你的文本處理方式必須一致。很多亂碼和效果差的問題源頭其實是分詞器配置不對而不是模型結構改錯了。8.4 關于“漲點”這件事熱搜里經(jīng)常能看到“Transformer 漲點”的說法。所謂漲點是指通過調(diào)整模型結構或訓練策略在某個 benchmark 上提升指標。常見漲點手段包括改位置編碼從絕對位置編碼換成 RoPE。調(diào)整初始化某些初始化策略對深層網(wǎng)絡的收斂速度影響很大。用更好的激活函數(shù)比如把 ReLU 換成 GELU 或 SwiGLU。調(diào)整 dropout 位置在 attention 計算后的 dropout 和 FFN 后的 dropout效果差異較明顯。但漲點往往依賴具體數(shù)據(jù)和任務。別人在論文里漲點不意味著你的業(yè)務也一定漲。務實的做法是把改進當作實驗變量每次只改一個因素記錄效果而不是一股腦堆疊所有技巧。9. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案Loss 不下降學習率過大或過小數(shù)據(jù)歸一化不一致打印梯度統(tǒng)計嘗試多個學習率使用 warmup 合適的學習率如 3e-4訓練時報 NaN注意力分數(shù)過大分母為 0檢查輸入是否包含 NaN檢查位置編碼確認 mask 正確增加 eps降低學習率序列長度變化時報錯位置編碼 max_len 設置過小查看報錯堆棧中的 reshape 行增大 max_len或改用相對位置編碼多頭注意力維度不匹配d_model 無法被 n_head 整除檢查 assert 條件調(diào)整 d_model 或 n_head預測結果總是同一個類別類別不平衡模型未收斂查看驗證集 loss打印 logits 分布先訓練足夠輪數(shù)必要時調(diào)整類別權重位置編碼無效位置編碼加在錯誤的維度上打印位置編碼 shape 和輸入 shape對齊 max_len 與輸入序列長度GPU 顯存不足序列過長注意力矩陣太大逐步縮小 batch_size 或 max_len使用梯度累積采用 sparse attention第一排查優(yōu)先級永遠是數(shù)據(jù)。模型不會憑空產(chǎn)生錯誤輸出絕大多數(shù)問題都能追溯到輸入數(shù)據(jù)、mask 或者詞表構造階段。代碼里加上斷言和日志能省下大量調(diào)試時間。10. 下一步實踐路徑如果你讀完這篇文章最好的實踐方式不是再去背概念而是按下面兩條路選一條走。第一條路徑從零改代碼。把我給出的實現(xiàn)繼續(xù)完善比如加上解碼器、實現(xiàn)因果掩碼然后訓練一個簡單的中文文本生成模型。這個過程會逼迫你理解每個矩陣的維度變化。第二條路徑用開源庫做項目。如果你關心的是應用層可以先把 Hugging Face Transformers 這類庫用熟用預訓練 BERT 做文本分類用 ViT 做圖像分類。通過微調(diào)任務反向理解模型內(nèi)部機制也是很多工程師的實際學習路徑。我個人更推薦這兩條路結合。先在開源庫上跑通一個任務再回來看代碼實現(xiàn)很多之前看不懂的概念會瞬間串起來。Transformer 的核心其實不復雜它只是把“根據(jù)上下文加權地更新每個元素”這件事做到了極致。真正復雜的是它衍生出來的工程實踐數(shù)據(jù)處理、訓練技巧、推理優(yōu)化、多模態(tài)融合。這些都需要你在具體項目中一點點積累。把這個最小實現(xiàn)跑通是理解整個生態(tài)的第一步。建議把文章里這幾段代碼保存成模板下次遇到 Transformer 相關項目時你會感謝當初愿意從零寫一遍的自己。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国精产品一区一区三区免费视频| 五月婷婷激情五月| 五月婷婷影| 色五月婷婷基地| 婷婷激情六月视频| 狠狠爱综合网| 五月丁香天堂| 韩国情人在线电视剧免费观看高清版全集| 天天干狠狠艹| 色色色色热| 99这里热| 久久丁香五月| 五月激情综合网| 久久久精品免费啪啪国| 人妻videos人妻高清| 99色视频| 超碰成人在线免费观看| 伊人91| 夜夜爽77777妓女免费下载| 欧美婷婷五月| 五月丁香啪啪综合| 天天干,夜夜爽| 精品香蕉99久久久久网站| 人妻视频一区而且二区| 天天肏夜夜肏| 操逼棍操逼| 狠狠五月天| 婷婷六月天天| 人妻第九页| www.久久爱.c n| 丁香六月激情综合| 天天干天天干天天干天天干天天干| 99热思思| 亚洲性爱AV在线| 丁香婷婷五月人体| 激情网第四色| 综合久| 国产精产国品一二三在观看| 五月丁香啪啪激情| www色婷婷com| 综合网色| 黄色激情久久| 日韩欧美一级大黄网站| 色九月婷婷| 嫩草视频。| 婷婷五月天av| 天天爱综合网| 久草五月丁香婷婷综合| 99热在线里有精品| 99人妻碰碰碰久久久久禁片| 激情五月天色色色| 26uuu国产精品| 综合久久影院| 国产九九一区二区三区| 六月婷婷久久大全| 成人做爰黄A片免费看直播室男男| 婷婷成人AV| 97婷婷丁香五月天激情图片| 伊人久久婷婷| 久久九九99桃花视频| 五月婷无码| 啪色综合| 综合婷| www,欧美干干干干干干| 天天干一干| 天天操人人干| 99超碰欧美| www.激情五月天。com| 婷婷.com| 五月天开心色色网| 日韩 欧美 国产 一区 二区| 99热主页日本| 久婷婷五月天影院| 五月丁香六月综合激情无码软件亮点 | 日韩三级视频一区二区| 九九热视频免费的| 日韩免费视频| 天天草天天舔| 777精品久无码人妻蜜桃| 五月婷婷天堂| 天天久久狠狠色综合| 91久久九九| 人人天堂操| 丁香五月电影| 婷婷的99视频网站| 97干欧美| 色欲五月婷婷| 大香蕉久久久| 99久久99久久| 1区2区视频| 一起操最新网址| 5月丁香综合网| 色色五月婷| 婷五月天六| 亚洲综合狠狠艹| 国产毛片欧美毛片久久久| www.久久99| 五月婷婷激情综合| 九九综合网色全集| 婷婷色五天| 在线成人国产| 思思精品视频| 欧美日韩国产一区二区| 成人在线日韩欧美| 91黄址| 色色色热| 色综合激情| 2020日日干| 91刘玥视频在线观看| 天天视频亚洲| 久久精品噜噜噜成人A∨色欲| 午夜色丁香| 蒲京久久无码视频| 丁香五月六月综合欧美| 欧美人人女女精品综合五月天| 色综合色综合色综合| 九九一区| 有哪些A片网站| 九九色情网站| 99在线精品在线视频| 综合色图婷婷| 九九热经典视频在线观看| 五月天丁香婷婷视频网址| 五月婷婷 六月丁香| 国产毛多水多女人A片| 婷婷五月天色综合翘| 日韩成人免费电影| 伊人婷婷色激情丁香| 综合久久五| 丁香五月婷婷在线视频| 色九月国产| 五月天开心网| 五月色综合| 无码任你操| 亚州激情网| 色综合久| 人人看人人摸人人| 一操久久| 五月天婷婷激情小说电影| 91久久久久久久久久久| 亚洲V国产V欧美V久久久久久| 都市激情久久| 日本不卡高字幕在线2019| 丁香六月毛片| 天天综合91入口| 99超级碰碰| 91精品在线看| 八戒青柠影视剧在线观看| 五月婷婷香蕉| 婷婷自拍| 99热只有这里有精品| 深爱五月婷婷开心中文字幕| 成人AV片播放| 久青操| 中文字幕在线日亚洲9| 五月天六月色| 九九精品在线网| 91久久免费| 伊人久久大香网| www.激情五月天。com| 久久久久婷婷| 很操日本7| 国模狼狼| 亚洲激情网| 97丁香五月天| 久久久27操| 五月色网| 日本激情五月| 99re免费精品视频| 天堂无码人妻精品AV一区| 97韩国久久电影院| 色婷婷综合久久久久| 婷婷丁香久久| 婷婷丁香五月亚洲17cao| 91成人电影| 日韩啪啪视频| 五月色综合网| 五月丁香综合激情在线观看| 青青久久五月天丁香婷婷| 伊人网啪啪| 黄色大片又大粗又爽| 野战J办公桌椅H| 日韩AAAAAAAAAAA片| 婷婷的久久网站| 日本欧美成人片AAAA| 狠狠干综合网| 天天狠狠夜夜狠狠2023| 91 影音先锋| 99热每日| 嫩草哈哈操| 另类少妇人与禽zOZZ0性伦| 精品夜夜澡人妻无码AV| 亚洲成人无码网站| 99热这里只有精品4| 嫩草综合网| 综合久久高清| 亚洲中文无码成人| 色亚洲视频| 操逼六区| 久久婷婷激情| 97涩婷婷婷婷基地| 狠狠色婷婷7777久| 野战毛片三一3| 亚洲色爱综合| 丁香五月六月婷婷殴美综合| 国产亚洲精品久久久久久久久动漫| 久久久婷婷五月亚洲97号色| 思思99精品视频在线观看| 丁香激情五月天| 五月丁香天堂网| 久久五月激情| 99色最新在线视频| 啪啪激情网| 亚洲成人无码专区| 色婷婷激情| 狠狠色 综合色区| 久久综合中文| WWW·色色色·COM| 成人久碰| 国产古装妇女野外A片| 五月天婷婷影院影院观看| 五月香婷婷| 色播色丁香五月| 综合激情五月丁香| 丝袜大香蕉| 淑女丝袜bi操逼123| 操笔无码| 中文字幕成人| 人妻久热| 婷五月天丁香婷五月| 亚洲色综合| av在线免费网站| 成 久久| 婷婷久月| 99热在线精品播放| 操婷婷久久| 俺也去五月婷婷丁| 国产FREESEXVIDEOS性中国| 欧美激情综合色综合啪啪五月| 26UUU精品一区二区Com| 五月婷婷六月丁香激情综合网| 亚洲AV中文在线| 丁香婷婷综合影院| 色五月丁香A欧美com| 午夜丁香| 91狠狠色色丁香婷婷综合久久| 日日做夜夜爱| 欧美综合在线五月天色婷婷| 亚洲综合新99视频| 久思思热视频在线观看| pom538精品视频| 爱草视频在线观看| 五月亚洲| 超碰AV成人| 久久婷婷午夜| 亚洲乱码日产精品BD| 婷婷丁香五月综合| 99自拍视频在线观看| 99re这里只有| 久久色亭亭五月天| 五月婷啪啪| 激情五月小说婷婷| 丁香五月婷婷激情蜜桃| 欧美丁香婷婷五月天| 色五月色综合| 中文国产五月天| 九九亚洲小视频| 开心五月丁香综合久久| 午夜九九电影| 婷婷五月天成人基地| 六月丁香婷婷尤物| 99热这里只有精品一区| 婷婷丁香综合| 丁香五月激情婷婷婷婷在线观看| 熟女激情五月天 | 97碰在线视频| 99精品在线观看| 精品激情| 丁香六月天婷婷在线| 五月丁香六月婷婷精品| 性 色 婷婷| 天天色情站| 六月婷婷成人| 午夜爱爱爱成人| 综合狠狠五月婷婷| www.狠狠干com| 91久久婷婷人人澡草| 久色五月| 婷婷丁香五月网| 99热这里只有精品9| 五月婷色激情五月| 99色 | 五月天成人综合| 国产综合色婷婷精品久久| 伊人色综合影院视频| 久久婷狠狠色| 五月婷婷激情刺激| 99热这里只有精品13| 26UUU精品一区二区c〇m| 免费试看小视频 99| 噜噜噜精品欧美成人在线观看| 色五月视频,小说| 噜噜色com| 99精品热| 99热这里只有精彩| 成人精品视频99在线观看免费| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 夜夜资源站| 五月天久久久| AA片在线观看视频在线播放 | 成人av中文字幕| 99超级碰免费视频| 日本色色色色色色色色一色二色| 日韩无码亚欧无码| 91婷婷丁香| 九九视频免费| 久久思思热视频| 九九热只有精品| 激情丁香五月天图片| 99这里有精品| 九久9精品| 激情性爱五月天网页| www.韩日视频| 亚洲色碰| 思思热久久爱| 色色色99| 中文成人在线| 熟女91九色| 开心婷婷五月天综合| 久久午夜理论| 操日视频| 情欲禁地| 亚洲人妻Av| 色色自拍视频网站| 99热这里只有精品一区| 婷婷的久久网站| 丁香五月婷婷基地| www.com亚洲网站在线免费| 天天色播| 99国产这里只有精品| 丁香九月综合| 久久五月天激情| 一二区成人电影| 五月天色婷好好| 天天摸夜夜夜| 日日干天天| 91日在线视频| www.久久| 噜噜色噜噜网| 婷婷成人基地| 9久久婷婷国产综合精品性色| 妻久久久久| 丁香婷婷影院| 麻豆AV一区二区三区| 超碰高清在线| 99re热久久| 91九色精品| 亚洲国产精品二二三三区| 久久狠婷婷| 热久久思思热思思| 亚州操操| 一片AV片免费播放| 丁香六月亚洲| 国产成人99久久亚洲综合精品| 97搞在线| 天天天操天天天爰| 成人网址在线观看| 综合九九久久| 五月丁香啪啪综合网| 99自拍视频| 97色碰碰公开视频| 人人色AV| 丁香色色网| 香蕉网久久| 思思色综合网站| 亚洲愉拍99热成人精品| 2050人人操免费工开爱 | 9久久精品| 99九精品| 五月天社区狠狠| 色吧综合网| 色五月婷婷91| 婷婷婷婷婷婷婷五月丁香| 操操碰| 激情久久久久久久久久| 毛片毛片毛片毛片| 北条麻妃九九九国产精品视频| 久久久网站| 欧美日本另类| 欧州婷婷五月天综合| 婷婷激情中文综合| 九九久久五月天| 操操熟女| 日本操逼九九九九58日本操逼| 久操操| 91色综合| 色玖玖综合网| 99熟女啪啪视频| 亚洲欧州色情在线观看| 免费看成人AA片无码视频吃奶| 久色网址| 久热综合| 激情99| 色婷婷五月视频| 三级av在线| 色色成人網| 色色色色色色色色网站| 六月丁香停| 九九这里都是精品| 91男人操女人视频| 能看的av片| 天天干天天拍| 天天日夜夜高潮| 欧洲亚洲精品| 思思热国产视频| 久久综合五月天| www.99热精品99.com| 丁香五月中文字幕久色| 20253AV| 丁香五月98| 天天干,夜夜爽| 丁香婷婷激情综合五月激情| 色99在线观看| 9 1超碰九色| www.婷婷.com| a九九热www| 在线观看免费狠狠色丁香香综合| 五月婷婷综合影院| 丁香五月综合激情啪啪| 九洲一级A片| 久久婷婷人人| 婷婷激情性爱| 人妻无码精品一区| 婷婷五月天伊人在线| AVDV久久| 色综天天综合| 丁香五月婷婷姐| 婷婷综合五月| 啪啪婷婷五月天激情| 色五月av| 好好日激情五月天| 99噜噜噜在线播放| 五月激情婷婷色| 亚洲国产精品VA在线看黑人| 青草激情在线| 五月丁香A∨在线| 婷婷丁香五月色| Caop在线| 丁香五月婷婷啪啪| 六月综和久久| 野战J办公桌椅H| 婷婷五月偷拍| 成人啪啪色婷婷久| 99自拍视频在线| 色综合久久88色综合天天99| 婷婷网五月天| 69午夜成人影片| 99九九这里有免费视频| 五月六月伦理| 伦乱天堂| 五月丁香久久| 另类视频丁香五月| 婷婷丁香综合| 香蕉久久国产AV一区二区| 99久久免费性爱视频`| 99热这里都是精品| 思思热久久久在线| 五月天天综合| 99热免费| 婷婷五月图片小说网| 97人妻碰碰碰碰碰久久久久久| 丁香九月综合激情| 婷婷丁香五月av| 艳妇野外情欲放荡HD| 久久色这里只有精品| 国产肏屄大片| 六月色婷婷| 天天综合亚洲综合| 六月丁香婷婷色狠狠久久| 大香蕉伊人久久| 欧美99热| 婷婷久久在线| 99久视频| 欧美久久婷婷| 激情综合区| 极品人妻VIDEOSSS人妻| 久久久久久五月天| 91色五月| 婷婷丁香18| 综合色影院| 99热99在线| 色婷婷成人色网| 婷婷激情人妻| 丁香五月天欧美| 丁香五月婷婷婷桃花影院| 91久久婷婷| 婷婷免费无视频| 激情亭亭五月| 欧美黑人巨大性生话| 99思思热只有在这里看| 99精品久久久久久久| 可以看的av| 免费观看的婷婷五月视频在线| 丁香五月天网站| 成人综合视频网址| 色色色五月婷婷| 国产丁香五月天婷婷| 色婷亚洲五月丁香| 无码少妇高潮喷水A片免费| 丁香六月欧美| 色97综合婷婷天天色| 狠狠色丁香婷婷| 五月天色综合| 亚洲色 视频| 91久久婷婷| 99精品九九| 激情五月婷婷五月| 九九精品免费| 五月丁香六月婷婷亚洲激情综合| 色综合久久88色综合天天看| 五月婷婷操操| 婷婷伊人五月天| 丁香婷婷色五月| 久久机热这里只有精品免费视频| 色五月婷婷青娱乐| 国产精品99久久久久久久女警| 亚洲欧美丁香五月天亚洲欧美| 婷婷激情综合无月| 国产熟女一区二区三区五月婷| 香蕉影院色| 色五月丁香婷婷| 日本色爽| anquye五月| 97色色色色| 久xxxx| 无码激情AAAAA片-区区| 久久久91| 婷婷综合在线| 色婷五月| 丁香六月中文| 2015好吊操| 激情九九六月激情免费视频| 大鸡巴伊人网| 日本欧美成人片AAAA| 深夜男女福利刺激影院一区| 天天干电影| 中文字幕性爱丰满| 五月天激情在线视频| 97视频.干com| 99视频网址| 东北熟女高潮99综合99| 日本色色色色色色色色一色二色| 天天舔天天爽| 五月激情视频| 婷婷五月香蕉| 婷婷五月在线视频| 五月婷天天搞视频| 色婷婷a三区麻| WWW.五月天9999| 五月丁香婷中文| av最新在线| 婷婷9月天| 婷婷五月花| 亚洲午夜av| 色色色色综合网| 天天影院色| 丁香五月婷婷色偷偷| 天天插天天很| 亚洲中文无码成人| 激情六月下句是什么| 婷婷久久亚洲| 欧洲亚洲免费视频9 | 猫咪伊人久久| 91热网址| 激情综合色婷婷啪啪六月天| 色综合五月| 熟女激情五月天| 欧美激情凹凸丁香网| 五月开心婷婷| 婷婷伊人久久综合| 丁香欧美| 久久久久久丁香五月| 天天日天天操天天干| 在线综合婷婷| www 五月天 com| 激情五婷精品网在线观看网址| 亚洲综合激情五月久久| 99视频色在线观看| 色婷婷久久综合久色| 丁香五月激情六月欧亚激情综合导航 | 99热手机在线精品| 色色色综合网| 五月婷婷丁香大陆免费| 操操天堂| 夜夜撸天天操| 久久性爱视频| 色色a| 婷婷精品| 亚洲妇女熟BBW| 久久综合婷婷激情| 99色在线观看视频者| 在线观看视频1区| 婷婷五月激情综合网| 色婷婷中文| 九九伦子片| 天天射色五月天| 超碰人人99| 九九精品综合| 丁香婷最新动态| 激情的五月婷婷蜜桃| 五月激情综合激情五月| 丁香网五月网| 深爱激情六月天| 99这里都是精品| 色色色国产| 色99在线视频| 激情五月天综合网| 99精品综合| 六月婷婷青青青视频| 九九综合网色全集 | 色情五月丁香| 精品国产乱码久久久久夜深人妻| 天天综合天综合久久网| 亚洲av无码精品色午夜| 在线中文av| 六月婷婷俺也去| 日韩精品色| 天天日,天天干,天天操| 久久作爱| 欧美日韩成人| 亚洲色图欧美色图日本视频| 99丁香五月婷婷在线| 色三级色三级| 狠狠色情婷婷| 草综合14| 性色五月天| 超碰免费人| 新激情综合| 国产一级片| anquye伊人| 五月婷导航| 色婷婷88| 国产成人精品123区免费视频| 婷婷婷久久| 色婷婷免费视频| 都市激情五月婷婷综合| 噜噜网免费视频| 婷婷五月天影院| 99ER热精品视频| 丁香久久九九99| 六月丁香婷婷五月天| 99久久综合精品五月天| 琪琪色五月天| 久久怡红院| 99热在线播放精品| 97福利视频| www.俺去也com| 久久五月天视频| 久久激情视频| 色噜久| 五月婷婷伦理| 婷婷激情综合| 国产高潮A片羞羞视频涩涩| 99在线播放| 九九热这里只有精品首页| 久久色这里只有精品| 久久婷婷六月综合| 超碰丁香五月| 色播播之激情五月婷婷| 91色噜噜狠狠狠狠色综合| 99在线精品免费视频| 中文字幕在线视频播放| AV九九| 丁香六月婷婷激情| 成人日韩欧美| 色婷婷久久综| 六月丁香婷婷在线波多| 97人人干| 五月天大香蕉AV| 五月天六月天| 91久久| 操人妻视频91| www.99热| 婷婷丁香五月色偷偷| 激情五月天无码| 色香蕉影院| 91主播在线| 九九热这里有精品23| h在线看免费版在线看| 亚洲人妻av| 色色色五月| 五月丁香六月婷婷中合网| 五月婷婷人人人操| 色综合久久8| 五月婷婷久久内射| 天天插天天插天天插天天插| 婷婷性爱视频在线| 日日操日日射| 99久视频| 爆乳熟妇一区二区三区爆乳照片| 五月婷婷网五月在线| 99热国产免费| 99超级碰碰| 亚洲精品激情| 天天干人人奸97| 黄色五月婷婷| 天天天天干| 五月婷婷性爱网| 激情伊人五月婷婷久久| 久久精彩视频| 97精品欧美91久久久久久久| 五月激情影院| 丁香九色不卡aaa| 激情合网婷婷| 久草五月| 激情欧美婷婷| 久草天堂| 久久99久久99精品免观看粉| 一本久道综合色婷婷五月| 97干干干丁香| 激情网 五月天| 99久热| 超碰在线人人| 五月丁香激情四射| 亚洲熟女乱色综合亚洲网站| 国产密乳av一区二区三区四区| 九月婷婷在线视频| 日在线V视频在线播放| 五月丁香六月激情综合| 亚洲精品亚洲人成人网| 婷婷久久久久| 伊人婷婷大香蕉| 婷婷娌伦网| 色情五月天导航| 五月天影院| 激情五月丁香五月色| 丁香五月视频在线观看| 影音先锋女人AA鲁色资源| 美女va| 亚洲天堂99| 99久久精彩视频。| 久久婷色| 色婷婷在线播放| 99热日韩| 国产免费一区二区在线A片视频| 狠狠久久婷五月| 五月丁香网站| 色吧五月婷婷| www.99婷婷| 综合网色| 色色五月婷| 婷婷开心激情| 激情五月天在线观看色婷婷| 激情五月天婷婷| AAAA亚洲| 做爰丰满少妇1313| 色色aⅤ網| 久久六月婷婷| 99在线精品免费视频| 色丁香五月婷婷| 一级无码作爱片| 婷婷五月丁香在线视频| 超碰无码318604| 欧美性色视频| 久久永久视频| 日日操夜夜爽| 五月青青草综合| 精品一二三区久久AAA片| 伊人婷婷激情| 五月婷婷先锋| 色欲午夜无码久久久久久张津瑜| 日韩操逼大片| 五月天激情久久| 激情婷婷综合| 玖玖婷婷色欲| 伊人狠狠干| 日韩AV一区二区三区| 六月丁香中文字幕| 丁香五月婷婷六月婷婷| 人妻熟人中文字幕一区二区| 亚洲激情精品| 婷婷色操| 欧美日韩成人在线| 色情五月天首页| 伊人成综合五月婷婷| 久久五月婷婷丁香| 第四色婷婷日本| 无码免费人妻A片AAA毛片西瓜 | 99原创自拍视频在线观看| 五月丁香婷婷潮喷中文字幕| 超碰国产AV| 欧美人妻一区二区| 五月丁香999| 亚洲成人日韩无码精品| 影音先锋91| WWW·天天操·视频?| 五月婷婷六月激情| 丁香五月六月婷婷综合| 激情欧美婷婷| 大香焦A∨| 超碰在线综合| 97色色色视屏| 久久九九激情五月天 | 99亚洲精美视频在线观看| 99精品久久| 玖玖精品视频99| 色综啪啪啪啪啪啪| 黄色AV日韩| 五月的丁香六月的婷婷| 久久国产AV| 天天干天天干天天干天天干天天干| 97干婷婷五月天| 99久久.www| 色情五月丁香| 99精品免费欧美小视频| 大香蕉啪啪| 国产高清av黄色看片| 五月天婷婷成人网| 26uuu美女三级视频| 九九热精品| 99在线观看视频免费| 丁香五月停停av| 超碰在线精品| 色宗合久久五月婷婷| 五月丁香六月婷婷久久肏| 日产精品一线二线三线芒果| 久久激情五月婷婷| 久久99热这里只有| 久久九九一區| 五月天婷婷色色| 五月丁香激情综合久久| 欧美色色色色色色色色色色影视| 色原狠狠综合| 99激情| 国产激情综合五月久久| 天天爽天天日人人爱 | 久久一热| 丁香五月天色综合| 亭亭五月基地在线| 色爆五月| 97久久久| 懂色AⅤ| 婷婷丁香69精华| 综合精品啪啪| 狠狠精品干练久久久无码中文字幕 | 丁香五月成人av| 婷婷丁香色五月亚洲| 丁香九色不卡aaa| 婷婷六月综合激情| 综合图片色色| tingtingzonghewang| 五月婷婷丁香综合| 日美三级| 成人做爰A片免费看视频 | 五月丁香六月婷婷精品| 日韩淑女人妻luan伦激情精品一区二 | 欧美激情VA永久在线播放| 日韩五月天婷婷| 色5月婷婷色| 日韩在线视频9色| 日日噜噜夜夜狠狠久久丁香五月| 综合图片色色| 五月综合婷婷久久在线| 久久九九网| 1769在线观看欧美国产| 影音先锋女人AA鲁色资源| 免费观看亚洲AV片| 婷婷天天婷婷天天澡| www,色中色| 五月天日日操夜夜操 | 丁香婷婷六月激情文学| 91热网址| 亚洲狠9| 国产伦亲子伦亲子视频观看| 超碰在线免费9| 丁香六月婷婷综合在线| 黄桃AV无码免费一区二区三区| 欧美三级欧美一级| 五月丁花六月丁香综合| 狠狠狠狠操| 激情五月天综合图片小说网站| 337p大胆噜噜噜噜噜91Av| 影音先锋91资源站| 婷婷WWW久久| 久久精品A片777777| 中文AV网| 九色视频91| 超碰在线观看9| 操你av| 激情久久五月网| 婷婷激情伍月网| 久草A片| 91人人网| 综合久久高清| 日韩成人电影Av| 日本偷拍九九九| 色九四色| 激情深爱五月天| 精品色色| 色噜噜狠狠色综无码久久合欧美| 99九九在线视频| 97热这里只有精品| 五月激情小说网| 久久色五月天激情小说| 丁香五月天啪啪激情综和网| 婷婷五六日| 26uuu淫色| 丁香五月综合久久八| 亚洲激情网| 色综合色| 婷婷成人综合| 激情小说五月天社区丁香 | 久久久大香蕉| 久久婷婷综合基地| 丁香大香蕉| 五月天丁香成人社| 丁香五月综合激情性爱| 夜色综合网| www.9797国产| 日本色99| 色五月五月婷婷| 中文资源在线a | 婷婷欧美| 丁香五月婷婷基地| 91日日日| 成人视屏在线观看| 玖玖在线视频| 久热这里只有精品99re| 这里只有精品久久| 桃色五月天| 97天堂| 国产精品国产成人国产三级| 成人午夜天| 色婷婷香蕉在线| 超碰97在线观看免费| 色婷婷av综合网| 卡视频1区2区| 日本一级大片| 久久3p| 99热精品在线播放| 六月丁香啪啪啪| 玖玖热视频| 婷婷六月色| 99国产精品白浆在线观看免费 | 天堂久久婷婷| 激情综合五月激情17| www.婷婷五月天啪啪| 色大综合| 日日夜夜婷婷| 国产97色在线| 五月丁香六月激情综合| 免费视频WWW在线观看网站| 久久婷婷五月天大香蕉| 激情婷婷五月综合| 色婷婷五月天成人网| www.婷婷,com| 丁香花五月天激情| 天天色综合色| 欧美成人网99网| 九九色热| 日本三级韩三级99久久| 午夜少妇在线观看视频| 五月婷婷香蕉视频| 丁香五月综合首页| 欧亚洲在线高清视频| 激情五月综合ì香亚洲| 婷婷丁香五月亚洲| 亚洲六月婷婷| 中文资源在线a| 99综合视频一体| 操草草草| 五月丁香婷婷久久| 色情五月丁香婷婷网| 玖玖资源网站最新站| 99热在线只有精品| 激情五月婷婷综合| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 五月天色五月| 色婷婷色99国产综合精品| 亚洲妇女熟BBW| 亚洲免费电影2| 91九色国产| 就爱干 在线| 五月丁香啪啪网| 亚洲热视频在线| 91丨九色丨国产| 丁香五月婷婷亚洲色图| 小视频在线亚洲| 天天色综网| 色婷婷狠狠| www.丁香黄色五月天人与| 国内精品99| 超碰在线看| 五月婷婷丁香色吧网| 五月久久婷婷丁香| 思思re最新视频| 99热天堂| 色五月婷婷久久爱| 五月婷婷综合在线视频小说| 婷婷天天色| 狠狠婷婷色| 激情图片99| 天天弄天天爽| 狠狠插狠狠操| 婷婷性爱| 色五月丁香五月婷婷五月成人网| 婷婷五月天国产传媒| 久操福利| 99国产精品白浆在线观看免费| 免费观看全黄做爰的视频| 色婷另类| 九九视频免费| 色爱亚洲| 狠狠色激情在线| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 99九九99九九九视频精品| 五月丁香六月激情综合啪啪| 五月天激情婷婷| 五月婷婷丁香| 粉嫩av懂色av蜜臀av熟妇| www91精品| 天天色天天日| 九九99精品视品| 校园激情 亚洲| 国产精品色情AAAAA片软件| 久色视频首页| www.色五月| 琪琪秋霞| 99热这里只有精品9| 五月激情四射婷婷丁香| 五月天婷婷久久视频| 国产 码在线成人网站| 一级黄色影片| 天天爽在线视频| 久久国产色| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 99re最新地址视频| 日本三级日本三级99| 天天 青草 制服丝袜 在线| 99ri在线视频| 亚洲精99| 日本欧美成人片AAAA| 99成人精品| 精品一二三区久久AAA片| 色 五月俺去也| 亚洲狠狠色丁香婷婷综合久久| 91小黄书网址在线观看| 综合色五月亭亭| 99re这里只有精品首页| 超碰97在线观看免费| www夜夜操wwwcon| 九热av| 人人看人人草人人摸| 在线播放 精品| 99热在线观看精品| 久久人操-久草婷婷-成人AV| 激情综合五月婷婷| 天天色99| 色婷网| 天天舔天天插天天爱| 婷婷综合在线| www.国产亚洲69ty.久久久久久久久久久久 | av在线免费播放| 色噜噜狠狠色综合AV兰草影视| 丁香五月影院| 婷婷欧美色| 精品影院| 丁香婷婷中文字幕| 婷婷丁香色性爱| 亚洲视频五区| 99 热| 这里只有精彩视频| 国产精品久久99| 在线理论片| 色综合色综合色综合| 九月婷婷综合网| 五月丁香六月香香蕉| 欧美在线视频99| 国产人妻777人伦精品HD| 久热a| 9精品国产在热久久| 成人va在线播放| 99精品在线观看视频| 日本丁香五月| 99色丁香婷婷综合网| 激情五月狠狠喔| 99精品视频偷拍| 综合五月丁香久久| 欧美成人AAA片一区国产精品| 五月婷婷在线播放| 久久久香| 人人操av| 婷婷开心青青草| 影音先锋男人AV资源站| 五月丁香影院| 亚洲视频a| 国产精产国品一二三在观看| 色五月丁香伊人五月| 婷婷五月综合社区| 五月色综合| 天天操天天操天天操天天操天天操天天操| 日韩AV在线免费观看| 久久婷婷七月丁香| ...婷婷国产成人亚洲日韩| 五月天婷婷色综合| 人人妻人人澡| 五月婷婷开心色伊人| 婷婷五月丁香四射| 狠狠爱婷婷丁香| 婷婷五月天改成什么了| 丁香五月婷婷老师网站| 99九九99九九九视频精彩| 热久久思思热思思| 欧美性生交XXXXX无码小说| 亚洲视色| 一级片sese片.COM| 老司机视频lsj爱就色| www.久久久久久久| 99色播| 97亚洲婷婷| 狠狠狠狠狠| 久久精品视频在这里有| 久久综合九九| 欧美一级a | 涩综合网| 99视频精品8 | 无码99| 色亚洲欧洲| 五月天激情国产综合婷婷婷就去爱| 久久无码成人| 婷婷香五月天| 五月丁香日本片| 婷婷激情五月天桃花网| 婷婷综合激情| 99日韩网站| 99在线热| 婷婷激情六月中文| 久久伊人大香蕉| 五月丁香花激情综合网| 成人一级片| 丁香婷婷激情网站| 免费黄色片子| 丁香综合网| 91超级碰碰碰| 玖玖热99| 丁香五月婷婷基地| 日日爽夜夜爽| 五月婷婷中文网| 在线综合91| 影音先锋女人AA鲁色资源| 久久五月天网| www.思思99热| 99爽视频| 九月婷婷综合在线| 欧美色色色| 五月婷婷激情五月| 色婷婷在线视频久| www.日本91| 亚洲欧美日韩VIP| 婷婷九月| 激情久久综合网| 中文字幕婷婷五月天| 国产99久9在线| 天天色综网| 日日夜夜婷婷| 狠狠色噜噜色狠狠狠综合久久成人波 | 99热久草| 99情色五月天| 九九亚洲视频| 婷婷色正月| 综合久久99| 丁香五月婷婷影院| 激情深爱五月天| 99热激情| 九九热短视频在线观看| 国产五月丁香在线| 色色九九五月天 | 综合激情啪啪| 婷婷五月综合久久中文字幕| 欧美情色一区| 日日日日日| 國語久久婷| 岛国AV网| 日日干夜夜撸夜夜骑| 色五月婷婷久久| 另类视屏| 天天综合精品| 婷婷色在线播放| 婷婷开心五月| 国产99视频永久免费| 综合五月草| 吊色AV男人的天堂| 色色五月综合| 超碰婷婷五月| 风流少妇A片一区二区蜜桃| 四色99久久| 丁香九月婷婷综合| 五月第四色| 丁香五月六月激情| 丁香五月婷婷性爱| site:hcxsz888.com| 色色丁香五月| 97sese婷婷| 欧美色图片88| 亚洲欧洲中文日韩久久AV乱码| 五月天桃色深爱网| 超碰免费成人| 激情五月五月婷婷| 华人在线免费| 伊人婷婷五月天av| 9999热精品在线免费播放| 99色在线视频观看| 色综合激情| www.婷婷.com| 九九综合色综合| 亚洲九九婷婷| 一本九九色| 日本激情综合| 日本美女97在线视频| 中文字幕按摩做爰| 伊人久久艹| 人人播| 99思思| 99婷婷| 中文AV在线播放| 夜夜大香蕉婷婷丁香| 九九综合| 免费观看大片视频 丁香婷婷 六月欧美| 色婷婷五月天在线| 婷婷5月开心6月| 国产在线6| ri电影在线| 亚洲成人色五月天| 丁香香五月激情免费视频| 国产 亚洲 在线| 99无码超碰| 97碰碰人人| 在线播放中文字幕| 毛片新网地| 五月丁香激情四射| www.久9| 伦99热| 91婷婷在线观看| 五月丁香久久呀| 九九热青青草| 天堂亚洲 在线| 大香蕉欧美在线| 亚洲成人超碰| 操人精品| 99狠狠| 91九色国产在线| 91丨九色丨熟女丰满| 香蕉国产2013| 五月色色色| www九九| 丁香六月色婷婷欧美| 99热在这里只有免费精品| 深爱激情小说五月婷婷| 99热精品综合| 婷婷开心六月| 四月婷婷丁香五月| 99热只有| 伊人久久大香蕉网| 亚洲啪视频| 五月丁香婷婷基地| 日日操天天操|