欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

手寫Transformer核心模塊:從零實現(xiàn)Linear、Embedding與反向傳播

手寫Transformer核心模塊:從零實現(xiàn)Linear、Embedding與反向傳播 這次我們來看一項很多人學完 Transformer 但依然沒完全搞懂的事情不只是會調用nn.Transformer而是親手把 Linear Layer、Embedding Layer、參數(shù)初始化和反向傳播全部實現(xiàn)出來。本文對應的場景是 Stanford CS 336 3.3也就是在課程作業(yè)中要求用最樸素的 PyTorch 張量操作搭建語言模型組件并通過梯度檢查驗證手寫反向傳播的正確性。標題里的四個關鍵詞其實就對應了 Transformer 落地中四個最容易翻車的點參數(shù)初始化決定模型能不能收斂反向傳播決定你寫的網(wǎng)絡是不是真的“能學”Linear Layer 是所有前饋計算的地基Embedding Layer 則承擔著離散 token 到連續(xù)向量的映射。如果這幾個模塊只是靠nn.Linear和nn.Embedding一帶而過那遇到 loss 不降、梯度 NaN、維度對不上這類問題的時候往往只能瞎猜。自己手拼一遍之后很多報錯一眼就能看出問題。這篇文章會從零實現(xiàn)一個可訓練的最小 Transformer包含前向傳播、手寫 backward、參數(shù)初始化、梯度驗證最后在一個小模型上完成端到端訓練測試。全程使用 CPU 即可運行不依賴 GPU也不需要下載任何預訓練權重。適合正在啃 Transformer 源碼、準備算法面試、或者做課程作業(yè)時想把原理徹底吃透的讀者。1. 核心能力速覽先把這篇文章涉及的技術目標和運行約束講清楚。下面的表格不是項目 README而是你讀完這篇文章后應該具備的“能力驗收清單”。能力項說明項目類型從零手寫 Transformer 核心模塊的教學實現(xiàn)來源Stanford CS 336 Language Modeling 課程 3.3 小節(jié)主題核心模塊Linear Layer、Embedding Layer、LayerNorm、參數(shù)初始化、手寫反向傳播技術棧Python 3.9、PyTorch 2.x、NumPy 可選運行方式本地腳本運行支持 Jupyter Notebook硬件要求CPU 可跑顯存不是必需是否依賴 nn.Linear不依賴手動實現(xiàn) forward/backward是否依賴 nn.Embedding不依賴手動實現(xiàn)查表與梯度回傳反向傳播方式手動推導并實現(xiàn)通過 torch.autograd.gradcheck 驗證驗證方式形狀測試、梯度對比、小模型端到端 loss 下降適合人群學習 Transformer 原理、面試準備、課程作業(yè)、源碼閱讀從表格可以看出這是一篇“先別用庫、先把原理跑通”的教程。它的核心產(chǎn)出不是一個大而全的訓練框架而是一套你可以自己掌控每個張量形狀和每個梯度去向的最小實現(xiàn)。2. 適用場景與使用邊界手寫 Transformer 并不是為了讓 PyTorch 用戶拋棄官方 API。相反它適合在以下幾個場景里發(fā)揮作用第一課程作業(yè)或實驗報告。CS 336 這類課程的核心目標就是讓學生脫離高級封裝理解語言模型內(nèi)部到底發(fā)生了什么。自己實現(xiàn) Linear、Embedding、LayerNorm 之后再去看nn.TransformerEncoder的實現(xiàn)會明顯感覺到“圖層”不再是黑盒。第二算法面試準備。很多公司面試會問“Transformer 參數(shù)初始化為什么用 Xavier”“Embedding 梯度怎么回傳”“softmax 反向傳播的雅可比是什么”。這些問題的答案不親手寫一遍很難講得清楚。第三源碼閱讀和二次開發(fā)。當你想修改某一層的行為比如給 Attention 換成線性注意力或者把 LayerNorm 換成 RMSNorm如果只依賴高層 API往往不知道改哪里但手寫過底層模塊之后你能很快定位到具體實現(xiàn)位置。同時也要明確使用邊界。這套手寫代碼主要用于教學和原理驗證不推薦直接用于大規(guī)模訓練。手寫循環(huán)、GPU 算子融合、FlashAttention 這些工程優(yōu)化都不在范圍內(nèi)。如果目標是在生產(chǎn)環(huán)境訓練大模型應該直接使用成熟框架PyTorch 的nn.Transformer、Hugging Face 的transformers或者 Megatron-LM 等。另一個必須強調的是合規(guī)邊界。課程代碼、作業(yè)要求、課件內(nèi)容都有各自的版權和使用協(xié)議本文只講解通用技術原理和常見實踐不復制任何課程原始材料。訓練時不要使用未經(jīng)授權的數(shù)據(jù)、人臉信息、版權文本或用戶隱私數(shù)據(jù)盡量在本地構造的玩具數(shù)據(jù)集上驗證。3. 環(huán)境準備與前置條件手寫層不需要復雜環(huán)境。建議使用 Python 3.9 以上版本和 PyTorch 2.x安裝命令pip install torch numpy tqdm如果沒有 GPU直接用 CPU 跑小模型即可。這里的關鍵不是訓練速度而是驗證前向輸出形狀與反向傳播梯度是否正確。建議的工程目錄結構transformer_from_scratch/ ├── layers/ │ ├── __init__.py │ ├── linear.py │ ├── embedding.py │ ├── layernorm.py │ └── attention.py ├── init.py ├── model.py ├── train.py └── tests/ └── test_gradcheck.py這種按層拆分的結構能讓你在調試時只關心單個模塊而不會一次面對整個網(wǎng)絡。動手之前還需要確認三塊數(shù)學基礎矩陣乘法求導公式、鏈式法則、softmax 的雅可比矩陣。不需要研究得很深但至少要知道對于一個線性變換y x W從上層傳回的梯度dy應該分別回傳到dx和dW公式是dx dy W.T、dW x.T dy。后面所有代碼都建立在這條基本規(guī)則上。4. 從零實現(xiàn)核心模塊4.1 手寫 Linear LayerLinear Layer 是最基礎的計算單元公式很簡單y x W b。但參數(shù)初始化和梯度回傳是兩個容易被忽略的細節(jié)。第一個細節(jié)是參數(shù)初始化。下面用 Xavier 均勻初始化它的上下界是bound sqrt(6 / (fan_in fan_out))。這種初始化適合線性層和 tanh 激活函數(shù)能讓每層輸出的方差保持在一個合理范圍內(nèi)避免深層網(wǎng)絡時梯度消失或爆炸。第二個細節(jié)是反向傳播。除了dx要回傳給上一層還要計算dW和db供優(yōu)化器更新。這里有一個常見錯誤把dW寫成了grad_output.T x正確寫法是x.T grad_output。推導方法是對損失函數(shù)求 W 的偏導保持張量形狀對齊即可。import torch import math class LinearLayer: def __init__(self, in_features, out_features, biasTrue): self.in_features in_features self.out_features out_features self.bias bias # Xavier 均勻初始化 bound math.sqrt(6.0 / (in_features out_features)) self.W torch.empty(in_features, out_features).uniform_(-bound, bound) self.b torch.zeros(out_features) if bias else None def forward(self, x): self.x x out x self.W if self.b is not None: out out self.b return out def backward(self, grad_output): dx grad_output self.W.T dW self.x.T grad_output db grad_output.sum(dim0) if self.b is not None else None return dx, dW, db這段代碼最值得注意的地方是forward里保存了self.x。這是手寫反向傳播的基礎backward 需要用到前向時輸入的原始值。很多新手寫的反向傳播出錯不是因為公式推導錯而是因為前向沒有保存必要的中間變量。4.2 手寫 Embedding LayerEmbedding Layer 本質上是一個查表操作。輸入是 token id 序列輸出是形狀為[batch_size, seq_len, embedding_dim]的向量序列。它的反向傳播很有特點并不是所有 embedding 行都會被更新只有當前 batch 中實際被查到的 token 行才有梯度。實現(xiàn)方式是用torch.index_add_把梯度累加到對應的行上。class EmbeddingLayer: def __init__(self, num_embeddings, embedding_dim, init_scale0.1): self.num_embeddings num_embeddings self.embedding_dim embedding_dim # 常用做法均勻分布 [-init_scale, init_scale] self.E torch.empty(num_embeddings, embedding_dim) self.E.uniform_(-init_scale, init_scale) def forward(self, tokens): self.tokens tokens return self.E[tokens] def backward(self, grad_output): dE torch.zeros_like(self.E) # 把梯度累加到被查到的行上 dE.index_add_(0, self.tokens.flatten(), grad_output.flatten(0, 1)) return dE這里有一個工程細節(jié)index_add_是原地操作調用前必須確保dE是全零矩陣。如果同一個 token 在一句話中出現(xiàn)多次它的梯度會自然累加這也符合 embedding 反向傳播的定義。你不需要為它手動去重。4.3 參數(shù)初始化決定 Transformer 能不能收斂的隱藏開關參數(shù)初始化在 PyTorch 使用里常常被忽略因為nn.Linear已經(jīng)封裝好了默認初始化。但手寫模塊時每層初始化都必須自己處理。先看原始 Transformer 論文中的做法embedding 層使用均值 0、方差 1 的正態(tài)分布初始化之后乘以sqrt(d_model)。也就是說如果 embedding 矩陣初始化為N(0, 1)那么實際查表輸出要再乘一個sqrt(d_model)。這樣做的目的是讓輸入到 Attention 的向量范數(shù)不要太小避免 softmax 之前的所有點積都擠到極小值附近。GPT 風格的大模型通常采用更小的初始化方差例如N(0, 0.02)。原因很簡單模型層數(shù)越深殘差分支積累的隱狀態(tài)方差越大逐層用小方差初始化可以抑制這種累積。如果你在深層 Transformer 里發(fā)現(xiàn)訓練初期 logits 出現(xiàn) NaN或者 loss 長時間不下降首先排查初始化方差是否過大。下面給出一個簡單的參數(shù)初始化工具函數(shù)def init_linear_weight(W, modexavier): if mode xavier: fan_in, fan_out W.shape bound math.sqrt(6.0 / (fan_in fan_out)) W.uniform_(-bound, bound) elif mode gpt: nn.init.normal_(W, std0.02) else: raise ValueError(fUnknown init mode: {mode}) def init_embedding(E, d_model, modenormal): if mode normal: E.normal_(mean0.0, std1.0) E.mul_(math.sqrt(d_model)) elif mode uniform: scale 0.1 E.uniform_(-scale, scale) else: raise ValueError(fUnknown init mode: {mode})從實踐角度看訓練一個小模型時建議 Linear 層優(yōu)先用 Xavier 均勻初始化Embedding 層可以用uniform(-0.1, 0.1)這種比較保險的小范圍初始化。如果訓練不收斂再嘗試 GPT 風格的N(0, 0.02)并配合 warmup 學習率調度。4.4 手寫反向傳播并用 gradcheck 驗證手寫反向傳播最難的不是某一層的公式而是整個鏈路的梯度形狀。一個效率很高的驗證方式是用torch.autograd.gradcheck。它會用數(shù)值差分計算梯度再和你的手動 backward 梯度對比誤差在閾值內(nèi)就說明反向傳播正確。from torch.autograd import gradcheck torch.manual_seed(0) linear LinearLayer(64, 128) x torch.randn(2, 32, 64, requires_gradTrue, dtypetorch.float64) # 注意gradcheck 需要高精度通常使用 float64 linear.W linear.W.double() linear.b linear.b.double() output linear.forward(x) grad_output torch.randn_like(output) dx_manual, dW_manual, db_manual linear.backward(grad_output) # 用 autograd 計算參考梯度 output_double x.double() linear.W.double() linear.b.double() dx_auto torch.autograd.grad(output_double.sum(), x)[0] print(dx 誤差:, (dx_manual - dx_auto).abs().max().item())gradcheck函數(shù)更嚴格可以直接傳一個自定義函數(shù)def linear_forward_wrapper(W, b, x): return x W b linear_layer LinearLayer(16, 32) linear_layer.W linear_layer.W.double() linear_layer.b linear_layer.b.double() x torch.randn(4, 16, dtypetorch.float64, requires_gradTrue) W linear_layer.W.clone().requires_grad_(True) b linear_layer.b.clone().requires_grad_(True) check gradcheck( lambda w, b_: linear_forward_wrapper(w, b_, x), (W, b), eps1e-6, atol1e-5, ) print(gradcheck passed:, check)如果你是在課程作業(yè)里驗證反向傳播務必把所有參數(shù)和輸入都轉成float64。數(shù)值差分在float32下誤差會很大導致明明公式正確gradcheck卻報錯。4.5 LayerNorm 與殘差Transformer 穩(wěn)定訓練的第二道防線LayerNorm 在 Transformer 中負責把每一層的輸出拉回穩(wěn)定的數(shù)值范圍。手寫時可以直接使用簡化形式y(tǒng) (x - mean) / sqrt(var eps)反向傳播用一個更緊湊的公式class LayerNorm: def __init__(self, dim, eps1e-5): self.gamma torch.ones(dim) self.beta torch.zeros(dim) self.eps eps def forward(self, x): self.x x self.mean x.mean(dim-1, keepdimTrue) self.var x.var(dim-1, unbiasedFalse, keepdimTrue) self.x_hat (x - self.mean) / torch.sqrt(self.var self.eps) return self.gamma * self.x_hat self.beta def backward(self, grad_output): N self.x.shape[-1] dy grad_output * self.gamma dx (dy - dy.mean(dim-1, keepdimTrue) - self.x_hat * (dy * self.x_hat).mean(dim-1, keepdimTrue) ) / torch.sqrt(self.var self.eps) dgamma (grad_output * self.x_hat).sum(dim(0, 1)) dbeta grad_output.sum(dim(0, 1)) return dx, dgamma, dbeta這個反向公式的推導過程相當經(jīng)典。核心思路是歸一化操作同時依賴mean和var所以dx中必須包含dy.mean以及dy * x_hat的均值項。很多人手寫 LayerNorm 反向時少了一項導致gradcheck一直不過幾乎都是這個原因。殘差連接則是把輸入和子層輸出相加它的反向傳播不需要任何額外計算梯度在相加處直接“分叉”。實現(xiàn)時只要在 forward 里保存原始輸入即可。4.6 組裝一個最小 Transformer Block有了 Linear、Embedding、LayerNorm 和殘差可以組裝一個最小 Transformer Block。這里為了控制篇幅Attention 部分不手寫 backward而是用 PyTorch 基礎算子實現(xiàn) forward反向交給 autograd。import torch import torch.nn.functional as F class MultiHeadAttention: def __init__(self, d_model, n_heads): self.d_model d_model self.n_heads n_heads self.head_dim d_model // n_heads self.Wq torch.empty(d_model, d_model) self.Wk torch.empty(d_model, d_model) self.Wv torch.empty(d_model, d_model) self.Wo torch.empty(d_model, d_model) for w in [self.Wq, self.Wk, self.Wv, self.Wo]: nn.init.xavier_uniform_(w) def forward(self, x): B, T, D x.shape q x self.Wq k x self.Wk v x self.Wv q q.view(B, T, self.n_heads, self.head_dim).transpose(1, 2) k k.view(B, T, self.n_heads, self.head_dim).transpose(1, 2) v v.view(B, T, self.n_heads, self.head_dim).transpose(1, 2) scores q k.transpose(-2, -1) / (self.head_dim ** 0.5) attn torch.softmax(scores, dim-1) out attn v out out.transpose(1, 2).reshape(B, T, D) return out self.Wo這里的關鍵知識點是縮放因子。Attention 公式里scores q k.T / sqrt(d_head)不能省略。如果不做縮放點積結果會隨著d_head增大而變大softmax 會進入飽和區(qū)梯度接近 0訓練會非常慢。5. 功能測試與效果驗證5.1 測試 Linear 前向形狀第一個測試很簡單確認輸出形狀正確。torch.manual_seed(0) linear LinearLayer(64, 128) x torch.randn(2, 32, 64) out linear.forward(x) print(Linear input shape:, x.shape) print(Linear output shape:, out.shape) # 期望輸出 (2, 32, 128)如果這里形狀不對問題幾乎一定出在W的定義方式上。W應該是(in_features, out_features)這樣x W才能把最后一維從 64 映射到 128。5.2 測試 Embedding 反向是否正確構造一個只有 0、1、2 三個 token 的序列驗證 embedding 各行的梯度。torch.manual_seed(0) embed EmbeddingLayer(num_embeddings3, embedding_dim8) tokens torch.tensor([[0, 1], [0, 2]]) out embed.forward(tokens) grad_output torch.randn_like(out) dE embed.backward(grad_output) print(dE shape:, dE.shape) print(dE row 0:, dE[0])判斷依據(jù)第 0 行梯度應該等于輸入中 token 0 對應位置梯度的累加。如果第 1 行或第 2 行也出現(xiàn)了不該有的梯度說明index_add_的索引寫錯了。5.3 用 gradcheck 驗證全部手寫層強烈建議給每個手寫層都寫一個 gradcheck。以 LinearLayer 為例用前文包裝函數(shù)方式驗證 W 和 b 的梯度EmbeddingLayer 則驗證 E 矩陣的梯度。def embedding_forward_wrapper(E, tokens): return E[tokens] E torch.randn(10, 16, dtypetorch.float64, requires_gradTrue) tokens torch.tensor([[1, 2, 3], [4, 5, 6]], dtypetorch.long) gradcheck_check gradcheck(embedding_forward_wrapper, (E, tokens)) print(Embedding gradcheck:, gradcheck_check)注意gradcheck要求輸入張量至少有一個是requires_gradTrue且所有浮點張量都建議使用float64。整數(shù) token 張量不需要梯度。5.4 端到端小模型訓練觀察 loss 是否下降這是最后一個驗證能證明整個鏈路從參數(shù)初始化到反向傳播都沒有大問題。import torch import torch.optim as optim torch.manual_seed(0) vocab_size 64 d_model 32 n_heads 4 block MultiHeadAttention(d_modeld_model, n_headsn_heads) embed EmbeddingLayer(vocab_size, d_model) x torch.randint(0, vocab_size, (2, 8)) y torch.randint(0, vocab_size, (2, 8)) optim_params [ {params: [block.Wq, block.Wk, block.Wv, block.Wo]}, {params: [embed.E]}, ] optimizer optim.Adam(optim_params, lr1e-3) loss_fn torch.nn.CrossEntropyLoss() for step in range(20): h embed.forward(x) h block.forward(h) logits h embed.E.T loss loss_fn(logits.view(-1, vocab_size), y.view(-1)) optimizer.zero_grad() # 這里故意用 autograd 計算整條鏈路梯度因為 MultiHeadAttention 沒有手寫 backward loss.backward() optimizer.step() if step % 5 0: print(step, step, loss, loss.item())這段代碼用到了一個取巧但合理的設計embedding 矩陣既負責查表也作為輸出投影矩陣。這種“共享嵌入”的寫法在 GPT 系列中很常見。更好的實現(xiàn)是單獨定義一個輸出 Linear 層但從教學角度看共享嵌入能顯著減少參數(shù)。判斷標準如果 loss 在 20 步內(nèi)明顯下降說明參數(shù)初始化、前向、反向、優(yōu)化器調度全部工作正常如果 loss 原地不動優(yōu)先檢查學習率是否太大或者太小其次檢查初始化方差。6. 從“手寫層”到“接口化調用”批量實驗與可復用設計這個項目沒有 HTTP API也不需要提供 Web 服務。但從工程化角度看你可以把自定義層設計成統(tǒng)一的“前向 反向”接口方便批量跑實驗。比如定義一個 BaseLayer 風格class BaseLayer: def forward(self, x): raise NotImplementedError def backward(self, grad_output): raise NotImplementedErrorLinearLayer、EmbeddingLayer、LayerNorm 都繼承這個接口這樣在訓練循環(huán)里可以統(tǒng)一調度。批量實驗最常見的場景是掃描不同初始化模式對收斂速度的影響。可以寫一個小腳本init_modes [xavier, gpt, uniform] learning_rates [1e-4, 1e-3, 1e-2] for init_mode in init_modes: for lr in learning_rates: model build_transformer(init_modeinit_mode) final_loss train_short(model, lrlr) print(init_mode, lr, final_loss)當你把“參數(shù)初始化”和“反向傳播”都變成可配置項之后就能系統(tǒng)性地觀察為什么 GPT 風格的小方差初始化在深層模型中表現(xiàn)更好為什么 Xavier 在淺層模型中已經(jīng)足夠。這種實驗往往比單純閱讀論文更有價值。如果你確實想把模塊暴露成服務也可以額外包一層 FastAPI但這屬于教學項目之外的擴展不推薦在原理學習階段引入。7. 資源占用與性能觀察手寫模塊的最大問題是性能遠低于 PyTorch 原生算子。因為這里為了教學把 forward 和 backward 的中間張量都保存在內(nèi)存中也沒有做算子融合。如果是大型模型訓練這種寫法會占用大量顯存。觀察資源使用可以這樣寫import time import psutil x torch.randn(4, 128, 256) linear LinearLayer(256, 256) # warmup linear.forward(x) t0 time.time() for _ in range(10): out linear.forward(x) _, _, _ linear.backward(torch.randn_like(out)) t1 time.time() print(平均耗時:, (t1 - t0) / 10) mem psutil.Process().memory_info().rss / 1024 / 1024 print(當前內(nèi)存占用 MB:, mem)如果訓練時顯存不足有幾種通用降載方法減小 batch size減小序列長度降低 d_model 和 n_heads把不必要的中間變量從 forward 中移出例如 forward 結束后只保留反向需要用到的張量不保存完整 attention 矩陣對大模型訓練改用半精度或混合精度。從性能觀察的角度說手寫版的價值不在于快而在于你能清楚看到每個操作的時間和空間開銷。這也是理解后續(xù) FlashAttention 為什么要合并算子、減少訪存的起點。8. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案gradcheck 一直報錯沒有開啟 float64檢查輸入張量和參數(shù) dtype全部轉成torch.float64Linear 反向維度報錯dW寫成grad_output.T x打印x.shape、grad_output.shape改為x.T grad_outputEmbedding 梯度全部為 0查表后沒有保存 token 索引檢查forward是否保存self.tokens在 forward 中保存輸入 tokenloss 不下降學習率不合適或初始化方差太小打印梯度均值、方差調大 learning rate 或改用 GPT initloss 出現(xiàn) NaN初始化方差太大或 Attention 沒有縮放打印 logits 是否存在 inf使用sqrt(d_head)縮放減小初始化方差LayerNorm 反向公式缺項忘記處理 mean 和 var 的依賴用 gradcheck 定位使用包含dy.mean與dy*x_hat項的簡化公式Attention 維度 reshape 錯誤Q、K、V 的 view/transpose 順序不對打印q.shape、k.shape、scores.shape先 view 成[B, T, n_heads, head_dim]再 transpose 成[B, n_heads, T, head_dim]CPU 訓練太慢batch size / 序列長度偏大用 time 統(tǒng)計 forward/backward 耗時減小 batch size 和 seq_len從上表能看出手寫 Transformer 的大部分報錯都集中在維度形狀和梯度公式上。我的建議是遇到問題不要直接搜答案先打印梯度的 shape 和數(shù)值范圍往往能更快定位。9. 最佳實踐與使用建議寫手寫 Transformer 項目時有幾條通用的工程建議值得遵守。第一按層拆分文件。不要把所有自定義層堆在一個 Python 文件里。按linear.py、embedding.py、layernorm.py、attention.py拆分每層只做一件事調試時直接定位對應文件。第二每寫一層就立即驗證一層。不要等到所有模塊寫完了再驗證。驗證工具就是torch.autograd.gradcheck它比任何肉眼觀察都可靠。每層驗證通過之后再進入下一步。第三先跑最小配置。第一個實驗建議使用vocab_size64、d_model32、n_heads4、batch_size2、seq_len8。這么小的配置可以在幾秒內(nèi)完成完整訓練循環(huán)。如果最小配置都能跑通再逐步放大。第四保留一個 baseline 對照。用 PyTorch 官方nn.Linear、nn.Embedding或nn.TransformerEncoder實現(xiàn)同樣的網(wǎng)絡不斷對比前向輸出和梯度。這樣能快速排除“手寫層寫錯”和“訓練邏輯寫錯”兩類問題。第五模型文件、訓練代碼和測試代碼分目錄管理。避免把臨時調試代碼和正式代碼混在一起。如果你要批量跑初始化實驗建議加一個配置字典或者命令行參數(shù)。第六涉及真實數(shù)據(jù)時注意合規(guī)。本文教學項目只需要隨機 token 或自己構造的玩具數(shù)據(jù)不需要真實文本。如果后續(xù)擴展項目需要真實語料務必確認數(shù)據(jù)來源合法、授權完整不涉及個人隱私和版權內(nèi)容。10. 總結與下一步這個手寫項目最值得驗證的功能就是“參數(shù)初始化 手寫反向傳播”的組合。你先跑通一層 Linear 的 gradcheck再試一個最小 Transformer 的 loss 下降就會理解為什么Transformer的每一層都需要精心設計梯度通路。最容易踩的坑有三個Linear 反向里dW的維度順序、LayerNorm 反向里缺少歸一化依賴項、Attention 里的縮放因子。這三個坑只要踩過一個以后再看到類似報錯就會很敏感。下一步建議做三件事第一給 MultiHeadAttention 也實現(xiàn)手寫 backward完整覆蓋所有模塊第二加入 causal mask讓 Attention 只能看到當前位置之前的 token變成一個真正的自回歸語言模型第三把學到的參數(shù)初始化經(jīng)驗搬到一個小型文本數(shù)據(jù)集上觀察 loss 曲線在不同 init 和 learning rate 下的表現(xiàn)。做完這三步你對 Transformer 的掌握就不再停留在“會用層”的層面而是真正進入了“能寫層”的階段。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97碰碰人人| 久久激情五月| 久久久久亚洲AV无码网影音先锋| 激情五月天综合网| 天天射美女| 爆乳熟妇一区二区三区爆乳| 91热久久| 香蕉婷婷色五月| 这里只有精品99视频| 在线五月婷婷小电影| 久久伊人大香蕉| 综合久久婷婷| 99爱在线| 色射婷婷五月天| 色婷婷六月天在线| 久久精彩综合视频| 九九热视频首页/这里只有精品| 六月丁香婷婷拍拍| 中文字幕 久久9999| 天天色综合网吨吧| 这里只有精品视频| 色五月综合在线| 色五月欧美| 久操大香蕉| 99色视频| 久久久日韩特色特黄AAAA| 操操操97| 91精品久| 色色色色色色色色色色色色色97| 九九成人精品免费视频| 久久婷婷操| 久久久久久丁香五月| 天天激情| 欧美日韩成人高清在线| 久久九九色| 99re在线播放| 欧美日本99| 亚洲AV无码成人精品区电影网| 五月丁香久久综合色| 五月丁香啪啪综合网| 97久久视频| 五月丁香婷婷色| 激情com| 久久老码第一| 色丁香影院| 天天色天天日天天舔| 精品久久9| 狠狠干天天日| 五月丁香亭亭A片| 婷婷九色| 深夜婷婷五月丁香| 99热这里只有精品青草| 99综合视频一体| 99久久婷婷| 狠狠爱深色婷婷综合| 九九九AAA热视频| 我去色色网五雨天| 99热精品网| 五月婷AV| 综合色色网| 99色色| 五月丁香婷婷激情图片| 色五月成人| 情欲综合网| 99热免| 91久久精品无码一区二区三区| 婷婷激情小说| 亚洲av成人一区二区电影在线| 亚洲成人网站在线播放| 五月天成人在线精品| 色女伊人| 日日干日日| 26uuu成人网| www99在线观看视频| 操笔无码| 丁香五月av| 亚洲操操操| 久久大国产香蕉| 亚洲无码黄色| 桃色伊人在线| 天堂久久婷婷| 色青青电影色五月| 欧美噜噜噜草| 色婷婷精品| 日本色色图| 激情久久伊人| 日本一级一级一级一级| 直接看的AV| 99热免费精品| 欧美69色| 五月花成人网| 翔田千里 50岁 无码| 国产精产国品一二三在观看| 婷婷99狠狠躁天天躁中| 丁香六月婷婷姐网| 在线播放中文字幕| 大香蕉大香蕉在线影院| 在线A色| 久久五月丁香婷婷| 丁香五月婷婷高清| 久久av电影| 天天肏高清在线| 香蕉久久国产AV一区二区| 超碰永久在线| 五月天激情网图片 - 百度| 亚洲美女网Va| 日韩黄色中文字幕| 欧亚色色| 五月天丁香成人| 欧美激情综合五月色丁香| 日本在线视频播放91| 亚洲婷婷丁香五月天激情小说| 婷婷五月色激情欧美激情| 99这里只有精品| 九九精品热播| 五月婷婷亞洲中文| 免费看欧美成人A片无码| 狠狠狠狠狠狠色| 色噜噜在线| 色情五月婷婷| 亚洲在线视频321| 亚洲五月婷天天操| 青草五月天| 亚洲AV无码成人精品区电影网| 大香蕉久久伊人婷婷五月丁香| 激情伊人五月天| 公的粗大挺进了我的密道| 97色婷婷在线观看| 开心五月婷婷婷美女| 色婷婷成人做爰A片免费看网站| 久久综合中文字幕| 久热这里| Av在线不卡一区| 天天色一道本综合婷婷| 日韩啪啪网| 吾爱AV导航| 超碰AAAAAAV| 婷婷综合| yellow视频在线观看91| www.天天干| 大香蕉AV电影在线| 色视五月天婷婷| 久久综合激情| 色玖玖综合网| 另类视在线| 青青久久91| 丁香五月AV综合激情| 色噜噜狠狠一区二区三区| 影音先锋 一区| 五月丁香激情六月| 91无码一起草| 天天情色五月天| 丁香六月婷婷综合| www.五月天婷婷.com| 激情久久久久久久久久久| 欧美人人草草| 色99热| 99re在线播放| 综合色五月天| 亚洲综合五月天婷婷丁香| 99久久9| 久久伊人婷婷| 亚洲天堂热| 午夜丁香综合婷婷| 99狠狠| 亚洲四色五月| 色色色综合网| 91丨九色|PRNY熟妇| 79色色色色| 苗黎美女四级成人版一级二级毛片| 深爱激情中文五月天av| 日日干天天| 日本超碰在线| 婷婷伊人网| 26UUU精品一区二区| 青草视频在线观看视频| 天天综合干| 五月香婷婷| 天天做天天爱天天搞| 久草天堂| 婷婷五月花免费视频在线| 美日韩成人| 日韩一级A片黄色| 射区导航| 久久九九爽| 亚洲精品无码久久| 91欧美| 五月天激情亚洲| 天天射综合网站| 日韩成人无码人妻| 久久只有精| www色色色com| 综合网激情五月天| 激情性爱五月天网页| 九九热区一区二区三区| 亚洲国产无线乱码在线观看| 狠狠干激情五月| 色欲一区二区三区精品A片| 久久这里面只有精品视频| 99视频自拍| eeuus五月婷| 久操操| 一夜福利不卡| 精品成人在线| 女人天堂 AV| 碰碰人人人| 五月天社区狠狠| 97超碰色| 亚洲天堂啪啪| 九九九精品视频免费观看| 日本久久精品| 天天干天天爽天天操| 一本久婷婷综合| 婷婷va| 91人人操| 五月在线| 五月开心婷婷| 777久久久| 98永久精品| 97碰碰视频在线观看| 九九伊人网| 开心婷婷五| 国产精产国品一二三在观看| 99成人精品视频| 久久aaaaa| 超碰三级片| 久久婷婷精品| 午夜不卡久久精品无码免费| 天天插天天操| 超碰九九热| 色婷婷在线播放| 99视频这里只有免费精品| 国产伦亲子伦亲子视频观看 | 日本色五月婷婷| 极品色丁香| 婷婷色色五月天| 怡红院99| 五月天久草| 七七色色综合| 性 色 婷婷| 五月天综合色| 五月天激情四射| 免费看欧美成人A片无码| 婷婷五月天免费| www久久久久| 婷婷伊人| 天天干天天爽天天爽| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 日本色色色| 婷婷啪啪| 五月婷婷激情视频| 丁香六月激情四射| 久久精品国产AV一区二区三区 | 人妻激情视频| 天天日夜夜爽| 婷婷五月综合网| 欧美六月| 色五月丁香A欧美com| 九九热在线视频| 五月天激情综合在线| 欧美大片免费观看| 91狠狠综合网| 亚洲色色精品| 久久综合激情| 99视频综合网| 久久怕怕视频| 国产无套精品一区二区| 色婷婷丁香网| 熟女国产在线一区二区三区四区| 国内外色色色色色成人视频| 26uuu国产激情视频| 婷婷丁香九月| 丁香婷婷五月色综合| 亚洲婷婷五月天| 婷婷色色综合激情| 成人在线综合| 操逼五月婷婷| 色色操| 五月丁香六月婷婷亚洲| 亚洲AV网站| 亚洲操女| 五月天激情婷婷| 97婷婷五月| 狠狠综合| 亚洲九九婷婷| 秋霞免费视频| 久久精品9| 久久只这里有精品| 1024日韩| 99热69| 内射爽无广熟女亚洲| 色婷婷亚洲精品天天综| 色五月婷婷中文字幕| 日韩黄色中文字幕| 狠狠狠狠狠狠狠狠| 六月婷婷五月天| 亚洲亚洲激情| A1片久久| 少妇人妻丰满做爰XXX| 五月婷婷九九热| www.伊人天堂偷偷婷婷| 大香蕉久操| 日本在线观看aaa 99| 天天色粽合合合合合合合| 激情六月天婷婷| 天天天天天色| 6月丁香婷婷| 欧美婷婷色五月网| 97操操网| 五月天综合在线| 久久激情天堂| 99re思思久久| 色综合久久8| 老司机伊人| 日韩AAAAAAAAAAA片| 丁香五月综合在线| 99这里精品| 五月天婷婷中文字幕在线播放| 色五月开心五月激情五月| 九九无码| 狠狠五月综合在线 | 国产真人做爰视频免费| 91午夜婷婷狠狠久久综合9色| 影音先锋777xfplay色资源网站| 伊人色综合影院视频| 99操九九网| www.婷婷五月天| 99九九综合久久九九| 久久久久思思热| 婷婷成人在线| 五月婷丁香花| 五月天激情图片| 久婷自拍视频| 9l视频自拍九色9l黑人| 久久婷婷五月天激情新地址| 少妇高潮A片无套内谢麻豆传| 97碰| 婷婷五月天六月丁香| 久久婷婷亚洲五月天| 久久狠狠高潮亚洲精品 天天摸夜夜摸夜夜狠狠摸| 婷婷五月丁香超碰| 超碰伊人碰婷婷五月| 中国操逼99| 日韩婷婷| 色色色99| 久久机热/这里只有精品| h在线看免费版在线看| 色综合天天天天做夜夜| 色色婷婷综合网| VA国产在线综合网站| 五月丁香亚洲校园欧美| 色色色色色色色色五月先| 五月狠狠| 99碰视频| 色日本综合| 六月天婷婷| 天天操夜夜爽| 亚洲 无码 中文字幕 中出| 爱之国产色情综合| 五月天婷婷一起草| 五月综合视频在线| 亚洲另类在线观看| 97AV在线视频| 丁香激情网| AV色婷婷| 久久婷婷91| 久热69| 另类亚洲视频| 玖玖婷婷婷丁香五月| 成片免费观看大全| 久久五月婷婷视频| 亚洲一区二区无遮挡A片| 9 1 A v久久久| 丁香九色不卡aaa| 丁香婷婷影院| 免费看片在线观看| 成人VAV视频在线观看| 婷婷五月综合基地| 美女xx不卡| 色五月婷婷丁香凹凸| 久久久91精品| 涩涩激情五月婷婷| 五月亭亭色| 久久丁香九| 国产色色色色色| 九八Av| 久热一区| 五月丁香综缴情性爱| 婷婷九九色| 成人AV播放| 日本天堂网站99| 亚洲成人AV电影网| 欧美、日韩、中文、制服、人妻| 丁香五月色五月| 五月婷啪啪| 人人澡玖玖一| 久久66er久久| 亚洲九九九九| 五月丁香欧美综合| 色五月婷婷老师| 婷婷五月天视频| 久久久久网站| 五月天婷婷综合| 色综合99| 91丨九色丨首页| 色色综合五月| w婷婷五月婷婷w| 99热主页日本| 激情婷婷五月女| 五月天亚洲最大成人| 五月激情综合婷婷| 五月丁香激情深爱婷婷| 五月丁香六月婷婷网| 超碰在线超碰| 九九热精品| 99在线精品免费视频| 久久性爱网| 91n啪啪| 狠狠干在线| 精品久久9| www久久99com| 人人人操B超碰| 五月婷婷婷婷网| 综合五月丁香六月婷婷| 久久久精品人妻| 日本天天色| 婷婷伊人五月天| 91综合在线观看首页| 婷婷综合97| 五月天激情综合首页| 丁香婷婷六月天| 九九久久综合网站| 九九无码| 另类专区在线观看| 色综合99色| 五月亭亭色| 九九色色色| 99色色| 青青草原中文字幕| 人人射av| 九九亚洲| www.色婷婷.com| 精品综合网在线| 天天激情站| 成人无码精品1区2区3区免费看 | 成人丁香婷婷| 五月丁香久久综合| 人妻丰满精品一区二区A片| 伊人成综合五月婷婷| 99热综合网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 六月丁香久久| 婷婷五月综合色小姐小说| 99人人操人人操人人精| 欧美性丁香色色五月天综合爱爱| 泰州成人视频| 五月丁香狠狠爱| 97操碰在线97| 26uuu视频欧美| 九九九九九九九热| 亚洲精品亚洲人成人网| 婷婷伊人欧美| 91精品久久久久久综合五月天| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 女人天堂AV| 9色天堂| 亚洲久热| 丁香五月亚综合图片| 五月天婷婷丁香| 欧美人人草草| 激情桃色网 | 九九99在线视频| 婷婷5月色| 丁香五月婷婷视频| 免费观看全黄做爰的视频| 久久99免费视屏| 激情综合自拍五月婷婷色五月| 五月婷婷丁香在线| 久热99| 成人网页在线观看| 伍月婷丁香婷| 狠狠色五月| 91 影音先锋| 黄网网站在线播放| 色狠久| 丁香六月婷婷| 久婷婷五月天影院| 婷婷五月色丁香在线看| 久久538| 色婷婷综合在线| 丁香五月 综合| 人人摸人人澡人人| 日本91在线播放| 色播综合| 国产欧美va| 丰满少妇猛烈A片免费看观看| 亚洲成人另类| 五月婷婷网站| 久久精品国产一区二区三区四区| 麻豆雪千夏| 五月花成人网| 中美日韩成人在线| 婷婷久久婷婷色五月| 人人操Av| 成人国产综合| 激情婷婷综合网| 91啪级电影| 九九99精品| 综合 蜜月 婷婷| www。五月天。com| 婷婷五月情| 伊人五月天久久| 97色伦另类图片小说视频 | 丁香激情五月| 激情五月天的婷婷| 五月婷婷影| 成人做爰高潮A片免费视频| 亚洲综合99| 成人va在线播放| 亚洲亚洲人成综合网络| 五月丁香婷婷爱激情综合网| 久草五月婷婷| 丁香六月婷婷开心婷婷网| www.婷婷,com| 丁香五月影院| 丁香五月婷婷亚洲人| 九九亚洲| 97久久超视频| 亚洲色婷婷视频| 亚洲亚洲人成综合网络| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久人人做人人妻人人玩精品va| 婷婷五月天最新综合你懂的 | 丁香五月婷婷影院| 黄色精品五月婷婷| 亚洲第一综合| 婷婷五月综合免费在线| 五月婷婷影视| 午夜性做爰电影| 九九热这里只有精品556| 91人人操人人爱| 91久草五月天婷婷| 综合久久人妻| 激情婷婷激情在线不卡| 婷婷五月综合在线视频| 亚洲亚洲人成综合网络| 丁香五月 综合| 五月婷婷AV| 国产9色在线/日韩| 久久久五月五丁香| 热久久色| 激情六月婷婷| 欧美亚洲成人在线| 99免费在线| www.色欲丁香婷婷| 99热12| 天堂久久丁香| 色情一区二区播放| 97超碰,人人舔,人人操,人人摸 | 99视频这里有精品免费观看| WW婷婷五月天com| 婷婷五月开心中文字幕色| 成人电影一区| site:901-07.com| 91人人操人人| 337p大胆噜噜噜噜噜91Av| 日本啪啪天堂| 久婷| 婷婷综合视频| caop在线| 99re这里| 激情五月综合视频| 噼里啪啦在线观看免费完整版视频 | 996er热| 亚洲激情亚洲激情| 99精品在线| 婷婷五月天色| 激情丁香婷婷| 五月激情综合婷婷| 黄网在线免费观| 99久久婷婷五月天| 99人人爽| 99无吗| 色yeye欧美| 六月丁香影院| 9 9热这里有精品| 国产激情综合五月久久| 五月丁香激| 日韩久久视频| 人人爽天天莫| 国产日韩欧美| 丁香五月天人体| 欧类av怡春院| 成人超碰Av| 色婷婷五月成人网| 久久婷婷综合基地| 桃色五月婷婷| 欧美三级巜人妻互换| 天天操夜夜玩!| 午夜在线成人网站免费观看| 79精品视频在线观看,| yiqicaoav| 亚洲成人无码网站| 桃色五月婷婷| 国产精品第一国产精品| 亚洲国产色色| 看全色黄大色大片| www.99视频| 深爱激情九九五月天| 欧美精品在线观看| 色播五月婷婷五月| 91无码视频| 五月婷婷激情网| 五月天激情在线视频| 九九爱激情| 五月成人天| 综合久久五月天| 五月婷婷五月| 青草激情在线| 成人免费在线电影| 99精彩视频| 色五月五月天| 91丨九色熟女丨首页| 色丁香五月婷婷| 97热在线精品| 中文字幕成人| 伊人丁香婷婷东京| www色综合亚洲92| 99热超碰在线| 色婷五月天网站| 欧美人人超级碰| 青青草原亚洲天堂| 中文人妻主播久久| 亚洲图色五月天| 97香蕉碰碰人妻国产欧美| 五月久久噜噜| 人妻中文av| 91操人| 婷婷五月天日日日干干干| 99视频啪啪| 大香蕉综合在线| 五月丁香激情综合欧美| 另类国产区| 涩涩五月天| 色99欧洲色19| 99日韩| 狠狠操天天干| 婷婷色激情五月天| 婷婷五月天成人网| 超碰成人影视| 99re思思热久久| 亚洲性色XXXXX| 欧美在线看| 国产69久久久欧美黑人A片| 五月天综合视频网| 五月天·www·com| 超碰人人妻| 五月丁香六月婷婷久久| 激情小说五月欧美亚洲丁香| 久久五月天婷婷| 99A片| 超碰91在线| 色色婷婷综合网| 99久久精品国产色欲| 五月综合激情婷婷六月色窝| 天天噜| 婷婷久久免费看| 久久婷婷人人| 久99| 五月激情综合网| 激情网 五月天| 日本97在线| 99噜噜噜在线播放| 粉嫩av懂色av蜜臀av熟妇| 天天爽人人爽| 99在线视频精品| 久久精品A片777777| 婷婷丁香花五月天| 久久欧洲综合网| 久久综合爱| 嫩草视频。| 五月天激情四射| 日日夜夜狠狠干| 五月天激情小说婷婷| 天堂网色婷婷| 免费观看全黄做爰的视频 | 99色婷婷视频| 亚洲va在线| 日韩九九视频| 一起肏在线视频| 丰满少妇乱A片无码| 97人凄人人操人人爽| 五区毛片七区毛片| 亚洲美女婷婷五月天| 大天天伊人| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 强壮的公次次弄得我高潮A片日本 | 超碰人人91| 在热视频精品| 综合久色五月| 97久久久| 婷婷综合在线播放| 色婷婷狠狠久久综合五月| 玖玖热视频| 99热首页| 五月婷婷六月奇米网丁香| 色情性爱视频网址| av国产精品偷| 1024欧美日韩精品久久久| 国产性av| 九九热在线视频| 丁香婷婷网| 开心婷婷五月| 99热这里只有精品最新网址| 无码人妻一区二区三区四区| 天天干,天天舔| 色综合久久中文| 五月婷婷综合色啪首页| 国产熟妇的荡欲午夜视频| 日本久久精品| 久久香蕉丁香| 99热免费看| 婷婷五月丁香五月天| 激情五月婷婷丁香六月| 成人 视频免费观看网站| 1024欧美看片| 极品人妻VIDEOSSS人妻| 色色婷婷五月| 伊人婷婷大香蕉| www婷婷| 婷婷丁香人妻天天久久| 深爱激情网噜噜色| oVV4WIB3vFi8D| 99热99ai| 激情久久综合| 丁香五月婷婷AV| 色五月欧美| 日本人妻操| 久久月天堂| 亚洲欧洲中文日韩久久AV乱码| 天天日日夜夜| 99视频| 丁香大香蕉| 99A级片| 成人在线视频一区| 伊人五月天| 新伍月婷婷| 亚洲99手机免费看视频| 色婷婷丁香五月丁香| 99惹| 五月网激情| 九九热这里只有精品556| 天天射美女| 亚洲六月婷婷| 五月婷婷影院| 婷婷五月电影院| 五月丁香91| 欧洲一区二区| 伊人狠狠丁香婷婷综合尤物| 综合激情五月婷婷| www.久久99热地址发布| 丁香五月激情网| 久碰婷婷视频| 久久久99视频| 九九热av| 99热国产精品| 91欧美| 秋霞免费三级片| 色六月丁香婷婷啪啪啪| 久久人妻久久久久| 性日本激情| 激情小说五月天社区丁香| 99超级碰免费视频| 这里都是精品99| 亚洲成人色五月婷婷综合| 日韩草草草草草草草草草草草草| 久热这里只有精品在线观看| 久久这有这里精品| 夜夜噜夜夜奇| 97色色色视屏| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 新激情婷婷| 久9精品视频在线| 一本久婷婷综合| 久久久色情| 天天干天天av天天射| 91热久88| 精品香蕉99久久久久网站| 7EzOBIhNq85TO| 五月久久综合| 精品九九久久| 日本久久99久久| 原琪琪色影院| aa久久| 免费观看亚洲AV片| 婷婷欧美偷拍综合| 五月丁香综合啪啪対白| 五月欧美色色五月| 五月天俺去也| 夜夜夜夜夜骑撸| 色老久久| 玖玖婷婷五月天| 色99色| 七月丁香五月婷婷在线| www99xxxx五月丁| 五月天婷婷伊人| 亚洲欧洲另类| 五月天婷婷网站| 激情黄色小说五月天| 天天插AV丝袜中| 日韩超碰在线| 色播播五月天| 中文字幕视频色婷婷| 九九热99在线视频| 狠狠色狠狠| 五月丁香爱婷婷深深| 婷婷性爱无码视频| 橾逼网| 激情久久五月天| 天天影院色| 人妻无码视频网| 日都一级A片| 久久久97| 99色1| 天天操天天操天天操天天操天天操| 91碰| 这里只有精品久久| 丁香五月婷婷激情蜜桃| 免费婷婷| 日本人妻丁香婷婷久久寝取熟女五月| 九九婷婷五月天影视| 亚洲av骚货| 99综合网| 久久精品凹凸分类| 9热在线观看| 天天爽天天爽天天爽天天爽天天爽 | 亚洲AV成人在线| 国产精品久久久久9999小说| 久久久精品99| 只有精品视频在线观看| 色5月婷婷| 狠狠干婷婷| 婷婷五月天精品| 99ER热精品视频| 少妇婷婷五月天| 伊人网色婷婷五月天| 青青草网武则天| 丁香五月婷婷激情小说| 精品皮股午夜AV| 大香蕉天堂| 风流少妇A片一区二区蜜桃| 五月丁香视频色色| 婷婷激情丁香五月天综合| 亚洲最大五月天成人网| 亚洲成人一区| 99精品丁香五月| 狠狠久久婷婷| 久久九九免费大视频| 六月丁香成人网| 婷婷五月天成人| 人人操人人妻| 99久久久99久久91熟女| 丁香婷婷五月基地| 5月丁香啪啪啪| 亚洲综合视频八| 久久久久8888| 亚洲久久婷婷| 啪啪 综合网| 不卡在线超碰| 五月天婷婷影院| 操逼棍操逼| 狠狠干五月天| 色色色9 9 9| 草美女在线观看视频在线播放 | 久久天天| 97久久超视频| 欧美激情丁香五月天久久婷婷一区| 99操逼| 久久99久久99久久99人受| 99热全是精品| 五月天婷婷丁香蜜桃91| 另类A片| 丁香婷婷AV| 婷婷五月播| 色婷婷久久综合中文久久一本| 亚洲黄色影视| 五月丁香久久呀| 婷婷综合五月色播| 久久婷婷视频| 九九综合图片网| 欧洲亚洲最新精品| 久久伦乱| 最新婷婷五月丁香| 天天色月| 免费观看的av| 99综合五月免费视频色婷婷| 五月五婷婷网| 欧美va在线观看| 日本精品人妻无码77777| 超碰99久久| 99久久激情视频| 99精品网| 99九九玖玖| 激情五月丁香综合网站 | 久久久久久久久久91| 久久婷婷色五月| 五月天久久久| 1024人妻无码中文字幕| 99热精品少| 天天综合网、天天综合色 | tingtingseav| 婷婷激情丁香五月天综合| 9热在线观看| 丁香亭亭激情四射| 五月天开心婷婷久久| 婷婷五月天播播| 五月天婷a在线| 五月婷婷丁香成人网| 99超级碰碰| 九色99视频| 欧美日韓成人亚洲精品另类| 9色在线视频| 色色色1网址| www.五月激情红色| 91丨九色丨国产打屁股| 九九色欲网| 婷婷五月综合视频| 日本不卡一区二区三区| 色热久资源| 婷婷丁香六月| 久久五月天丁香| 99热777| 69精品人人人人| 综合亚洲色色| 日韩成人av在线| 99色在线观看视频| 亚洲日韩欧美综合VA| 日曰躁夜夜躁2026| 五月色婷婷影视在线电影| 色五月天在线观看| 精品久久9| 天天操夜夜操| 成人一区在线观看| 思思国产99| 日韩熟女啪啪视频| 狠狠婷婷爱| 玖玖婷婷五月天| 人人摸人人操人人爽| 激情网站综合五月天| 中文字幕av在线| 在线观看亚洲AV| 九九婷婷网五月天| 久久加勤综合| 丁香五月天激情小说| 成人国产欧美大片一区| 色婷婷狠狠干| 丁香激情网| 啪啪色激情五月天| 婷婷六月久久综合导航| 成人视屏在线观看| 大香蕉久艹| 国产在线黄色| 99热.com| 婷婷丁香黄色| 激情婷婷五月基地| yjzz亚洲国产| 亚洲精品国产精品乱码不99| 五月天婷婷色播综合在线| www.操逼comm| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 91超碰人人操| 五月婷婷九九热| 五月天社区| 色99在线看| 91青娱乐青青草| 五月丁香激情怕怕| 九月丁香亭亭| 日韩啪啪视频| 精品人妻久久久久久| 高潮毛片遮挡费高一百度| 99热99热不卡| ai97re99一本| 九九久热| 丁香五月成人丝袜| 天天干一干| 第五婷婷伊人丁香色| 999婷婷综合| www.99热这里精品| 婷婷激情人妻| 91热在线| 狠狠狠狠狠狠| 激情婷婷人妻| 黄色中文字目| 婷婷开心六月| 九九re视频在线视频| 四月婷婷丁香五月| 91九色欧美| 欧美六月| 丁香六月婷婷综合激情欧美| 色99色| 九九成人精品| 婷久久高清| 亚洲色爱综合| 人碰91| 99精品一二三四视频| 狼人久草| 综合婷婷| 操丝袜视频影院导航| www.1024久久| 狠狠爱五月婷婷| 人妻熟妇国产精品| 五月天开心网| 久久婷婷丁香六月天| 97热超碰| 久久性操| 激情五月天婷婷激情| 无码激情AAAAA片-区区| 日本性激情色播| 9 大屁股在线视频精品| 激情人妻综合| 99热这里在线精品| 国产精品色情AAAAA片软件| 日日夜夜爽| 26uuu丁香婷婷五月| 99热地址| 亚洲另类婷婷五月综合| 亚洲综合欧美色丁香婷婷888月图片| 五月天婷婷丁香导航| 欧美日综合| 青柠影视免费高清电视剧| 91久久婷婷人人澡草 | 九九aV| www.sezonghe| 99综合熟女| 色99在线观看| 9999色色色色| 婷婷国产欧美97| 涩综合网| Se.婷婷五月天| 亚洲黄网在线| 96精品久久久久久久久| 欧日韩AV| 伊人九九九久| 婷婷性爱影院| 久久午夜理论| 久久婷婷东京热| 色婷五月天| 久久精品亚洲热| 狠狠第四色| 亚洲综合五月天婷婷丁香| 天天日天天操天天干| 日韩 mm 不卡| 国产无套精品一区二区| 激情五月com| 成人在线综合| 蜜桃人妻无码AV天堂三区| 亚洲日日操| 91五月天| 任我干视频在线观看| 99综合自拍| 激情婷婷五月综合| 婷婷色五月天在线观看| 天天爽天天透天天爱| 99亚洲视频| 99精品在线| 五月丁香六月婷婷在线观看| www.久久| 五月天婷婷网站| 美日韩成人| 日韩色色视频www| 91干| 91丨九色丨国产| 日本三级日本三级99| 开心五月丁香啪| 26UUU欧美激情一区二区| 午夜天堂一区人妻| www.激情五月| 思思99精品视频| 亚洲AV电影av| 综合色色色| 激情五月,色播五月| 超碰久热| 9|在线观看视频| 亚洲99热| 精品成人a v无码内射| 亚洲网站在线鸭子av| 色欲色香综合网站| 337p大胆噜噜噜噜噜91Av| 激情五月天在线视频| 99rewww| 99热99操| 亚洲愉拍99热成人精品| 色婷婷69| 99热这里有精品24| 五月丁香av中文| 婷婷五月丁香99| 思思热视频在线| 99精品色| 五月花成人网| 嫩模aV在线| 五月色情精品| 开心五月婷婷激情| 激情五月天婷婷| 免费观看的AV| 色色五月天丁香| 亚洲欧洲一二| 国产美女无遮挡裸体毛片A片| 91九色无码日韩| 色色欧美色色| 26uuu欧美日韩| 99热插| 九月丁香婷婷基地| 99精品免费视频| 久久久久久久人妻| 久久99热精品a片在线观看| 激情五月丁香五月| 久久精品日| 国产暴力强伦轩1区二区小说 | 深爱综合网| 丁香五月激情视频在线| 这里只有精品视频222| 大香伊人婷婷| 色色欧美。| 色色色色网站| 夜色综合网| 人人人舔人人人操人人人摸人人人97| 欧美极品999| 97碰人人操| 久久久精品婷婷五月天| 久久视频这里有精品99| 日本欧美成人片AAAA| 五月丁香六月婷婷久久久综合| 六月丁香婷婷拍拍| 亚洲小电影在线观看黄999| 国产一区二区av免费| 亚洲色网址| 色玖玖导航| 激情5月婷婷| 热99这里只有精品视频| 5月婷婷综合| 色婷婷久久综合| 大香蕉欧美在线| 激情人妻蜜夜系列区| 五月婷婷色| 丁香五月天网站| 五月丁香久久| 99精品大片| 色婷婷九月综合| 日日色五月天| 九玖视频这里只有精品| 91视频一起草| 久久9RE热视频精品98| WWW.HENHENL.| 亚洲殴洲精品Av在线| 97碰| 色色色com| 五月天婷婷中文字幕在线播放| 五月天久久婷婷婷| 五月丁香综合啪啪啪啪啪| 热久久91| 97色天堂| 丁香五月综合无码趴趴| 91n啪啪| 五月婷婷碰碰| 99热在线观看| 99精品视频在线观看| 天天色天天| 大香蕉五月婷婷| 直接看的av| 色五月婷婷影院| 能看的AV网站| 五月天天天开心激情网| 五月天婷婷三级黄| 亚洲小视频免费看| 国产亚洲99久久精品| 婷婷五月丁香久久| 综合激情在线| 91要啪| 五月丁香婷婷综合视频| 久久综合网桃花| 1囯产午夜仑鲁鲁| 婷久久高清| 丰满女老板BD高清A片| 少妇做爰免费视看片| a网站免费观看| 超碰国产在线| 91久操| 开心激情站| 婷婷在线精品| 九九热在线视频| 日本久久天堂| 婷婷伊人綜合中文字幕| 婷婷丁香久久| 亚洲成人在线播放| 色综合99| 91丨九色丨国产打屁股| 疯狂做受XXXX高潮A片| 欧美性做爰大片免费看办公室| 狠狠干综合| av国产精品| a久久| 精品无码久久久久久久久| 色五月激情五月| 97操操网| 婷色影院| 五月婷婷爽爽爽| WWW.亚洲无码| 婷婷丁香熟女| 男人大jjc女人免费视频| 9|人妻人人操| 色婷婷啪啪综合网| 六月婷在线| 1024成人在线观看| 久99久热| 久热大香蕉| 激情五月,色五月| 夜夜涩涩涩| 丁香五月天在线直播观看| 另类激情五月| 欧洲亚洲激情五月天在线| 色五开心五月五月深深爱| 五月丁香六月婷婷操操操| 亚洲色婷婷| 久久多色| 欧美日韩aaa| 粉嫩AV久久一区二区三区| 操操操97| 色婷婷伊人激情在线观看| 色天使色综合| 亚洲成人AV在线| 第五婷婷伊人丁香色| 91色五月| 亚洲视99| 激情丁香网| 激情五婷网| 久热这里| 五月婷婷色色色| 人妻人人操| AV在线不卡播放| 五月天综合色| 色色色色色色色色色色色色色色,网站| 丁香花婷婷五月天| 一月婷婷色色| 日韩婷婷五月| 春色激情第四色| 亚洲五月天婷婷在线| 伊人激情影院| 色丁香久久| 99热精品在线观看| 97超美国视频在线观看| 激情五月婷婷色色| 亚洲xx网| 9久久精品| 亚洲第一色色色| 日日操,夜夜爽| 人妻精品一区二区三区| 欧美大香蕉视频| 99re久久| 99热传媒| 五月丁香婷婷综合视频| 精典久久| 色色色色色级无码| 无码人妻一区二区三区免费九色| 激情五月天激情五月天| 另类专区在线观看| 国产欧美精品AAAAAA片|