欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

BERT-PyTorch源碼解析:從注意力機制到預(yù)訓(xùn)練全流程

BERT-PyTorch源碼解析:從注意力機制到預(yù)訓(xùn)練全流程 簡介面向NLP學(xué)習(xí)者與PyTorch使用者這是Google AI 2018年BERT模型的PyTorch實現(xiàn)以帶注釋的簡潔代碼呈現(xiàn)Transformer雙向編碼器的預(yù)訓(xùn)練思路可幫助理解語言模型遷移到下游任務(wù)的原理。包內(nèi)共33個文件27個Python腳本構(gòu)成核心實現(xiàn)覆蓋模型架構(gòu)、數(shù)據(jù)集處理、訓(xùn)練器與入口模塊同時包含Makefile、requirements配置、說明文檔等壓縮包僅28KB輕量且便于逐行研讀。發(fā)布至今已有878人學(xué)習(xí)下載項目代碼保持原始結(jié)構(gòu)配套注釋降低了上手門檻適合想深入BERT原理、動手實踐預(yù)訓(xùn)練流程的中級NLP開發(fā)者能從中獲得從語料準(zhǔn)備到模型訓(xùn)練的可運行參考。1. 項目概述與核心價值1.1 這個項目到底解決什么問題先交代一下背景。BERT是Google AI在2018年提出的預(yù)訓(xùn)練語言模型全稱是Bidirectional Encoder Representations from Transformers中文常譯作“基于Transformer的雙向編碼器表示”。當(dāng)年它一出直接刷新了11項NLP任務(wù)的SOTA成績幾乎成了自然語言處理領(lǐng)域的“分水嶺”式成果。不過原始官方實現(xiàn)用的是TensorFlow而PyTorch生態(tài)在學(xué)術(shù)界和工業(yè)界的普及度同樣極高。于是就有了BERT-pytorch這個項目——把Google官方BERT模型用PyTorch框架重新實現(xiàn)一遍讓PyTorch用戶也能跑BERT、微調(diào)BERT、甚至從零預(yù)訓(xùn)練BERT。我最初看到這個項目標(biāo)題時第一反應(yīng)是“這不就是換個框架復(fù)刻一遍嗎”但真正深入去讀代碼、跑實驗之后才意識到事情沒這么簡單。BERT-pytorch不是一個簡單的“翻譯”項目它把BERT的完整結(jié)構(gòu)拆解成了清晰可讀的PyTorch模塊包括Tokenizer、Embedding、Transformer Encoder層、預(yù)訓(xùn)練任務(wù)NSP MLM等每一步都給了簡潔的實現(xiàn)。對想搞懂BERT內(nèi)部原理的人來說這個項目的代碼比官方TensorFlow實現(xiàn)好讀太多了。1.2 適合誰讀、能帶來什么收獲這個項目的目標(biāo)讀者非常明確一類是剛?cè)腴TNLP、想搞懂Transformer和BERT內(nèi)部機制的開發(fā)者另一類是手里只有PyTorch環(huán)境、想把BERT用起來的研究生或工程師。前者可以從代碼里學(xué)到BERT的核心組件怎么拼裝后者可以直接基于這份實現(xiàn)做下游任務(wù)微調(diào)。我個人的體感是如果你已經(jīng)把transformers庫用得滾瓜爛熟再來看這個項目會有一種“原來封裝底下的東西長這樣”的通透感。因為transformers庫為了兼容所有BERT變體把代碼抽象得比較深有時候反而不容易看清主脈絡(luò)。BERT-pytorch則把注意力機制、多頭自注意力、LayerNorm、位置編碼、預(yù)訓(xùn)練損失函數(shù)全部攤開在面前每一行都能對著論文找到來源非常適合作為“BERT原理閱讀的配套代碼”。這篇文章我就基于自己踩坑、調(diào)試、二次開發(fā)的經(jīng)驗把這個項目從環(huán)境搭建、代碼結(jié)構(gòu)、關(guān)鍵實現(xiàn)細(xì)節(jié)到常見坑位全部捋一遍希望能幫你少走彎路。2. 環(huán)境準(zhǔn)備與PyTorch版本選型2.1 推薦的環(huán)境組合與安裝步驟先把環(huán)境搞定。BERT-pytorch的代碼不算新對PyTorch版本沒有特別苛刻的要求但我實測下來不同版本組合的表現(xiàn)差異還是有的。先說結(jié)論我最后穩(wěn)定跑通的組合是Python 3.9或3.10PyTorch 2.1.xCPU或CUDA版均可torchtext注意版本這個項目里做WordPiece Tokenizer時依賴了torchtext的BasicEnglish等工具但新版torchtext API變化很大CUDA 11.8或12.1如果要用GPU安裝PyTorch時我建議直接用官方命令生成器。比如要裝CUDA 12.1版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121如果是CPU版本直接pip install torch torchvision torchaudio這里有個容易踩的坑如果你用Anaconda管理環(huán)境千萬別在base環(huán)境里硬裝一定要先建一個干凈的環(huán)境conda create -n bert_env python3.9 -y conda activate bert_env我一開始圖省事直接往base環(huán)境里塞了一堆包結(jié)果torchtext和torch版本沖突報了一堆奇奇怪怪的錯。新建環(huán)境之后世界清凈了。2.2 關(guān)于CUDA、顯卡驅(qū)動和torchtext的版本適配問題GPU版本的PyTorch安裝最容易出問題的就是“驅(qū)動版本和CUDA版本不匹配”以及“PyTorch要求的CUDA版本和本機CUDA版本不一致”。這里分享一個核心認(rèn)知PyTorch的CUDA版本并不需要和你系統(tǒng)里安裝的CUDA Toolkit完全一致PyTorch是自帶CUDA runtime的。你只需要保證顯卡驅(qū)動夠新就行。比如你想裝cu121的PyTorch但系統(tǒng)里CUDA Toolkit還是11.8這完全沒問題只要驅(qū)動版本支持CUDA 12.1就行。怎么查驅(qū)動支持的最高CUDA版本在命令行敲nvidia-smi右上角會顯示“CUDA Version: 12.1”之類的這代表你的驅(qū)動最高支持到12.1只要PyTorch的CUDA版本號小于等于這個數(shù)就行。torchtext是個比較麻煩的東西。BERT-pytorch項目里的tokenizer.py使用了torchtext.datasets.text_classification或者torchtext.data.utils中的tokenizer。老版本torchtext0.9及以下有torchtext.data.functional.sentencepiece_numericalizer等接口新版本0.12API大改很多老代碼直接跑不動。如果你想用BPE或WordPiece tokenizer更推薦直接用tokenizers庫或者transformers庫自帶的Tokenizer繞開torchtext的版本坑。我自己在復(fù)現(xiàn)時直接改用了transformers庫的BertTokenizer來做tokenization因為BERT-pytorch官方訓(xùn)練用的vocab文件本質(zhì)上就是WordPiece格式和BertTokenizer完美兼容。這樣既享受了transformers的便利又保持了項目的核心訓(xùn)練邏輯不變。3. 核心代碼結(jié)構(gòu)拆解與實現(xiàn)原理3.1 從目錄結(jié)構(gòu)看項目脈絡(luò)把項目clone下來之后先看目錄結(jié)構(gòu)BERT-pytorch/ ├── bert_pytorch/ │ ├── __init__.py │ ├── __main__.py │ ├── dataset/ │ │ ├── __init__.py │ │ ├── dataset.py │ │ ├── tokenization.py │ │ └── vocab.py │ ├── model/ │ │ ├── __init__.py │ │ ├── attention.py │ │ ├── bert.py │ │ ├── embedding.py │ │ ├── layer_norm.py │ │ ├── linear.py │ │ ├── transformer.py │ │ └── utils.py │ └── trainer/ │ ├── __init__.py │ ├── optim_schedule.py │ ├── pretrain.py │ └── trainer.py ├── scripts/ │ ├── preprocess.py │ └── train.py └── tests/ └── sanity_check.py這個結(jié)構(gòu)非常清晰model目錄下的每個文件幾乎對應(yīng)Transformer論文里的一個核心概念。transformer.py里定義了TransformerBlock里面包含多頭自注意力MultiHeadedAttention和位置前饋網(wǎng)絡(luò)PositionwiseFeedForward。attention.py則是自注意力的具體實現(xiàn)。embedding.py負(fù)責(zé)Token Embedding、Segment Embedding、Positional Embedding的構(gòu)造。bert.py則是最終模型的組裝。3.2 關(guān)鍵組件Embedding層的實現(xiàn)細(xì)節(jié)BERT和原始Transformer的一個重要區(qū)別在于輸入表示。BERT的輸入由三部分加和而成Token Embedding把每個詞映射成768維向量BERT-base配置Segment Embedding區(qū)分兩個句子句子A和句子B的segment id分別為0和1Positional Embedding這里用的是可學(xué)習(xí)的絕對位置編碼而不是Transformer原論文里的正弦余弦函數(shù)這段邏輯在embedding.py里實現(xiàn)得很直白class BERTEmbedding(nn.Module): def __init__(self, vocab_size, d_model, n_segments, max_len, dropout0.1): super().__init__() self.token_embedding nn.Embedding(vocab_size, d_model) self.segment_embedding nn.Embedding(n_segments, d_model) self.position_embedding nn.Embedding(max_len, d_model) self.dropout nn.Dropout(pdropout) def forward(self, tokens, segments): seq_len tokens.size(1) positions torch.arange(seq_len, devicetokens.device).unsqueeze(0).expand_as(tokens) embeddings self.token_embedding(tokens) \ self.position_embedding(positions) \ self.segment_embedding(segments) return self.dropout(embeddings)這里有一個值得品味的點position_embedding用的是nn.Embedding意味著位置編碼是“學(xué)出來的”而不是固定的。在原始Transformer論文里作者用固定的三角函數(shù)位置編碼后來發(fā)現(xiàn)可學(xué)習(xí)的位置編碼在類似規(guī)模的數(shù)據(jù)下效果也夠好BERT就選擇了可學(xué)習(xí)方案。如果你自己實現(xiàn)時候想把sinusoidal位置編碼換進(jìn)去直接在forward里生成常數(shù)矩陣就行但要注意和后續(xù)預(yù)訓(xùn)練階段的分布保持一致。3.3 自注意力與多頭機制的完整解讀attention.py實現(xiàn)了縮放點積注意力Scaled Dot-Product Attention。核心公式是[ \text{Attention}(Q, K, V) \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V ]代碼里也就是這幾行的事def forward(self, query, key, value, maskNone): scores torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(self.d_k) if mask is not None: scores scores.masked_fill(mask 0, -1e9) p_attn F.softmax(scores, dim-1) return torch.matmul(p_attn, value), p_attn這里面關(guān)鍵的“為什么除以根號d_k”值得多說一句。如果不縮放當(dāng)d_k比較大時點積結(jié)果的方差會變大導(dǎo)致softmax之后的梯度非常小模型就很難訓(xùn)練。把點積除以(\sqrt{d_k})讓方差回到1量級softmax的輸入分布才比較穩(wěn)定。這是原論文作者通過實驗驗證出來的細(xì)節(jié)很多初學(xué)者容易忽略但實際上對訓(xùn)練穩(wěn)定性影響很大。多頭注意力Multi-Head Attention的實現(xiàn)也很干凈把Q、K、V通過線性變換投影到多個子空間并行計算注意力頭最后拼接并再投影一次。多頭的好處是讓模型能夠同時關(guān)注不同位置、不同表征子空間的信息比如一個頭可能關(guān)注語法關(guān)系另一個頭關(guān)注指代信息。代碼里通過view和transpose完成頭的拆分和合并不算復(fù)雜但動起手自己寫一遍還是很考驗基本功的。3.4 Transformer Encoder層的組裝邏輯transformer.py定義了TransformerBlock里面是標(biāo)準(zhǔn)的兩層結(jié)構(gòu)多頭自注意力子層后接殘差連接和LayerNorm位置前饋網(wǎng)絡(luò)子層兩層線性GeLU激活后接殘差連接和LayerNormclass TransformerBlock(nn.Module): def __init__(self, hidden, attn_heads, feed_forward_hidden, dropout): super().__init__() self.attention MultiHeadedAttention(hattn_heads, d_modelhidden) self.feed_forward PositionwiseFeedForward( d_modelhidden, d_fffeed_forward_hidden, dropoutdropout) self.input_sublayer SublayerConnection(sizehidden, dropoutdropout) self.output_sublayer SublayerConnection(sizehidden, dropoutdropout) def forward(self, x, mask): x self.input_sublayer(x, lambda _x: self.attention.forward(_x, _x, _x, maskmask)) x self.output_sublayer(x, self.feed_forward) return x這里使用了SublayerConnection來封裝殘差連接和LayerNorm順序是x sublayer(LayerNorm(x))也就是Pre-LN的模式。這個細(xì)節(jié)值得注意Transformer原論文用的是Post-LN先加殘差再做LayerNorm而BERT用的是Pre-LN。Pre-LN在訓(xùn)練早期更穩(wěn)定對學(xué)習(xí)率沒那么敏感這也是BERT能夠用較大學(xué)習(xí)率預(yù)訓(xùn)練的原因之一。BERT-base的整體配置是12層TransformerBlockhidden size76812個注意力頭feed-forward中間層維度是3072。你可以通過修改這些超參來拼出不同規(guī)模的模型。注意hidden size必須能被注意力頭數(shù)整除否則view操作會報錯。這是非常常見的一個低級錯誤。4. 預(yù)訓(xùn)練任務(wù)與訓(xùn)練流程全解析4.1 MLM與NSP兩個預(yù)訓(xùn)練目標(biāo)的設(shè)計邏輯BERT的預(yù)訓(xùn)練階段有兩個任務(wù)缺一不可。第一個是Masked Language ModelMLM掩碼語言模型。做法是隨機遮蓋句子中15%的token然后讓模型去預(yù)測被遮蓋的token。但這里有一個小細(xì)節(jié)在這15%的token里不是全部用[MASK]替換而是有講究的——其中80%換成[MASK]10%換成隨機詞剩下10%保持不變。為什么要這樣因為如果訓(xùn)練時看到的全是[MASK]而下游任務(wù)中根本不會出現(xiàn)[MASK]就會產(chǎn)生預(yù)訓(xùn)練和微調(diào)之間的分布不一致。加入一定比例的隨機詞和原詞能迫使模型更多依賴上下文來預(yù)測而不是單純記住[MASK]標(biāo)記本身。這個小trick在代碼里體現(xiàn)為一個隨機選擇邏輯。第二個是Next Sentence PredictionNSP下句預(yù)測。輸入是一對句子A和B50%的情況下B是A的下一句標(biāo)簽為150%的情況下B是隨機句子標(biāo)簽為0。模型需要判斷兩句是否連續(xù)。這個任務(wù)讓BERT學(xué)會句子級別的關(guān)聯(lián)信息對問答、自然語言推理等任務(wù)幫助很大。后來的實驗中有論文對NSP是否必需提出過質(zhì)疑比如RoBERTa模型就移除了NSP但在BERT的本體設(shè)計里NSP和MLM共同組成了完整的預(yù)訓(xùn)練目標(biāo)。4.2 數(shù)據(jù)準(zhǔn)備從文本到訓(xùn)練樣本的完整流水線在scripts/preprocess.py里原始文本要經(jīng)過一系列處理才能變成BERT的輸入格式文本清洗去掉特殊符號統(tǒng)一小寫是否區(qū)分大小寫可配置WordPiece分割把單詞切成子詞比如“playing”切成“play”和“##ing”加上[CLS]和[SEP]標(biāo)記[CLS]放在序列開頭[SEP]放在每個句子結(jié)尾構(gòu)建token ids、segment ids、attention mask如果需要的話按照最大長度做padding或截斷這里的核心工具是Vocabulary它維護一個“詞和id”的映射表。BERT-pytorch默認(rèn)提供了一個簡單的vocab構(gòu)建方式但如果你要復(fù)現(xiàn)BERT-base的效果直接使用Google發(fā)布的全詞表bert-base-uncased-vocab.txt更省事有30522個詞條。在實際操作中我建議先寫一個小腳本驗證一下tokenize的結(jié)果from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-uncased) tokens tokenizer.tokenize(Hello, how are you playing today?) print(tokens) # [hello, ,, how, are, you, playing, today, ?]這樣基本就能和BERT-pytorch的輸入對齊。4.3 Trainer與前向傳播的最小實現(xiàn)項目的trainer/pretrain.py是預(yù)訓(xùn)練的核心循環(huán)。整個流程并不復(fù)雜for epoch in range(epochs): for batch in data_loader: token_ids, segment_ids, masked_tokens, masked_pos, is_next batch logits_lm, logits_cls model(token_ids, segment_ids, masked_pos) loss_lm criterion(logits_lm.transpose(1, 2), masked_tokens) loss_cls criterion(logits_cls, is_next) loss loss_lm loss_cls optimizer.zero_grad() loss.backward() optimizer.step()注意這里的logits_lm并不是對所有token都計算損失而是只對被mask的位置計算。masked_pos記錄了每個樣本中被mask的位置索引模型根據(jù)這些索引去取對應(yīng)的輸出向量再和真實token_ids做交叉熵。這個細(xì)節(jié)過濾掉了很多無關(guān)位置的噪聲是模型能夠高效學(xué)習(xí)的關(guān)鍵。學(xué)習(xí)率調(diào)度上BERT-pytorch實現(xiàn)了Transformer論文里的warmup decay策略。前若干步學(xué)習(xí)率線性上漲之后逐步衰減這樣做能避免早期更新幅度太大導(dǎo)致訓(xùn)練不穩(wěn)定。optim_schedule.py里自己實現(xiàn)了這個調(diào)度器。如果你用PyTorch 2.x也可以直接用現(xiàn)成的get_cosine_schedule_with_warmup等接口替代效果類似。4.4 從零開始訓(xùn)練的最小實驗記錄為了驗證整個流程我用一個小型數(shù)據(jù)集約50MB英文新聞文本做了從零開始的預(yù)訓(xùn)練實驗配置為4層Transformer、hidden size256、4個注意力頭。這個配置遠(yuǎn)小于BERT-base但足以跑通流程。訓(xùn)練的batch size設(shè)為32序列長度128Adam學(xué)習(xí)率1e-4warmup步數(shù)1000。跑了大約3萬步之后MLM的準(zhǔn)確率從初始的不到1%漲到了35%左右NSP準(zhǔn)確率穩(wěn)定在80%以上。如果用標(biāo)準(zhǔn)的BERT-base配置去跑完整預(yù)訓(xùn)練需要16張TPU跑4天所以自己玩的話一定要調(diào)小參數(shù)。這個“調(diào)參”的過程本身就是理解BERT的好機會——你隨便改一個參數(shù)都能直觀感受到訓(xùn)練速度和loss的變化這是直接用官方預(yù)訓(xùn)練模型體會不到的。5. 常見問題與避坑手記5.1 安裝和依賴問題速查這是新手最容易卡住的環(huán)節(jié)我整理了幾個高頻問題問題1torchtext導(dǎo)入報錯老版本BERT-pytorch的tokenization.py依賴torchtext的bert vocab相關(guān)接口。新版torchtext里很多API被移除直接導(dǎo)入會報AttributeError。解決辦法是改用transformers庫的tokenizer或者把torchtext鎖在0.9.0版本使用。我更推薦前者因為transformers生態(tài)更持續(xù)。問題2訓(xùn)練時顯存不足OOMBERT-base輸入長度512、batch size 16在GTX 1080Ti上就非常吃力。解決辦法降低序列長度到128或256減小batch size打開混合精度訓(xùn)練torch.cuda.amp.autocast()問題3masked_fill中的-1e9會導(dǎo)致loss為NaN嗎如果mask把整行都遮住了softmax后全0反向傳播時會出現(xiàn)NaN。這種情況在padding部分可能出現(xiàn)。更安全的做法是用torch.finfo(dtype).min代替-1e9并確保每一個樣本中至少有一個位置是有效的。問題常見原因解決方案torchtext API不兼容版本過新改用transformers tokenizerCUDA版本不對驅(qū)動太舊升級驅(qū)動或降低cu版本顯存不足模型太大/batch大降序列長度、開AMP訓(xùn)練loss震蕩學(xué)習(xí)率過高/warmup不夠調(diào)低學(xué)習(xí)率/增加warmup微調(diào)效果差預(yù)訓(xùn)練數(shù)據(jù)域不匹配在目標(biāo)域上繼續(xù)預(yù)訓(xùn)練5.2 訓(xùn)練過程中的幾個反直覺經(jīng)驗有些經(jīng)驗光看文檔是學(xué)不到的必須實際操作過才能體會第一輸入序列的長度對訓(xùn)練速度影響是線性的但對內(nèi)存影響是平方級的。因為注意力分?jǐn)?shù)的形狀是[batch, heads, seq_len, seq_len]序列長度從128提升到256內(nèi)存消耗直接變成原來的4倍256/128的平方。所以做實驗時先從短序列跑通再逐步加長。第二LayerNorm層的epsilon參數(shù)不要隨便動。項目中用的是1e-12這個值看起來小得離譜但BERT官方實現(xiàn)里就是這樣的。如果你把它改成常見的1e-5反而可能導(dǎo)致訓(xùn)練初期不穩(wěn)定。這個細(xì)節(jié)也是從官方代碼里傳下來的“奇奇怪怪的設(shè)定”。第三預(yù)訓(xùn)練的warmup步數(shù)不能太少。我在小數(shù)據(jù)集上踩過坑warmup只設(shè)100步結(jié)果前2000步loss大幅震蕩后來把warmup加到1000步就穩(wěn)定了。要知道在大型語料上warmup步數(shù)經(jīng)常要設(shè)置到10000步以上。第四如果條件允許直接用Google發(fā)布的預(yù)訓(xùn)練權(quán)重做微調(diào)而不是從零預(yù)訓(xùn)練。從零預(yù)訓(xùn)練需要的數(shù)據(jù)量和算力對個人開發(fā)者來說非常不友好。BERT-pytorch的意義更多在于“理解原理”和“復(fù)現(xiàn)實驗”而不是和生產(chǎn)環(huán)境里用現(xiàn)成權(quán)重?fù)尵?。做下游情感分類、命名實體識別等任務(wù)時加載bert-base-uncased權(quán)重再微調(diào)效果和速度會好得多。5.3 一個實用的復(fù)現(xiàn)檢查清單如果你想完整跑通BERT-pytorch并驗證自己的理解我建議按這個順序檢查輸入tokens是否正確添加了[CLS]和[SEP]長度是否一致多頭注意力的num_heads是否能夠整除d_modelEmbedding層三個矩陣的維度是否都是vocab_size, d_model/max_len, d_model/n_segments, d_modelMLM損失是否只統(tǒng)計masked位置而不是所有位置NSP的標(biāo)簽是否和segment id滿足對應(yīng)關(guān)系“句子B確實是隨機句或下一句”訓(xùn)練時有無用一個小batch做一次前向和反向確保沒有維度不匹配的報錯這個清單看起來非常基礎(chǔ)但我敢說至少有50%的人第一次復(fù)現(xiàn)時報錯都源自這幾個地方。我自己當(dāng)時就在多頭注意力拆分合并那一步卡了很久最后打印每個tensor的shape才排查出來。6. 基于BERT-pytorch的二次開發(fā)思路6.1 如何替換成你自己的TokenizerBERT-pytorch默認(rèn)的tokenization模塊比較簡陋如果你要做中文文本的處理建議直接替換成transformers的BertTokenizer。中文BERT有兩種做法一種是基于字character切分每個漢字作為一個token另一種是基于詞切分。Google提供的中文模型bert-base-chinese就是按字切分的。替換時只需要把原始的tokenizer換成from transformers import BertTokenizer tokenizer BertTokenizer.from_pretrained(bert-base-chinese)然后改寫數(shù)據(jù)預(yù)處理流程里調(diào)用tokenizer的部分保持輸出的token_ids、segment_ids仍是list of int即可。后續(xù)模型代碼完全不用動。6.2 如何用這個項目做下游任務(wù)微調(diào)這里提供一個典型的文本分類微調(diào)思路。先加載BERT-pytorch的預(yù)訓(xùn)練模型可以是Google權(quán)重轉(zhuǎn)換過來的然后取出[CLS]位置的輸出向量接一個全連接分類層class BertClassifier(nn.Module): def __init__(self, bert_model, num_classes): super().__init__() self.bert bert_model self.classifier nn.Linear(bert_model.hidden, num_classes) def forward(self, tokens, segments): _, pooled self.bert.forward(tokens, segments) # 這里需要從輸出中取出CLS位置的hidden state logits self.classifier(pooled) return logits注意BERT-pytorch模型的bert前向返回的是所有token的隱藏狀態(tài)[batch, seq_len, hidden]你要取[:, 0, :]才是[CLS]的表示。很多代碼里所謂的“pooled output”其實就是一個簡單的[CLS]取出操作不像transformers庫中還有額外的pooler層。這個細(xì)節(jié)在微調(diào)時直接影響分類頭的效果。微調(diào)的技巧也很直接用較低學(xué)習(xí)率2e-5到5e-5因為預(yù)訓(xùn)練好的參數(shù)已經(jīng)處于一個較優(yōu)區(qū)域?qū)W習(xí)率太大容易破壞它。通常只需要跑3~5個epoch就能在下游任務(wù)上得到不錯的效果。6.3 項目之外從BERT到更現(xiàn)代的模型BERT-pytorch雖然經(jīng)典但如今NLP領(lǐng)域已經(jīng)有了很多更強的模型。但坦白說如果你想真正理解RoBERTa、ALBERT、DistilBERT乃至GPT系列的核心思想先啃透BERT-pytorch的代碼會是一個非常扎實的起點。因為后續(xù)很多模型都是在BERT的骨架上做減法或加法——RoBERTa去掉了NSP但加大了數(shù)據(jù)和訓(xùn)練時長ALBERT用參數(shù)共享和矩陣分解大幅度減少了參數(shù)量DistilBERT用知識蒸餾把模型縮小了40%。你理解了BERT的每一塊部件再去看這些模型的“改動點”就會非常輕松。我在實際做項目時也經(jīng)常會把BERT-pytorch的代碼拿來當(dāng)作“最小可運行”的基線用來測試新數(shù)據(jù)集上是否存在數(shù)據(jù)泄漏、處理流程是否合理。它的代碼足夠短短到你可以在半小時內(nèi)讀懂全部關(guān)鍵邏輯這一點在生產(chǎn)級的transformers庫中是做不到的。7. 最后的實操心得這篇文章寫到這里其實已經(jīng)沒有“總括性結(jié)論”的必要了。我記得自己第一次獨立把BERT-pytorch從環(huán)境搭建到預(yù)訓(xùn)練小模型跑通花了整整一個周末。期間踩過torchtext的坑踩過CUDA版本不對的坑也踩過多頭注意力維度錯誤導(dǎo)致loss不下降的坑。但正是這些排查過程讓我對BERT的理解遠(yuǎn)超“會用transformers庫”的程度。如果讓我給剛接觸這個項目的朋友三條建議第一先別急著跑大數(shù)據(jù)拿一個只有幾千條的小語料把整個訓(xùn)練流程跑通觀察loss變化理解每一步在干什么第二一定要動手改參數(shù)改hidden size、改層數(shù)、改學(xué)習(xí)率看看訓(xùn)練曲線有什么不同這種直觀感知是看多少文章都替代不了的第三把官方預(yù)訓(xùn)練權(quán)重轉(zhuǎn)換到PyTorch環(huán)境后用在下游任務(wù)上這樣既能保證效果又能體會BERT-pytorch代碼和官方權(quán)重的兼容性。這個項目雖然名叫“BERT-pytorch”但它實際上是一個深度學(xué)習(xí)愛好者極佳的學(xué)習(xí)素材——它把一個曾經(jīng)刷新無數(shù)榜單的模型壓縮到了幾千行清晰可讀的PyTorch代碼里。弄懂它之后你再看其他NLP模型的實現(xiàn)大概率都能舉一反三。這大概就是經(jīng)典項目給人留下的最寶貴的財富。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天激情影片| 色色色婷婷五月| 开心五月激情婷婷| 欧美天天草人人草| 五月婷婷久久爱| 五月丁香综合在线| 六月色色婷婷| 華人性愛AV在線| www.com久久久久久久久久久久久久久久久| 九九热9| 思思热精品在线观看| 色域五月婷婷丁香| 婷婷大香焦| 伊人网啪啪| 婷婷色五月婷婷姐妹| 91丨九色丨首页| 丁香婷婷五月六月久久| 色五月丁香五月天| 亚洲性图一区二区| wuyuedingxiang99| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 操日本99| 丁香五月性| 丁香九月久久| 这里只有精品久久| 99爱在线视频观看| 天天插轮理| 五月色丁香| 天天射网站| 国产性爱一级| 色播五月天激情| 天天舔天天摸天天射| 五月丁香久久呀| 国产精品久久欧美久久一区| 日韩操人| 天天爽天天| 国产成人亚洲综合A∨婷婷| 五月久久五月激情| 操碰97| 五月婷婷精品| 色综合狠狠色| 在线99精品| 91久久精品国产91性色TV| 综合久久久| 婷婷五月天成人网站| 亚洲激情图文小说| 色99视| 婷婷亚洲影院| 另类视频在线| 狠狠操之狠狠操| 久久精品夜色噜噜亚洲a∨| 丁香六月婷婷缴情欧美| 亚洲色五月天在线| 日韩小视频在线99| 色五月人妻| 婷婷五月天成人小说| 欧美色六月婷婷| 色色综合色视频| 国产激情AV| 五月婷婷www| 五月婷婷玖玖综合玖玖爱| 免费看成人AA片无码视频吃奶| www.狠狠干| 狠狠搞五月天| 激情五月丁香在线观看直播| 久久丁香久久| 亚洲综合另类| 亚洲免费婷婷| 亚洲免费综合一区| 婷婷大乡焦噜噜| 97在线/日本| 亚洲视频另类| 久久精品4| 综合久久9| 超碰成人AV| 久久久久久18| 久久激情网| 中文精品在| 久久WW| 在线天堂9| 亭亭五月基地在线| 色五月婷婷丁香国产在线| 综合综合色色| 婷婷激情六月天视频| 婷婷五月天美女视频| 欧美狠狠地| 五月天婷婷丁香社区| 五月丁香六月香综合激情| 精品综合久久久久久五月天| 狠狠干五月天| 成人无码精品1区2区3区免费看| 日日夜夜久| 色五月婷婷综合| 国产精品国产| 色婷婷激情Av久久久| 五月丁香色色色| 99热线观看9| 97视频91| 五月婷婷丁香五月婷婷| 操操啪| www.99热| 激情五月天啪啪| 日韩成人电影Av| 久久精品夜色噜噜亚洲a∨| 国产91视频| 五月丁香在线视频观看| 婷婷六月综合基地| 97碰碰免费.视频| www.9色色色| 人人爽欧美婷婷久久久五月丁香| 99se丁香| 九九人妻福利| 国产精品电影网| 日日干日日| 色呦精品| 九九色热| 午夜丁香综合婷婷| 婷婷六久久| 久久99网址| 无套内射极品大美女| 天天日日| 五月天成人免费视频| 99人人操人人操人人精| 天天色月| 丁香五月婷婷五月| 五月婷三级片| 九九综合色综合| 可以免费看av网站| 大香蕉五月丁香| 五月丁香六月| 婷婷丁香宗合888| 五月丁香六月婷婷在线小说视频| 天天日狠狠| 色噜噜狠狠插综合| 风流少妇A片一区二区蜜桃| 婷婷伊人綜合中文| 五月天婷婷爱丁香中文字幕| 大香蕉五月丁香| 亚洲成人丁香花| 色婷婷香蕉| 啪啪六月婷婷| 亚洲A片成人无码久久精品青桔| CHINESE熟女老女人HD视频 | 欧美五月婷婷| 日韩在线观看网址| 亚洲激情无码久久| av中文在线| 五月天婷婷激情四射综合| 五月天激情小说| 国产亚洲精久久久久| 五月丁香影院| 成人深爱丁香五月| 五月丁香婷婷基地| 亚洲操逼网| 情涩婷婷五月天| 青草激情综合| 亚洲AV成人在线| AAAA网站| 久久天堂女人| 亚洲激情综合五月婷婷啪啪| 96精品成人无码A片观看金桔| 99国产精品白浆在线观看免费| 婷婷亚洲综合| 99久久国产成人精品| 97香蕉久久超级碰碰高清版| 丁香五月婷婷亚洲色图| 久久激情天堂| 99九九视频| 激情小说婷婷五月| 99综合入口| 色婷婷a三区麻| 丁香伊人网| 玖玖玖婷婷婷| 可以免费看AV网站| 爆乳熟女-区二区三区| 色色色综合视频| 99久久99九九九99九他书对| 色婷网| 五月天六月色| 五月丁香六月综合基地| 国产在线中文字幕| 五月婷婷欧美| 九九无码| 一级A片天天操夜夜操| 日本不卡一区二区三区| 丁香五月六月欧美| AV网址大全在| h在线看免费版在线看| 综合九九久久| 久婷| 激情精品久久| 激情小说色五月| 五月婷婷中字在线| 亚洲婷婷五月天| 精品无码av丁香五月激情| 婷婷在线免费| 色色婷| 五月激情婷婷在线| 丁香六月色情| 五月婷婷影视| 激情五月天天狠狠久久| 丁香五月亚洲AV| 久久婷婷亚洲| 六月婷婷九月丁香亚洲综合| 9999热在线免费观看| 99热综合色图| 久久99最新| AV成人在线网站| 五月婷婷久| ady狠狠入| 国产无人区大片| 精品婷婷| 中文字幕成人网站| 婷婷五月综合激情免费| 九九99精品| 五月婷丁香| 日日色五月天| 丁香五月123| 国产免费一区二区三州老师F1F1| 五月丁香A∨在线| 婷婷六月色| 色综合大香蕉| 五月天福利影院导航| 久久婷婷五月综合色和| 亚洲精品亚洲人成人网| 亞洲自怕| 九九av| 成人羞羞啪啪 全 视频| 美女91一起草| 丁香激情五月| 99这里只有精品| 快乐激情五月色婷婷| 超碰v| 日韩国产在线精品| 丁香五月婷婷av| 欧美激情 日韩无码 婷婷 五月天| 日日噜狠狠色综合久| 久久作爱| 就爱日五月天| 五月天丁香| 丁香五月婷婷俺也要去| 91尤物九色在线| 专区无日本视频高清8| 韩国天天婷婷| 欧美激情五月天在线观看| 久久资源综合| 三男玩一女三A片| 五月丁香婷婷五月| 亚洲激情综合| 午夜免费高清AV片| 人人爽网| 97人人射| 青青草激情网| 伊人六月无码视频| 亚洲综合99| 久久99久久99www| 思思久久精品| 天天操婷婷| 五月丁香亚洲综合网| 九热久| 少妇人妻丰满做爰XXX| 五月天婷婷丁香导航| 99丁香五月婷| 狠狠色婷婷7777久| 色情五月天。| 五月婷婷电影院| www.91操| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99在线小视频| 欧美性爱5月天天天看| 丁香花色色网| 色综合久久天天综合网| 六月婷婷最新网址| 欧美VA在线| 热99国产精品| 丁香五月性| 色婷婷丁香社综合| 黄色短视频在线观看| www.婷婷五月天| 深爱五月激情五月| 99热最新| 婷婷丁香人妻天天| 99热成人在线观看| 激情网第四色| 激情五月天啪啪| 69精品人人人人| 9久久网| 91久久网站| 日本三级大片| 日产精品久久久久久久蜜臀| 丁香激情五月天| 射久久丁香五月| Www.狠狠| 深爱婷婷丁香五月激情| 五月丁香六月婷婷视频| 99热这里只有精品22| 99爱免费在线视频| 色久综合天天做视频| 丁香月五月天婷婷久久| 天天舔天天摸天天射| 99爱视频精品在线观看| 五月五婷婷网| 天天日夜夜高潮| 中文字幕av久久爽一区| 看婷婷五月天网| 色婷婷中文在线| 操操精品| 婷婷丁香花五月天| www.婷婷五月| 六月婷婷深深爱| 大香网伊人久久综合| 色综合久| 丁香六月av| 久久er九九| 1000部毛片A片免费观看| 九九re精品视频在线观看| 五月婷婷激情综合网 | 国产精品美女| 久久色区| 日产精品一线二线三线芒果| 伊人久久婷婷五月综合97色| 中文字幕综合色| 日韩有码一区| aa久久| 婷综合| 丁香婷婷久久| 五月 丁香 欧美| 天天碰天天插天天操| 国产成人va在线| 九九精品网| 婷婷成人五月天| 免费亚洲婷婷中文字幕| www.色婷婷| 江苏少妇性BBB搡BBB爽爽爽| 99九九热视频免费| 开心五月六月婷婷| 婷婷五月激情在线| 欧美日韩成人在线网| 六月婷婷av| 这里只有精品视频| 国产精品男人AV不卡| 国产女人十八水真多1| 在线综合91| 婷婷丁香五月激情密臀av| 色爱综合网| www.sd-xiangsu.cpm| 欧美性爱特黄一级aaaassss| 五月丁香六月激情综合| 色色丁香婷婷| 丁香六月婷婷高清| 婷婷五月天在线观看| 久久精品99| 色综合五月天| 丁香久月| 99精品这里只有免费视频| 伊人干练久| 丁香五月婷婷在线观看| 六月色婷婷| 天天色中文字幕女优AV| 97久久久久| 五月丁香六月婷婷综合免| 激情五月丁香综合网站| 色五月婷婷久久| 亚洲字幕AV一区二区三区四区| 黄网在线免费观看| 中文婷婷狠狠| 久久婷婷成人视频| 免费看欧美成人A片无码| 婷婷五月天久久| 久久ri精品| 色五月婷婷操逼| 五月综合激情久久| 91九色欧美| 亚洲亚洲人成综合网络| 99精品国产热久久91色欲| 678五月丁香亚洲综合| 人人爱人人草| 国产人妻777人伦精品HD| www.com任你艹| 99这里只有免费的小视频在线观看| 婷婷色色五月| 亚洲激情另类| 欧美性爱丁香五月| 五月天婷五月天综合网在线观| 夜夜撸天天操| 超碰免费观看| 色丁香综合影院| 色五月五月天色婷婷色五月| 欧美在线ee日韩| 激情婷婷久久| 思思久久99| www.9操| 欧美情月伍月天| 色高清无码视频| 久热伊人| 超碰在线观看9| 激情五月天婷婷视频| 伊人久久大香网| 91九色 熟| 激情婷婷综合| 婷婷五月天网| 華人性愛AV在線| 色欲婷婷五月天丁香| 97超级碰人人| 六月婷婷狠狠| 超碰人人草| 久久久香| 内射综合网| 亚洲国产网站| 思思热99热| 亚洲天堂婷婷| 蜜桃婷婷丁香| 内射 无码 伊人| 中文字幕丁香五月| 天天操夜夜操| 99久久黄色顶级视频| 婷婷五月天开心网| 久热视频A.| 91精品婷婷国产综合久久| 亚洲婷婷丁香五月| www.操.com| 五月丁香亚州综合网| 亚洲一二三网| 五月激情网络| 丁香婷婷浪潮AV久久综合| 天天噜日日噜综合无码| 91ncom.色| 操人久久| 91九九| 色婷婷导航| 五月激情综合网| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 激情深爱五月天| 二色AV| 99九色视频在线观看| 五月天基地| 五月丁香六月激情在线| 亚洲天堂啪啪| 99精品性爱| 久久久久久久丁香五月天婷婷| 成人色色视频| 婷婷五月天淫荡| 九色视频这里只有精品| 五月天婷婷激情六月久久| oumeisesewang| 丁香五月天电影| 丁香五月婷婷性爱| 综合福利网| 丁香 婷婷 亚洲 熟女| 人妻Av在线| 五月丁香网站| 日韩色色色色色| 深爱五月天| 99热这里只有精品33| 七月丁香婷婷 色色| 久久婷婷五月天亚洲欧美| 久色大香蕉| 五月色色激情网| 超碰a女人的天堂| 美欧日韩国产成人在战| 五月综合视频| 丁香 婷婷 亚洲 熟女| 色婷婷影音| 久久资源网五月婷| 99色色热热| 蜜桃成语时李时珍 免费| 91小黄书网址在线观看| 国产AV不卡福利| 天天色天天操天天射| 亚州视频九九99| 九九九AAA热视频| 成人版视频在线观看| 色色色色综合网| 亚洲精品V天堂中文字幕| 综合激情网激情五月。| 欧美在线干| 麻豆AV一区二区三区| 欧美成人A片AAA片在线播放| 91九色精品熟女内射| AA片在线观看视频在线播放| 五月婷婷激情日本| www.五月天婷婷姐姐| 久久加勤综合| 五月激情婷婷播播开心| 天天肏天天插| 91凹凸在线| 丁香五月天社区| 99热这里只有精品1| www.99热| 欧美六月婷婷| 五月天婷婷久久| 思思热在线视频观看精品| 婷婷成人av| 这里只有精品在线观看视频| 色婷婷亚洲精品天天综| 97久久草草超级碰碰碰| 五月激情综合婷婷| 91精品久久久久久综合五月天| 婷婷欧美综合| 九九色video| 丁香五月电影| 天天影院色| 丁香香五月激情免费视频| 亚洲视频无| 超碰在线99| 色婷婷综合网| 人人干Av| 日本精品。999| 99男人天堂| 综合久久婷婷99| 婷婷色婷婷| 天天色激情| 婷婷五月天色丁香| 97欧美在线| 五月停视频天堂| 婷婷丁香人妻天天爽| 丁香婷婷视频| 五月婷婷综合色啪首页| 人人操AV| 亚洲色在线观看| 精品成人无码A片观看香草视频| 免费看欧美成人A片无码| 婷婷久久精品| 久狠日av| 婷婷五月天激情五月天网站| 插插插丁香五月婷婷| 久久婷婷啪啪视频| 2016日日夜夜操| 最新婷婷五月丁香| 色狠狠婷婷| 在线只有精品| 久久婷婷精品| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 91蜜桃婷婷狠狠久久综合9色| 精品视频99看在线视频| 五月天狠狠网站| 在线观看996精品| 99综合入口| 久久一级AV| 亚洲成av人影院| 婷婷激情综合| 99久久9| 婷婷五月天成人网| 久综合网| 色色色婷| 国产亚洲99久久精品| 欧美大香蕉视频| 七七九色| 91成人视频| 女人被男人吃奶到高潮| 五月天激情小说| 97 A I色色| 五月色俺婷婷| 九九热视频思思| 五月婷AV| 日本色色视频| 九色啦蜜臀| 五月婷视频| 99综合网| 日韩成人av在线| 五月婷色色| 超碰在线91| 久久国产色| 夜夜撸日日操| 五月天婷婷丁香| 九九碰九九爱97超碰| 婷婷五月天久久久| 天天日天天插| 激情婷婷丁香五月| 中文字幕天天干| 日本乱论99| 再次出发二| 国产亚洲精品久久一区二区三区| 丁香五月六月欧美| 狠狠精品干练久久久无码中文字幕| 国产亚洲精品久久久久久久久动漫| 亚洲人妻av伦理| 五月丁香色婷婷基地| A A色色| 天天成人丁香美女AV| WWW.色婷婷.COM| 99视频日韩| 97人妻人人| 色你久久| 色婷婷久久综合久色| 九九热区一区二区三区| 思思久久精品| 97福利视频| 国产SUV精品一区二区6| 97性高潮久久久| 亚洲婷婷激情综合激情999精品| 99热| 丁香五月天堂亚洲社区| 九九99九九99九九99视频网| 狠狠操天天操天天操| 久久A V无码视频| 五月天激情国产综合婷婷婷| 婷婷五月天网| 五月丁小婷婷激情四射| 婷婷五月丁香91| 开心婷婷五| 婷婷五月天欧美图片在线播放电驴| 色婷婷深爱五月| 五月成人天| 狠狠久久婷五月| 丁香五月AV| 久久天堂色| 最新av在线观看| 夜夜做天天爽| 久久9久| 丰满少妇猛烈A片免费看观看| 思思久久精品| 色婷婷成人做爰A片免费看网站| 高清无码入口| 丁香97综合| 日韩免费乱轮网站| 性天天中文网| 99热这里只有精品66| 123日本不卡在线| 97av在线视频| 99久在线精品99re8| 婷婷五月激情网| www.色色com| 丁香五月六月久久综合| 六月久久狠狠| 婷婷丁香六月天| 五月婷婷综合影院| 热久久国产视频| 久99| 丁香五月婷婷av| 无码人妻AV久久久一区二区三区| 丁香婷婷综合激情五月色| 五月天激情日色在线| 狠狠综合网| 天天综合中文| 欧美顶级少妇做爰HD| 99大香蕉| 草五月| 99超级碰免费视频| 激情久久久久久| 亚洲操b| A A色色| 婷婷六月啪啪| 97碰| 97亚洲婷婷| 婷婷五月天久| 9999热这里只有精品| 激情深爱五月天| 久久 婷婷 五月天| 伊人五月婷婷| 丁香五月婷婷色偷偷| www.亚洲激情| 大香蕉 婷婷| 色青青五月| 日本丁香五月| 99色在线| 欧美日韩99| 五月丁香久久| 五月天久久久| 99久热在线精品| 久99在线视频| www.久久久久久久| 五月婷婷天| 五月婷婷六月丁香综合| 日本一毛片| www91精品| 日本色综合| 久久婷婷综合色丁香| 天天操夜夜橾| 91久久免费| 亚洲中文乱字字幕在线永久| 99热99天堂| 99视频只有精品| 综合99在线| 人妻久久久久久久 | 五月天婷婷基地| 久久中文人妻系列| 国产这里只有精品| 婷婷色日本| 日本人人超碰| 婷婷激情五月天亚洲综合| 成人无码髙潮喷水A片| 五月停停直播| 成人龟情网丁香五月| 五月婷婷免费| 日本玖玖在线| 99热这| 在线观看亚洲AV| 91久操| 婷婷第六色| 99热在线观看| 五月丁香激情婷婷综合| 亚洲色区17| 五月开心网| 激情5月舔| 成人中文网| 亚艹艹| 日本97在线| 九色PORNY9l原创自拍| 天天插天天插天天日| 天天操综合网| 五月激情婷婷开心| 强伦轩人妻一区二区电影| 丁香五月天啪啪| 情婷婷五月天在线| 99热97美女| 五月婷婷激情久久| 色五月激情五月丁香五月婷婷啪啪综合| 99视频在线精品免费观看2| 色色色色色综合| 婷婷五月天AV| 色婷婷香蕉丁丁网| 色婷婷综合影院| 99性色| 婷婷四色五月| 99手机在线精品视频| www.婷婷五月| 丁香综合网| 日本色99| 99在线观看视频蜜臀| 久久婷婷免费| 五月丁香六月婷婷激情网| 欧美va亚洲va| 亚洲免费av观看| 99热这里只有精品8| 久久这里只有国产精品视频| 色五月婷婷大香蕉| 成人无码精品1区2区3区免费看| 久热婷婷| 婷婷碰碰| 亚洲综合色色| 婷婷五月花丁香| 久久99网站| 丁香五月亚洲综合| 九九婷婷网五月天| 少妇激情五月天| 天天看片日日夜夜| 97超级操操| 中文字幕按摩做爰| 免费AV在线| 九九爱看亚洲| 久久99网址| 超碰日韩成人| 亚洲色五月婷婷| 99热在线观看精品| 色色影院aaaav| 天天色99| 麻豆忘忧草午夜| 五月婷婷六月天| AV性爱网| 五月婷婷花| 狠狠综合久久| 五月婷免费视频| 综合久久激情久久| 99热这里只有精品青草| 五月天天久久香| 蜜桃五月天色| 丁香五月婷婷综合视频| 91狠狠色丁香婷婷综合久久| 激情五月婷婷她| 婷婷情色开心五月天99| 色99网站| 99热在线精品观看| 五月婷婷啪啪网| 影音先锋91资源站| 亚洲欧美另类在线23p| 亚洲99手机免费看视频| 五月丁香久久网| 婷婷综合激情| 玖玖无码中文| AV国产有码| 71在线精品视频一区| 久操大| 青青草蜜臀| 丁香五月婷婷av影院| 五月天色五月| 日本不卡中文字幕| WWW,激情五月天,COM| 99在线免费观看| 91免费看片| 天天搞天天色综合| 日本激情ⅩXX免费视频| 亚洲成人五月天| 第一区久久网站| 激情综合婷婷久久| 91精品啪| 亭亭色网| 亚洲旡码| 色播五月| 丁香五月天论坛| 激情5月婷婷狠狠干| 东京热免费视频| 蜜臀A∨在线水帘洞| 十二区无码| 色婷婷yy久| 六月丁香啪| 久久网婷婷| 色播播婷婷| 色哟哟www| 99在线观看| 91丨九色丨国产打屁股| 欧美欧盟性爱网| 婷婷五月在线综合| 色综合久久伊伊婷婷五月| 五月天婷婷久色| 丁香网五月网| 久色五月婷婷综合| 激情五月天网页| 岛国av电影网站| 99热精品综合| 色久天| 26uuu成人网| 婷婷五月色综合| 丁香五月电影| 91超级碰碰| 亚洲精品无码一区二区| 五月婷婷色色爱| 色五月开心久久网| 久久99久久99精品免观看粉| 激情综合啪啪| 亚洲第精品| 五月激情偷拍| 天堂综合久久 | 奇米四色五月天| 99热综合| 成人做爰A片免费看视频| 亚洲中文字幕在线观看| 丁香婷婷浪潮AV久久综合| 日韩欧美一级大黄网站| 国产精品99久久久久久猫咪| 色色吧综合| 热99久久这里只有精品| 色婷婷婷婷五月天| 超碰人人超碰| 九月色婷婷| 婷婷免费视频| aⅤ79成人片| 色狠狠六月| 欧美激情综合色综合啪啪五月| 亚洲男人的天堂婷婷色五月| 久久久久久久人妻| 色综合九九| 亚洲国产精品成人午夜| 香蕉97碰碰碰超视精品| 狠狠五月激情在线| 九六五月天婷婷| 天天爽天天操| 亚洲视频在线观看| 狠狠 久久| 99热 这里只有精品 国产 日韩| 色哟哟性爱av| 婷婷丁香水多多视频| 婷婷五月精品中文字幕| 久久草大香蕉| 91无码一区人妻A片蜜| 99热在线精品观看| 超碰狠狠色| 色色免费网站| 亚洲精品一二三| 原琪琪色影院| 五月丁香婷爱在线| 婷婷天天色| 97人人操人人操人人操人人| 99视频色在线观看| www.夜夜操| 成人草榴视频| 五月婷婷色情| 超级碰碰碰久久网站| 婷婷97碰碰| 人妻VideOssS人妻高清| 九九热最新地址| 久热丁香| 丁香五月天天高清在线| 精品人妻伦一二三区久久| 99久久.www| 天天射综合网天天插| 婷婷五月天精品| 绿色小导航AV| 99热这里有精品2| 天天色播| 婷婷激情六月综合| 一级性爱视频| 成人超碰网| 天堂婷婷五月在线| 国产性爱一级| 日本情色一区二区| 久久婷婷五月丁香| 777精品久无码人妻蜜桃| 新97人人上人人| 丁香六月欧美| 91主播在线| 五月丁香六月婷婷不卡免费无码| 激情都市五月天| 怡红院视频| 日韩久热| 欧美日韩成人一区二区| 狠狠狠狠青草| 婷婷五月深爱五月| 人妻丰满精品一区二区A片| 亚洲Va成人| 性天堂久久| 六月丁香狠狠爱| 99久久6| 伊人婷婷福利网| 欧洲激情五月天| 色五月 五月婷婷| 色色五月丁香婷婷| www.五月天婷婷| 大香蕉久久婷婷| 欧美 日韩 成人| 激情综合婷婷久久| 婷婷国产成人| 婷婷日本色| 五月婷婷丁香婷婷| #NAME?| Www,五月天| 国产超碰av| 激情网综合| 天天久久九九| 五月婷婷人妻| 99色在线视频观看| 99r这里| 色综合色色色色色色综合| 婷婷激情五月天在线| 色综合久久久无码中文字幕999| 97超级操操| 激情五月天电影| 激情婷婷网| 五月丁香五月综合欧美| 亚洲色人妻| 婷婷色网站| 四虎成人精品永久免费AV九九| 这里只有精品9| 狠狠插.com| 天天婷婷色六月| 4438成人电影| www.久久久久久久| 五月天社区| www.91.com处女在线直播| 丁香五月自拍| 婷婷激情鹿城五月天| A片试看120分钟做受图片| 天天做 天天爱| 久re在线| 久久色婷婷| 五月婷婷无码| 桃色成人网| 婷婷五月激情视频| 一起肏在线视频| 九九99久久| www色婷婷久久综合久色| 人与禽A片啪啪| 中文在线视频久1| 99人妻碰碰碰久久久久视| 成片免费播放| se色99| 色婷婷激情视频| 99热这里只有精品69| 另类国产欧美视频| 开心五月综合激情网| 免费视频舔| 色情网综合| 免费精品99| 婷婷五月亚洲激情| 婷婷情色五月| 精品久久久999| 婷婷激情六月综合| 殴美97色| 激情六月综合| 五月婷AV| 91九色无码日韩| 日本熟妇乱妇熟色A片蜜桃| 五月丁香在线国产| 99re免费在线视频| 免费视频无码| 亚洲激情免费视频观看| 五月天婷婷xxx| 婷婷中文字幕网站| 婷婷六月啪啪| 日韩AV色色色| 国产免费一区二区三区三州老师F1F1.CC | 五月婷婷色情| WW婷婷五月天com| 99视频| 丁香六月激情综合网| 久久五月天精品视频| 日日天天干| 熟女激情五月天| 99久久久| 五月天色色色色色| 99精品国产在热久久| 婷婷五月激情小说| 综合狠狠五月婷婷| 丁香五月综合首页| 欧美成人AAA片一区国产精品| 精品九九在线观看| 免费成人网在线观看| 无码少妇高潮喷水A片免费| 婷婷色五月色| 天天做天天双| 久久久五月五丁香| 性爱激情五月| 亚洲AV成人在线| 亚洲综合激情五月| 色情·com| 婷婷久久99| 91碰免费视频| 99热综合| 久久这里只有精品视频1| 色噜噜狠狠色综合伊人| 9福利性视频欧美| 色情终和网| 大香蕉综合在线| 影视av久久久噜噜噜噜噜三级| 97欧美在线| 亚洲AV无码电影| 人人干av| 台湾无码A片一区二区| 性天天中文网| 色色色在线免费视频| 色婷操逼| 色吊丝av中文字幕| 热99色| 香蕉久久av一区二区三区| 日韩高清成人| 99热一区| 99爱免费视频| 婷婷六月婷婷| 天天拍夜夜撸| 先锋五月婷婷丁香草草| 9999热在线免费观看| 韩日AV片| 成人草榴视频| 国产3p露脸普通话对白| 六月丁香久久| 婷婷久久五月| 中文字幕视频在线播放| AV天堂婷婷五月天| 婷婷五月天激情在线观看 | 婷婷色五月91啪啪| 六月婷婷激情| 色99色| 丁香五月婷婷亚洲色图| 久久久久人妻精品| 色婷婷五月天天天干天天操天天爽 | 99精品久久久久久久| 丁香五月婷婷少妇| 亚洲人操亚洲人| 99热每日| 精品一二三区久久AAA片| 久久久18| 蜜桃人妻无码AV天堂三区| 亚洲激情另类| 五月香婷婷| 六月丁香婷| 第四色五月天| 99成人| www.夜夜| 欧美槡BBBB槡BBB少妇| 久久在线视频免费观看| 激情五月天丁香| 丰满老熟妇BBBBB搡BBB| 欧美叉叉叉BBB网站| 五月天社区| 国外亚洲成AV人片在线观看| 国产日产亚系列精品版优势| 亚洲妇女熟BBW| 日韩艹比| 久久综合图片| 久久精品日| 一起肏在线视频| 国产欧美精品AAAAAA片| 久久中文网| 99精品小视频| 欧美啄木乌丝袜人妻系列| 六月丁香VA| 99热| 丁香五月综合激情啪啪| 丁香色五月天| 五月花婷婷| 亚洲精品无码一区二区| 天天激情站| 色婷婷色综合| 久久久婷婷色五月资源网| 婷婷色操| 69热在线| 99这里精品| 激情综合色| 99热| 狠狠色婷婷777| 精品色色| 婷婷九月久久| 99热99天堂| 日本欧美在线| 99热99免费| 人人爽欧美婷婷久久久五月丁香| 99免费热在线精品| 99免费视频精品| 欧美激情综合五月色丁香| 婷婷五月天综合网| 久久久五月天| 婷婷五月激情欧美大胆视频| 都市激情亚洲| 五月丁香日本一抹本| 亚洲色域网| 99精品在线观看视频| 久久久精品人妻| 亚洲精品久久久无码| 婷婷综合另类| 99综合色色色| 天天肏天天爽夜夜爽| 超级碰碰碰97免费| 青草青草视频2免费观看| 色约约视频一区二区三区四区五区| 野战J办公桌椅H| 五月婷婷婷| 天搞天天天天天| 天天免费日日夜夜夜夜| 亚洲美女高潮久久久久久69| 午夜少妇在线观看视频| 激情婷婷黄色五月 | 日韩色情亚洲五月天婷婷| 综合伊人久久| 日本欧美成人片AAAA| 亚洲第一影院高清无码网站| 秋霞电影一级黄| 无人精品在线视频| 五月天婷婷基地| 亚洲黄色av网站| 99热欧| 丁香五月激情综合| 五月天激情小说| 99超级碰碰| 婷婷五月天免费| 婷婷色网站| 9精品国产在热久久| 五月婷婷激情综合在线| 五月天久久网站| 99re在线播放| 日本高清久| m色激情网| 成人AV在线电影| 五月天停停日日| 午夜丁香六月婷| 六月激情婷婷| 在线综合91| 三区激情四射av| 99在线69| 东京热人妻一区二区三区在线| 人碰人人人玩91| 996er在线观看| 永久免费一区二区三区| 99热网精品| 久久久中文| 婷婷五月综合网| 亚洲色就是色色色| 91色逼| 色色网站免费| 婷婷精品| 成人婷99最新| www.26uuu.com亚洲电影| 色色A| 99亚洲精美视频在线观看| a69在线视频| 亚洲国产成人在线| 久久综合综合综合| 好好干av| 欧洲色区| 香蕉婷婷色五月| 日本婷久久| 综合色婷婷| 色五月婷婷色五月| 亚洲国产精品二二三三区| 这里只有精品免费在线视频| 97精品在线| 大天天伊人| 丁香六月婷婷一区二区三区| 国产暴力强伦轩1区二区小说| 色综合色五月| 久久婷婷激情四射五月天| 99热国产在线| 香蕉AV福利精品导航| 色婷婷av在线观看| 超碰操网| 98永久精品| 五月婷婷色五月| 色五月婷婷影视| 色亚洲欧洲| 182无码| 婷婷五月色亚洲| 我淫我色婷婷五月天激情四射| txt五月激情四射网综合俺也来了| 五月天婷婷色在线视频免费观看| 婷婷丁香色情| 丰满少妇乱A片无码| renrencaoav| 亚洲视频一区| 天天日人人| 欧美性猛交99久久久久99按摩| 超碰激情网| 五月丁香六月情| 99免费青青蜜臀| 99热只有| xxxx久| 久久婷婷五月综合激情国产 | 五月丁香六月情亚洲| 婷色影院| 天天夜天天色天天| 性爱网五月婷婷| 26uuu亚洲精品国产| 激情五月婷婷色综合| 五月婷婷丁香瑟瑟视频| 久久资源综合| www.99热在线| 亚洲视频操| 久久免片| 五月激情综合激情五月| 超碰91在线| 激情综合五月激情XXXX| 成人美女网| 色综合天天天天做夜夜| 超级碰碰一区| 少妇人妻人伦A片| 久久9视频欧美| 色99视频| 丁香五月婷婷成人色区| 日韩青青| 激情五月天社区| 爆乳熟妇一区二区三区爆乳| 久久婷婷色| 第二色AⅤ| 久综合九综合99| 五月丁香色| 殴美日比视频| 丰满少妇猛烈A片免费看观看| 另类精品视频在线观看| 激情五月天视频| 免费观看亚洲AV片| 亚洲激情另类| 婷婷五月天激情小说网站| 丁香五月婷婷av影院| 99re热视频这里只精品5| 99爱爱网| 婷婷六月久久综合导航| 99久久66| 97超碰婷婷五月天| 五月婷婷激情综合网 | dingxiangtingtingliuyue| 国产真实乱对白精彩| 婷婷色五月色| AV网站免费在线| 成人无码髙潮喷水A片| 婷婷五月丁香伊人| 色娸娸综合网| 99亚洲天堂| 天天插天天插天天插天天插| 色99在线观看| 荫道BBWBBB高潮潮喷| 五月亭亭网成人在线视频| 久久中文人妻系列| 精品爱欲五| 停停五月色宗合| 天天噜天天爱| av在线免费网站 | 99九九精品| 久热网在线视频|