欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

中文命名實體識別實戰(zhàn):BERT+BiLSTM+CRF完整項目解析

中文命名實體識別實戰(zhàn):BERT+BiLSTM+CRF完整項目解析 簡介面向中文命名實體識別任務(wù)融合BERT、BiLSTM與CRF的Python實現(xiàn)方案可對中文文本中的人名、地名、組織機構(gòu)等實體進行端到端識別包含完整源碼、項目說明、預(yù)訓(xùn)練模型與標(biāo)注數(shù)據(jù)適合計算機、人工智能等專業(yè)學(xué)生用于畢業(yè)設(shè)計、課程設(shè)計或NLP實戰(zhàn)練習(xí)。壓縮包共58個文件以16個py源碼、19個pyc編譯文件、9個txt說明為主輔以png結(jié)構(gòu)圖、md筆記、xml工程配置和csv數(shù)據(jù)整體13.75MB目錄按模型、數(shù)據(jù)處理、訓(xùn)練等模塊劃分便于按圖索驥。從現(xiàn)有瀏覽數(shù)據(jù)看已有1209人學(xué)習(xí)下載。工程內(nèi)提供BILSTM_CRF、IDCNN_CRF、BILSTM_Attention_CRF、BERT_BILSTM_CRF等多種對比模型附帶人民日報和MSRA數(shù)據(jù)集預(yù)處理腳本可直接運行訓(xùn)練與測試項目說明詳細且經(jīng)測試運行成功既適合小白逐步練習(xí)也可作為課設(shè)、畢設(shè)或初期項目立項演示能幫助深入理解NER中序列標(biāo)注、特征融合與解碼的完整流程。1. 一個zip里裝著的成熟技術(shù)棧BERTBiLSTMCRF 到底是做什么的看到“基于BERTBILSTMCRF進行中文命名實體識別python源碼項目說明模型數(shù)據(jù).zip”這個打包名字懂行的人會先松一口氣這不是什么玩具 demo而是目前中文命名實體識別NER領(lǐng)域最經(jīng)典、最不容易翻車的三層結(jié)構(gòu)。BERT負責(zé)把每個字的語義編碼成向量BiLSTM在整句話里再做一輪上下文精修CRF在最后給標(biāo)簽序列套上合規(guī)約束。三者的關(guān)系有點像“閱讀理解 上下文潤色 校對排版”。這套技術(shù)棧能解決的具體問題很直接從一段中文文本里自動抽出人名、地名、機構(gòu)名、時間、藥品名、案件名等實體片段。對畢業(yè)設(shè)計、法律文書抽取、醫(yī)療病歷結(jié)構(gòu)化、客服工單打標(biāo)這些場景它都是最穩(wěn)的起點方案。在動手之前我要先幫你看清楚這個結(jié)構(gòu)為什么值得搭、每一步怎么落地、以及哪些地方會白白浪費你兩三天時間。2. 三層神經(jīng)網(wǎng)絡(luò)各司其職為什么非要把 BERT、BiLSTM、CRF 拼在一起2.1 中文NER難在哪邊界、歧義和嵌套中文命名實體識別和英文最大的差別在于“字”和“詞”的關(guān)系。英文里詞天然有空格分隔實體邊界基本等于詞邊界中文沒有這個天然分隔符所以中文NER通常退化成“序列標(biāo)注”問題——每個字給一個標(biāo)簽連起來才構(gòu)成實體。比如“我 在 北 京 上 班”這六個字需要給“北”“京”分別打上“B-LOC”“I-LOC”模型才能拼出“北京”這個地名。邊界還不是唯一難點。中文的歧義很要命“南京市長江大橋”既可以切成“南京市/長江大橋”也可以理解為“南京市長/江大橋”“小米上市了”里的“小米”是公司還是糧食要看句子上下文。更麻煩的是嵌套實體比如“北京大學(xué)附屬醫(yī)院”里同時存在“北京大學(xué)”和“北京大學(xué)附屬醫(yī)院”兩個實體但扁平式標(biāo)注只能選一層。所以一個能干活的NER系統(tǒng)必須同時擁有“理解語義”和“利用上下文修正”的能力這正是三層結(jié)構(gòu)存在的理由。如果把NER比作流水線BERT是看懂了全文語義的閱讀者BiLSTM是把前后文線索反復(fù)咀嚼的校稿人CRF則是最后那道不許標(biāo)簽亂跳的質(zhì)檢閘門。三層各管一段去掉任何一層效果都會肉眼可見地變差。2.2 為什么不能只用 BERT也不能只用 BiLSTMCRF先看只用BERT的情況。BERT經(jīng)過預(yù)訓(xùn)練之后每個字會得到一個帶著整句上下文信息的向量理論上可以直接把這些向量喂給一個全連接層輸出每個字屬于每種標(biāo)簽的概率。這樣做能出結(jié)果但在長句上問題很明顯BERT的解碼端沒有“記住剛才那個字是什么標(biāo)簽”的能力。比如“李華在北京工作”中“李”被識別成B-PER后下一個“華”大概率也應(yīng)該是I-PER但如果只看BERT輸出的概率向量“華”也可能被誤判成B-PER因為詞向量層面它并沒有“我是不是前一個實體的延續(xù)”這個信息。再看只用BiLSTMCRF的情況。BiLSTM能從兩個方向讀取序列信息CRF能約束標(biāo)簽轉(zhuǎn)移這套經(jīng)典組合在十年前是標(biāo)配。但它的天花板在于輸入特征如果還是用隨機初始化的字向量模型對語義的理解非常淺碰到“蘋果發(fā)布新手機”這種句子它很難把“蘋果”歸到ORG還是MISC因為沒有足夠的預(yù)訓(xùn)練知識告訴它“蘋果”在科技新聞里指公司。在實際項目中我見過不少團隊把這三層拆開做對比實驗。結(jié)論很一致BERT單層F1大約在82-86BiLSTMCRF單跑大概在75-80三層疊加能上到90左右。差異來源主要就是“語義理解”和“標(biāo)簽序列約束”這兩個能力缺一不可。另外BERT內(nèi)部其實包含12層Transformer已經(jīng)具備很強的特征提取能力所以疊加的BiLSTM通??梢宰龅脺\一些單層即可作用是對BERT輸出做一次序列級別的平滑聚合而不是重新提取特征。2.3 CRF的轉(zhuǎn)移矩陣沒有它標(biāo)簽會亂跳CRF條件隨機場在NER里的核心作用是一個詞約束。它會學(xué)習(xí)一個標(biāo)簽轉(zhuǎn)移矩陣比如“B-PER后面只能跟I-PER或者O不能直接跟B-LOC”“I-LOC前面必須是B-LOC或者I-LOC”。這種約束用代碼很難手寫全因為標(biāo)簽組合太多而CRF會從訓(xùn)練數(shù)據(jù)里自動統(tǒng)計這些轉(zhuǎn)移概率。具體來說BERTBiLSTM輸出的每個字的標(biāo)簽概率會被送入CRF層CRF會結(jié)合“當(dāng)前字的概率”和“前一個字的標(biāo)簽”這兩部分信息利用維特比算法找出整條句子最優(yōu)的標(biāo)簽路徑。舉個例子“我 在 北 京 上 班”如果沒有CRF模型可能給“北”打B-LOC、給“京”打O因為單獨看每個字“京”被識別成O的概率也不低但CRF知道“B-LOC 后面接 O”的轉(zhuǎn)移概率極低所以會把“京”強行糾正為I-LOC。注意CRF不是用來提升實體識別概率的它是用來壓制不合法序列的。訓(xùn)練過程中你是否正確實現(xiàn)了“損失 真實路徑分數(shù) - log(所有路徑分數(shù)和)”這個公式直接決定了最終實體邊界是否整齊。理解了這個原理你在調(diào)參時才不會把“CRF的學(xué)習(xí)率”和“BERT的學(xué)習(xí)率”混為一談——這是后面實操里非常關(guān)鍵的坑。3. 本地跑通最小源碼環(huán)境、數(shù)據(jù)格式與第一個訓(xùn)練循環(huán)3.1 環(huán)境準(zhǔn)備依賴與預(yù)訓(xùn)練模型下載在你打開那個zip之前先確認機器上已經(jīng)有了最基本的Python環(huán)境。這里的要求不算苛刻Python 3.8以上就可以顯卡有的話最好沒有也能用CPU硬跑只是訓(xùn)練速度會慢很多。下面是我常用的創(chuàng)建環(huán)境命令# 創(chuàng)建獨立環(huán)境并激活避免把系統(tǒng)Python搞亂 conda create -n ner python3.8 -y conda activate ner # 安裝核心依賴按順序執(zhí)行 pip install torch --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.21.3 pip install datasets pip install seqeval pip install tqdm numpy pandas說一下每個依賴為什么要裝torch是BERT和BiLSTM的底層框架transformers負責(zé)加載預(yù)訓(xùn)練模型比如bert-base-chinese注意版本不要追新4.2x系列足夠新版本API差異反而容易讓你從網(wǎng)上抄來的訓(xùn)練代碼報錯datasets用來把原始標(biāo)注文件轉(zhuǎn)成pytorch能讀的Dataset對象seqeval是專門做序列標(biāo)注評估的庫比手寫F1計算省心得多。預(yù)訓(xùn)練模型這塊是很多人卡住的地方。HuggingFace上的bert-base-chinese大約400M如果網(wǎng)絡(luò)不穩(wěn)定建議設(shè)置鏡像環(huán)境變量# Linux/Mac下執(zhí)行 pip install -U huggingface_hub export HF_ENDPOINThttps://hf-mirror.com python -c from transformers import BertTokenizer, BertModel; BertTokenizer.from_pretrained(bert-base-chinese); BertModel.from_pretrained(bert-base-chinese)提示鏡像環(huán)境變量只對當(dāng)前終端有效。如果你用pycharm跑代碼需要在運行配置里同樣把HF_ENDPOINT加進去否則代碼里from_pretrained會重新走默認源卡在下載。判斷預(yù)訓(xùn)練模型有沒有下載成功看緩存目錄即可。Windows默認在C:\Users\你的用戶名\.cache\huggingface\Linux在~/.cache/huggingface/??吹侥P臀募暾稍谀抢锖竺嬗?xùn)練就不會再為下載來回折騰。3.2 數(shù)據(jù)標(biāo)注格式BIOES是什么意思你的數(shù)據(jù)要長什么樣中文NER的數(shù)據(jù)格式通常是“字標(biāo)簽”逐行排列不同句子之間用空行隔開。標(biāo)簽體系有BIO和BIOES兩種BIO標(biāo)簽將所有實體的第一個字標(biāo)為B-后續(xù)字標(biāo)為I-非實體標(biāo)為OBIOES在BIO基礎(chǔ)上多了E和S分別表示實體的結(jié)束字和單字實體。我在項目里優(yōu)先推薦BIOES因為它在實體邊界上的信息量更明確。舉個例子“我在北京上班”這句話的BIOES標(biāo)注長這樣我 O 在 O 北 B-LOC 京 E-LOC 上 O 班 O而“王小明去北京”這種含單字實體的句子就必須用S來標(biāo)單字人名王 S-PER 小 I-PER 明 E-PER 去 O 北 B-LOC 京 E-LOC如果你拿到的是BIO格式可以用一段小腳本轉(zhuǎn)成BIOES但轉(zhuǎn)換邏輯要小心處理“連續(xù)實體緊挨著”的情況BIO里連續(xù)兩個實體“北京上海”的標(biāo)注是“B-LOC I-LOC B-LOC I-LOC”轉(zhuǎn)BIOES時不能只看實體首尾必須判斷上一個字的標(biāo)簽是B還是I否則會把“北京上”誤標(biāo)成一個地名。這個轉(zhuǎn)換函數(shù)建議寫完以后用“北京市朝陽區(qū)”這種帶連續(xù)實體的句子手動驗一遍。3.3 數(shù)據(jù)讀取與標(biāo)簽對齊數(shù)據(jù)格式讀完下一步是把文本轉(zhuǎn)成模型能吃的張量。這一步是整個項目里最容易出錯的地方核心原因是BERT的tokenizer給每個漢字可能拆成多個subword片段而你的標(biāo)注是按“字”給的兩者對不上。我先展示一個最常見的數(shù)據(jù)讀取代碼然后解釋為什么要注意對齊# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch MAX_LEN 128 def load_data(file_path): sentences, labels [], [] with open(file_path, r, encodingutf-8) as f: sentence, label [], [] for line in f: line line.strip() if line : if sentence: sentences.append(sentence.copy()) labels.append(label.copy()) sentence, label [], [] else: parts line.split() # 文件可能是“字 空格 標(biāo)簽”也可能用制表符 sentence.append(parts[0]) label.append(parts[-1] if len(parts) 1 else O) return sentences, labels class NERDataset(torch.utils.data.Dataset): def __init__(self, sentences, labels, tokenizer, label2id, max_len128): self.examples [] for sent, tag in zip(sentences, labels): # 關(guān)鍵點設(shè)置return_offsets_mappingTrue, 才能拿到每個subword對應(yīng)原文字符的映射 encoding tokenizer( sent, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, return_offsets_mappingTrue, ) # 標(biāo)簽對齊到subword word_ids encoding.word_ids() aligned_label [] prev_word None for word_id in word_ids: if word_id is None: aligned_label.append(-100) # 特殊token不參與loss計算 elif word_id ! prev_word: aligned_label.append(label2id[tag[word_id]]) else: # 同一個word被拆成多個subword沿用第一個標(biāo)簽 aligned_label.append(label2id[tag[word_id]]) prev_word word_id self.examples.append({ input_ids: encoding[input_ids].squeeze(), attention_mask: encoding[attention_mask].squeeze(), labels: torch.tensor(aligned_label, dtypetorch.long), }) def __len__(self): return len(self.examples) def __getitem__(self, idx): return self.examples[idx]這段代碼的關(guān)鍵在標(biāo)簽對齊邏輯。word_ids()會返回每個token對應(yīng)的原始字索引None表示CLS、SEP、PAD這些特殊token。遇到特殊token時我把標(biāo)簽設(shè)為-100這樣在計算交叉熵損失的時候PyTorch會自動忽略-100所在的位置。遇到同一個字被拆成多個subword的情況后續(xù)subword直接用第一個subword的標(biāo)簽保證標(biāo)簽不串位。注意上面的代碼里有一個容易埋雷的小地方——tokenizer的is_split_into_wordsTrue參數(shù)。如果不把句子傳成詞列表而是直接傳字符串BERT會按自己的規(guī)則重新分詞原本的“字-標(biāo)簽”對應(yīng)關(guān)系就被打亂了。我在剛開始做項目時就在這里吃過虧換句話說是“標(biāo)簽對不上”里最高頻的原因。數(shù)據(jù)集做好后按照8:1:1的比例劃分訓(xùn)練集、驗證集和測試集。劃分的時候要按句子為單位隨機打亂不能按字符打亂否則會造成同一句子的標(biāo)簽泄漏到不同集合里評估結(jié)果會虛高。4. 訓(xùn)練參數(shù)這樣調(diào)batch size、max_len 與學(xué)習(xí)率的三方權(quán)衡4.1 一套默認能跑的參數(shù)模板模型搭建和訓(xùn)練循環(huán)看起來代碼量不小但結(jié)構(gòu)是固定的。下面是一段可以直接套用的訓(xùn)練核心代碼也是大多數(shù)NER項目的通用寫法# -*- coding: utf-8 -*- import torch from torch.utils.data import DataLoader from transformers import BertModel, BertTokenizer, AdamW, get_linear_schedule_with_warmup import torch.nn as nn class BertBiLSTMCRF(nn.Module): def __init__(self, bert_path, num_labels, lstm_hidden256): super().__init__() self.bert BertModel.from_pretrained(bert_path) self.bilstm nn.LSTM( input_sizeself.bert.config.hidden_size, hidden_sizelstm_hidden, num_layers1, bidirectionalTrue, batch_firstTrue, ) self.fc nn.Linear(lstm_hidden * 2, num_labels) self.crf nn.CRF(num_labels) # 如果使用pytorch-crf庫 def forward(self, input_ids, attention_mask, labelsNone): bert_out self.bert(input_idsinput_ids, attention_maskattention_mask) sequence_output bert_out.last_hidden_state lstm_out, _ self.bilstm(sequence_output) emissions self.fc(lstm_out) if labels is not None: loss -self.crf(emissions, labels, maskattention_mask.bool()) return loss else: return self.crf.decode(emissions, maskattention_mask.bool())這段代碼的層次關(guān)系很清晰BERT的輸出維度是768BiLSTM的hidden_size設(shè)為256雙向拼接后是512維再通過全連接層映射到標(biāo)簽數(shù)量。注意CRF層直接放在了模型內(nèi)部loss計算時取負對數(shù)似然解碼時直接調(diào)用decode方法。如果你用的不是pytorch-crf庫也可以手寫維特比算法但既然有成熟的庫我建議直接用pip install pytorch-crf裝上省時又不愛出錯。提示上面對CRF的調(diào)用基于pytorch-crf這個庫。如果你拿到手的zip里是自己實現(xiàn)的手寫CRF類注意檢查它的decode是否接收了mask參數(shù)有些舊版實現(xiàn)不接收mask在padding部分會出現(xiàn)幻覺標(biāo)簽這類問題特別隱蔽。4.2 學(xué)習(xí)率與BERT層凍結(jié)微調(diào)的重心應(yīng)該放在哪訓(xùn)練參數(shù)的首選清單看這張表參數(shù)推薦值說明batch_size16GPU/ 8CPU顯存不夠就減半不要硬扛learning_rateBERT2e-5微調(diào)預(yù)訓(xùn)練模型的標(biāo)準(zhǔn)學(xué)習(xí)率太大容易災(zāi)難性遺忘learning_rateBiLSTMCRF1e-3下游隨機初始化的層需要用更大的學(xué)習(xí)率max_len128超過128的真實句子占少數(shù)長了切掉短了補齊epochs20-30存best模型不需要訓(xùn)滿全部warmup_ratio0.1前10%的step線性升學(xué)習(xí)率穩(wěn)定BERT微調(diào)有關(guān)鍵設(shè)計是分組學(xué)習(xí)率。BERT層用2e-5BiLSTM和CRF這些隨機初始化的層用1e-3這兩組參數(shù)放進同一個優(yōu)化器卻要用不同學(xué)習(xí)率。常規(guī)做法是在構(gòu)造optimizer時傳一個參數(shù)組列表# 構(gòu)造分組參數(shù)BERT層和下游層用不同學(xué)習(xí)率 optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if bert in n], lr: 2e-5}, {params: [p for n, p in model.named_parameters() if bert not in n], lr: 1e-3}, ] optimizer AdamW(optimizer_grouped_parameters, weight_decay0.01)還有一個常被忽略的選項是“凍結(jié)BERT的一部分層”。前幾層Transformer學(xué)習(xí)到的是通用字面特征對領(lǐng)域遷移幫助不大微調(diào)預(yù)算有限的話把第1到第8層的參數(shù)requires_gradFalse只訓(xùn)練后幾層和下游結(jié)構(gòu)往往能省一半顯存、速度提升30%以上效果只掉零點幾個點。第一次把項目跑通時我不建議凍結(jié)先全量訓(xùn)練拿到一個基線成績再說。4.3 訓(xùn)練過程的監(jiān)控指標(biāo)直接點說光看loss是不夠的。BERTBiLSTMCRF這類模型在訓(xùn)練前期loss下降很快到了第3個epoch以后loss就“玄學(xué)”了震蕩到面無波瀾但實體F1還在漲。原因是CRF的loss分母是所有可能路徑的分數(shù)和這個值天然很大loss雖然不再好看但序列約束正在慢慢起作用。正確的監(jiān)控方式是每個epoch結(jié)束后在驗證集上計算實體級F1而不是整個標(biāo)簽級準(zhǔn)確率。標(biāo)簽級準(zhǔn)確率會被“O”標(biāo)簽主導(dǎo)模型全部預(yù)測成O也能有接近80%的準(zhǔn)確率數(shù)值毫無意義。我習(xí)慣在每個epoch跑一遍from seqeval.metrics import classification_report, f1_score def evaluate(model, dataloader, id2label): model.eval() all_true, all_pred [], [] with torch.no_grad(): for batch in dataloader: input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) true_labels batch[labels].numpy() pred model(input_ids, attention_mask) # 去掉特殊token和padding只看實際標(biāo)簽 for b_idx, word_idx in enumerate(true_labels): true_seq, pred_seq [], [] for i in range(len(word_idx)): if word_idx[i] ! -100: true_seq.append(id2label[word_idx[i]]) pred_seq.append(id2label[pred[b_idx][i]]) all_true.append(true_seq) all_pred.append(pred_seq) print(classification_report(all_true, all_pred, digits4)) return f1_score(all_true, all_pred)注意這里有兩個細節(jié)一是all_true和all_pred里存的是每句話的標(biāo)簽序列不是單個樣本的平鋪數(shù)組因為seqeval要求對每個句子分別計算實體匹配二是跑模型前先model.eval()再包torch.no_grad()否則顯存會被推理時保存的梯度撐爆。如果你希望訓(xùn)練中途自動存最好的模型可以維護一個best_f1變量每輪結(jié)束后對比一次超過就torch.save(model.state_dict(), best_model.bin)??窟@個機制我?guī)缀鯊牟恍枰獮椤癳poch設(shè)多少”糾結(jié)。5. 避坑記錄中文NER最常見的四個翻車現(xiàn)場5.1 標(biāo)簽錯位預(yù)測結(jié)果全是對的但實體全都湊不齊現(xiàn)象模型在訓(xùn)練集上loss正常下降驗證集F1卻一直徘徊在20分以下。把預(yù)測結(jié)果打印出來發(fā)現(xiàn)每個字的標(biāo)簽看起來都有道理但組合成的實體要么缺頭、要么缺尾甚至有“I-PER”開頭的序列。原因這就是“標(biāo)簽對齊”翻車了。最常見的情況是is_split_into_words參數(shù)漏傳tokenizer把“北京”這種連續(xù)字符當(dāng)成了一個詞導(dǎo)致word_ids映射錯位原本“北B-LOC 京I-LOC”的標(biāo)簽被錯誤地跟BERT的piece一一對應(yīng)整個序列往后錯一位。還有一個變體是用了return_offsets_mappingTrue卻完全沒用它等于白拿映射做裝飾。解決在數(shù)據(jù)讀取階段把encoding[word_ids()]打印出來對照原始句子人工檢查前3條樣本??吹絒None, 0, 1, 1, 2, None]這種結(jié)構(gòu)就該意識到第1和第2號字被合并成了同一個word。標(biāo)簽對齊那一段代碼不要直接復(fù)制要逐行理解后敲一遍。5.2 顯存OOM一跑就爆batch減半還是爆現(xiàn)象顯存8G的卡batch_size設(shè)16直接OOM改成8還在OOM最后改到2才勉強跑起來速度又慢得讓人想放棄。原因BERT本身占用不小尤其是max_len設(shè)成512時attention矩陣是平方級增長。8G顯存下batch_size16、max_len512幾乎是必爆配置。另外還有兩個隱形兇手一是paddingmax_length把短句也全補齊到128長度浪費大量顯存二是訓(xùn)練時沒有設(shè)置torch.cuda.empty_cache()碎片累積偶爾也會頂爆顯存。解決把max_len降到128batch_size先設(shè)8短句padding策略臨時改成paddingTrue讓每個batch內(nèi)部對齊不全局補齊。如果想提速可以嘗試在模型里用gradient_accumulation_steps2相當(dāng)于batch_size16但顯存占用只有8。注意梯度累積時loss要除以累積步數(shù)再回傳。5.3 預(yù)訓(xùn)練模型下載失敗每次跑到一半就卡住現(xiàn)象第一次運行BertModel.from_pretrained(bert-base-chinese)進度條走到99%就超時或者直接報ConnectionError。重試幾次大概率仍失敗偶爾成功一次又會發(fā)現(xiàn)下載不完整。原因從HuggingFace官方源下載連接不穩(wěn)定文件接近400M中斷后緩存里的臨時文件會把后續(xù)下載也污染掉。這個問題的根源是網(wǎng)絡(luò)環(huán)境跟代碼沒有任何關(guān)系。解決換鏡像源下載在運行代碼前先執(zhí)行export HF_ENDPOINThttps://hf-mirror.comWindows在命令行里用set HF_ENDPOINThttps://hf-mirror.compycharm需要重啟kernel讓環(huán)境變量生效。如果鏡像也出問題先手動把模型文件下載到本地目錄然后在代碼里指定本地路徑model BertModel.from_pretrained(./chinese_bert_wwm_ext_pytorch/) tokenizer BertTokenizer.from_pretrained(./chinese_bert_wwm_ext_pytorch/)用本地路徑加載時目錄下面至少要包含config.json、pytorch_model.bin、vocab.txt三個文件缺一不可。這也是你從別人那里拷來預(yù)訓(xùn)練模型時最愛踩的坑——他們給你的是一個壓縮包你解壓后發(fā)現(xiàn)缺了vocab.txt代碼跑不了一點。5.4 每個類別的F1差距離譜O標(biāo)簽主導(dǎo)真實實體幾乎被淹沒現(xiàn)象訓(xùn)練20個epoch驗證集標(biāo)簽準(zhǔn)確率96%但entity-level的F1只有55。翻看classification_report發(fā)現(xiàn)模型把幾乎所有token都預(yù)測成了O。原因數(shù)據(jù)里實體占比太少。一個典型的法律文書里“當(dāng)事人”段落人名集中但全文正文大量是“O”標(biāo)簽如果按句子隨機劃分數(shù)據(jù)集可能出現(xiàn)實體稀疏到?jīng)]法學(xué)的局面。更深層的原因是類別不均衡在序列標(biāo)注里被滾動放大了O標(biāo)簽在每個位置都成為超高先驗概率。解決這個現(xiàn)象要從數(shù)據(jù)配比入手。先把實體密度實體字符數(shù)/總字符數(shù)打印出來如果低于10%要考慮換數(shù)據(jù)源或調(diào)整驗證集劃分方式。其次可以在損失函數(shù)里給非O標(biāo)簽更大的權(quán)重但我直接說結(jié)果——調(diào)權(quán)重只能提升1-2個點治標(biāo)不治本。更正經(jīng)的辦法是引入真實實體詞典做注入或者在預(yù)測階段限制維特比解碼器禁止出現(xiàn)I開頭和孤立的E標(biāo)簽。用代碼實現(xiàn)的話前者是在訓(xùn)練前標(biāo)記詞典命中詞的位置并替換那些位置的loss權(quán)重后者是自定義CRF約束條件普通項目用不到那么深。6. 從訓(xùn)練到推理把模型接進真實文本的批量預(yù)測鏈路6.1 加載權(quán)重做單句預(yù)測訓(xùn)練結(jié)束后best_model.bin就是全部成果。加載它做推理時最容易被坑的一點是必須用和訓(xùn)練時完全一樣的tokenizer配置和標(biāo)簽映射表。下面這段代碼是我的標(biāo)準(zhǔn)推理模板# -*- coding: utf-8 -*- from transformers import BertTokenizer import torch def predict_single(text, model, tokenizer, id2label, max_len128): model.eval() # 逐字拆成列表和訓(xùn)練時的is_split_into_words保持完全一致 chars list(text) encoding tokenizer( chars, is_split_into_wordsTrue, max_lengthmax_len, truncationTrue, return_tensorspt, ) with torch.no_grad(): pred_ids model(encoding[input_ids], encoding[attention_mask])[0] # pred_ids是token級別的需要過濾掉特殊token再映射回原文 word_ids encoding.word_ids() entities [] current_entity None for token_id, word_id in enumerate(word_ids): if word_id is None: continue label id2label[pred_ids[token_id]] char chars[word_id] if label.startswith(B-): if current_entity is not None: entities.append(current_entity) current_entity {text: char, label: label[2:], start: word_id, end: word_id} elif label.startswith(I-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id elif label.startswith(E-) and current_entity is not None and current_entity[label] label[2:]: current_entity[text] char current_entity[end] word_id entities.append(current_entity) current_entity None else: if current_entity is not None: entities.append(current_entity) current_entity None if current_entity is not None: entities.append(current_entity) # 去重避免S和B-E并存時重復(fù)輸出 return {text: text, entities: entities}這段推理邏輯最核心的地方在于按B-、I-、E-的標(biāo)簽順序來拼裝實體。注意幾個邊界條件遇到O必須立刻結(jié)束當(dāng)前實體遇到新實體緊挨著舊實體比如一個B-PER后面直接跟一個B-LOC要先把舊實體落盤再開新實體。如果你的標(biāo)簽體系是BIO而不是BIOES格式判斷邏輯要相應(yīng)簡化——但要小心“I實體跨界”的問題也就是I-PER后面接I-LOC這種情況只能靠CRF在訓(xùn)練時從數(shù)據(jù)里學(xué)到轉(zhuǎn)移懲罰推理代碼里沒法徹底兜底。6.2 把實體序列映射回原文字符位置訓(xùn)練時的tokenizer給定的是一個list輸出predict_single里的start/end已經(jīng)是原始字符下標(biāo)了。但如果你想對一整段長文本做批量識別先切句再逐句推理必須記錄每個句子在原段落里的偏移量否則所有實體的start/end都是從0開始的。# 簡單的切句與偏移量對齊策略 import re def segment_with_offset(text): segments [] offset 0 for sent in re.split(r([。]), text): if not sent.strip(): continue segments.append((sent, offset)) offset len(sent) return segments def predict_long_text(text, model, tokenizer, id2label): result [] for sent, offset in segment_with_offset(text): pred predict_single(sent, model, tokenizer, id2label) for ent in pred[entities]: result.append({ text: ent[text], label: ent[label], start: ent[start] offset, end: ent[end] offset, }) return result這個方案只是按標(biāo)點切句如果你處理的文本是PDF抽取出來的注意整段文本因為換行符被切碎的問題——遇到換行符時先做拼接再切句。還有offset的累加邏輯必須基于原始字符串的字符數(shù)不能基于去空格后的文本否則最終位置全部錯位。6.3 用測試集衡量真實召回最后一件事不是寫代碼而是用你的測試集做一次全量推理并看一眼錯誤樣例。我見過太多人訓(xùn)練完只看訓(xùn)練集F1這一看不要緊上線發(fā)現(xiàn)真實文本里大量實體漏檢。正確的姿勢是把測試集的預(yù)測結(jié)果和真實標(biāo)簽逐句打印出來對照閱讀漏檢的句子大多長什么樣是實體長度普遍超過10個字還是大量嵌套結(jié)構(gòu)誤報的實體集中在哪幾個類別比如把“華為”預(yù)測成PER還是ORG模型在短句上的表現(xiàn)和長句上的差異是否巨大對于長實體識別率低的現(xiàn)象最簡單的補救是提高max_len上限到192或256因為BERT在長文本上的注意力分配會稀釋尾部的字符特征。如果仍然無法根治就要考慮對實體做重疊窗口推理——把長文本切出部分重疊的窗口分別預(yù)測再合并結(jié)果合并時以重疊區(qū)域的投票結(jié)果為準(zhǔn)。我自己的習(xí)慣是每個實驗跑完后都把最好的checkpoint單獨保存一份把對應(yīng)的tokenizer和label映射表打個zip放在旁邊日期寫清楚。因為幾周后再回來你大概率會忘記自己的label2id順序是什么忘掉的后果就是推理結(jié)果整個亂了套而且很難定位。保留好一份完整的“模型配置數(shù)據(jù)劃分seed”是這個方向里最實在的后悔藥。這個技術(shù)棧看起來很重但從數(shù)據(jù)準(zhǔn)備好到訓(xùn)出一個能用的模型通常只需要一個晚上。你踩過的坑會讓下一個跑這個項目的人少走很多彎路希望幫到你。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
丁香五月婷婷动漫视频| 久久久GOGO无码啪啪艺术| 性色播| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 欧美激情xxxXX| 4438成人电影| 婷婷五月天久| 超碰只有精品在线| 另类小说五月天| 第五色婷婷| 婷婷激情五月天激情在线| 日本97在线观看| 丁香五月天视频| 综合图片色色| 另类综合婷婷五月天欧美视频| 91操人| 精品综合爱| 国精产品一区一区三区免费视频| 99热色精品| 欧美激情VA永久在线播放| 色色亚洲无码| 人人草公开操| 玖玖视频福利| 99re热精品在线视频| 日韩精品99久久| 丁香五月之久操视频| 9久久精品| 久久婷婷视频| 深爱综合网| 天天干天天操天天干天天操天天干天天操| 丁香女人五月天| 偷拍九九五月丁香婷婷| 色99无码| 五月婷婷中文字幕| 久艹大香蕉| 1囯产午夜仑鲁鲁| Blackedraw视频一区二区| 玖玖在线视频| 中文av网站| 色狠狠999综合| 天天做天天爱天天做| 丁香六月婷婷综合网| 丁香六月婷婷激情综合| 五月色丁香综合| 五月停亭六月,六月停亭的英语 | 丁香五月婷婷综合网| 五月天成人在线视频丁香| 婷婷伊人| 人人舔人人色人人高潮| 超碰精品手机在线| 99热色在线精品| 五月激情另类| 欧美Va在线| 九九热手机在线视频| 人妻内射麻豆视频| 六月婷婷九月丁香亚洲综合| 久久婷婷综合五月趴| 一区二区三区四区无码| 天天爽天天干| 啪啪91| av久热| 婷婷月综合| 99综合一区| 超碰人人91| 五月开心网| 五月丁香亭亭| 婷婷五月天久久久| 久久99大| 成人午夜免费电影| 99热精品少| 激情综合网,五月| 777丁香六月青青草婷婷综合久月| 激情综合网,五月| 先锋资源996| 先锋资源996| 激情丁香五月激情婷婷| 精品人妻伦一二三区久久| 五月激情影院| 久久人妻精品| 日本色色影院| 色婷婷XXXXX| 丁香六月婷婷激情综合| www.色擼擼.com| 夜夜骑天天操| 天天射影院| 成人五月丁香花| 97ai婷婷| 色噜噜伊人| 五月丁香六月婷婷a v| 天天婷婷色六月| 婷婷五月天综合久久| 九月激情网| 色久综合| 激情AV在线| 丁香五月在线伊人| 久久精品人妻| 成人午夜天| 91久久精品视频| 国产操B视频| 五月丁香网av| 开心五月婷婷| BlACKEDRAW视频一区二区| 天天综合网~91| 成人精品一区二区三区四区五区 | 日本不卡五月婷婷丁香| 九热视频| www.一起草av| 国产26uuu视频| 婷婷五月激情五月激情| 大香蕉久久| 色色色五月| 婷婷五月天男人影院色色网| 亚洲激情综合免费| 99视频只有精品| 香蕉99网| 五月婷无码| 色五月人妻| www99热| 337久久| 婷婷久久五月天| www国产亚洲色婷婷com| 亚洲成人网站在线观看| 久久久久网站| 色在线视频网2025| 婷婷色五月综合| 91丨九色丨熟女|新版| 涩涩五| 国产在线中文字幕| 91视频人人做97| 亚洲综合网激情五月天| 99九九精品| 777久久久| 天天拍夜夜爽| 另类专区在线观看| 久久久18| 久久综合干| 日本www免费九九| 26uuu青青| 五月丁香六月综合激情无码软件亮点 | 色色九九五月天| 亚洲综合五月天综合| 超碰97干| 丁香色成人| 人人摸人人干人人做| 婷婷色色五月天| 九热视频免费观看| 天天综合亚洲| 1024在线视频| 夜夜夜夜夜骑撸| 最近免费中文字幕大全高清大全1| 4399在线日本A片| 婷婷丁香五月亚洲| 2022久久婷婷| 婷婷五月天在线一区| 一本色道久久88加勒比| 国产精品久久久60086| 色色色色色色色色综合网| 天天日日| 五月婷婷丁香在线| 五月深情久久| 天天狠天天叉| 99久热精品在线| 米奇影视资源777狠狠色婷婷五月天激情网 | 99亚洲精美视频在线观看| www色五月天| 强壮公让我夜夜高潮A片视频| 99riAV国产精品视频| 99精品视频免费| 超碰成人公开| 思思久日精品视频| 日本天堂网站99| 天天操天天操| www.金莲av| AV在线观看网站| 久久久久亚洲AV无码网影音先锋| 97五月久久丁香婷婷| 婷婷五月花西瓜| 99亚洲精品综合在线| 玖玖资源部在线播放| 99精品视频免费观看| 五月天啪啪视频| 色婷婷9| 亚洲一区二区无遮挡A片| 久久婷婷色五月| 麻豆忘忧草午夜| 亚州AV超碰人人操| 久久大香蕉伊人| 婷婷开心久久| 色婷婷色情| 久操97| 婷婷激情四射五月天| 亚洲成人人人操| 熟妇天天综合| 婷婷色综合| 另类图片激情五月| 婷婷导航| 九九精品在线网| 色狠狠色噜噜AV天堂五区| 五月婷婷丁香深深爱| 99这里都是精品| 激情五月天综合网站网站网站| 开心激情五月天网| 99re在线这里只有精品视频首页| 日韩成人电影av| 色五月激情综合| 久久久宗合| 天堂久久精品| 五月丁香六月婷婷中合网| 97色婷婷| 五月精品| 激情五月天激情网| 五月婷婷 婷婷五月 一区二区 久久久| 婷婷伊人五月| 67194成I人在线观看线路1 | www狠狠com| 久久激情五月| 亚洲色欲AAAAAA| 91中文狠狠综合| 丁香五月天的网址。| 激情婷婷五月综合| 99热在线播放| 丁香五月天激情网| 九九aV| 欧美成人精品三区综合A片| 最新热中文字幕| 少妇大叫太大太粗太爽了A片| 五月天中文网| 另类视频一区| www.99操| 激情婷婷五月天| 婷婷五月天亚洲图片| 色婷婷91| 国产免费性爱| 丁香六月婷婷| 婷婷五月天BBw| 久久激情五月天| 五月丁香激情综合| 秋霞AV淫| 激情婷婷六月| 九九熱最新視頻| 91综合视频丁香| 大香蕉99热| 色婷婷丁香五月在线| 九九激情| 99久久国产宗和精品1上映| 五月婷激情| 五月天无码| 五月婷婷久久爱| 大香蕉网站,大香蕉综合| 激情五月天之五月婷婷| 综合激情在线视频| 麻豆精品| 青青草原亚洲久| 人妻综合网| 欧洲综合色| 99爱爱| 91精品刘玥| 亚洲男女激情| 五月天久久综合| 婷婷射婷婷舔| 午夜理论片最新午夜理论剧| 亚洲在线操| 亚洲一级 片内射网站在线观看| 97人人干| 碰碰91| 婷婷开心六月| 九九一综合精品| 色婷婷综合网站| 激情丁香五月| 亚洲mm免费| 婷婷五月丁香五月| 99热这里只有精品9| 五月天啪啪啪| 丁香五月综合在线视频| 思思综合热| 亚洲激情亚洲激情 | 亚洲情a| 蜜臀A∨在线水帘洞| 五月丁香花激情综合网| 中文网婷婷字幕婷| 欧洲综合色| 五月色婷婷在线观看| 色婷婷瘦婷婷日韩| 丁香六月激情国产| 99久久超级| 极品人妻VIDEOSSS人妻| 91一起操| 激情婷婷五月天| 99re免费精品视频| 超碰九九热| 五月天桃色深爱网| 五月天伊人综合| 这里只有免费的精品| 婷婷四月 成人 狠狠干| 色色色在线播放| 久热只有这里有精品| av在线中文| 欧美日韩五月婷婷| 97碰人人操| 成人午夜天| 五月香婷婷| 热99这就是精品视频| 91狠狠综合久久久| AV性爱网| 国产精产国品一二三在观看| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99亚州综合精品成人网| 久久丁香五月婷婷| 97在线观视频免费观看| 婷婷欠久少妇| 香蕉五月婷婷| 久久9久久| 色五月欧美| 久草五月婷| 人人爽欧美婷婷久久久五月丁香 | 色停停五月,在线观看| 99久久6| 亚洲国产精品VA在线看黑人| 色五月婷婷在线| caop在线| www.zbzhongsen.com| 天天爽天天干| www...com黄在线观看| 九九热9| 逼特逼在线免费播放| 北条麻妃伊人| 人人干99| 5月丁香综合网| 伍月婷婷六月丁香| 另类图片五月天| 999婷婷综合| 99热6精品| 久草热在线视频| 2025超碰| 玖玖激情五月天| 超碰碰碰碰| 婷婷五月天改成什么了| 婷婷噜噜| 这里有精品| 日韩啪啪视频| 日本一级黄色片。| 狼人婷婷综合| 五月丁香av在线| 久久婷婷五月综合啪| 26uuu在线观看| 99日本在线| 99ri视频| 在线超碰91| 99色干| 激情婷婷亚洲五月| 射久久丁香五月| 99热在这里只有精品| 色五月激情五月| 中文AV网站| 色婷婷国产精品综合在线观看| 色婷婷婷av | 久久99热免费| 极品另类| 9色91视频| 9超碰在线| 五月天色色激情综合| 天天舔日日肏夜夜爽| 婷婷五月天AV在线| 婷婷操无码| 日韩av在线电影| www.minyis.com【JT】实力收量可预付TG@LXSPSW8 | 婷婷成人五月天成人文学小说| 亚洲午夜av| 人与禽A片啪啪| 天天肏高清在线| 久热这里只有精品在线观看 | 99热1| 亚洲婷婷六月天| 色婷婷婷婷| 激情五月婷婷综合| 性欧美日本| 婷婷五月天欧美图片在线播放电驴| 五月天伊人| 免费看欧美成人A片无码| 青青草99热久久精品国| 操逼在线视频| a在线观看| 五月婷综合激情| 久久精品国产色| 五月综合色| 中文字幕视频色婷婷| 久热综合| 激情五月天啪啪| 日韩色色色色| 六月婷婷狠狠| 啊v视频在线观看| 日本色色网站| 亚洲激情婷婷| 夜夜嗨一区二区三区直播内容 | 国产九月婷婷| 激情丰满熟妇五月| 日本狠狠干| 亚洲成人网站在线播放| 久热这里只有精品6| 99热色精品| 99激情网| 成人av在线网站| 男人的天堂av俄罗斯热| 夜夜撸日日骑| 色婷婷91激情小说| 亚洲噜色| 午夜丁香婷婷| 激情com| 五月丁香91| 9久久网| SESE无码AV| 亚洲乱码日产精品BD| 久久精彩免费视频精彩免费视频| 少妇高潮一区二区三区99欧美| 男人的天堂97| 色综合99| 大香av| 五月婷婷开心网| 婷婷五月丁香性爱| www.色窝| 免费看欧美成人A片无码| 天天狠天天狠| 精品人妻伦九区久久AAA片| 99精品久久| 亚洲黄色影视| 99 热| 99免费视频| 色情五月天小说| 色五月婷婷久久| 色情丁香五月婷婷精品| 99亚洲天堂| 色噜噜狠狠色综合日日| 欧美操人| 色狠狠图片| 丁香五月天堂婷婷| 天天狠狠干| 爆乳熟女-区二区三区| 天天日日综合| 五月丁香六月色| 色七七色九九| 久久刺激网| 99热主页日本| 色很很96| 香蕉AV777XXX色综合一区| 夜夜夜夜做天天天做无码视频| 免费视频在线观看的网站| 久久精品永久免费| 天久久久久| 激情五月天婷婷| 久久精品女人天堂AAA| 丁香五月婷婷香| 婷婷丁香18| 色综合久久88| 狠狠穞A片一區二區三區| 久久这里只精品66| 丁香五月开心七月| 91精品久久久久久久久| 无码一区二区日韩| WWW.五月com| 色婷婷六月| 五月天另类小说久久小说网| 激情综合99| 综合五月天亚洲婷婷| 国产欧美精品AAAAAA片| 精品无吗va视频免费观看| 婷婷五月电影| 国产亚洲精品久久久久久郑州| 欧美婷婷五月天综合| 亚洲成人av在线观看| 久久九九热视频| 色色免费网站| 欧美性猛交99久久久久99按摩| 五月天综合图片| 欧美在线看| 欧美三级A做爰在线观看| 婷婷伊人久久综合| 99黄色在线视频精品熟女| 影音先锋按摩| 国外亚洲成AV人片在线观看| 少妇综合网| 97视频.干com| 精品视频二级九九| 五月天色图| 好好干av| 亚洲中文字幕av| 亚洲字幕AV一区二区三区四区| 99国产视频网| 国产va在线视频| 精品九九网| 久99久视频| 亚洲欧美一区二区三区爱爱动图| 99黄色性生活| 4399无码视频二区| 开心激情五月天网| 99热官网| 五月婷婷综合精品| 亚洲另类在线观看| 色噜噜五月丁香婷婷| 91蜜桃婷婷狠狠久久综合9色| 五月天激情综合10p| 无码人妻激情| 在线观看亚洲AV| 99热这里有精品| 在线观看av网站| 99爱精品视频| 情五月亚洲婷婷| 五月停停999| 欧美成人AAA片一区国产精品| 国产精品爽爽久久久久久| 色狠狠五月天| 9热精品| 亚洲偷| 99无码精品| 天天爽天天| 久久人人人人妻| 久热这里只精品| 婷婷五月天综合AV| 99热人人操人人操| 97色五月婷婷在线| 涩五月婷婷| 婷婷丁香97| 久久五月婷婷开心网| 亭亭丁香aV| 9|无码久久久久久| 色色色在线| Y11111111111少妇电影院| 亚洲成人综合在线| 日日干日日| 婷婷午夜精品久久久| 激情www| 新五月天婷婷激情电影| 五月丁香啪啪拍| 91丨九色丨东北熟女| 无码yw| 久久五月天免费网站| 六月婷综合| 高潮毛片又色又爽免费| 久久久国产精品黄毛片| 亚洲婷婷五月天| www.夜夜| 丁香六月天| 久99| 白人荫道BBWBBB大荫道| 国产成人精品亚洲线观看| www.激情| 无码激情AAAAA片-区区| 丁香五月播播| 青草五月天| 丁香婷婷色| 另类视在线| 五月丁香色婷婷色| 色五月婷婷综合| 色五月天丁香| 亚洲天天操| 九九热在线视频| 综合激情啪啪| 五月色婷婷AV| 国产精品久久7777777精品无码| 色五月丁香一区在线| 99热这是里只有精品| 婷婷5月色| 欧美久热| 五月天婷婷网站| 丁香六月爱综合| 丁香婷婷视频一区二区| 久久这里只有精品16| 五月丁香六月婷婷综合伊人| 丁香六月婷婷综合在线| 亚洲无码99| 67194中文字幕| 99热这里只有精品8| 97热精品| 久久99久久99精品免视看婷婷| 久/久精品99看9| 午夜不卡久久精品无码免费| 玖玖@三月天天丁香婷婷| 1024国产在线| 亚洲熟女乱色综合亚洲网站| 久热九九| 五月天激情日色在线| 99re视频精品| 久久久性爱视频| AV操操操| 日本色超碰| 日韩欧美一道四区中文字幕| 五月丁香综合激情| 台湾佬天天日丁香婷婷五月天| 婷婷五月亚洲一本在线丁香| 亚洲综合网 665566| 激情五月综合网| 婷婷五月丁香性爱| 综合五月婷婷| 五月婷六月丁香| 久久综合中文字幕| 国产欧美日韩综合精品一区二区| 碰碰碰97免费精彩视频| 丁香久久| 色婷婷丁香五月综合| 天天色99| 99性爱视频| 色操综合| 99热九九这里只有精品| 狠狠插狠狠| 天天干夜晚夜操| 欧美性爱五月天| 国产亚洲99久久精品熟| 亚洲黄色影视| 免费不卡狠操美女视频网 | www.99热这里精品| 日日天天天| 婷婷五月美女直播| 婷婷久热| 欧美日韩成人在线观看| 色狠狠六月| 五月丁香啪综合| 久久精品无码一区| AV九九| 久久免费婷婷视频| 丁香五月婷婷色| 国产精品国产| 五月丁香六月婷婷亚洲| 96丁香六月婷婷蜜桃综合久久| 久婷狼色诱惑在线| 婷婷丁香五月天哟啪| 五月激情小说网| 婷婷五月天激情四射| 日本乱论99| 久久机只有这里精品| 91热久久| 五月天色站| 五月丁香av在线| 日本高清久| 人人综合色| 99久久99热| 99日本黄站| 丁香五月天亚洲综合| 超碰99在线| 五月丁香婷婷综合| 久久婷婷五月综合色欧美| 久久ww| 色五月激情五月开心五月| 91 九色大美女| 91超级碰| 亚洲综合1024| 成人免费在线电影| 五月丁香婷婷开心| 丁香婷婷九月在线| 色人五月婷婷| 婷婷99狠狠| 六月丁香久久| 欧美精品99| 精品爆操| 开心五月激情婷婷| 两性婷婷丁香五月| 六月色色综合| 五月天婷婷成人网| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 超碰九九热| 天天五月天综合网址| 天天日色情| 久久成人综合五月天| 婷婷五月天激情四射| 激情婷婷丁香五月天小说| 亚洲区视频| 五月丁香婷婷啪啪综合| 五月婷婷色播| 人妻视频在线| 五月婷婷人人人操| 九九婷婷综合| 日韩AAAAAAAAAAA片| 91欧美日韩| 婷婷五月天电影区小说区| 一本久婷婷综合| 女力报到正好爱上你| 久操乱| 日日懆天天懆| 99精品网址| 99re鈥哸鈥唙| 丁香 久久| 久久婷狠狠色| 黄色aaaaa| 开心五月激情网| 亚洲婷婷丁香五月在线| 91精品久久久久久综合五月天| 五月丁香精品| 色五月成人| 婷婷亚洲天堂| 五月天色五月| 天天插天天| 一本狠婷婷综合| 狠狠的日| 欧美精品999| 五月丁香啪啪网| 五月婷婷视频啪啪美女| 97人碰人操| 五月丁香天堂网| 99WWW免费视频| 99综合免费视频| 热的国产,热的综合,热的有码 | www.sd-xiangsu.cpm| 99热个人在线| 国产密乳av一区二区三区四区| 9热在线观看| 成片免费播放| 天堂婷婷五月色| 高清a片基地| 黄网在线观看免费| 99精品热视频只有精品10| 五月天啪啪啪| 亚洲激情五月丁香久久久久| 超碰色天堂| 色婷婷狠狠爱| 综合五月激情| 91丨九色丨熟女|新版| 五月天大香蕉| 成人丁香婷婷| 26uuu视频欧美| 刘玥精品一区| 四色99久久| 五月天激情小说婷婷基地| 97人妻碰碰碰久久久久-最近国语高清| 大香蕉网站,大香蕉综合| 久热这里有精品视频| 男人的天堂99| 丁香六月婷婷久久综合| 久久婷婷五月草视频| 激情六月天婷婷| 精品人妻伦九区久久AAA片| 丁香五月色欲| 99热大全在线观看| 亚洲中文字幕翔田千里| 久99热| 激情五月婷在线精品| 久久久大香蕉| 五月婷婷黄网站大全| 狼人久草| 婷婷涩五月天综合| 综合网色| 激情婷婷综合网| 99这里有精品| 丝袜人妻| 久久黄色片| 五月丁香色婷婷婷基地| 国产免费av在线| 婷婷激情五月| 啪啪婷婷五月天激情| 人人干Av| 五月天天丁香婷婷在线中| 国产欧美性成人精品午夜| 99热国内精品| 天天插天天插天天插天天插| 色婷婷丁香五月天在线视频| 五月天天综合| 丁香五月天日韩无码| 99在线观看| 91日视频| 丁香六月婷婷综合欧美| 丁香伊人激情| 色五月丁香五月五月婷婷| 婷婷五月天久久综合88| 超碰97在线观看免费| 任你爽视频| 五月停停999| 色婷视频| 色婷婷91激情小说| 97操操操| 激情爱爱网站超大免费| 91在线看片| av一级棒av| 亚洲激情网| www.五月婷婷.com| 色色色网站| 天堂草在线看www| 四色女婷婷| 在线五月色播| 99这里有精品久久97| 国产无人区大片| 久久五月婷综合网| 五月婷婷黄色网址| 91精品久久久久久久久久| a在线观看| 天天干夜夜想| 天干夜夜操| 五月婷婷熟女| 婷婷五月激情中文字幕| 99色网站| 五月天综合激情网| 久久婷婷六月综合| 亚洲色情网站| 天天激情| 五月天婷婷在线播放| 六月婷婷久久| 天天干夜夜谢| 99热这里有精品| 色综合另类| 79精品视频在线观看,| 开心五月激情婷婷| 丁香六月婷婷激情| 天天做天天爱天天爽综合网| 五月激情综合深爱| 开心婷婷五月中文字幕组| 久久99久久99精品免视看婷婷| 天天爽—爽| 日操五月婷| 五月天激情日色在线| 99在线视频在线观看| 九九热短视频在线观看| 婷婷中文字暮| 久久a热| 激情无码网| 婷婷综合在线| 超碰在线视屏| 色99色| 久久女婷| 五月天综合| 日本在线视频手机播放五月婷| 婷婷五月天成人娱乐| 这里只有精品99视频| 五月婷婷丁香色吧网| 天天插,天天射| 五月天 无码| 狼人狠狠操| 99热免费观看| 日韩综合成人| 丁香婷婷五月人体| 久久加勒比| 五月天婷婷影院| 婷婷在线五月天观看| 99福利视频| 强伦轩人妻一区二区电影| 成人精品人妻| 99精彩视频| 国产精品成人网址| 大香蕉狼人久久| 婷婷丁香五月天婷婷| 综合色天天| 五月天.com| 久久ww| 亚洲精品白浆高清久久久久久| 激情五月四色| 色老久久| 午夜丁香六月婷| 婷婷成人五月天成人文学小说| 超碰在线9| 欧美 日韩 人妻 高清 中文| 岛国AAAV| 久久久A级视频| 91精品丝袜久久久久久久久粉嫩| 国产成人网| 淫荡综合网| www.maotanji.com| 久久久久久久久久久-久五月天婷婷| bukadeavzaixian| 97se视频在线| 五月开心婷婷中文字幕| 天天夜夜操| 五月丁香婷婷基地| 大香蕉 婷婷| 啪啪婷婷五月天激情| 日日操,日日爽| 可以免费观看的AV| 久99久视频| 99操九九网| 99久在线视频| 深爱五月日韩| 伊人激情影院| 99久免费视频| www.狠狠操.com| 国产午夜精品一区二区| 少妇高潮呻吟A片免费看软件| 伊人9在线| 成人色五月天婷婷| 日韩黄色电影| 68热超碰在线| 精品成人久久久久久久_一二三四视| 婷婷五月天性| 另类天堂| 婷婷五月18永久免费网站| 激情五月丁香色婷婷| 色婷婷a v| 婷婷狠狠青青| 色色色视频| 丁香六月色婷婷| av一区免费看| 婷婷五月天视频小说| 99色性爰网络| 91日视频| 国产精品色婷婷AV综合色色| 国色天香成人网| 亚洲欧美婷婷五月色综合| 97 A I色色| 超碰免费人人| 中文资源在线a| 99热成人在线观看| 国产精品久久久久久久久久免费| 久久婷婷内射| 26uuu最新地址| 五月天婷婷基地| 久99久在线| 日本狠狠色| 国产原创视频91九色| 夜夜天天天天天干天天爽| 成人一级片| 欧美六月婷婷| 五月丁香在线国产| 另类天堂| 亭亭五月丁香综合欧美| 99久久精品视频女神1| 久久精品99国产精品日本| 六月色色| 久操人妻| 伊人久久大香网| 丁香五月天.com| 丁香五月天堂网AV| 五月丁香人妻| 99久久五月婷婷| 婷婷五月丁综合| 综合在线观看99| 伊人婷婷五月| 欧美丰满熟妇BBB久久久| www.激情在线| 色一情一乱一乱一区91Av| 亚洲国产婷婷色五月| 亚洲成人高清在线| 超级碰碰碰碰视频| 色色色在线观看| HD久久精品视频| 开心激情五月天网| 97成人超碰免| 五月天婷婷乱论小说| 五月花激情网| se99视频| 国产4P视频精品五区| 婷婷成人视频| 热久久婷婷| 天天草天天摸| 卡视频1区2区| 久久香蕉丁香| 亚洲99综合| 激情小说五月天| 婷婷五月天天| 五月伊人91| dingxiangtingtingliuyue| 久久性都花花世界成人免费视频| 五月激情婷婷女| 丁香久久激情俄| 91se在线观看| 婷香五月| 日日干夜夜干| av在线色五月丁香婷区久| www.99精品日操伊人乱碰在线| 五月天深爱激情网| 久久人操-久草婷婷-成人AV| 五月丁香久人妻中文| 99热日本| CHINESE熟女老女人HD视频| 天天舔天天| 丁香五月婷综合| 久久视频婷婷| 六月丁香花婷婷| 嫩草极品| 色婷婷丁香五月在线观看| 天天综合网~91综合网| 色五月婷婷久久| 婷婷五月丁香基| 永久天堂日本| 99熟女视频| 婷婷色五月天第7色| 婷婷丁香五月天激情四射| 欧美影院| 欧美欧盟性爱网| 丁香狠狠干| 婷婷五月在线视频| 色色自拍视频网站| 久久九久久| 亚洲操逼片| www.日韩艹| 91在线视频观看午夜福利| 91大屁股精品| mmm1717.6dbm人人爱人人操| 丁香五月婷婷天激情| 精品爆操| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 久热re视频在线观看网站| 人妻久久久久久久久久久| 五月丁香影院| 色五月丁香A欧美com | AA片在线观看视频在线播放| 亚洲色情网站| a色色色色色| 97涩婷婷婷婷基地| 超碰在线人妻| 六月婷婷亚洲| 黄网网站在线播放| 色五月综合激情网| 涩五月婷婷| 日韩免费乱轮网站| 97国产精品女人碰碰| 狠狠色噜噜狠狠狠888| 99re热免费观看视频精品| 日韩操人| 涩婷婷视频快播人妻| 日韩成人网址| 久热99久热| 亚洲精品99| 五月丁香激| 色丁香婷婷美女视频网站| 亚洲黄色精品| 99色免费观看全部| 婷婷五月婷婷| 人人摸人人澡人人| 五月婷婷六月丁香激情综合网| 操人精品| 色在线免费观看| 97色色色| 丁香 久久| 五月婷婷综合潮喷| 激情q青青草在线婷婷| 欧美一线视频| 激情5月婷婷| 思思热在线精品视频| 五月丁香六月天| A A色色| 欧美在线视频99| 狠狠久久婷婷| 丁香五月婷婷啪啪视频| 91精品久久久久| 欧美人妻一区二区| 婷婷久久六月天| WWW,色五月| 亚洲色激情| 丁香五月成人自拍| 99热草草| 噼里啪啦完整版中文在线观看 | 久久久精品人妻录| 深爱开心激情网| 丁香五月婷婷啪啪| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷五月偷拍| 久久色在线视频| 婷婷五月天激情综合| 五月丁香激| 亚洲成人AV在线| 亚洲一二三网| 国产精品天天狠天天看| 色婷婷五月天在线观看| 99网99热| 26uuu在线观看| 日本va欧美va欧美va| 久久 视频这里只有精总| 99久久思思| 天天日人人| 无码人妻电影| 色婷久九| 91久久五月天| 国产视频福利| 一区二区三区XXXXXX| 五月天丁香啪啪啪啪| 牛牛澡牛牛爽| 怡红院AV亚洲一区二区三区H| 久久99久久99精品免视看婷婷| 69精品人人人人| 91超碰在线观看| 开心五月婷婷在线| 成人欧美一区二区三区在线观看| 99热99ai| 国产精品久久久99视频| 狼人久草| 九九这里只有精品在线视频| 黄网在线观看免费| 另类激情五| www.99日本| 97色图片中文字幕视频在线观看| 九九超日本| 7777精品伊人久久久大香线蕉最新版| 久久五月天免费网站| 日本 色综合| 五月天婷婷激情网| 久久久欧美精品sm网站| 久热99热| 天天爽夜夜爽夜夜爽精品| 久久婷婷色| ,99视频久久| 99视频精品全部免费 在线| 深爱激情久久| 婷婷五月天堂一本在线| 日韩爱操视频| 日日操天天操| 欧美色色色色色色色| 五月天啪啪视频| 日本人妻A片成人免费看片| 亚洲色五月| 婷婷丁香中文字幕| 99情色五月天| 色婷婷精品视频| 99riAv1国产在线观看| 成人网址在线观看| 91久久久久久久久18| 成人天天爽| 丁香婷婷六月激情文学 | 午夜丁香| 日日爽日日操| 5月婷婷激情网| 涩涩五月天| 丁香五月激情综合| 激情婷婷五月天| 无码91中文字幕| 五月天色欧美| 五月丁香福利| 91黄操| 色五月五月丁香| 五月成人网站| 丁香婷婷基地| 激情图片亚洲| 久久玖玖综合| 天天舔天天插天天爱| 深爱激情五月天婷婷网| 色五月激情五月| 99re热视频这里只精品| 欧美槡BBBB槡BBB少妇| 91操屁股| 五月天激情久久| 伦乱美欧| 婷婷涩涩网| 亚洲激情另类| 综合激情婷婷| 日韩久久欧亚| 超碰三级秋霞| 婷婷黄色五月天在线视频| av性爱网站| AV操操操| 久久五月天 91| 久久色情| 夜夜天天久久婷婷| 色综合激情| 五月综合激情网| 冬月かえでAV无码播放| 久艹大香蕉| 五月天激情婷婷五月天久久| 九九热最新| 丁香五月社区| 最新日韩久热免费视频看看| 涩涩涩,com| 日本婷婷五月天| 99久久这里只有精品| 亚洲在线播放| 就99这里只有精品| 9热视频在线观看| 天天久综合网永久入口18| WWW.激情| 婷婷五月天.com| 五月婷婷,六月丁香| 女人天堂AV| 婷婷综合九月| 这里只有精品在线免费视频| 91超碰人人操| 综久久久| 婷婷五月欧美综合| 这里只有精品久久| 另类婷婷五月天啪帕帕| 五月丁香六月婷婷精品| 六月婷婷激情| 日本视频不卡123区| 亚洲操逼网| 五月婷婷在线综合| 风流少妇A片一区二区蜜桃| 欧美天堂久久| 久8色色| 丁香五月婷婷基地| 人人97碰| 天天天天天日| 97在线观看| 婷婷丁香视频在线观看免费| 999热在线视频| 久久婷婷五月天大香蕉| 精品一二三区视频立| 黄色五月婷婷| 六月婷婷操逼| 日日鲁鲁夜夜爽爽| 色色色网站| 超碰五月婷婷五月天| 激情纯色婷婷五月天在线不卡视频| 人妻av在线| 91互操| 五月天亭亭俺也| 五月婷婷伊| 婷婷激情蜜桃玖玖丁香| 天天做天天爱| 综合久久综合久久| 五月丁香香蕉| 69久久久| 色婷婷4| 婷婷欧美| 久久五月激情综合| 天天日夜夜爽| 中文字幕+中文在线| 丁香五月花婷婷开心| 午夜天堂啪啪| 午夜一区| 亚洲无码另类| 欧美日韩99| 爱操人妻| 久久停停超碰| 亚洲综合草草| 9精品视频在线观看| 婷婷五月天在线视频网站| 99热一本| 日本颜色视频人人爱| 狠狠插.com| 色婷婷在线视频综合| 这里只有精品96| 丁香五月激情视频在线| 99久久久| 色色综合日韩| 激情婷婷五月天| 天天日日天天| 激情婷婷| 99在线观看免费精品视频| 婷婷欧美| 婷婷综合网在线| 日本欧美在线| 婷婷色色五月天| 99热这里只有精品免费| 色五月xxx| 婷婷五月天成人网| 色婷婷婷av | 五月天激情综合首页| 99精品视频在线观看| 啪啪干伊人婷婷| 丁香综合日产精品久久| 婷婷激情五月天视频在线| 夜色.cnm| 欧美激情VA永久在线播放| 狼友超碰| 天天综合在线网| 精品久久人妻热| 俺也去五月婷婷丁| www,26uuu,c0m,色情| 婷婷色色欧美| 色五月在线播放| jiujiu无码五区| 激情五月丁香五月综合| 五月天激情啪啪| 国产肏屄大片| 亚洲色综合| 色婷婷色五月色丁香| 超碰免费人人肏| 丁香五月影院| 九月婷婷久久久| 麻豆AV一区二区三区| 五月天色婷婷网| 26.uuu丁香五月婷婷| av人人干| 色五月婷婷大| 激情久久婷婷| 九九色色| 五月天自拍视频| 亚洲黄色av网站| 伊人激情影院| 淫荡综合网| AV在线观看网站| 久久er99热精品一区二区| 日韩操| AV操逼网| 疯狂做受XXXX高潮A片| 六月激情婷婷|