欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

法研杯2019相似案例匹配實戰(zhàn):法律文本相似度建模與避坑指南

法研杯2019相似案例匹配實戰(zhàn):法律文本相似度建模與避坑指南 簡介法研杯2019相似案例匹配第二名解決方案附帶CAIL2020/2021司法考試賽道冠軍團(tuán)隊材料是一份面向法律人工智能與自然語言處理競賽選手及研究者的完整工程代碼包。方案覆蓋法律文本相似度匹配與司法考試自動答題兩條任務(wù)線圍繞案件事實、爭議焦點、判決結(jié)果等關(guān)鍵信息的抽取與表示展開涉及文本預(yù)處理、詞向量與預(yù)訓(xùn)練語言模型應(yīng)用、特征工程、相似度計算、模型融合與超參數(shù)調(diào)優(yōu)等環(huán)節(jié)有助于理解司法場景下NLP模型從數(shù)據(jù)到部署的全流程實現(xiàn)。壓縮包共二十二個文件核心為六個Python腳本對應(yīng)訓(xùn)練、預(yù)測、評測與命令行推理等模塊另有Shell腳本、Dockerfile、Markdown文檔和依賴清單可快速搭建容器化運行環(huán)境整體僅一百九十二KB輕量易用。已有二百六十六人學(xué)習(xí)資料中還包含說明文檔、Docker配置思路、模型結(jié)構(gòu)示意圖以及代碼注釋和調(diào)參記錄可按文檔復(fù)現(xiàn)比賽方案也可遷移到相似案例檢索、裁判文書分類、法律問答等任務(wù)。1. 法研杯2019相似案例匹配為什么所有基線模型都栽在“案由”上拿到法研杯2019相似案例匹配這個任務(wù)時大多數(shù)人第一反應(yīng)是“這不就是文本相似度嗎BERT拉出來跑一跑就行”。結(jié)果真正跑起來才發(fā)現(xiàn)法律文本和通用文本壓根不是一回事。被告、案由、爭議焦點、裁判結(jié)果每一段信息對“相似”的貢獻(xiàn)權(quán)重完全不同通用語義匹配模型拿到的分?jǐn)?shù)往往卡在一個尷尬的區(qū)間離榜單前排差一大截。這個比賽的實質(zhì)是給定三篇文書——一個查詢案例和兩個候選案例——判斷哪個候選與查詢更相似。看著是傳統(tǒng)排序任務(wù)但法律文書的特殊性在于法條引用和事實描述的重復(fù)率極高字面相似不一定案情相似。第二名方案之所以能打關(guān)鍵是抓住了兩個點把數(shù)據(jù)清洗和法律文本的結(jié)構(gòu)化特征做透模型層面用預(yù)訓(xùn)練語言模型搭配針對法律文本設(shè)計的交互方式而不是直接套用通用匹配網(wǎng)絡(luò)。CAIL2020/2021司法考試賽道冠軍團(tuán)隊的做法對數(shù)據(jù)集和文檔做了系統(tǒng)梳理也驗證了同一件事法律AI的落地瓶頸不在模型結(jié)構(gòu)而在任務(wù)理解和數(shù)據(jù)加工的細(xì)度。這篇文章按我實際做過的順序來從數(shù)據(jù)構(gòu)建和預(yù)處理開始到模型選型、訓(xùn)練細(xì)節(jié)、評估指標(biāo)再到踩過的坑和推理階段的調(diào)優(yōu)技巧。內(nèi)容圍繞法研杯2019相似案例匹配展開方法和代碼同樣適用于CAIL的司法考試賽道以及其他法律句子對/文書對匹配任務(wù)。2. 數(shù)據(jù)集與文書預(yù)處理相似案例匹配的分?jǐn)?shù)一半在這里2.1 CAIL2019-SCM數(shù)據(jù)集的結(jié)構(gòu)和標(biāo)注暴露的問題法研杯2019相似案例匹配使用的是CAIL2019-SCM數(shù)據(jù)集我從這個數(shù)據(jù)集入手對齊任務(wù)口徑。比賽數(shù)據(jù)每個樣本包含三份刑事法律文書A、B、C其中A是查詢文書B和C是候選文書任務(wù)是從B/C中選出與A更相似的那個。標(biāo)簽是0或10表示B與A更相似1表示C與A更相似。這個數(shù)據(jù)集的標(biāo)注口徑是“案情相似度”依據(jù)是罪名的最終認(rèn)定。也就是說如果A和B都被認(rèn)定為盜竊罪而C被認(rèn)定為詐騙罪那么B就是正確答案——即便C在文字表面上有更多與A重合的詞語也是錯誤答案。這里就埋了第一個也是最大的坑不能用普通文本相似度的思路去處理表面字詞重合度高不能說明案情相似。拿到原始數(shù)據(jù)后我先做了幾個基礎(chǔ)檢查bash# 查看原始數(shù)據(jù)目錄結(jié)構(gòu) find ./data -type f | head -50 # 統(tǒng)計樣本數(shù)和字段情況以一份JSON為例 python -c import json with open(./data/exercise_contest/raw/train.json) as f: data json.load(f) print(樣本總數(shù):, len(data)) print(字段:, list(data[0].keys())) print(data[0].keys()) 代碼邏輯說明第一段用find命令快速摸清文件分布第二段加載一份樣本確認(rèn)字段名和樣本量。這個數(shù)據(jù)集的原始文件在官方渠道可以下載但注意不同版本的字段可能略有差別有的版本叫a、b、c有的版本叫text_a、text_b、text_c需要先弄清楚再寫后續(xù)代碼。提示比賽數(shù)據(jù)的格式在不同階段初賽、復(fù)賽會有差異復(fù)賽數(shù)據(jù)量更大且部分為無標(biāo)簽樣本預(yù)處理腳本的參數(shù)要預(yù)留擴(kuò)展空間。2.2 從JSON到訓(xùn)練集切分、標(biāo)簽映射、長文本截斷原始數(shù)據(jù)是JSON列表每條包含A/B/C的文本和標(biāo)簽。實際使用時我一般把數(shù)據(jù)拆成(query, candidate, label)的格式這樣可以復(fù)用通用的句子對數(shù)據(jù)集處理流程。pythonimport json import random # 讀取原始數(shù)據(jù) with open(./data/exercise_contest/raw/train.json, r) as f: raw json.load(f) # 轉(zhuǎn)換為句子對格式 samples [] for item in raw: q item[a] pos item[b] neg item[c] label item[label] # label0 - b與a更相似label1 - c與a更相似 # 統(tǒng)一轉(zhuǎn)成 (query, b, c, label)后續(xù)建模時再按label選擇正負(fù)樣本對 samples.append({query: q, cand_b: pos, cand_c: neg, label: label}) # 切分訓(xùn)練/驗證集比例 9:1 random.seed(42) random.shuffle(samples) split_idx int(len(samples) * 0.9) train_samples samples[:split_idx] valid_samples samples[split_idx:] print(f訓(xùn)練集大小: {len(train_samples)}, 驗證集大小: {len(valid_samples)}) # 保存為jsonl方便后續(xù)讀取 with open(./data/train.jsonl, w) as f: for s in train_samples: f.write(json.dumps(s, ensure_asciiFalse) \n)代碼邏輯說明把三元組轉(zhuǎn)換成句子對任務(wù)的標(biāo)準(zhǔn)格式。這里沒有直接把B/C展開成正負(fù)樣本對而是保留了三元組結(jié)構(gòu)因為后續(xù)模型需要同時看到B和C才能學(xué)到“相對相似度”——即A與B的相似度、A與C的相似度之間的差值。如果過早展開成獨立的句子對會丟掉這個相對信息。參數(shù)說明train/valid切分比例9:1是常用做法為了避免驗證集分布偏差需要設(shè)置固定隨機(jī)種子這里用42。更穩(wěn)妥的做法是按案由分層抽樣但CAIL2019-SCM的數(shù)據(jù)量才一萬條左右簡單隨機(jī)切分基本夠用。2.3 法律文書分詞與去噪別急著上大模型法律文書的文本質(zhì)量和通用語料差別很大直接扔給BERT之前有幾個去噪步驟是必須做的。我在這個項目里踩過坑一開始跳過了預(yù)處理直接跑BERT結(jié)果驗證集分?jǐn)?shù)比baseline還低——原因是文書末尾的“本判決自送達(dá)之日起生效”這種格式化表述干擾了匹配判斷而它們在全語料里出現(xiàn)頻率極高模型很容易學(xué)會“看到這些字就認(rèn)為相似”的捷徑。pythonimport re def clean_legal_text(text): # 去掉文書編號、抬頭和落款 text re.sub(r(刑\s*事\s*判\(zhòng)s*決\s*書), , text) text re.sub(r[(]\s*[0-9]{4}\s*[)]\s*[^\s。]{1,20}刑初[^\s。]{0,10}號, , text) text re.sub(r(公訴機(jī)關(guān)|被告人|辯護(hù)人)[^。]*。, , text) # 去掉多余空白 text re.sub(r\s, , text) return text.strip() # 應(yīng)用清洗并輸出統(tǒng)計前后文本長度變化 sample_text train_samples[0][query] clean_text clean_legal_text(sample_text) print(f清洗前長度: {len(sample_text)}, 清洗后長度: {len(clean_text)})代碼邏輯說明第一步去掉“刑事判決書”這類與案情無關(guān)的固定抬頭第二步用正則匹配文書號如“2019粵0305刑初1234號”第三步去掉“公訴機(jī)關(guān)……”、“被告人……”、“辯護(hù)人……”這些程序性段落——注意這一步要小心辯護(hù)人的辯護(hù)意見里可能包含關(guān)鍵案情是否去掉取決于后續(xù)模型對長文本的容忍度。我這里選擇去掉是因為數(shù)據(jù)集里的“被告人xxx男xxxx年xx月xx日出生”這類內(nèi)容純粹是個人信息與案情無關(guān)。參數(shù)說明這個正則里的[^\s。]{1,20}限定了法院名稱長度不會超過20個字符。如果你的數(shù)據(jù)里法院名很長可以適當(dāng)放寬到30。去噪后要重新統(tǒng)計文本長度分布如果出現(xiàn)某個樣本清洗后為空說明原始文書本身就是程序性文本直接丟棄即可不要硬留。提示這一步看似簡單但在CAIL2020司法考試賽道尤其重要——那里很多題目就是純案情描述清洗策略要和法研杯2019區(qū)分開。別拿一套正則打天下。3. 模型方案選型從雙塔到交互為什么排名靠前的方案都選交互式3.1 BERT-CLS、雙塔、跨編碼器的取舍邏輯相似案例匹配的建模方式有三條路線表示型雙塔、交互型跨編碼器、混合型。三條路線在法研杯2019的戰(zhàn)場上都有代表隊但成績分布極不均勻。雙塔模型DSSM/雙塔BERT的優(yōu)勢是快——兩邊各自編碼然后拿兩個向量做余弦相似度。但法律文書的特點是冗長動輒上千字雙塔模型把文本壓成一個768維向量時信息損失非常大。而且雙塔天然不擅長捕捉A和B之間“細(xì)顆粒度的局部對應(yīng)”關(guān)系——比如兩篇文書都在描述“入室盜竊”一個寫“撬鎖入戶”另一個寫“翻窗入院”雙塔模型很難在向量空間里精確對上這種細(xì)節(jié)。交互型模型把A和B同時拼在一起過編碼器每個token都能直接看到另一邊的token細(xì)粒度交互是它的天然優(yōu)勢。缺點是計算量大預(yù)測時要對每個candidate單獨跑一次前向。在法研杯2019的場景下候選只有兩個計算量完全可接受——所以最終榜單上前排方案基本都選擇了交互型。我當(dāng)時參考第二名方案的技術(shù)路線主模型用的是BERT-base中文版配合特定的類別差值學(xué)習(xí)策略大概結(jié)構(gòu)是這樣pythonimport torch import torch.nn as nn from transformers import BertModel, BertTokenizer class SimilarCaseMatcher(nn.Module): def __init__(self, model_namehfl/chinese-roberta-wwm-ext, dropout0.1): super().__init__() self.bert BertModel.from_pretrained(model_name) self.dropout nn.Dropout(dropout) self.classifier nn.Linear(self.bert.config.hidden_size * 2, 1) # 分別過編碼器再拼接等價于交互型的簡化版 def forward(self, a_input_ids, a_attention_mask, b_input_ids, b_attention_mask, c_input_ids, c_attention_mask): a_repr self.bert(a_input_ids, attention_maska_attention_mask)[0][:, 0, :] b_repr self.bert(b_input_ids, attention_maskb_attention_mask)[0][:, 0, :] c_repr self.bert(c_input_ids, attention_maskc_attention_mask)[0][:, 0, :] # 分別計算AB、AC的表示差交給分類器 ab_diff torch.abs(a_repr - b_repr) ac_diff torch.abs(a_repr - c_repr) score_ab self.classifier(self.dropout(torch.cat([a_repr, ab_diff], dim-1))) score_ac self.classifier(self.dropout(torch.cat([a_repr, ac_diff], dim-1))) # 返回相對分?jǐn)?shù)訓(xùn)練時用 AB分?jǐn)?shù) - AC分?jǐn)?shù) 和 label 構(gòu)造排序損失 return score_ab, score_ac代碼邏輯說明這個結(jié)構(gòu)是“共享編碼器的三方輸入”方案——同一套BERT參數(shù)分別編碼A、B、C然后通過abs差別向量把AB和AC的差異喂給同一個分類頭。注意這里沒有用標(biāo)準(zhǔn)三元組loss而是讓分類頭分別輸出score_ab和score_ac再用兩者的差值去擬合label。參數(shù)說明hfl/chinese-roberta-wwm-ext當(dāng)時是效果最好的中文預(yù)訓(xùn)練模型比BERT-base原始權(quán)重在多項中文任務(wù)上穩(wěn)定提升1-2個點。如果你跑這個方案換成bert-base-chinese也能跑但最后的匹配準(zhǔn)確率會明顯有差距。3.2 排序損失是怎么設(shè)計的對比學(xué)習(xí)思路在相似案例匹配的落地訓(xùn)練這個任務(wù)可以有兩條路線一是把問題轉(zhuǎn)成二分類——“B和A更相似還是C和A更相似”二是顯式構(gòu)造排序損失。二分類的做法簡單粗暴但模型學(xué)到的是“B的絕對相似度分?jǐn)?shù)”而不是“B相對于C的排名”——后者才是任務(wù)真正關(guān)心的。我在實際訓(xùn)練中用的是margin ranking的思路但這個“margin”要動點手腳。標(biāo)準(zhǔn)的margin ranking loss是讓正樣本對的分?jǐn)?shù)比負(fù)樣本對高出至少一個固定的margin值。但法律文書對難度差異極大有的樣本中B和C案情幾乎一樣僅憑一個量刑細(xì)節(jié)區(qū)分有的樣本中B和C完全兩個方向模型很容易就能分開。固定margin在這兩種樣本上的梯度方向是沖突的。pythonimport torch.nn.functional as F def ranking_loss(score_ab, score_ac, label, margin0.3): score_ab: 模型認(rèn)為B與A更相似的程度 score_ac: 模型認(rèn)為C與A更相似的程度 label: 0 - 真實是B與A更相似; 1 - 真實是C與A更相似 # 統(tǒng)一方向始終讓 positive_score 大于 negative_score positive_score torch.where(label 0, score_ab, score_ac).squeeze(-1) negative_score torch.where(label 0, score_ac, score_ab).squeeze(-1) losses F.relu(negative_score - positive_score margin) return losses.mean()代碼邏輯說明torch.where(label 0, score_ab, score_ac)也就是選出正確配對對應(yīng)的分?jǐn)?shù)作為positive_score錯誤配對對應(yīng)的分?jǐn)?shù)作為negative_score。F.relu(negative_score - positive_score margin)的意思是只有當(dāng)negative_score比positive_score低超過margin時loss才為0否則就產(chǎn)生懲罰。參數(shù)說明margin取0.3是一個經(jīng)驗值。這個值太小會讓模型對難易樣本一視同仁太大則會讓模型在難樣本上過擬合、喪失泛化能力。我在驗證集上調(diào)過0.1到0.8的范圍0.3到0.5之間效果最好。一個更精細(xì)的做法是margin隨著訓(xùn)練輪數(shù)從0.5退火到0.2——實際驗證集分?jǐn)?shù)能再漲一點點但收益有限基礎(chǔ)版本不用加。提示score_ab和score_ac來自同一個分類頭和同一套BERT參數(shù)這等于隱式做了一個權(quán)重共享的siamese結(jié)構(gòu)能有效防止兩個分?jǐn)?shù)分布漂移。4. 訓(xùn)練細(xì)節(jié)與關(guān)鍵參數(shù)讓模型真正收斂到法律語義空間4.1 學(xué)習(xí)率、batch size、warmup和最長長度的搭配預(yù)訓(xùn)練模型微調(diào)時最核心的參數(shù)搭配是學(xué)習(xí)率、batch size和最大序列長度。我在法研杯2019這個任務(wù)上跑了很多組實驗最終穩(wěn)定的配置如下最大序列長度384第一版用512顯存和訓(xùn)練時間翻倍但驗證集分?jǐn)?shù)幾乎沒有提升——因為法律文書的有效信息集中在事實描述部分截斷到384并不丟關(guān)鍵案情batch size最大序列長度384時單卡16再大容易OOM學(xué)習(xí)率2e-5配合warmup ratio 0.1訓(xùn)練輪數(shù)4個epoch超過后驗證集分?jǐn)?shù)明顯下降過擬合信號非常清晰優(yōu)化器AdamWweight_decay取0.01pythonfrom transformers import AdamW, get_linear_schedule_with_warmup def build_optimizer(model, train_steps): no_decay [bias, LayerNorm.weight] optimizer_grouped_parameters [ {params: [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], weight_decay: 0.01}, {params: [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], weight_decay: 0.0} ] optimizer AdamW(optimizer_grouped_parameters, lr2e-5, eps1e-8) scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(train_steps * 0.1), num_training_stepstrain_steps ) return optimizer, scheduler代碼邏輯說明no_decay列表里的權(quán)重不做L2正則——這是BERT微調(diào)的通行做法因為LayerNorm的gamma/beta和bias項對weight_decay敏感加了會導(dǎo)致訓(xùn)練不穩(wěn)定。optimizer_grouped_parameters把參數(shù)分成兩組一組帶weight_decay一組不帶這是HuggingFace官方推薦的寫法。參數(shù)說明lr2e-5是BERT微調(diào)的標(biāo)準(zhǔn)起點。如果顯存不夠?qū)е耣atch size降到8可以適當(dāng)把學(xué)習(xí)率降到1.5e-5否則收斂不穩(wěn)。warmup_steps設(shè)為總步數(shù)的10%這樣前10%的步數(shù)內(nèi)學(xué)習(xí)率從0線性升到2e-5能有效避免預(yù)訓(xùn)練參數(shù)在開局被大梯度沖壞。4.2 如何正確評估相似案例匹配模型用Accuracy還是更細(xì)的指標(biāo)法研杯2019的官方評估指標(biāo)是Accuracy對B/C二選一選對了就是1錯了就是0。但只盯著Accuracy會掩蓋模型的很多問題——特別是類別不均衡和難易樣本混雜。我建議在驗證集上同時記錄Accuracy和每一類別的準(zhǔn)確率這樣能精確看出模型在label0和label1上的表現(xiàn)差異。pythondef evaluate(model, valid_loader, device): model.eval() total 0 correct 0 # 分別統(tǒng)計label0和label1的準(zhǔn)確率 label_correct {0: 0, 1: 0} label_total {0: 0, 1: 0} with torch.no_grad(): for batch in valid_loader: # 把batch里的a/b/c三路輸入搬到device input_ids_a batch[a_input_ids].to(device) attention_mask_a batch[a_attention_mask].to(device) # ... 同理b和c labels batch[label].to(device) score_ab, score_ac model( input_ids_a, attention_mask_a, # ... 其他輸入 ) # 判決哪個分?jǐn)?shù)高就選哪個 preds (score_ac score_ab).long().squeeze(-1) correct (preds labels).sum().item() total labels.size(0) for lbl in [0, 1]: mask (labels lbl) label_total[lbl] mask.sum().item() label_correct[lbl] (preds[mask] labels[mask]).sum().item() acc correct / total acc0 label_correct[0] / max(label_total[0], 1) acc1 label_correct[1] / max(label_total[1], 1) print(fAccuracy: {acc:.4f}, label0 acc: {acc0:.4f}, label1 acc: {acc1:.4f}) return acc代碼邏輯說明預(yù)測結(jié)果對應(yīng)原始標(biāo)簽的轉(zhuǎn)換邏輯是——原始label0表示B與A更相似即正確答案為B原始label1表示C與A更相似即正確答案為C。所以當(dāng)score_ac大于score_ab時預(yù)測為1否則預(yù)測為0。參數(shù)說明這個評估函數(shù)里max(label_total[lbl], 1)是防止某個batch里只有一個類別導(dǎo)致除零。實際場景中l(wèi)abel0和label1的數(shù)量基本均衡但如果你的數(shù)據(jù)在跑數(shù)據(jù)增強(qiáng)后發(fā)生偏移這個保護(hù)就很重要了。建議每完成一個epoch就評估一次保存驗證集Accuracy最高的模型作為最終模型。5. 法研杯2019相似案例匹配的避坑清單五個血淚經(jīng)驗5.1 把“字面相似”當(dāng)“案情相似”——最典型的翻車現(xiàn)場現(xiàn)象模型在驗證集上準(zhǔn)確率能到0.75左右但死活上不去0.80細(xì)看預(yù)測結(jié)果發(fā)現(xiàn)大量錯誤案例里兩篇文書包含大量相同詞語——比如都出現(xiàn)了“錢包”“手機(jī)”“當(dāng)鋪”。原因法律文書的官方模板和固定表述太多模型很容易學(xué)到“詞面重合度越高、兩個案子就越像”的捷徑。但CAIL2019-SCM的標(biāo)注是對最終罪名認(rèn)定的考量字面重復(fù)不等于案情重復(fù)。解決把預(yù)處理做扎實去掉文書抬頭、落款、被告人基本信息這些模板內(nèi)容。然后用TF-IDF做一個基線如果基線準(zhǔn)確率超過0.60說明數(shù)據(jù)里的“騙分特征”已經(jīng)被清得差不多了可以放心訓(xùn)練模型。如果TF-IDF基線還不到0.55回去檢查預(yù)處理——不要急著調(diào)模型。5.2 整段過長的文本直接撐爆顯存現(xiàn)象GPU顯存16GBbatch size只能設(shè)4訓(xùn)練速度奇慢且驗證集效果還不如batch size16跑出來的。原因序列長度設(shè)512導(dǎo)致padding率極高每一條樣本都由大量無效的[PAD]token填充。在batch size4的情況下這4條樣本里可能只有一半是有效長度另一半是padding等于浪費了大部分算力還在學(xué)“PAD位置沒有任何語義”。解決先統(tǒng)計數(shù)據(jù)集的文本長度分布把95分位的長度作為max_length的基準(zhǔn)。法研杯2019的數(shù)據(jù)集經(jīng)過清洗后95分位長度通常在350-400之間所以max_length384是最優(yōu)解。同時寫一個collate函數(shù)把batch內(nèi)的文本按長度排序再分桶減少padding占比。5.3 預(yù)訓(xùn)練模型選錯中文BERT差點讓我懷疑人生現(xiàn)象用bert-base-chinese跑了3個epoch驗證集Accuracy只有0.68比第二名方案報告的結(jié)果低了接近10個點。原因bert-base-chinese是字級別預(yù)訓(xùn)練對法律領(lǐng)域詞匯的表示能力不足。“盜竊”“搶奪”“侵占”這三個詞在通用語料中語義距離較遠(yuǎn)但在法律語義空間里是鄰近概念。字級別預(yù)訓(xùn)練模型捕捉不到這種領(lǐng)域內(nèi)的近義關(guān)系。而hfl/chinese-roberta-wwm-ext用了全詞掩碼Whole Word Masking把“盜竊”作為一個整體掩碼學(xué)到的表示明顯更適合法律文本。解決換用hfl/chinese-roberta-wwm-ext后同樣參數(shù)、同樣數(shù)據(jù)驗證集Accuracy直接跳到0.76。如果條件允許用法律領(lǐng)域的預(yù)訓(xùn)練模型效果會更好——但注意檢查模型的詞表是否覆蓋了法言法語中的生僻字以及模型的最大序列長度是否滿足你的需求。5.4 直接預(yù)測概率而不是差值——輸出層設(shè)計錯了現(xiàn)象驗證集Accuracy在0.75上下波動loss已經(jīng)降到很小了但預(yù)測結(jié)果的置信度分布很詭異——大量樣本的score_ab和score_ac都接近0.9。原因分類頭只學(xué)了每個絕對分?jǐn)?shù)的幅度沒有學(xué)到兩者之間的對比關(guān)系。最后用Argmax決定勝負(fù)時兩個接近0.9的分?jǐn)?shù)只需要一個微小擾動就會翻盤。解決最終判決用score_ab - score_ac的差值而不是單獨看某個score。同時可以在分類頭前加一個LayerNorm讓兩個分?jǐn)?shù)分布穩(wěn)定在同一尺度。之后在驗證集上統(tǒng)計差值分布——差值集中在0附近的樣本就是那些真正困難的案例可以用tips/tricks處理見第6章。5.5 復(fù)賽和初賽的數(shù)據(jù)分布不一致——換數(shù)據(jù)集直接掉點現(xiàn)象初賽訓(xùn)練的模型直接上復(fù)賽的無標(biāo)簽測試集分?jǐn)?shù)比baseline還差。用復(fù)賽半量標(biāo)簽重訓(xùn)后分?jǐn)?shù)也沒恢復(fù)到初賽水平。原因初賽和復(fù)賽的案由分布不同、文書長度分布不同、甚至文書的模板年份也可能不同司法文書格式在不同年份有細(xì)微修訂。初賽數(shù)據(jù)里高頻出現(xiàn)的“盜竊罪”在復(fù)賽里可能變成了“故意傷害罪”模型在初賽學(xué)到的“偷竊行為描述詞”特征在復(fù)賽中成了噪聲。解決從初賽數(shù)據(jù)里挑出與復(fù)賽案由分布最接近的子集按案由分層抽樣把模型在子集上繼續(xù)做一輪domain adaptation微調(diào)。如果沒有案由標(biāo)注可以先對所有數(shù)據(jù)做一次無監(jiān)督聚類按聚類的類別重新采樣。6. 推理階段的最后沖刺閾值調(diào)節(jié)、證據(jù)級輸出與工程落地的馴服技巧模型訓(xùn)練完成后推理階段還能撈回不少分?jǐn)?shù)。法研杯2019這類二選一任務(wù)最簡單的預(yù)測方式是比較score_ab和score_ac誰大。但實際部署時這個閾值不一定非要是0.5。先算差值diff score_ab - score_ac。在驗證集上統(tǒng)計diff的分布你會看到一個近似高斯分布。如果數(shù)據(jù)質(zhì)量高diff的正負(fù)區(qū)間和label的對應(yīng)關(guān)系會很清晰中間模糊地帶很窄。如果模糊地帶很寬說明模型對大量樣本缺乏區(qū)分信心此時可以引入一個拒絕預(yù)測機(jī)制當(dāng)|diff|小于某個閾值時讓投票規(guī)則或規(guī)則引擎介入而不是強(qiáng)行預(yù)測——這在司法輔助場景尤其重要寧可讓系統(tǒng)說“不確定”也不要給一個錯誤結(jié)論。另一個實用的技巧是證據(jù)級輸出——別只輸出一個分?jǐn)?shù)把模型attention map里權(quán)重最高的top-10詞找出來用正則提取出包含這些詞的句子在UI上展示“為什么模型認(rèn)為A和B更相似”。這對從業(yè)者的價值是用戶可以快速核驗?zāi)P偷呐袛嘁罁?jù)是否合理而不必盲信黑匣子。CAIL2020司法考試賽道上冠軍團(tuán)隊也用了類似思路把題目和法條依據(jù)同時展示出來。代碼做過一個很小的模塊幫用戶直接看到“案件重合點”pythonimport jieba import numpy as np def show_key_overlap(query_text, cand_text, top_k10): # 用簡單詞頻實現(xiàn)關(guān)鍵重合詞生產(chǎn)環(huán)境可以換attention權(quán)重 q_words jieba.lcut(query_text) c_words jieba.lcut(cand_text) q_counter {} for w in q_words: if len(w.strip()) 2: q_counter[w] q_counter.get(w, 0) 1 c_counter {} for w in c_words: if len(w.strip()) 2: c_counter[w] c_counter.get(w, 0) 1 overlap_words set(q_counter.keys()) set(c_counter.keys()) overlap_words sorted(overlap_words, keylambda x: (q_counter[x] c_counter[x]), reverseTrue)[:top_k] return overlap_words代碼邏輯說明這個函數(shù)用jieba分詞從兩篇文書中提取各自的關(guān)鍵詞取交集后按出現(xiàn)頻次排序。生產(chǎn)環(huán)境用attention權(quán)重替換詞頻統(tǒng)計展示效果會更精確。參數(shù)說明len(w.strip()) 2過濾掉了單字虛詞這在法律文本里很重要——“的”“了”“在”幾乎出現(xiàn)在每個句子中不加過濾全是噪音。top_k10是展示層的經(jīng)驗值超過10個關(guān)鍵詞用戶就看不過來了。再聊一下推理性能。如果有大量候選文書需要匹配比如從1000篇文書中找最相似的交互型模型就要跑1000次完整前向速度會成為一個瓶頸。常見做法是兩階段檢索第一階段用雙塔模型快速召回top-50候選第二階段用本文的交互型模型精排。這個組合在法研杯2019里不需要候選只有2個但在CAIL2020司法考試的開放場景里非常必要。最后我習(xí)慣做一次全量的錯誤分析——把驗證集預(yù)測錯誤的樣本打印出來逐條看。絕大多數(shù)錯誤集中在這幾類罪名一樣但犯罪情節(jié)差異巨大的罪名不同但事實描述極其相似的復(fù)賽新增案由在訓(xùn)練集中完全沒出現(xiàn)的??炊嗔司蜁靼走@個任務(wù)的難點從來不在模型結(jié)構(gòu)是否花哨而在于你是否理解法律文本的“相似”到底意味著什么。第二名方案能拿到那個分?jǐn)?shù)靠的也不是什么秘傳模型而是把數(shù)據(jù)、任務(wù)、模型三者對齊的工程耐心。法研杯2019相似案例匹配做完之后這個方案稍作修改就能遷移到CAIL司法考試賽道把多選分類的輸出頭換成閱讀理解式的span抽取把三元組輸入換成“題目備選答案對”其他訓(xùn)練技巧和避坑經(jīng)驗幾乎可以直接復(fù)用。如果你正準(zhǔn)備走類似的方向希望這篇文章能給到具體的幫助。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷成人| 俺也去在线视频| 五月丁香六月成人| 丁香五月天导航| 久久东京热婷婷五月| 天久久久久| 思思热在线精品视频网站| www.99热| 丁香婷婷伊人| 五月婷婷丁香大香蕉| 婷婷丁香五月高清| 久久性刺激| 亚洲激情久久| 国产67194| 综合网色| 天天色天天干天天插| 99自拍视频在线| 久久网站免费亚洲| 三级av在线| 狠狠狠五月婷婷六月丁香| 国产成人精品一区二区三区视频| 美女被肏网站在线看| 五月天色综合服务平台| 婷婷五月激情视频网| 亚洲色五月婷婷| 影音先锋91资源站| 丁香五月婷婷基地| 六月丁香影院| 国产 亚洲 在线| A久久| 综合在线网| 伊人在线视频| 婷婷久久免费| 99在线视频免费| 97丨九色丨国产丨PORNY| 五月丁香六月花| 超碰A V在线| 91九色欧美| 久草五月婷| 噜噜噜久久| 中文字幕在线不卡| 三级av在线| 丁香五月综合在线视频| 五月丁香婷婷基地| 婷婷五月天久草在线| 婷婷五月天精品| 国产AV不卡福利| 五月丁香欧美综合| 丁香网五月网| 天天搡日日搡aaaaⅩ| 五月婷婷激情综合| 尔尔AV一区| 激情综合区| 久久精品99国产精品日本| 999热成人在线综合网| 婷婷狠狠狠爱| 国产乱妇无乱码大黄AA片| 伊人超碰| 久久婷婷网| 欧美激情综合色综合啪啪五月| 蜜臀av在线成人电影| 色色丁香五月天社区| 婷婷伊人中文字幕| 五月丁香六月婷婷操操操| www.婷婷五月| 一区=区操屄高清大全av| 久9热视频| 亚洲成人色五月婷婷综合| 九久九精品| 亚洲愉拍99热成人精品| 色六月视频| 日韩成人中文字幕| 色婷婷久久7777| 日韩操逼大片| 欧美日韩AAAA| 5月婷婷6月丁香aV| 激情久久久久久| 欧美色综合天天久久综合精品| 婷婷深爱五月天| 五月婷婷成人网首页| 99少妇精品| 99在线精品观看99| 成人在线视频网| 色欲五月婷婷| 日日天天操| 4399欧美另类视频| 九九无毛| 人人人操 超碰| 久草大| 色婷婷五月中文字幕在线dvd| 国产片天天爽夜夜爽| 日韩AV一区二区三区| 欧美婷婷五月丁香| 九艹在线| 天天色天天操天天射| 亚洲俩性性爱图片久久第六页| 91精品婷婷国产综合| 久久五月婷天天干| 亚洲视频一区| 久久女婷| 天天舔天天爽| 亚洲热视频| 97色色综合| 人人人操B超碰| 婷婷丁香五月天哟啪| 亚洲AV在线免费看| 青青久在线视频免费观看| 亚洲第一成人无码A片| 拳交大逼| 天天爱夜夜爽| 久久五月天激情| 色综合五月婷婷狠狠干| 狠狠88综合久久久久噜噜噜| 天天爽天天爽天天爽天天爽天天爽| 久久久久久久8| www.9色色色| 国色天香成人网| 91干| 久热超碰| 女人天堂AV| 狠狠爱激情网| 色伊人婷婷| 丁香五月激情婷婷婷婷在线观看| 九九爱激情| 夜夜躁狠狠| 99re免费精品视频| 色婷婷综合网| 九九激情网| 婷婷在线精品| 国产中文亚洲欧美日韩性交| 人人色婷婷五月天| 丁香婷婷人妻综合网| 国产片天天爽夜夜爽| 9久久婷婷国产综合精品性色| 4399欧美另类视频| 91婷色| 九热视频在线精品15| 操逼综合网| 九九精品9| 国产在线激情视频| 七七久久婷婷| 五月开心久久| 亚洲色婷婷| 亚洲色综合| 五月丁香啪| 99色精品视频| 久久这里只有精品无码| 五月开心深深爱激情综合| 日日婷婷不卡| 精品人妻久久久久| 91碰视频| 禁欲电影完整版在线播放| 色色色热| 国产av网| 色婷婷综合综合网| 亚洲婷婷五月天综合| 人人干人人干骚美女| 華人性愛AV在線| 亚洲中文av| 人人人操Av| 色就是色婷婷五月亚洲激情| 亚洲AAAA网| 狠狠五月天婷婷激情网。| www,av好吊操| 丁香五月欧美激情| 亚洲色五月| 无码人妻AV久久久一区二区三区| 九九99偷拍视频| 日本毛片内射| 五月开心婷婷极品激情| 五月久久亚洲| 婷婷六月天天| 亚洲V国产V欧美V久久久久久| AA片在线观看视频在线播放 | 丁香五月综合| 天天婷婷操| WWW.开心五月天.COM| 99re思思热久久| 丁香五月影院| 国产av天堂| 亚洲成人在线电影网站| 综合久久9| 26uuu国自产精品| 五月婷婷色吧!| 久久婷婷六月综合| 99热8| 91蝌蚪窝视频在线| 婷婷99热| 五月婷婷丁香色吧网| 成年人丁香五月| 久久久久久久97| 大伊香蕉精品视频在线| 五月丁香亭亭操逼| 久热只有这里精品| 99爱视频在线| 亚洲乱啪| 99热99免费| 婷婷五月激情图片| 夜夜穞天天穞狠狠穞AV美女按摩| 午夜丁香六月婷| 欧美欧盟性爱网| 这里只有精品久| 五月激情天| 亚洲综合五月天婷婷丁香| 久久丁香婷| 亚洲中文字幕AV| 开心婷婷五月天电影院| 日韩在线视频网站| 在线五月婷| 九九色影视| 伊人丁香花综合影院| 91丨九色丨熟女丰满| 日本狠狠干| 香港九九六区八区99| 99热在线观看精品| 午夜福利8055| 五月婷婷婷丁香播| 日都一级A片| 丁香婷婷人妻| 日韩色色视频| 吉澤明步Av一區二區| 色综合爽| 六月丁香婷婷五月天| 热久久婷婷| 丁香五月久久| 五月丁香婷婷色色| 蜘蛛女侠2003满天星免费观看| WWW、日本色丁香co m| 六月色婷婷综合影视| 四川BBB搡BBB搡多人乱亂| 色吧五月婷婷| 天天干,夜夜爽| 高清无码一区二区三区四区| 噜噜噜噜婷婷五月天| 久草网大香视频| 99视频在线观看地址| 99久久网站| 天天日,天天干,天天操| 99r这里| 五月丁香综合激情在线观看| 成片免费播放| 97性视频| 综合狠狠干| 丁香五月激情五月| 久久婷综| 久热9| 久久婷婷五月丁香网| 日韩在线五月天婷婷| 婷婷的五月天另类视频| 夜夜操夜夜爽| 综合激情开心五月| 在线VA视频| 99热伊人| 久久XX| 五月天激情四射网站| 97婷婷五月丁香| 五月天久久婷| 久9综合| 江苏少妇性BBB搡BBB爽爽爽| 亚洲精品V天堂中文字幕| 婷婷成人视频| 久久激情五月| CHINESE熟女老女人HD视频| 天天色综网| 久久综合五月天| www.日本91| 天天摸天天做天天爱天天爽| 激情五月天啪啪| 天天操天天插天天射| 久久婷婷青青草| 少妇真实被内射视频三四区| 1024在线一区| 丁香六月综合| 第五婷婷伊人丁香| www,色婷婷| 99热线观看9| 69精品人妻不卡视频| 五月婷婷婷色| 99热久97| 99激情网| 婷婷五月成人有| 丁香五月天色综合| 五月丁香啪啪啪啪| 丁香五月中文字幕久色| 丁香五月天啪啪a日本| 一本综合丁香日日狠狠色| 五月丁香久久久| 久久人妻情侣| 5月婷婷激情网| 草做免费在线观看| 开心激情综合| 成人av在线电影| 色区久久| 色五月天综合网| 激情四射五月天| 99精彩视频| 午夜天堂一区人妻| 亚洲一二三网| 中日韩狠狠色| 99久久婷婷国产综合精品青桔| 99在线免费视频| www狠狠| 九九热视频精品2| 色激情综合狠狠婷婷| 99re思思精品视频在线观看| 亚洲综合在线丁香五月| 丁香六月婷| 激情综合网激情五月天| 久久五月天婷婷| 香蕉婷婷| 五月丁香另类网| 亚洲免费视频网站| 婷婷五月综合激情| 99这里的视频都是精品| 国产精品视频久久99| 色五月激情五月天| 色色五月婷婷| 九九婷婷激情综合网| 9 9热这里有精品| 欧美在线看| 色狠狠五月天| 伊人五月丁香| 99福利导航| 丁香五月综合| 婷婷性爱五月天丁香网| 五月天婷婷久久| 亚洲 激情 中文| 婷婷五月色丁香在线看| 在线另类视频| 日韩艹比| 9福利性视频欧美| 99re6热在线精品视频播放速度| 亚洲综合网激情五月天| 夜夜夜夜夜骑撸| 久婷| 婷婷无五月无码视频| 婷婷影院欧美| 少妇日麻屄| 婷婷五月天激情综合深爱激情| 人人干女人| 激情婷婷六月天| 超碰国产在线播放| 国产9色在线/日韩| 涩涩婷婷五月| 五月色婷婷影院| 99噜噜噜在线播放| 日韩性爱无码| 久热这里这里有精品| 九九色大香蕉| 美女主播野战视步页| 天天舔天天爽| 欧洲电影在线观看免费版英语版 | 美女va| 婷婷开心久久| 天天干天天干天天| 9视频1在线| 久久五月婷| 牛牛碰免费| 26uuu亚洲| Www.se.久久| aaaaa黄色| 综合五月天完整| 丁香五月天激情视频| 色激情网| 国产成人VA| 殴美日韩成人| 久草丁香婷婷1024| 涩综合在线| 色五月丁香婷婷久草| 伊人无码高清| 97久久久| 色五月亚洲| 日日影院 | 99久在线观看| 天堂草在线看www| 天天日夜夜| 高清成人综合| 丁香五月激情啪啪| 亚洲第一成人无码A片| 99福利导航| 色五月婷婷内射| 深爱开心激情| 91婷婷伊人牛牛| 丁香五月激情综合网激情五月| 九色91国产| 超碰97在线观看免费| AV片一区在线观看| 五月激情丁香五月| 在线观看欧美| 久久久久久久五月| 五月婷AV| 91久久精品国产91性色TV| 综合婷婷| 激情床戏| 婷婷五月网图片区| 五月婷婷中文字幕| 婷婷五月天淫荡| 色天天综合天天综合频道。| 久久婷丁香五月| 五他月天啪啪啪| 丁香花五月天| 97色色视频| 操逼毛片国语对白| 第四色五月婷婷| 色综合中文综合网| 午夜国产精品AV在线播放| 久久99热这里只有精品| 99啪啪视频| 成人丁香五月天Av| 婷婷五月18永久免费网站| 色性日本| 日本WwW色偷偷丁香花久久久京东热| 六月99天天婷婷激情综合| 91要啪| 狠狠草网| 这里只有精品视频在线| 狠狠久久婷婷| 丁香五月天综合| 久9热插入| 甈你aaaaa| 国产又粗又大又爽又黄| 五月天婷五月天综合网在线观| 26uuu成人网| 日韩综合网络男女香蕉a片| xx久久| 久久婷婷五月综合色丁香| 丁香五月激情在线| 日韩有码一区| 人人干av| 九九精品热播| 991国产精选视频在线播放下载| 超碰在线网站| 超碰97免费在线| 91在线看免费 九九九九| 色五月婷婷丁香五月| 日本天堂网站99| 丁香五月婷婷在线视频| 久久性爱网| 六月丁香婷婷色69| 久操乱| 九九综合久久| 久久青青日本视频| 深爱五月激情五月| 91综合色| 激情五月天影院| 九九热视频精品2| 激情综合网激情五月天| 天天日人人| www.色五月| 去干网最新版本亚洲版| av一区免费看| 国产激情在线| 婷婷开心深爱五月天| 婷婷丁香五月激情| 成人欧美一区二区三区在线观看| 九九无码AV| 天天综合影院| 久久婷婷久久| 亚洲热视频| 99爱在线| 天天久久婷婷| www.91.com黄| 五月丁香五月丁香| 亚洲超碰青涩| 久久色亭亭五月天| 超碰在线国产| 色五月情| 九九热99热| 丁香激情四射| 丁香九月激情| 五月情涩综合婷婷| 久久婷婷五月天激情四射| 亚洲中文字幕网| 一夜福利不卡| 99ri精品在线观看| 99热这里| 夜夜夜夜操| 99年操人人爽| 色五月av| 久鲁鲁色网| 苗黎美女四级成人版一级二级毛片| 久久A区B区| 铁牛TV人妻| 久久久久人妻| 色婷视频| 亚洲超碰在线| 图片区 小说区 区 亚洲五月| 激情五月天激情综合网| 91ncom.色| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | www.玖玖九| 日本色色网站| 色天天狠狠干| 五月丁香综合成人社区| 99热66| 久久这里有精品视频| 99riAV国产精品视频| 九九黄色网| 久久小片| 99热 这里只有精品 国产 日韩| 五月婷婷色色爱| 日本久久人| 婷婷在线观看五月天在线视频| 啪啪日本欧美| 九九热超碰| 亚洲人人操BD| 丁香六月啪啪| 九九成年视频| 六月丁香五月天| 五月婷婷九月婷婷九月婷婷| 五月丁香激情啪啪| 色播激情| 天天日天天爽| 五月天婷婷綜合院| 色色色色av777| 国产av影片| 99年操人人爽| 激情五月婷| 草婷婷在线| 秋霞A V毛片| 精品热九九| 九九碰九九爱97| 五月婷婷六月基地| 久久视屏这里只有久久| 婷婷五月色惰| 国产精产国品一二三在观看| 伦乱天堂| 五月丁香综合激情网| 激情五月天啪啪视频| 成人片在线免费看| 伊人在线视频| 五月婷婷激情久久| 黄网在线观看免费| 天天爽日日爽夜夜爽| 国产伦理精品高清在线观看网站一区二区| 丁香五月婷综合| 成人做爰A片免费看视频| 玖玖婷婷五月天| 婷婷丁香久久五月综合| 色五月成人| 婷婷丁香五月天色色| 亚洲精品又粗又大又爽A片| 色婷另类| 五月丁香六月婷婷国产视频| 婷婷六月中文字幕| Xx色综合| 91一起艹| 天堂久久婷婷| 日本三级网址| 色综久久久| 国产精品久久久久久妇女6080| 伊人网大香| 婷婷五月激情五月激情| 婷婷娱乐丁香综合网| 天天操夜夜啊| 婷婷久久综合久| 婷婷色在线视频| 97婷婷五月丁香| 狠狠精品干练久久久无码中文字幕| 色色五月婷| 丁香婷五月天开心六月| 久久婷婷综合五月趴| 99亚洲欧洲| 久99热| 激情五月天啪啪| 婷婷五月激情综合啪啪| 丁香深五月婷婷| 成人午夜视频精品一区| 天天爽天天爽| 色五月综合| 日本久久性| 99热这里只有精品4| 色婷婷亚洲在线| 婷婷舔| 日操| 亚洲 精品 综合 精品| 色婷婷手机在线| 六月丁香停| 久久九九re热| 777久久久| 伦乱人妻| 丁香五月天婷婷大香蕉| 人妻有码乱操| 日本97在线看片| 国产精品成人网址| 20253AV| 丁香五月婷婷色综合| 超碰9799| 丁香六月婷婷缴情欧美| 97人碰人操| 日韩AV中文在线观看| 人妻体体内射精一区二区| 五月综合久久| 91久久久久久| 河北真实伦对白精彩脏话| 国精产品一区一区三区免费视频| 免费观看全黄做爰的视频| 少妇高潮呻吟A片免费看软件| 国产国产乱老熟女视频网站97| 欧美成人精品A片免费一区99| 天天干天天爽| 天天日天天久久青青| av操逼网| 丁香五月婷婷操逼| 国内熟女黄色系列| 天堂久久大香蕉| 丁香五月激情综合婷综| 亚洲综合婷婷五月| 婷婷色女| 五月天综合区| 色婷婷色五月天| 五月激情婷婷国产精品久久久久久 | 思思综合热| AV大片在线观看| 色婷婷丁香AV综合| 日91高清无玛| 99热超碰在线| 丁香婷婷久久激情| 色五月天在线| 激情六月丁| 中文无码婷婷| www.色婷婷.com| 99re欧美精品| 婷婷自拍| 夜夜 操无码| 五月网激情| 久久有码| 五月欧美丁香在线观看| 九九综合九九| 97高清国语自产拍| 一区中文字幕电影| 综合久久97| 久久五月天综合视频网站| 99精品网站| 久久精热| 99在线观看精品视频| 夜夜爽77777妓女免费下载 | 插逼综合网| 婷婷伊人綜合中文字幕| 亚洲99视频| 色五月婷婷基地| 91丨九色丨白浆秘| 国产看真人毛片爱做A片| 高清a片基地| 久久婷婷资源| 深爱五月激情综合| 婷婷日日夜夜| 婷婷久久综合久| 曰韩少妇内射免费播放| 色婷婷综合电影| 伊人久久婷婷| 99re这里只有精品在线观看| 99欧州偷拍视频| 成人午夜视频精品一区| 五月丁香综合中文| 欧洲亚洲免费视频9| 天天做天天摸| 天天日夜夜拍| 色99xx| 五月婷精品| 丁香六月婷婷色XXXX| 丁香六月婷婷久久综合| 99精品成人无码A片观看金桔| 91传媒无码人妻精| 丁香五月综合激情久久潮喷| 亚洲天堂aaa| 久久一热| 九九精品系列| 99丁香五月婷| 久久久久人妻| 99精品国产乱码久久久人妻| 国产精品操| 天天日夜夜操五月| 日本99久久| 久久综合55| 综合大香蕉| 五月婷导航| 天天狠天天叉| 一操久久| 五月五丁香婷婷| 九九热中文| 刘玥精品一区| 亚洲思思热久| 丁香六月婷婷五月婷婷| 人妻内射一区二区在线视频| 影音先锋四区| 婷婷开心久久| 国产成人精品一区二三区熟女在线| 色www.con| 美女婷婷六月色| 91人操人人人操人| 婷婷丁香五月社区亚洲| 六月婷婷无码| 99人人干| 亚洲九九婷婷| 婷婷丁香激情五月天色色| www.操.com| 亚洲熟女乱色综合亚洲网站| 日日噜狠狠色综合久久| 六月激情婷婷| 久久久久亚洲AV无码网影音先锋| 色女伊人| 成熟妇人A片免费看网站| 人人摸人人操人人爽| 天天干夜夜想| 综合久久五| 思思久ren热| 综合色色婷婷| 五月激情射| 婷婷丁香五月天中文字幕| 99∨VTV| 91人人爽狠狠狠| 亚洲日日日| 99热热热天天人人人超超碰| 激情婷婷内射| 99综合一区| 中文字幕婷婷在线| 丁香婷婷视频一区二区| 国产人妻人伦精品一区二区| 亲子乱AV一区二区三区下载| 青青草原伊人网| 97超碰99热99| 97韩国久久电影院| 婷婷91视频| 99热精品在线播放观看| 深爱五月天| 色色婷| 99视频自拍| 狠狠狠狠狠狠色| 色情五月综合婷婷| 99久久高清视频| 色综合久久伊伊婷婷五月| 99热这里只有精品8| 欧美影院婷婷| 天天射美女| 丁香婷婷五月色成人网站| 天天爱天天做天天操| 九九热内射| 色欲五月婷婷| 婷婷视频在线碰| 五月天婷婷久久日| 国产99热| 精品婷婷五月视| 99精品在线播放| 成人深爱丁香五月| 99精在线| 久久机热这里只有精品免费视频 | 天天操夜夜夜拍拍拍| 少妇高潮A片无套内谢麻豆传| 深爱五月婷婷开心中文字幕| 五月丁香综合啪啪| 激情精品久久| 亚洲综合五月天婷婷丁香| 夜夜骑日日操| 婷婷五月天激情小说| 人妻射精AV| 涩涩五月天| 丁香五月综合在线| 久久久久久久11111111111| 成人狠狠成人狠狠成人狠狠成人狠狠| 久久婷婷五月综合色欧美| 色婷婷六月精品| 五月婷婷久久网| 五月开心色| 9九色首页| 久热91精品| 婷婷综合色色| 91色婷婷综合久久中文字幕二区| 99这里只有精品视频在线| 国产黄大片在线观看画质优化| 五月婷婷在线网站| 九九色video| 欧美Va日本Va| 天天久综合网永久入口17v| 97色色色色色| 国产精品久久99| 99国产精品久久久久久久久久久| 婷婷激情六月综合| 91丨九色丨首页| 丁香五月天激情免费在线观看AV777| 五月丁香天堂| 亚洲色图五月丁香| 天天操夜夜爽天天操| 精品一二三区久久AAA片| 色五月成人在线| 国产在线视频1234| 色色色色综合网| 二人电影免费版在线观看| 久久婷婷老| 五月天.com| 激情五月综合网最新| 91丨九色丨43老版熟女| 色性日本| 色五月大| 色狠狠综合| 婷婷色天香| 五月丁香综合色婷婷| 狠狠搞狠狠操| 五月花综合| 99ER热精品视频| 色婷婷成人五月| 97色欧美| 一本大道熟女人妻中文字幕在线 | 操日视频| 色五月婷婷 成人| 九九操屄| 婷婷五月天AV| 国产亚洲色婷婷99精品| 内射人妻视频国内| 天天操比比| 色综合网上班开心婷婷久久| 97久久久久久久久久久| 思思99热| 天天色月| 97超碰9久热婷婷热| 99riAv1国产在线观看| 热久久77777| 色色丁香色五月| 99热精品无码| 丁香六月激情综合啪啪| 婷婷射图| 婷婷丁香五月天综合激情| 97碰碰视频| 五月六月丁香婷婷在线观看| 亚洲色图日韩网址| www.超碰| 丁香六月婷婷综合| 欧美激情五月天在线观看| 亚洲激情六月丁香| 99热8| 99精品在这里| 超碰成人电影| 中文字幕操比影片| 大香蕉精品视频| 国熟女视频| 超碰电影在线播放| 日日操夜夜擼| 久久艹99| 五区毛片七区毛片| 九九热超碰| 丁香社92视频| 天天日日夜夜| 五月婷婷色播| 国产精品色一哟哟| 色狠狠色| 99热在线网站| 亚洲AV成人在线| 亚洲无码99| 丁香五月AV综合激情| 嫩模aV在线| 大香蕉视频99| 五月丁香影视| 91九色|疯狂|高潮|对白|| 日本婷婷综合精品| www久久久久久久97| 丁香婷婷六月| 色99在线| 六月丁香婷婷综合狠狠爱夜夜爱| 丁香五月六月激情| 国产片天天爽夜夜爽| 天天综合91入口| 午夜无码熟熟妇丰满人妻| 五月丁香六月激情欧美综合| 停婷丁五月在线| 99日这里只有精品| 五月婷婷五月丁香综合| 亚州色婷婷| 久久九网| 99久久国产宗和精品1上映| 夜夜撸夜夜骑| 成人av在线网址| av五月天婷婷丁香| 好吊丝aV| 99在线观看视频免费| 午夜婷婷久久 | 综合网激情| 久久九九九九| 国产成人精品一区二三区熟女在线 | 五月丁香福利| 超碰国产AV| 香蕉曰比| 国产AV一区二区三区日韩| 91丨九色丨国产打屁股| 射久久丁香五月| 色婷婷基地| www.丁香黄色五月天人与| 五月综合视频在线| 玖玖综合色| 狠狠色综合网站久久久久| 九日日夜夜69| AⅤ网站在线看| 99热在线观看| 九月色婷婷| 天堂在线9| 五月天亚洲色| www夜夜操comwww| 另类小说五月天综合网| 色婷婷五月天激情久久| 狠狠香婷婷五月| 激情九月婷婷| 久久久激情视频| 久久婷婷综合基地| 手机旧版看人妻1025| 影音先锋91男人资源在线播放| 亚洲欧美在线观看| 久久五月综合| 色久综合| 熟妇人妻中文字幕无码老熟妇| 91狠狠综合久久| 欧美久久网| 91成人看片| 九月婷婷激情| 99视频网址| www.五月天婷婷| 人妻啪啪啪| 五月丁香六月激情欧美综合| 五月婷av| 天天干天天操天天拍| 激情五月婷婷网| 五月天婷婷久久| 综合网啪| 99久久网站| 六月丁香啪啪| 五月激情小说| 国产毛片精品一区二区色欲黄A片| 久久综合久色欧美综合狠狠| 99se丁香| 丁香六月亚洲| 成人网在线视频| 91大神操美女| 丁香婷婷五月天校园春色| 亚洲色爽| 五月婷网站| 色七七色九九| 五月婷婷与六月丁香图片激情| 亚洲天堂啪啪| 天天拍天天操| 婷婷色五月大香蕉在线| 操逼电影免费看| 大天天伊人| 另类激情综合| 一根材五月婷成人| 五月丁香青草综合啪啪| 五月婷婷开心网| 亚洲色热| 亚洲久久激情| 九九人人看| 99视频在线| 九九九九九九热| 丁香玖玖| 丁香六月婷婷综合激情欧美| 6080av| 色99网| 99热18| 欧美交换配乱吟粗大25P| 99久热视频在线| 大香蕉狠狠爱主页| 久热久色| 久久99热精品a片在线观看| 久青草影院| 97在线视频观看| 国产五月视频| 97色婷婷在线观看| 亚洲精品乱码久久久久久按摩观| 玖操97| 天天操比比| 99∨VTV| 九色综合网| 久久婷五月综合| 五月婷婷六月激情在线| www夜夜操com| 99久久综合| 日韩艹比| 性视频久久| .操區COm| 国产精品热搜丁香五月婷婷| 五月丁香综合啪啪| 疯狂做受XXXX高潮A片| 丁香五月停停基地| 五月丁香婷婷无码中文| 99在线精品免费视频| 丁香婷婷深情五月亚洲| 97啪在线观看视频| 久久综合干| 六月丁香婷婷尤物| 丁香五月婷婷亚洲综合精品| 成人无码精品1区2区3区免费看| 五月天堂色色| 五月激情婷婷开心五月| 色丁香五月| 91久热| 一级性感毛片| 五月天免费色| 欧美激情综合色综合啪啪五月| 六月丁香网| 久久在线大香蕉| 婷婷爱综合| 99爽视频| 国产黄色在线| 99自拍视频在线| 99综合免费视频| 色综合激情| 狠狠色丁香婷婷| 久久99激情| 4399亚洲视频| 岛囯综合激情网| 日本99热| 26UUU精品一区二区| wwwss在线观看| 五月丁香啪综合| 第二色AⅤ| 婷婷五月综合社区| 色爱爱综合网| 噜综合| 色久影院| 久久大大香| 夜夜人妻五月天| 日本色天堂| 超碰免费人人肏| XXXX岛国| 91超级碰在线视频| 一区二区乱视频码| 五月婷婷成人w| 亚洲综合色色| 欧美日韩国产日本精品四虎网网站物| 色亚洲视频| 99操碰| 韩国19 主播内部福利vip免费播放| 丁香五月宝贝激情网| 丁香五月天激情视频| 日韩无码91| 婷婷五月深深爱| 无码AV免费精品一区二区三区| 91丨九色丨熟女|老版| 九九热思思热| 色婷婷视频| 久久伊人婷| 日韩成人五月天| 97色色综合| yw国产AV| 人人舔人人色人人高潮| 91精品久久久久久| 日韩无码系列| 视色综合| 国产暴力强伦轩1区二区小说| 九九精品网站| 成人av在线网址| 在线99精品| 日日.c| 日本eVa一区=区视频| 色99视| 另类小说五月天| 五月丁香另类图片| 日本天堂爱爱| 操婷婷基地| 亚洲天码视频www蛋播视频| 久久se 综合网| henhencao国产在线| 激情网五月天| 激情99| 五月天色色婷婷| 97欧美在线| 99免费| 九九综合五月欧美| 天天爽综合网| aV直接看| 五月丁香久久久| 五月花婷婷| 人妻系列久久久久久久久久久| 天天综合精品| 超碰久热| 久久久性爱视频| 天天激情5月天亚洲| 青青草tp| 色99视频| 久久激情综合| 五月婷婷人人人操| 亚洲AV人人操| 婷婷爱爱蜜臀天天操| 99热网址| 久久激情五月婷婷| 婷婷涩涩五月天| 婷婷五月色综合| 激情四射网| 五月丁香欧美综合| 亚洲成人在线免费| 五月色网| 久九色| 婷婷激情小说网| 99这里只有精品视频| 高潮毛片遮挡费高一百度| www.zbzhongsen.com| 丁香六月婷婷综合色| 99热精品免费| 深爱激情九九五月天 | 狠狠艹狠狠艹| 嫩草AV久久伊人妇女超级A| 色婷婷视频| www.99热国产| 久久99性爱视频| 婷婷丁香黄色| 日本色色网站| 99爱爱| 99久热这里只有精品| 五月丁香激情综合啪| 婷婷丁香社区| 激情狠狠丁香月| 丁香色色五月| 亚洲人成色A777777在线观看| 波多野结衣AV无码Porn| 综合色图区| 丁香五月婷婷深爱综合激情| 天天射影院| 中文字幕日韩无码制服诱或| 久久久全国免费视频| 婷婷激情社区| 超碰三级片| 五月天综合| 色小说婷婷五月天天天| 超极99精品| 亚洲美女网Va| 五月丁香啪综合| 日本狠狠色| 天天操天天日天天爽| 五月丁香 狠狠爱| 色播五月综合网| 噜噜色天天开心| 日本猛少妇色XXXXX猛叫| 婷婷五月噜噜| 婷婷成人AV| 九月婷婷色色| 色色操| 国产,欧美,学生妹,视频| 这里只有精品在线视频在线观看| 六月婷婷九月丁香| 色情五月综合婷婷| 天天干天天色天天干| 91综合色噜噜| 九九99精品| 色婷婷五月天成人网| 久9热插入| 9久精品视频| 丁香婷婷六月天| 91久久九| 亚洲色五月| 无码人妻一区二区三区免费九色| 色色色9 9 9| 综合色播| 夜夜操激情| 亚洲黄色精品| 国产成人精品一区二区三区视频| 99视频精品在线| 狼人久草| 亚洲区在线| 激情九月婷婷| 婷婷性爱无码视频| 神马欧美精| 成人国产欧美大片一区| 日日爽日日| 久色视频在线| 婷婷丁香黄色| 99re思思热久久| 六月丁香影院| 婷婷色亚洲| 99久久综合狠狠综合久久| www.99热视频| 少妇人妻凹凸视频| 无码yw| 亚洲V国产V欧美V久久久久久| 五月婷婷婷丁香播| 热的五码久久精品| 九九精品丁香花| 99爱在线精品视频免费观看| 热99只有里视频| 丁香五月婷婷激情网| 九九久久9 9在线观看| 色婷婷久久| 五月丁香六月婷婷手机无线| 中文无码婷婷| 99ri6在线视频| www99热| 深爱激清网| 99er免费在线观看| www久久久久| 久久人妻熟女一区二区| 久草五月婷婷| 久久永久网址| 久久人妻熟女一区二区| 五月天久久综合婷婷丁香| 六月色婷婷色| 97五月天婷婷综合激情网| 极品人妻VIDEOSSS人妻| 六月丁香色色| 天天爽夜夜爽天天爽夜夜爽| 九九熱最新視頻| 婷婷色情五月| 五月天激情色色| 99性视频| 天天高潮夜夜爽| 婷久看人爽| 亚洲精品亚洲人成人网| 9热久久在线| 天天干天天爽| 自拍偷窥99热| 欧洲亚洲精品| 777丁香六月青青草婷婷综合久月| 久婷| 狠狠久久婷婷| 国产成人综合亚洲| 五月综合色| 91色在线 | 日韩| 丁香婷婷色六月| 精品五月丁香| 五月天堂色| 日韩肏屄网| 欧美婷婷色| 婷婷激情图片| 色99在线视频| 婷婷五月丁香六月| 久久婷婷五月综合色播| 思思热国产视频| 91九色丨国产丨爆乳| 五月婷婷综合成人| 搡BBBB搡BBB搡18| 五月成人网站| 人妻精品在线| 亚洲这里只有精品| 丁香五月综合亚洲| 丁香五月综合福利视频导航| 一起草无码视频| 五月天婷婷綜合院| 久久婷婷五| 日本97在线观看| 少妇出轨做爰高潮A片| 亚洲人人操| 日本一级一级一级一级| 亚欧州精品视频| 99性色| 日日爽日日爽| 夜夜操天天爽| 色婷婷五月天激情久久| 日本女天天爽| 久久综合丁香五月| 激情综合婷婷| 婷婷五月精品中文字幕| 色五月自偷自拍婷婷婷婷| 人操91在线| 久久婷婷五月综合网| 色狠狠色噜噜AV天堂五区| 成人视频网| 色狠狠综合| 婷婷伊人网| 欧美日韩一区二区三区四区| 五月婷婷丁香综合| 任你日视频| 五月亭亭狠狠| 天天澡天天狠天天天做| 五月婷婷免费在线视频| 中文AV网站| 五月婷婷六月开心| http://www.sd-xiangsu.com/| 六月丁香影院| 婷婷五月天黄色小说| 蜜乳中文字| 亚洲va欧洲va国产va不卡| 亚洲综合激情五月|