欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

BERT+知識圖譜構建問答系統(tǒng):從語義解析到圖譜查詢實戰(zhàn)

BERT+知識圖譜構建問答系統(tǒng):從語義解析到圖譜查詢實戰(zhàn) 1. 為什么選擇 BERT 知識圖譜做問答系統(tǒng)先從一個真實的場景說起。傳統(tǒng)的關鍵詞搜索和FAQ匹配用戶問“糖尿病人能喝無糖可樂嗎”和“無糖可樂適合糖尿病患者嗎”字面上差得很遠但語義上完全是一個問題。如果你只是做字符串匹配或者簡單的TF-IDF相似度計算這兩條查詢永遠無法關聯(lián)起來。這就是我決定用 BERT 來做問答系統(tǒng)的第一推動力語義理解能力。知識圖譜解決的是另一個問題——實體之間的關系。比如用戶問“李白是哪個朝代的詩人”系統(tǒng)需要知道“李白”是一個詩人實體“唐朝”是他的朝代屬性“詩人”是他在圖譜中的類型節(jié)點。只有把“理解問句”和“查詢圖譜”這兩件事串起來才能構建一個真正可用的問答系統(tǒng)。這兩者結合的技術鏈路大致是用戶輸入自然語言問句 → BERT 模型完成意圖識別和實體抽取 → 解析出結構化的查詢語句如 SPARQL 或 Cypher 等各類圖查詢語言 → 在圖譜中檢索 → 將結果組織成自然語言答案返回。整條鏈路看起來并不復雜但每個環(huán)節(jié)都有不少細節(jié)坑我分章節(jié)詳細拆解。這個項目適合哪些人參考如果你正在做畢業(yè)設計、準備搭建智能客服系統(tǒng)、或者想入門“NLP 知識圖譜”這個交叉方向這篇文章可以幫你少走很多彎路。我會把我實際跑通的方案、踩過的坑、以及調優(yōu)的經驗全部寫出來。2. 系統(tǒng)整體架構與核心模塊設計任何系統(tǒng)在動手寫代碼之前先把架構圖畫清楚至少在心里面清楚。我這個項目的落地架構比較樸素核心聚焦“最小可用”目標。2.1 系統(tǒng)處理的完整流程用戶輸入問句 ↓ 文本預處理清洗、分詞、padding ↓ BERT 編碼 → 意圖分類 實體識別 ↓ 結構化查詢語句生成 ↓ 知識圖譜數(shù)據(jù)庫查詢 ↓ 答案組織與返回整個系統(tǒng)分成五個核心模塊模塊名稱職責技術選型預處理模塊清洗問句統(tǒng)一格式構建 BERT 輸入Python jieba輔助語義解析模塊意圖分類 實體抽取BERT Softmax 分類層查詢生成模塊將解析結果轉換成圖查詢語句規(guī)則模板 動態(tài)參數(shù)填充圖譜存儲模塊存實體、關系、屬性Neo4j答案生成模塊將查詢結果轉成人類可讀的句子模板拼接 后處理設計的時候有一個原則知識圖譜是系統(tǒng)唯一的“事實來源”。也就是說所有答案必須從圖譜中檢索得到不允許模型自由生成內容。這樣保證了答案的可解釋性和可控性也大幅降低了部署風險。2.2 圖譜圖結構的設計思路一個典型的問答圖譜通常包含三類節(jié)點實體節(jié)點、類型節(jié)點、屬性節(jié)點。我用一個健康領域的例子來說明實體節(jié)點比如“糖尿病”“胰島素”“二甲雙胍”類型節(jié)點比如“疾病”“藥物”“癥狀”關系邊(糖尿病)-[屬于]-(疾病)(二甲雙胍)-[治療]-(糖尿病)設計圖譜時核心原則是“查詢友好”。意思是你在設計實體和關系時就要提前想好未來問答系統(tǒng)可能收到的問法。比如用戶可能會問“治療糖尿病的藥物有哪些”那你就需要設計(藥物)-[治療]-(疾病)這樣的關系方向如果用戶問“這個藥治什么病”那反向查詢也要支持。關系設計得不好后續(xù)查詢語句生成階段就會很痛苦。3. BERT 模型選型與語義解析模塊實現(xiàn)這一章是項目的中樞環(huán)節(jié)。語義解析是整個問答系統(tǒng)的“理解大腦”它負責把自然語言問句拆成機器可執(zhí)行的結構化意圖。3.1 為什么要用 BERT 而不是傳統(tǒng)方法傳統(tǒng)做法通常是對問句做分詞然后基于詞典規(guī)則做關鍵詞匹配。你聽起來是不是覺得也挺簡單對但它的天花板很低。舉個例子“哪些抗生素對肺炎鏈球菌敏感”和“肺炎鏈球菌感染用什么藥”傳統(tǒng)關鍵詞提取會得到完全不同的關鍵詞集合因為“抗生素”“藥”“敏感”“感染”這些詞在字面上沒有任何重疊但語義上是強關聯(lián)的。BERTBidirectional Encoder Representations from Transformers能捕捉雙向上下文信息它會把“抗生素”和“藥”映射到語義空間中相近的位置從而理解這兩個問句是在問同一件事。準確說BERT 幫我們解決的是“同義異形”和“指代消解”層面的問題。3.2 意圖分類模塊的代碼實現(xiàn)意圖分類本質是一個文本多分類任務。我把常見問句分成以下幾類query_disease_symptom疾病有哪些癥狀query_drug_disease藥物治療什么疾病query_disease_drug疾病用什么藥物治療query_entity_attribute實體屬性查詢greeting問候語BERT 分類模型的 PyTorch 實現(xiàn)代碼如下import torch import torch.nn as nn from transformers import BertModel, BertTokenizer class BertIntentClassifier(nn.Module): def __init__(self, num_labels, model_namebert-base-chinese): super(BertIntentClassifier, self).__init__() self.bert BertModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.classifier nn.Linear(self.bert.config.hidden_size, num_labels) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) pooled_output outputs[1] # [CLS] token 對應的輸出 pooled_output self.dropout(pooled_output) logits self.classifier(pooled_output) return logits注意代碼中的outputs[1]這是 BERT 輸出中[CLS]token 對應的向量。在分類任務中我們習慣使用這個向量作為整句話的語義表示再喂給全連接層做分類。訓練階段用交叉熵損失函數(shù)和 AdamW 優(yōu)化器這個組合在實際項目中表現(xiàn)穩(wěn)定from transformers import AdamW from transformers import get_linear_schedule_with_warmup optimizer AdamW(model.parameters(), lr2e-5) total_steps len(train_dataloader) * epochs scheduler get_linear_schedule_with_warmup( optimizer, num_warmup_stepsint(0.1 * total_steps), num_training_stepstotal_steps )學習率設置為 2e-5 是關鍵。BERT 預訓練模型本身已經收斂得比較好微調階段如果學習率設得太大會破壞預訓練學到的通用語義知識。這個值我做過對比實驗2e-5 在大多數(shù)中文數(shù)據(jù)集上都表現(xiàn)最優(yōu)。3.3 實體抽取的策略與實現(xiàn)實體抽取我采用的是基于 BERT 序列標注的方案用 BIO 標注體系來定位問句中的實體邊界。B 表示實體開始I 表示實體內部O 表示非實體。舉個例子李 白 是 哪 個 朝 代 的 詩 人 B I O O O O O O O這樣模型就能識別出“李白”這個完整實體。SeqLabeling 的 PyTorch 實現(xiàn)和分類模型類似只是輸出層從num_labels維變成了num_labels * 2 1維B、I、O 三類然后對序列中每個 token 做預測。不過我的實測經驗是對于知識圖譜問答這種限定域場景直接上序列標注模型可能有點“殺雞用牛刀”。更高效的替代方案是先把圖譜中所有實體名稱構建成詞典然后用最大匹配算法從問句中提取實體詞配合 BERT 做候選實體消歧。原因是圖譜中實體的命名通常比較規(guī)范、有限比如“糖尿病”“胰島素”“李白”這類專有名詞靠詞典匹配已經有較高準確率。只有當用戶使用別名、口語化表達時比如“消渴癥”指代糖尿病才需要引入模型做指代歸一。推薦做法是詞典優(yōu)先、模型兜底先用最大匹配跑一遍覆蓋率高的問題直接走少量匹配不上的問句再用序列標注模型做補充抽取。這樣既控制了計算開銷又保證了準確率。3.4 數(shù)據(jù)處理自己造訓練數(shù)據(jù)并做增強模型訓練最缺的就是標注數(shù)據(jù)。我當時快速構建訓練集的三個來源基于圖譜關系手工編寫種子問句比如“糖尿病的癥狀有哪些”“治療肺炎的藥物有哪些”用同義詞替換做數(shù)據(jù)增強如“治療”換成“醫(yī)治”“用藥”將簡單問句排列組合成復合結構擴充問法多樣性最終訓練集約 5000 條驗證集 1000 條。這個規(guī)模對 BERT 微調來說基本夠用。另外要提醒一點數(shù)據(jù)和模型的輸出標簽體系必須對齊。如果你在訓練意圖分類模型時定義了 5 個意圖類別那么查詢生成模塊也必須對每一個意圖都有對應的查詢模板否則訓練完模型后才發(fā)現(xiàn)某個意圖沒有后續(xù)處理邏輯整個流程就斷了。這兩邊在設計階段就要同步規(guī)劃好。4. 知識圖譜存儲與查詢語句生成語義解析模塊把問句拆成了意圖和實體接下來要做的就是把“用戶想干什么”翻譯成“圖譜能執(zhí)行什么查詢”。4.1 Neo4j 圖數(shù)據(jù)庫的建庫操作我選用的圖數(shù)據(jù)庫是 Neo4jCommunity Edition。為什么不用關系型數(shù)據(jù)庫因為知識圖譜的本質是多跳關系查詢比如“糖尿病的并發(fā)癥有哪些”“治療這些并發(fā)癥的藥物是什么”這類跨兩跳以上的查詢在 MySQL 里要寫一堆 JOIN而在圖數(shù)據(jù)庫里只需要遍歷邊性能和維護成本都更優(yōu)。建庫的核心語句用 Cypher 編寫CREATE (d:Disease {name: 糖尿病, description: 一種代謝性疾病}) CREATE (m:Medicine {name: 二甲雙胍, dosage: 500mg/次}) CREATE (s:Symptom {name: 多飲多尿}) CREATE (d)-[:HAS_SYMPTOM]-(s) CREATE (m)-[:TREATS]-(d)批量導入時用的是 Neo4j 的LOAD CSV命令將實體表和關系表以 CSV 形式導入。這個命令比逐個 CREATE 快了一個數(shù)量級數(shù)據(jù)量在幾十萬級別時基本可接受。4.2 查詢模板的設計策略對于不同意圖類型我預定義了對應的查詢模板。舉個例子意圖模板說明query_disease_drugMATCH (m:Medicine)-[:TREATS]-(d:Disease {name:$entity}) RETURN m.name查詢治療某疾病的藥物query_disease_symptomMATCH (d:Disease {name:$entity})-[:HAS_SYMPTOM]-(s:Symptom) RETURN s.name查詢疾病癥狀query_entity_attributeMATCH (n {name:$entity}) RETURN properties(n)返回實體所有屬性這里的$entity是參數(shù)占位符由 Python 端在運行時注入實體名稱避免字符串拼接注入風險。4.3 Python 端動態(tài)生成 Cypher 語句關鍵代碼如下from neo4j import GraphDatabase class QueryGenerator: def __init__(self, uri, user, password): self.driver GraphDatabase.driver(uri, auth(user, password)) def generate_sql(self, intent, entity): template_map { query_disease_drug: ( MATCH (m:Medicine)-[:TREATS]-(d:Disease {{name: {entity}}}) RETURN m.name ), query_disease_symptom: ( MATCH (d:Disease {{name: {entity}}})-[:HAS_SYMPTOM]-(s:Symptom) RETURN s.name ), query_entity_attribute: ( MATCH (n {{name: {entity}}}) RETURN properties(n) ) } return template_map[intent].format(entityentity) def query(self, intent, entity): cypher self.generate_sql(intent, entity) with self.driver.session() as session: result session.run(cypher) records [record.values() for record in result] return records這道工序有個非常隱蔽的坑Cypher 模板中已經包含花括號{}Python 的format()方法也會用花括號做占位符。如果在模板里直接寫{name:{entity}}運行時會直接報 KeyError。解決辦法是模板中的普通花括號寫成雙花括號{{}}需要替換的位置保留單花括號。上面代碼已經做了處理但如果你照抄時看漏了就會踩上這個坑。這是我的實操經驗如果你不想糾結花括號轉義干脆用純字符串拼接 參數(shù)化查詢cypher MATCH (m:Medicine)-[:TREATS]-(d:Disease {name: $entity}) RETURN m.name result session.run(cypher, entityentity)Neo4j 官方驅動支持參數(shù)化查詢這樣既規(guī)避了轉義問題也更安全。5. 部署環(huán)境的完整搭建方案說句實話這個項目寫代碼本身不是最難的最難的是把環(huán)境配好。熱詞搜索里“python安裝”“pip安裝庫失敗”這類問題出現(xiàn)頻率極高說明新手大量時間都耗在環(huán)境配置上。這里我給出我驗證過的完整方案。5.1 Python 環(huán)境與依賴版本選擇強烈建議使用 Anaconda 創(chuàng)建獨立虛擬環(huán)境不要直接裝在系統(tǒng) Python 里。conda create -n kgqa python3.9 conda activate kgqa版本選擇上有幾個硬性約束我直接列一個經過驗證可行的組合表依賴庫推薦版本說明Python3.9兼容性最穩(wěn)3.10 以上部分庫有編譯問題PyTorch1.13.1和 CUDA 11.7 配套的版本transformers4.30.2穩(wěn)定且 API 友好neo4j5.9.0官方 Python 驅動scikit-learn1.2.2評估指標計算pandas1.5.3數(shù)據(jù)處理安裝 PyTorch 時要注意 CUDA 版本先運行nvidia-smi查看驅動支持的 CUDA 版本然后到 PyTorch 官網選擇對應安裝命令。如果你只是 CPU 跑測試直接安裝 CPU 版即可BERT-base 在 CPU 上做一個推斷大約耗時 1-2 秒測試是夠用。5.2 常見安裝問題與解決方案問題1pip install 時提示 Timeout 或 SSL 錯誤多半是網絡原因優(yōu)先切換到國內鏡像源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch問題2安裝 transformers 后 BERT 模型無法下載Hugging Face 下載模型權重時對網絡要求較高有兩個思路。一是手動從 Hugging Face 模型倉庫下載bert-base-chinese的所有文件放到本地目錄然后改用from_pretrained(./bert-base-chinese/)加載二是設置HF_ENDPOINT環(huán)境變量指向鏡像站。這條坑基本每個做中文 NLP 項目的人都會遇到。問題3Neo4j 啟動后無法通過 localhost:7474 訪問檢查端口占用和 Neo4j 配置文件中的監(jiān)聽地址。Windows 上如果默認dbms.connectors.default_listen_addresslocalhost被改過會導致 7687Bolt 協(xié)議端口不可訪問。改回 localhost 再重啟服務即可。6. 項目實測結果與性能調優(yōu)記錄模型訓練和系統(tǒng)集成完成后我在自己構建的中文醫(yī)療知識圖譜測試集上做了性能評估測了 800 條人工問句。6.1 各項指標的實測結果評估維度準確率響應時間CPU意圖識別96.3%約 100ms實體識別詞典優(yōu)先94.8%約 5ms圖譜查詢環(huán)節(jié)100%約 30ms端到端整體問答91.5%約 200msBERT 推理為主從結果分布來看誤差主要出現(xiàn)在實體識別環(huán)節(jié)和意圖判斷邊界模糊的句子上。比如“糖尿病人吃什么藥”意圖里有“疾病”“藥物”兩個實體“吃”“藥”等詞會干擾分類器對意圖的判斷。6.2 從 91% 到 93%我把性能提升做到位的幾個手段第一個手段是給 BERT 輸入增加圖譜實體的先驗標記。比如做序列標注時把詞典匹配到的實體詞直接標記為候選實體讓模型更關注這些位置的上下文而不是從零開始找實體。這個操作讓實體識別 F1 值提升了近 2 個百分點。第二個手段是意圖分類的置信度閾值機制。當模型輸出的意圖概率低于 0.7 時不立即返回結果而是同時返回 Top-2 意圖對應查詢結果讓下游模塊用更長的規(guī)則校驗。比如“糖尿病和高血壓能同時用藥嗎”這個問句它既包含疾病查詢意圖又帶有比較語義單標簽分類天然無法處理。我增加了一個“復合問題”意圖專門應對這種混合問法。第三個手段是構建實體同義詞映射表。用戶在口語中很少使用圖譜中的標準名比如“二甲雙胍”常被說成“二甲雙胍片”“高血糖”和“糖尿病”也經?;煊?。我在實體抽取模塊后面加了一層同義詞歸一層實現(xiàn)如下synonym_map { 二甲雙胍片: 二甲雙胍, 鹽酸二甲雙胍: 二甲雙胍, 高血糖: 糖尿病, } def normalize_entity(entity): normalized synonym_map.get(entity, entity) return normalized這一層不消耗任何模型計算資源純規(guī)則但對端到端準確率的提升非常直觀。6.3 響應延遲的優(yōu)化策略如果你的系統(tǒng)需要部署成 web 服務對響應延遲的要求就會更高。BERT-base 在 CPU 上單條推斷大約 100-200msGPU 上能壓到 20ms 左右。如果只有 CPU 資源幾個優(yōu)化方案用torch.jit.trace將模型轉成 TorchScript 格式免去 Python 層的動態(tài)圖開銷開啟動態(tài) batch 處理多請求同時進來時一次前向傳播處理多條使用 ONNX Runtime 加速BERT 這類 Transformer 結構在 ONNX 上有專門優(yōu)化實測比 PyTorch 原版提速 20%-30%import torch model.eval() traced_model torch.jit.trace( model, example_inputs(input_ids, attention_mask), strictFalse ) traced_model.save(bert_kgqa.pt)使用torch.jit.trace時要注意如果你的模型內部有依賴于輸入形狀的動態(tài)分支邏輯trace 可能會固化錯誤的計算路徑。BERT 模型結構固定基本沒有這個問題但保險起見我還是建議 trace 之后跑一遍完整的評估集確認輸出一致再部署。7. BERT 微調與模型訓練的完整流程訓練數(shù)據(jù)是所有模型的起點。很多同學在這個環(huán)節(jié)非常崩潰因為標注數(shù)據(jù)又累又費時。我總結出一套半自動的標注流水線能大幅減少標注工作量。7.1 訓練數(shù)據(jù)格式與預處理訓練數(shù)據(jù)采用 JSON 格式{ text: 糖尿病的早期癥狀有哪些, intent: query_disease_symptom, entities: [糖尿病] }意圖分類數(shù)據(jù)只需要前兩個字段實體抽取數(shù)據(jù)需要同時包含實體字段。做序列標注時需要把問句轉成 BIO 標簽序列。這里我用 jieba 分詞做前置分割然后用實體位置對齊到 token 級別def tokenize_and_label(text, entities, tokenizer): inputs tokenizer(text, return_tensorspt, truncationTrue, max_length64) offset_mapping tokenizer(text, return_offsets_mappingTrue)[offset_mapping] labels [O] * len(input_ids[0]) for ent in entities: start, end text.find(ent), text.find(ent) len(ent) for i, (s, e) in enumerate(offset_mapping): if e start or s end: continue labels[i] B-ENT if s start else I-ENT return input_ids, attention_mask, labels這里有個大坑tokenizer默認會給文本兩端加[CLS]和[SEP]tokenoffset_mapping的長度和input_ids一致但對特殊 token 的起始位置標記為 0。如果直接用原始文本的find()定位實體坐標和 offset mapping 的對應關系會出現(xiàn)偏差最終導致標簽錯位。保險做法是去掉 offset 為 0 的無效位置或者使用return_offsets_mappingTrue后再手動做映射對齊。7.2 基于 Hugging Face Trainer 的微調流程我最終用 Hugging Face 的 Trainer API 做微調代碼簡潔且自帶評估循環(huán)和斷點續(xù)訓from transformers import Trainer, TrainingArguments training_args TrainingArguments( output_dir./results, num_train_epochs5, per_device_train_batch_size16, per_device_eval_batch_size32, warmup_steps200, weight_decay0.01, logging_dir./logs, logging_steps100, eval_steps500, save_steps500, load_best_model_at_endTrue, metric_for_best_modelaccuracy, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_dataseteval_dataset, ) trainer.train()eval_steps和save_steps設為 500 的好處是每訓練 500 步就保存一次模型訓練過程中如果出現(xiàn) loss 暴增或者過擬合可以從上一個保存點恢復繼續(xù)調參不用從頭再來。7.3 微調時經常遇到的幾個問題過擬合的解決方式5000 條訓練數(shù)據(jù)對 BERT 來說偏少訓練到第 3-4 個 epoch 時驗證集 loss 就可能開始反彈。我加了早停機制并設置 dropout0.3有效緩解了這個問題。另外一個實用技巧是如果訓練集太小只微調 BERT 后 2 層 分類層凍結前面層的參數(shù)。這樣做既省顯存也能抑制過擬合。for name, param in model.bert.named_parameters(): if layer.11 not in name and layer.10 not in name: param.requires_grad False這個操作把可訓練參數(shù)量從 1 億壓到了幾千萬單卡 8G 顯存也能順利跑完訓練。顯存溢出OOMBERT-base 單條樣本的序列長度為 64 時batch_size32 大約需要 11G 顯存。如果你的 GPU 只有 6G 或 8G把 batch_size 降到 8 或 4同時開啟梯度累積training_args.gradient_accumulation_steps 4梯度累積 4 步再更新一次參數(shù)等價于 batch_size32 的效果只是訓練時間延長一些。8. 查詢性能瓶頸與候選答案重排機制圖譜查詢完之后系統(tǒng)面臨一個很實際的問題候選答案可能有很多個怎么排序怎么決定哪個是用戶最想要的答案8.1 BERT 在多候選答案重排中的角色知識圖譜查詢返回的往往是滿足條件的所有實體。比如“治療糖尿病的藥物有哪些”返回 20 種藥用戶不可能全部看一遍而且其中很多藥是二線、三線用藥并不一定對每個用戶都適用。我的做法是引入第二層 BERT 分類器做候選答案排序。具體來說將用戶問句和候選答案拼接用 BERT 判斷這個答案與問句的匹配程度對候選答案按匹配分數(shù)排序取 Top-K 返回def rank_answers(question, candidate_answers): inputs [question [SEP] ans for ans in candidate_answers] # 使用 BERT 計算每對 (問句, 答案) 的語義相似度 scores similarity_model(inputs) ranked sorted(zip(candidate_answers, scores), keylambda x: x[1], reverseTrue) return [ans for ans, score in ranked[:3]]這個做法的原理很好理解BERT 在預訓練階段做過 Next Sentence PredictionNSP任務天然具備判斷兩個句子是否語義連貫的能力。微調后這個模型能有效區(qū)分“治療糖尿病的藥是二甲雙胍”和“治療糖尿病的藥是阿司匹林”哪個更合理。8.2 排序模型的訓練策略排序模型的訓練數(shù)據(jù)可以半自動生成圖譜查詢結果中與用戶問句意圖一致、且實體關系路徑最短的答案作為正樣本隨機采樣圖譜中的無關實體作為負樣本。正負樣本比控制在 1:3 左右。訓練策略上推薦用 pointwise 方式直接用交叉熵訓練實現(xiàn)簡單穩(wěn)定。pairwise 方式如 RankNet效果理論上更好但在數(shù)據(jù)量少時容易過擬合性價比不高。8.3 答案生成模塊的模板拼接最終返回給用戶的答案我采用模板拼接方式。比如if intent query_disease_drug: drugs , .join(top3_drugs) answer f根據(jù)知識圖譜數(shù)據(jù)治療{entity}的常用藥物包括{drugs}。如果你想更自然一點可以再疊加一層句子重寫模塊把模板結果改寫成更口語化的表達。比如“根據(jù)知識圖譜數(shù)據(jù)”這個前綴本身有強烈的機器感實際部署時我把它換成“目前常用于治療{entity}的藥物有”。9. 項目踩坑記錄完整排查鏈路這一節(jié)把我在實際開發(fā)中遇到的三個比較棘手的 bug 完整復盤一遍幫你在遇到類似問題時能快速定位。9.1 坑一BERT 輸入序列被截斷導致實體標簽全部錯位問題表現(xiàn)模型訓練時 loss 正常下降但推理階段實體提取結果完全不對明明問句里有圖譜實體提取結果卻為空。排查鏈路第一步我先打印模型的輸出 logits發(fā)現(xiàn)所有 token 都被預測為 O 類。這說明模型根本沒看到實體信息。第二步檢查輸入數(shù)據(jù)的特征——打印 tokenizer 返回的 input_ids 和標簽序列發(fā)現(xiàn)文本被截斷了。當時我把max_length設置成了 32但圖譜問句有些比較長部分實體詞剛好落在第 32 個 token 之后標簽就被截掉了。第三步把max_length從 32 改到 64同時確認truncationTrue只截斷后半部分、保留開頭。重新驗證后實體提取恢復正常。這個坑的教訓很直接BERT 的輸入長度限制會導致標注數(shù)據(jù)對齊失敗而它不會在你的訓練 loss 曲線中暴露任何異常。這里的預防措施是寫一個校驗函數(shù)統(tǒng)計訓練數(shù)據(jù)中超過 max_length 的樣本比例如果超過 10%就得擴大長度上限或調整數(shù)據(jù)預處理邏輯。9.2 坑二Neo4j 關系方向設計錯了導致查不到結果問題表現(xiàn)圖譜里明明存在“二甲雙胍治療糖尿病”這條關系但用戶問“治療糖尿病的藥物有哪些”時查詢返回空結果。排查鏈路第一步直接在 Neo4j Browser 中執(zhí)行MATCH (m:Medicine)-[:TREATS]-(d:Disease {name:糖尿病}) RETURN m.name返回空說明 CQL 語法層面沒問題問題出在數(shù)據(jù)。第二步執(zhí)行MATCH (m:Medicine)-[r:TREATS]-(d:Disease) RETURN m.name, d.name LIMIT 10發(fā)現(xiàn)這條數(shù)據(jù)根本不存在。第三步檢查 CSV 關系數(shù)據(jù)文件發(fā)現(xiàn)我在生成關系文件時把 head 和 tail 的實體類型標簽搞混了導致很多關系的方向是反的即(d:Disease)-[:TREATS]-(m:Medicine)。這個問題解決起來可以很快但排查它花了幾乎一整個下午。我的建議是建庫后馬上寫一套校驗腳本對每對關鍵關系執(zhí)行正向和反向查詢確保數(shù)據(jù)寫入方向無誤。等于把問題清零在源頭而不是等到問答系統(tǒng)上線后才發(fā)現(xiàn)。9.3 坑三GPU 和 CPU 的模型權重混用問題表現(xiàn)在 GPU 上訓練好的模型傳到 CPU 環(huán)境中推理時一直報RuntimeError: Attempting to deserialize object on a CUDA device。排查鏈路這個坑的原理很明確。PyTorch 保存模型時如果用的是torch.save(model.state_dict(), model.pt)會默認把張量的 device 信息一并保存。在 CPU 環(huán)境加載時它會嘗試往 CUDA 設備上放張量自然報錯。解決方案是保存時指定map_location# 保存時指定為 CPU torch.save({k: v.cpu() for k, v in model.state_dict().items()}, model.pt) # 加載時指定映射到 CPU model.load_state_dict(torch.load(model.pt, map_locationcpu))還有一個更隱蔽的坑如果你在 GPU 上保存的模型包含模型類的定義比如用torch.save(model, ...)來整模型保存那么加載端的代碼環(huán)境必須和保存端的模型定義完全一致否則會報內容不匹配錯誤。最好的習慣是永遠只保存 state_dict而不是整個模型對象。10. 系統(tǒng)的擴展方向與真實落地建議項目做完之后有幾個非常值得做的擴展方向我根據(jù)自己的經驗給出排序和建議10.1 從單輪問答走向多輪對話目前這個系統(tǒng)對每一條用戶問句都是獨立處理的。如果用戶先問“糖尿病的癥狀有哪些”再追問“這些癥狀嚴重嗎”系統(tǒng)無法理解“這些癥狀”指的是上一輪的查詢結果。要支持多輪對話需要引入對話狀態(tài)管理模塊維護用戶的“當前查詢上下文”并將指代消解結果替換到新的查詢語句中。技術上可以借用一個輕量級的做法把歷史問句拼接當前問句一起輸入 BERT 做分類和實體抽取。這種拼接策略雖然簡單但在限定域場景下效果不錯至少能解決“這些”“它”“上面提到的”等常見指代。10.2 用 Vue3 前端做可視化問答界面如果你想做一個看得見、演示效果好的界面結合 Vue3 生態(tài)實現(xiàn)知識圖譜的可視化會非常亮眼。Neo4j 的數(shù)據(jù)可以通過 Bolt 協(xié)議或 REST API 開放前端拿到圖譜 JSON 后用 D3.js 或 AntV G6 庫渲染實體關系圖用戶問完問題后不僅能顯示文字答案還能直接看到答案在圖譜中的位置和關聯(lián)路徑。這對項目答辯、匯報演示來說是一個加分項。熱搜詞里“vue3 實現(xiàn)知識圖譜”出現(xiàn)頻率很高說明這個需求確實很真實。我的建議是后端把圖譜子圖序列化成 JSON 返回前端做渲染不要在 Python 端做圖可視化分離清晰職責單一。10.3 接入更多領域圖譜當前系統(tǒng)是在醫(yī)療領域做的驗證。這套“意圖分類 實體抽取 圖譜查詢 答案重排”的框架本身是領域無關的換一個知識圖譜只需要更新圖譜數(shù)據(jù)和同義詞詞典根據(jù)新圖譜設計意圖類別和查詢模板重新標注一批問句微調 BERT 模型整個遷移周期根據(jù)圖譜規(guī)模不同大概在 2-4 周。如果想快速嘗試可以用公開的金融、歷史、行政治安等領域圖譜做交叉驗證代碼可以完全復用。11. 關于 BERT 與知識圖譜結合的一些個人心得項目做完之后我對“為什么這個組合值錢”有了更深入的體會。BERT 學的是語言知識它知道詞與詞之間的語義關系知識圖譜存的是事實知識它知道實體與實體之間的真實關聯(lián)。語言知識解決“聽懂”事實知識解決“答對”兩者缺一不可。網上經常有人問“ChatGPT 出來后知識圖譜問答是不是就過時了”我的觀點是ChatGPT 這類大模型可以做開放域問答但在需要精確、可追溯答案的垂直領域如醫(yī)療、法律、金融風控知識圖譜的可控性和可解釋性仍然有不可替代的價值。BERT 知識圖譜這個技術組合在大模型的陰影下不僅沒有過時反而因為能提供“有據(jù)可查”的回答企業(yè)級應用需求越來越大。實際訓練中還有一個感受不要一味追求更復雜的模型。BERT-base 在這個場景已經綽綽有余。先把數(shù)據(jù)和圖譜質量做好比堆模型參數(shù)更有性價比。我見過很多項目花大力氣換成了 ERNIE 或 RoBERTa準確率提升不到 1%而數(shù)據(jù)清洗和同義詞詞典帶來的收益輕松超過 5%。數(shù)據(jù)面永遠值得你優(yōu)先投入。這個項目還有一點讓我特別受用實體對齊能力在這個過程中得到了實實在在的鍛煉。從詞典匹配到模型兜底從同義詞歸一化到候選實體消歧每一步的處理都對最終效果有直接影響。如果你也想做 NLP 相關的項目我建議不要只停留在“調用 BERT API”的層面而是把語義解析、圖譜查詢、答案組織這一整條鏈路親手打通一遍——這個過程帶來的經驗比任何教程都值錢。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
午夜成人av在线| 香蕉婷婷色五月| 激情五月天电影| 五月丁香久人妻中文| 99色网站| 国产综合激情五月久久| 五月色婷婷影院| 伊人啪啪网| 99re思思精品在线观看| 五月天国产成人| 亚洲综合五月天婷婷| 思思热高清在线观看| 人妻人人操| 亞洲自怕| 亚洲春色奇米影视| 婷婷五月av| 99热都是精品| 欧美毛片www| 五月天丁香综合久久国产| 中国女人内射6XXXXX| 天天噜| 五月天欧美 另类小说| 五月叮香啪| 婷婷综合激情| 色色色99| 六月婷婷激情| 囯产精品久久欠久久久久久九大| 中文成人在线| 97碰碰视频| 婷婷六月插屄激情| 五月婷婷在线视频免费观看| 影音先锋噜一噜| 丁香五月亚洲综合| 天天插操| 久9综合| 伊人久久艹| www热久久yy9| 99久在线精品99re5热视频| 日韩av大全| 色三级色三级| 丁香五月久久社区| 一级无码作爱片| 亚洲欧洲中文日韩久久AV乱码| 国产毛片精品一区二区色欲黄A片| 欧洲精品欧洲情| 亚洲综合五月天婷婷丁香| 久婷狼色诱惑在线| 91伦| 壅壅儕家a| 天天狠狠夜夜狠狠2023| 天天色亚洲| 久久亚洲天堂| 在线成人网站| 色色色色色色网| 亚洲在线综合| 五月婷婷中文字幕| www.狠狠| 久久xxxx| 日韩免费视频| 久久久久9久无码视频| 色色无码| 国产精品久久久爽爽爽麻豆色哟哟| 五月丁香婷婷色色| 狠狠干,狠狠操| 激情五月天影院| va亚洲中文在线| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 丁香六月 人妻| 五月丁香激情片| 久久婷婷五月| 女人天堂av| 欧美日韩AAAAA| 婷婷五月亚洲激情| 伊人婷婷五月| 欧美五月婷婷| 婷婷六月色开 | 亚洲mm色| 另类图片婷婷五月天| 五月丁香欧美综合免费视频| 停停五月天激情网| 婷婷亚洲欧美丁香五月| 午夜成人在线免费视频| 香蕉婷婷色五月| 婷婷月综合| 伊人三级激情| 色丁香五月天射婷婷爱婷婷| 婷婷亚洲在线| 综合久久综合久久| 国产肥白大熟妇BBBB视频| 玖玖99婷婷| 九九在线91| 激情婷婷综合网| 色综合狠狠色| 五月丁香va| 欧美婷婷色五月| 五月天最新网| 五月色亚洲| 激情五月婷婷| 久久婷婷超碰| 色五月色五天色情网| 久久精彩免费视频精彩免费视频| 天天日天天做天天操| 天天操天天日天天操| 亚洲综合激情五月| 99九九视频| 久久AAAA片一区二区| 欧美天堂婷婷日韩| 九九热99免费视频| 婷婷五月天免费| 久热只有精品| 国产精品久久欧美久久一区| 久久香蕉丁香| 九九视频精品在线免费| 91综合色| 天天日日| 丁香婷婷免费| 超碰在线综合| 就爱日五月天| 成人欧美一区二区三区在线观看| 婷婷成人五月天成人文学| 99精品网| 午夜丁香六月婷| 狠狠色五月激情| 色激情五月| 五月天综合在线观看视频| 激情婷婷五月天| 亚洲精品无码A片一区二区| 啪色综合| 婷婷五月天天| 色色丁香| AV性爱在线| 婷婷91| 丁香五月天堂网AV| 这里只有精品99www| 琪琪色五月天| 久热精品在看| 亚洲小电影在线观看黄999| 国产婷婷五月中文字幕高清 | 日韩色色小视频| 色五月六月婷婷| 成人国产综合| 美国不卡视频| 99在线小视频| 爱久久小说下载网| 99人这里只有精品| 99视频| 超碰AV成人| 激情激情激情网| 九九热99熟女| g00d人体西西| 欧美狠狠色| 99人妻碰碰久久久禁片| 综合激情五月四射婷婷| 99热超碰| 激情婷婷色色| 9久久精品| 久久久9久| 午夜丁香六月婷| 五月婷婷无码| 丁香五月自拍| 天天干天天日天天操| 国产亚洲成AV人片在线| 婷婷五月天亚洲综合网| 日本激情综合| 色丁香五月综合网| 国产又爽又猛又粗的视频A片| 大香蕉av在线| 国产日批视频| 国模淫穴色图| 六月婷婷天堂| 国产67194| 激情四射五月天| 九九美女视频| 综合五月天| 五月婷婷成人| 久久久精品AV| 粉嫩av蜜桃av蜜臀av| 色啪网| 综合色网站| 性小说五月天| 国产婷伊人| 色色亚洲无码| www.夜夜操| 99热最新地址在线| 成人在线日韩| 婷婷日日天天| 丁香六月天婷婷| 五月丁香婷婷潮喷中文字幕| 婷婷久久婷婷色五月| 9999热这里只有精品| 婷婷五月丁香啪啪| 激情图片亚洲| 中文字幕日产A片在线看| 色五月婷婷激情综合网| 男人的天堂婷婷色五月| 九九热在线视频观看| 狠狠色噜噜色狠狠狠综合色| 五月天婷婷伊人| 成人五月天丁香| 婷婷色丁香五月| 91网站黄| 啪啪操超碰| 4399在线观看免费高清黄色视频| 亚洲操b| 99久久网站| 香蕉操亚洲| 深夜A片| 操91综合网| 日本颜色视频人人爱| 婷婷伊人欧美| 激情五月婷婷| 黄色精品五月婷婷| 内射爽无广熟女亚洲| 天天操夜夜玩!| 久9综合| 思思热在线播放| 五月婷婷激情在线| 欧美日韩999| 这里只有精彩小视频视频网站| 色狠狠综合| 26uuu激情五月天| 国产AV一区二区三区最新精品| 亚洲人妻一区二区| 操比激情五月| 五月天成人综合| 丁香五月激情六月综合| 大香蕉操操| 激情图片五月天| 丁香桃色综合网| 激情内射人妻1区2区3区| 亚州性爱99| 欧美丁香五月| 91在线操逼视频| 亚洲成人噜噜| xxxx五月激情| 亚洲热久| 欧美激情综合| www激情| 99热久| 91夫妻视频| 婷婷五月激情图片| 婷婷五月色播网| 久久婷婷啪啪视频| 狠狠狠夜夜夜| 成人色色综合| www.五月天婷婷| 国产色色视频| 婷婷激情社区| 五月丁香六月婷婷在线小说视频| 久久精品五月天| AA片在线观看视频在线播放| 91人人操人人爱| 婷婷色系婷色| 91精品综合久久婷婷九色| 五月丁香啪| 天天五月天综合网址| 五月天婷婷一起草| 亚洲精品无码久久| 色开心五月婷婷丁香HD| 色五月激情五月| 99精品久久久| 99热这里只有精| 六月99天天婷婷激情综合| 在线看AV| 激情人妻蜜夜系列区| 在线播放中文字幕| 天天视频亚洲| 思思热热久久| 色色影院aaaav| 大香蕉天堂| 亚洲视频另类| 亚洲超碰中文字幕| 色色综合网www| 久久a热| 丁香五月伊人| AAAA网站| 久久五月天色| 欧美综合激情五月天| 丁香五月AV在线| 婷色五月天| 激情五月婷婷她| 青青草婷婷五月天| 国产在线网| 色五月大| 日韩五月丁香| 亚洲色婷婷激情| 丁香六月激| 91日精品| WWW.久久久久久久久久久久久| 色色欧美色色色| 九九热re99re6在线精品| 五月激情婷婷开心| 热99re| 色婷丨日丨天丨综合久久| 热99国产精品| 五月色婷| 五月丁香综合啪啪啪啪啪| 激情六月丁香| 99热永久在线观看| AV九九| 狼友视频在线观看18| 中文字幕av亚洲| 九九综合九色欧美狠狠| 99热在线网站| 国产成人在线不卡AV| 99色热综合| 九九九九操逼| 狠狠色综合久久久久| 9热在线| 激情五月天婷婷播播久久综合91| 97在线观视频免费观看| 五月婷婷久久大片| a毛片二逼wwwwwwwwww| 久久男人网婷婷| 综合狠久久| 五月丁香婷婷钟和色图| YW无码| 色色色色色色色五月| 在线观看日韩12345区| 亚洲中文字幕在线电影| 婷久久高清| 亚洲天堂青草| 婷婷丁香六月天激情四射网| 亚洲无码黄色| 久久综合99| 五月色婷婷亚洲| 亚洲色精彩| 五月天婷婷激情网| 日韩狠狠色婷婷| 久久这里只有精品无码| 99r这里只有精品在线观看| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 色 五月俺去也| 激情深爱婷婷网| 九九热视频网站| 激情五月天之五月婷婷| 天天免费成年人视频| 日日日日做夜夜夜夜无码| 天天做天天双| 欧美五月婷婷| 婷婷五月天成人| 亚洲精品又粗又大又爽A片| 欧美日韩精品人妻狠狠躁免费视频| 99精品丁香五月| 五他月天啪啪啪| 日本久久人| 99re99热| 超碰1999| 久99热| 丁香五月婷婷综合激情哟哟哟| 久re热视频| 色情综合网| 丁香伊人激情| 成人版视频在线观看| 天天插天天干| 国产人人操| 91精品久久久久久久| 99er精品| 六月丁香激情| 99操久久| 97人碰人操| 97艹| 天天做天天干天天综合网| 欧洲亚洲免费视频9| 五五月五月| 99免费热视频在线| 99热超碰在线| 九九9久九9国产视频| www.五月天色色色| 免費亭亭成人| 99热免费精品| 色婷婷丁香九月| 亚洲五月天伊人| 激情五月www| 丁香五月婷婷五月天| 日韩欧美一级大黄网站| 狠狠综合久久综合| 五月天影院婷婷在线观看| 91视频精品99| 午夜福利8055| 激情五月天婷婷| 天天天久久人人人合| 99色色网| 超碰在线人人| 婷婷欧美| 一区无码| 一二三区视频韩国| 99操免费视频| 日本天天操| 538任你爽| 色综合色综合色综合| www色色com| 日本在线视频播放91| 国产婷婷五月天| 人妻久久久久久| 99热精品超碰| 五月婷婷影| 国产露脸150部国语对白| 欧美精品999| www.久久av.com| 超碰色综合| 色99网站| 伊人香大香蕉视频| 五月丁香激情五月天| 五月婷婷天堂| a九九热www| 亚州色色色| 日本一級黃色一級片| 婷婷,五月天,丁香,第一| 综合激情五月婷婷| 99丁香五月婷| 99热精品在线观看| 亲子乱av一区二区三区的| 久久只有精| 五月天激情亚洲| 99精品免费| 97干视频| 色狠狠色| 五月婷丁香花| 亚洲第一综合| 丁香五月自拍| 成人在线网址| 婷婷和五月天| 婷婷五月天av| 久久婷婷五月天激情新地址| 天天插天天插天天插天天插| 中文成人在线| 激情五月九九九| 亚洲综合色色| 97五月婷婷| 日本狠狠干| 婷婷九月丁香天堂丁香天堂| www.99热视频| 黄色激情久久| 狠狠色丁香| yjzz亚洲国产| 五月丁香六月激情视频| 中文字幕精品在线观看| 丝袜大香蕉| 五月丁香A片| 天天拍天天操| 激情五月天在线观看婷婷| 91五月天| 五月天大香蕉| 八戒青柠影视剧在线观看| 五月天成人网婷婷| 9色免费网| 丁婷婷五月天在线播放| 婷婷综合色色| 久久久久9999| 丁香五月婷在线| YW无码| 婷婷丁香五月高清| 91视频综合网| 色九九综合| 天天日天天插天天操| 亚洲乱码日产精品BD| caopeng97日韩| 亚洲字幕AV一区二区三区四区| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 精品久久99码| 五月婷人妻| 国产av网| 大香蕉精品视频| www久久五月com| A片试看120分钟做受图片| 99热这里只有在线| 欧美丁香五月97色| 99热精品在线| 99热免| 大香蕉啪啪| 国产精产国品一二三在观看| 另类视频丁香五月| 97碰免费视频在线| 精品久9| 五月婷中文字幕| 美女va| 丁香婷婷激情四射五月| 丁香五月婷婷影院| 五月天婷婷影院影院观看| 97碰碰在线观看视频| 亚洲精品99| 丁香婷婷人妻综合网| 激情久久月| 夜夜干天天操| 五月丁香婷婷视频| anquye五月| 九九精品自拍| 国外亚洲成AV人片在线观看| 五月天婷婷激情小说| 久久9RE热视频精品98| 久9热| 丁香六月激情| 岛国av电影网站| 五月天婷婷色色网| 97碰碰草| 99视频久久| 久久性爰视频这里只有精品| 久久精品4| 成人做爰黄A片免费看直播室男男| 丁香五月婷婷六月| 婷婷五月天伦理| 五月天丁香婷| 久婷自拍视频| 玖玖色综合色| 亚洲视频一区| 天天插综合| 婷婷综合网| 五月丁香婷婷婷婷综合网| 色婷婷免费观看| 无码字幕中文| 色婷婷激情| 成人在线99| 天堂爱爱| 97亚洲色 torrent magnet| 五月色激情综合网| www久久久久久久久久久| 六月婷婷综合激情| 色五月 五月婷婷| 亚洲熟妇AV综合网五月丁香伊人 | 亚洲乱码在线观看| 日韩aaa| 五月丁香六月合| 精品五月视频婷婷在线观看| 9久久久久| 猫咪伊人AV| 久久婷婷五月综合| 99久热| 婷婷五月天在线综合导航| 一本久道综合99| 国产精品成人网站| 青青草五月天| 9久操| 亚洲成人网址在线观看| www天堂99| 电影91久久久| 日本欧美成人片AAAA| 婷婷丁香五月综合| 九九久久网| 九九热av| 五月天激情久久| 天天干天天色天天干| 丁香婷婷久久| 激情婷婷色小说| 欧美成人Va| 九九这里是免费的视频5| 激情婷婷视频在线| 99视频日韩| 97se在线视频| 日本三级毛片| w婷婷五月婷婷w| www久久艹| 91超级碰在线视频| A1片久久久| 五月天婷婷爱| 天天综合网91| 玖玖在线视频福利| 亚洲久久视频| 天天色天天噜| 日本颜色视频人人爱| 国产亚洲在线| 99久久久国产大片| 色五月婷婷、老熟女| 凹凸探花电影| 五月婷久久在线| 丁香五月婷婷色| 婷婷播5月| 亚洲第一综合| 天天天干夜夜夜操| 久久九九99| 九九99久久| 色婷婷成人做爰A片免费看网站 | 久久99久久99精品免观看软件| 丁香婷婷色五月合集| 欧洲亚洲欧洲99久久| 青青五月天婷婷| 久久99美女精彩视频| 草AV9999| 96丁香六月婷婷蜜桃综合久久| 九九热在线精品视频| 亚洲av网站| 七七九色| 久久99性爱| 国产精品视频免费看| 五月婷导航| 激情开心五月天| 色婷婷久久| 婷婷五月天视频| 亚洲色就是色色色| 五月丁香六月婷婷啪啪| 六月综和久久| 五月天激情婷婷| 久久婷婷亚洲| 超碰在线94| 丁香六月啪啪| 五月花婷婷丁香| 综合视频久久| av中文字幕免费观看| 九月大香蕉| 99精品97| 丁香五月亚洲综合| 九九人人精品| 激情五月综合网丁| 五月天婷婷情色| 五月香蕉婷婷| 99视频精品全部观看10| 婷婷伊人| 嫩草AV久久伊人妇女超级A| 色色色天堂网| 婷丁香五月天| 97碰久久| 五月激情综合网婷婷| 丁香 久久| 成人欧美一区二区三区在线观看| 精品99在线观看| 99色色网| 97干欧美| 97色色色色色| 久久99热这里只有精品| 日日噜噜久久婷婷五月天| 五月天婷婷黄色视频| 日日色综合| 亚洲熟女色| 欧美内射AA| 欧美人妻一区二区| 黄桃AV无码免费一区二区三区| 五月天另类小说亚洲| 九九99精品视频在线观看| 大香蕉九九| 日日操天天操| 色综合大香蕉| 99网| 五月婷婷综合久久| 玖玖爱资源站| 色丁香五月| 日本激情综合| 成人国产欧美大片一区| 色婷婷丁香社综合| 甈你aaaaa| 丁香五月天啪啪| 新激情综合| 欧美色色色| 五月婷婷色在线| 色黑鬼导航| 婷婷五月天开心网| 婷婷五月丁香综合| 五月丁香激| 狼人婷婷综合| 97色热| 色色色五月| 色婷婷内射| 大香蕉综合网| 激情六月丁香综合| 美日韩成人| 成人五月天在线视频在线观看| 激情五月天视频| 六月婷色| 极品另类| 久久婷婷五月丁香网| 婷婷天天日婷婷| 久久婷婷七月丁香| 五月天婷婷社区| 国产性爱一级| 1024日韩| 热久久99视频| 国产在线aaa片一区二区99| 天堂爱爱| 超碰99热在线观看| 激情婷婷六月天| 丁香香五月激情免费视频| 超碰av在| 少妇人妻综合色6699| 日韩色色一区| 久色婷婷200| 五月天婷婷激情四射综合| 五月丁香婷婷深深爱| 婷婷色五月噜噜| 夜色.cnm| 精品人妻在线| 成人视频九九| 六月婷婷啪啪| 婷婷综合五月天| 九九热手机在线视频| 色日本颜射| 久久怕怕视频| 日日干五月天婷婷| 色色色色色日韩午夜激情| 九九视频在线观看| 色七色九九| 亚洲成人AV电影网| 26uuu成人网| 欧美va在线| 91久久久久久久久18| 色婷婷8| AV成人在线播放| AV五月丁香| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 91精产品自偷自偷综合| 色播综合| 五月成人网站| 色婷婷狠狠| 日本欧美成人片AAAA| 丁香五月人妻| 国产日日操夜夜操的肉棒视频| 国产操B视频| 99热婷婷| 涩涩五月天| 狠狠色噜噜狠狠狠888了| 丁香五月婷婷狠狠色| 开心色色五月天综合| 大香蕉久| 亚洲成人av在线| 日本社区五月天激情| 深情六月婷婷综合久久| 午夜福利8055| 97超碰,人人舔,人人操,人人摸 | 深爱五月天 开心网| 99热在线中文字幕| www.久久| 五月丁香婷婷激情爱爱| 久久大香蕉| 精品五月天| 五月婷中文字幕| 激情五月天婷婷在线网址发给我| 26uuu国产精品| 丁香六月无码| 欧美猛片| 色综合久久久久久久久五月| 久久黄色网扯| 色玖玖综合网| 婷婷伊人网| www.99精品视频| 激情丁香五月| 操操操91| 97婷婷丁香五月天激情图片| 97操碰日本女人| 九九99精品视品| 久久亚洲婷婷| 五月天社区| 亚洲色啪| AV在线观看网站| 玖玖婷婷五月| 婷婷五月激情综合| 丁香五月天激情| 丁香九月激情| 久久久婷婷婷| 北京熟妇搡BBBB搡BBBB| 色综合久久久无码中文字幕999| 91re色综合视频| 色婷婷文字幕| 色婷婷视频| ss99热| 蜜乳中文字| 天天操夜夜操| 亚洲色婷婷| 欧美婷婷丁香五月| 91无码高清| 欧美成人日韩| 国内一级片| 日韩艹比| 色99视| 色狠狠五月天| 日本在线噜噜| 色色色婷婷五月天| 九九爱激情| 丁香五月老师| 久久九九热视频| 日日爽日日| 黄色短视频在线观看| 99综合视频一体| 天天日,天天插| 91操人视频| 日本色图综合| RenRenSe在线视频网站| 丁香六月激情四射| 男人的天堂在线婷婷| 丁香5月激情网| 在线成人网址| 99网| 97热精品| 五月天婷婷伊人| av在线激情| 日本狠狠干| 色在线免费观看| 欧美性爱中文字幕| 玖玖资源站中文| 99综合久久| 影音先锋一区二区资源站| 成人av观看| 五月丁香香蕉| 欧美性爱专区| 啪啪啪大香蕉| nvrentiantang av| 熟妇高潮一区av| 婷婷九月激情| 九九热精品| 激情五婷网| 激情综合色播| 五月丁香婷久久| 超碰免费观看| 99热这里只有精品2016| 欧美日韩成人在线网| 开心激情婷婷| 五月丁香 啪啪| 久久九九免费视频| .肏屄视频一区二区| 性色播| 丁香五月婷婷激情尤物| 亚洲A片成人无码久久精品青桔| 色蜜婷婷| 激情五月视频| 久热中文字幕在线线观看 | 亚洲经典三级| 五月婷丁香花| 99自拍视频网站| 99ri在线观看视频| 激情亚洲网| 日本a片网址| 天天综合精品| 99热只有精品在线播放| 成人五月丁香社区| 天天艹| 五月天色婷婷激情| 中文AV在线观看| 91色综合网| 九九精品网站| 国产99久久久国产精品免费看 | 婷婷久久网| 激情美女五月天激情在线| #NAME?| 丁香五月亚洲| 婷婷五月综合丁香久久| 婷婷五月激情在线视频| 性生生活大片又黄又| 久久99热这里只有精品23| 99热99艹在线观看| 99热这里只有精品中文字幕| 大香蕉 婷婷| www.亚洲激情| 婷婷五月天亚洲综合网| 婷婷丁香久久五月综合| 丁香五月 性爱| 欧美日比视频| 天天拍夜夜爽日日| 人妻激情久久| 任你日视频| 色五月涩涩婷婷蜜桃| 黄网在线免费观| 五月天激情av| 俺来也综合网精品一区| 99超级碰免费视频| 婷婷永久在线| 99爱在线视频| 国产综合激情五月久久| 99青青草99| 色五月综合资源推荐| 超碰在线观看9| 狠狠干综合| 欧美色六月婷婷| 丁香99| 婷婷五月天av| 日韩AV大全| 玖玖资源站国产| 五月丁香综合精品欧美| 色丁香五月天| 欧美婷婷五月激情| 天堂资源欧日浪女在线播放| 极骚大香蕉伊人| 999久久久国产精品| 新久久五月天激情| 99热99日天天干| 少妇激情五月天| AV成人在线播放| 中国激情网| 中文字幕丁香五月| 激情五月色综合网| 国产午夜精品AV一区二区麻豆| 婷婷丁香综合| 五月婷婷99热| 99视频热99| 亚洲人妻Av| 天天干天天叉| 久久机热这里只有精品免费视频| 成人在线二区| 狠狠干综合| 性爱视频99| 99亚洲欧洲| 欧美色色色| 久久综合五月| se99热久久一本| 亚洲情综合五月天| 色婷婷基地 | 中文字幕成人| 99久久婷婷国产综合| 五月丁香天堂网| 丁香五月第九色| 日韩一区二区在线播放| 97碰碰在线看视频免费| 91视频人人做97| 婷婷五月天综合久久日美女| 亚洲综合五月天婷婷丁香| 亚州操人在线视频| www,天天干| 色婷婷五月天视频在线| 伊人日日干| 色999五月色| 五月婷婷色情| www.五月婷婷久久.com| 99视频久久免费视频| 玖月婷婷爱丁香| 99福利导航| 97操视频| 婷婷欧美激情综合| 色五月婷婷丁香国产在线| 99re热| 婷婷深爱五月亚洲综合| 天天爽天天干天天| 这里有精品| 亚洲激情婷婷| 狠狠五月天| 国产精产国品一二三在观看 | 五月色丁香综合| 色五月婷婷大| 五月丁香WWW| 综合xx网| 黄色99视频| 国产色色在线| 色五月婷婷五月久久| 淑女丝袜bi操逼123| 91操片| 超碰只有精品在线| 婷婷涩涩五月天| 超碰人人射| 中文人妻主播久久| 色播五月| 婷婷五月丁香综合| 日本eVa一区=区视频| 一区操| 婷婷丁香五月激情密臀av| 五月天婷婷情色| 九九视频精品视频精品| 91seav| 国产AV一区二区三区最新精品| 超碰在线99| 天天日中文| 亚洲思思热久| 人人舔人人色人人高潮| 五月婷六月天| 五月丁香久久网| 婷婷激情综合网| 色婷婷狠狠18禁| www.色婷婷| 激情综合丁香| 亚洲色区17| 9色在线视频| 国产一二三四五六七八视频| 日日夜夜狠狠| 五月日韩中文字幕| 婷婷97狠狠干| 狠狠五月天| 狠狠操狠狠爱| 九九色99| 亚洲蜜乳AV| 五月六月丁香婷婷在线观看| 91日本在线观看| 九色91视频| 日韩操逼大片| 久热中文字幕| 久热黄色| 天堂综合久久| 综合99视频| www...com黄在线观看| 99五月丁香丁| 超碰在线观看9| www,色婷婷| 色情婷婷五月天| 婷婷色综合| 丁香色情五月综合激情| 99秘 在线| 国产XXXX搡XXXXX搡麻豆| 丁香五月 综合| 色婷久| 超碰操日| 久久AV电影| 亚洲九九夜夜| 激情桃色网| 99熟女| 丁香五月亚洲AV| 婷婷五月激情图片| 色琪琪一综合久久激情五月视频| 亚洲va在线∨a天堂va欧美va| 久久五月天丁香花| 五月婷亚洲精品AV天堂| 97人人干人人操| 日本色爽| 五月婷婷很很色| 亚洲aV写真天天综合网久久| 久久人妻熟女一区二区| www,色婷婷| 五月天久久久| 丁香伊人五月色婷婷五十路| 五月综合亚洲婷婷| 亚州欧美黄色电影| 丁香五月激情婷婷激情| 日本V在线观看不卡视频网站| 99在这里有精品| 操97在线观看| 97在线/亚洲| site:xmssd.com| 日本久久天堂| 六月婷婷狠狠色在线观看| 丁香五月婷久久| 午夜色色色极品视频| 91九九| 激情文学五月丁香六月婷婷| 日韩AV在线免费观看| 91九色中文字幕女在线观看| 原琪琪色影院| 极品人妻VIDEOSSS人妻| 激情小说婷婷五月| 综合视频久久| 91se在线视频| 色婷婷成人丁香| 婷婷六月丁香五月图区| 五月丁香六月激情综合在线| 亚洲午夜一区二区| 国产av天堂| 99超级碰碰| 色之综合网| 超碰三级片| 丁香六月婷婷综合| 99热这里只有免费| 久久久久8888| 乱乱av| www.91色| 狠狠狠色激情综合适合| 五月婷婷成人w| 热99.com婷婷| 久久精彩视频| 激情VA视频| 欧美97色| 色婷婷狠狠18yy| 91超碰在线观看| 国产无人区大片| 久艹大香蕉| 91九色丨国产丨爆乳| 色吧综合网| 我要色综合五月婷婷| 亚洲夜夜操| 久9热在线视频| 成人午夜视频精品一区| 婷婷性爱综合| 色婷婷综合网| 五月婷婷黄色视频| 丁香五月婷婷基地| 久久激情五月| 国产免费一区二区三州老师F1……| 99内射视频| anquye伊人| 五月丁香五月综合欧美| 天天爱天天做天天操| 99热xx| AV无码免费| 婷婷五月天亚洲天堂| 五月婷婷六月丁香在线视频| 能看的av网站| 久久天堂女人| 婷婷丁香射射| 丁香六月色婷婷| 99操逼| 7777国产盗摄农村女人| 97五月天婷婷综合激情网| 色情五月丁香婷婷网| 四月婷婷丁香| 亚洲六月婷婷| 久久五月情| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 大香蕉五月天| 色99www.| 色综合爱综合| 婷婷五月天Av| 久久五月天激情| 99色五月| 色综色五月天婷婷| 丁香狠狠色婷婷| 丰满老熟妇BBBBB搡BBB| 丁香五月婷婷激情四射| 停停色综合伊人| 99久在线观看| 182.t午在线观看| 久久之人妻| 五月丁香花婷婷玉莉AV| 色婷婷狠狠爱| 欧美日韩中国| 桃色激情婷婷伊人网| 久久久久久久97| 亚洲精品**不卡在线播he| 九九热99re8热免费观看| 天天爱天天操| 激情6月| 人妻久久做| 神马欧美精| 99热草草| 丁香五月自拍| 色五月成人| 91制片厂久久久国产电影| 色色色视频| 九九九色综合| 欧美,日韩成人在线| 色色五月婷| 六月激情网| 人人插操| 五月色丁香综合| 99狠狠色| 免费成人网在线观看| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 亚洲精品视频在线| 啪啪黄页网| 婷婷丁香五月亚洲| 婷婷丁香精品视频在线观看| 天天婷婷天天| 天天操夜夜操| 777色婷婷爱五月| 欧美性猛交99久久久99| 超碰啪啪网| 99色热综合| 亚洲激情综合| 丁香花五月天激情| 天天五月天综合网址| 久9久视频精品| 涩涩涩婷婷| 禁欲电影完整版在线播放| 欧美日本VA| 色色色婷| 人人干女人| 五月婷婷五月天在线| 久久久久视剧HD| 丁香五月冃欧美| 午夜大香蕉| 综合五月草 | 婷婷五月天在线观看| 久热伊人在91| 激情综合网,婷婷五月天| 91九色最新视频| 丁香五月激情综合在线观看| 久热9| 思思热国产视频| 精品久热| 91丨九色丨熟女高潮| 婷婷激情综合网| 五月丁香久人妻中文| 日本三级大片| site:901-07.com| AV性爱网| 婷婷五月欧美综合| 人人摸人人| 九九热a| 色婷婷狠狠| 狠狠色丁婷婷日日,伊人激情综合网| 日本色婷婷| 思思久久精品视频| 天天天天天日| VA婷婷| 91chinese在线| www.sebowuyue| 色五月天丁香| 天天五月丁香五月| 九九综合久久| 另类亚洲电影| 久久婷婷五月天蜜桃| 五月婷婷丁香大香蕉| 色偷偷综合| 97色女人在线| 思思热在线视频精品| 在线视频99| 亚洲性视频| 黄网在线免费观看| 色播播五月天| 丁香婷婷综合精品六月初| 国产亚洲精品久久久久久郑州| 丁香五月日本| 九九色video| 久久色五月| 色综合久久888| 9 1超碰九色| 欧美成性色| 99热久| 激情综合色| 伊人久热91| 99热精品在线播放| 天天激情视频| 久久激情四射| 久久香蕉丁香| 欧美婷婷六月丁香综合色连续高潮抽搐| www.久热| 婷婷五月色综合| 精品综合爱| 色五月色五天色情网| 99这里只有免费的小视频在线观看| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲美女婷婷五月天| 丁香香蕉射射射| 99热亚洲精品| 国产成人av在线播放| 丁香五月婷婷基地| 日日操日日爽| 另类激情码| 另类小说色婷婷| 噜噜噜精品欧美成人在线观看| 久久激情天堂| 五月丁香网站| 思思热在线精品视频网站| 大香婷婷| 热99这就是精品视频| 开心色播色五月婷婷| 五月婷婷综合影院| 熟女人妻一区二区三区免费看| 久久色情综合免费网站| 婷婷五月天中文字幕.| 色香蕉婷婷| 9l视频自拍9l九色9l成人| 日日操夜夜操狠狠操| 激情九九九九| 天天影院色| 免费观看的婷婷五月视频在线| 色综合婷婷| 秋霞av吧| 日韩在线视频中文字幕| 婷婷丁香五月天亚洲| 婷色视频| 色情婷婷| 热思思| 亚洲激情综合| 亚洲精品九九| 五月婷婷激情五月| 天天爽天天摸人妻综合网| 97色欧美| 伊人丁香五月天丁香在线婷| 久久这里只有国产| 天天情天天狠天天透| 91se视频| 婷婷激情九月| 97婷婷丁香五月| 久9久9热久热| 99re资源在线视频导航| 婷香五月激情视频| 五月天综合视频| 女人天堂av| 色婷婷狠狠久久YY| 五月激情在线| 婷婷五月花| 亚洲激情.com| 婷婷五月蜜桃成人桃色丁香| 第五婷婷伊人丁香| 天堂成人A片永久免费网站| 婷婷久月| 99乱视频| 我爱宗和色| 538任你爽| 超碰在线网站| 精品久久久中文字幕大豆网推荐理由| 婷婷综合97| 丁香五月天啪啪激情综合网| 五月天丁香六月综合| 色婷婷无吗| 影音先锋偷偷色男人站|