欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率

用Qwen3微調(diào)Embedding模型,全面提升RAG檢索準(zhǔn)確率 RAG 系統(tǒng)上線后最常被吐槽的是檢索不準(zhǔn)。明明知識(shí)庫里有答案用戶換一種口語化問法向量檢索卻召回一堆無關(guān)段落大模型只能基于錯(cuò)誤上下文硬答于是“答非所問”“回答不專業(yè)”就都來了。問題往往出在 Embedding 模型的能力邊界而不是生成模型本身不聰明。面向 2026 年RAG 優(yōu)化已經(jīng)不只是調(diào)切塊長(zhǎng)度或換個(gè)大模型。越來越多團(tuán)隊(duì)開始走同一條路線借助 Qwen3 構(gòu)造高質(zhì)量訓(xùn)練數(shù)據(jù)對(duì) Embedding 模型做領(lǐng)域微調(diào)讓向量檢索更貼近真實(shí)業(yè)務(wù)語言最終讓大模型回答更專業(yè)。這篇博客會(huì)把這條鏈路拆開講清楚RAG 為什么檢索不準(zhǔn)、Embedding 微調(diào)的基本原理、Qwen3 在數(shù)據(jù)生成和難負(fù)樣本構(gòu)造里的角色、訓(xùn)練代碼怎么寫、接入 Milvus 和 LlamaIndex 時(shí)要注意什么、上線后效果怎么評(píng)估以及生產(chǎn)落地上最容易踩的坑。1. 先理解 RAG 檢索不準(zhǔn)的根因再?zèng)Q定要不要微調(diào) Embedding1.1 檢索不準(zhǔn)往往不是“模型笨”而是“召回偏了”RAG 的完整鏈路通常分三塊知識(shí)庫切塊、文本向量化、向量檢索與排序。大多數(shù)團(tuán)隊(duì)投入精力最少、出錯(cuò)卻最多的是中間那塊 Embedding。Embedding 模型做的事情是把一段文本壓縮成一個(gè)向量讓語義相近的文本在向量空間里距離更近。例如“怎么申請(qǐng)工傷認(rèn)定”和“工傷認(rèn)定申請(qǐng)流程”應(yīng)該是近鄰而“工傷鑒定標(biāo)準(zhǔn)”雖然包含“工傷”兩個(gè)字卻不應(yīng)在用戶問流程時(shí)排在前面。問題在于通用 Embedding 模型是在互聯(lián)網(wǎng)開放語料上訓(xùn)練的它擅長(zhǎng)處理“通用語言”但面對(duì)一個(gè)行業(yè)的簡(jiǎn)稱、系統(tǒng)名稱、產(chǎn)品術(shù)語、客服話術(shù)、中英混排、業(yè)務(wù)單據(jù)編號(hào)時(shí)向量空間的分布可能完全不對(duì)。觀察下面這種典型 badcase用戶 Query檢索結(jié)果是期望結(jié)果我們公司發(fā)票沖紅后稅號(hào)會(huì)變嗎發(fā)票管理辦法關(guān)于紅字發(fā)票的規(guī)定本項(xiàng)目發(fā)票沖紅的具體操作指南XX 系統(tǒng)登錄報(bào) 5001 錯(cuò)誤怎么辦系統(tǒng)使用手冊(cè)目錄XX 系統(tǒng) 5001 錯(cuò)誤碼說明如果把這兩組 Query 和文檔片段丟給通用 Embedding 模型會(huì)發(fā)現(xiàn)相似度分?jǐn)?shù)往往沒有明顯區(qū)分度。問題不是切塊沒切好而是模型根本不知道“5001 錯(cuò)誤碼”在這個(gè)系統(tǒng)里等價(jià)于“登錄鑒權(quán)失敗”。1.2 通用 Embedding 模型的“領(lǐng)域盲區(qū)”長(zhǎng)什么樣行業(yè)內(nèi)比較常見的開源 Embedding 模型包括 BGE 系列、BGE-M3、GTE 系列、M3E 等。它們?cè)谥杏⑽耐ㄓ脵z索任務(wù)上表現(xiàn)很好但一進(jìn)垂直領(lǐng)域就會(huì)暴露幾個(gè)問題。第一專業(yè)術(shù)語語義稀疏。比如“貨描不符”“質(zhì)保單”“T0 回款”這些詞在訓(xùn)練語料里出現(xiàn)頻次不高模型很容易把它們當(dāng)成普通詞語處理向量表征不夠穩(wěn)定。第二口語化和反問句式泛化弱。RAG 系統(tǒng)的真實(shí)用戶不會(huì)按照文檔目錄說話他們經(jīng)常輸入“這個(gè)單子咋走流程”“為什么不能提現(xiàn)”和正式文檔的語言風(fēng)格差異很大。第三同義詞和縮寫關(guān)聯(lián)弱。“結(jié)算單”和“Settlement Note”“結(jié)算憑證”在業(yè)務(wù)里可能指向同一類文件但通用模型不一定能建立這種等價(jià)關(guān)系。用戶搜索“qwen3 embedding 微調(diào)”時(shí)看到的很多教程本質(zhì)上都是在解決這類“領(lǐng)域盲區(qū)”。如果只是換一個(gè)更大的通用模型通常只能緩解問題不能根治。要讓檢索真正貼近業(yè)務(wù)就要讓 Embedding 模型見過業(yè)務(wù)數(shù)據(jù)并針對(duì)業(yè)務(wù) Query 和文檔做過對(duì)比學(xué)習(xí)。1.3 什么時(shí)候該微調(diào)什么時(shí)候先不要?jiǎng)?Embedding微調(diào) Embedding 不是 RAG 優(yōu)化的第一步甚至不是第二步。在投入 GPU 訓(xùn)練之前可以按下面順序排查。排查項(xiàng)檢查方式如果存在問題切塊粒度查看召回文檔是否在中間截?cái)嗾{(diào)整 chunk_size / overlap或按標(biāo)題、段落結(jié)構(gòu)切塊元數(shù)據(jù)過濾是否能用業(yè)務(wù)字段排除明顯無關(guān)文檔增加創(chuàng)建時(shí)間、部門、文檔類型等過濾條件Query 改寫用戶原問是否太口語化、太短用大模型把 Query 改寫成標(biāo)準(zhǔn)檢索詞再走向量檢索Rerank 模型召回 top50 后是否仍然把錯(cuò)誤文檔排在前面加入專門的 Rerank 模型做精排Embedding 領(lǐng)域適配上述手段都做過后 badcase 仍重復(fù)出現(xiàn)再考慮微調(diào) Embedding 模型換句話說微調(diào) Embedding 適合在“檢索鏈路已經(jīng)比較完整、但深層語義匹配能力不足”的階段啟動(dòng)。它的前置條件有三個(gè)一是有一個(gè)可重復(fù)復(fù)現(xiàn)的 badcase 集合二是有辦法評(píng)估召回效果不靠肉眼感覺三是有能力構(gòu)造一批覆蓋業(yè)務(wù)場(chǎng)景的訓(xùn)練數(shù)據(jù)。如果知識(shí)庫總共只有幾百個(gè)文檔檢索效果差主要因?yàn)榍袎K太粗或者沒有元數(shù)據(jù)過濾那么先優(yōu)化這些環(huán)節(jié)性價(jià)比更高。2. 微調(diào) Embedding 的原理對(duì)比學(xué)習(xí)、難負(fù)樣本和 Qwen3 的定位2.1 Embedding 模型訓(xùn)練的本質(zhì)是“拉近正例推開負(fù)例”Embedding 模型本身不是被“教”出所有業(yè)務(wù)知識(shí)的它是在一個(gè)表示學(xué)習(xí)任務(wù)上被優(yōu)化的。微調(diào)時(shí)我們不再訓(xùn)練模型回復(fù)一句話而是訓(xùn)練它把 Query 和對(duì)應(yīng)的文檔片段映射到同一個(gè)向量空間中的相近位置。最常用的訓(xùn)練目標(biāo)是對(duì)比學(xué)習(xí)損失例如 InfoNCE。核心思想是給一個(gè) Query讓模型優(yōu)化相似度使得它和正確文檔的距離更近同時(shí)和一批錯(cuò)誤文檔的距離更遠(yuǎn)。假設(shè)一個(gè) batch 里有 N 個(gè) Query對(duì)應(yīng)的正文檔是同一個(gè) batch 里的 N 個(gè)文檔那么可以構(gòu)造 N×N 的相似度矩陣對(duì)角線是正樣本其余位置是負(fù)樣本。MultipleNegativesRankingLoss 就是這么工作的。一個(gè)簡(jiǎn)單理解score(query_i, positive_i) - 盡量高 score(query_i, negative_j) - 盡量低2.2 難負(fù)樣本比正樣本更影響微調(diào)效果很多人第一次構(gòu)造 Embedding 訓(xùn)練集會(huì)在每個(gè) Query 后面配一個(gè)正確文檔、一個(gè)隨機(jī)文檔然后開始訓(xùn)練。等訓(xùn)練完上線發(fā)現(xiàn)效果幾乎沒變。原因很簡(jiǎn)單隨機(jī)文檔和 Query 大多完全不相關(guān)模型很容易把它們分開訓(xùn)練信號(hào)很弱。真正需要訓(xùn)練的是“看起來相關(guān)、實(shí)際不對(duì)”的難負(fù)樣本。舉個(gè)例子Query發(fā)票沖紅后購買方還能抵扣嗎正樣本發(fā)票沖紅操作指南里關(guān)于購買方抵扣的相關(guān)段落難負(fù)樣本發(fā)票開具流程里關(guān)于“紅字發(fā)票信息表”的段落難負(fù)樣本包含“發(fā)票”“沖紅”“抵扣”等多個(gè)關(guān)鍵詞向量上離 Query 很近但語義和用戶問的不是一回事。只有把這種樣本作為負(fù)例壓下去模型才學(xué)會(huì)區(qū)分“操作流程”和“概念解釋”。這是為什么微調(diào) Embedding 必須有一個(gè)質(zhì)量較高的負(fù)樣本構(gòu)造環(huán)節(jié)而不能只在文件系統(tǒng)里隨機(jī)抽幾個(gè)文件當(dāng)負(fù)樣本。2.3 Qwen3 在這條鏈路里的真實(shí)角色標(biāo)題里寫“通過 Qwen3 對(duì) Embedding 進(jìn)行訓(xùn)練微調(diào)”容易讓人誤以為直接把 Qwen3 結(jié)構(gòu)拿來當(dāng)向量模型訓(xùn)練。這里必須澄清一下技術(shù)定位。Qwen3 是生成式大模型它的輸出是文本不是文本向量。當(dāng)前更穩(wěn)妥、也更常見的做法是用 Qwen3 生成領(lǐng)域 Query把“文檔段落”轉(zhuǎn)成“用戶可能會(huì)問的問題”用 Qwen3 把這些 Query 和候選文檔做相關(guān)性打分找出“分?jǐn)?shù)高但實(shí)際不相關(guān)”的難負(fù)樣本用 Qwen3 改寫 Query制造更多表達(dá)方式不同、語義相同的正樣本用 Qwen3 檢查訓(xùn)練數(shù)據(jù)質(zhì)量去掉噪聲樣本。也就是說Qwen3 是在“數(shù)據(jù)生產(chǎn)”和“數(shù)據(jù)清洗”環(huán)節(jié)起作用真正被微調(diào)的對(duì)象是專用 Embedding 模型比如 BGE-M3、bge-large-zh、GTE 等。如果團(tuán)隊(duì)非要用 Qwen 系列模型做 Embedding也不是不行需要自己接 pooling 層和相似度目標(biāo)對(duì)比訓(xùn)練成本和難度都會(huì)明顯上升。對(duì)于大多數(shù) RAG 項(xiàng)目更理性的選擇是用 Qwen3 生成數(shù)據(jù) 微調(diào)輕量專用 Embedding 模型這樣訓(xùn)練成本低、上線快、維護(hù)也容易。3. 用 Qwen3 構(gòu)造高質(zhì)量 Embedding 微調(diào)數(shù)據(jù)集3.1 先設(shè)計(jì)統(tǒng)一數(shù)據(jù)格式微調(diào) Embedding 的數(shù)據(jù)集一般使用 JSONL 格式每行一個(gè)訓(xùn)練樣本。常見結(jié)構(gòu)是帶一個(gè)正樣本和多個(gè)負(fù)樣本{ query: 發(fā)票沖紅后購買方還能抵扣嗎, positive: 購買方取得紅字發(fā)票信息表后可在增值稅發(fā)票綜合服務(wù)平臺(tái)上進(jìn)行相應(yīng)抵扣處理具體以當(dāng)?shù)囟悇?wù)機(jī)關(guān)要求為準(zhǔn)。, negatives: [ 發(fā)票開具流程中銷售方需在開票系統(tǒng)內(nèi)填開紅字發(fā)票信息表并上傳。, 普通發(fā)票丟失后如何處理納稅人應(yīng)當(dāng)向稅務(wù)機(jī)關(guān)報(bào)告。 ] }推薦把訓(xùn)練數(shù)據(jù)寫成這種格式而不是只用 query-positive 二元組。因?yàn)橐粭l Query 配多個(gè)負(fù)樣本訓(xùn)練效率更高模型也能更快學(xué)會(huì)區(qū)分“業(yè)務(wù)概念”和“業(yè)務(wù)操作”。3.2 用 Qwen3 從文檔段落生成用戶 Query數(shù)據(jù)構(gòu)造的第一步是把知識(shí)庫文檔的每個(gè)段落變成一個(gè)或多個(gè)用戶 Query??梢哉{(diào)用 Qwen3 的 OpenAI 兼容接口也可以在本機(jī)用 vLLM 部署 Qwen3 后按相同接口調(diào)用。下面是一個(gè)用于生成 Query 的 Prompt 示例你是知識(shí)庫檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語化或短問法。 3. 不要生成與這段內(nèi)容語義偏差過大的問題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text}對(duì)應(yīng)的 Python 調(diào)用示例import json import openai client openai.OpenAI( base_urlhttp://your-qwen3-server:8000/v1, api_keyEMPTY ) def generate_queries(chunk_text: str) - list[str]: prompt f你是知識(shí)庫檢索訓(xùn)練數(shù)據(jù)的構(gòu)造助手。 我會(huì)給你一段文檔內(nèi)容請(qǐng)你模擬真實(shí)用戶生成 5 個(gè)不同角度的檢索 Query。 要求 1. Query 必須是用戶會(huì)直接輸入的真實(shí)問法避免照抄原文措辭。 2. 至少包含 2 個(gè)口語化或短問法。 3. 不要生成與這段內(nèi)容語義偏差過大的問題。 4. 輸出格式為 JSON 數(shù)組每個(gè)元素是一個(gè)字符串。 文檔內(nèi)容 {chunk_text} resp client.chat.completions.create( modelqwen3, messages[{role: user, content: prompt}], temperature0.7, max_tokens512, ) content resp.choices[0].message.content content content.replace(json, ).replace(, ).strip() return json.loads(content)調(diào)用時(shí)需要注意真實(shí)用戶 Query 和文檔原文的措辭差異越大對(duì) Embedding 微調(diào)的收益越高。如果 Qwen3 生成的問題基本都是照抄文檔里的句子那訓(xùn)練數(shù)據(jù)對(duì)檢索沒有增量?jī)r(jià)值。3.3 構(gòu)造難負(fù)樣本從批量召回結(jié)果里篩選構(gòu)造難負(fù)樣本最實(shí)用的方法是“用當(dāng)前 Embedding 模型先跑一遍檢索然后讓 Qwen3 判斷相關(guān)性”。具體流程對(duì)每一條 Query用當(dāng)前線上 Embedding 模型從知識(shí)庫召回 top 20 個(gè)文檔片段。把這 20 個(gè)片段中相似度分?jǐn)?shù)較高、但在業(yè)務(wù)上不代表正確答案的片段挑出來。讓 Qwen3 逐條判斷“這個(gè)片段是否確實(shí)回答了 Query”給出 0 或 1 標(biāo)簽。標(biāo)簽為 0、但向量相似度靠前的片段作為難負(fù)樣本加入訓(xùn)練集。這個(gè)流程比隨機(jī)負(fù)樣本有效因?yàn)槟P汀板e(cuò)得最厲害”的地方正是它需要被糾正的地方。Prompt 示例請(qǐng)判斷下面的文檔片段能否回答用戶問題。只能回答 0 或 1。 用戶問題 {query} 文檔片段 {chunk_text} 能否回答批量處理時(shí)要注意并發(fā)限制和請(qǐng)求失敗重試。比如本地部署 Qwen3 時(shí)如果接口偶爾超時(shí)可以加上重試邏輯并把結(jié)果記錄到單獨(dú)的日志文件里方便后續(xù)排查數(shù)據(jù)質(zhì)量問題。3.4 數(shù)據(jù)清洗和人工抽驗(yàn)不要拿到 Qwen3 生成結(jié)果就直接訓(xùn)練。常見問題包括Query 和 positive 完全不匹配模型學(xué)不到有效信號(hào)negative 實(shí)際上也回答了 Query造成標(biāo)簽噪聲多條 Query 完全重復(fù)導(dǎo)致模型過擬合到某一種表達(dá)文檔片段過長(zhǎng)或過短超過模型 max_len 限制訓(xùn)練時(shí)被截?cái)?。建議先做一輪自動(dòng)化清洗腳本def filter_sample(sample, min_len10, max_len512): q_len len(sample[query]) p_len len(sample[positive]) if q_len min_len or p_len min_len: return False if p_len max_len * 3: return False if sample[query] in sample[positive]: return False return True然后抽出 5% 到 10% 的樣本人工判斷標(biāo)簽是否合理。如果人工抽驗(yàn)的準(zhǔn)確率低于 90%建議重新調(diào)整 Qwen3 的 Prompt而不是直接擴(kuò)大數(shù)據(jù)量。數(shù)據(jù)規(guī)模上Embedding 微調(diào)的最小有效集通常在幾千條左右。先保證 2000 到 5000 條高質(zhì)量樣本比一次生成 5 萬條低質(zhì)量樣本更有效。4. 選擇開源 Embedding 模型和訓(xùn)練環(huán)境4.1 可微調(diào)的 Embedding 模型選型不是所有 Embedding 模型都適合微調(diào)。使用云廠商 API 的 Embedding 模型通常不開放權(quán)重只能通過官方接口調(diào)用無法針對(duì)業(yè)務(wù)數(shù)據(jù)做訓(xùn)練。要微調(diào)必須選擇開源權(quán)重模型。常見可選模型如下模型特點(diǎn)適合場(chǎng)景注意點(diǎn)BGE-M3支持多語言、長(zhǎng)文本、多粒度檢索中英文混合知識(shí)庫、長(zhǎng)文檔 RAG參數(shù)較多訓(xùn)練顯存相對(duì)高bge-large-zh中文效果穩(wěn)定社區(qū)資料多中文業(yè)務(wù)知識(shí)庫需注意 query 指令前綴bge-base-zh參數(shù)少訓(xùn)練快數(shù)據(jù)量不大、端側(cè)場(chǎng)景效果上限低于 largeGTE 系列部分模型支持中英和多任務(wù)需要統(tǒng)一向量模型的場(chǎng)景需確認(rèn)授權(quán)和版本M3E中文效果不錯(cuò)部署簡(jiǎn)單中文知識(shí)庫快速驗(yàn)證遇到復(fù)雜語義邊界時(shí)可能要換模型推薦第一次做 Embedding 微調(diào)時(shí)選擇 BGE 系列或 BGE-M3。它們有兩個(gè)優(yōu)勢(shì)一是社區(qū)案例多排錯(cuò)資料容易找二是官方模型通常配套了推薦的指令格式訓(xùn)練和推理時(shí)不容易踩配置坑。另外要確認(rèn)模型版本。不同版本的 Embedding 模型輸出維度不同如果后續(xù)要遷移已經(jīng)建好的向量庫需要特別注意維度是否能對(duì)上。4.2 訓(xùn)練框架和依賴準(zhǔn)備Embedding 微調(diào)可以用三種方式實(shí)現(xiàn)sentence-transformers 庫適合快速跑通最小實(shí)驗(yàn)FlagEmbedding 庫BGE 官方微調(diào)工具適合深度定制和難負(fù)樣本訓(xùn)練直接用 transformers 自定義 loss適合徹底控制訓(xùn)練流程。為了快速跑通推薦先用 sentence-transformers。安裝命令pip install -U sentence-transformers pip install torch --index-url https://download.pytorch.org/whl/cu121如果要用 FlagEmbedding還需要額外安裝依賴。實(shí)際項(xiàng)目里要注意 PyTorch、CUDA、transformers 之間的版本兼容不要照抄教程里的版本號(hào)先在當(dāng)前環(huán)境驗(yàn)證一次。4.3 訓(xùn)練超參數(shù)和顯存控制Embedding 模型的參數(shù)量比 Qwen3 這類生成模型小很多訓(xùn)練門檻相對(duì)低。但“全參訓(xùn)練”和“LoRA 微調(diào)”的顯存差別仍然明顯。參數(shù)含義常見取值范圍設(shè)置建議learning_rate學(xué)習(xí)率2e-5 到 5e-5數(shù)據(jù)量小就偏低避免災(zāi)難性遺忘batch_size每個(gè) batch 的 Query 數(shù)量16 到 64顯存不足時(shí)優(yōu)先減小 batch_sizemax_len文本最大長(zhǎng)度256 到 1024根據(jù)知識(shí)庫 chunk 長(zhǎng)度設(shè)置num_epochs訓(xùn)練輪數(shù)1 到 5優(yōu)先 2 輪過擬合很容易warmup_ratio預(yù)熱比例0.05 到 0.1穩(wěn)定訓(xùn)練初期 loss全參微調(diào)對(duì) Embedding 模型來說通??尚械绻阒挥幸粋€(gè) 24G 顯存的 GPU又想訓(xùn)練 BGE-M3 這類大模型建議用 LoRA。sentence-transformers 已經(jīng)支持通過 PEFT 給 Embedding 模型加 LoRA 適配器訓(xùn)練時(shí)先凍結(jié)主干參數(shù)只訓(xùn)練低秩矩陣顯存占用會(huì)明顯下降。5. 微調(diào)訓(xùn)練實(shí)戰(zhàn)用對(duì)比學(xué)習(xí)跑通最小案例5.1 用 sentence-transformers 訓(xùn)練 MultipleNegativesRankingLoss這里以一個(gè)最小可運(yùn)行腳本為例。假設(shè)訓(xùn)練數(shù)據(jù)文件是train.jsonl每條數(shù)據(jù)包含query、positive、negatives三個(gè)字段。import json from sentence_transformers import SentenceTransformer, models, losses, InputExample from torch.utils.data import DataLoader from sentence_transformers.datasets import SentenceLabelDataset base_model BAAI/bge-base-zh-v1.5 word_embedding_model models.Transformer(base_model, max_seq_length512) pooling_model models.Pooling( word_embedding_model.get_word_embedding_dimension(), pooling_mode_cls_tokenTrue, pooling_mode_mean_tokensFalse, pooling_mode_max_tokensFalse, ) model SentenceTransformer(modules[word_embedding_model, pooling_model]) examples [] with open(train.jsonl, encodingutf-8) as f: for line in f: item json.loads(line) texts [item[query], item[positive]] item.get(negatives, []) examples.append(InputExample(textstexts)) train_dataloader DataLoader(examples, shuffleTrue, batch_size32) train_loss losses.MultipleNegativesRankingLoss(model) model.fit( train_objectives[(train_dataloader, train_loss)], epochs2, warmup_steps100, output_path./embedding_model_finetuned, save_best_modelTrue, )這段代碼的核心是MultipleNegativesRankingLoss。每個(gè) InputExample 的第一條文本會(huì)被當(dāng)成 Query第二條是正樣本后面的所有文本是負(fù)樣本。損失函數(shù)會(huì)盡量提高 Query 和正樣本的相似度同時(shí)降低它和負(fù)樣本的相似度。需要注意這里沒有給 Query 加指令前綴。如果模型是 BGE 系列官方推薦的推理方式是給 Query 加指令但訓(xùn)練時(shí)是否加指令取決于數(shù)據(jù)構(gòu)造方式。推薦做法是保持訓(xùn)練和推理一致在訓(xùn)練腳本里統(tǒng)一處理。5.2 使用 FlagEmbedding 訓(xùn)練 BGE-M3 的另一種方式如果選擇 BGE-M3FlagEmbedding 提供了更直接的訓(xùn)練接口。示例代碼from FlagEmbedding import FlagModel model FlagModel( BAAI/bge-m3, query_instruction_for_retrieval為這個(gè)句子生成表示以用于檢索相關(guān)文章, use_fp16True )FlagEmbedding 完整訓(xùn)練腳本一般包含數(shù)據(jù)加載、損失計(jì)算、評(píng)估三個(gè)模塊。由于版本差異較大建議直接參考官方倉庫的examples/finetune/embedder目錄里面提供了帶難負(fù)樣本的訓(xùn)練入口。這里不推薦把別人的訓(xùn)練命令原樣復(fù)制到生產(chǎn)環(huán)境。必須先確認(rèn)自己的模型名、數(shù)據(jù)格式、指令前綴和輸出維度再運(yùn)行訓(xùn)練。5.3 訓(xùn)練日志怎么判斷是否正常訓(xùn)練時(shí)主要觀察兩個(gè)信號(hào)。第一loss 是否在下降。MultipleNegativesRankingLoss最開始時(shí)通常會(huì)在 4 到 6 這個(gè)區(qū)間訓(xùn)練一段時(shí)間后降到 1 以下。如果 loss 一直不降或者出現(xiàn) NaN優(yōu)先檢查數(shù)據(jù)里是否有超長(zhǎng)文本、空文本以及學(xué)習(xí)率是否設(shè)置過高。第二離線檢索效果是否提升。loss 下降不代表檢索效果一定變好。建議在訓(xùn)練腳本里加入一個(gè)小型 eval 集每次 checkpoint 后計(jì)算 Recall10。如果 loss 下降但 Recall 不漲可能負(fù)樣本太簡(jiǎn)單或數(shù)據(jù)噪聲太多。訓(xùn)練輸出的目錄里會(huì)保存模型權(quán)重和 tokenizer。加載微調(diào)后模型時(shí)要用同一個(gè)目錄不能混用原版模型和微調(diào)權(quán)重。from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) emb model.encode(發(fā)票沖紅后還能抵扣嗎, normalize_embeddingsTrue)6. 把微調(diào)后的 Embedding 接回 RAG 檢索鏈路6.1 全量重建向量庫這一步不能省微調(diào)后的模型和舊 Embedding 模型生成的向量分布不一致兩者不能在同一個(gè)向量索引里混用。上線前必須全量重建知識(shí)庫向量不能用“只對(duì)新增文檔生成向量”的方式做增量替換否則新舊向量之間距離比較沒有意義。重建流程從知識(shí)庫導(dǎo)出所有 chunk。用微調(diào)后的 Embedding 模型批量生成向量。將向量寫入新的 Collection 或新的向量索引。線上檢索流量切到新索引。保留舊索引至少一個(gè)版本便于回滾。批量生成向量時(shí)可以控制 batch size避免 GPU 顯存溢出from sentence_transformers import SentenceTransformer model SentenceTransformer(./embedding_model_finetuned) chunks [...] # 所有知識(shí)庫 chunk batch [] embeddings [] for chunk in chunks: batch.append(chunk) if len(batch) 64: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs) batch [] if batch: vecs model.encode(batch, normalize_embeddingsTrue) embeddings.extend(vecs)6.2 寫入 Milvus 或本地 Faiss 索引以 Milvus 為例需要先創(chuàng)建 Collection并指定向量維度。BGE-M3 的維度是 1024bge-base-zh 是 768具體以模型輸出為準(zhǔn)。from pymilvus import ( connections, CollectionSchema, FieldSchema, DataType, Collection ) connections.connect(host127.0.0.1, port19530) fields [ FieldSchema(nameid, dtypeDataType.INT64, is_primaryTrue), FieldSchema(nametext, dtypeDataType.VARCHAR, max_length8192), FieldSchema(namevector, dtypeDataType.FLOAT_VECTOR, dim1024), ] schema CollectionSchema(fields) collection Collection(qa_knowledge_new, schema) data [ list(range(len(chunks))), chunks, embeddings, ] collection.insert(data) collection.create_index(vector, {index_type: IVF_FLAT, metric_type: IP, params: {nlist: 1024}})檢索時(shí)要用同一種向量計(jì)算方式query_vec model.encode([query], normalize_embeddingsTrue)[0] result collection.search( data[query_vec.tolist()], anns_fieldvector, param{metric_type: IP, params: {nprobe: 16}}, limit20, output_fields[text], )6.3 在 LlamaIndex 中接入自定義 Embedding 模型如果用 LlamaIndex 搭 RAG接入自定義模型非常簡(jiǎn)單from llama_index.core import Settings from llama_index.embeddings.huggingface import HuggingFaceEmbedding Settings.embed_model HuggingFaceEmbedding( model_name./embedding_model_finetuned, embed_batch_size64, )設(shè)置好后文檔索引和 Query 檢索都會(huì)使用同一個(gè)embed_model。這一步最容易踩的坑是索引文檔時(shí)用了微調(diào)后模型但 Query 檢索時(shí)誤用了默認(rèn)模型導(dǎo)致查詢向量和文檔向量不在同一空間。6.4 不要丟掉 Rerank 環(huán)節(jié)微調(diào) Embedding 能提高“正確文檔是否能進(jìn) top 20”的概率但不保證正確文檔一定排在第一位。生產(chǎn)級(jí) RAG 仍然應(yīng)該在向量召回后加一個(gè) Rerank 模型對(duì)召回結(jié)果做精排序。推薦鏈路是Query - 向量召回 top50 - Rerank 精排 top5 - LLM 生成Embedding 微調(diào)和 Rerank 不是二選一。前者負(fù)責(zé)提高召回上限后者負(fù)責(zé)提高排序精度。兩者結(jié)合效果通常比只做其中一項(xiàng)更穩(wěn)定。7. 效果評(píng)估與常見問題排查7.1 構(gòu)造最小離線評(píng)估集評(píng)估集不需要很大但需要覆蓋真實(shí)用戶 Query。建議準(zhǔn)備 200 到 500 條真實(shí)或近似真實(shí)的 Query并為每條 Query 標(biāo)注 1 到 3 個(gè)正確文檔。常用指標(biāo)指標(biāo)說明計(jì)算方式RecallK正確文檔是否出現(xiàn)在前 K 條結(jié)果里命中數(shù) / 總 Query 數(shù)MRR第一個(gè)正確結(jié)果所在排名的倒數(shù)按排名取倒數(shù)后求平均Hit Rate1第一條結(jié)果是否就是正確答案命中數(shù) / 總 Query 數(shù)評(píng)估的時(shí)候要把微調(diào)前和微調(diào)后的模型分別跑同一批評(píng)估集保留結(jié)果。不要只憑“感覺變準(zhǔn)了”就上線。7.2 微調(diào)后常見的失敗模式問題現(xiàn)象可能原因排查方式處理建議loss 下降但 Recall 不漲難負(fù)樣本太少或太簡(jiǎn)單檢查訓(xùn)練數(shù)據(jù)中每條 Query 的負(fù)樣本數(shù)量增加難負(fù)樣本構(gòu)造邏輯上線后效果反而變差向量庫未全量重建確認(rèn)新舊向量是否混用全量重建并校驗(yàn)向量維度訓(xùn)練時(shí)顯存不足batch_size 或 max_len 過大查看 GPU 顯存占用降低 batch_size改用 LoRA檢索時(shí) Query 結(jié)果不對(duì)推理時(shí)和訓(xùn)練時(shí)指令前綴不一致對(duì)比訓(xùn)練和推理代碼統(tǒng)一指令前綴和預(yù)處理邏輯負(fù)樣本實(shí)際也是正確答案Qwen3 相關(guān)判斷不準(zhǔn)人工抽驗(yàn)負(fù)樣本標(biāo)簽調(diào)整 Qwen3 打分 Prompt 或加入人工復(fù)核微調(diào)后通用能力下降訓(xùn)練數(shù)據(jù)過于單一觀察泛化指標(biāo)混入一定比例通用檢索數(shù)據(jù)7.3 上線前回歸清單上線前建議按下面清單逐項(xiàng)檢查[ ] 訓(xùn)練數(shù)據(jù)和評(píng)估集是否分開評(píng)估集里沒有出現(xiàn)訓(xùn)練數(shù)據(jù)[ ] Qwen3 生成的 Query 是否覆蓋了真實(shí)用戶高頻問法[ ] 負(fù)樣本是否包含至少一部分“向量相似但語義無關(guān)”的難負(fù)樣本[ ] 訓(xùn)練腳本中 query 指令和推理腳本中 query 指令是否一致[ ] 微調(diào)后模型輸出維度是否和原始模型一致[ ] 向量庫是否全量重建舊索引是否可回滾[ ] 離線評(píng)估指標(biāo)是否記錄并對(duì)比過基線[ ] 是否保留了原 Embedding 模型和原向量索引方便快速回滾。8. 生產(chǎn)環(huán)境落地建議微調(diào)不是唯一的優(yōu)化手段8.1 建議的優(yōu)化順序在團(tuán)隊(duì)資源有限的情況下RAG 優(yōu)化順序可以按下面排列先治理知識(shí)庫切塊和元數(shù)據(jù)加入 Query 改寫解決用戶口語化和指代不清引入 Rerank 模型把 top50 變 top5收集真實(shí) badcase分析檢索失敗原因再用 Qwen3 構(gòu)造數(shù)據(jù)微調(diào) Embedding 模型。這套順序的核心是先用成本低、見效快的手段把明顯問題解決掉再通過微調(diào)處理更深層的語義匹配問題。如果一開始就啟動(dòng) Embedding 微調(diào)很容易把切塊錯(cuò)誤、元數(shù)據(jù)缺失的問題也歸因到模型上導(dǎo)致訓(xùn)練數(shù)據(jù)很臟最終效果也不穩(wěn)定。8.2 建立數(shù)據(jù)回流和定期重訓(xùn)機(jī)制Embedding 微調(diào)不是一次性的。業(yè)務(wù)新名詞不斷出現(xiàn)用戶提問方式也在變化訓(xùn)練數(shù)據(jù)需要持續(xù)更新。生產(chǎn)環(huán)境可以設(shè)計(jì)一個(gè)小閉環(huán)從線上日志采集“低分但用戶點(diǎn)擊/反饋有用的 Query”把用戶反饋和 badcase 匯總到標(biāo)注隊(duì)列每?jī)芍芑蛎吭掠?Qwen3 補(bǔ)充新 Query 和新難負(fù)樣本重新訓(xùn)練 Embedding 模型并跑離線評(píng)估評(píng)估通過后全量重建向量庫并灰度上線。這里的難點(diǎn)是“自動(dòng)判斷用戶是否滿意”。如果沒有顯式反饋可以用業(yè)務(wù)指標(biāo)兜底例如搜索無結(jié)果率、同一會(huì)話的再提問次數(shù)等。8.3 成本控制和 LoRA 選擇Embedding 模型訓(xùn)練成本通常遠(yuǎn)低于生成模型。但如果知識(shí)庫很大向量重建的推理成本會(huì)比訓(xùn)練成本更高。因此訓(xùn)練前要預(yù)估 GPU 總時(shí)長(zhǎng)訓(xùn)練后做一次“向量重建成本”評(píng)估。LoRA 微調(diào)在 Embedding 模型上的收益沒有大語言模型那么夸張因?yàn)?Embedding 模型的參數(shù)量本來就小。但對(duì)于 BGE-M3 這類 5 億參數(shù)以上的模型LoRA 仍然是顯存不足時(shí)的首選。選擇 LoRA 時(shí)要關(guān)注訓(xùn)練后是否能導(dǎo)出合并權(quán)重避免推理時(shí)額外依賴適配器加載邏輯。8.4 再往前走Rerank、Agentic RAG 和圖譜增強(qiáng)Embedding 微調(diào)只是 RAG 優(yōu)化的一個(gè)環(huán)節(jié)。當(dāng)檢索召回率已經(jīng)穩(wěn)定可以考慮下一步用領(lǐng)域數(shù)據(jù)微調(diào)一個(gè)小的 Rerank 模型替代通用 Rerank引入 Agentic RAG讓模型根據(jù)用戶意圖主動(dòng)選擇多路檢索在知識(shí)庫中補(bǔ)充實(shí)體關(guān)系圖譜處理“實(shí)體關(guān)系型問題”對(duì)多輪對(duì)話場(chǎng)景增加 Query 改寫和歷史上下文壓縮。這些方向都需要先有“穩(wěn)定可評(píng)估的檢索鏈路”作為基座。Embedding 微調(diào)的真正價(jià)值是讓基座更貼近業(yè)務(wù)而不是替代其他優(yōu)化模塊。最后給新手的練習(xí)建議不要一上來就微調(diào)一個(gè)大模型先用一個(gè)小型中文知識(shí)庫構(gòu)造 2000 條數(shù)據(jù)微調(diào) bge-base-zh并在 Milvus 里對(duì)比微調(diào)前后 Recall10。這個(gè)閉環(huán)跑通后再逐步加深對(duì)難負(fù)樣本、LoRA、Rerank 和數(shù)據(jù)回流的理解會(huì)比直接堆模塊更有效。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色偷偷综合| 国产操逼网站| 激情五月丁香色婷婷| 成人av中文字幕| 综合五月激情| 五月天玖玖狠狠色色| 可以看的AV| 九热视频精品| 丁香五月婷婷日本| 性爱技巧五月| 丁香五月第四色88| 91精品久久久久久久久久| 激情网站五月| www.久久| 激情综合五月天| 天天狠狠夜夜狠狠2023| yirenjiqingshiping| 久久狠色噜噜狠狠狠狠97| 日本啪啪天堂| 五月丁香啪啪综合| 外国碰视频网站97| 91精品婷婷国产综合| 99热在线只有精品| 精品导航在线x不卡| 婷婷夜夜夜夜| 久久婷婷老| 天天在线天天综合网色| 996er热| 日本视频不卡123区| 91碰在线| 亚洲综合色色| 丁香五月综合激情啪啪| 久久hd| 香蕉99网| 99热在线这里| 色黄啪啪| 99亚洲精品视频| 五月婷婷香蕉| 国产99精品免费视频| AV 3P| 99色视频| 色五月网址| 五月综合激情| 九九婷婷综合| 五月色婷婷中文字幕| 五月丁香六月| 就99这里只有精品| 99热精品在线观看| 五月天天天开心激情网| 日本不卡高字幕在线2019| 精品思思久久| 色偷偷五月天| 丁香激惜男女| www.夜夜操| 精品99这里有| 丁香婷婷色五月| a色色片| 色五月婷婷久久| 婷婷月综合| 成人AV中文字幕| 人碰91| 婷婷日日夜夜| 99热在线爱| 99精在线| 色婷婷亚洲婷婷| 亚洲色综合| 国产成人av在线播放| 婷婷欧美激情| 婷婷五月丁香啪啪| 热中文字幕| 欧美日韩999| 久久免费9| 99精品久久久久| 91在线日本| 五月激情婷婷国产精品久久久久久| 亚洲黄色av网站| 男人的天堂五月丁香| 黄色av高清| 丁香五月激情综合啪啪| 中文字幕久久婷九女同| 天天插天天插| 婷婷91| 91久热| 综合激情五月天| 99亚州综合精品成人网| 婷婷五月天色综合翘| 国产亚洲精品AAAA片APP| 五月婷婷就去色| 一本色道久久88综合日韩精品| 五月天婷婷青青| 99热99艹在线观看| 美女五月天| 色婷婷激情五月天| AV九九| 99色这里| http://www.com久久久精品一区| 婷婷瑟瑟五月天| 丁香五月成人丝袜| 久久婷婷亚洲| 丁香五月亭亭六月综合激情网| 欧美性猛交XXXX乱大交极品| 巴基斯坦粉嫩无码视频| 色玖玖玖| 激情五月天社区| 日本婷婷丁香五月| 日本A片一区| 99热免费观看| 色愛综合网| 狠狠干综合| 思思热久久久久思思热| 久久丁香婷婷五月| 综合色播| 久久五月婷天天干| 丁香五婷婷| 九月婷婷久久久| 五月丁香六月婷婷精品| 最新无码专区| 少妇人妻人伦A片| 九月丁香| 九九九九九九热| 能看的AV| 久热这里这里有精品| 国产免费性爱| 婷婷五月色惰| 久久五月丁香伊人青草| 91干在线视频| 夜夜操天天干| 99在这里有精品| 综合五月丁香97| 久久99久久99久久99人受| 26uuu四色| 9九九久久精品无码专区| 色五月色五天免费视频| 综合亚洲六月婷婷在线| 久操香蕉| 97操视频| 天天天添天天操| 日本在线wwww| 午夜一区| 色五月天在线观看| 丁香五月综合久久八| 日韩青青| 丁香开心深爱| 色情五月天导航| 啪啪一区| 亚洲第一精品网站| 婷婷激情中文综合| 婷婷久久色| 伊人91| 欧洲亚洲欧洲99久久| 五月丁香久久色| 九九视频这里只有精品| 婷婷爱五月天人人爱| 大香蕉婷婷久久| 99精品视频在线观看| 亚洲99精品欧美一区| 婷婷五月天激情小说| 中文字幕在线免费看线人| 五月天激情www| 91精品婷婷国产综合久久| 亚洲亚洲人成综合网络| 9热在线观看| 五月婷婷综合热| 激情国产五月| 99热在线播放| 亚洲激情五月天| 丁香九月综合| 中文字幕成人影视| 午夜天堂一区人妻| 99思思| 综合激情深爱| 激情综合青草| 成人在线日韩欧美| 丁香花社区av| 九九亚洲| 人人草人人舔| 亚洲婷婷乱乱丁香| 久久久思思热| 4399在线观看免费毛片| 婷婷综合中文| 激情丁香五月| 终合激情网| 激情六月丁香综合| 国产成人AV在线播放| 日本少妇裸体做爰高潮片| 丁香五月AV| 成人婷婷深爱综合网| 久久久欧美精品sm网站| 亚洲狠狠终合停停终合| 激情开心五月天| 无码操B| 亚洲avjiujiur91| 91精品又长又大又粗又爽又猛| 国产AV一区二区三区日韩| 99日本黄站| 欧美英丁香开心快乐六月天网| 久久99久久99精品免视看婷| 人人综合91网| 91操黄| 99免费在线视频| 99热这里只有精品中文字幕| 丁香涩涩五月天| 丁香五月首页| 97操在线资源| 久久中文网| 国产色色视频| 91精品无码| va亚洲中文在线| 天天搞夜夜叫| 黄网在线免费观看| 成人在线网站| 久草视频大香蕉99| 97 天堂| 久草五月天| 色色亚洲五月天| 久久996re热这里只有精品无码| 超碰成人在线观看| 激情五月综合久久| 超级碰91| 色婷婷小说网| 天天做天天爱综合| 这里只有精品99www| 精品婷婷| 91成人电影| 新男人天堂人妻| 精品香蕉99久久久久网站| 色婷婷影院| 播五月开心婷婷欧美综合| 丁香婷婷六月激情综合| 嫩草综合网| 色欲婷婷五月天| 婷婷丁香黄色| 五月停亭久久电影| 超91热| 亚洲妇女熟BBW| 色五月激情网| 91AV婷婷| 玖玖爱综合网| 开心五月婷婷| 婷婷五月婷婷| 丁香五月天中文字幕| 九九热在这里只有精品| 天天操夜夜夜拍拍拍| 丁香婷婷六月婷婷六月婷婷六月婷婷| 99热偷拍| 丁香五月婷婷基地| 欧美97色| 色婷婷丁香综合中文字幕| 天堂久久大香蕉| 久9综合| 少妇高潮呻吟A片免费看软件| 桃色五月天| 欧洲亚洲免费视频9 | 久久久久9| 91在线操| 日韩精品超碰在线观看| 99热日| 日本理论久久| 日韩精品电影| 色婷久| 婷五月天| 老师把我爽高潮了免费A片| 国产干逼片| aV直接看| 一级内射毛片| 亚洲殴洲精品Av在线| 97人人干视频| 丁香深五月婷婷| 亚洲操女| 婷婷五月激情视频网| 成人五月天。COM| 九九九九九九热| 婷婷97| 五月天婷婷基地| 婷婷五月天av| .精品久久久麻豆国产精品| 激情综合色| 国产亚洲在线观看| 无码免费人妻A片AAA毛片西瓜| 狠狠狠狠狠狠| 五月天久久色| www.婷婷五月.com| 婷婷色六月| 婷婷五月天毛片| 欧美久人人| 丁香五月天婷婷91| 任你搞网站| 猫咪伊人久久| 久热伊人| 99热这里有精品6| Av性爱网站| 色婷婷视频| 丁香婷婷免费| 激情五月天免费视频| 五月丁香色婷婷综合| 久久久久久五月天| 五月天啪啪啪| 欧美五月婷婷| 中文av网| 成人无码精品1区2区3区免费看| www久视频com| 欧美日韩精品一区二区三区钱| 婷婷五月丁香人妻无码高清| 日本免费91| 久9热视频在线观看| 色人久久| 丁香婷五月天| 婷婷亚洲色| 婷婷性色| 久久亚洲婷婷| 免费看欧美成人A片无码| 五月J香蕉婷婷| 激情影院69| 最新AV在线观看| 国产精品操| 丁香五月天啪啪| 99久热这里只有精品视频删减版| 九九综合精品| 亚洲最大五月天成人网| 丁香六月激情四射| 久热超碰| 激情综合九| 九九人人看| 九九九日本熟女| 538午夜激情| www.狠狠狠.com| 五月之婷婷| 夜夜夜夜夜骑撸| 色九月婷婷丁香| 夜夜谢天天干| 伊人九九68| 亚洲成人av在线播放| 高清不卡一区| 6080av| 99er精品视频| 丁香激情网| 久9热| 久久成人亚洲欧美电影| 婷婷情色五月天| 欧美五月丁香在线| 日夜夜久久| 亚州操操| 无码少妇高潮喷水A片免费| 91高潮喷水久久久久久久久| 在线婷婷| 九九九九九九九热| 99在线视频播放| 婷婷五月天小说| 1024久婷| 99在线精品视频免费| 婷婷五月色丁香在线看| 久久伦乱| 操人妻AV| 久久3p| 成人五月天在线视频在线观看| 欧美色色色色色色色| 五月天播播中文字幕| 91婷婷| 丁香五月婷婷国产av| 色激情五月| www.狠狠| 五月婷六月丁香| 夜夜资源站| 国产XXXX搡XXXXX搡麻豆| 久久99免费视屏| 91久久婷婷| 婷婷娱乐丁香综合网| 五月天婷婷色色网| 国产精品久久久久9999小说 | 天天撸天天干天天插| 色综合久久44| 狠狠ri| 最新av在线观看| 六月丁香综合网| 9久热在线视频精品| 大陆极品少妇内射AAAAAA| 久久影视婷婷五月| 69五月天视频| 日本在线视频播放91| 婷婷成人五月天| 91人人妻人人操| eeuss人妻| 99无吗| 婷婷六月丁香五月| 欧美婷婷综合| 天天狠狠插| www.色九月| 少妇熟女视频一区二区三区 | 综合久久婷婷| 五月丁香综合成人社区| 日本操碰碰| 26uuu国产精品| 999精品乱码77777| 激情综合丁香| 国内婷婷丁香社区在线播放| 日日杆天天| 婷婷五月天激情网| 97婷婷狠狠| 亚洲VA在线| 色99在线| 美欧成人视频| 色五月天网| 久久久网站| 97超碰色| 视频这里只有精品16| 一起草Av| 久久婷婷色综合老司机| 五月丁香婷婷激情| 玖玖婷婷五月天| 开心五月婷婷综合在线精品素人| 99re这里有精品手机在线| 国产精品久久..4399| 丁香六月狠狠干| 婷婷视频在线碰| 这里只有精彩小视频视频网站| 激情五月天 婷婷| www.五月天| 久久HD| 很很干夜夜干| 日本V在线观看不卡视频网站| 国产亚洲99久久精品| www.婷婷五月| 99色综合久久| 激情婷婷亚洲五月| 玖玖色综合| 大香蕉75线| 久久99这里只有精品视频 | 性爱111111| 美女五月天婷婷| www.精品99| 丁香深五月婷婷| 婷婷五月天综合蜜桃| 九九热中文| www久久久久久| 伊人丁香花综合影院| 97人人超| 五月婷婷无码| 超碰成人在线观看| 九热视频精品| 亚洲色激情| 中文字幕 中文字幕明步| 丁香五月天无码AV| 丁香综合网| 美国不卡视频| 99性视频| 激情综合文学| anquye五月| 国产精品18久久久| 99热最新| 国产91视频| 激情亭亭五月| 无套内射极品大美女| 97日本在线播放| 丁香五月婷婷精品视频| 99成人| 色狠狠五月天| 操碰97| 综合久久综合久久| 色哟哟www| 人人操人人看97干| 第五色色色婷婷| 97成人在线视频| 丁香网五月网| 成人草榴视频| 三十路磁力链接| www.夜夜操.com| 99热啪啪| 开心激情五月天网| 啪啪激情网| www.99日本| 欧美色碰| 99人妻碰碰碰久久久久视| 99人妻碰碰碰久久久久| 色无码| 精品动漫 无码av| 女高怪谈在线观看| 综合久久六月| 久久久这里有精品| 丁香六月欧美| 色五月六月| 五月天激情影院| 久9热视频| 久久精彩免费视频| 五月丁香网站| 色婷婷免费观看| 久久激情五月天| 97干欧美| 天天色播| 丁香五月婷婷网| 99re99在线看| 色婷婷亚洲婷婷| 77799热| 国产精品美女久久久久AV超清| 久婷婷五月激情| 国产看真人毛片爱做A片| 婷婷久久久久久久| 99热精品在线观看| 五月婷婷免费视频| 性爱111111| 女高怪谈在线观看| 欧美色图天堂网色| 超碰99在线观看| 丁香五月激情六月欧亚激情综合导航 | 色欲av伊人久久大香线蕉影院 | 那里有AV网址| 精品一二三区久久AAA片| 日日婷婷不卡| 久久密臀婷婷| 色狠狠婷婷| 国产激情在线| 久久婷婷五月天| 狠狠色噜噜狠狠色噜噜噜999| 日本天天色| 甈吧vv| 沈娜娜av| 天天草天天爽| 久久9精品视频| 超碰人人艹| 如何安全看伊人婷婷| 五月综合色| 色婷婷五月综合在线| 婷婷丁香久久网| 激情五月天综合| 丁香六月激情| 一级A片天天操夜夜操| 国内9l视频自拍老熟女九色| 色五月大| 婷婷丁香社区网| 色噜噜狠狠色综合日日| 先锋资源996| 亚洲图片 丁香婷婷| www.99热这里精品| www色五月| 久久激情视频| 丁香五月婷婷手机| 97色在线观看视频| 婷婷色丁香五月| 噜综合| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 五月丁香啪啪网| 久久精彩视频99| 99精品久| 大香蕉伊人99| 色爱99| 91呦呦呦| 伊人超碰| 丁香婷婷六月天| txt五月激情四射网综合俺也来了| 亚洲性爱电影| 日韩抽插操逼| 日日操夜夜操中国无码| 久久九区| 91啪级电影| 大香蕉在线99热| 另类 在线| 五月天亚洲图片婷婷| 97在线观视频免费观看| 能看的AV| 另类图片激情五月天| 99久久超级| 丁香五月欧美色综合| 丁香激惜男女| 在线成人av播放| 夜夜干 夜夜操| 激情五月天色婷婷综合| 一区视频网站| 少妇被躁爽到高潮无码文| 丁香六月色婷婷| 久热九九| 五六月婷婷久久| 亚洲欧美婷婷五月色综合| 久久996re热这里只有精品无码| 日本 色综合| 97色色视频| www.丁香五月| 玖玖国产视频一区| 九九色婷| 亚洲成人AV在线观看| 五月激情偷拍婷婷| 色婷婷综合亚洲| 99国产精品久久久久久久久久久| 啪色综合| 6080av| 99在线精品视频| 五月天丁香婷婷网| 九九色影院| 国产日日操夜夜操的肉棒视频| 99热播放| 91热视频| 99ri精品| 激情久久丁香| 伊人五月人妻精品| 中文无码婷婷| 日本久碰| 91九色精品熟女内射| 99看片| 婷婷月五天在线在线看| 丁香六月欧美| 国产做爰视频免费播放| 97影院一级片| 四月婷婷丁香| 久久五月丁香伊人青草| 97欧美在线| 97超碰,人人舔,人人操,人人摸 | 激情五月综合网| 五月婷婷六月丁香综合在线| 六月激情婷婷综合| 成人精品人妻| 91碰操| 色欲久久综合| 182TV大香蕉| 日本激情五月| 色热久资源| 99久久色| 性欧美大战久久久久久久83| 五月丁香天堂网| 久久爱婷婷| 五月婷婷co.m| 大香蕉久操| 色欲色香,www,com| 国产AV熟妇人震精品一品二区| 色婷婷欧美| 激情五月天在线视频| 色色影院aaaav| 秋霞AV淫| 97精品欧美91久久久久久久| 日本五月天婷婷丁香| 五月丁香WWW| 色色色国产| 九九热青青草| 亚洲亚洲人成综合网络| 爱操人妻| 五月综合视频| 欧美色五月天| 精品婷婷五月天| 亚洲欧美综合7777色婷婷| 丁香狠狠操| 丁香性爱在线视频| www.狠狠操| 99热这里| 五月天成人综合| 在线A色| 丁香五月婷婷综合视频| 欧洲亚洲免费视频9| 婷婷五月激情视频网| 99视频这里有精品| 婷婷五月影院| 丁香五月六月综合激情| 色综合网址| 五月激情影院| 日本人人xxx| 丁香五月第九色| 99人妻碰碰碰久久久久禁片| 婷婷六月视频| 伊人久久中文网| 久9热插入| 九九婷| 91碰碰碰| 天天干,夜夜爽| 亭亭色色五月天| 91久久九久久九久久九久久九久久| 夜夜干天天干| 国产资源91在线| 另类小说婷婷色| 婷婷另类开心| 亭亭丁香久久五月| 欧洲激情网站| 亚洲99综合| 久久久久98| 狠狠色狠狠爱| 综合 蜜月 婷婷| 超碰99热精品在线| 综合久久激情久久| 国产91资源在线| 天堂无码人妻精品AV一区| 99热日本| 超碰熟女拍拍| 天天爽天天摸| 五月天激情社区| 综合久久五月| 精品久久久久久久久久久久人妻| 国产探花AV在线| 五月丁香天天| 亚洲第一色色色色| 色色99色色| 天天肏屄夜夜爽| 噜综合| 日本老女人黄页在线播放| 色九月婷婷综合| 日韩操逼大片| 亚洲综合久| 色婷久久| 五月丁香六月在线欧美| 亚洲激情综合色站| 五月婷婷伦理| 狠狠干2007| 亚洲激情丁香五月基地| 免费试看小视频 99| www.日韩艹| 色婷婷丁香五月丁香| 啪啪干伊人婷婷| 激情五月六月丁香| 九九色视频| 岛国av电影网站| 色5月婷婷| 日日狠狠久久偷偷四色综合免费| 天天操综合网站| 综合激情深爱| 丁香五月天激情视频| 婷婷五月免费视频| 激情五月婷黄版| 五月丁香婷婷深深爱| 国産精品| 天天日天天摸| 欧美成人精品A片免费一区99| 河北真实伦对白精彩脏话| 婷婷最新地址| 超碰中文字幕在线| 啪啪东京热| 另类图片激情五月| 婷婷导航| 婷婷丁香高潮了| 五月丁香婷婷啪啪综合网| 操射国产日本| 色五月婷婷九月| 96精品久久久久久久久| 激情五月六月婷婷| 久久99热这里只频精品6学生| 午夜少妇在线观看视频| 天天色2017| 97香蕉人人在线观看| 91凹凸在线| www99热| 五月天无码视屏播放| 99热九九在线| 天天摸天天透天天舔| 香蕉狠狠爱视频| 久久99精品视频| 国产精品久久久久久久久久免费| 婷婷亚洲在线| 97婷婷狠狠久久综合9色| 丁香婷婷六月天| 五月香蕉综合| 天天干天天 亚洲| 婷婷色av| 国产在线黄色| 婷婷色婷婷| 香蕉曰比| 久久99网址| 他改变了拜占庭| 五月天五月色| 婷婷五月天六月丁香| 五月丁香综合啪啪| 国产毛片欧美毛片久久久| 九月色婷婷综合亚洲| 六月婷婷香蕉| 九九精品视频免费在线| 国产精品色色色色| 免费不卡狠操美女视频网| 中文字幕av久久爽一区| 最近中文字幕在线中文视频| 亚洲色频| 综合色播| 激情五月六月丁香| 日本久久人| 五月天婷婷久久| 182tv992tv人之初午夜免费观看| 东京热免费视频网站| 中文字幕av在线| 26UUU亚洲欧美| 久久美女五月天| 五月丁香啪啪| 97一区二区| 亚洲狠狠婷婷| 色10月婷婷视频| 一本综合丁香日日狠狠色| 欧美性爱五月天| 99在线精品视频| 九一九九黄色| 色色五月丁香| 六月丁香激情综合| 永久免费视频| 亚洲V国产V欧美V久久久久久| 久操人| 亚洲视频a| 5月婷婷五月天| 五月丁香影院| 久久婷综| 99热老网站| 五月婷婷在线网站| 日本色99| 欧美五月停| 97干在线观看视频| 甈你aaaaa| 黄色三级日本| 色五月丁香A欧美com| 五月色色网| 亚洲综合在线丁香五月| 亚州色婷婷| 日本波多野结衣视频| 99热国内精品| 久久这里只有国产视频| 亚洲网视屏| 久久久久久久久18久久| www.五月天色色.com| 色情免费视频播放| 免费AV播放| 偷拍99在线视频观看| 久久精彩综合视频| 色导航色婷婷五月天在线观看| 99爱爱| 99久久.www| 天天干天天日日| 影视av久久久噜噜噜噜噜三级| 97色色色| 97干在线看| 婷婷五月开心中文字幕在线| 久久婷五月婷| 1769在线观看欧美国产| 婷婷五月天伊人在线| 51国精产品自偷自偷综合 | 性爱五月婷婷| 九九免费精品在线视频| 91肏| 91在线精品一区二区| 五月丁香六月婷婷综合在线| 久久久久人妻精品| 亚洲综合网在线| 久热超碰| 激情五月婷| 极品人妻VIDEOSSS人妻| 97干网站| 天天做天天爱天天要| 99爱在线视频| 伊人五月婷婷| 狠狠激情五月天| 五月天综合网| 最新av在线观看| 五月天色社区| 性按摩玩人妻HD中文字幕| 91性高潮久久久久久久久| 《蜘蛛女》梁铮1995| 免费视频WWW在线观看网站| 亚洲性视频| 操一操| 精品一区二区三区免费毛片爱 | 99精彩视频在线观看| 激情AV| 懂色av蜜臀av粉嫩av永陈冠希| 日日操日日射| 狠狠色婷婷| 26uuu偷拍亚洲欧洲综合| 久草xx性爱视频| 五月激情天| 欧美人人操| 五月丁香六月婷婷在线观看| 4399无码视频| 婷婷五月丁香六月伊人网| 久久98热re| 一区二区三区四区牛| 丁香激情合作五月| 婷婷激情综合| 丁香五月区| 婷婷丁香五月网| 婷婷热色| 99re这里有精品手机在线| 五月色综合| 九九色影院| 天天操中文字幕| 色站9/| 天天插天天| 国产熟妇的荡欲午夜视频| 激情五月深爱五月观看| 涩综合网| 97碰碰在线观看视频| 久久人妻视步| 婷婷五月综合性爱| 伊人天天色| 五月天婷婷小说| 丁香综合网| 久久总和99| 爱狠射| 天天色综合网1| 99热9| 亚洲午夜精品久久久久久人妖| 超碰人人色| 日韩 中文 欧美| 激情综合网五月天| 欧美一级a| 精品少妇蜜臀91| 97在线观看| 五月色婷婷影视在线电影| 成人精品在线| 激情五月开心五月在线视频| 色色99| 激情丁香社区| 亲子乱AV一区二区三区下载| 任你擦免费视频| 五月婷婷 激情五月| 亚洲午夜国产成人电影VA国产欧…| 五月开心婷婷| 韩国中文字幕91| 婷婷狠狠五月综合| 国产做爰视频免费播放| 春色激情第四色| 国产XXXX搡XXXXX搡麻豆| 婷婷综合五月天激情| 婷婷五月天成人网| 五月综合激情图片| 成人在线视频网| 久久xx| 丁香五月成人社区| 九月色婷婷| 五月天天天色| WWW,色五月| www.五月天婷婷| 亚洲国产精品五月天| 91性高潮久久久久久久久| 丁香六月色香蕉视频| 久思思久视频| 久色姿源| 丁香五月六月激情| 国色天香成人网| 五月激情婷婷综合| 久久与婷婷| 美女网黄| 成人精品在线| www,8050,午夜三级| 99这里有精品视频| 色色热99| 99精品国产在热久久| 婷婷五月天久久| 婷婷五月天精品| 久久综合影院| 九九99九九99| 久久久大香蕉| 超碰人人草| 六月丁香五月婷婷| 热久久思思热思思| 国产精品日本一区二区在线播放| 婷婷娱乐丁香综合网| 玖玖@三月天天丁香婷婷| 久久六月天| 五夜丁香| 久久三级视频| 婷婷色在线| 婷婷色婷婷| 天天舔天天| 丁香六月婷婷激情| 五月婷婷丁香瑟瑟视频| 好色婷婷| 99色婷婷视频| 九九热只有这里精品| 日韩免费视频| 五月激情网络| 久久精品A片777777| 六月丁香五月激情网| 思思热99er| 天天做天天爽| 婷婷五月天影院| 五月婷婷大香蕉| 99视频精品全部免费观看| 色五月综合网站| 丁香五月成人| 色婷婷综合视频| 成人丁香五月| 操逼福利视频| 久久男人网婷婷| 91要啪| VA五月激情在线| 99久久九九视频| 噜噜精品| 久久久久久激情| 五月丁香网站| 婷婷色情五月| 国产91九色| 久久一热| 婷婷色色播五月天| 综合超碰熟| 伊人久久艹| 久久五月婷综合网| 丁香五月婷婷高清| 中文字幕av久久爽一区| 婷婷五月天直播| 婷婷色色欧美综合网| 五月亭亭开心网| 日日干五月天婷婷| 天天操综合网| 色五月综合激情| 大香蕉婷婷久久| 天天日天天色| 天天摸色吧天天摸色吧| 激情久久肏屄视频| 婷婷五月天丁香| 色五月激情婷婷| 九月影院義母在线播放| 福利视频在线播放| 丁香五月亚综合图片| 激情中文在线| 97色干| 色婷婷AV久久久久久久| AV在线资源| 亚洲妇女熟BBW| 性色五月天| 人人干人人干骚美女| 欧美日韩婷婷五月天| 久久久ww| 五月天婷婷激情干干| 色色影院黄大片| 五月天激情图片| 五月婷婷深爱六月| 99热亚洲精品| 国产肥白大熟妇BBBB视频| 丁香五月偷拍| 九九视频这里只有精品在线播放 | 又大又粗九一在线| 91成人看片| ji'qing'luan'ren'lun| 99碰碰碰| 丁香五月香蕉| 色狠久| 日韩色色色99| 丁香花五月天社区| 天天天干夜夜夜操| 色色色色色色色色色色色色色色,网站| 91人人操人人| 青青久在线视频免费观看| 久久综合影院| 六月激情婷婷综合| 青青草轻轻操| 国产熟妇的荡欲午夜视频| 激情深爱五月天| 九九免费视频在线| 色一情一乱一乱91Av| 99在线精品免费视频| 丁香婷婷性久久| 这里只有在线精品| 超碰不卡在线| 亚洲第一成人无码A片| 激情丁香六月| 天天成人综合视频| 久热欧美| 婷婷久久欧美| 亚洲综合在线视频| 五月天激情综合网| www·五月天| 婷婷涩五月| 最新国产AV| 色婷婷久久| 婷婷五月婷| Av性爱网站| 无码yw| 九九爱激情| 亚洲综合激情五月久久| 婷婷播5月| 色色综合日韩| 天天操天天曰天天射| 1024操逼| 五月丁香免费看| 色五月天婷婷| 五月永久激情| 99久久99九九99九九九| 99久在线精品99re8热| 欧美婷婷成人| 激情五月丁香在线观看直播| 九月激情网| 天堂网色婷婷| 欧美精品在线观看| 九九操操| 停婷丁五月在线| 五月综合六月丁| 婷婷五月天免费小说| 成人资源在线| 两性婷婷丁香五月| 色五月婷婷五月天| 激情亭亭五月| 91久久婷婷人人澡草| 亚洲综合色网站| 激情五月综合网最新| 秋霞少妇毛片| 成人五月丁香花| 99热这里只有精品5| 成人va视频| 亚洲五月天婷婷综合| 中文激情网| 丁香五月激情综合婷综| 超碰九热| 五月天婷婷影院| 99热这里只有精品16| 五月婷婷激情日本| 曰日爽日日操| 五月天全国最大成人网| 色热久资源| 丁香五月色五月| 久久五月天丁香花| www.seqingwuyuetian| 97人人草| 丁香激情四射| 直接看的AV| 艾小青av| 五月激激网w'w'w| 婷婷八月激情| 色射影院| 激情综合婷婷久久| 久久综合66| 男同91 | 黄色片avv| 成人做爰A片免费看视频| 99自拍视频网站| 亚洲激情综合免费| 影音先锋 婷婷| 久久久久综合激动五月天| 激情五月深爱五月观看| 日韩不卡DvD| www.maotanji.com| 99热精品10| 97色综合| AV在线不卡播放| 极品人妻VIDEOSSS人妻| 日本一级黄色电影| 色六月婷婷| 97丁香五月| 婷婷五月天在线视频网站| 色五月女| 丁香五月天天高清在线| 欧美97p| 五月天婷a在线| 香蕉久久六月| 97久操视频| 大香蕉懂9| 伊人天堂婷婷| 婷婷色五月大香蕉在线| 丰满少妇猛烈A片免费看观看 | 思思热久久爱| 六月色色综合| www。88热在线视频免费观看| 亚洲色涩视频| 色婷婷五月开心六月综合| 亚洲av成人在线| 五月丁香六月婷婷啪啪| 九九干视频| 色色色色色五月| 激情丁香五月天图片| 色色综合五月| 日本偷拍九九九| 久久丁香婷| www.亚洲激情.com| 视频一区二区在线| 综合在线观看99| 99热香港| 99在线视频操999| 91.www综合| 欧美性猛交 XXXX 乱大交| 777精品久无码人妻蜜桃| 欧美激情综合色综合啪啪五月| 婷婷激情五月| 噜噜噜久久| 婷婷五月天av| 婷婷色五月激情| 久久久婷| 国产69久久久欧美黑人A片| 国产美女无遮挡裸体毛片A片| 九九在线视频| 欧美成人AAA片一区国产精品| 少妇性BBB搡BBB爽爽爽视頻 | 五月丁香五月激情综合色综合| 五月丁香999| 狠狠搞综合色| 俺去也在线www色官网| 五月婷婷综合潮喷| 婷婷五月天激情五月天深爱五月天| 亚洲成人人人操| 5月丁香婷婷激情网| 色婷婷六月| 大香蕉伊人99| 婷婷啪啪| 在线天堂9| 久久综合激情| 噜噜噜久久| AA片在线观看视频在线播放| 思思久久99热只有频精品66| 久久婷婷五月丁香蜜桃网| 久草五月丁香婷婷综合| 成人色图情色成人网 www.5b5b5bcom 五月天| 国产肏屄大片| 538任你爽| 婷婷五月天激情网址| 伦乱美欧| 丁香五月天殴美激情| 另类小说五月天激情| 丁香六月成人网| 日韩99精品| 五月天六月色| 久久与婷婷| 99热精品无码| www狠狠| 乱精品一区字幕二区| 日韩无码AV电影网站| 久超免费视频| 七七色色综合| 91碰碰视频| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 亚洲婷婷丁香五月天激情小说| 丁香五月婷婷激情123| 九九精品视频在线6| 日夜夜久久| 中文资源在线a | www.日本久久videos| www.狠狠狠狠| 人妻久久久久久久久久| 丁香六月婷婷综合缴| 99激情网| 丁香婷婷久久 | 国产免费一区二区在线A片视频| 天天综合精品| 久久受www免费人成| 一级性爱大片| 日韩成人电影在线播放| 操人妻90p| 思思热久久婷婷五月天| 婷婷五月天六月丁香| 免费AV播放| 国产日韩欧美| 99婷婷| 婷婷五月天色色| 狠狠婷婷色| 99啪在线视频| 日韩久热| 色婷婷欧美在线| 夜丁香五月婷婷| 欧美性爱一区| 五月激情视频| 久久久久9久无码视频| 激情性爱五月| 97久久久久| 99热久久最新地址| 婷婷 色 丁香 夜| 久久九九免费视频| 婷婷五月花.97| 亚洲婷婷五月| 国产色丁香| 五月天久久丁香| 九九大香视频| 久久久久久久人妻| 日日噜噜久久婷婷五月天| 色色婷婷丁香| 婷婷五月精品中文字幕| 中文字幕视频在线播放| 北京熟妇搡BBBB搡BBBB| A1片久久| Xx色综合| 色 五月婷婷基地| 综合色影院| 国产成人精品亚洲线观看| 亚洲精品444久久久久久| 99久久婷婷| 69激情小说| 婷婷丁香亚洲色综合91| 人妻人人操| 墨西哥毛片内射精| 五月天综合在线| 精品国产va久久久久久久| 色色亚洲视频| 99久久婷婷国产综合| 国产女人十八水真多1| 9久久久久|