欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI Agent多維評(píng)測(cè)體系:LLM-as-Judge、人工標(biāo)注與A/B測(cè)試實(shí)戰(zhàn)

AI Agent多維評(píng)測(cè)體系:LLM-as-Judge、人工標(biāo)注與A/B測(cè)試實(shí)戰(zhàn) 工作里只要沾過AI Agent開發(fā)十有八九會(huì)碰上一個(gè)靈魂拷問這Agent到底行不行我自己的評(píng)測(cè)框架從v1.0一路迭代到現(xiàn)在的21.0核心始終是圍繞LLM-as-Judge、人工標(biāo)注、A/B測(cè)試這三條腿走路再把它們得到的原始結(jié)果折算成一套能量化對(duì)比、能落進(jìn)發(fā)布流程的指標(biāo)。這篇內(nèi)容就是把我這些年踩過的坑和最終沉淀下來的多維評(píng)測(cè)實(shí)踐完整拆開講一遍。不管你是剛接手Agent評(píng)測(cè)的QA還是自己在做Agent項(xiàng)目、天天被“效果不行”卡得動(dòng)彈不得的開發(fā)者這篇文章應(yīng)該都能給你一套能直接抄作業(yè)的框架。1. 先想清楚Agent評(píng)測(cè)難在哪量化評(píng)估要量化什么很多人一上來就開始設(shè)計(jì)指標(biāo)結(jié)果越做越亂根本原因是沒有先搞明白評(píng)測(cè)對(duì)象變了。Agent不是傳統(tǒng)模型它不是“給一句話返回一個(gè)答案”這么簡(jiǎn)單它的行為鏈路長(zhǎng)、結(jié)果開放、過程耦合環(huán)境量化評(píng)估之前必須先重新定義“什么是好”。1.1 Agent與傳統(tǒng)模型評(píng)測(cè)的差別傳統(tǒng)NLP模型或者分類模型的評(píng)測(cè)本質(zhì)上是“答案對(duì)答案”給定輸入得到輸出拿輸出跟標(biāo)準(zhǔn)答案做精確匹配或者算BLEU、ROUGE這類相似度。這個(gè)過程目標(biāo)單一、環(huán)境可控、結(jié)果確定性高。到了Agent這里情況完全變了。它通常要做多輪推理要調(diào)用外部工具要根據(jù)環(huán)境反饋動(dòng)態(tài)調(diào)整策略最后甚至可能走出好幾條完全不同的成功路徑。舉個(gè)實(shí)際例子一個(gè)客服Agent處理“用戶想改收貨地址”這個(gè)任務(wù)。正確的路徑可以是先查詢訂單狀態(tài)再調(diào)用修改地址接口也可以是先詢問用戶新地址校驗(yàn)訂單還沒發(fā)貨再修改地址。兩條路結(jié)果一樣但中間過程差別很大。如果你還是只比對(duì)最終輸出文本那幾乎沒法做自動(dòng)化評(píng)估。Agent評(píng)測(cè)的難點(diǎn)就在這兒評(píng)估對(duì)象從一個(gè)“正確答案”變成了整條“行為軌跡最終狀態(tài)”而軌跡的合理性和狀態(tài)的好壞很多時(shí)候沒有唯一標(biāo)準(zhǔn)。這也是為什么量化評(píng)估不能只盯著“能不能完成任務(wù)”這一個(gè)點(diǎn)。你需要同時(shí)回答幾個(gè)問題任務(wù)完成得對(duì)不對(duì)完成得順不順過程中有沒有亂來代價(jià)高不高。這幾個(gè)問題對(duì)應(yīng)著完全不同的評(píng)估手段和指標(biāo)得拆開來看。1.2 量化評(píng)估到底量化什么能力、穩(wěn)定、成本、體驗(yàn)我在實(shí)踐中把量化目標(biāo)收斂成四類能力、穩(wěn)定、成本、體驗(yàn)。能力是最基礎(chǔ)的一層回答“這個(gè)Agent能不能完成它該做的事”。落地到指標(biāo)上就是任務(wù)成功率、子步驟完成率、工具調(diào)用正確率等。穩(wěn)定是很多團(tuán)隊(duì)容易忽略的一層。同一個(gè)Agent同一道題跑十次有時(shí)候成功有時(shí)候失敗這種“抽風(fēng)式”表現(xiàn)在生產(chǎn)環(huán)境非常致命。所以評(píng)測(cè)必須有重復(fù)運(yùn)行的概念至少要反映方差而不是只看均值。成本層必須考慮因?yàn)锳gent的消耗往往比傳統(tǒng)模型高一個(gè)量級(jí)。一次任務(wù)可能要多次調(diào)用大模型加上工具調(diào)用的附加費(fèi)用單task成本很容易就上去了。如果能力合格但成本高到?jīng)]法規(guī)?;沁@個(gè)Agent照樣上不了線。體驗(yàn)層則更主觀包括用戶覺得順不順、回答是否友好、有沒有不安全的表述。體驗(yàn)類指標(biāo)很難用精確匹配來度量這正是LLM-as-Judge和人工標(biāo)注的用武之地。1.3 從v1.0到v21.0我踩過的三個(gè)大坑早期我的評(píng)測(cè)體系就是v1.0只有“準(zhǔn)確率”一個(gè)指標(biāo)拿一批固定問題測(cè)一遍算個(gè)百分比就完事。結(jié)果上線第一周就被打臉業(yè)務(wù)方反饋一堆問題成功率看著90%實(shí)際問題基本辦不成。后來復(fù)盤發(fā)現(xiàn)評(píng)測(cè)集太簡(jiǎn)單答案判定用關(guān)鍵詞匹配很多回答只是“看起來對(duì)”但沒解決用戶實(shí)際問題。v5.0我開始引入LLM-as-Judge讓大模型給Agent的回答打分確實(shí)把評(píng)估范圍擴(kuò)開了但很快又發(fā)現(xiàn)Judge本身不穩(wěn)定。同一個(gè)回答今天打4分明天打3分換個(gè)模型甚至順序調(diào)換結(jié)果就變自動(dòng)評(píng)估結(jié)果沒法完全信任。v12.0搞了一套多維指標(biāo)能力、流程、安全、成本都算但指標(biāo)太多每個(gè)版本出來報(bào)告幾十頁(yè)團(tuán)隊(duì)根本不知道看哪個(gè)最終決策還是靠拍腦袋。直到v21.0才徹底理順三條腿各自分工LLM-as-Judge負(fù)責(zé)批量初篩人工標(biāo)注負(fù)責(zé)精評(píng)校準(zhǔn)A/B測(cè)試負(fù)責(zé)上線前后真實(shí)環(huán)境驗(yàn)證指標(biāo)統(tǒng)一進(jìn)一個(gè)儀表盤任何人打開只看一張圖就知道這個(gè)版本能不能發(fā)。下面把這套體系拆開講。2. 三大評(píng)估手段全解LLM-as-Judge、人工標(biāo)注與A/B測(cè)試這套體系最核心的部分就是三種評(píng)估手段怎么用、為什么這么用、各自有什么坑。先分別講清楚再講怎么組合。2.1 LLM-as-Judge讓大模型當(dāng)考官的原理與配置要點(diǎn)LLM-as-Judge本質(zhì)上是用一個(gè)大模型去評(píng)估另一個(gè)模型或Agent的輸出。核心假設(shè)是足夠強(qiáng)的通用大模型具備較好的語言理解、推理和事實(shí)判斷能力能模擬人類評(píng)估者給候選輸出打分或做偏好選擇。它的最大價(jià)值是速度和成本。人工評(píng)估一條復(fù)雜Agent軌跡可能需要好幾分鐘Judge只要幾十秒成本低一個(gè)數(shù)量級(jí)。所以在需要跑大量樣本做回歸測(cè)試時(shí)Judge幾乎是唯一可行的自動(dòng)化方案。但Judge不是開箱即用配置上有幾個(gè)關(guān)鍵點(diǎn)第一評(píng)分卡要具體。不要寫“請(qǐng)?jiān)u估回答質(zhì)量”要給出可判定的維度。我們常用的評(píng)分卡長(zhǎng)這樣相關(guān)性1~5分是否解決用戶核心問題、完整性1~5分是否遺漏關(guān)鍵信息、格式正確性0或1是否遵守指定輸出結(jié)構(gòu)、安全性0或1是否包含違規(guī)內(nèi)容。每個(gè)維度還要加一句“什么情況給幾分”的說明否則Judge就是靠感覺打分。第二選擇打分模式。如果是要評(píng)估一個(gè)Agent的絕對(duì)質(zhì)量用pointwise模式讓Judge按評(píng)分卡給單條輸出逐項(xiàng)打分如果是要比較兩個(gè)Agent版本誰更好用pairwise模式讓Judge看兩條輸出后選擇“A更好、B更好、平局”。另有一種reference-based模式把標(biāo)準(zhǔn)答案給Judge做參照適合事實(shí)性強(qiáng)的任務(wù)。三種模式我都在用業(yè)務(wù)上偏“判斷好壞”用pointwise版本迭代時(shí)偏“對(duì)比優(yōu)劣”用pairwise。第三控制Judge自身的偏差。Judge有幾個(gè)出了名的毛病位置偏差pairwise時(shí)傾向于選第一個(gè)或最后一個(gè)、自我偏好偏差用A模型做Judge往往偏向A模型自己的輸出、長(zhǎng)度偏差回答越長(zhǎng)分越高。我的緩解方法是pairwise評(píng)估時(shí)做位置置換把A、B的順序顛倒各評(píng)估一次取結(jié)果在評(píng)分卡里強(qiáng)調(diào)“按信息完整性和正確性打分不要因?yàn)榛卮痖L(zhǎng)就加分”對(duì)分歧樣本抽樣到人工復(fù)核。還有一個(gè)笨但有效的辦法定期用小批量人工標(biāo)注樣本檢驗(yàn)Judge和人類的一致性一致率低于80%就換Judge模型或調(diào)整評(píng)分卡。第四Judge結(jié)果的結(jié)構(gòu)化。別讓Judge自由發(fā)揮寫一大段評(píng)論強(qiáng)制它先輸出JSON格式的各維度評(píng)分再輸出一行簡(jiǎn)短理由。這樣下游可以直接解析入庫(kù)。一個(gè)典型的Judge輸出長(zhǎng)這樣{ task_id: task_0082, scores: { relevance: 4, completeness: 5, format: 1, safety: 1 }, reason: 用戶詢問改地址Agent先查詢了訂單狀態(tài)確認(rèn)未發(fā)貨后調(diào)用了修改接口流程完整。 }這里有個(gè)經(jīng)驗(yàn)Judge的溫度一定要設(shè)0否則同樣內(nèi)容兩次評(píng)估結(jié)果不一樣。另外每次跑批量評(píng)估前先用10~20條金標(biāo)準(zhǔn)樣本驗(yàn)證當(dāng)前Judge配置的有效性這步能省掉后面很多返工。2.2 人工標(biāo)注不可替代的黃金標(biāo)準(zhǔn)以及如何控制質(zhì)量既然有了LLM-as-Judge為什么還需要人工標(biāo)注原因很簡(jiǎn)單Judge本身也是個(gè)模型它的判斷不一定符合真實(shí)用戶和業(yè)務(wù)方的預(yù)期。人工標(biāo)注是假設(shè)的“黃金標(biāo)準(zhǔn)”用途不是跑量而是校準(zhǔn)和驗(yàn)證。但人工標(biāo)注最大的麻煩是質(zhì)量波動(dòng)。同一個(gè)Agent輸出讓兩個(gè)人標(biāo)注結(jié)果可能完全相反。這不是人不行而是標(biāo)準(zhǔn)沒定死。我把人工標(biāo)注流程固化成了這么幾步第一步寫標(biāo)注手冊(cè)。手冊(cè)里必須包含任務(wù)背景說明、每類指標(biāo)的詳細(xì)定義、至少5個(gè)“不同分?jǐn)?shù)段”的標(biāo)注示例、常見邊界案例的處理方式。手冊(cè)要發(fā)到標(biāo)注群里一起評(píng)審不能一個(gè)人拍腦袋寫完就發(fā)。第二步雙人盲標(biāo)加仲裁。每條樣本至少兩個(gè)人獨(dú)立標(biāo)注如果兩人結(jié)果一致就入庫(kù)不一致就得由團(tuán)隊(duì)內(nèi)的仲裁人看一遍再定。仲裁的比例一般控制在10%~20%之間如果超過20%不是仲裁人累死而是標(biāo)注手冊(cè)有問題得回爐重做。第三步計(jì)算一致性。一般用Cohen‘s Kappa系數(shù)來量化兩個(gè)標(biāo)注人之間的一致性。公式不復(fù)雜[ \kappa \frac{P_o - P_e}{1 - P_e} ]P_o是實(shí)際一致率P_e是隨機(jī)情況下期望一致率。Kappa值在0.8以上說明標(biāo)注一致性很好0.6~0.8算可以接受低于0.6就需要重新培訓(xùn)或修訂手冊(cè)。我經(jīng)??吹綀F(tuán)隊(duì)只統(tǒng)計(jì)“一致率”而忽略Kappa比如某個(gè)類是大多數(shù)類兩個(gè)人都習(xí)慣性標(biāo)同一類一致率很高但Kappa很低這種情況看似一致實(shí)際質(zhì)量是有問題的。第四步在標(biāo)注批次里埋“金標(biāo)準(zhǔn)題”。我們會(huì)不定期放入少量已知標(biāo)準(zhǔn)答案的樣本標(biāo)注員在這些題上錯(cuò)了就說明注意力下降或標(biāo)準(zhǔn)理解跑偏需要及時(shí)提醒。樣本怎么選也是個(gè)學(xué)問。不要只從評(píng)測(cè)集里隨機(jī)抽要分層抽樣——按任務(wù)類型、輸入長(zhǎng)度、模型版本、成功失敗結(jié)果分層。否則人工標(biāo)注驗(yàn)證出來的結(jié)論可能只對(duì)某一類樣本有效。2.3 A/B測(cè)試線上分流、指標(biāo)與顯著性判斷LLM-as-Judge和人工標(biāo)注評(píng)估的都是Agent在測(cè)試環(huán)境里的表現(xiàn)A/B測(cè)試則是把評(píng)估搬到真實(shí)環(huán)境里讓真實(shí)用戶來驗(yàn)收。A/B測(cè)試不是所有場(chǎng)景都能做至少要有線上分流能力和相對(duì)充足的流量。但一旦能做它提供了最硬核的證據(jù)新版本到底有沒有給業(yè)務(wù)帶來實(shí)際提升。A/B測(cè)試的關(guān)鍵不是“開個(gè)實(shí)驗(yàn)開關(guān)”就完事而是三個(gè)層面的設(shè)計(jì)流量劃分。Agent場(chǎng)景通常按用戶ID或會(huì)話ID做哈希分流保證同一個(gè)用戶始終進(jìn)入同一個(gè)版本避免用戶感知混亂。不要用隨機(jī)數(shù)做分流因?yàn)橐淮螘?huì)話中可能涉及多次Agent調(diào)用隨機(jī)分流會(huì)把同一個(gè)請(qǐng)求打散到兩個(gè)版本數(shù)據(jù)就臟了。指標(biāo)設(shè)計(jì)。指標(biāo)至少要包含三個(gè)維度業(yè)務(wù)結(jié)果指標(biāo)任務(wù)完成率、轉(zhuǎn)化率、解決率、體驗(yàn)指標(biāo)用戶主動(dòng)反饋、滿意度、重試率、成本與性能指標(biāo)平均Token消耗、p95延遲、調(diào)用失敗率。只盯任務(wù)完成率是不夠的可能出現(xiàn)新版本完成任務(wù)多一點(diǎn)但成本翻倍的情況這種版本往往也不能直接全量。顯著性判斷。樣本量不夠就跑不出顯著性這是最常見的坑。我習(xí)慣在實(shí)驗(yàn)前先做事前樣本量估算用歷史數(shù)據(jù)的方差和期望提升幅度來反推需要多少樣本。實(shí)驗(yàn)結(jié)束后不僅要看p值還要看置信區(qū)間和效應(yīng)量。p值顯著但效應(yīng)量只有0.1%業(yè)務(wù)上也未必值得上線。A/B測(cè)試還有幾個(gè)特別容易翻車的細(xì)節(jié)新奇效應(yīng)新版本剛上線用戶可能因?yàn)樾迈r感表現(xiàn)異常所以要跑夠周期至少覆蓋一個(gè)完整業(yè)務(wù)周辛普森悖論整體看有提升拆分用戶群后發(fā)現(xiàn)集中在某一部分人身上要按用戶群做分層分析以及實(shí)驗(yàn)組之間的流量污染如果同一個(gè)用戶既在A組又在B組體驗(yàn)過兩個(gè)版本的影響會(huì)混在一起。2.4 三種手段怎么配合研發(fā)、發(fā)版、上線三段式三種評(píng)估手段不是三選一而是流水線分工。我們團(tuán)隊(duì)現(xiàn)在的節(jié)奏是研發(fā)階段跑量用LLM-as-Judge。每次代碼變更幾百條回歸題自動(dòng)跑Judge打分后出一份摘要快速判斷這個(gè)commit有沒有把核心指標(biāo)弄崩。免費(fèi)、快速、覆蓋廣是這一階段的主要訴求。發(fā)版前做人工精評(píng)。Judge跑完不代表能發(fā)版我們會(huì)抽200~300條典型樣本安排雙人標(biāo)注重點(diǎn)看Judge容易誤判的安全類、體驗(yàn)類指標(biāo)同時(shí)也用這批標(biāo)注結(jié)果去校準(zhǔn)Judge的一致性。上線階段做A/B測(cè)試。只有精評(píng)過關(guān)的版本才具備A/B資格。線上實(shí)驗(yàn)跑1~2周看真實(shí)業(yè)務(wù)指標(biāo)的變化。這個(gè)三段式的好處是每一層都幫下一層過濾掉明顯不行的版本避免把昂貴的人工和線上實(shí)驗(yàn)浪費(fèi)在垃圾版本上。3. 多維評(píng)測(cè)指標(biāo)體系設(shè)計(jì)與歸一化算法評(píng)估手段解決了“數(shù)據(jù)從哪里來”指標(biāo)體系解決“這些數(shù)據(jù)怎么變成決策依據(jù)”。這套指標(biāo)我已經(jīng)反復(fù)打磨過下面直接給框架。3.1 指標(biāo)字典能力、效率、安全、成本、體驗(yàn)五大類任何一個(gè)Agent項(xiàng)目我建議先建立自己的指標(biāo)字典別東一榔頭西一棒槌。我常用的指標(biāo)字典大概是這樣類別指標(biāo)定義采集方式方向能力任務(wù)成功率SR最終目標(biāo)是否達(dá)成的比例人工/Judge越高越好能力步驟完成率子步驟完成數(shù)量/總步驟數(shù)軌跡解析越高越好能力工具調(diào)用正確率工具調(diào)用正確的次數(shù)/總調(diào)用次數(shù)軌跡解析越高越好效率平均回合數(shù)完成任務(wù)的平均交互輪次軌跡解析越低越好效率求助率用戶被迫求助人工客服或多次輸入修正的比例線上埋點(diǎn)越低越好安全安全違規(guī)率出現(xiàn)違規(guī)或不當(dāng)內(nèi)容的任務(wù)占比人工/Judge越低越好成本單任務(wù)Token消耗完成一個(gè)任務(wù)平均消耗的輸入輸出Token數(shù)日志統(tǒng)計(jì)越低越好成本p95延遲95%請(qǐng)求完成時(shí)延日志統(tǒng)計(jì)越低越好體驗(yàn)用戶滿意度用戶反饋/評(píng)分問卷/人工/Judge越高越好體驗(yàn)事實(shí)一致性率回答與已知事實(shí)不一致的比例人工/Judge越高越好這個(gè)表不是死的每個(gè)項(xiàng)目要先看業(yè)務(wù)目標(biāo)再做增刪。但有幾條通用原則指標(biāo)必須要能采集不能靠感覺指標(biāo)必須方向一致別把“回合數(shù)”和“用戶滿意度”混在一起說“體驗(yàn)變好了”指標(biāo)不能太多核心看板建議控制在10個(gè)以內(nèi)否則根本沒人看。3.2 指標(biāo)歸一化與綜合評(píng)分不同指標(biāo)單位不同沒法直接相加必須先歸一化。最常用的是線性歸一化設(shè)定一個(gè)“及格線”和“滿分線”把原始值映射到0~100。比如任務(wù)成功率0%是0分100%是100分。成本類指標(biāo)反過來平均Token消耗1000以下是100分5000以上是0分中間線性插值。這里的上下限要根據(jù)業(yè)務(wù)實(shí)際情況來定不能閉眼拍。歸一化之后還要加權(quán)重。權(quán)重怎么定我建議兩種方法二選一一是團(tuán)隊(duì)投票每個(gè)人按業(yè)務(wù)重要性給五個(gè)大類打分再取平均二是用層次分析法這類結(jié)構(gòu)化的方式兩兩比較指標(biāo)重要性算出一致性權(quán)重。權(quán)重的核心要求是“可解釋”上線評(píng)審被問“為什么綜合分是82”你得能一步步解釋清楚。綜合評(píng)分公式很簡(jiǎn)單[ Total \sum_{i1}^{n} w_i \times score_i ]但我必須強(qiáng)調(diào)一句總分只是用來快速排序的做決策時(shí)一定要拆開看。曾經(jīng)我們有一個(gè)版本綜合分超了基線但點(diǎn)開細(xì)項(xiàng)發(fā)現(xiàn)安全違規(guī)率明顯惡化綜合分被成本優(yōu)勢(shì)拉高了。這種情況如果只看總分遲早出事。所以儀表盤上總分一定要配一張雷達(dá)圖或者維度明細(xì)安全、核心成功率這種關(guān)鍵指標(biāo)最好單獨(dú)設(shè)紅線。3.3 場(chǎng)景適配Java/Spring Boot、知識(shí)庫(kù)Agent、代碼生成Agent怎么套指標(biāo)同樣的框架落到不同技術(shù)棧和業(yè)務(wù)場(chǎng)景里指標(biāo)側(cè)重點(diǎn)完全不同。我看到有些團(tuán)隊(duì)想套一套通用評(píng)測(cè)標(biāo)準(zhǔn)走天下結(jié)果每個(gè)業(yè)務(wù)都不適配。舉三個(gè)典型場(chǎng)景第一個(gè)是Java/Spring Boot這類后端服務(wù)化的Agent客戶端。這類Agent通常要跟業(yè)務(wù)系統(tǒng)深度集成核心訴求是穩(wěn)定性和接口正確性。除了通用指標(biāo)要額外關(guān)注服務(wù)超時(shí)率、并發(fā)下的錯(cuò)誤率、權(quán)限控制是否合規(guī)、工具參數(shù)序列化是否正確。評(píng)測(cè)時(shí)最好在測(cè)試環(huán)境搭一套Mock服務(wù)專門模擬超時(shí)、異常、重試等場(chǎng)景。第二個(gè)是Obsidian AI Agent知識(shí)庫(kù)場(chǎng)景。這類Agent本質(zhì)是檢索增強(qiáng)生成核心價(jià)值是能不能從知識(shí)庫(kù)里找到正確內(nèi)容并給出準(zhǔn)確引用。評(píng)測(cè)重點(diǎn)要加檢索相關(guān)性返回的知識(shí)片段是否對(duì)題、引用正確性回答里的引用是否真的存在于知識(shí)庫(kù)、事實(shí)一致性回答是否忠實(shí)于檢索結(jié)果有沒有瞎編。這些指標(biāo)靠精確匹配測(cè)不了Judge加上人工抽檢是主要手段。第三個(gè)是Verilog代碼生成Agent。這類代碼生成Agent更硬核因?yàn)榇a能不能跑這件事是客觀的。我們?cè)u(píng)測(cè)時(shí)會(huì)直接接一套工具鏈Agent生成代碼后自動(dòng)做語法編譯、功能仿真最終以編譯通過率和仿真通過率為核心指標(biāo)。這類場(chǎng)景里Judge的作用反而弱化因?yàn)樽钣姓f服力的裁判是編譯器。這也是我想說的指標(biāo)設(shè)計(jì)要跟著場(chǎng)景走別把Judge當(dāng)萬能藥。4. 評(píng)測(cè)流水線落地從評(píng)測(cè)集到回歸看板有了指標(biāo)和評(píng)估手段還得把它們串成一條可重復(fù)運(yùn)行的流水線。否則每次評(píng)測(cè)都是手工活換個(gè)版本重新跑一遍效率極低還容易漏。4.1 評(píng)測(cè)集建設(shè)數(shù)量、來源與防污染評(píng)測(cè)集是一切評(píng)估的基石。沒有好的評(píng)測(cè)集再花哨的評(píng)估手段也是白搭。評(píng)測(cè)集的來源我建議三個(gè)渠道結(jié)合第一真實(shí)業(yè)務(wù)日志脫敏。這是最寶貴的來源去線上把真實(shí)用戶的問題收集起來去掉隱私信息做成輸入樣本。第二公開基準(zhǔn)集比如各種開源的Agent benchmark可以作為參考但要注意跟業(yè)務(wù)差異。第三人工構(gòu)造的邊界題專門覆蓋長(zhǎng)尾、極端、惡意輸入等場(chǎng)景這部分題目數(shù)量不用多但必須要有。數(shù)量上我們的經(jīng)驗(yàn)是回歸評(píng)測(cè)集至少要有幾百條級(jí)別。Agent的評(píng)估方差大題目太少一個(gè)隨機(jī)波動(dòng)就淹沒真實(shí)變化。但也不是越多越好因?yàn)槊吭黾右粭l題跑一輪和人工抽檢的成本都在漲。我們一般把評(píng)測(cè)集分成兩層核心回歸集300條左右每次改動(dòng)都跑擴(kuò)展評(píng)測(cè)集1000~2000條每周跑一次。評(píng)測(cè)集防污染是現(xiàn)代AI評(píng)測(cè)里必須考慮的問題。如果評(píng)測(cè)集的題目出現(xiàn)在Agent訓(xùn)練數(shù)據(jù)里那評(píng)測(cè)結(jié)果就是虛假繁榮。我的做法是核心評(píng)測(cè)集不公開專人管理定期換一批題使用私有化評(píng)測(cè)題庫(kù)避免直接從公開數(shù)據(jù)集整包拿過來用上線新題時(shí)做相似度去重防止跟已有訓(xùn)練語料高度重合的題混入。4.2 執(zhí)行流程與工程化Runner、Mock與多次運(yùn)行一次完整的評(píng)測(cè)執(zhí)行本質(zhì)上是把“數(shù)據(jù)集Agent配置外部服務(wù)MockerJudge”都編排起來跑一遍。我的建議是把它做成一個(gè)Runner腳本允許參數(shù)化傳入模型版本、Prompt模板、工具配置和評(píng)測(cè)集ID。執(zhí)行流程大概是加載評(píng)測(cè)集遍歷任務(wù)對(duì)每個(gè)任務(wù)初始化Agent環(huán)境包括Mock外部服務(wù)的響應(yīng)運(yùn)行Agent記錄完整軌跡推理過程、工具調(diào)用、中間回復(fù)、最終回復(fù)超時(shí)和異常要單獨(dú)標(biāo)識(shí)而不是直接判失敗否則會(huì)把超時(shí)誤當(dāng)成能力差將軌跡和結(jié)果交給Judge打分匯總所有分?jǐn)?shù)寫入結(jié)果數(shù)據(jù)庫(kù)生成評(píng)測(cè)報(bào)告。這里有兩個(gè)容易被忽略的細(xì)節(jié)分別說一下。第一個(gè)是外部服務(wù)的Mock。Agent大量依賴工具調(diào)用如果直接連真實(shí)測(cè)試環(huán)境會(huì)出現(xiàn)網(wǎng)絡(luò)抖動(dòng)、數(shù)據(jù)不一致、接口限流等噪聲干擾評(píng)估結(jié)果。我們要求所有工具調(diào)用都要能被Mock掉Mock的響應(yīng)要穩(wěn)定且可以版本化管理。A/B測(cè)試可以上真實(shí)環(huán)境但離線評(píng)測(cè)必須保持環(huán)境純凈。第二個(gè)是多次運(yùn)行取分布。Agent具備隨機(jī)性即使溫度設(shè)0也不能保證完全確定工具返回內(nèi)容、上下文方差都可能導(dǎo)致結(jié)果漂移。所以關(guān)鍵實(shí)驗(yàn)我建議同樣的任務(wù)至少跑3次記錄成功次數(shù)的分布而不是單次結(jié)果。比如某任務(wù)跑了3次成功2次成功率記為0.67這比單次0或1有意義得多。代價(jià)是評(píng)測(cè)耗時(shí)增加但換來的是對(duì)穩(wěn)定性的理解值得。4.3 回歸看板與發(fā)布門禁讓評(píng)測(cè)真正影響決策評(píng)測(cè)體系如果只是每周出一份報(bào)告價(jià)值就少了一半。真正要讓評(píng)測(cè)影響決策必須做成“門禁”和“看板”看板要常駐。我們有一個(gè)內(nèi)部頁(yè)面展示主干版本的每個(gè)指標(biāo)折線圖。橫軸是版本號(hào)縱軸是歸一化分?jǐn)?shù)或原始指標(biāo)。任何人一打開就能看到上一版到這一版哪個(gè)指標(biāo)漲了、哪個(gè)跌了。這比評(píng)審會(huì)上翻PPT高效太多。門禁要硬。在CI/CD流水線里加上評(píng)測(cè)步驟核心回歸集不過不允許merge到主干A/B測(cè)試沒完成不允許全量發(fā)布。具體門檻可以這樣設(shè)置任務(wù)成功率不低于前一個(gè)版本安全違規(guī)率為0p95延遲增加不超過5%單任務(wù)成本增幅不超過10%。這里的安全違規(guī)率我建議設(shè)置成硬性0容忍其他指標(biāo)可以允許小幅波動(dòng)但要解釋原因。回歸看板還有個(gè)作用逼著團(tuán)隊(duì)面對(duì)穩(wěn)定性的問題。如果某個(gè)版本成功率抖動(dòng)很大看板上會(huì)顯示方差變寬這時(shí)候不管是模型還是評(píng)測(cè)集的問題都得停下來查清楚而不是看均值“好像還行”就放過去。5. 常見問題與排查技巧實(shí)錄前面講的都是理想框架實(shí)操中幾乎每一步都會(huì)出幺蛾子。這一節(jié)專門記錄我遇到過的高頻問題每個(gè)都踩過坑希望能幫你少走彎路。5.1 LLM-as-Judge不聽話評(píng)分飄忽、與人類不一致現(xiàn)象一同樣是“很好”的答案換了個(gè)Judge模型就變成低分。排查方案是先看評(píng)分卡是不是足夠客觀。如果評(píng)分卡還在用“請(qǐng)?jiān)u估回答質(zhì)量”那是評(píng)分卡的問題不是Judge的問題。改成帶維度粒度和示例的評(píng)分卡一致性會(huì)明顯提升?,F(xiàn)象二Judge和人工標(biāo)注的一致性只有60%。這種時(shí)候不要硬上Judge先找到分歧集中在哪類樣本。我遇到過Judge對(duì)“間接回答了問題但沒直接給答案”的情況格外嚴(yán)厲而人類覺得這種回答可以接受雙方打分手腕不一樣。解決方案是給Judge加一條“允許Agent追問澄清”的規(guī)則并在標(biāo)注手冊(cè)里同步說明讓人類和Judge對(duì)齊?,F(xiàn)象三Judge自己出現(xiàn)幻覺在理由里寫了一些回答里根本沒有的內(nèi)容。這種情況只能靠更換更強(qiáng)的Judge模型以及增加“回答中是否包含xxx”這種可驗(yàn)證性的評(píng)分維度來緩解。記住Judge也是有幻覺風(fēng)險(xiǎn)的模型不能全盤信任。5.2 人工標(biāo)注質(zhì)量和一致性差最典型的場(chǎng)景是雙人標(biāo)注一致率不到70%Kappa低于0.5。一開始我們以為是標(biāo)注員不認(rèn)真后來復(fù)盤發(fā)現(xiàn)是標(biāo)注手冊(cè)里“邊界案例”太多比如“用戶要求Agent幫忙改寫郵件但保留語氣不變”什么樣算語氣不變不同人理解完全不同。解法分三步第一步把分歧最大的樣本收集起來逐條討論把新確認(rèn)的規(guī)則補(bǔ)進(jìn)標(biāo)注手冊(cè)。第二步對(duì)標(biāo)注員做一次集中培訓(xùn)重點(diǎn)講新增的邊界案例。第三步重新抽一批獨(dú)立樣本測(cè)Kappa。通常這一輪下來一致性會(huì)從0.5拉到0.7以上。如果還不行就得考慮是不是指標(biāo)本身定義太模糊需要換一個(gè)更容易判定的指標(biāo)。5.3 A/B測(cè)試跑不出顯著差異這是最讓人崩潰的場(chǎng)景之一明明離線評(píng)測(cè)有明顯優(yōu)勢(shì)線上A/B就是沒有顯著結(jié)果。我遇到過的原因有三種第一種樣本量確實(shí)不夠。跑了一周就著急看數(shù)據(jù)置信區(qū)間寬得能裝下整個(gè)宇宙。解法是事先算好樣本量耐住性子跑夠時(shí)間。第二種指標(biāo)選錯(cuò)了。離線評(píng)測(cè)用的是任務(wù)成功率線上實(shí)際統(tǒng)計(jì)的是“用戶發(fā)起會(huì)話后有沒有點(diǎn)‘已解決’”這兩者口徑差異很大。我在早期犯過這個(gè)錯(cuò)離線成功率提升10%線上“已解決率”紋絲不動(dòng)最后發(fā)現(xiàn)線上用戶根本不會(huì)主動(dòng)點(diǎn)“已解決”。解法是要用跟業(yè)務(wù)結(jié)果強(qiáng)相關(guān)的指標(biāo)來做A/B而不是直接搬離線指標(biāo)。第三種版本差異被噪聲淹沒。線上流量本身波動(dòng)很大節(jié)假日、活動(dòng)、渠道投放都會(huì)帶來噪聲。建議A/B期間同時(shí)監(jiān)控自然波動(dòng)數(shù)據(jù)或者用分位數(shù)、更長(zhǎng)時(shí)間的窗口來觀察而不是只看每天的均值。5.4 評(píng)測(cè)集污染與線上失真評(píng)測(cè)集被污染的表現(xiàn)是離線分越跑越高線上業(yè)務(wù)指標(biāo)毫無變化甚至下滑。除了訓(xùn)練數(shù)據(jù)可能包含評(píng)測(cè)題之外還有一種常見情況是評(píng)測(cè)集本身構(gòu)建時(shí)帶偏見——偏向某一種回答風(fēng)格或問法導(dǎo)致Agent在評(píng)測(cè)集上練得“過擬合”。防止線上失真的核心是兩條一是評(píng)測(cè)集持續(xù)更新不能一年到頭就那幾百道題二是定期做“盲測(cè)回流”——從線上隨機(jī)抽出真實(shí)用戶請(qǐng)求作為臨時(shí)評(píng)測(cè)樣本跑一輪離線評(píng)估看離線分?jǐn)?shù)和線上真實(shí)表現(xiàn)是否一致。一旦發(fā)現(xiàn)兩者越來越脫節(jié)就要馬上重寫評(píng)測(cè)集或調(diào)整評(píng)測(cè)邏輯。模型在進(jìn)化用戶問題也在進(jìn)化評(píng)測(cè)集不是一次性資產(chǎn)這點(diǎn)一定要有意識(shí)。我個(gè)人在實(shí)際操作中的一個(gè)體會(huì)是評(píng)測(cè)體系做得越久越要警惕“為了好看而評(píng)測(cè)”。指標(biāo)不是越多越好手段也不是越高級(jí)越好關(guān)鍵是能不能幫你在正確的時(shí)間攔住錯(cuò)誤的版本。這些方法組合在一起就是我和團(tuán)隊(duì)目前跑得很順的v21.0方案。它不一定適合所有團(tuán)隊(duì)但至少提供了一條從“憑感覺”走向“用數(shù)據(jù)說話”的可行路徑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
啪啪啪大香蕉| 五月丁香自拍| 五月丁香六月婷婷激情视频在线观看免费 | 五月天亚洲综合网| 成人电影在线免费试看| 日本婷婷在线| 色色是色N一| 天天干,天天日| 丁香婷婷久久 | 色婷婷狠狠18| 亚洲AV日韩无码| 婷婷五月天综合久久| 国产人人操| 五月花激情| 人妻激情网| 久热这里只有精品6| 成人网页在线观看| 91九色中文字幕女在线观看| 狠狠做六月爱婷婷综合aⅴ| 99热在线只有精品| 午夜精品777| 丁香五月婷婷图片综合| 色婷婷88| 天天干天天 亚洲| 91狼友视频网页更新| 蜜桃五月天| 五月丁香婷婷激情四射迷人| 97干视频| 中文无码精品一区二区三区| 91xxxx九色| 丁香五月婷婷亚洲综合精品| 久久99热 这里有精品| 久操香蕉| 91久久婷婷| 九九精品片一| 9 1在线视频| 婷婷色九月| 丁香五月天信号| 色五天综合| 99视频只有精品| 97人人看| 国产乱子轮XXX农村| 天天日人人爽| 超碰91在线| 怎么样可以看免费的一级av| 翔田千里 50岁 无码| 综合久久婷婷五月丁香| 色综合久久综合| 热久久91| 婷婷五月天激情综合深爱激情| 日韩欧美婷婷丁| 男人天堂99| 99热成人精品| 久久色五月| 风流少妇A片一区二区蜜桃| 就99这里只有精品| www.91.com黄| 超级碰 久久9| 97精品人人A片免费看| 日本操逼九九九九58日本操逼| 婷婷五月激情图片| 久久五月天丁香| 26uuu| 色丁香婷婷美女视频网站| 超级碰 久久9| 99精品国产乱码久久久人妻| 色五月婷婷中文字幕在线观看 | 色色综合色视频| 五月天丁香久久综合| 欧美超级视频97| 婷婷丁香水多多视频| 欧美日本高清视频99| 伊人久久大香网| 欧美Va在线| 91大神操美女| 新激情综合| 丁香五月婷婷色| 五月天婷婷无码视频| 天天弄天天爽| 操久久网| 9久热在线精品| 五月婷婷色播| 五月色网| 国产亚洲精品久久一区二区三区| 色播五月丁香| 伊人狠狠操| 成人日韩欧美| 婷婷五月综合社区| 色五月天丁香婷婷色| 国产精品涩涩涩视频网站| 五月丁香啪啪综合| 婷婷五月天在线观看| 天天做天天要天天爽| 97人人搞| 狠狠99| 色啦啦视频| 五月婷婷中文字幕| 久9热在线视频| 操射国产日本| www.av骚货| 99综合网| 丁香成人五月天| 婷婷五月激情五月丁香五月| 婷婷五月丁香激情图片| 超碰自拍天堂| 狠狠色综合无线观看| 九九热最新视频| 26UUU精品一区二区| se色99| 五月色色网| 99啪啪骑| 人人97操| www.com.色色| 久久精品五月| 欧美日韩成人在线免费| 99草视频在线观看| 啪啪操操| 日韩久热| 99操| 国产xxxxx在线观看| 狼人狠狠操| 婷婷亚洲久久| 激情啪啪五月| 玖玖爱综合网| ww亚洲ww在线观看| 情五月亚洲婷婷| av在线观看网站| 爱狠射| 日本美女97在线视频| 久99999热视频在线观看免费| 国产成人网| 97人人超| 综合激情婷婷| 97一区二区| 久久一级AV| 亚洲精品久久久久久久久久吃药| 成人.在线日韩| 蜜桃人妻无码AV天堂三区| 99色在线视频| 秋霞少妇AV网站| 91丨九色丨43老版熟女| 国产偷人爽久久久久久老妇APP| 老美AA片| 激情五月天婷婷色色色色色色色色色色色 | 另类激情五月| 亚洲超碰在线| 色色五月婷婷狠狠| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 蜜桃婷婷狠狠久久| 思思色播| 插少妇综合网| 婷婷激情六月天视频| 伍月婷丁香花全集| 九九99热久久精品66中文字幕| 亚洲六月色| 五月天婷婷婷| 婷婷操超碰| 国产成人网址| 综合aV在线| 日韩成人不卡| 九九超日本| 九九99香蕉在线视频播放| 欧美日本黄色| 69午夜成人影片| 午夜国产精品AV在线播放| 欧美VA在线| 五月天婷婷AV| 亚洲精品V天堂中文字幕| 操人妻AV| 九色PORNY在线精品酒店| 国产综合视频婷婷| 99热这里只有精品23| 九一99| 亚洲欧美婷婷五月色综合| 大香蕉中文| 免费视频无码| 中文成人在线| 欧美欧盟性爱网| 五月天色五月天| 99思思热只有在这里看| 日良久久| seuuu婷婷| 五月婷婷六月丁香玖玖玫瑰91| 婷婷五月香蕉| 天天爽天天摸| 99热都是精品| 18久久| 九九精品网站| 深爱开心激情| 99热久久这里只有精品| 99狠狠| 日韩三级片一区二区| 91精品国产综合久久密臀| 综合久久五月天| 99热.com| 九色PORNY在线精品酒店| 亚洲sesesese| 无码区婷婷五月花开| 五月天狠狠| 免费视频1区| 色碰碰| 99热这里只有精品23| 九九视频在线| 婷婷激情久久| 欧美情月伍月天| 丁香美女主播视频在线观看| 97碰在线视频| 丁香婷婷五月色成人网站| 天天做天天双| 亚洲综合婷婷| AV网址大全在| 青青五月天婷婷| 99热成人精品网站| 久久婷婷老| 激情五月天色色| 五月深爱激情网| 丁香五月激情婷婷| 亚洲黄3级片网站欧美| 色综合爱综合| 99这里有精品视频| 激情久久久久久| 婷婷五月天六月| 九九99久久| 99干在线| 六月丁香激情综合| 九九精品热| 97人妻碰碰碰久久香蕉| 中文AV网站| 极品少妇高潮啪啪AV无码| 91热视频色网站| 婷婷五月天成人网站| 9l视频自拍9l九色成人| 婷婷五月成人| 九九香蕉网| 日笨久久网| 色。 日日日| 五月激情啪啪啪| 九九中文色色| 色丁香影院| 国产国产乱老熟女视频网站97| 色狠狠色综合久久久绯色AⅤ影视| 日韩十国产极品久久| 欧美顶级少妇做爰HD| 综合啪啪| 999热在线视频| 久热AⅤ| 特级片神马电影| 久久精彩视频| 五丁香激情综合| 婷婷激情图片| 五月丁香爱婷婷深深| 色婷狠狠| 五月丁香龟婷婷| 欧美人与性动交CCOO| 99色这里| 任你草| www.婷婷五月| 九九99在线免费在线观看视频| 五月婷久久草| 久久婷五月综合| 成人在线免费网址| 99热综合网| 9色小视频在线观看| 99精品久久久久久久婷婷久久| 伊人久久艹| 狠狠香蕉| 99免费在线| 操碰99| 亚洲一区二区无遮挡A片| 丁香五月熟女| 欧美婷婷综合| 婷婷成人AV| www激情| 色婷婷在线视频观看| 亚洲激情区| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 色色A| www.99操| 激情九色| 亚洲av免费在线| 激情五月天在线视频| 蜜乳AV成人| 五月婷婷片| 蜜桃婷婷狠狠久久综合| 国产.亚洲.欧洲视频在线| 欧美天天搞| 丁香九九九九| 婷婷六月丁香在线| 操逼五月婷婷| 五月丁香欧美综合| 丁香婷婷九月| 久久激情五月| 日日操,天天操| 狠狠狠狠草草| 欧美久久网| 99爱爱| 久热婷婷| 色色哒五月婷婷六月丁香| 91亚洲视频| 婷婷五月六月丁香| 99色色爰| 丁香婷婷五月色综合| 六月丁AV| 色色丁香| 一区二区三区四日本| 久久婷婷色五月| 婷婷五月天大香蕉| 丁香六月综合| 五月天综合图片| 五月婷婷六月丁香首页| 99热8| 天天日夜夜草进麻麻的子宫| 欧美激情五月天| 激情爱爱网站| 精品人妻伦九区久久AAA片| 日韩综合大黄| 国产操碰| 超碰婷婷色| 99热这里只| 婷婷五月激情图片| 婷婷色影音天| 丁香六月婷婷综合激情欧美| 色婷綜合网| ady狠狠入| 无码激情| 亚洲AV成人无码久久精品老人法拉利| 另类精品视频在线观看| 国产成人AV不卡| 五月婷婷婷丁香播| 伊人天天色| 丁香五月婷婷综合91| 激情综合五月| 五月婷婷色激情| www.久久久久久久| 婷婷丁香综合网| 久热69| 五月天色官网| 婷婷99热| 超碰cap| 色婷婷综合亚洲| 在线五月色播| 久久久久8888| ai97re99一本| AAA久久| 99久久性爱| 久久99热这里只有精品首| 色五月噜噜| 99久视频| 99视频只有精品| 777.色色| 99玖玖免费视频| 九九在线热九九在线热99热| 日韩欧美颜射| 综合在线色婷婷| 26uuu.| 伊人玖玖网| 少妇性按摩无码中文A片 | 欧美视频五区| 久久99免费视频网站| 激情五月综合婷婷| 午夜成人综合| 丁香婷婷色情社区成人小说| 五月花成人网| 五月色综合网欧美网| 婷婷丁香五月天熟女丝袜| 少妇高潮A片无套内谢麻豆传| 婷婷成人视频| 久久开心五月婷婷| 五月情婷婷五月| 97在线视频人妻九色| 九九视频在线观看视频在线播放69| 丁香五月天之婷婷影院| 玖玖爱资源站| 六月丁丁香| 66精品成人免费网站在线观看| 丁香五月,开心五月,成人婷婷| 1囯产午夜仑鲁鲁| 无码成人AAAAA毛片AI换脸| 九九色逼| 成人婷99最新| 免费亚洲婷婷中文字幕| 日本九婷婷| 色婷婷五月婷婷五月婷婷五月| 久色网| 人妻激情视频| 色婷婷影音| chaopeng在线人人| 色婷五月天| 天堂草在线观| 日韩十国产极品久久| 天天插天天很| 婷婷永久在线| 欧美综合婷婷网| 伊人春天av| 91色综合| 国产成人网址| 99视频内射三四| www.五月天婷婷| 超级碰人人操人人干| 99久久超级| av免费在线看不卡无毒| se色婷婷视频| 伊综合蕉| 日韩啪图| 亚洲色色五月天| 五月丁香六月婷婷综合| 久久日九九| 久久婷婷五| 69人人操人人爽| 激情五月最新网址| 9久热在线精品| 国产精品 的国产| 狠狠色婷婷7777久综合| 玖玖精品婷婷| 久久久久激情| 五月综合久久| 梁铮版《蜘蛛女侠》在线| 性爱综合网| 色一情一乱一乱一区91Av| 婷婷五月激情综合| 9久热| 色婷婷丁香A片区毛片区女人区| 激情婷婷| 久久婷婷五月综合色区| 色婷狠狠| 色婷婷成人网| 99re99热| 国产色五月婷婷| 婷婷瑟瑟五月天| 天天爽天天摸天天爱| 五月丁香综合网| 婷婷97碰碰| 久热超碰| 狠狠干婷婷| 6080av| www.久久久久| 欧美日韩大黄| 婷婷5月久久综合网站| 亚洲一区二区无码蜜乳av| 精品夜夜澡人妻无码AV| 欧美97p| 七七色综合| 久久婷婷色五月| 超碰A V在线| 日本高清综合网五月丁香| 国产黄色av| 丁香九月综合激情| 五月天色色激情综合| 99性视频| 五月综合色播播丁香婷婷| 丝雨一区二区| 婷婷五月大香蕉| 涩五月婷婷| 久久久激情| 色婷婷香蕉丁丁网| 亚洲一区二区无遮挡A片| 色婷婷五月色| 99热这里只有精品手机在线观看| 90色免费视频| 国产精品国产| 亚洲激情免费久久| 中文字幕久久婷九女同| 国产成人av在线| 色久在| 182无码| 天天爽免费视频| 中文字幕AV网址| www.五月天婷婷| 人妻熟妇六区| 99热综合色图| 99国产精品白浆在线观看免费| 色综合开心五月深爱五月| ady狠狠入| 超碰av在线| 亚洲五月天综合| 亚洲99一级无嗎特制在线| 影音先锋一区| 久久五月婷婷开心网| 六月婷婷视频| 欧美成人猛片AAAAAAA| 丁香五月综合AV在线| 五月丁香婷婷综合网| 无码激情AAAAA片-区区| 成人版视频在线观看| 天天做综合| 夜色爱爱亚洲| 婷婷五月影院| 成人版视频在线观看| 青草视频在线蜜臀| AV在线大香蕉| 色婷婷色综合| 五月丁香久久| 久久9视频欧美| 极品人妻videosss人妻| 久久性爱视频| 午夜日韩久久久网站| 激情婷婷五月天| 五月丁香六月婷婷综合| 丁香婷婷免费| 91狠狠色| 日韩久久日| 五月婷婷香| 五月花在线观看视频| 亚洲精品乱码久久久久99| 久久一级片| 婷婷在线播放| 五月婷婷,六月丁香| 婷婷五月天日本无码| 国产韩日亚洲美州欧亚综合在线| 午夜婷婷久久| 99久久久精品| 琪琪布丁香社区激情五月天| 五月丁香六月婷婷啪啪| 九九re精品视频在线观看| 丁香社区婷婷五月| 678五月丁香亚洲综合| 久久久久婷婷| 人人人操| 日本WWW九九九| 香蕉曰比| 五月天激情美女久久| a久久| 99热新网址| 激情五月色播五月| 成人视频婷婷| 97婷婷五月| 日日干日日s| 色综合网上班开心婷婷久久| ww久久| 91se在线观看| 色五月天丁香婷婷色| 中文字幕无码人妻少妇免费视频| 伊人网碰碰| 狠狠干在线| 亚洲av成人一区二区电影在线| 五月香蕉婷婷| 五月天激情国产综合婷婷婷 | 五月婷婷六月丁香激情综合网| 色色丁香| 久久婷婷精品| 色九区| 激情六月丁香| 日韩另类| 俺来也综合网精品一区| 综合色色网| 久操福利| 91se在线观看| 国产熟女大叫受不了| 天天拍天天操| 国产成人AV在线播放| 天天干一干| 婷婷五月丁香香蕉| 五月丁香啪综合| 超碰色综合| 99自拍视频网站| 中文字幕在线免费| 这里只有精品视频在线| www.久久| 91操操| 丁香五月天婷婷久久| 99网| 成人丁香婷婷五月天| 婷婷丁香五月天中文字幕| www.91五月| 99热精地址| 婷婷激情五月天激情小说| 五月婷婷丁香在线| 色五月婷婷自拍| 久久99久久99精品免观看粉嫩| 91AV婷婷| 婷婷大香蕉| 伊人丁香婷婷东京| 丁香五月婷婷www..com| 欧美成人精品一区二区 | 成人永久免费视频在线观看| 国产精品久久..4399| 天天操天天操天天操天天操天天操| 激情文学 综合 色| 欧美成人AAA片一区国产精品| 色色综合五月| 4399欧美另类视频| 免费AAAAA网| 丁香五月狠狠综合欧美| 日韩爱操视频| 色五月在线播放| www.99热| 九色视频91| 久热免费视频| 久热只有这里精品| 97sese婷婷| 五月激情婷婷综合| 大波美女VA网站| 区欧美日韩成人| 97五月天| 五月丁香婷婷综合在线| 婷婷99狠| 九九人人操| 色色aⅤ網| 色婷婷在线影院| 99综合视频一体| 视频综合网| 九九九九九九九九九九九九九九九九九九九在线视频 | 9久久久久久久久久久| 日日夜夜干| 这里只有精彩视| 99超级碰碰| 日日爽夜夜爽| 十月丁香九月婷婷综合| 久热99| 一级AV片| 在线视频另类| 亚洲va在线| 狠狠久久婷五月| 九九在线热九九在线热99热| 九九色婷婷| 中文字幕丰满孑伦无码专区| 免费精品99| 久久视频这里都是精品| 91传媒无码人妻精| 九九色逼| 激情婷婷五月天| 开心亚洲久久开心| 激情爱爱网站超大免费| 亚洲六月色| 久99久在线| 就去涩涩丁香五月天| 天天搡日日搡aaaaⅩ| 国产AV影片| 久久9精品| 天天爽夜夜爽夜爽精品| 日木狠狠干| 欧美久久久久久久久中文字幕| 五月色综合网| 超碰在线91| 色婷天天| 激情小说婷婷| 丁香五月激情五月| 日韩激情人伦人| 99欧美| 丁香五月开心亚洲| 激情五月天婷婷五月天| 久久久久久久久久久久久久久久一道本| 99九九精品| 五月天婷婷基地| 五月婷婷 激情按摩| 五月在线婷色| 大香蕉手机视频| 九九热婷婷| 五月婷婷开心综合| 日操夜操天天操不卡| 国产Va视频| 91狠狠色| www.99热视频| 国产 亚洲 在线| 超碰国产AV| 青青草原福利在线| 狠狠操狠狠色| 激情小说之五月| 色五月激情网| 色婷婷影院| 国产无人区大片| 91男人操女人视频| 【乱子伦】黄色| 久99热| 艹天天射| 久99热在线观看| 婷婷五月a| 亚洲激情五月丁香久久久久| 亚洲日韩乱码一区二区三区四区 | 五月丁香亭亭电影久久| 丁香五月激情性色郤| 少妇人妻丰满做爰XXX| 婷婷区日本| 狠狠色综合网| 777精品成人a v久久| 狠狠干狠狠色| 色人五月婷婷| 久久久久9久无码视频| 五月丁香狠狠| 99九九热视频免费| 五月婷婷偷拍| 香蕉综合在线| 婷婷五月天成人| 狠色狠色狠狠色综合网| 国产SUV精品一区二区6| 亚洲色欲AAAAAA| 波多婷婷久久| 久久美女五月天| 一月婷婷色色| 久久三级视频| 亚洲视频色色| 伊人在线另类| 午夜婷婷久久 | 99色视频免费在线规看| 成人在线观看一区| 99ri在线| 色欲日日躁| 99热人人艹| 丁香婷婷激情五月天无毒不卡蜜桃| 91人人超碰在线| 亚洲高清在线| 综合狠狠干| 92久久久| 97久久人人操| 五月婷丁香在线视频在线| 91色综合久久| 日韩AV片| 插插插色综合网| 无遮羞AV| 婷婷五月天综合久久| 激情五月婷婷丁香六月| 亚洲欧洲另类图片| 婷婷五月丁香色综合| 婷婷激情伍月网| 99视频| 久久精品亚洲热| 成人一区在线观看| 人人摸人人摸| 精品久久66| 激情四射网| 丁香六月爱综合| 97日在线视频| 国产在线aaa片一区二区99| 激情综合网五月天| 丁香六月婷婷综合激情欧美| 丁香五月婷婷图片综合| 婷婷五月天综合在线| 日韩成人精品中文字幕| 国产女生爱爱AA| 99综合视频一体| 欧美激情五月| 丁香五月激情宗合网| 果冻传媒A片一二三区| 天天肏夜夜肏| 婷婷五月激情天| 久久这里这里有精品免费视频| 日韩欧美成人网| 99色色网| 毛片色五月| 狠狠狠婷婷五月综合| 婷婷第一页| 被强行糟蹋的女人A片| 久久激情天堂| 米奇影视五月天| 日韩999| 婷五月天| 免看黄大片AA | 国产熟女一区二区三区五月婷| 色综合网综合| 久久99热这里只有| 97干免费视频| 啪精品| 97涩婷婷| 亚洲精品国产熟女久久久| 丁香六月婷婷五月婷婷| 婷婷五月天资源| 色之综合网| 超碰免费大香蕉| 午夜福利成人AV91| 黄急一级视频| 99热精品在线| 99热在线播放| 日本一级一片免费视频| 日韩久久这里只有精品| 婷婷四月 成人 狠狠干| 综合久久五月天| 日韩av在线播放综合网| 国产露脸150部国语对白| 婷婷天天色| 九九这里是免费的视频5| 淫荡综合网| 婷婷综合五月天激情| 丁香五月首页| 色色色在线观看| 丁香五月婷婷激情中文| 久久涩视频| 青青久在线视频免费观看| 青草五月天| 亚洲综合久| 99人妻碰碰碰久久久久视| 天天日,天天干,天天操| 五月WWW| 五月婷在线色视频| 黄色99网| 九九九午夜影院成人| 色婷婷色五月另类综合| 精品99视频| 四川操逼站| 婷婷久久色| 丁香五月婷婷影院| 色都都狠狠色都都色综合色| 182tv992tv人之初午夜免费观看| 国产精品久久久久久亚洲毛片| 色五月婷婷五月天| 91操人视频| 九九久久五月天| 91视频精品99| 乱码操操| 欧美黄色AA片哗啦啦啦| 亚洲五月天婷婷| 色婷婷色99国产综合精品| WWW.99热| 激情婷婷| 玩熟女五十AV一二三区| 国产亚洲成人综合| 成人AV网站在线| 色婷婷五月色| 欧美日韩成人| 日韩一区二区三区无码| 亚洲综合婷婷六月丁香五月| 99这里只有精品99| 97久久精品| www.婷婷五月| 狠狠干五月| 五月丁香婷婷色播无码| 国产三级片91| 这里只有精品在线视频精品| 天天天天天操| 99热中文字幕久久| 香蕉国产2013| 99色精品| 六月婷综合| 久久婷婷综合色丁香| 神马欧美精| 思思热闹这里只有精品| 五月婷婷婷婷婷婷艺术| 久久久久久人妻| 97热视频| 国产婷婷婷| 五月丁香久久丝袜啪啪| 五月天无码| 伊人色综合影院视频| 国产操逼网站| 五月丁香啪| 欧美日韩99| 亚洲狠狠爱婷婷| 99啪啪网| 99视频久久免费视频| 天天操天天曰| 91综合在线| 黄色片avv| yellow视频在线观看91| 成人网站免费sxj| 久久五月天综合| 五月婷婷无码| 97操在线资源| 99热国产这里只有| 中文AV网站| 91综合在线| 日本全黄一级999| 婷婷久久午夜网| 日日爽日日| 97人人操人人爽| 大香蕉网 久久| 99热伊人| 丁香五月激情在线| 91性高潮久久久久久久久| 婷婷丁香黄色| 丁香婷婷五月激情综合| 涩五月婷婷| 探花搜索结果 - 黄上黄| 日韩成人AV在线| 天天肏屄夜夜爽| 婷婷五月丁香基| 另类激情综合| 五月丁香手机在线| 国产精品久久久久9999小说 | 六月激情久久| 六月丁香av| 午夜天堂一区人妻| 亚艹艹| 成人一级片| 五月天婷婷影院| 色婷婷综合网站| 色五月婷婷影院| 五月婷婷色| 婷婷五月天日本无码| 色五月婷婷天堂| 亚洲激情婷婷| 99精品这里只有免费视频| 国产色色小草视频| 玖玖爱伊人| a v色婷婷| 五月婷婷狠狠久久| 人人操AV| 四月婷婷丁香| www久久久| 亚洲综合五月天婷婷| www.色婷婷.com| 丁香婷婷五月天亚洲| 99热www| 久久婷婷五月综合97色一本| www久久久久久久久久久| 丁香五月婷婷日本| 七七九九色色| 色色色色色五月| 99只有精品| www,天天干| 丁香六月 婷婷六月| 丁香五月激情五月色综合| 99色综合| 久久99性爱视频| 玖玖资源站国产| 色色综合五月| 99色热| 久草热在线视频| 精品无码人妻一区| 激情五月综合第一页| 少妇出轨做爰高潮A片| 丁香五月婷婷大香蕉| 狠狠999| 九九热99免费视频| 婷婷五月天国产性感美女演员久久久久| 五月丁香啪啪综合| 丁香五月色欲| 天天肏屄夜夜爽| 久久新| 综合久久五| 色婷婷88| 亚洲最大五月天成人网| 色就是色婷婷五月亚洲激情| 五月激情四射网站| 五月丁香免费看| 99精品亚洲| 米奇激情婷婷| 色五月婷婷色| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 色五月婷婷五月丁香五月激情五月视频| 中文在线成人| 四季8848精品成人免费网站| 色色网站| 五月亭亭开心网| 六月丁香好婷婷| 久久婷婷六月| 丁香九月久久| 激情综合色婷婷啪啪六月天| 色色综合网www| 欧亚成人A片一区二区| 婷婷欧美激情综合| 五月婷婷之综合激情| 婷婷综合网在线| 91人妻色色网| 五月激情网站| 六月婷婷视频| 久久久久久婷| 综合 激情 婷婷| 婷婷色色网| 日韩色色视频| 亚洲熟女色| 久久婷婷六月综合综合| 天天成人综合视频| 思思99精品视频| 婷婷五月丁香基地在线视频官网| 色吊丝永久访问网址| 久久婷婷的综合色丁香五月| 伊人香大香蕉视频| 四川女人毛多水多A片| 激情综合网激情五月网| 欧洲激情网站| 色五月综合激情| 色综合久久88色综合天天99| 亚洲婷婷丁香五月| 亭亭丁香97| 精品久久久中文字幕大豆网推荐理由 | www.91色| 色情丁香五月婷婷精品| 伊人色综合久久久| 99热国产免费| 五月天激情综合| 婷婷五月激情丁香| 天天艹夜夜艹| 亚洲最大视频| 色五月AV| 色综合99| 五月丁香六月色| 久99在线视频| 婷婷97碰碰| 久热中文字幕| 婷婷成人综合| 99久久99久久综合| 国产成人综合网| 五月丁香六月激情在线| 深爱开心激情| 天天爽天天爽| 日本无码专区| 五月天大香蕉av| 色婷婷yy久| 9999热免费视频视频| 色综合久久无码| 伊人久久大香| 成人网在线视频| 久久久99免费视频| 99热老网站| 久久久8| 激情综合播播| 五月伊人视频在线看| xxx日本东京热| 天天色综合网1| 99综合色| 99九九热在线观看| 亚洲色综合| wwwss在线观看| 九九一区| 伊人天堂婷婷| 夜夜久久综合网| 91黄操| 婷婷六月丁香在线| www婷婷亚洲| 99热日韩| 丁香五月婷婷在线| 婷婷久草| 性做爰1一7伦| 午夜AV网| 久久伦乱| site:xiongshengzz.com| 天天操天天操天天操| 丁香五月激情视频| 婷婷五月天天爽| www.天天日| 麻豆AV一区二区三区| 99热黄| 99WWW免费视频| 精品99这里有| 五月婷深深爱激情网| 九九热在线视频观看| 超碰人人干| 操一区| 色碰97| 丁香婷婷六月天| 色五月丁香一区在线| 深爱五月最新网址| 九九婷婷综合| 亚洲欧洲中文日韩久久AV乱码| 99色在线观看视频者| 婷婷射图| 天天日天天摸天天| 性色五月天| 99热九九热| 99在线视频操999| 婷婷五月丁香综合激情| 青青久在线视频免费观看| 婷婷五月另类网站| 日韩 中文 欧美| 中文不卡一二三区| 超碰人人操| 五月婷婷色色| www.com.色色| 亚洲人成网亚洲欧洲无码久久| 狠狠撸激情综合丁香五月天俺来啦| www.天天干| 99ER热精品视频| 黑人熟妇一区二区三区| 国内裸舞二区| 久婷五月| 婷婷五月花| 九九综舍久久| 九九九成人在线视频| 停停五月色宗合| 专区无日本视频高清8| 蜜臀99久久精品久久久久| 在线va网站| 99视频只有精品| 天天日天天爽| 操逼六区| 能看的AV网站| 激情五月六月婷婷| 91主播在线| 天天色天天爽| 狠狠干在线| 97在线观视频免费观看| 日本不卡中文字幕| 婷婷五月天干干| 99热6这里只有精品| AV在线二十六页| 天天综合亚洲综合网天天αⅴ| 丁香五月偷拍| 精品久久久中文字幕大豆网推荐理由| 欧美三日本三级少妇三99| 婷婷深爱网| 五月婷婷片| 99色日本| 五月婷婷久| 99超级碰免费视频| 91色噜噜狠狠狠狠色综合| 激情婷婷丁香色五月| 夜夜操狠狠操| 99视频35精品视频在线观看| 色播丁香婷婷五月激情| 操一区| 六月婷婷七月丁香| 这里只有精彩亚洲视频推荐| 成人无码髙潮喷水A片| 香蕉国产2013| 综合网亚洲| 国产成人一区二区三区在线观看| 五月色婷| 久婷婷色| 丁香六月综合| 天天舔天天插天天干| 五月丁香在线| 丁香五月婷婷AV| 婷婷婷婷婷婷婷婷| 牛牛澡牛牛爽| 激情婷婷丁香五月| 色婷婷电影网| 丁香六月激情| 超碰人人干| 欧美毛卡| 亚洲va欧美va国产综合久久久| 大地9中文在线观看免费高清| 成人网站在线观看视频| 九九热re99re6在线精品| 久久婷婷五| 亚洲狠狠操| 日本视频不卡123区| 六月欧美综合色情| 色九九综合| 色播婷婷五月天| 五月天婷综合| 五月丁香激情啪啪网| 狠狠五月激情丁香六月| 综合色在线| 五月丁香六月婷婷亚洲激情综合| 国产激情综合五月久久| 狠狠综合网| 色色五月丁香| 婷婷五月电影| 色噜噜五月天| 啪色综合| 天天色视频| 婷婷丁香社区| 五月婷婷六月丁香玖玖玫瑰91| 六月丁香啪| 亚洲最大视频| 久热re在线视频| 久久免片| 久人操| 91婷婷丁香五月| 大伊香蕉玖玖爱| 丁香六月天| 日韩无码人妻一区二区| 五月丁香网站| 91精品综合久久婷婷九色| 99热超碰| 亚洲热视频| 性色欲情 网站| 超碰资源在线| 影音先锋91| 91免费看片| 操操天堂| 99色色网| 综合久久婷婷五月丁香| 粉嫩AV久久一区二区三区| 99热6这里只有精品6| 亚洲乱码日产精品BD在线观看| 五月丁香久久网| 欧美叉叉叉BBB网站| 色播丁香婷婷五月激情| www天堂99| 开心激情网五月天| 丁香六月婷| 99精品久久久| 99这里有精品视频3| 亚洲欧洲中文日韩久久AV乱码| 色亚洲色宗合| 成人va在线| 亚洲精品在线视频| 六月丁香啪啪啪| 99热国产免费| 亚洲婷婷丁香五月视频| 九九九九热99超碰| 婷婷五月天网| 天天综合情| 福利视频在线播放| 激情网婷婷婷| 综合伊人久久| 九九综合精品| 天天操天天操综合| www.婷婷五月天,com| 欧美成人日韩| 思思99热热热99| 日木WWW视频| 婷婷五月丁香香蕉| 99久在线观看| 五月丁香综合网| 麻豆五月丁香婷婷| 九月色婷婷综合| www.婷婷五月| 色五月丁香激情视频| OUMEIRIHANCHENGREN| 91色欲综合| 。久久久久久久久久久久久久人妻| 九一娱乐在线观看视频| 91色吧网| 六月丁香成人| 久久人人添人人爽添人人片αV | 伊人久久艹| 欧美色色色色色色色| 五月丁香好婷婷A片网| 天天骑天天操| 五区毛片七区毛片| 亚洲无码11| 开心激情婷婷| 五月天狠狠网| WWW·天天操·视频?| 天天干在线播放| 另类精品视频在线观看| 色国产五月| www.五月婷| 激情综合一| 丁香五月婷婷手机| 99免费偷拍视频| 噜噜在线| 天天色天天| 五月色婷婷影视在线电影| 五月婷天堂视频| 久久99热这里只频精品6学生| 亚洲色亚洲精品| 超碰在线观看9| 人人爽网| 97人人操人人干| 婷婷五月天成人影片| 超碰超碰在线| 五月做爱| 超碰久热| 九热视频| 日韩狠狠色婷婷| 九九热re99re6在线精品| 蜜桃人妻无码AV天堂三区| 婷婷色五天| 天天色天天舔天天爱天天爽| 久久大香蕉同僚| 欧美天堂婷婷日韩| 26uuu国产| 欧美、日韩、中文、制服、人妻| a在线观看| 另类 在线| 呦呦v线| 99亚洲视频| 亚洲精品第一国产综合亚AV| 久热这里只有| 久久久久人妻网址| 色狠狠六月| 伊人99热| 久久婷婷青青| 99热综合| 综合色情网| 丁香婷婷激情五月天无毒不卡蜜桃| 九九视频这里是精品五月| 一月婷婷色色| 9色在线视频精品观看| 色综合久久久久| 日韩啊啊啊| 热的无码综合视频| 色色99色色| 97干在线观看视频| 亚洲视频码| 久久五月天激情| 亚洲精品国产成人AV在线| 深爱五月激情| 色爱终和网| 情婷婷五月天在线| 久婷婷婷| 久婷婷五月综合欧美| 九 九九九AV| 99这里只有精品|