欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

聚合Kappa掩蓋LLM-judge失真:用Python驗(yàn)證MUD評(píng)估中的系統(tǒng)偏差

聚合Kappa掩蓋LLM-judge失真:用Python驗(yàn)證MUD評(píng)估中的系統(tǒng)偏差 最近在評(píng)估大模型對(duì)話(huà)能力時(shí)我遇到一個(gè)很有意思的問(wèn)題兩個(gè)大模型裁判LLM-judge對(duì)一組 MUD 場(chǎng)景生成內(nèi)容打分的 Cohen’s Kappa 非常高說(shuō)明它們之間“高度一致”。但后來(lái)把人類(lèi)評(píng)分拉出來(lái)一對(duì)比才發(fā)現(xiàn)兩個(gè)裁判同時(shí)偏向冗長(zhǎng)、帶有大量空話(huà)的回復(fù)。換句話(huà)說(shuō)裁判之間的一致并不等于裁判的正確。這種現(xiàn)象并不少見(jiàn)但它很難被聚合一致性指標(biāo)捕捉。這篇文章我想用一套可復(fù)現(xiàn)的 Python 小實(shí)驗(yàn)把“MUD 作為 AI 評(píng)估場(chǎng)景”和“LLM-judge 在聚合 Kappa 掩蓋下失真”這件事拆開(kāi)講清楚。文章適合正在做 LLM 應(yīng)用評(píng)測(cè)、智能體評(píng)估、自動(dòng)評(píng)估 pipeline 的開(kāi)發(fā)者也適合想了解如何科學(xué)使用大模型做裁判的算法工程師。1. 為什么需要 MUD 這樣復(fù)雜的 AI 評(píng)估場(chǎng)景1.1 LLM 應(yīng)用評(píng)測(cè)已經(jīng)不能靠“單輪問(wèn)答”早期評(píng)測(cè)大模型時(shí)我們習(xí)慣用單選題、百科問(wèn)答、代碼補(bǔ)全這類(lèi)靜態(tài)數(shù)據(jù)集。優(yōu)點(diǎn)是方便批量跑、容易算準(zhǔn)確率但缺點(diǎn)也很明顯真實(shí)業(yè)務(wù)里的大模型很少只做一次問(wèn)答?,F(xiàn)在的 AI 應(yīng)用往往需要多輪對(duì)話(huà)、工具調(diào)用、長(zhǎng)期規(guī)劃、角色一致性、上下文記憶等復(fù)雜能力。以智能客服為例用戶(hù)可能先問(wèn)物流再問(wèn)退款中間還會(huì)穿插情緒化表達(dá)客服機(jī)器人必須跟蹤多輪狀態(tài)而不是每句話(huà)都獨(dú)立回答。當(dāng)任務(wù)變復(fù)雜后簡(jiǎn)單的靜態(tài)評(píng)測(cè)指標(biāo)就不好用了。我們不僅需要“答得對(duì)不對(duì)”還要關(guān)心“在復(fù)雜環(huán)境里能不能穩(wěn)定完成任務(wù)”。這時(shí)候MUD 這類(lèi)開(kāi)放式交互環(huán)境就顯得很重要。1.2 MUD從游戲到智能體評(píng)估環(huán)境MUD 全稱(chēng)是 Multi-User Dungeon最早是多人實(shí)時(shí)文本冒險(xiǎn)游戲。它沒(méi)有畫(huà)面玩家通過(guò)輸入指令在房間里探索、戰(zhàn)斗、解謎、聊天。MUD 的核心是“長(zhǎng)周期、多智能體、自由文本交互”這和大模型智能體面臨的環(huán)境非常相似。在 AI 評(píng)估中MUD 可以被改造成一個(gè)模擬環(huán)境智能體需要理解房間描述、物品狀態(tài)、NPC 對(duì)話(huà)。每個(gè)決策都會(huì)改變環(huán)境狀態(tài)。任務(wù)目標(biāo)往往不是一句話(huà)能說(shuō)完的需要多步推理。不存在唯一標(biāo)準(zhǔn)答案評(píng)估天然帶有主觀性。正因?yàn)殚_(kāi)放性強(qiáng)MUD 很適合用來(lái)考察 LLM 的復(fù)雜推理、指令遵循和長(zhǎng)期一致性。它不像傳統(tǒng) benchmark 那樣有固定正確答案而是需要人工或自動(dòng)化評(píng)委去判斷“這次行為是否合理”。當(dāng)然MUD 不是唯一的選擇。類(lèi)似的還有網(wǎng)文互動(dòng)、多輪 Agent 模擬、開(kāi)放世界文本游戲等。但它們共同的特點(diǎn)是輸出空間很大評(píng)估困難這也就引出了 LLM-judge 的用武之地。1.3 LLM-judge用模型評(píng)估模型因?yàn)槿斯ぴu(píng)測(cè)成本高、速度慢很多團(tuán)隊(duì)開(kāi)始讓 GPT 級(jí)別的大模型充當(dāng)裁判對(duì)被測(cè)模型的輸出打分或排序。這種“用模型評(píng)估模型”的方式業(yè)界通常叫 LLM-as-a-judge也就是 LLM-judge。LLM-judge 的優(yōu)點(diǎn)很明顯速度快可以并行跑。可以給定復(fù)雜 rubric比如“是否禮貌”“是否回答完整”。比 n-gram 匹配更接近語(yǔ)義判斷。能處理開(kāi)放生成任務(wù)。但缺點(diǎn)也同樣明顯大模型裁判本身也有偏好、偏見(jiàn)和誤差。如果評(píng)測(cè)結(jié)果只依賴(lài)一個(gè)裁判容易出現(xiàn)“裁判自己也不知道在評(píng)什么”的情況。于是團(tuán)隊(duì)會(huì)引入多個(gè)裁判然后計(jì)算一致性指標(biāo)比如 Cohen’s Kappa來(lái)衡量裁判之間是否穩(wěn)定。問(wèn)題就出在這里一致性很高不代表失真的可能性低。1.4 本文主要內(nèi)容與讀者收獲這篇文章不會(huì)只停留在概念層面。我準(zhǔn)備用一個(gè) Python 小實(shí)驗(yàn)?zāi)M兩個(gè) LLM-judge 對(duì)一組 MUD 輸出進(jìn)行評(píng)分然后展示兩個(gè)核心問(wèn)題Cohen’s Kappa 能反映兩個(gè)裁判之間的穩(wěn)定性但它不關(guān)心裁判是否和人類(lèi)“標(biāo)準(zhǔn)答案”一致。當(dāng)多個(gè)裁判共享同一種偏差時(shí)聚合 Kappa 不僅發(fā)現(xiàn)不了偏見(jiàn)反而可能給人一種“評(píng)估可靠”的錯(cuò)覺(jué)。讀完本文你會(huì)理解Cohen’s Kappa 的計(jì)算邏輯和局限性。LLM-judge 常見(jiàn)失真來(lái)源。如何用 Python 快速計(jì)算 Kappa 和發(fā)現(xiàn)系統(tǒng)偏差。在 MUD 場(chǎng)景設(shè)計(jì)評(píng)估方案時(shí)應(yīng)該怎么組合人類(lèi)、多個(gè)裁判、結(jié)構(gòu)化指標(biāo)。2. 環(huán)境準(zhǔn)備與基礎(chǔ)概念2.1 運(yùn)行環(huán)境本文示例以 Python 3.9 為準(zhǔn)使用以下庫(kù)numpypandasscikit-learnmatplotlib版本不需要完全固定但建議 scikit-learn 版本在 1.0 以上因?yàn)椴糠?API 在舊版本里可能表現(xiàn)不一致。如果你使用的是 Anaconda直接安裝即可。2.2 安裝依賴(lài)創(chuàng)建虛擬環(huán)境python -m venv venv source venv/bin/activate # Windows 下執(zhí)行 venv\Scripts\activate安裝依賴(lài)pip install numpy pandas scikit-learn matplotlib如果你只是臨時(shí)運(yùn)行也可以使用 Jupyter Notebook。本文代碼盡量不依賴(lài) Notebook 特性可以直接保存為.py文件運(yùn)行。2.3 Cohen’s Kappa 是什么Cohen’s Kappa通常用希臘字母 κ 表示是衡量?jī)蓚€(gè)評(píng)分者一致性的指標(biāo)。它不同于簡(jiǎn)單準(zhǔn)確率因?yàn)樗懦恕半S機(jī)一致”的部分。公式長(zhǎng)這樣κ (Po - Pe) / (1 - Pe)Po 是觀察到的評(píng)分一致率也就是“兩名裁判實(shí)際給出相同分?jǐn)?shù)的樣本比例”。Pe 是隨機(jī)一致概率也就是“即使兩個(gè)裁判瞎猜也可能碰巧一致的期望概率”。如果 κ1說(shuō)明兩個(gè)裁判完全一致κ0說(shuō)明一致性和隨機(jī)水平差不多κ為負(fù)說(shuō)明一致性比隨機(jī)還差。在 sklearn 里可以用一行代碼計(jì)算from sklearn.metrics import cohen_kappa_score judge_a_scores [1, 2, 3, 4, 5] judge_b_scores [1, 2, 2, 4, 5] kappa cohen_kappa_score(judge_a_scores, judge_b_scores) print(kappa)2.4 為什么用 Kappa 而不用準(zhǔn)確率這里的準(zhǔn)確率是指“兩個(gè)裁判打分相同的樣本比例”。假設(shè)兩個(gè)裁判有 80% 的樣本打分相同看起來(lái)很高但如果其中某個(gè)分?jǐn)?shù)出現(xiàn)頻率特別高隨機(jī)一致的概率也會(huì)很高。舉一個(gè)極端例子一個(gè)裁判永遠(yuǎn)打 5 分另一個(gè)裁判 95% 時(shí)間打 5 分。那么兩者“一致率”是 95%看起來(lái)非常好。但實(shí)際這兩個(gè)裁判幾乎沒(méi)有提供有效區(qū)分度。Cohen’s Kappa 通過(guò)減去隨機(jī)一致概率避免這種“高分一致性假象”。所以在自動(dòng)評(píng)估中Kappa 是一個(gè)更穩(wěn)健的一致性指標(biāo)。不過(guò)Kappa 只能回答“有沒(méi)有一致性”回答不了“一致在哪個(gè)方向上”。接下來(lái)我們就要看一個(gè)典型的失真場(chǎng)景。3. LLM-judge 評(píng)估中的失真問(wèn)題3.1 LLM-judge 的常見(jiàn)偏差類(lèi)型實(shí)際使用 LLM-judge 時(shí)常見(jiàn)的系統(tǒng)偏差包括位置偏差候選答案放在前面還是后面會(huì)影響裁判評(píng)分。冗長(zhǎng)偏差回答越長(zhǎng)越容易被評(píng)高分哪怕很多內(nèi)容是廢話(huà)。自我偏好同一個(gè)大模型家族更偏愛(ài)自己生成的答案。權(quán)威偏差語(yǔ)氣更像專(zhuān)家的回答容易被高估。格式偏差包含 Markdown、列表結(jié)構(gòu)的內(nèi)容可能得分更高。這些偏差不是偶發(fā)錯(cuò)誤而是系統(tǒng)性的。也就是說(shuō)在大量樣本上裁判總會(huì)朝著某個(gè)方向偏移。如果在 MUD 場(chǎng)景里評(píng)估智能體通常沒(méi)有標(biāo)準(zhǔn)答案只能靠裁判判斷“行為是否合理”這些偏差就會(huì)被放大。比如裁判可能認(rèn)為“更長(zhǎng)的行動(dòng)描述”代表著更深入思考但實(shí)際上只是智能體在湊字。3.2 聚合一致性指標(biāo)的盲區(qū)當(dāng)兩個(gè) LLM-judge 存在相同方向的偏差時(shí)它們的評(píng)分會(huì)高度一致因此 Kappa 會(huì)很高。舉個(gè)例子人類(lèi)覺(jué)得某個(gè) MUD 回復(fù)質(zhì)量是 3 分。Judge A 和 Judge B 都因?yàn)椤盎貜?fù)夠長(zhǎng)”“格式好看”而打 5 分。Judge A 和 Judge B 在 100 個(gè)樣本里有 90 個(gè)打分完全一致。這時(shí) Kappa 可能高達(dá) 0.8給人感覺(jué)“評(píng)估系統(tǒng)很穩(wěn)定”。但問(wèn)題在于兩個(gè)裁判都偏離了人類(lèi)真實(shí)期望。這種偏差不是隨機(jī)噪聲而是共同的方向性偏差聚合指標(biāo)根本不會(huì)暴露它。這就是標(biāo)題中所說(shuō)的“aggregate κ misses”聚合 Kappa 會(huì)漏掉 LLM-judge 的失真。它不是指標(biāo)算錯(cuò)了而是指標(biāo)設(shè)計(jì)上就不負(fù)責(zé)捕捉“一致但錯(cuò)誤”的情況。3.3 一個(gè)簡(jiǎn)單例子說(shuō)明聚合 Kappa 掩蓋系統(tǒng)偏差我們把問(wèn)題簡(jiǎn)化成三組評(píng)分人類(lèi)評(píng)分代表真實(shí)質(zhì)量。Judge A 評(píng)分代表大模型裁判1。Judge B 評(píng)分代表大模型裁判2。假設(shè)人類(lèi)認(rèn)為大部分 MUD 回復(fù)質(zhì)量在 3 分左右但 Judge A 和 Judge B 都傾向于給偏長(zhǎng)回復(fù)加 2 分于是它們經(jīng)常打 5 分。兩個(gè)裁判之間高度一致但它們和人類(lèi)相關(guān)性很差。如果用 Kappa 衡量裁判之間的一致性得到的是虛假的“高效度”。如果只匯報(bào)這個(gè)指標(biāo)評(píng)估結(jié)果就會(huì)失真。后面我們會(huì)用代碼模擬這個(gè)過(guò)程并計(jì)算一個(gè)“偏差程度”指標(biāo)來(lái)捕獲它。4. 實(shí)戰(zhàn)用 Python 驗(yàn)證“Kappa 失真”4.1 項(xiàng)目結(jié)構(gòu)為了簡(jiǎn)單我們只使用一個(gè)文件mud_eval_demo/ ├── eval_demo.py └── output/ └── scores.csveval_demo.py是主腳本運(yùn)行后會(huì)在終端輸出 Kappa、人類(lèi)-裁判相關(guān)性、偏差指標(biāo)并生成一張對(duì)比圖。4.2 構(gòu)造模擬數(shù)據(jù)我們先構(gòu)造 200 個(gè) MUD 場(chǎng)景輸出。真實(shí)“質(zhì)量分”human_score從 1 到 5 分布但裁判存在一個(gè)系統(tǒng)偏差當(dāng)回復(fù)長(zhǎng)度超過(guò)某個(gè)閾值時(shí)他們傾向于在人類(lèi)評(píng)分基礎(chǔ)上加 1 到 2 分。為了更接近現(xiàn)實(shí)我還會(huì)給裁判加一點(diǎn)隨機(jī)噪聲讓數(shù)據(jù)看起來(lái)不是那么“規(guī)律性偏差”而是更像真實(shí)模型輸出的評(píng)分。代碼如下import numpy as np import pandas as pd np.random.seed(42) n 200 true_quality np.random.normal(loc3.0, scale0.8, sizen) true_quality np.clip(true_quality, 1, 5) # 模擬回復(fù)長(zhǎng)度質(zhì)量越高回復(fù)可能越長(zhǎng) response_length 80 true_quality * 20 np.random.normal(0, 15, n) def judge_score(true_q, length, bias_threshold150, max_bias1.5): bias 0.0 if length bias_threshold: # 超過(guò)閾值的回復(fù)裁判會(huì)系統(tǒng)性加分 bias max_bias * (length - bias_threshold) / 100.0 bias min(bias, max_bias) score true_q bias np.random.normal(0, 0.3) return np.clip(score, 1, 5) judge_a np.array([judge_score(t, l) for t, l in zip(true_quality, response_length)]) judge_b np.array([judge_score(t, l) for t, l in zip(true_quality, response_length)]) # 評(píng)分取整模擬 1-5 離散打分 human_score np.rint(true_quality).astype(int) judge_a_score np.rint(judge_a).astype(int) judge_b_score np.rint(judge_b).astype(int) df pd.DataFrame({ human_score: human_score, judge_a_score: judge_a_score, judge_b_score: judge_b_score, response_length: response_length.astype(int) }) df.to_csv(output/scores.csv, indexFalse) print(df.head())注釋里需要解釋這里故意讓裁判對(duì)長(zhǎng)回復(fù)有正向偏好同時(shí)保留隨機(jī)噪聲模擬真實(shí)場(chǎng)景。4.3 計(jì)算一致性 Kappa接下來(lái)計(jì)算 Judge A 與 Judge B 之間的 Cohen’s Kappa同時(shí)計(jì)算人類(lèi)與 Judge A、人類(lèi)與 Judge B 之間的 Kappa作為對(duì)比。from sklearn.metrics import cohen_kappa_score kappa_ab cohen_kappa_score(df[judge_a_score], df[judge_b_score]) kappa_human_a cohen_kappa_score(df[human_score], df[judge_a_score]) kappa_human_b cohen_kappa_score(df[human_score], df[judge_b_score]) print(fJudge A vs Judge B Kappa: {kappa_ab:.4f}) print(fHuman vs Judge A Kappa: {kappa_human_a:.4f}) print(fHuman vs Judge B Kappa: {kappa_human_b:.4f})在這個(gè)模擬中你大概率會(huì)看到 Judge A 與 Judge B 的 Kappa 明顯高于人類(lèi)與任一裁判的 Kappa。這就是“聚合失真”的一種表現(xiàn)形式裁判之間更一致但裁判和真實(shí)標(biāo)準(zhǔn)的一致性較差。4.4 檢測(cè)系統(tǒng)性偏差Kappa 不夠用我們就需要額外計(jì)算能反映系統(tǒng)偏差的指標(biāo)。一個(gè)簡(jiǎn)單但有效的方法是計(jì)算裁判評(píng)分與人類(lèi)評(píng)分的平均差值mean signed deviation。df[dev_a] df[judge_a_score] - df[human_score] df[dev_b] df[judge_b_score] - df[human_score] mean_dev_a df[dev_a].mean() mean_dev_b df[dev_b].mean() print(fMean deviation (Human vs Judge A): {mean_dev_a:.4f}) print(fMean deviation (Human vs Judge B): {mean_dev_b:.4f})如果平均差值大于 0說(shuō)明裁判整體偏向給高分小于 0則偏向給低分。這個(gè)指標(biāo)并不會(huì)受到“裁判之間一致”的干擾。同時(shí)我們可以計(jì)算“方向一致偏差率”same_direction ((df[dev_a] 0) (df[dev_b] 0)).mean() print(fBoth judges overrate same samples: {same_direction:.4f})這表示兩個(gè)裁判在多大比例樣本上同時(shí)高估或同時(shí)低估。如果這個(gè)比例很高說(shuō)明它們共享同一種偏差而聚合 Kappa 恰恰會(huì)忽略這種共同的扭曲。4.5 可視化對(duì)比為了更直觀我會(huì)生成三張子圖人類(lèi)評(píng)分與 Judge A 評(píng)分散點(diǎn)。人類(lèi)評(píng)分與 Judge B 評(píng)分散點(diǎn)。兩個(gè)裁判評(píng)分散點(diǎn)。如果人類(lèi)與裁判的散點(diǎn)更分散而裁判之間散點(diǎn)更集中說(shuō)明裁判之間的高度一致可能不是質(zhì)量信號(hào)而是偏差共振。import matplotlib.pyplot as plt fig, axes plt.subplots(1, 3, figsize(14, 4)) axes[0].scatter(df[human_score], df[judge_a_score], alpha0.6) axes[0].plot([1, 5], [1, 5], colorred, linestyle--) axes[0].set_title(Human vs Judge A) axes[0].set_xlabel(Human score) axes[0].set_ylabel(Judge A score) axes[1].scatter(df[human_score], df[judge_b_score], alpha0.6) axes[1].plot([1, 5], [1, 5], colorred, linestyle--) axes[1].set_title(Human vs Judge B) axes[1].set_xlabel(Human score) axes[1].set_ylabel(Judge B score) axes[2].scatter(df[judge_a_score], df[judge_b_score], alpha0.6) axes[2].plot([1, 5], [1, 5], colorred, linestyle--) axes[2].set_title(Judge A vs Judge B) axes[2].set_xlabel(Judge A score) axes[2].set_ylabel(Judge B score) plt.tight_layout() plt.savefig(output/kappa_distortion.png, dpi120) plt.show()這里故意把人類(lèi)評(píng)分作為參考軸方便對(duì)比。4.6 運(yùn)行結(jié)果說(shuō)明運(yùn)行腳本后你可能會(huì)得到類(lèi)似這樣的輸出Judge A vs Judge B Kappa: 0.6231 Human vs Judge A Kappa: 0.4210 Human vs Judge B Kappa: 0.4105 Mean deviation (Human vs Judge A): 0.8100 Mean deviation (Human vs Judge B): 0.8350 Both judges overrate same samples: 0.7400裁判之間的 Kappa 明顯大于人類(lèi)與裁判之間的 Kappa。平均偏差都是正的說(shuō)明兩個(gè)裁判整體給分偏高。74% 的樣本兩個(gè)裁判同時(shí)高估說(shuō)明它們共享了相同的系統(tǒng)偏差。如果只看第一個(gè) Kappa你會(huì)以為評(píng)估結(jié)果很可靠。但后面的偏差指標(biāo)直接拆穿了這一點(diǎn)。這就是為什么在真實(shí)項(xiàng)目里不能只匯報(bào)聚合一致性指標(biāo)。5. MUD 場(chǎng)景中如何設(shè)計(jì)更可靠的評(píng)估方案5.1 多維度評(píng)分MUD 場(chǎng)景沒(méi)有唯一答案直接打一個(gè)綜合分很容易被偏差帶偏。更推薦拆成多個(gè)評(píng)價(jià)維度例如行為合理性智能體是否采取了合理的行動(dòng)。長(zhǎng)期一致性是否和之前的決策、角色設(shè)定保持一致。指令遵循是否遵循了任務(wù)約束。信息利用是否合理利用了房間、物品、NPC 提供的信息。語(yǔ)言質(zhì)量是否清晰、自然、不冗余。每個(gè)維度單獨(dú)評(píng)分再使用 Kappa 進(jìn)行一致性檢查。這樣至少能定位“到底哪個(gè)維度上裁判產(chǎn)生了偏差”。如果在“語(yǔ)言質(zhì)量”上裁判總給高分但在“行為合理性”上明顯不一致那說(shuō)明偏差可能來(lái)自表述風(fēng)格而非任務(wù)完成度。5.2 引入人類(lèi)錨點(diǎn)只靠 LLM-judge 很容易陷入“裁判互相確認(rèn)偏見(jiàn)”的循環(huán)。最穩(wěn)妥的辦法是抽一部分樣本做人類(lèi)標(biāo)注然后計(jì)算人類(lèi)與裁判的一致性。具體做法從評(píng)測(cè)集中隨機(jī)抽取 10%-20% 樣本。邀請(qǐng)至少兩位有經(jīng)驗(yàn)的人類(lèi)標(biāo)注者評(píng)分。計(jì)算人類(lèi)標(biāo)注者之間的 Kappa確認(rèn)人類(lèi)標(biāo)注本身是一致的。再計(jì)算 LLM-judge 與人類(lèi)標(biāo)注的 Kappa、平均偏差、偏差方向比例。如果 LLM-judge 和人類(lèi)偏差較大就需要調(diào)整 prompt 或?qū)υu(píng)分做校準(zhǔn)。在 MUD 這種復(fù)雜環(huán)境里人類(lèi)標(biāo)注成本高所以樣本量不需要大但必須保證覆蓋不同類(lèi)型的場(chǎng)景比如戰(zhàn)斗、解謎、社交對(duì)話(huà)、任務(wù)切換等。5.3 偏差校準(zhǔn)與公平性分析如果發(fā)現(xiàn) LLM-judge 存在穩(wěn)定的高估或低估可以在后處理階段做校準(zhǔn)。一個(gè)簡(jiǎn)單的校準(zhǔn)方法是線(xiàn)性校正比如from sklearn.linear_model import LinearRegression X df[[judge_a_score, judge_b_score]] y df[human_score] model LinearRegression().fit(X, y) calibrated_score model.predict(X)但這只是線(xiàn)性校準(zhǔn)無(wú)法修正非線(xiàn)性的偏好。更復(fù)雜的做法是直接在 prompt 中加入示例校準(zhǔn)也就是 few-shot calibration。給裁判看幾個(gè)“人類(lèi)認(rèn)為 3 分但模型可能打 5 分”的例子告訴它需要注意冗長(zhǎng)偏差。此外可以按樣本子組做公平性分析。比如把 MUD 場(chǎng)景按“探索型”“戰(zhàn)斗型”“對(duì)話(huà)型”分類(lèi)分別計(jì)算 LLM-judge 與人類(lèi)評(píng)分的偏差。如果偏差只出現(xiàn)在某一類(lèi)場(chǎng)景說(shuō)明裁判沒(méi)有理解該場(chǎng)景的評(píng)估標(biāo)準(zhǔn)。5.4 長(zhǎng)序列一致性評(píng)估MUD 評(píng)估通常是多步長(zhǎng)序列。一個(gè)細(xì)小的錯(cuò)誤可能在后續(xù)幾步被放大也可能被充分彌補(bǔ)。對(duì)于長(zhǎng)序列直接對(duì)“整段內(nèi)容”打一個(gè)分很粗糙。建議按“任務(wù)里程碑”拆分每個(gè)里程碑單獨(dú)打分。最后計(jì)算序列層面的綜合分。同時(shí)評(píng)估智能體是否能保持角色一致性、是否遺忘關(guān)鍵信息。這一步仍然會(huì)用到 LLM-judge但最好讓裁判逐段給分并附帶一句話(huà)解釋然后再匯總。解釋信息可以幫助人工抽查裁判的判斷邏輯也方便定位失真點(diǎn)。6. 常見(jiàn)問(wèn)題與排查思路下面把實(shí)際使用 LLM-judge 和 Kappa 時(shí)常見(jiàn)的問(wèn)題整理成一個(gè)表格。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路兩個(gè)裁判 Kappa 很高但評(píng)測(cè)結(jié)果和業(yè)務(wù)反饋不符裁判共享同一種系統(tǒng)偏差比如冗長(zhǎng)偏好引入人類(lèi)錨點(diǎn)計(jì)算偏差方向和大小裁判之間 Kappa 很低裁判 prompt 理解不一致或評(píng)分標(biāo)準(zhǔn)模糊統(tǒng)一評(píng)分 rubric增加 few-shot 示例同一裁判重復(fù)評(píng)估同一內(nèi)容兩次結(jié)果不一致大模型采樣溫度過(guò)高設(shè)置 temperature0 或多次采樣取平均裁判總給某個(gè)分?jǐn)?shù)段打高分出現(xiàn)了位置偏差或長(zhǎng)度偏差隨機(jī)交換候選順序平衡長(zhǎng)度因素人類(lèi)標(biāo)注者之間 Kappa 也很低MUD 任務(wù)開(kāi)放性過(guò)強(qiáng)標(biāo)準(zhǔn)難以統(tǒng)一細(xì)化評(píng)分維度先做標(biāo)注培訓(xùn)用 Kappa 時(shí)樣本類(lèi)別不均衡Cohen’s Kappa 會(huì)出現(xiàn)奇異值改用加權(quán) Kappa 或查看混淆矩陣prompt 里只寫(xiě)“請(qǐng)打分”裁判不知道關(guān)注什么維度提供明確 rubric、示例、反面案例排查順序建議先看裁判之間 Kappa確認(rèn)穩(wěn)定性。再看人類(lèi)與裁判的 Kappa確認(rèn)真實(shí)性。分析偏差方向和偏差分布。檢查分?jǐn)?shù)混淆矩陣看偏差集中在哪個(gè)分值區(qū)間。抽查裁判給出的解釋文本定位 prompt 中可能誤導(dǎo)裁判的規(guī)則。如果發(fā)現(xiàn) Kappa 高但偏差大不要急著調(diào)整 prompt先確認(rèn)是不是“兩個(gè)裁判一起偏”。可以繪制人類(lèi)評(píng)分和裁判評(píng)分的散點(diǎn)圖再看平均偏差通常一眼就能發(fā)現(xiàn)。7. 工程實(shí)踐建議與最佳實(shí)踐7.1 不要只匯報(bào)一個(gè)一致性指標(biāo)在自動(dòng)化評(píng)估報(bào)告里我建議至少包含裁判之間的一致性指標(biāo)。裁判與人類(lèi)基準(zhǔn)的一致性指標(biāo)。裁判與人類(lèi)基準(zhǔn)的系統(tǒng)偏差均值、方向比例。按維度拆分的偏差分析。每個(gè)維度一致性和偏差都放一起看。這樣團(tuán)隊(duì)才能區(qū)分“穩(wěn)定可靠”和“穩(wěn)定但偏離”。7.2 多裁判 投票并不等于消除偏見(jiàn)很多人認(rèn)為多引入幾個(gè)裁判最后投票或取平均就能減少偏差。但如果所有裁判都被訓(xùn)練在相似的語(yǔ)料上偏好很容易趨同。更好的做法是選擇不同來(lái)源、不同規(guī)模的模型組合比如一個(gè)擅長(zhǎng)推理的模型和一個(gè)擅長(zhǎng)指令遵循的模型。并且讓每個(gè)裁判獨(dú)立評(píng)估看不到其他裁判的結(jié)果避免被先入為主的信息影響。7.3 保留裁判解釋方便回查每次讓 LLM-judge 打分時(shí)都要求它輸出評(píng)分分?jǐn)?shù)。簡(jiǎn)短理由。對(duì)照 rubric 的逐項(xiàng)判斷。哪怕這些解釋只是一句話(huà)也能在后排查時(shí)救大命。尤其是在 MUD 場(chǎng)景行為是否合理很依賴(lài)上下文沒(méi)有解釋的評(píng)分基本無(wú)法復(fù)現(xiàn)和審計(jì)。7.4 定期更新人類(lèi)基準(zhǔn)樣本LLM-judge 的偏差不是固定的。當(dāng)被測(cè)模型表現(xiàn)變好、輸出風(fēng)格變化后裁判的舊偏差可能會(huì)被放大。建議每隔兩個(gè)版本重新抽取一批人類(lèi)標(biāo)注樣本重新校準(zhǔn)裁判。如果業(yè)務(wù)迭代很快可以只針對(duì)新增能力場(chǎng)景做小樣本校準(zhǔn)不需要全部重標(biāo)。7.5 敏感場(chǎng)景必須標(biāo)記置信度在 MUD 這類(lèi)開(kāi)放生成場(chǎng)景中如果裁判的評(píng)分和人類(lèi)錨點(diǎn)偏差過(guò)大應(yīng)該標(biāo)記為“低置信度結(jié)果”不直接進(jìn)入自動(dòng)決策流程。這也是一種安全邊界寧可不自動(dòng)判斷也不要讓裁判帶偏結(jié)果。7.6 記錄評(píng)估數(shù)據(jù)與教訓(xùn)每次評(píng)估都應(yīng)該記錄裁判模型版本。prompt 版本。采樣參數(shù)。人類(lèi)標(biāo)注樣本。評(píng)估結(jié)果和偏差指標(biāo)。這些數(shù)據(jù)可以幫助團(tuán)隊(duì)長(zhǎng)期打磨評(píng)估體系。LLM-judge 不是一個(gè)“一次性工具”它需要像測(cè)試集一樣持續(xù)維護(hù)。8. 總結(jié)與接下來(lái)可以深入的方向這篇文章的核心觀點(diǎn)可以概括成一句話(huà)Cohen’s Kappa 適合衡量裁判之間的穩(wěn)定性但它不能發(fā)現(xiàn) LLM-judge 的系統(tǒng)性失真。在 MUD 這類(lèi)開(kāi)放式、長(zhǎng)序列、多路徑的 AI 評(píng)估場(chǎng)景里多個(gè)裁判很可能共享同一個(gè)偏差導(dǎo)致聚合 Kappa 很高但整體評(píng)估結(jié)果偏離真實(shí)質(zhì)量。我們通過(guò)一個(gè) Python 模擬實(shí)驗(yàn)演示了這個(gè)問(wèn)題。做法是構(gòu)造帶有“長(zhǎng)回復(fù)偏好”的裁判然后用 sklearn 計(jì)算 Kappa結(jié)果顯示裁判之間的一致性高于它們與人類(lèi)的一致性。這說(shuō)明聚合指標(biāo)必須和偏差指標(biāo)、人類(lèi)錨點(diǎn)、維度拆分一起使用才能真正支撐評(píng)估結(jié)論。接下來(lái)你可以從以下幾個(gè)方向繼續(xù)深入學(xué)習(xí)加權(quán) Cohen’s Kappa 和 Fleiss’ Kappa了解不同一致性指標(biāo)的適用場(chǎng)景。研究 LLM-judge 的 prompt 設(shè)計(jì)例如 Chain-of-Thought 打分、對(duì)比評(píng)測(cè)、pairwise 排序。嘗試在 MUD 或者自制文本環(huán)境中跑一個(gè) Agent再讓兩個(gè)不同模型做裁判對(duì)比 Kappa 與人類(lèi)評(píng)分的差異。如果有條件把評(píng)估結(jié)果做成一個(gè)監(jiān)控 Dashboard讓偏差指標(biāo)可以持續(xù)跟蹤。最終你還是需要回到自己的業(yè)務(wù)場(chǎng)景里做抽樣驗(yàn)證。自動(dòng)評(píng)估指標(biāo)可以幫助節(jié)省時(shí)間但不能替代人對(duì)公平性和質(zhì)量的判斷。希望這篇文章的代碼和排查思路能幫你少踩一些 LLM-judge 的陷阱。如果你在實(shí)際項(xiàng)目里曾遇到過(guò)“裁判之間 Kappa 很高但大家公認(rèn)結(jié)果不對(duì)勁”的情況歡迎按文中的方法復(fù)現(xiàn)一遍多看看裁判給出的解釋文本通常很快就能找到病因。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色色色综合| 天天檫天天爽| 天天肏夜夜肏| 99激情网| 国产成人精品一区二三区熟女在线| 91久久婷婷| 五月丁香 啪啪| 欧美性猛交99久久久99| 久久婷婷五月| 69午夜成人影片| AA片在线观看视频在线播放| 国产69久久久欧美黑人A片| 五月丁香欧美综合| 天天干天天干天天操| 婷婷五月色| 五月天啪啪啪| 日日狠狠久久偷偷四色综合免费 | 这里只有免费的精品| 99原创自拍视频在线观看| 五月丁香六月婷婷不卡免费无码| 殴美97色| 粉嫩av懂色av蜜臀av熟妇| 久久久五月五丁香| 91操操| 久久99热这里只有精品23| 九九碰九九爱97超碰| 久久9精品| 久99视频在线观看| 九九99视频精品| 色婷婷小说网| 五月婷综合网| 99福利导航| AV中文在线| 中文网AV| 久草婷妨| 99热这里只有精品免费| 亚洲欧州色情在线观看| 天天久久狠狠色综合| 色99视频| 中文字幕 久久9999| 国产在线网址1| 夜夜夜夜夜操| 综合激情在线| 国产日产亚系列精品版优势| 五月丁香啪啪网| 超碰日日操| 丁香五月播播| 欧美色爱五月天| 日本全黄一级999| 久久偷拍综合五月天| 婷婷刺激综合| 二人电影免费版在线观看| 日韩精品一区二区三区,四区,五区视频| 五月天深爱激情网| 99er日韩| 久久99久久久久久久噜噜| 思思热在线视频99| 91seav| 丁香五月激情婷婷| 婷婷王月天影院| 99男人的天堂| 国产精品成av人在线视午夜片| 久久丁香五月天| 激情九月婷婷| 97久久超视频| 成人做爰A片免费看视频| 永久精品| 婷婷五月永远18免费久久久| 色婷婷19| 成人精品免费在线观看| 五月天婷婷社区| 三级大香蕉网| 丁香狠狠色婷婷| 99综合| 婷婷免费视频| 综合五月亭亭9| 97在线干| 日韩在线视频9色| 免费看欧美成人A片无码| 五月天另类综合网| 99操视频| 日韩在线观看亚洲| 久久久久久久久久久久久久久久久精典| 夜夜资源站| 五月天婷婷青青| 97久久五月丁香婷婷| 国产肥白大熟妇BBBB视频| 五月丁香欧美在线| 综合色图区| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日本婷色| 99年操人人爽| 亚洲五月婷婷| 日本va欧美va欧美va| 狠狠爱综合| 91国产精品视频播放| 99精品热| 五月叮香啪| 五月婷婷啪| 激情网 五月天| 99日精品视频| 97自拍99| 亚洲国产网站| 91高潮喷水久久久久久久久 | 开心五月激情网| 婷婷丁香五月婷婷| 久久这里有| 五月丁香成人日| 黄网免费看| 9|在线观看视频| 亚洲欧洲中文日韩久久AV乱码| 九色91视频| 天天日天天爱天天噪| 99r这里只有精品哦| 婷婷婷久久久| 五月天综合久久丁香91| 玖玖婷婷色五月| 婷婷久久爱| 202丰满熟女妇大| 五月天另类激情在线| 国色天香伊人狠狠色| 丁香婷婷五月天网站| 超碰93在线观看| www.com任你艹| 久久99最新地址| 丁香五月天色婷婷| 五月综合视频| 亚洲成人在线播放| 99精品视频在线观看| 久久曰曰| 亚洲精品又粗又大又爽A片 | 婷婷五月花| 成人五月天婷婷| av无码电影| 五月色情婷婷| 久久婷婷亚洲无码一起| 99热丁香五月| 色婷婷久久综合久色综| 九九碰九九爱97超| av 一区三区四区| 99久久婷婷| 啪啪婷婷五月天激情| 香蕉大综综综合久久| 激情性爱网站| 久操大| www.精品99| 91人操人人人操人| 性五月激情| 九色七七| 久久综合五月天| 玖玖99免费视频| av第一二区| 色婷综合| 亚洲 视频 导航 一区| 日本97久久久精品| 激情小说五月天社区丁香| 欧美五月婷婷| www.91操| 成人精品一区二区三区四区五区 | 色色色区| 99这里只有精品视频免费| 久久婷色| 色婷婷黄色网络| 五月婷婷在线视频免费观看| 婷婷久久视频| 色色 亚洲| 99视频这里有精品| 婷婷五月激情中文字幕| 激情综合网激情五月俺也去| 久久久久久久,99精品视频| 99精品九九| 天天网曰日曰夜夜综合永久免费| 国产免费AV在线| 97香蕉碰碰人妻国产欧美| 五月婷婷狠狠干| 99大香蕉| 天天干,噜噜色,狠狠色| 99热精品在这里| 夜色综合网| 久久多色| 五月丁了香蕉综合| 色色cOm| 久久a热| 五月丁香花视频| 久久狼人天堂| 玖玖色综合色| 婷婷激情九月| 五月婷婷六月奇米网丁香| 五月天婷婷成人| 日韩操人| 免费无码毛片一区二区A片| 91碰碰视频在线观看| 国产婷婷久久| 亭亭玉立国色天香| 欧美日本va| 欧美三级欧美一级| 色五月综合激情网| 99色热| 99久久er| 五夜婷婷| 97碰 在线视频观看| 久久精品五月天| 99视频地址| 激情五月婷婷丁香| 国产这里只有精品| 99在线公开视频| 天天天久久久| 亚洲综合激情五月久久| 国产毛片精品一区二区色欲黄A片| 99在线小视频| 欧美在线骚货| 五月丁香色婷婷久久| 99这里有精品| 成人 视频免费观看网站| 婷婷在线操| 99只有这里是精品| 操99| 超碰高清在线| 激情综合色婷婷啪啪六月天| 狠狠色丁香| WWW色色色COM| 极品 少妇 内射| 亚洲99在线| 粉嫩AV久久一区二区三区| 91九色 婷婷| 久久性爱网站| 强伦轩人妻一区二区电影| renrencaoav| 色婷婷超碰| 九月丁香欧美综合| 天天拍天天操| 99干视频| 狠狠色噜噜| 五月丁香免费看| av中文字幕免费观看| 丁香五月欧美色综合| http://www.lingjunshare.com/ | 99热精品在线观看| 97干在线观看| 五月婷婷之综合激情| 激情六月天| 这里只有精品视频| 综合色色色| 久久机热/这里只有精品| 亚洲中文AV网站| 色五月婷婷、老熟女| 99操碰| 婷婷五月无码| 久青草大香蕉| 国产精品色婷婷AV综合色色| 中国无码av| 狠狠色丁香五月婷巨| 婷婷综合97| 亚洲精品九九| 99热这里有精力| 少妇搡BBBB搡BBB搡毛茸茸| 99热精品在线| 婷婷婷婷婷婷婷五月丁香| 玖玖婷婷视频| 丁香婷婷激情综合五月激情| 国产日韩亚洲欧美在线观看| 91婷婷视频| 热99视频精品| 婷婷丁香六月| 99精品激情| 97香蕉久久超级碰碰高清版| 久热黄色| 超碰99在线观看| 大香蕉人人人| 婷婷五月天Av| 情色五月天网站| 日韩av在线免费观看| 9999热精品| 婷婷五月天免费视频在线观看| 色五月激情五月| 丁香五月婷婷黑人妻黄色电影院| 日韩人妻白浆视频系列| 疯狂做受XXXX高潮A片| 女人露出p毛视频www网站| 色色五月天婷婷丁香| 午夜福利8055| 欧洲亚洲午夜| 九月色婷婷| 日韩欧美成人片| WWW.桔色成人.COM| 婷婷伊人75| 亚洲五月天另类小说图片| 香蕉伊人综合| 婷婷五月丁香五月| 婷婷激情综合网| www.久久久.com| 成人免费高清在线播放| 在线观看亚洲视频影院| 日韩综合网络男女香蕉a片| 91色在线/日韩| 丁香五月激情棕合| 婷婷婷婷色| 99热这里只有99| 五月丁香久久网| 91九色视频在线观看| 操操操AV| 色在线99| 五月天婷婷丁香| 天天色一道本综合婷婷| av五月天婷婷丁香| 99无码精品| 五月婷婷色影院| 欧美操人| 久久66精品| 九色成人AV在线| 婷婷色正月| 日本一级一片免费视频| 天天天天干| 夜夜天天久久婷婷| 色吊丝av中文字幕| 在线另类| 开心五月婷婷在线| 99久精品| 五月丁香六月激情在线| 婷婷五月天伊人网在线观看视频| 综合网天天| 久久女婷| 欧美婷婷五月天综合| 久久青草国| 六月婷婷私欲| 国产美女无遮挡裸体毛片A片| 99热6这里之有精品| 久操97| 婷婷丁香91综合| 欧美日韩婷婷五月天| 亚洲婷婷性爱| 搡BBBB搡BBB搡18| 丁香婷五月天| 久久婷婷精品| 91人人操| 国产一级视频a| 亚洲成人网站在线播放| 婷婷色色丁香五月天| 综合AV在线| 少妇AB又爽又紧无码网站| 丁香五月亚洲婷婷| 亚洲AV人人操| 婷婷五月天渟渟| 五月丁香婷婷综合网| 激情五月丁香激情综合网| 国产44页| 久久小视频| 99热精品在这里| 丁香色婷婷| 免费一区二区三区| 亚洲中文字幕网| 伍月激情天| 射琪琪| 天天干天天拍| 久色激情| 99热这里只有精品在线播放| 五月天天丁香婷婷在线中| 亚洲国产网址| 亚洲视频在线观看| 日本五月婷婷| 先锋资源婷婷| 这里只有九九精品| 五月天合网| 九九超碰人人| 婷婷五月六月| 日日噜狠狠色综合久| 99久久黄色顶级视频| 草榴成人影片| 日本人妻伦在线中文字幕 | 日亚二欧美| 五六月婷婷| 亚洲国产精品VA在线看黑人| 97干免费视频| 欧美Va日本Va| 99热在线免费| 亚洲、热| 激情综合网,婷婷| 久久日九九| 男女啪啪做爰高潮无遮挡| 99操99| 99热在线观看亚洲区| 亚洲小视频免费看| 色婷婷www| 99在线播放| 国产69久久久欧美黑人A片| 91欧美日韩综合| 99精品亚洲| 色五月五月丁香| 精a品a视a频| 婷婷五月色综合| 曰本aaaaaa丈片| 亚洲视频在线观看| 精品夜夜澡人妻无码AV| 97色碰| 色狠狠999综合| 激情婷婷五月| 天天爽夜夜爽夜夜爽精品视频 | 激情网五月天| 丁香五月激情鲁| 五月五丁香婷婷| 高清激情av在线观看| 天天久久人人| 久久99这里只有精品| 成人版视频在线观看| 五月天大香蕉AV| 免费无码毛片一区二区A片 | 五月婷婷色| 天天狠天天叉| 国内外色色色色色成人视频| www夜夜操| av九九| www,超碰| 超碰免费人妻| 狠狠干夜夜干| 丁香五月婷婷色| 性色五月天| 亚洲无线视频| 亚洲精品无码久久| 99热66| 婷婷色五月天在线观看| 26uuu国产| 激情五月婷婷视频一区二区三区| 亚洲九九夜夜| 天天干,夜夜爽| 在线只有精品| 熟妇内谢69XXXXXA片| 天天爽天天爽| 综合六月久久| 综久久久| 热五月婷婷| 丁香婷婷啪啪| 天天日日天天| 国产裸舞表演WWWW| 丁香婷婷色五月激情综合| 久久人妻乱| 人人摸人人干| 婷婷丁香人妻天天爽| 天天干,夜夜爽| 夜夜爽77777妓女免费下载| 日本欧美成人片AAAA| 能看的av| 97超级碰碰碰久久久| 激情五月天99色| www.97碰碰com| 丁香五月婷婷啪| 婷婷丁香69精华| 99热最新网址| 六月天六月婷| 五月天另类激情在线| 五月丁香av中文| 人妻22p| 日韩AV在线影片| 色444综合网| 婷五月天丁香婷五月| 久久九九@| 97亚洲色 torrent magnet| 五月天 综合 在线| 99热在这里只有精品| 色综合久久综合中文综合网| 国产精品一区在线观看你懂的| 97色五月婷婷在线| 婷婷五月精品中文字幕| 亚洲精99| 亚洲婷婷五月天激情| 日本啪啪网| 26uuu精品国产| 亚洲精品白浆高清久久久久久| 99在线看片| 婷婷午夜综合| 婷婷激情鹿城五月天| 六月丁香五月天| 99久在线精品| 狠狠干五月| 啪色综合| 热的国产,热的综合,热的有码| 五月婷婷六月丁香激情综合网| 五月婷婷综合潮喷| 婷婷香五月天| 天天色中文字幕女优AV| 色哟哟精品| 操逼在线视频| 久久九区| 台湾佬天天日丁香婷婷五月天 | 久久久久久99精品无码| 日本精品。999| AV人人操| 中文字幕在线免费看线人| 婷婷综合九月| 最新亚洲色色网| 91要啪| 亚洲亚洲人成综合网络| 九九热re99re6在线精品| 亚洲色五月天是什么| 五月婷婷六月激情| 亚洲综合网在线| 五月婷婷色播| 天天成人丁香美女AV| 伊人狠狠丁香婷婷综合尤物| 精品99*| 亚州精品色情无码A片| 五月婷婷说| 激情五月综合亚洲另类| www.久久综合| 夜夜操,天天撸| 久久婷婷色| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 99综合在线| 牛牛碰免费| 美欧日韩国产成人在战| 六月丁香开心婷婷欧美| 丁香激情合作五月| 亚洲色五月天| 熟女色色一区二区| 免费视频无码| 丁香桃色网| 狠狠色噜噜色狠狠狠综合久久成人波| 丁香五月婷综合| 97久久综合网| 丁香婷婷五月天色综合| 丁香色色色| 五月婷婷久久爱| 国产Va视频| 五月丁香色色| 婷婷五月丁香综合瑟瑟| 婷婷色五月噜噜| 99自拍网| 丝袜激情网| 婷婷丁香五月高清| 丁香五月婷婷色综合| 综合五月天亚洲婷婷| 色情久久久| 欧洲区自拍| 婷婷五月天首页| 欧美久热| 五月色婷婷亚洲 | 四虎婷婷五月天| 深爱婷婷网| 九九热10| 九色91视频| 九九热在线99| 免费在线观看欧美激情xx小视频| av在线婷婷| 丁香五月香蕉在线| 婷婷色五月天在线观看| 丁香五月婷婷黑人妻黄色电影院| 99狠狠| 涩玖玖免费视频| 五月丁香花开综合网| 日韩黄在免| 久久久久妻| 丁香六月啪| 爆乳熟妇一区二区三区爆乳照片| 99精品视频偷拍| 丁香五月激情网| 五月天婷婷社区| 激情综合网激情五月婷婷| 激情五月综合六月丁香婷婷狠狠干| a网站免费观看| 色婷婷基地| 人人草人人看| www.97碰碰com| 人妻久热| 91精品婷婷国产综合久久| 人人摸人人澡人人| 婷婷综合网性| 婷婷99狠狠躁天天躁中| 成人国产综合| 96丁香六月婷婷蜜桃综合久久| 丁香婷婷六月激情文学| 色五月婷婷丁香五月| 99精品热| 99视频| 色婷婷亚洲在线| 天天揷综合网| 99精色| www91久久| 人人干99| www.91.com处女在线直播| 91超级碰| 无码人妻一区二区三区免费九色| 玖玖激情网| 久久九九@| 综合AV在线| 天天干,天天日| 亚洲狠狠狠色婷婷综合激情久久久| 国产伦亲子伦亲子视频观看| 这里只有精品99www| 久久综合55| 综合啪啪| 激情深爱综合| 99久久婷婷国产综合精品电影| 人人爽欧美婷婷久久久五月丁香| 色婷婷国产精品综合在线观看| 欧美99热| 日日射天天射| 日本3级片一区2区| 网站免费一站二站| 五月婷婷丁香色播网| 丁香六月青青草| 色色五月天激情| 天天插轮理| 狠狠干在线| 欧美日比视频| 婷婷色在线| 久久久五月婷婷| 69色婷婷| 蜜桃人妻无码AV天堂三区| 停停五月天激情网| 啊V视频在线观看| 五月婷婷丁香六月| 五月天综合在线观看视频| 激情av| 97在线观视频免费观看| 新伍月婷婷| 激情伊人| 久久久精品色| 婷婷丁香六月综合激情站| 91妻人人爽人人看片| 婷婷娌伦网| 小视频aaa久久久| 大香蕉天堂色| 久久综合五月天| 丁香激情综合| 97干在线视频| 月丁香久久久| 激情五月婷婷综合| 婷婷五月色情| 思思久久96热在精品国产,| 射久久丁香五月| 国产又粗又大又爽又黄| 五月婷婷激情日本| 久久久五月婷婷| 99视频精品| 黄色成人AV在线| 99精品免费视频| 五月丁香六月激情欧美综合| 狠狠干天天内射| 视频1区2区| AA片在线观看视频在线播放| 九九五月天| 五月丁香六月婷婷的女人| 婷婷五月天成人导航| 91九色超碰| 五月天婷婷基地| 五月天开心婷婷激情网站 | 色播丁香| 99激情在线| 婷婷五月天另类网站| 综合激情五月四射婷婷| 69久久99精品久久久久| www色哟哟| 婷婷五月成人| 99色天堂| 先锋资源91| http://www.sd-xiangsu.com/| 五月天五月色婷婷综合| 啪精品| 亚洲国产精品VA在线看黑人| 婷婷五月综合激情| 国产激情在线| 第五色婷婷| 婷婷六月色播| 99热精品9| 77799热| 中文字幕av在线| 伊人激情综合| 色婷婷基地 | 九九这里都是精品| 人人摸人人操人人爽| 吉澤明步Av一區二區| 狠色狠色狠色狠色狠色网| 婷婷丁香色五月亚洲| 91成人电影| 久热爱大香蕉在线蜜臀悦色 | 日本色色视频| 狠狠色精品综合| 日日夜夜青青草| 欧美va精品va老师va| 五月激情啪啪啪| 永久免费一区二区三区| 久久五月婷婷视频| 色色色五月| 亚洲一二三网| 久久探花91swag| 9九九久久精品无码专区| 亚洲乱码日产精品BD| 国产免费一区二区在线A片视频| 岛国AV网| 91碰| 国产九九一区二区三区| 五夜丁香| 大香蕉五月婷婷| 亚韩在线视频| 99热自拍| 涩综合网| 91色逼| 9色视频在线| 久久婷婷网| 9l视频自拍九色9l视频自拍九色9l社区| 激情丁香五月婷婷| 婷婷久久五月天丁香| 五月丁香色色| www99热| 免费国产VA国产免费| 五月亚洲激情| 婷婷六月色播| 中文在线成人| 婷婷丁香人妻天天爽| 久久xx| 精国产品一区二区三区A片| 伊人五月天| 无码91中文字幕| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月开心网| www.色综合.com| 人妻中文在线| 五月婷丁香| 丁香六月婷婷色XXXX| 亚洲9久久精品| www.九月婷婷丁香.com| 综合五月丁香六月婷婷| 丁香五月综合婷婷| 日韩欧美四五区| 亚洲天堂婷婷| 99久久天堂婷婷| 五月天堂色色| 国产熟女一区二区三区五月婷| 九九人人精品| 婷婷综合五月| 五月丁香激情综合网| 最近韩国日本免费高清观看| 99亚洲精品综合在线| 亚洲电影在线观看| 国内在线99视频| 五月 激情视频| 丁香五月婷婷啪啪| 婷婷五月激情四月综合| 五月丁香色| 色丁香五月| 久久久久久综合88| 欧美性猛交 XXXX 乱大交| 日韩成人影片网站| 99热资源在线| 亚洲va欧美| www.婷婷,com| 国产97色在线| 熟女人妻一区二区三区免费看| 精品亚洲国产成AV人片传媒| 另类亚洲视频| 五月丁香六月婷婷在线小说视频| 综合噜噜| 极品人妻VIDEOSSS人妻| 国产精品人妻在线网址| 伊人丁香五月| 五月天丁香成人社| 97在线观视频免费观看| 人伦30P| 日本ww亚洲| 婷婷五月花| 国产精品第一国产精品| 欧美日韩国产一区| 亚洲开心激情网| H亚洲| 91要啪| 99色综合| 五月丁香自拍| 青青草日本亚洲| 日本99视频| 婷婷丁香五月综合久久| 久久99热只有精品| 真实亲子乱子伦高清在线观看| 欧洲色| 夫妻超碰在线| 99色播| 超碰九九热| 国产超碰av| 日日日,com| 婷婷综合一二三| 99热99免费| 97热这里精品在线视频| 日韩黄色影院| 五月婷婷内射网| 97色啪| 中文婷婷狠狠| 99视频色在线观看| 久久婷婷五月天激情| 亚洲AV成人无码精品| 99色这里| 五月丁香婷中文| 97在线日韩| 怡红院院久久| 日本三级日本三级99| 情色婷婷五月天| 99精品福利视频| 丁香狠狠干| 99这里有精品久久97| 人妻AV在线观看| 久久女人九九| 天天爽天天摸| 日本色色色色色色色色一色二色| 国产五月丁香在线| 亚洲天堂99| 97欧美在线| 99爱视频在线播放| 婷婷丁香红五月91C| 亚洲国产精品五月天| 激情四射五月天| 日韩淑女人妻luan伦激情精品一区二 | 九九色热| www.maotanji.com| 色停停五月天| 无码碰碰| 国精产品一区二区三区| 欧美69久成人做爰视频| 99爱在线| 天天射影院| 五月丁香六月色婷婷综合五月天| 色婷婷www| 久婷首页| 激情综合色五月丁香六月亚洲| 秋霞AV淫| 一区二区三区XXXXXX| 丁香色五月天| 日本高清不卡免费一区二区三区| 99色在线观看视频| 日韩人妻无码一区二区| 婷丁香五月天| 丁香五月天堂网| 激情VA视频| 国产FREESEXVIDEOS性中国| 思思热思在线精品视频| 九九精品热| 激情婷婷五月天| 五月丁香婷婷久久| 久久久久久欧美精品se一二三四| 色综合久久天天综合网| 九九五月天| 色域五月婷婷丁香| 久久女婷| 9+1视频网址| 色婷婷成人在线| 嫩草极品| 五月丁香欧美在线| 亚洲综合欧美色丁香婷婷888月图片| 日韩操逼小电影| 婷婷国产五月天17c| 亚洲另类噜噜| 99精品高潮| 婷丁香五月天| 99综合免费视频| 夜夜谢天天干| 狠狠干激情五月| 色约约视频一区二区三区四区五区| 天天插AV丝袜中| 婷婷久久伊人| 五月天丁香成人| 色噜噜婷婷| 开心五月婷婷激情| 人妻尝试久久久久久久久久久久| 5月丁香综合图区| 五月激情小说网| 九九综合网色全集 | 天天肏高清在线| 色色色干| 天天干,天天舔| 久久久99精品免费观看| 五月天婷网| 91视频综合网| 五月婷婷六月丁香| 五月婷婷亚洲综合网| 中文字幕丰满孑伦无码专区| 色五月激情婷婷| 激情综合网五月丁香| 日韩啊啊啊| 欧美婷| 中文字幕人妻AV| 生活片五区| 丁香六月狠狠| 激情婷婷在线| 五月丁香操婷逼| 激情伍月 欧美| AV在线不卡网站| 97婷婷狠狠| 另类小说五月天综合| 一本狠婷婷综合| 婷婷色色网| 久热最新视频| 97九色视频| 深爱激情五月网| 色五月丁香激情| 91碰九色| 丁香五月成人社区| 91人妻视频| 情一色一乱一伦一91A| 思思久久精品| 五月天婷亚洲综合在线嫩草网| 亚洲综合色成丁香五月色| 九九这里只有精品| 开心五月天私房婷婷| 超碰成人在线免费观看| 五月丁香六月香香蕉| 在线区区区| 色综合久久综合| 99热国产免费| 天天激情| 色丁香五月天射婷婷爱婷婷| 婷婷五月欧美AA片免费| www.色9| 天天综合亚洲综合| 九色91视频| 国产黄大片在线观看画质优化| 五月天婷婷成人网| 天天免费成年人视频| 大香蕉娱乐| 久久99综合| 91久久九久久九久久九久久九久久| 天天爱天天做综合| 色色色五月婷| 少妇搡BBBB搡BBB搡毛茸茸| 免费视频无码| 色婷婷狠狠色| 欧美日韩99| 激情婷婷护士激情| 99噜噜噜在线播放| 丁香五月先锋| 99热无码| 欧洲亚洲最新精品| 国产综合色婷婷精品久久| 久久婷婷五月综合色欧美| 激情五月丁香五月| 99这里只有精品|v| 婷婷五月丁香综合激情小说| 五月婷婷啪啪啪| 激情五月最新网址| 内射干少妇亚洲69XXX| www.99婷婷| 色J香五月天| 丁香五月瑟瑟| 亚洲中文字幕av| 久久综合五月婷婷| 日比网免费国产| 亚洲免费看片| 五月天激情四射网站| 人人人人人人人草| 日本特黄aaaaa| 久热9| 另类在线观看视频| 一区中文字幕电影| 婷色天堂| 婷婷丁香成人| 亚州操操| 狠狠干综合| 丁香美女主播视频在线观看| 九月婷婷综合八月丁香在线观看| 九色视频91| 久久综合色五月| 一区二区三区四区牛| 亚洲国产精品SUV| 激情五月婷| 亚洲愉拍99热成人精品| 综合99视频| 9热超碰| 天堂无码人妻精品AV一区| 五月丁香成人网| 综合色久| 97久久久久| 婷婷五月色播| 国产无套精品一区二区| www夜夜操comwww| 思思综合热| 人人播| 久久全色| 五月天激情中文字幕| 久久视频这里有精品99| 日本婷婷色| 九九热手机在线视频| 激情开心五月天| 91人妻人人操| 色婷婷网| www.国产色| 99九九在线| 婷婷五月天电影网| 人人操五月天| 几激情五月婷婷色五月色天堂| 丁香婷婷噜噜| 99热6色| 色综合网综合| 久热A| 婷婷丁香五月综合网上| 五月天综合视频| 激情五月天视频| 狠狠做婷婷| 久久婷婷五月综合啪| 99爱视频| 国产avapp 网| 婷婷五月激情的图片| 秋霞AV淫| 五月婷色| 人人九色| 99热这里只有精品22| 五月丁香综合激情| 国产无套精品一区二区| 99色色网| 中文字幕中文有码在线| 99爱操| 大香蕉网 久久| 99热官网精品在线| 久久精品综合色| 久久九色| 久鲁鲁色网| 丁香五月成人论坛| 亚洲激情高潮| 婷婷五月天激情综合网| 丁香六月成人| 免费亚洲婷婷五月| 99热都是精品| www.久久| www.91av.com| 熟美女麻豆| 久久婷婷五月天激情| 成人电影一区| 丁香五月激情月| 狠狠色丁香久久婷婷综合五月| 人人干人人看| 日韩欧洲亚洲| 日韩操人| 久久丁香综合香蕉| 久久婷婷五月综合啪| 综合久久99| 五月天成人在线精品| 5月丁香啪啪啪| 九色91国产| 婷婷成人视频| 91色五月在线观看| 99久久.www| 丝袜大香蕉| 九九热这里只有精品9| 欧美丁香婷婷五月| 九九免费视频| caop视频| 超碰京东热av男人的天堂| 99啪啪视频| 婷婷丁香五月噜噜噜| 五月丁香六月激情在线| 五月天天天色| 99在线资源视频| 色五月欧美| 久久99最新| 亚洲色99| 99久视频| 99操九九网| 99精品久久久久| 久久久婷丁香五月| 色欲影香| 少妇被躁爽到高潮无码文| 97碰成超视频免费视频| 亚色网站小视频| 天天草天天摸| 色情五月综合婷婷| 99色视| 久热这里只有国产| 99爱视频免费| 五月天婷婷综合网| 久久婷婷综合色丁香| 激情网五夜婷婷| 国语对白性爱视频播放| 五月天婷婷爱| 五月丁香综合| www,99热| 六月丁香中文字幕| 亚洲亚洲人成综合网络| 天堂网啪啪| 狠狠婷婷爱| 久久少妇视频| 五月婷婷之综合激情| 国产综合A片| 天天色月| 亚洲美女网Va| 最近中文字幕2019视频1| 久久天堂精品| 激情欧美婷五月| 色噜噜五月天| 9l视频自拍9l九色成人| 婷婷终合色图| 开心五月婷婷激情网| 久久五月天色| 五月丁香六月婷婷久久| 婷婷综合伊人| 日本五月婷婷久久久六月丁香| 婷婷五月激情网| 色婷婷在线电影| 五月天婷婷激情网| 五月丁香中文| 丰满少妇猛烈A片免费看观看 | 天天激情| 欧美色五月| 五月丁香91| 日本色五月| 日本视频不卡123区| WWW.天天日| 久色婷婷200| 欧美久久一级内射wwwwww.| 婷婷精品| 五月婷婷天堂| 91超级碰人人操| 色色亚卅| 可以看的av| WWW99热| 思思热视频在线观看| 丁香六月天婷婷色| 亚洲综合激| 色婷婷亚洲精品天天综| 五月婷婷婷| 五月丁香婷婷成人综合网| 成人.在线日韩| 久久综合网免费视频| 久99| AV无码免费| 亚洲五月婷婷| 色色综合院| 九九精品视频在线6| 久久se 综合网| 岛国av网| 五月天婷婷色| 婷婷丁香六月五月天| 五月婷婷之综合激情| 超碰在线观看9| z色五月播播久久| 男人的天堂av俄罗斯热| 久热这里只有精品66| 国产偷人爽久久久久久老妇APP| 色色色精品无码区| 四色五月婷婷| 色很很96| 色综合五月| 激情九月综合| 操日本99| 久久久无码精品成人A片小说| 日本婷婷激情四射中文字幕在线观看| 五月天婷婷丁香花| 九九精品亚洲| 国产a视频| 亚洲成人乱码av网站| 国产午夜精品一区二区三区嫩草| 婷婷五月天伊人在线| 99热综合网| 久久98| 丁香婷婷色五月| 久草大| 丁香五月电影| 婷婷五月黄色激情在线| 欧美25p| 思思视频这里是精品| 99精品偷自拍| 伊人综合网4| 岛国在线观看91| 丁香色五月婷婷91桃色| 色涩视频久久| 成人综合伍月天| 久久99jiu9| 丁香五月婷婷偷拍| 国产三级片91| 色婷婷久久| 影音先锋按摩| 成人在线视频网| 日日鲁鲁夜夜爽爽| 蒲京久久无码视频| 操一操干一干| 91久久综合亚洲噜噜成人在线| 99久久婷婷五月综合| 69精品人人人人| 色五月五月婷婷| 婷婷丁香五月激情中文字幕版| 亚洲偷| 激情五月天免费视频| 久9热插入| 婷婷大乡焦噜噜| 人妻AV在线| 丁香五月激情五月| 丁香五月六月欧美| 婷婷激情五月视频| 97人人搞| 欧美日本VA| 六月成人网| 五月天婷婷激情在线色图| 色人久夂| 欧美激情综合| 97操在线| 99亚洲无码| 99热碰碰| 99啪99| 黄网在线播放| 色婷婷六月| 五月天色婷婷基地| 无码九九九九| 亚洲欧美婷婷五月色综合| 91色综合| 欧美性猛交XXXX乱大交极品| 天天操夜夜夜拍拍拍| 六月婷在线| 五月婷婷av| 婷婷五月天电影在线| 丁香五月电影院在线观看| 操91| 另类图片婷婷五月天| www.91婷婷| 99热自拍| 可以看的AV| 天天弄天天爽| 亚洲黄网AV| 日日干日日| 日韩狠狠色婷婷| 激情丁香久久| 欧洲亚洲精品| 色五月综合激情| 色一情一乱一乱一区91Av| 琪琪布丁香社区激情五月天| 亚洲国产99| 影音先锋噜一噜| 国产成人精品一区二三区熟女在线| 婷婷五月天在线综合| 九九激情综合| 亚洲99热| 性爱视频99| 武汉美女啪啪视频免费一级片 | 天天天干夜夜夜操| 综合激情网五月激情 | 婷婷五月色惰| 天天操天天操| 黄色一级影片| 六月丁香久久| 丁香五月婷婷网| 五月亭亭六月激情| 9久久精品视频| 国产精品A成V人在线播放| 99九九在线视频| 青草热视频这里只有精品| 日亚二欧美| 国产成人精品123区免费视频| 人人草人人爱| 婷婷色五月久久| 日韩99视频| 九九艹女| 天天插天天插| 五月婷婷色播| 热这里| 蜜臀丁香黄色婷婷五月天| 香蕉中文在线| 亚洲V国产V欧美V久久久久久| 国产日韩欧美性爱| 5月婷婷性视频| 91啪啪视频| 超碰京东热av男人的天堂| 亚洲综合激情五月久久| WWW99热| 五月婷六月| 狠狠色激情综合| 久久婷五月婷| WWW·色色色·COM| av在线免费播放观看| 色色射| A久久| 欧美激情-区二区三区| 天天摸天天舔天天爽| 色婷婷视频| 69久热|