欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AI變笨了嗎?構(gòu)建用戶體感驅(qū)動(dòng)的AI體驗(yàn)指數(shù)追蹤方法

AI變笨了嗎?構(gòu)建用戶體感驅(qū)動(dòng)的AI體驗(yàn)指數(shù)追蹤方法 在 Hacker News 上看到“Is AI Dumber Today?”這個(gè)展示項(xiàng)目時(shí)我先被它的標(biāo)題抓住了。不是因?yàn)樗苯咏o出了“是或否”的答案而是它想從普通用戶的觀點(diǎn)里做一個(gè) AI 模型體驗(yàn)指數(shù)專門(mén)回答很多人最近常問(wèn)的一句話AI 是不是真的變笨了類似的做法是去收集社區(qū)討論、社交平臺(tái)、應(yīng)用商店評(píng)論里的抱怨和表?yè)P(yáng)再按模型、時(shí)間段、任務(wù)類型拆開(kāi)看用戶體感到底是往下走還是往上走。這個(gè)方向比單純跑分更有意思??赐赀@個(gè)項(xiàng)目我的整體判斷是它不一定要替代模型能力排行榜真正的價(jià)值在于給“用戶覺(jué)得模型變笨”這種模糊抱怨提供了一套可跟蹤、可比較的結(jié)構(gòu)化指標(biāo)。適合做模型評(píng)測(cè)、AI 應(yīng)用開(kāi)發(fā)、模型選型和客服體驗(yàn)優(yōu)化的人關(guān)注。下面我會(huì)先拆清楚這個(gè)指數(shù)到底在度量什么再按數(shù)據(jù)來(lái)源、指標(biāo)計(jì)算、干擾排除和實(shí)踐落地的順序展開(kāi)。1. 先搞清這個(gè)指數(shù)要回答的是“體驗(yàn)問(wèn)題”不是“智商問(wèn)題”1.1 用戶嘴里說(shuō)的“變笨”其實(shí)包含了好幾種完全不同的狀態(tài)這是整個(gè)項(xiàng)目最容易被誤解的地方。用戶說(shuō)“今天模型變笨了”可能是以下任一情況模型本身在某個(gè)任務(wù)上的能力確實(shí)下降了。模型沒(méi)有變但當(dāng)前上下文的長(zhǎng)度太長(zhǎng)導(dǎo)致模型忘記前文。服務(wù)端在做模型版本切換、負(fù)載均衡或臨時(shí)限流用戶被分到了較弱的實(shí)例??蛻舳伺渲谩⒔涌趨?shù)或模型名稱寫(xiě)錯(cuò)請(qǐng)求根本沒(méi)到目標(biāo)模型上。產(chǎn)品層增加了安全規(guī)則、格式限制或免責(zé)聲明回答變得更謹(jǐn)慎用戶誤認(rèn)為“不會(huì)思考了”。用戶自己的預(yù)期提高了。昨天能答對(duì)今天問(wèn)更難的問(wèn)題答錯(cuò)了也會(huì)被歸到“變笨”。如果不把這些狀態(tài)分開(kāi)最后得到的指數(shù)會(huì)非常混亂。所以“Is AI Dumber Today?”這個(gè)題目準(zhǔn)確說(shuō)應(yīng)該是“用戶感受到的 AI 體驗(yàn)是否正在下降”。它是一個(gè)體驗(yàn)指數(shù)不是一個(gè)智商測(cè)試。項(xiàng)目標(biāo)題用了 Experience 這個(gè)詞也暗示了這一點(diǎn)。1.2 為什么“用戶觀點(diǎn)”不能被模型跑分替代模型跑分適合衡量靜態(tài)能力比如推理、代碼、數(shù)學(xué)、多語(yǔ)言理解。它的優(yōu)點(diǎn)是穩(wěn)定、可復(fù)現(xiàn)、能橫向比較。但跑分很難覆蓋真實(shí)使用場(chǎng)景里的問(wèn)題多輪對(duì)話是否會(huì)丟失信息、長(zhǎng)時(shí)間任務(wù)是否穩(wěn)定、接口是否頻繁報(bào)錯(cuò)、回復(fù)是否因?yàn)楫a(chǎn)品策略變得過(guò)分保守。用戶觀點(diǎn)恰好能補(bǔ)上這塊空白。一個(gè)模型跑分再高如果用戶在實(shí)際界面里動(dòng)不動(dòng)就遇到連接失敗、模型不可用、上下文超長(zhǎng)報(bào)錯(cuò)體驗(yàn)分也會(huì)很低。用戶觀點(diǎn)的問(wèn)題同樣明顯噪音大、情緒偏激、樣本量小、容易被特定事件帶節(jié)奏。一個(gè)技術(shù)社區(qū)集中討論某次服務(wù)故障當(dāng)周評(píng)論里就會(huì)塞滿“模型變蠢了”但真實(shí)原因可能只是服務(wù)端過(guò)載。這個(gè)項(xiàng)目的核心工程難點(diǎn)就是把體驗(yàn)感受從情緒噪音中抽出來(lái)而不是簡(jiǎn)單統(tǒng)計(jì)“夸還是罵”。1.3 先確認(rèn)自己是否需要這樣一個(gè)指數(shù)如果你只是日常用模型看到一兩條批評(píng)帖子不需要指數(shù)直接換模型或換提示詞就行。但如果你在做以下事情那么一個(gè)體驗(yàn)指數(shù)會(huì)很有價(jià)值給公司選模型擔(dān)心評(píng)測(cè)集和真實(shí)用戶感受不一致。開(kāi)發(fā) AI 應(yīng)用想知道用戶吐槽的是模型能力還是產(chǎn)品功能。長(zhǎng)期使用某個(gè)模型 API想觀察版本更新和配置變更是否帶來(lái)體驗(yàn)波動(dòng)。維護(hù)模型接入層需要區(qū)分模型變差、服務(wù)故障和配置錯(cuò)誤。這個(gè)項(xiàng)目做成 Show HN本質(zhì)上是把想法公開(kāi)出來(lái)讓用戶試用、糾偏。在看它時(shí)不應(yīng)該把它當(dāng)成已經(jīng)成熟的權(quán)威指標(biāo)更合理的態(tài)度是關(guān)注它的問(wèn)題定義和數(shù)據(jù)口徑然后自己上手驗(yàn)證。2. 用戶觀點(diǎn)類數(shù)據(jù)從哪里來(lái)怎么聽(tīng)得夠真2.1 每種渠道都有自己的偏差不能只盯一個(gè)平臺(tái)如果一個(gè)體驗(yàn)指數(shù)只從一個(gè)地方采集數(shù)據(jù)結(jié)果很容易失真。技術(shù)論壇里的討論偏主觀、愛(ài)玩梗產(chǎn)品評(píng)論區(qū)則更直接客服工單更接近真實(shí)故障。常用的渠道類型和特點(diǎn)可以參考這張表數(shù)據(jù)渠道優(yōu)點(diǎn)需要注意的偏差技術(shù)社區(qū)帖子討論深入能發(fā)現(xiàn)具體場(chǎng)景愛(ài)玩梗反諷多容易夸張社交平臺(tái)短評(píng)更新快能捕捉突發(fā)問(wèn)題情緒噪聲大樣本代表性弱應(yīng)用商店評(píng)論用戶真實(shí)且聚焦產(chǎn)品體驗(yàn)評(píng)論數(shù)量可能很少官方反饋工單信息完整故障描述清晰通常是問(wèn)題用戶指數(shù)天然偏負(fù)博客和專題文章能提供詳細(xì)案例時(shí)效性差更新慢聊天群組和論壇貼近普通用戶真實(shí)用法隱私和授權(quán)問(wèn)題要優(yōu)先處理個(gè)人項(xiàng)目最容易犯的錯(cuò)是只抓某一個(gè)社區(qū)的帖子。結(jié)果只能代表這個(gè)社區(qū)的氛圍。社區(qū)喜歡黑某個(gè)模型其他人也跟著玩梗指數(shù)就會(huì)失真。我更建議先選定兩到三個(gè)互補(bǔ)渠道一個(gè)偏技術(shù)討論一個(gè)偏產(chǎn)品評(píng)論一個(gè)偏工單或問(wèn)答記錄。等數(shù)據(jù)跑通后再擴(kuò)大渠道。2.2 數(shù)據(jù)采集時(shí)要把合規(guī)問(wèn)題放在前面采集用戶公開(kāi)觀點(diǎn)不能無(wú)視平臺(tái)規(guī)則。優(yōu)先使用平臺(tái)官方 API。如果官方接口不支持歷史搜索或關(guān)鍵詞過(guò)濾選擇清晰標(biāo)注來(lái)源和作者的公開(kāi)數(shù)據(jù)集。用爬蟲(chóng)抓網(wǎng)頁(yè)前先檢查平臺(tái)的服務(wù)條款、robots 文件、接口訪問(wèn)頻率限制。個(gè)人項(xiàng)目一般量不大但也要做好請(qǐng)求限速不要給目標(biāo)網(wǎng)站造成壓力更不要抓取非公開(kāi)內(nèi)容。另外用戶觀點(diǎn)往往包含個(gè)人信息。做指數(shù)不需要保留用戶名、頭像、聯(lián)系方式。格式化數(shù)據(jù)時(shí)最好只保存必要字段例如發(fā)布時(shí)間、來(lái)源渠道、文本內(nèi)容、涉及的模型名、情感標(biāo)注。敏感信息能刪就刪。2.3 靠關(guān)鍵詞篩選數(shù)據(jù)必須先建立“模型實(shí)體映射表”原始評(píng)論里很少規(guī)規(guī)矩矩寫(xiě)“模型 A 在某任務(wù)上表現(xiàn)下降”。常見(jiàn)表達(dá)是“我用 A 寫(xiě) Python今天一直報(bào)錯(cuò)?!薄爸滞蝗蛔兊锰貏e啰嗦邏輯還沒(méi)有上周清楚?!薄巴瑯拥膯?wèn)題昨天還會(huì)今天怎么不會(huì)了。”為了把評(píng)論關(guān)聯(lián)到具體模型需要一張實(shí)體映射表。這張表至少包含三層官方名稱和別名比如某個(gè)模型的完整版本號(hào)、簡(jiǎn)稱、社區(qū)常用外號(hào)。產(chǎn)品名和底層模型的對(duì)應(yīng)關(guān)系。很多用戶只會(huì)說(shuō)自己在用某款聊天產(chǎn)品而不知道底層是什么模型。時(shí)間線。模型會(huì)升級(jí)、下線、改名映射表也要跟著維護(hù)。沒(méi)有這張表再好的自然語(yǔ)言處理模型也無(wú)法把評(píng)論對(duì)應(yīng)到該對(duì)應(yīng)的對(duì)象上。3. 從原始評(píng)論到“可比較的體驗(yàn)指數(shù)”中間要過(guò)幾道關(guān)3.1 清洗和去重是第一道關(guān)采集到的評(píng)論不會(huì)直接可用。常見(jiàn)問(wèn)題包括同一句話在多個(gè)渠道重復(fù)出現(xiàn)。短評(píng)論沒(méi)有足夠上下文無(wú)法判斷模型名和任務(wù)類型。大量反諷、夸張、玩梗內(nèi)容。包含錯(cuò)誤日志、配置片段和代碼塊容易被當(dāng)成模型能力的負(fù)面證據(jù)。我先建議從數(shù)據(jù)字段開(kāi)始處理。每條樣本至少保留字段說(shuō)明timestamp發(fā)布時(shí)間必須統(tǒng)一時(shí)區(qū)source來(lái)源渠道m(xù)odel映射后的模型實(shí)體如 model-a、model-btask_type任務(wù)類型如數(shù)學(xué)、代碼、長(zhǎng)文總結(jié)、閑聊complaint_category問(wèn)題類別如可用性、配置、能力、上下文、限制sentiment_score體驗(yàn)分例如 -1、0、1或更細(xì)的 1 到 5raw_text原始文本或摘要去重不能只看文本是否一樣還要看同一條事件是不是在多個(gè)渠道被多人轉(zhuǎn)發(fā)。如果發(fā)現(xiàn)同一時(shí)段內(nèi)大量相同措辭的評(píng)論很可能是在跟帖玩梗直接刪除這批重復(fù)句保留最早的一條原文即可。3.2 情感標(biāo)注不能只用“正面/負(fù)面”二分類簡(jiǎn)單的正面負(fù)面標(biāo)注不夠用。用戶罵“模型不回我了”和“模型回答太保守”都是負(fù)面但前者是可用性問(wèn)題后者是產(chǎn)品策略問(wèn)題?!斑@個(gè)模型真傻”和“這個(gè)模型太聰明讓我害怕”在情感上都是負(fù)面但在體驗(yàn)指數(shù)里含義完全不同。所以我更建議在標(biāo)注時(shí)增加類別維度。情感分只負(fù)責(zé)方向類別分負(fù)責(zé)解釋為什么會(huì)這樣。類別可以包括能力問(wèn)題推理、數(shù)學(xué)、代碼、寫(xiě)作等具體能力不足。上下文問(wèn)題多輪回答不記得之前信息。可用性問(wèn)題服務(wù)不可用、響應(yīng)慢、連接斷開(kāi)。配置問(wèn)題模型名不對(duì)、密鑰錯(cuò)誤、參數(shù)不合法。體驗(yàn)風(fēng)格問(wèn)題回答過(guò)于啰嗦、過(guò)于保守、格式混亂。用戶預(yù)期問(wèn)題任務(wù)本身超出模型能力邊界。只有同時(shí)記錄情感和類別才能回答“是變笨了還是變難用了”。3.3 單條評(píng)論打分后要做時(shí)間聚合和任務(wù)拆分體驗(yàn)指數(shù)不該是“所有評(píng)論總體平均分”。因?yàn)椴煌瑫r(shí)間段、不同任務(wù)類型的用戶比例會(huì)變化。如果這周代碼問(wèn)題集中爆發(fā)整體平均分下降但數(shù)學(xué)任務(wù)沒(méi)變差就會(huì)誤判。把數(shù)據(jù)按周或雙周聚合再拆成不同任務(wù)類型是比較穩(wěn)妥的做法。下面是一個(gè)最小可運(yùn)行的分析流程適合先用一兩百條樣本測(cè)試import pandas as pd df pd.read_csv(sample_user_opinions.csv) # 去重按文本和渠道 df df.drop_duplicates(subset[source, raw_text]) # 統(tǒng)一時(shí)間字段按周切分 df[published_at] pd.to_datetime(df[published_at], errorscoerce) df df.dropna(subset[published_at]) df[week] df[published_at].dt.to_period(W).astype(str) # 只看某個(gè)模型的數(shù)據(jù) model_df df[df[model] example-model] # 按周、任務(wù)類型聚合 weekly ( model_df.groupby([week, task_type]) .agg( avg_score(sentiment_score, mean), sample_count(sentiment_score, size) ) .reset_index() ) print(weekly.tail(10)) # 如果需要看趨勢(shì)可以畫(huà)圖 weekly.pivot(indexweek, columnstask_type, valuesavg_score).plot()這段代碼不是完整項(xiàng)目只用來(lái)理解數(shù)據(jù)處理鏈條。注意當(dāng)樣本量很小時(shí)按天聚合會(huì)非常抖。我一般建議至少按周聚合每個(gè)分組里的有效評(píng)論低于 5 條時(shí)不展示分?jǐn)?shù)只顯示樣本數(shù)。內(nèi)部使用可以看原始數(shù)字對(duì)外展示必須帶樣本量否則容易誤導(dǎo)。3.4 讓大模型來(lái)打標(biāo)可以提高效率但不能代替人工抽檢給大量評(píng)論分類和定情感可以調(diào)用另一個(gè)大模型來(lái)做。這個(gè)思路目前很常見(jiàn)。讓模型閱讀一條評(píng)論輸出模型實(shí)體、任務(wù)類型、問(wèn)題類別、體驗(yàn)分效率比人工高得多。但大模型打標(biāo)會(huì)有自己的偏見(jiàn)。它可能把反諷當(dāng)真可能把配置錯(cuò)誤直接歸因到模型能力。所以正確的做法是先人工標(biāo)注一百條左右樣本再用大模型批量打標(biāo)最后每批次隨機(jī)抽二十到三十條做人工復(fù)核。如果一致率低于一定水平說(shuō)明打標(biāo)提示詞還需要調(diào)整。打標(biāo)提示詞里要特別寫(xiě)清楚如果評(píng)論中出現(xiàn)的是配置錯(cuò)誤、模型名不存在、上下文超長(zhǎng)這類信息不要把問(wèn)題記為“模型能力下降”要?dú)w到配置或可用性類別。4. 判斷模型體驗(yàn)下降前先排除四類常見(jiàn)干擾4.1 很多“模型變笨”實(shí)際上是客戶端配置錯(cuò)誤用戶并不總能區(qū)分“模型本身答錯(cuò)”和“請(qǐng)求根本沒(méi)發(fā)到正確的模型上”。我在很多討論里見(jiàn)過(guò)這樣的報(bào)錯(cuò)模型名不支持、模型不存在、配置缺失、上下文長(zhǎng)度超過(guò)上限。這些信息本質(zhì)上是接入或配置問(wèn)題不是模型智力問(wèn)題。如果指數(shù)系統(tǒng)把這類報(bào)錯(cuò)都當(dāng)成負(fù)面能力評(píng)論那模型永久不可能翻身因?yàn)榕渲脝?wèn)題會(huì)持續(xù)存在。實(shí)操建議是從原始日志中找出屬于“錯(cuò)誤碼類”的內(nèi)容單獨(dú)存到可用性表里不進(jìn)入能力評(píng)分。等積累足夠數(shù)據(jù)后再分析配置問(wèn)題是否導(dǎo)致用戶體感下降。這類分析其實(shí)反映的不是模型能力而是產(chǎn)品接入體驗(yàn)。4.2 產(chǎn)品策略調(diào)整經(jīng)常被誤認(rèn)成模型變笨有些模型本來(lái)可以給出較長(zhǎng)回答產(chǎn)品方為了控制成本或安全風(fēng)險(xiǎn)增加了輸出長(zhǎng)度限制、敏感話題引導(dǎo)或過(guò)度免責(zé)聲明。用戶實(shí)際感受到的是“怎么感覺(jué)模型變敷衍了什么都說(shuō)不清”。這在博文和數(shù)據(jù)流里很容易被歸為模型變笨。但從模型能力角度講權(quán)重沒(méi)變推理鏈路沒(méi)變只是產(chǎn)品策略變了。體驗(yàn)指數(shù)如果要客觀就必須區(qū)分“模型層能力分”和“產(chǎn)品體驗(yàn)分”。如果混在一起當(dāng)產(chǎn)品策略恢復(fù)后指數(shù)上升會(huì)被誤以為是模型進(jìn)步這是不準(zhǔn)確的。4.3 長(zhǎng)上下文帶來(lái)的記憶下降會(huì)制造偽趨勢(shì)用戶聊到一半說(shuō)“我剛才已經(jīng)告訴過(guò)你了”如果模型確實(shí)忘了那就屬于上下文管理問(wèn)題。這更常見(jiàn)的原因是總 token 超過(guò)模型當(dāng)前支持的最大長(zhǎng)度或系統(tǒng)為了性能做了摘要壓縮。在評(píng)論里用戶不會(huì)寫(xiě)“模型的最大上下文長(zhǎng)度只有多少”只會(huì)寫(xiě)“它越來(lái)越笨失憶了”。如果樣本主要集中在長(zhǎng)對(duì)話場(chǎng)景體驗(yàn)指數(shù)就會(huì)在某一周突然下跌但這不代表所有任務(wù)都變差。因此無(wú)論原始數(shù)據(jù)是否包含對(duì)話長(zhǎng)度指數(shù)都要單獨(dú)給“長(zhǎng)會(huì)話記憶”建一個(gè)維度。這樣才能把一次性長(zhǎng)上下文失敗和全局能力下降區(qū)分開(kāi)。4.4 社區(qū)規(guī)模偏差會(huì)導(dǎo)致指數(shù)天然偏負(fù)技術(shù)討論社區(qū)里的用戶通常更愿意發(fā)“模型出錯(cuò)了”“這個(gè)版本真差”這類帖子很少有人專門(mén)發(fā)“今天模型回答很好”。這會(huì)導(dǎo)致體驗(yàn)指數(shù)在任何時(shí)間點(diǎn)都偏負(fù)。要解決這個(gè)問(wèn)題不能只統(tǒng)計(jì)評(píng)論的絕對(duì)值可以考慮比較同一渠道內(nèi)部的時(shí)間變化而不是跨渠道比高低。記錄總發(fā)帖量計(jì)算負(fù)面評(píng)論占比而不是只看負(fù)面評(píng)論數(shù)量。定期加入用戶主動(dòng)反饋的正向數(shù)據(jù)比如調(diào)查問(wèn)卷、產(chǎn)品內(nèi)點(diǎn)贊點(diǎn)踩數(shù)據(jù)。如果只有抱怨數(shù)據(jù)對(duì)外展示時(shí)要明確說(shuō)明“這是問(wèn)題反饋指數(shù)不是用戶體驗(yàn)總分”。做好這些前置處理指數(shù)才有可能不變成一群用戶的情緒宣泄面板。5. 動(dòng)手搭一個(gè)最小可復(fù)現(xiàn)的體驗(yàn)指數(shù)流程5.1 最小環(huán)境準(zhǔn)備不需要特別高配的機(jī)器。處理幾千條文本評(píng)論一臺(tái)普通電腦就能跑。我建議先按這個(gè)環(huán)境驗(yàn)證Python 3.9 或更高版本。pandas、matplotlib 用于數(shù)據(jù)處理和畫(huà)圖。如果要做大模型打標(biāo)準(zhǔn)備一個(gè)能調(diào)用的模型接口或本地模型地址。準(zhǔn)備一個(gè) CSV 文件至少包含字段發(fā)布日期、渠道、文本、模型名。原始數(shù)據(jù)不需要很大。先取 200 到 500 條評(píng)論完成從清洗、標(biāo)注到畫(huà)趨勢(shì)圖的閉環(huán)。能把小樣本跑通再考慮擴(kuò)大數(shù)據(jù)量。5.2 用兩條樣例理解標(biāo)注口徑假設(shè)有兩條真實(shí)評(píng)論第一條“今天用 example-model 寫(xiě)一個(gè)數(shù)據(jù)清洗腳本同樣的需求昨天一次就寫(xiě)對(duì)今天連續(xù)寫(xiě)錯(cuò)三次還給了我一個(gè)只刪文件不保留備份的方案?!钡诙l“example-model 報(bào)錯(cuò) model not found檢查以后才發(fā)現(xiàn)是配置文件里的名字寫(xiě)錯(cuò)了改完就正常了。”第一條應(yīng)該標(biāo)成task_type: codecomplaint_category: abilitysentiment_score: -1第二條不能當(dāng)成模型能力下降應(yīng)該標(biāo)成task_type: configcomplaint_category: configurationsentiment_score: 0如果不單獨(dú)區(qū)分第二條會(huì)讓模型體驗(yàn)指數(shù)下降一分。但模型本身并沒(méi)有任何能力問(wèn)題。這是最容易干擾指數(shù)準(zhǔn)確性的點(diǎn)。5.3 體驗(yàn)分的計(jì)算方式不一定要復(fù)雜剛開(kāi)始做不需要用復(fù)雜的觀點(diǎn)挖掘模型??梢韵扔靡?guī)則加人工復(fù)核搭一個(gè)基線負(fù)面詞命中錯(cuò)誤、變笨、回復(fù)差、邏輯混亂、瞎編。正面詞命中準(zhǔn)確、聰明、穩(wěn)定、符合預(yù)期、進(jìn)步。中性詞命中且無(wú)明確情緒記錄但不記分。出現(xiàn)配置錯(cuò)誤、模型名不存在、超時(shí)、不可用只記可用性不計(jì)能力分。之后可以用統(tǒng)計(jì)方法定期校驗(yàn)。比如比較某模型在數(shù)學(xué)任務(wù)上的負(fù)面率是否在統(tǒng)計(jì)意義上顯著高于前兩周。如果還沒(méi)有顯著變化就不要在結(jié)論里寫(xiě)“模型變笨了”最多寫(xiě)“用戶對(duì)數(shù)學(xué)任務(wù)的抱怨有所增加”。5.4 可驗(yàn)證的輸出形式我建議最終輸出四類內(nèi)容整體趨勢(shì)圖按周展示平均體驗(yàn)分。分任務(wù)趨勢(shì)圖代碼、數(shù)學(xué)、寫(xiě)作、長(zhǎng)會(huì)話記憶分別看??捎眯允录戆巡豢捎?、超時(shí)、配置錯(cuò)誤做成獨(dú)立時(shí)間線。異常樣本列表高置信度且情感強(qiáng)烈的典型評(píng)論做成摘錄方便回溯。如果某周指數(shù)明顯下降不要直接發(fā)結(jié)論先打開(kāi)異常樣本列表。如果你能回答出“哪個(gè)任務(wù)、哪個(gè)產(chǎn)品層策略、哪個(gè)模型版本改動(dòng)了”再判斷是不是真下降。5.5 項(xiàng)目上線后可以繼續(xù)擴(kuò)展的方向小閉環(huán)跑通后可以逐步增加自動(dòng)按月生成體驗(yàn)變化報(bào)告。把每周負(fù)面率做成類似警報(bào)表的單頁(yè)。當(dāng)某模型在特定任務(wù)上出現(xiàn)大幅波動(dòng)時(shí)發(fā)送告警。引入人工抽檢流程定期校正自動(dòng)打標(biāo)。這些擴(kuò)展做起來(lái)不難但每加一個(gè)都要問(wèn)自己這個(gè)新指標(biāo)是服務(wù)“模型能力判斷”還是“產(chǎn)品體驗(yàn)判斷”混到后面自己都會(huì)分不清。6. 從 Show HN 走向長(zhǎng)期可用的幾個(gè)現(xiàn)實(shí)問(wèn)題6.1 一次展示很容易持續(xù)更新才是難點(diǎn)很多類似項(xiàng)目在發(fā)布第一版時(shí)能獲得不錯(cuò)反饋但過(guò)了兩個(gè)月就停止更新。原因是數(shù)據(jù)采集和打標(biāo)不是一次性工作。模型會(huì)更新社區(qū)熱點(diǎn)會(huì)轉(zhuǎn)移用戶討論的語(yǔ)句會(huì)變化。你需要維護(hù)關(guān)鍵詞表、模型映射表、任務(wù)分類規(guī)則。如果每周沒(méi)有固定時(shí)間更新數(shù)據(jù)和復(fù)核標(biāo)注指數(shù)很快就會(huì)停留在過(guò)去某個(gè)時(shí)點(diǎn)反而誤導(dǎo)后來(lái)用戶。要想長(zhǎng)期有用最好從一開(kāi)始就設(shè)計(jì)成可增量更新的流程。日志、標(biāo)注結(jié)果、人工修改記錄都保留下來(lái)方便重跑歷史結(jié)論。6.2 “沒(méi)有顯著變化”也是一種有價(jià)值的結(jié)果這個(gè)項(xiàng)目最容易犯的錯(cuò)是把所有波動(dòng)都解釋成“上升”或“下降”。多數(shù)時(shí)候模型用戶體感并不會(huì)有顯著變化。真正負(fù)責(zé)任的指數(shù)應(yīng)該允許自己說(shuō)“本周沒(méi)有顯著變化樣本量不足暫不判斷”。在對(duì)外展示時(shí)也可以加入一個(gè)明確口徑只有當(dāng)樣本量超過(guò)一定閾值、負(fù)面率變化超過(guò)置信區(qū)間時(shí)才會(huì)標(biāo)記為異常。這樣能避免被少數(shù)極端觀點(diǎn)帶偏。6.3 平臺(tái)屬性和社區(qū)文化會(huì)讓分?jǐn)?shù)不可直接比較不同渠道的用戶說(shuō)話方式完全不同。技術(shù)社區(qū)里大量使用反諷“這模型真能編太厲害了”明顯是批評(píng)應(yīng)用商店評(píng)論里“太厲害了”可能就是真夸。如果指數(shù)把所有渠道混在一起計(jì)算會(huì)得到互相抵消的平均值。所以處理時(shí)最好按渠道單獨(dú)計(jì)算分?jǐn)?shù)再考慮做加權(quán)合并。權(quán)重怎么定可以從每個(gè)渠道對(duì)真實(shí)故障的準(zhǔn)確覆蓋程度去調(diào)而不是拍腦袋。6.4 要在結(jié)果表達(dá)上留足余地避免標(biāo)題黨“AI 是不是變笨了”天然有流量但也天然容易帶節(jié)奏。個(gè)人項(xiàng)目可以展示結(jié)論但結(jié)論旁邊至少要寫(xiě)清楚當(dāng)前統(tǒng)計(jì)的樣本量是多少。覆蓋了哪些渠道和任務(wù)類型。不覆蓋哪些方向比如企業(yè)內(nèi)部模型、私有部署、非公開(kāi)接口。當(dāng)前版本的數(shù)據(jù)截止時(shí)間。一句話結(jié)論越醒目數(shù)據(jù)口徑越要保守。如果這個(gè)項(xiàng)目能把“發(fā)現(xiàn)體驗(yàn)變化”和“歸因到具體原因”分開(kāi)它會(huì)是一個(gè)很好的觀察工具。如果只是把用戶抱怨聚合后打上“模型變笨了”的標(biāo)簽?zāi)撬囊饬x會(huì)大打折扣。我在梳理這個(gè)方向時(shí)最大的體會(huì)是普通用戶關(guān)心的不是跑分高了多少而是自己打開(kāi)對(duì)話窗口后模型到底有沒(méi)有上一次好用。這個(gè)體驗(yàn)指數(shù)把模糊的“感覺(jué)”變成了能長(zhǎng)期追蹤的時(shí)間序列這個(gè)思路本身值得借鑒。真正落地時(shí)最該盯住的不是前端頁(yè)面做得有多炫而是數(shù)據(jù)清洗、樣本量、模型映射和錯(cuò)誤分類這些后臺(tái)基礎(chǔ)工作。把這些基礎(chǔ)做扎實(shí)哪怕指數(shù)暫時(shí)不更新也能隨時(shí)把歷史數(shù)據(jù)拿出來(lái)重新分析。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天操夜夜操| www久久五月com| 婷婷色导航| 色五月丁香五月五月婷婷| 激情文学综合婷婷五月天丁香花| 国产成人高清| 日日夜夜爽| 日本久久婷| 欧美情色一区| 色五月天电影| 激情综合无码| 五月天婷婷视频小说| 这里只有精彩视频| 涩五月婷婷| 都市激情久久| 我爱大香蕉| 就去色色五月丁香婷婷久久久| 99热.com| 99天堂网| 久久久99免费视频| 天天日天天爽| 精a品a| ri电影在线| 五月亭亭色| 国产激情综合五月久久| 五月婷婷大香蕉| 狠狠五月天激情| 六月婷婷深深爱| 婷婷射图| www.精品99| 久久99日本精品视频免费观看| 五月天婷婷综合网| 国产做爰视频免费播放| 99国产精品久久久久久久久久久| 九九热最新视频| 天堂中文国产| 色色婷婷丁香| 六月激情网| 91碰碰| 亚洲精品在线视频| 精品99在线看| 五月天社区| 色婷婷啪啪啪啪啪啪| 日本9区视频| 婷婷丁香中文字幕| 日本wwww在线| 久草五月天| 色五月婷婷青娱乐| 色九亚洲| 婷婷综合久久| 激情合网婷婷| 五月天社区狠狠| 另类激情五月| 久热精品视频| 五月天婷婷乱论小说| 岛国av电影网站| 久色网五月| 国产日批视频| 国产精品视频久久99| 日韩av干| 五月丁香六月婷婷无码| 日韩综合天堂| 丁香六月婷| 色欧洲| 99re这里只有| 婷婷五月丁香综合亚洲| 色色婷婷色色| 成人电影一区| 久久男人网婷婷| 欧美性生交XXXXX无码小说| 亚洲精品成人| 日本道久久91| 五月天婷婷影院| 99热婷婷| 亚洲第一视频 久久| 婷婷五月天日本无码| 婷婷伊人五月天| 色99视频| 国产亚洲精品久久久久久郑州| 超碰成人免费| 激情骚五月| 日韩色久| 99re26视频| 久久婷婷五月天激情唯美| 丁香五月天网友自拍啪啪啪视频| 九九精品综合| 影音先锋美国A| 9999热免费视频视频| 婷婷丁香视频| 99在线观看视频蜜臀| 天天日天天操天天干| 丁香五月激情鲁| 另类激情五月在线视频欧美| a久久| 激情婷婷丁香| 97碰人人操| 人妻av在线| 99视频内射三四| 97韩国久久电影院| 开心五月综合激情网| 色婷婷六月天| 日本视频欧美观看免费| 五月婷婷开心色伊人| 99综合激情久久精品久久| 99精品在线观看视频| 在线视频另类| 69久久久| henhencao国产在线| 色操b| 九九婷婷综合| 色呦呦在线| 欧美啪啪9| 开心婷婷五月激情网小说| 五月综合激情视频| 五月天综合视频| 99热在线观看| 青青草性爱视频| 深爱激情网五月天| 欧美性爱五月天| 玖玖激情网| 色噜噜狠狠色综| www.热99热| 久婷五月| 日本黄色在线观看| 深爱激情网五月天| 少妇搡BBBB搡BBB搡毛茸茸| 亚洲成人av在线播放| 五月天婷婷自拍图片在线观看| 亚洲欧美国产高清vA在线播放| 九九久久综合| 超碰在线99热| 丁香六月久久| 1024在线观看免费视频| 九九视频热| 99久.| 二区成人视频| 丁香色综合| 色色a| 日韩xx在线| 欧美日韓成人亚洲精品另类| 99精品综合| 久久九⑨| 99热免费在线| 99re久热| 婷婷色狠狠| 亚洲精品又粗又大又爽A片| 91视频人人做97| 99综合免费视频| 久热婷婷| 久鲁鲁色网| 26UUU欧美激情一区二区| 色婷婷香蕉在线| 五月天狠狠网站| 久婷婷婷| 99无码超碰| 六月婷婷色综合| 婷婷热色| 九九视频这里只有精品| 丁香五月九九| 五月天综合在线观看视频| 婷婷丁香综合网| 婷婷六月丁香久| 久热大香蕉| 9l视频自拍九色9l视频在线观看| 六月婷婷久久| 激情五月天色网站| 亚洲免费婷婷| 思思视频精品| 无码成人播放器| 婷婷五月俺要去| 99久久这里只有精品| 97超碰人人操| 99无码视频| 综合久久婷婷五月丁香| 国内外色色色色色成人视频| 激情综合网,婷婷| 丁香五月av| 日日日,com| 天天干天天爽| 激情综合网,婷婷五月天| 九九亚洲| 五月WWW| 色噜噜丁香| 久久成人精品视频| 大香婷婷| 开心五月激情网| 色婷婷综合视频| 色五月首页| 色婷婷手机在线| 99精品综合视频| 这里有精品99| 五月激情丁香啪啪| 丁香六月综合激情| 人妻狠狠操| 我爱大香蕉| 天天草天天舔| 九九精品re免费视频| 思思热视频在线观看| 五月婷婷六月丁香玖玖玫瑰91| 色五月激情五月| 一起草av在线观看| 狠狠色噜噜狠狠狠狠综合| 欧亚洲在线高清视频| 99久久婷婷国产综合精品草原| 六月五月久久丁香| 五月婷婷七月丁香| 五月天激情婷婷| 日本va视频| 97AV人人插人人操| 色五月激情网| 久久婷婷五月| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 天天爱天天做天天操| 天天天久久久| 五月天婷婷激情四射综合| www.久久av.com| 天堂综合久久| 成人草榴视频| 天堂久久精品| 这里只有精品69| 久久激情天堂| 狠狠精品干练久久久无码中文字幕| 午夜婷婷六月天| 国产精品视频免费看| 丁香六月综合| 亚洲色视频| 在线成人国产| 欧美一级色| 天天更新天天亚洲| 九九婷婷热| 激情六月色| 精品九九在线观看视频| 九色PORNY在线精品酒店| 五月天综合在线| 五月天五月色| 激情婷婷丁香五月天小说| 97超碰婷婷五月天| 任你爽视频| 色偷偷狠狠| 精品久久9| 色狠狠色噜噜AV天堂五区| 色播播婷婷| 国产阿姨日皮艹逼内射视频| 开心五月综合激情网| 五月综合激情啪啪啪啪啪| 成人五月丁香社区| www.婷婷五月| 婷婷丁香五月,狠狠综合| 婷婷中文无码| 五月婷婷六月丁香首页| 97午夜一区二区| 91丨九色丨43老版熟女| 久久激情五月网| 人妻22p| 久久婷婷五月综合色和| 激情婷婷丁香色情五月天| 婷婷激情九月| 综合色网站| 婷婷五月综合性爱| 成人做爰A片免费看视频| 先锋资源婷婷| 久久精品性爱| 五月停停激情网| 欧洲亚洲免费视频区| 第五婷婷伊人丁香色| 五月婷视频| 久久538| 五月婷婷深深爱| 天天天天天天噜| 安息电影在线观看完整版| 色私五月婷婷| 91热在线| 99热久草| 色婷婷9| 色中色综合| 五月丁香成人版| 亚洲综合视频天天精品| 五月婷婷高清| wwW天天干| 久99久视频| 九九人人看| 日本婷婷色| 欧美性猛交99久久久久99按摩| 激情av| 99日本在线| www.婷婷| 婷婷五月天堂| 五月天狠狠| 亚洲综合99| 超碰9| 五月天激情小说| 激情小说婷婷五月| www色五月| 99日韩网站| 天天天天做夜夜夜夜做| 久久99美女精彩视频| 激情综合网,婷婷五月天| 五月天婷婷午夜丁香| 成人网址在线观看| 五月天激情偷拍| 色婷婷基地在线| 丁香五月花婷婷开心| 99热综合在线| 亚洲婷婷五月草久| 人人操人人爱丁香五月| 另类激情综合| 国产精品大香蕉| 99热这里只有精品16| 丁香五月电影| 欧美成人AAA片一区国产精品| 国产精品18久久久| 亚州欧美黄色电影| 色噜噜97视频在线观看| 激情另类综合| 国产成人va在线| 亚洲国产精品综合色区| 国产精品色婷婷久久久精品| 狠狠综合| 欧美激情综合五月色丁香| AV成人在线网站| 人五月天婷婷喷水| 亚洲综合在线播放| 激情综合网婷婷久久| 性爱电影科技贸易有限公司| 五月丁香六月情| 五月停停999| 97人人草| 久久九网| 丁香五月婷婷基地| www.五月天。com| 五月婷婷六月丁香在线视频| 欧美综合五月丁香六月婷| 久久久婷| 男女啪啪视频久 9| 99在线69| 伊人深爱综合| 另类图片色五月| 色五月网址| 婷婷五月丁香青青草在线| 任你搞在线观看视频| 色噜噜狠狠色综合成人网| 久久中文人妻系列| 另类五月激情| www.婷婷| 日韩情色在线观看| 伦乱美欧| 色玖玖综合| 久久综合激情| 超色欲天天| 久热超碰| 蜘蛛女侠2003满天星免费观看| 日韩人妻在线观看| 人妻有码乱操| 五月丁香婷婷在线综合蜜桃| 五月婷婷综合视频| 嫩草AV久久伊人妇女超级A| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 丰满少妇乱A片无码| 任你弄在线视频免费| 色色色婷| 婷婷香五月| 久99视频在线观看| 五月丁香婷婷色播无码| 五月天a婷婷伊人| 99热这里都是精品| 97超碰婷婷五月天| 性韩日色婷婷五月天激情啪啪XXX| 99热这里只有精品最新地址获取| 九色婷婷| 色综合综合色| 婷婷婷婷婷婷婷婷| 久久精品熟女亚洲AV麻豆| 色综合婷婷| 九九热经典视频在线观看| 天天操人人干| 久久久久亚洲AV成人无码电影| 色婷婷色情| 五月天激情小说| 日韩啪图| 色五开心五月五月深深爱| 国内外色色色色色成人视频| 五月婷婷激情久久| 久青草影院| 久久人人做人人妻人人玩精品va| 国产亚洲色婷婷99精品| 亚洲永久四色| 大香蕉五月天婷婷丁香91| 午夜电影网VA内射| 东京热五月婷婷| 狠狠看狠狠| 欧美啪啪9| 人妻有码乱操| 我要射综合| 久久久婷| 熟女激情网| 国产激情AV| av线电影| 丁香五月欧美午夜视频| 人妖色AV色综合| 国色天香伊人狠狠色| 五月天开心网| 久久er+| 97色色综合| 欧洲一区二区| 99热免费精品| 丁香九月综合激情| 99re免费精品视频| 免费黄色片子| 另类天堂| 丁香五月天在线观看视频| 久久婷丁香五月| 影音先锋 一区| 91婷婷五月天嫩女| 日熟女| 欧美中文五月天| 色婷综合| 五月激情小说| 99久久久久久| 丁香五月天激情综合| 婷婷亚洲影院| 国产成人综合网| 日本熟女视频一区二区| 色色色综合网| 亚洲色a| 99色在线观看视频者| 99久久精品网| 五月天激情图片网| 综合狠狠干| 久久久99免费视频| 久久久久人妻精品| 五月综合777| 九九九激情综合| 这里只有精品69| 色情婷婷久久五月天| 79色色| 卡视频1区2区| 99热老网站| 天天爽夜夜爽夜夜爽精品| 欧美色色色| α久久| 91五月花丁香| 99re在线精品视频| 99热九九这里只有精品10| 日本精品人妻无码77777| 黄页大全十八禁| 婷婷色狠狠| 五月天精品| 激情五月综合网最新| 天天综合在线网| 丁香婷婷激情五月色| 婷久久高清| 激情五月婷婷五月| 综合久久99| 中文字幕丰满孑伦无码专区| www激情婷婷com| 色五月激情| www.五月天| 天天干天天干天天干天天干天天干天天干天天 | 国产做爰视频免费播放| 亚洲激情五月天| 在线成人网址| 大香蕉在线99热| 久久久久激情网| 婷婷五月天激情文学小说| 熟女强人妻一区二区三区四区无| 涩五月婷婷| 五月婷婷深深的爱| 操逼视频网址| 色色色热| 五月天综合视频| 99啪啪| 97日本在线播放| 青青草轻轻操| 五月色天五月色| 大香蕉人在线65| 五月熟妇婷婷久久| 久99在线视频| 婷婷六月香| 欧美日综合| 丁香五月色五月婷婷宗合| 色呦呦美女| 一起草AV入口| 99热在线精品观看| 99热这里只有精品在线观看| 狠狠五月天婷婷| 五月婷婷黄| 五月丁香在线| 五月天社区| 丁香五月停停av| 久久婷婷视频| 久久99精品久久久久久三级| 97五月婷| 九九人人操| 99∨VTV| 九九成人精品| 色五月xxx| 亚洲婷婷激情综合激情999精品| 亚洲操操操| 国产.亚洲.欧洲视频在线| 狠狠色 综合色区| 丁香婷婷色五月| 51XX嘿嘿午夜无码| 国产亚洲99久久精品熟| av亚洲国产小电影| 五月丁香网站| 99久久99九九九99九他书对| 亚洲色网址| 亚州日本欧州韩美高青高潮一| 婷婷五月香蕉| 操日视频| 九热视频精品| 碰碰碰97免费精彩视频| 久久九九Com| 乱岳熟女50岁| 99日韩| 97碰碰视频在线观看| 俺也去在线视频| 久久五月天激情视频| 日本综合久久| 东京热伊人| 激情中文在线| 九月婷婷激情| 91在线操| 色五月婷婷激情基地| 色欲久久99精品久久久久久| 99热 精品在线| 91丨九色丨大屁股| 香蕉综合网| 99热这里只有精品中文字幕| 天天干狠狠| 久久九九网| 人妻九九九九| 五月婷婷丁香综合| 五月丁香婷婷基地| 亚洲操逼网| 99热老司机| 97欧美在线| 亚洲人人操BD| 婷婷亚洲欧美丁香五月| www.色擼擼.com| 五月天激情无码高清 | 日韩亚洲视频| 欧美性爱五月天| 六月婷婷狠狠| 五月丁香婷婷激情在线视频| 99开心五月五月丁香激情| 久久婷婷免费| 美女xx不卡| 成人在线视频男人的天堂4399| 97在线视频 欧美| 97人人干。| 中文字幕无码成人电影| 五月丁香激| 操碰99| www.yw尤物| 亚洲色精彩| 99re热| 丁香五月天五码婷婷| 天天射夜夜骑| 色色A| 日韩久热| 99色视频| 亚洲视频码| 99人妻碰碰碰久久久久视| 综合久久高清| 丁香5月激情网| 婷婷八月激情| 五月天色婷婷视频| 天天做天天爱综合| 99热热这里只精品996小说| 国产激情在线| 狠狠干婷婷| 成熟妇人A片免费看网站| 香蕉AV777XXX色综合一区| www.9操| 九九色插| 午夜九九九九九九九九九九九九九| 97极品在线| 综合色99| 深爱五月天 开心网| 狠狠干五码| 色五月 五月婷婷| 天天色粽合合合合合合合| 六月综合婷婷开心伊人| 91聚色综合网| 色五月婷婷色| 色5月婷婷| www.maotanji.com| 97夫妻超碰| 黄网在线免费播放| 色国产五月| 婷婷综合成人| 欧美日本日韩| 久综合| 五月社区婷婷激情| 五月婷六月| 俺也去色| 超碰国产在线观看| 97婷婷丁香五月天激情图片| 色综合九九| 国产亚洲精品久久久久苍井松| 91丨九色丨国产| 蜜桃婷婷狠狠久久| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 色和综合网| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 丁香五月激情视频| 婷婷综合| 91性人人| 婷婷综合网伊人| 91操在线视频| 日本天堂网站99| 久久久中文| 九九婷婷五月天| 色婷婷亚洲婷婷| 久久精彩视频99| 久久久久久草黄色片AV在线观看| 丁香五月天亚洲视频| 成人片黄网站色大片免费毛片| 亚洲欧洲午夜成人精品av| 天天做天天爱天天爽在| 182TV大香蕉| 五月丁香六月情| 亚洲无码猫咪| 色。 婷婷婷| 色你久久| 激情五月婷婷色色| 五月婷婷开心色伊人| 新激情五月天天在线网| 26uuu欧美日本| 亚洲免费视频网站| 欧美爆乳一区二区三区| 成人免费120分钟啪啪| 久久久久久9| 丰满熟女人妻一区二区三| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 99热在线极品极品| 天天狠狠插| 激情丁香婷婷| 色玖玖综合网| 9久久久久| 99re青青草| 五月在在观看| 国产高潮A片羞羞视频涩涩| 久久九色| 9色在线| 91操在线视频| 狠狠狠狠青草| 99在线爽| 色欲一区二区三区精品A片| 综合激情在线观看| 五月天婷婷丁香社区| 老美AA片| 五月天婷婷久久日| 天天综合网在线| 九色91视频| 99精品免费| 日本全黄一级999| 亚洲综合色色| 丁香五月天婷婷91| 香蕉人在线香蕉人在线 | 色婷婷影音| 精品久久人妻| 色婷婷五月在线| 久久久久亚洲AV成人无码电影| 婷婷 伊人 久久| 欧美色色色色色色色色色色| 亚洲成人AV在线观看| 综合婷婷久久| 久青青久| 99在线精品免费视频| 色情五月天视频网| 亚洲妇女熟BBW| 99秘 在线| 婷婷五月天99综合网站| 激情五月六月婷婷| 在线观看免费狠狠色丁香香综合| 精品爆操| 色射7856五月天激情四射| 久久久久丁香婷婷五月天| txt五月激情四射网综合俺也来了| 性色99| 五月天婷婷青青草| 亚洲综合色色色| 婷婷丁香五月天熟女丝袜| 91啪啪网| 天天肏屄夜夜爽| 精品一二三区久久AAA片| 婷婷五月丁香六月天亚洲综合| 97成人视频| 超碰不卡在线| 五月综合视频在线| 欧美A A A A A| 99精品无码| www.五月婷婷| 丰满少妇乱A片无码| 91碰碰碰久久久久| 五月婷六月| 天天色情站| www天堂99| 啪啪 综合网| 99久久99热| 婷婷婷婷午夜| 九色91国产| 五月丁香综合激情在线观看| 91碰碰视频在线观看| 另类 在线| 99热这只有| 亚洲乱啪| 99热综合| 99热这里只有精品99| 99在线观看亚洲| 中文超碰视在线| 91丨九色丨高潮丰满日本| 婷婷五月激情基地| 色色色色色日韩午夜激情| 在线婷婷| 有哪些A片网站| 成人AV在线网站| 伊人婷婷福利网| 91丨九色丨高潮丰满日本| 五月婷婷在线网站| 草草操操| 天天射射夜| 五月丁香免费视频| 丁香五月激情鲁| 欧美日韩99| 思思热99er| 狠狠色成人影片| 婷婷五月丁香在线视频| 久久国产性爱A V| 第四色网婷婷| 色婷婷五月综合激情中文字幕| 丁香五月天黄色片| 思思热在线播放| 99精品视频在线6| 色情五月天丁香社区| 色综合久久久无码中文字幕999| 日韩人妻无码专区| 亚洲男女激情| 五月丁香六月婷婷久久久综合| 久久色情| 色婷婷91| 字母不卡码人逼| 高清一区二区三区日本久| 丁香九月综合激情| 九九激情视频| 婷婷丁香五月六月激情| 国产精品久久久99视频| 99色色| 九九综合88| 国产AV影片| 99久久网站| 九九九九国产| 色五月激情综合| 五月天成人小说网| 色五月色五天色情网| 久久这有这里精品| 五月丁香六月激情综合网| 另类 在线| 2021日韩无码| 丁香五月欧美婷婷| 婷色天堂| 99热国品| 久久99国产综合精品免费| 天天日天天干天天操| 色婷婷综合久久久久| 激情婷婷五月天| 99热久| 夜夜夜夜夜操| 这里精品| 五月婷婷综合在线视频小说| 久久 视频这里只有精总| Jh7Uf088VHafNm| 久久五月丁香激情综合| 这里只有精品99视频| 国产伦理精品高清在线观看网站一区二区 | 色噜噜狠狠狠综合曰曰曰| 亚洲瑟瑟精品在线| 爱草视频在线| 中文人妻主播久久| 五月天六月天| 激情五月婷婷在线区| 嫩草综合网| 中文字幕簧片| 欧美综合五月丁香五月天| 99精品无码网站| 五月开心激情网| 五月天六月婷婷电影| 99热日韩| 婷婷五月丁香五月综合网| 开心激情五月天网| 殴美日韩成人| 91精品久久久久久久| 大香蕉精品视频| 久久国产色| a在线观看| 熟女人妻一区二区三区免费看| 内射人妻视频国内| 一本色道久久综合狠狠躁一二三| 久久婷鲁| 九月激情综合婷婷| 9精品在线| 天天做天天爱天天搞| 夜夜人妻五月天| 开心五月婷婷在线视频免费观看| 思思久热6| 99热首页| 久9热| 激情色色| 久久婷婷超碰| 操人精品| 成人精品在线观看| 色婷五月丁香久亚洲| 色婷婷AV久久久久久久| 色色色地址| 伊人激情影院| 久久九九激情五月天 | 欧美综合激情| 玖玖99精品视频| 99热啪啪| 丁香亚洲婷婷五月| 婷婷社区五月天| 亚洲天堂久久| 五月丁香婷婷成人网| 亚洲性爱AV| 亚韩在线视频| 五月婷婷开心色伊人| 亚洲色婷婷五月| 日本精品99网站| 婷婷97狠狠成人网站| 亚洲性爱AV| 色五月综合激情| 五月激情偷拍婷婷| 五月丁香影院| CHINESE熟女老女人HD视频| 日韩啪啪视品| 久久久WWW| 69激情小说| 99碰网站| 淫五月停停| www98日本小时间到了| 情五月亚洲婷婷| 看片视频在线免费日产在线看| 综合激情视频| 东北熟女高潮99综合99| 91狠狠色丁香婷婷综合久久| 丁香丝袜五月| 五月激情婷婷丁香| 丁香五月天亚洲综合| 91碰碰碰| 99爱这里只有精品免费视频| 99性爱视频| 丁香六月婷婷色XXXXX| 成人天天爽| 激情五月丁香五月| 99网| 男人天堂99| 好激情在线综合网| 99热在线观看免费精品| 在线综合91| 人人爱天天摸摸天天爱| 91色噜噜狠狠狠狠色综合| 人人人操 超碰| 大香蕉五月天| 五月天婷婷激情在线色图| 嫩草AV久久伊人妇女超级A| 婷婷六月天天| www激情五月天| 亚洲妇女熟BBW| www久久久久久久97| 欧美日韩AAAA| 中文字幕日产A片在线看| 99久久婷| 五月丁香啪啪| 91人妻九色大屁股| 婷婷五月天激情综合婷婷五月天激情综合| 97碰人人操| 碰碰碰97国产| 久久这里在精品视频| 激情五月综合亚洲另类| 综合久久婷婷99| 第二色AⅤ| 91热在线| 久久99精品日本| 俺去也在线视频| 99色色| 踪合专区啪啪| 五月天婷婷丁香六月| 欧美成人猛片AAAAAAA| 玖玖色综合网| 欧美性爱一区| 超碰成人在线免费观看| 99亚洲大片精品永久在线观看| 天天色视频| ′久久99一| 直接看的AV| 色啦啦视频| 天天综合色综合| 五月天啪啪| 99热福利| 99热精品在线| 婷婷六月天天| 久久免费精彩视频| 激情性爱网站| 婷婷五月天电影区小说区| 色啦啦视频| 狠狠色狠狠鲁| 大战熟女丰满人妻AV| 五月丁香综合激情在线观看| 丁香九月激情| 色色吧综合| 亚洲AV人人操| 五月婷婷影院| 久久99视频| 爱操人妻| 玖玖精品视频| 91久操| 99热精品在这里| 五月久久五月激情| 狠狠草在线观看| 99精品无码视频| 狠狠草狠狠草| bbwcuckold精品熟妇| 亚洲综合另类| 色婷婷五月天激情在线播放| 午夜少妇在线观看视频| 亚洲精品乱码久久久久99| 久久婷婷影院| 激情校园 亚洲| 免费无码毛片一区二区A片| 五月丁香六月停停| 蜜乳AV成人| 婷婷五月成人系列| 天天色综| 婷婷狠狠操| 99热婷婷| 嫩BBB搡BBBB榛BBBB| 伊人日日干| 欧美一级a | 新久久五月天激情| 操人妻AV| 日日夜夜小色哥| 伊人久久大香天蕉亚洲特级| 五月丁香久| 91在线日| 嫩BBB槡BBBB搡BBBB| 婷婷五月天a| 六月婷在线| 99热9999| 99在线精品视频观看免费下载| 图片区 小说区 区 亚洲五月 | 狠狠色丁香| 五月天激情社区| 婷丁香五月天| 99视频内射三四| 色五月婷婷大| 我去色色网五雨天| 五月婷婷之综合激情| 99亚洲大片精品永久在线观看 | 婷婷色日本| 94干大香蕉| 五月天亚洲色| 97成人丁香婷婷| 婷婷99视频全集高清| 六月激情久久| 最新日本A片| 人人操超碰| 九月婷婷激情| 五月色情婷婷开心五月色情| 五月婷婷性爱网| 色色色婷婷五月天| 久久精品小视频| 97色操| 天天干天天干天天干| 色婷婷成人| 狠狠干狠狠色| 久热精品9999| 成人视频一区| 婷婷亚洲色| 91chinese在线| 男人的天堂婷婷色五月| 超碰九九热| 色婷婷色五月综合| 99热播放| 啪啪五月婷婷| 99亚洲精品| 精品五月天| 天天弄天天爽| 91美女艹逼网站| 久久精彩视频| 狠狠色成人影片| 精品久久二6| av线电影| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 狠狠干狠狠干| 人人爱人人草| 69精品人人人人| 超碰69天堂| 色婷婷影院| 久久视频这里99| 九九热欧美| 九九久久偷拍| 色婷婷五月天| 99成人免费热视频| 婷婷伊人综合中文字幕| 丁香五月天久久| 五月天激情网图片| www.91婷婷| 国际国外精品欧洲南美洲专区无码不卡| 99色在线观看视频| 欧美,日韩成人在线| 九九热最新| 色九月婷婷综合| 妻久久人久久| 狠狠狠狠狠狠狠狠草| 啪啪一区| 久久伦乱| 九月性爱网| 免费无码毛片一区二区A片| 五月丁香婷婷成人网| 五月天婷婷综合免费| 九九久久五月天综合伊人| 九九99在线观看视频| 五月丁香色婷基地综合久久| 高清av在线国产| 色爽干| 色综合久久久久| 人妻人人操| 日本色色网站| 开心色五月天久久久久久久| 五月丁香六月婷婷综合伊人| 99色色网站| 91seav| 色哟哟精品| 综合色吧| 久久婷婷大香蕉| 九九无毛| 日韩AC在线免费观看| 日本精品久久久久中文字幕| 激情六月天| 丁香五月在线播放| 色狠狠综合| 午夜一区| 五月天色色色| 亚洲AV综合在线观看| 精品人妻一区| 99热九九热| 这里只有精品网站| 99视频热| 99精品久久久久久久婷婷久久| 久久婷婷五月草视频在线播放| 婷婷色在线视频| 人人操人人妻| 亚洲乱码日产精品BD| 丁香五月成人| 男同91| 五月天天丁香婷婷| 久久精品凹凸分类| 在线超碰免费| 操操熟女| 激情婷婷网| 成人毛片在线免费观看| Www99热| 91色在线| 色婷| 五月婷婷在线视频免费观看| 精品久久99码| 深爱五月月天| 婷婷五月激情丁香激情| 婷婷综合激情五月综合| 激情婷婷五月色| 2025年最新亚洲在线欧美| 99免费热视频在线| 色五月婷婷在线| 影音先锋一区| 五月丁香综合网| 色99色| 色综合色香蕉网| 色综合久久88色综合天天| 97碰91| 婷婷内射视频在线| 五月色综合| 久久婷五月| 五月丁香婷婷激情在线视频| 色五月丁香在线| 精品色| 久久精品9| 99热伊人| 婷婷色色色| 黄色五月婷| 99热伊人| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 色婷婷yy久| 免费成人中文字幕| 91色色色18| 丁香婷婷偷拍| 激情网五月婷婷| 婷婷97碰碰| 无码99| 超碰69天堂| WWW99热| 婷婷色5月天在线。| 婷婷五月六月激情| 97干网站| www久视频com| 激情五月婷婷色综合| 色丁香五月| 丁香六月激情综合网| 日本色五月婷婷| 九九精品热| 激情综合视频| 超碰超碰在线| 婷婷伊在线| 五月在线| 国产亚洲色婷婷久久99精品91| 欧美精品狠狠色丁香婷婷| 五月丁香自拍| 97婷婷丁香五月天激情图片| 99久热| 日本色婷婷| 久久狠婷婷| 五月综合婷婷开心网| 五月丁香六月婷婷色日| 色无码| 日韩精品电影| 99在线观看这里都是精品| 激情五月婷婷六月丁香| 欧美99热| 久久激情五月网| 久热这里只有精品99re,久热这里只有精品7 | 国产亚洲av片| 99视频精品视频| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 色人久久| 色婷婷最新域名| 婷婷五月天影视网址| 欧美丁香五月97色| 日韩三十六页| 九九色精品| 色播五月| 五月丁香六月片| 色婷婷亚洲| 99精品在这里| 国产免费性爱| 亚洲色五月天在线| 婷婷色色播五月天| 无码色色| 亚洲综合在线视频| 综合性爱网| 欧美成人网婷婷综合在线| 色综合久久天天综合网| 婷婷日韩| 婷婷五月天激情在线观看| 亚洲欧美婷婷五月色综合| 色就色94欧美setu| 狠狠 婷婷| 亚洲天堂爱爱| 色婷婷91| 伊人久久五月天综合| 中文中文在线| 丁香九月久久| 亚洲五月丁香六月婷婷| 久久婷婷艹| 99久久99热| 色婷婷亚洲精品天天综| 五月婷婷激情久久| 色婷婷电影网| 丁香五月婷婷啪啪视频| 欧美天天综合网站上去吧| 五月开心激情| 色五月婷婷av| 综合噜噜| 五他月天啪啪啪| 婷婷综合伊人丁香| 国产乱人偷精品人妻A片| 99久久9| 色婷婷A| 婷婷色在线视频| 欧洲第一久色| 99久久国产宗和精品1上映| 激情综合综合综合| 日本狠狠干| 成人五月丁香社区| 在线成人网址| www.91九色| 久久99久久99精品免观看粉嫩| 色婷婷影视99| 99er热精品视频| 91传媒无码人妻精| 激情丁香图片| 婷婷丁香无码专区| 99热777| 67194线路二在线观看| 色婷婷影音| 久久久国产精品黄毛片| 亚洲开心激情网| 久久久99精品免费观看| 色婷五月丁香久亚洲| 色婷婷av在线观看| 日本精品。999| 疯狂做受XXXX高潮A片| 五月天自拍视频| 国产精产国品一二三在观看| 婷婷性爱无码视频| www.金莲av| 人人爱国产| 精品九九婷婷| 婷婷五月丁香色综合| 97色永久免费视频| 婷婷五月天av| 国产 码在线成人网站| 丁香五月天激情综合| 99色看这里只有精品| 国产免费性爱| 开心激情久久久久久久| 久久激情四射| 五月丁香六月婷婷色情| 伊人久久大香蕉网| 91操在线视频| 这里只有精彩小视频视频网站| 六月丁香啪啪啪| 色 五月婷婷基地| 日韩在线视频9色| 久久婷婷综合五月天| 亚韩在线视频| a网站免费观看| 性小说五月天| 亚洲午夜国产成人电影VA国产欧…| 精a品a| 日本久久高清| 婷色五月天| 俺去也在线官网| 99免费在线视频| 777色色色| 婷婷五月天无码熟女| 婷婷成人av| 琪琪色五月天| oumeisesewang| 九九色黄色| 亚洲熟妇无码乱子AV电影| 九九热这里只有精品7| 国产精产国品一二三在观看| 激情综合五月婷婷六月丁香| 久久久久激情网| 五月婷婷六月色| 久久66成人网站| 超碰91av| 大香蕉在九| 五月婷婷免费在线视频| 五月综合色| 黄色av高清| 五月丁香久久网| 亚洲中文无码成人| 久久婷婷原创视频| 欧美狠狠地| 丁香蜜臀黄色婷婷五月天| 婷婷五月天福利| 五月天婷五月天综合网在线观| 黄色AAAAAAA| 超碰免费在线| 狠狠色噜噜| 五月婷婷亚洲| 99无码精品| 91小黄书网址在线观看| 婷婷的99视频网站|