欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

從295B到770B:混元Hy4架構(gòu)躍遷背后的推理成本與工程實(shí)踐

從295B到770B:混元Hy4架構(gòu)躍遷背后的推理成本與工程實(shí)踐 看到騰訊混元這次把 Hy4 Preview 帶出來(lái)的時(shí)候我對(duì)榜單上的跑分反而沒(méi)什么興趣真正讓我停下來(lái)多看了幾秒的是另一行字295B 到 770B。如果你整天只接 API可能覺(jué)得這不過(guò)是一句“哦變大了”但如果你跑過(guò)大型模型就會(huì)知道這個(gè)數(shù)字背后牽扯的東西極多——模型權(quán)重落盤(pán)體積、顯卡顯存規(guī)劃、路由負(fù)載均衡策略、并行度設(shè)計(jì)甚至業(yè)務(wù)側(cè)的調(diào)用成本模型全部都要重新盤(pán)一遍。這篇文章不打算復(fù)述新聞也不打算重復(fù)官方通稿。我更想從一個(gè)在業(yè)務(wù)里長(zhǎng)期接大模型 API、也折騰過(guò)私有化推理的工程師角度聊一聊295B 到 770B 這種參數(shù)規(guī)模躍遷底層架構(gòu)為什么必須跟著變對(duì)整個(gè)開(kāi)發(fā)鏈條上的調(diào)用、遷移、評(píng)測(cè)和最終“生產(chǎn)力落地”到底意味著什么。適合正在做技術(shù)選型、拿不準(zhǔn)要不要切換到新版本的人也適合想理解“模型變大不等于簡(jiǎn)單放大”的讀者。1. 先別急著聊架構(gòu)295B 和 770B 到底意味著什么1.1 總參數(shù)和激活參數(shù)不是一回事很多人看到 770B 的第一反應(yīng)是“能力大概是 295B 的 770/295 倍”。這個(gè)理解有兩個(gè)問(wèn)題。一方面模型能力和參數(shù)量不是線性關(guān)系。參數(shù)增加確實(shí)能提高知識(shí)容量和復(fù)雜模式的擬合能力但對(duì)很多任務(wù)來(lái)說(shuō)邊際收益會(huì)遞減。從 70B 到 700B 的體感差異遠(yuǎn)比 7B 到 70B 模糊得多因?yàn)榈揭欢w量后天花板會(huì)變成訓(xùn)練數(shù)據(jù)的質(zhì)量、對(duì)齊水平、推理能力而不是“參數(shù)到底裝了多少事”。另一方面平時(shí)說(shuō)的“總參數(shù)”指的是權(quán)重文件里所有可訓(xùn)練參數(shù)不代表每一步推理都會(huì)把每個(gè)參數(shù)都算一遍。尤其參數(shù)量到了 295B、770B 這個(gè)級(jí)別基本不會(huì)再用一個(gè)完全稠密的 Transformer 直接塞進(jìn)顯存硬推理而是會(huì)走 MoEMixture of Experts混合專家這類稀疏結(jié)構(gòu)總參數(shù)量可以很大但單個(gè) token 只會(huì)激活其中一小部分專家。Hy3 的 295B、Hy4 Preview 的 770B這里很難從標(biāo)題直接判斷到底是“稠密總參”還是“MoE 總參”。但從行業(yè)通用做法和推理成本反推更合理的猜測(cè)是它大概率是稀疏 MoE 架構(gòu)下的總參數(shù)規(guī)模。你要比較“變強(qiáng)了多少”更應(yīng)該看激活參數(shù)——也就是每個(gè) token 實(shí)際參與計(jì)算的那部分參數(shù)——而不是眼睛盯著墻上的 770B。提醒一下我見(jiàn)過(guò)不少同學(xué)直接用參數(shù)量估算推理速度得出“舊版能跑 20 token/s新版參數(shù)大 2.6 倍所以大概只剩 8 token/s”這種結(jié)論。這個(gè)估算在稠密模型之間大體能站住腳遇到 MoE 就完全失真。1.2 顯存和成本先算一筆最容易算錯(cuò)的賬假設(shè)我們不考慮任何稀疏結(jié)構(gòu)只按權(quán)重體積來(lái)算BF16 精度下1B 參數(shù)差不多占 2GB 顯存。實(shí)際部署還得算上 embedding、layer norm、位置編碼等額外量但先按這個(gè)粗略公式盤(pán)295B 參數(shù)的 BF16 權(quán)重約 590GB770B 參數(shù)的 BF16 權(quán)重約 1.54TB。也就是說(shuō)即便底層架構(gòu)不變、不做任何量化單從權(quán)重加載看你就不能再用以前“8 張 A100/H100 就能跑”的預(yù)算去規(guī)劃。8 張 80GB 顯卡一共才 640GB 顯存連 770B 的 BF16 權(quán)重都塞不下更不用說(shuō)推理時(shí)還要給激活值、KV Cache、通信緩沖留空間。所以到 770B 這個(gè)規(guī)模現(xiàn)實(shí)方案基本只有幾條量化把權(quán)重壓到 INT8/FP8存儲(chǔ)和帶寬壓力減半但需要實(shí)測(cè)精度回退是否可接受多機(jī)分布式推理把參數(shù)切到幾十張卡甚至更多網(wǎng)絡(luò)帶寬和調(diào)度復(fù)雜度立刻上一個(gè)臺(tái)階走服務(wù)方 API把部署痛苦轉(zhuǎn)移出去按 token 計(jì)費(fèi)但需要評(píng)估延遲、限流和數(shù)據(jù)邊界。這也是我為什么總說(shuō)“架構(gòu)躍遷”不是模型團(tuán)隊(duì)內(nèi)部的事它會(huì)順著部署方式一路傳導(dǎo)到你的預(yù)算表。770B 聽(tīng)起來(lái)是一次性能升級(jí)落地時(shí)先砸過(guò)來(lái)的往往是成本重估。如果你正準(zhǔn)備為 Hy4 Preview 擴(kuò)容第一步不是訓(xùn)練技巧而是先把“卡有多少、帶寬夠不夠、評(píng)測(cè)能跑多并發(fā)”算清楚。我個(gè)人經(jīng)驗(yàn)評(píng)估這種體量模型的部署成本別只盯著權(quán)重文件。KV Cache 的開(kāi)銷常比預(yù)想更大尤其上下文一長(zhǎng)后半段推理延遲會(huì)逐步上漲。建議按“模型權(quán)重 KV Cache 20% 通信/顯存冗余”來(lái)規(guī)劃顯存不要卡著 90% 容量去接流量否則一個(gè)高并發(fā)峰值就能把節(jié)點(diǎn)打掛。1.3 規(guī)模變大訓(xùn)練和推理的復(fù)雜度會(huì)換“品種”參數(shù)量從 295B 到 770B除了顯存總量還有兩個(gè)隱蔽變化。第一是訓(xùn)練并行策略更復(fù)雜。稠密模型相對(duì)好辦張量并行、流水線并行、數(shù)據(jù)并行按層切就行。但 MoE 會(huì)多一個(gè)“專家并行”維度。每個(gè) token 要路由到不同專家如果某個(gè)專家被路由到的請(qǐng)求特別多負(fù)載一不均衡就會(huì)出現(xiàn)部分 GPU 忙不過(guò)來(lái)、另一部分在摸魚(yú)的現(xiàn)象??淳W(wǎng)上的“架構(gòu)躍遷”討論很少人提這一點(diǎn)但它才是訓(xùn)練穩(wěn)定性的關(guān)鍵。第二是長(zhǎng)上下文的代價(jià)。上下文窗口越長(zhǎng)注意力計(jì)算復(fù)雜度越高KV Cache 也越大。770B 模型如果支持長(zhǎng)上下文對(duì)顯存管理、調(diào)度器、緩存策略的要求會(huì)比 295B 高一整個(gè)檔次。推理框架通常需要配合 PagedAttention、Prefix Caching、KV Cache 量化等手段否則并發(fā)一上來(lái)顯存很快會(huì)被長(zhǎng)請(qǐng)求填滿。所以“從 295B 到 770B 是架構(gòu)躍遷”這句話我理解是在說(shuō)它不能只把 Transformer 每一層等比例加寬而是必須動(dòng)骨架。Transformer 依然是底座但里面的注意力機(jī)制、專家路由、層級(jí)分布、訓(xùn)練目標(biāo)都可能調(diào)整。這些藏在底層的變化最終會(huì)表現(xiàn)為模型輸出質(zhì)量、穩(wěn)定性、指令遵循能力的變化。2. 架構(gòu)躍遷到底藏在哪里從 MoE 到長(zhǎng)上下文能力2.1 為什么這個(gè)量級(jí)幾乎必然會(huì)走向 MoE如果真把參數(shù)量拉到 770B同時(shí)又不能讓推理成本線性上漲那最現(xiàn)實(shí)的技術(shù)路徑就是 MoE。這個(gè)架構(gòu)經(jīng)常被誤認(rèn)為是“好幾個(gè)模型商量著回答”其實(shí)更貼切的比喻是一家大公司里坐著幾千個(gè)領(lǐng)域的專家但每個(gè)來(lái)咨詢的人不會(huì)把所有人都喊來(lái)開(kāi)會(huì)而是由一個(gè)前臺(tái)判斷“你現(xiàn)在這個(gè)問(wèn)題應(yīng)該找哪幾位專家聊”。整套結(jié)構(gòu)里有兩個(gè)關(guān)鍵角色Router路由對(duì)輸入 token 打分選出最合適的 k 個(gè)專家Expert專家通常是 FFN 層的多個(gè)副本或變體各自學(xué)習(xí)不同模式。于是總參數(shù)量可以做很大但每次推理只激活一部分專家和注意力層。一個(gè) 770B 總參數(shù)的模型完全可能把激活參數(shù)控制在幾百億以下遠(yuǎn)端看起來(lái)像是另一個(gè)規(guī)模的模型。最終效果由專家分工的細(xì)致程度、路由的準(zhǔn)確度、被激活參數(shù)的表達(dá)能力共同決定。這也是為什么這種結(jié)構(gòu)對(duì)擴(kuò)容友好想變強(qiáng)就往專家池里加人不需要把原有每層推倒重來(lái)。但反過(guò)來(lái)它對(duì)訓(xùn)練框架非常不友好路由一旦學(xué)偏會(huì)出現(xiàn)一批專家忙死、一批專家餓死訓(xùn)練效率和穩(wěn)定性都會(huì)很難看。網(wǎng)上能看到的各種跳票、Preview、漸進(jìn)式開(kāi)放很多都和這類穩(wěn)定性問(wèn)題有關(guān)不只是市場(chǎng)策略。2.2 路由穩(wěn)定性是那只看不見(jiàn)的手做算法的人看模型喜歡丟幾個(gè)測(cè)試題。做訓(xùn)練和部署的人卻會(huì)長(zhǎng)期盯兩個(gè)指標(biāo)專家負(fù)載均衡程度、路由的重復(fù)度。如果某個(gè)專家收到的 token 太少它的參數(shù)等于白訓(xùn)如果某幾個(gè)專家收到特別多又會(huì)造成單卡顯存和算力瓶頸。到 770B 量級(jí)負(fù)載均衡通常要依靠更復(fù)雜的輔助 loss、專家容量限制、隨機(jī)丟棄等手段強(qiáng)迫模型把請(qǐng)求盡量分散開(kāi)。普通用戶看不到這一層卻能間接體驗(yàn)到如果訓(xùn)練時(shí)負(fù)載不均衡嚴(yán)重模型會(huì)出現(xiàn)一種“某些領(lǐng)域特別聰明某些領(lǐng)域明顯偏科”的觀感。換個(gè)角度說(shuō)評(píng)測(cè)集里如果不覆蓋多個(gè)子領(lǐng)域很容易被模型在某個(gè)偏科方向上的驚艷表現(xiàn)誤導(dǎo)。MoE 還有一個(gè)工程特點(diǎn)專家在分布式環(huán)境間傳遞中間結(jié)果通信量遠(yuǎn)大于普通稠密模型??鐧C(jī)帶寬一旦不夠延遲會(huì)被通信拖住模型再“聰明”也快不起來(lái)。這也是為什么很多團(tuán)隊(duì)跑大 MoE 時(shí)寧可用 NVLink 或高速 RDMA 網(wǎng)絡(luò)也不愿意讓專家在普通以太網(wǎng)上散開(kāi)。2.3 長(zhǎng)上下文能力不會(huì)只靠“塞更多 token”長(zhǎng)出來(lái)討論架構(gòu)躍遷時(shí)很多人會(huì)漏掉上下文窗口但我覺(jué)得這反而是影響生產(chǎn)力最直接的維度。參數(shù)變大模型能容納更多復(fù)雜知識(shí)但如果上下文窗口很短生產(chǎn)場(chǎng)景照樣轉(zhuǎn)不起來(lái)——你丟一份幾十頁(yè)合同進(jìn)去就爆了模型再“聰明”也沒(méi)用。長(zhǎng)上下文能力需要在很多層面做配套用稀疏注意力或注意力壓縮降低長(zhǎng)文本計(jì)算量用更好的位置編碼方案讓模型理解超過(guò)訓(xùn)練長(zhǎng)度的相對(duì)位置在推理側(cè)做 KV Cache 量化、Prefix Caching 等優(yōu)化讓服務(wù)端不被長(zhǎng)請(qǐng)求拖垮。這些能力很少出現(xiàn)在跑分海報(bào)上卻決定你是不是真的能把模型放進(jìn)“讀完整個(gè)項(xiàng)目倉(cāng)庫(kù)再給建議”“通篇審閱一份厚合同再審閱細(xì)節(jié)條款”這些真實(shí)任務(wù)里。從 Hy3 到 Hy4 Preview 的生產(chǎn)力躍遷我認(rèn)為很大一部分不是“更會(huì)答題”而是“更能把上下文裝下去并且真的會(huì)用起來(lái)”。3. 真正值得嘗鮮的生產(chǎn)力場(chǎng)景我比較看好的三個(gè)方向3.1 多輪長(zhǎng)對(duì)話與復(fù)雜文檔終于不再頻繁“失憶”我以前在項(xiàng)目里用小參數(shù)模型做會(huì)議紀(jì)要最痛的問(wèn)題是總結(jié)到一半丟信息。讓它分析一份 50 頁(yè)材料經(jīng)常只抓到開(kāi)頭結(jié)尾中間細(xì)節(jié)全丟掉。參數(shù)規(guī)模增大之后最直觀的變化是長(zhǎng)期依賴能力它能更穩(wěn)地記住前文出現(xiàn)過(guò)的實(shí)體、約束條件、數(shù)字并把它們應(yīng)用到后文判斷中。這里還得強(qiáng)調(diào)一個(gè)區(qū)別“上下文能裝下”不等于“會(huì)自動(dòng)找答案”。哪怕技術(shù)上支持 128K 上下文模型如果不會(huì)在 128K 里定位關(guān)鍵信息給它 256K 也白搭。770B 帶來(lái)的更可能是注意力模式更細(xì)致能從密集信息中撈到真正需要的內(nèi)容。如果你的工作流里有長(zhǎng)文檔問(wèn)答、跨章節(jié)總結(jié)、多輪需求澄清換到 Hy4 Preview 后第一個(gè)建議測(cè)試的方向就是這個(gè)。不用一上來(lái)就挑戰(zhàn)高難度推理先把自己最痛的長(zhǎng)文本材料丟進(jìn)去看看模型能不能找出你人為埋下的幾個(gè)細(xì)節(jié)。3.2 Agent 里的工具調(diào)用與路徑規(guī)劃不再“一錯(cuò)到底”這兩年只要聊 AI 應(yīng)用幾乎繞不開(kāi) Agent。Agent 的本質(zhì)是讓模型當(dāng)一個(gè)調(diào)度中心決定先調(diào)用哪個(gè)工具、觀察結(jié)果再走下一步。這對(duì)模型要求特別高因?yàn)橹虚g一旦誤判后面所有步驟都可能跟著跑偏。更大的模型在 Agent 場(chǎng)景里通常有幾個(gè)優(yōu)勢(shì)指令遵循更穩(wěn)能在 system prompt 里同時(shí)遵守格式、順序、安全規(guī)則而不是只記得最后一句工具選擇更準(zhǔn)能分辨“搜天氣”和“定鬧鐘”這類邊界模糊的語(yǔ)義錯(cuò)誤恢復(fù)更好工具返回異常時(shí)能把錯(cuò)誤信息當(dāng)作普通文本重新規(guī)劃而不是直接崩潰或原地循環(huán)。如果你以前用 295B 級(jí)別的模型調(diào) Agent 時(shí)總覺(jué)得“能力有但不夠聽(tīng)話”那 770B 級(jí)別的新版本值得用同一套 Prompt 重新跑一輪。我的經(jīng)驗(yàn)是先別比復(fù)雜任務(wù)先比“當(dāng)工具返回 500 錯(cuò)誤時(shí)模型能不能正確識(shí)別并改用備選工具”。這個(gè) case 最能看出版本間的架構(gòu)級(jí)進(jìn)步。3.3 結(jié)構(gòu)化輸出與數(shù)據(jù)清洗最容易被低估的提效點(diǎn)很多團(tuán)隊(duì)最容易忽略的場(chǎng)景其實(shí)是結(jié)構(gòu)化輸出。比如把一堆非結(jié)構(gòu)化合同文本抽取出“付款條件、違約金比例、甲方乙方名稱”并輸出 JSON。這類任務(wù)不算高深但對(duì)格式遵從和細(xì)粒度實(shí)體識(shí)別要求很高。小模型常犯的毛病是輸出路徑對(duì)了可 JSON 字段值漏幾個(gè)或者甲方名稱和乙方名稱搞混。參數(shù)量提升后這種細(xì)粒度消歧能力通常會(huì)有明顯進(jìn)步。如果你們公司有大量“臟數(shù)據(jù)清洗、半結(jié)構(gòu)化文本轉(zhuǎn) JSON、客服工單分類”需求換大模型可能是成本收益最直接的一項(xiàng)。它不像 Agent 那么炫但很多后臺(tái)流程就是靠這條抽取鏈路撐著準(zhǔn)確率提升一個(gè)點(diǎn)節(jié)省的人力可能遠(yuǎn)超想象。而且結(jié)構(gòu)化輸出天然適合做自動(dòng)化評(píng)測(cè)只要寫(xiě)一個(gè) JSON schema 校驗(yàn)器就能量化模型升級(jí)前后的字段完整率、格式合法率和取值準(zhǔn)確率。4. 從 Hy3 切到 Hy4 Preview最容易被低估的遷移成本4.1 輸出分布漂移同一個(gè) Prompt未必給你同一個(gè)答案這是我從舊模型切到新模型后非常確定的一個(gè)感受同樣的 Prompt在 Hy3 上輸出很穩(wěn)定到 Hy4 Preview 上可能會(huì)換語(yǔ)氣、換分段方式、甚至修改輸出字段的邊界。不是新模型變差而是版本更新會(huì)帶來(lái)自然的模型漂移。模型內(nèi)部參數(shù)更新概率分布整體變了。原來(lái)精心設(shè)計(jì)的 few-shot 樣例也許在舊模型上很有效新模型反而不需要原來(lái)它一定會(huì)嚴(yán)格執(zhí)行的一句話規(guī)則新模型可能因?yàn)槔斫飧钊氘a(chǎn)生了自己的“靈活解讀”。所以遷移的第一件事不是把 model 字段從 hy3 改成 hy4而是把你線上的 Prompt、few-shot 樣例、后處理解析邏輯全部當(dāng)成“待回歸測(cè)試的代碼”。任何跳過(guò)回歸直接切流量的行為都等于在賭模型分布沒(méi)有變。生產(chǎn)環(huán)境可不能這么賭。4.2 評(píng)測(cè)集要貼近真實(shí)場(chǎng)景不要只拿腦筋急轉(zhuǎn)彎試很多人換模型時(shí)喜歡問(wèn)“雞兔同籠”“樹(shù)上 10 只鳥(niǎo)”這類題目。它們能反映一部分推理能力但和你的業(yè)務(wù)大概率無(wú)關(guān)。如果線上業(yè)務(wù)是售后工單分析評(píng)測(cè)集里至少要有售后客服的高頻說(shuō)法、真實(shí)長(zhǎng)句、錯(cuò)別字和臟數(shù)據(jù)。我習(xí)慣把評(píng)測(cè)集做成一個(gè) JSONL 文件每條記錄包含輸入、預(yù)期行為、檢查規(guī)則。檢查規(guī)則不一定是“參考答案完全一致”可以是“JSON 可解析且 fields 包含某些 key”“不能出現(xiàn)某個(gè)違規(guī)短語(yǔ)”這種機(jī)器可判定的條件。最后寫(xiě)一個(gè)簡(jiǎn)單腳本批量調(diào)用新舊兩個(gè)模型輸出對(duì)照表。這里有幾個(gè)硬經(jīng)驗(yàn)評(píng)測(cè)樣例最好不少于 50 條覆蓋正常輸入、邊界輸入、異常輸入每條不能只看內(nèi)容對(duì)不對(duì)還要監(jiān)控響應(yīng)時(shí)間、token 消耗、失敗率先用規(guī)則化檢查做第一輪過(guò)濾再針對(duì)差異大的結(jié)果做人工抽檢。指標(biāo)上我越來(lái)越不喜歡只依賴單一的人工打分因?yàn)槿说闹饔^波動(dòng)太大。規(guī)則判定能確保客觀人工復(fù)核能補(bǔ)足語(yǔ)義判斷兩個(gè)結(jié)合才更靠譜。4.3 灰度切換與雙跑比任何廣告宣傳都有用更穩(wěn)的遷移方案不是“從舊模型全量切到新模型”而是先拿 5%~10% 的流量導(dǎo)到新模型跑一段時(shí)間再對(duì)比新舊結(jié)果。我通常這樣設(shè)計(jì)灰度Shadow Mode舊模型正常響應(yīng)用戶新模型在后臺(tái)同步跑一遍請(qǐng)求不返回給用戶只落日志用來(lái)評(píng)估差異和延遲5% 灰度把少量真實(shí)流量切到新版本觀察用戶反饋、錯(cuò)誤率、超時(shí)按場(chǎng)景放開(kāi)如果只是某些場(chǎng)景收益明顯就只對(duì)這些場(chǎng)景放開(kāi)其他場(chǎng)景繼續(xù)走舊模型。還可以把同一個(gè)請(qǐng)求同時(shí)發(fā)給新舊兩個(gè)模型統(tǒng)計(jì)結(jié)果不一致率。不一致率過(guò)高時(shí)要謹(jǐn)慎排查是不是新版輸出格式改變了或者某些請(qǐng)求進(jìn)入了你不熟悉的“新能力區(qū)”。4.4 成本和延遲參數(shù)翻倍賬單不一定等比例翻倍如果走 API服務(wù)方把基礎(chǔ)設(shè)施細(xì)節(jié)都隱藏了你可能只看到 token 單價(jià)。但如果做私有化部署新成本模型里最要命的是 GPU 數(shù)量和網(wǎng)絡(luò)帶寬而不是模型能力本身。MoE 的精妙之處在于總參數(shù)量大激活參數(shù)量卻可能遠(yuǎn)小于總參數(shù)量。所以和 295B 稠密模型比770B MoE 模型每次請(qǐng)求的實(shí)際計(jì)算量未必線性增長(zhǎng)。但權(quán)重讀取和跨機(jī)通信仍是大頭尤其多并發(fā)上來(lái)時(shí)顯存帶寬會(huì)迅速成為瓶頸。不能僅憑“770B 295B”就判斷一定貴很多。服務(wù)方用什么量化、什么并行策略、什么調(diào)度算法都會(huì)影響最終成本。建議直接拿同一批請(qǐng)求分別打兩個(gè)版本統(tǒng)計(jì) p50/p95 延遲、成功率和 token 消耗再結(jié)合真實(shí)單價(jià)算單次調(diào)用成本。不看這些實(shí)測(cè)只按參數(shù)估預(yù)算很容易被實(shí)際賬單打臉。我的習(xí)慣是拿 100 條同樣請(qǐng)求在低峰期跑三遍取平均。除了看延遲還要對(duì)比輸出 token 數(shù)。因?yàn)椴煌P蛯?duì)同一任務(wù)寫(xiě)的 token 數(shù)量可能差很多直接影響成本和下游解析負(fù)擔(dān)。5. 我實(shí)測(cè)中遇到的幾個(gè)值得注意的變量5.1 長(zhǎng)文檔摘要輸出長(zhǎng)度和穩(wěn)定性是第一道坎我常用的長(zhǎng)文本測(cè)試是把一份約三十頁(yè)的上市公司年報(bào)丟進(jìn)模型要求給出摘要并列出關(guān)鍵財(cái)務(wù)指標(biāo)。實(shí)測(cè)下來(lái)模型越大輸出結(jié)構(gòu)往往越穩(wěn)定但偶爾還是會(huì)遇到輸出截?cái)嗷蜃侄稳笔?。原因不一定是模型笨可能是單次?qǐng)求的 max_tokens 上限限制了輸出空間也可能是文檔里有復(fù)雜的表格和掃描件格式。處理長(zhǎng)文檔時(shí)我現(xiàn)在比較穩(wěn)的套路是先把文檔按章節(jié)切塊每塊單獨(dú)做初步信息提取再做一次全局匯總讓模型基于各塊的摘要而不是原始全文做最終輸出關(guān)鍵數(shù)字要求模型在回答里給出原文頁(yè)碼或位置方便人工考證。關(guān)鍵數(shù)字錯(cuò)誤率確實(shí)下降了但只要涉及多頁(yè)表格交叉引用我仍然發(fā)現(xiàn)會(huì)偶爾出錯(cuò)。落地時(shí)一定要加一道規(guī)則校驗(yàn)比如“模型輸出的凈利潤(rùn)數(shù)字必須能在原文某個(gè)字符串片段中找到否則標(biāo)記為高風(fēng)險(xiǎn)并轉(zhuǎn)人工”不要盲信大模型。5.2 Prompt 風(fēng)格System Prompt 太長(zhǎng)時(shí)會(huì)“選擇性失憶”很多 Agent 框架喜歡把企業(yè)知識(shí)庫(kù)、問(wèn)答風(fēng)格、敏感詞規(guī)則全部塞進(jìn) System Prompt一寫(xiě)就是幾千字。大模型確實(shí)能處理很長(zhǎng)的 System Prompt但如果你發(fā)現(xiàn)它在長(zhǎng) System 后開(kāi)始忽略最前面的指令不要驚訝這是注意力分配的物理限制。我實(shí)測(cè)后感覺(jué)比較有效的幾個(gè)做法把最關(guān)鍵、最希望模型嚴(yán)格遵守的規(guī)則放在 System 最前面和最后不要埋在中間每條規(guī)則盡量寫(xiě)成“必須/禁止”的強(qiáng)指令少用“可以/建議”這種弱語(yǔ)氣需要強(qiáng)約束的規(guī)則盡量壓縮到 10 條以內(nèi)其余規(guī)則通過(guò)用戶輸入或工具調(diào)用上下文給出避免所有規(guī)則都堆在 System 里。更有意思的是參數(shù)更大的模型有時(shí)對(duì)長(zhǎng) System 未必更友好它可能更容易推出自己的一套執(zhí)行邏輯把 Prompt 里沒(méi)寫(xiě)明白的邊界自己腦補(bǔ)完。所以切換到新版本后System Prompt 一定要回歸測(cè)試不要沿用舊版一勞永逸。5.3 Preview 版本最容易翻車的三個(gè)細(xì)節(jié)Preview 在我理解里意味著“能力已經(jīng)很好但還不是最終定版”。具體使用時(shí)要特別留意三件事服務(wù)端配置可能調(diào)整偶爾會(huì)出現(xiàn)限流或 5xx。我不會(huì)把 Preview 模型直接放到不可降級(jí)的核心生產(chǎn)鏈路上即使放也會(huì)加“失敗自動(dòng)切回舊版”的兜底溫度參數(shù)對(duì)輸出影響可能比舊版本更敏感。結(jié)構(gòu)化抽取任務(wù)里如果 temperature 還用 0.7可能同一輸入得到完全不同的 JSON 字段值建議結(jié)構(gòu)化輸出把溫度調(diào)到 0.1 甚至 0同一提示詞在新版可能觸發(fā)不同的 prefill 策略導(dǎo)致長(zhǎng) prompt 的響應(yīng)延遲比預(yù)期高。最好在業(yè)務(wù)允許的延遲閾值上加一道監(jiān)控和告警而不是等用戶先發(fā)現(xiàn)。這些都是從 Preview 版本里比較容易踩到的坑但反過(guò)來(lái)也說(shuō)明 Preview 的價(jià)值在于提前暴露問(wèn)題適合你為正式版本做準(zhǔn)備。6. 到底要不要切到 Hy4 Preview我的判斷流程6.1 先做小成本驗(yàn)證別急著做架構(gòu)決定我的建議是拿業(yè)務(wù)里最核心的 30~50 條真實(shí)數(shù)據(jù)寫(xiě)一個(gè)簡(jiǎn)單評(píng)測(cè)腳本分別請(qǐng)求舊版和新版獲得三個(gè)輸出舊版結(jié)果、新版結(jié)果、規(guī)則判定結(jié)果。人工只復(fù)核差異較大的幾條判斷新版本是否真的帶來(lái)提升還是只是換了一種表達(dá)。如果新版關(guān)鍵指標(biāo)明顯落后那就繼續(xù)留在舊版等正式版再說(shuō)。如果新版明顯好也不用全量切按場(chǎng)景拆開(kāi)灰度放流。Preview 模型存在的意義是讓你提前體驗(yàn)和反饋不是讓你拿全量生產(chǎn)環(huán)境當(dāng)試驗(yàn)田。6.2 判斷“切”還是“不切”的場(chǎng)景表我根據(jù)自己的項(xiàng)目經(jīng)驗(yàn)整理了一個(gè)評(píng)估矩陣不一定適用于所有人但能幫你對(duì)號(hào)入座維度適合優(yōu)先切到 Hy4 Preview建議繼續(xù)等一等任務(wù)類型長(zhǎng)文檔分析、復(fù)雜 Agent 規(guī)劃、結(jié)構(gòu)化抽取低延遲高并發(fā)客服、強(qiáng)合規(guī)固定模板任務(wù)數(shù)據(jù)邊界可接受走 API 或已搭好私有化環(huán)境有嚴(yán)格數(shù)據(jù)隔離要求暫無(wú)測(cè)試條件成本感知正確率提升可以覆蓋 token 成本增加預(yù)算卡死token 略貴就會(huì)被挑戰(zhàn)工程能力有回歸評(píng)測(cè)集和灰度通道缺少評(píng)測(cè)集只能靠感覺(jué)挑 Prompt這個(gè)表格側(cè)重說(shuō)明一點(diǎn)不是所有業(yè)務(wù)都需要 770B。很多任務(wù)用一個(gè)小模型加更合理的 RAG 鏈路效果可能比一味追大更皮實(shí)。技術(shù)人容易被參數(shù)數(shù)字吸引但“生產(chǎn)力落地”從來(lái)不是看參數(shù)墻上的數(shù)字而是看它能不能在你真實(shí)業(yè)務(wù)流里穩(wěn)定產(chǎn)生凈收益。6.3 我的最終建議從大模型迭代節(jié)奏看參數(shù)規(guī)模從 295B 到 770B會(huì)是許多產(chǎn)品能力的分水嶺。但“分水嶺”要被你真正用上前提是評(píng)測(cè)、灰度、回退、成本計(jì)量這些工程環(huán)節(jié)已經(jīng)搭好。我見(jiàn)過(guò)太多團(tuán)隊(duì)把模型版本升級(jí)當(dāng)成一次簡(jiǎn)單 config 改動(dòng)結(jié)果上線當(dāng)天 Prompt 全飄、輸出格式崩得措手不及。與其問(wèn)“Hy4 Preview 能不能超過(guò) Hy3”不如問(wèn)“我的評(píng)測(cè)集能不能反映真實(shí)業(yè)務(wù)灰度方案能不能隨時(shí)切回舊版數(shù)據(jù)鏈路有沒(méi)有為更長(zhǎng)上下文做好準(zhǔn)備” 這幾個(gè)問(wèn)題想清楚了你自然知道自己該不該切什么時(shí)候切。我現(xiàn)在比較固定的做法是每個(gè)大版本發(fā)布后先用最高頻的 30 個(gè)業(yè)務(wù)請(qǐng)求做一輪離線評(píng)估把差異報(bào)告發(fā)給業(yè)務(wù)方看再?zèng)Q定要不要進(jìn)入灰度。版本升級(jí)不是“越新越跑”而是“用數(shù)據(jù)跑贏猶豫”。希望下次你在群里看到類似參數(shù)躍遷的消息時(shí)能先想起這些容易被忽略的落地細(xì)節(jié)少踩一點(diǎn)我踩過(guò)的坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
77799热| 婷婷天天舔| 91丨九色丨东北熟女| 色八月婷婷| 超碰人人摸人人操| 中文av网| 91色色色| 欧美色偷偷大香| 伊人五月天在线| 亚洲乱码日产精品BD| 日本va欧美va精品发布视频| 嫩草AV久久伊人妇女超级A| 天天五月情| 国产肏屄大片| 五月停停99| 丁香五月天激情免费在线观看AV777| 九九99精品| 婷婷色影院| 天天色综合图片| 9色在线| 亚洲永远av在线播放| 五月丁香婷草| 俺去也婷婷| 五月丁香九九九综合| 五月天天堂久久| chaopengdaxiangjiao| 袁子仪视频观看| 五月婷婷影| 在线视频另类| 91啦丨九色丨刺激中文| 91se视频| 天天看片日日夜夜| 婷婷伊人久久| 丁香婷婷六月激情综合| 成人在线网| 婷婷激情六月中文| 久cao香蕉影院| 色综合九九| www天天色天天射| 丁香五月天在线直播观看| 久婷自拍视频| 五月婷免费视频| 亚洲日本韩国| 色婷婷成人做爰A片免费看网站| 五月婷婷色| 99热这里精| 久久这里这里有精品免费视频| 黄页免费一级视频懂色| 五月婷婷婷色| 婷婷五月天首页| 色五月大| 国产精品电影网| 色色色色色日韩午夜激情 | 久久这里面只有精品视频| 青青久久大香蕉| 影音 五月 婷婷 久久| 五月丁香婷婷色| 成人综合视频在线| 日韩婷婷| 丁香五月性爱| 狠狠色丁香乆乆| 欧美日韩精品人妻狠狠躁免费视频 | 99热9| 色五月天综合| 婷婷99| 黄色99热| 99热最新精品| 丁香五月激情婷婷视频| 亚洲AV激情五月综合网| 精品综合网在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 超喷97免费在线视频| 色色婷| www.夜夜操| AA丁香综合激情| 五月天婷a| 97碰碰九九视频| 国产婷婷色综合AV蜜臀AV | www.91AV.COM| 性色av大香综合| 99热九九在线| 婷婷综合久久| 婷婷丁香基地在线| 天天做天天爱天天玩| 五月婷婷丁香婷婷| 国产午夜一区二区三区| 日韩无码专区| 日本天天色| 老司机日日夜夜青草| 丁香五月色色| 91夫妻视频| 色亭亭九月| 超热久碰.com| 亚洲精品久久久久久久久久吃药 | 欧美日韩一区二区三区四区| 蜜臀99精品| 伊人玖玖婷婷| 99综合网| 婷婷丁香91| 色综合久久中文| 91视频一起草| 中文字幕 久久9999| 亚洲成人噜噜| 色色com| 五月丁香亭亭| 丁香玖玖| 五月天综合网| 激情六月丁| www.五月丁香| 淫五月停停| 强奸幻女毛片| 月婷婷亚洲| 亚洲国产va| 久久久五月四色| 99无码| 色丁香久久| 99久久婷婷国产综合精品电影| av五月丁香婷婷网| 天天做天天爱天天爽在| 99热亚洲精品| 五月停亭久久电影| 五月天婷婷午夜丁香| 播五月丁香六月| 97中文在线| 成人做爰黄A片免费看直播室男男| 97超碰欧美中文字幕| 狠狠舔| 激情网五月婷婷| 99色色网| www九九免费视频| 婷婷涩五月| 天天日夜夜草进麻麻的子宫| 深爱激情五月网| 狠狠爱五月婷婷综合六月| 超碰91人人操| 狠狠干五月天| 丁香影院五月综合| 五月丁香婷婷婷婷综合网| 色综合天天综合成人网| 97久久综合网| 激情99热| 思思热视频| 久久在线视频免费观看| 久久99最新| 五月色亚洲| 日日做A爰片久久毛片A片英语| 色婷婷在线影院| 另类综合激情| 激情综合色婷婷啪啪六月天| 婷婷五月丁香激情图片 | 99er视频在线| 丁香五月婷婷免费视频| 色噜噜狠狠色综合无码久久欧美| 色欲一二三| 中文字幕丰满孑伦无码专区 | 久久九九国产精品怡红院| 大地9中文在线观看免费高清| 色五月婷婷综合在线| 色丁香在线视频| 伊人久久婷| 91婷婷视频| 亚洲中文丁香| 99热这里只有精品在线观看| 婷婷综合网站| 欧美婷婷| 色色激情五月天| 天天色天天| 玖玖婷婷免费| 99热视精品| 激情综合五月天| 欧美操人| 激情婷婷| 五月激情婷婷六月丁香| 青草视频在线播放| 99精品网站| 国产国产乱老熟女视频网站97| 五月丁香综合啪啪| 九九热精品| 日韩啪啪视频| 日日干天天爽| 五月丁香六月日逼| 色五月丁香com| 亚洲第一色色色色| 亚洲宗合激情| 99精品视频免费| 久久3级片| 色综合色色色色色| 久热精品9999| 久久色9| 五月丁香趴趴| www婷婷| 大香蕉网站,大香蕉综合| 99熟女啪啪视频| 大香蕉欧美在线| 六月色婷婷| 婷婷五月天网址| 激情第四色| 色婷久| 大香蕉婷婷久久| 九九热精品99| 婷婷色中文字幕| 欧洲亚洲免费视频9| 在线另类视频| 伊人丁香六月婷婷| 影音 五月 婷婷 久久| 五月婷婷之美女图片| 激情电影五月婷婷| 最新色色五月天| 丁香六月婷婷综合激情欧美| 人妻少妇色综合| 99热这里只有精品10| 青青草视频免费观看| 森林影视大全,最好看的2019年视频| 五月婷婷色白丝| 逼里香不卡| 91主播在线| 这里精品| 97干在线视频| av网站不卡在线| 99热这里只有免费精品| 亚洲xx网| 亚洲中文乱字字幕在线永久| 五月丁香花激情综合网| 综合九九久久| 色色色com| 天天舔天天摸天天射| 日韩不卡123| 色五月丁香五月天| 激情综合网络插| 伊人香大香蕉视频| 97色色色色色| 一级性爱视频| 第2色五月婷| 婷婷丁香六月天激情四射网| 99久久综合| 五月天婷婷在线啪啪视频| 国产av天天插天天操天天爽| Caoub青青超碰| 久久久99免费视频| 思思re视频在线| 婷婷五月色惰| 天天日天天久久青青| 久热这里只有| 亚洲色综久久五月| 婷婷五月激情四月综合| 99燥99日| 99热这里只有精品5| 日本激情五月| 天天综合久久| 97在线视频人妻九色| XX色综合| 亚洲五月婷| 九九这里都是精品| 色五月婷婷开心| 婷婷五月综合色拍| tingtingseav| 国产XXXX搡XXXXX搡麻豆| 丁香五月天综合| 日韩一级一片内射视频4K| 美国十月色婷婷在线观看| 国产激情视频在线观看| 婷五月天| 亚洲综合五月天婷婷| 丁香五月六月综合激情| 视频这里只有精品16| 五月开心久久| 久久国产AV| 亚洲精品国产熟女久久久| 丁香色成人| 欧美综合在线五月天色婷婷| wuyuedingxiang99| 大香网伊人久久综合| H亚洲| 四色99久久| 色五月成人网| 五月丁香婷婷婷婷综合网| 99久在线观看| 天天透天天干| 五月天堂六月丁香亚州中文字幕久久| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲国产色婷婷| 婷婷伊人五月丁香天堂网| 国产精品人人做人人爽人人添 | 丁香五月天激情婷婷丁香六月| 日本一级大片| 亚洲成人中文字幕| 亚洲成人综合在线| 超碰狠狠操| 99热这里只有精品22| 丁香香五月激情免费视频| XX久久| 国产av天天插天天操天天爽| 国产特级毛片AAAAAAA高清| 玖玖色综合网| 91精品久久久久久77777| 月婷婷婷婷五月| 人人操操97| 国产精品第一国产精品| 婷婷五月天福利| 五月丁香综合激情| 777色色色| 超碰二区| 亚洲日日操| 少妇人妻人伦A片| 99热在线精品观看| 色久综合| 久久久97| 欧美日韩91| 97色久| 五月天社区婷婷丁香社区| 婷婷俺去也| 婷婷激情视频欧美视频自拍视频欧美剧| 五月天社区狠狠| 99精品偷自拍| 超碰成人黄色网| 日本一级黄色片。| 91在线人| 丁香久月婷| 婷婷五月天情色| 狠狠99| 99超级碰碰| 99干视频| 日韩狠狠色婷婷| 亚洲性受XXXX五月丁香| 五月综合777| α久久| 伊人网色婷婷五月天| 日本不卡五月婷婷丁香| 操骚货在线| 五月丁香婷婷色色色| 99视频在线播放大全| 第四色激情网| 久久综合久色欧美综合狠狠| 去色色五月天| 亚洲婷婷激情综合激情999精品| 激情网婷婷婷| A1片久久久| 亚洲成人av在线播放| www.开心激情| 亚洲激情五月婷婷日日| 久久婷婷桃花五月天| 91精品久| 综合色五月天| 亚洲五月天伊人| 亚洲字幕AV一区二区三区四区| 久久丁香五月婷| 亚洲婷婷免费| 丁香五月伊人| 久久日婷婷| 一起草无码| 99er这里只有精品视频| 人人人人人人人草| 91超级碰碰| 亚洲精品国产熟女久久久| 色另类五月天| 五月丁香综合啪啪対白| 久久婷婷人人| 丁香五月激情啪啪| 日本一级大片| 九九这里有精品视频| SS丁香五月婷婷| 97色色综合| www九九热| 日韩人妻在线播放| 26UUU一区二区| 噜噜噜久久亚洲精品国产品91| 超碰色综合| 久久婷婷视频| 五月天婷婷激情网| 亚洲婷婷丁香五月视频| 精品成人久久久久久久_一二三四视| 国产69久久久欧美黑人A片| 五月天综合久久丁香91| 伊人AV五月婷| 51精品国自产在线| 久热这里这里有精品| 另类激情五月在线视频欧美| 另类婷婷五月天啪帕帕| 天天婷婷天天| 婷婷丁香18| 99热热热国产超碰| 免费观看欧美成人AA片爱我多深 | 九九热超碰| 色色色在线观看| 日本五月视频| 亚洲经典三级| 丁香五月在线视频| www.夜夜操| 9l视频自拍9l视频自拍九色学生| 色综合激情| 丁香五月婷婷六月丁香| 久久九九热re6这里有精品| 第2色五月婷| 综激情网| 丁香九色不卡aaa| 国产成人精品一区二三区熟女在线| 五月婷婷www| 五月亭亭激情综合| 狠狠操狠狠插| 五月婷婷高清| 激情五月婷婷| 欧洲激情网站| 色5月婷婷| 色色丁香五月天| 久久九⑨| 日韩视频99| 蜜乳久AV| 丁香婷婷在线| 色婷婷狠狠禁久久| 色噜噜婷婷| 丁香婷婷欧美综合| 激情婷婷五月天在线观看| 91蜜桃婷婷狠狠久久综合9色| 综合色色婷婷| 欧美美女视频| 淫视馆AV在线| 日韩啪| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 79成人网| 先锋影音男人的天堂AV| 天天久| 丁香97综合| 婷婷五月色天| 美欧日韩国产成人在战| 婷婷婷婷色| 啪啪啪大香蕉| 99国产精品久久久久久久久久久| 丁香五月丁香伊人| 婷婷激情五月天激情小说| 色播五月婷婷五月| 区美毛片子| 婷婷五月色| 99re在线视频精品,这里只有精品18,| 婷婷丁香六月天| 亚洲综合网激情五月天| 思思热99er| 天天干夜夜想| 九月激情网| 另类激情中文| 婷婷五月天第四色| 五月婷婷九九热| 天天射美女| 五月激情日本在线| 九九精品丁香花| 色播五月婷婷| 97成人丁香婷婷| 久久久国产精品黄毛片| 99这里| 美女黄频aⅴ视频| 九九成人| 天天激情| 九九九九国产| 大香蕉 婷婷| 色 色 色综合com| 操逼视频一区| 国产黄色在线| 亚洲午夜一区二区| 思思99精品视频在线观看| http://www.com久久久精品一区| 天天爽天天干| 人人爱天天摸摸天天爱| 婷婷激情五月天小说| 欧美人妻一区二区| 婷婷丁香色情| 99视频内射三四| 99热个人在线| 婷婷少妇激情| 99热这里只有精品50| 亚洲成片在线观看| 九九碰九九爱97| 色女伊人| 丁香六月AV| 99操不停| 一起草av| 98色花堂98t.R| 9999热精品在线免费播放 | 婷婷五月情色| www.五月婷婷| 国产综合丁香五月天| 精品乱码久久久久| 丁婷婷五月天在线播放| 一区二区中文字幕| 激情啪啪五月| 曰韩五月丁香色婷婷无码| 久久婷婷色综合| 天天色天天噜| 国产99美少妇| 日本97在线视频| 丁香五月花| 996er热| 婷婷色五月情| 色情五月丁香婷婷网| 69人妻人人澡人人爽久久| 久久久人妻| 成人网站免费在线播放| 天天插AV丝袜中| 七七九九色色| 色五月天激情| www.五月丁香| 天啪天啪天啪天啪| www.9操| 五月色婷婷综合| 丁香五月婷婷视频| 婷婷视频在线| 99色热综合| 婷婷在线播放av| 激情 婷婷| 新激情五月天| 国产伦理精品高清在线观看网站一区二区 | 色婷婷综合久久久久| 奇米四色五月天| 色狠狠色噜噜AV天堂五区| 精品人人操| rr天天操| 丁香色婷婷| 九月婷婷| 96精品久久久久久久久| 日韩av网站在线观看| 爱iii做iiii日| 99网| 欧美 日韩 人妻 高清 中文| 狠狠色综合网| 亚洲综合激情五月久久| 久色| 久久婷婷五月综合| 五月丁香啪啪啪| 亚洲五月天激情| 99超级碰免费视频| 五月激情影视| 激情视频网址| 中文字幕黄色片| 日本五月婷婷| 久草热在线视频| 久色网| av中文在线| 狼人久草| 中文av网站| 这里只有精品视频99| 九九亚洲视频| 九九成人| 天天久久狠狠色综合| 久久婷婷五月综合啪| tingtingseav| 丝雨一区二区| 天天射色五月天| 五月丁香综合中文| 久草五月| 激情综合青草| 婷婷 激情 五月| 26UUU亚洲欧美| 99色热视频| 99热这里只有精品33| www,五月丁,com| 五月色精品| 天天撸天天干天天插| 涩涩涩五月天| 伊久久婷婷| 亚洲av免费在线| 九九热精品| 久久9视频| 欧美叉叉叉BBB网站| 国产av天天插天天操天天爽| 国产综合丁香五月天| 在线超碰91| 亚洲天堂爱爱| 激情深爱婷婷网| 日本人妻伦在线中文字幕| 午夜成人片400| 国产成人综合电影| 亚洲一级AV在线免费播放| WWW.久久久久久久| 精品网站99| 丁香五月亚洲天堂| 狼友超碰| 99精品视频在线观看| 五月停视频天堂| 日韩操女| 亚洲 日韩色色| 久久婷婷色五月| 激情图片久久| 国产FREESEXVIDEOS性中国| 97超级啪啪在线观看| 国产免费一区二区三州老师F1F1……| 色情五月综合婷婷| 婷婷五月天亚洲综合网| www.婷婷,com| 国产肥白大熟妇BBBB视频| www.9色色色| 成人精品在线| 久久久久久丁香五月| 久久精品99久久久久久| 777精品久无码人妻蜜桃| 久久99jiu9| 国产一级片| 99热精这里只有精品| 丁香五月天电影| 亚洲精品亚洲人成人网| 久色大香蕉| 久久久18| 婷婷六月啪啪| 午夜少妇在线观看视频| 日本人人干| 激情合网婷婷| 五月天久久婷婷| 亚洲操女| 色色影院aaaav| 婷婷五月天激情小说| 性无码专区无码| 狠狠色丁香久久| 婷婷之六月丁香| 五月婷在线| 大香蕉在线观看9| 伊人五月天日日夜夜久久久天天| 色五婷婷在线视频| 色啪久 | 天天日夜夜爽| 九九综合网色全集 | 啪啪黄页网| 狠狠操.COM| 激情五月天婷婷丁香| 免费在线a| 丁香婷婷六月天| 色婷婷电影网| 先锋资源婷婷| 日日夜夜爽| 国产精品18久久久| 99精品国产在热久久| 可以看的av网站| 国产婷伊人| 丁香六月AV| 色婷婷久久久| 五月丁香亭亭| 中文字幕不卡网站| 激情的五月| 天天精品视频免费观看| 日本久久爽| 99综合视频| 人人操超碰| 五月天色五月天| 婷婷五月天久久| 日本美女上人| 国产又色又爽又黄又免费| 91超级碰| 超级碰碰91| 夜夜骑夜夜操| 久久九九一區| 开心五月深爱婷婷| 丝雨一区二区| 五月婷婷福利| 久久受www免费人成| 五月综合在线婷婷图片| 国自产拍偷拍精品啪啪一区二区| 五月天六月丁香| 婷婷五月丁香六月| 五月丁香久久精品在线观看| 五月丁香六月婷婷久久| 成人精品在线| 天天天天操| 丁香五月天在线观看视频| 五月色综合| 91九九| 久久激情五月婷婷| 五月婷婷五月丁香综合| 综合色久| 五月天开心色情网| 丁香五月天久久| 日撸夜撸日操| 狠狠狠狠青草| 日本3级片一区2区| 97人人操在线| 97干在线视频| 婷婷五月天激情视频| 欧美性色视频| 99色| 国产在线中文字幕| 五月婷婷深深爱| 干亚洲天堂| 荫道BBWBBB高潮潮喷| 五月丁香六月停停| 99久久高清视频| 天天操天天插| 91蜜桃婷婷狠狠久久综合9色| 色色色色色色色色综合网| 色婷婷五月天激情| 97亚洲视频在线| 天天综合网亚洲网站| 在线91日韩| 91人操| 久久机热这里只有精品免费视频| 极品人妻VIDEOSSS人妻| 亚洲AV激情五月综合网| 99久久玖玖| 99热第一页| 人妻精品在线| 天天日夜夜高潮| 丁香,开心成人,久久| 五月婷婷五月天激情网| www久久久久久久97| 99激情| 99.色| 色五月婷婷AV| 激情网五月天| 夜夜爽77777妓女免费下载| 色五月色情| 182TV大香蕉| 只有精品视频在线观看| 国产欧美熟妇另类久久久| 99久久婷婷五月天| 六月婷久久| 五月天开心网| 亚洲五月天婷婷| 五月天丁香六月综合| a性生活久久无| 性视频久久| 丁香五月久久综合| 99热播放| 五月激情综合网婷婷| 婷婷九月亚洲| 99性感视频| 五月婷婷99热| 91在线资源| www.久久爱| 婷婷五月深深爱| 伊人激情啪啪| 亚洲啪啪自拍| 久久丁香| 超碰97干| 久久免费视频62| 五月开心婷婷极品激情| 国产色香蕉精品五夜婷| 激情六月天| 婷婷色婷婷| 熟女五月天久久综合| 色婷婷久久综合久色综| 老司机视频lsj爱就色| 玖玖热视频| 亚洲综合五月| 99热这里只是精品| 另类色视频| 人人操人人爽成人AV| 黄急一级视频| 亚洲综合另类| 五月天开心色情网| 51avj视频大全| 日韩黄黄| 99热九九这里只有精品| 九九大香蕉黄色影院| 碰碰碰97国产| 热这里只有精| 97色永久免费视频| 一区二区aV电影免费看| 六月成人网| 玖玖资源在线视频| 久久丝袜婷婷| 久久久久人妻网址| 丁香五月婷在线| 色情丁香五月天| 九九av| 九九热10| 色色色色色五月丁香| 墨西哥毛片内射精| seuuu婷婷| 任你艹| 尔尔AV一区| www婷婷| 九月婷婷激情| 丁香五月影院| 婷婷久久丁香| 丁香六月情| 亚洲成人噜噜| 日日夜夜小色哥| 久久婷婷亚洲五月天| 6月丁香婷婷激情| 国产亚洲色婷婷99精品| 91久久久久久| 99久久九九| 五月丁香婷中文| 人妻AV在线观看| 五月丁香婷草| 亚洲乱码在线观看| 五月婷婷与六月丁香图片激情| 伊人色综合久久久| aaa久久| 五月天色五月| 色婷婷天堂| 国产免费一区二区三区三州老师F1F1.CC| 思思热精品在线| 色婷婷五月天偷拍| 色五月成人| 丁香五月欧美色综合| 熟女网站久久| 九九99久久| 久久性爱视频网站| 99热9| 久久久99精品免费观看| 丁香性爱在线视频| 婷婷五月激情在线| 婷婷五月天丁香成人社区| 欧美婷婷精品激| 91凹凸在线| 久婷五月| 青青热久精品视频在线观看| 婷婷五月天激情小说网站| 九色视频这里只有精品| 激情网五月婷婷| 欧美成人网99网| 99啪啪网| 99色热| 免费视频WWW在线观看网站| 婷婷丁香18| 第1影院之五月婷婷| 欧美日韩国产一区| 久久这里都是精品免费| www.狠狠狠狠| 色五月第四色| 狠狠狠狠狠狠色| 久久婷婷五月综合| 成人婷婷色综合| 综合精品99| 成人午夜无码视频| 丁香婷五月天| 五月丁香六月激情欧美综合| 另类精品视频在线观看| 91五月天| 97超喷视频在线观看| 92国产福利| 月月AV| 狠狠干伊人| 神马欧美精| 天天操婷婷| 成人五月天综合网| 色婷婷久久综| 久久er九九| 五月丁香六月激情欧美综合| 五月香婷婷| AV在线不卡播放| 97五月婷婷| 丁香五月天激情五月天激情五月天激情网| 婷婷丁香激情五月天色色| 超碰99资源站| 中文幕无线码中文字蜜桃| 亚州第一A片| 99免费成人网| 色在线视频网2025| 天天日天天干天天操| 人人操人人妻| 午夜婷婷| 五月丁香六月婷婷综合网站| 五月激情婷婷丁香| 久久一伦| 狠狠色丁婷婷日日,伊人激情综合网 | 中文字幕,综合,91| 日本五月丁香| 丁香五月婷婷亚洲色图| 国产精品久久久久久久久久免费| 99久久97久久欧美综合网| 国产裸舞福利资源在线视频| 六月色婷婷| 丁香婷婷天堂| 婷婷中文字幕| 亚洲亚洲人成综合网络| 伊人久久婷| 极骚大香蕉伊人| 婷婷精品在线| 日韩色五月| 女人高潮内射99精品| 日韩av手机在线观看| 久久人妻精品| 色色色色区| 夜夜夜夜做天天天做无码视频| 成人网站免费在线播放| 国产精品男人AV不卡| 综合97五月| 激情丁香五月| 婷婷丁香精品视频在线观看| 99热精品少| 丁香花五月天激情| 久久网址99热| 操丝袜视频影院导航| 播播网色播播| 影视av久久久噜噜噜噜噜三级| 色综合天天天天做夜夜| 亚洲精品国产熟女久久久| www.色综合| 伊人玖玖婷婷| 久热天堂| 天天舔日日肏夜夜爽| 国产亚洲精品久久久久久豆腐| 丁香婷婷五月天激情四射| 99热6精品| 99色在线观看视频者| 高清无码 一区 二区 三区| 欧美日韩一区二区三区四区| 久久婷婷内射| 97色色色| 婷婷五月综合免费在线| 丁香六月成人网| 精品夜夜澡人妻无码AV| 婷婷偷拍网| 91热99| 欧美三日本三级少妇三99| 99精品综合视频| 国产婷婷五月| 九九热只有精品| 色婷婷yy久| 五月丁香青草综合啪啪| 国产AV一区二区三区最新精品| 婷婷久久午夜网| 婷婷色五月天在线| 成人视频一区| 久久综合爱| 日韩成人中文字幕| 网色99| 色啪影院| 狠狠爱综合网| 日日干五月天婷婷| 婷婷五月情| 思思热国产视频| 久久思思热| 丁香五月天激情婷婷丁香六月| 久久机热/这里只有精品| 超碰狠狠操| 深爱五月激情五月| bbwcuckold精品熟妇| 香蕉久久国产AV一区二区| 欧美五月丁香啪啪响视频| av人人干| caopeng超碰| 色色99| 啪啪啪五月天| 岛国AAAV| 婷婷午夜天| 激情亚洲婷婷| 99热亚洲精品| 色久婷婷网| 97久久婷婷色| 尔尔AV一区| 亚洲色图45p| 五月丁香大香蕉| 夜夜骑日日操| 东京热五月婷婷| 狠狠草在线观看| 五月色丁香| 久久精品性爱| 六月丁香婷婷开心综合基地| 欧美久久久中文字幕| 五月天激情丁香| 99免费热视频在线| 亚洲中文字幕av| 中出内射的人妻视频| 婷婷久久婷婷| 大香蕉九九| 好吊丝aV| 99热99草97| 亚洲九区| 婷婷丁香一月| 亚洲精品成人片在线播| 五月婷婷啪啪| 婷婷久久六月费| 色色色色色综合| 日本高清久久| 热久久国产视频| 射琪琪| 五月丁香啪| 久久这里有精品视频在线免费观看| AV在线收看| 激情五月天 婷婷| 婷婷射图五月天| 麻豆雪千夏| 丁香五月婷婷五月| 丁香婷婷五月| 久久婷婷成人视频| 狠狠色综合久久久久| 天天射美女| 思思99热这里只有精品6| 草榴视频网| 成人精品一区日本无码网| 99在线精品免费视频| 婷婷丁香成人| 五月婷婷婷色| 99热精品无码| 久久婷婷六月综合综合色| 噜噜狠狠| 婷婷五月丁香人妻无码高清| 久久久久这里只有精品| 99九九精品| 色婷婷成人丁香| 丁香花成人区| 亚洲12p| 色婷视频| 久久亚洲激情五码| 色偷偷狠狠| 婷婷永久在线| 97超喷视频在线观看| 天天插天天爽| 九九热在线观看视频| 九月婷婷综合八月丁香在线观看| 伊人大香蕉在线视频| 国产av天堂| 亚洲精品影视| 天天操天天草天天草天天| 丁香五月婷婷深五月| www.com色播五月天| 精品一二三区久久AAA片| 婷婷综合五月天| 丁香五月婷婷骚视屏| 久久色频| 五月丁香六月婷婷久久肏| 色青青电影色五月| 色婷婷激情| 操逼视频一区| 色五月女| 久久视频九九视频| 色狠狠激情五月| 色色色地址| 五月婷久久综合| 99网| 天天爽天天| 色综合久久综合中文综合网| 色停停五月天| 开心五月婷婷在线视频免费观看| 婷婷精品视频| 97干在线观看视频| 韩国天天婷婷| 大伊久久| 天天日人人| 婷婷五月天播| 色婷婷基地| 色婷婷先锋| 麻豆精品| 九九中文色色| 人人摸人人操人人爱| 夜夜操狠狠操| 99热这里只有精品在线| 婷婷精品在线| 五月天婷婷免费| 青青草原伊人网| 丁香六月婷婷综合缴| 婷婷噜噜| 久久色这里只有精品| 色宗合久久五月婷婷| 激情5月婷婷狠狠干| 天天操夜夜啊| www久久99com| 五月丁香六月激情综合网| 天天射美女| 综合激情在线视频| 中文字幕,综合,91| 91综合在线视频| 高清国产AV| 任你日热视频| 看全色黄大色大片| 热99在线精品| 久久精品91视频| www一起操| 综合久久高清| 丁香婷婷基地| 99自拍视频| 性爱网久久| 热热久久精品视频| 翔田千里aV中文字幕| 色综合xx| 丁香六月爱综合| 五月婷婷六月婷| 啄木鸟丝袜美女福利视频| 99色亚洲| 狠狠色噜噜狠狠| www.99热视频| 思思久久精品| 思思热在线视频精品| 国产特级毛片AAAAAAA高清| 国产做爰视频免费播放| 婷婷丁香成人色综合| 色婷婷啪啪综合网| 国产精品人妻在线网址| 91AV婷婷| 欧美99| 六月米奇色综合| 五月丁香色婷| 日本婷婷色日| 色噜噜狠狠色综合网| 婷婷在线免费| 五月婷婷色| 91麻豆国产三级精品福利在线观看| 成人国产网| 五月天婷婷社区久久综合| 丁香五月色色| 五月丁香婷婷AV天堂| 五月婷婷啪啪网| 26uuu国产| 狠狠做深爱婷婷久久综合一区| 五月天婷婷久久| 欧美A片在线视频免费观看| 97成人超碰免| 久久丁香五月天| 99热日本| 欧洲激情精品婷婷| 激情婷婷色色| 欧美成人精品A片免费一区99| 成人性生活免费观看。| 亚洲综合另类| 99热99在线| 五月综合缴情网| 91成人电影| 精品夜夜澡人妻无码AV| 五月婷久久综合| 色婷婷操逼| 69激情小说| 欧美色97| 中文字幕按摩做爰| 国内久久久精品99| 色天天综合天天综合频道。 | 丁香激情综合| 91久久五月天| 激情综合五月色在线| 色久天| 天天做天天爽| 51精品国内探花| 久久ww| 99热这里只有精品最新地址获取| 五月停停大香蕉| 色婷婷五月影院| 成人电影丁香六月天| 色逼综合网| 九艹在线| 狠狠操狠狠狠| 操操国产| 伊人婷婷福利网| 婷婷中文字幕| 欧洲第一久色| 久cao香蕉影院| 开心五月婷婷在线| 九色综合网| 亚洲色色色色| 8050一级网| 久久久久人妻中文| 婷婷五月天综合久久日美女| 婷婷五月天六月| 婷婷色狠狠| 婷婷五月天中文字幕| 99资源人人| 涩五月婷婷| cc精品国产性传播| 亚洲韩国日产综合AV| 六月丁香成人网| 99国产欧美视频| 丁香五月天婷婷中文字幕| 91在线视频综合| 婷婷综合视频| 97碰碰人人| 激情图片五月天| 色黑鬼导航| 热91久| 婷婷五月天免费视频在线观看| 久久99大| 五月婷婷在线视频| 26.uuu丁香五月婷婷| 天天搡日日搡aaaaⅩ| 天天艹天天综合网| 1000部毛片A片免费观看| 丁香五月婷婷精品视频| 九热网站| 天天爽夜爽| 96精品久久久久久久久| 五月天激情国产综合婷婷| 色色99色色| 5月丁香美女影院| 色导航色婷婷五月天在线观看| 91疯狂操操操操| 大香蕉520| 精品,99| 啪啪激情综合| 97碰免费视频在线| 97干婷婷五月天| Aaa久久| 国产欧洲欧洲精品久久| 亚洲色图五月丁香| www.色五月| 五月婷色丁香| www.久操| 丁香五月人妻| 99亚洲色| 小色小蛇伊人婷婷色香五月| 99热91| 99秘 在线| 影音先锋偷偷色男人站| 亚洲中文字幕网| 久久久婷丁香五月| 2005天天干天天1| www九九热| 天天艹天天色| 久久人五月| 亚洲视频99| 婷婷丁香激情五月天色色| 久久久久久久久久久97| 天天做天天爱天天爽综合网| 久久色吧| 九九碰九九爱97| 天天日夜夜草进麻麻的子宫| 色色色9 9 9| 天天干,夜夜爽| 日本五月天一页| 久99热| www.ywav| 五月丁香综合啪啪| 色 五月婷婷基地| 久久新| 国产精品成人AV在线观看春天| 六月婷婷中文字幕| 婷婷五月在线综合| 色婷婷91激情小说| 1024日韩| 夜丁香五月婷婷| 99热日本| 久久久久久婷| 五月婷婷激情久久| 99成人免费视频| 五月婷婷六月丁香| 好叼操在线观看| 99热精品在线观看| 婷婷五月视频| 性爱先锋AV| 69久热| 五月婷色| 色色色色色色色色色色色色色97| 婷丁香五月天| 欧美啪啪9| 婷婷丁香成人色综合| 婷婷色播婷婷| 五月婷婷丁香在线| 第四色色六月色综合| 蜜桃婷婷狠狠久久综合| 桃色五月天| 色噜噜狠狠色综合网| 狠狠五月天婷婷激情网。| 91日本在线| 五月久久| 国产乱妇无乱码大黄AA片| 五月丁香无码| 色婷婷五月天不卡| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 亚洲色爽| 久久婷婷五月天激情四射| 激情综合色婷婷啪啪五月天| 超碰av在线| 久久美女五月天| 丁香婷婷五月六月天| 色婷婷AAA| 久久国产高清| 1024操逼| 99色综合| 99热国内精品| 色婷婷综合视频| 26uuu国产精品| 六月丁香花婷婷| av激情在线| 黄色短视频在线观看| 夜夜穞天天穞狠狠穞AV美女按摩| 97在线视频人妻九色| 综合激情五月天六月婷免费视频| 欧美日韓成人亚洲精品另类| 成人 在线 日韩| 久久91久久91色欲精品| 91人人妻人人操人人爽| 精品人妻午夜一区二区三区四区| XX色综合|