欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

算法與infra協(xié)同實(shí)戰(zhàn):從模型部署到推理性能優(yōu)化的完整指南

算法與infra協(xié)同實(shí)戰(zhàn):從模型部署到推理性能優(yōu)化的完整指南 模型在本地調(diào)得再漂亮上了線(xiàn)才發(fā)現(xiàn)GPU利用率不到30%接口P99延遲飄到幾百毫秒算法同學(xué)說(shuō)“我代碼沒(méi)問(wèn)題”infra同學(xué)說(shuō)“我資源也沒(méi)問(wèn)題”兩邊對(duì)著一個(gè)黑盒互相甩鍋——這種場(chǎng)面我在不止一個(gè)團(tuán)隊(duì)里見(jiàn)過(guò)。算法和infra的協(xié)同聽(tīng)起來(lái)是個(gè)工程管理話(huà)題實(shí)際操作起來(lái)全是技術(shù)細(xì)節(jié)推理框架怎么選、batch size怎么定、數(shù)據(jù)管道怎么設(shè)計(jì)、profile的結(jié)果怎么解讀。這篇東西不聊虛的把我自己在一線(xiàn)做“算法-infra協(xié)同”的踩坑經(jīng)驗(yàn)、設(shè)計(jì)思路和排查方法整成一份可復(fù)用的參考給正在被模型部署和性能調(diào)優(yōu)折磨的算法工程師、以及被各種“優(yōu)化需求”打擾的infra工程師都做個(gè)參照。我前幾年主導(dǎo)過(guò)一個(gè)推薦模型的推理服務(wù)優(yōu)化項(xiàng)目從最開(kāi)始的兩邊互相看不懂到后面沉淀出一套配合模式中間的過(guò)程很能說(shuō)明問(wèn)題。下面按我自己的實(shí)踐路徑把整個(gè)協(xié)同過(guò)程拆開(kāi)講。1. 為什么“算法-infra協(xié)同”成了必須面對(duì)的問(wèn)題1.1 算法模型跑通只是第一步上線(xiàn)才是真正的門(mén)檻很多算法團(tuán)隊(duì)習(xí)慣的交付狀態(tài)是模型在離線(xiàn)評(píng)測(cè)集上指標(biāo)達(dá)標(biāo)然后在Jupyter Notebook里跑通一個(gè)推理demo就認(rèn)為“算法已經(jīng)完成”。但實(shí)際情況是從Notebook到生產(chǎn)服務(wù)之間有一道巨大的鴻溝這道鴻溝幾乎全是infra的領(lǐng)域。拿我自己踩過(guò)的坑來(lái)說(shuō)。有一次我們訓(xùn)練好的CTR模型離線(xiàn)AUC比舊模型高了三個(gè)千分點(diǎn)算法同學(xué)很開(kāi)心覺(jué)得這個(gè)版本穩(wěn)了。但一到線(xiàn)上壓測(cè)就傻眼了單機(jī)QPS只有預(yù)期的四分之一P99延遲超過(guò)500毫秒線(xiàn)上流量稍微一抖服務(wù)直接超時(shí)雪崩。那時(shí)候算法和infra互相都覺(jué)得是對(duì)方的問(wèn)題。算法覺(jué)得“模型邏輯就這么簡(jiǎn)單無(wú)非就是個(gè)矩陣乘法加激活函數(shù)怎么可能這么慢”infra覺(jué)得“機(jī)器配置給夠了是你模型代碼寫(xiě)得爛”。后來(lái)profile一查問(wèn)題根本不在模型計(jì)算本身特征拼接時(shí)反復(fù)做內(nèi)存拷貝、Python側(cè)循環(huán)處理請(qǐng)求、每個(gè)請(qǐng)求都重新加載一次詞表這些代碼層面的問(wèn)題全被忽略了。模型本身可能只占整個(gè)推理鏈路的20%時(shí)間剩下80%都被數(shù)據(jù)處理、框架調(diào)度、IO等待吃掉了。這件事給我的教訓(xùn)是算法模型的“正確性”和系統(tǒng)的“可用性”是兩回事。算法同學(xué)的交付物不應(yīng)該只是模型權(quán)重還應(yīng)該包含對(duì)推理鏈路的整體理解以及和infra一起把系統(tǒng)調(diào)優(yōu)到可用的狀態(tài)的意愿。1.2 協(xié)同斷點(diǎn)到底卡在哪里要說(shuō)算法和infra的協(xié)同難難就難在兩邊的心智模型不一樣。我觀察下來(lái)斷點(diǎn)主要集中在這幾個(gè)地方。第一個(gè)斷點(diǎn)是語(yǔ)言不通。算法同學(xué)張口閉口是“AUC”、“l(fā)oss收斂”、“Embedding維度”infra同學(xué)關(guān)心的是“QPS”、“P99時(shí)延”、“CPU水位”、“內(nèi)存占用”。兩邊都在說(shuō)性能但說(shuō)的根本不是一回事。算法眼里的“性能”是模型效果指標(biāo)infra眼里的“性能”是系統(tǒng)資源指標(biāo)中間缺一個(gè)翻譯層。第二個(gè)斷點(diǎn)是交付物邊界不清。算法覺(jué)得“我把模型文件發(fā)給你就行了”infra覺(jué)得“你給我的模型我跑不起來(lái)”。模型用什么框架導(dǎo)出、有沒(méi)有帶預(yù)處理邏輯、依賴(lài)的Python包版本、詞表文件在哪、特征維度是多少這些信息如果不掉清楚infra同學(xué)就得靠猜。猜的代價(jià)就是反復(fù)試錯(cuò)時(shí)間全耗在溝通上。第三個(gè)斷點(diǎn)是資源評(píng)估全靠拍腦袋。算法說(shuō)“給我4張A100”問(wèn)他要4張卡的理由他說(shuō)“可能不夠多要點(diǎn)保險(xiǎn)”。infra那邊資源池本來(lái)就不寬裕一看這種申請(qǐng)直接打回。其實(shí)完全可以做精細(xì)化評(píng)估跑一下profile看顯存峰值和計(jì)算密度再用公式估算一下吞吐需求有理有據(jù)地填申請(qǐng)單。第四個(gè)斷點(diǎn)是性能問(wèn)題定位的方式不對(duì)。我見(jiàn)過(guò)有團(tuán)隊(duì)遇到線(xiàn)上延遲高第一反應(yīng)是“加機(jī)器”結(jié)果加了兩倍的機(jī)器延遲一點(diǎn)沒(méi)降因?yàn)槠款i在CPU上的數(shù)據(jù)預(yù)處理不在GPU推理。按加機(jī)器來(lái)擴(kuò)容完全擴(kuò)錯(cuò)了方向。這些斷點(diǎn)單獨(dú)看都是小事但疊在一起就會(huì)形成巨大的協(xié)作成本。我后來(lái)總結(jié)了一個(gè)觀點(diǎn)算法和infra的協(xié)同本質(zhì)上是要找到一種方式把彼此的領(lǐng)域知識(shí)翻譯成對(duì)方能理解的語(yǔ)言比如用可量化的指標(biāo)、標(biāo)準(zhǔn)的交付格式、清晰的流程節(jié)點(diǎn)把這些知識(shí)編碼下來(lái)。2. 我在協(xié)同項(xiàng)目里的整體設(shè)計(jì)思路2.1 從“交付模型”轉(zhuǎn)向“交付服務(wù)”這個(gè)轉(zhuǎn)變是我做協(xié)同優(yōu)化時(shí)第一個(gè)確立的原則。如果算法團(tuán)隊(duì)的交付物只是模型文件那infra團(tuán)隊(duì)的職責(zé)就成了“把模型跑起來(lái)”至于跑得好不好、快不快全是infra的事算法自然就不關(guān)心推理性能。這樣分工從根上就有問(wèn)題因?yàn)橥评硇阅艿暮艽笠徊糠秩Q于模型結(jié)構(gòu)、算子實(shí)現(xiàn)和特征處理方式這些都在算法團(tuán)隊(duì)的控制范圍內(nèi)。正確的做法是把交付邊界往后推算法團(tuán)隊(duì)交付的不只是模型文件還包括一套推理服務(wù)的可運(yùn)行版本。這套版本要有明確的性能指標(biāo)要求比如目標(biāo)QPS、目標(biāo)延遲、吞吐上限并且要附帶模型對(duì)資源需求的估算說(shuō)明比如建議的batch size范圍、顯存占用預(yù)估、CPU內(nèi)存需求。infra團(tuán)隊(duì)基于這套交付物做容量規(guī)劃和部署調(diào)優(yōu)雙方的責(zé)任邊界從“模型文件”移動(dòng)到了“性能指標(biāo)”。你說(shuō)這不是算法團(tuán)隊(duì)得多干不少活嗎確實(shí)多了但這種“多”是必要的。因?yàn)橹挥袑?xiě)模型的團(tuán)隊(duì)才最清楚模型的計(jì)算圖、內(nèi)存占用和算子特性這些信息轉(zhuǎn)述給infra要么失真要么說(shuō)不全。把性能要求寫(xiě)進(jìn)交付規(guī)范雙方對(duì)話(huà)就有了共同基準(zhǔn)。2.2 接口規(guī)范化讓算法和infra解耦的關(guān)鍵第二個(gè)原則是接口規(guī)范化。我之前出現(xiàn)過(guò)不少讓人崩潰的協(xié)作問(wèn)題算法同學(xué)說(shuō)“這個(gè)實(shí)現(xiàn)依賴(lài)Python 3.8的一個(gè)特性”infra同學(xué)部署的生產(chǎn)環(huán)境是Python 3.7直接跑不起來(lái)或者模型輸入的特征順序算法和工程端理解的不一樣上線(xiàn)之后預(yù)測(cè)結(jié)果全亂了。后來(lái)我們做了一個(gè)標(biāo)準(zhǔn)化的模型服務(wù)接口規(guī)范把模型推理的輸入輸出格式固定下來(lái)特征按有序字典傳入模型版本用語(yǔ)義化版本號(hào)管理配置信息如batch size、并發(fā)數(shù)、超時(shí)時(shí)間全部外置到配置文件里。這樣算法迭代模型時(shí)不需要改動(dòng)服務(wù)框架infra升級(jí)基礎(chǔ)設(shè)施時(shí)也不需要跟算法確認(rèn)每個(gè)細(xì)節(jié)。模型文件、特征配置、服務(wù)框架、資源規(guī)格四層各管各的通過(guò)標(biāo)準(zhǔn)化接口銜接。這個(gè)設(shè)計(jì)很像軟件工程里的依賴(lài)倒置原則高層的算法邏輯不要依賴(lài)底層的具體基礎(chǔ)設(shè)施底層基礎(chǔ)設(shè)施也不要反哺高層的模型代碼兩邊只依賴(lài)抽象接口。實(shí)踐下來(lái)這個(gè)解耦帶來(lái)的好處是兩邊可以并行推進(jìn)不再互相阻塞。2.3 用性能基線(xiàn)和透明數(shù)據(jù)建立信任第三個(gè)原則是用數(shù)據(jù)說(shuō)話(huà)建立性能基線(xiàn)。在協(xié)同項(xiàng)目里最怕的不是性能差而是性能數(shù)據(jù)不透明。算法說(shuō)“我這個(gè)模型很快”沒(méi)有任何數(shù)據(jù)支撐infra說(shuō)“服務(wù)器有瓶頸”也說(shuō)不清瓶頸在哪。最后只能靠嗓門(mén)大。我們的做法是建立一套標(biāo)準(zhǔn)的性能評(píng)測(cè)流程每次模型迭代上線(xiàn)前都要在固定的評(píng)測(cè)環(huán)境下跑一次壓測(cè)記錄吞吐量、P99時(shí)延、GPU利用率、顯存占用、CPU開(kāi)銷(xiāo)等核心指標(biāo)把這些指標(biāo)記錄到一份自動(dòng)生成的評(píng)測(cè)報(bào)告里和上一版本做對(duì)比。誰(shuí)快誰(shuí)慢、快在哪慢在哪一目了然不再有“我覺(jué)得”“我感覺(jué)”的空間。這套評(píng)測(cè)流程跑起來(lái)之后我明顯感覺(jué)到兩邊溝通順暢多了。infra說(shuō)“你的服務(wù)GPU利用率低”直接拿出監(jiān)控截圖和nvidia-smi數(shù)據(jù)算法說(shuō)“這個(gè)算子慢”直接拿出profiling報(bào)告指出熱點(diǎn)。數(shù)據(jù)代替了猜測(cè)協(xié)作自然就高效了。3. 推理服務(wù)協(xié)同優(yōu)化的實(shí)操全過(guò)程3.1 環(huán)境準(zhǔn)備階段選對(duì)工具鏈后面能省一半的麻煩這個(gè)項(xiàng)目的目標(biāo)是讓一個(gè)推薦模型的在線(xiàn)推理服務(wù)達(dá)到線(xiàn)上要求支撐2000 QPS的流量P99延遲不超過(guò)100毫秒。模型用的是DeepFM架構(gòu)特征規(guī)模大約5000萬(wàn)維稀疏特征加200維稠密特征服務(wù)于用戶(hù)點(diǎn)擊率預(yù)估場(chǎng)景。環(huán)境選型上我們做了一輪比較。模型原本是用PyTorch訓(xùn)練的原計(jì)劃直接用PyTorch做推理服務(wù)但壓測(cè)發(fā)現(xiàn)Python側(cè)的開(kāi)銷(xiāo)太高GIL讓多線(xiàn)程并發(fā)受限后來(lái)?yè)Q成了ONNX Runtime加TensorRT的后端方案。ONNX Runtime負(fù)責(zé)從PyTorch導(dǎo)出的模型做轉(zhuǎn)換和執(zhí)行TensorRT在NVIDIA GPU上做算子融合和精度校準(zhǔn)。實(shí)測(cè)下來(lái)單卡的推理吞吐比純PyTorch提升了接近3倍P99時(shí)延也降了一個(gè)數(shù)量級(jí)。工具鏈方面profile用的是PyTorch自帶的torch.profiler配合NVIDIA的Nsight Systems資源監(jiān)控用的Prometheus加Grafana部署走的是Docker加Kubernetes。這套組合的好處是覆蓋了從模型算子級(jí)別到系統(tǒng)資源級(jí)別的全鏈路觀測(cè)兩邊拿到的數(shù)據(jù)是同一套不會(huì)再出現(xiàn)“我這邊看到CPU滿(mǎn)了你那邊說(shuō)進(jìn)程很閑”這種數(shù)據(jù)對(duì)不上的情況。3.2 從單卡推理到服務(wù)化部署這一步隱藏了最多的坑模型導(dǎo)出之后第一版直接拿ONNX Runtime的Python接口做了個(gè)Wrap然后用Flask啟動(dòng)了一個(gè)HTTP服務(wù)。簡(jiǎn)單測(cè)了一下能跑通但很快就暴露了問(wèn)題Python接口的調(diào)用開(kāi)銷(xiāo)很大每次請(qǐng)求進(jìn)來(lái)都要做Python和C之間的數(shù)據(jù)交換而且不支持真正的多進(jìn)程并行推理CPU并發(fā)利用不起來(lái)。后來(lái)改成了ONNX Runtime的C部署方案配合TensorRT的engine來(lái)做推理。這一步改動(dòng)帶來(lái)的性能提升非常直接因?yàn)槭〉袅薖ython解釋器這層開(kāi)銷(xiāo)每次推理調(diào)用的延遲直接砍掉了三分之一。同時(shí)我們用內(nèi)存映射的方式預(yù)加載了模型的Embedding參數(shù)避免了每個(gè)請(qǐng)求都從磁盤(pán)讀取參數(shù)導(dǎo)致的IO抖動(dòng)。服務(wù)端的并發(fā)模型也做了一輪重構(gòu)。最初是每個(gè)請(qǐng)求一個(gè)小線(xiàn)程線(xiàn)程切換開(kāi)銷(xiāo)大后來(lái)改成了線(xiàn)程池加有界隊(duì)列的模式根據(jù)目標(biāo)QPS動(dòng)態(tài)調(diào)整worker數(shù)量配合OMP_NUM_THREADS環(huán)境變量控制底層并行度。這么改完單實(shí)例的QPS從原來(lái)的不到400提升到了接近1500CPU和GPU的使用率也均衡了很多。這里有個(gè)數(shù)據(jù)值得記錄一下同樣的模型和機(jī)器純Python部署的P99時(shí)延是180ms換成C后端之后降到了58ms再配合TensorRT的FP16精度優(yōu)化進(jìn)一步降到了35ms。這三步優(yōu)化每一步單獨(dú)拿出來(lái)看都不算大工程但疊加起來(lái)就是數(shù)量級(jí)的差別。3.3 壓測(cè)過(guò)程和瓶頸分析把一切問(wèn)題擺到明面上壓測(cè)工具用的是wrk加自研的流量回放腳本。wrk負(fù)責(zé)模擬高并發(fā)HTTP請(qǐng)求流量回放腳本則從線(xiàn)上Nginx日志抽取真實(shí)請(qǐng)求樣本按時(shí)間戳順序重放到測(cè)試服務(wù)上盡量還原線(xiàn)上請(qǐng)求的特征包括請(qǐng)求大小分布、特征稀疏度、以及峰值時(shí)刻的流量形態(tài)。壓測(cè)分為三輪。第一輪是小流量驗(yàn)證用100 QPS跑10分鐘確認(rèn)功能正確、內(nèi)存沒(méi)有泄漏、日志沒(méi)有報(bào)錯(cuò)。第二輪是加壓測(cè)試從500 QPS起步每2分鐘增加250 QPS觀察各項(xiàng)指標(biāo)的變化趨勢(shì)找到服務(wù)崩潰的臨界點(diǎn)。第三輪是持續(xù)穩(wěn)定性測(cè)試用目標(biāo)負(fù)載的80%1600 QPS連續(xù)跑8小時(shí)確認(rèn)長(zhǎng)時(shí)間運(yùn)行下沒(méi)有內(nèi)存膨脹、句柄泄漏等問(wèn)題。瓶頸分析階段我們抓到了好幾個(gè)經(jīng)典問(wèn)題。第一個(gè)是第一個(gè)版本在1000 QPS左右時(shí)P99延遲突然從60ms跳升到400ms查下來(lái)發(fā)現(xiàn)是Python側(cè)的特征預(yù)處理線(xiàn)程變成了瓶頸CPU打滿(mǎn)GPU反而在空轉(zhuǎn)。解決辦法是預(yù)處理部分全部向C側(cè)下沉用ONNX Runtime的custom operator實(shí)現(xiàn)特征拼接把CPU和GPU的工作重新配平。第二個(gè)是壓測(cè)跑到中段出現(xiàn)周期性延遲尖峰后來(lái)發(fā)現(xiàn)是日志寫(xiě)的太頻繁磁盤(pán)IO被打滿(mǎn)改成異步日志之后尖峰消失。第三個(gè)是Embedding查表在GPU上表現(xiàn)為顯存訪(fǎng)問(wèn)不連續(xù)用class-wise的存儲(chǔ)布局優(yōu)化之后這塊耗時(shí)又降了一些。這些瓶頸沒(méi)有一個(gè)能被直覺(jué)直接發(fā)現(xiàn)全靠profile數(shù)據(jù)才能定位。所以我強(qiáng)烈建議優(yōu)化性能的時(shí)候一定要先把“當(dāng)前時(shí)間花在哪兒”搞清楚再談怎么優(yōu)化千萬(wàn)不要憑感覺(jué)。4. 協(xié)同過(guò)程中必踩的坑與解決方案實(shí)錄4.1 “GPU利用率上不去”到底是誰(shuí)的鍋這是我在協(xié)同項(xiàng)目里被問(wèn)過(guò)最多的問(wèn)題也是算法和infra最容易吵架的導(dǎo)火索。很多團(tuán)隊(duì)拿“GPU利用率”作為模型服務(wù)效率的核心指標(biāo)但GPU利用率低的原因遠(yuǎn)比想象的復(fù)雜不一定是模型的錯(cuò)。我見(jiàn)過(guò)的GPU利用率低的典型原因有這么幾類(lèi)數(shù)據(jù)加載和預(yù)處理太慢GPU在等數(shù)據(jù)利用率自然上不去batch size設(shè)得太小GPU的并行能力沒(méi)有充分釋放CPU側(cè)的Python邏輯占了太多時(shí)間GPU一直在空轉(zhuǎn)模型本身有串行依賴(lài)計(jì)算圖并行度不夠。每一類(lèi)對(duì)應(yīng)的解法完全不同。定位方法說(shuō)起來(lái)很簡(jiǎn)單打開(kāi)Nsight Systems或者nvidia-smi的監(jiān)控看GPU到底是“計(jì)算密集”還是“空閑等待”。如果是等待就去看CPU側(cè)在忙什么如果是計(jì)算密集但利用率依舊低那就去看模型的計(jì)算圖是不是存在大量的串行節(jié)點(diǎn)。有一次我們排查一個(gè)BERT的服務(wù)發(fā)現(xiàn)GPU利用率一直只有20%多profile一看問(wèn)題在CPU側(cè)的分詞器上——每次請(qǐng)求都要重新做一次分詞一個(gè)毫秒級(jí)的操作在并發(fā)量大的時(shí)候被放大成了巨大的等待。改成預(yù)分詞加緩存之后GPU利用率直接翻倍。這類(lèi)問(wèn)題暴露出來(lái)以后我最大的感觸是千萬(wàn)不要把“GPU利用率低”當(dāng)作某個(gè)人的責(zé)任問(wèn)題它更接近一個(gè)系統(tǒng)問(wèn)題。GPU利用率是結(jié)果指標(biāo)不是原因指標(biāo)單純盯著它沒(méi)什么用還是要一級(jí)一級(jí)往下拆。4.2 模型精度復(fù)現(xiàn)不了的隱形元兇模型從PyTorch導(dǎo)出到ONNX再到TensorRT之后經(jīng)常有算法同學(xué)跑回來(lái)反饋“線(xiàn)上預(yù)測(cè)結(jié)果和離線(xiàn)對(duì)不上?!币婚_(kāi)始我們以為是模型導(dǎo)出過(guò)程出了錯(cuò)后來(lái)才發(fā)現(xiàn)最隱蔽的問(wèn)題來(lái)自“數(shù)值精度”和“算子實(shí)現(xiàn)差異”。PyTorch在GPU訓(xùn)練時(shí)默認(rèn)用FP32推理轉(zhuǎn)成TensorRT的FP16后部分算子比如LayerNorm、Softmax的數(shù)值精度會(huì)有微小差異在大多數(shù)場(chǎng)景下不影響排序但有些邊界樣本的預(yù)測(cè)值會(huì)變化幾個(gè)百分點(diǎn)。算法同學(xué)如果拿著離線(xiàn)全精度的輸出和線(xiàn)上半精度的輸出逐條比對(duì)就會(huì)看到差異。解決的辦法是分類(lèi)處理對(duì)精度有嚴(yán)格要求的任務(wù)比如風(fēng)控、金融場(chǎng)景保持FP32推理用算子融合和優(yōu)化內(nèi)存訪(fǎng)問(wèn)來(lái)提速對(duì)排序、推薦這類(lèi)對(duì)絕對(duì)概率值不敏感、只看相對(duì)順序的任務(wù)可以用FP16甚至INT8配合校準(zhǔn)集把精度損失控制在一個(gè)很小的范圍內(nèi)。還有個(gè)容易被忽略的點(diǎn)是框架版本差異PyTorch 1.x和2.x導(dǎo)出的ONNX算子集不一樣TensorRT版本不同也可能導(dǎo)致同樣的模型在部署時(shí)行為不同。所以必須把“訓(xùn)練框架版本、導(dǎo)出工具版本、推理框架版本”這三項(xiàng)固定下來(lái)做成一個(gè)部署配置的“鐵三角”任何一項(xiàng)升級(jí)都要重新回歸。4.3 資源申請(qǐng)被駁回其實(shí)是可以避免的“申請(qǐng)4張A100被infra駁回了說(shuō)我浪費(fèi)資源怎么辦”這種問(wèn)題我隔三差五就能遇到。實(shí)際情況是不少算法同學(xué)根本不估算自己到底需要多少資源申請(qǐng)的時(shí)候全靠感覺(jué)往大了填。infra那邊資源池是共享的肯定優(yōu)先批給那些能說(shuō)清楚需求的團(tuán)隊(duì)。資源估算其實(shí)沒(méi)那么難。第一步在目標(biāo)機(jī)器上跑一次真實(shí)的訓(xùn)練或推理任務(wù)記錄峰值顯存和平均顯存這就是“單實(shí)例基線(xiàn)”。第二步根據(jù)訓(xùn)練數(shù)據(jù)量和目標(biāo)訓(xùn)練周期估算需要的總算力公式大概是總算力需求FLOPs 單樣本前向計(jì)算量 × 訓(xùn)練樣本數(shù) × epoch數(shù)。第三步結(jié)合單卡算力算出需要的顯卡數(shù)量和訓(xùn)練天數(shù)再留出20%到30%的冗余應(yīng)對(duì)波動(dòng)。拿這個(gè)思路去和infra溝通交流起來(lái)完全不同。你說(shuō)“我需要4張卡跑完需要3天實(shí)測(cè)單卡峰值顯存是38GB考慮數(shù)據(jù)加載波動(dòng)留了10%的buffer需要40GB以上的卡”這種申請(qǐng)沒(méi)有理由被駁回。說(shuō)到底資源申請(qǐng)不只是填個(gè)數(shù)字它本身就是一種工程能力是算法和infra之間建立信任的重要一環(huán)。5. 把協(xié)同能力沉淀成團(tuán)隊(duì)資產(chǎn)5.1 給算法同學(xué)的建議不要把“跑通了”當(dāng)作交付完成我自己也是算法出身太知道“跑通”和“交付”之間的差距了。模型在Notebook里跑通了只是證明你的思路在二三十個(gè)樣本上可行真正讓模型產(chǎn)生價(jià)值的是它能穩(wěn)定地服務(wù)線(xiàn)上流量還能在流量翻倍時(shí)不崩在資源減半時(shí)依然可控。這些要求都不是算法同學(xué)的“分內(nèi)事”但如果完全不關(guān)心你的模型就永遠(yuǎn)活不過(guò)上線(xiàn)那一天。所以至少要做到交付模型時(shí)附帶一份“模型說(shuō)明卡”內(nèi)容包括模型結(jié)構(gòu)、輸入輸出的字段和類(lèi)型、依賴(lài)的框架及版本、詞表在線(xiàn)獲取方式、推薦的batch size范圍、估計(jì)的顯存占用、冷啟動(dòng)時(shí)間、對(duì)CPU和內(nèi)存的依賴(lài)。這份卡片不要求多規(guī)范但至少能讓infra同學(xué)不用靠猜來(lái)部署你的模型。另外學(xué)會(huì)讀profile是算法同學(xué)性?xún)r(jià)比最高的技能投資。一個(gè)模型服務(wù)慢90%的情況下用profile都能找到原因。我見(jiàn)過(guò)太多人拿著性能問(wèn)題去找infra連自己程序的火焰圖都沒(méi)看過(guò)一眼。不要只會(huì)跑訓(xùn)練要學(xué)會(huì)看推理的計(jì)算熱點(diǎn)。掌握這一項(xiàng)技能你在協(xié)同中的話(huà)語(yǔ)權(quán)會(huì)高很多。5.2 給基礎(chǔ)設(shè)施同學(xué)的建議把“不行”變成“怎么才行”infra同學(xué)在這類(lèi)協(xié)同里也有一個(gè)常見(jiàn)的立場(chǎng)問(wèn)題因?yàn)殚L(zhǎng)期被各種不靠譜的資源申請(qǐng)和不規(guī)范的服務(wù)代碼折磨容易變成一個(gè)“什么都說(shuō)不行”的狀態(tài)。這樣短期看是保護(hù)了資源池長(zhǎng)期看會(huì)壓制業(yè)務(wù)的迭代速度最后被業(yè)務(wù)方集體吐槽“基礎(chǔ)設(shè)施跟不上業(yè)務(wù)”。我的建議是infra團(tuán)隊(duì)的重點(diǎn)不應(yīng)該放在審批和拒絕上而是應(yīng)該放在提供“自助能力”上。比如做一個(gè)標(biāo)準(zhǔn)的模型部署平臺(tái)算法同學(xué)上傳模型文件、選定推理框架和后端配置平臺(tái)自動(dòng)生成Docker鏡像、分配測(cè)試環(huán)境、跑一輪標(biāo)準(zhǔn)壓測(cè)、輸出性能報(bào)告?;A(chǔ)設(shè)施把通用的能力沉淀成工具和流程就能把“每個(gè)項(xiàng)目都要人肉介入支持一次”的重復(fù)勞動(dòng)省掉。這需要在思想上做一個(gè)轉(zhuǎn)變infra的kpi不是“管住了多少資源”而是“業(yè)務(wù)能多快地把模型部署上線(xiàn)并且用盡量少的資源跑起來(lái)”。如果基礎(chǔ)設(shè)置的同學(xué)能往這個(gè)方向做算法和infra的摩擦?xí)『芏唷?.3 把復(fù)盤(pán)和知識(shí)沉淀變成日常動(dòng)作項(xiàng)目結(jié)束之后我們做了一次總結(jié)把整個(gè)協(xié)同過(guò)程中的經(jīng)驗(yàn)和工具沉淀成了幾樣?xùn)|西一份模型交付標(biāo)準(zhǔn)文檔、一個(gè)自動(dòng)化壓測(cè)腳本、一套性能基準(zhǔn)數(shù)據(jù)表、一段線(xiàn)上問(wèn)題排查的SOP。這些資產(chǎn)的價(jià)值在后面的幾次迭代里被充分證明了——新模型上線(xiàn)的時(shí)間從一開(kāi)始的三天壓縮到了半天性能問(wèn)題的定位時(shí)間也從按小時(shí)計(jì)縮短到了按分鐘計(jì)。復(fù)盤(pán)形式上我們沒(méi)有搞那種全員參加的PPT大會(huì)就是內(nèi)部拉了一個(gè)文檔把從模型開(kāi)發(fā)到部署調(diào)優(yōu)到線(xiàn)上穩(wěn)定的過(guò)程中所有關(guān)鍵決策、踩坑記錄、數(shù)據(jù)截圖、最終結(jié)論全部寫(xiě)進(jìn)去想到什么記什么。每周項(xiàng)目例會(huì)上花15分鐘過(guò)一遍。三個(gè)月后回頭翻這份文檔里面很多記錄在當(dāng)下看來(lái)已經(jīng)成了團(tuán)隊(duì)共識(shí)但如果沒(méi)有當(dāng)時(shí)的記錄這些共識(shí)根本建立不起來(lái)。還有一點(diǎn)很關(guān)鍵知識(shí)沉淀要落到代碼和腳本里不能只活在文檔里。比如“壓測(cè)時(shí)必須監(jiān)控GPU利用率”這個(gè)原則寫(xiě)在文檔里可能過(guò)幾周就沒(méi)人看了但如果寫(xiě)進(jìn)壓測(cè)腳本里每次壓測(cè)結(jié)束自動(dòng)出一份指標(biāo)報(bào)告這個(gè)原則就變成了流程的一部分天然被強(qiáng)制執(zhí)行。制度化永遠(yuǎn)是比自覺(jué)更可靠的保障。6. 一個(gè)更長(zhǎng)期的視角算法與基礎(chǔ)設(shè)施雙輪驅(qū)動(dòng)的演進(jìn)路徑6.1 模型迭代和基礎(chǔ)設(shè)施演進(jìn)要配套走我們剛開(kāi)始做這個(gè)協(xié)同項(xiàng)目的時(shí)候總覺(jué)得模型迭代是最重要的infra只是“陪跑”。但做到后面才發(fā)現(xiàn)兩者其實(shí)是在互相牽引的。模型側(cè)有個(gè)新想法比如從單模態(tài)走向多模態(tài)或者模型結(jié)構(gòu)要從2D卷積換成3D卷積這對(duì)基礎(chǔ)設(shè)施提出的要求是完全不同的反過(guò)來(lái)基礎(chǔ)設(shè)施這邊推理框架升級(jí)支持了新的算子和精度模式也會(huì)反過(guò)來(lái)影響模型側(cè)怎么做結(jié)構(gòu)設(shè)計(jì)和調(diào)優(yōu)。所以現(xiàn)在我們?cè)谧黾夹g(shù)規(guī)劃時(shí)會(huì)把算法和infra放在同一個(gè)盤(pán)子里看。每次新模型立項(xiàng)的時(shí)候算法團(tuán)隊(duì)要寫(xiě)清楚預(yù)期的推理需求和資源消耗infra團(tuán)隊(duì)根據(jù)這個(gè)需求反饋基礎(chǔ)設(shè)施的改造計(jì)劃兩邊一起排期而不是等算法做完了再丟給infra“看看能不能跑”。這種平行推進(jìn)的節(jié)奏看起來(lái)很慢實(shí)際算總時(shí)間反而更快因?yàn)樗鼫p少了大量返工和等待。6.2 “算法-infra協(xié)同”的三種模式根據(jù)團(tuán)隊(duì)的大小和業(yè)務(wù)復(fù)雜度我觀察到的協(xié)同模式大概有三類(lèi)你可以看看自己團(tuán)隊(duì)現(xiàn)在卡在哪一類(lèi)。第一種是“工程師一肩挑”小團(tuán)隊(duì)里算法同學(xué)順便把自己寫(xiě)的服務(wù)部署上線(xiàn)了這種模式最靈活但對(duì)個(gè)人能力要求極高而且隨著業(yè)務(wù)變大很難維持。第二種是“接口人協(xié)作”算法和infra各派一個(gè)人負(fù)責(zé)對(duì)接互相轉(zhuǎn)述需求這種模式對(duì)接口人的能力依賴(lài)極大接口人一換人就可能崩。第三種是“流程化協(xié)同”通過(guò)標(biāo)準(zhǔn)的交付物、性能指標(biāo)、部署流程來(lái)協(xié)作人和人之間對(duì)具體細(xì)節(jié)的依賴(lài)降到最低這也是我在這篇文章里主要推薦的做法。三種模式之間不是互斥的團(tuán)隊(duì)小的時(shí)候可以用第一種起家逐漸過(guò)渡到第二種最后在業(yè)務(wù)量上來(lái)之后用第三種方式做長(zhǎng)治久安的保障。關(guān)鍵是心里要有個(gè)譜現(xiàn)在的協(xié)同方式在小規(guī)模下夠用但它不會(huì)自動(dòng)適配更大體量的團(tuán)隊(duì)和更復(fù)雜的業(yè)務(wù)。6.3 數(shù)據(jù)驅(qū)動(dòng)的協(xié)同能力評(píng)估最后一個(gè)想聊的心得是協(xié)同本身也要量化不能被“最近好像合作好多了”這種模糊感覺(jué)帶過(guò)去。我們每個(gè)月會(huì)看幾個(gè)關(guān)鍵數(shù)字平均模型上線(xiàn)周期、壓測(cè)通過(guò)率、資源超用率、線(xiàn)上重大性能事件次數(shù)。這組數(shù)字能直觀反映算法和infra之間的配合是否在變好而不是憑某幾次印象做判斷。我第一次提出這個(gè)想法時(shí)有同事開(kāi)玩笑說(shuō)“連協(xié)同都要上指標(biāo)了是不是卷過(guò)頭了”。但實(shí)際跑下來(lái)效果還挺好。因?yàn)橐坏?shù)字看得到就總有人會(huì)想辦法改進(jìn)數(shù)字。比如那陣子壓測(cè)通過(guò)率只有60%大家分析一圈發(fā)現(xiàn)是模型交付的“模型說(shuō)明卡”寫(xiě)得不完整infra拿到模型以后各種猜浪費(fèi)了不少時(shí)間。后來(lái)把說(shuō)明卡模板和交付工具打通壓測(cè)通過(guò)率很快升了上來(lái)。如果沒(méi)有數(shù)據(jù)這種問(wèn)題可能永遠(yuǎn)藏在“溝通不太順”的模糊說(shuō)法里誰(shuí)也看不到具體的短板在哪里。所以我的建議是如果你的團(tuán)隊(duì)也經(jīng)常因?yàn)樗惴ê蚷nfra的邊界吵架、推諉先別急著開(kāi)“加強(qiáng)溝通”的會(huì)不如一起定一套可量化的協(xié)同指標(biāo)把問(wèn)題擺到明面上。數(shù)據(jù)到位了協(xié)作自然會(huì)改善。我個(gè)人在帶著團(tuán)隊(duì)跑完這個(gè)項(xiàng)目之后最大的感受就是算法和infra的協(xié)同說(shuō)到底是兩個(gè)知識(shí)體系之間的翻譯工作。算法同學(xué)需要理解一點(diǎn)系統(tǒng)原理和工程約束infra同學(xué)也要懂一點(diǎn)模型推理的基本邏輯中間用標(biāo)準(zhǔn)化的接口、可量化的指標(biāo)和數(shù)據(jù)化的復(fù)盤(pán)來(lái)搭橋。不要指望靠幾次團(tuán)建或幾輪溝通就能根治協(xié)作問(wèn)題真正管用的還是把這些協(xié)同點(diǎn)固化到流程和技術(shù)里讓流程替人去記憶、去執(zhí)行。這一步做到了團(tuán)隊(duì)的能力才算真正沉淀下來(lái)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
色婷婷操逼| 桃色五月婷婷| 十一月婷婷激情四射| 色狠狠综合网| 欧美久久久中文字幕| 色色五月婷婷久久| 五月激情网综合| 五月丁香激| 五月天婷婷基地| 五月婷婷在线观看| 婷婷色色综合激情| 九九色精品| 免费看欧美成人A片无码| 色五月色五天免费视频| 亚洲 小说 欧美 激情 另类| 色天天综合天天综合频道。 | 丁香五月天天日| 偷拍99在线视频观看| 色综合综合色| 婷婷五月丁香欧洲| 99久超碰| 婷婷色在线视频| 日本操逼九九九九58日本操逼| 色射影院| 日本一区二区三区精品视频| 亚洲V国产V欧美V久久久久久| 丁香六月婷婷综合| 思思国产99| 99热自拍| 激情AV| 99在线视频观看| 91九色首页| 女人天堂 AV| 日日操日日干| 五月婷婷激情色情网| 欧美色色色色色| 丁香六月天婷婷| 久久天天| 99精品性爱| 色五月丁香婷婷久草| 婷婷六月香| 成人超碰Av| 99区视频| 青青草蜜臀| 婷婷五月激情网站| 色五月之第四色| 97碰在线| 婷色人人狠| 98色丁香五月婷婷综合网| 六月激情丁香一道本7777| 男女啪啪做爰高潮无遮挡| 丁香六月狠狠干| 精品久久久人妻| 五月天婷婷成人资源站| 99视频网| 九九99香蕉在线视频播放| 丁香五月六月激情久久| 国产三级片91| 婷婷成人五月天成人文学| 九九aV| 91九色欧美| 高清无码入口| 欧美精品999| 日本综合色色| 少妇AB又爽又紧无码网站| 国产成人网| 一点色成人网| 久久久噜噜噜www成人| 丁香五月 激情文学| 婷婷激情六月中文| 亚洲无码播放| 丁香六月视频| 五月丁香亚洲综合| 婷婷五月天色| 色狠狠色噜噜AV天堂五区 | 情情五月天色| 婷婷开心久久| 六月婷婷色综合| 99精品久久| 亚洲色五月天| 久久综合五月情| 免费成片在线观看| 97久久视频| 99热福利| 五月婷婷综合在线观看| 九九热AV| 色青青电影色五月| 激情亚洲婷婷| 无码激情精品色婷婷久久久久| 色综合久久88色综合中文字幕| 色五月亚洲开心网| 天天日夜夜拍| 久久激情四射| 丁香六月婷婷综情欧美| 99热这里有精力| 99视频在线精品| 开心五月婷婷激情| 婷婷五月天丁香成人社区| 狠狠爱五月婷婷| 2025年最新亚洲在线欧美| 熟妇人妻中文字幕无码老熟妇| 99久热| 天海翼中文字幕高| 91vip在线观看| 国产99精品免费视频| 欧美激情综合色综合色| 超黄亚洲瑟瑟网站| 丁香色五月婷婷| 激情五月天色色网| 啪啪视频99| 五月婷婷色播| 国产精品五月天婷婷| 另类激情五月| 激情性爱五月天网页| 99热超碰天堂网| 丁香六月婷婷久久综合八月| 五月天天久久香| 婷婷在线视频| 91精品久久久久久综合五月天| 丁香伊人激情| 色婷婷狠狠18禁| 狠狠操狠狠色| 狠色狠色狠狠色综合网| 色色五月丁香婷婷| 丁香花成人区| 99这里只有精彩视频| 亚洲五月婷| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 天天操综合网| 9久视频| 嫩草AV久久伊人妇女超级a| 伊人婷婷综合| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 色情五月丁香婷婷网| 五月天激情视频| 免费观看全黄做爰的视频| 色色色99| 久久婷婷大香蕉| ,99视频久久| 色播播五月天| 欧美超碰亚洲| 天天综合网网欲色| 玖玖综合色区在线观看| 六月色五月天天婷婷| 在线网黄| 九九AV在线| 婷婷激情五月天激情| jiuse91在线| 高清无码入口| 久9草在线观看视频| 激情婷| 26uuu青青| 久久久久人妻| 色五月涩涩婷婷蜜桃| 欧美日韩999| 玖玖精品婷婷| 五月丁香久久| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 色欲九区| 五月丁香成人| 午夜丁香五月天综合| 俺去也五月天婷婷| 亚洲视频在线观看99| 亚洲中文乱字字幕在线永久| 激情六月五月婷婷综合网| 天天日,天天插| 婷婷丁香激情综合色情| 五月天激情综合网俺也去| 成人在线日韩欧美| 色色五月天激情| 在线不卡视频| 人人干人人操人人摸人人做| 亚洲免费视频网站| 九九这里有精品| 影音先锋xfplay资源男人网| 玖玖@三月天天丁香婷婷| 色婷婷色婷婷五月| 激情另类综合| 五月婷婷电影院| 亚城区在线| 免费99色| 五月花婷婷| 青草网在线观看| 亚洲综合五月| 91超级碰| 极品人妻VIDEOSSS人妻| 久久人妻视步| 99超级碰免费视频| 天天舔天天爽| 9l视频自拍九色9l视频自拍九色9l社区| 六月丁香激情网| 777丁香六月青青草婷婷综合久月| 欧美情色一区| 99色婷婷视频| 丁香五月天的网址。| 亚洲av无码精品色午夜| 99re6在线视频精品免费| 丁香五月开心婷婷| 天天草天天爽| 噜噜久| 91精产品自偷自偷综合| 婷婷伊人久久无码色五月| www.开心激情| 婷婷色5月天在线。| 久久密臀婷婷| www.cao.com久久| 米奇影视五月天| 婷婷五月天性爱视频| 五月丁花六月丁香综合| 这里只有精品在线视频精品| 久综合4| 直接看的AV| www.五月天婷婷| 色墦五月丁香| 激情五月天无人视频在线| 午夜日日| 亚洲乱码日产精品BD| www.六月丁香看AV| www.99在线| 2020夜夜操天天爽| 五月婷婷草| 亚洲国产精品二二三三区| 综合激情视频| 婷婷五月综合在线视频| 综激情网| 天天视频精品9| 六月婷婷综合激情| 天天天摸夜夜夜玩| 色色色综合网| 超碰九九热| 天天操夜夜啊| 九九综合网色全集 | 五月天丁香久久| 乱女乱妇熟女熟妇综合网站| 色色色区| 六月丁香AV| av在线观看免费| 99热这里只有精品2024| 91婷婷丁香五月天免费视频网站| 一级性感毛片| 激情 婷婷 丁香五月天| 五月婷俺去也| 九九家庭影院| 婷婷综合精品视频97| 四月婷婷五月丁香| 另类图片五月天激情| 99热这里| 大香蕉九九| 中文字幕婷婷五月天在线观看| 成人AV免费观看| 国产免费一区二区三州老师F1……| 欧美丁香五月97色| 五月天成人免费视频| 婷婷五月天伦理| 六月婷欧美| 色婷婷成人色网| 久草热在线视频| 狠狠操狠狠插| 婷婷六月天激情| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 激情小说五月丁香在线视频观看视频| 99热综合色图| 五月天狠狠草| 久久99最新| 欧美人人操| 日本欧美999久久久三级片| 色婷婷影院| 色五月超碰| 五月天婷婷爱| 五月天婷婷视频小说| 色五月婷婷久久大| 狠狠干 狠狠操| 五月人人丁香婷婷五月人人丁香| 开心婷婷五月激情网小说 | 亚洲精品午夜国产va久久成人| 色爱99| 丁香五月天网站| 婷婷综合一二三| 久久久亚洲成人无码A片| 婷婷97狠狠成人网站| 电影91久久久| 97碰操| 色99色| 婷婷五月丁香五月| 粉嫩AV久久一区二区三区| 久久综合丁香激情五月| 桃色激情婷婷伊人网| 久久99婷婷| 五月丁香六月激情综合| 亚洲超碰在线| 人人爽人人射-美女久久久久久久久久-成人AV | wwwss在线观看| 日韩在线视频中文字幕| 超碰成人免费| caopeng超碰| 久久婷婷激情五月天一区二区| 九九性视频| 玖玖国产视频一区| 天天爱天天做综合| 婷婷丁香五月综合激情小说| 五月婷婷成人| 97碰碰视频在线观看| 婷婷六月啪啪| 色伊人婷婷| 深爱五月天| 97丁香婷婷| 午夜大香蕉| 亚洲综合激情五月久久| 人人摸人人操人人爱| 九九丁香社区欧美激情| 婷婷色一二三区波多野结衣| 人妻aV在线| 五月丁香琪琪| 五月婷成人网| 婷婷深爱五月丁香| 久久婷婷五月| 日本猛少妇色XXXXX猛叫| 最近中文字幕大全免费版在线 | 极品嫩草| 婷婷综合精品| 五月婷六月丁| 成人AV在线网站| 日韩在线视频9色| 婷婷伊人中文字幕| 丁香五月天日韩无码| 婷婷在线五月综合| 任你日视频| 五月丁香手机在线| 亚洲人妻五月丁香婷婷| 香蕉操亚洲| 丁香五月天激情视频| 五月婷婷影院| 琪琪色影音先锋| 五月婷婷激情久久| 色插综合网| www色婷婷com| 久久九九网| 99超碰欧美| 丁香激情五月少妇| 婷婷五月免费观看| 久久九九国产精品怡红院| 婷婷丁香五月激情| 日韩美一级毛卡片| 日韩成人中文| 天天日天天插天天操| 狠狠色大香蕉| 大香蕉久久婷婷精品综合| 丁香五月婷婷俺也要去| 婷婷黄色五月天在线视频| 五月天婷婷无码视频| 久久精彩综合视频| 另类综合婷婷五月天欧美视频| 大香蕉天堂| 中文字幕丰满孑伦无码专区| 91综合色| 六月狠狠综合| 五月天色不卡| 在线99色| 四色女婷婷| 玖玖爱综合网| 色婷婷影视99| 丁香五月大片| 婷婷香五月天| 97久久五月丁香婷婷| av在线超清中文| 99热这里只有精品4| 北京熟妇搡BBBB搡BBBB| 棕合影院色色| 色J香五月天| 色播丁香| 五月丁香婷婷综合| 91久久久久久| 色五月丁香网| 婷婷字幕在线| 婷婷精品在线| 天天做天天爽| 欧美日本VA| 五月天婷婷视频小说| 最近免费中文字幕大全高清大全1| 亚洲Av成人在线观看| 六月综和久久| 丁香五月Av| www,色综合| 五月丁香狠狠地噜噜噜噜| 99久在线精品99re8| 欧美日韩成人在线网站| 亚洲色基地| 手机激情网| 久久久久人妻精品| 九九综合精品| 操九色| 国产色色视频| 色狠狠激情五月| 少妇搡BBBB搡BBB搡毛茸茸| 五月天婷爱综合| 五月婷婷深深爱| 亚洲国产网址| 婷婷射婷婷舔| 久久大大香| 99热这只有| 8区视频在线| 婷婷六月视频| 天天揷综合网| 色综合综合色| 人妻VideOssS人妻| 婷婷五月天AV网| 亚洲成人无码专区| 色~性~乱~伦~噜| 久热这里精品免费| 4399在线日本A片| 色婷婷成人做爰A片免费看网站| 伍月婷丁香花全集| 色热久资源| www.com久久久久久久久久久久久久久久久| 丁香五月婷婷色情综合| 欧美激情Va| 五月丁香婷婷激情四射迷人| 久久99国产综合精品免费| 丁婷婷五月天在线播放| 夜夜噜夜夜奇| www.zbzhongsen.com| 亚洲五月天天| 在线不卡视频| 五月婷婷六月丁香首页| 怕怕視頻| 99久热这里只有精品| 91丨九色丨国产打屁股| 99ri视频| 狠狠久综合| www久久久久久久久久久久久久久久久| 丁香五月深爱五月婷婷| 婷婷激情五月天激情小说| 无码任你操| 色久99| 成人网在线视频| 亚洲熟女色| 成人短视频在线| 91操操| 啪啪一区| 日韩在线aaa| 精品九九网| 99色热视频| 色亚洲无码| 玖玖五月丁香| 日韩精品视频中文字幕| 337久久| 思思综合热| 色五月激情问网站| 人妻无码视频网| 狠狠干综合| 丁香成人色情五月天| 爱之国产色情综合| 去干网av| 那里有AV网址| 天天艹天天综合网| 丁香六月开心| 天天日日人| 97九色视频| 99热这里只有精品在线观看| 六月婷婷五月天| 亚洲 六月 综合| 天干天天干天天天天天| 丁香六月av| 婷婷五月亚洲激情| 激情综合五月色在线| 亚洲综合激情五月天婷婷| 欧美三级欧美一级| 生活片五区| 亚洲AV无码一区二| 色婷婷电影| 婷婷五月综合在线视频| 午夜成人AV在线| 国产精品久久久久9999小说 | 色~性~乱~伦~噜| 九九在线视频| 大香蕉网站,大香蕉综合| 在线区区区| 97操男人的天堂| 日韩另类| 五月婷婷久久大香蕉| 婷婷色5月天在线。| 成人国产网站| 91妻人人爽人人看片| 激情五月综合亚洲另类| 五月婷婷五月天天| 免费看欧美成人A片无码| 五月天婷婷乱| 99视频在线观看地址| 99色人| 亚洲成人五月天| 五月婷婷综合热| 久热久re| 丁香婷婷狠狠97| 丁香五月天激情| 久久三级视频| 久久女婷| 天天干、天天日日| 久草狼人| 蜜臀AV在线观看| 丁香五月亚洲综合| 91狠狠综合久久久| 79色色免费| 丁香婷婷基地| 能看的av| 婷婷六月成人| 超碰女人天堂| 日本不卡五月婷婷丁香| 粉嫩av懂色av蜜臀av熟妇| 久久草大香蕉| 色yeye色综合| 久久色五月天| 五月天.com| 无码任你操| 国产亚洲精品久久久久久久久动漫 | 九九综合网色全集| 丁香五月人妻熟女| 亚洲在线操| 激情内射人妻1区2区3区| 狠狠色婷婷丁香五月| 这里只有精品视频看看| 久热无码| 婷婷色播婷婷| 大香蕉综合| 丁香五婷婷| 97精品综合久久内射| 国产91资源在线| 久久丁香| 国产午夜成人AV在线播放| 26uuu成人网| 色婷丁香| 色婷婷狠| 丁香婷婷大香蕉| 久久多色| 婷婷五月天激情四射| 人人综合久| 欧美大肥婆大肥BBBBB| 久久曰曰| 99色综合| 欧美情色电影一区二区| 婷婷五月成人色综合| 深爱五月天| 色色五月天丁香| AV在线中文| 色五月丁香婷婷| 91九色PORNY中文啦| 丁香六月av| 久久久激情视频| 肏日网在线看| 色5月婷婷| 色婷婷六月| 久久久久久99精品无码| 亚洲另类视频| 丁香五月很很肏| 五月婷色丁香| 日日干夜夜干| 五月六月丁香激情视频| 色五月丁香网| AV九九| 久久婷婷内射| 在线观看免费狠狠色丁香香综合 | 色五月在线观看| 九九色婷婷五月天| 26UUU在线观看| 香蕉综合网| 深爱婷婷基地| 99爱爱| 日本妈妈乱| 午夜丁香婷婷| 久久天天天| 综合婷婷| 五月丁香婷婷无码中文| 中文字幕无码人妻少妇免费视频| 五月激情五月丁香| 粉嫩AV久久一区二区三区| 久久99热只有精品| 开心婷婷五月激情网小说| 久久98热re| 久久网日本| 丁香五月,开心五月,成人婷婷| 熟女激情网| 免费黄色视频网址| 白人荫道BBWBBB大荫道| 亚洲成人无码免费| 久久五月视频| 开心激情网五月| 丁香婷婷五月六月久久| 国产精品久久久久久久久久| 亚洲黄色av网站| 丁香婷婷久久 | 99热国内精品| AV在线不卡播放| 久久婷婷人人| 久久香蕉婷婷五月天| 色色A| 99日韩| 午夜激情久久| 激情啪啪五月天| 久婷婷久草| 色婷婷综合成人| 亚洲综合激| 九热视频| 欧美在线视频99| 久久无意婷婷| 99在线免费视| 色婷婷激情| 五月激情丁香啪啪| 97久久超碰| 人人人操B超碰| 久久久97| 99精品网址| 五月天婷婷色五月天| 特级西西4444www无码| 五月激情影院| 超碰超碰在线| 激情五月婷婷五月| 激情综合色婷婷啪啪五月天| 99热大全在线观看| 九九热re99re6在线精品| 丁香五月五月婷婷欧美大香蕉| 亚洲 视频 导航 一区| 97色射| 天天肏夜夜肏| 超碰在线超碰| 99久高清视频| 丁香网五月天激情| 亚洲国产精品二二三三区| 99热青青草| 久 久9 9 热 视 频| 丁香六月激情综合| 丁香婷婷六月激情文学 | 亚洲中文字幕在线观看| 天天艹天天综合网| 久久六月天| 婷婷综合九月| 都市激情五月婷婷亚洲| 91男人操女人视频| 欧美丁香六月激情视频| 99热自拍| 五月婷五月婷伊人伊人五月婷| 少妇性按摩无码中文A片| 99热在线播放精品| 夜夜撸天天日| 久久婷婷六月综合国际| 都市激情五月婷婷综合| 天天色粽合合合合合合合| 99综合| 色五月天堂| 色五月婷婷91| 久久九九@| 五月天伊人久久久久| 激情五月天小说| 久操香蕉| 色五XX| 久久男人网婷婷| 五月综合六月婷婷| 草榴视频黄色网| 色欲资源网| www.色色色com| 99精品在线下载| 成人免费黄色短视频| 日本精品。999| 九热视频| 五月人人丁香婷婷五月人人丁香| 国产真人做爰视频免费| 日日干日日s| 99婷婷狠狠成为人免费视频| 人人人操97| 久9热插入| 九九这里都是精品| 国产操肏网站| 色婷婷大香蕉| 五月天激情小说婷婷| 操人91| 久久在这里有精品| 国产AV影片| 影音先锋人妻出差| 中文网婷婷字幕婷| 99re热在线观看| 99综合在线| 五月丁香少妇A| 日日做A爰片久久毛片A片英语| 天天干狠狠操| 久草 tingting| 类似婷婷激情综合网站| 色九月婷婷综合| 激情五月天婷婷丁香| 99热香港| 久久这里只有精品视频15| 国产五月天欧美色| 五月丁香综合在线| 热久久这里只有精品| 99热这里只有精品96| 99热亚州综合| 97碰在线视频| 西瓜美女a片| 69精品人妻不卡视频| 香蕉久久国产AV一区二区| anquye伊人| 精品九九久久| 久碰视频| 伊人午夜综合色啪| BT综合在线视频观看| 思思热在线| 99久久精品视频女神1| 99精品超在线播放| 日日夜夜天天| 亚洲色五月婷婷| 精品久色| 日韩 mm 不卡| 97人人操人人干| 79精品视频| 婷婷中文字幕| 涩丁香91| 久久久久这里只有精品| 99热这里只要精品免费| 五月婷婷在线丁香| 久久蜜臀婷婷| 色五月激情网| 人人色婷婷| 久久九九怡红院| 欧美碰碰| 亚洲精品久久久无码| 日本美女五月天| 五月婷婷色男女| 色五月激情综合| 国产性av| 亚州操人在线视频| 五月花在线观看视频| 九九热这里只有精品556| 大香焦A∨| AV中文在线| xxx.色婷婷| 五月丁香啪啪拍| 九九热大香蕉| 色停停影院五月天| 精品国产乱码久久久久夜深人妻| 99热免费精品| 99爱在线视频观看| 婷婷丁香五月天在线视频| 色情五月天。| 婷婷五月天涩涩| 99精品国产在热久久| 色情久久久| 婷婷五月深爱五月| 伊人久久婷婷五月天激情四射| 久久婷婷国产| 成人国产网站| 123日本不卡在线| 色婷婷久久| 亚洲不卡| 五月精品| 丁香五月天论坛| 久久这里只有精品16| 五月天五月色婷婷综合| 伊人色综合影院视频| 婷婷免费视频| 色九月综合| 国产免费性爱| 色婷婷成人做爰A片免费看网站 | www.五月.com| 91婷婷色五月| 久操97| 99A片| 亚洲夜夜操| 伊人狠狠综合| 五月丁香六月婷婷色| 蜜桃婷婷五月| 丁香六月婷婷综合色| 丁香六月啪| 色吧五月婷婷| 99热99精品| 婷婷五月天AV在线| 婷婷网影院| 97伊人综合婷婷| 婷婷五月丁香人妻无码高清| 激情婷婷护士激情| 丁香五月婷婷五月基地| 26uuu成人网| 丁香五月综合网| 六月成人网| 天天色综网| 五月天久久色| 伊人久久丁香五月91| 五月婷婷六月激情| 99热在线中出| 91N 一起草| CAOBIBI| 婷婷六月综合基地| 亚洲色夜| 婷婷精品在线| 九九热色视频| 亚洲色五月天是什么| 99热精品在线| 亚洲视频五区| 色色热| 天天干天天操天天射| 久久久27操| 97碰久久| 亚洲婷婷免费| 国产美女无遮挡裸体毛片A片| 天堂成人A片永久免费网站| 乱精品一区字幕二区| 婷婷五月花| 激情 久久 婷婷| 2005天天干天天1| 一区二区三区XXXXXX| 婷婷丁香五月天影院 | 九九黄色网| 99热伊人| 色色色五月天婷婷| OUMEIRIHANCHENGREN| 久久98热re| 狠狠做五月| 亚洲狠狠婷婷综合久久久| 婷婷五月天首页| 月婷婷婷婷五月| 97人人操人人爽| 免费观看的av| 九九中文色色| 婷婷午夜精品久久久| 成人精品一区二区三区四区五区| 91啪级电影| 99热九九热| 色丁香久久| 丰满老熟妇BBBBB搡BBB| 51精品国内探花| 五月久久婷婷| 伊人婷婷激情| 伊人婷婷五月天| 色情五月婷婷| 97日本在线播放| 大香蕉久久久| 天天综合色综合| 性综合网| 激情五月综合| www久久久久久| 97色色色色| 这里只有精彩视| 狠狠色噜噜狠狠狠狠综合| 性做久久久久久久免费看| 97婷婷丁香五月综合| 色综合激情| 天天精品视频在线观看视频| 婷婷99中文字幕| 亚洲成人无码专区| 成人网站免费在线播放| 成人婷婷深爱综合网| 激情五月天偷拍综合网| 久99| 射琪琪| 狠狠色丁婷婷日日,伊人激情综合网 | 色噜噜狠狠色综合AV兰草影视| 天天射天天射一道本日本社区| 国产精品爽爽久久久久久| 国产AV一区二区三区日韩| av无码电影| 婷婷六月天精品| 激情亚洲婷婷| 国产操B| 亚洲日韩国产黑丝黑丝AVAV一区二区三区| 亚洲人妻五月丁香婷婷| 丁香五月伊人| 婷婷婷久久久| 丁香五月天啪啪激情综和网| 99爱视频在线| 《久久综合九色综合97婷婷| 天天爱天天做天天爽| 九九久久综合| 久久99jiu9| 五月婷婷五月天天| 青青草激情网| 婷婷网影院| 成人综合伍月天| 国自产拍偷拍精品啪啪一区二区| 人妻aV在线| 另类激情五月天| 国产乱人偷精品人妻A片| 五月丁香啪啪婷婷| 色色色综合色| 国产毛片操B| 久久这里只有精品07| 91viP在线看| 婷婷成人在线| 亚洲激情97五月天| 91精品激情9| 色久婷婷五月| 六月婷婷激情| 久久久欧美精品sm网站| 中国激情网| 日本精品人妻无码77777| 狠狠搞五月天| 大香蕉久艹| 99伊人性爱在线影院| 激情深爱综合网| 亚洲人操亚洲人| 襙比视频| 另类少妇人与禽zOZZ0性伦| 99精品国产在热久久| 97丁香婷婷| 激情爱爱网站| 亚洲无码99| 亚洲乱啪| 99这里只有精品|v| 丁香五月激情啪啪啪啪| 色婷婷五月亚洲| 国产伦亲子伦亲子视频观看| 色9色| 97人人干| 五月色情婷婷开心五月色情| 亚洲成人在线播放| www.激情在线| www.夜夜| 久久婷五月综合色| 噼里啪啦完整版中文在线观看| 婷婷五月天最新综合你懂的| 激情图片五月天| 亚洲色涩视频| 五月丁香啪| 五月婷婷丁香五月亚洲色| 婷婷五月天伊人| 亚洲性爱干干| 大学生高潮无套内谢视频| 九九免费精品在线视频| 成人综合网站| 五月天色导航| 丁香五月停停av| 婷婷五月色情天| 狠狠久综合| 操逼巨乳91| 五月丁香啪啪综合| 欧美在线视频99| 美女五月天婷婷| 亚洲愉拍99热成人精品| 亚州精品久久久久AV无码| 红桃91人妻爽人妻爽| 色色色综合色| 91久久九久久九久久九久久九久久| 日本色天堂| 婷婷在线播放av| 成AV人片一区二区三区久久| 天天干天天操天天上| 99re资源在线视频导航| 欧美成人色婷婷| 五月婷婷深深爱| 九九精品免费| 亚州日本欧州韩美高青高潮一| 中文AV网站| 伊人五月综合网| 久大香蕉| 久久99久久99久久99人受| 天天操天天日天天爽| 婷婷丁香黄色| 五月激情综合网| 婷婷国产日本欧美| 99视频综合网| 91九色|疯狂|高潮|对白|| 色色自拍视频网站| 激情久久伊人| 丁香六月激情| 成久综合视频| 久久曰9| 五月丁香激| 99r久久这里只有精品| 伊人婷婷福利网| 182TV大香蕉| 精品网站99| 久久99精品久| 九九热精品| 婷婷五月综合啪| 丁香五月婷婷av| 国产午夜精品一区二区三区嫩草| 伊人啪啪网| 五月丁香久久| 红桃91人妻爽人妻爽| 99ri在线观看视频| 久热这里只有精品视频6| 丁香五月AV| 夫妇交换刺激做爰| 狠狠色五月| 在线综合婷婷| 久久性刺激| 熟惀91九色在线| 超碰男人色| 丝袜大香蕉| 高清无码入口| 天天草婷婷五月| 色婷婷久久综| 丁香五月婷婷色综合| 操97| 亚洲欧美国产高清vA在线播放| 精品久久99码| 97干在线免费| 国产激情综合| 日日干日日| 婷婷激情区| 色五月激情网| 九九综合图片网| 婷婷成人基地| 99ri在线视频| 色偷偷色婷婷| 五月丁香在线国产| 五月婷婷基地| 婷色视频| www.seqingwuyuetian| 激情综合网五月激情| www.com五月天| 五月天婷婷色小说| 淫荡家庭AV| 五月丁香婷婷综合视频| 国产亚洲AV人片在线| 大香蕉综合| 中文字幕AV在线播放| 丁香五月婷久久| 色的色综合| 九九色中文| 久9精品| 久久天堂女人| 中文字幕中文有码在线| 99热这里只有精品9| 97在线刺激| 久久久久er热| 丁香婷婷色五月天| 四色 爱 婷婷 精品 亚洲 五月天| 久久久激情视频| 五月婷婷日| 日韩av高清| 五月丁香本色在线观看| 精品一区二区三区免费毛片爱| 91超碰在线观看| 五月综合久久| 五月叮香啪| 五月草影视| 天天狠狠色噜噜| 婷婷五月丁香综合激情小说| 婷婷五月激情网站| 五月天激情四射| 国产在线黄色| 五月丁香花视频| 天堂综合久久| 91久久免费| 婷婷五月乱交换| 九九色中文| 亚洲丁香婷婷| www,setingting| 久久精品凹凸分类| 成人AV在线中文版| 国产无遮挡又黄又爽免费网站| 色区久久| 五月婷婷六月丁香| 北京熟妇搡BBBB搡BBBB| 五月丁香六月| 亚洲乱码精品久久久久..| 99综合免费视频| 在线不卡视频| 五月天激情小说网| 日日影院 | 欧美特大片黄| 欧美日本不卡黄色片| 人人操婷婷| 97碰碰人人视频| 精品亚洲日韩99欧美片| 激情图片99| 国产ava| 五月婷婷综合激情网| 99色综合| 婷婷九月激情| 丁香五月天激情AV| 99热的无码| 五月丁香婷婷综合视频| 五月激情天| 日韩狠狠色| 亚洲色网络| 国产精品一区在线观看你懂的| 欧美内射AAAAAAXXXXX| 成人免费黄色短视频| 婷婷五月丁香性爱| 2022人人操人人看| 五月婷婷啪啪网| 久热只有这里有精品| 成人必爱视| 婷婷射图五月天| 狠狠色综合精品视频在线| 婷婷五月天天爽| 99热伊人| 亚洲欧洲中文日韩久久AV乱码| 色五月,com| 亚州激情九月| 91超碰九色| 婷婷六月丁香激情综合| 涩涩涩.com| 婷婷五月综合啪| 五月丁香婷婷综合网| 极品人妻VIDEOSSS人妻| 99精彩视频在线观看| 久久婷婷内射| 婷婷久久午夜网| 丁香婷在线| 五月综合激情| 五月激情天| 91丨九色丨国产打屁股网站| aaa久久| 丁香婷婷免费| 亚洲情欲| 狠狠色成人影片| 中文字幕视频色婷婷| 亚洲成人网站在线| 日韩一区二区在线播放| 婷婷五月天激情丁香| 五月丁香激情四射| 狠狠精品干练久久久无码中文字幕 | 99热精品在线在线| 婷婷五月在线| 亚洲激情综合| 精品久久久久久久人妻| 九热视频在线精品15| 1000部毛片A片免费观看| av五月丁香| 婷婷免费精品视频| 婷婷五月天激情丁香| 中文字幕在线观看视频www| 日韩AV免费电影在线播放| 99视频网址| 丁香五月婷婷六月婷| 97五月天| 欧美日本日韩| 久久久婷婷五月亚洲97号色| 五月婷婷久久综合| 五月婷婷激情性爱| 激情5月婷婷| 国产激情久久久| av操一操| 色色婷婷丁香| 丁香婷婷性久久| www.狠狠操.con| 淫视馆AV在线| 99青青草99| 国产韩日亚洲美州欧亚综合在线| 色情综合网| 99久久婷婷国产综合| 可以看的AV网站| 婷婷淫淫狠狠六月| 五月激情小说| 91色在线| 婷婷五月骚厕所| 激情六月天| 九月婷婷激情| 国产九月婷婷| 五月丁香综合网色欲| 亚洲午夜一区二区| 性爱激情五月| 久久五月天大美女| 91久久九久久九久久九久久九久久| 激情内射人妻1区2区3区| 一区二区三区视频| 五月天激情丁香| 91夫妻网站九色| 思思99精品视频| 日夜操B| 九热电影av| 国产精品色一哟哟| 国产婷婷久久| 亚洲精品无码久久| 色色色丁香| 99色丁香婷婷综合网| 婷婷综合网| 久草婷| 99爱视频| 99∨VTV| 操操国产| 99精彩视频| 九月性爱网| 五月久久亚洲| 日本三级大片| 少妇高潮一区二区三区99欧美| 狠狠搞狠狠操| 在线免费观看激情视频| 久香草视频在线观看| 亚洲精品无码一区二区| 五月婷成人| 狠狠色综合网| 日本久久婷婷| 国产精品美女| 99人人操| 这里只有精品免费| 97碰91| 激情五月天无人视频在线| 国产99久| 99er6热在线观看精品6| 91人久| 玖玖九九99| 777米奇影视第四色| 五月婷伊人| 粉嫩AV久久一区二区三区| 狠狠色五月激情| 色婷婷在线视频| 婷婷,五月天,丁香,第一| 婷婷激情四射| 99日韩| 色婷婷小说网| 国产99美少妇| 久久综合九九| 色久在| av亚洲国产小电影| 最新精品视频99| 免费无码毛片一区二区A片| 我要色综合五月婷婷| 亚洲精品V天堂中文字幕| 亚洲激情视频网| 大香蕉久久综合网| 99热在线观看精品免费| 99re在线免费视频| 操骚货在线| 国产精品日日躁夜夜躁| 亚洲天堂爱爱| 中文字幕成人| 亚洲欧美成人在线| 三区激情四射av| 清纯唯美 激情四射| 色偷偷狠狠| 先锋男人91资源| 夜色综合网| 色五月激情网| 丁香六月激情| 蜜臀av在线成人电影| 久久精99| 日韩黄色电影| 91九色精品熟女内射| 激情开心五月天| 丁香五月综合图片在线观看| 国内精品99| 97色色色| 五月天激情图片| 国产免费一区二区在线A片视频| 五月亭亭六月激情| 亚洲成人av中文| 丁香五月激情网| 婷婷久热| 久久人妻熟女一区二区| 开心婷婷五月中文字幕组| 色色婷婷色色| 亚洲色啪| 先锋男人99资源| 9精品一区| 亚洲激情综合| 手机激情网| 99日本视频| 人人干av| 激情五月婷婷中文字幕| 亚洲九九婷婷| 五月丁香啪啪网| 伊人狠狠干| 91.com男女操| BBWCUCKOLD精品熟妇| 婷婷色五月丁香六月欧美啪| 96丁香六月婷婷蜜桃综合久久| 天天操夜夜操| 可以直接看的av| 婷婷丁香六月综合激情站| WW婷婷五月天com| 九色无码| 天天色综合色色色色色。| 欧美碰碰碰| 综合色99| 蜘蛛女侠2003满天星免费观看| 久久永久网址| 亚洲AV日韩AV永久无码网站|