欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Atlas 300V 24G部署YOLOv5/YOLOv8全流程實(shí)戰(zhàn)指南

Atlas 300V 24G部署YOLOv5/YOLOv8全流程實(shí)戰(zhàn)指南 做AI推理這幾年我手里經(jīng)手過不少加速卡GPU、NPU、FPGA都折騰過。前陣子因?yàn)轫?xiàng)目需求認(rèn)真地把華為昇騰的Atlas 300V 24G摸了一遍還順手把YOLOv5/YOLOv8的模型完整部署了上去。之所以想寫這篇東西是因?yàn)槲野l(fā)現(xiàn)在社區(qū)里“atlas部署yolo”和“atlas 300v 24g 是運(yùn)算加速卡嗎”這類問題的搜索量特別高但真正把從硬件認(rèn)識(shí)、驅(qū)動(dòng)環(huán)境、模型轉(zhuǎn)換到推理調(diào)優(yōu)整條鏈路講清楚的文章少之又少很多人卡在第一步就不動(dòng)了。這篇文章我不想講太多PPT上的理論就從一個(gè)實(shí)際跑過項(xiàng)目的人角度把我踩過的坑、驗(yàn)證過的命令、試出來有效的配置全部攤開講給想做昇騰推理的同學(xué)一條能直接照著走的路。1. Atlas 300V 24G到底是個(gè)什么“加速卡”1.1 先回答熱搜它確實(shí)是運(yùn)算加速卡但和你想的可能不一樣先直接回答那個(gè)被問爛了的問題Atlas 300V 24G是運(yùn)算加速卡嗎答案是肯定的它是一張專門為AI推理設(shè)計(jì)的加速卡。但它和你印象里的“顯卡”完全是兩回事——它沒有顯示輸出接口你沒法給它接個(gè)顯示器打游戲它誕生出來的唯一目的就是把神經(jīng)網(wǎng)絡(luò)模型的計(jì)算跑得飛快。這顆卡的核心是昇騰310P系列處理器具體型號(hào)在部分文檔里也叫310P324G指的是板載內(nèi)存容量這個(gè)內(nèi)存不是用來存畫面的而是用來存放模型權(quán)重、中間特征圖和推理數(shù)據(jù)的。換算成大家熟悉的GPU語(yǔ)言它更像是“專門跑AI作業(yè)的協(xié)處理器”。在模型推理場(chǎng)景下它單卡能提供的INT8算力在百級(jí)TOPS左右具體數(shù)值跟頻率和功耗模式有關(guān)功耗卻控制得很低我記得標(biāo)稱大概在72W附近比動(dòng)輒三四百瓦的GPU溫和太多。很多朋友第一次拿到這卡會(huì)犯迷糊因?yàn)樗L(zhǎng)得太像一張顯卡了又帶散熱片又帶擋板。我在這里給你提個(gè)醒千萬別拿它當(dāng)顯卡用也別指望它能幫你做CUDA加速它的軟件棧是華為自己的一套CANN生態(tài)和CUDA不通用。想在上面跑東西所有的模型轉(zhuǎn)換、算子適配、推理調(diào)用都要圍繞昇騰的工具鏈來。1.2 它憑什么能跑YOLO硬件規(guī)格與算力定位部署YOLO這類目標(biāo)檢測(cè)模型本質(zhì)上就是把訓(xùn)練好的權(quán)重文件轉(zhuǎn)換成能在NPU上運(yùn)行的離線模型OM格式然后通過昇騰的推理接口調(diào)用硬件完成前向計(jì)算。Atlas 300V 24G在這個(gè)過程中的定位非常清晰它是一款高能效比的推理卡專攻“已經(jīng)訓(xùn)練好的模型”的加速而不是用來訓(xùn)練的。拿YOLOv5s舉例這個(gè)模型在GPU上用FP16跑一張圖大概也就幾毫秒到十幾毫秒在Atlas 300V上如果配置得當(dāng)單張圖的推理時(shí)間同樣可以做到個(gè)位數(shù)毫秒級(jí)別。你可能覺得這不就是“能跑”嘛沒什么稀奇。但真正讓它有價(jià)值的是批量處理能力和功耗比在視頻流分析場(chǎng)景里一路視頻按25幀算每秒需要處理25張圖一張卡同時(shí)處理8路、16路視頻流時(shí)它能穩(wěn)定壓住幀率而且整卡功耗遠(yuǎn)低于同規(guī)格GPU。這個(gè)優(yōu)勢(shì)在機(jī)房部署和邊緣服務(wù)器里非常值錢。另外要澄清一個(gè)概念A(yù)tlas 300V 24G這個(gè)“24G”并不是越大越好它主要用來容納更大的模型和更大的batch。比如你想一次推理塞進(jìn)去8張甚至16張圖或者跑YOLOv8x這種大模型內(nèi)存需求就會(huì)明顯上漲。實(shí)際項(xiàng)目中我建議先確認(rèn)模型大小和batch策略再?zèng)Q定要不要上24G版本。如果只是跑個(gè)YOLOv5s單batch推理其實(shí)8G甚至更小內(nèi)存的型號(hào)也能勝任沒必要為了“大內(nèi)存”多花錢。但如果你要做多路視頻流并發(fā)推理24G的余量會(huì)讓人從容很多。2. 部署YOLO前的準(zhǔn)備工作把環(huán)境一次配到位2.1 硬件安裝與驅(qū)動(dòng)檢查拿到卡后第一件事Atlas 300V是一張PCIe插槽的卡安裝過程和裝顯卡基本一樣。但有幾個(gè)細(xì)節(jié)我提醒一下第一供電一定要接好。部分型號(hào)的300V除了PCIe插槽供電外還需要外接一個(gè)8pin或者6pin的輔助供電口。有些同學(xué)裝機(jī)時(shí)圖省事不接外電結(jié)果上電后系統(tǒng)死活識(shí)別不到卡查了半天發(fā)現(xiàn)是供電沒插。這問題我見過不止一次強(qiáng)烈建議你裝卡之前先看清楚卡上的供電接口類型。第二驅(qū)動(dòng)和固件版本要匹配。從官網(wǎng)下載對(duì)應(yīng)型號(hào)的CANN工具包時(shí)里面通常會(huì)包含NPU驅(qū)動(dòng)和固件。我踩過的坑是先裝了舊版驅(qū)動(dòng)再裝新版CANN結(jié)果在推理初始化時(shí)報(bào)設(shè)備不支持的錯(cuò)。后來老老實(shí)實(shí)按官方要求把固件、驅(qū)動(dòng)、CANN三者版本對(duì)齊才解決。裝完驅(qū)動(dòng)后可以用npu-smi info命令查看卡的狀態(tài)這個(gè)命令和NVIDIA的nvidia-smi很像能看到卡的溫度、內(nèi)存占用、算力利用率等關(guān)鍵信息。npu-smi info正常狀態(tài)下你能看到類似這樣的輸出里面有具體的芯片型號(hào)“Ascend 310P”和內(nèi)存大小如果這里顯示不出來說明驅(qū)動(dòng)或硬件連接有問題先別急著往下走把環(huán)境整干凈再說。2.2 軟件棧選型CANN、MindSpore Lite還是自定義算子路徑Atlas卡上的軟件棧不像CUDA那樣只有一條路它其實(shí)給了你幾種選擇。我用過之后給你梳理一下CANN AscendCL這是最底層、最可控的方案。AscendCLACL是C語(yǔ)言/Python的推理接口類似CUDA的Runtime API。你直接調(diào)用aclrt_malloc、aclmdlExecute這類接口自己管理內(nèi)存、排隊(duì)、同步。優(yōu)點(diǎn)是靈活性最高性能潛力最大缺點(diǎn)是你得像寫CUDA一樣注意資源的管理。這是我最推薦的方式后面我也會(huì)重點(diǎn)講這條路徑。MindSpore Lite如果你訓(xùn)練模型用的是MindSpore框架轉(zhuǎn)換和部署會(huì)比較順滑。但如果你手里是PyTorch的權(quán)重反而多一層轉(zhuǎn)換步驟沒太大優(yōu)勢(shì)。第三方推理框架比如通過OpenCV的DNN模塊配合CANN后端或者用ONNX Runtime的昇騰EPExecution Provider。這種方式上手最快幾行代碼就能跑起來但對(duì)算子的控制力弱性能上限也有限。我建議生產(chǎn)環(huán)境還是走AscendCL。我在實(shí)際項(xiàng)目中選了CANN AscendCL原因很簡(jiǎn)單部署YOLO這種模型后處理里NMS非極大值抑制和輸出解析占的時(shí)間不少如果全丟給框架的黑盒處理出了問題很難定位。自己用ACL把推理主鏈路管起來后處理在CPU上自己寫出了性能問題我能明確知道瓶頸在NPU還是在后處理排查起來清晰很多。提示第一次接觸昇騰的同學(xué)我建議先把CANN開發(fā)套件里的sample跑通一個(gè)比如官方自帶的resnet50推理樣例。先不管你的YOLO模型這一步是為了驗(yàn)證驅(qū)動(dòng)、固件、CANN三方環(huán)境是好的。樣例能跑通再往上加復(fù)雜度。3. 模型遷移鏈路從PyTorch權(quán)重到OM離線模型3.1 導(dǎo)出ONNX的三個(gè)關(guān)鍵點(diǎn)在Atlas上跑YOLO最繞不開的一步就是模型轉(zhuǎn)換。昇騰的NPU不認(rèn)PyTorch的權(quán)重文件它只認(rèn)OM格式的離線模型。所以整個(gè)遷移鏈路通常是PyTorch權(quán)重 → ONNX → OM。這個(gè)過程中ONNX導(dǎo)出是第一個(gè)大坑。我基于YOLOv5和YOLOv8的實(shí)際經(jīng)驗(yàn)給你總結(jié)三個(gè)關(guān)鍵點(diǎn)第一輸入尺寸一定要固定。導(dǎo)出ONNX時(shí)建議把輸入尺寸定死在模型推理時(shí)實(shí)際使用的尺寸比如640x640。雖然ONNX協(xié)議支持動(dòng)態(tài)尺寸但昇騰的ATC轉(zhuǎn)換對(duì)動(dòng)態(tài)shape支持有限動(dòng)態(tài)尺寸不僅會(huì)拉低性能還容易在轉(zhuǎn)換時(shí)報(bào)錯(cuò)。我在項(xiàng)目里直接固定成1x3x640x640省了無數(shù)麻煩。如果你確實(shí)需要多尺寸推理你可以轉(zhuǎn)換多個(gè)不同尺寸的OM模型運(yùn)行時(shí)根據(jù)輸入圖尺寸動(dòng)態(tài)選擇。第二后處理算子不要一股腦塞進(jìn)模型里。YOLO的檢測(cè)頭輸出通常包括目標(biāo)框坐標(biāo)、置信度、類別概率后續(xù)還要經(jīng)過解碼和NMS。有些同學(xué)圖省事把NMS也寫進(jìn)模型網(wǎng)絡(luò)里想著NPU能一并處理。但昇騰對(duì)NMS這類動(dòng)態(tài)算子的支持很有限強(qiáng)行塞進(jìn)去輕則性能變差重則轉(zhuǎn)換失敗。我建議只保留模型主干和檢測(cè)頭的原始輸出把解碼和NMS放到模型外部的CPU后處理里。第三用torch.onnx.export時(shí)注意算子版本。我遇到過導(dǎo)出的ONNX里某些算子版本過新ATC不認(rèn)的情況。通常是設(shè)置opset_version11或12就夠用了沒必要追求最新版。另外導(dǎo)出后最好用onnxsim等工具對(duì)圖做一次簡(jiǎn)化去掉一些冗余的Transpose、ReshapeATC轉(zhuǎn)換時(shí)成功率會(huì)明顯提高。下面是我導(dǎo)出YOLOv5 ONNX時(shí)常用的一段代碼關(guān)鍵部分import torch from models.experimental import attempt_load model attempt_load(yolov5s.pt, map_locationcpu) model.eval() dummy_input torch.randn(1, 3, 640, 640) torch.onnx.export( model, dummy_input, yolov5s.onnx, opset_version11, input_names[images], output_names[output], dynamic_axesNone ) print(export done)導(dǎo)出后我會(huì)立刻用onnxruntime跑一遍確認(rèn)輸出結(jié)果和PyTorch原始推理一致再進(jìn)入ATC轉(zhuǎn)換。這一步能提前暴露很多算子兼容性問題。3.2 ATC轉(zhuǎn)換實(shí)戰(zhàn)命令、AIPP配置與常見報(bào)錯(cuò)拿到ONNX模型后下一步就是用ATC工具把它轉(zhuǎn)成OM。ATC工具在CANN安裝目錄下的/usr/local/Ascend/ascend-toolkit/latest/bin/atc第一次用要先確認(rèn)它在你系統(tǒng)的PATH里。我最常用的轉(zhuǎn)換命令長(zhǎng)這樣atc --modelyolov5s.onnx \ --framework5 \ --outputyolov5s_bs1 \ --input_shapeimages:1,3,640,640 \ --soc_versionAscend310P3 \ --insert_op_confaipp.cfg \ --output_typeFP32這里幾個(gè)參數(shù)我逐個(gè)解釋--framework5表示輸入是ONNX格式這是ATC的固定寫法。--output是輸出OM文件的前綴名。--input_shape需要和你導(dǎo)出ONNX時(shí)完全一致不然會(huì)報(bào)維度不匹配。--soc_version要注意Atlas 300V對(duì)應(yīng)的是Ascend310P3別和Atlas 300I的Ascend310P1弄混了選錯(cuò)會(huì)直接報(bào)錯(cuò)。--insert_op_conf是AIPP配置文件這個(gè)非常關(guān)鍵我單獨(dú)說一下。AIPPAI Preprocessing是昇騰在硬件上做預(yù)處理的功能可以把圖像縮放、減均值、除方差、色域轉(zhuǎn)換這些操作從CPU挪到NPU上完成。很多人在轉(zhuǎn)換時(shí)忽略這一步把預(yù)處理全部留在CPU上用OpenCV做結(jié)果推理速度被CPU預(yù)處理拖慢不少。我建議把所有能下沉的預(yù)處理都配置進(jìn)AIPP。下面是一個(gè)YOLOv5彩色圖輸入的典型AIPP配置aipp_op { aipp_mode: static input_format: RGB888_U8 src_image_size_w: 640 src_image_size_h: 640 crop: false mean_chn_0: 0 mean_chn_1: 0 mean_chn_2: 0 var_reci_chn_0: 0.003921569 var_reci_chn_1: 0.003921569 var_reci_chn_2: 0.003921569 }這里input_format: RGB888_U8告訴AIPP輸入是RGB三通道8位圖模型訓(xùn)練時(shí)的預(yù)處理是標(biāo)準(zhǔn)化到0~1所以mean全為0var_reci是1/255約等于0.00392。如果你訓(xùn)練時(shí)用的是歸一化均值±標(biāo)準(zhǔn)差還需要按實(shí)際值配置。AIPP這個(gè)設(shè)計(jì)我覺得比GPU上手動(dòng)寫預(yù)處理要優(yōu)雅不少一旦配好推理時(shí)輸入就可以直接丟原始圖像數(shù)據(jù)進(jìn)去NPU自己完成resize和歸一化。轉(zhuǎn)換成功后你會(huì)在輸出目錄里看到y(tǒng)olov5s_bs1.om文件。可以用omg自帶的工具查看模型信息或者直接進(jìn)入下一步用一個(gè)小測(cè)試腳本來驗(yàn)證OM能不能正確推理。常見報(bào)錯(cuò)我先列幾個(gè)E10001: Input shape is inconsistent輸入shape沒對(duì)齊檢查ATC參數(shù)里的--input_shape。E10002: Unsupported op type xxx模型里有ATC不支持的算子。這時(shí)優(yōu)先考慮回源頭修改模型把特殊算子替換成通用算子。E19999: Inner Error這種比較頭疼通常是CANN版本和模型算子兼容性問題可以先查CANN的版本日志再考慮升級(jí)或降級(jí)CANN版本。4. 基于AscendCL的推理部署寫一個(gè)能跑的YOLO推理程序4.1 初始化與資源管理模型轉(zhuǎn)換好了接下來就是寫推理程序。這里我走的是CANN AscendCL路徑Python版本用起來也很方便C語(yǔ)言適合性能極致要求的場(chǎng)景我開發(fā)時(shí)先用Python快速驗(yàn)證線上再優(yōu)化C。這里我介紹Python版本的流程因?yàn)槟闩芡ㄟ壿嫼笤俑某蒀只是API層面的替換。推理程序的第一步是初始化ACL環(huán)境import acl # 初始化 ret acl.init() assert ret 0 # 設(shè)置推理設(shè)備 ret acl.rt.set_device(0) assert ret 0 # 創(chuàng)建上下文 context, ret acl.rt.create_context(0) assert ret 0這里有幾個(gè)容易犯的錯(cuò)誤第一每個(gè)進(jìn)程必須且只能調(diào)用一次acl.init()多次調(diào)用會(huì)報(bào)重復(fù)初始化的錯(cuò)。第二acl.rt.set_device(0)里的0是設(shè)備ID如果你機(jī)器上插了多張Atlas卡要先確認(rèn)你的模型在哪張卡上跑??梢杂胣pu-smi info查看卡的編號(hào)。第三上下文Context一定要?jiǎng)?chuàng)建并且后續(xù)所有推理調(diào)用都必須在同一個(gè)上下文中執(zhí)行。這就像CUDA里的context一樣搞錯(cuò)了會(huì)莫名其妙地報(bào)空指針錯(cuò)誤。初始化完成后加載OM模型model_path byolov5s_bs1.om # 加載模型 model_id, ret acl.mdl.load_from_file(model_path) assert ret 0 # 獲取模型描述 model_desc acl.mdl.create_desc() ret acl.mdl.get_desc(model_desc, model_id)模型加載成功后你就拿到了model_id后續(xù)所有推理執(zhí)行都靠它。同時(shí)我強(qiáng)烈建議你調(diào)用acl.mdl.get_desc獲取模型的輸入輸出信息它會(huì)告訴你模型期望的輸入大小、輸出Tensor數(shù)量、每個(gè)Tensor的shape和數(shù)據(jù)類型。這些信息在后處理階段非常重要。4.2 推理主流程拆解YOLO推理的完整流程是讀圖 → 預(yù)處理 → 拷貝到設(shè)備內(nèi)存 → 推理 → 從設(shè)備內(nèi)存取回輸出 → 后處理。在ACL環(huán)境下每一步都有對(duì)應(yīng)的API。讀圖和預(yù)處理我用OpenCV完成但注意因?yàn)锳IPP已經(jīng)把resize和歸一化下沉到NPU了所以CPU端只需要把圖像數(shù)據(jù)轉(zhuǎn)成RGB排列并resize到640x640不需要再做歸一化。然后申請(qǐng)?jiān)O(shè)備內(nèi)存并拷貝數(shù)據(jù)# 假設(shè)image是resize后的RGB圖像連續(xù)內(nèi)存 image_bytes image.tobytes() # 申請(qǐng)?jiān)O(shè)備內(nèi)存 device_data, ret acl.rt.malloc(640 * 640 * 3, 2) # 2是內(nèi)存對(duì)齊 # 從主機(jī)內(nèi)存拷貝到設(shè)備內(nèi)存 ret acl.rt.memcpy(device_data, 640 * 640 * 3, image_bytes, 640 * 640 * 3, acl.aclrt_memcpy_kind.aclrt_memcpy_kind_host_to_device)注意acl.rt.malloc的第二個(gè)參數(shù)是內(nèi)存對(duì)齊大小通常傳2即64字節(jié)對(duì)齊也可以傳32具體看官方要求。拷貝方式一定要是host_to_device方向反了你會(huì)在推理時(shí)得到一堆亂碼。執(zhí)行推理這一步很關(guān)鍵ACL支持同步和異步兩種方式。同步接口acl.mdl.execute簡(jiǎn)單粗暴調(diào)用完就阻塞直到推理結(jié)束。異步接口acl.mdl.execute_async需要配合stream使用適合高吞吐場(chǎng)景。我開發(fā)階段先用同步接口驗(yàn)證正確性性能調(diào)優(yōu)時(shí)才切異步。# 同步推理 ret acl.mdl.execute(model_id, [device_data], # 輸入設(shè)備內(nèi)存指針列表 [output_size], # 輸出大小列表 [output_data], # 輸出設(shè)備內(nèi)存指針列表 [output_size]) # 輸出大小列表執(zhí)行完成后把輸出數(shù)據(jù)拷貝回主機(jī)內(nèi)存output_data_host, ret acl.rt.malloc_host(output_size) ret acl.rt.memcpy(output_data_host, output_size, output_data, output_size, acl.aclrt_memcpy_kind.aclrt_memcpy_kind_device_to_host)這里要提醒一個(gè)我踩過的坑輸出Tensor在設(shè)備內(nèi)存里是連續(xù)排列的但不是所有模型輸出順序都跟你想的一樣。一定要用前面get_desc拿到的輸出shape信息去解析數(shù)據(jù)別想當(dāng)然地認(rèn)為第一個(gè)輸出就是坐標(biāo)。我遇到過YOLOv8轉(zhuǎn)出來的ONNX輸出順序和YOLOv5不一樣結(jié)果解析錯(cuò)亂畫出來的框五花八門。4.3 輸出解析與后處理輸出數(shù)據(jù)拷回主機(jī)內(nèi)存后就進(jìn)入CPU后處理階段。YOLOv5的原始輸出是[batch, 25200, 85]的Tensor其中25200是三個(gè)尺度80x80、40x40、20x20的anchor總數(shù)85是[cx, cy, w, h, obj_conf, class1_conf, class2_conf, ...]。而YOLOv8的輸出結(jié)構(gòu)稍有不同它用的是解耦頭shape通常是[batch, 84, 8400]你需要先做一次轉(zhuǎn)置才能按檢測(cè)框的方式解析。后處理的任務(wù)包括解碼把模型的原始輸出轉(zhuǎn)成檢測(cè)框坐標(biāo)和置信度。置信度過濾低于閾值的框直接丟棄。NMS對(duì)重疊的框做非極大值抑制。坐標(biāo)映射把640x640坐標(biāo)系映射回原始圖像的坐標(biāo)系。這部分我用純Python實(shí)現(xiàn)雖然效率比不上C但邏輯清晰方便調(diào)參。等確認(rèn)模型輸出正確、NMS閾值合理后再把這部分代碼改成C或者用numpy向量化加速。注意NMS的閾值conf_thres和iou_thres直接影響檢測(cè)效果。我經(jīng)驗(yàn)上建議置信度閾值設(shè)在0.25左右IOU閾值設(shè)在0.45左右這是YOLOv5倉(cāng)庫(kù)的默認(rèn)配置在實(shí)際場(chǎng)景里平衡得比較好。如果誤檢多就調(diào)高置信度閾值如果漏檢多就調(diào)低。5. 性能調(diào)優(yōu)與踩坑實(shí)錄5.1 三個(gè)直接影響吞吐量的配置模型在Atlas上跑通只是第一步真正讓性能飛起來還得靠調(diào)優(yōu)。我實(shí)際調(diào)優(yōu)后發(fā)現(xiàn)下面這三個(gè)配置對(duì)吞吐量的影響最大第一Batch Size。ATC轉(zhuǎn)換時(shí)可以把--input_shape設(shè)成images:8,3,640,640一次推理同時(shí)處理8張圖。Batch越大NPU的利用率越高8路視頻并發(fā)推理時(shí)Batch8通常是性價(jià)比最高的選擇。但要注意Batch太大內(nèi)存會(huì)爆24G內(nèi)存在Batch16時(shí)建議先估算模型大小再?zèng)Q定。第二Stream與異步推理。acl.mdl.execute_async配合多Stream可以把“數(shù)據(jù)拷貝”和“NPU計(jì)算”重疊起來。我的經(jīng)驗(yàn)是先開2~4個(gè)Stream每個(gè)Stream內(nèi)循環(huán)推理即在一個(gè)Stream里前一個(gè)batch還在NPU上算GPU已經(jīng)可以拷貝下一個(gè)batch的數(shù)據(jù)了。這個(gè)流水線設(shè)計(jì)能讓卡一直處在“忙”的狀態(tài)而不是等數(shù)據(jù)拷完了才開始計(jì)算。第三AIPP盡量承接預(yù)處理。我在前面反復(fù)強(qiáng)調(diào)AIPP是因?yàn)閷?shí)測(cè)下來它的收益非常明顯。YOLO推理一張圖CPU預(yù)處理耗時(shí)約2~3毫秒而AIPP把resize和歸一化下沉到NPU后這部分時(shí)間幾乎可以忽略。如果你的部署場(chǎng)景是實(shí)時(shí)視頻流AIPP是必須打開的功能不然你的CPU會(huì)先被預(yù)處理拖垮。第四補(bǔ)充輸出內(nèi)存復(fù)用。不要頻繁申請(qǐng)釋放設(shè)備內(nèi)存。我的做法是在程序啟動(dòng)時(shí)一次性申請(qǐng)好輸入輸出設(shè)備內(nèi)存整個(gè)生命周期里反復(fù)復(fù)用。內(nèi)存分配釋放是很貴的操作尤其在4K視頻流場(chǎng)景下申請(qǐng)釋放頻率一高性能立刻掉下去。5.2 常見報(bào)錯(cuò)和排查思路我在部署過程中遇到不少問題挑幾個(gè)有代表性的整理成表格給后來的人一個(gè)排查方向現(xiàn)象可能原因排查與解決辦法acl.init返回非0驅(qū)動(dòng)未安裝或CANN環(huán)境變量未配置檢查npu-smi info確認(rèn)/usr/local/Ascend路徑在當(dāng)前環(huán)境變量中acl.mdl.load_from_file報(bào)文件不存在OM模型路徑錯(cuò)誤或模型未轉(zhuǎn)換成功確認(rèn)OM路徑用ls檢查文件重新跑ATC轉(zhuǎn)換推理結(jié)果全零或全錯(cuò)輸入數(shù)據(jù)方向拷貝錯(cuò)誤預(yù)處理與AIPP不一致檢查memcpy方向核對(duì)AIPP的input_format是否與輸入圖像一致推理時(shí)報(bào)內(nèi)存不足設(shè)備內(nèi)存申請(qǐng)過大batch過大減小batch用acl.rt.mem_info查看設(shè)備剩余內(nèi)存異步推理結(jié)果不刷新未調(diào)用acl.rt.synchronize_stream在execute_async后調(diào)用acl.rt.synchronize_stream(stream)同步ATC轉(zhuǎn)換報(bào)Unsupported opONNX中的算子超出支持范圍回源頭修改模型優(yōu)化ONNX圖適當(dāng)升級(jí)CANN版本memcpy數(shù)據(jù)錯(cuò)位輸出shape判斷錯(cuò)誤用acl.mdl.get_desc打印所有輸入輸出信息對(duì)比實(shí)際數(shù)據(jù)維度另外排查問題是還有一個(gè)經(jīng)驗(yàn)想分享CANN的日志系統(tǒng)默認(rèn)是關(guān)閉的但出問題時(shí)你真的需要它。在運(yùn)行推理程序前可以先設(shè)置環(huán)境變量ASCEND_GLOBAL_LOG_LEVEL1開啟info級(jí)日志ASCEND_SLOG_PRINT_TO_STDOUT1把日志打到終端。這樣能很直觀地看到ACL初始化、模型加載、每層推理的耗時(shí)和可能的報(bào)錯(cuò)比瞎猜高效得多。調(diào)完后再把日志級(jí)別設(shè)回去因?yàn)槿罩颈旧硪矔?huì)拖慢推理速度。還有一個(gè)小技巧用npu-smi info監(jiān)控卡的溫度和利用率。如果利用率一直上不去而CPU占用很高大概率是預(yù)處理或后處理在拖后腿如果利用率很高但吞吐量上不去可能是batch太小或者stream數(shù)量不夠。性能調(diào)優(yōu)本質(zhì)上就是在找系統(tǒng)的“瓶頸點(diǎn)”找到瓶頸再針對(duì)性優(yōu)化。最后的最后我再分享一點(diǎn)個(gè)人體會(huì)在Atlas上部署YOLO最容易被低估的其實(shí)是模型轉(zhuǎn)換這一步。很多人覺得PyTorch模型能跑就萬事大吉結(jié)果卡在ATC轉(zhuǎn)換報(bào)錯(cuò)上反反復(fù)復(fù)修改模型結(jié)構(gòu)、算子版本反而花掉整個(gè)項(xiàng)目一半的時(shí)間。我的建議是轉(zhuǎn)換之前先小規(guī)模驗(yàn)證ONNX的算子兼容性把能簡(jiǎn)化的結(jié)構(gòu)在導(dǎo)出階段就簡(jiǎn)化掉不要在轉(zhuǎn)換報(bào)錯(cuò)后再回頭改模型那樣效率太低了。Atlas這套工具鏈確實(shí)有它的學(xué)習(xí)門檻但一旦把環(huán)境配順、把鏈路跑通它的穩(wěn)定性、功耗和成本優(yōu)勢(shì)會(huì)非常突出。希望這篇文章能讓你少走一些彎路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷五月天AV在线| 久热9| 激情综合网五月天| 丁香五月综合| 五月天丁香婷婷网| 久久人人九| 操碰99| 99热99成人| 五月丁香激情综合欧美| 天天草天天爽| 国产精产国品一二三在观看| 九月丁香八月婷婷加勒比| 97超碰99热99| 丁香婷婷网| 五月丁香久久综合| 五月丁香六月婷婷的女人| 五月丁香婷婷AV| 五月天啪啪视频| 激情综合五月| 婷婷不卡基地| 久久狠狠欧美| 五月天婷婷在线播放| 色域五月婷婷丁香| 蜜臀AV在线观看| 丁香五月激情啪啪啪啪| 久操无码| 日本va欧美va欧美va| 这里只有精品视频在线| 亚洲色色色| 97人妻超级碰碰碰碰碰| 婷婷五月天堂| 99热这里只有免费精品| 亚洲另类在线观看| av激情在线| 婷婷 久综合| 这里只有精彩视| 九九热视频99| 1024AV视频| 久久久精品AV| 黄色激情五月天| 久久久五月天| 婷久久高清| 最新av在线观看| 久婷婷久草| 99热在线观看免费精品| 超碰免费成人网站| 婷婷五月色播网| 五月丁香婷婷成人伊人网| 色婷婷狠狠| 色综合五月天| 五月丁香花激情综合网| 色五月婷婷婷婷| 亚洲精品影视| 五月婷婷亚洲色图| 午夜婷婷六月天| 久久婷婷热| 丁香五月天AV在线 | 色婷婷影院| 91天堂网综合| 婷婷五月综合视频| 亚洲爆乳无码精品AAA片蜜桃| 婷婷丁香五月天影院 | www.9色色色| 第四色激情网| 色色色色色色色色色色色色色97| 国内精品免费一区二区2009| 丁香五月色| 色五月天成人| 丁香五月天91| 婷婷五月天影视| 久婷| 国产视频福利| 亚洲热热视频| 一本狠婷婷综合| 色五月开心婷婷| 人妻久久久| 性爱网五月婷婷| 2015好吊操| 五月天啪啪啪| 亚洲综合欧美色丁香婷婷888月图片| 五月天开心成人网| 色婷五月| 日本a片网址| 天天综合色| 久99久视频精品| 欧美va亚洲va| 99九九玖玖| 无码一区二区三区四区五区91c| 99这里的视频都是精品| 丁香婷婷色五月| 五月丁香久久色| 亚洲婷婷六月天| 九九热九九| 丁香五月婷婷图片综合| 成人噜噜网| 青青草成人网| 美国天天操无码| 日本九九热| 国外亚洲成AV人片在线观看| 99热国内| 亚洲亚洲人成综合网络| 五月丁香婷婷婷婷综合网| 国产色色视频| 五月天婷婷黄色视频| 成人AV在线网站| 九色七七| 欧美成人A片AAA片在线播放| 丁香五月性| 婷婷五月综合网| 欧美精品A片一区在线观看| 国产色五月| 亚洲乱码日产精品BD| 五月丁香久久网| 99热只有| 亚洲无码成人性爰网| 丁香五月激情五月| 五月天六月天| 激情综合丁香六| 天天射综合网天天插| 日本欧美成人片AAAA| 色色色综合视频| 丁香五月综合| 五月婷婷这里都是精品| 99热亚州综合| 激情五月天开心| 色婷久| 能看的av网站| 欧美六月| 伊人久久婷婷| 永久的网站AAAA | 五月激情啪啪啪| 国产97色在线| 婷香五月网在线| 五月婷婷综合在线| 26uuuu精品一区二区| 少妇搡BBBB搡BBB搡毛茸茸| 婷婷色五月亚洲| 欧美槡BBBB槡BBB少妇| 丁香婷婷丁香五月欧美人| 图片区 小说区 区 亚洲五月| 婷婷五月丁香狠狠| www99精品在线观看| 国内一级精品| 99久久99九九九99九他书对| 亚洲丁香婷婷五月天综合色| 欧美69久成人做爰视频| 玖玖资源在线视频| 亚洲99综合| 五月丁香综合激情| 天天色天天干天天插| 男同91 | 婷婷九月在线| 五月丁香人妻| 性爱电影科技贸易有限公司| 玖玖激情网| 久久婷婷五月综合啪| 丁香伊人网| 人人爱人人草| 婷婷丁香五月天在线| 丁香婷婷婷婷十二月在线观看视频| 五月天色不卡| 另类色视频| se色婷婷视频| 九九色大香蕉| 色婷婷丁香五月丁香| 日本久久精品| 五月婷婷在线网站| 五月丁香毛片| 日产精品一线二线三线芒果 | 亚洲熟妇AV乱码在线观看| 色婷婷五月天激情久久| 久久久久久久五月| 激情五月天小说网| 婷婷精品综合| 91九色国产| 第九色区av天堂| 丁香五月婷婷色播艳门照| 吊色AV男人的天堂| 精品香蕉99久久久久网站| 99re热免费观看视频精品| 成人在线综合| 婷婷综合婷婷| 99综合视频一体| 丁香 婷婷五月| 伊人婷婷福利网| 丁香婷婷性久久| 在线五月婷婷小电影| 色五月亚洲| 婷婷五月天Av| 色色综合日韩| 欧美啪啪9| 九九亚洲| 色婷婷中文在线| 五月天婷婷爱丁香中文字幕| 婷婷性爱网| 天天爽夜夜操| AV操逼网| 婷婷开心综合人妻小说网址| 欧美性爱五月天| 五月丁香偷拍| 婷婷综合五月色播| 99色在线观看| 极品少妇婷婷五月| 欧美色综合天天久久综合精品| 天天精品视频免费观看| 婷丁香五月天| 亚洲激情网| 婷婷色网址| 伊人婷婷五月天| 不卡影院午夜理论片| 亚洲AV日韩无码| 色九四色| 婷婷五月天激情网| 久热九九| 成功精品影院| 天天操天天草天天草天天| 九九综舍久久| 免费无码毛片一区二区A片 | 成人精品一区二区三区四区五区| 九九热99视频在线| 亚洲AV永久无码影院黑人| 开心五月激情网| 开心激情婷婷| 久久性爱视频这里只有精品| 色婷婷国色天香综合| WWW,五月| 大香焦A∨| 亚洲精品大片| 伊人网大香| 蜜乳中文字| 欧美婷婷六月丁香综合色连续高潮抽搐| 久久久五月天婷婷成人网| 狠狠操狠狠| 91久久综合亚洲鲁鲁五月天| 欧美这里只有精品| 人妻无码精品一区| 丁香五月天天高清在线| 六月天六月婷| 婷婷丁香五月天色区| 亚洲中文字幕AV| 免费播放AV| 国产一级片| 天天日天天爽| 伊人色综合网| 婷婷五月丁香激情图片 | 日韩成人AV在线| 第四色婷婷日本| 99热这里只有精品13| 棕合影院色色| 中文字幕在线人妻| 激情婷婷综合| 伊人99热| 亚洲综合另类| 激情内射p| 人妻丰满精品一区二区A片| 婷婷五月综合久久中文字幕| 五月丁香六月婷婷欧美综合| 激情五月黄色| 这里只有视频精品| 狼人久草| 色色色97| 日日夜夜小色哥| www.婷婷五月天| 看逼中文字幕| 五月婷婷六月基地| 91无码色色| 97操碰| 激情综合网激情五月天| 丁香五月婷婷激情蜜桃| 激情五月天小说视频| 久久99精品九九久久久婷婷| 九九热在线99| 综合久久人妻| 亚洲综合色激情色五月| 五月婷婷亚洲综合网| 五月婷婷激情日本| 91视频综合网| 色婷婷在线视频| 日韩成人中文| 激情综合激情五月| 国产精品久久久爽爽爽麻豆色哟哟| 91vip在线观看| 婷婷五月色亚洲| 午夜天堂一区人妻| 《诡秘之主》在线观看| 青草激情综合| av九九| 激情综合九月| www.射伊蕉婷婷| 九九热在线99| 伊人久久丁香五月91| 丁香五月视频在线观看| 中文字幕丰满孑伦无码专区 | 五月丁香六月天| 丁香五月玖玖| 久久这里只| 狠狠色丁香乆乆| 五月丁香日本片| 婷婷激情小说| 国产精品久久99| 精品婷婷| 人人爽天天莫| 丁香五月婷婷色| 丁香五月婷婷深五月| 日本九九九九| 色色色色欧洲| www99热| 色五月天激情| 五月天激情丁香| 91超级碰碰| 欧美色色色| 黄色AV日韩| 亚洲啪啪啪啪| 五月天激情黄色小说在线观看| 99精品综合视频| 亚州激情九月| 欧美精品啪啪| 国产激情久久久| 99精品在线播放| 久久综合婷婷| 五月天开心网| 五月激情婷婷色| 婷婷五月天色色| 成人五月天色天堂| 99热 精品在线| 99视频精品8 | 99这里只有精品|v| 99久热这里有精品| 少妇AB又爽又紧无码网站 | 激情AV综合| 久久思思热视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 婷婷另类开心| 欧美A级成人婬片免费看理论| 五月久久亚洲| 欧美久人人| www,com,五月色色| 亚洲婷婷视频| 中文字幕在线观看视频www| 99热日韩这里只有精品| 亚洲字幕AV一区二区三区四区| 激情黄色小说五月天| 97碰碰九九视频| 丁香五月五月婷婷五月天激情四射| 青青操日本摸摸看看| 99热在线看| 丁香五月激情啪| 久久婷婷网| 啪啪综合网| 五月婷婷中文字幕| 色婷婷久久综合| 色香欲综合| 亚洲综合网激情小说| 六月婷婷综合网2| 久久成人天| 国产精品成人网站| 婷婷综合久久| 99只有这里是精品| 91久久综合亚洲噜噜成人在线| 久久婷婷综| 五月婷婷干干干| 国产欧美日韩综合精品一区二区| 99热无码首页| 久操人| 99热爱爱干干日| 五月丁香婷婷福利| 国产精品成av人在线视午夜片| www.久热| 丁香综合网| 狠狠干综合| 六月丁香色婷婷| 91综合色| 99re在线播放| 色婷婷五月综合| 大香蕉啪啪网| 日本三级第一页| av在线免费网站 | 丁香亭亭激情四射| 91碰碰碰| WWW.99热| 激情视频婷婷五月花| 无码视频国内精品久久久| 伊人五月综合网| 九九九九综合| 狠狠色噜噜狠| 色婷久| WWW、日本色丁香co m| 99视频热99| 996er热| 综合在线丁香五月| 欧美日韩成人在线观看| 亚洲激情久久| 久久伦乱| 午夜激情五月| 色亚洲无码| 人妻免费网站| 99这里只有精品| 婷婷丁香五月亚洲综合网在线视频观看| 91婷婷色| 久久久久9久无码视频| 色婷婷五月在线| 欧美噜一噜| 日本视频99| 天天舔天天爽| AA丁香综合激情| 丁香婷婷久久激情| 91人人网| 婷婷五月色花丁香社区| 色综合久久久久| 老司机伊人| 五月婷婷深深爱爱| 狠狠色狠狠| 久热精品免费视频4| 9久久久久| 婷婷五月天性| 日本色噜| 人人澡玖玖一| 色五月大香蕉婷婷| 国产婷伊人| 精品成人久久久久久久_一二三四视| 久久五月婷天天干| 七七九九色色| 日韩不卡DvD| 丁香婷婷五月综合欧美另类| 四虎国产精品永久在线国在线| 伊人www22综合色| 婷婷五月天va| 激情五月综合网| 色婷婷香蕉丁丁网| 婷婷丁香六月天| 能看的av| 婷婷爱五月| 天天cha成人综合网| 综合久| 色婷婷综合电影| 色婷婷激情| 亚洲黄色精品| 国产VA亚洲VA96| 五月天色图| www.久操| 婷婷视频在线碰| 日韩成人电影AV| 五月亭亭网成人在线视频| 色婷婷在线视频综合| 最新久久网址| 丁香六月| 人人综合91网| 成人综合AV| 日日日影院| 五月丁香网av| 六月丁香婷婷视频综合在线观看| 亚洲熟女色| 99人人操| 黄页免费一级视频懂色| 99热在线极品极品| 国产乱人偷精品人妻A片| 99久热这里只有精品| 91色吧网| 我去色色网五雨天| 国产美女视频久| 五月丁香六月婷婷亚洲综合| 人人看人人摸人人| 伊人丁香婷婷东京| 欧美韩日AAA网站| 国产精品久久在线观看技巧| 九九九精品视频免费观看| 粉嫩av懂色av蜜臀av熟妇| 五月久久网| 久草丁香婷婷五月天婷| 97碰碰电影| 日本在线观看91| 色99综合色88| 色综合激情图区| 99ER热精品视频| 三级三久久线久久99久目本WW| 99热播放| 婷婷久久亚洲| 色色激情五月天| 丁香六月色婷婷| 亚洲AV网址| 九九精品热播| 久久99网址| 五月婷婷色啪| 婷婷五月丁香花综合| 五月天社区婷婷丁香社区| 九九热婷婷| 成人免费视频一区| 日韩黄色电影| 中文无码婷婷| www.99热日韩.com| 激情五月天之六月婷婷| 99热只有精品在线观看| 丁香婷婷视频一区二区| 婷婷五月天久久久| 影音先锋91资源站| 欧洲亚洲免费视频9| 99久.| 久久综合中文| 五月天国产| 亚洲激情综合| 5月丁香综合图区| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 久久精品视频99| 日本91在线| 色五月丁香五月| 九九色逼| 乱精品一区字幕二区| 香蕉AV777XXX色综合一区| 五月婷婷视频| 五月五月婷婷| 99在线视频色版| 97人人干| 婷婷五月天com| 婷婷亚洲色| 色色哒五月婷婷六月丁香| 色亭亭五月天丁香综合AV - 百度 - 百度| 91青娱乐青青草| 久久综合丁香激情五月| 白人荫道BBWBBB大荫道| 天天色五月婷婷91久久久久久久| 五月开心啪啪| 91人人爽狠狠狠| 99re这里只有精品9| 色欲丁香久久| 色五月首页| 欧洲色| 丁香五月成人| 91九色最新视频| 亚洲99热| 97操碰碰无码视频| 天天舔天天摸天天射| 综合五月亭亭9| 色女伊人| 亚洲精品成人| 日韩成人中文| 99ri精品在线| 久久综合热17c| 亚洲五月天婷婷综合| 成人va在线播放| 丁香五月婷婷基地| 婷婷的五月天另类视频| 韩国19 主播内部福利vip免费播放| www.无码com| yazhochengrenavwang| 激情综合久久| 五月天激情小说| 九九草热在线观看| 六月婷婷五月天| 五月丁香六月婷综合成人综合| 综合久久99| 99热人人操人人操| 久久久com| 成人婷婷五月天| 五月花激情| 玖玖婷婷五月天| 人与禽A片啪啪| 色五月自偷自拍婷婷婷婷| 九月婷婷综合| 欧美性丁香色色五月天| 色五月婷婷综合| 深爱婷婷网| 亚州第一黄网| 另类天堂| 久久国产性爱A V| 人人爱人人摸人人澡| 成人电影一区| 五月天婷婷激情六月久久| 51成人| 色婷婷五月天堂资源| 天天干天天爽| 色呦精品| 99在线播放视频| 99精品无码网站| 99免费热视频在线| 99燥99日| 在线看片av| 五月视频日本免费观看| 天堂久久久久天堂网| 久久色六月| 九九热中文| 久久久久久综合五月婷婷| 99精品热视频| 亚洲天堂制| 天天五月香欧美| 亚洲精品永久久久久久| 久久综合99综合| 9l视频自拍九色9l视频自拍九色9l社区| 天天爱天天做天天爽| 激情亚洲婷婷| 第四色色色色色丁香五月天| www.天天干.com| 久色大| 综合福利网| 中文字幕永久在线| 五月丁香综合激情| 丁香色婷婷色手机免费在线| 入口五月婷婷六月香| 五月天激情图片| 一本色道久久88综合日韩精品| 色五月超碰| 五月之婷婷| 久久九九综合| www.婷婷六月天| 婷婷五月图片小说网| 99无码精品| 九九99精品视频| 婷婷丁香五月亚洲| 久操欧美在线观看97| 欧美色色色| 色五月激情网| 另类亚洲电影| 69午夜成人影片| 天天日综合| www.婷婷,com| 综合色激情| 欧美性生交XXXXX无码小说| 亚洲色综合| 类似婷婷激情综合网站| 欧美日韩国产成人在线| 伊人天天色| 大香蕉五月天| 丁香五月自拍| 99啪| 97日在线视频| 色婷狠狠| 色约约视频一区二区三区四区五区| 狠狠色综合777| 色9999日韩国产| 色九月婷婷丁香| 欧美黄色AA片哗啦啦啦| 国模狼狼| 亚洲色色色色| 亚洲蜜桃精久久久久久久久久久久| 九九99久久| 强伦轩人妻一区二区电影| 伊人影院久久网| www.av骚货| 中字幕视频在线永久在线观看免费| 欧美成人Va| 五月天婷婷色色| 日本99在线| 久久九九国产精品怡红院| 色婷婷精品视频在线播放| 五月婷婷激情69| 少妇性按摩无码中文A片| 五月天综合网| av在线资源| 六月丁香六月婷婷欧美| 欧美精品18| 伊人久久大香| 国产精品香蕉| 七七色综合| 天天干天天干天天干天天干天天干天天 | 综合激情婷婷| 一级性爱视频| 亚洲激情四射| 人人摸人人| 深爱婷婷基地| 亚洲AV成人在线| 久久婷婷六月天| 人人摸人人| 精品婷婷五| 国产精品色色| 9999热精品在线免费播放 | 婷婷夜夜操| 久久久久久9热不雅视频| 婷婷五月天免费视频在线观看| 性生生活大片又黄又| 天天激情视频| 岛国在线观看91| 五月婷色啪| 狠狠色综合久久久久| jiqingliuyuetian| 色涩影院六月丁香| 久久久大香蕉| 欧美性二区| 久久婷婷六月综合| 狠狠香蕉| 综合性爱网| 婷婷五月天奸女| 99色婷婷视频| 777精品久无码人妻蜜桃| 五月婷婷五月天天| 91婷婷丁香五月亚洲| 色综合色色| 五月婷婷偷拍| 成人在线日韩| 狠狠操天天操天天操| 丁香伍月婷电影全集| 激情婷婷网| sewuyuetingtingiii| 色天堂在线| 九九香蕉网| 免费精品99| 五月丁香久久久| 葵花AV在线| 大香蕉久热| 成人精品在线观看| 中文毛片无遮挡高潮免费| av人人操| 玖玖激情五月天| 五月婷色| 色高清无码视频| 久9热插入| 亚洲精品视频电影| 这里只有精品在线视频精品| 4438亚洲欧美| 97色色色| 激情宗合哪里能看| 新激情婷婷| 直接看的AV| 玖玖色综合网| 风流少妇A片一区二区蜜桃| 色五XX| 色婷婷狠| 国产AV一区二区三区最新精品| Www,五月天| 中文资源在线a | 超碰成人电影| 日本一级淫| 五月丁香综合网| 日本三级中国三级99| 狠狠干,狠狠操| 热思思| 91一起艹| 五月天sesese| 超碰色综合| 情婷婷五月天在线| 丁香五月手机视频| 久久久精品人妻| 26uuuuuuuu国产| 操B五月天| 尤物一区二区| 熟女网站久久| 99亚洲大片精品永久在线观看| 五月天伊人久久久久| 日韩人妻无码专区| 久久婷婷五月天蜜桃| 五月婷婷在线短视频| 婷婷色资源| 婷婷五月天激情网| 五月丁香无码| 丁香五月婷婷激情小说| 欧美成人AAA片一区国产精品| 夜夜爱网站| 99久久99热| 美腿丝袜AV天堂网| 狠狠干狠狠干| 丁香五月婷婷激情尤物| 久久这里只有精品网| 欧美激情综合色综合啪啪五月| BBWCUCKOLD精品熟妇| 婷婷五月天av| 亚洲日韩26uuu| 亚洲AV网站在线观看| 婷婷色影音天| www.日日夜夜.com| 婷婷色五月色| 99小精品| 一区二区乱码视频| 先锋影音男人的天堂AV| www.五月天婷婷| 色五月婷婷亚洲最大| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片 | 超碰人人干| 五月色情婷婷| 久久精品国产一区二区三区四区| 26UUU欧美激情一区二区| 婷婷丁香五月,狠狠综合| 婷婷久久久| 玖玖爱导航| 在线观看免费观看在线9久| 91人人爽狠狠狠| 五月丁香在线综合| 五月夜丁香| 欧美在线干| 色综合香蕉视频| 国产一级视频a| 久久久久er热| 丁香婷婷九月| 丁香婷婷五月基地| 丁香五月天人体| 原琪琪色影院| 人妻激情网| 九九99九九精品免费| 99热.com| 五月天综合激情网| 5月丁香啪啪啪| 午夜不卡成人一区二区| 久久中文人妻系列| 一区二区免费看| 丁香九色不卡aaa| 成人无码精品1区2区3区免费看| 激情亚洲网| 永久免费一区二区三区| 这里有精品2| 深爱激情网噜噜色| 五月色丁香成人| 天天五月丁香五月| 日本不卡中文字幕| enecarbon-materials.com污K127封锁请涟系@wip1688 | 亚州美女| 26uuu成人网| 秋霞A V毛片| z色五月播播久久| 五月天色婷婷成人| 婷婷播播五月天| 青青夜夜狠狠夜夜狠狠| 99久久婷婷国产综合精品草原| 色色五月婷婷久久| 色婷成人狠干| 久久青草国| 91婷婷丁香五月亚洲| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 亚洲视频五区| 久久久久网站| 丁香五月婷婷大香蕉| 欧美色偷偷大香| 97人人妻人人艹| 色婷婷六月| 日日躁夜夜躁狠狠久久AV| 啪啪一区| 久久久激情| 这里只有精品视频| 播播网色播播| 免费精品99| 人妻久久久久久| 人人摸人人摸| 99爱视频在线观看| 99亚洲视频| www.天天日| 免费视频99| 色无码| 丁香激情五月天| 狠狠操天天干| 国产67194| 伊人婷婷五月天| 日韩成人综合网| 丁香六月综合激情| 99欧美| 极品人妻XXXXOOOO| 亚洲精品白浆高清久久久久久 | 五月色情婷婷| 性色播| 久久黄色免费视频| 久久五月婷综合网| 天天摸日日舔狠狠添婷婷婷| 亚洲另类婷婷五月综合| 婷婷五月天免费| 99热视精品| 五月婷婷亞洲中文| 五月丁香在线婷婷美女| 婷婷五月图片小说视频| 欧美人妻一区二区| 无码区婷婷五月花开| 99无码| AV色婷婷| 婷色五月| 激情99| 香蕉AV福利精品导航| 色135综合网| 六月婷综合| 亚洲天堂有码| www.综合久久.com| 日夜操B| 免费国产VA国产免费| 加勒比色色| 丁香五月综合在线播放 | 久久这里有精品在线观看| 婷婷色情六月| 天天干,夜夜爽| 99ri精品视频在线观看| 99ri精品| www.丁香六月婷婷久久天堂影院.con| 啪啪视频99| 色狠狠综合入口| 99久久99九九九99九他书对| 五月丁香色婷婷伊人| 第四色婷婷色五月| 色婷婷综合网站| 开心激情网在线| 色五月激情网| 伊人激情| 婷婷色情 | 婷婷干六月综合旧址| 狠狠色丁香久久| 九九热在线观看6| 五月激情婷婷色| 婷婷亚洲欧美丁香五月| 久久久.COM| 婷婷五月天色色| 五月婷A V在线| 激情五月婷黄版| 粉嫩av懂色av蜜臀av熟妇| 狠狠操天天操| 六月丁香婷婷五月| 99久久www| 99色在线观看| 狠狠爱丁香婷| 五月天婷婷操逼视频| 综合丁香婷婷五月天| 婷婷五月天人妻| 99这里都是精品| 婷婷五月婷婷| 日本少妇裸体做爰高潮片 | 色伦专区97中文字幕| 特黄三级又爽又粗又大| av久热| 国产美女最新VA在线免费观看| 狠狠插狠狠操| 久久精彩免费视频| WWW.HENHENL.| 亚洲综合五月天婷婷丁香| 激情婷婷丁香色五月综合| 五月开心色| 色五月在线观看| 婷婷五月综合性爱| 亚韩在线视频| 操逼123网| 亚洲va欧美va天堂v国产综合| 色五月色五天色情网| 九九热精品| Aα在线免费观看| 五月丁香综合啪啪| 丁香五月婷婷激情蜜桃| 久久婷狠狠色| 欧美日韩二区在线| 婷婷月综合| 五月综合亚洲婷婷| 久久久五月五丁香| 成人超碰网| 久久九九玖玖| 亚洲精品性色| 久99久视频| 国产偷人爽久久久久久老妇APP| 久久综合色五月| 五月天欧美 另类小说| 久久三级视频| 七月激情六月婷婷综合在线播放| 9久热在线精品| 99ri视频在线观看| 99免费在线视频| 天堂网亚洲色图| 东北熟女高潮99综合99| 曰本久久女| 婷婷五月丁香综合瑟瑟| 日本人妻操| 9月色婷婷| 国产色99| 91大神操美女| 久久网站观看免费欧洲国产| WWW五月天| 中文乱子伦视频| 99热这里只有精品2024| 五月丁香六月色婷婷综合五月天| 在线观看av网站| 五月激情久久| 亚洲欧美国产A片免费观看| 久碰婷婷视频| A一级操| 国产精品成人AV在线| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 亚洲无码播放| 99热黄| 99热香港| 色欲天天综合| Www.Av网9| 少妇激情五月婷婷| 五月天色五月| 久久R激情| 激情综合青草| 六月份天丁香婷婷| 97人碰人操| 激情综合青草| 婷色五月天| 久久蜜臀婷婷| 婷婷激情综合网| 色色a| 亚洲网站999| 亚洲婷婷激情五月天| 久久伊人大香蕉| 久热 91| 综合在线色婷婷| 啪啪日本欧美| 天天干天天日天天插| 婷婷色婷婷| 九九热re99re6在线精品| 婷婷色情六月| 久久久av久av久片一区二区| 婷婷五月天播| www.色色五月天.com| 亚洲美女裸体被操在线观看| 激情综合网,五月| 五月激情婷婷在线| 婷婷五月大香蕉| 无套内射极品大美女| 婷婷干| 婷婷色五月久久| 久久婷婷热| 9999久久久久| 成人在线综合| 五月激情久久| 国产高清精品色| 久久久久亚洲AV综合| 狠狠88综合久久久久噜噜噜| 五月开心激情| 久久草中文日韩欧美| 人人操av| 免费超碰在线| 色五开心五月五月深深爱| 99原创自拍视频在线观看| av 一区三区四区| 五月丁香六月情| 亚洲网视屏| 色婷婷操逼| 97人人做| 996热re视频精品视频| 99久在线精品99re5热视频| 五月丁香亚洲综合| 亚洲成人AV一区在线观看| 久久九九在线视频| 99re资源在线视频导航| 五月综合婷婷久久在线| 色色色五月天婷婷| 九月婷婷丁香| 色色色色丁香| 欧美婷婷五月天综合| 亚洲天堂婷婷丁香| 丁香六月成人网| 激情五月成年| 插插五月天| 九月婷婷在线视频| 六月婷婷亚洲| 色综合99无码| 99热这里只有在线| 亚洲在线网站| 色五月丁香伊人五月| 超级碰 久久9| 激情丁香五月天图片| 婷婷五月天涩涩| 亚洲视频伍月婷婷| 欧美婷婷丁香五月| 激情五月天小说网| 久久99精品久久久久久三级| 五月丁香色综合| 色婷婷狠| 丁香六月丁香婷婷激情 | 加勒比久热| 丁香五月成人av| 狠狠情色| 婷婷五月丁香啪啪| 熟女激情网| 日本一级黄色电影| 91九九| 依人大香蕉| 九九成人精品| 99热在线极品极品| www,99热| 天堂网操| 天天爽天天| 内射综合网| 日日撸夜夜操| 狠狠色性| 九九热狼人| 激情五月天激情五月天| 日韩无码乱轮| 五月婷婷啪啪网| 五月天激情四射| 色色国产| 丁香婷停五月激情综合深爱| 综合另类激情| 99热成人精品网站| 丁香五月最新地址| 99视频精品在线| 欧美天天综合网站上去吧| 天天天天干| 激情五月亚洲| 国产资源在线视频| 狠狠色综合网| 激情五月丁香色婷婷| 国产99久| 日本色色网站| 色播婷婷五月天| 久久六月综合| 5月婷婷性视频| 天天色播| 精品一二三区视频立| 91狼友视频网页更新| 9有码中文| 丁香五月激情综合| 国产成人AV人人爽人人澡Va| 中文AV网站| 天天爱综合网| 四色综合网| 欧美婷婷色| 狠狠久久婷| 久久久性爱视频| AV网站免费在线| 丁香五月天激情综合| 色综合天天天天做夜夜| 亚洲成人av在线| 亚州美女| 99热费观看| 婷婷激情综合网| 青草视频在线观看视频| 婷婷六月啪啪| 亚洲av电影在线| 伊人激情综合网| 狠狠擼综合| 视频在线免费观看欧洲乱码| 婷婷久热| 色五月成人网| 超碰在线9| 国产欧美熟妇另类久久久 | 成人网在线观看视频| 五月婷婷在线观看黄| 啪啪激情综合| 蜘蛛女免费观看完整版高清电影| 97碰91| 五月婷婷啪啪| 五月激情综合深爱| 色噜噜综合网| 蒲京久久无码视频| 色情综合| 亚洲色小说在线综合| 99日精品视频| 风流少妇A片一区二区蜜桃| 五月天激情婷婷| 婷婷激情五月天在线视频| 色婷婷四色| 99热这里有精品| 久久久久久人妻| 欧美色播综合在线观看| 久久婷婷夜| 欧美性做爰大片免费看办公室| 国产va视频| 久久6这里只有精品| 碰人人操| 精品香蕉99久久久久网站| 亚洲人成色A777777在线观看| 丁香五月亭亭六月综合激情网| 色婷婷丁香社综合| 99综合视频| 久久人妻系列| 激情网色五月| 日韩999| 五月天播播| 噜噜综合网| 182TV大香蕉| 日本精品人妻无码77777| 日韩在线99| 日日肏夜夜干| 久久永久网址| 免费看片操逼| 五月丁香网站| 色噜噜五月天| 婷婷五月天激情亚洲小说| 色五月婷婷基地| 色情成人五月天| 天天操天天操天天操天天操天天操| www.深爱激情| 六月综和久久| 五月婷婷狠狠干| 国内精品免费一区二区2009| 五月婷婷综合网| 亚洲成人超碰| 色 五月俺去也| 丁香六月婷婷久久综合| AV在线收看| 婷婷丁香中文字幕| 国产毛片精品一区二区色欲黄A片| 激情综合激情综合| 九九这里只这里只有精品| 久久婷丁香五月| 色 噜噜 九月 婷婷| 久久怡红院| 超碰九色| 五月婷婷干| 日本九九九九| 天天综合色99| 欧美槡BBBB槡BBB少妇| 天天肏天天肏天天肏| 六月天六月婷| 九九操操| 久久99大| 99视频只有精品| 毛片新网地| 狠色色狠网| 日本人妻丁香婷婷久久寝取熟女五月| 欧美久人人| 色色欧美色色色| 亚洲天堂啪啪| 996日日爱| 99成人精品六| 啪啪综合| 五月激情婷婷四射| 思思久久99热只有频精品66| 丁香五月欧美成人| 丁香六月天婷婷开心综合| 天天搞夜夜叫| 五月色丁香| 任你搞在线观看视频| 色狠狠综合| 五月婷婷丁香六月| 日韩无码人妻一区二区三区综合| 五月丁香婷婷久久| 日本97久久久精品| 91大神操美女| 亚洲激情四射色| 九九99久久| 影视av久久久噜噜噜噜噜三级| www.狠狠艹| 亚洲噜色| 色情丁香五月天| 色五月婷婷婷婷婷婷婷婷婷婷| 色欲影香| 9l视频自拍九色9l黑人| 色五月亚洲| 久操大香蕉| 色色综合网站| 久久婷狠狠色| 久色激情| 操操操Av| 丁香婷婷五月基地| 婷婷丁香五月欧美人| www.爱操com.| 丁香香五月激情免费视频| 综合啪啪| 91精品久久久久久久| 91精品久久久久久久久| 操操熟女| 婷婷五月丁香激情图片| 久久丁香综合香蕉| 日本精品人妻无码77777| 第九色区av天堂| 久久婷婷五月天| 综合五月天| 亚洲天天操| 99久在线精品99re8热| 久久五月综合| 婷婷瑟瑟五月天| 欧美亚洲操逼| 5月丁香六月情| 99惹精品视频| 六月五月丁香五月欧美| 色播五月婷婷| 91色婷婷综合久久中文字幕二区| 九九综合伊人| 96丁香六月婷婷蜜桃综合久久| 婷婷黄色| 色天天综合| 91丨熟女丨首页| 26uuu.| 天天天添天天操| 五月天激情啪啪| 久久六月天| 色婷婷88| 婷婷久久五月天| 婷婷亚洲激情在线观看视频 | WWW激情五月天| 桔色成人在线| 播五月开心婷婷欧美综合| 综激情网| 天天干天天干天天干| 影音先锋自拍网| 日本97在线看片|