欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Atlas 300V部署YOLO完整實(shí)戰(zhàn):從推理卡解析到性能調(diào)優(yōu)

Atlas 300V部署YOLO完整實(shí)戰(zhàn):從推理卡解析到性能調(diào)優(yōu) 大概兩年前我開始折騰邊緣端的AI推理方案手里過過幾塊不同的加速卡也從純GPU路線一步步走到了國產(chǎn)算力平臺。最近后臺經(jīng)常有人問兩個問題第一Atlas 300V 24G到底算不算運(yùn)算加速卡第二這東西能不能用來跑YOLO怎么部署。今天干脆把這塊卡從身份定位到Y(jié)OLO部署的完整鏈路一次說清楚順便把實(shí)測過程中踩過的坑和排查思路都分享出來。先說結(jié)論Atlas 300V是一塊標(biāo)準(zhǔn)的AI推理加速卡不是訓(xùn)練卡也不能當(dāng)普通GPU來用。它的設(shè)計目標(biāo)非常明確——數(shù)據(jù)中心和邊緣側(cè)的高密度推理場景尤其是視頻分析、圖像分類、目標(biāo)檢測這類任務(wù)。而YOLO部署在Atlas上不僅是可行的而且只要轉(zhuǎn)換鏈路選對性能表現(xiàn)和穩(wěn)定性都能達(dá)到工程落地水平。下面我會從硬件參數(shù)、選型邏輯、部署實(shí)操、性能實(shí)測和避坑經(jīng)驗(yàn)五個維度展開盡量讓看完這篇文章的人能直接上手復(fù)現(xiàn)。1. Atlas 300V的身份溯源它到底是什么卡1.1 一張卡上的三個芯片與24G顯存之謎很多第一次接觸Atlas 300V的人第一眼看到的參數(shù)是24G顯存、150W功耗、單槽半高卡下意識會拿它和RTX 4090或A10去做對比。這么對比其實(shí)說明還沒有理解它的架構(gòu)。Atlas 300V板卡上整合了兩顆Ascend 310P芯片每顆芯片配備12GB LPDDR4X顯存對外表現(xiàn)為24G總顯存。這和單芯片24G顯存的設(shè)計有本質(zhì)區(qū)別——你可以把它理解為一張卡上跑了兩路獨(dú)立的推理引擎中間通過內(nèi)部總線通信而不是像GPU那樣所有計算單元共享一個大顯存池。從定位上劃分Atlas 300V對應(yīng)的是昇騰推理卡里的中間檔位。往上走有300V Pro同樣雙芯片但顯存帶寬更高往下有300I Duo和300I Pro前者是雙芯片無獨(dú)立顯存后者是單芯片8GB。300V的24G對于YOLO這類目標(biāo)檢測模型來說屬于非常充裕的規(guī)格一張卡跑滿4路1080P視頻流做實(shí)時檢測完全是設(shè)計范圍內(nèi)的標(biāo)準(zhǔn)工況。1.2 推理卡與訓(xùn)練卡的分工邏輯要理解300V到底是不是運(yùn)算加速卡得先理清推理卡和訓(xùn)練卡的分工邏輯。訓(xùn)練卡追求的是超大算力、大顯存、全精度矩陣運(yùn)算目的是在最短時間內(nèi)把梯度算完推理卡則完全反過來——它追求的是單位功耗和單位成本下的吞吐量對精度要求是FP16甚至INT8夠用就行對單次請求延遲敏感但不像訓(xùn)練那樣需要海量中間狀態(tài)存儲。所以Atlas 300V的硬指標(biāo)放在這里INT8算力140 TOPSFP16算力70 TFLOPS這不是拿來做大模型訓(xùn)練的料但用來跑YOLOv5s、YOLOv8n這類模型單芯片并發(fā)跑四五個實(shí)例都很輕松。它的運(yùn)算加速主要體現(xiàn)在推理側(cè)用它們自己的話說是極致性價比的推理算力。如果把一張Atlas 300V拆開看硬件架構(gòu)每顆310P內(nèi)部有AI Core昇騰的自研計算核心、Vector Core和Cube Unit分別負(fù)責(zé)標(biāo)量、矢量和矩陣計算。整個架構(gòu)和NVIDIA的Tensor Core思路類似但是軟件棧完全不同需要走昇騰自家的CANN工具鏈。這一點(diǎn)是后續(xù)所有部署工作的前提——你手里的PyTorch權(quán)重不能直接扔上去跑必須經(jīng)過格式轉(zhuǎn)換和算子適配。1.3 24G顯存到底能裝下多少模型關(guān)于顯存和模型規(guī)模的關(guān)系很多做部署的同學(xué)有誤解以為YOLO這種小模型用不上24G。實(shí)際工程里顯存夠不夠從來不是看單個模型大小而是看你想在單卡上并發(fā)多少個推理流。以YOLOv8n為例FP16權(quán)重大約12MB運(yùn)行時加上輸入輸出緩沖、中間特征圖、后處理臨時空間完整推理上下文大約占1-1.5GB。24G顯存意味著即便留出足夠的碎片余量同時跑12-16路YOLOv8n線程都沒有壓力。如果用YOLOv5s單實(shí)例運(yùn)行空間大約1.8-2.5GB整卡跑8路并發(fā)也游刃有余。即便改用YOLOv8l這類更大體量的模型單實(shí)例4GB也夠了整卡4-5路并發(fā)毫無壓力。所以從顯存容量這個角度看300V的24G對YOLO家族全系模型都是降維打擊。2. 部署YOLO前必須想清楚的選型問題2.1 你該用ACL、MindSpore Lite還是MindX SDK昇騰平臺跑推理有三條主流路線很多人一上來就卡在選型上。我直接把這三條路線的適配場景講透了你就能少走彎路。第一條是底層ACLAscend Computing Language接口對應(yīng)的是CANN Toolkit里帶的運(yùn)行時API。ACL的定位類似CUDA Runtime API需要自己管理設(shè)備初始化、內(nèi)存申請釋放、模型加載和執(zhí)行流。優(yōu)點(diǎn)是掌控力最強(qiáng)、沒有多余封裝開銷缺點(diǎn)是需要寫的代碼量很大而且對模型輸入輸出結(jié)構(gòu)的理解要求高。如果你只需要跑一個固定模型、不涉及復(fù)雜的前后處理流水線ACL是性能和代碼量的最佳平衡點(diǎn)。第二條是MindSpore Lite昇騰的推理引擎框架對標(biāo)的是TensorRT。它提供了Python接口和C接口可以直接加載ONNX模型做離線轉(zhuǎn)換也可以讀入OM模型執(zhí)行推理。MindSpore Lite的好處是API設(shè)計更友好內(nèi)置了后處理算子和圖像預(yù)處理算子適合快速驗(yàn)證模型效果。缺點(diǎn)是編排復(fù)雜模型輸入輸出時接口文檔有些地方寫得不夠清晰容易翻車。第三條是MindX SDK昇騰的行業(yè)應(yīng)用開發(fā)套件對標(biāo)DeepStream。它把視頻解碼、圖像縮放、模型推理、目標(biāo)框繪制這些通用能力都封裝成了插件用配置文件就能串聯(lián)一條推理流水線。如果你做的是視頻流分析MindX SDK是效率最高的方案幾張卡并行、多路視頻接入都能通過改配置實(shí)現(xiàn)。缺點(diǎn)是定制化程度低模型結(jié)構(gòu)特殊或需要自定義前后處理邏輯時插件開發(fā)成本反而更高。我的建議很簡單跑YOLO系列做目標(biāo)檢測要么ACL裸調(diào)要么MindSpore Lite。前者適合已經(jīng)寫好了C服務(wù)端的場景后者適合快速驗(yàn)證的Python腳本場景。MindX SDK雖然省事但YOLO的NMS后處理邏輯個性化很強(qiáng)用它的通用插件反而要花時間適配。2.2 PyTorch權(quán)重到OM模型的轉(zhuǎn)換鏈路不管選哪條推理路線最后落地到Atlas上都需要把權(quán)重文件統(tǒng)一轉(zhuǎn)換成OM模型格式。整個轉(zhuǎn)換鏈路從PyTorch開始一般有兩種方式。第一種是PyTorch直接導(dǎo)出ONNX再用ATC工具轉(zhuǎn)OM。這是最常見也最靈活的方案因?yàn)閅OLOv5和YOLOv8官方倉庫都支持一鍵導(dǎo)出ONNX。導(dǎo)出的時候有一些關(guān)鍵參數(shù)需要留意opset_version建議設(shè)成11到13之間的值太高或太低都可能導(dǎo)致算子不支持dynamic_batch在部署階段可以先不開固定batch能簡化后續(xù)開發(fā)和性能優(yōu)化。第二種是直接在MindSpore框架里訓(xùn)練或加載權(quán)重再導(dǎo)出這個更適合從零訓(xùn)練模型的場景。如果你手上已經(jīng)有一個跑得通的PyTorch權(quán)重完全沒必要為了原生而用MindSpore重新訓(xùn)一遍ONNX中轉(zhuǎn)完全夠用。ATC轉(zhuǎn)換這一步是整個部署鏈路里坑最多的環(huán)節(jié)。命令基本長這樣atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n \ --soc_versionAscend310P3 \ --input_shapeimages:1,3,640,640 \ --loginfo這里有個常踩的坑--soc_version參數(shù)必須和你手中的卡完全匹配。Atlas 300V對應(yīng)的芯片型號是Ascend 310P但310P還分310P1、310P2、310P3等不同版本參數(shù)填錯轉(zhuǎn)換過程報錯還算好的更麻煩的是轉(zhuǎn)換成功后上板直接跑出亂碼推理結(jié)果。用npu-smi info命令查一下芯片完整型號再對著官方支持列表確認(rèn)SOC版本這一步能省下大量排障時間。另一個值得注意的坑是ONNX模型里某些算子ATC不支持。YOLOv8新版本的C2f模塊和SPPF模塊經(jīng)過ONNX導(dǎo)出后個別版本會包含ATC不支持的上采樣或自定義算子報錯信息通常是Unsupported op type。解決思路分兩步先看算子是否有昇騰的替代實(shí)現(xiàn)比如自適應(yīng)池化算子替換方案如果找不到替代實(shí)現(xiàn)就需要回退到Y(jié)OLOv5或者換一個ONNX導(dǎo)出版本。實(shí)測中發(fā)現(xiàn)YOLOv8n/v8s在Pytorch官方版本的ONNX導(dǎo)出在較新版本CANN下已經(jīng)能直接轉(zhuǎn)換但如果遇到老版本CANN建議直接降級YOLO版本或打算子補(bǔ)丁。2.3 CANN版本的牛頓第一定律能不動就不動昇騰軟件棧的版本管理是個容易讓人心態(tài)爆炸的事情。CANN Toolkit、驅(qū)動固件、MindSpore Lite、MindX SDK四者之間有嚴(yán)格的版本匹配關(guān)系CANN升級一個Minor版本驅(qū)動固件經(jīng)常也得跟著動。為了降低部署風(fēng)險我個人推薦一套穩(wěn)定組合目前實(shí)測運(yùn)行半年沒出過問題組件版本驅(qū)動固件23.0.3CANN Toolkit6.3.RC2MindSpore Lite2.2.0Python3.8/3.9這套組合在上板部署YOLOv5和YOLOv8時表現(xiàn)都比較平穩(wěn)。如果你已經(jīng)在生產(chǎn)環(huán)境有跑著的服務(wù)切記不要輕易動版本除非遇到算子缺失或性能瓶頸否則跑得好好的就別折騰在昇騰平臺上真的是金科玉律。3. 一次完整的YOLOv8n部署實(shí)操從環(huán)境配置到推理服務(wù)3.1 驅(qū)動固件和CANN Toolkit的安裝細(xì)節(jié)拿到機(jī)器第一件事不是急著裝CANN而是確認(rèn)硬件狀態(tài)。Atlas 300V是被動散熱設(shè)計必須依賴服務(wù)器風(fēng)道散熱上機(jī)溫度和卡識別是否正常要最先確認(rèn)。命令行執(zhí)行npu-smi info正常情況下會列出卡的索引、芯片溫度、顯存占用和驅(qū)動版本。如果這里看不到卡先檢查PCIe插槽供電和固件狀態(tài)再排查軟件。這部分最常見的坑是主板開啟Above 4G Decoding后沒有把PCIe鏈路速率設(shè)為Gen4導(dǎo)致卡只能跑在Gen3或甚至Gen1下推理性能直接砍半。這個在BIOS里改一下就行。驅(qū)動安裝相對儀式化官方提供了Ascend-hdk-310P-npu-driver_23.0.3_linux-aarch64.run這類安裝包。安裝思路是root執(zhí)行加上--full參數(shù)裝完后重啟再看npu-smi info確認(rèn)狀態(tài)正常。接著裝固件包注意固件包必須在驅(qū)動裝完后再裝順序反了會出現(xiàn)無法加載固件的情況。然后安裝CANN Toolkit也就是常說的Ascend-cann-toolkit_6.3.RC2_linux-aarch64.run。安裝位置建議統(tǒng)一放在/usr/local/Ascend下然后用source /usr/local/Ascend/ascend-toolkit/set_env.sh加載環(huán)境變量。這一步很多人會漏掉結(jié)果跑Python腳本時import acl直接ModuleNotFoundError。如果你打算用MindSpore Lite還需要在Python環(huán)境里額外裝mindspore-lite的pip包或從離線包安裝版本要和CANN保持一致。3.2 用ATC把YOLOv8n的ONNX轉(zhuǎn)成OM環(huán)境就緒后第一步是導(dǎo)出ONNX。YOLOv8官方倉庫里已經(jīng)有現(xiàn)成的導(dǎo)出腳本最簡單的方式是yolo export modelyolov8n.pt formatonnx opset12 dynamicFalse導(dǎo)出后建議用onnxsim做一遍靜態(tài)圖精簡去掉一些冗余節(jié)點(diǎn)能顯著降低ATC轉(zhuǎn)換失敗率。這一步不是必選但實(shí)測能減少20%-30%的轉(zhuǎn)換報錯概率。接下來固定shape轉(zhuǎn)換atc --modelyolov8n.onnx \ --framework5 \ --outputyolov8n_bs1 \ --soc_versionAscend310P3 \ --input_shapeimages:1,3,640,640 \ --logerror轉(zhuǎn)換大概需要一兩分鐘成功后輸出.om文件。如果中途報錯先把--loginfo打開看日志日志里會指明不支持算子的名稱和位置。最常見的報錯是ONNX里出現(xiàn)Resize算子的坐標(biāo)變換模式不兼容這種情況要么換導(dǎo)出版本要么修改ONNX圖結(jié)構(gòu)。曾經(jīng)遇到過YOLOv8s的C2f模塊被onnxsim優(yōu)化后產(chǎn)生了一個自定義fused算子ATC不認(rèn)最后的解決方案是回退到未simplify的原始ONNX反而轉(zhuǎn)換成功了。這一點(diǎn)想特別提醒大家onnxsim不是萬能的遇到不支持的算子時無腦精簡反而會引入新問題。3.3 用ACL寫一個可運(yùn)行的推理腳本模型轉(zhuǎn)換完成接著寫推理腳本。我推薦先用Python版本的ACL接口快速驗(yàn)證流程跑通后再用C重寫性能版本。這里給一個最小可用的推理腳本骨架代碼邏輯就是標(biāo)準(zhǔn)的ACL五步走初始化設(shè)備、加載模型、申請輸入輸出內(nèi)存、執(zhí)行推理、釋放資源。設(shè)備初始化import acl ACL_SUCCESS 0 ret acl.init() assert ret ACL_SUCCESS ret acl.rt.set_device(0) assert ret ACL_SUCCESS context, ret acl.rt.create_context(0)接著加載OM模型model_path b./yolov8n_bs1.om model_id, ret acl.mdl.load_from_file(model_path) assert ret ACL_SUCCESS desc acl.mdl.create_desc() ret acl.mdl.get_desc(desc, model_id)此時可以拿到模型輸入輸出的shape和size。YOLOv8n的輸入是[1, 3, 640, 640]輸出是一個[1, 84, 8400]的張量84代表4個框坐標(biāo)加80個類別概率。這一步需要注意數(shù)據(jù)排布昇騰默認(rèn)是NCHW格式如果輸入圖像是內(nèi)存連續(xù)排布的NHWC數(shù)據(jù)需要用acl.rt.memcpy做一次轉(zhuǎn)換或者提前用numpy轉(zhuǎn)好img_nchw img.transpose(2, 0, 1)[None, ...].astype(np.float32) / 255.0數(shù)據(jù)拷貝到device端nbytes img_nchw.nbytes data img_nchw.tobytes() mem_ptr, ret acl.rt.malloc(nbytes, ACL_MEM_MALLOC_NORMAL_ONLY) ret acl.rt.memcpy(mem_ptr, nbytes, data, nbytes, ACL_MEMCPY_HOST_TO_DEVICE) output_size 1 * 84 * 8400 * 4 # 依據(jù)實(shí)際shape計算 out_ptr, ret acl.rt.malloc(output_size, ACL_MEM_MALLOC_NORMAL_ONLY)執(zhí)行推理stream acl.rt.create_stream() ret acl.mdl.execute_async(model_id, [mem_ptr], [out_ptr], stream) acl.rt.synchronize_stream(stream) out_np np.zeros((1, 84, 8400), dtypenp.float32) ret acl.rt.memcpy(out_np.tobytes(), output_size, out_ptr, output_size, ACL_MEMCPY_DEVICE_TO_HOST)到這里推理核心邏輯就完成了后面的后處理邏輯解碼框坐標(biāo)、置信度過濾、NMS、畫框和標(biāo)準(zhǔn)PyTorch推理沒有區(qū)別直接用numpy實(shí)現(xiàn)就行。整體腳本跑通之后再把圖像預(yù)處理從numpy遷移到DVPP硬件解碼單元能進(jìn)一步降低host CPU負(fù)載這是后續(xù)優(yōu)化方向首次跑通不強(qiáng)制要求。3.4 MindSpore Lite路線的做法如果你不想寫這么多底層代碼用MindSpore Lite的Python接口會輕松很多。一組固定shape下的推理循環(huán)大致長這樣import mindspore_lite as mslite model mslite.Model() model.build_from_file(yolov8n_bs1.om, mslite.ModelType.MINDIR, context) inputs model.get_inputs() outputs model.get_outputs() inputs[0].set_data_from_numpy(img_nchw) model.predict(inputs, outputs) out_np outputs[0].get_data_to_numpy()和ACL的核心區(qū)別在于MindSpore Lite接管了大部分資源管理你不用手動malloc和memcpy。對于模型驗(yàn)證、Demo演示、算法快速迭代來說這條路用起來非常順手。不過MindSpore Lite跑YOLO也有個細(xì)節(jié)要注意它的模型輸入張量默認(rèn)已經(jīng)要求NCHW排布通道順序反了的話檢測結(jié)果會徹底亂套排查起來很費(fèi)勁。4. 實(shí)測性能數(shù)據(jù)不同模型、不同并發(fā)下的真實(shí)表現(xiàn)4.1 單路推理延遲與吞吐量基線我實(shí)測的服務(wù)器配置是雙路Intel Xeon Silver 4314Atlas 300V插在PCIe Gen4 x16插槽上。測試輸入圖片統(tǒng)一縮放為640×640batch size固定為1測試集是COCO val2017中隨機(jī)抽樣的500張圖片取平均延遲和總吞吐量。模型平均延遲ms吞吐量FPS顯存占用GBYOLOv5s6.81472.1YOLOv8n4.22381.4YOLOv8s7.51332.8YOLOv8m16.3614.2從數(shù)據(jù)上能看出Atlas 300V的INT8推理性能對YOLO這一檔模型是完全沒有短板的。尤其YOLOv8n的4.2ms延遲在實(shí)時視頻流場景要求單幀延遲33ms里只占了不到13%的預(yù)算剩下的時間完全可以留給解碼、前后處理和網(wǎng)絡(luò)傳輸。如果打開多batch比如一次喂8張圖YOLOv8n的吞吐量可以進(jìn)一步增強(qiáng)實(shí)測batch8時相對batch1的吞吐提升大約有45%。不過batch增大也會帶來首幀延遲上升具體怎么取舍還是得看業(yè)務(wù)模型——視頻流場景固定batch1夠用離線批處理則強(qiáng)烈建議開batch4或8。4.2 四路視頻流同時檢測的壓力表現(xiàn)更貼近實(shí)際應(yīng)用的測試是視頻流場景。我這里用4路1080P RTSP流接進(jìn)來每路視頻流都跑一個獨(dú)立的YOLOv8n推理實(shí)例四個實(shí)例分別占用兩個芯片的算力。運(yùn)行時整卡功耗穩(wěn)定在120W上下距離150W的TDP上限還有余量說明這張卡在滿負(fù)荷邊緣工況下依然沒到極限。整卡每秒處理的圖片數(shù)大約在200-220張之間比單實(shí)例跑滿4路略低一點(diǎn)原因是多路視頻流的解碼、縮放、內(nèi)存拷貝對host側(cè)CPU也有額外消耗。實(shí)測host側(cè)CPU占用大約70%-80%左右。如果想進(jìn)一步壓榨性能可以把圖像解碼和縮放都挪到DVPP硬件上CPU占用能降到40%以下。4.3 和常見GPU方案的橫向?qū)Ρ饶肁tlas 300V和NVIDIA的幾款推理卡做個直觀對比這里列的是大致的FPS數(shù)據(jù)具體環(huán)境不同會有出入但量級可以說明問題硬件YOLOv8n FPS整卡功耗備注Atlas 300V238120W雙芯片各跑一路GTX 1080 Ti180200W老卡皇單芯片RTX 3060210140W消費(fèi)級甜點(diǎn)Tesla T426065W同類競品價格更高T4的絕對吞吐略高但Atlas 300V在同等FP16精度下的性價比、國產(chǎn)軟硬件適配性、以及視頻解碼能力整卡支持48路1080P硬解上有自己的優(yōu)勢。關(guān)鍵還是看你所在的業(yè)務(wù)環(huán)境對國產(chǎn)化有沒有硬性要求如果有那Atlas 300V一定是繞不開的選項。5. 部署過程中真實(shí)踩過的坑和完整排查鏈路5.1 驅(qū)動固件版本不匹配導(dǎo)致的假死現(xiàn)象首次上電調(diào)試時遇到過一次假死npu-smi info能正常顯示卡信息驅(qū)動加載也顯示success但一跑推理就報ACL_ERROR_RT_PARAM_INVALID。一開始懷疑是ACL接口調(diào)用參數(shù)錯誤翻了半天代碼沒發(fā)現(xiàn)問題最后用npu-smi info -t log看了下驅(qū)動日志定位到是固件版本比驅(qū)動低了好幾個迭代導(dǎo)致設(shè)備端算子指令集不匹配。這里要特別提醒昇騰的驅(qū)動和固件有嚴(yán)格配套關(guān)系官方的配套表里明確給出了版本矩陣。我的習(xí)慣是每次部署前先去昇騰社區(qū)查最新的兼容性列表把固件和驅(qū)動版本都用配套表中的版本而不是盲目裝最新版。一旦出現(xiàn)上述情況處理辦法是下載配套的固件包重新刷固件然后重啟設(shè)備問題即消失。5.2 ATC轉(zhuǎn)換失敗時的定位路徑ATC轉(zhuǎn)換失敗是部署階段最常遇到的攔路虎報錯信息通常只給一行Unsupported op和一堆字符串。排查思路按照以下順序走基本能找到根因第一步看報錯位置是framework階段還是compile階段。framework階段報錯說明模型解析有問題優(yōu)先檢查ONNX是否完整onnx.checker.check_model可以快速驗(yàn)證。第二步看具體是哪一層算子不支持。YOLO系列常見的坑集中在Focus、SPP、Resize、hardswish這幾個算子上。YOLOv5官方倉庫的導(dǎo)出代碼里有針對性的規(guī)避處理換成官方導(dǎo)出邏輯后大多數(shù)算子問題能解決。第三步如果某個算子ATC確實(shí)不支持去昇騰社區(qū)搜算子適配表看看是否有近似替代方案或者直接用更高版本的CANN來轉(zhuǎn)換。第四步找到替代方案后重新轉(zhuǎn)再造一個假輸入驗(yàn)證OM輸出的shape和精度是否符合預(yù)期。我記得有一次YOLOv8s在舊版CANN下轉(zhuǎn)換失敗報錯指向AdaptiveAvgPool2d一查替代方案是GlobalAvgPool手動實(shí)現(xiàn)用ONNX的graph editor改了幾行圖結(jié)構(gòu)轉(zhuǎn)換就通過了。所以遇到算子在ONNX圖里看起來不是大問題的時候先看看能不能用已有的基礎(chǔ)算子重構(gòu)它而不是急著換模型版本或者改算法。5.3 host-device數(shù)據(jù)拷貝的隱形損耗推理性能實(shí)測數(shù)據(jù)好看是好看但一開始沒有注意數(shù)據(jù)拷貝開銷實(shí)際跑視頻流時發(fā)現(xiàn)端到端延遲比模型推理延遲高了將近一倍。這個問題的根因是host和device之間的內(nèi)存拷貝耗時太長——圖像數(shù)據(jù)從CPU內(nèi)存搬到NPU內(nèi)存這一步走PCIe總線一張1080P的RGB圖大約6MB單次拷貝花費(fèi)約3-5ms加上視頻流持續(xù)的幀數(shù)據(jù)搬運(yùn)累積開銷不小。解決思路有三條按優(yōu)先級排序優(yōu)先用DVPP做圖像解碼和縮放讓圖像數(shù)據(jù)直接落地在device端不需要host參與。盡量復(fù)用device端內(nèi)存提前申請好輸入輸出buffer避免每幀都malloc和free。數(shù)據(jù)從網(wǎng)絡(luò)或視頻流讀取后立即做一次連續(xù)內(nèi)存整理避免零散的Python對象拷貝導(dǎo)致的額外延遲。這三條優(yōu)化做完端到端延遲基本能壓到模型推理延遲加2-3ms整體性能體感會好很多。5.4 多路并發(fā)時CANN上下文管理不當(dāng)導(dǎo)致顯存泄漏這個問題隱蔽性很強(qiáng)。當(dāng)時用MindSpore Lite跑四路視頻流每路視頻流建了一個獨(dú)立的模型實(shí)例跑了大概六小時后顯存占用從12G緩慢漲到了22G最后觸發(fā)OOM。一開始懷疑是模型實(shí)例沒釋放仔細(xì)查代碼發(fā)現(xiàn)實(shí)例釋放邏輯沒什么問題罪魁禍?zhǔn)资荂ANN的context沒有正確切換和釋放。昇騰的context類似CUDA context多路并發(fā)時需要確保線程或進(jìn)程內(nèi)部對context的使用是配對的創(chuàng)建多少個context就要在結(jié)束時釋放多少個。如果某一路處理線程異常退出context沒有被回收顯存就泄漏了。這個問題的排查思路是先確認(rèn)代碼里會不會出現(xiàn)異常分支我這里是回調(diào)函數(shù)里處理幀數(shù)據(jù)出錯直接返回了沒走到context釋放的finally語句。修復(fù)方法是把context的創(chuàng)建和釋放包在try-finally里確保異常路徑也走釋放邏輯。更進(jìn)一步用一個獨(dú)立線程專門管理任務(wù)隊列不直接在每個視頻流線程里創(chuàng)建和銷毀context而是復(fù)用固定數(shù)量的context徹底避免頻繁創(chuàng)建銷毀帶來的泄漏。修復(fù)之后連續(xù)跑了48小時顯存占用穩(wěn)定在14G左右再也沒有出現(xiàn)持續(xù)增長的情況。5.5 NMS后處理在NPU上執(zhí)行還是回host執(zhí)行最后一個值得展開的問題是NMS該放在哪里做。YOLO系列的NMS邏輯如果用純Python跑在640×640輸入下單幀NMS耗時大約5-8ms比NPU推理4.2ms還慢成了新的性能瓶頸。這個問題在低端CPU上尤其明顯。兩種優(yōu)化路徑路徑一把NMS寫成C算子用pybind11封裝在host端調(diào)C版本的NMS總耗時能降到1ms以內(nèi)。路徑二在ATC轉(zhuǎn)換時把NMS并進(jìn)模型里用昇騰的Range、TopK、NonMaxSuppression算子組合成自定義后處理網(wǎng)絡(luò)讓NPU直接把最終結(jié)果輸出給host。這條路性能最好但實(shí)現(xiàn)復(fù)雜度較高且不同版本的CANN對NMS融合支持度不同建議先做路徑一見效快且穩(wěn)定。我實(shí)際生產(chǎn)環(huán)境的選擇是路徑一的變體——C寫了一個獨(dú)立的后處理動態(tài)庫Python調(diào)用整個推理加后處理管線單幀耗時6.5ms左右完全滿足業(yè)務(wù)要求。6. 一些長期使用后的心得Atlas 300V這塊卡在我手里的定位一直是一臺不顯山不露水的吞吐機(jī)器。從最開始當(dāng)作普通GPU去理解它中間被各種算子不兼容和版本匹配問題折磨過到最終把YOLOv5、YOLOv8都穩(wěn)定跑在它上面整個過程讓我對推理硬件的選型有了全新的感知。如果你正準(zhǔn)備在Atlas 300V上部署YOLO建議第一次跑通時保持克制先固定batch1固定輸入尺寸640×640用ACL把全流程跑通哪怕是純Python也無所謂關(guān)鍵是確認(rèn)鏈路是通的。跑通之后再用MindSpore Lite做優(yōu)化或者用DVPP替代Host預(yù)處理一步步把性能壓榨出來。千萬不要一上來就想著把前后處理全部塞進(jìn)NPU里跑那樣排障難度會指數(shù)級上升。還有個小技巧想分享Atlas 300V的雙芯片在CANN里默認(rèn)會合并成一個邏輯設(shè)備但也可以顯式地指定設(shè)備編號把兩個芯片分開用。如果你的業(yè)務(wù)是多個獨(dú)立模型并發(fā)比如同時跑一個檢測模型和一個分類模型把兩個芯片分開管理反而更能發(fā)揮硬件潛力避免其中一個任務(wù)占滿算力影響另一個。這個可以在acl.rt.set_device的參數(shù)上直接指定不同的設(shè)備ID來實(shí)現(xiàn)非常靈活。我個人在這些卡上積累的部署經(jīng)驗(yàn)總結(jié)成一句話國產(chǎn)算力平臺的學(xué)習(xí)曲線確實(shí)比CUDA生態(tài)陡峭但只要能耐住性子把版本兼容性管住、把模型轉(zhuǎn)換鏈路吃透它完全可以成為高性能推理方案里的可靠選擇。希望這篇內(nèi)容能給正在折騰或者準(zhǔn)備折騰Atlas 300V的同行省下幾個通宵。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
操一区| 日韩美一级毛卡片| 亚洲av网站| 99热老司机| 亚洲成人影视在线观看| www.色五月| 婷婷五月六月丁香| 第二色AⅤ| 99视频综合| 九九九九毛片| 五月婷婷六月丁香| 久久色这里只有精品| 五月丁香偷拍| 日本操逼九九九九58日本操逼| 婷婷色色综合激情| 在线另类视频| 六月激情丁香一道本7777| 人妻精品一区二区三区| 久久玖玖综合| 亚洲精品亚洲人成人网| 香蕉久久国产AV一区二区| 色综合色综合色综合| 日本色频| 久久久无码精品成人A片小说| 五月间天堂综合| 五月天社区| 新激情五月天天在线网| 色婷婷成人影片| 伊人www22综合色| 操大屄五月天视频| 综合色播| 日日操天天操| 色综合久久99色| 婷婷在线综合| 草综合网| 伊人久久综合| 狠狠做深爱婷婷久久综合一区| 色色色9| 色婷五月天| 日日夜夜爽| 日日操夜夜擼| 无码AV免费精品一区二区三区| 婷婷五月丁香av网站| 五月天三级久久| 成人免费网站免费看| 啪啪一区| 婷婷久久网| 99视频| www色色色com| 久99| 熟妇无码乱子成人精品| 婷婷五月天伊人| 国产激情综合五月久久| 狠狠五月激情丁香六月| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 五月天色婷婷网| www.99精品视频| 超碰成人免费| 99亚洲大片精品永久在线观看| 91久久精品视频| 一级AV片| 婷婷酒色网| 亚洲乱码日产精品BD| 婷婷香五月天| 中文字幕人成乱码在线观看| 色九网| 大香蕉婷婷五月| 久久偷拍综合五月天| 97婷婷丁香五月| 婷婷六月丁香久| 亚洲 25P| 婷婷开心久久| 91九色国产在线| 久久久.COM| 成人免费在线电影| 噜噜噜久久| 丁香色婷婷五月天| 天海翼中文字幕高| 伊人碰碰婷婷| 26uuu.| 狠狠夜夜五月丁香| 99亚洲色| 99re8在这里只有精品| 色婷婷av在线观看| 微拍92| 韩国97天堂| 真实熟女-91九色| 九九99偷拍视频| 91av无码| 激情五月天婷婷图| 丁香婷婷色五月激情综合| 天天操天天操天天操天天操天天操 | 五月婷婷色五月| 五月天激情网图片| A片试看50分钟做受视频| 91九色熟女| 91久热| 色99网| 亚洲精品一区中文字幕乱码| 九九99在线| 久久婷婷五月丁香网| 婷婷五月天最新综合你懂的| 这里只有精品视频一区| 亚洲热视频| 五月婷婷综合在线| 婷婷综合网| ss99热| 五月婷婷色五月| 五月花激情| 高潮毛片又色又爽免费| 欧美日韩99| 襙比视频| 97色婷| 亚洲V国产V欧美V久久久久久| 久久久久久婷| 人色五月天婷婷| 开心激情综合| 丁香五月亚洲综合丝袜| 深爱 五月天| 久热只有这里精品| 99精品成人无码A片观看金桔| 日本nghangse中文字幕| 五月天婷婷六月| 久久99热这里只有精品| 五月精品99综合| 久久久91| 五月 成人 婷婷| 欧美色图片88| 亚洲小视频免费播放| 一区二区三区四区无码| 国产精品久久久久久妇女6080| 婷婷伊人綜合| 99热在线观看精品免费| 欧美大片| 激情综合网之激情五月| 久久伊人大香蕉| 在线99色| 夜色综合网| 碰碰碰97国产| 深爱激情五月天婷婷网| 国产精品第一国产精品| 最新日本A片| 伊人婷婷五月天| 开心五月婷婷| 5月色婷婷| 99久久五月婷婷| 五月婷婷视频| 狠狠狠五月婷婷六月丁香| 99热免费精品| 久久五月网| 五月丁香淫淫婷婷婷| 亚洲精品久久久久久久久久吃药| 啪啪日本欧美| 丁香婷婷基地| 密臀av无码人妻精品| 久久久久人无码人妻| 91欧美| 超碰京东热av男人的天堂| 久久视频这里都是精品| 亚洲精品久久久无码| 欧洲精品欧洲情| 热99这就是精品视频| 久草大| 91九色中文| 超级碰碰碰碰视频| 婷婷色九月| 91精品国产色猫| 丁香五月婷婷色| www久久久久久久久久久| 婷婷激情五月天网站| 五月婷丁香| 婷婷五月丁香av网站| 丁香婷婷网| 久久久99免费视频| 综合色99| 激情性五月天免费小说视频| 丁香九月综合在线| 天天综合网91| 美女亚洲五月丁香| 国产亚洲AV人片在线| 开心五月丁香啪| 无码字幕中文| 成人AV免费观看| 九九色热| 影音先锋高清无码资源网| 五月综合在线婷婷图片| 野外99热| 五月亭亭直播| 激情综合网激情五月欧美| 九九99精品免费播放| 99热这里只有是亚洲国产| 91超级碰人人操| 操操国产| 婷婷五月色网| 色色爽爽天天| 色五月婷婷在线观看第一页舔| dingxiangtingtingliuyue| 久久成人亚洲欧美电影| 色99热| 九九热这里有精品视频| 丁香五月婷婷www..com| 99热精品观看| 五月色婷婷AV| 在线成人网址| 亚洲mm免费| 日撸夜撸日操| 色五月无码| 丁香花狠狠婷婷亚洲中文字幕| 99综合| 天天爽在线视频| 9久久狠狠的| 无码色色| 婷婷五月天777| 久久女人九九| 白人荫道BBWBBB大荫道| 六月丁香激情网| 99久久99热这里只有精品| 久久久免费图片视频| 日韩成人中文字幕| 婷婷播5月| 日本三级韩三级99久久| 九九色情网五月天| 人与禽A片啪啪| 婷婷五月激情在线视频| 综合六月激情婷婷| 无码网| ady狠狠入| 97热这里只有精品| 久草视频一,二三四| 婷婷伊人激情婷婷| 噜噜狠狠| 91viP在线看| 亚洲精品九九| 国产99久| 亚洲偷| 91精品综合久久久久久五月丁香| 五月天婷婷乱论小说| 婷婷丁香六月五月天| 最新日韩AV中文字幕| 激情五月久久| www,久久久| 五月天影院婷婷在线观看| www.婷婷| 大香蕉网站,大香蕉综合| 丁香五月婷婷免费视频| 八戒青柠影视剧在线观看| 97资源碰碰| 色五婷婷开心缴| 春色激情第四色| 婷婷五月花| 婷婷色色丁香| 人人操操| 日本97在线视频| 激情五月天色色色| 激情五月婷婷她| 在线中文字幕av| 91色综合网站在线| 麻豆123区| www...com黄在线观看| 人妻熟人中文字幕一区二区| 丁香六月综合激情| 欧美顶级少妇做爰HD| 色婷婷小说网| 亚洲综合五月天| 东京热免费视频| 激情爱爱网站| 97碰啪啪| 色99网| 深爱激情六月天| 五月婷激情影院| 丁香五月成人av| 天天插天天| 人人射av| 夜夜干天天干| 另类视在线| 99热这里只有精品1| 激情五月天色婷婷综合| 五月丁香无码视频| 99精品自拍视频| Av九九| 开心五月综合激情网| 婷婷激情六月视频| 亚洲五月天激情| 久久性爱视频网站| 免费无码毛片一区二区A片| 婷婷色婷婷| 思思久久99热只有频精品66| 国产美女无遮挡裸体毛片A片| 狠狠干五月| 在线sebiav精品视频| 日韩三级视频一区二区| 久久婷婷五月丁香网| 婷婷在线综合| 五月人人丁香婷婷五月人人丁香| 五月天激情婷婷丁香| 99er视频在线| 91精品久久久久久77777| 99性色| 婷婷丁香六月| 国产性爱色| 人人综合久| 综合激情伊人影视在线| 婷婷六月激情丁香| 香蕉婷婷色五月| 久久98| www.婷婷| 狠狠久综合| 婷婷激情伍月网| 婷婷五月天手机版视频| 五月久久婷婷丁香| 亚洲精品第一国产综合亚AV | 超碰中文字幕在线| 国产韩日亚洲美州欧亚综合在线| 亚洲男人的天堂婷婷色五月| 深爱激情五月天| 色情五月综合婷婷| 欧美日韩国产成人在线| 狠狠舔| 六月狠狠综合| 伊人激情| 99久在线精品99re5热视频| 天天情天天狠天天透| 襙逼网| 五月天婷婷綜合院| 久久久久久五月天| 综合久久99| 五月丁香龟婷婷| 日韩成人av在线| 成人无码精品1区2区3区免费看| 激情国产五月| 99热精品少| 色色亚洲视频| 99青青草99| 色优久久| 日本99在线| JAPANRCEP老熟妇乱子伦视频| 五月婷婷色白丝| 五月丁香六月婷婷,婷| 色欲一二三| 狠狠精品干练久久久无码中文字幕| 大香久久综合网| 色综合网上班开心婷婷久久| 婷婷五月天小说| 99在线精品免费视频| 色综合久久44| 欧美色97| 激情 婷婷| 囯产精品一品二区三区| 五月丁香啪啪网| 国产AV不卡福利| AV天堂婷婷五月天| 午夜AV网| 亚洲、热| 日日噜噜夜夜狠狠久久丁香五月| 激情99。| 五月天婷婷色| 天天舔天天摸天天射| www.久久久久| 无码橾| 播丁香五月婷婷欧美| 九九综合精品| 99这里有精品视频| 欧美久久婷婷| 亚洲综合五月天婷婷丁香| 五月天丁香啪啪网| 一区二区三区四区无码| 五月天操逼激情| 丁香五月98| 国产67194| 97资源欧美日韩大香蕉超碰一区| 久久激情五月婷婷| 成人片在线播放| 婷婷五月天激情电影| 欧美色色色色色色色色| h亚洲| 激情五月丁香色色去久久| 婷婷久久亚洲| 狠狠爱五月婷婷| 天天爱综合网| 大香线蕉伊人| 五月综合无码| 亚洲色婷婷婷婷人人爽| 色五月丁香91| 丁香五月天在线观看| 91日本在线免费| 99日韩网站| 玖玖婷婷色欲| 婷婷五月天狠狠色| 99热偷拍| 国产精品久久欧美久久一区| 婷婷五月综合婷婷| 成人五月丁香花| 五月婷丁香亚洲| 色99久草在线| 五月婷婷av| 一婬一伦一区二区三区| 国产操碰| 婷婷丁香成人网址| 日韩无码性爱| 九九热精品| 婷婷色无码| 国产成人精品一区二三区熟女在线| 丁香五月婷婷亚洲人| www.91色| 性日本精品| 懂色av蜜臀av粉嫩av永陈冠希| 五月天丁香| 九九热超碰| 99精品偷自拍| 深情五月天| www.久久久久久久| 久久小说网| 婷婷丁香五月综合网上| 99视频在线播放大全| 大香蕉99热| 色婷婷综合综合网| 色欲Av五月天| 久久人妻www| 91互操| 色偷偷五月天| 天天做天天爱天天要| 91人人妻人人操| 久热大香蕉| 人人爽人人爽人人爽人人爽| 在线观看免费狠狠色丁香香综合| 五月激情影院| 色XX综合网| 热99这里只是精品| 亚洲色五月婷婷| 六月婷婷综合| 五月天久久网站| 99这里只有免费的小视频在线观看| 超碰熟女农村在线69| 色五月超碰| 五月色情网| 超碰在线超碰| www.久久久久久久久久.com| 国产 码在线成人网站| 久热网站| 久久五月婷婷开心网| 五月天天综合| 97久久精品视频| 色五月丁香婷婷| 中文在线视频久1| 婷婷丁香六月综合激情站| 国产99久9在线+|+传媒| 亚洲亚洲人成综合网络| 亚洲精品成人| 久色大| www,婷婷五月天,com| 色99在线视频| 大香蕉中文| 伊人在线大香蕉网| 久久中文网| 久久精彩免费视频| 久久久五月天| 在线婷婷| 婷婷五月,偷窥偷拍网| 丁香五月色情| 色婷婷国色天香综合| 五月婷婷人人人操| 超碰无码318604| 国产九月婷婷| 91婷婷视频| 婷婷五月天基地| 偷偷操99| 激情五月天网站| 思思热高清在线观看| 五五月五月| 噜噜噜噜噜在线| 日韩久久色| 亚洲日日操| 97涩涩丁香五月天| 九九热在视频| 色久免费| 日韩精品无码99| 丁香六月视频| 婷婷五月天日日日干干干| 五月丁香婷婷无码中文| site:esunnet.com| 天天色,天天操,天天射| 久久婷婷婷婷伊人| 激情小说五月欧美亚洲丁香| 色色色色色综合| 丁香婷婷基地| 色综合中文| 秋霞A V毛片| 香蕉国产2013| 激情综合五月| AV成人在线网站| 五月天丁香色色| 九九婷婷五月天| 亚洲AV成人一区二区在线观看| av大片在线| 玖玖婷婷免费| 婷婷五月中文字幕| 色婷婷久久| 免费AV黄在线播放| 26uuuavcom| 91dy.av| 2025年最新亚洲在线欧美| 综合综合网| 99视频这里只有精品10| 天天日日夜夜爽。| 91ncm视频| 中文字幕AV在线| 大香蕉人妻| A短视频免费在线观看| 五月天婷久久| 婷婷色五月天色| 精品网站:999WWW| 婷婷97| www.五月天婷婷姐姐| 刘玥av在线| 欧美婷婷综合| 91九色白丝| 五月天伊人久久久久| 九九热中文| 天天综合激情| 丁香色五月天| 亚洲热视频在线| 年轻的妺妺伦理HD中文| 激情久久 婷婷| 永久的网站AAAA | 99爱免费在线观看| 99热这里只有精品2| www.maotanji.com| 国产99久久久国产精品免费看| 人妻有码乱操| 九九热a| 99热99热| 亚洲五月天婷婷| 碰碰碰97国产| 丁香婷婷精品视频| 99热这里只有精品免费| 五月天婷婷影院| 九九热在线视频观看免费10| 日日天天操| 超碰国产在线观看| 激情亚洲五月| 丁香五月婷婷啪| 日日色综合| 少妇性按摩无码中文A片| 久久久噜噜噜www成人| 99热情这里只有精品在线播放| 五月天久久综合婷婷丁香| WWW,五月| 婷婷天堂视频| 婷婷情色激情| 麻豆WWWCOM内射软件| 影音先锋毛片网站| www激情| 全部老头和老太XXXXX| 美女黄频aⅴ视频| 这里只有精品网| 午夜性做爰电影| 99人人干人人| 亚洲五月天婷婷| 五月天久久色| 丁香五月天信号| 激情五月天激情综合网| 极品人妻VIDEOSSS人妻| 色久丁香五| 国产精品A成V人在线播放| 黄网免费观看| 精品人妻在线| 亚洲AV电影美洲AV电影| 99色看| 乱岳熟女50岁| 欧美色骚婷婷五月天| 婷婷五月天天爽| 大香久久综合网| 热热久久久久久久久| 五月丁香婷婷六月| 中文字幕在线免费观看视频| 999热在线视频| 国产精品色婷婷久久久精品| 五月天综合视频| 九九99视频精品| 国产片色| 丁香五月婷婷综合激情啪啪啪| 婷婷久久夜| 色狠狠色| 这里只有视频精品| 久久久免费精彩视频| 99热日韩| 激情五月天婷婷五月天| 五月丁香六月色婷婷综合五月天| 免费视频无码| 久热视频A.| 色色亚洲视频| 草美女在线观看视频在线播放| 久久婷综合| 丁香六月婷婷综情欧美| 色色五月天激情| 日韩人妻无码一区二区| 爱99干99| 久久五月天激情| 久草视频大香蕉99| 99九九视频精彩在线| 99热天堂| 九九亚洲| 99热精品综合| 九九久久色| 裸体美女丁香五月天。| 狼友超碰| 国产这里只有精品| 婷婷五月天激情五月天网站| 丁香五月www| 婷婷久久99| 久久精彩综合视频| 国产AV一区二区三区最新精品| 国产FREESEXVIDEOS性中国| 九九成人精品免费视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色婷婷色九月| 夜夜爽天天干| 在线综合婷婷| 色99无码| 丁香六月综合| 99亚洲日韩| 2017狠狠干| AA丁香综合激情| 男女久久婷婷五月天| 人人操人人添人人摸97| 色婷婷综合久久久久| 激情综合婷婷五月| 国产激情在线| 久久久亚洲成人无码A片| 国産精品| 婷婷五月天堂| 狠狠干青青草| 欧美狠狠草| 五月天婷婷无码| 五月婷婷丁香| 夜夜综合色| 色区久久| 99久久婷婷国产综合亚洲| 9色视频在线| 五月丁香六月婷婷综合伊人| 成人视屏在线观看| 丁香五月婷婷国产av| 综合色99| 久久久久久人妻久久久久久久久久人妻久久久 | 综合亚洲五月天| 久碰久| 操一区| 丁香五月婷婷视频| 九九爱看亚洲| 色婷操逼| 狠狠爱婷婷爱| 亚洲操B视频| 全部老头和老太XXXXX| 六月丁香综合| 婷婷五月色色| 久热免费| 性色五月天| 婷婷五月精品中文字幕| 五月天成人在线| 插插插丁香五月婷婷| 99热最新| 久久9久| 亚洲视频二区| www.婷婷五月| 99自拍视频在线观看| 9久热免费视频99| 超级碰碰碰碰视频| www.99日本| AV成人在线播放| 丁香五月婷婷偷拍| 狼人婷婷久久| 久久98| 久久婷婷青草五月天| 久久99久久99精品免观看粉| 色色免费网站| 激情小说五月天社区丁香| 99ri在线视频| 琪琪秋霞| 天天开心AV色综合婷婷五月天| 色狠狠六月| 人人摸人人射| 婷婷丁香人妻天天久久| 青草少妇激情| 99riAv1国产在线观看| 91大神操美女| 婷婷狠狠干| 天天日天天插| 亚洲成人网址在线观看| 久久丁香九| 欧美性久| 人人草成人视频| 思思热99er在线视频| 色五月婷婷丁香婷婷| 亚洲va欧美va国产综合久久久| 26uuu亚洲精品国产| 激情五月天在线免费美女视频| 中文字幕激情综合| 99综合网| 成人精品免费在线观看| 97五月天婷婷综合激情网| 色欲天天综合| 丁香婷五月天| 久久美女五月天| 9久精品视频| 超碰国产在线| 超碰97在线观看免费| 中文字幕亚洲-区久久99婷婷| 国产综合色婷婷精品久久| 五月丁香亚洲校园欧美| 激情综合色五月丁香六月亚洲| 激情五月天影院| 日韩九九| 97亚洲精品| 91久久久久久久久18| 亚洲五月天综合| 六月婷婷中文字幕| 少妇性按摩无码中文A片| 久综合4| AV成人在线播放| 天天婷婷天天| WWW免费视频碰碰碰碰| 五月天开心网| 丁香五月天激情四射网| 五月婷婷天天色| 99免费视频| 亚洲日本韩国| 中文字幕日韩成人| 久久99久久99精品免观看软件| 天堂综合久久 | 999久久久国产精品| 精品一二三区久久AAA片| 色色五月激情| 婷婷在线午夜| 色5月婷婷| 嫩草视频。| 噜噜噜噜噜久| 五月狠狠| 日比视频91| 天天日日夜夜爽| 九九热在线观看视频| 天天射影院| 久久婷婷五月天激情四射| 色色丁香五月婷婷| 久久激情五月婷婷| 婷婷六月视频| 激情五月天在线视频| 99爱精品| 欧美婷婷| 91人人网| 婷婷五月激情五月丁香五月| 五月丁香六月合| 欧洲色色| 色噜噜狠狠色综合无码久久欧美| 亚洲综合五月天| 色涩视频久久| 99色1| 色吧综合网| 99视频内射三四| WWW,五月| 久婷久婷| 欧美性色视频| 五月天色色色色色| 日日操夜夜骑| 天堂网亚洲色图| 丁香五月欧美色综合| 无码AV免费精品一区二区三区| 婷婷色综合| 国产在线中文字幕| 激情久久久久久| 丁香婷婷91在线观看视频| 91热在线观看视频| 婷婷五月天狠狠| 老师高潮流白浆喷水的A片| 久久精品小视频| 五月丁香在线| 五月婷婷和六月| 婷婷色综合| 97丁香花五月天激情小说| 六月天婷婷| 亚洲综合网区| 性无码专区无码| 亚洲第一色色色| 国产精自产拍久久久久久蜜 | 激情纯色婷婷五月天在线不卡视频| 色五月激情五月开心五月| 国产激情久久久| 久久五月丁香| 深爱五月综合网| 国产69久久久欧美黑人A片| 激情丁香婷婷五月天| AV性爱在线| 五月婷婷激情四季| 99在线精品免费视频| 天天上天天爽| 色色欧美色色色| 99热99干| 成人色图情色成人网 www.5b5b5bcom 五月天 | 成人亚洲精品| 色婷婷久久综合久色| 五月色综合| 色 五月婷婷基地| 思思热99er| 激情综合激情综合| 国产激情AV| 久久xxxx| 色婷婷激情五月天在线观看| 色九月综合网| 久久综合九九| 天天射综合网天天插| 久久综合55| 射久久丁香五月| 久久婷婷五月天激情新地址| 五月天色小说| 99只有这里有精品在线视频| 在线看片av| 最近中文字幕2019视频1| 久久思思热视频| 激情伊人网| 九九Av| 99思思热只有在这里看| 婷婷趴趴| 人妻丰满精品一区二区A片| 国产精品成人av在线观看春天| 啪精品| 九九热视频在线观看| 丁香五月天成人| 99色视频在线观看最新| 高潮毛片又色又爽免费| 婷婷五月天社区| 久婷婷五月激情| 色色色天堂网| 婷婷大香蕉| 激情六月婷婷| 色色影院aaaav| 玖色色综合| 99热婷婷| 狠狠操狠狠| 久久久er热| 97热久久五月婷婷| 日本熟妇乱妇熟色A片蜜桃| 九九無妻| 精品99网站| 丁香五月色色| 日本玖玖在线| 激情综合五月婷婷| 超碰国产在线观看| 欧洲综合色| 91精品久久久久久77777| 久久久日韩特色特黄AAAA| 婷婷社区五月天| www.狠狠操| 中文aV网| 久久综合激情五月天| 亚洲成人无码免费| 国产AV一区二区三区最新精品| 99九九99九九九视频精彩| 天天久久综合| 丁香五月婷婷深爱综合激情| 一婬一伦一区二区三区| www.丁香六月婷婷久久天堂影院.con| 91一起艹| 播五月,色五月,开心五月播放器| 日日操夜夜爽天天天| 99ri精品视频在线观看| 日本久久极品| 综合色在线| 五月天婷婷基地| 综合久| A久久| 丁香五月婷婷激情蜜桃| 久久这里都是精品视频| 久久这里这里有精品免费视频| av无码电影| 97精品综合久久内射| 狠狠插.com| 色狠狠色噜噜AV天堂五区| 五月婷婷中文字幕| 91avse| 日本色色网站| 天天爱天天做天天| 五月天婷婷在线观看| 99福利视频| 色婷婷色情| 超碰人人操人人干| 日本色天堂| 大天天伊人| 婷婷成人视频| 99视频精品全部观看10| 亚洲综合色色色| 狠狠色噜噜色狠狠狠综合久久成人波 | 久久久久久久久久人妻| 五月婷婷丁香色吧网| 激情久久五月网| 久久狠狠色| 激情五月婷婷色综合| 天天成人综合| 欧美性爱特黄一级aaaassss| 五月天三级| 亚洲 精品 综合 精品| 欧美日本综合网| www.五月天婷婷.com| 婷婷第六色| 色99亚洲| 色综合日日| 日撸夜撸日操| 天天日天天干天天爽| 久久美女五月天| 亚洲欧洲午夜成人精品av| 伊人狠狠丁香婷婷综合尤物| 97av在线视频| 色5月婷婷| 欧美性生交xXxX久久久| 热热色色五月天婷婷| 99久久国产综合精品五月天喷水\| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 亚洲12p| 蒲京久久无码视频| 任你搞在线观看视频| 99热加勒比| 久久九色| 森林影视大全,最好看的2019年视频 | 丁香花五月天激情| 99re在线视频精品,这里只有精品18,| 天天插综合在线| 欧美噜一噜| 亚洲无码色色| 亚洲天堂热| 无码少妇高潮喷水A片免费| 天天色综网| 大香蕉丁香| 另类亚洲2| 凹凸探花电影| 四色AVwww| 激情综合网五月丁香| 丁香五月电影| 婷婷五月丁香色色| 色婷婷五月色| 亚洲熟妇AV综合网五月丁香伊人| 欧美国产一区二区三区| 久久人妻www| 久久久免费精彩视频| 人人妻人人澡| 丁香六月婷婷开心| 国产色五月| 九九色人| 超碰只有精品在线| 成人综合视频在线| 五月婷婷六月激情在线| 天天五月天综合网址| 色色五月婷| 成人AV片播放| 中文字幕在线免费| 色色丁香激情五月| 狠狠色狠狠| 黄色国久久| 丁香五月婷婷AV| 狠色狠色综合久久| 97自拍视频在线| 久久综合55| 久久婷婷成人视频| 饮料下药迷倒漂亮女同事强干| 99亚洲天堂| 九9九9无码| 精品99网站| 婷婷色在线观看| 丁香婷婷综合喷| 性爱在线播放av| 九九综合色综合| 婷婷5月久久综合网站| 99色视频| 婷婷综合成人| 黄色av网站在线免费播放| 99re熱| 九九热在线观看视频| 国产伦亲子伦亲子视频观看| 婷婷综合精品| 五月天婷婷激情在线色图| 伊人综合网站| 色999亚洲人成色| 亚洲婷婷五月天激情| 日韩成人精品中文字幕电影| 色婷婷电影| 日韩超碰在线| 欧美日本99| 丁香五月天激情小说| 色人久久| 婷婷五月激情网| 先锋资源婷婷| 超碰A V在线| 人妻操在线看| 97色吧| 天天五月香欧美| 丁香五月自拍| av在线中文| 六月婷婷八月丁香| 丁香婷婷综合色五月激情国产基地| 久久五月丁香激情综合| 五月开心久久| 啪啪色激情五月天| 五月天激情影院| xxxx久| 婷婷爱五月| 久热re在线视频| 五月开心色| 精品无码片| 婷婷在线免费| 99热在线极品极品| 99色 色| 婷婷丁香成人色综合| 六月伊人婷婷| 九九在线视频| 五月色丁香成人| 搡BBBB搡BBB搡18| 天天色伊人| 97超碰婷婷五月天| 天天拍久久| 久久看九九90| 天天射色五月天| 激情婷婷五月综合| 99综合视频| 99热这里只有精品4| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 影音先锋 91工厂| 日本欧美成人片AAAA| 亚洲乱码成人| 99惹 精品在线| 欧美成人网99网| 九色地址91视频| 精品99在线| 99re热在线视频| 久热99| 激情播丁香| 国产午夜精品一区二区三区四区| 天天日天天操天天干| 五月天激情亚洲| 五月丁香婷婷综合网| 色琪琪一综合久久激情五月视频| 97色在线| 婷婷久久六月天| www.99操| 91超碰九色| 婷婷免费成人视频| 狠狠色综合图片| 精品爆操| 可以免费观看的av网址| 内射在线CHINESE| 99re这里| 亚洲综合99| 年轻的妺妺伦理HD中文| 狠色狠色综合久久| 99久久精品国产色欲| 99久久综合网| 人妻videos人妻高清| 高清av在线国产| 人妻AV在线观看| 丁香婷婷综合五月天| 久热re视频在线观看网站| 超碰在线免费9| 国产 A片 自拍| 一区二区传媒视频| 亚洲综合色色| 久色网五月| 色玖玖爱| 琪琪布丁香社区激情五月天| 最新va在线播放| 丁香五月网络网络| 九九色中文| 思思久久精品| 综合久久人妻| 久热精品视频在线观| 伊人久久丁香狠狠婷婷综合香蕉| 97九色视频| 第四色婷婷最爱| 婷婷丁香亚洲色综合91| 日韩成人无码| 激情综合网址| www,婷婷五月天,com| 中文字幕视频在线播放| 丁香婷婷九月在线| 日本啪啪天堂| 九一99| 五月亭亭六月色| 色综合香蕉| 性欧美大战久久久久久久83| 99九无网码| 99热99干| 亚洲成人色五月天| 亚洲性爱电影| 亚洲精品九九| 97色吧| 婷婷激情五月| 丁香六月激情综合| 色婷婷狠狠色| 色之综合网| www.久久爱.com| 91av视频| 国产全是老熟女太爽了| 99九九在线| 久久性爱视频网站| 色综合日日| 亚洲激情无码久久| 九月丁香亭亭| 东京热免费视频网站| 伊人久久丁香狠狠婷婷综合香蕉| 精品人妻伦一二三区久| 婷婷五月天情色| 日本va欧美va欧美va| 我要色综合五月婷婷| 综合久久综合久久| 久久婷婷五月综合色丁香| 97丁香五月天| 狠狠操.com| av九九| 激情六月丁香| 丁香婷婷色情| 影音先锋偷偷色男人站| 91在线看片| 五月天丁香婷婷久久九| 欧美丰满熟妇BBB久久久| 人妻中文在线| 丁香五月天黄色片| 操操自拍| 99热天堂| 超碰在线超碰| 99爱在线视频| 99热8| 九九热精品在线| AV人人操| 丁香婷婷六月| EEUSS鲁片一区二区三区| 六月综合在线| 六月丁香五月天| 五月丁香六月激情欧美综合| 亚洲天堂aaa| 色婷婷亚洲精品天天综| 九热视频| 99热色精品| 激情综合色婷婷啪啪六月天| 国产这里只有精品| 99ri视频在线播放| 91久久九久久九久久九久久九久久| 丁香五月天激情综合网| 色婷婷色综合| 国产探花一片区| 综久久久| 五月亭亭欧美女人| 狼人婷婷久久| 五月丁香激情综合网| 99热啪啪| 九九九九九无码| 99re思思热这里| 新激情五月天色播| 色婷婷五月视频| 成功精品影院| 综合大香蕉| 深爱五月婷婷| 久久黄色片| 91在线观看www| 婷婷五月18永久免费网站| 99九九精品视频| 人人亚洲| 99热只有精品在线观看| 久久99激情丁香婷婷小说网| 五月婷婷综合网| 成人在线视频网| 天天综合精品| 91九色 熟| 免费啪啪亚州视频| 激情五月天婷婷免费观看| 五月四色色| 五月色天情| 日本美女上人| 在线观看国产高清视频免费网站 | 久这里只有精品99| 五月欧美色色五月| AV性爱网| 少妇综合网| 六月婷婷综合网2| 日本在线99| 99久久国产宗和精品1上映| 天天做天天爱综合| 色婷婷综合久久久久| 五月天色综合| 91性人人| 热热久久精品视频| 五月色影院| 大香蕉手机视频| 色99超碰| 激情五月天婷婷激情| 拳交大逼| 日韩成人网址| 狠狠色丁香婷婷五月| 色狠狠999综合网| 亚洲视频99| 九九Av| 77777亚洲午夜久久| 日韩黄黄| 五月婷婷成人| 先锋影音av色五月天资源站| 日本久久99久久| 综合激情综合啪啪| 亚洲色碰| 亚洲天堂色| 久久婷婷五月国产激情综合片| 骚。com| 婷婷在线播放| 91丁香五月| 思思久热6| 51XX午夜影福利| 久久99热精品a片在线观看| 超碰成人在线观看| 超碰自拍天堂| 色五月婷婷五月久久| 99精品久久久久| 久久涩视频| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 97亚洲视频在线| 欧美激情丁香五月| 99热66| 黄色av网站在线免费播放| 秋霞黄色一级久久| 久青操| 97婷婷久久丁香| 久久九九99字幕| 久久机热/这里只有精品| 丁香五月天婷婷91| 射久久丁香五月| 极品少妇XXXX精品少妇偷拍| 五月久久婷婷丁香| 色五月天婷婷| 五月丁香色欲| 婷婷五月丁香激情色情| 99在线免费观看| 大香蕉精品视频| 99男人的天堂| 操人精品| 五月丁香六月婷婷亚洲综合| 女人被躁到高潮嗷嗷叫小| 五月欧美色播| 九九热在线99| 99九九综合久久九九| 激情五月天婷婷在线网址发给我| 超碰成人影视| 天天天天天天天操| 一本大道嫩草AV无码专区| 开心六月丁香五月婷婷| 五月婷色| 久久HD| 国产91视频| 人妻九九九九| 久99久在线观看| 亚洲婷婷五月| 久热99热| 69久久99精品久久久久婷婷| 丁香五月AV| 99精品女人天堂| 婷婷综合视频| 玖玖婷婷婷丁香五月| 天天爽天天日| 超碰高清在线| 99噜噜| 色色色色色色色色五月先| 婷婷中文无码| 第四色婷婷日本| 另类少妇人与禽zOZZ0性伦| 狠狠色激情在线|