欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

稀疏BEV多任務(wù)感知算法:地平線SparseBevFusionMultitask解析與部署實(shí)踐

稀疏BEV多任務(wù)感知算法:地平線SparseBevFusionMultitask解析與部署實(shí)踐 1. 項(xiàng)目概述當(dāng)稀疏化遇上多任務(wù)BEV感知最近在自動(dòng)駕駛感知算法的圈子里地平線推出的“SparseBevFusionMultitaskOE-V1.0”這個(gè)參考算法引起了不少工程師和研究員的好奇。這個(gè)名字聽起來(lái)有點(diǎn)長(zhǎng)但拆開來(lái)看每一個(gè)詞都指向了當(dāng)前感知領(lǐng)域最前沿的幾個(gè)技術(shù)方向Sparse稀疏化、BevFusion鳥瞰圖融合和Multitask多任務(wù)。簡(jiǎn)單來(lái)說(shuō)這是一個(gè)基于地平線征程系列芯片專門為高效、高性能的多任務(wù)鳥瞰圖感知而設(shè)計(jì)的算法參考實(shí)現(xiàn)。如果你正在為車載計(jì)算平臺(tái)上的感知模型部署發(fā)愁尤其是面對(duì)動(dòng)輒幾十個(gè)GFLOPs甚至上百TFLOPs的復(fù)雜BEV模型時(shí)感覺(jué)內(nèi)存和算力都捉襟見肘那么這個(gè)算法可能就是你一直在找的“參考答案”。它核心要解決的就是在有限的車規(guī)級(jí)芯片算力下如何讓一個(gè)模型同時(shí)、高效地完成3D目標(biāo)檢測(cè)、可行駛區(qū)域分割、車道線檢測(cè)等多個(gè)關(guān)鍵感知任務(wù)。這不僅僅是把幾個(gè)任務(wù)的網(wǎng)絡(luò)頭拼在一起更深層的是通過(guò)稀疏化計(jì)算來(lái)大幅降低冗余讓模型跑得更快、更省資源。我之所以花時(shí)間深入研究它是因?yàn)樵趯?shí)際項(xiàng)目中我們常常遇到這樣的困境單個(gè)任務(wù)的BEV模型比如只做3D檢測(cè)已經(jīng)能讓芯片的NPU利用率飆到80%以上再加上其他任務(wù)要么延遲超標(biāo)要么內(nèi)存爆掉。地平線這個(gè)參考算法給出了一種將前沿學(xué)術(shù)思想稀疏BEV、多任務(wù)學(xué)習(xí)與芯片硬件特性如BPU架構(gòu)深度結(jié)合的工程化范例。它不僅僅是論文里的代碼更是考慮了真實(shí)部署約束的解決方案。對(duì)于算法工程師、部署工程師甚至是負(fù)責(zé)技術(shù)選型的架構(gòu)師理解這個(gè)算法的設(shè)計(jì)思路和實(shí)現(xiàn)細(xì)節(jié)都能為自家的感知系統(tǒng)優(yōu)化帶來(lái)直接的啟發(fā)。2. 核心設(shè)計(jì)思路與稀疏化價(jià)值解析2.1 從密集BEV到稀疏BEV的范式轉(zhuǎn)變要理解SparseBevFusionMultitask首先得明白傳統(tǒng)密集BEVBird‘s-Eye-View感知的瓶頸在哪里。經(jīng)典的BEV感知流程通常是將多攝像頭圖像通過(guò)一個(gè)強(qiáng)大的視覺(jué)主干網(wǎng)絡(luò)如ResNet、Swin Transformer提取特征然后通過(guò)一個(gè)稱為“View Transformer”的模塊比如LSS、BEVFormer等方法將這些透視視圖下的特征“抬升”或“變換”到鳥瞰圖坐標(biāo)系下形成一個(gè)密集的BEV特征圖。這個(gè)BEV特征圖就像一張俯視的地圖每個(gè)像素位置都對(duì)應(yīng)著地面上的一個(gè)物理位置并包含了該處的視覺(jué)語(yǔ)義信息。問(wèn)題就出在這個(gè)“密集”上。為了覆蓋車輛周圍足夠大的感知范圍比如前向100米左右各50米并保持足夠高的分辨率比如0.1米/像素這個(gè)BEV特征圖會(huì)非常龐大。假設(shè)范圍是100m x 100m分辨率0.25m那么BEV特征圖就是400x400的網(wǎng)格。如果特征通道數(shù)是256那么單幀的BEV特征數(shù)據(jù)量就是400 * 400 * 256 ≈ 4千萬(wàn)個(gè)元素對(duì)于float32數(shù)據(jù)類型就是約160MB。這僅僅是特征圖還不算后續(xù)檢測(cè)頭、分割頭的計(jì)算量。如此密集的計(jì)算和內(nèi)存訪問(wèn)對(duì)于車載芯片是巨大的負(fù)擔(dān)。稀疏BEV的核心思想就是打破這個(gè)密集網(wǎng)格的約束。它認(rèn)為在真實(shí)的駕駛場(chǎng)景中感興趣的目標(biāo)車輛、行人和可駕駛區(qū)域只占據(jù)了整個(gè)BEV空間的一小部分大部分區(qū)域是空曠的或無(wú)信息的。因此完全沒(méi)有必要為所有位置都進(jìn)行計(jì)算和存儲(chǔ)。稀疏BEV算法會(huì)動(dòng)態(tài)地生成一組“BEV查詢”或“BEV錨點(diǎn)”這些查詢只聚焦在可能有物體的區(qū)域。計(jì)算和特征存儲(chǔ)只發(fā)生在這組稀疏的查詢位置上從而極大地減少了計(jì)算量和內(nèi)存占用。在這個(gè)參考算法中“Sparse”前綴正是體現(xiàn)了這一關(guān)鍵設(shè)計(jì)。它很可能采用了類似Sparse BEV或PETR系列算法的思想使用一組可學(xué)習(xí)的稀疏查詢向量直接與圖像特征進(jìn)行交互生成稀疏的BEV特征從而避免了構(gòu)建龐大密集特征圖的開銷。2.2 多任務(wù)學(xué)習(xí)的協(xié)同與權(quán)衡“Multitask”是這個(gè)算法的另一大支柱。在自動(dòng)駕駛感知中3D目標(biāo)檢測(cè)框出車輛、行人的位置和大小、語(yǔ)義分割劃分出道路、車道線、人行道等區(qū)域通常是獨(dú)立模型。但這帶來(lái)了幾個(gè)問(wèn)題1) 多個(gè)模型重復(fù)計(jì)算底層特征算力浪費(fèi)2) 模型間輸出可能不一致比如檢測(cè)框壓到了分割出的道路上3) 系統(tǒng)集成復(fù)雜調(diào)度開銷大。多任務(wù)學(xué)習(xí)用一個(gè)共享的主干網(wǎng)絡(luò)Backbone來(lái)提取圖像的通用特征然后為不同任務(wù)配備不同的任務(wù)頭Task Head。這樣特征提取只做一次各個(gè)任務(wù)頭在此基礎(chǔ)上進(jìn)行特異性解碼。這能顯著提升計(jì)算效率并可能因?yàn)槿蝿?wù)間的相關(guān)性而提升各自的性能知識(shí)共享。然而多任務(wù)設(shè)計(jì)并非簡(jiǎn)單的“搭積木”。它面臨嚴(yán)峻的挑戰(zhàn)任務(wù)沖突不同任務(wù)的最優(yōu)特征表示可能不同。例如檢測(cè)任務(wù)需要精確的邊界信息而分割任務(wù)需要連貫的區(qū)域信息。強(qiáng)行共享特征可能導(dǎo)致相互干擾性能都不如單任務(wù)模型。損失平衡各任務(wù)的損失函數(shù)量綱、數(shù)值范圍差異巨大。如何平衡檢測(cè)損失如Smooth-L1 Loss和分割損失如交叉熵Loss的權(quán)重是一個(gè)需要精心調(diào)參的難題。部署友好性多個(gè)任務(wù)頭的輸出后處理邏輯不同需要設(shè)計(jì)高效的流水線避免成為新的瓶頸。地平線的這個(gè)參考算法其價(jià)值就在于它提供了一個(gè)經(jīng)過(guò)驗(yàn)證的多任務(wù)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)和損失平衡方案并且是針對(duì)其BPU硬件進(jìn)行過(guò)優(yōu)化的確保了算法高效性的同時(shí)也兼顧了部署的便利性。2.3 BevFusion特征融合的藝術(shù)“BevFusion”指明了算法的另一項(xiàng)關(guān)鍵技術(shù)融合。在自動(dòng)駕駛中感知的可靠性不能只依賴于單一傳感器。雖然這個(gè)算法名稱和當(dāng)前的熱點(diǎn)“BEVFusion”融合激光雷達(dá)和攝像頭在字面上重合但根據(jù)其作為“參考算法”的定位以及地平線芯片主要面向純視覺(jué)方案的特點(diǎn)此處的“Fusion”更可能指的是多攝像頭之間的視覺(jué)特征融合或者是在BEV空間中對(duì)時(shí)序特征的融合。對(duì)于多攝像頭每個(gè)攝像頭只能看到場(chǎng)景的一部分且存在重疊區(qū)域。如何將這些不同視角、不同畸變的圖像特征統(tǒng)一、無(wú)失真地融合到一個(gè)共同的BEV空間表達(dá)中是View Transformer模塊要解決的核心問(wèn)題。這個(gè)參考算法所采用的融合策略直接決定了BEV特征的空間一致性和精度。此外時(shí)序融合也至關(guān)重要。單幀圖像難以判斷靜止或低速目標(biāo)也容易受遮擋影響。引入歷史BEV特征通過(guò)遞歸神經(jīng)網(wǎng)絡(luò)如ConvGRU或Transformer進(jìn)行融合可以顯著提升感知的穩(wěn)定性和對(duì)遮擋目標(biāo)的預(yù)測(cè)能力。這部分如果實(shí)現(xiàn)得好對(duì)于城區(qū)復(fù)雜場(chǎng)景的感知提升將是巨大的。3. 算法模塊深度拆解與實(shí)操要點(diǎn)3.1 圖像主干網(wǎng)絡(luò)與特征提取優(yōu)化圖像主干網(wǎng)絡(luò)Backbone是感知系統(tǒng)的基石負(fù)責(zé)從原始像素中提取豐富、多尺度的語(yǔ)義特征。在車載環(huán)境主干網(wǎng)絡(luò)的選擇必須在性能和效率之間取得完美平衡。常見選型與地平線適配像ResNet、ResNeXt、RegNet這類CNN backbone因其結(jié)構(gòu)規(guī)整、易于優(yōu)化在部署中很受歡迎。而近年來(lái)Swin Transformer等視覺(jué)Transformer憑借其強(qiáng)大的全局建模能力在精度上往往更勝一籌。然而Transformer的自注意力機(jī)制計(jì)算復(fù)雜度高對(duì)芯片的矩陣乘加能力和內(nèi)存帶寬要求苛刻。地平線的BPUBrain Processing Unit對(duì)卷積類操作有深度優(yōu)化。因此這個(gè)參考算法極有可能采用了一種重參數(shù)化卷積網(wǎng)絡(luò)或高效CNN架構(gòu)作為主干例如RepVGG、GhostNet的變體或者地平線自研的、針對(duì)BPU指令集特化過(guò)的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)。這類網(wǎng)絡(luò)在訓(xùn)練時(shí)可能結(jié)構(gòu)復(fù)雜多分支但在部署時(shí)可以通過(guò)結(jié)構(gòu)重參數(shù)化轉(zhuǎn)換為單一的直連卷積從而獲得極高的推理速度。注意在嘗試替換主干網(wǎng)絡(luò)時(shí)務(wù)必考慮其與后續(xù)View Transformer模塊的兼容性。有些Transformer-based的View Transformer如BEVFormer與CNN主干的配合可能需要調(diào)整特征圖的尺度或通道數(shù)。直接套用可能破壞原有的設(shè)計(jì)平衡。多尺度特征融合目標(biāo)有大有小車道線細(xì)長(zhǎng)這就要求主干網(wǎng)絡(luò)能提供多尺度的特征圖例如1/8, 1/16, 1/32下采樣率。參考算法會(huì)精心設(shè)計(jì)一個(gè)特征金字塔網(wǎng)絡(luò)FPN或雙向特征金字塔BiFPN來(lái)融合這些多尺度特征。這里的一個(gè)實(shí)操技巧是在融合時(shí)可以為不同尺度的特征分配可學(xué)習(xí)的權(quán)重如BiFPN讓網(wǎng)絡(luò)自動(dòng)學(xué)習(xí)哪些尺度對(duì)后續(xù)的BEV生成和不同任務(wù)更重要。在部署時(shí)這些額外的加權(quán)操作可能會(huì)增加一些開銷需要評(píng)估其帶來(lái)的精度收益是否值得。3.2 稀疏BEV查詢生成與視圖變換這是整個(gè)算法的核心創(chuàng)新點(diǎn)所在也是“Sparse”一詞的落腳點(diǎn)。稀疏查詢的初始化算法不會(huì)創(chuàng)建一個(gè)覆蓋全場(chǎng)景的密集BEV網(wǎng)格而是初始化一組固定數(shù)量比如900個(gè)的可學(xué)習(xí)參數(shù)每個(gè)參數(shù)稱為一個(gè)“查詢”Query。每個(gè)查詢可以理解為一個(gè)“虛擬的智能體”它被賦予了一個(gè)初始的3D空間參考位置x, y, z和一個(gè)特征向量。這些初始位置可以是均勻分布在感興趣區(qū)域內(nèi)的錨點(diǎn)也可以是純粹可學(xué)習(xí)、由數(shù)據(jù)驅(qū)動(dòng)的?;趫D像的查詢細(xì)化初始的查詢是“盲目的”。接下來(lái)這些查詢需要與多攝像頭的圖像特征進(jìn)行交互從而獲取視覺(jué)信息并細(xì)化自身。這個(gè)過(guò)程通常通過(guò)交叉注意力Cross-Attention機(jī)制實(shí)現(xiàn)每個(gè)查詢通過(guò)相機(jī)參數(shù)投影到所有攝像頭的圖像平面上找到其對(duì)應(yīng)的圖像區(qū)域。查詢的特征向量與對(duì)應(yīng)圖像區(qū)域的特征進(jìn)行交叉注意力計(jì)算。查詢作為“問(wèn)詢者”圖像特征作為“被檢索的信息源”。通過(guò)注意力機(jī)制查詢從圖像中聚合最相關(guān)的特征更新自身的特征表示同時(shí)也可能微調(diào)其3D位置如果設(shè)計(jì)允許。這個(gè)過(guò)程是稀疏的因?yàn)橹挥羞@有限數(shù)量的查詢參與計(jì)算而不是所有BEV網(wǎng)格。輸出稀疏BEV特征經(jīng)過(guò)多輪通常是幾層Transformer Decoder層與圖像特征的交互后這組查詢就攜帶了豐富的、基于視覺(jué)的3D場(chǎng)景信息。它們的特征集合就構(gòu)成了我們需要的稀疏BEV特征。相比于400x400的密集網(wǎng)格900個(gè)查詢的特征數(shù)據(jù)量小了近兩個(gè)數(shù)量級(jí)。實(shí)操心得查詢數(shù)量的設(shè)置是一個(gè)關(guān)鍵的超參數(shù)。數(shù)量太少無(wú)法充分表達(dá)復(fù)雜場(chǎng)景會(huì)丟失小目標(biāo)或細(xì)節(jié)如遠(yuǎn)處車道線數(shù)量太多則稀疏化的收益降低。需要在實(shí)際數(shù)據(jù)集上進(jìn)行驗(yàn)證。一個(gè)實(shí)用的方法是分析場(chǎng)景中目標(biāo)分布的密度讓查詢數(shù)量略高于平均每幀的目標(biāo)數(shù)并留有一定余量。3.3 多任務(wù)頭設(shè)計(jì)與損失函數(shù)工程在得到稀疏的BEV特征后不同的任務(wù)頭將在此基礎(chǔ)上進(jìn)行解碼。這是體現(xiàn)“Multitask”設(shè)計(jì)水平的關(guān)鍵環(huán)節(jié)。3D目標(biāo)檢測(cè)頭由于BEV特征是稀疏的傳統(tǒng)的基于密集錨框Anchor的檢測(cè)器不再適用。通常采用基于查詢的檢測(cè)頭。每個(gè)BEV查詢本身就蘊(yùn)含了一個(gè)潛在目標(biāo)的位置和特征信息。檢測(cè)頭通常由幾個(gè)全連接層MLP組成直接對(duì)每個(gè)查詢進(jìn)行分類是車、人、自行車等和邊界框回歸中心點(diǎn)偏移、尺寸、朝向。這種“一對(duì)一”的預(yù)測(cè)方式避免了后處理中復(fù)雜且耗時(shí)的非極大值抑制NMS或者只需要很輕量級(jí)的NMS進(jìn)一步提升了效率。語(yǔ)義分割頭可行駛區(qū)域、車道線分割任務(wù)需要輸出每個(gè)BEV位置的類別標(biāo)簽這似乎又回到了密集預(yù)測(cè)。這里有兩種主流策略渲染法利用稀疏BEV查詢的特征和其對(duì)應(yīng)的3D位置通過(guò)一個(gè)輕量級(jí)的解碼器如幾層反卷積網(wǎng)絡(luò)“渲染”出密集的BEV分割圖。因?yàn)椴樵円呀?jīng)包含了關(guān)鍵信息這個(gè)渲染過(guò)程可以做得比較輕量。查詢直接預(yù)測(cè)法將BEV空間預(yù)先劃分為一個(gè)粗糙的網(wǎng)格比如40x40每個(gè)網(wǎng)格單元分配一個(gè)或多個(gè)查詢。分割頭直接預(yù)測(cè)每個(gè)查詢所負(fù)責(zé)的網(wǎng)格單元的類別。這種方法更省計(jì)算但分辨率較低。損失函數(shù)平衡術(shù)這是多任務(wù)訓(xùn)練中最棘手的部分。損失通常由三部分組成L_total w_det * L_det w_seg * L_seg w_lane * L_lane。L_det檢測(cè)損失常用Focal Loss分類和L1/L2損失回歸。L_seg分割損失常用帶權(quán)重的交叉熵?fù)p失或Dice Loss以處理類別不平衡道路區(qū)域遠(yuǎn)大于障礙物。L_lane車道線損失因其細(xì)長(zhǎng)結(jié)構(gòu)可能使用特定損失如親和力損失Affinity Loss。手動(dòng)調(diào)整權(quán)重w_*非常耗時(shí)。參考算法很可能采用了動(dòng)態(tài)損失加權(quán)策略例如不確定性加權(quán)為每個(gè)任務(wù)的損失學(xué)習(xí)一個(gè)可訓(xùn)練的參數(shù)對(duì)數(shù)方差讓任務(wù)難度大的自動(dòng)獲得較小的權(quán)重。GradNorm在訓(xùn)練過(guò)程中動(dòng)態(tài)調(diào)整權(quán)重使得各任務(wù)損失的梯度幅度相近。 我個(gè)人的經(jīng)驗(yàn)是在項(xiàng)目初期可以使用不確定性加權(quán)快速得到一個(gè)基線然后基于驗(yàn)證集上各任務(wù)的表現(xiàn)進(jìn)行微調(diào)。要密切關(guān)注一個(gè)任務(wù)精度快速提升時(shí)是否以另一個(gè)任務(wù)的顯著下降為代價(jià)。4. 基于地平線平臺(tái)的部署與優(yōu)化實(shí)踐4.1 模型量化與BPU適配地平線征程芯片的核心是其BPU。要讓PyTorch或TensorFlow訓(xùn)練出的浮點(diǎn)模型在BPU上高效運(yùn)行必須經(jīng)過(guò)模型量化和編譯器優(yōu)化。量化流程詳解量化是將模型權(quán)重和激活值從高精度如FP32轉(zhuǎn)換為低精度如INT8的過(guò)程能大幅減少內(nèi)存占用和加速計(jì)算。地平線提供了完整的量化工具鏈如天工開物工具鏈。流程一般如下校準(zhǔn)準(zhǔn)備一個(gè)代表性的數(shù)據(jù)集驗(yàn)證集的一部分讓浮點(diǎn)模型在“校準(zhǔn)模式”下運(yùn)行。工具會(huì)統(tǒng)計(jì)每一層激活值的分布最大值、最小值、直方圖為后續(xù)確定量化參數(shù)scale, zero_point做準(zhǔn)備。量化感知訓(xùn)練QAT可選但強(qiáng)烈推薦在訓(xùn)練的最后幾個(gè)epoch在模型中插入“量化模擬器”QAT。前向傳播時(shí)模擬INT8計(jì)算的效果反向傳播仍用FP32。這能讓模型權(quán)重主動(dòng)適應(yīng)量化帶來(lái)的誤差是保證量化后精度不掉點(diǎn)的最關(guān)鍵步驟。參考算法應(yīng)該提供了對(duì)應(yīng)的QAT訓(xùn)練配置。模型轉(zhuǎn)換使用地平線提供的編譯器如hb_mapper將訓(xùn)練好的模型可能是QAT后的轉(zhuǎn)換成BPU支持的指令序列文件.bin。避坑指南量化最容易出問(wèn)題的是那些激活值分布范圍大或不穩(wěn)定的層例如注意力機(jī)制中的Softmax輸出、某些激活函數(shù)如Swish之后。在參考算法中稀疏交叉注意力模塊需要特別關(guān)注。在地平線工具鏈中通常支持分層量化可以為這些敏感層單獨(dú)設(shè)置更高的量化位數(shù)如保持FP16或使用更精細(xì)的校準(zhǔn)方法如KL散度校準(zhǔn)。算子支持與定制BPU有其支持的算子列表。參考算法中使用的所有操作如變形后的稀疏注意力、特定的插值操作都必須落在支持列表中或者能夠被等價(jià)分解為一系列支持的操作。如果使用了不支持的算子就需要進(jìn)行算子替換或子圖重寫。地平線的工具鏈通常提供了常見算子的替代實(shí)現(xiàn)方案。4.2 內(nèi)存與耗時(shí)瓶頸分析即使算法本身是稀疏的在真實(shí)部署中仍需警惕內(nèi)存和耗時(shí)瓶頸。內(nèi)存占用分析模型權(quán)重INT8量化后模型本身大小會(huì)顯著減少。主要關(guān)注點(diǎn)在于模型中間激活值A(chǔ)ctivation占用的內(nèi)存。稀疏算法雖然減少了BEV特征的內(nèi)存但圖像主干網(wǎng)絡(luò)產(chǎn)生的多尺度特征圖仍然是內(nèi)存消耗的大頭。工具鏈的編譯報(bào)告會(huì)詳細(xì)列出每一層的輸出張量大小。輸入輸出緩沖區(qū)多路高清攝像頭如1280x720的輸入數(shù)據(jù)以及多個(gè)任務(wù)檢測(cè)框、分割圖的輸出數(shù)據(jù)也需要預(yù)留連續(xù)的內(nèi)存空間。優(yōu)化策略利用BPU的內(nèi)存復(fù)用機(jī)制至關(guān)重要。編譯器會(huì)嘗試讓不同層的臨時(shí)輸出共享同一塊內(nèi)存區(qū)域。在模型結(jié)構(gòu)設(shè)計(jì)時(shí)有意識(shí)地讓網(wǎng)絡(luò)的計(jì)算圖更“整潔”減少長(zhǎng)距離的跳躍連接有助于編譯器進(jìn)行更優(yōu)的內(nèi)存規(guī)劃。推理耗時(shí)剖析工具鏈生成的性能分析報(bào)告會(huì)給出每個(gè)算子的耗時(shí)。需要重點(diǎn)關(guān)注卷積層尤其是主干網(wǎng)絡(luò)中的大kernel深度可分離卷積通常是耗時(shí)主力。自定義/稀疏操作如果稀疏注意力是通過(guò)一系列基礎(chǔ)算子組合實(shí)現(xiàn)的其整體效率需要評(píng)估。可能需要在算法設(shè)計(jì)階段就采用BPU友好的稀疏計(jì)算模式。后處理檢測(cè)頭的輸出解碼、車道線的多項(xiàng)式擬合等CPU側(cè)的后處理也可能在整體Pipeline中占據(jù)可觀比例不能忽視。一個(gè)實(shí)用的技巧是進(jìn)行端到端E2E性能評(píng)測(cè)即從接收?qǐng)D像數(shù)據(jù)到輸出感知結(jié)果的總時(shí)間。這包括了數(shù)據(jù)預(yù)處理縮放、歸一化、BPU推理、結(jié)果后處理等所有環(huán)節(jié)。只有E2E延遲滿足要求如100ms算法才算真正可用。4.3 多任務(wù)輸出后處理與同步模型在BPU上跑完輸出的是原始的張量數(shù)據(jù)需要經(jīng)過(guò)后處理才能變成應(yīng)用層可用的信息。檢測(cè)輸出處理基于查詢的檢測(cè)頭輸出通常是一個(gè)列表每個(gè)查詢對(duì)應(yīng)一個(gè)預(yù)測(cè)結(jié)果類別得分、邊框參數(shù)。后處理包括得分過(guò)濾根據(jù)置信度閾值如0.3過(guò)濾掉低質(zhì)量預(yù)測(cè)。邊框解碼將預(yù)測(cè)的偏移量解碼為實(shí)際的3D框中心點(diǎn)、長(zhǎng)寬高、朝向。輕量級(jí)NMS由于查詢?cè)O(shè)計(jì)已經(jīng)減少了冗余可能只需要一個(gè)簡(jiǎn)單的、基于3D IoU的NMS即可。分割輸出處理如果分割圖是密集渲染的后處理主要是取argmax獲得每個(gè)像素的類別ID。如果是查詢預(yù)測(cè)的粗糙網(wǎng)格可能需要一個(gè)簡(jiǎn)單的上采樣或插值來(lái)匹配所需的分辨率。關(guān)鍵挑戰(zhàn)——輸出同步檢測(cè)結(jié)果是物體列表分割結(jié)果是二維網(wǎng)格車道線可能是另一套參數(shù)化表示。如何保證這些輸出在時(shí)間和空間上是同步的例如檢測(cè)框的底部應(yīng)該落在可行駛區(qū)域分割圖內(nèi)。這要求所有任務(wù)頭共享完全相同的BEV空間坐標(biāo)系和時(shí)序輸入。在后處理模塊中有統(tǒng)一的時(shí)鐘和幀管理確保處理的是同一時(shí)刻的數(shù)據(jù)。 參考算法的框架應(yīng)該已經(jīng)考慮了這一點(diǎn)提供了統(tǒng)一的結(jié)果封裝接口。在集成到更大的自動(dòng)駕駛系統(tǒng)中時(shí)需要確保從這個(gè)接口獲取的是自洽的一幀感知結(jié)果。5. 復(fù)現(xiàn)環(huán)境搭建、調(diào)試與常見問(wèn)題排查5.1 從零開始搭建復(fù)現(xiàn)環(huán)境復(fù)現(xiàn)官方參考算法是理解它的第一步。環(huán)境配置是第一個(gè)攔路虎?;A(chǔ)環(huán)境配置# 1. 創(chuàng)建并激活conda環(huán)境強(qiáng)烈推薦 conda create -n sparse_bev python3.8 -y conda activate sparse_bev # 2. 安裝PyTorch版本需嚴(yán)格匹配地平線工具鏈要求如1.10.0cu113 pip install torch1.10.0cu113 torchvision0.11.0cu113 -f https://download.pytorch.org/whl/torch_stable.html # 3. 安裝地平線開發(fā)套件以Horizon OpenExplorer為例 # 通常需要從地平線官方渠道獲取安裝包例如 pip install openexplorer-xxx.whl # 具體包名和版本以官方文檔為準(zhǔn) pip install hbdk-xxx.whl # 模型編譯工具項(xiàng)目代碼與依賴從地平線官方Git倉(cāng)庫(kù)或提供的壓縮包獲取SparseBevFusionMultitaskOE-V1.0源代碼。進(jìn)入項(xiàng)目根目錄安裝其特定的Python依賴pip install -r requirements.txt。這里經(jīng)常會(huì)出現(xiàn)版本沖突。特別注意項(xiàng)目可能依賴一些定制化的CUDA算子如Deformable Attention的實(shí)現(xiàn)。需要按照項(xiàng)目README中的說(shuō)明使用python setup.py build_ext --inplace進(jìn)行編譯。編譯失敗通常是CUDA版本、PyTorch版本或編譯器如g不匹配導(dǎo)致的。數(shù)據(jù)集準(zhǔn)備算法通常基于NuScenes、Waymo Open Dataset或自有的標(biāo)注數(shù)據(jù)集。需要下載數(shù)據(jù)集至指定路徑。運(yùn)行項(xiàng)目提供的預(yù)處理腳本將原始數(shù)據(jù)轉(zhuǎn)換為項(xiàng)目約定的格式如.pkl或.bin文件。在配置文件中修改數(shù)據(jù)集路徑。踩坑實(shí)錄最常遇到的問(wèn)題是“內(nèi)存溢出”。尤其是在數(shù)據(jù)加載或模型前向傳播時(shí)。除了檢查硬件內(nèi)存是否足夠更應(yīng)檢查代碼中是否存在不必要的緩存。例如數(shù)據(jù)加載器是否使用了過(guò)大的num_workers導(dǎo)致內(nèi)存翻倍在訓(xùn)練腳本中是否在每個(gè)epoch結(jié)束后沒(méi)有及時(shí)釋放不再需要的變量可以使用torch.cuda.empty_cache()進(jìn)行手動(dòng)清理但這只是治標(biāo)。治本之策是優(yōu)化數(shù)據(jù)流和減少單次加載的數(shù)據(jù)量。5.2 訓(xùn)練過(guò)程中的典型問(wèn)題與調(diào)參即使環(huán)境搭好了訓(xùn)練過(guò)程也可能一波三折。損失震蕩或NaN現(xiàn)象訓(xùn)練初期損失值劇烈跳動(dòng)或突然變成NaN。排查學(xué)習(xí)率過(guò)高這是首要懷疑對(duì)象。多任務(wù)模型對(duì)學(xué)習(xí)率更敏感。嘗試將初始學(xué)習(xí)率降低一個(gè)數(shù)量級(jí)例如從1e-3降到1e-4。數(shù)據(jù)異常檢查數(shù)據(jù)預(yù)處理特別是歸一化Normalization的參數(shù)mean, std是否正確。是否有破損的圖像或標(biāo)注梯度爆炸在反向傳播計(jì)算梯度時(shí)可以使用torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)進(jìn)行梯度裁剪。損失權(quán)重不當(dāng)如果某個(gè)任務(wù)的損失值遠(yuǎn)大于其他任務(wù)可能導(dǎo)致梯度主導(dǎo)?;仡檮?dòng)態(tài)損失加權(quán)的設(shè)置或手動(dòng)調(diào)整到一個(gè)更平衡的初始值。某個(gè)任務(wù)性能始終很差現(xiàn)象檢測(cè)精度尚可但分割mIoU極低或者反過(guò)來(lái)。排查任務(wù)頭能力不足可能是分割頭或檢測(cè)頭的網(wǎng)絡(luò)容量層數(shù)、通道數(shù)不夠。嘗試輕微增加其復(fù)雜度。特征共享沖突這可能是根本原因??梢試L試在共享主干網(wǎng)絡(luò)和任務(wù)頭之間插入任務(wù)特定適配層。例如為分割任務(wù)和檢測(cè)任務(wù)分別設(shè)計(jì)一個(gè)輕量的卷積模塊讓它們從共享特征中提取出更適合自己的特征再輸入各自的任務(wù)頭。這增加了少量參數(shù)但能有效緩解沖突。數(shù)據(jù)標(biāo)注質(zhì)量仔細(xì)檢查該任務(wù)標(biāo)注數(shù)據(jù)的質(zhì)量。分割的邊界是否模糊檢測(cè)框是否準(zhǔn)確過(guò)擬合現(xiàn)象訓(xùn)練集損失持續(xù)下降驗(yàn)證集損失早早就停止下降甚至上升。對(duì)策數(shù)據(jù)增強(qiáng)加強(qiáng)數(shù)據(jù)增強(qiáng)策略如隨機(jī)裁剪、顏色抖動(dòng)、Mosaic等。對(duì)于BEV任務(wù)在圖像空間做增強(qiáng)要謹(jǐn)慎需同步考慮其對(duì)相機(jī)參數(shù)和BEV空間映射的影響。更安全的增強(qiáng)是在BEV空間進(jìn)行如隨機(jī)旋轉(zhuǎn)、平移。正則化增加Dropout層、權(quán)重衰減Weight Decay。早停監(jiān)控驗(yàn)證集指標(biāo)當(dāng)連續(xù)多個(gè)epoch不再提升時(shí)停止訓(xùn)練。5.3 模型轉(zhuǎn)換與部署驗(yàn)證問(wèn)題訓(xùn)練出一個(gè)精度不錯(cuò)的模型只是成功了一半能否成功部署到芯片上才是終極考驗(yàn)。量化精度損失過(guò)大現(xiàn)象浮點(diǎn)模型mAP為70%量化后模型在驗(yàn)證集上掉到65%以下。排查與解決校準(zhǔn)集不具代表性確保校準(zhǔn)集能覆蓋各種場(chǎng)景白天/黑夜、晴天/雨天、擁堵/暢通。校準(zhǔn)集數(shù)據(jù)量不宜過(guò)少通常需要幾百?gòu)堄写硇缘膱D片。敏感層處理使用工具鏈的分析功能找出量化誤差最大的層。嘗試對(duì)這些層使用定點(diǎn)-浮點(diǎn)混合精度即保持其FP16精度。QAT是關(guān)鍵務(wù)必進(jìn)行充分的量化感知訓(xùn)練。檢查QAT訓(xùn)練時(shí)模擬量化的配置如量化位寬、對(duì)稱/非對(duì)稱是否與最終部署的配置完全一致。使用更先進(jìn)的量化策略探索工具鏈?zhǔn)欠裰С謩?dòng)態(tài)范圍量化或通道級(jí)量化這些方法比傳統(tǒng)的層級(jí)靜態(tài)量化更精細(xì)可能帶來(lái)更好的精度保持。編譯失敗或編譯后模型錯(cuò)誤現(xiàn)象hb_mapper編譯過(guò)程中報(bào)錯(cuò)或編譯出的.bin模型在仿真器上運(yùn)行結(jié)果異常。常見原因不支持的操作符模型中使用了一個(gè)BPU不支持的PyTorch操作。需要根據(jù)錯(cuò)誤信息在代碼中找到該操作并按照地平線提供的算子替換指南進(jìn)行修改。常見需要替換的包括某些特殊的插值模式、自定義的激活函數(shù)等。張量形狀動(dòng)態(tài)模型中存在根據(jù)輸入數(shù)據(jù)動(dòng)態(tài)決定形狀的操作如非固定數(shù)量的查詢。BPU通常需要靜態(tài)圖。需要修改代碼將動(dòng)態(tài)性移除例如設(shè)置一個(gè)固定的最大查詢數(shù)量并用掩碼mask表示有效查詢。中間輸出檢查在編譯前使用工具鏈的check_model功能對(duì)比PyTorch模型和轉(zhuǎn)換后模型在相同輸入下的逐層輸出。如果某層開始出現(xiàn)巨大偏差問(wèn)題就出在這一層或之前。部署后性能不達(dá)標(biāo)現(xiàn)象模型在芯片上運(yùn)行的幀率FPS低于預(yù)期。性能分析使用性能分析工具地平線工具鏈通常提供性能分析工具可以生成詳細(xì)的時(shí)間線顯示每個(gè)算子的耗時(shí)。找出最耗時(shí)的“熱點(diǎn)”算子。優(yōu)化數(shù)據(jù)搬運(yùn)在預(yù)處理CPU和后處理CPU與模型推理BPU之間數(shù)據(jù)搬運(yùn)DDR訪問(wèn)可能成為瓶頸。確保使用零拷貝或高效的內(nèi)存接口。模型輕量化如果某些算子耗時(shí)過(guò)高考慮是否能用更高效的算子組合替代?;蛘咴诰瓤山邮艿姆秶鷥?nèi)是否可以進(jìn)一步減少主干網(wǎng)絡(luò)的深度、寬度或者減少稀疏查詢的數(shù)量。Pipeline優(yōu)化如果是多攝像頭輸入是否可以并行處理多個(gè)攝像頭的預(yù)處理模型推理和前后處理是否可以流水線化隱藏部分延遲這需要系統(tǒng)級(jí)的架構(gòu)設(shè)計(jì)。在整個(gè)復(fù)現(xiàn)和部署的旅程中保持耐心和細(xì)致的日志記錄至關(guān)重要。每一個(gè)報(bào)錯(cuò)信息都是線索每一次性能分析都是優(yōu)化機(jī)會(huì)。地平線的這個(gè)參考算法提供了一個(gè)高起點(diǎn)但真正讓它在你自己的產(chǎn)品中發(fā)揮威力還需要大量的工程打磨和場(chǎng)景適配。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九操屄| 狠狠干天天内射| 99热这里只有精品3| 曰韩五月丁香色婷婷无码| 99热网站在线观看| 日日干四虎| xxxx五月| 淫视馆av三区| www.99热精品| 激情婷婷五月久久| 青青久在线视频免费观看| 丁香六月天AV| 99久久9| 玖玖婷婷五月| www色五月| 色婷婷88| 9久热| 激情五月伊人婷婷| H亚洲| 精品A√| 影院久久久| WWW,五月| 伊人五月婷婷| 亚洲爆乳无码精品AAA片蜜桃| 66久久视频在线| 婷婷成人基地| 亚洲无码色色| 欧美人人操| 国产亚洲99久久精品| 激情网第九色| 五月久久丁香| Av九九| 丁香六月婷婷综合| 国产午夜伦鲁鲁| 婷婷五月天av| 色色色九九九五月婷婷| 9l视频自拍9l视频自拍九色学生| 99成人网站| 精品国产一区二区三区四区阿崩 | 色播五月丁香婷婷| 欧美日韩日韩成人| 337p大胆噜噜噜噜噜91Av| 91chinese在线| 欧美性生交XXXXX无码小说 | 国产精品社区| 97久久久| 色五月综合资源推荐| 久久多色| 色香蕉婷婷| 这里只有精品免费视频| 激情美女五月天| 99热个人在线| 99热在线精品播放| 天天色综合综合| 2015超碰| 久久久久久久人妻| 色视频五月天| 亚洲永久免费| 性色九九| 在线网黄| 人人摸人人干人人做| 色婷婷五月丁香色| 超碰91在线| 久久五月婷天天干| 99热综合| 大香av| 五月开心网| 婷婷六月情| 超碰99久久| 五月婷婷中文字幕| 久久激情网| 99热这里只有精品16| 亚洲欧洲另类| 熟女啪啪视频| 五月色亭丁香| 无码激情AAAAA片-区区| 五月天综合视频| 新激情五月开心五月婷婷五月丁香五月| 丁香六月综合激情| 五月色婷婷影院| 中文不卡一二三区| 大香蕉久久伊人婷婷五月丁香| 欧洲电影在线观看免费版英语版 | 五月婷婷激情久久| 91人碰| 99热这是里只有精品| 丁香五婷| 操人妻AV| 天天爽天天草| 国内婷婷丁香社区在线播放| 色情久久久| 天天天天干| 激情婷婷五月| 天天天摸夜夜夜玩| 六月五月丁香五月欧美| 伊久大香蕉| 九九色色色| 97久久久久| 久久五月天丁香| 久久久久人妻精选| 婷婷中文综合网| 九九热免费| 五月激情六月综合| 97激情五月天| 久婷婷婷| 97极品在线| 综合久久五月| 久久综合26p| 日本三级中国三级99人妇网站| 色青青视频| 夜夜久久综合网| 牛色色碰| 五月天开心色色网| 欧美在线| 99在线精品免费视频| 新97人人上人人| 五月天色社区| 免费观看的婷婷五月视频在线| 丁香久色| 五月丁香日本片| 2017人人操| 激情综合五月丁香六月婷婷| 日本婷婷色| 人妻丰满精品一区二区A片| 综合色99| 五月天综合久久| 婷婷九九视频| 亚洲无码成人网| 超91热| 五月天大香蕉| 色色热| 欧美丁香婷婷五月| 丁香久久| av亚洲国产小电影| 日本乱子人伦在线视频| 日本黄色三级片内射| 婷婷色综合| 激情综合五月天| 中文字幕性爱丰满| 欧美性色五月天| 色婷婷六月精品| 亚洲激情电影五月天色婷婷丁香一起草 | 99无码精品| 99精品视频免费观看| 国产精品成人在线| 五月丁香色综合| 亚洲激情综合| 夜精品无码A片一区二区蜜桃| 午夜丁香婷婷| 九九RE视频在线精品| 四色99久久| 五月天丁香综合| 久热超碰91| 五月天婷婷成人网| 婷婷丁香五月综合| 亚洲视频在线观看| 日本视频久久| 色色色色色五月| 好色婷婷| 国产1区2区3区在线观| 综合亚洲色色| 日韩五月天婷婷| 色婷婷色五月色丁香| 丁香五月婷婷啪| 激情99热| 黄色激情五月天| 九色色| 五月丁香久久呀| 五月天激情社区| 五月婷婷色吧!| 停停五月丁香| 97碰碰人人| 深爱五月天| 九九久久99| 青青草免费公开视频| 九九热青草| 亚洲av综合在线| 99热全是精品| 狠狠大香婷婷爱| 激情综合五月激情XXXX| 亚洲国产色色| 大香蕉啪啪| 99这里都是精品| 天天射影院| 色色图五月天| 激情综合五月激情17| 久久五月激情网| 五月丁香婷婷狠狠操| 99re久热只有精品6在线直播.com| 色热久| 人人亚洲| www.色五月| 97色碰| 青青久在线视频免费观看| 丁香久久激情俄| 婷婷久久亚洲| 五月丁香六月婷婷综合网缴情| 中文久久婷婷| 亚洲亚洲人成综合网络| 九九色欲网| 97丁香五月天| 久久总和99| 九九热精品| 五月婷九月| 亚洲在线视频321| 色播综合| 九九这里有精品| 五月丁香婷婷成人网| av中文网| 91综合在线| 久久久精品人妻录| 欧美久热| 五月丁香激情怕怕| 开心五月综合| 99综合视频一体| 精品人妻午夜一区二区三区四区| 天天射美女| 色五月激情基地| 男人天堂99| 国产熟妇乱子伦hd| 婷婷激情伍月网| 丁香五月亚综合图片| 99精品综合| 色情网综合| 九九热这里只有精品7| 精品五月天| 开心激情婷婷| 久草视频一,二三四| 丁香六月婷婷操逼网| www.久久爱.com| 久久婷婷五月综合色播| 深爱五月婷婷| 天天搡日日搡aaaaⅩ| 亚洲精品五月| 国产欧洲欧洲精品久久| 国产激情在线| 久久视频在线| 国产毛片操B| 欧美性二区| 开心网五月色婷婷| 婷婷99狠| 欧美激情综合色综合色| 操操综合网婷婷| 99热这里只有99| 婷婷五月天免费视频| 欧美大肥婆大肥BBBBB| AV在线免费播放| 一起草性爱不卡视频| 人妻丰满精品一区二区A片| 九九99九九精品视频| 99热久只有精品首页| 色婷婷五月在线| 99在线精品免费视频| 变态另类9| 色婷婷成人五月| 日日操天堂| 五月丁香网中文字幕| 久久激情网| 色综合区| 激情五月综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 久久九九99| 色婷婷丁香| 操久久网| 91 九色 熟女| 99热在线播放| 有码人妻久久| 五月色情| 婷婷五月天综合中文| 国产肥白大熟妇BBBB视频| 99re这里只有精品9| 色五月婷婷av| 欧美人人操| 碰97久久| 超碰人人在线| 亚洲综合五月天婷婷丁香| 五月天婷婷激情网| 玖玖在线视频| 9999热这里只有精品| 最近中文字幕2019视频1| 99在线观看亚洲| 亭亭五月丁香五月天激情| 色综天天综合| 99激情| 日本天天综合| 五月婷A V在线| 欧美综合五月丁香五月天| 8090在线影视少妇| 噜噜噜精品欧美成人在线观看| 国产精品第一国产精品| 九九99一区| 日本nghangse中文字幕| 五月激情综合网| A在线观看| 乱码操操| 色色综合日韩| 99久操视频| 婷婷五月图片小说视频| 亚洲综合成人网站| 三级黄网站| 亚洲综合在线视频| 亚洲字幕AV一区二区三区四区| 深爱激情网婷婷| yjzz亚洲国产| 99狠狠色| 思思视频这里是精品| 国外亚洲成AV人片在线观看| 久久这里只有精品22| 国产探花一片区| www.色九月| 大香蕉啪啪啪| 九色99视频| 橾逼网| 插逼综合网| 婷婷基地爱| 开心 五月 综合| 日比网免费国产| 丁香成人色情五月天| 91热手机在线| 婷婷香蕉| 99热这里只| 国产精品色婷婷99久久精品| 99色视频| 俺去也综合| 91操网| 久久精品99国产精品日本| 五月婷婷免费看| 人人妻人人澡人人爽| 丁香九月婷婷综合| 激情都市五月天| 丁香五月婷婷大香蕉| 啪啪操超碰| 99re这里只有精品99| 九月丁香| 思思热在线观看| Xx色综合| 婷婷五月丁香色综合| 天天骑天天操| 日本在线va| 亚洲激情图文小说| 人人操人人爽成人AV| 99视频在线精品| 激情综合五月婷婷六月丁香| 99热精品网| 天综合日日夜综合7799| 日本欧美成人片AAAA| 五月婷婷五月天激情网| 丁香六月天婷婷在线| 热久91| 亚洲热久久| 夜夜操天天爽| 五月丁香久久综合| 人人妻人人澡人人爽| www.婷婷| 色哟哟www| 四色女婷婷| 激情综合五月天| 果冻传媒A片一二三区| 亚洲人妻AV| 色综合综合网| 婷婷五月天美女| 婷婷色基地在线看 | 包操45分钟网站| 成人在线视频一区| 日韩艹比| 六月丁香五月婷婷| 五月丁香999| 色婷婷激情五月天在线观看| 99 频99热国里只有精品| 九月综合| 大香蕉久久久久久久久| 久久五月婷6 9| 超碰在线国产| 成人综合视频在线| 欧美丁香婷婷五月天| 亚洲婷婷丁香五月亚洲| site:901-07.com| 九九re视频在线视频| 色五月激情五月| 国产亚洲在线观看| 亚洲日日日| 激情婷婷狠狠干| 丁香五月亚洲激情婷婷射| 大香蕉七区| 五月婷丁香花| 超碰人人在线| 亚洲色图五月丁香| 五月婷婷在线免费| 精品操逼一区二区| 俺去也在线www色官网| 噜噜视频| 日本怕怕视频| 伊人综合网4| www,色婷婷| 人人操Av| 在线观看视频1区| 久久狼人天堂| 亚洲人妻av| 99热在线观看免费精品| 欧美爆乳一区二区三区| 激情五月天www| 国产精品色色色色| 丁香激情合作五月| 天天综合情| 婷婷中文无码| 欧洲亚洲免费视频9 | 性生活视频98791| 9久久久| 99精品手机在线视频| Aaa久久| se色婷婷视频| 久久婷婷五月天丁香| 久久99国产综合精品免费| 99色色| 无码九九| 日日噜狠狠色综| 婷婷久久五月天| 91狠狠色| 丁香丁香激情网| www.天天色综合| 欧洲99视频在线| 91九色精品熟女内射| 婷婷久久网| 丁香狠狠色婷婷| 欧美性爱中文字幕| 婷婷99狠狠躁天天躁| 99黄色性生活| 伊人丁香六月婷婷| 人人射av| 婷婷十月激情综合网| 一级操逼内射在线视频| 久久色五月天| 久久伊人五月天| 这里有精品| 欧美三级A做爰在线观看| 99网| 9色小视频在线观看| 婷五月天| 国产免费AV在线| 婷婷色激情网| 深爱激情久久| 久久99热这里只有精品| 日本精品99网站| 激情图片五月天| 99国产精品久久久久久久久久久 | 99re思思热这里| 日韩十国产极品久久| www激情| 久久永久视频| 无码AV免费精品一区二区三区| 操逼五月婷婷| 51精品国内探花| 久久九九@| 综合五月草| 开心五月深爱五月婷| 色婷婷基地| 91婷色| 丁香五月偷拍| 综久久久| 丁香五月综合高清在线| 色偷偷狠狠| 天天做天天爽| 啪啪综合网| 国产精品男人AV不卡| 丁香五婷婷| 热99精品视频在线观看| av性爱网站| 激情久久久久| 久久婷婷五月综合色丁香花| 色婷婷www| 亚洲色婷婷99一9|| 五月天婷婷激情小说电影| 大香蕉AV在线| 97操女视频| 九九色精品| www,婷婷五月天,com| 婷婷五月天亚洲综合| 色五月网址| 丁香亚洲色综合| 婷婷91| 色婷婷五月天综合网| 噜噜狠狠色综合久| 丁香五月欧美婷婷综合| www.五月婷婷久久.com| 五月天婷婷导航| 五月丁香亭亭操逼| 婷婷婷婷婷婷婷婷婷婷丁香| 色狠狠五月天| 九九精品视频在线观看| 五月天另类视频| 九热视频在线伦| 丁香五月天导航| 人人爽亚洲| 91综合国免费久入| 天天日日| 丁香婷婷免费| 久久五月视频| 狠狠色丁香婷婷| 99re最新地址视频| 日日撸夜夜操| 色婷婷呢狠禁久禁| 色一区高清| 婷婷五月天首页| 丁香九月激情| 日本三级中国三级99人妇网站| 99ER热精品视频| 大天天伊人| 日本精品。999| 丁香五月婷婷基地| 超碰免费人人肏| 亚洲小视频免费观看| 五月激情婷婷国产精品久久久久久| 久久久婷| 色性综合| 综合色五月天| se99热久久一本| 中文字幕 久久9999| 免费观看的av| www.婷婷六月天| 26uuu最新地址| 成人.在线日韩| 亚洲色综合| 99热这里只有精| 91碰碰视频在线观看| 99这里精品| 综合色播| 五月天综合久久| 综合婷婷五月天| 国产精品成人网址| 色欲资源网| 国产亚洲精品AAAA片APP| 丁香六月啪啪| 99热自拍| 粉嫩av懂色av蜜臀av熟妇| 第四色婷婷丁香五月| 五月丁小婷婷激情四射| 天天干天天干天天干天天干天天| 久久精品99| 丁香五月欧美色综合| 婷婷色色婷婷| 草久私拍| 欧美人人草| 激情婷婷激情在线不卡| 狠狠五月激情婷婷直播片| 国产亚洲成AV人片在线观黄桃| 全亚洲最大的婷婷五月天网站COM| 久久看婷婷| 伊人婷婷五月天av| 思思热视频在线观看| 亚州第一黄网| WWW,五月| 91丁香| 人妻少妇色综合| 国产免费一区二区三州老师F1F1……| 99亚洲视频| 五月丁香六月婷婷的女人| 六月婷婷开心| 五月天色站| 五月婷婷在线视频观看| 婷婷五月丁香欧洲| 91色综合| 色色精品色| 五月天婷婷色| 五月丁香六月激情网| 国产精产国品一二三在观看| 久久人人人人妻| 亚洲精品久久久无码 | 99热色精品| www.婷婷网| 久99热| 色丁香综合影院| 久久久久久久11111111111| 欧美色小说婷婷| 超碰操日| 天天做天天爽| 婷婷色中文字幕| 婷婷丁香六月| 亚洲色欲欧美一区二区三区| 99在线视频。| 欧美日韩aaa| 嫩模aV在线| 狠狠丁香| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 婷婷丁香五月视频| 久久激丁香| 亚洲激情综合免费| 色综合久久综合| 欧洲综合视频| 丁香五月婷婷啪啪| 国产3p露脸普通话对白| 男人天堂伊人五月丁香| 国产毛多水多女人A片| 五月婷婷狠狠干| 婷婷成人在线| 九九热视频精品| 久久性爱视频免费| 综久久久| 丁香五月婷久久| 成人网丁香五月| 色情五月| 午夜五月天| www.五月天婷婷姐姐| 人妻激情网| 97色碰| 丁香五月婷婷乱| 九九99在线视频| 色五月激情五月| 亚洲五月丁| 超碰AV成人| 亚洲色婷婷五月天| 久热这里只有精品在线| 51XX午夜影福利| 99国产精品白浆在线观看免费| 99久久玖玖| 婷婷在线播放av| 68热超碰在线| 亚州操人在线视频| 夜丁香五月婷婷| 日韩不卡DvD| 久久久天堂国产精品女人| 特级西西4444www无码| 色噜噜狠狠色综合AV兰草影视| 91人妻人人操| 精品国产a| 天天夜夜六月丁香五月婷婷老师| 狠狠色色综合| 丁香激情网| 五月婷婷丁香在线| 丁香婷婷六月天| 99热伊人| 丁香五月婷婷综合啪啪| 26uuu精品国产| 色欲AV导航| 国产99热在线看| 丁香香蕉婷婷| 国产又爽又猛又粗的视频A片| 99热官网| 五月丁香啪啪拍| 99色色| 99色综合久久| 色情五月婷婷| 青青草tp| 玖玖资源在线视频| 欧美情色一区| 天天草天天爽| 六月婷久久| 色五月婷婷五月丁香五月| 丁香婷婷六月激情文学 | 91九色熟女| 婷婷五月天干干| 天天搽天天射| 天天摸天天肏| 97操碰在线视频| 色色色香蕉五月婷| 六月婷婷五月丁香| 九九九九这里只有精品| 五月婷婷成人| AV天堂婷婷五月天| 激情五月无码| 人人爽在线视频综合网| 丁香五月婷婷啪| 伊人久久综合| 91色呦哟| 久久AAAA片一区二区| 久婷婷| 九九综合| 日本成人噜噜噜| www.色擼擼.com| 狠狠色丁香婷婷基地| 九月丁香婷婷综合激情| 久热欧美| 久久激情五月网| 极品人妻VIDEOSSS人妻| 99热这里只有精品9| 五月天婷婷免费| 五月天网站亭亭| 天天干天天干天天干天天干天天干天天 | www,色婷婷| 97操碰人人| 99人人干人人操| 久在线综合69| 91久久九| 婷婷久久婷婷色五月| 超碰妻人人| 色色婷婷综合| 五月深爱网| 激情五月天婷婷直播| 午夜日日| 99久久www| AAA久久久AAA久久久AAA| 草久私拍| 夜夜爱爱亚洲| 中文字幕不卡视频| 六月综合婷婷开心伊人| 538在线精品| 日本色色图| www九九热| 亚洲色久| 免费亚洲婷婷| 无码日本精品XXXXXXXXX| 九九亚洲| 99热热热99精品婷婷| 校花娇喘呻吟校长陈若雪视频| 亚洲精品一区中文字幕乱码| 久久人妻熟女一区二区| av在线婷婷| 婷婷五月丁香亚洲| 二区成人视频| 婷婷丁香社区| 99久久综合网| 99rewww| 日韩黄黄| 性99网站| 色五月综合资源推荐| 另类五月激情| 99热思思| 欧美丁香五月97色| 色五月激情五月天| 久久99网| 婷婷久久丁香| 99男人的天堂| 激情婷婷六月天| 白人荫道BBWBBB大荫道| www免费在线视频| 亚洲视频在线网站| 岛国操B不卡在线| 色欲色天天香综合| 亚洲五月六丁香激情| 天天碰天天插天天操| 婷婷六月色播| 91久久九久久九久久九久久九久久| 热九九精品| 国自产拍偷拍精品啪啪一区二区| 久久六月婷婷| 色欲影香| 五月大香蕉| 狠狠肏综合网| 五月综合无码| 中文AV网站| 激情内射人妻1区2区3区| 日韩成人影片在线观看| 大香蕉五月天婷婷| 99爱最新免费视频在线观看| 影音先锋91在线资源站| 91美女被操| www久热com| 婷婷亚洲日本| 久久玖玖综合| caop视频| 激情第四色| 狠狠干综合网| 99er免费在线观看| 色五月五月婷婷| 三日本无码| 婷婷综合网站| 亭亭色网| 六月婷婷久久大全| 天天插夜夜爽| 女人露出p毛视频www网站| 婷婷五月天亚洲综合网| 婷婷综合久久| 五月综合久久| 99热激情| 天天精品视频在线观看视频| ss五月天激情| www.五月婷婷久久.com| 牛牛色av| 亚洲天堂色| 五月天丁香| 99视频内射三四| 久操97| 五月六月婷婷| 9这里只有精品| 五月婷婷偷拍| 日本nghangse中文字幕| 六月丁香婷| 99干视频| 久久五月婷婷开心网| 日韩无码性爱| 2018夜夜草| 色婷婷狠狠爱| 激情综合在线观看| 色五月激情| 亚洲欧美婷婷五月色综合| 久久99精品久久久久久青青AR| www.精品99| 噜噜狠狠色综无码久久合欧美| 狠狠色综合网站久久久久| AV网在线观看| 五月丁香AV、伊人业余、性色熟妇| 热99精品视频五月| 五月日韩中文字幕| 久久色在线视频| 夜夜久久综合网| 丝袜熟女一区二区三区| 深爱五月激情综合| 色播婷婷五月天| 日韩精品无码AV| 开心五月婷婷在线视频免费观看| 婷婷久久综合久| 亚洲色色五月| 亚洲最大五月天成人网| 精品一二三区久久AAA片| 亚洲综合视频在线| 特级操b片| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 99热精品观看| 99热99极品观看| 日本97在线视频| 五月丁香激| 婷婷六月激情| 国产亚洲99| 丁香香五月激情免费视频| 97操操| 伊人五月天日日夜夜久久久天天| 天天插综合在线| 激情婷婷丁香五月| 亚洲色 视频| 五月婷在线视频免费看| 成人在线视频一区| 激情五月天天狠狠久久| 大香蕉99| 激情五月六月| 六月婷婷久久| 丁香九月激情| 激情五月天 婷婷| 99精品免费视频| AV中文在线| 国产亚洲精品久久久久久郑州| 六月婷婷中文字幕| 天天插天天射| 天天狠天天叉| 91九色首页| 激情婷婷| 精品操逼一区二区| 激情综合五| 婷婷97狠狠干| 天天操综合网站| 色婷婷狠| 中文字幕日产A片在线看| 中文AV网站| 热久久这里只有三级视频| 高清无码 一区 二区 三区| 国产精品美女久久久久AV超清| 亚洲美女婷婷五月天| 五月丁香在线| 激情网狠狠干| 97caop| 乱轮A片| 久久99精品久| 天天五月天综合网址| 色五月大香蕉婷婷| 五月丁香六月婷婷网| 香蕉伊人综合| 99久久久久久| 久久刺激网| 91久久久久久| 琪琪理论片| 三年高清大片免费观看国语| 天天综合五月| 欧洲综合一区| 99成人免费热视频| 在线观看亚洲AV| 激情五月综合亚洲另类| 婷婷激情性爱| 日本色婷婷| 深爱激情四射| 香蕉曰比| 青青草原伊人网| 99ri国产| 丁香网站| 这里只有精品免费观看网占| 2022人人操人人看| 色区久久| 亚洲性爱99| 操日本99| 99色色| 色碰碰| 九九九九综合| 97亚洲色 torrent magnet| 欧美三级巜人妻互换| 五月丁香花激情综合网| 99久久精品国产色欲| 天天干夜夜想| 色五月婷婷丁香婷婷| 丁香香蕉婷婷| 久久综合婷婷| 男女久久婷婷五月天| 一区三区视频有限公司| 六月婷婷色| 色婷婷综合五月| 久久久婷婷色五月资源网| 久99久在线| 夜夜天天天天天干天天爽| 婷香狠狠爱五月| 五月婷婷成人| 婷婷五月天a| 丁香五月 无码| 中文网AV| 久草视频大香蕉99| 99啪啪| 五月丁香婷婷啪啪综合网| 六月婷婷青青青视频| 九九婷婷网五月天| 成人九九视频| 五月婷婷丁香综合| 五月Huangsewang| 99热综合在线| 亚洲精品性色| www.久久久.com| 综合色图婷婷| 91九色首页| 26uuu欧美激情另类| 毛v一区二区视频| 99碰碰视频| 五月天婷婷青青| 日韩欧美成人网| 婷婷久月| 五月天久久成人| 欧美久久网| 成人无码精品1区2区3区免费看| www.天天日| 婷婷基地成人五月天| 国成人网| 99热综合| 天天色粽合合合合合合合| 五月丁香va| 亚州成人综合在线| 五月婷婷基地| 1区2区视频| 六月婷婷网站| 高清不卡一区| 久久天堂色| 国产做爰视频免费播放| 婷婷综合精品| 丁香婷婷激情网站| 日本www五月婷婷| www99在线观看视频| 狠狠婷婷色综合| 五月开心久久| 久久最新色| av性爱在线| 思思色播| 欧美大香蕉视频| 久久五月婷综合网| 色色三级视频| 激情四射五月天| 天天日天天操心| 激情网婷婷婷| 天久综合91综合首页| 婷婷四色五月| 婷婷色导航| 丁香五月中文字幕久色| 深爱激情网五月| 天天操无码| 激情久久丁香| 五月色情婷婷| 精品一区二区三区免费毛片爱| WWW,五月| 婷婷开心激情| 天天射色五月天| 人妻在线中文字幕久久| 婷婷五月天视| 五月色综合| 91在线日本| 色欲色香,www,com| 国产成人AV| 色婷网| 精品乱码久久久久| 97在线刺激| 在线1青婷| 丁香五月激情性色郤| 97色五月天| 五月天婷婷综合久久| 久色网址| 欧美人人女女精品综合五月天| 碰人人97| 久久久久97| 国内熟女黄色系列| 婷婷五月丁香基| AV大片在线播放| 少妇人妻人伦A片| 九月婷婷综合| 久久激情视频| 久热91| 丁香五月综合| 五月丁香| 丁香五月天社区| 婷婷五月天小说| 综合五月天| 涩涩五月天| 婷婷香五月天| 久久久91| 中文字幕av在线| 中文无码婷婷| 99热最新| 99精品自拍视频| 男女99免费视频| 伊人网碰碰| 狠狠狠色激情综合适合| 色婷久九| www色婷婷| 深爱激情网婷婷| 超色欲天天| 五月婷婷影| 五月丁香六月婷婷亚洲| 人妻肉射免费观看| 五月天激情婷婷小说| www.五月天社区| 日本激情五月天‘| 激情五月视频| 亚洲六月色| 五月天婷婷在线视频| A在线观看| 婷婷六月色开| 婷婷综合视频| 79精品视频在线观看,| 亚洲免费看片| 成人亚洲精品久久久久| 婷婷色五月综合| 中文AⅤ大全| 色吊操色妞| 久re热视频| 精品热九九| 婷婷六月香| 伊人婷婷91| 日韩综合网络男女香蕉a片| 2015好吊操| 狠狠狠人妻| 在线可以看的av网址| 丁香五月天激情综合| www.91在线观看| 夜夜撸夜夜骑| 亚洲无码另类| 99色色网| av免费在线看不卡无毒| ztEJj| 黄色AAAAAAA| 天堂五月婷婷| 婷婷97碰碰| www.婷婷五月| 色国产五月| www、色色色| 久久婷婷成人| 91九色网| 欧美日韩精品人妻狠狠躁免费视频| 色婷婷丁香AV综合| 97色婷婷五月天| 狠狠色性| 色五月婷婷小说亚洲中文字幕组| 久9视频免费播放| 色综合五月天| 婷婷五月丁香性爱| 色婷婷丁香综合中文字幕| 99这里的视频都是精品| 丁香 婷婷 亚洲 熟女| 婷婷五月综合网| www.久久| 九九九九成人| 久久五月天色婷婷| 欧美性爱5月天天天看| 亚洲无码11| 精品人妻伦九区久久AAA片| 久爱综合| 色色五月天网站| ...婷婷国产成人亚洲日韩| 五月色综合网| 九九热九九| 亚洲网站观看视频| 九九中文色色| 五月丁香六月在线欧美| 激情五月天色婷婷| 九九久久网| 99九九热播在线免费视频| 91狠狠综合久久| 久热最新视频| 在线视频激情网站| 欧美色图片88| 加勒比日本一区二区三区| 99小精品| 我去色色网五雨天| 色婷婷基地| 综合伊人久久| 激情都市五月天| 五月丁香色| 99在线免费观看| bukadeavzaixian| 成人五月天色天堂| 丁香五月天激情综合| 国产午夜精品一区二区三区四区| 综合色影院| xfplayav在线| 丁香六月婷婷色XXXXX| 色99超碰| 五月婷婷成人w| 五月丁香婷婷色色| 丁香五月瑟瑟| 26uuu美女三级视频| www.91婷婷| 一区二区成人电影免费播放| 五月天三级久久| 婷婷五月天男人影院色色网| 丁香五月影院| 五月激情网站| 伊人久久五月天综合| 日本猛少妇色XXXXX猛叫| 成年人夜夜喷水| 综合一本道| 国产成人精品一区二三区熟女在线 | 日韩黄黄| 亚洲成人免费电影| 色色色色色五月| 99热这里只有免费| 久久激情五月婷婷| 97人人爱人人操| 99情色五月天| 伊人狠狠综合| 永久精品| 五月婷中文字幕| 九九热最新视频| 99久久国产综合精品五月天喷水\| 五月天天天综合| 九九色图| 丁香五月天狠狠操| 亚洲五月天婷婷综合| 婷婷丁香18| 五月婷婷三级| 丁香六月婷婷色播| 久久日曰| 婷婷五月天综合小说网| 无码91中文字幕| 任你爽视频| 久久九区| 中文字幕av在线播放| 五月婷婷开心丁香| 婷婷婷婷婷婷婷婷婷婷丁香| 色婷婷五月基地在线| 99九九久久| 久久久妻人人人| 99色干| 婷婷六月综合| www.天天干| 中文字幕黄色电影网址| 六月合五月婷| 久久久日韩特色特黄AAAA| 丁香五月婷婷成人综合| 国产av天堂| 亚洲亚洲激情| 性爱视频久久| www.夜夜操.con| 俺也去色| 管管補管管紱| 国产99热| 777色婷婷爱五月| 久久人人妻| 97色色色色| 激情丁香五月| 思思热思在线精品视频| 狠狠操天天干| 狠狠狠狠狠狠草| 国产亚洲精品久久久久久久久动漫| 日本www五月婷婷| 国产99久久久国产精品免费看| 这里只有精品热| 九九成人| 天天艹夜夜爽| 五月天丁香久久综合| 五月香六月婷| 久久婷婷丁香花综合网| 丁香综合网| 丁香五夜激情四射夜夜夜| 综合激情站| 五月天激情网址| 成人av在线网站| 国产激情视频在线观看| 人人操AV| 色日本丁香婷婷| 一级片操逼视频| 可以直接看的AV网站| 9久热视频| 五月婷婷丁香俺日污视频| 六月婷婷香蕉| 91碰超| 丁香五月婷婷久久综合激情网| 操人91| 26UUU欧美激情一区二区| 超碰人人在线观看| 激情丁香五月婷婷啪啪| 色婷婷成人色网| 亚洲热久久| www.九九婷婷| 七七九色| 丁香婷婷黄网站| 人妻中文在线| 青青操avbb| 91精品刘玥| 亚洲天天操| 538任你爽| 亚洲日韩一页精品发布| 性色99| 久久丁香综合精品综合| 婷婷丁香五月综合| 九九色色| 日韩人妻白浆视频系列| 六月婷婷五月天| 丁香五月天堂| 国产欧美精品AAAAAA片| 深爱激清网| 超碰二区| 超碰免费在线| 97色色色色色| 色情婷婷。| 超碰人人色| 丁香五月激情综合网激情五月| 色站9/| 色色色无码| 91男同| 超碰日韩人妻在线| 综合五月丁香六月婷婷| 中文字幕在线免费| 99无码黄色视频| AA片在线观看视频在线播放| 丁香五月第四色88| 97婷婷五月| 人妻激情综合| 五月六月激情婷婷| 亚洲成人黄色网| 丁香色影院| 丁香九月婷| 婷婷深爱色五月| 99热九九在线| 99精品成人无码A片观看金桔| 五月婷六月丁| 奇米四色五月天| 人人操AV| 人妻在线中文字幕久久| 丁香六月啪啪| www.天天日| 丁香综合婷婷开心激情网| 五月天开心色色网| 激情六月色| 六月欧美综合色情| 97碰碰叉| 精品久久久人妻| 色婷婷五月丁香在线观看| 密视AV综合在线| 色综合婷婷| 直接看的AV| 99热偷拍| 五月婷婷色欲| 亚洲激情视频在线观看| 激情婷婷五月天日本系列| 日本精品在线噜噜噜| 国产第99页| 色婷婷丁香A片区毛片区女人区| www热久久yy9| 激情五月综合免费| 日韩一级A片黄色| 九色综合五月天婷五月| 久久久人妻| 夜夜骑天天操| 丁香无五月网| 9 9热这里有精品| 色婷婷六月| 免费看成人747474九号视频在线观看| 亚州视频九九99|