欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

STM32N6部署U-Net:Neural-ART Oauto編譯失敗排查與解決指南

STM32N6部署U-Net:Neural-ART Oauto編譯失敗排查與解決指南 1. 問題現(xiàn)場訓(xùn)練好的 U-NetNeural-ART 量化成功但優(yōu)化失敗先說個我最近反復(fù)遇到、也幫幾個朋友遠(yuǎn)程看過的問題。模型用的是非常典型的 U-Net 結(jié)構(gòu)輸入是單通道灰度圖輸出是同樣尺寸的分割掩碼訓(xùn)練完在 PC 上驗證精度沒問題轉(zhuǎn)成 ONNX 后導(dǎo)入 STM32N6 的 Neural-ART 工具鏈前面幾步都很順利模型解析成功、量化校準(zhǔn)跑完、精度報告也生成了結(jié)果跑到優(yōu)化階段直接報錯Oauto did not find valid compile options當(dāng)時第一反應(yīng)是“我量化都成功了怎么可能編譯選項找不到”。但踩了幾次坑之后發(fā)現(xiàn)這個報錯其實并不是算法問題而是工具鏈在自動搜索可用 NPU 編譯策略時沒能在一個合理的解空間里找到滿足約束的配置。換句話說問題不是“沒有編譯器”而是“編譯器在當(dāng)前模型調(diào)度條件下組合不出合法結(jié)果”。這個報錯對 U-Net 類模型尤其典型因為 U-Net 不是簡單的鏈?zhǔn)?CNN它包含 skip connection、concatenation、上采樣、深度可分離卷積等多種結(jié)構(gòu)一旦量化后的中間表示出現(xiàn)某些維度約束或算子融合條件不滿足Oauto 的搜索就會直接失敗而不是退回到一個基礎(chǔ)配置繼續(xù)跑。這篇內(nèi)容適合誰看手頭正在做 STM32N6 端側(cè)圖像分割、醫(yī)學(xué)影像分割、工業(yè)缺陷檢測尤其是模型結(jié)構(gòu)里帶 U-Net 這種“編碼器-解碼器 跳躍連接”的同學(xué)。如果你只是跑通了一個 MobileNet 或者 YOLO 類模型大概率不會撞到這個報錯但如果你開始在 NPU 上部署 U-Net這篇文章總結(jié)了我在復(fù)現(xiàn)和解決問題過程中所有值得記錄的細(xì)節(jié)。2. 先搞明白 Neural-ART 的 Oauto 到底在做什么2.1 Oauto 的本質(zhì)為 NPU 尋找合適的編譯配置STM32N6 內(nèi)置的 NPU 不是像 GPU 那樣通過 CUDA 指令直接執(zhí)行任意算子而是需要把神經(jīng)網(wǎng)絡(luò)的計算圖映射成一堆硬件可執(zhí)行的“微指令”和對應(yīng)的內(nèi)存搬移任務(wù)。Neural-ART 工具鏈里的優(yōu)化器負(fù)責(zé)做這件事而 Oauto 是其中的自動配置搜索模塊。它的核心思路是這樣給定一個已經(jīng)量化好的模型圖Oauto 會嘗試不同的循環(huán)展開因子、數(shù)據(jù)布局、算子融合順序、內(nèi)存復(fù)用策略然后結(jié)合 NPU 的硬件約束寄存器數(shù)量、DMA 通道、SRAM 容量、支持的數(shù)據(jù)類型和通道對齊要求去搜索一組可編譯的選項。搜索過程中還要考慮避免片上內(nèi)存溢出、中間緩沖區(qū)沖突、以及某些特定算子在硬件上不支持導(dǎo)致的回退限制。Oauto 的搜索目標(biāo)不是“最快”而是“先找到一組能編譯通過的配置”。如果整個搜索空間里沒有任何配置滿足所有約束它就會輸出那句經(jīng)典的報錯。2.2 “did not find valid compile options” 的背后邏輯這個報錯的英文非常直白Oauto 在可選配置集合里沒有找到一條合法路徑。但為什么量化成功了還會這樣關(guān)鍵就在這里量化成功只代表模型的權(quán)重和激活值已經(jīng)能映射到 NPU 支持的低比特數(shù)值格式不代表整個模型的圖結(jié)構(gòu)、數(shù)據(jù)流、內(nèi)存布局都能被編譯調(diào)度。我把問題拆成三類圖結(jié)構(gòu)問題U-Net 的 skip connection 會產(chǎn)生很長的跨層數(shù)據(jù)依賴NPU 編譯器需要把中間結(jié)果暫存在 SRAM 里。如果暫存區(qū)太大或者生命周期重疊嚴(yán)重就可能沒有任何調(diào)度方案能滿足片上內(nèi)存上限。算子支持問題Neural-ART 對常見 Conv、Pooling、ReLU、Concat 支持很成熟但 U-Net 里經(jīng)常出現(xiàn) UpSampling、PixelShuffle、Resize、雙線性插值等算子這些算子如果映射不到硬件指令編譯器就需要用 CPU 回退或拆分執(zhí)行但拆分后又可能破壞 Oauto 搜索的初始約束導(dǎo)致它直接放棄。通道數(shù)對齊問題NPU 對卷積層的輸入輸出通道數(shù)有對齊要求常見的是 8 通道或 16 通道對齊。U-Net 里卷積層通道數(shù)通常是 64、128、256 這種本身對齊的數(shù)但如果你自己改過結(jié)構(gòu)或者拼接層之后通道數(shù)變成 72、136 這類非對齊值Oauto 可能找不到一個能同時滿足對齊和內(nèi)存約束的編譯選項。這三類問題里第三類最隱蔽因為模型在 PC 上跑得好好的轉(zhuǎn)換工具也能解析量化后對數(shù)值分布也沒問題但最終就是編不過。2.3 為什么 U-Net 更容易踩中這個問題U-Net 網(wǎng)絡(luò)結(jié)構(gòu)的最大特點是編碼器逐漸降采樣解碼器逐漸上采樣中間通過 skip connection 把同尺度的特征圖拼起來。這個結(jié)構(gòu)對分割任務(wù)非常有效但對 NPU 編譯調(diào)度來說就意味著大量中間特征圖需要在不同階段被反復(fù)使用。舉個例子一個典型 U-Net 輸入是 512×512×1第一層編碼器輸出 512×512×32隨著下采樣到 256×256×64、128×128×128、64×64×256解碼器再逐步把特征圖恢復(fù)成 512×512×1。這個過程產(chǎn)生的中間特征圖數(shù)量很多特別是 512×512 這個尺度上的特征圖一張 float32 就是 1MBquantized int8 也有 256KB。如果編譯器需要同時保存多張這個尺度的特征圖SRAM 很容易爆掉。Oauto 搜索時會嘗試各種調(diào)度策略來降低峰值內(nèi)存但如果模型的跳躍連接把某些特征圖的生存周期拉得太長編譯器可能發(fā)現(xiàn)無論怎么排都無法把所有必要緩沖塞進(jìn)可用的 NPU 內(nèi)存區(qū)域于是直接判定找不到合法編譯選項。這也就是為什么你量化的 U-Net“越標(biāo)準(zhǔn)”反而越容易出事因為標(biāo)準(zhǔn) U-Net 在特征圖尺寸和跳躍連接上太“規(guī)整”了編譯器難以做激進(jìn)的復(fù)用優(yōu)化。3. 從失敗到復(fù)現(xiàn)我自己的排查路徑網(wǎng)上搜這個報錯大部分答案都是“更新工具鏈版本”“重新安裝”這類不痛不癢的建議。我自己試過之后發(fā)現(xiàn)真正有效的方法是按下面這套順序排查。3.1 第一步確認(rèn)編譯器和工具鏈版本這不是廢話。STM32N6 的 Neural-ART 更新頻率比我預(yù)期高很多不同版本對算子支持和內(nèi)存調(diào)度能力差異很大。我第一次遇到這個問題時用的是 X-CUBE-N6 早期版本后來升級到新版本后同一個模型在同樣的量化配置下直接通過了。具體操作上是這樣先查看當(dāng)前工具的版本號然后去官網(wǎng)確認(rèn)你用的 MCU 封裝庫、模型轉(zhuǎn)換工具、編譯器驅(qū)動三者之間的版本匹配關(guān)系。ST 的生態(tài)里CubeMX、模型轉(zhuǎn)換工具、NPU 固件驅(qū)動這三者不匹配的話Oauto 經(jīng)常會拿到錯誤的硬件能力參數(shù)導(dǎo)致搜索空間被錯誤裁剪。我踩過最離譜的一個坑是CubeMX 自動生成的工程里 NPU 時鐘配置不對導(dǎo)致編譯器以為 NPU 的可用內(nèi)存窗口比實際小結(jié)果所有自動調(diào)度方案都被判成不可行。這種問題如果不先查環(huán)境和版本后面再怎么改模型都白搭。3.2 第二步檢查模型輸入輸出與量化后的中間表示確認(rèn)完環(huán)境下一步是看模型輸入輸出是不是符合 NPU 的輸入約束。STM32N6 的 NPU 輸入通道排布和常見 ONNX 模型不一定一致尤其是單通道輸入。我當(dāng)時用的 U-Net 輸入是 [1,1,512,512] 這種 NCHW 格式轉(zhuǎn)成工具內(nèi)部表示后編譯器需要把輸入重排成它期望的布局。如果工具在輸入端自動插入了一個自定義的布局轉(zhuǎn)換算子而這個算子在 Oauto 搜索時無法與后續(xù)卷積融合就會導(dǎo)致編譯失敗。更準(zhǔn)確的做法是把 Neural-ART 導(dǎo)出過程中的中間圖 dump 出來人工檢查一下量化后的模型結(jié)構(gòu)看看有沒有異常的 Transpose、Reshape、Cast 節(jié)點這些節(jié)點看起來不起眼但往往是 Oauto 搜索失敗的直接原因。我后來寫了個小腳本把 ONNX 模型里每個節(jié)點的輸入輸出維度打出來重點看 concat 節(jié)點前后的維度是否對齊以及上采樣節(jié)點之后有沒有跟著奇怪的 Reshape。這種腳本不復(fù)雜但非常有效。3.3 第三步降低優(yōu)化強(qiáng)度逐個排除算子問題如果圖結(jié)構(gòu)和環(huán)境都沒問題那就考慮是某個算子導(dǎo)致 Oauto 的搜索空間爆炸或者提前終止。此時最直接的驗證辦法是關(guān)掉 Oauto改用非自動模式跑一遍生成一個基礎(chǔ)編譯配置。Neural-ART 工具一般會提供類似optimization_level和search_mode這樣的選項。你可以把優(yōu)化級別降到none或baseline然后手動指定每個算子的執(zhí)行方式。如果基礎(chǔ)模式能編譯通過說明問題出在自動搜索策略上而不是模型本身完全不可編譯。如果基礎(chǔ)模式也報錯那就繼續(xù)往下看是不是算子支持層面的問題。在這個階段我的做法是一個算子一個算子地做“最小模型測試”。比如把 U-Net 里的 UpSampling 換成最簡單的最近鄰采樣編譯一次再換成雙線性采樣再編譯一次或者把 skip connection 里的 concat 改成 add看看能否通過。這種二分定位法雖然慢但比瞎猜配置高效得多。3.4 第四步查官方日志和生成文件很多人看到報錯就慌了其實工具鏈在報錯時往往已經(jīng)把更多細(xì)節(jié)寫進(jìn)了日志。我在工程目錄下找到.log和.txt后綴的編譯輸出里面能看到 Oauto 搜索時嘗試了哪些配置以及每一個配置被拒絕的原因。一次典型日志里會有一大段類似這樣的內(nèi)容Trial 23: config { tile: [1, 32, 128, 128], layout: NHWC, fusion: convrelu } - FAIL (SRAM overflow: estimated 412KB, available 384KB) Trial 24: config { tile: [1, 16, 128, 128], layout: NHWC, fusion: convrelu } - FAIL (data alignment: output channel 72 % 8 ! 0)看到這些就不難定位了。你甚至不需要逐行讀直接在日志里搜FAIL或者reject看拒絕原因出現(xiàn)最多的值是什么。如果大量是 SRAM overflow那說明內(nèi)存瓶頸如果大量是 alignment 或者 unsupported op那說明算子或通道配置問題。我的經(jīng)驗是這個報錯 80% 的根因都能在日志里直接看出來只是很多人不會主動去找日志文件。4. 實際解決方案與參數(shù)調(diào)整記錄下面把我最終驗證有效的幾種方案整理出來。不是每個場景都需要全部使用按優(yōu)先級從高到低試。4.1 方案一顯式指定編譯選項和核心參數(shù)Oauto 報錯后第一步不是改結(jié)構(gòu)而是手動給編譯器你想要的優(yōu)化參數(shù)。Neural-ART 提供了編譯選項配置文件你可以在里面直接指定 tile size、循環(huán)展開因子、數(shù)據(jù)布局等。我當(dāng)時的配置文件中加了這樣的設(shè)置具體參數(shù)名可能隨工具版本變化核心思路一致[compiler] optimization_level 2 enable_fusion true enable_buffer_reuse true force_nhwc true [memory] sram_limit 384 buffer_reuse_window 16重點是sram_limit和buffer_reuse_window。這兩個值如果設(shè)置不合理Oauto 就會在非常狹窄的范圍內(nèi)搜索很容易找不到合法配置。你可以通過逐步放寬限制來觀察編譯結(jié)果比如從 512KB 的 sram_limit 開始每次減 32KB看臨界點在哪里。如果手動設(shè)置這些參數(shù)后能編譯通過說明問題確實出在自動搜索策略的保守上。此時你不需要動模型只需要找到一組可行的顯式參數(shù)后續(xù)就可以穩(wěn)定構(gòu)建。4.2 方案二關(guān)閉/降級 Oauto手動構(gòu)圖如果顯式參數(shù)還是不行那就要考慮繞開 Oauto 自動搜索手工搭一個計算圖版本。Neural-ART 支持手動指定每個層在 NPU 上執(zhí)行的“圖段”或者“l(fā)ayout”。比如你可以把 U-Net 的編碼器部分拆成幾個塊每塊指定一種數(shù)據(jù)排布中間用工具支持的“relay”操作連接。這么做確實繁瑣但能繞開 Oauto 因為全局約束太多而找不到可行解的問題。我在一個 512×512 輸入的分割模型上用過這個方法把模型拆成兩個子圖第一個子圖負(fù)責(zé)編碼器到 bottleneck第二個子圖負(fù)責(zé)解碼器兩個子圖中間通過片外內(nèi)存交換中間特征圖。這樣每個子圖的編譯空間小了Oauto 最終成功找到驗證通過的配置。代價是推理速度慢了約 15%因為兩次子圖之間有額外的內(nèi)存拷貝開銷但至少部署能落地。這個方案適合對延遲要求不苛刻但對穩(wěn)定性要求高的場景。如果你做的是離線固件完全可以接受這種折中。4.3 方案三簡化 U-Net 中的特殊算子和連接方式如果你想把性能損失降到最低還是得從模型結(jié)構(gòu)下手讓模型更適合 NPU 的編譯調(diào)度。常見做法有以下幾種把 UpSampling 換成 ConvTranspose 或反過來取決于工具鏈對哪種算子支持得更好。實測中Neural-ART 對 ConvTranspose 的調(diào)度不如對 UpSampling Conv 的組合成熟但不同版本表現(xiàn)不一樣一定要實際對比。把 concat 跳躍連接盡量放在特征圖通道數(shù)較小的地方。U-Net 中常見的是在 encoder 的 64 通道層做 concat如果你能把 concat 提前到 32 通道層內(nèi)存壓力會小很多。去掉結(jié)構(gòu)中的 Dropout、BatchNorm 推理分支。BN 在推理時可以折疊進(jìn)前面的卷積但有些工具在量化后不會自動做折疊導(dǎo)致中間多出一層 BN 算子增加編譯負(fù)擔(dān)。如果模型太大考慮對輸入分辨率做裁剪比如把 512×512 改成 384×384內(nèi)存峰值會顯著下降。不要小看這一步U-Net 的內(nèi)存占用和輸入分辨率近似成平方關(guān)系縮到 0.75 倍后峰值內(nèi)存可能只有原來的 60%。我在一個工業(yè)缺陷分割項目里就是把輸入從 512×512 降到 384×384配合把 concat 提前Oauto 直接通過推理耗時也從 80ms 降到 52ms精度只損失了 0.5 個點完全可接受。4.4 方案四調(diào)整量化精度和校準(zhǔn)數(shù)據(jù)集減少編譯歧義這個方案聽起來跟編譯失敗無關(guān)但確實在真實項目中幫過我。Oauto 搜到的配置有一部分取決于量化后各層的數(shù)據(jù)范圍和中間張量的精度。如果量化校準(zhǔn)階段部分層的數(shù)據(jù)范圍估算得太寬編譯器會為這些層分配更大的中間緩沖區(qū)從而更容易觸發(fā) SRAM overflow。所以當(dāng)你遇到編譯失敗也可以回頭檢查校準(zhǔn)數(shù)據(jù)集的質(zhì)量。U-Net 訓(xùn)練集如果是分割掩碼背景類占比很高模型輸出層的激活分布可能非常稀疏。如果用默認(rèn)的 1000 張未打亂圖片做校準(zhǔn)某些層的數(shù)值范圍會偏差很大。我改用以下策略后量化穩(wěn)定性提升了很多校準(zhǔn)圖片盡量覆蓋各種分割目標(biāo)的占比不要全是目標(biāo)很小的樣本。每類目標(biāo)至少 50 張代表性樣本。校準(zhǔn)數(shù)據(jù)集大小設(shè)在 200~500 張之間太少不夠穩(wěn)定太多校準(zhǔn)時間很長且收益遞減。量化范圍更合理之后Oauto 在搜索時會獲得更小的中間張量估算值有些 SRAM overflow 導(dǎo)致失敗的情況直接消失。5. 實操經(jīng)驗U-Net 部署到 STM32N6 的“最佳姿勢”5.1 U-Net 部署前的模型結(jié)構(gòu)調(diào)整清單如果你現(xiàn)在還沒開始部署只是在訓(xùn)練階段請務(wù)必在模型設(shè)計時就考慮 NPU 的偏好輸入格式盡量用NHWC而不是NCHW很多 NPU 工具鏈在內(nèi)部都會轉(zhuǎn)成 NHWC但提前轉(zhuǎn)化可以減少圖里的 Transpose 節(jié)點。卷積層通道數(shù)盡量保持為 8 的倍數(shù)特別是最終部署模型的輸入輸出通道數(shù)。避免在 bottleneck 中使用超大卷積核。U-Net 的經(jīng)典結(jié)構(gòu)里最后幾層卷積通常都是 3×3不要隨意改成 5×5 或 7×7這會顯著增加 NPU 計算負(fù)載。上采樣方式優(yōu)先選擇nearest最近鄰其次才考慮雙線性。因為最近鄰在硬件上實現(xiàn)成本低而且生成的特征圖質(zhì)量對分割結(jié)果影響通常不大。跳躍連接不要“全都要”對每個尺度做裁剪或降維比如 concat 前先加一個 1×1 卷積把通道數(shù)減半這樣能保持精度的同時減少內(nèi)存占用。這些點如果能在訓(xùn)練前就規(guī)劃好后面部署會省非常多的精力而不是在模型訓(xùn)練完再回頭改結(jié)構(gòu)重新訓(xùn)練。5.2 應(yīng)用安全區(qū)和非安全區(qū)功能對部署的影響STM32N6 的一個特點是支持應(yīng)用安全區(qū)和非安全區(qū)功能。這個在部署時容易被忽視但實際會影響編譯和運行穩(wěn)定性。簡單說安全區(qū)和非安全區(qū)是系統(tǒng)內(nèi)存保護(hù)劃分。如果你把 NPU 模型數(shù)據(jù)放在非安全區(qū)而模型推理代碼在安全區(qū)或者反過來內(nèi)存訪問權(quán)限沖突會引發(fā)部署時的奇怪問題。雖然不一定會報 Oauto 錯誤但一旦配置不對運行時可能出現(xiàn)內(nèi)存訪問異?;蛲评斫Y(jié)果不正確。我在實際工程中的建議是模型權(quán)重和中間緩沖區(qū)統(tǒng)一放在非安全區(qū)因為 NPU 的 DMA 訪問通常配置在非安全內(nèi)存域。推理函數(shù)入口跑在安全區(qū)時確保通過 API 調(diào)用而不是直接讓 NPU 訪問非安全區(qū)數(shù)據(jù)否則需要額外的安全屬性配置。用 CubeMX 生成工程時仔細(xì)檢查 NPU 和 DMA 相關(guān)硬件的安全屬性分配讓工具鏈在編譯時對內(nèi)存區(qū)域的約束一致。這個坑我在第一次部署 U-Net 時沒有遇到因為當(dāng)時只跑了小模型后來換成分割模型需要更頻繁地交換中間特征圖非安全區(qū)內(nèi)存和 DMA 緩沖沖突導(dǎo)致系統(tǒng)偶爾卡死排查了很久才發(fā)現(xiàn)是安全區(qū)配置問題。所以如果你的模型運行異常不要只盯著網(wǎng)絡(luò)結(jié)構(gòu)內(nèi)存安全屬性也要查。5.3 量化與優(yōu)化流程建議結(jié)合我上面的踩坑經(jīng)驗整理一個比較順的流程先訓(xùn)練好浮點模型轉(zhuǎn) ONNX用工具自帶的驗證工具跑一遍浮點精度。第一次轉(zhuǎn)換時把優(yōu)化等級調(diào)到最低只驗證模型能不能成功編譯到 NPU。最低等級編譯通過后再開量化先跑默認(rèn)校準(zhǔn)方案記錄量化前后精度差。量化通過后才逐步嘗試提高優(yōu)化等級并建議保留一個“優(yōu)化失敗情況下可回退”的基礎(chǔ)配置文件。若 Oauto 報錯優(yōu)先從日志定位拒絕原因然后按第 4 節(jié)方案逐一嘗試。這樣做的好處是每一步失敗的邊界都清楚哪一步出的問題直接對應(yīng)到對應(yīng)的環(huán)節(jié)去排查而不是等到優(yōu)化階段一把梭。如果你要做精度調(diào)試還可以用工具鏈里生成的內(nèi)存報告和層輸出對比功能把每一層的輸出 dump 出來和 PC 端推理結(jié)果做逐層對比。這個工作在模型量化和編譯都通過后非常有用能幫你看到底層 NPU 和 PC 端在數(shù)值細(xì)節(jié)上的差異避免上線后才發(fā)現(xiàn)精度不對。5.4 性能評估與誤區(qū)很多新手把“能編譯通過”等同于“能跑得性能好”。實際上Oauto 能找到的只是合法配置里的一個解不一定是最優(yōu)解。所以編譯通過后一定要用工具生成的 profiling 信息做進(jìn)一步分析。拿 U-Net 來說重點關(guān)注幾個指標(biāo)總推理時間每個算子耗時占比內(nèi)存復(fù)用率DMA 傳輸量我在優(yōu)化后總是先看哪個算子耗時占比最高再去針對性調(diào)整。比如有一次實測時發(fā)現(xiàn)瓶頸在編碼器的第一個卷積層因為輸入從 512×512×1 變成 512×512×32計算量特別大。后來我把輸入層的 stride 從 1 改成 2同時把解碼器輸出做相應(yīng)調(diào)整整個模型推理時間直接下降了 30%分割精度損失也很小這個優(yōu)化比折騰編譯配置有效多了。不要執(zhí)著于“所有層都跑在 NPU 上”某些層在 CPU 上跑反而更快。比如上采樣層和最后的 softmax 層在 CPU 上實現(xiàn)可能比在 NPU 上調(diào)度更高效。工具里通常有算子級調(diào)度配置你可以把一些低計算量但高邊緣開銷的算子在 CPU 上執(zhí)行這樣可以釋放 NPU 資源給真正重的卷積層。6. 常見問題速查表我把這個報錯相關(guān)的典型問題整理成表格方便你快速對照現(xiàn)象可能原因優(yōu)先排查方向Oauto did not find valid compile optionsSRAM 不足調(diào)度空間過窄查看日志中的 SRAM overflow 拒絕原因降低輸入分辨率或減少 concat 特征圖量化成功編譯失敗日志里全是 alignment 錯誤通道數(shù)不是 8 的倍數(shù)調(diào)整模型中通道數(shù)盡量對齊到 8/16編譯通過但推理結(jié)果全為零校準(zhǔn)數(shù)據(jù)集偏差太大量化范圍失真檢查校準(zhǔn)集覆蓋度增加目標(biāo)占比大的樣本推理結(jié)果不穩(wěn)定偶發(fā)死機(jī)安全區(qū)和非安全區(qū)內(nèi)存訪問沖突檢查 NPU DMA 和模型緩沖區(qū)的安全屬性配置編譯通過但內(nèi)存占用比預(yù)期高很多工具沒有有效執(zhí)行 buffer reuse手動開啟 buffer reuse檢查圖中是否有異常的長依賴節(jié)點Oauto 搜索時間極長但沒有結(jié)果算子組合復(fù)雜度過高關(guān)閉自動搜索手動分段編譯或簡化上采樣算子這個表不是標(biāo)準(zhǔn)答案但覆蓋了我實際遇到的大部分情況。碰到問題先對照一下很多時候能省下好幾個小時的排查時間。7. 踩坑后的真心話這次被 Oauto 折騰得最深的一個領(lǐng)悟是嵌入式 NPU 部署的瓶頸往往不在模型的精度而在編譯器和硬件約束之間的“翻譯”能力。U-Net 這類分割網(wǎng)絡(luò)在結(jié)構(gòu)上天然就跟 NPU 的調(diào)度邏輯存在摩擦你在 PC 上跑 Pytorch 時根本看不到這些摩擦因為 CPU/GPU 對內(nèi)存的容忍度高得多。到了 STM32N6 上每一塊 SRAM、每一個 DMA 通道都是錢編譯器找不到合法配置是常有的事。我現(xiàn)在的習(xí)慣是在模型設(shè)計階段就“為部署而設(shè)計”而不是訓(xùn)練完之后再想怎么搬上去。具體做法包括一開始就用 384×384 或者固定輸入尺寸訓(xùn)練避免動態(tài)尺寸通道數(shù)全部設(shè)計成 8 的整數(shù)倍上采樣優(yōu)先用 nearest模型中不插入奇怪的 reshape。這些東西一旦在最開始就定下來后面幾乎不會碰到 Oauto 報錯這種大坑。最后再說一個每次都會用到的技巧給工程自動記錄每次編譯前后的日志差異。我在第一次遇到這個報錯時沒有保存之前的“能編譯成功”配置結(jié)果改來改去改壞了又不知道從哪里恢復(fù)。后來我用腳本把每次編譯前的配置、模型 hash、日志都存成一個文件夾遇到問題隨時能對比出“到底哪一次改動導(dǎo)致失敗”排查效率高了很多。如果你現(xiàn)在正在跟 Oauto 報錯較勁先把日志翻出來找到那些被拒絕的配置原因大概率答案就在里面。不要一上來就重裝工具鏈那是最浪費時間的一條路。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日本啪啪天堂| 99大香蕉| 久久综合五月天| 激情五月婷婷老师| 九九免费视频在线| 九久九精品| 丁香婷婷色五月| 991自拍视频| 人人干av| 久99视频| 婷婷五月丁香五月| 色五月天天| 国产FREESEXVIDEOS性中国| 婷婷激情综合网| 97操碰碰无码视频| 色婷婷狠狠久久YY| www.狠狠| 欧美成人无码一区二区三区| 色五月噜噜| 99久久婷婷五月综合| 丁香五月亚洲激情婷婷射| 天天射天天插天天干| 狠色色狠网| 色综合久久久久| 99色婷婷| 婷婷97狠狠成人网站| 天天舔夜夜操www com| 五月婷婷在线视频| 五月婷婷深爱六月| 五月婷婷导航| 丁香六月色婷婷| 久热这里精品免费| 97热精品| 九九av| 激情五月综合网最新 | 天天操天天操综合| 久久久久久久,99精品视频| 五月天开心婷婷激情网站| 丁香激情四射| 婷婷五月天激情四射| 婷婷永久在线| 九九色色网| 狠狠色成人影片| 一区二区三区四区五区| 热婷婷久| 九九成人视频| 丁香五月激情综合| 激情综合网,五月| 69人人操人人爽| 人人澡玖玖一| av性爱在线| 中日韩狠狠色| 99热久久这里只有精品| 久99热| 亚洲AV免费在线| 综合九色| 热久91| 成人视频网| 色情久久久| 亚洲男人的天堂婷婷色五月| www.婷婷五月天.com| 免费91久久精品| 色婷婷国产精品综合在线观看| 综合亚洲六月婷婷在线| 久久女人九九| 91操人| 饮料下药迷倒漂亮女同事强干| 夜色爱爱亚洲| 色色色无码| 激情丁香五月天| 激情涩涩网| 香蕉伊人综合| 蜜乳av一级av| 精国产品一区二区三区A片| 天天干天天操天天爽| 深爱激情九九五月天 | 99热只有这里才是精品| 国产99视频永久免费| 激情小说五月天社区丁香| 青草青草久9视频在线视频| 色噜噜狠狠色综无码久久合欧美| 丁香五月天堂| 九九热精品视频在线观看| 99色1| 黄色99视频| 人人妻人人澡人人爽| 婷婷色导航| 99热老网站| 综合色播| 久久人妻www| 五月情四婷婷| 99,色| 能直接看的av网站| 亚洲激情综合| 色色色色色网| 天天噜噜| 开心激情网五月| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 久色视频首页| 中文字幕簧片| 久久 这里只有精品1| 色碰碰视频| 99ri精品在线| 六月婷婷av| 婷婷婷五月香蕉| 久久久久久久久久久久久久久久一道本| 婷婷五月天电影网| 久久五月丁香| 国产激情久久久| 婷婷六月天| 五月婷婷五月天激情网| 五月天狠狠网| 120分钟婬片免费看| 天天干天天操天天拍| 午夜成人AV在线| 精品无码色欲AV| 精品人人操| 啪啪婷婷五月天激情| 婷婷五月天首页激情| 伊人青涩网| 99精品这里只有免费视频| .操區COm| 丁香五月婷婷啪| 超碰93在线观看| 亚洲激情| 91久久1118| 婷婷伊人激情婷婷| 天天爽,夜夜爽| 人人干av| 26uuu精品一区二区| 超碰99在线| 另类图片五月天| 精品亚洲国产成AV人片传媒| 久久久五月天婷婷| 久久婷婷五月综合一| 热久久婷婷| 激情骚五月| 丁香六月婷婷色播| 婷婷丁香色五月亚洲| 五月丁香久久综合精品| 欧美va亚洲va在线播放| 67194中文字幕| 色天堂在线| 五月丁香婷婷中文| 九九热视频精品| 国产亚洲色婷婷久久99精品91| 人妻操逼视频| 婷婷天堂站| 69天堂99| 伊人9草在线观看| 婷婷五月丁香超碰| 亚洲日韩26uuu| 国产成人亚洲综合A∨婷婷| 日本99在线视频| 啪到高潮激情丁香五月| 91操熟女| 开心五月天激情网| 性色九九| 玖玖国产视频一区| 久久婷婷成人综合色怡春院| 思思热在线观看| 先锋资源婷婷| 色五月天视频| 亚洲色图五月丁香| 午夜婷婷| 97啪啪| 欧美美女国产日韩一区二区久 | 午夜少妇在线观看视频| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 激情99热| 激情婷婷啪啪| 婷婷综合视频| 久久综合播放| 五月婷婷六月爱| 色婷婷五月天不卡| 九九综合色| 色吊丝永久访问网址| 五月天激情网开心网| 色色日本| 久久久久久久久久久-久五月天婷婷| 看全色黄大色大片| 五月婷婷婷婷婷婷艺术| 日韩成人电影AV| 国产69久久久欧美黑人A片| 中文av在线观看| 天天搞夜夜叫| 色停停香蕉视频| 久久色吧| 麻豆五月丁香婷婷| 久久国产一区二区三区| 婷婷五月天美女| 日日操夜夜骑| 五月天激情美女久久| 色99无码| 日本丁香五月| 午夜伊人大香蕉| 97人人操人人| 亚洲综合丁香五月天| 国产人妻人伦精品一区二区| av在线超清中文| 热99在线| 久久xx| 成人精品亚洲性爱| 激情综合五月丁香六月婷婷| 天天狠狠色综合| 婷婷亚洲综合| 97操操操| 亚洲美女网Va| 99干免费视频| 亚洲成人va| 婷婷最新地址| 五月丁香综合精品| 免看黄大片AA | 色婷婷网| 久草大| 亚洲色基地| 久久性爱网站| 天天日色情| 婷婷丁香五| 久色资源| 婷婷综合网| 亭亭五月色男人| 五月丁香六月婷婷,婷| 丰满老熟妇BBBBB搡BBB| 月婷婷亚洲| 色色99| 丁香五月,开心五月,成人婷婷| 婷婷五月天综合网| 成年视频免费观看| 色五月天婷婷| 六月婷婷网| 噜噜噜噜噜色| www.刺激色网站www.| 大陆肏屄视频| 日本黄 色 片| 五月综合缴情网| 色亭亭丁香五月天| 色婷婷社区| 91狼友视频在线观看| 天天色综合网吨吧| 综合在线观看99| 99乱视频| www,久久久| 六月丁香综合网| 思思热在线视频精品| 国产精品大香蕉| 99热这里精品| 久久激情综合| 拍真实国产伦偷精品| 五月色婷婷激情| www.久久久久久久久久久| 丝袜激情网| wWW九九在线播放| 综合久久综合| 天天做天天爱天天爽在| 五月天婷婷综合网| 久99久精品视频| 婷婷淫淫狠狠六月| 五月激情啪啪| 激情AV综合| 色丁香久久久| 免费亚洲成人电影AV| 久久精品婷婷| 在线色色| 成人精品视频99在线观看免费 | 大战熟女丰满人妻AV| 5月婷婷性视频| 三日本无码| 天天噜噜| 综合激情啪啪| 丁香婷婷月| 亚洲综合在线伊人婷| 碰超亚洲| 五月天社区| 丁香婷婷少妇| 偷拍九九五月丁香婷婷| 国产亚洲色婷婷久久99精品91| 婷婷另类开心| 久久成人亚洲欧美电影| 五月丁香六月激情视频| 亚洲性图一区二区三区| 无码髙清| 婷婷香蕉| 思思国产99| 超碰国产在线| 操比激情五月| 久久精品性爱| 久久草婷婷丁香网站| 日本欧美在线| 77777亚洲午夜久久| 亚洲成人综合在线| 夜夜骑天天操| 丁香色啪综合| 久久视这里只有精品| 99久久97| 婷婷伊人五月天| 人妻av在线| www.五月天| 亚洲色五月天是什么| 91久久免费| 五月天成人免费视频| 大香蕉九九| 丁香五月综合无码趴趴| 第九色区av天堂| 五月婷婷色五月| 五月婷婷丁香伦理网| 综合九九中文字幕| CHINESE熟女老女人HD视频| 五月天天爽| 中文字幕天天干| 天天激情站| 丁香九月婷婷| 久久9视频| 五月激情婷婷在线| 日本综合久| 色婷婷人人| 狠狠五月天| 色五月天堂| 狠狠色综合777| 五月天婷婷xxx| 丁香社92视频| 九九无码AV| 小视频久久久aaa| 五月婷婷乱| 久久小视频免费| 天天爽天天爽天天爽天天爽天天爽天天爽天天 | 午夜激情婷婷| 国产午夜精品一区二区| 久久丁香婷婷五月| 婷婷中文字幕欧美| 99re在线播放| www.wuyuetian啪啪| 中文字幕无码人妻少妇免费视频 | 性一交一乱一交A片久| 亚洲日韩一页精品发布| 丁香五月影院| 久超超碰| 天天射影院| 任你爽视频| 九九热视频99| 天天噜天天爱| 色情激情五月| www五月天激情com| 嫩BBB槡BBBB搡BBBB视频| 五月天合网| 五月色亭丁香| 很很操很很操| 99热精品一区| 26uuu国产精品| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久久婷婷国产| 99超碰人人| 操日本色| 色情五月| 五月叮香啪| 婷婷丁香五月天大香蕉| 97干婷婷| 伊人激情综合网| 婷婷久久久久| 91狠狠综合久久久| 婷婷六月丁香色| 99热国产在| 26uuu欧美亚洲日韩| 狠狠色丁香婷婷综合久久97AV| 操人91| 在线中文字幕免费视频| 成人网在线视频| 激情婷婷丁香五月天小说| 99视频35精品视频在线观看| 六月婷婷五月丁香首页| 婷婷五月婷婷五月| 色五月大| 六月丁香婷婷开心综合基地| 99热在线观看这里只有精品| 丁香六月婷婷色播| 99精品亚洲| 99热精品无码| 八戒青柠影视剧在线观看| 极品人妻VIDEOSSS人妻| Y11111111111少妇电影院| 五月丁香婷色| 精品乱码视频| 亚洲女婷婷五月基地综合久久久| 丁香五月天的网址。| 天天色视频| 涩涩五月天| 人人人操 超碰| 精品9久| 青青草99热久久精品国| 久久色在线视频| 五月花婷婷最新| 五月天久久综合婷婷丁香| 五月丁香婷成人网| 激情五月婷婷色播网| 99熟女视频| 色婷婷成人做爰A片免费看网站| 欧美成人精品A片免费一区99| 婷婷综合久久| co超碰在线观看| 色婷婷综合亚洲| 激情婷婷丁香色五月综合| 五月花激情| 亚洲天天| 在线播放成人| 日本啪啪网| 久久激情五月网| 五月婷六月| 久久怡红院| 色激情五月| 狠狠五月激情在线| 久热网在线视频| 26uuu国产| 精品视频二级九九| 色情五月天丁香社区| 婷婷五月天激情在线观看| 狠狠色婷婷六月激情网| 色欲婷婷五月天| 中文超碰视在线| 激情综合综合综合| 久久九九热视频| 婷婷五月天基地| 婷婷WWW久久| 另类五月婷婷| 久久人人九| 五月丁香婷婷色播无码| 思思久久网| 色五月涩涩婷婷| 日笨久久网| 欧美噜噜免费观看| 99热国产精品| 六月大香蕉| 激情都市五月天| 丁香五月天激情| 97色啪| 久久五月婷天天干| 第五色婷婷| 免费看欧美成人A片无码| 伊人激情综合网| 欧美色性色好| 五月天婷婷久草丁香| 五月天天天操天天爽夜夜操| 亚洲综合在线视频| 亚洲婷婷91丁香| 五月婷婷天堂| 亚洲免费在线观看岛国| 五月婷精品| 大伊香蕉精品视频在线| 日本婷婷丁香五月| 人人操av| WWW五月婷婷| 99精品在线观看视频| 亲子乱av一区二区三区的| 久久视频九九视频| www.色婷婷.com| 五月色婷婷影院| 色色婷婷五月天| 激情五月激情综合网一级丸片| 色婷婷香蕉| 亚洲婷婷婷| 五月丁香综合影院| 肏日网在线看| 日韩免费乱轮网站| 丁香六月激情综合| 99视频网| www.91在线看| 丁香久月| 国产成人综合在线| 婷婷色丁香五月| www.五月天婷婷| 久久天天| 在线伦子99热| 狠狠色综合网站久久久久| www...com黄在线观看| 免费不卡狠操美女视频网 | 色欲色香综合网| 五月激情婷婷开心五月| 婷婷啪啪| 人妻VideOssS人妻| 俺也去五月婷婷丁| 五月婷婷免费在线视频| 日韩精品一品二区三区的使用体验| 亚洲成人av在线播放| 色综合中文| 97碰| 翔田千里 50岁 无码| 丁香五月天堂网| 五月婷综合性中心| 日本三级成人秘书精品片| 天天天天天天天操| se色婷婷视频| 91丨九色丨熟女|新版| 丁香五月影视| 国产69久久久欧美黑人A片| 六月天无码网址| 日本一级黄色片。| 五月综合视频| Av狠狠色丁香婷| 五月天激情婷婷| 怡红院精品视频久久久久久久久| 大香蕉伊然在亚洲90| 五月丁香在线看| 夜夜夜天天操| 99热有精品在线观看| 五月天婷婷综合免费| 五月婷婷色影院| 思思热视频在线| 夜夜爽天天日| 色久影院| 婷婷综合视频| 99亚洲无码| 五月婷婷婷综合网| 色色色色欧美| 人人爽欧美婷婷久久久五月丁香| 九九色婷婷| 99超碰欧美| 99视频精品在线| 天天搞天天色综合| 嫩草AV久久伊人妇女超级A| 我爱婷婷五月天综合88| 99热费观看| 婷婷五月天国产在线播放| 五月天色图| 疯狂做受XXXX高潮A片| 伊人五月天在线| 日韩成人免费电影| 精品一二三区久久AAA片| 五月丁香成人小说| 伊人春天av| 天天肏天天舔AV| 欧美性爱一区| 五月丁香婷庭在线| 九七色色六月丁香| 五月在线| 狠狠色成人影片| www色婷婷| 五月婷婷九| 偷拍99在线视频观看| 97人人草| www婷婷| 色婷小说| 婷婷五月天综合亚洲| 另类A片| 六月天婷婷| 97色色色色色色色色色色色色色| 久久天堂加勒比| 黄网在线免费观看| 另类 在线| www.六月丁香看AV| 久久亚洲网| 欧美性生交XXXXX无码小说| 久久人妻视频| 婷婷五月天免费| 激情涩涩网| 9久久久久久久久久久| 婷婷五月天天激情| 成人啪啪色婷婷久| 久久99精品日本| 欧美日韩色色| 日本eVa一区=区视频| 99碰碰| 99热99干| 色99欧洲色19| 99精品久久| 91碰| 久久天堂网| 亚洲欧美另类在线23p| 六月丁香五月激情网| 婷婷的五月天另类视频| 亚洲国产精品VA在线看黑人 | 婷婷五月丁香图片人人操| AA片在线观看视频在线播放| 五月婷丁香| 日韩成人综合网| 亚洲午夜AV| 超碰在线99| 99视频只有精品| 亚洲激情婷婷| 色婷视频| 精品色色| 五月天天天综合| 婷婷色天香| 久久综合激情五月天| 欧美日朝成人| 激情欧美婷婷| 成人婷婷色五月天| 色五月激情综合网| 99热啪啪| 五月综合激情| 午夜成人AV在线| 久久婷婷啪啪视频| 五月丁香好婷婷A片网| 丁香婷婷五月综合| 蜜桃人妻无码AV天堂三区| 九九婷婷网五月天| AA丁香综合激情| 婷婷丁香色情五月天| 色婷婷a| 色色色欧美| 九九热视频精品| 日韩欧美颜射| 五月婷婷色在线| 日韩99无码| 99在线一区| 欧美超碰人人| 99热精品在线| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 五月婷婷无码| 999热这里只有美国精品| 久热伊人91| 综合久久高清| 亚洲综合1024| 天天综合网、天天综合色| 人妻aV在线| 欧美猛片| 丁香五月日啪| 日本在线视频手机播放五月婷| 国产va在线视频| 久久综合人妻| 五月丁香婷婷中文| 激情五月综合婷婷| 五月在线| 久久久大香蕉| 我爱大香蕉| 另类五月激情| 激情av网| 69热在线| 色婷婷六月精品| 五月丁香六月婷婷网| 夜夜躁爽日日| 婷婷丁香六月| 北条麻妃九九九国产精品视频| 欧美偷偷操| 久久免费丁香| 久热这里这里有精品| 色呦呦美女| 99碰| 精品国产va久久久久久久| 五月婷六月婷婷| 99操视频| 亚洲视频在线观看| 久久久九九视频精品18| 超碰在线99| 呦呦v线| 棕合影院色色| www久视频com| 大香蕉久久草| 色狠狠色综合久久久绯色aⅴ影视| 九 九九九AV| 久久五月丁香| 精品久久久人妻| 精品一二三区久久AAA片| 亚洲免费视频网站| 亚洲激情 久久| 天堂综合久久 | 91凹凸在线| 日本熟女内射| 99精品在线观看视频| 久久A极片| 婷婷丁香五月天影院 | 国产99久9在线| 天天爽天天弄| 91性高潮久久久久久久久| 激情五月丁香六月婷婷| 久9久9久9久9久9久9| 亚洲精品九九| 欧美噜一噜| 99网| 五月丁香狠狠爱婷婷综合| 五月婷婷啪啪| 99热这里只有精品8| 风流少妇A片一区二区蜜桃 | 欧美人人超级碰| 日本在线视频www色| 色色色色网| 色色a| 大鸡巴伊人网| 亚洲六月婷| 超碰在线超碰| 激情久久月| 狠狠色婷婷六月激情网| 一级黄色影片| 亚洲综合久| 狠狠五月丁香色婷| 婷婷欧美| 中美月韩免费A片| 天天激情欧美美女| 亚洲图片 丁香婷婷| 国产老熟妇亲子乱对白| 99热97| 思思干精品| 天天搞天天色综合| 狠狠色婷| 激情五月婷婷色综合| 久热人妻| 入口五月婷婷六月香| 天天日天天草| 99超碰欧美| 天天天天天操| 99热亚洲精品| 中文网AV| 久久久国产精品黄毛片| 久久五月丁香激情综合| 中文字幕在线免费观看视频| 91人人操人人爱| www.99热视频| 99色精品视频| 日韩成人综合网| 激情图片婷婷| 五月综合激情网| 色色色婷婷五月天| 日日干干天天干| 极品少妇XXXX精品少妇偷拍| 五月天另类小说亚洲| 超碰在线看| 色色五月婷婷久久| 99久久久久久www| 日本激情91| 综合AV在线| 小视频在线亚洲| 无码AV久久久久久久久| 日本熟女一区二区| 99在线看片| 91人人操人人爱| 色呦呦美女| 另类激情五月天。| 99综合视频一体| 婷婷五月丁香成人| 国产精品久久久久久久久久| 色丁香五月天射婷婷爱婷婷| www.9操| 亚洲乱码w在线观看| 色婷婷成人| 久久99大全| 99re在线观看视频| 大陆极品少妇内射AAAAAA| 丁香五月综合久久| 五月丁香婷婷啪啪| 色情五月天婷婷| 精品99在线| 99操逼| 婷婷丁香视频在线观看免费| 九九色插| 五月婷婷六月天| 人人玩人人橾| 久久九精品| 婷婷六月丁| 久久66精品| 99热超碰天堂网| 久re热视频| 天天激情视频| 色色五月天 亚洲| 97色片| 天天干,天天舔| 91麻豆国产三级精品福利在线观看| 9久久婷婷国产综合精品性色| 国产xxxxx在线观看| 91精品激情9| 天天做天天爱天天爽综合网| 激情五月开心五月在线视频| 久热天堂| 99热这里只有精彩| 五月丁香六月婷婷久久久综合| 久久艹99| 99热综合在线观看| 婷婷丁香五月天色区| 99碰超| 91精品刘玥| www.婷婷.com| 日本色色视频| 中文字幕丰满乱孑伦无码专区| 888久久久| 国外亚洲成AV人片在线观看 | 成人AV在线网站| 五月婷久久草| 亚洲AV成人精品网站在线播放| 激情开心五月天| 天天综合在线网| 五月亚洲激情| 色噜噜夜夜夜综合网| 国产人人操| 欧美成人精品三区综合A片| 丁香五月停停av| 五月天久久久| 丁香五月婷婷五月| 超级碰碰99| 乱精品一区字幕二区| 亚洲天堂爱爱| 激情婷婷丁香色五月综合| 激情婷婷五月| HD久久精品视频| 狠狠爱婷婷五月天| 开心五月网| 色吧五月婷婷| 国内久久亭亭| 久久久色情| 色狠狠色噜噜AV天堂五区| 色婷婷免费观看| 思思热精品免费视频| 深爱激情网婷婷| 欧美一级色| 丁香婷婷五月色成人网站| CAOBIBI| 色99xx| 久久婷婷五月综合色区| 99国产精品白浆在线观看免费| 婷婷综合五月| 久久玖玖综合| av操一操| 丁香六月婷婷综合欧美| 婷婷五亚洲| 五月色婷| 六月婷婷激情| www99热| 日韩九九视频| 综合激情五月天| 97超碰在线免费观看| 99在线视频免费| 九九综合网| 岛国AAAV| 丁香婷婷啪啪| 99超级碰碰| 日狠狠| 99热免费看| 婷婷五月天在线观看第二页| 96五月丁香熟女| 色丁香婷婷| 丁香婷婷婷五月| 久久久com| 国产伊人五月天| 视频综合网| 亚洲精品亚洲人成人网| 97人妻碰碰碰久久久久-最近国语高清| 六月婷婷中文字幕| 九九综合| 老师的粉嫩小又紧水又多A片视频| 午夜一区| 色婷网站| 丁香五月婷婷五月| 日韩av变天就操逼不卡区| 伊人香大香蕉视频| 激情综合五月丁香六月婷婷| 色婷婷影音| 超碰在线人人| 五月丁香色色| 久99| 97碰精品| 久九九热| 五月色婷| 五月天激情亚洲| 六月婷婷成人| 26uuu亚洲色| 亚洲最大视频| 五月婷婷熟女| 丁香五月激情五月| 伊人激情综合| 亚洲99在线| 成人 AV播放| 嫩草视频观看| 日本激情ⅩXX免费视频| a色色片| 99精品在| www.99成人视频| 色五月婷婷老师| 日韩中文欧美| 亚洲成人网址在线观看| WWW·色色色·COM| 男人的天堂av俄罗斯热| 99久久久久| 9这里只有精品| 99热精品在线免费观看| 97福利视频| 99爱操| 91碰碰视频| 五月丁香六月婷| 91精品综合久久久久久五月丁香| 99综合| 夜夜躁爽日日| 五月天婷婷无码| 久热久色| 欧美狠狠地| 色丁香婷婷| 色婷婷基地| 碰久久精品w| 超碰免费99| 热99re| 天天综合网在线| 婷婷丁香中文字幕| 香蕉久操| 天天日天天做天天舔| 激情六月综合| OYIWbGcPu8H| 天堂AV三级| 99热在线观看免费精品| 国产真人做爰视频免费| 欧美久久婷婷| 久久3p| 成人狠狠成人狠狠成人狠狠成人狠狠 | 久热丁香| 99热成人精品| 欧美黄色韩日网| 九九在线精点品| 婷婷色中文| 激情五月丁香综合网站| 激情四射五月天| 色五月婷婷操逼| 性99网站| 精品少妇蜜臀91| 9久久精品| 亚洲一区二区无遮挡A片| 婷婷色五月色妇| 99这里只有精品| Av性爱网| 亚洲色网址| 99热 日韩| 伍月激情天| av九九| 亚洲有码在线视频| 91色五月| 天天色综网| 92久久精品一区二区| 色婷网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99热伊人| 99re久热只有精品6在线直播.com| 五月综合亚洲| 免费黄色片子| 2016日日夜夜操| 26UUU精品一区二区Com| 激情婷婷丁香五月天| 久久9热| 欧美激情五月天在线观看| 久久大香蕉同僚| 婷婷丁香91| 婷婷射图五月天| 色色色综合| 久热这里只有精品3| 色色色色网| 黑人熟妇一区二区三区| 丁香六月婷婷色XXXXX| www色五月| 色狠狠综合| 婷婷五月另类网站| 一区中文字幕电影| 日日噜狠狠色| 91精品久| 激情婷婷丁香色五月| 久久这里只有精品视频15| 中文字幕在线免费观看视频| 。久久久久久久久久久久久久人妻| 婷婷六月丁香五月| 色噜久| 草五月| 99啪99| 庭庭久久内射| 99热啪啪| 狠狠爱综合网| 成人一级片| 天天综合在线网| 美女黄频aⅴ视频| 丁香婷婷人妻综合网| 日韩无码AV电影网站| 五月婷婷m| 日韩在线观看网址| 狠狠色精品综合| 亚洲亚洲人成综合网络| 夜夜操少妇| 日产精品一线二线三线芒果| 五月婷婷网久久| 日韩啪啪自拍| 玖玖婷婷色五月| 久久五月激情综合| 五月婷婷导航| 五月婷婷啪啪啪| 99这里只有精| 99热色精品| 新激情五月开心五月婷婷五月丁香五月| 九九99精品视频在线观看| 日韩无码系列| 丁香五月电影| 天天天天天色| 国产人妻777人伦精品HD| 激情婷婷啪啪| 丁香六月婷婷综合啪啪| 五月天激情小说网| 操逼福利视频| 亚洲国产网址| 欧美三日本三级少妇三99| 五月婷婷六月丁香激情深爱| 婷婷狠狠综合网入口| 综合网激情| 丁香五月色| 亚洲在线免费成人| 婷婷久久视频| 天天日,天天干,天天操| 婷婷色色播五月天| www.狠狠操| 99爱视频免费看| 亚洲情欲久久| 噜噜操操| 婷婷综合日本| 国产成人精品一区二区三区视频| 六月丁香深深爱| 538任你爽视频不一样的| 一级精品999WWW| 五月丁香久久综合| 爱99干99| 天天色噜| 国产伊人五月天| 31色区视频免费看| 丁香五月天视频| 夜夜夜夜夜操| 色婷婷婷婷| 欧洲第一无人区观看| 97五月久久丁香婷婷| 99热精在线九九久久保| 91久久九| 97碰| 国产六月婷婷| 丁香五月婷婷大香蕉| 中文字幕有多少字| 五月丁香自拍| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99碰碰碰| 色五月六月| www.99成人视频| 国产激情AV| 日韩无码性爱| 欧美性生交XXXXX无码小说| 婷婷成人五月天| AAA亚洲AV| 五月丁香六月久久| www.1024久久| 亚洲日韩一页精品发布| 玖玖精品视频| 亚洲夜五月| 日韩久久成人| 婷婷俺去也| 熟女激情五月天 | 色综合网址| 婷婷五月无码| 亚洲婷婷丁香五月在线| 97涩婷婷婷婷基地| 色婷婷久久| 欧美色99| 婷婷六月激情在线视频| 超碰狠狠操| 色哟哟精品| 激情综合丁香| 中文字幕日产A片在线看| 久久婷婷五月天| 五月亚洲| 五月丁香激情综合| 婷婷五月综合色中文字幕| 黄色网址五月婷婷| 九九色精品| 婷婷五月激情网| 婷婷九月激情| 九九无码| 天天爽天天日人人爱| 五月丁香香蕉| 思思热在线观看| 色偷偷五月天| 婷婷在线精品| 婷香五月| 97人人超| 色色色无码| 五月丁香久久综合| 播五月开心婷婷欧美综合| 天天干天天色综合| 六月丁香射婷婷欧美色图片| www.99在线| 色婷婷综合影院| 欧美色偷偷大香| 99热在线成人网站| 天天添天天摸天天天天做| 日韩伊人大香蕉| wuyuedingxiang| 1024国产| 人人摸人人操人人爽| a69在线视频| AV伊人青草丁香六月| AV操一操| 91热久88| 99热这里只有精| 久热免费| 六月婷婷网站| 五月婷婷久久开心网| 五月婷婷色吧!| 色婷婷色五月综合| 亚洲avjiujiur91| 九九这里只这里只有精品| 啪啪色激情五月天| 99在线观看精品| 成人视频一区| 超碰激情网| www.狠狠干com| 五月婷婷激情性爱| 丁香六月色婷婷| 亚洲美女婷婷五月天| 淫荡综合网| 成人色五月天| 婷婷五月天va| av性爱在线| 99热e| 亚洲妇女熟BBW| 性色做爰片在线观看WW| 婷婷黄色网| 亚洲综合婷婷| 99这里有精品久久97| 99re思思热这里| 99热综合网| 99精品久久| 99视频在线观看视频| 热九九精品| 四色女婷婷| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 日本色婷婷| 五月丁香婷婷激情爱爱| 91一起操| 激情婷婷亚洲五月| 婷婷久久五月天| 99国产精品久久久久久久久久久| 五月天天爽| 91精品久久久久久77777| 久久综合丁香激情五月| 亚洲最大激情无码| 丁香色综合| 99性爱视频| 国产在线激情视频| 97超碰在线免费观看| 99热这里只有精品268| 亚洲日韩乱码一区二区三区四区| tingtingseav| 婷婷色色网站| 国产综合丁香五月天| 久热9| 思思综合热| 日韩无码专区| 黄色av网站在线免费播放| wwwss在线观看| 久久婷婷五月综合啪| 亚洲人妻av| 色色综合成人网| 激情久久肏屄视频| 91日韩美女被插视频| 欧美成人精品A片免费一区99| 色婷婷久久| 99久久婷婷国产综合精品草原| 久久婷婷五月综合色丁香| 日日懆天天懆| 五月四色婷婷| 狠狠操狠狠狠| 九九九九九九九热| AA丁香综合激情| 婷婷久久五月| 99精品自拍视频| 九色婷婷| 五他月天啪啪啪| 成人在线免费网址| 超爽内射| 91色碰| www.99热精品99.com| 婷婷五月色综合香五月| 丁香色五月天| 欧美黄色韩日网| 色五月成人| 欧美色频| 六月丁香色色| 婷婷丁香五月麻豆| 99热综合网| 91无码高清| 婷婷娌伦网| 六月丁丁香| 国产成人高清| 婷婷激情性爱| 91精品婷婷国产综合久久| 五月色婷婷激情| 色综合色综合网| 五月色色激情网| 激情综合五| 五月婷婷新网站| 久热这里这里有精品| 天天干天天日日| 日日想日日夜日日操| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 天天激情夜夜干| 天天插天天干| 9九九久久精品无码专区| 五月激情四射婷婷丁香| 色三级色三级| 色婷婷综合在线| 夜夜撸天天日| 五月婷婷基地| 国产99久久久| 99久re热视频精品98| 五月婷色丁香| 成人性爱无码| 99九九这里有免费视频| 五月激情基地| 97超级碰碰碰久久久| 毛片色五月| 丁香五月综合久久| 婷婷五月天福利| 精品99在线看| 久久久ww| 精品视频这里只有精品| 色色五月丁香| renre人人操国产超碰在线| 涩综合网| 玖玖国产视频一区| 婷婷五月天成人| 丁香五月激情婷婷视频| 99爱在线精品视频免费观看| 亚洲成片在线观看| 亚洲精品V天堂中文字幕| 99热99在线| 五月丁香综合激情| 青青草护士中出内射-欧美电影在线天堂新版 | 久热免费| 九热免费视频| 99精品综合| 在线观看免费视频| 狠狠狠狠狠狠狠狠| 丁香五月影院| 五月综合激情| www.99成人视频| 色色色九九九五月婷婷| wwW天天干| 成人无码精品1区2区3区免费看| 九色视频91疯狂| 久久九九爽| 成人在线日韩| 大香蕉精品视频| 亚洲综合九九| 久久婷婷色情7777网站| 99色视频| 激情丁香九九五月综合网| 色色婷婷五月天| 欧美性猛交99久久久久99按摩| 九久热| 六月婷婷开心| 五月天激情美女久久| 金品在线视频99| WWW,色五月| 天天天摸夜夜夜玩| 五月丁香婷婷成人网| 热久精品| 欧美成人精品A片免费一区99| 久久久高清| 大香蕉伊然在亚洲90| 超碰成人在线观看| 婷婷五月天色网久| 五月婷婷影| 猫咪伊人久久| 9色在线| 婷婷欠久少妇| 人人操女人| 男人天堂亚洲综合| 老司机日日夜夜青草| 天天综合影院| 五月婷婷久久综合| 在线播放人妻| 丁香五月天.com| 婷婷五月天AV激情| 色色 亚洲| 色五月成人|