欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ArmNN源碼審計:從端側AI到Cortex-A算子執(zhí)行鏈路拆解

ArmNN源碼審計:從端側AI到Cortex-A算子執(zhí)行鏈路拆解 1. 追根溯源為什么要把 ArmNN 的源碼從黑盒里拆開來看前段時間我在一塊 Cortex-A 架構的 ARM Linux 板子上做端側AI部署模型跑起來本身不難難的是把它跑明白。一開始我用 TFLite 轉好的模型直接推理發(fā)現(xiàn) CPU 占用忽高忽低某些算子的時延明顯不對但換一個輸入尺寸后表現(xiàn)又完全不同。那時候我開始意識到光會調(diào) API 是不夠的只有把 ArmNN 這類框架的源碼層邏輯弄清楚才能真正理解“邊緣推理引擎”在 ARM 平臺上到底做了什么。這里先潑一盆冷水很多人把 ArmNN 當成了一個跟 TensorFlow Lite、PyTorch 一樣功能的 AI 框架這是最大的誤解。ArmNN 不是一個訓練框架也不是一個通用推理框架它是一個面向 ARM 架構的深度神經(jīng)網(wǎng)絡推理中間層。它做的事情是從前端的模型文件出發(fā)把計算圖解析、優(yōu)化、拆解最終把算子映射到 ARM Compute LibraryACL或者其他后端上去執(zhí)行。還有一個經(jīng)常被誤解的點我在這幾年的社區(qū)討論和搜索記錄里也發(fā)現(xiàn)過很多次大家在搜“ARM 端側AI”的時候經(jīng)常會混入 ARM Compiler 5.06、Keil、JLINK 接線、RVDS 這類 MCU 開發(fā)工具鏈的話題。這些工具確實屬于 ARM 生態(tài)但它們解決的是 Cortex-M 裸機或者 RTOS 下的編譯與調(diào)試問題跟 ArmNN 這種跑在 Linux 用戶態(tài)、面向 Cortex-A 系列的應用處理器推理引擎完全是兩條路。如果你手上拿的是一塊跑 Linux 的 ARM 板子想去部署語音識別或者視覺模型就不要被 keil 或者 armcc 的搜索結果帶偏。我讀 ArmNN 源碼的動機也來自一個很現(xiàn)實的問題一個模型最終在 ARM CPU 上運行的時候數(shù)據(jù)是怎么從輸入端流動到輸出端的為什么同樣的模型在 x86 上用 OpenVINO 跑得很順在 ARM 上換到 CpuAcc 后端之后速度提升卻不明顯為了回答這些問題我去翻了 ArmNN 的 GitHub 倉庫從 include 目錄到 backends 目錄把一條主推理鏈路完整讀了一遍。這篇文章不是官方文檔翻譯也不是逐行代碼注釋而是記錄我從源碼審計視角發(fā)現(xiàn)的架構邏輯和實際部署經(jīng)驗。內(nèi)容包括 ArmNN 的整體架構怎么設計、一條推理請求在框架內(nèi)部經(jīng)歷了哪些轉換、算子如何落到 Neon 或者 CL 后端、以及做端側AI落地時應該避開的幾個大坑。適合已經(jīng)在做 ARM Linux 端模型部署、或者準備把業(yè)務切到端側AI方向上的工程師閱讀。1.1 讀 ArmNN 源碼前先建立一張“執(zhí)行地圖”我在讀源碼之前先把 ArmNN 對外的身份屬性搞清楚了。它不是一個像 OpenCV 那樣提供厚厚 API 的庫而是一個帶編譯性質(zhì)的計算圖調(diào)度框架。如果只靠面向?qū)ο蟮娜肟谌ダ斫馑銜吹揭欢?Network、Graph、Layer、Workload 之類的類名但不知道它們之間的先后關系。我自己參照官方文檔畫過一條簡化鏈路模型文件進入 Parser被解析成內(nèi)存中的靜態(tài)計算圖圖經(jīng)過優(yōu)化 Pass 處理后做后端分配被分配好后再交給 Runtime 做加載運行時最終通過 EnqueueWorkload 觸發(fā)執(zhí)行。這條鏈路等會兒在后面的章節(jié)里會展開講但先記住它的骨架會讓源碼閱讀順暢很多。ArmNN 最打動我的一點是它的“分層解耦”做得相當干凈。模型解析、圖優(yōu)化、算子執(zhí)行互不摻和。如果你只關心 CpuAcc 上的卷積性能完全可以把 Graph 優(yōu)化部分跳過直接去 backends 目錄里找對應的 Workload 實現(xiàn)。如果你需要理解為什么某個算子沒有走 GPU只需要看后端選擇機制和 LayerSupport 支持表。這種結構非常利于源碼審計不像一些框架把算子判斷、內(nèi)存分配、內(nèi)核調(diào)度全部揉在一個文件里。在開始審計之前我還做了一件事把一個簡單的卷積模型分別用 CpuRef 和 CpuAcc 后端跑了一遍。目的不是為了看速度差異而是為了在 debugger 里打兩個斷點觀察同一個模型在不同后端下的調(diào)用棧差異。這比看再多架構文章都管用因為每一條函數(shù)跳轉都變成了直觀的路徑。后面我會詳細介紹這部分的實操方法。2. 全景架構拆解一個模型文件到算子執(zhí)行的五層轉換ArmNN 的源碼審計繞不開一個問題它把“網(wǎng)絡”這個概念拆到了什么程度我把它歸納成五層轉換每一層都有對應的源碼實體。理解這五層基本就能看懂 ArmNN 的主干。第一層是前端解析層。ArmNN 本身不直接認識 PyTorch 的權重文件或者 TensorFlow 的 SavedModel它依靠獨立的 Parser 組件把 TFLite、ONNX、TF 模型讀進來。讀進來的結果是 INetwork 對象這個對象內(nèi)部是一堆 Layer 和 LayerConnection 組成的圖。Layer 在 ArmNN 里并不等價于“神經(jīng)網(wǎng)絡層”它更像是計算圖上的一個節(jié)點一個 Layer 可能負責拼接、拆分、形變、或者僅僅是一個常量輸入??吹竭@里的時候我有點恍然大悟ArmNN 中的 INetwork 其實比我們?nèi)粘@斫獾哪P蛯咏Y構更底層它是圖論意義上的有向無環(huán)圖。第二層是圖優(yōu)化層。INetwork 會被克隆、變換成 Graph 對象緊接著進入 Optimization Pass 管道。我在源代碼里觀察到這層主要是為了提升最終的算子執(zhí)行效率而不是去改模型的拓撲邏輯。常見的有常量折疊、卷積與 BatchNorm 融合、連續(xù) Reshape 合并還有把某些 Permute 重排成 View 操作避免真實拷貝。這些優(yōu)化對最終的 NEON 性能影響非常大如果在 Load 階段忽略了這些 Pass哪怕后端計算再快也會被多余的內(nèi)存讀寫拖垮。第三層是后端選擇與分配層。一個圖里的 Layer 不一定都由同一個后端執(zhí)行。ArmNN 會通過 BackendId 從注冊表中找到具體的后端實現(xiàn)再檢查該后端是否支持這個 Layer 的算子類型和數(shù)據(jù)格式。如果主后端不支持它會根據(jù)邏輯把子圖切給其他后端。常見的選擇是 CpuAcc、GpuAcc、CpuRef 三者共存。這一層在源碼里對應 BackendRegistry、LayerSupport 和 BackendAssignment 相關的邏輯。第四層是 Workload 生成層。當每個 Layer 都被分配好后端后ArmNN 就開始為它生成對應的 Workload。Workload 是 ArmNN 自己定義的執(zhí)行體接口可以簡單理解為一個算子的可執(zhí)行包裝。后端決定這個包裝具體長什么樣Neon 后端會生成一個包含 ACL NEON Function 的 WorkloadCL 后端生成包含 OpenCL Kernel 的 WorkloadCPU 參考后端生成一個普通 C 實現(xiàn)的 Workload。這里也是源碼審計中最有嚼頭的地方我讀到后面才發(fā)現(xiàn)卷積層的權重格式預處理經(jīng)常是發(fā)生在 Workload 構造階段而不是第一次推理執(zhí)行階段。這就是為什么 ArmNN LoadNetwork 有時會顯得很慢——它不是在做計算而是在做算子的預編譯和內(nèi)存重排。第五層是運行時調(diào)度層。IRuntime 加載網(wǎng)絡后得到一個 LoadedNetwork它負責把輸入的張量綁定到內(nèi)存池中并且按順序執(zhí)行網(wǎng)絡內(nèi)的所有 Workload。因為這個模型已經(jīng)被“編譯”成了一組 Workload 的有序列表所以執(zhí)行階段相對薄主邏輯集中在 EnqueueWorkload 的調(diào)用路徑上。如果用 C 的思維理解就是構造函數(shù)干了大量重活調(diào)用方法只負責按清單干活。為了更直觀地展示這五層對應關系我自己整理了一張流程表格在追蹤問題的時候會反復用階段輸入輸出源碼中的關鍵對象模型解析TFLite/ONNX 文件INetwork 圖TfLiteParser、OnnxParser圖優(yōu)化INetworkGraph 優(yōu)化結果Graph、Optimization Passes后端分配優(yōu)化后的圖帶后端信息的圖BackendRegistry、LayerSupport負載創(chuàng)建帶后端信息的 LayerWorkload 列表WorkloadFactory、IWorkload運行時執(zhí)行輸入張量輸出張量LoadedNetwork、Runtime這張表是我在實際排查算子執(zhí)行路徑時最常用的框架。每次看到異常算子我先判斷它到底卡在哪個階段。如果是 Load 階段慢去查權重預處理如果是第一次推理慢查 Workload 構造和 OpenCL 編譯如果每次推理都慢才考慮是不是算子實現(xiàn)本身或者內(nèi)存帶寬問題。2.1 ArmNN 和 Compute Library 的職責邊界很多人在讀 ArmNN 源碼時會困惑“卷積的 Neon 實現(xiàn)不就在 ArmNN 里面嗎”其實不是。ArmNN 本身不直接寫匯編也不直接調(diào) NEON 指令。在 CpuAcc 后端的目錄里你會看到很多 Workload 文件但真正的算子計算是在 Arm Compute LibraryACL內(nèi)部完成的。ArmNN 提供的是“哪個 Layer 用哪個 ACL Function”的映射關系、數(shù)據(jù)格式轉換、以及生命周期管理。ACL 是 ARM 提供的一套計算庫它內(nèi)部實現(xiàn)了卷積、池化、全連接等算子的 NEON 和 OpenCL 版本。ArmNN 作為上層框架只負責把模型圖轉換成語義明確的算子請求然后交給 ACL 的 Function 去跑。所以在分析算子性能時不能只盯 ArmNN 源碼還要配合 ACL 的源碼去看 Kernel 的調(diào)度策略。同理如果某個算子在 CpuAcc 下不支持也不要怪 ACL應該先查 ArmNN 的 LayerSupport 檢查邏輯看是不是 ArmNN 根本沒有把這個算子注冊到 CpuAcc 的實現(xiàn)列表里。這種雙層架構的直接好處是可替換性。舉個例子如果我今天希望把某個算子換成自研的 Neon 實現(xiàn)不需要改動模型解析部分也不用碰 Runtime 調(diào)度只需要在 CpuAcc 后端里新增一個對應的 Workload把 ACL 調(diào)用替換成自己的實現(xiàn)即可。這讓我在做一個自定義算子加速項目時少走了很多彎路因為框架沒有把一切寫死在一起。2.2 兩種典型后端的選擇邏輯ArmNN 內(nèi)置的多個后端里最常用到的是 CpuAcc 和 CpuRef另外還有 CpuAcc 的 GPU 兄弟 ClBackend。CpuRef 是純 C 參考實現(xiàn)不追求速度它的價值是作為正確性參照。CpuAcc 則是真正的加速后端所有算子都由 ACL 基于 NEON 指令優(yōu)化過。讀源碼時值得留意的一點是ArmNN 作者們沒有強行讓所有 Layer 都必須跑在 CpuAcc 上。后端檢查到 Layer 不支持時會自動降級到 CpuRef。這個設計非常實用因為它保證了大部分模型都能“跑起來”但也容易造成性能假象。我曾經(jīng)遇到過一個模型大部分卷積都走了 CpuAcc但有一個 Slice 算子沒注冊 Neon 支持結果整條推理鏈路里這一個算子拖慢了 30% 的延遲。這種問題不打開源碼對照 LayerSupport 表很難發(fā)現(xiàn)。因此我在審計源碼時總結出一個經(jīng)驗凡是在真機上排查 ArmNN 性能第一步永遠不是調(diào)線程數(shù)而是先確認每一個算子的 Workload 到底由哪個后端創(chuàng)建。光是這一步就能解釋很多“為什么我的模型換臺機器就慢一半”的詭異問題。3. 源碼審計主線LoadNetwork 與 EnqueueWorkload 之間到底藏著什么ArmNN 的源碼量不算法但目錄分散新手容易迷。我在審計時選擇了一條最主干的路線從IRuntime::LoadNetwork開始一直跟到推理執(zhí)行入口EnqueueWorkload把這條鏈路里的核心類都過了一遍。接下來是我記錄的審計筆記按實際代碼執(zhí)行順序整理不是目錄介紹。3.1 LoadNetwork 階段從網(wǎng)絡圖到 Workload 的“編譯工程”當你調(diào)用 LoadNetwork 時ArmNN 并不是簡單地把網(wǎng)絡指針存下來而是做了一整套類似編譯器后端的工作。它先拿到 INetwork再把它轉成內(nèi)部更容易優(yōu)化的 Graph 對象。如果你翻過源碼會在src/armnn下面看到 Network.cpp 和 Graph.cpp 這類文件前者負責對外 API 的封裝后者才是真正在內(nèi)存里組織節(jié)點和邊的地方。Graph 里的核心結構是 Layer 和 Slot。Layer 是節(jié)點InputSlot 和 OutputSlot 是節(jié)點之間的連接邊。這個設計不復雜但很關鍵。我之所以特意提它是因為在你寫自定義算子或者修改圖結構時幾乎都在跟這兩個類打交道。比如你要做算子融合本質(zhì)上就是找到兩個相連的 Layer把其中一個的計算并入另一個然后重連 Slot。之后 Graph 進入優(yōu)化過程。我在讀src/armnn/optimizations目錄時看到了幾十個獨立的優(yōu)化 Pass每個 Pass 都實現(xiàn)了名為Run的接口。讓我印象最深的是卷積和 BatchNorm 的融合優(yōu)化。單獨跑一遍 BatchNorm 意味著先要把卷積輸出寫回內(nèi)存再讀出來歸一化再寫回去。融合之后歸一化系數(shù)可以直接折疊進卷積權重和偏置里省掉一整次內(nèi)存寫讀往返。在 NEON 環(huán)境下這種減少內(nèi)存訪問的優(yōu)化比你想的還要值錢。完成圖優(yōu)化之后ArmNN 會做后端分配。它會遍歷每個 Layer依次查看是否支持當前后端的類型、數(shù)據(jù)類型和 shape。如果 Layer 支持則給它標記上后端 ID如果不支持就換下一個后端嘗試。這里有非常關鍵的源碼邏輯對每個 Layer 的支持判斷并不是簡單看算子名稱在不在列表里而是要結合輸入張量的維度和數(shù)據(jù)類型一起判斷。同一個卷積算子如果輸入是 NHWC 的 float32可能支持但如果換成一個很奇怪的維度或者走到了某些不常用的 data layout后端就可能說“我不支持”。隨后 ArmNN 開始創(chuàng)建 Workload。每個后端的 Workload 都由一個實現(xiàn)了 IWorkloadFactory 接口的對象創(chuàng)建。工廠根據(jù) Layer 類型和 QueueDescriptor 生成對應的 IWorkload 實例。你可以在backends/aclCommon、backends/neon和backends/cl下面看到很多具體的工作負載文件。這個階段其實做了不少重計算比如卷積權重從原始權重格式轉換為 ACL 友好的排列方式甚至提前做 Winograd 變換。所以 LoadNetwork 慢并不一定意味著代碼有問題更可能是模型里卷積太多預處理權重需要花時間。3.2 EnqueueWorkload 階段清單執(zhí)行與內(nèi)存綁定模型加載完以后每一次推理都通過 EnqueueWorkload 觸發(fā)。我在源碼里讀這部分時感受到一種明顯的“執(zhí)行期很薄”的設計哲學。推理入口做的事情大致可以拆成三步第一步讀取用戶傳入的 InputTensors把輸入數(shù)據(jù)寫入框架預先分配好的內(nèi)存張量里。第二步遍歷已經(jīng)創(chuàng)建好的 Workload 列表逐個調(diào)用 Execute 方法。第三步把輸出從內(nèi)部張量拷貝回用戶提供的 OutputTensors 中。真正做算子計算的就是第二步里的每個 Workload.Execute。以 CpuAcc 后端的普通卷積 Workload 為例你會在里面看到 ACL 的 NEConvolution2d 對象它的 run 方法會被調(diào)用底層會用多線程把 NEON kernel 分發(fā)到可用的 CPU 核心上。如果你在 GDB 里打斷點會看到調(diào)用棧長這樣EnqueueWorkload - LoadedNetwork 內(nèi)部循環(huán) - NeonConvolution2dWorkload::Execute - ACL 的 NEFunction::run。如果你發(fā)現(xiàn)某一層調(diào)用棧走的是 CpuRefWorkload 而不是 Neon 版本那就說明這一層沒有命中加速后端需要回過去查后端分配邏輯。另外我在實際調(diào)試中發(fā)現(xiàn)ArmNN 的輸出階段經(jīng)常有隱形的數(shù)據(jù)拷貝。如果每次推理都新分配一個很大的輸出緩沖區(qū)時間損耗相當可觀。比較好的做法是復用同一個 OutputTensors 對應的底層存儲避免反復觸發(fā)系統(tǒng)級內(nèi)存分配。這一點對于需要跑到 30FPS 以上的實時端側AI項目來說尤其重要。3.3 內(nèi)存布局與張量生命周期的隱藏規(guī)則源碼審計過程中我一度被張量生命周期問題繞暈。ArmNN 不像 TFLite 那樣把所有張量按 flatbuffer 平坦存儲它在 Load 階段會讓后端創(chuàng)建對應的 TensorHandle 和內(nèi)存池。到了 Enqueue 階段輸入數(shù)據(jù)被拷到某個 WorkingMemHandle 指向的緩沖中計算在這個緩沖上完成。如果只是讀一遍源碼你未必能體會到內(nèi)存布局的重要性。直到我踩了一個坑同一份模型用 NHWC 數(shù)據(jù)格式和 NCHW 數(shù)據(jù)格式導入延遲差了將近一倍。原因不在算子計算本身而在于 ACL 內(nèi)部對 NHWC 更加友好同時 ArmNN 的前端解析和轉換也盡量避免額外 transpose。很多模型轉換工具默認導出 NCHW如果直接塞給 ArmNN某些 Layer 會額外插入 Permute 操作推理時間自然就上去了。因此在部署模型中輸入 layout 的選擇不亞于模型結構選擇。ArmNN 里還有一個容易忽略的機制在網(wǎng)絡加載之后很多中間張量的 buffer 已經(jīng)被固定下來了不支持動態(tài)變化。如果你在 ONNX 里設置了動態(tài) batch或者某些維度是 NoneArmNN 在導入階段就很可能直接報錯。后面在落地那節(jié)我會專門聊這個坑的規(guī)避方式。4. 算子審計視角從 CpuRef 到 Neon 的工作負載生成路徑如果說整條 LoadNetwork 鏈路讓我掌握了 ArmNN 的“骨架”那算子擴展這塊則讓我看清了它的“肌肉”。真正決定邊緣推理引擎能跑多少種模型、每個算子的邊界條件是什么都藏在 Layer、Workload、LayerSupport 這三者關系中。這一節(jié)我以源碼審計為線索講講后端的注冊和執(zhí)行體生成邏輯。4.1 后端注冊表ArmNN 如何找到你想要的執(zhí)行單元ArmNN 把后端抽象成了 IBackendInternal 接口每個具體的后端只要實現(xiàn)這個接口并提供相應的 WorkloadFactory就能接入框架。BackendRegistry 是后端的注冊中心。默認情況下它知道 CpuRef、CpuAcc、Cl 等后端的創(chuàng)建方式。如果你用的是帶 Ethos-N NPU 的平臺也會有對應的后端注冊進來。從源碼審計角度看后端注冊機制給我最大的啟發(fā)是不要被“ARM 官方”四個字限制住思路。這個架構允許你新增一個例如“MyFastNPU”的后端只需要實現(xiàn)接口后注冊進框架上層模型的圖優(yōu)化和調(diào)度邏輯完全不用改。所以 ArmNN 的工程邊界其實比不少商用推理框架要開放得多。值得注意的是多后端并存時ArmNN 在選擇后端上并不是按“哪個最快”來排而是按你傳入的優(yōu)先順序逐個判斷支持度。默認情況下也許 CpuAcc 排前面但如果你沒有顯式指定部分 Layer 也可能落到 CpuRef。這種隱含的回退邏輯是排查性能坑時需要高度關注的點。4.2 LayerSupport支持判定不是一張純字符串表我曾經(jīng)以為框架判斷某個算子支不支持某個后端就是查一個名單。讀完源碼后才發(fā)現(xiàn)不是。ArmNN 的 LayerSupport 是一個接口它要根據(jù) WorkloadInfo 里的輸入張量個數(shù)、寬度、高度、通道數(shù)、數(shù)據(jù)類型、布局等信息共同決定。所以一個算子可能“系數(shù)支持”卻不能用于你現(xiàn)在的具體模型。這個設計在工程上是合理但也會帶來一個令部署工程師頭疼的問題同一個模型在開發(fā)板上新增了一個輸入分辨率就可能觸發(fā)回退路徑。比如某個 Convolution 在支持列表里但輸入 W 或 H 不是 16 的倍數(shù)某些經(jīng)過 Kernel 優(yōu)化的路徑可能失效或者數(shù)據(jù)格式需要 pad最后真實執(zhí)行的效率截然不同。因此在模型上線前最好用與線上完全一致的輸入尺寸去跑一遍 Profile而不是拿一個小尺寸樣例測試后就直接上線。4.3 從參考實現(xiàn)到 Neon 實現(xiàn)的擴展路線如果你要做自定義算子ArmNN 官方文檔和源碼給出了一個非常清晰的路線這也是我在審計時最喜歡的一條路徑。第一步在 CpuRef 后端實現(xiàn)一個最樸素、最容易驗證的計算實現(xiàn)保證輸出正確。第二步為模型解析階段增加對該 Layer 的解析和 Layer 類構建。第三步在目標后端比如 CpuAcc中實例化具體的 Workload并在內(nèi)部調(diào)用 ACL 里的 Function。第四步在 LayerSupport 里為這個后端聲明支持條件。有人覺得四步很多但實際上最難的是第四步之前因為你需要對 ACL 里有沒有合適的 Function 非常清楚。例如你想新增一個特殊形態(tài)的 PoolingACL 未必提供對應的 Kernel這時候你可能需要基于 ACL 的算子組合來間接實現(xiàn)而不是硬寫一個新 Kernel。從源碼審計中得到的一個深刻體會是CpuRef 后端并不是一個多余的“備用輪子”它其實承擔了正確性基準的角色。你在新增或者移植任何算子時先用 CpuRef 得到參考輸出再去優(yōu)化 Neon 實現(xiàn)一旦兩邊輸出不一致問題大概率出在新后端的邊界處理上而不是模型本身。沒有參考后端的框架在調(diào)試這種問題時只能靠紙面計算效率完全不在一個層次。新增算子時更要留意LayerSupport 通常只做靜態(tài)檢查它可能不會驗證所有輸入數(shù)值的范圍。我在做某些量化模型算子時就遇到過浮點模型沒問題、量化模型偶爾觸發(fā)邊界錯誤的情況。最后發(fā)現(xiàn)是某個算子在 uint8 輸入下ACL 實現(xiàn)里對最大值做了特殊處理而支持判定表預判太低導致錯誤在推理時才暴露。這類問題只有通過“試算子、看代碼、改判定”的循環(huán)才能解決也是源碼審計這件事真正值錢的地方。5. 落地復盤Cortex-A 真機上的行為表現(xiàn)與常見認知糾偏源碼讀得再多最終還是要落到 ARM 板子上的真實表現(xiàn)。我過去一年在幾塊不同的 Cortex-A Linux 板子上部署過視覺和語音類模型踩了不少坑。這節(jié)內(nèi)容不寫成“成功案例”而是把那些容易讓部署工程師抓狂的問題和我的排查思路整理出來。5.1 動態(tài) shape 的坑為什么模型加載失敗卻找不到原因ArmNN 對靜態(tài) shape 的支持非常穩(wěn)對動態(tài) shape 就很敏感。常見錯誤場景是你從某個工具導出 ONNX 時把 batch 維度留成了 -1或者某個 Reshape 帶有動態(tài)推導又或者 TFLite 模型的輸入尺寸本身沒有固定。這樣的文件被 ArmNN 的 Parser 讀取時可能直接報錯也可能加載成功但在第一次 Enqueue 時才崩。我遇到過最典型的案例是一個語音前端模型里面有一個動態(tài)時間步的 Reshape。模型導出時維度是 [1, -1, 80]代碼里想讓它支持任意幀長。結果每到推理時 ArmNN 會提示 shape mismatch白白排查了兩天。最后只能把輸入固定到最大幀長度再在外部用 mask 處理多余的幀。雖然浪費了一點計算但換來的是穩(wěn)定可運行。所以如果你的端側AI模型要跑 ArmNN在導出模型階段就盡量把所有維度定死。輸入上的動態(tài)標注越少后期框架層面的兼容性問題越少。這個經(jīng)驗同樣適用于 CpuAcc 的內(nèi)存池設計因為固定 shape 后 ArmNN 可以提前規(guī)劃所有中間張量的大小省去大量運行期的緩沖調(diào)整。5.2 后端起錯與 CpuRef 混入為什么加速了但沒完全加速另一個高頻問題是模型里混入了 CpuRef 工作負載。從我的經(jīng)驗看這個問題的隱蔽性很強因為 ArmNN 的日志默認并不會打印“該 Layer 已回退到 CpuRef”的告警。如果你只是從端到端延遲去判斷很難意識到問題出在某個底層算子沒有后端實現(xiàn)。我的排查方法非常簡單粗暴先用 perf 工具采樣看 CPU 上的熱點函數(shù)是哪些。如果熱點是 ACL 里的 Neon kernel說明算子在 CpuAcc 上執(zhí)行很健康如果熱點是RefWorkload目錄下的函數(shù)或者一堆模板展開的 C 代碼那基本可以斷定有算子回退了。找出回退的算子之后再對照源碼里的 LayerSupport 表去分析為什么不支持。常見原因有三個算子本身沒實現(xiàn)、輸入數(shù)據(jù)類型不匹配、輸入維度過于特殊。解決路徑也相對清晰換模型變體、調(diào)整輸入格式、或者自己按前面說的擴展流程補一個后端實現(xiàn)。5.3 線程、核數(shù)與大核小核分配端側 CPU 推理的執(zhí)行期調(diào)優(yōu)ArmNN 的多線程執(zhí)行是通過 ACL 實現(xiàn)的不像有些框架直接依賴 OpenMP 環(huán)境變量那么好控制。在多核 SoC 上尤其常見的大小核架構上線程調(diào)度其實是端側AI性能的一個決定性因素。默認情況下ACL 會盡量用滿所有核心但小核算力弱占著線程卻貢獻不了太多吞吐反而會拖慢整體時間。我后來采用的辦法是在啟動推理進程時通過 taskset 把進程限制在指定的大核集合上比如只綁定到兩個或者四個 Cortex-A76 核心。這樣既避免了系統(tǒng)把線程調(diào)度到小核上也避免了多進程之間互相搶占。對很多實時推理場景來說四顆大核比八顆全開更容易得到穩(wěn)定的延遲曲線。線程數(shù)也不是越多越好。我在一個小模型上測試過線程從 1 升到 4 時延遲明顯下降繼續(xù)升到 8 時反而因為同步開銷和緩存競爭開始上升。因此不要盲目相信“多核一定更快”。最好在目標平臺上拉一條線程數(shù)-延遲的曲線再決定部署參數(shù)。5.4 數(shù)據(jù)拷貝與 InputTensor 復用被忽略的時延大頭最后一個被我長期忽視的點是輸入輸出張量的數(shù)據(jù)拷貝。由于 ArmNN 內(nèi)部有自己的內(nèi)存池外部數(shù)據(jù)進框架往往需要一次拷貝。在圖像分辨率很大或者涉及連續(xù)多路輸入時這個拷貝成本可能占總延遲的 10% 以上。如果是在 Python 里通過 PyArmNN 做封裝每幀圖像從 numpy 轉成 InputTensor 的耗時更是明顯。減少拷貝的辦法是盡量復用預分配好的 buffer。不要在每次推理循環(huán)里 new 一個輸入向量也不要頻繁創(chuàng)建 OutputTensors。PyArmNN 的 C 綁定在反復構造張量對象時也會產(chǎn)生不小的開銷。對視頻流場景比較理想的設計是啟動時申請一塊內(nèi)存把一幀圖像數(shù)據(jù)直接拷貝到這個固定地址中用同一組張量對象去做循環(huán)推理。這個優(yōu)化看起來不起眼但在嵌入式 Linux 上往往比調(diào)模型結構更容易見效。6. 源碼級調(diào)試方法如何用日志、斷點和單測定位性能與正確性問題如果把前面幾節(jié)看作“紙上談兵”那這一節(jié)就是我真正上真機操作時沉淀出來的調(diào)試手段。端側AI部署最怕的不是模型精度差而是不知道錯誤到底發(fā)生在哪個環(huán)節(jié)。ArmNN 自身提供了不少調(diào)試工具加上通用的 profiler配合源碼閱讀定位問題的效率會高出很多。6.1 CpuRef 作為正確性參照物一勞永逸的精度校驗方案我在新板子上部署模型時第一件永遠會做的事是把同一個模型分別用 CpuRef 和 CpuAcc 跑一遍并比較輸出張量的差異。由于 CpuRef 是純 C 參考實現(xiàn)它的精度最接近理論值。如果 CpuAcc 的輸出和 CpuRef 差別明顯大于浮點誤差范圍那么問題基本出在加速后端的實現(xiàn)上而不是模型轉換上。這個方案成本很低只需要在構建 ArmNN 時保留 CpuRef 后端然后在跑網(wǎng)絡時把后端列表從 CpuAcc 臨時改成 CpuRef。用代碼實現(xiàn)的邏輯甚至不需要模型重載只改后端名參數(shù)即可。無論是排查激活函數(shù)的數(shù)值溢出、量化模型的截斷誤差還是自定義算子擴展后的邊界這個對照實驗都能第一時間縮小問題范圍。我在驗證一個量化卷積算子時CpuRef 輸出是
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99这里只有免费的小视频在线观看| 激情五月天色婷婷综合| 99只有精品9| 色婷婷丁香五月天在线观看| 天天婷婷操| 丁香六月亚洲| Blackedraw视频一区二区| 天天做夜夜爽| 丁香色情五月综合网站| 日本本土色网第一区| 色五月综合网站| 久操综合| www.婷婷.com| 丁香六月亭亭久久综合| 啪啪五月天啪啪| 99热精品观看| 人妻内射视频| 色五月天丁香| 99日这里只有精品| 5月婷婷激情6月| AV在线免费播放| 综合网精品99| www,婷婷,com| 欧美性色A片免费免费观看的| 欧美性爱一区| www.激情五月| 国产精品VA在线| 国产婷婷五月中文字幕高清| 99re思思热在线视频| 人人叉久| 九九激情视频| 色婷婷文字幕| 久久婷婷东京热| 中文字幕婷婷9月天| 久久综合丁香| 丁香六月啪啪啪| 激情深爱综合网| 这里只有国产精品在线| 97婷婷丁香五月天激情图片| 色色啊| 国产激情在线| 亚洲精品视频电影| 五月丁香欧美综合| 成人免费高清在线播放| 成人在线高清| 啪色综合| 亚洲av成人在线| 九月色婷婷综合| 青青艹b| 激情人妻蜜夜系列区| 亚洲成人av在线| 思思热99在线| 蜜桃五月天| 69午夜成人影片| 99精品视频在线6| 97人人射| 色综合爱综合| 国产在线另类五月婷婷| 五月丁香六月婷婷亚洲| 丁香六月色婷婷| 五月婷精品| 五月婷婷在线观看| 人妻久久久| 99国产视频网| 婷婷性爱影院| 狠狠精品干练久久久无码中文字幕| 天天激情站| 久久久久久激情| 色婷婷免费视频| 99热这里只有精品8| 亚洲激情精品| 99噜噜| 天天日天天色| 五月婷婷丁香五月| 五月天婷a在线| 琪琪色五月婷婷老师| 少妇性按摩无码中文A片| 色九九综合| 亚洲V国产V欧美V久久久久久| 99热这里| 丁香五月激情综合婷综| 婷婷五月天伊人在线| 色5月婷婷| 五月丁香啪啪| 久久人妻在线| 色婷婷丁香| 99自拍视频| 激情五月婷婷五月| 影音先锋五月天婷婷丁香在线观看| 婷婷五月天渟渟| 日韩在线一级| www.99热视频在线观看| 天天爽天天日天天舔| 深爱五月激情| 99精品在线播放| 亚洲日韩一页精品发布| 亚洲精品视频电影| 五月天色五月天| 九九色热视频| 久热大香蕉| 精品一区二区三区免费毛片爱| 桃色五月婷婷| 丁香婷婷色色| 26uuu国产色| 日夜夜天天| 天天日夜夜曹| 成人精品视频99在线观看免费| 亚洲va久久久噜噜噜久久天堂| 久久激情五月网| 天天综合情| 五月丁香久久呀| 99热这里只有精品8| 日日撸夜夜操| 91疯狂操操操操| 亚洲激情综合色站| 深爱激情综合网| 99色婷婷| 海外网站专业操老外| 久久性爱视频| 少妇激情五月天| 久/久精品99看9| 双性美人被调教到喷水A片| 91高潮喷水久久久久久久久 | 超碰人妻公开在线| 久久久97| 综合伊人久久| 激情综合九| 五月婷婷AV| 五月天婷婷深深爱| 婷婷性爱| 大香蕉啪啪网| 99九九热视频| 久热AⅤ| 日本本土色网第一区| 99热无码首页| 婷婷五月丁香第四色超碰在线| 99热e| dingxiangtingtingliuyue| 粉嫩av懂色av蜜臀av熟妇| 极品少妇高潮啪啪AV无码| 色婷插| 成人午夜无码视频| 欧美日本黄色| 超碰在线网站| 婷婷六月激情| 韩日AV片| 久久这里只| 亚洲成人免费电影| 久久视这里只有精品| 天天插天天插天天插天天插| 国产干逼片| 欧美狠狠草| 天天天干夜夜夜操| 91丨九色丨国产在线| 日韩AAA| 九九激情综合| 亚洲综合视频网| 色婷婷色婷婷五月| www。五月,com| 婷婷她六月天| 99热超碰| 99热伊人| 六月激情婷婷| 亚洲视频a| 91丨九色丨熟女| 日逼影音先锋AV男人资源站| 综合性视频99| 欧美性猛交XXXX乱大交极品| 婷婷五月激情丁香激情| 国产99久久久国产精品免费看| 人人人操| 九九操操| 超碰97人人操| 五月天婷婷视频| 五月天久久综合| 五月天啪啪| 亚洲丁香五冃97色| 久久这里有精品在线观看| www.夜夜| 一二三区视频韩国| 全部老头和老太XXXXX| 精a品a视a频| 99无码超碰| 色爽九九| 九九色热| 天天干天天操天天干天天操天天干天天操 | 超碰成人电影| 超碰二区| 久久综合五月| 狠狠五月丁香色婷| 在线播放 精品| 爱婷婷久久视频| 色婷婷五月天| 五月色精品| 色婷网站| 国产激情综合五月久久| 久草A片| 日本色道视频网站| 天天色爽| 免费在线观看av网站| 激情小说五月欧美亚洲丁香| 九九色播五月丁香| 五月丁香| 日本熟妇人妻在线| 久久99日本精品视频免费观看| 91人人爽久久涩噜噜噜| 香蕉久久国产av一区二区| 玖玖99免费视频| 啊v视频在线观看| 亚洲激情五月| 婷婷五月天偷拍| 9久操| 天天操天天干天天日| 99色.com| 亚洲色网络| 这里只有精品视频在线观看免费| 五月婷婷综合在线视频| 九九色人| 欧美综合五月丁香五月天| 丁香花五月天社区| 97精品综合| 色日本网| 狠狠色狠狠干| 五月天堂色色| 成人短视频在线观看| 婷婷五六月丁香| 夜夜嗨一区二区三区直播内容 | av在线婷婷| 思思久久精品| 99 频99热国里只有精品| 狠狠干.com| 五月天婷婷视频小说| 亚洲午夜视频| 一区=区操屄高清大全av| 久久婷婷色综合| 色五月av伊人| 色区久久| 激情五月色综合网| 五月天久久小说| 激情九月婷婷| 99只有精品| 开心五月丁香综合久久| 欧美婷婷日本| 大香蕉 伊人夜| 久久99综合| 人人干av| 直接看的AV网站| 丁香婷婷六月激情文学| 99视频在线播放大全| 爱超碰性| www.夜夜操| 婷婷刺激综合| 婷婷伊人网| WWW、日本色丁香co m| 九九久久高清| www.亚洲激情.com| 久久AV无码精品人妻系列试探| 91人人网| 天天综合五月天| 亚洲婷婷激情888精品久| 丁香六月啪| 超碰AV成人| 夜夜嗨一区二区三区直播内容| 日本色色色| 丁香五月Av| 五月天玖玖狠狠色色| site:hcxsz888.com| 伊人综合婷婷| 天堂网色色| 五月丁香色停停啪啪啪| 99ER热精品视频| 精品久久艹| 日韩久热| 五月天婷婷av| 亚洲精品视频在线| 亚洲激情AV| 成人AV中文字幕| 五月婷婷 激情五月| 色婷婷丁香五月在线| 久99| 婷婷第六色| 啪啪激情网| 人妻aV在线| 婷婷六月丁综合| 国自产拍偷拍精品啪啪一区二区| 男女啪啪做爰高潮无遮挡| 亚洲五月天婷婷| 中文字幕永久免费| 五月天久久婷婷| 九月婷婷久久| 综合色图区| 色五月综合网| wwwss在线观看| 国产欧洲欧洲精品久久| 五月天激情小说| 久久婷婷精品| 婷婷97色| 丁香婷婷综合色五月激情国产基地| 狠狠爱青青草| 日本理论久久| 在线看片av| 91无码视频| 综合五月婷婷| 激情五月天综合图片小说网站| 五月丁香六月婷婷,婷| 婷婷久久婷婷色五月| 91久久久久久久久久久| 久久黄色网扯| 日日艹思思热| 国产精品色婷婷久久久精品| 色五月激情| 色区久久| 亚洲AV成人在线观看| 天色色综合网| 91精品久久久久久久| 日韩AV片| 欧洲日韩一区二区三区| 五月色丁香视频精品| 丁香六月婷婷色XXXXX| 人人色婷婷| 超碰在线观看9| 91精品在线看| 大地9中文在线观看免费高清| 色欧美一级| 丁香婷婷浪潮AV久久综合| 伊人久久大香线蕉综合网站| 五月丁香激情综合网| 久久99热这里只有| 天天爽免费视频| 99无码视频| www.色五月| 伊人综合网站| 玖玖婷婷视频| 五月天婷亚洲天综合网综合| 可以免费看AV网站| 99热18| 97精品人人A片免费看| 婷婷激情六月中文| 深爱婷婷基地| 欧州色色| 中文字幕在线免费观看视频| 超碰京东热av男人的天堂| 8区视频在线| 美女五月天婷婷| 婷婷五月视频| 六月婷婷色综合| 狠狠狠狠狠狠草| 五月婷婷中文字幕| 一级二级香港秋霞欧美欧美秋霞| 久操大香蕉| 狠狠色综合五月人人| 操人视频91| 婷婷五月天伊人在线| 思思热精品在线观看| 91色五月| 久久精品天| 98毛片| 免费成片在线观看| 蜜臀A∨在线水帘洞| 婷婷丁香五月综合网上 | 婷婷五月开心中文字幕在线| 99re免费精品视频| 777久久久| 五月综合婷婷网| 成人网在线视频| 久久五月婷婷综合网| 婷婷99视频精品| 五月丁香婷婷啪啪综合网| 欧美日韩成人在线网| 99久久户外勾搭| 丁香五月网址| 五月天狠狠| 性做久久久久久久免费看| 老妇操B| 五月天影院婷婷在线观看| 99精品国产在热久久婷婷| 欧美槡BBBB槡BBB少妇| 黄网免费看| 色婷婷五月天小说| 国产黄色在线| 亚洲色色在线| 五月婷婷六月色| 日韩在线99| 五月天成人小说网| 精品视频二级九九| 色综合网综合| 成人无码免费一区二区中文| 久久这里只有精品07| 婷婷亚洲影院| 欧日韩成人| 丁香五月婷婷色情综合| 亚洲mm免费| 天天日狠狠| 色五月天婷婷| 婷婷伊人綜合中文字幕| 中文字幕在线播放视频| 日韩操逼大片| 大香蕉婷婷色| 超碰精品在线| 久久免片| 婷婷四月 成人 狠狠干| 囯产精品久久欠久久久久久九大| 亭亭玉立国色天香| 丁香五月婷婷啪啪| 99久热| 极品嫩草| 亚洲激情在线| 99人人干| 婷婷久久视频| 亚洲精品国产A久久久久久| 五月天怕怕| 九九久久腿| 五月色丁香婷婷中文字幕| 99综合视频一体| 亚洲另类婷婷五月丁香在线播放| 人人爽天天爽| 五月天欧美 另类小说| www.天天干.com| 色色性爱视频| 思思视频精品| 婷婷丁香无码专区| 五月天婷婷成人| 亚州婷婷五月激情综合| 91婷婷色| 色欲人妻综合aaaaaaaa网| 狠狠做婷婷| 婷婷色播色五月五色五月天色妇| 另类少妇人与禽zOZZ0性伦| 国产永久一二一起草| 亚洲成人免费电影| 热99热9| 91九九九九九九| 亚洲第一色区| 五月天婷婷香蕉狠狠超碰综合| 天天操中文字幕| 久9热在线视频| 开心五月天激情网| 久久久99精品| 五月婷婷,狠狠操| 丁香婷婷六月天| 久久精典| 国色天香成人网| 天天天天做夜夜夜夜做| 超碰不卡在线| 超碰在线国产| 日撸夜撸日操| 天天肏在线观看| 99热97| 欧洲激情五月天| 色九九九综合| 亚洲成人综合在线| 99热这里只有精品50| 狠狠色噜噜色狠狠狠综合色 | 人人艹艹艹| 人人视频人人干人人做| 99亚洲精品视频在线观看| 熟妇内谢69XXXXXA片| 五月婷婷网站| 婷婷亚洲天堂| 91人人人人人人人| 99操逼| 精品无码人妻一区| 成人av观看| 六月天婷婷| 狠狠干五码| 97干在线观看视频| 欧州婷婷五月天综合| 日本狠狠干| 狠狠色婷婷7| 玖玖婷婷五月天毛片| 99操久久| 婷婷五月天亚洲综合网| 五月天综合久久| aV直接看| 五月天啪啪| 牛牛碰免费| 91ncom.色| 国产一级黄色影片,| 91久久久久久久久18| 九九热区一区二区三区| 91chinese在线| 怡春院天天干| 五月婷婷激情| 中文字幕在线免费观看视频| 五月丁香五月婷婷在线观看| 人人色性网| 婷婷五月精品中文字幕| 成人国产网| 色99视频| 天天操无码| 丁香五月天视频在线播放| 久久久久久久久久8888| 精品综合爱| 精品无码久久久久久久久| 爽天天天天天天天| 婷婷五月丁香综合人妻| 激情婷婷五六月天| 99九九久久| 男人天堂AV在线一区二区| 成人免费120分钟啪啪| 日本激情91| 26uuu另类亚洲欧美日本一| 五月丁香手机在线| 97精品在线| 色婷婷另类| 91 影音先锋| 九九热在线99| 中文字幕av久久爽一区| 五月婷婷婷丁香播| 99热在线只有精品| 中文字幕色色| 婷婷综合网伊人| 91精品国产91久久久久青草| 影音先锋91资源站| 影音先锋91视频| 九九99久久| 成人日韩欧美| 另类激情五月| 色色色欧美色色| 免费成人va| 天天综合色丁香| 丁香久久在线| 激情小说色五月| 深爱激情综合网| 精品亚洲VA网站| 天天干天天操天天上| 蜜臀丁香黄色婷婷五月天| 欧美日韩五月婷婷| 超碰97久久| 久久99免费视屏| 婷婷丁香六月天| 五月婷视频| 999婷婷综合| 色五月婷婷操逼| 五月在线| 五月婷婷综合丁香视频| 亚洲色婷婷| 五月综合婷婷五月| 玖玖资源站中文| 欧美精品熟女一区二区| 夜夜撸日日骑| 婷婷色成人| VfJxEwPH| 色色色色色色色色综合网| 久久这里只有精品无码| 美英法精品无码免费视频| 日日干夜夜撸夜夜骑| 婷婷丁香色五月天久久88| 99亚洲综合| 丁香婷婷精品视频| 婷婷丁香视频在线观看免费| 五月婷婷视频啪啪美女| 千人斩操逼| 九九热99精品在线| 日韩99精品| 开心色五月天久久久久久久| 欧美性爱中文字幕| 91精品91久久久中77777| 99久久综合网| 国产成人精品一区二三区熟女在线 | 亚洲综合婷婷| 婷婷五月亚洲激情| 玖玖资源天天无码| 丁香六月久久| 9l视频自拍九色9l视频自拍九色9l社区 | 丁香五月激情五月| 粉嫩av懂色av蜜臀av熟妇| 欧美丁香婷婷五月| 成人.在线日韩| 亚洲欧美综合7777色亭亭| 伊人丁香五月婷婷潮吹| 伊人婷婷综合| 日本的α片xxxwww| 五月天综合图片| 五月丁香六月婷婷激情网| 天天综合色丁香| 久久这里只有精品8| 五月香婷婷| 色婷婷狠狠18yy| 9 1在线视频| 久久停停超碰| 国产日日操夜夜操的肉棒视频| 激情六月婷| 五月天社区婷婷丁香社区| 六月婷婷色综合| 国产精品成人AV在线观看春天 | AV操一操| 91人人爽狠狠狠| 丁香5月啪啪| 婷婷五月天久久| 天天干一干| 丁香五月成人| www.久久色.com| 99在线观看| 开心五月丁香啪| 亚洲激情网| 丁香五月天堂网| 综合久久8| AV五月丁香| 国际国外精品欧洲南美洲专区无码不卡| 久久久久丁香婷婷五月天| 六月婷婷综合| 秋霞AV吧| 91碰碰| 久久五月综合| 91九色精品熟女内射| 日韩不卡123| 120分钟婬片免费看| 五月丁香五月天现场视频| 五月激情综合网| 大战熟女丰满人妻AV| 色色色地址| 色爱终和网| 五月丁香婷婷色| 国产av天天插天天操天天爽| 婷婷6月综合网| 国产性爱亚洲是图| 五月丁香综合网| 久久大香免费| 五月婷婷色情| 开心激情站| 成人综合AV| 99青青草| 六月婷婷六月天天在线免费| 可以免费观看的av| 十二区无码| 色五月婷婷丁香国产在线| 婷婷五月天av| 第1影院之五月婷婷| 丁香五月综合久久八| 久久伊人9| 久久婷婷一级片| Xx色综合| www夜夜操| 97热久久| 婷婷亚洲在线| 婷婷五月欧美综合| 久久国产性爱A V| 日韩成人综合网| 吊色AV男人的天堂| 丁香婷婷成人网| 久操香蕉| 天天草天天日| a性生活久久无| 五月色情婷婷开心五月色情| 久久五月天婷婷| 成人电影一区| 天天综合网91| 五月婷免费视频| 色婷婷九月| 精品一二三区久久AAA片| 六月激情婷婷色| 色综合色综合网| 免费色婷婷| 亚洲va欧美va国产综合久久久| 日本99久久| 五月丁香综合啪啪啪啪啪| 久婷婷婷| 激情六月天婷婷| 久久婷婷五月天激情| 亚洲成人中文字幕| 伊人五月天| 91久久免费| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 99视频精品全部免费看| 久久婷婷激情| 日韩色色网| 9久热| 丁香婷婷六月激情文学| 色99色| 丁香五月天天哦| 久久99久久99久久99人受| 婷婷五月亚洲激情| 麻豆WWWCOM内射软件| 内射激情在线| 婷婷五月欧美综合| 综合色激情| 97精品综合久久内射| 射久久丁香五月| 丁香六月婷婷综合欧美| 婷婷综合97| 久久五月综合| 九九在线视频| 久久AV电影| 日本大逼91| 五月婷婷香| 婷婷99视频精品| 天天干天天操天天拍| 丁香丁香激情网| 成人做爰高潮A片免费视频| 操逼123网| 一区无码| 久久狼人天堂| 丁香五月成人论坛| 香蕉99网| 另类 在线| 丁香五月欧美激情| 色欲天天综合网| 丁香五月亚洲婷婷| 五月婷婷六月丁香首页| 激情五月久久| 五月天基地| 婷婷丁香www视频日本韩国| 色五月天激情| 久热最新视频| 另类视在线| 香蕉婷婷| 六月综合婷婷开心伊人| 久久婷婷五月天| 香蕉97碰碰碰欧美| 99在线资源| 欧美色色色色色色色色色色影视| 超碰A V在线| 五月丁香啪啪啪啪| 9久热这里只有精品视频| 免费在线a| www.99色| 日本社区五月天激情| 一区二区免费看| 亚洲精品又粗又大又爽A片 | 5月婷婷6月六月丁香| 在线五月婷婷小电影| 成人性生活免费观看。| 日韩综合久久| 人妻操在线看| 人妻激情综合| 免费日本aⅴ中文字幕| 色婷婷中文在线| 啪啪啪啪五月天| 青青日韩| 92久久精品一区二区| 成人开心五月天| 久热这里只精品| 亚洲123区高清入口| 超碰免费在线| 2025年最新亚洲在线欧美| 99久热| 久久天堂色| 亚洲乱码日产精品BD| 免费黄色AV| 激情五月天色婷婷| 韩日在线熟女| 伊人五月婷婷| 丁香九色不卡aaa| 久久人妻精品| 丁香五月天黄色片| 婷婷五月天成人小说| 99成人精品六| 天天做天天爱天天爽夜夜揉| 麻豆精品| WwW色婷婷| 夜夜躁爽日日| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 亚洲视频在线观看99| 97久操视频| 丁香伍月婷电影全集| 亚洲秘 无码一区二区三区妃光/1| a色色色色色| 玖玖99精品视频| 色色网站日本91| 国产操碰| 婷婷五月色激情欧美激情| 免费试看小视频 99| 99人人操人人操人人精| 婷婷丁香五月基地| 色综合女人99| 色婷婷99| 99热在线只有精品| 99噜噜| 夜夜爽天天干| 色狠狠六月| 欧美久久婷婷| A级毛片高清免费不卡播放谢谢谢谢| 狠狠噪| 五月婷婷色| 五月天婷婷av| 日本婷婷| 热思思| 国产精品激情五月天色婷婷| 婷婷丁香久久五月综合| 亭亭五月基地在线| 久久久久五月丁香| 激情综合网激情五月婷婷| 久久精品国产AV一区二区三区 | 337p大胆噜噜噜噜噜91Av| 99视频网址| 丁香九月激情久久| 大香婷婷| 亚洲黄色av网站| 丁香五月婷综合| 成人性生活免费观看。| 婷婷色五月91啪啪| 亚洲丁香五冃97色| 热婷婷av| 超碰免费电影| 99热插| 啪啪丁香五月| 狠狠干婷婷| 久热只有这里有精品| 美女五月天婷婷| 久er7久热| 色婷婷丁香五月观看| 丁香五月婷婷成人综合| 少妇久久诱惑视频| 狠狠狠狠操| 日日操天天| 五月六月婷| 日本色婷婷| 九九综合伊人| 精品久久99码| 热久久这里只有精品| 国产成人网址| 色婷婷狠狠禁18久久| 色亭亭九月| 黄网在线免费播放| 91viP在线看| 五月天婷婷色色网| 天天色播| 狠狠va| 五月婷婷网站| 五月天天天天天天天天天天天天天天天婷婷婷| 五月婷婷六月丁香五月| www.久久久久久久| 久久精彩视频| 亚洲五月六月婷婷| 人妻操日日| 99人碰碰碰| 九九精品片一| 丁香六月亚洲综合| 色日本综合| 丁香色婷婷五月天| 极品少妇XXXX精品少妇偷拍| 久草五月丁香婷婷综合| 久久伊人9| 天天曰夜夜爽| 开心五月丁香综合久久| 五月丁香欧美综合| 另类激情综合| 国外亚洲成AV人片在线观看| 激情五月婷色| 色婷婷丁香| 白天AV月月| 狠狠摸狠狠摸| 激情欧美五月丁香| 激情6月| 大香蕉久热| 婷婷色播六月无码| 天天干电影| 婷婷五月综合在线| 婷婷婷五月香蕉| 综合激情啪啪| 99热这里只有精品16| 99热这里全是精品| 久久久潮喷-久久久九九-成人AV| 中文字幕AV在线播放| 婷婷五月天熟妇| 1024国产| 丁香五月天影院| www.婷婷网| 色爱五月天| 大香蕉人妻| 亚洲色图日韩网址| 5月丁香综合网| 色色五月天网站| 碰97 久| 91九色视频| 欧美爆乳一区二区三区| 激情五月天婷婷| 亚洲婷婷综合视频| 天堂爱爱| 91操人视频| 婷婷狠狠爱| 丁香婷婷久久激情| 六月婷婷综合激情| 欲求不满的人妻| 天天色一道本综合婷婷| 日本激情91| 超碰国产在线播放| 人人干天天舔| 久艹大香蕉| 午夜微拍福利| 五月丁香婷婷在线综合蜜桃| 婷婷中文字幕| 丁香色婷婷色手机免费在线| 玖玖视频福利| 久久天天| 色域五月丁香| 五月天成人伊人| 久久激情五月婷婷| 超碰在线免费9| 婷婷色色婷婷| 国模狼狼| 99爱免费在线视频| 99在线精品视频| 丁香五月亚洲AV| 久热69| 婷婷久久婷婷色五月| 婷婷五月免费观看| 婷婷伊人网| 日本系列_4页_777FP| 婷婷五月色情天| 色婷婷丁香女女| 99热这里只有精品亚洲| 五月婷婷激情综合| 九九狠狠干| 亚洲欧美婷婷五月色综合| 成人片在线免费看| 婷婷五月天成人综合网| 777影视理论片大全在线观看| 亚洲色图81p| 另类小说激情五月天| 大香蕉久久伊人网| 激情婷婷另类| wwwav大香蕉| 五月婷婷视频啪啪美女| 国产精品18久久久| 丁香六月AV| 久9热| 久久婷婷亚洲| 天天色色天天| 色婷婷在线播放| 久久网日本| 日韩综合久久| 激情床戏| 99操碰| 日韩色五月| 五月天激情四射网站| 婷婷成人AV| 成人短视频在线免费观看| 亚洲免费婷婷| 精品女人九九九| 97碰碰视频在线观看| 91日本在线观看| 超碰av在线| 日韩免费乱轮网站| 操一区| 五月天色五月天| 99九九精品| 婷婷免费无视频| 五月伊人91| 美女丁香五婷婷| 色婷婷综合久久| 五月丁香人妻| xxxx久| 激情五月天丁香| 男人天堂伊人五月丁香| 粉嫩AV久久一区二区三区| 婷婷五月精品在线| 欧美天堂婷婷日韩| 日本颜色视频人人爱| 啪精品| 91精品婷婷国产综合久久| 色色99| 欧类av怡春院| 五月天婷爱综合| 99ri视频在线观看| 九九热re99re6在线精品| 五月婷婷三级| 久久99热这里只有精品| 天天婷婷天天| 一本狠婷婷综合| 久艹大香蕉| 99高级会所久久| 大香伊人久色| 日本va欧美va欧美精品88| 大胆伊人久久| 亚洲综合九九| 人人爽人人爽人人爽人人爽| 日韩小视频在线99| 日韩av在线电影| 99热精品在线播放观看| 中文字幕人妻一区二区| 五月婷婷日| 热99视频精品| 97超碰在线观看免费| 婷婷香五月天| 噜综合| 大香蕉伊人丁香五月| 91丨九色丨白浆| 婷五月天天| 久操大屁股女人av| 天天色综网| 在线可以看的av网址| 玖玖激情五月天| 91久久久久久| 可以看的av| 色六月天天激情综合网| 婷婷五月激情综合啪啪| 老司机日日夜夜青草| 日逼免费视频 | 丁香六月婷月91婷月| 97碰碰九九视频| 五月丁香综合在线| 亚洲另类噜噜| 婷婷偷拍网| 色婷婷女优有码五月亭| 色婷婷五月天| 国产午夜精品一区二区| 五月丁综合在线观看| 欧美色久| 国精产品一区一区三区免费视频| 超碰免费大香蕉| 五月花婷婷丁香| 丁香婷婷激情综合五月激情| 四射综合网| 99免费在线视频| 色色色婷婷| 森林影视大全,最好看的2019年视频| 热99精品视频五月| 超碰免费人人肏| 五月丁香六月婷婷网| 婷婷五月天美女21p| 激情5月婷婷狠狠干| 操B五月天| 任我肏视频精品| 国产一区二区三区影院| 婷婷色五月激情| 亚洲综合激情五月| 婷婷爱综合| 久久网日本| 九九热99精品| 亚洲欧美婷婷五月色综合| 五月婷婷婷婷网| 五月色情婷婷开心五月色情| 婷婷99狠狠躁天天躁中| 在线色婷婷| 午夜天堂一区人妻| 九九久久综合| 色色色色网站| 色国产五月| 香蕉狠狠爱视频| 91精品国产色猫| 玩熟女五十AV一二三区| 99精在线| www.91九色| www.色婷婷.com| 99思思| 婷婷五月久久| 久久亚洲色导航| 丁香色五月直播| 看全色黄大色大片| 婷婷五月综合色中文字幕| 色综合激情图区| 秋霞免费视频| 九九热免费视频| 五月婷婷开心网| 五月花激情| 九九热精品| 亚洲最大在线| 午夜天堂啪啪| www.henhenl| www.五月天婷婷| 丁香五月综合AV在线| 亚洲婷婷丁香五月亚洲| 五月婷婷激情四季| www.狠狠| 狠狠爱综合| 久久五月视频| 97久久久久| 玖玖午夜视频| 99热热这里只精品996小说| 五月丁香婷婷婷激情爱爱| 97luluse| 99精品综合在线| 五月天激情图片网| 九月av在线| 色综合视频| 日韩无码性爱| 超碰京东热av男人的天堂| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 五月丁香激情综合| 五月综合无码| 香蕉中文在线| 丁香丝袜五月| 日本社区五月天激情| 色色AV色色色东莞| 激情综合五月开心狠狠| 日本丁香五月| 色欲av伊人久久大香线蕉影院| 久久92| 婷婷色中文字幕| www色婷婷| 少妇水多A片太爽了| 夜夜操加勒比| 97久久超视频| 99精品视频推荐| 色婷视频| 婷婷五月丁香综合激情小说| 丁香五月激情六月综合| 亚洲天天| 婷婷五月香蕉| 亚洲综合成人网| 伊人免费视频9| 久久五月婷综合网| 97热精品| 夜夜躁狠狠 | 婷色五月| 夜夜躁狠狠| 五月婷婷天| 1024操逼视频| 九热视频| 91男女视频在线观看| 96丁香婷婷九月蜜桃综合久久| 婷婷五月天你懂的| 99色综合| 第六色在线| 成年人最刺激的综合网| 99亚洲视频| 婷婷97色| 欧美精品啪啪| 日本五月婷婷久久久六月丁香| 人人干Av| 国产免费一区二区三区三州老师F1F1.CC | 99色色色色| 亚洲无码播放| 99热超碰在线| 婷婷六月成人| 激情久久肏屄视频| 五月六月丁香婷婷在线观看| 色色日本| 婷色五月| 人操91在线| 在线观看熟女少妇| 五月天啪啪| 久久婷婷综合五月天| 六月婷婷综合网2| 91九色|疯狂|高潮|对白|| 国产精品噜噜在线视频| 久久九精品| 99免费| 五月久久综合| 99热精品在线| 五月天基地| 色99视频| 五月丁香综合网| 成人五月天综合网| 欧美婷婷成人| www.99热| 亚州激情九月| 婷婷五月天亚洲色| 六月婷婷久久| av大片在线| 婷婷综合| 欧美综合激情五月| 久久丁香五月天| 超爽内射| 婷婷五月天成人五月天| 色五月欧美| 大香蕉色婷婷伊人在线| 五月天激情图片| 开心五月天激情| 五月丁香综合激情| 日韩黄色电影| va婷婷在线免费观看| 九九视频在线观看| 777久久久| 99热精品网| 五月激情综合网| 99精品久| 91久久久久久久| 婷婷久久草| 嫩BBB槡BBBB搡BBBB| www.sebowuyue| 伊人丁香婷婷东京| 亚洲中文乱字字幕在线永久| 一本大道熟女人妻中文字幕在线| 久综合九| 久久免费视频62| 婷婷天堂站| 9久久婷婷国产综合精品性色| site:feetmall.com| 色欲av伊人久久大香线蕉影院| 91九色 熟| 五月丁香爱婷婷深深| 五月丁香色综合| 99热999| 狠婷婷五月| 国产激情久久久| 九九热这里有精品视频| 国产精品久久久久久白浆色欲| 婷婷丁香91综合| 久久精品在线| 色色COm| 久久婷婷午夜| 五月婷婷六月丁香综合| 69色婷婷| 欧美超碰亚洲| 色婷婷五月天激情综合| www.婷婷| 一逼色综合| 天天日 天天草| 91色碰| 天天做天天爱天天玩| 日韩AV成人电影| 五月综合精品| 日本综合99| 天天日天天做天天操| 少妇高潮呻吟A片免费看软件| 五月亭亭六月色| 99色色| 伍月婷丁香婷| 禁欲电影完整版在线播放| 婷婷五月天无码熟女| www.91久久| 熟女激情网| 少妇高潮呻吟A片免费看软件 | 婷婷六月天| 婷婷五月丁香综合桃花色网| 六月婷婷中文字幕| 777久久久| 啪啪婷婷五月天激情| 91九色欧美| 丁香六月婷| 情色五月天网站| 五月天婷婷小说| 夜夜骑日日操| 强辱丰满人妻HD中文字幕| 5月丁香六月情| 4438亚洲欧美| 久热中文字幕在线线观看| 狠狠色色色| 色五月婷婷小说亚洲中文字幕组| 激情五月天第四色| 精品怡红九九九| 久久丁香九| 天天在线XXX| 99自拍视频网站| 99热日本| 婷婷在线观看五月天在线视频| 性一交一乱一交A片久| 五月婷婷影视| 江苏少妇性BBB搡BBB爽爽爽| 五月开心啪啪| 99re青青草| 色色五月婷婷| 777久久综合视频| 日韩国产AV播放| 五月婷婷色播| 五月花综合网| 精品欧美一区二区三区久久久 | 国精产品一区一区三区免费视频| 99热精国产这里只有精品| 色青青电影色五月| 五月丁香六月婷婷激情视频在线观看免费| 99在线一区| 亚洲1区| 久久黄色免费视频| 中文字幕无码AV| 亚洲综合色色| 91精品久久久久| 福利视频在线播放| 丁香五月婷婷激情中文| 九九婷婷综合| 中文字幕无码人妻少妇免费视频 | 成人婷婷| 五月天偷拍| 色婷婷狠狠18| 婷婷八月激情| 99婷五月| 2017人人操| 九九久久99| 超碰97干| 午夜天堂一区人妻| 成人色五婷婷| 亚州欧美国产久精国产99综合视频| 一起草日本|