欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588視覺算法漸進式集成實戰(zhàn):從環(huán)境搭建到性能調(diào)優(yōu)

RK3588視覺算法漸進式集成實戰(zhàn):從環(huán)境搭建到性能調(diào)優(yōu) 最近手頭有個項目要在RK3588上跑視覺定位算法整個過程下來感觸挺多。這塊板子性能確實強但想把算法從PC端穩(wěn)穩(wěn)當當?shù)匾浦策^來并最終在產(chǎn)線上長期運行中間隔著不少坑。這篇文章就把我這次RK3588視覺算法漸進式集成的完整思路和實戰(zhàn)過程記錄下來從開發(fā)環(huán)境搭建、圖像采集、算法移植到系統(tǒng)聯(lián)調(diào)再到最后遇到的各種奇怪問題一次性說清楚。1. 為什么選擇RK3588以及漸進式集成到底解決什么問題先聊聊選型。當時項目需求是視覺引導定位要識別目標物體并輸出坐標給機械臂同時還要在本地跑yolov8做缺陷檢測。市面上能選的方案不少比如Jetson Orin系列、瑞芯微的RK3588還有傳統(tǒng)的x86工控機加顯卡。最終選擇RK3588核心原因是它在算力、功耗、成本和供貨穩(wěn)定性之間找到了一個比較舒服的平衡點。6TOPS的NPU算力跑輕量級yolov8s或yolov5s是夠用的8核A76A55的CPU也能跑一些預處理和邏輯控制任務(wù)空閑時整板功耗能做到10W左右比x86加獨顯動不動上百瓦的方案省太多。更重要的是RK3588的AI開發(fā)工具鏈RKNN-Toolkit2經(jīng)過幾個版本的迭代現(xiàn)在已經(jīng)比較成熟雖然跟NVIDIA的TensorRT生態(tài)比還有差距但應(yīng)對常規(guī)的模型轉(zhuǎn)換和部署需求文檔和社區(qū)案例已經(jīng)足夠了。然后是漸進式集成這套思路。我記得以前做算法部署習慣是先在PC上把模型訓好然后一股腦兒把Python環(huán)境和PyTorch代碼都搬到板子上試圖一晚上搞定。結(jié)果往往是環(huán)境沖突、依賴缺失、算子不支持各種問題一起爆發(fā)最后連問題出在哪一層都分不清楚。這次換個打法把視覺算法集成拆成三個階段每個階段有獨立的驗證目標和完成標準確定沒問題了再進入下一階段。第一階段搞定圖像采集鏈路。確保開發(fā)板能從MIPI攝像頭或USB攝像頭拿到穩(wěn)定的圖像幀同時驗證RTSP視頻流接入的連通性如果這一步圖像就是花屏、掉幀或者顏色不對后面算法跑得再好也白搭。第二階段完成算法模型轉(zhuǎn)換與NPU推理驗證。用RKNN-Toolkit2把PyTorch或ONNX模型轉(zhuǎn)成RKNN格式在板子上跑通推理確認精度損失在可接受范圍內(nèi)并且單幀推理延遲滿足需求。第三階段系統(tǒng)集成與業(yè)務(wù)邏輯聯(lián)調(diào)。把圖像采集、算法推理、結(jié)果輸出、IO控制等模塊通過ROS2或自定義的通信框架整合起來形成一個完整的閉環(huán)應(yīng)用。實際操作下來這套流程最大的好處是每一層的問題都能在它出現(xiàn)的那個階段被及時暴露和修復不會帶著隱患進入下一層。比如有的模型結(jié)構(gòu)在PC上推理沒問題但轉(zhuǎn)成RKNN后在量化過程中精度損失明顯或者某些算子無法映射到NPU這類問題在第二階段如果沒有及時發(fā)現(xiàn)等到集成了全套業(yè)務(wù)邏輯后再去排查定位成本會高得多。2. 環(huán)境準備從拿到開發(fā)板到點亮屏幕最容易被絆倒的幾個細節(jié)先介紹一下我用的硬件環(huán)境RK3588開發(fā)板這里不特指某家市面上主流品牌的板子在核心配置上大同小異搭載Debian 11系統(tǒng)配了一塊MIPI CSI接口的攝像頭模組另外還有一個USB接口的工業(yè)相機做備選測試。主機環(huán)境則是Ubuntu 20.04用于模型訓練和RKNN-Toolkit2模型轉(zhuǎn)換。第一次接觸到開發(fā)板的人最容易在系統(tǒng)燒錄和信息獲取這兩個環(huán)節(jié)卡住。2.1 系統(tǒng)燒錄與啟動方式RK3588的燒錄方式主要有兩種分別是使用RKDevTool工具的Loader模式燒錄以及直接寫入SD卡啟動。開發(fā)板出廠時一般已經(jīng)預裝了SDK和系統(tǒng)鏡像但是考慮到后續(xù)調(diào)試的靈活性我建議還是手動燒錄一遍自己需要的系統(tǒng)版本。燒錄時需要注意一下開發(fā)板的模式切換常見的方式是按住板子上的Recovery/MaskROM按鍵然后用USB Type-C數(shù)據(jù)線連接電腦最后給板上電。進入Loader模式后主機的設(shè)備管理器會出現(xiàn)一個Rockusb設(shè)備這時候用RKDevTool選擇對應(yīng)的分區(qū)表通常是parameter.txt和鏡像文件點擊執(zhí)行即可燒錄。我用的Debian 11系統(tǒng)鏡像是從開發(fā)板廠商官網(wǎng)下載的執(zhí)行燒錄后接上HDMI線就能看到系統(tǒng)桌面。這里有一個小經(jīng)驗如果顯示器沒有畫面先檢查燒錄時是否勾選了對應(yīng)的分區(qū)選項比如boot、rootfs、misc這些基礎(chǔ)分區(qū)缺一個都不能正常啟動。2.2 網(wǎng)絡(luò)配置與遠程開發(fā)拿到板子后我做的第一件事就是配置網(wǎng)絡(luò)因為后續(xù)所有開發(fā)工作都會通過SSH遠程進行。RK3588自帶以太網(wǎng)口和WiFi模塊連上網(wǎng)線后在系統(tǒng)設(shè)置里查看IP地址主機通過ssh rk3588IP地址連接。但是這里有一個很常見的坑就是網(wǎng)絡(luò)連接受限。有些開發(fā)板在連接路由器時系統(tǒng)時間不同步會導致HTTPS連接異常進而影響apt update和pip install。解決辦法很簡單用date -s手動設(shè)置系統(tǒng)時間或者安裝chrony來自動同步NTP時間。我在剛開機時就遇到過幾次網(wǎng)絡(luò)下載特別慢的情況最終都確認是時間不同步導致的證書校驗問題。2.3 風扇與散熱監(jiān)控RK3588性能全開的時候發(fā)熱量很大尤其是跑NPU密集計算時核心溫度輕松飆到80度以上。所以主動散熱是必須的開發(fā)板通常會帶一個PWM接口的風扇。系統(tǒng)啟動后風扇默認由硬件自動控制但如果你想讀取當前風扇轉(zhuǎn)速或者手動調(diào)整轉(zhuǎn)速策略就需要用到pwm-fan驅(qū)動和傳感器節(jié)點。在Debian 11系統(tǒng)下可以通過/sys/class/thermal/cooling_device0查看當前風扇控制狀態(tài)。比如執(zhí)行cat /sys/class/thermal/cooling_device0/cur_state返回的數(shù)字表示當前風扇檔位范圍通常是0到255之間的離散檔位不同系統(tǒng)設(shè)置不同。如果是0說明風扇沒轉(zhuǎn)此時如果CPU溫度已經(jīng)很高就需要檢查風扇供電線和PWM信號線有沒有接對。讀取風扇轉(zhuǎn)速的話RK3588平臺上需要確認風扇是否有FG轉(zhuǎn)速反饋線有的話對應(yīng)到板子上的某個GPIO通過設(shè)備的計數(shù)器節(jié)點讀取cat /sys/devices/platform/pwm-fan/hwmon/hwmon*/fan1_input如果沒有這個節(jié)點說明你的風扇沒有反饋信號線轉(zhuǎn)速只能通過PWM占空比推算無法精確讀取。2.4 串口調(diào)試與報錯排查很多奇怪的問題在SSH連不上時只能用串口查看。找一根USB轉(zhuǎn)TTL線連接開發(fā)板上的調(diào)試串口引腳波特率通常是1500000這也是RK3588平臺默認的調(diào)試串口波特率比常見的115200高很多。連接后如果輸出亂碼先排查一下波特率是否設(shè)置正確以及是否連接了正確的TX/RX引腳。在調(diào)試過程中串口最有用的場景是查看內(nèi)核啟動日志。比如系統(tǒng)無法識別MIPI攝像頭這類硬件問題用dmesg | grep mipi看驅(qū)動初始化日志比用什么工具都直接。3. 第一階段圖像采集鏈路花了一下午排查cant find suitable delayline圖像采集是整個視覺算法集成的地基。當時我的目標是讓RK3588通過MIPI CSI接口正常采集到攝像頭畫面為后面的視覺定位算法提供穩(wěn)定的視頻源。MIPI攝像頭不是USB攝像頭插上去系統(tǒng)就能用。它需要底層驅(qū)動配合在設(shè)備樹Device Tree里配置對應(yīng)的sensor型號、I2C地址、數(shù)據(jù)通道lane數(shù)量等信息。我的開發(fā)板配套的是一顆索尼IMX系列傳感器官方內(nèi)核里帶了驅(qū)動所以理論上只要在設(shè)備樹里使能對應(yīng)的節(jié)點即可。3.1 設(shè)備樹配置與內(nèi)核編譯設(shè)備樹文件在SDK內(nèi)核目錄下的arch/arm64/boot/dts/rockchip/中。你需要找到對應(yīng)你板型配置的dts文件比如rk3588-evb1.dts。在這個文件里通常攝像頭部分有一個camera相關(guān)的節(jié)點csi2_dphy0 { status okay; ports { #address-cells 1; #size-cells 0; port0 { reg 0; mipi_in_ucam0: endpoint { remote-endpoint ucam0_out; >make ARCHarm64 rockchip_linux_defconfig make ARCHarm64 dtbs然后把生成的rk3588-evb1.dtb拷貝到開發(fā)板的boot分區(qū)重啟生效。3.2 串口日志深度分析從報錯到修復設(shè)備樹使能后我通過dmesg檢查攝像頭驅(qū)動是否正常加載[ 3.542103] rockchip-csi2-dphy0: no remote-endpoint [ 3.542215] rockchip-mipi-csi2: failed to find suitable delayline這個報錯搞了我好幾個小時。字面上看是MIPI CSI2控制器沒有找到合適的delayline這是RK3588平臺MIPI調(diào)試時比較常見的問題。其實這里的delayline是指MIPI DPHY用來對齊時鐘和數(shù)據(jù)信號、做信號延遲調(diào)整的參數(shù)如果驅(qū)動在初始化時沒有正確配置對應(yīng)的時序關(guān)系就會出現(xiàn)failed to find suitable delayline。問題根源通常是設(shè)備樹中時序參數(shù)不完整或者驅(qū)動版本與sensor驅(qū)動不匹配。排查鏈路是這樣的先看內(nèi)核源碼中drivers/media/i2c/目錄下是否包含你的sensor驅(qū)動如果沒有需要確認內(nèi)核配置里把對應(yīng)的驅(qū)動編譯進內(nèi)核或者模塊。然后檢查設(shè)備樹里sensor端點endpoint的link-frequencies屬性這是給MIPI時鐘提供參考值的。我檢查了一下發(fā)現(xiàn)這個值沒有設(shè)置導致驅(qū)動不知道如何計算delayline的配置。添加如下屬性后重新編譯port1 { reg 1; ucam0_out: endpoint { remote-endpoint mipi_in_ucam0; link-frequencies /bits/ 64 297000000; }; };重新燒錄dtb后dmesg不再報錯/dev/video0節(jié)點正常生成用GStreamer或者v4l2-ctl可以抓取到畫面。這個案例想說明的是RK3588的MIPI調(diào)試問題設(shè)備樹配置上的微小遺漏會導致內(nèi)核驅(qū)動層面的報錯而這種報錯信息通常不會直接告訴你少了哪個參數(shù)。排查這類問題需要從數(shù)據(jù)流方向一步步反推從CSIS接收端到PHY層再到sensor發(fā)送端逐個確認配置是否完整。3.3 視頻格式與YUV數(shù)據(jù)攝像頭采集到的原始數(shù)據(jù)一般是RAW Bayer格式或者YUV格式。RK3588的ISP單元可以將RAW數(shù)據(jù)轉(zhuǎn)換成YUV輸出。我選的是YUV422格式可以直接通過V4L2接口讀取。用如下命令驗證采集的圖像格式v4l2-ctl --list-formats-ext -d /dev/video0輸出中能看到支持的分辨率和像素格式。常見的有YUYV屬于YUV422也有NV12屬于YUV420的變體。這里提一句如果你的后續(xù)算法是基于YOLO系列或者大多數(shù)深度學習框架輸入圖像通常要求RGB或者BGR格式在采集端直接讀NV12數(shù)據(jù)然后用OpenCV的cvtColor轉(zhuǎn)成BGR會比直接要求V4L2輸出RGB更快因為驅(qū)動層面做RGB轉(zhuǎn)換比較占用CPU資源且效率不高。圖像采集的最終驗證標準連續(xù)采集1000幀無花屏、無丟幀色彩正常幀率達到預期。我當時的測試代碼如下import cv2 cap cv2.VideoCapture(0, cv2.CAP_V4L2) cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc(M, J, P, G)) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 1920) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 1080) count 0 while count 1000: ret, frame cap.read() if not ret: continue count 1 print(fCaptured {count} frames)需要注意的是OpenCV調(diào)用V4L2時FOURCC設(shè)置對采集速度影響很大。MJPEG格式可以減少USB帶寬占用但MIPI攝像頭一般直接出YUV。如果采集頻率上不去先檢查攝像頭模組本身是否支持高幀率再看分辨率是否過高導致帶寬瓶頸。4. 第二階段yolov8模型轉(zhuǎn)換、NPU部署與精度實測圖像采集搞定后進入核心環(huán)節(jié)把在PC上訓練的yolov8模型部署到RK3588上通過NPU進行推理加速。這一階段也是很多人最頭疼的部分因為涉及模型轉(zhuǎn)換和量化。4.1 模型選擇與預處理邏輯首先明確一下場景。視覺引導定位需要的目標檢測模型是處理工業(yè)場景用的目標是識別出產(chǎn)線上特定工件并框出其位置??紤]到NPU算力和實時性要求我選擇yolov8s作為基礎(chǔ)模型輸入分辨率640x640。訓練完成后保存模型為ONNX格式。這里必須強調(diào)一點轉(zhuǎn)換ONNX之前一定要把模型的預處理邏輯固定下來具體包括歸一化方式一般是除以255、通道順序RGB還是BGR、圖像縮放方式letterbox的參數(shù)即保持寬高比并填充灰邊。因為這些參數(shù)在PC上用PyTorch推理時可能很隨意但導出ONNX后這些預處理步驟如果混入模型中或者與后處理邏輯不一致會導致板子上推理結(jié)果與PC上完全對不上。我的做法是輸入給onnx的tensor張量已經(jīng)是經(jīng)過letterbox并歸一化后的float數(shù)據(jù)不做混入模型內(nèi)部的預處理這樣靈活性更高也方便后面直接調(diào)用NPU接口。4.2 RKNN-Toolkit2的轉(zhuǎn)換環(huán)境配置模型轉(zhuǎn)換需要在x86主機上運行RKNN-Toolkit2。這里強烈建議用Docker環(huán)境因為RKNN-Toolkit2的依賴庫比較多直接裝在Ubuntu原生環(huán)境容易產(chǎn)生沖突。啟動一個容器掛載模型目錄docker run -v $(pwd):/workspace -it rknn-toolkit2:1.6.0 bash在容器中執(zhí)行轉(zhuǎn)換腳本from rknn.api import RKNN rknn RKNN() rknn.config(target_platformrk3588, mean_values[[0, 0, 0]], std_values[[255, 255, 255]], quantized_dtypew8a8) rknn.load_onnx(model./best.onnx) rknn.build(do_quantizationTrue, dataset./dataset.txt) rknn.export_rknn(./best.rknn)這里有幾個參數(shù)值得展開說明一下。quantized_dtypew8a8表示權(quán)重和激活值都量化到INT8。RK3588的NPU對INT8計算效率最高FP16雖然不需要量化、精度更高但實際吞吐量比INT8低很多。如果對精度要求實在苛刻可以用混合量化只量化部分層不過這種情況比較少見。dataset.txt是量化校準數(shù)據(jù)集每行是一個圖片路徑。這個文件非常重要它的內(nèi)容直接影響量化精度。我當時花了比較多時間測試結(jié)論是選取100到200張覆蓋場景足夠多樣化的圖片比用幾百張重復場景的圖片效果更好。對于視覺定位這種工業(yè)場景建議專門拍一些不同光照、不同角度、不同遮擋程度下的工件樣本作為校準集。轉(zhuǎn)換過程如果報算子不支持的錯誤需要回到模型訓練階段修改網(wǎng)絡(luò)結(jié)構(gòu)或者使用ONNX Simplifier簡化模型消除Reduce、Reshape等冗余節(jié)點。4.3 開發(fā)板上的推理實現(xiàn)轉(zhuǎn)換完成后將best.rknn文件拷貝到開發(fā)板在開發(fā)板上用RKNN-Toolkit-Lite2的Python接口運行推理。這里用一個官方提供的yolov8后處理邏輯封裝好了的推理腳本import cv2 import numpy as np from rknnlite.api import RKNNLite rknn_lite RKNNLite() rknn_lite.load_rknn(./best.rknn) rknn_lite.init_runtime() img cv2.imread(./test.jpg) img_resized letterbox(img, (640, 640)) img_input img_resized[:, :, ::-1].transpose(2, 0, 1).astype(np.float32) / 255.0 img_input np.expand_dims(img_input, axis0) outputs rknn_lite.inference(inputs[img_input]) boxes, classes, scores postprocess(outputs)這里letterbox函數(shù)和postprocess函數(shù)需要和你在PC端訓練時使用的版本保持一致。尤其是postprocessyolov8的輸出是一個大的維度張量例如[1, 84, 8400]需要解析成邊界框坐標、類別置信度等信息。解析邏輯中的步長、錨框設(shè)定都與模型訓練時的配置有關(guān)如果你從UItralytics的ultralytics庫訓練而來對應(yīng)的后處理代碼可以復用官方倉庫里的實現(xiàn)直接照搬即可。4.4 精度與性能實測結(jié)果轉(zhuǎn)成RKNN模型后我用實拍測試集對比了一下FP16在PC上的推理結(jié)果和RK3588 INT8量化的推理結(jié)果。在隨機抽取的200張圖片中mAP50的下降在1到2個百分點之間定位框的偏差大概在2到3個像素左右。對于視覺引導定位這個需求來說這個精度損失完全在可接受范圍內(nèi)。性能數(shù)據(jù)如下模型輸入分辨率平臺單幀推理耗時yolov8s640x640PC (RTX3060, FP16)8毫秒yolov8s640x640RK3588 NPU (INT8)32毫秒yolov8s640x640RK3588 CPU (FP32)480毫秒可以看到Int8量化在RK3588 NPU上比CPU推理快了15倍左右雖然和獨立顯卡相比有差距但在邊緣計算場景中已經(jīng)算非常能打了。如果對實時性要求更高可以將模型換成yolov8n推理耗時能進一步降到15到20毫秒。需要補充的是yolov8s部署到RK3588后實際多線程并發(fā)調(diào)用時需要額外注意RKNNLite實例是線程不安全的不同線程要分別創(chuàng)建不同的RKNNLite實例每個實例占用一份NPU上下文。同時跑4路視頻的話常見做法是4個線程各持有一個實例NPU核心會進行時間片調(diào)度。5. 第三階段系統(tǒng)集成從單一算法到可用的視覺系統(tǒng)模型跑通只是萬里長征第一步。要把視覺算法真正用起來必須把它和數(shù)據(jù)流、控制邏輯結(jié)合起來形成一套完整的系統(tǒng)。這一步我最大的體會是算法部署的工程量只有30%剩下的是工程化、容錯與性能優(yōu)化。5.1 架構(gòu)設(shè)計采集、推理、控制分離整個視覺系統(tǒng)的軟件架構(gòu)如下圖像采集模塊獨立線程負責從V4L2設(shè)備讀取圖像幀放進共享內(nèi)存隊列。算法推理模塊獨立線程從隊列取幀做預處理送入NPU推理推理結(jié)果封裝成結(jié)構(gòu)體包括目標類別、置信度、坐標中心點、寬高寫入結(jié)果隊列。業(yè)務(wù)邏輯模塊主線程從結(jié)果隊列取結(jié)果做坐標變換、通信、決策。三個模塊通過隊列解耦。這樣的好處是即使某一幀推理超時采集線程不會阻塞業(yè)務(wù)邏輯也不會卡死系統(tǒng)整體魯棒性大大增強。5.2 通信與控制UART串口與Modbus視覺引導定位的結(jié)果最終要發(fā)給機械臂控制器。這里有幾種選擇如果是標準工業(yè)設(shè)備走Modbus RTU或者TCP是常見的如果是配合機器人開放接口走TCP/IP或者ROS標準消息更合適。用串口UART、Modbus實現(xiàn)數(shù)據(jù)通信。RK3588的UART節(jié)點在設(shè)備樹里配置后/dev/ttyS0創(chuàng)建設(shè)備節(jié)點。這里有個大坑如果出現(xiàn)了cant find suitable delayline這類串口相關(guān)報錯先確認使用的uart在dts中的pinctrl引腳mux是否配置沖突因為有些引腳默認被分配給其他功能不顯式配置是不會有信號輸出的。串口發(fā)送采用簡單的幀協(xié)議幀頭數(shù)據(jù)長度目標Xint16目標Yint16目標角度int16校驗和0xAA 0x550x060x00000x00000x00000xXX主控端解析后即可控制執(zhí)行機構(gòu)動作。5.3 ROS2環(huán)境適配如果你的視覺系統(tǒng)要集成到機器人環(huán)境里讓算法作為ROS2的功能包運行是比較常見的選擇。RK3588跑Ubuntu或Debian系統(tǒng)時安裝ROS2 Humble需要選擇對應(yīng)的發(fā)行版。Debian 11對應(yīng)的ROS2版本是Humble Hawksbill可以從官方倉庫安裝。安裝完成后寫一個簡單的ROS2節(jié)點訂閱圖像話題發(fā)布檢測結(jié)果話題import rclpy from rclpy.node import Node from sensor_msgs.msg import Image from vision_interfaces.msg import DetectionResult class VisionNode(Node): def __init__(self): super().__init__(vision_node) self.sub self.create_subscription(Image, /camera/image_raw, self.image_callback, 10) self.pub self.create_publisher(DetectionResult, /vision/detection, 10) def image_callback(self, msg): # 轉(zhuǎn)換圖像數(shù)據(jù)并調(diào)用算法推理 result detect(msg) self.pub.publish(result)ROS2的引入帶來了一個好處圖像和檢測結(jié)果都可以通過ros2 topic echo實時查看和調(diào)試但同時也帶來了一些性能損耗主要是消息序列化和反序列化的開銷。對于追求極致幀率的場景用共享內(nèi)存或直接通過ZeroMQ傳遞壓縮后的檢測結(jié)果會比走ROS2消息更輕量。5.4 多路視頻流與RTSP接入有些場景下需要用網(wǎng)口拉取IP攝像機的RTSP流。RK3588處理這類任務(wù)的能力還是比較充裕的。用FFmpeg或GStreamer拉流解碼將解碼后的幀送入算法模塊。一個簡單的GStreamer拉流管道gst-launch-1.0 rtspsrc locationrtsp://192.168.1.64:554/stream1 latency100 ! rtph264depay ! h264parse ! mpph264dec ! videoconvert ! video/x-raw,formatBGR ! appsink注意這里用的是mpph264dec這是瑞芯微提供的基于VPU硬件解碼的插件解碼1080p視頻幾乎不占CPU資源。如果用的是軟件解碼插件avdec_h264一路視頻就能吃掉兩三個核心多路視頻直接卡死。RTSP接入的一個常見痛點是網(wǎng)絡(luò)延遲和抖動導致圖像畫面卡頓或花屏。解決方式是在rtspsrc上設(shè)置latency參數(shù)毫秒同時適當調(diào)整drop-on-latencytrue這樣在解碼延遲超限時會自動丟幀保證后續(xù)圖像處理的實時性。6. 性能調(diào)優(yōu)與功耗控制讓系統(tǒng)可靠運行系統(tǒng)的長期穩(wěn)定運行是視覺算法落地中最容易被輕視的部分。算法跑通和算法能7x24小時穩(wěn)定跑中間還是有很大距離的。這里我從三個方面做了優(yōu)化。6.1 CPU與NPU資源分配RK3588有4個A76大核和4個A55小核。對于視覺應(yīng)用建議做CPU綁核圖像采集線程綁在大核上保證圖像數(shù)據(jù)能及時取走防止因為調(diào)度延遲導致緩沖區(qū)覆蓋后處理邏輯包括解碼、NMS等也綁在大核上業(yè)務(wù)邏輯、通信等任務(wù)放在小核上執(zhí)行讓出大核資源給計算密集型的任務(wù)。用taskset命令可以實現(xiàn)綁核taskset -c 4-5 ./vision_app6.2 NPU多模型并發(fā)與吞吐如果你需要同時跑兩個模型比如一個做目標檢測一個做圖像分割要注意NPU內(nèi)存占用。RK3588的NPU共用的是一塊固定的SRAM模型同時加載可能導致內(nèi)存不足。建議在rknn_lite.init_runtime()時設(shè)置rknn_batch_size1同時讓多個模型分時復用NPU不要同時創(chuàng)建過多的RKNNLite實例。另外RKNN-Toolkit2的runtime支持NPU、GPU、CPU三層異構(gòu)可以通過設(shè)置device_type讓特定算子回退到GPU或者CPU執(zhí)行。但除非必要不建議這么做因為算子回退往往伴隨多次內(nèi)存拷貝實際速度可能更慢。6.3 熱管理風扇控制與降頻策略NPU滿負荷運行時芯片溫度會迅速攀升。溫度超過85度時RK3588會主動降頻導致推理速度突然下降。我當時的處理方案是自定義風扇控制邏輯根據(jù)溫度多級調(diào)整PWM占空比。在python里讀寫PWM占空比的方式def set_fan_duty(duty): with open(/sys/class/hwmon/hwmon0/pwm1, w) as f: f.write(str(duty))溫度低于60度時占空比設(shè)為80正常散熱60到70度之間逐步加檔超過75度占空比拉滿。這樣既能保證性能釋放又不會讓風扇全程高速運轉(zhuǎn)產(chǎn)生噪音。6.4 任務(wù)看門狗與異?;謴烷L期運行的系統(tǒng)最怕算法進程因為某幀數(shù)據(jù)異常崩潰然后一直死在那邊不重啟。添加一個簡單的看門狗機制算法進程周期性通過UDP包上報心跳主控端如果在10秒內(nèi)沒收到心跳就執(zhí)行systemctl restart vision_app。這種方式雖然談不上多智能但至少能保證系統(tǒng)具備從異常中自我恢復的能力。7. 高階話題FPGA與協(xié)處理器、多核調(diào)優(yōu)的設(shè)想RK3588雖然強大但有些特定的視覺任務(wù)還是需要額外算力的。比如高速運動的視覺定位需要極高的幀率再比如高分辨率圖像的缺陷檢測在NPU上做實時處理比較吃力。這時候可以考慮搭配協(xié)處理器來協(xié)作完成任務(wù)。RK3588擁有PCIe接口可以外接FPGA板卡或者ASIC加速卡。FPGA的強項是低延遲并行處理和時序確定性適合做高速圖像的預處理、觸發(fā)式抓拍、和特定算法的定制加速。比如一些視覺定位算法中Gaussian濾波和Sobel邊緣檢測這部分邏輯用FPGA做硬件流水線處理可以做到微秒級延遲完全不占CPU和NPU資源。而NPU負責后續(xù)基于深度學習的目標識別與分類實現(xiàn)FPGANPU的異構(gòu)協(xié)同。這種組合的集成復雜度相對較高但我認為這是RK3588作為邊緣計算主控比較有潛力的擴展方向。前期先用單板跑通整個算法鏈路后續(xù)如果項目確實需要高幀率或者多相機并行處理再引入FPGA做卸載整體升級路徑是比較平滑的。另外關(guān)于多核調(diào)優(yōu)一個可行的優(yōu)化是使用OpenMP或C多線程重寫算法后處理部分。Python的GIL限制了CPU密集型的后處理無法真正多核并行導致單幀延遲中有相當一部分是消耗在NMS等后處理環(huán)節(jié)的。把后處理改為C實現(xiàn)通過pybind11封裝成Python模塊可以有效降低后處理耗時親測在邊界框數(shù)量較多的時候效率提升能達到3倍以上。8. 常用開發(fā)工具與踩坑記錄最后整理一下項目開發(fā)過程中的一些工具和問題記錄這些內(nèi)容對后續(xù)做RK3588視覺項目的開發(fā)者應(yīng)該有一定的參考價值。工具/命令用途說明RKDevTool燒錄鏡像工具配合開發(fā)板Loader模式使用rknn-toolkit2模型轉(zhuǎn)換工具在x86主機運行將ONNX/PyTorch轉(zhuǎn)RKNNrknn-toolkit-lite2板端推理工具RK3588上運行RKNN模型的Python接口dmesg內(nèi)核日志查看調(diào)試驅(qū)動加載、硬件識別問題v4l2-ctlV4L2設(shè)備控制查看視頻格式、抓取單幀gst-launch-1.0GStreamer管道測試快速驗證視頻采集與RTSP拉流tasksetCPU綁核優(yōu)化多線程任務(wù)在不同核心上的分布perf性能分析定位代碼熱點優(yōu)化瓶頸踩坑記錄重點提幾個都是當時真正困擾過我、最后反復比對才找到原因的問題。第一個是ES8388。有些RK3588開發(fā)板板載了ES8388這顆音頻編解碼芯片如果你的系統(tǒng)在啟動時出現(xiàn)ES8388相關(guān)報錯原因是設(shè)備樹里音頻節(jié)點和I2C地址沖突或者驅(qū)動沒編譯進內(nèi)核。本來不影響視覺任務(wù)但每次dmesg里都報這個錯會導致其他驅(qū)動日志被刷掉排查起來不方便所以盡量修復。修法很簡單在設(shè)備樹里確認i2c2節(jié)點下ES8388的reg值然后檢查內(nèi)核配置中的CONFIG_SND_SOC_ES8388是否開啟。第二個是MIPI顯示問題。有段時間HDMI顯示突然不工作排查到最后發(fā)現(xiàn)是設(shè)備樹里hdmi0節(jié)點被誤改成了status disabled。這類問題經(jīng)常發(fā)生在從原廠SDK拷貝dts文件做修改時某個細節(jié)遺漏就會導致整體顯示鏈路失效。第三個是開機啟動時USB設(shè)備枚舉失敗。后來發(fā)現(xiàn)是供電不足RK3588在同時驅(qū)動NPU、多路攝像頭和機械臂控制器時如果電源適配器輸出能力不夠需要12V/5A以上USB設(shè)備的供電就會不穩(wěn)定。排查思路很簡單接上外部供電后問題就消失了。如果你也在RK3588上做視覺開發(fā)還有一個建議是盡量養(yǎng)成梳理啟動日志的習慣。用journalctl --since 10 minutes ago或者dmesg -w實時監(jiān)控內(nèi)核輸出很多硬件層面的問題在日志里其實有非常明確的提示只是容易被忽略。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久久久97| 天色色综合网| 香蕉97碰碰碰欧美| 五月婷婷影| 日本色天堂| 操一操干一干| 激情综合五月| 九九av| 狠狠狠狠狠狠狠狠| 国产偷人爽久久久久久老妇APP| 操九色| 亚洲另类婷婷综合| WWW.开心五月天.COM| 久久网站免费亚洲| 五月天婷婷视频30| 欧美日本VA| 丁香激情网| 91精品又长又大又粗又爽又猛| 99热这里只有精| 欧美成人Va| 久久五月天免费网站| 91/九色黑人| 亚洲AV无码影院| 五月丁香影院| 日韩在线看AV| 五月婷婷狠狠久久| 激情五月天小说| 五月丁香综合网| 97精品在线| 99综合| 人人操人av| 五月丁香六月婷综合成人综合| 婷婷丁香五月综合| 欧美性猛交XXXX乱大交极品| 婷婷久久性爱| 亚洲另类婷婷五月综合| 久久久久亚洲AV成人无码电影| 色婷久九| 欧美午夜乱妇午夜福利| 91在线操| 五月婷人妻| 激情综合丁香五月| 色屌丝中文字幕| 婷婷五月天丁香综合网| 久热这里只有精品3| 五月天婷婷永久免费视频| 91ncm视频| 99热在线中文字幕| 黄色av高清| www色婷婷| 丁香六月AV| 九九99久久| 五月丁香 啪啪| 婷婷五月天激情小说| 大香蕉在线观看9| 五月天丁香网| 欧美色频| 精品九九久久| 五月天丁香婷婷网| 亚洲欧洲另类| 五月丁香影视| 9|在线观看视频| 激情久久四色| 91色色色| 五月天激情网址| 婷婷五六日| 生活片五区| 亚洲中字AV电影在线网站| 99丁香五月婷| www.26uuu.com亚洲电影| 99日本精品视频热| 亚洲 欧洲 国产 伦综合| 五月天色色网站| ss视频xx91| 日本色色色| 五月婷婷综合天天操| 秋霞电影一级黄| 婷婷五月色惰| 色五月天 丁香| 超碰人人操人人干| 亚洲五月天婷婷| 色婷婷久久7777| 99色啊| 99riAv1国产在线观看| 韩国中文字幕91| 欧美日本VA| 婷婷色在线视频| 丁香五月婷婷激情97| 色色色五月婷婷| 五月婷婷啪啪| 婷色视频| 婷婷九月激情网| 五月丁香| 五月天色色激情综合| 九九伊人网| 五月天综合在线观看视频| 九久久婷婷| www.射伊蕉婷婷| 丁香六月无码播放| Av在线资源| 毛片新网地| 五月婷婷激情网| 欧美日本VA| 久久五月天激情| 被强行糟蹋的女人A片| 日本色婷婷| 激情图片婷婷丁香五月| 丁香久月婷| 草综合14| www.婷婷,com| 九九热最新| 99精彩视频在线观看| 伊人婷婷色激情丁香| caop在线| 日日日日操| 思思99热这里只有精品| 五月天色色色网| 五月婷婷激情综合网| 色婷婷六月精品| 激情精品久久| 99手机在线精品视频| 丁香六月激情| 色婷婷丁香A片区毛片区女人区| 入口五月婷婷六月香| 中文在线视频久9| 久久色大香蕉| 国产操逼网站| 岛国资源网| 99ri在线| 99热这里是精品| 97久久综合网| 无码激情AAAAA片-区区| 玖玖精品视频| 我要射综合| 日本婷婷色| 色综合色欲综合天天免费| 内射 无码 伊人| 性韩日色婷婷五月天激情啪啪XXX| 大香蕉精品视频| 五月丁香激| 热久91| 婷婷五月天丁香社区| 热成人网| 激情五月婷婷色色| 婷婷97碰碰| 国产99久久久国产精品免费看| 99性视频| 99热6精品| 26uuu欧美| 婷婷色五月天在线| av在线免费网站 | 亚洲小视频免费播放| 综合久久综合久久| 天天综合久久| 91青娱乐青青草| WWW,五月| 色停停香蕉视频| 91夫妻视频| 性一交一乱一交A片久| 五月婷婷五月天亚洲无码| 蜜臀99精品| 五月激情婷婷国产精品久久久久久| 丁香婷婷六月男男| 亚洲成AV人片在线观看| 大香蕉丁香婷婷| 香蕉AV777XXX色综合一区| 国产精品日本一区二区在线播放| 丁香五月天日韩无码| 99久久网站| 激情五月丁香亭亭| 成人五月丁香社区| www.久久爱.com| 99爱视频精品| 夜色综合网| 日日干日日| 丁香99| 五月丁香六月香香蕉| 亚洲五月婷| 九九九九国产| 99精品偷自拍| 婷婷激情综合色五月久久91| 丁香六月色婷婷| 天天爽爽日日做做| 五月婷婷九月婷婷九月婷婷| 天天爽天天| 久久99热久久99精品| 亚洲AV成人精品网站在线播放| 日本黄色一级| 99re热99| 人妻AV在线观看| 婷婷综合九色伊人| 亚洲精品视频在线播放| 日日婷婷不卡| 色情婷婷五月天| 亚洲国产黄色电影| 亚洲色婷婷视频| 成人国产欧美大片一区| 日韩成人网址| 丁香五月天在线观看视频| 亭亭五月色男人| 91色情播放| 伊人天天色| 日本成人噜噜噜| 色五月播五月| 婷婷五月伦理| 99色| 亚洲V国产V欧美V久久久久久| 91久热| 99久久国产综合精品五月天喷水\| 九九热中文| 九九色热| 亚洲啪啪网| 日本特黄aaaaa| 五月天婷婷综合网| 天堂在线观看视频| 久久亚洲色导航| 色五婷婷开心缴| www.久久爱| 久久久久久久久18久久| 777.色色| 99热播放| 一区二区三区四区牛| 曰曰久久| 婷婷五月天视频亚洲| 五月天伊人综合| 天天舔夜夜操www com| www.99精品视频| 五月激情偷拍婷婷| 97人人干人人操| 婷婷五月天激情五月天| 99精品无码| 久热婷婷| 色婷婷免费视频| 中文字幕日韩无码制服诱或| 在线视频你懂得| 香蕉久操| 丁香视频| 婷婷丁香五月,狠狠综合| 色五月综合资源推荐| 狠狠综合| 成人资源在线| 色五月婷婷久久| 婷婷碰碰| ...婷婷国产成人亚洲日韩| 九九无码| 人人操91| 丁香五月天激情四射网络不好| site:hcxsz888.com| 久久五月天激情| 激情五月天色播| 成人AV综合在线| 色婷婷色五月另类综合| av久热| 99丁香五月| 婷婷丁香人妻天久久| 九九精品视频在线6| 中文字幕 久久9999| 99久久久免费| 天天干,天天操,天天射| 欧美婷婷五月丁香| 久婷狼色诱惑在线| 色婷婷成人影片| www.婷婷.com| 伊人影院久久网| aaaaaa片| 色五月在线观看| 99啪视频在线观看| 色之综合网| 九九热视频精品999| 国产免费AV网站| 狠狠色综合精品视频在线| 五月丁香啪啪网| WWW.久久久久久久| 日韩在线五月天婷婷| 9久热精品在线视频| 7777精品伊人久久久大香线蕉最新版| 五月婷婷综合在线| 色欲天天综合| 99热免费| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久色资源| 婷婷六月婷婷| 六月五月天婷婷涩播在线| 天天综合亚洲综合网天天αⅴ| 色久九| 欧美激情综合色综合啪啪五月| 五月婷婷激情网| 99热费观看| 成人AV在线网站| 色婷婷av综合网| 久久香蕉婷婷五月天| 丁香五月偷拍| 99久久99视频只有精品| 很很干天天干| 涩涩婷婷五月| 六月丁丁香| 婷婷激情丁香五月天综合| 色婷婷成人| 激情99热| 五月天色软件| 婷婷的色色五月天| 激情久久四色| 在线一起草av| 99热青青草| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 就去色色五月丁香婷婷久久久| 中文字幕色色| 五月婷婷七月丁香| 中文成人在线| 婷婷成人AV| 3pAV| 看片视频在线免费日产在线看| 婷婷综合偷拍| 99视频色在线观看| 婷婷伊人激情婷婷| 色综色网| 国产精品色色| 思思热精品在线| 涩丁香91| 五月青青草综合| 午夜天堂一区人妻| 丁香五月婷婷AV| 国产小精品| 五月婷导航| 亚洲无码影音| 亚洲V国产V欧美V久久久久久| 五月天基地| 中文字幕丰满孑伦无码专区| 91操色| 五月激情丁香久久综合网| ,99视频久久| 天天综合永久| www色中色综合| 9久视频| 五月天婷婷色紫薇阁| 国产成人精品123区免费视频| 久久ww| 9热精品| 欧美顶级少妇做爰HD| 五月丁香六月婷婷免费视频| H亚洲| 99精品国产乱码久久久人妻| av最新在线| 伊人香大香蕉视频| 欧美综合五月丁香六月婷| 婷婷伊人网| 91色五月| 婷婷五月丁香综合亚洲 | 色五月激情五月丁香五月婷婷啪啪综合| 99视频综合网| 91丨九色丨东北熟女| 激情五月天www| 婷婷五月综合免费在线| 可以免费观看的AV| 五月天婷婷爱| 五月深爱婷婷| 国产精品电影网| 婷婷五月天综合AV| 久久婷婷六月综合| 91热er| 成人做爰高潮A片免费视频| 丁香婷婷色五月合集| 亚洲色在线观看| 久久成人精品视频| 91疯狂操操操操| 色欲色香,www,com| 五月丁香婷婷综合久久| 情五月亚洲婷婷| 亚洲精品久久久无码| 99热99精品在线观看| 超碰69天堂| 久久电影4399| 国产五月丁香在线| 九日日夜夜69| 超碰97人人操| 日韩AAA| 亚洲欧美婷婷五月色综合| 五月天日日操夜夜操 | 色情综合| 久色网| 99热精品一| 丁香五月激情婷婷视频| 日韩小视频在线99| 综合玖玖偷拍| 超碰免费在线| www.深爱激情| 九九九色综合| 婷婷福利影院| 丁香五月激情五月| AV性爱在线| 亚洲精品婷婷| 第五色婷婷| 九九热国产| 婷婷五月天伦理| 99精品久久| 综合激情在线| 色五月激情| 日韩一级网站| 丁香五月综合久久| 黄色短视频在线观看| 91久久日日| 九九视频在线观看视频6| 伊人婷婷五月天| A久网| 99热精这里只有精品| 婷婷五月天在线观看av| 五月婷婷偷| 在线观看熟女少妇| 天天色视频| 丁香五月在线观看完整版| 亚洲a片免费观看| 九色自拍| 毛片新网地| 九月婷婷久久久| 久久婷婷人人| 天天天久久人人人合| 中文av网站| 日日干天天爽| 终合激情网| 婷婷丁香五月高清| 九九久久综合| 婷婷色在线播放| 中文超碰视在线| 久久综合五月天激情小说网站 | 亚洲情欲| 99热情这里只有精品在线播放| 久久日曰| 天天日中文| 婷婷五月av| 天天爽日日爽夜夜爽| 色噜噜狠狠色综| 久久99精品久久久久久青青AR| 曰本久久女| 极品人妻VIDEOSSS人妻| 色色综合网。| 国产日韩av片| 五月开心婷婷极品激情| 激情五月综亚网| 99爱免费视频在线观看| www.五月丁香| 伊人网色婷婷五月天| 热久国产| 桃色五月天| 狠狠干 狠狠操| 激情小说五月丁香在线视频观看视频| 五月婷婷欧美| 五月婷av| 三级三久久线久久99久目本WW| 中文字幕丰满孑伦无码专区| 六月婷欧美丁香综合| 九九99精品视品| 人人叉久| 婷婷伊人无码| 久热网在线视频| 天天日天天干天天操| 久久五月激情综合| 第九色区av天堂| 激情 久久 婷婷| 色啪久| 婷婷五月综合色中文字幕| 婷婷伊人综合中文字幕| 激情五月综合免费| 精品人妻伦一二三区久| 亚洲天堂久久| 久九九热| 玖玖资源站国产| 欧日韩AV| 综合亚洲六月婷婷在线| 一起草av| 爆乳熟妇一区二区三区爆乳照片| 亚洲狠狠婷婷| www.激情com| 99视频在线看| 欧美色五月| 超碰v| 美女伊人久久| WWW五月天| 激情五月丁香婷婷| 国产成人精品一区二三区熟女在线| www.cao.com久久| 91精品国产91久久久久青草| 在热视频精品| 色婷婷色99国产综合精品| 日韩99无码| 五月天久久婷婷| 色综合久久久久久久久五月| 香蕉久久国产AV一区二区| 国产精品美女久久久久AV超清 | 亚洲色热| 亚洲综合五月天婷婷| 色婷婷19| 日韩综合久| 久久久久久性爱视频| 在线1青婷| 美女五月天| 六月 丁香 视频| 五月丁香另类图片| 综合一区二区三区| 激情婷婷护士激情| 婷婷五月丁香花综合| 五月伊人视频在线看| 91一起操| 九九操操| 色综合婷婷| 天天综合网在线| 岛国AV网| 激情五月天综合网| 性高潮久久久久久-九九九九九九九九九九热-成人AV | jiqingtaose五月天| 亚洲成人黄色网| 丁香五月综合久久| 综合99综合久久久久久久| 无码区婷婷五月花开| 99热色无码| 免费观看的婷婷五月视频在线| 99热超碰| 涩五月婷婷| 久久五月婷6 9| 99热综合| 狠狠爱丁香婷| 任你擦免费视频| av九九| 色色色色色级无码| 亚洲综合五月天婷婷| 婷婷五月激情综合啪啪| 五月天久久丁香| 精品一二三区久久AAA片| 97人人干人人操| 五月婷婷草| 六月丁花香啪啪激情欧美| 色久婷婷五月| 日本在线视频播放91| 久久玖玖99| 五月婷婷色情| 婷婷D区| 亚洲精品五十一区| 久久婷婷亚洲| 3pAV| 欧美婷| 激情都市丁香婷婷| 六月丁香久久| 超碰无码老师| 武则天精品久久| 综合久久婷婷五月丁香| 久久九九99| 操日本三片99| 成人开心五月天| 思思99热| 香蕉99网| 婷婷五月天改成什么了| 五月色天五月色| 久久五月丁香| 国产做A爰片毛片A片美国| 五月婷婷九九久久| 婷婷六月丁香激情| 思思热AV| 操91| 99精品视频在线观看| 久久丁香五月天| 俺也去综合| www.av骚货| 97热精品| 日本4399天堂中出| 九热视频在线精品15| 国产69精品久久久久999小说| 婷婷放心五日爱| 99色日本| 久热久色| 狠狠草狠狠草| 久久久GOGO无码啪啪艺术| 婷婷丁香黄色| 青青草a在线| 五月婷婷五月丁香| 精品久热| 久久亚洲无码| 四色女婷婷| 五月婷婷丁香综合| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 日本欧美成人片AAAA| 久久婷网| 性色99| 98色花堂98t.R| 天天日日夜夜| 日韩欧美一道四区中文字幕| 六月香五月婷| 亚洲情色一区| 国产一区二区av免费| 亚洲中文无码成人| 99@久久@99精品视频| 五月天狠狠网| 永久无码色| 狠狠操.com| 婷婷五月综合视频| 99热9| 99精品超在线播放| 久久九九大香蕉电院| 偷拍五月丁香| 综合性爱网| 婷婷的色色五月天| 五月婷婷婷自由综合| aV欲望人妻中文字幕| 国产精品久久久久久白浆色欲| 中文字幕婷婷五月天| 丁香五月天AV在线 | 五月色影院| 天天日综合网射| 很很操96| 久久久久久18| 久99久视频| 婷婷五月丁综合| 99精品色色| 黄色99热| 99碰碰碰| 九九热在线精品视频| 香蕉久久国产av一区二区| 色吧婷婷五月亚洲| XX久久| 亚洲丁香花色| 激情视频综合| 色五月色综合| 天天插天天射| 亚洲成人AV在线观看| 丁香色五月婷婷| 九九九九九999999| 99热在线99| 色色99| 五月天丁香成人社| 天天澡天天狠天天天做| 色综合综合综合| 99在线免费视| 色播五月| 色狠狠综合| 亚洲色图五月丁香| 五月丁香六月婷婷久久| 色在线视频网2025| 六月五月久久丁香| 五月色丁香婷婷综合| 色婷五月天| 综合网天天| 66精品国产成人| 五月天天天天天天天天天天天婷婷婷| 婷婷影视久久| 99热免费网站| 91丨九色丨国产打屁股| 综合性爱网| 五月天婷婷婷| 壅壅儕家a| 色吧五月婷婷| 一级操逼内射在线视频| 99成人网一区| 99热99极品观看| 亚洲丁香婷婷| 无遮挡国产高潮视频免费观看| 成人在线视频网| 亚洲操b| 狠狠色丁香99| 高清无码.com| 丁香婷婷六月天| 五月丁香花成人社区| 五月丁香网站| www。五月天激情| 99热伊人| 天天 青草 制服丝袜 在线| 丁香五月六月婷婷综合| 五月婷婷婷综合网| 无码色| 久久精品婷婷五月丁香| 婷婷99视频精品| 婷婷伊人综合中文字幕| 草草视频91| 99er日韩| 欧美成人精品A片免费一区99| 婷婷五月中文字幕| 婷婷色五月天色| 婷婷最新地址| a网站免费观看| www.天天干| 综合五月激情网| 久久亚洲色导航| 亚洲激情综合| www.丁香五月| 中美日韩成人在线| 潘金莲AAAAAAAAAA| 亚洲国产99| 久久天堂女人| 99这里只有精品|v| 婷婷丁香综合成人| www.99热日韩.com| 欧美熟女99| 人人爱人人草| 一本久道综合99| 91干| 99免费热视频在线| 色婷婷五月六月丁香综合视频| 99操99| 婷婷亚洲久久| 在线视频九色97| 国产AV成人精品| 99热这里都是精品| 99啪在线| 久久丁香综合| 亚洲一二三网| 97伦乱| 丁香五色月婷婷网| 人妻有码乱操| 五月丁香婷婷六月| 超碰97免费在线| 99久久久免费| 五月激情网五月综合网| 九九精品免费视频99| 五月婷婷免费在线视频| 色五月色图| www.zbzhongsen.com| 人人爱人人草| 欧美丰满熟妇BBB久久久| www激情网| 超碰人人妻| www.金莲av| 色偷偷综合| 开心深爱激情网| 99婷婷| 97五月婷| 丁香六月综合| 91丨九色丨东北熟女| 99视频在线观看地址| 热无码A∨| 色婷婷六月开心中文字| 日本WWW九九九| 欧美日韩一区二区三区四区| 激情五月婷婷| 丁香五月玖玖| 99热日韩| 五月丁香成人版| 激情色色色| 五月丁香91| 天天噜噜| 新激情五月天天在线网| 久久欧洲久久| 综合天堂AV久久久久久久| 人人添人人| 九九热精品6| 婷婷香蕉| 9l视频自拍九色9l视频在线观看| www.久久爱| 国产婷婷色综合AV蜜臀AV| 玖玖资源站中文| 五月丁香欧美综合| 99这里有精品视频| 人妻五月天激情开心网| 丁香五月天激情网址| 青青草成人网| 亚洲色99| 狠狠色丁香久久| 99爱在线| 夜夜躁婷婷AV| 怕怕視頻| 色色COm| 99免费在线视频| 五月丁香网站| 97日本在线| 久久婷婷五月综合97色一本| 五月婷婷开心六月激情小说| 五月婷亚洲精品AV天堂| 亚洲偷| www久久久久久久97| 五月丁香WWW| 婷婷成人视频| 99国产精品久久久久久久久久久| 91丁香婷婷综合资源| 26uuu淫色| 五月丁香激情综合| 国产乱妇乱子在线播视频播放网站| 色婷婷六月精品| 99re66热这里只有精品| 超碰cap| 五月天精品视频| 99热这里只有精品官网| www.minyis.com【JT】实力收量可预付TG@LXSPSW8| 色色色色区| 激情性爱五月天网页| 色色色图| 丁香六月综合激情| 人人摸人人操人人爽| 久热这里只有国产| 丁香六月婷婷久久综合| 天天干,夜夜爽| 区美毛片子| 欧美五月婷婷| 99热免费网站| 色婷婷综合久久久久| 激情久久婷婷| 久久性都花花世界成人免费视频| 99热只有| 天天艹夜夜艹| 91大神操美女| 亚洲综合激情五月久久| 色婷婷色五月天| 日韩在线观看网址| 五月天亚洲最大成人| 日本综合久久| 4399成人黄A片| 六月婷婷久久大全| 97福利视频| 91色综合久久| 色色色成人网| 日本三级日本三级99| 呦呦v线| 91色欲综合| 俺去也综合| 色激情五月| 久久精品五月天| 色香蕉影院| 色五月丁香总合网| 人人草开心五月天| 丁香五月六月激情久久| 国产成人精品一区二区三区视频| 俺去也五月| 久9久9久9久9久9久9| 久久婷婷欧美| 五月综合激情婷婷六月色窝| 五月丁香六月日逼| 超碰只有精品在线| 综合激情网激情五月。| 九月大香蕉| 这里只有精品久久| 国产五月天婷婷| 国产免费一区二区在线A片视频| 欧美图片丁香五月天| 欧美在线操| 操逼综合网| 亚洲精品五月| www九九热| 大香蕉99| 日本爆乳片手机在线播放| 日韩操人| 久久色五月天| 9精品国产在热久久| 丁香婷婷五月份| 青草视频在线播放| 江苏少妇性BBB搡BBB爽爽爽| 天天操天天插| 色婷婷基地| 99思思热只有在这里看| 成人av在线网址| 狠狠做婷婷| 五月婷婷无码| 99热97美女| 色色五月激情| 激情婷婷五月久久| 开心五月婷婷| 日逼免费视频| 97久久超视频| WWW99热| 美日韩成人| 国产成人+综合亚洲+天堂| 婷婷舔| 五月色婷婷综合丁香精品无遮挡| 91黄操| 99热综合在线观看| 欧美精品XXXXBBBB| 人妻久久久久久久| 婷婷娱乐丁香综合网| 久久九九怡红院| 开心五月综合激情网| 99视频在线| 婷婷五月天激情小说| 九九热内射| 六月婷婷色综合| 亚洲无码yw| 99热在线看| 日本天堂爱爱| www久热com| 韩国情人在线电视剧免费观看高清版全集| 五月婷婷色白丝| 99热网精品| 人妻aV在线| 九九色欲网| 丁香婷婷影院| 另类少妇人与禽zOZZ0性伦| 青草视频在线观看视频| 五月婷婷亞洲中文| 99日本黄站| 欧洲色| 激情深爱五月| 久久一伦| www,com,五月色色| 欧洲亚洲最新精品| 色色色色区| 粉嫩AV久久一区二区三区| 99爱视频在线| 99在线观看视频蜜臀| 成人电影在线免费试看| 色五月涩涩婷婷| 天天摸天天高潮天天爽| 色婷婷色九月| 日韩精品视频中文字幕| 五月天播播中文字幕 | 五月丁香偷拍| site:pnnrt.com| 狠狠色激情综合| 欧美Va在线| 激情五月天综合网站网站网站| 成人婷婷色综合| 色色五月天激情| WWW五月| 综合性视频99| 丁香女人五月天| 亚洲不卡123| www.91色| 五月丁香啪啪啪| 天天干天天叉| 亚洲国产婷婷色五月| 色婷婷久久天天性爱| 欧美日本免费一道免费视频| 综合性爱网| 538在线精品| 这里只有免费精品| 激情综合五月色在线| 日本激情91| 99精品久久久久久久| 欧美日本不卡黄色片| 欧美槡BBBB槡BBB少妇| 99这里只有精品视频| 热99在线| 99热这里只有精品8| 丁香五婷婷| 五月激情五月婷婷五月天在线| 亚洲色vA| 亚洲激情网站| 99久在线观看| 成人色站,在线视频,看片-SS1AV| 婷婷五月天亚洲色| 色狠狠色狠狠| 激情婷婷六月天| 日本精品人妻无码77777| 91碰碰视频在线观看| 日韩欧美老妇性视频91久久久| 五月婷婷六月丁香在线| 天天干天天拍| 大陆极品少妇内射AAAAAA| 婷婷五月天伊人| 国产精品扒开腿做爽爽爽A片唱戏| 99久久婷婷国产综合精品草原| 热99这里只有精品视频| 欧美在线视频免费播放| 超碰人人摸AV| 九九色综合| 色婷婷五月在线| 色五月女| 丁香六月婷婷综合激情欧美| 五月天婷婷丁香导航| 国产在线黄色| 97精品综合| 五月婷在线| 国产小精品| 免看黄大片AA | 五月丁香婷色| 99九九久久| 九九热这里精品| 久久欧洲综合网| 五月丁香福利| 激情五月婷婷综合| 日本美女上人| 免费看欧美成人A片无码| www.婷婷com| 极品五月天| 五月婷婷色播| 99热大全在线观看| 在线五月色播| 久久网日本| 青青色com久久| 五月天小说激情| 成年人丁香五月| 99热成人| 亚洲视频久久| 激情综合4月| 这里只有久久精99| 99riAV国产精品视频| 色婷婷狠狠| 五月开心播播网| 午夜少妇在线观看视频| 黄网免费看| 能看的av| 五月天久久www| 国产成人AV| 天天草天天爽| 亚洲成人丁香花| 九九re精品视频在线观看| 欧美性爱特黄一级aaaassss| 欧美人妻一区二区| 99这里只有精| 激情综合五月丁香六月婷婷| 欧洲99视频在线| 九九色热视频| 色五月天激情| 伊人热在线大香蕉| 激情五月天久久丁香| 五月天综合色| 97久久超碰| 国产.亚洲.欧洲视频在线| 停停五月天激情网| 欧美在线视频99| 97人凄人人操人人爽| 日韩六六久久电影| 婷婷五月天激情小说| 亚洲黄色av网站| 亚洲婷婷成人五月天| 人人干av| 日本九九九九九九| 99热这里只有精品 搜| 97人人干人人操| 97婷婷五月| 五月丁香六月婷婷a v| 少妇婷婷五月天| 另类 在线| 婷婷六月偷拍| 色婷婷在线视频综合| 色婷婷丁香| 91xxxx九色| 97韩国久久电影院| 日韩av变天就操逼不卡区| 色色色色色热| 色99色| 丁香社92视频| 婷婷激情五月天亚洲综合| 大地资源色婷婷视频在线| 内射综合网| 99九九热在线观看| 日本天堂爱爱| 热99这就是精品视频| 第四色在线观看| 人人爽在线视频综合网| www九九热| 超碰人妻在线| www五月| 丁香五月婷婷少妇| 亚洲天堂99| 99熟女| 99日本黄站| 六月婷婷综合| 婷婷中文字幕| 五月天社区| 亚洲色综合| 色情五月天视频网| A久久| 五月综合婷婷久久在线| 日本不卡一区二区三区| 亚洲另类久久| 亚洲在线免费成人| 成人婷婷深爱综合网| 成人做爰A片免费看视频| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 久婷| 五月香蕉综合| 天天躁日日躁狠狠躁日日躁2022年5月9日| 天天成人综合视频| 夜夜嗨一区二区三区直播内容| 天天日人人| 婷婷桃色网| 激情AV在线| 五月婷婷av| 国产特级毛片AAAAAAA高清| 五月丁香激情六月| 色玖玖综合| 色色色国产| 噜噜噜噜婷婷五月天| 久机视频这只有精品| 婷婷五月俺要去| 婷婷综合天堂| 热久久91| 爆乳熟妇一区二区三区爆乳照片| 婷婷综合干| 亚洲人成网站999久久久综合| 久久婷婷五月综合色区| 91狼友视频网页更新| 丁香五月婷婷天堂大香蕉| 在线婷婷| 五月丁婷婷| 日操夜操天天操不卡| 久热 91| 婷婷激情欧美| 天天爽天天草| 99热综合网| 五月天婷婷综合| 玖玖婷婷五月天| 欧美S码亚洲码精品M码| 综合激情四射一theav| 91丁香婷婷综合资源| 99超碰在线观看| 人妻久久久久久久久妻久久久久久久久 | 99人人操人人操人人精| 色婷婷影| 噜综合| 免费啪啪啪网站| 九九热欧美| 国产婷婷色综合AV蜜臀AV| 色色综合色视频| 91chinese 在线| 色色网站毛片| 午夜成人综合| 激情五月四色| 五月婷婷综合热| 婷婷色在线视频| 亚洲婷婷五月天| 无码任你操| 综合精品99| 婷婷玉月丁香五月在线视频| 激情五月婷婷老师| 久色激情| 少妇性BBB搡BBB爽爽爽视頻| 99热热热天天人人人超超碰| av色婷婷| 色噜噜狠狠一区二区三区| 色综合色五月| 超碰五月婷婷五月天| 婷婷,五月天,丁香,第一| 五月婷婷六月激情网| 婷婷操超碰| 色色色丁香| 久久黄色免费视频| 激情六月婷婷| 色婷婷狠狠禁久久| 99人这里只有精品| 久久伊人9| 久久 无毛。| 九九爱精品网站| 婷婷激情五月天天天开心| 人人干99| 丁香五月婷婷综合91| 这里只有精彩小视频视频网站| 日韩AV色色色| 六月婷婷色综合| 久久婷婷五月综合成人d啪| 五月丁香六月玩女人| 久99久视频精选| 五月天婷婷黄色| 97在线观视频免费观看| 六月丁香婷婷拍拍| 无码区婷婷五月花开| 色操综合| sewuyuejiqingwang| 国产精产国品一二三在观看| 色99视频| 六月婷婷综合| 色色色色色五月丁香| www.夜夜| www激情婷婷com| 天天久综合| 79色色色色| A久网| 色色COm| 亚洲五月天婷婷| 婷婷五月天网址| 婷婷激情性爱| 91久热| 91精品丝袜久久久久久| 婷婷五月天奸女| 久久久大香蕉| 99综合网| 五月婷婷开心网| 国产精品人成A片一区二区| 亚洲色五月| 久久婷婷色| 伊人婷婷大香蕉在线| 99久久婷婷综合| 天天搞夜夜爽夜夜爽| 久久婷婷丁香六月天| 五月天婷婷基地| 婷婷区日本| 香蕉AV777XXX色综合一区| 日韩在线aaa| 色久综合| 99热在线精品观看| 色婷操逼| 丁香蜜臀黄色婷婷五月天| 久久婷婷五月综合色播| 99热在线观看这里只有精品| 五月婷婷综合在线| 丁香色婷婷五月天| 超碰99热| 亚洲中字AV电影在线网站| 性爱激情小说AV五月丁香花| 97碰碰视频| 五月婷婷黄色| 超碰婷婷五月| 丁五月激情视频免费| 天天搞夜夜六| 成年视频免费观看| 色五月婷婷综合| 99精品视频免费| www.激情五月天.com| 狠干综合| 99精品视频网站| 欧美丁香六月激情视频| 自拍视频99| 欧美黑人巨大性生话| 久久综合影院| 婷婷爱五月天人人爱| 激情深爱综合| 亚洲中文AV网站| 亚洲妇女熟BBW| 婷婷色五月丁香六月欧美啪| 俺也去综合| 99丁香五月婷| 91人人爽人人操| 欧美成人AAA片一区国产精品| 六月久久婷婷| 99热国产这里只有精品| 激情网战码亚洲A| 99热综合色图| 色都都狠狠色都都色综合色| 五月花激情| 免费不卡狠操美女视频网| 操熟女成人网| 男女久久婷婷五月天| 久久这里只有精品久久| 久青草大香蕉| 97在线天堂| 亚洲美女裸体被操在线观看| 日日天天干| 五月丁香偷拍| 亚洲人妻Av| 成人视频在线免费播放| 九九色图| 久久久久久久久人妻| 五月丁香六月婷婷综合网| 色www.con| 全高清无码视頻| 欧美啪啪五月天| 大伊香蕉玖玖爱| 久久38视频| 五月天自拍网| 五月色网| 五月激情综合性爱| 夜夜爽天操| 青草青草视频2免费观看| 超碰在线免费| 人人摸人人干| 欧美WW在线网| 狠狠操之狠狠操| 亚洲免费看片| 97人人操人人| 五月天婷婷基地| 影音先锋男人AV资源站| 五月天日日操夜夜操 | 成人VAV视频在线观看| 俺也去在线视频| 九九久久偷拍| 五月天激情在线视频| 色综合色色| 久久婷婷六月综合| 99啪99| 99久久.www| 五月丁香五月综合欧美| 丁香五月天天| www.henhengan| 亚洲人妻电影| www.五月.com| 色综合久网| 综合网亚洲| 超碰9在| 超碰资源在线| 丁香婷婷大香蕉| 婷婷不干网| 99久热在线精品| 思思色综合网站|