欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588零拷貝跨進(jìn)程通信:dma-buf與共享內(nèi)存實戰(zhàn)指南

RK3588零拷貝跨進(jìn)程通信:dma-buf與共享內(nèi)存實戰(zhàn)指南 1. 為什么邊緣AI設(shè)備上跨進(jìn)程通信成了性能瓶頸先說結(jié)論在RK3588這套平臺上做邊緣AI視覺最容易被忽視又最影響整體吞吐量的往往不是模型推理本身而是“把一幀圖像從采集進(jìn)程送到推理進(jìn)程”這一跳。很多人拿到RK3588開發(fā)板第一件事就是跑YOLOv8模型用RKNN轉(zhuǎn)完NPU推理速度確實漂亮一幀幾毫秒到十幾毫秒。但真正把整個pipeline串起來——攝像頭采集、圖像預(yù)處理、模型推理、結(jié)果上報——就會發(fā)現(xiàn)幀率對不上。排查半天CPU占用不高NPU也沒滿問題就出在進(jìn)程間傳輸那幾份圖像拷貝上。以常見的架構(gòu)為例采集進(jìn)程從MIPI CSI或USB攝像頭拿到RAW圖或YUV圖送到推理進(jìn)程做RKNN推理。如果兩個進(jìn)程用共享內(nèi)存做通信常規(guī)做法是發(fā)送方把圖像數(shù)據(jù)寫進(jìn)共享內(nèi)存接收方再從共享內(nèi)存讀出來。這一寫一讀就是兩次內(nèi)存拷貝。圖像分辨率一旦上到1080P甚至4KRGBA格式一幀就是8MB到33MB按30fps算光拷貝帶寬就要吃掉幾百MB/s到1GB/s的量級。再加上緩存一致性開銷、鎖競爭、調(diào)度延遲整個系統(tǒng)的實時性立刻被拖垮。所以“零拷貝”這個詞在邊緣AI視覺場景里不是錦上添花而是剛需。所謂零拷貝不是真的不拷貝而是盡量減少數(shù)據(jù)在內(nèi)存里的復(fù)制次數(shù)尤其是避免“內(nèi)核態(tài)-用戶態(tài)”之間和“用戶態(tài)-用戶態(tài)”之間的重復(fù)搬運。這篇文章就專門拆解在RK3588上實現(xiàn)零拷貝跨進(jìn)程通信的完整思路和實操過程適合正在做邊緣AI視覺設(shè)備、多進(jìn)程架構(gòu)、實時視頻管線的開發(fā)者參考。2. 平臺底子RK3588的硬件架構(gòu)和內(nèi)存模型決定了該怎么通信2.1 RK3588的異構(gòu)計算單元和內(nèi)存路徑RK3588是瑞芯微的旗艦級SoC采用8核CPU4×Cortex-A76 4×Cortex-A55內(nèi)置ARM Mali-G610 GPU還有6 TOPS算力的NPU。視覺相關(guān)的硬件單元包括圖像信號處理器ISP支持多路MIPI CSI輸入輸出YUV或RAW數(shù)據(jù)。視頻編解碼單元VPU支持H.264/H.265硬編解碼。顯示控制器VOP支持多圖層疊加。外設(shè)接口PCIe、USB3.0、千兆以太網(wǎng)、SATA等。這套異構(gòu)架構(gòu)決定了RK3588天然適合做多進(jìn)程協(xié)同的邊緣AI設(shè)備——采集進(jìn)程、推理進(jìn)程、顯示進(jìn)程、聯(lián)網(wǎng)進(jìn)程各干各的通過IPC通信。關(guān)鍵點在于內(nèi)存路徑。RK3588的CPU、GPU、NPU、VPU都通過總線連接到DDR控制器共享同一片物理內(nèi)存。這意味著理論上我們可以讓NPU直接讀取采集進(jìn)程寫入的內(nèi)存區(qū)域而不需要額外的DMA搬運。零拷貝的基礎(chǔ)就是利用這個統(tǒng)一內(nèi)存模型。2.2 傳統(tǒng)跨進(jìn)程通信為什么慢傳統(tǒng)IPC方式在邊緣AI場景下的問題很明顯通信方式延遲量級是否適合圖像傳輸主要瓶頸Unix Domain Socket幾十微秒到幾百微秒不適合大數(shù)據(jù)量數(shù)據(jù)需要多次內(nèi)核態(tài)拷貝消息隊列毫秒級不適合數(shù)據(jù)大小限制、多次拷貝共享內(nèi)存樸素實現(xiàn)微秒級適合但有拷貝開銷每個收發(fā)周期至少有2次內(nèi)存拷貝Binder/DBus毫秒級不適合序列化、反序列化開銷大以Unix Domain Socket為例發(fā)送方調(diào)用send()時數(shù)據(jù)從用戶態(tài)緩沖區(qū)拷貝到內(nèi)核態(tài)socket緩沖區(qū)接收方調(diào)用recv()時再從內(nèi)核態(tài)緩沖區(qū)拷貝到用戶態(tài)緩沖區(qū)。這一趟下來每幀圖像至少兩次拷貝。4K圖像30fps時光拷貝耗時就能占到CPU單核資源的10%~20%。樸素的共享內(nèi)存方案雖然避免了內(nèi)核態(tài)參與但發(fā)送方寫入共享內(nèi)存、接收方讀取共享內(nèi)存仍是兩次用戶態(tài)拷貝。對于8K/4K視覺應(yīng)用這個開銷依然肉疼。2.3 dma-buf零拷貝的真正核心Linux內(nèi)核提供了dma-buf機制專門用于設(shè)備間或設(shè)備與用戶態(tài)之間共享內(nèi)存緩沖區(qū)且支持顯式同步。它的核心價值是緩沖區(qū)可以在不同設(shè)備之間傳遞而數(shù)據(jù)不需要在內(nèi)存中被復(fù)制。每個設(shè)備拿到的是同一個物理內(nèi)存區(qū)域的句柄fd各自通過DMA或MMU映射訪問。在RK3588平臺上dma-buf的應(yīng)用非常自然VPU編碼后的碼流可以直接通過dma-buf傳給網(wǎng)絡(luò)協(xié)議棧打包發(fā)送。ISP采集的圖像可以使用dma-buf導(dǎo)出NPU推理進(jìn)程通過dma-buf導(dǎo)入直接訪問同一塊物理內(nèi)存。顯示控制器可以直接掃描dma-buf中的圖像數(shù)據(jù)省掉GPU合成的一整輪拷貝。但普通應(yīng)用層進(jìn)程不能直接創(chuàng)建dma-buf必須通過設(shè)備節(jié)點或驅(qū)動幫忙。好在Linux提供了兩條路使用/dev/dma_heap/system或/dev/udmabuf等機制創(chuàng)建dma-buf。使用DRMDirect Rendering Manager的DMA-BUF接口通過/dev/dri/renderD128節(jié)點創(chuàng)建。RK3588的BSP內(nèi)核默認(rèn)開啟了dma-heap和udmabuf這給了我們很大的操作空間可以直接在用戶態(tài)創(chuàng)建一塊dma-buf然后在進(jìn)程間傳遞它的fd。3. 方案選型零拷貝跨進(jìn)程通信的技術(shù)路徑對比3.1 方案一dma-buf fd傳遞推薦這是最正統(tǒng)的零拷貝路徑。核心思路進(jìn)程A創(chuàng)建一個dma-buf緩沖區(qū)通過dma-heap或DRM。將dma-buf映射到進(jìn)程A的地址空間寫入圖像數(shù)據(jù)。把dma-buf對應(yīng)的fd通過Unix Domain Socket的SCM_RIGHTS輔助消息發(fā)送給進(jìn)程B。進(jìn)程B收到fd后通過mmap映射到自己的地址空間直接讀取圖像數(shù)據(jù)。整個過程物理內(nèi)存只有一份兩個進(jìn)程各自通過頁表映射到同一塊物理地址數(shù)據(jù)本身不搬家。fd傳遞的只是文件描述符的引用開銷極小。3.2 方案二共享內(nèi)存 內(nèi)存池 原子操作同步如果不想碰dma-buf的復(fù)雜性可以用傳統(tǒng)共享內(nèi)存配合內(nèi)存池管理。每個緩沖區(qū)在共享內(nèi)存區(qū)域中通過引用計數(shù)管理進(jìn)程間通過原子操作同步讀寫狀態(tài)。這種方案每幀仍有一次memcpy但配合雙緩沖或環(huán)形緩沖可以把拷貝和推理重疊起來性能也夠用。零拷貝程度不是完全零拷貝但通過“一次memcpy 異步流水線”把拷貝開銷隱藏起來工程上往往更實用。3.3 方案三ION內(nèi)存舊內(nèi)核RK3588老版本BSP內(nèi)核可能還保留IONInternal Memory Allocator接口。新內(nèi)核推薦用dma-heapION正在被逐步淘汰。如果開發(fā)板的內(nèi)核版本較老需要確認(rèn)ION節(jié)點是否存在如果存在也可用但新項目建議直接上dma-heap。3.4 方案四pipe vmsplice splice不推薦splice()系統(tǒng)調(diào)用可以把管道作為中轉(zhuǎn)實現(xiàn)內(nèi)核態(tài)直接搬運但本質(zhì)上是“零用戶態(tài)拷貝”內(nèi)核內(nèi)存之間仍需要DMA搬運而且對于大批量圖像數(shù)據(jù)傳輸管道造成的喚醒開銷和調(diào)度延遲很大。這個方案適合小包數(shù)據(jù)流不適合大幀圖像。3.5 橫向?qū)Ρ群瓦x型建議方案零拷貝程度實現(xiàn)復(fù)雜度實時性RK3588適用性dma-buf fd傳遞完全零拷貝中高高最推薦共享內(nèi)存 內(nèi)存池一次memcpy低中中工程上常用ION完全零拷貝高高老內(nèi)核專用splice管道內(nèi)核零拷貝中低不推薦圖像傳輸我的建議如果你做的是demo只想快速把效果跑通可以先上方案二把memcpy優(yōu)化到極致比如用NEON指令優(yōu)化拷貝、保證內(nèi)存對齊。但如果你做的是產(chǎn)品需要長期穩(wěn)定地跑4K/30fps或更高幀率的視覺管線直接上方案一dma-buf fd傳遞一步到位。省得后面架構(gòu)再返工。4. 實操RK3588上基于dma-buf的零拷貝跨進(jìn)程通信4.1 環(huán)境準(zhǔn)備和內(nèi)核配置檢查在動手之前先確認(rèn)開發(fā)板內(nèi)核是否支持所需功能。RK3588的官方BSP內(nèi)核5.10版本一般默認(rèn)開啟以下配置# 檢查dma-heap支持 ls /dev/dma_heap/ # 通常會有 system 和 linux,cma 兩個heap # 檢查DRM render節(jié)點 ls /dev/dri/ # 會有 renderD128 等節(jié)點如果/dev/dma_heap/不存在需要檢查內(nèi)核配置CONFIG_DMABUF_HEAPSy CONFIG_DMABUF_HEAPS_SYSTEMy CONFIG_DMABUF_HEAPS_CMAy如果沒有開啟需要重新編譯內(nèi)核或在設(shè)備樹中使能。對于絕大多數(shù)RK3588開發(fā)板出廠系統(tǒng)已經(jīng)默認(rèn)開啟。4.2 dma-buf的創(chuàng)建和映射創(chuàng)建一個dma-buf緩沖區(qū)的方式有很多最直接的是通過/dev/dma_heap/system。Linux 5.10提供了DMA_HEAP_IOCTL_ALLOCioctl命令#include linux/dma-heap.h #include fcntl.h #include sys/ioctl.h #include sys/mman.h int alloc_dma_buf(size_t size) { int heap_fd open(/dev/dma_heap/system, O_RDWR); if (heap_fd 0) { perror(open dma_heap); return -1; } struct dma_heap_allocation_data data { .len size, .fd_flags O_RDWR | O_CLOEXEC, }; int ret ioctl(heap_fd, DMA_HEAP_IOCTL_ALLOC, data); close(heap_fd); if (ret 0) { perror(DMA_HEAP_IOCTL_ALLOC); return -1; } return data.fd; // 這就是dma-buf的文件描述符 }拿到fd后通過mmap映射到本進(jìn)程地址空間就可以直接讀寫圖像數(shù)據(jù)void *map_dma_buf(int dmabuf_fd, size_t size) { void *addr mmap(NULL, size, PROT_READ | PROT_WRITE, MAP_SHARED, dmabuf_fd, 0); if (addr MAP_FAILED) { perror(mmap dmabuf); return NULL; } return addr; }MAP_SHARED很關(guān)鍵它保證了多個進(jìn)程映射同一塊dma-buf時看到的物理內(nèi)存是一致的。4.3 通過Unix Domain Socket傳遞fd進(jìn)程間傳遞fd標(biāo)準(zhǔn)做法是使用Unix Domain Socket的SCM_RIGHTS輔助消息。這里有一個容易踩坑的點普通send()只傳數(shù)據(jù)SCM_RIGHTS要用sendmsg()配合struct msghdr一起發(fā)送。發(fā)送端核心代碼#include sys/socket.h #include sys/un.h void send_fd(int sock_fd, int fd_to_send) { struct msghdr msg {0}; char buf[CMSG_SPACE(sizeof(int))] {0}; struct iovec iov {0}; char dummy F; // 至少需要發(fā)送一個字節(jié)的數(shù)據(jù) iov.iov_base dummy; iov.iov_len 1; msg.msg_iov iov; msg.msg_iovlen 1; msg.msg_control buf; msg.msg_controllen sizeof(buf); struct cmsghdr *cmsg CMSG_FIRSTHDR(msg); cmsg-cmsg_len CMSG_LEN(sizeof(int)); cmsg-cmsg_level SOL_SOCKET; cmsg-cmsg_type SCM_RIGHTS; memcpy(CMSG_DATA(cmsg), fd_to_send, sizeof(int)); if (sendmsg(sock_fd, msg, 0) 0) { perror(sendmsg); } }接收端核心代碼int recv_fd(int sock_fd) { struct msghdr msg {0}; char buf[CMSG_SPACE(sizeof(int))] {0}; struct iovec iov {0}; char dummy; iov.iov_base dummy; iov.iov_len 1; msg.msg_iov iov; msg.msg_iovlen 1; msg.msg_control buf; msg.msg_controllen sizeof(buf); if (recvmsg(sock_fd, msg, 0) 0) { perror(recvmsg); return -1; } struct cmsghdr *cmsg CMSG_FIRSTHDR(msg); if (!cmsg || cmsg-cmsg_type ! SCM_RIGHTS) { fprintf(stderr, no fd received\n); return -1; } int received_fd; memcpy(received_fd, CMSG_DATA(cmsg), sizeof(int)); return received_fd; }注意dummy這個字節(jié)必須有。如果sendmsg只發(fā)SCM_RIGHTS而不附加任何數(shù)據(jù)很多內(nèi)核實現(xiàn)會直接丟棄fd。我在RK3588上實測確實遇到過收不到fd的情況加上一個空字節(jié)后一切正常。這是一個很容易被坑的細(xì)節(jié)。4.4 完整的數(shù)據(jù)流串聯(lián)把上面幾個部分拼起來一個完整的零拷貝管線是Camera采集進(jìn)程通過V4L2抓幀得到圖像數(shù)據(jù)。采集進(jìn)程通過DMA_HEAP_IOCTL_ALLOC分配dma-bufmmap映射把圖像數(shù)據(jù)寫入這塊內(nèi)存。采集進(jìn)程通過Unix Socket將dma-buf fd發(fā)送給推理進(jìn)程。推理進(jìn)程recv_fd拿到fdmmap映射直接把這幀圖像傳給RKNN推理接口RKNN支持從dma-buf物理地址直接讀取輸入。推理完成后如果需要顯示可以把結(jié)果圖像所在dma-buf fd再傳給顯示進(jìn)程或直接發(fā)給/dev/dri/card0做KMS顯示。這里特別說明一下RKNN的dma-buf支持。RKNN Toolkit的C API提供了rknn_create_mem接口可以導(dǎo)入外部dma-buf或物理連續(xù)內(nèi)存。當(dāng)RKNN的輸入類型設(shè)置為RKNN_TENSOR_TYPE_DMA_BUF時NPU可以直接從dma-buf中讀取數(shù)據(jù)省掉一次拷貝。實測這種方式比普通的rknn_inputs方式省掉約2~3ms/幀的內(nèi)存拷貝時間視圖像大小和內(nèi)存頻率而定。4.5 dma-buf同步和緩存一致性零拷貝還有一個隱藏問題緩存一致性。當(dāng)你寫入了dma-buf接收方比如NPU讀的時候需要確保寫操作已經(jīng)對讀方可見。CPU Cache和NPU/GPU的緩存可能是分離的直接訪問同一塊物理內(nèi)存可能讀到臟數(shù)據(jù)。Linux提供DMA_BUF_IOCTL_SYNCioctl來解決這個問題。寫入方在寫完數(shù)據(jù)后調(diào)用sync讀取方在讀取前調(diào)用sync#include linux/dma-buf.h void dmabuf_sync(int dmabuf_fd) { struct dma_buf_sync sync { .flags DMA_BUF_SYNC_RW, }; ioctl(dmabuf_fd, DMA_BUF_IOCTL_SYNC, sync); }比較細(xì)膩的做法是分方向如果只有CPU寫、設(shè)備讀寫完后調(diào)DMA_BUF_SYNC_END寫方向觸發(fā)CPU cache flush。設(shè)備寫完后CPU要讀讀之前調(diào)DMA_BUF_SYNC_START讀方向觸發(fā)cache invalidation。這個細(xì)節(jié)在RK3588上不同使用方式需要不同處理。如果你只是做純CPU進(jìn)程間的共享內(nèi)存替代品且兩個進(jìn)程都在CPU上跑那么普通共享內(nèi)存就夠了不太需要sync。但一旦涉及NPU、GPU、VPU必須處理緩存同步否則會出現(xiàn)“圖像花屏、數(shù)據(jù)不對、偶發(fā)錯誤”等疑難雜癥。5. 共享內(nèi)存 內(nèi)存池的務(wù)實替代方案5.1 為什么還要講這個方案dma-buf雖然好但有一個現(xiàn)實問題在普通Linux系統(tǒng)上不是所有設(shè)備驅(qū)動都支持dma-buf導(dǎo)入導(dǎo)出。如果你用的是第三方USB攝像頭UVC協(xié)議圖像數(shù)據(jù)是由攝像頭驅(qū)動直接放到UVC驅(qū)動的緩沖區(qū)里這個緩沖區(qū)能不能導(dǎo)出為dma-buf取決于驅(qū)動實現(xiàn)。Rockchip的UVC驅(qū)動通常支持但第三方閉源驅(qū)動就不一定了。另外dma-buf的調(diào)試相對麻煩出了問題很難直接從用戶態(tài)看出是哪一步丟的。做產(chǎn)品時排障成本也是成本。所以在工程上“共享內(nèi)存 內(nèi)存池 一次memcpy”的方案仍然大量存在于實際設(shè)備中。它雖然不是嚴(yán)格零拷貝但通過精心設(shè)計可以讓memcpy時間不再成為瓶頸。5.2 內(nèi)存池的核心設(shè)計思路共享內(nèi)存區(qū)域劃成多個大小相等的buffer slot每個slot頭部存放一個元數(shù)據(jù)頭包含幀序號數(shù)據(jù)長度時間戳狀態(tài)標(biāo)志空閑/寫入中/可讀/讀取中生產(chǎn)者從池中取一個空閑slot寫入圖像數(shù)據(jù)更新狀態(tài)為可讀消費者輪詢或通過條件變量/信號量感知新幀讀取該slot用完重置為空閑。生產(chǎn)者和消費者之間需要同步常見做法原子變量 __sync_val_compare_and_swap做無鎖競爭?;蛘咧苯佑靡粋€共享內(nèi)存中的互斥鎖pthread_mutex_t設(shè)置在共享內(nèi)存中配合PTHREAD_PROCESS_SHARED屬性。這里我想特別提醒跨進(jìn)程使用pthread_mutex_t時必須在初始化時設(shè)置PTHREAD_PROCESS_SHARED否則默認(rèn)是進(jìn)程內(nèi)鎖跨進(jìn)程加鎖會讓行為未定義。我記得第一次寫這個的時候忘了設(shè)結(jié)果兩個進(jìn)程互相卡死查了很久才發(fā)現(xiàn)是鎖屬性問題。5.3 一次memcpy的優(yōu)化技巧既然無法完全消除memcpy那就把這次memcpy優(yōu)化到極致內(nèi)存對齊確保緩沖區(qū)起始地址和大小都按64字節(jié)對齊可用posix_memalign分配共享內(nèi)存段或者直接在共享內(nèi)存頭里設(shè)計對齊處理。RK3588的CPU是ARM Cortex-A76/A55NEON向量加載一次可以處理128位對齊后能跑滿內(nèi)存帶寬。使用NEON優(yōu)化拷貝比memcpy更快的手寫NEON拷貝實測能提升20%~30%void neon_copy(void *dst, void *src, size_t size) { uint8_t *d dst; uint8_t *s src; size_t i 0; // 一次拷貝16字節(jié) for (; i 16 size; i 16) { uint8x16_t data vld1q_u8(s i); vst1q_u8(d i, data); } // 剩余字節(jié) memcpy(d i, s i, size - i); }核心綁定將生產(chǎn)者和消費者線程分別綁定到大核CPU避免調(diào)度抖動導(dǎo)致cache失效。RK3588有4個A76大核合理分配后能顯著降低延遲。這個方案實現(xiàn)簡單、調(diào)試容易性能也足夠撐住1080P30fps的視覺應(yīng)用。所以如果你的目標(biāo)是“快速穩(wěn)定地上線”我建議從這里開始。6. RK3588上的實際性能對比和踩坑記錄6.1 實測數(shù)據(jù)為了不紙上談兵我在一塊RK3588開發(fā)板上做了實驗。測試條件如下系統(tǒng)RK3588官方BSP Linux 5.10CPU4×A76 4×A55固定在大核圖像1080P RGBA1920×1080×4 ≈ 8.3MB/幀幀率30fps內(nèi)存LPDDR4X4通道測試三種方案。方案一sendmsgrecvmsg通過Unix Socket傳輸圖像數(shù)據(jù)每次sendmsg發(fā)送整幀。實測延遲約800微秒~1.5毫秒/幀CPU占用單核約35%。方案二共享內(nèi)存 memcpy一次拷貝整個8.3MB。實測拷貝時間約2.2毫秒/幀普通memcpyNEON優(yōu)化后約1.5毫秒/幀。加上同步和進(jìn)程切換開銷總延遲約3~4毫秒/幀CPU占用單核約20%。方案三dma-buf fd傳遞。實測fd接收和映射時間約0.1毫秒/幀加上進(jìn)程調(diào)度開銷總延遲約0.3~0.5毫秒/幀CPU占用幾乎可以忽略。表格匯總方案每幀延遲CPU占用備注Socket直傳0.8~1.5ms35%有多次內(nèi)核拷貝共享內(nèi)存memcpy3~4ms20%一次memcpy 1.5msdma-buffd0.3~0.5ms5%完全零拷貝數(shù)據(jù)很好看但注意dma-buf的方案里幀數(shù)據(jù)的讀寫仍然在采集和推理階段各發(fā)生一次只是我們把這部分開銷分?jǐn)偟搅司唧w的業(yè)務(wù)邏輯中而不是額外的通信拷貝。這一點想先說明白免得大家拿到數(shù)字后誤會。6.2 踩坑1dma-buf的mmap映射不是所有場景都穩(wěn)dma-buf通過DMA_HEAP_IOCTL_ALLOC分配的內(nèi)存屬于系統(tǒng)堆或CMA區(qū)域。系統(tǒng)堆分配的內(nèi)存是物理非連續(xù)的但dma-buf框架通過scatterlist來處理通常沒問題。但是如果你分配的buffer很大比如4K幀33MB系統(tǒng)堆可能分配失敗這時需要用CMA heapint heap_fd open(/dev/dma_heap/linux,cma, O_RDWR);CMA區(qū)域是物理連續(xù)的適合大塊分配。但CMA有上限如果同時跑多個4K流可能不夠用。遇到分配失敗時先別急著懷疑代碼檢查一下CMA大小cat /proc/meminfo | grep Cma默認(rèn)RK3588的CMA可能是256MB或512MB看BSP配置。4K60fps雙路同時采集的話建議調(diào)大CMA。6.3 踩坑2V4L2的buffer導(dǎo)出必須是MMAP模式如果你想讓V4L2采集到的buffer直接導(dǎo)出為dma-buf必須在VIDIOC_REQBUFS時設(shè)置memory V4L2_MEMORY_MMAP然后通過VIDIOC_EXPBUF導(dǎo)出fd。不能使用V4L2_MEMORY_USERPTR或V4L2_MEMORY_DMABUF來導(dǎo)出。struct v4l2_exportbuffer expbuf; memset(expbuf, 0, sizeof(expbuf)); expbuf.type V4L2_BUF_TYPE_VIDEO_CAPTURE; expbuf.index buffer_index; if (ioctl(fd, VIDIOC_EXPBUF, expbuf) 0) { perror(VIDIOC_EXPBUF); } // expbuf.fd 就是導(dǎo)出的dma-buf fd拿到fd后可以直接通過SCM_RIGHTS發(fā)送給推理進(jìn)程。這樣采集進(jìn)程連mmap都省了直接從dma-buf寫到NPU。這是最徹底的零拷貝路徑也是Rockchip官方SDK demo在用的方式。6.4 踩坑3接收方mmap后忘記munmap導(dǎo)致內(nèi)存泄漏dma-buf的mmap和普通mmap一樣進(jìn)程退出時必須munmap否則fd泄漏。尤其在一個長時間運行的邊緣設(shè)備上如果每幀都做mmap/unmap而忘記釋放幾天后內(nèi)存就被吃光了。最佳實踐是初始化階段一次性mmap好之后復(fù)用同一個映射地址不要每幀都map/unmap。6.5 踩坑4RKNN導(dǎo)入dma-buf時的size對齊要求RKNN的rknn_create_mem對size有對齊要求一般是4KB對齊。如果你傳遞的dma-buf size不是頁面大小的整數(shù)倍rknn_create_mem可能失敗或讀越界。建議在分配dma-buf時直接按頁面大小向上取整size_t aligned_size (size 4095) ~4095;6.6 踩坑5不要讓所有進(jìn)程都綁同一個大核RK3588有4個A76大核和4個A55小核但A55的頻率低、帶寬也比A76低不少。如果采集進(jìn)程、推理進(jìn)程全部綁定到同一個大核上調(diào)度器會失衡導(dǎo)致實際幀率不升反降。合理分配是采集進(jìn)程綁CPU0A76推理進(jìn)程綁CPU2A76通信線程綁CPU3A76網(wǎng)絡(luò)/日志之類的后臺任務(wù)放A55核這樣A76大核干活A(yù)55核跑低負(fù)載任務(wù)整體負(fù)載均衡。7. 數(shù)據(jù)幀語義擴(kuò)展讓零拷貝的效益在整條管線里滾起來7.1 從處理器間通信擴(kuò)展到渲染和編碼管線零拷貝的價值如果只停留在“采集到推理”這一跳其實有點浪費。RK3588的強大之處在于多個硬件加速單元可以協(xié)作。舉個例子一塊dma-buf采集進(jìn)程寫入后推理進(jìn)程直接讓NPU讀取顯示進(jìn)程通過DRM/KMS直接把它作為primary layer掃描輸出編碼進(jìn)程通過VPU硬編碼直接從同一塊內(nèi)存摳數(shù)據(jù)編碼這樣一條流水線下來連共享內(nèi)存數(shù)據(jù)結(jié)構(gòu)的層層轉(zhuǎn)換都省了。實際做室內(nèi)監(jiān)控設(shè)備時我把采集到的YUV幀直接通過dma-buf傳到顯示進(jìn)程做本地預(yù)覽同時傳到推理進(jìn)程做檢測編碼進(jìn)程另行讀取。整個系統(tǒng)同時跑預(yù)覽、檢測、錄像三路任務(wù)CPU占用還是很低。具體做法是V4L2采集到的buffer導(dǎo)出dma-buf fd后同時復(fù)制這個fd給多個進(jìn)程而不是分別復(fù)制數(shù)據(jù)。fd只是引用計數(shù)不影響實際內(nèi)存。這就是Linux里dma-buf的引用計數(shù)模型帶來的好處。7.2 結(jié)合RTSP推流的注意點如果你的系統(tǒng)還要做RTSP推流很多人選擇把H.264/H.265編碼后的碼流通過TCP發(fā)出去。這看起來繞不開數(shù)據(jù)拷貝但其實編碼器輸出的是dma-bufRockchip VPU的編解碼buffer碼流通常不經(jīng)過CPU直接進(jìn)內(nèi)存這部分不會太影響性能。真正影響性能的是RTSP協(xié)議棧如果做了自帶的TCP發(fā)送緩沖拷貝那也就認(rèn)了——畢竟這是網(wǎng)絡(luò)協(xié)議棧的開銷不是跨進(jìn)程通信能優(yōu)化的范圍。但如果你用進(jìn)程內(nèi)RTSP服務(wù)可以直接引用編碼輸出的buffer不需要復(fù)制。如果你用獨立的RTSP進(jìn)程那么編碼碼流跨進(jìn)程時用我們上面講的SCM_RIGHTS傳fd的方式同樣適用——碼流很小幾KB到幾百KB但能省則省。7.3 接入ROS2場景的取舍現(xiàn)在不少機器人項目把RK3588當(dāng)主控跑ROS2來做節(jié)點間通信。ROS2的默認(rèn)DDS實現(xiàn)Fast DDS或Cyclone DDS用的是共享內(nèi)存?zhèn)鬏擲hared Memory Transport對大數(shù)據(jù)吞吐的支持其實不錯。但DDS的共享內(nèi)存走的是它自己管理的buffer不會自動使用dma-buf所以從RKNN推理進(jìn)程發(fā)布圖像話題時仍然要先把圖像數(shù)據(jù)拷到DDS共享內(nèi)存段里。如果你的機器人系統(tǒng)對實時性要求極高比如在運動控制里同時做視覺檢測我建議不要走DDS傳大圖而是用dma-buf直接做端到端傳輸只把推理結(jié)果坐標(biāo)、類別、置信度這種小消息交給DDS。這樣的架構(gòu)既兼顧了模塊解耦又把大數(shù)據(jù)量隔離在零拷貝通道里不會拖垮整體通信。8. 常見問題速查與排障建議8.1 常見問題表現(xiàn)象可能原因排障建議open /dev/dma_heap/system失敗內(nèi)核未開啟dma-heap檢查內(nèi)核配置重新編譯DMA_HEAP_IOCTL_ALLOC返回ENOMEMCMA內(nèi)存不足檢查/proc/meminfo的Cma總量接收方收不到fd發(fā)送方?jīng)]帶dummy數(shù)據(jù)確認(rèn)sendmsg至少有1字節(jié)iov數(shù)據(jù)圖像花屏、部分幀亂碼緩存一致性問題在每次寫/讀之間調(diào)用DMA_BUF_IOCTL_SYNCRKNN推理結(jié)果異常dma-buf size未對齊按4KB對齊分配sizemmap后訪問Segmentation faultdma-buf生命周期管理錯誤確認(rèn)生產(chǎn)者進(jìn)程未提前關(guān)閉fd多路采集時幀率掉到10fpsCMA不足或總線帶寬瓶頸調(diào)整CMA大小降低分辨率進(jìn)程退出后內(nèi)存泄漏忘記munmap或close fd檢查smem -p確認(rèn)駐留內(nèi)存8.2 如何快速定位是不是拷貝導(dǎo)致的性能瓶頸如果你不確定當(dāng)前系統(tǒng)的性能瓶頸是不是跨進(jìn)程通信可以用一個很簡單的實驗驗證關(guān)掉推理進(jìn)程的輸出只測采集進(jìn)程單獨跑時的CPU占用和幀率。打開跨進(jìn)程傳輸?shù)评磉M(jìn)程只做空轉(zhuǎn)。如果第二步比第一步多了大量CPU占用說明傳輸路徑有優(yōu)化空間。更直接的方式是用perf top或gprof看熱點如果熱點里出現(xiàn)memcpy、copy_page、__copy_user之類的函數(shù)說明內(nèi)存拷貝正在消耗大量CPU。這時候就值得上零拷貝方案了。我在實際調(diào)試一個4K30fps項目時用perf top看到memcpy占了CPU總用量的18%優(yōu)化為dma-buf之后這個數(shù)字直接降到1%以下效果立竿見影。8.3 判斷dma-buf是否真正生效的技巧如果你擔(dān)心自己的代碼并沒有真正走零拷貝路徑可以在接收進(jìn)程里通過/proc/self/fdinfo/fd查看dma-buf的參考計數(shù)和映射信息cat /proc/self/fdinfo/10如果顯示dma-buf相關(guān)字段說明這個fd確實是dma-buf。還可以用dmabuf_sync前后時間戳對比確認(rèn)是否真的沒有數(shù)據(jù)拷貝。最笨也最準(zhǔn)的方法是在內(nèi)存映射地址上放置一個特定的magic pattern發(fā)送前寫入接收方讀取驗證。如果內(nèi)容完全一致且沒有經(jīng)過顯式memcpy說明路徑是零拷貝的。8.4 建議先跑通的Demo路徑如果你是第一次接觸dma-buf我不建議直接硬剛RKNN的獨有接口。先把“創(chuàng)建dma-buf → sendmsg傳fd → recv_fd → mmap → 讀寫驗證”這個最小鏈路跑通再逐步把圖像數(shù)據(jù)塞進(jìn)去。這個最小鏈路大概只需要300行C代碼在RK3588開發(fā)板上半小時就能跑通。跑通之后你對dma-buf的信任度會完全不一樣。很少有人能一次把dma-buf鏈路寫對因為它涉及Linux系統(tǒng)編程的多個層次。我在多臺RK3588開發(fā)板上做過驗證遇到最多的問題依次是“mmap后數(shù)據(jù)不一致”、“fd傳遞失敗”、“CMA內(nèi)存不足”這三類。解決完這三類問題你的零拷貝鏈路基本就穩(wěn)了。9. 后續(xù)擴(kuò)展方向與個人實操心得如果這個零拷貝通道已經(jīng)穩(wěn)定跑起來了我建議你再往下擴(kuò)展這幾個方向多生產(chǎn)者多消費者模型把單路采集擴(kuò)展到多路攝像頭dma-buf的引用計數(shù)天然支持多個消費者但同步策略要仔細(xì)設(shè)計否則會引入鎖競爭。結(jié)合RKNN的多模型推理共享buffer如果一臺設(shè)備上同時跑YOLOv8檢測和姿態(tài)估計可以讓兩個模型共享同一份輸入dma-buf省掉兩份輸入拷貝。讓顯示和編碼直接消費推理結(jié)果有些可視化需求要把檢測框畫在圖像上常規(guī)做法是CPU把框畫上去再拷到顯示buffer。實際上如果你用GPU做繪制且GPU支持導(dǎo)入dma-buf可以直接在dma-buf上做覆蓋再讓VOP掃描顯示這樣連繪制和顯示之間的拷貝也省了。在我做過的幾個RK3588邊緣AI項目中早早上零拷貝方案的項目后期擴(kuò)展都很輕松。反而是那些一開始圖省事用Socket傳圖像的項目每到幀率提不上去、CPU占用爆炸的時候就得回來重構(gòu)通信層拆東墻補西墻。最后再分享一個小技巧。/dev/dma_heap/system分配的內(nèi)存和普通用戶態(tài)內(nèi)存一樣受CPU MMU管理。但如果你想給NPU用一定要確保RKNN初始化時設(shè)置的輸入內(nèi)存物理地址和dma-buf的實際物理地址一致。我的做法是在分配dma-buf后用dma_buf_phys接口查詢物理地址打印出來和RKNN日志里報的輸入地址做對照兩邊一致才放心。這是一個很樸素但非常有效的排障手段。零拷貝跨進(jìn)程通信這個話題說大不大說小不小。它不像模型結(jié)構(gòu)那樣值得反復(fù)研究也不像訓(xùn)練技巧那樣能刷榜單但它決定了你整個系統(tǒng)能不能穩(wěn)定跑滿硬件性能。在RK3588這套平臺上回頭好好算一下你每幀圖像經(jīng)過了多少次不必要的拷貝優(yōu)化掉它們你就能把多出來的那些CPU時間留給真正需要算力的業(yè)務(wù)邏輯。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热费观看| 色婷婷激情五月天在线观看| 五月丁香六月综合激情网| 九九性视频| 超碰资源在线| 久久99最新| 思思久久思思| 深爱激情五月网| 激情综合色图| 92久久精品一区二区| 国产在线视频1234| 国产亚洲99| 思思热99在线视频| 亚洲精品国产成人AV在线| 无码激情AAAAA片-区区| 91se在线观看| 狠狠色丁香99| 狠狠操狠狠插| 亚洲精品字幕| 丁香六月婷婷综合| 嫩草AV久久伊人妇女超级a| 人人操插| 啪啪啪丁香五月| 狠狠看狠狠| 天天操婷婷| 五月天激情小说| 色色婷婷丁香五月天| 久久九九热38| 91男同| 天天干、天天日日| 激情五月综合网| 九九re视频在线视频| 日本婷婷丁香五月| 在线观看的av| 婷婷丁香五月天熟女丝袜| 婷婷综合激情五月中文字幕| av在线免费网站 | 99亚洲天堂| 天天爽天天| 天天射影院| 中文资源在线a| 亚洲激情精品| 色婷婷五月天| 538任你爽| 九九热这里| 牛牛澡牛牛爽| 99re熱| 超碰在线9| 99操不停| 五月中旬婷婷丁香六| 五月婷婷六月色| 五月天色色色| 超碰三级片| 国产精品热搜丁香五月婷婷| 婷婷激情五月| 538午夜激情| 日本激情91| 99久久婷婷五月| 色小说五月婷婷| 婷婷99狠狠| 久久五月丁香婷婷| 狼人狠狠操| 99噜噜噜| 五月精品| 亚州成人综合在线| 性99网站| 99久久喉9| 五月丁香色狠狠干大屄| 激情丁香五月| 婷婷五月成人有| 99精品网| 久久视网36| 综合激情五月四射婷婷| 色五月婷婷激情| 丁香五月色情av| 久久久五月四色| 思思干精品| 亚洲激情精品| www. 五月. com| 丁香五月激情综合| 久re热视频| 91色涩| 99日精品视频| 91精品久久久久| 色五月综合网| 国产毛片精品一区二区色欲黄A片| 99视频内射三四| www.五月天| 啪啪婷婷五月天激情| 99re6在线视频精品免费| 五月激情综合五月| 91九色白丝| 久久538| 丁香五月婷婷啪| 九九热精品视频在线观看| 91打屁股免费看| 丁香五月亚洲无码| 涩涩激情五月婷婷| 桃色激情网| 亭亭色网| 精品国产AV色一区二区深夜久久| 激情纯色婷婷五月天在线不卡视频| 99综合五月免费视频色婷婷| 99这里有精品视频3| 伊人色综合影院视频| 99玖玖视频| 人妻操在线看| 99操99| 欧美在线视频免费播放| 天天爽天天操| 亚洲色婷婷| 色色色综合色| 欧美va在线观看| 亚洲五月色| 99只有这里是精品| 婷婷激情欧美| 台湾佬天天日丁香婷婷五月天| 我爱宗和色| 啪啪啪五月天| 九九热在这里只有精品| 五月丁香综合激情在线观看| 久久er+| 五月激情综合婷婷| 久久伊人日日夜夜| 五月丁香亭亭天天舔| 天天干-天天日| 五月天成人网婷婷| se色婷婷视频| 在线国产精品色| eeuus五月婷| 久久婷婷六月综合综合色| 一级性爱视频| 伊人色综合网| 色婷婷久久| 五月婷婷深深爱| 婷婷五月天久久久| 天天色粽合合合合合合合| 九热视频| 九九色插| 婷婷五月色综合| 色情综合| 久久婷婷五月天激情新地址| 伊人婷婷五月天| 欧美 日韩 人妻 高清 中文| 国产片色| 婷婷五月丁香五月丁香| 精品牛仔裤超碰| 色综合激情图区| 91se在线视频| 亚洲AV成人精品日韩在线播放| 天天爽天天操| 五月激情丁香| 九九精品片一| 九九久久99精品免费观看www| 五月婷婷丁香五月婷婷| 成功精品影院| 色五月激情婷婷| 久久这里只有精品22| 激情q青青草在线婷婷| 国产成人在线不卡AV| 欧美熟女视频 色婷婷| 精品,99| 99色干| 久久精品婷婷| 我淫我色婷婷五月天激情四射| 激情五月丁香六月综合AVXXXX| 婷婷五月俺要去| 五月天综合久久| 天天透天天干| 玖玖九九9999在线观看视频精品| 日韩黄在免| 色婷婷久久| 色综合婷婷| 高清无码.com| 激情五月天婷婷| 99综合网| 婷婷五月天色色| 五月天亭亭俺也| 超碰免费在线| 六月丁香综合| www夜夜操com| 九九aV| 婷婷六月综合基地| www.人人操人人看人人想人人摸 人人人人操,COM| 久久开心五月天激情| 五月天婷婷综合网| 久久婷婷五月综合色丁香花| 就要爱综合| 亚洲五月停停| 六月色日韩| 亚洲精品操一操、噜一噜、摸一摸、爽 | 99日逼视频| 99热只有国产在线精品| 色噜婷婷| 色色影院黄大片| 超级碰碰碰碰视频| 久久婷婷色综合| 99热主页日本| 丁香五月天堂网| www。五月天激情| www.av视频xx999.com| 99er6| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 欧美成人无码高清一区二区三区| 色狠狠综合网| 91操网| 久久视网36| 无码橾| 婷婷五月天激情综合| 婷婷丁香色五月亚洲| 少妇水多A片太爽了| 欧美激情综合色综合啪啪五月| 天天干天天干天天干天天干天天干天天 | 色婷五月| 日日天天干| 91人操人人人操人| 182TV大香蕉| 色综合色色| 色婷婷电影| 婷婷五月花| 狠狠色综合久久久久| 一级AV片| 色欲资源网| 五月天激情色色| 日本va欧美va精品发布视频| av九九| 五月丁香婷婷综合激情基地| 九九久热| 97精品综合| 国产精品日本一区二区在线播放| 成人国产网站在线免费看| 91精品国产色猫| 亚洲综合视频网| 婷婷五月情色| 99玖玖在线视频| www.天天色综合| 4399在线日本A片| 99色色网| 影音先锋女人AA鲁色资源| 成人av在线电影| 人人爽欧美婷婷久久久五月丁香| 婷婷99综合| 五月天激情AV| 久久伦乱| 丁香五月性| 丁香无月在线观看| 成人九九视频| 五月激情六月宗合| 亚洲欧美日韩另类| 婷婷六月丁香综合| 人人操91色| 成人婷婷| 丁香桃色综合网| 丁香五月婷婷高清| 五月丁香婷婷色色| 99热6这里之有精品| 色婷婷8| 超碰99资源站| 99色| 欲求不满的人妻| 婷婷五月黄色激情在线| 五月丁香六月婷婷在线观看| 97视频.干com| 日本精品人妻无码77777| 操操操91| sewuyue第四色| 99热这里是精品| 成人做爰黄A片免费看直播室男男| 另类精品视频在线观看| 久8色色| 噜噜视频| 久久 婷婷 五月天| 中文精品在| 高清资源站日A美A欧亚…| 五月天激情久色| 午夜婷婷| 开心婷婷中文字慕| 九九综合色综合| 性爱先锋AV| 亚洲欧美日韩另类| 五月丁香婷婷色| 99热成人精品网站| 六月丁香婷啪射| 亚洲一区国产传媒| 91婷婷五月丁香碰| 亚洲99精品欧美一区| 大香蕉久久视频久久视频 | 婷婷五月亚洲一本在线丁香| 99热最新地址在线| 色五月偷偷| 91大神操美女| 最新丁香六月婷婷| 色狠狠综合| 草草夜夜操| 天天日狠狠| 九月丁香| 九九大香蕉黄色影院| 婷婷激情五月天小说| 99色热| 综合狠狠伊人| www.夜夜操.com| 五月天激情播播网| 久久人妻久久久久| 欧美久久网| 亚洲热久| 综合福利网| 无码人妻AV久久久一区二区三区| 色五月婷婷亚洲| 欧美性爱中文字幕| 激情五月婷婷丁香| SS丁香五月婷婷| 影音先锋91| 国产操碰| 色999五月色| 天天色一道本综合婷婷| 颜射 精品性爱av| 午夜大香蕉| 五月丁香久久综合| 精品99在线看| 玖玖婷婷综合| 五月天婷婷社区久久综合| 丁香六月天婷婷| 最新无毒无码AV| 国产肥白大熟妇BBBB视频| 五月天开心网| 久久久久这里只有精品| 亚洲色区17| 思思热高清在线观看| 久久加勒比| 五月激情啪啪啪| 在线观看欧美| 五月婷婷色影院| 大香蕉久久久久| 五月丁香五月综合欧美| 99re热在线观看| 9l视频自拍9l视频自拍九色学生| 精品在线网站| 噜噜在线| 禁欲电影完整版在线播放| 亚洲国产精品SUV| 欧美情色电影一区二区| 久久久性爱视频| 丁香九月婷| 色五月丁香五月激情五月激情| 丰满少妇猛烈A片免费看观看| 大香蕉AV电影在线| 99re视频在线精品| 五月丁香另类网| 97碰成超视频免费视频| 亚洲无码www| 97在线刺激| 欧美五月丁香在线| 丁香五月综合图片在线观看| 成人丁香婷婷五月天| 深情五月天| AV在线大香蕉| 五月婷婷影院| 夜夜爽天天爽| 婷婷五月天成人动漫 | 丁香婷婷综合五月天| 婷婷丁香一月| AV人人操| 色婷婷六月| 色丁香五月婷婷在线| 欧美激情综合色丁香婷婷五月天| 激情婷婷五月| 99成人在线观看| 丰满老熟妇BBBBB搡BBB | 9热视频在线观看| 久久这里只有精品16| 男人天堂99| 高潮毛片又色又爽免费| 99啪啪视频| 五月天婷婷社区久久综合| 婷婷五月天播| 国产综合网在线| 激情五月天婷婷| 狠狠婷婷日韩| 激情五月天婷婷图| 五月婷婷激情色情网| 人人摸人人| 五月婷婷六月激情| 婷婷六月视频| www.六月丁香看AV| 激情小说五月天| 99久久精彩视频。| 91互操| 激情婷婷五月丁香啪啪啪| 色色综合网站| 日韩激情婷婷五月天| 99热费观看| 五月天婷婷小说| 久久网址99热| 丁香婷婷射| 久久精品视频99| 99福利视频导航| 五月丁香美女视频| 亚洲成人婷婷| 深爱五月婷婷| 99久| 日韩无码一区二区三区四区| 香蕉五月婷婷| 五月天小说激情| www.色五月| 午夜九九电影| 丁香五月婷婷基地| 欧美天堂久久| 五月丁香综合在线| 久99久视频精品| 91免费在线视频6| 成人va在线观看视频| 六月五月婷婷| 激情小说在线视频| Caop在线| 五月天狠狠网| 日韩av高清| 五月色综合网| 99热精品中文字幕| 色色色9| 99er6热在线观看精品6| 日本啪啪天堂| 成年人丁香五月| 狠狠婷婷色综合| 成人在线观看国产| 伊人爱爱日本| 国产女人十八水真多1| 一级黄色片看看| 国产人妻人伦精品一区二区| 午夜少妇在线观看视频| 成人国产欧美大片一区| 激情综合亚洲| 久久9热好| 丁香婷婷AV| 激情五月丁香婷婷| 色99视| 亚洲人妻电影| 色五月婷婷中文字幕| 伊人99热| 高清不卡一区| 色哟哟www| 日日夜夜婷婷| 国产成人精品123区免费视频| 午夜不卡久久精品无码免费| 久久性都花花世界成人免费视频| 婷婷激情五月天激情小说| 色播五月天婷婷老师| 内射综合网| 色愛综合网| 日日日日做夜夜夜夜无码| 五月天婷婷伊人| 9视频在线成人网站| 丁香五月丁香伊人| 97婷婷色| 五月天久久成人| 99日韩网站| 婷婷五月天在线观看| 99视频内射三四| 五月婷婷色| 色婷婷亚洲综合网站| 久久五月情| 久草A片| 伊人激情网| 蜜桃婷婷丁香综合久久开心亚洲| 九月丁香婷婷网| 色婷婷久久综合久色综| 激情综合4月| 日本久久婷| 被强行糟蹋的女人A片| 色五月色五天免费视频| 人妻啪啪啪| 一本大道伊人AV久久综合| 日韩色色一区| 五月天激情综合网俺也去| 丁香色啪综合| 丁香五月开心亚洲| 色综合久| 婷五月天丁香婷五月| 99热乎| 99热这里只有精品最新地址获取| 99性视频| 日韩美一级毛卡片| 国产伦理精品高清在线观看网站一区二区| 五月婷婷激清网| 97干在线视频| 婷婷丁香精品视频在线观看| 久草天堂| 色婷婷影院| 99热99日天天干| 婷婷激情四射| 丁香五月激情五月开心五月| 色综合久久天天综合网| 大香蕉丁香婷婷| 99无码超碰| 五月婷婷天| 91操人| 日韩情色在线观看| 六月米奇色综合| 丁香五月天.com| 日韩a热| 九九亚洲| 国产91资源在线| 粉嫩AV久久一区二区三区| 五月丁香啪啪伦理电影| 亚洲99在线| 中文字幕成人日韩| 欧美一级a | 欧美激情丁香五月天久久婷婷一区| 热99.com婷婷| 91人人操| 五月花综合| 深爱五月婷婷开心中文字幕| 人妻久久久久久久久妻久久久久| 婷婷夜夜夜夜| 五月丁香啪啪啪| 丁香婷婷久久 | 人碰人人人玩91| 视频1区2区| 97色色-99久久| 六月色色| 婷婷五月在线影院| 成人国产网| 无码色综合| 在线免费视频caop| 超碰二区| 99热综合色图| 欧美激情综合| 性一交一乱一交A片久| 久久综合五月| 亚洲性爱电影| 婷婷六久久| 成人片在线播放| 亚洲妇女熟BBW| 九色99视频| 99人人精品| 五月丁香婷婷爱激情综合网| jiujiu无码五区| 五月色网| 久久五月视频| 五月婷婷色欲| 99精品人人| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 久久99激情| 这里只有精品视频一区| 久久久人妻门| 婷婷丁香五月天哟啪| 九九热99熟女| 日本情色一区二区| 在线观看日韩12345区| 99热婷婷| 五月天婷婷基地| 在线综合亚洲欧美65| 成人婷婷| 第四色婷婷五月| 五月天综合色| 高清无码网址| 激情婷婷。| 五月色情婷婷| 色五月丁香五月婷婷五月成人网 | 色婷婷综合视频| 午夜丁香| 色五月色五天色情网址| WWW,色五月| 六月婷婷九月丁香亚洲综合| 99视频精品在线| 区欧美日韩成人| 日本99在线视频| 人妻操操色| 任你日视频| 大香蕉220| 丁香五月情| 婷婷激情六月中文| 五月天成人综合| 五月婷婷影| 热无码A∨| 色情五月天小说| 激情网第九色| 亚洲另类婷婷五月丁香在线播放| 五月丁香婷在线| 色久九| 黄色三级毛片中字| 伊人网欧美在线男人天堂五月丁香 | 伊人影音无码一区二区三区| 欧美五月丁香| 九九av| 99久在线精品99re5热视频| 五月丁香婷婷激情久久| 久久综合中文| 婷婷五月天综合久久日美女| 琪琪理论片| av在线免费网站| 99色热综合| 婷婷丁香五月天婷婷| 天天爽综合网| 欧美69久成人做爰视频| 成人精品在线观看| 五月婷婷官网色| 五月婷婷涩涩爱| 97色色婷婷| 色五婷婷在线视频| 九月丁香八月婷婷加勒比| 六月婷婷av| 婷婷精品性视频| 专区无日本视频高清8| 成人综合AV| 深爱激情网综合| 色色色综合网| 99干99| 逼里香不卡| 丰满少妇猛烈A片免费看观看 | av在线免费网站| 色激情网| 99热在线这里只有精品| 直接看的av| 91久久综合| 亚美欧色影院| 99在线资源视频| 婷婷丁香五月天综合在线日韩| 日本黄色一级| 丁香五月天天| 狠狠爱综合网| 夜夜骑操AV| 色狠狠综合| 久久金品黃色| 99免费热视频在线| 国产成人精品一区二三区熟女在线 | 日本天天操| 色噜噜狠狠色综无码久久合欧美| 色综合99无码| 婷婷激情人妻| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 丁香五月狠狠综合欧美| 丁香五月性| 九九热思思热| 思思久久精品| 六月激情婷婷| 亚洲春色奇米影视| 婷婷九色| 好好日激情五月天| 色婷婷丁香香香蕉视频| 久草狼人| 国产乱子轮XXX农村| 99精品九九| 成人电影一区| 五月婷婷激情中心| 91久久精品无码一区二区三区| 大香网伊人久久综合| 九九九九九九热| 日本成人综合| 五月婷婷少妇之| 婷婷夜夜操| 成人在线日韩| 五月丁香亭亭激情操逼网| 亚洲黄3级片网站欧美| 激情丁香久久| 婷婷婷婷色| 开心婷婷五月| 中文字幕精品推荐免费在线观| av网址在线| 爱婷婷五月| 国产精品久久..4399| 天天干人人奸97| 色综合九九色综合88| 南京搡BBBB搡BBBB| www.日本91| 五月婷婷色| 亚洲视频另类| 99这里只有免费的精品| 日韩色色视频| www.色五月| 9有码中文| 天天日,夜夜爽| 亚洲中文av| 亚州欧美黄色电影| 色综合天天网| 久久婷婷五月综合色奶水99啪| 国产AV一区二区三区最新精品| 久久九九中文字幕| 婷婷五月天亚洲精品| 色播五月| 夜夜爱爱亚洲| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 亚洲九九夜夜| 91热视频色网站| 天天插轮理| 丁香六月欧美| tingtingseav| 婷婷五月天无码视频| 五月激情天| 成人性生活免费观看。| av 一区三区四区| 骚货艹网站视频| 激情综合五月| 六月婷婷av| 岛国av网站| 91 影音先锋| 视频综合网| 色天堂在线| 人人操婷婷| 成人欧美Va| www.婷婷五月| 激情五婷网| 噜噜色com| 色五月情| 色噜噜,噜噜色| 97人人操人人爽| 1999天天操夜夜操| 色婷婷裸体色性在线| 刘玥av在线| 去干网av| 狠狠久久婷五月| 九九视屏| 天天干天干| 色吧网综合| 婷婷综合五月激情| 亚洲操b| 熟女网站久久| 五月婷婷婷丁香播| 一起肏在线视频| 色婷婷综合网站| 激情 久久 婷婷| 丁香六月视频| 亚洲乱码日产精品BD| 综合亚洲六月婷婷在线| 久久9精品| 人妻视频在线| 欧美成人va| 亚洲AV无码成人精品区电影网| 五月天深爱激情网| 丁香六月丁香婷婷激情| 天插天啪天啪天啪| 国外亚洲成AV人片在线观看 | 狠狠色婷婷综合开心影视| 激情婷婷综合五月少妇| 欧美成人在线观看| 婷婷丁香人妻久久在线观看| 亚洲精品一区中文字幕乱码| 俺来也综合网精品一区| 九九色色| 99国产小视频免费观看| 国产又黄又爽又色的免费| 色A网| 国外亚洲成AV人片在线观看| 狠狠五月丁香色婷| 夜夜嗨一区二区三区直播内容 | av在线资源| 99热这只有| 影音先锋女人AA鲁色资源| 婷婷激情综合无月| 欧美人与性动交CCOO| 18av天堂| 精品国产AV色一区二区深夜久久 | 综合在线色婷婷| 欧洲区自拍| 婷婷玖玖五月天| 久久综合色五月| 99热国产精品| 五月天色色激情综合| 99久在线精品99re8热| 亚洲中文丁香| 国产精品久久久久久久久久久久 | 久99精品视频| 狼人婷婷综合| 欧美色色色| 在线99热| 丁香色五月婷婷91桃色| 超级碰碰一区| 久青操| 色色色欧美| 色墦五月丁香| 色情免费视频播放| 伊人超碰在线| 婷婷久久五月丁香| 欧美群妇大交乱婬网| 中文字幕有多少字| 狠狠色噜噜狠狠| 色色综合热| 丁香五月天婷婷中文字幕| 五月天婷婷香蕉狠狠超碰综合| 这里只有精品1| www.国产亚洲69ty.久久久久久久久久久久| 亚洲成人AV高清字幕| 亚洲综合丁香五月天| 超碰在线免费9| 久久综合人妻| 99精品7| 91天堂网综合| 99这里只有精品| 校园激情 亚洲| 葵花AV在线| 亚洲综合婷婷| 清色五月天| 亚洲激情五月| 国产欧洲欧洲精品久久| 欧美亚洲操逼| 九色在线观看91av| 思思热在线| 久久综合天天综合| 五月婷婷久久大香蕉| 91色久| ji'qi'luan'ren'lun| 久久久A级视频| 99爱这里只有精品免费视频| 三级成人网站| 日本99视频精品免费播放| 久热伊人| 色婷婷色五月天| 精品五月视频婷婷在线观看| 色一色综合| 欧美天堂久久| 爱草视频在线| 激情五月影院| 丁香五月无码| 开心五月婷婷五月| 欧美日韩成人h| 九九久久综合| 五月婷婷丁香色播网| 丁香五月综合婷婷| 热91久| 欧美色色网| 丁香六月天婷婷在线| Av在线不卡一区| 久久五月天婷婷| 日操夜撸| 五月婷婷五月天激情视频| 91传媒无码人妻精| 久热大香蕉| 婷婷五月丁香综合激情| 久久只有精品| 97色色综合| 九月激情婷婷丁香| 九九久久99精品免费观看www| 激情五月婷婷伊人| 性生活视频98791| 婷婷视频在线碰| 五月天婷婷色| 欧美五月婷婷| 色欲婷婷夜夜| 97操碰碰无码视频| 久久婷综| 97人人草| 婷婷综合一二三| 五月天激情子轮| 婷婷丁香五月天哟啪| 99碰超| 婷婷五月天人妻| 五月丁香综合激情| 日韩精品一区二区刘| 五月丁香成人网| 99热精品在线| 色五月婷婷啪啪五月| 激情五月黄色小说| 五月丁香成年黄色| 色操综合| 91Chinese在线| 超碰成人在线观看| 激情五月狠狠| 极品 少妇 内射| 日韩999| 久久婷婷人人| 99青青草99| 国产毛片欧美毛片久久久| 中文字幕在线不卡| 婷婷五月天天爽| 婷婷五月天a| 99视频精品视频| 精品牛仔裤超碰| 人人搡人人| 亚洲综合色婷婷文学| 免费视频WWW在线观看网站| 情色五月天网站| 丁香五月成人社区| 婷婷五月丁香综合人妻| 成年AAAA色情| 五月丁香久久网| 97人人看| 99ri视频| 亚洲另类婷婷五月丁香在线播放| 色婷婷六月综合| 国产精品婷婷午夜在线观看| 97色啪| 婷婷丁香五月亚洲17cao| 白人荫道BBWBBB大荫道| 最新婷婷五月丁香| 色婷婷久久天天性爱| 久久久久久久丁香五月天婷婷| 婷婷情色五月天| 曰本aaaaaa丈片| 亚洲av另类在线观看| 福利视频在线播放| 丁香五月伊人| 思思热这里只有精品| 97九色| 色欲久久综合| 激情人妻综合| 日本3级片一区2区| 99热这里只有精品青草| 黄色激情五月天| 婷婷五月天亚洲综合| 久久99热精品a片在线观看| 五丁香激情综合| 久久五月网| 婷婷五月综合欧美在线播放| 婷婷狠狠久久| 99 色色吧| 天天做天天双| 亚洲性爱干干| 丁香五月天在线直播观看| 九九热免费观看视频| 婷婷九月激情| 六月欧美综合色情| 激情纯色婷婷五月天在线不卡视频| 亚洲Va成人| ss五月天激情| 五月婷婷丁香五月亚洲色| 99日这里只有精品| 色色五月天网站| 激情六月天| 天堂综合久| 激情宗合哪里能看| 丁香五月婷婷日本| 亚洲精品视频在线播放| 2021日韩无码| 任你艹| 五月婷精品| 99热在线观看| 最新国产AV| 99人人干| 激情五月少妇| 六月婷婷色综合| 九九色插| 久久久精品视频79| 欧美va在线| 婷婷免费视频| av五月丁香婷婷网| 丁香激惜男女| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 亚洲丁香五月| 欧美99热| 99色嘟嘟精品网站| 成人色五月天婷婷| 久热网在线视频| 色墦五月丁香| 久久久久婷| 99热这里只有精品69| 另类小说色婷婷| 婷婷色色综合| 99精品国产在热久久| 这里只有精品2| 狠狠精品干练久久久无码中文字幕 | 婷婷伊人| 亚洲情欲久久| 婷婷舔| 伊人玖玖网| 爱操天堂| 亚洲色无码A片一区二区麻豆| 丁香婷婷综合激情五月色| 色 五月俺去也| 天天操天天曰| 国产精品视频网| 99精彩视频在线观看| 五月婷婷黄色| 日韩黄色AV无码| 成人婷婷深爱综合网| 久久激情网| 国产超碰人人| 天天开心AV色综合婷婷五月天| 婷婷丁香五月亚洲17cao| 东北黄色一级| 夜夜做夜夜愛| 99热66| 日本久久天堂| 久色五月丁香视频| WWW色五月| 伊人玖玖婷婷| 婷婷六月激情| 深爱五月天天| 亚洲激情另类| 91久久99久久91熟女精品| 曰本久久女| 五月婷婷人人人操| 人人色性网| 精品人妻伦一二三区久久| 丁香婷婷基地| 精品国产a| 99久久66| 99精色| 九月婷婷| 99欧美| 五月婷婷六月丁香| 婷婷色五月婷婷姐妹| 色婷婷影视99| 深爱五月天| 情婷婷五月天| 婷香五月网在线| 九九久99免费视频| 激情五月天影院| www.激情五月天| 欧美天天草人人草| 午夜精品久久久久久久爽| av在线资源| 亭亭玉月丁香| 久久99热这里| 噜噜噜久久| 99精品视频在线观看| 99啪啪网| 五月天婷婷开心| 黄网免费观看| 婷婷五月天丁香综合网| 成人日韩欧美| 老司机伊人| 爽tv | 伊人六月丁香婷婷| 五月丁香| site:minyis.com| 91啪啪视频| 色很很96| 狠狠操综合| 丁香五月天在线观看视频| 99热这里只有精品首页| WWW.久久久久久久| 日本视频99| 欧美视频五区| 91se在线观看| 超碰永久在线| 综合久久婷婷| 五月婷婷日| 99久久婷婷综合| 97丁香花五月天激情小说| 开心五月激情网| 婷婷成人基地| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 亚洲色视频| 色吧99| 99亚州综合精品成人网| 九九草草逼| 国产午夜精品久久久观看| 婷婷伊人网| 99啪视频在线观看| 色婷婷五月天综合网| 九九热在线视频| 亚洲不卡| 成人综合AV| 色综合婷婷99| 久久 这里只有精品1| 婷婷六月情| 丰满少妇猛烈A片免费看观看 | 国产精品18久久久| 六月丁香啪啪啪| 婷婷成人视频| AV中文字幕夜夜操b天天摸bb | 亚洲色色香蕉| 激情视频网址| 天天舔夜夜操www com| 色一情一乱一伦一区二区三区| 五月天综合区| 亚洲精品另类| 五月丁香色婷婷| 激情久久久久久| 97人人干| 草美女在线观看视频在线播放 | 日本人人超碰| 99爱在线视频观看| 丁香五月婷婷天堂大香蕉| 五月丁香六月婷| 日韩成人电影在线播放| 五月综合六月婷婷| 777精品久无码人妻蜜桃| 任你操精品免费| 日日爱激情| 精品香蕉99久久久久网站| 婷婷丁香77777| 婷婷丁香五月综合| 99视频这里只有免费精品| 欧美精品99| 激情久久肏屄视频| 婷婷射丁香| 9精品一区| 婷婷开心五月| 国产超碰av| 久久金品黃色| 在线视频激情网站| 婷婷激情视频欧美视频自拍视频欧美剧 | 天天艹天天综合网| 99re在线观看| AV在线观看网站| 色狠狠综合网| 538任你爽视频不一样的| 99热碰碰| 日本精品99网站| 亚洲av免费在线| 欧美色五月| 日本色婷婷| 影音先锋xfplay资源男人网| 亚洲乱码日产精品BD在线观看| site:jszngf.com| 中国女人内射6XXXXX| 六月色色婷婷| 亚洲欧美日韩VIP| 六月丁香激情综合| 自拍视频99| 色v综合网| 中文字幕永久免费| 自拍偷窥99热| 色婷婷综合视频| 日日干夜夜撸夜夜骑 | 久久五月激情综合| 亚洲中文字幕AV| 丝袜大香蕉| 久久精品国产色| 久操大香蕉| 五月天婷婷久久综合| 思思热99er| 激情丁香五月天图片| 秋霞日本免费毛片A片| 成人午夜无码视频| 久久er视频6| 极品人妻VIDEOSSS人妻| 婷婷五月天综合小说网| 久久综合五月婷婷| 九九九九综合| 午夜丁香婷婷| 久久小说网| 深爱激情网综合| 五月五月婷婷| 99久久9| 色国产五月| 丁香五月花影院| 五月婷婷丁香五月天| 99啪啪视频| av九九| 99久久久国产精品免费蜜乳tv| 人五月天婷婷喷水| www.9797国产| 五月天五月色婷婷综合| 无码少妇高潮喷水A片免费| 婷婷五月天高清无码| 9久久久久久久久久久| 色五月激情网| 五月婷六月天| 婷婷99狠狠躁天天躁中文| 操一区| 激情婷婷丁香色情五月天| 激情五月天婷婷丁香| 8区视频在线| 激情婷婷五六月天| 丁香五月亚洲综合| 亚洲不卡| 五月婷婷无码专区| 五月婷婷黄色毛片| 饮料下药迷倒漂亮女同事强干| 密桃激情五月天综合网| www.99在线| 超碰免费人妻| 91久久九| 国产美女无遮挡裸体毛片A片| 色婷婷六月天| 亚洲激情色色| ay2区| 婷婷成人在线| 五月天天丁香婷婷| 色丁香久久久| 亚洲AV永久无码影院黑人| 亭亭五月丁香五月天激情| 久久99这里只有精品视频| 日韩在线成人电影| 狠狠狠狠狠| 五月天婷婷丁香社区| 丁香五月大香蕉AV| 亚洲精品无人区| 亚洲成人综合在线| 我去色色网五雨天| 五月婷婷综合精品| 九九99视频精品| 99热在线观看| 国产无人区大片| 色综合久久久综合久久网| 六月丁丁香| 色色射| 99无码精品| 天干夜夜操| 人人人操97| 玖玖国产视频一区| 久久婷婷五月综合激情国产| 色婷婷成人久久| 成人午夜天| 久久婷婷影院| 日本五月婷婷| 99久久五月婷婷| 夜夜撸日日骑| 色婷婷丁香五月天激情综合网| 国产毛片操B| 99热这里只有精品9| 亚洲中文字幕AV| 激情人妻综合| 五月激情六月综合| 丁香 婷婷 亚洲 熟女| 99热骚货| 九月婷婷综合八月丁香在线观看| 激情色播| 色色色干| 婷婷五月天中文字幕| 色月丁| 97操男人的天堂| 日韩久久系列| 美女婷婷激情亚洲| 超碰免费人| 婷婷丁香社区| 国产精品一区在线观看你懂的| 可以看的AV| 亚州操操| 97九色视频| 欧美成人va| 天天噜| 亚洲成人婷婷| 五月婷婷,六月丁香| 婷婷五月电影| 色色图五月天| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 成人看片网站| 99只有这里有精品在线视频| 色性五月天| 日韩五月天婷婷| 六月丁香综合| 五月亭亭欧美女人| 中文AⅤ大全| 久久久99精品免费观看| 亚洲精品亚洲人成人网| 欧美成人五月天| 婷婷色色欧美| 深爱五月日韩| 这里只有久久精99| 五月婷婷无码| 天堂草在线观| 成人五月天视频播放| 色偷偷色婷婷| 99爱视频| 九九热最新| 國語久久婷| 丁香六月婷婷综合| 五月丁香六月成人| www色色com| 色色com| 97精品人人A片免费看| 亚洲精品字幕在线观看| 青草视频在线播放| 天天操B| 五月花综合视频| 激情综合六月| 日日激情网| 五月丁香久久激情网| 五月天婷婷久久日| 色五月大香蕉| 91九色视频| 久久99精品日本| av免费在线网站| 超碰在线播放免费观看| 天堂网亚洲色图| 超碰97在线观看免费| 91久久国产自产拍夜夜91久久精品文字>91麻豆精品国产 | 丁香婷婷色六月| 激情婷婷亚洲五月| 欧美色宗和激情| 色久女| 国产操逼网站| 久久久久五月丁香| 99碰网站|