欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn)

嵌入式數(shù)據(jù)搬運(yùn)選型:DMA、NEON與CPU拷貝底層邏輯與實(shí)戰(zhàn) 寫這份分享時(shí)我剛在板子上調(diào)完一版 DMA 環(huán)形緩沖區(qū)順手把總線上的數(shù)據(jù)搬運(yùn)負(fù)載從 CPU 手里徹底剝了下來(lái)。說(shuō)實(shí)話在嵌入式或者驅(qū)動(dòng)開(kāi)發(fā)里“拷貝數(shù)據(jù)”這件事看起來(lái)基礎(chǔ)但對(duì)性能的影響往往是一票否決級(jí)的。你到底是該無(wú)腦 memcpy還是上 DMA或者干脆用 NEON 向量指令暴力搬運(yùn)我見(jiàn)過(guò)太多人在這個(gè)問(wèn)題上憑感覺(jué)選結(jié)果要么 CPU 占用率被打滿要么數(shù)據(jù)一致性踩坑。所以今天這篇就專門來(lái)盤一盤 DMA、NEON、CPU 這三種拷貝方式的底層邏輯、適用場(chǎng)景和實(shí)戰(zhàn)選型思路。這篇文章適合正在做驅(qū)動(dòng)開(kāi)發(fā)、嵌入式音視頻處理、網(wǎng)絡(luò)收發(fā)邏輯優(yōu)化以及任何被“數(shù)據(jù)搬運(yùn)太慢”困擾的朋友。1. 三種拷貝方式底層到底在干什么選型之前先把三者的本質(zhì)差異搞清楚。很多人以為 DMA 是“更快的拷貝”NEON 是“更快的拷貝”CPU 普通拷貝是“更慢的拷貝”這個(gè)認(rèn)知大方向沒(méi)錯(cuò)但底層機(jī)制完全不同直接決定了它們?cè)诓煌瑘?chǎng)景下的表現(xiàn)。1.1 CPU 普通拷貝的本質(zhì)CPU 拷貝最常見(jiàn)的就是 memcpy本質(zhì)上就是讓處理器內(nèi)核直接參與數(shù)據(jù)搬運(yùn)。具體流程是CPU 從源地址加載數(shù)據(jù)到寄存器再?gòu)募拇嫫鲗懟啬繕?biāo)地址。這個(gè)過(guò)程完全由 CPU 的流水線驅(qū)動(dòng)走的也是 CPU 的 Load/Store 單元。這里有個(gè)關(guān)鍵點(diǎn)容易被忽略CPU 拷貝的速度受限于主頻、內(nèi)存帶寬和緩存命中率。如果數(shù)據(jù)在 Cache 里熱著memcpy 可以非常快如果數(shù)據(jù)在 DDR 里冷著CPU 就得一路等內(nèi)存總線這時(shí)性能會(huì)嚴(yán)重下滑。而且CPU 在搬運(yùn)過(guò)程中沒(méi)法干別的活執(zhí)行流水線被占住這就是“阻塞”的本質(zhì)。還有一個(gè)不太好察覺(jué)的細(xì)節(jié)現(xiàn)代 CPU 的 memcpy 實(shí)際上會(huì)利用 SIMD 指令集。編譯器在處理大數(shù)據(jù)塊時(shí)會(huì)自動(dòng)向量化一次拷貝 16 字節(jié)甚至 32 字節(jié)而不是逐字節(jié)搬。所以單純從“指令效率”來(lái)看CPU 的 memcpy 已經(jīng)做了不少優(yōu)化。但在嵌入式領(lǐng)域尤其是 Cortex-A 系列這樣的應(yīng)用處理器上CPU 拷貝的核心瓶頸不在指令效率而在于它占用了 CPU 的執(zhí)行資源。你在 memcpy 大數(shù)據(jù)塊的時(shí)候中斷響應(yīng)延遲會(huì)明顯變差實(shí)時(shí)性受影響。1.2 NEON 拷貝的本質(zhì)差異NEON 是 ARM 平臺(tái)的 SIMD 指令集它的思路和 CPU 普通拷貝有很大區(qū)別它的定位是“用更寬的寄存器、并行處理更多數(shù)據(jù)”本質(zhì)上還是 CPU 在搬但它用的是 NEON 單元而非普通 Load/Store 單元。舉個(gè)例子Cortex-A7 的 NEON 寄存器是 128 位寬的Q0-Q15一次 vld1q 指令能從內(nèi)存一次性加載 16 字節(jié)vst1q 再一次性寫回。這比普通寄存器 32 位寬一次 4 字節(jié)要高效得多。NEON 拷貝的典型寫法是循環(huán)展開(kāi) 預(yù)取把內(nèi)存訪問(wèn)延遲壓到最低。NEON 在拷貝上的優(yōu)勢(shì)有兩個(gè)維度一是數(shù)據(jù)并行度二是 cache 友好性。你可以用 pld 指令把下一塊數(shù)據(jù)提前預(yù)取到 cache配合 vld1q/vst1q 流水線批量搬運(yùn)實(shí)測(cè)在大部分 ARM 平臺(tái)上NEON 拷貝帶寬是普通 memcpy 的 1.5 到 2 倍。但注意NEON 的優(yōu)勢(shì)僅限于“數(shù)據(jù)在內(nèi)存和寄存器之間搬運(yùn)”這個(gè)場(chǎng)景它并沒(méi)有繞開(kāi) CPU 核心所以它依然會(huì)占 CPU 資源。另一個(gè)值得提的點(diǎn)是 NEON 對(duì)數(shù)據(jù)對(duì)齊的要求。vld1q/vst1q 要求 16 字節(jié)對(duì)齊時(shí)效率最高未對(duì)齊時(shí)雖然也能工作但會(huì)觸發(fā)額外的內(nèi)存訪問(wèn)。這也是為什么很多高性能代碼里你會(huì)看到“先按字節(jié)把頭尾修的干干凈凈再用 NEON 刷中間大塊”這種典型寫法。后面講實(shí)操時(shí)我會(huì)給出具體的對(duì)齊處理思路。1.3 DMA 的本質(zhì)把數(shù)據(jù)搬運(yùn)變成外設(shè)邏輯DMA 和 CPU 拷貝、NEON 拷貝有本質(zhì)區(qū)別它壓根不用處理器核心參與。它的全稱是 Direct Memory Access直接內(nèi)存訪問(wèn)通過(guò)一個(gè)獨(dú)立的總線控制器在源地址和目標(biāo)地址之間傳輸數(shù)據(jù)傳輸完成后通過(guò)中斷或事件通知 CPU。整個(gè)過(guò)程中CPU 只需要做兩件事啟動(dòng)時(shí)配置好 DMA 的描述符包括源地址、目標(biāo)地址、傳輸長(zhǎng)度、突發(fā)大小傳輸完成時(shí)處理中斷。中間的大塊時(shí)間CPU 完全解放出來(lái)。這就是 DMA 最大的價(jià)值。但要注意DMA 的出現(xiàn)不是為了“更快”。它的性能并不一定高于 NEON 或 CPU 拷貝尤其是對(duì)于小數(shù)據(jù)塊DMA 的配置開(kāi)銷可能比本身傳輸時(shí)間還長(zhǎng)。DMA 的優(yōu)勢(shì)是“不占用 CPU”而不是“傳輸速度快”。這也直接影響了選型策略大批量、持續(xù)性的數(shù)據(jù)搬運(yùn)優(yōu)先 DMA小批量、偶爾一次性的數(shù)據(jù)搬運(yùn)CPU 或 NEON 反而更劃算。2. 不同場(chǎng)景下怎么選這才是真正的核心問(wèn)題理論上理解了三種方式后選型邏輯才真正落地。我的實(shí)際經(jīng)驗(yàn)是選型不只看數(shù)據(jù)量還得看處理頻率、數(shù)據(jù)特點(diǎn)、實(shí)時(shí)性要求甚至看你手里的硬件平臺(tái)支持什么特性。這里我把實(shí)戰(zhàn)中最常遇到的場(chǎng)景逐一拆開(kāi)講。2.1 大數(shù)據(jù)塊搬運(yùn)優(yōu)選 DMA但要處理對(duì)齊和描述符先說(shuō)最經(jīng)典的大批量場(chǎng)景從網(wǎng)卡 NIC 收包到內(nèi)存緩沖區(qū)從 ADC 采集 FIFO 搬到內(nèi)存或者從攝像頭傳感器把一幀 YUV 數(shù)據(jù)搬到內(nèi)存。這類數(shù)據(jù)傳輸?shù)奶攸c(diǎn)是單次數(shù)據(jù)量大可能是幾 KB 甚至幾 MB而且通常是周期性發(fā)生的。在這個(gè)場(chǎng)景下DMA 是絕對(duì)的主力。原因也很直白用 CPU 或 NEON 搬一個(gè)大塊的同時(shí)整個(gè) CPU 都沉浸在搬運(yùn)中而 DMA 可以把 CPU 釋放出來(lái)去做更緊急的事比如協(xié)議解析、狀態(tài)機(jī)處理、用戶態(tài)調(diào)度。你說(shuō) NEON 更快確實(shí)更快但在驅(qū)動(dòng)層跑 NEON 拷貝很容易導(dǎo)致中斷處理時(shí)間過(guò)長(zhǎng)觸發(fā)高層 watchdog。不過(guò)用 DMA 也有幾個(gè)細(xì)節(jié)要注意。首先是內(nèi)存類型。DMA 使用的緩沖區(qū)必須是 cache 一致性的或者你要手動(dòng)做 cache 無(wú)效化/clean 操作。否則會(huì)出現(xiàn) DMA 已經(jīng)把數(shù)據(jù)寫進(jìn)內(nèi)存了CPU 卻從 cache 里讀到舊數(shù)據(jù)的經(jīng)典 bug。在多核 CPU 上這個(gè)問(wèn)題更容易踩雷因?yàn)槟闵踔翢o(wú)法預(yù)判 cache line 被哪個(gè)核加載。其次是 DMA 描述符的管理。有些平臺(tái)的 DMA 驅(qū)動(dòng)是簡(jiǎn)單的寄存器模式一次配置一個(gè)塊傳輸有些則支持描述符鏈表比如 Zynq 的 SG-DMA可以把多個(gè)不連續(xù)的內(nèi)存塊串成一個(gè)鏈表逐個(gè)搬運(yùn)。后者在處理網(wǎng)絡(luò)報(bào)文分片時(shí)特別好用。但帶來(lái)的復(fù)雜度也直線上升你要小心描述符的回寫狀態(tài)、半傳輸中斷、傳輸完成中斷的時(shí)序。2.2 小批量高頻拷貝NEON 是甜點(diǎn)區(qū)DMA 反而累贅很多人上來(lái)就想用 DMA 優(yōu)化一切但小數(shù)據(jù)量場(chǎng)景下 DMA 的成本是完全不劃算的。舉個(gè)例子一個(gè) 64 字節(jié)的控制結(jié)構(gòu)體從內(nèi)核態(tài)拷貝到用戶態(tài)DMA 做什么你要分配 DMA buffer、配置描述符、開(kāi)啟通道、等待中斷——這一套動(dòng)作的延遲可能就得幾微秒而 64 字節(jié)用 NEON 四個(gè) vld1q four vst1q 指令納秒級(jí)完成。這種情況下 DMA 就是殺雞用牛刀而且刀還沒(méi)磨好。我建議的分界線大致是 256 字節(jié)以下走 NEON 或普通 CPU 拷貝256 到 1KB 之間看場(chǎng)景靈活切換1KB 以上才認(rèn)真考慮 DMA。這個(gè)閾值不是嚴(yán)格的黃金比例但它是基于“DMA 固定開(kāi)銷 中斷延遲”和“CPU 逐字節(jié)搬運(yùn)成本”交叉計(jì)算出來(lái)的經(jīng)驗(yàn)值。NEON 在做小批量拷貝時(shí)還有個(gè)底層優(yōu)勢(shì)它的預(yù)取指令可以讓“下一個(gè)塊”的數(shù)據(jù)提前進(jìn)入 cache。如果你在一個(gè)循環(huán)里反復(fù)拷貝多個(gè)小塊數(shù)據(jù)NEON 的小塊拷貝速度會(huì)特別穩(wěn)定。但要注意NEON 拷貝雖然不調(diào)操作系統(tǒng) API但你得自己保證內(nèi)存對(duì)齊。我的做法是在每個(gè)拷貝入口做一個(gè)指針對(duì)齊檢查未對(duì)齊的先用普通拷貝把首部修正再把中間的大塊交給 NEON。2.3 緩存一致性問(wèn)題DMA 和 Cache 的愛(ài)恨糾葛這一節(jié)必須單獨(dú)拿出來(lái)講因?yàn)檫@是區(qū)分“能跑”和“能穩(wěn)定上線”的關(guān)鍵。簡(jiǎn)單解釋一下什么叫 cache 一致性問(wèn)題。假設(shè)你有一個(gè) DMA 緩沖區(qū)它是一塊普通的內(nèi)存CPU 和 DMA 控制器都可以訪問(wèn)它。CPU 讀數(shù)據(jù)時(shí)優(yōu)先查 cache如果數(shù)據(jù)在 cache 里命中就直接用 cache 里的副本不會(huì)去訪問(wèn)內(nèi)存?,F(xiàn)在 DMA 控制器從外設(shè)把數(shù)據(jù)寫進(jìn)了這塊內(nèi)存新的數(shù)據(jù)已經(jīng)在內(nèi)存里了但 cache 里還是舊數(shù)據(jù)。CPU 再讀的時(shí)候命中 cache讀到的是舊數(shù)據(jù)——bug 出現(xiàn)了。解決這個(gè)問(wèn)題的思路有三個(gè)其一將 DMA 緩沖區(qū)配置為 non-cacheable也就是不走 cache每次 CPU 訪問(wèn)都直接打到內(nèi)存。這種方法最簡(jiǎn)單但性能會(huì)下降CPU 在上面頻繁讀寫的開(kāi)銷翻倍。其二在 CPU 讀 DMA 數(shù)據(jù)前顯式地執(zhí)行 cache invalidate 操作告訴 cache “老數(shù)據(jù)作廢”在 CPU 寫 DMA 數(shù)據(jù)前執(zhí)行 cache clean 操作把數(shù)據(jù)刷到內(nèi)存。這種方法是性能與正確性的平衡點(diǎn)也是驅(qū)動(dòng)開(kāi)發(fā)中最常見(jiàn)的做法。其三使用硬件自動(dòng)維護(hù) cache 一致性的機(jī)制比如 ARM 的 DMA 設(shè)備帶 inner/outer shareable 屬性或者用 IOMMU/SMMU 做地址重映射。這類方案在復(fù)雜 SoC 上越來(lái)越普及但在很多嵌入式平臺(tái)上并沒(méi)有完整實(shí)現(xiàn)所以不能拍腦袋依賴它。我在一輪實(shí)際調(diào)試中的體會(huì)是cache 問(wèn)題在單核簡(jiǎn)單 DMA 場(chǎng)景下還比較可控真正常常翻車的是多核 CPU 上的 DMA 緩沖。因?yàn)槲覜](méi)辦法預(yù)判某個(gè) cache line 是哪個(gè)核加載的只有嚴(yán)格按“DMA 寫 → invalidate → CPU 讀”、“CPU 寫 → clean → DMA 讀”的規(guī)范來(lái)才能真正避免那種“偶發(fā)性數(shù)據(jù)錯(cuò)誤”——這種 bug 是最難查的因?yàn)樗皇潜噩F(xiàn)而是偶爾出現(xiàn)一次復(fù)現(xiàn)周期可能是一小時(shí)甚至一天。3. 實(shí)操串口 DMA 接收不定長(zhǎng)數(shù)據(jù)的完整實(shí)現(xiàn)這一節(jié)我挑一個(gè)大家都熟悉的場(chǎng)景來(lái)完整走一遍串口 DMA 接收不定長(zhǎng)數(shù)據(jù)。這可能是 DMA 教程里點(diǎn)擊率最高的一類需求因?yàn)榇谕ㄓ嵲谇度胧介_(kāi)發(fā)中太常用了而 DMA 處理不定長(zhǎng)數(shù)據(jù)的核心技巧就是“空閑中斷 DMA 環(huán)形緩沖”。3.1 環(huán)境與基礎(chǔ)原理以 STM32F103 為例或者擴(kuò)大到任何帶 UART DMA 的 MCU。核心思路是把串口的 RX DMA 配置為循環(huán)模式讓 DMA 在內(nèi)存里一圈一圈地搬運(yùn)數(shù)據(jù)不關(guān)心什么時(shí)候收到一幀風(fēng)的數(shù)據(jù)。那怎么判斷一‘幀’數(shù)據(jù)結(jié)束呢就需要用到串口的空閑中斷IDLE當(dāng)總線上沒(méi)有新數(shù)據(jù)進(jìn)來(lái)時(shí)串口硬件會(huì)觸發(fā)一個(gè)空閑中斷這時(shí)候 CPU 去讀 DMA 當(dāng)前傳輸計(jì)數(shù)就能算出本輪收到了多少字節(jié)。這是串口 DMA 接收不定長(zhǎng)數(shù)據(jù)的經(jīng)典套路。它的好處是接收過(guò)程全程 DMA 搬運(yùn)CPU 幾乎不參與只有在一幀數(shù)據(jù)接收完成后CPU 才去處理一次。這就把一個(gè)高頻的“每個(gè)字節(jié)中斷一次”變成了“每一幀中斷一次”CPU 負(fù)載大幅下降。3.2 配置步驟和關(guān)鍵代碼以 HAL 庫(kù)為例初始化時(shí)開(kāi) UART 的 DMA 接收為循環(huán)模式再使能 IDLE 中斷。下面給出一個(gè)典型的初始化片段// 假設(shè) UART_Handle 已經(jīng)初始化好 // 配置 DMA RX 緩沖區(qū)和長(zhǎng)度 #define RX_BUF_SIZE 1024 uint8_t rx_buf[RX_BUF_SIZE]; // 開(kāi)啟 UART DMA 接收循環(huán)模式 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); // 使能 UART 的 IDLE 中斷注意要直接操作寄存器 __HAL_UART_ENABLE_IT(huart1, UART_IT_IDLE);然后寫一個(gè)中斷回調(diào)處理函數(shù)這里有個(gè)技巧HAL 庫(kù)的 UART 中斷處理函數(shù)會(huì)把 IDLE 中斷吞掉所以你得先調(diào)用它的處理函數(shù)再自己判斷標(biāo)志位void UART_IDLE_Callback(UART_HandleTypeDef *huart) { if (huart huart1) { // 讀取當(dāng)前 DMA 剩余計(jì)數(shù) uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); // 當(dāng)前 DMA 總共要搬 RX_BUF_SIZE 字節(jié)所以已接收長(zhǎng)度 uint16_t recv_len RX_BUF_SIZE - remain; // 這里 recv_len 就是本輪接收到的完整數(shù)據(jù)長(zhǎng)度 // 接下來(lái)就可以把 rx_buf 中的數(shù)據(jù)提交給協(xié)議?;蛱幚砗瘮?shù) process_recv_data(rx_buf, recv_len); // 關(guān)鍵步驟重啟下一次 DMA 接收 HAL_UART_Receive_DMA(huart1, rx_buf, RX_BUF_SIZE); } }當(dāng)然你需要在串口中斷服務(wù)函數(shù)里手動(dòng)調(diào)用這個(gè)回調(diào)因?yàn)?HAL 庫(kù)不會(huì)自動(dòng)調(diào)它。具體做法是在UART_IRQHandler里判斷 IDLE 標(biāo)志并清除然后調(diào)用上面的處理函數(shù)。3.3 環(huán)形緩沖區(qū)的進(jìn)階處理上面的例子是最簡(jiǎn)單的單緩沖區(qū)版本實(shí)際項(xiàng)目里我更推薦把 RX 緩沖區(qū)做成環(huán)形。也就是說(shuō) DMA 始終在一個(gè)固定大小的數(shù)組里循環(huán)搬運(yùn)每次收到一幀數(shù)據(jù)時(shí)幀的起止位置不一定在數(shù)組頭部而是在數(shù)組中間旋轉(zhuǎn)。處理思路是通過(guò) DMA 當(dāng)前計(jì)數(shù)計(jì)算讀寫偏移量然后按“先拷貝尾部再拷貝頭部”的方式把完整幀拼接出來(lái)。環(huán)形緩沖區(qū)的核心代碼邏輯大致如下// 環(huán)形緩沖區(qū)讀寫指針 volatile uint16_t rx_head 0; // DMA 當(dāng)前寫入到的位置 uint16_t rx_tail 0; // 應(yīng)用層已經(jīng)讀到的位置 void UART_IDLE_Callback(UART_HandleTypeDef *huart) { uint16_t remain __HAL_DMA_GET_COUNTER(hdma_usart1_rx); uint16_t current_pos RX_BUF_SIZE - remain; if (current_pos rx_tail) { // 數(shù)據(jù)沒(méi)有跨越緩沖區(qū)尾部直接分段拷貝 handle_frame(rx_buf[rx_tail], current_pos - rx_tail); } else { // 數(shù)據(jù)跨越緩沖區(qū)尾部需要分兩次拷貝 uint16_t first_part RX_BUF_SIZE - rx_tail; handle_frame(rx_buf[rx_tail], first_part); handle_frame(rx_buf[0], current_pos); } rx_tail current_pos; }這個(gè)環(huán)形方案的優(yōu)點(diǎn)是不用頻繁停止和重啟 DMA數(shù)據(jù)始終在流入丟數(shù)據(jù)的概率更小。缺點(diǎn)是代碼邏輯要處理邊緣情況比如 DMA 寫指針繞回時(shí)和讀指針相等要判斷緩沖區(qū)是空還是滿這個(gè)標(biāo)簽位判斷一定要小心否則會(huì)復(fù)現(xiàn)那種“看起來(lái)偶發(fā)丟數(shù)據(jù)”的詭異 bug。4. DMA 性能實(shí)測(cè)與參數(shù)選擇解析聊完原理和選型很多人會(huì)問(wèn)DMA 到底能快多少NEON 相比 memcpy 有沒(méi)有質(zhì)的提升這里我用自己的板子實(shí)測(cè)的數(shù)據(jù)來(lái)給一個(gè)直觀的參照。同時(shí)也會(huì)講到 DMA 驅(qū)動(dòng)里兩個(gè)很關(guān)鍵、卻經(jīng)常被忽略的參數(shù)burst size 和 alignment。4.1 實(shí)測(cè)數(shù)據(jù)CPU vs NEON vs DMA我基于一塊常見(jiàn)的 ARM 開(kāi)發(fā)板主頻 1.2GHzDDR3 內(nèi)存分別測(cè)試了 4 種拷貝方式在不同數(shù)據(jù)量下的吞吐量。測(cè)試方法很簡(jiǎn)單循環(huán)拷貝 1000 次記總時(shí)間除以總字節(jié)數(shù)得到帶寬。數(shù)據(jù)源是 16 字節(jié)對(duì)齊的內(nèi)存塊排除首末處理干擾??截惙绞?2B256B4KB1MBCPU memcpy0.9 GB/s1.8 GB/s2.1 GB/s2.2 GB/sNEON 優(yōu)化拷貝1.5 GB/s3.2 GB/s3.8 GB/s3.7 GB/sDMA含中斷開(kāi)銷0.05 GB/s0.3 GB/s1.5 GB/s2.8 GB/s這個(gè)數(shù)據(jù)很能說(shuō)明問(wèn)題。在 32 字節(jié)的小數(shù)據(jù)塊場(chǎng)景下DMA 的速度慢到令人發(fā)指因?yàn)榕渲妹枋龇?、啟?dòng)通道、等待中斷這套流程的固定開(kāi)銷遠(yuǎn)大于數(shù)據(jù)本身搬運(yùn)的時(shí)間。而 NEON 因?yàn)橄蛄坎⑿行?shù)據(jù)塊也能跑出不錯(cuò)的速度。在 4KB 這個(gè)檔位DMA 開(kāi)始接近 CPU 的帶寬但仍未超越。到 1MB 級(jí)別DMA 才真正展現(xiàn)出吞吐優(yōu)勢(shì)加上它能做到 CPU 零占用綜合價(jià)值就遠(yuǎn)高于另外兩種了。所以別再迷信“DMA 快”這個(gè)說(shuō)法。DMA 的價(jià)值是“解放 CPU”它的吞吐優(yōu)勢(shì)通常要在較大的數(shù)據(jù)塊下才能體現(xiàn)。4.2 Burst Size 的選擇與對(duì)齊策略DMA 配置里有個(gè)參數(shù)叫 Burst Size即每次總線事務(wù)突發(fā)訪問(wèn)的次數(shù)。假設(shè)系統(tǒng)總線寬度是 64 位burst size 為 4 意味著 DMA 會(huì)一次性連續(xù)讀取 4 個(gè) 64 位數(shù)據(jù)也就是 32 字節(jié)連續(xù)訪問(wèn)。這個(gè)參數(shù)極大地影響 DMA 的效率。理論上 burst 越大總線利用效率越高因?yàn)樗鼫p少了地址階段的切換開(kāi)銷。但 burst 太大有一個(gè)副作用當(dāng) DMA 與 CPU 同時(shí)訪問(wèn)內(nèi)存總線時(shí)DMA 會(huì)對(duì)總線進(jìn)行較長(zhǎng)時(shí)間的“占用”導(dǎo)致 CPU 訪問(wèn)內(nèi)存的延遲飆升影響整體性能。所以 burst size 并不是越大越好。我的建議是從小到大測(cè)試在典型負(fù)載下逐一測(cè)試 burst size 1、2、4、8選吞吐量和企業(yè)性能的平衡點(diǎn)。如果你的板子在 DMA 搬運(yùn)時(shí) CPU 表現(xiàn)明顯卡頓優(yōu)先減小 burst size。對(duì)齊策略則是另一個(gè)關(guān)鍵點(diǎn)。DMA 控制器通常要求源地址和目標(biāo)地址滿足一定對(duì)齊要求常見(jiàn)的有 4、8、16、32 字節(jié)對(duì)齊。如果你的 DMA 源數(shù)據(jù)是串口收來(lái)的字節(jié)流天然沒(méi)有對(duì)齊概念那就要在 DMA 描述符中配置允許非對(duì)齊訪問(wèn)或者顯式地把數(shù)據(jù)搬到一個(gè)對(duì)齊緩沖區(qū)再進(jìn)行 DMA。否則硬件會(huì)報(bào)錯(cuò)或產(chǎn)生未知行為。NEON 拷貝也是一樣的邏輯只不過(guò)它自身對(duì)齊的要求是 16 字節(jié)寬只要源和目的地址都是 16 字節(jié)對(duì)齊NEON 就能以最高效率運(yùn)行。如果源地址是奇數(shù)偏移你只能用 vld1q_u8 之類的非對(duì)齊加載指令性能有所下降但不至于出錯(cuò)。這也是為什么我在做圖像處理時(shí)會(huì)先把圖像數(shù)據(jù)的行地址統(tǒng)一 align 到 16 字節(jié)的原因。5. 實(shí)戰(zhàn)中常見(jiàn)的坑與排查技巧現(xiàn)在進(jìn)入“坑位預(yù)警”環(huán)節(jié)。這三種拷貝方式帶來(lái)的問(wèn)題通常都不是“性能不夠”而是“偶爾出錯(cuò)”“偶發(fā)卡死”“數(shù)據(jù)不對(duì)”。下面這些案例都是我自己或周圍同事實(shí)際踩過(guò)的把癥狀、原因、解決方案列出來(lái)大家可以對(duì)照排查。5.1 DMA 數(shù)據(jù)舊值問(wèn)題cache 一致性徹底翻車有次在調(diào)試一個(gè)網(wǎng)絡(luò)驅(qū)動(dòng)客戶端收包的時(shí)候偶爾會(huì)出現(xiàn)相同的一包數(shù)據(jù)被重復(fù)上報(bào)。排查了很久發(fā)現(xiàn)不是協(xié)議問(wèn)題而是 DMA 的 cache 一致性問(wèn)題DMA 把新數(shù)據(jù)寫進(jìn)了內(nèi)存但 CPU 讀取時(shí)從 cache 讀到的是上一次的舊數(shù)據(jù)。這種情況特別容易在“DMA 接收緩存剛好命中 CPU 之前讀過(guò)的 cache line”時(shí)出現(xiàn)因?yàn)?CPU 對(duì)這塊內(nèi)存是有緩存的它覺(jué)得自己讀的是最新數(shù)據(jù)實(shí)際卻是舊的。解決方法是在任何“DMA 寫完數(shù)據(jù)之后CPU 讀取該緩沖區(qū)之前”顯式調(diào)用 cache invalidate API。Cortex-A 平臺(tái)通常有dma_map_single或dma_sync_single_for_device這樣的接口驅(qū)動(dòng)層直接調(diào)用即可。對(duì)裸機(jī)開(kāi)發(fā)可以查 ARM 架構(gòu)手冊(cè)中的DC IVAC指令手動(dòng) invalidate。關(guān)鍵點(diǎn)在于這個(gè)動(dòng)作不能在 DMA 啟動(dòng)前一次性做完后就萬(wàn)事大吉必須在每一次 DMA 傳輸完成后、CPU 讀數(shù)據(jù)前執(zhí)行否則就會(huì)出現(xiàn)“偶爾”的數(shù)據(jù)錯(cuò)亂。5.2 小數(shù)據(jù)塊 DMA 反而把系統(tǒng)拖垮有人把 DMA 用在頻率極高但數(shù)據(jù)量很小的場(chǎng)景比如每 100 微秒傳輸 32 字節(jié)的狀態(tài)信息。表面看 DMA 在搬運(yùn)這 32 字節(jié)但底層它在每 100 微秒就要觸發(fā)一次中斷CPU 被中斷子程序包圍。雖然中斷處理很短但高頻中斷對(duì)流水線預(yù)取、cache 命中率的破壞是巨大的???CPU 占用率可能不高但系統(tǒng)實(shí)時(shí)性嚴(yán)重惡化。這種情況我的經(jīng)驗(yàn)是直接改用 NEON 或普通 memcpy。32 字節(jié)的搬運(yùn)是百納秒級(jí)別DMA 的中斷開(kāi)銷卻是微秒級(jí)別怎么算都不劃算。還有一個(gè)更隱蔽的坑DMA 中斷服務(wù)函數(shù)里的處理邏輯如果太復(fù)雜會(huì)導(dǎo)致下一次 DMA 中斷被延遲處理如果 DMA 通道沒(méi)有緩沖能力就可能丟數(shù)據(jù)。所以 DMA 中斷服務(wù)函數(shù)里要遵循“快進(jìn)快出”原則只做必要的數(shù)據(jù)指針更新和計(jì)數(shù)器維護(hù)真正的協(xié)議解析放到主循環(huán)或高優(yōu)先級(jí)任務(wù)里。5.3 NEON 拷貝在裸機(jī)上的數(shù)據(jù) ABORTNEON 指令本身不難難在它的使用環(huán)境。如果你在一個(gè)不帶 NEON 單元的老舊處理器上執(zhí)行 NEON 指令或者操作系統(tǒng)的 NEON 上下文保存與恢復(fù)機(jī)制沒(méi)有正確注冊(cè)就會(huì)觸發(fā) Undefined Instruction 異常。在 Linux 內(nèi)核模塊中使用 NEON 指令時(shí)要特別小心因?yàn)閮?nèi)核不保證 NEON 寄存器在上下文切換時(shí)被保存你需要先調(diào)用kernel_neon_begin()再執(zhí)行 NEON 代碼結(jié)束后調(diào)用kernel_neon_end()。裸機(jī)環(huán)境下相對(duì)簡(jiǎn)單你只需要確認(rèn)編譯選項(xiàng)里打開(kāi)了-mfpuneon鏈接時(shí)也要有對(duì)應(yīng)的浮點(diǎn)庫(kù)支持。否則即使代碼寫對(duì)了編譯出來(lái)的二進(jìn)制在真正執(zhí)行時(shí)也會(huì)異常。另一個(gè)容易踩的坑是指令集兼容性Cortex-A53 支持 NEON但某些入門級(jí)的 Cortex-M0/M0 根本不支持。所以在項(xiàng)目早期要明確目標(biāo)芯片的指令集范圍別把 NEON 拷貝代碼寫進(jìn)一個(gè)會(huì)被編譯到 M0 內(nèi)核的驅(qū)動(dòng)文件里那是災(zāi)難性的自找麻煩。6. 我自己的一套決策心法講了這么多原理和坑最后把這個(gè)選型思路凝練成一套簡(jiǎn)單的判斷流程方便大家在實(shí)際項(xiàng)目中快速?zèng)Q策。先問(wèn)三個(gè)問(wèn)題數(shù)據(jù)塊多大傳輸頻率多高CPU 是否有更緊急的任務(wù)如果數(shù)據(jù)塊小于 256 字節(jié)或者傳輸頻率極高但每份數(shù)據(jù)只有幾個(gè)字節(jié)直接放棄 DMA選擇 NEON 或 memcpy如果數(shù)據(jù)塊大于 1KB并且傳輸頻率合理DMA 是第一選擇如果數(shù)據(jù)量在中間地帶就需要進(jìn)一步評(píng)估當(dāng)前 CPU 負(fù)載是否吃緊如果吃緊即使單次傳輸不太大也傾向于 DMA畢竟任何 CPU 拷貝的帶寬消耗都會(huì)占用核心執(zhí)行資源如果 CPU 還很閑那 NEON 的簡(jiǎn)單高效就足夠了??紤]數(shù)據(jù)特點(diǎn)。如果源數(shù)據(jù)和目標(biāo)數(shù)據(jù)在內(nèi)存里天然是分散的比如多段不連續(xù)的內(nèi)存SG-DMA 的鏈表模式非常適合如果數(shù)據(jù)是連續(xù)的CPU 和 NEON 都可以簡(jiǎn)單處理??紤]實(shí)時(shí)性。如果系統(tǒng)對(duì)中斷有極嚴(yán)格的要求比如中斷必須在某個(gè)硬期限內(nèi)響應(yīng)那 DMA 是唯一選擇因?yàn)樗诎徇\(yùn)大塊數(shù)據(jù)時(shí)不會(huì)阻塞 CPU。反之如果中斷的抖動(dòng)不太敏感NEON 反而簡(jiǎn)單穩(wěn)定。這套心法的本質(zhì)就是一句話DMA 的價(jià)值不在“更快”而在“不占 CPU”NEON 的價(jià)值在“快而便宜”CPU memcpy 的價(jià)值在“簡(jiǎn)單可靠”。三者的分工非常清晰沒(méi)有誰(shuí)完全覆蓋誰(shuí)。你只需要識(shí)別出自己的瓶頸到底在吞吐還是 CPU 占用答案往往就自己浮現(xiàn)了。寫到這里想起踩過(guò)的不少坑其實(shí)大多不是原理不懂而是沒(méi)把“為什么選它”想明白。抱著“DMA 一定比 CPU 快”的想法去設(shè)計(jì)幾個(gè)迭代之后就會(huì)撞上 cache 一致性、中斷延遲、描述符管理這些墻。反過(guò)來(lái)如果你帶著“讓合適的工具處理合適規(guī)模的數(shù)據(jù)”的思路去選型大部分情況下都能少走很多彎路。最后再分享一個(gè)小技巧把所有拷貝路徑做成一個(gè)統(tǒng)一的抽象接口內(nèi)部根據(jù)長(zhǎng)度自動(dòng)選擇 memcpy、NEON 或 DMA這樣在項(xiàng)目初期不管你的選擇是否精準(zhǔn)后續(xù)調(diào)整都只需要改一處代碼不用把外層邏輯全部推翻。我就是靠著這個(gè)抽象層在一周之內(nèi)把整個(gè)通信驅(qū)動(dòng)的效率提了一倍也沒(méi)有引入新的難查 bug。希望這篇文章能幫你少掉幾根頭發(fā)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
手机旧版看人妻1025| 97人妻碰碰碰久| 丁香五月激情五月色综合| 俺也去综合| yw.av| 色婷婷的五月天| 天天爽在线视频| 丁香五月花| 久久久这里有精品| 小视频一区| 99人妻碰碰碰久久久久视| 人妻内射视频| 亚洲成人中心| 热99只有里视频| 亚洲AV网址| 99热在线观看| 六月婷婷色综合| 亚洲乱码成人| 色综合综合色| 操逼巨乳91| 操91| 99色精品| AV操逼网| 丁香五月婷婷AV在线| 激情美女五月天| www. 五月. com| 操一区| 九九视频在线| 思思re99视频在线观看| 伊人婷婷青青cao| 婷婷五月在线| 丁香六月婷婷操逼网| 日日夜夜天天综合| 五月天丁香综合| 播五月丁香六月| 久久这里都是精品免费| 另类专区在线| 国产ava| 1024AV视频| 26UUU精品一区二区| 6080av| 午夜丁香| 丁香五月精品视频| 久久综合婷婷| 99色色热热| 色www.con| A片天天| 色色色欧美| 97极品在线| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷成人视频| 婷婷五月天狠狠| 色五月激情网| www.天天色综合| 五月天婷婷狠狠| 丁香婷婷久久五月天| 五月婷婷无码| 激情综合五月婷婷| 激情婷婷丁香| 五月丁香另类网| 双性美人被调教到喷水A片| 色婷婷综合网| 国产熟妇乱子伦hd| 五月丁香狠狠爱婷婷综合| 国产毛片欧美毛片久久久| 亚洲天堂色色| 日本欧美成人片AAAA| 91chinese在线| 久久怕怕视频| 一本大道伊人AV久久综合| 五月丁香| 五月天激情站| 婷婷五月天.com| 丁香婷婷六月激情文学| 激情五月天开心网丁香无码| 久久深爱激情网| 丁香六月视频| 婷婷激情五月天视频在线| 成人婷婷深爱综合网| 色婷婷精品小视频| 婷婷精品性性性性性性性| 日本婷婷网| 女人露出p毛视频www网站| 三级三久久线久久99久目本WW| 99热爱爱干干日| 综合大香蕉| 狠狠舔| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99精彩视频网站在线| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | pom538精品视频| 丁香婷婷九月| 97色色色| 亚洲韩国日产综合AV| 91综合在线观看首页| 大香伊人婷婷| 色五月激情五月丁香五月婷婷啪啪综合| 激情丁香久久| 26uuu精品一区二区| 久久精品99久久久久久| 色五月激情五月| 激情四射亚洲| 国在线激情网| 激情五月丁香婷婷| 国产精品扒开腿做爽爽爽A片唱戏| 超碰在线观看三级片| 中文字幕无码成人电影| 婷婷五月激情六月丁香| 婷婷五月天网址| caop在线视频| 五月刺激丁香月综合| 人人操碰| 森林影视大全,最好看的2019年视频 | 91av色色乱视频| 色欲婷婷五月天丁香| 丁香五月中文字幕| 色播五月网| 五月丁香久久网| 粉嫩AV久久一区二区三区| 秋霞网在线免费基地五月婷婷丁香| 激情五月婷黄版| 丁香六月啪| 中国操逼99| 99综合成人视频在线观看| 操B五月天| 蜜桃婷婷丁香| 五月丁香影院| 激情小说婷婷小说| 97AV在线视频| 色综合色色色色| 2025中文在线视频字幕免费观看| 成人短视频在线| 国产精产国品一二三在观看| 五月六月丁香激情视频| 99在线观看| 五月丁香另类网| 中文精品久久久久人妻不| 能直接看的av网站| 182tv992tv人之初午夜免费观看| 色婷婷4| 天天肏高清在线| 五月婷婷色色爱| 大香蕉综合网| 色综合久| 久热9| 狠狠狠色激情综合适合| 超碰免费电影| 中文网av| 九久热| 婷婷在线五月天观看| 激情五月天开心| 狠狠操狠狠色| 九九久久五月天综合伊人| 五月天激情网图片| 五月天婷婷一起草| 99性爱视频| 久久久精品视频79| 六月色婷婷| 欧美日韩123| 99热这里只有精品4| 国产成人AV| 婷婷激情丁香五月天综合| 五月婷啪啪| 色五月色综合| 熟女色色一区二区| 开心婷婷五月中文字幕组| 99热在线观看| 亚洲AV无码久久精品色欲| 色婷婷五月天偷拍| 亚洲精品操一操、噜一噜、摸一摸、爽 | 五月天激情国产综合AV| yjzz亚洲国产| 久久伦乱| 婷婷五月综合啪| 精品网站:999WWW| 99小视频在线| 在线成人网站| 99精品成人无码A片观看金桔| 涩玖玖免费视频| 五月天婷婷在线观看| 97偷拍在线视频| 丁香婷婷超碰| 色另类五月天| 婷婷香蕉精品| 五月天婷亚洲天综合网综合 | 在线一起草av| 丁香六月情| 66久久视频在线| 国产毛多水多女人A片| anquye伊人| 五月天偷拍| 亚洲99热| 欧美五月婷婷| 97人人操人人| 香蕉久久国产AV一区二区| 人妻久久久久久久| 六月99天天婷婷激情综合| 五月伊人91| 思思久热6| 99re资源在线视频导航| 五月天狠狠色| 再次出发二| 丁香五月六月综合激情| 白天AV月月| 热思思九九| 婷婷五月情天| 另类激情码| 婷婷丁香色五月| 色丁香久久| 99这里只有精品| 开心五月丁香婷婷| 性爱网五月天| WWW.五月com| 婷婷色丁香五月| 久久视这里只有精品| 久热99| 2025最新亚洲激情在线| 铁牛TV人妻| 人妻久久久久久久 | 亚洲精品国产A久久久久久| 五月丁香婷庭在线| 久草五月| 丁香五月天堂亚洲社区| 久久精品一区二区三区四区| 亚洲旡码| 中文av网| 情涩婷婷五月天| 日韩高清成人| 99色在线观看视频者| 婷婷玖玖五月天| 电影《战争与艾拉》免费观看| 任我肏视频精品| 日本99热| 色婷婷五月天在线观看| 婷婷五月天电影在线| 久久久九九九 99| 久久激情五月| 色欲久久综合| 狠狠色成人影片| 桃色激情婷婷伊人网| 97色婷婷在线观看| 亚洲有码在线视频| 综合五月激情| ai97re99一本| 欧美久久一级内射wwwwww.| 91丨九色丨丰满人妖| 天天狠狠色综合| 国产婷婷色五月| 婷婷色偷拍| 少妇出轨做爰高潮A片| www.久久久久久久| 激情五月婷黄版| 婷婷五月伦理| 噜噜噜噜在线| ...婷婷国产成人亚洲日韩| 婷婷五月天黄色网址| www.99精品日操伊人乱碰在线| 亚洲天天操| www.99热视频| 亚洲精品影视| 久色网| 五月天精品| 五月色导航| 狠狠操狠狠爱| 中文字幕永久在线| 五月激情丁香六月狠狠干| 婷婷丁香成人五月天| 成人无码中文| 激情婷婷视频在线| 久久91久久91色欲精品| 一起草Av| 高清无码 一区 二区 三区| 五月六月激情婷婷| 色亚洲欧洲| 99国产在线| 婷婷丁香人妻天天| 久久 天天| 五月激情久久综合网| 六月色国内综合| 99热国内| 极品五月天| 亚洲VA在线| 安息电影在线观看完整版| 2015好吊操| 7月婷婷六月丁香| 91热爆在线| 97色婷婷| 五月丁香另类网| 五月天激情Av| 婷婷五月天视频免费在线观看| www.99热在线| wwwss在线观看| 色五月综合网| 嫩草视频| 成人短视频在线| 亚洲Va成人| 能看的av片| 亚洲色vA| 99免费在线视频| 一本婷婷丁香久久| 五月激情丁香五月| 思思精品视频| 亚洲V国产V欧美V久久久久久| 激情婷婷激情在线不卡| 99热久| 五月婷婷色情| 五月婷婷中文字幕| 99啪啪骑| 色综合久久伊伊婷婷五月| 天天插天天插天天插天天插| 婷婷综合视频| 9久久婷婷国产综合精品性色| 伦乱美欧| 亚洲综合九九| 月色色综合婷婷网| 五月花婷婷最新| 五月天丁香成人| 精品久久穴| 日本97在线视频| 婷婷色五月久久| 五月丁香激情婷婷| 天综合日日夜综合7799| 色五月激情综合| 97亚洲婷婷| 久久精品99国产精品日本| 五月婷婷丁香啪啪| 天天婷婷色六月| 色色婷婷五月天| 婷婷五月天久久综合88| 丁香五月综合在线观看| 国产精产国品一二三在观看| 超碰三级秋霞| 婷婷五月丁香综合| 91久久综合亚洲噜噜成人在线| 天天综合.com| 色丁香久久| 99免费热视频在线| 99精品久久久久| 丁香婷婷影院| 色婷婷五月综合网| 婷婷视频在线| 五月丁香啪啪拍| 久热无码| 六月婷婷天天操夜夜爽视频| 99精品在线观看| 婷婷久久色| 一根材五月婷成人| 色播丁香| 婷婷五月天视| 色色五月天激情| 日本69日人视频| 婷婷五月,偷窥偷拍网| 在线成人国产| 五月婷婷色五月| www.婷婷激情网.com| 先锋资源996| 97香蕉碰碰人妻国产欧美| 91超级碰在线| 午夜成人AV在线| 99超级碰碰| 99精品小视频| 亚洲无aV在线中文字幕| 激情五月天啪啪| www.com色播五月天| 天天谢天天操| 超碰京东热av男人的天堂| 色欲AV导航| 婷婷五月天99综合网站| 六月丁AV| 26uuu精品一区二区| 综合久久久| 婷婷丁香色情| 久热99| 五月丁香婷婷爱激情综合网| 中文字幕按摩做爰| 99久久玖玖| www.综合久久| 91碰碰碰| 亚洲综合干| 99热网精品| 久久精品亚洲热| 成人视频免费观看高清完整版在线观看| 久色国产| 综合激情在线| 一本道在线电影| 日日狠夜夜狠| 日韩操逼大片| 99在线观看| www.色窝| 五月丁香在线观看99| 五月丁香婷婷久久| 天天草天天日| 色情婷婷。| 婷婷六月啪啪| 国产精品成人av在线观看春天| 国产色色色色色| 99视频| 91狠狠综合久久久久久| 99久久超级| 久久综合五月| WWW.激情| www.99久久久久99| 97在线视频观看| 色婷婷狠狠干芒果TV| 色九九七七| 色色com| 99热这里只有免费| 五月天婷婷色在线视频免费观看| 国产精品成人网址| 五月激情偷拍| 成人丁香五月天| 国产在线中文字幕| 色婷婷综合在线| 99性色| 婷婷五月天开心激情网| 噜一噜免费视频| 五月激情综合婷婷| 大香蕉婷婷| 五月天婷婷在线观看| 亚洲思思热久| 综合五月激情| 色五月婷婷中文字幕在线观看| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 伊人狠狠色婷婷综合丁香一区| 日本三级大片| 激情噜噜噜| 五月丁香直播| 精a品a视a频| 成人一区在线观看| 精品综合网在线| 久久a热| 激情五月婷婷开心网| 99热6这里只有精品6| 色色丁香五月天社区| 99色在线视频| 久久婷婷五月天| 婷婷五月丁香99| 97碰在线视频| 97碰人人操| 五月婷婷精品无在线| 日韩欧美五月丁综合| 久久日九九| WwW色婷婷| 激情婷婷六月天| 性爱久久| 久热这里只有| 噜噜五月天综合| 99黄色| 亚洲性爱99| 丁香六月婷婷综合| 丁香六月啪| 97碰碰视频| 999热这里只有美国精品| 日本三级韩三级99久久| 五月花免费视频| 成人丁香色| 五月天亭亭俺也| 九九爱看亚洲| 久久婷婷五月丁香| 色色网站免费观看| 天天色综合网吨吧| 综合伊人狠狠| 五月丁香婷婷激情视频| 日韩五月丁香| 色五月五月天色婷婷色五月| 亚洲色热| 黄网在线免费观看| 狠狠搞狠狠操| 啪啪综合网| 可以看的av网站| 色色色色色色色色网站| 色狠狠综合| 人妻久久久| 婷婷五月激情综合| 777米奇影视第四色| 五月婷婷大香蕉| 99操逼| 欧美成人AAA片一区国产精品| 丰满人妻一区二区三区| 日日噜噜夜夜狠狠久久丁香五月| 综合另类激情| 婷婷五月天国产性感美女演员久久久久| 综合欧美五月婷婷| 99在线小视频| 中文色婷婷| 婷婷午夜精品久久久| 五月婷婷中文字幕| 丁香六月狠狠| 九九爱看亚洲| www.婷婷| 操碰91| 婷婷五月天综合亚洲| 日日操无码| 9久9久| 午夜丁香| 激情综合五月色丁香婷婷| 五月丁香婷婷激情澎湃四射| 五月婷婷深深爱| 俺去也五月| 少妇2做爰HD韩国电影| 亚洲超碰中文字幕| 久久女婷| 日韩欧美一级大黄网站| 五月婷婷色影院| 久操热线| 丁香熟女乱| 婷婷五月天av| 久久人人人人妻| 成人色五婷婷| 五月天色综合| 五月婷婷深深爱| 丁香五月色色色色| 久久天天| 国产性爱在线| 中文字幕人妻在线| 婷婷五月骚厕所| 激情综合网五月丁香| 婷婷五月天综合网| 久9无码视频| 欧美日韓成人亚洲精品另类| 九九热最新| 91综合在线| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 一区视频网站| 狠色狠色综合久久| 婷婷免费视频| 丁香五月性爱爱五月| 秋霞免费三级片| 五月天婷婷影院影院观看| 五月丁香久久| 九九热精品99| 国产色色色色| 无码成人AAAAA毛片AI换脸| 任我鲁这里有精品视频| 婷婷激情六月天视频| 五月婷婷激情综合网| 丁香六月激情国产| 五月丁香六月激情综合在线| 久久99热这里只有精品| 欧美性爱一区| 婷婷五月av| 69精品人人人人| 超碰免费大香蕉| 丁香网五月天激情| 91男同视频| 亚洲sesesese| 婷婷丁香久久| 在线你懂的亚洲欧| 色婷婷久久综合中文久久一本| 大地9中文在线观看免费高清| 99热1| 六月婷婷五月天| 色色色色色色综合网| 天天日夜夜B久久| 久久综合久色欧美综合狠狠| 婷婷五月综合啪| 超碰在线网站| 色综合久久天天综合网| 五月花综合视频| 99er免费在线观看| 天天综合网站| 色播五月婷婷综合| 五月婷久久久| 图片区 小说区 区 亚洲五月| 9热视频在线观看| 欧美色图片88| 激情五月天综合网| 91精品刘玥| 狠狠色综合精品视频在线| 99综合免费视频| 9精品视频在线观看| 亭亭玉立国色天香| 无码少妇高潮喷水A片免费| 人人看人人97| 综合久久综合综合| 99热这| 99se丁香| 激情五月天婷婷| 日日干夜夜干| 强辱丰满人妻HD中文字幕| 亚洲熟妇AV乱码在线观看| 欧美性爱专区| 天天操夜夜肏| 久久成人综合五月天| 激情五月天婷婷图| 午夜电影网VA内射| 99在线观看| 婷婷综合一二三| 99热在线播放| 中文字幕在线日亚洲9| 色色五月天婷婷| 亚洲激情综合色站| 婷婷综合丁香| 激情五月丁香亭亭| 亚洲啪啪视频| 丰满人妻妇伦又伦精品国产| 久久思思热视频| 九九热99在线视频| 99精品自拍| 日本色婷婷五月天成人电影| 91人妻九色大屁股| 一区二区乱码视频| 婷婷基地成人五月天| 成人综合网站| 丁香六月婷婷色XXXXX| 婷婷综合亚洲| av一级棒av| 婷婷色色婷婷| 爱性综合网| A短视频免费在线观看| 天天干天天操天天拍| 久久婷婷五月天蜜桃| 开心五月天激情网| 亚州操人在线视频| 激情小说五月天社区丁香| 乱精品一区字幕二区| 五月天激情AV| 婷婷丁香69精华| 就爱日五月天| 五月天色丁香| 99re鈥哸鈥唙| 激情的五月婷婷蜜桃| 91午夜婷婷狠狠久久综合9色| 99色视频在线| 五月丁香综合伦理片| AV六月丁香| 五月婷婷草| 操骚货在线| 欧美激情综合色丁香婷婷五月天| 男女99免费视频| www99精品日韩| 99黄色性生活| 玖玖资源在线视频| 亚洲综合丁香婷婷六月天| 五月婷婷六月丁香首页| 粉嫩AV久久一区二区三区| 99热精品免费| www.夜夜.com| 丁香六月AV| 97人人爱人人操| 狠狠婷婷色| 思思久久精品| 精品99在线| 特级片神马电影| 99色综合网| 99久久视频| 久99久视频精品| 91操人视频| 人人97碰| 五月天综合| 五月天中文网| 桃色伊人在线| 激情小说五月天社区丁香| 五月天激情日色在线| 性做久久久久久久免费看| 国产无人区大片| 色色色国产| 亚洲色情免费网| 大香蕉五月丁香| 99久久人人| 中文字幕无码人妻少妇免费视频| 久久怡红院| 97热这里精品在线视频| 思思热在线| 日日日天天干| 人妻videos人妻高清| 97干视频| 亚洲婷婷基地| 国产熟女大叫受不了| 天堂久久久久天堂网| 色狠狠色噜噜AV天堂五区| 丁香五月婷婷色| 色婷婷久久综合| 五月天婷婷激情| 五月激激激情综合网| 中文字幕性爱丰满| 大香蕉院线| 九九这里精品| 丁香五月激情澎湃一区| 五月丁香av在线| 五月丁香六月日逼| 激情婷婷综合| www.丁香黄色五月天人与| 天天色伊人| 99这里精品| 无码一区二区三区四区五区| 狠狠色五月激情| WWW,色五月| 色五月婷婷五月丁香五月激情五月视频| 玖玖婷婷五月天| 五月天婷婷六月激情网| 性 色 婷婷| 天天操天天操| 五月婷六月丁香| A A色色| 天天天综合网| 五月天婷婷免费视频| 色哟哟精品| 婷婷伊人綜合中文字幕| 成人综合网站| 久久婷婷超碰| 日韩另类在线观看| 99九九久久| 色五月无码| 求可以看的AV网址| 96五月丁香熟女| 婷婷五月花| 综合久久婷婷| 白人荫道BBWBBB大荫道| 1024成人免费看| 一起草无码| 视频这里只有精品| 思思精品热在线| 色欲婷婷五月天丁香| 天天干天干| 极品人妻VIDEOSSS人妻| 91 九色 入口| 婷香五月网在线| 26uuu色噜噜精品一区| 思思99热这里只有精品6| 96五月丁香熟女| 人人操91| 久久视9精| 中文字幕AV网址| 天天做天天爱天天日| 久热A| 影音先锋噜一噜| 日本人妻伦在线中文字幕| 狼人伊人干| 五月天日日操夜夜操| 九九久久综合网站| 精品久久99码| 激情电影五月婷婷| 激情宗合哪里能看| 五月天亭亭俺也| 久久99久久99精品免视看婷婷| 五月四色激情| 超碰在线人妻| 五月综合无码| 99久在线精品99re8| 色色综合院| 99在线精品视频观看免费下载| 色五月天成人| 国产欧美日韩综合精品一区二区| 欧美超级视频97| 欧美激情Va| 久热黄色| 色九四色| 婷婷伊人激情婷婷| 五月婷啪啪| 色偷偷人人| 五月丁香婷婷激情在线视频| 五月婷婷影| 人妻熟女一区二区AV| 色色五月婷婷久久| 五月激激激情综合网| 五月天激情网图片| 丁香五月欧美激情| 六月婷婷在线视频| 爱iii做iiii日| 人人澡天天色天天做| 国产精品日日躁夜夜躁| OYIWbGcPu8H| 亚洲99视频| 天天操天天操天天操天天操天天操 | 91视频一起草| 丁香五月成人自拍| 久久久久人无码人妻| 另类视频五月天| 色狠狠综合| 五月婷婷六月情| 丁香六月综合| 99色看| 婷婷成人基地| 夜夜涩涩涩| 热99在线| 色婷婷五月综合| 婷婷久久99| 4399欧美另类视频| 五月天激情久久| 国产精女同一区二区三区久| 人人看人人要| AV片一区在线观看| 九九热视频免费观看| 九色PORNY9l原创自拍| 伊人影音无码一区二区三区| 五月天综合久久| 婷婷九九| 久热人妻| 六月丁香婷婷五月天| 91美女被操| 99ri国产| 婷婷六月激情| 亚洲色色爱| 久久久97| 99亚洲大片精品永久在线观看| 六月婷婷五月丁香| 欧美天天性| 人五月天婷婷喷水| 狠狠色噜噜色狠狠狠综合久久成人波 | 婷婷五月综合欧美在线播放| 97精品人人A片免费看| 丁香五月婷婷五月天在线| 久久婷五月| 91啪啪| 97高清国语自产拍| 亚洲综合网激情小说| 五月丁香六月激情综合| 全国最新疫情| 99婷婷五月天| 日本性视频| 久久这里有精品| 激情综合区| 婷婷性爱| 日日夜夜爽| 六月婷婷香蕉| 99操碰| 亚洲九九99精品视频在线播放| 黄色高清无码| 综合久久高清| 欧美日韓成人亚洲精品另类| 日韩黄色影院| 五月天激情四射网站| 五月婷久久| 亚洲国产精品二二三三区 | 婷婷干五月综合在线播放| 综合久久十| 99性爱视频| 五月天国产成人| 狠狠爱青青草| 五月天伊人综合| 亚洲VA欧美VA| Y11111111111少妇电影院| 99热亚洲精品| 国产性色蜜乳| 日本天堂免费99| 婷婷啪啪| 九九99一区| 色婷婷久久| 色色色香蕉五月婷| 在线成人网址| www.五月天。com| 久久伦乱| 秋霞av吧| 激情婷婷六月天| 婷婷丁香五月高清| 中海油常州环保涂料有限公司| 五月停视频天堂| 亚洲日日日| 久久综合激情五月天| 亚洲视频在线网| 狠狠爱婷婷爱| 这里只有精品9| 六月99天天婷婷激情综合| 琪琪狠狠干| 日本色色色| 婷婷综合五月| 26uuu亚洲欧美| 色情婷婷| 免费国产视频| 大香蕉婷婷婷| 国产FREESEXVIDEOS性中国| 九九热视频在线观看| 亚洲激情综合五月婷婷啪啪| 色啪影院| 干一干xxxx| 91色婷婷综合久久中文字幕二区| 天天天摸夜夜夜玩| 4399成人黄A片| 婷婷97C| 日韩黄在免| 久久综合婷婷| 五月婷婷中文字幕| 激情五月天小说| 五月丁香人人婷婷在线观看| 婷婷爱在线观看| 激情综合网五月| 高清av在线国产| 97超碰,人人舔,人人操,人人摸 | 天天狠狠夜夜狠狠2023| 色五月色图| 亚洲婷婷五月天激情| 五月天激情.com| 欧洲激情五月天婷婷| 亚洲一个色| 日韩成人电影AV| 丁香六月婷| 99热在线看| 亚洲AV成人在线观看| 午夜亚洲AV日韩无码| 色婷婷亚洲婷婷| 色狠狠综合| 丁香五月自拍| 激情性爱五月天| www.久久99热地址发布| 五月婷婷在线观看黄| 久久五月婷天天干| 呦呦v线| 精品成人无码A片观看香草视频| 丁香六月狠狠| 色五月天天| 国产综合激情五月久久| 亚洲色域网| 伊人丁香五月| 丁香五月婷婷激情视频播放| 涩涩五| 97韩国久久电影院| 欧美婷婷五月丁香| 无码人妻一区| 夜夜操狠狠操| 玖玖五月| 日日干天天爽| 大香蕉综合| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 精品一区二区三区三区| 在线一起草av| 大香蕉狼人久久| 九九大香视频| 丁香婷婷人妻| 婷婷五月天日日日干干干| 婷婷成人丁香色情基地30| 色99热| 五月精品| 亚洲色热| 97丨九色丨国产丨PORNY| 日逼影音先锋AV男人资源站| 99人人操人人操人人精| 影音先锋色婷婷| 久色视频首页| 亚洲bt丁香五月天婷婷激情小说| 色婷婷狠狠| 996er热| 日韩中文欧美| 色情网综合| 婷婷色色欧美| 伊人青草成人| 欧美综合五月丁香六月婷| 五月激情六月丁香| 日本色色色| 九九热123| 大香蕉天堂| 色波激情五月天| 色狠久| 成人亚洲精品| 96丁香婷婷九月蜜桃综合久久| bukadeavzaixian| 色五月天影视| 亚洲操b| 国产精品久久久久久白浆色欲| 99视频| 日韩 mm 不卡| 五月丁香综合网色欲| av中文网站| 中文字幕黄色片| 婷婷综合中文字幕| 九热精品| 丁香五月天天高清在线| 色欲天天综合| 91色综合网站在线| 午夜婷婷| 99在线亚洲| 97色色网| 牛牛色av| 五月婷色丁香| 黄色激情五月天| 天天综合网站| 综合久久高清| 9久热这里只有精品视频| 亚洲成人一区| 久久人人添人人爽添人人片αV| 色综合综合色| 九九婷婷网五月天| 九九色综合| 97碰| 色色色色色网站| 亚洲国产精品SUV| 亚洲成人另类| 3www激情| 色伦专区97中文字幕| 亚洲婷婷基地| 强伦轩人妻一区二区电影| 亚洲色婷婷| 大香蕉中文| 夜夜爽天天干| 密着浓厚中出乚交尾GvG935| 这里只有精品日韩| 国产亚洲精品久久一区二区三区| 丁香五月激情久久麻豆| 超碰97久久| 欧洲日韩一区二区三区| 天天操婷婷| 五月丁香婷婷啪啪网| 夜夜爽天操| 中文字幕 中文字幕明步| AAA久久| 色呦呦美女| 日本一区二区三区精品视频| 2020久久婷婷五月| 狠狠爱综合| 在线视频你懂得| 六月婷婷综合| 伊人久久大香线蕉亚洲五月天,| 婷婷一本和五月丁香| 思思热这里只有精品| www,色婷婷| 亚洲六月色婷婷| 97国产精品女人碰碰| 丁香色五月婷婷91桃色| 欧美成人精品A片免费一区99| 五月婷婷啪啪网| 99在线视频精品| 99久免费视频| 久久这里只有精品热在99| 色综合久久88色综合天天| 亚洲激情色色| 日本97人人| 天天看夜夜看| 久久五月婷6 9| 丁香丝袜五月| 日本44久久在线| 激情五月婷婷色综合| 婷婷五月丁香五月| 人人射av| 婷婷色影音天| 五月天婷爱综合| 国av网| 丁香五月天在线| www.婷婷激情网.com| 色婷亚洲| 中文在线视频久9| 成人网在线视频| 97久久草草超级碰碰碰| 91人操| 99久久久久| 五月色影院| A片一曲| 五月香婷婷| 婷婷五月开心中文字幕色| 婷婷五月激情欧美大胆视频| 婷婷五月天在婷| 超碰自拍天堂| 丁香九九九九| 久久这里都是精品免费| 99热这里只有精| 激情五月天小说视频| 成人AV播放| 丁香五月天综合| 久久女婷| 大地资源色婷婷视频在线 | 男人的天堂五月丁香| 激情丁香六月| 日日天天干| 天天成人综合视频| www.99热精品99.com| 91seav| 免费99情趣网视频| 五月天开心色色网| 91超级碰在线| 99小精品| 丁香婷婷激情网站| 99综合视频| 99精品视频免费在线播放| 亚洲日韩一页精品发布| 99精吕视频在线观看了| 亚洲天堂热| 爱99干99| 天天综合色| 伊人超碰| 亚洲激情Av| 精品在线网站| 呦呦视频无码播放| 日韩久久日| 熟女激情五月天| 99热这里只有免费精品| 丁香五月区| A片试看50分钟做受视频| 五月婷婷深深爱| 综合欧美五月婷婷| 色色97丁香婷婷五月天| 五月激情小说| 九九婷婷五月天| 亚洲小视频免费看| 成人丁香五月婷| 综合婷婷| 丁香六月婷婷综合缴| 九九黄色网| 99超碰人人| 国产肥白大熟妇BBBB视频 | 日本五月婷婷| 五月综合无码| 五月香蕉综合| 五月婷婷啪啪啪| 一级性爱大片| 99网| 天天艹夜夜艹| 日本九九视频| 色婷婷丁香五月色综合网| 另类色网| 婷婷视频网| 亚洲中文字幕AV在线| 久99久在线| 五月天激情国产综合婷婷| 五月激情丁香六月狠狠干| 婷婷五月天网址| 日本性视频| 少妇人妻偷人精品无码视频新浪| 日韩在线99| 99精品在线下载| 99热精品少| 色婷婷香蕉丁丁网| 国自产拍偷拍精品啪啪一区二区| 欧美日韩成人在线| AV在线观看网站| 五月丁香六月婷婷国产视频| 久久人人人人妻| 亚州在线中文字幕| 成人九九视频| 亚洲艹网| 操碰91| 99热线观看9| 亚洲最大成人综合网720P| 狠狠色婷婷| www.婷婷| 97色女人在线| 深爱五月激情| 午夜电影网VA内射| 激情综合另类| 开心久久五月天| aaa久久| 亚洲第一黄网| 91综合国免费久入| 六月婷婷综合激情| 婷婷综合精品| 久久久久久久97| 久久人人九| 另类视频综合| 色婷婷久久| 99热国产精品| 女婷久久| 91丨九色丨国产打屁股| 婷婷五月色综合| av无码电影| 久久草中文日韩欧美| 加勒比日本一区二区三区| 五月丁香婷婷啪啪综合| 午夜日日| av无码电影| 色一情一乱一乱一区91| 999久久久国产精品| 日韩无码系列| 国产成人av在线播放| 五月激情啪啪| 婷婷亚洲日本| 亚洲激情高潮| 特级片神马电影| 亚洲瑟瑟精品在线| www夜夜操comwww| 五月天天天天天天天天天天天天天天天婷婷婷| 五月婷婷在线观看| se99视频| 五月丁香婷婷在线| 亚洲操人| 高潮毛片又色又爽免费| 午夜无码熟熟妇丰满人妻| 五月丁香久久激情综合| 97超碰色| 激情图片99| 婷婷色激情网| 丁香久久AV| 99久久性爱| 五月婷婷色| 婷婷黄色| 国产肥白大熟妇BBBB视频 | www.婷婷亚洲基地| 色丁香五月婷婷婷| 99性爱精品| 久久开心五月婷婷| 噜噜狠狠色综合久| 五月丁香影院| 九月停停| 大香蕉中文| 天天综合插插| 俺去也婷婷| 色色网站在线| 婷婷五月欧美综合| 热五月婷婷| 五月天小说激情| 婷婷激情五月色综合| 日本色色网| 影音先锋秋秋五月婷婷| 狠狠爱夜夜| 那里有AV网址| 婷婷五月天开心激情网| 91碰视频| 久久婷婷五月丁香蜜桃网| 日韩美女在线视频19| sS丁香五月婷婷| 五月激情天天干| 久久免费精彩视频| 665566 无码| 成人av中文字幕| 武汉美女啪啪视频免费一级片| 亚洲高清在线| 深爱开心激情| 色婷婷啪啪| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 99九九精品| 五月Huangsewang| 大香蕉520| 婷婷五月天久久| 狠狠狠狠狠狠狠狠| 色综合99无码 | 亚洲成人av在线播放| 婷婷亚洲五| 婷婷色五月情| 日本人妻A片成人免费看片| 99亚洲精品视频| 色婷婷影音| 色婷婷综合网| 色婷婷精品视频| 丁香六月激情蜜桃| 欧美精品999| 色碰97| 久久这里只有精品16| 人人干人人看| 天天操精品| 丁香狠狠色婷婷| 午夜天堂啪啪| 久久激情五月婷婷| 国产特级毛片AAAAAAA高清| AV九九| 国产精品社区| 成人精品在线| 天堂中文国产| 九九热手机在线视频| 无码色色色| 99热碰碰热| 婷婷五月天电影在线| 亚洲视频久久| 99ri在线观看视频| 五月激情丁香五月宗合| 天天影院色| 97综合在线| 欧美黑人巨大猛烈cuckold| 夜夜骑日日操| 日本久久精品| www.xtbsty.cn.com蜜乳AV| 天天综合区| 97人人操人人插| 欧美肉大捧一进一出免费视频| 97久久久| 国产偷人爽久久久久久老妇APP| 婷婷婷婷色| www.久久久久久久| 67194成I人在线观看线路1| 五月天激情小说| 色婷婷六月| 色色国产| 日韩成人中文| 午夜九九九九九九九九九九九九九| 免费人人操| 欧美成人日韩| 综合99久久天天综合| 欧美 日韩 成人| 日韩色色色99| 五月天婷婷综合久久|