欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

單核處理器開發(fā)板線程沖突排查實(shí)戰(zhàn):從原理到修復(fù)

單核處理器開發(fā)板線程沖突排查實(shí)戰(zhàn):從原理到修復(fù) 先亮個(gè)觀點(diǎn)單核處理器開發(fā)板上的線程沖突往往比多核系統(tǒng)更難排查。原因在于大多數(shù)人從潛意識(shí)里就認(rèn)定“單核同一個(gè)瞬間只執(zhí)行一條指令哪來(lái)的同時(shí)訪問”我一開始也這么想直到在STM32F407上調(diào)一個(gè)看似不可能出錯(cuò)的標(biāo)志位判斷眼睜睜看著程序在開了O2優(yōu)化后把已經(jīng)置位的if條件當(dāng)成恒假才意識(shí)到這個(gè)問題遠(yuǎn)比想象中復(fù)雜。后來(lái)在ESP32、T113、STM32MP157這些板子上折騰RTOS和裸機(jī)程序一次又一次踩進(jìn)同一個(gè)坑里才慢慢把單核線程沖突這件事想明白。這篇文章我會(huì)從原理講到實(shí)操把“單核上并發(fā)到底怎么發(fā)生”“開發(fā)板上最容易出問題的三類沖突現(xiàn)場(chǎng)”“為什么volatile救不了你”“用什么手段定位和修復(fù)”這幾塊講透最后附上一段真實(shí)排查復(fù)盤。無(wú)論你是在裸機(jī)環(huán)境里被中斷搞到頭大還是在FreeRTOS里被任務(wù)切換折磨到懷疑人生這篇內(nèi)容應(yīng)該都能幫你少走幾個(gè)月的彎路。1. “單核同一時(shí)間只能執(zhí)行一條指令”那沖突從哪來(lái)1.1 單核也能并發(fā)執(zhí)行流之間的交錯(cuò)切換先糾正一個(gè)最常見的誤解并發(fā)concurrent不等于并行parallel。并行是同一時(shí)刻真的有多個(gè)執(zhí)行單元在同時(shí)跑這確實(shí)需要多核。但并發(fā)只需要“任務(wù)交替執(zhí)行”哪怕CPU每一瞬間只干一件事只要它在多個(gè)執(zhí)行流之間來(lái)回切換這些任務(wù)就是并發(fā)的。單核處理器開發(fā)板上有兩類執(zhí)行流天然并存。第一類是裸機(jī)環(huán)境下的主循環(huán)加中斷服務(wù)程序ISR主循環(huán)是一個(gè)執(zhí)行流每個(gè)中斷源是另一條執(zhí)行流中斷可以隨時(shí)打斷主循環(huán)。第二類是RTOS環(huán)境下的多個(gè)任務(wù)task由調(diào)度器決定誰(shuí)占用CPU常見的機(jī)制有時(shí)間片輪轉(zhuǎn)、優(yōu)先級(jí)搶占、以及任務(wù)主動(dòng)延時(shí)或阻塞讓出CPU。一個(gè)RTOS系統(tǒng)里哪怕優(yōu)先級(jí)是1的任務(wù)和優(yōu)先級(jí)是10的任務(wù)跑在同一顆單核上從宏觀時(shí)間尺度看它們確實(shí)都在推進(jìn)。但從指令級(jí)微觀尺度看CPU永遠(yuǎn)是串行地執(zhí)行某一條指令。沖突并不是“兩個(gè)線程真的同時(shí)改了一個(gè)變量”而是“兩個(gè)執(zhí)行流的指令交錯(cuò)在一起把一個(gè)需要不被打斷的操作拆成了兩半”。打個(gè)比方你排隊(duì)在ATM機(jī)上存錢流程是先插卡、再輸密碼、再存錢、再退卡。這時(shí)候一個(gè)保安走過來(lái)在你輸完密碼還沒存錢的時(shí)候把你拉到旁邊讓你填表。等你回來(lái)繼續(xù)操作你或者保安都會(huì)一臉蒙這筆業(yè)務(wù)到底進(jìn)行到哪一步了單核處理器上的線程沖突就是這么發(fā)生的——不是兩個(gè)人同時(shí)按按鈕而是操作步驟被“插隊(duì)”的人從中間截?cái)嗔恕?.2 非原子操作一句a背后其實(shí)是三條指令C語(yǔ)言里一行counter看起來(lái)是一個(gè)不可分割的動(dòng)作。但編譯成ARM或RISC-V指令后它至少包含三條機(jī)器指令從內(nèi)存把counter讀取到寄存器對(duì)寄存器執(zhí)行加1把寄存器寫回內(nèi)存在單核處理器上中斷和任務(wù)切換可以發(fā)生在任意一條指令之后。如果兩個(gè)任務(wù)都在執(zhí)行counter最壞的交錯(cuò)情況是這樣發(fā)生的任務(wù)A先執(zhí)行完load拿到了counter0這個(gè)舊值。此時(shí)調(diào)度器切換任務(wù)B開始跑它完整執(zhí)行了load、add、store把counter從0寫成了1。接著任務(wù)A恢復(fù)執(zhí)行它寄存器里存的還是0執(zhí)行add后變成1再store回內(nèi)存counter從1被覆蓋回1。兩個(gè)任務(wù)各自執(zhí)行了一次自增預(yù)期結(jié)果應(yīng)該是2實(shí)際卻是1。這類問題在單核嵌入式開發(fā)里幾乎無(wú)處不在。它不要求“兩個(gè)執(zhí)行流同時(shí)運(yùn)行”只要它們交錯(cuò)的時(shí)機(jī)恰好在“讀”和“寫”之間沖突就成立。這個(gè)概率通常不是很大但一旦某個(gè)中斷的觸發(fā)頻率高、某個(gè)任務(wù)運(yùn)行頻繁錯(cuò)誤就會(huì)以“偶發(fā)”“看運(yùn)氣”“跑幾小時(shí)崩一次”的形式出現(xiàn)。1.3 切換時(shí)刻不可預(yù)測(cè)中斷和調(diào)度器才是“真正的導(dǎo)演”很多新手寫裸機(jī)程序時(shí)默認(rèn)程序會(huì)“老實(shí)地按順序跑完每一段代碼”。這句話只在沒有中斷、沒有任務(wù)切換的NOP循環(huán)里成立。只要打開任何一個(gè)外設(shè)中斷或者跑起RTOS執(zhí)行流的劇本就再也不由主函數(shù)控制了。中斷可以在任意指令邊界被觸發(fā)。ADC轉(zhuǎn)換完成、定時(shí)器溢出、UART收到一個(gè)字節(jié)、按鍵電平跳變……每一個(gè)事件都可能在不合時(shí)宜的時(shí)刻打斷當(dāng)前執(zhí)行流。RTOS的任務(wù)切換通常來(lái)自SysTick定時(shí)器它有自己的節(jié)拍但任務(wù)之間搶占式調(diào)度意味著低優(yōu)先級(jí)任務(wù)運(yùn)行到一半高優(yōu)先級(jí)任務(wù)就緒后當(dāng)前任務(wù)立刻被掛起。這里有一個(gè)新手特別容易忽略的細(xì)節(jié)任務(wù)切換不只發(fā)生在你主動(dòng)調(diào)用vTaskDelay或等待信號(hào)量的時(shí)候。只要使用了搶占式調(diào)度高優(yōu)先級(jí)任務(wù)一就緒低優(yōu)先級(jí)任務(wù)隨時(shí)隨地會(huì)被切換出去。所以“我這段代碼沒有調(diào)用任何可能阻塞的函數(shù)它一定會(huì)一口氣執(zhí)行完”這個(gè)假設(shè)在搶占式RTOS里是站不住腳的。而中斷搶占RTOS任務(wù)的時(shí)機(jī)更不可控——它只取決于外設(shè)事件何時(shí)發(fā)生跟你代碼執(zhí)行到哪里毫無(wú)關(guān)系。線程沖突的“隨機(jī)性”就來(lái)自這里代碼路徑不同、外設(shè)觸發(fā)時(shí)刻不同、編譯器生成的指令序列不同都會(huì)讓沖突概率呈現(xiàn)完全不同的分布。2. 在開發(fā)板上最容易踩的三類線程沖突現(xiàn)場(chǎng)2.1 中斷置位的主循環(huán)標(biāo)志位為什么被編譯器“吃掉”了裸機(jī)開發(fā)里最經(jīng)典的一幕串口接收中斷里收到一個(gè)字節(jié)把它放進(jìn)全局?jǐn)?shù)組然后置位data_ready標(biāo)志位。主循環(huán)里不斷檢查data_ready為真就處理數(shù)據(jù)、清標(biāo)志。代碼邏輯看起來(lái)無(wú)懈可擊但有兩個(gè)坑在等著你。第一個(gè)坑是編譯器優(yōu)化。如果你沒有把data_ready聲明成volatile在O2優(yōu)化級(jí)別下編譯器可能把主循環(huán)里的while(!data_ready);優(yōu)化成只從內(nèi)存讀取一次data_ready之后每次都直接重用寄存器里的舊值。中斷確實(shí)更新了內(nèi)存里的變量但主循環(huán)還在反復(fù)檢查一個(gè)“過期的緩存”。這是C語(yǔ)言標(biāo)準(zhǔn)里非常明確的未定義行為——在中斷和主循環(huán)之間共享變量卻不加volatile——硬件上電后能不能跑對(duì)全看編譯器心情。第二個(gè)坑更隱蔽就算加了volatile并且單片機(jī)是32位、標(biāo)志位也是32位的單個(gè)標(biāo)志位的讀取和寫入看似“原子”但如果你在主循環(huán)里做的事是“先判斷標(biāo)志再讀數(shù)組里的一批數(shù)據(jù)”中斷又恰好在你讀完第一個(gè)數(shù)據(jù)、還沒讀完后面幾個(gè)時(shí)再次觸發(fā)并寫入了新數(shù)據(jù)那主循環(huán)拿到手里的數(shù)組就是新舊混合的半成品。標(biāo)志位本身沒壞但標(biāo)志位背后保護(hù)的那塊數(shù)據(jù)壞了。在STM32系列上串口中斷配合DMA時(shí)這個(gè)問題最常見。DMA接收完一幀數(shù)據(jù)后由空閑中斷置位標(biāo)志主循環(huán)檢查到標(biāo)志后去解析接收緩沖區(qū)。如果處理得慢下一幀DMA數(shù)據(jù)已經(jīng)覆蓋了緩沖區(qū)前幾百字節(jié)解析結(jié)果自然是一堆亂碼。這種“標(biāo)志位正確但數(shù)據(jù)已被二次寫入”的沖突單靠volatile是解決不了的。2.2 兩個(gè)任務(wù)搶一條I2C總線從設(shè)備直接血壓飆升用ESP32跑FreeRTOS的開發(fā)者基本都遇到過這種鬼打墻的情形任務(wù)A周期性地讀取BME280溫度傳感器任務(wù)B負(fù)責(zé)把傳感器數(shù)據(jù)刷到OLED屏上兩個(gè)任務(wù)共用同一路I2C總線。程序?qū)懲暌慌軠囟葦?shù)據(jù)偶發(fā)變成0xFFOLED上的顯示內(nèi)容偶爾出現(xiàn)雪花點(diǎn)或錯(cuò)位字符。原因在于I2C總線的時(shí)序協(xié)議要求一次完整的傳輸過程不能被打斷。START條件之后主機(jī)要發(fā)送I2C從設(shè)備地址然后等待ACK接著按寄存器地址、數(shù)據(jù)字節(jié)的順序一條一條地收發(fā)。如果任務(wù)A發(fā)送從設(shè)備地址之后剛剛收到ACK任務(wù)B搶占了CPU開始執(zhí)行自己的I2C協(xié)議它也在同一個(gè)SDA和SCL上發(fā)START和地址那么總線上就會(huì)出現(xiàn)兩個(gè)主機(jī)互相打架。從設(shè)備端看到的現(xiàn)象是地址對(duì)不上、ACK不回應(yīng)、數(shù)據(jù)字節(jié)位置錯(cuò)亂、甚至誤以為總線進(jìn)入了異常狀態(tài)。更麻煩的是很多I2C從設(shè)備的內(nèi)部狀態(tài)機(jī)比較脆弱一旦時(shí)序被打斷需要重新初始化或復(fù)位才能恢復(fù)通信。這種問題在SPI外設(shè)上同樣存在表現(xiàn)形式略有不同。SPI本身沒有類似I2C的地址應(yīng)答機(jī)制主機(jī)CS拉低后連續(xù)發(fā)幾個(gè)字節(jié)如果中途被切換CS可能持續(xù)保持低電平另一個(gè)任務(wù)再操作同一個(gè)SPI外設(shè)時(shí)數(shù)據(jù)就混在一起了。芯片級(jí)的說法是“SPI控制器狀態(tài)被兩個(gè)執(zhí)行流輪流污染”。這種沖突不是“邏輯寫錯(cuò)了”而是“共享外設(shè)沒有被互斥保護(hù)”。你在兩個(gè)任務(wù)各自寫的驅(qū)動(dòng)里單獨(dú)看每一句都正確組合在一起后時(shí)序一交錯(cuò)外設(shè)就進(jìn)了非法狀態(tài)。2.3 DMA還在搬數(shù)據(jù)主循環(huán)已經(jīng)開始讀緩沖區(qū)ADC連續(xù)采樣結(jié)合DMA搬運(yùn)是開發(fā)板上最常見的采集架構(gòu)。DMA在后臺(tái)不斷把ADC轉(zhuǎn)換結(jié)果寫入全局?jǐn)?shù)組等緩沖區(qū)存滿后觸發(fā)傳輸完成中斷置一個(gè)dma_done標(biāo)志。主循環(huán)看到標(biāo)志后去處理這一批數(shù)據(jù)??雌饋?lái)設(shè)計(jì)得很合理但有一個(gè)細(xì)節(jié)經(jīng)常被忽略DMA傳輸完成中斷發(fā)出的那一瞬間CPU知道自己該處理數(shù)據(jù)了但下一次DMA傳輸很可能立刻就開始。如果你的主循環(huán)處理緩沖區(qū)花了3毫秒而DMA每隔2毫秒就搬滿一輪那么當(dāng)你讀到緩沖區(qū)中段時(shí)新一輪數(shù)據(jù)已經(jīng)覆蓋了數(shù)組開頭。結(jié)果是你用dma_done標(biāo)志來(lái)“確保”數(shù)據(jù)有效卻拿到的仍然是一組半新半舊的數(shù)據(jù)。這個(gè)問題的典型特征是數(shù)組的前半部分是新數(shù)據(jù)后半部分還是上一輪的舊數(shù)據(jù)整體趨勢(shì)和真實(shí)波形對(duì)不上只有加大緩沖區(qū)或者用環(huán)形緩沖才稍微好一些。還有一種變體DMA在后臺(tái)寫入緩沖區(qū)的同一個(gè)bank而CPU同時(shí)在讀。在帶緩存的高性能MCU比如Cortex-M7內(nèi)核的STM32H7系列上還涉及D-Cache一致性問題。CPU讀到的可能是緩存里的舊值而DMA已經(jīng)把新數(shù)據(jù)寫進(jìn)了內(nèi)存——這兩者之間如果缺少緩存清理和失效操作數(shù)據(jù)對(duì)不上是必然的。解決這類問題的標(biāo)準(zhǔn)思路是雙緩沖DMA寫bank A時(shí)CPU讀bank B下一輪交替。兩個(gè)執(zhí)行流永遠(yuǎn)不觸碰同一塊內(nèi)存沖突自然消失。這個(gè)思路在單核上同樣適用而且實(shí)現(xiàn)成本很低。3. 單核線程沖突的三個(gè)“幫兇”硬件、編譯器和思維定式3.1 volatile不是鎖也不是“安全認(rèn)證”volatile大概是嵌入式C語(yǔ)言里被誤解最深的限定符。它的實(shí)際作用只有兩條告訴編譯器這個(gè)變量可能在當(dāng)前執(zhí)行流之外被修改因此每次訪問都必須從內(nèi)存重新讀取并且編譯器不能對(duì)它的讀寫做重排序。很多人把它當(dāng)成“線程安全”的標(biāo)志認(rèn)為一個(gè)變量加了volatile就萬(wàn)事大吉。用一句話戳破這個(gè)幻覺volatile根本不提供原子性也不提供互斥。它阻止的是編譯器玩花樣但擋不住中斷在兩個(gè)指令之間把系統(tǒng)打斷。舉個(gè)例子。32位MCU上讀寫一個(gè)32位變量通常對(duì)應(yīng)一條LDR或STR指令這種操作本身有原子性加成日常使用問題不大。但如果你在Cortex-M0這種只支持32位數(shù)據(jù)總線的內(nèi)核上讀寫一個(gè)64位的uint64_t變量一次賦值會(huì)編譯成兩條LDR或STR指令低32位和高32位是分兩次完成的。中斷完全可能在兩次寫入之間來(lái)臨于是線程A看到的值是“低32位新的、高32位舊的”這種縫合怪物。volatile解決不了這個(gè)問題它只是讓每一次讀寫都老老實(shí)實(shí)走內(nèi)存但“兩次讀寫之間的窗口”依然存在。真正適合volatile的場(chǎng)景是一個(gè)變量只被單個(gè)中斷處理程序和主循環(huán)共享。比如“中斷置位了一個(gè)標(biāo)志主循環(huán)檢查這個(gè)標(biāo)志”這種單寫單讀的場(chǎng)景volatile是夠用的。一旦有兩個(gè)執(zhí)行流同時(shí)寫一個(gè)變量或者需要保護(hù)一大段數(shù)據(jù)就需要臨界區(qū)、互斥量或者關(guān)中斷來(lái)解決。3.2 中斷嵌套與優(yōu)先級(jí)反轉(zhuǎn)單核也有排隊(duì)問題很多人以為優(yōu)先級(jí)反轉(zhuǎn)是多核系統(tǒng)或者復(fù)雜RTOS專屬的問題其實(shí)單核開發(fā)板上同樣存在而且表現(xiàn)形式很樸素。場(chǎng)景是這樣的低優(yōu)先級(jí)任務(wù)L持有一把互斥鎖正操作一個(gè)共享外設(shè)。高優(yōu)先級(jí)任務(wù)H需要這把鎖但它搶不到只能阻塞等待。如果在等待期間中等優(yōu)先級(jí)任務(wù)M一直就緒搶占式調(diào)度器會(huì)不斷讓M運(yùn)行L得不到CPU時(shí)間也就永遠(yuǎn)無(wú)法釋放鎖。結(jié)果高優(yōu)先級(jí)的H倒像是被中優(yōu)先級(jí)的M“壓制”住了。這就是教科書式的優(yōu)先級(jí)反轉(zhuǎn)。單核RTOS里一旦出現(xiàn)現(xiàn)象是“高優(yōu)先級(jí)任務(wù)偶爾響應(yīng)極慢”。由于它需要鎖才能繼續(xù)而鎖被低優(yōu)先級(jí)任務(wù)持有低優(yōu)先級(jí)又被中等優(yōu)先級(jí)不停搶占整個(gè)系統(tǒng)就像堵車一樣卡住。FreeRTOS的互斥量自帶優(yōu)先級(jí)繼承機(jī)制能有效緩解這個(gè)問題。但裸機(jī)環(huán)境沒有這層保護(hù)全靠中斷優(yōu)先級(jí)設(shè)計(jì)和臨界區(qū)的使用紀(jì)律來(lái)避免。另一個(gè)常見做法是限制中斷嵌套的深度不合理的優(yōu)先級(jí)分組會(huì)讓低優(yōu)先級(jí)中斷難以被響應(yīng)間接造成類似反轉(zhuǎn)的調(diào)度阻塞。3.3 緩存、總線和DMA單核CPU背后的“多主系統(tǒng)”把“單核”理解成“整個(gè)芯片只有一個(gè)主設(shè)備在干活”是另一種思維定式。現(xiàn)代MCU里的DMA控制器、以太網(wǎng)MAC、USB控制器、SDIO控制器都是可以獨(dú)立訪問內(nèi)存和寄存器的“總線主設(shè)備”。CPU雖然是單核但芯片內(nèi)部的訪存系統(tǒng)是一個(gè)不折不扣的多主系統(tǒng)。CPU和DMA同時(shí)訪問同一塊內(nèi)存時(shí)即便CPU是單核也存在內(nèi)存一致性問題。在帶D-Cache的內(nèi)核上DMA從外設(shè)搬數(shù)據(jù)到內(nèi)存CPU的緩存里可能還殘留舊值。CPU讀到的永遠(yuǎn)是緩存里的舊數(shù)據(jù)哪怕DMA已經(jīng)把內(nèi)存更新了。反過來(lái)CPU寫了數(shù)據(jù)到緩存還沒flush回內(nèi)存DMA就去內(nèi)存搬運(yùn)舊數(shù)據(jù)搬出去的也是錯(cuò)的。早期STM32F4這類不帶D-Cache的芯片上這個(gè)問題不明顯因?yàn)镃PU和數(shù)據(jù)總線之間是透?jìng)鞯?。但到了Cortex-M7、Cortex-A7這類高性能內(nèi)核緩存和一致性就成了繞不開的話題。很多人在正點(diǎn)原子RK3588、IMX6ULL這類Linux級(jí)別的板子上調(diào)試驅(qū)動(dòng)時(shí)遇到數(shù)據(jù)錯(cuò)亂一部分原因就在這個(gè)層面。所以“單核處理器開發(fā)板線程沖突”這個(gè)命題準(zhǔn)確地說應(yīng)該是“單核CPU執(zhí)行流沖突與片內(nèi)多主設(shè)備爭(zhēng)用問題的合集”。把所有沖突都?xì)w結(jié)為“線程代碼寫錯(cuò)了”會(huì)漏掉很大一片排查盲區(qū)。4. 定位沖突的實(shí)操手段先把“不可能”排除掉4.1 復(fù)現(xiàn)三件套改時(shí)序、加負(fù)載、調(diào)優(yōu)化級(jí)別線程沖突最磨人的地方在于復(fù)現(xiàn)不穩(wěn)定。很多時(shí)候你盯著代碼看不出任何問題因?yàn)樗_實(shí)“大多數(shù)時(shí)候是好的”。為了快速讓問題現(xiàn)形我調(diào)試時(shí)一般會(huì)依次做三件事。第一改變時(shí)序參數(shù)。把RTOS的SysTick頻率調(diào)高或者把任務(wù)優(yōu)先級(jí)之間差距拉大讓任務(wù)切換更頻繁。中斷觸發(fā)間隔縮短、DMA緩沖區(qū)調(diào)小、I2C速率調(diào)高都是行之有效的“加速器”。同一個(gè)bug在默認(rèn)參數(shù)下可能跑兩個(gè)小時(shí)才出現(xiàn)把定時(shí)器周期縮短十倍后可能兩三分鐘就暴露了。第二加大并發(fā)負(fù)載。讓容易沖突的任務(wù)在被保護(hù)區(qū)域外做更多無(wú)意義計(jì)算或者增加一個(gè)空轉(zhuǎn)的高優(yōu)先級(jí)任務(wù)專門擠壓低優(yōu)先級(jí)任務(wù)的執(zhí)行時(shí)間。這樣做的目的是增加任務(wù)切換的窗口數(shù)量提高交錯(cuò)概率。第三切換編譯器優(yōu)化級(jí)別。在O0下能跑對(duì)的程序開到O2或O3后出現(xiàn)數(shù)據(jù)錯(cuò)亂通常是內(nèi)存可見性或訪問次序被優(yōu)化掉了。反過來(lái)如果O0下都出錯(cuò)那基本可以排除編譯器搗亂問題一定出在運(yùn)行時(shí)的交錯(cuò)邏輯上。4.2 GPIO翻轉(zhuǎn)加邏輯分析儀讓亂序現(xiàn)出原形中斷和任務(wù)切換都是微秒級(jí)別的事件靠肉眼或者printf日志根本看不到。最廉價(jià)有效的手段是在關(guān)鍵代碼段的入口和出口各翻轉(zhuǎn)一根GPIO用邏輯分析儀抓波形直接測(cè)量這段代碼實(shí)際占用多少時(shí)間、在哪個(gè)位置被切走了。比如你懷疑I2C傳輸過程中被打斷就在I2C驅(qū)動(dòng)函數(shù)的開始和結(jié)束分別翻轉(zhuǎn)IO1和IO2。正常情況下一次完整的I2C寫操作對(duì)應(yīng)一個(gè)脈沖寬度固定的方波。當(dāng)兩個(gè)任務(wù)搶總線時(shí)你會(huì)看到脈沖被拉寬、中間出現(xiàn)一個(gè)平臺(tái)期說明某條執(zhí)行流在這個(gè)窗口里被調(diào)度器切走了。這種方法的優(yōu)勢(shì)是零侵入、零開銷。GPIO翻轉(zhuǎn)本身只花幾條指令對(duì)時(shí)序影響極小邏輯分析儀能記錄幾十萬(wàn)條波形足夠捕捉偶發(fā)問題。對(duì)比預(yù)期波形和實(shí)際波形往往一眼就能定位是哪個(gè)執(zhí)行流、在哪一段代碼、被搶占了多長(zhǎng)時(shí)間。4.3 別依賴斷點(diǎn)停下來(lái)的一刻沖突就跑了嵌入式開發(fā)的常規(guī)調(diào)試手段——斷點(diǎn)、單步、暫?!谂挪榫€程沖突時(shí)基本是失效的。原因不復(fù)雜你在斷點(diǎn)處停住CPU整個(gè)執(zhí)行流的推進(jìn)立刻凍結(jié)那個(gè)原本會(huì)被搶占的時(shí)間窗口也就不會(huì)出現(xiàn)。所以調(diào)試線程沖突時(shí)常見的經(jīng)歷是掛上調(diào)試器跑一整天沒事跑release版本不帶調(diào)試幾分鐘就崩了。替代方案是用無(wú)侵入日志。在關(guān)鍵位置寫入一個(gè)帶時(shí)間戳的環(huán)形緩沖區(qū)緩沖區(qū)滿了之后把內(nèi)容一次性dump出來(lái)看最后幾十條記錄。由于寫環(huán)形緩沖區(qū)本身只消耗幾微秒而且不會(huì)停止CPU它可以記錄到真正發(fā)生沖突那一刻前后發(fā)生了什么。Cortex-M系列內(nèi)核的ITMInstrumentation Trace Macrocell和SWO引腳也很好用可以直接把日志以極低的CPU開銷輸出到PC端。配合工具抓trace你甚至能看到任務(wù)切換的完整序列、每個(gè)中斷觸發(fā)的精確時(shí)刻以及每個(gè)變量的讀寫順序。這套工具鏈比斷點(diǎn)調(diào)試更適合線程沖突場(chǎng)景。5. 修復(fù)單核線程沖突的正解從鎖到不共享5.1 臨界區(qū)要短別在中斷里干重活臨界區(qū)critical section是最直接的沖突解決方案在訪問共享資源的代碼段前后關(guān)中斷或加鎖保證這段代碼不被切換打斷。單核處理器上最簡(jiǎn)單的實(shí)現(xiàn)就是關(guān)中斷和恢復(fù)中斷。在裸機(jī)環(huán)境中你可以用類似這種模式保護(hù)一個(gè)短臨界區(qū)uint32_t primask __get_PRIMASK(); __disable_irq(); // 這里訪問共享變量或外設(shè)寄存器整個(gè)過程不會(huì)被中斷打斷 shared_counter; shared_buffer[index] new_data; __set_PRIMASK(primask);但這套操作有嚴(yán)格的成本約束。關(guān)中斷的時(shí)間越長(zhǎng)系統(tǒng)對(duì)外設(shè)事件的響應(yīng)能力就越差。UART輸入緩沖只有幾十字節(jié)你關(guān)中斷超過一個(gè)字節(jié)的到達(dá)間隔就可能丟數(shù)據(jù)看門狗喂狗被打斷太久也可能直接觸發(fā)復(fù)位。所以臨界區(qū)的使用鐵律是只保護(hù)真正的共享操作保護(hù)區(qū)內(nèi)不做耗時(shí)運(yùn)算、不打日志、不調(diào)用任何可能長(zhǎng)時(shí)間阻塞的函數(shù)。典型可接受的臨界區(qū)長(zhǎng)度是幾十條指令以內(nèi)。如果你的臨界區(qū)代碼很長(zhǎng)第一步不是想辦法延長(zhǎng)關(guān)中斷時(shí)間而是重新設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)讓互斥的粒度變得更小。5.2 RTOS里用對(duì)互斥量和信號(hào)量進(jìn)入RTOS之后很多人會(huì)把互斥量和信號(hào)量混為一談。兩者在FreeRTOS里本質(zhì)都是基于隊(duì)列實(shí)現(xiàn)的但語(yǔ)義和用途完全不同?;コ饬縈utex用于資源互斥保護(hù)同一時(shí)刻只允許一個(gè)任務(wù)持有它持有者才能訪問共享資源訪問完后必須釋放。FreeRTOS的互斥量還帶優(yōu)先級(jí)繼承低優(yōu)先級(jí)任務(wù)持有鎖時(shí)若有高優(yōu)先級(jí)任務(wù)等待同一把鎖低優(yōu)先級(jí)任務(wù)會(huì)被臨時(shí)提升優(yōu)先級(jí)避免被中等優(yōu)先級(jí)任務(wù)餓死。信號(hào)量Semaphore用于任務(wù)同步和事件通知一個(gè)任務(wù)釋放信號(hào)量另一個(gè)任務(wù)獲取信號(hào)量表示“我有一個(gè)事件要通知你”。有的人喜歡用二值信號(hào)量當(dāng)作互斥量來(lái)保護(hù)共享資源這在功能上勉強(qiáng)可行但二值信號(hào)量沒有優(yōu)先級(jí)繼承一旦發(fā)生反轉(zhuǎn)高優(yōu)先級(jí)任務(wù)會(huì)被卡更久而且信號(hào)量能被任意“不知情”的任務(wù)釋放語(yǔ)義上更不安全。在ISR里標(biāo)準(zhǔn)做法是使用xSemaphoreGiveFromISR這類帶FromISR后綴的API來(lái)釋放信號(hào)量而不是直接操作互斥量。所有中斷安全的API都要求在ISR上下文里調(diào)用因?yàn)樗鼈儍?nèi)部會(huì)正確處理中斷嵌套的臨界區(qū)。如果開發(fā)中不小心在ISR里調(diào)用了xSemaphoreTake之類的阻塞APIFreeRTOS會(huì)立刻觸發(fā)configASSERT系統(tǒng)直接卡死在錯(cuò)誤斷言處。這個(gè)報(bào)錯(cuò)看起來(lái)嚇人其實(shí)是調(diào)度器在保護(hù)你——阻塞一個(gè)中斷上下文里的執(zhí)行流整個(gè)系統(tǒng)的中斷響應(yīng)都會(huì)癱瘓。5.3 更高級(jí)的解法數(shù)據(jù)所有權(quán)與消息隊(duì)列鎖能解決沖突但鎖本身也有開銷和風(fēng)險(xiǎn)死鎖、優(yōu)先級(jí)反轉(zhuǎn)、加鎖粒度不合適導(dǎo)致性能下降。在單核嵌入式環(huán)境下更好的思路往往不是“加鎖”而是從設(shè)計(jì)上避免共享。這里的關(guān)鍵方法是數(shù)據(jù)所有權(quán)。約定一個(gè)數(shù)據(jù)塊在同一時(shí)刻只歸一個(gè)執(zhí)行流所有。一個(gè)任務(wù)想用另一任務(wù)的數(shù)據(jù)時(shí)不能直接去讀對(duì)方的全局?jǐn)?shù)組而是通過消息隊(duì)列把數(shù)據(jù)“遞過去”。傳遞完成后發(fā)送方不再持有該數(shù)據(jù)的所有權(quán)接收方獨(dú)占它。這樣整個(gè)系統(tǒng)里不存在“兩個(gè)執(zhí)行流同時(shí)讀寫同一塊內(nèi)存”的情況鎖也就不需要了。FreeRTOS的隊(duì)列本身就是線程安全的它是少數(shù)幾個(gè)可以被任意任務(wù)和ISR安全調(diào)用的組件。利用隊(duì)列做數(shù)據(jù)傳遞比保護(hù)一堆全局變量簡(jiǎn)單可靠得多。唯一要注意的是隊(duì)列會(huì)涉及一次內(nèi)存拷貝對(duì)于大數(shù)據(jù)塊要評(píng)估拷貝開銷必要時(shí)用隊(duì)列傳指向內(nèi)存塊的指針配合內(nèi)存池管理所有權(quán)。在采集系統(tǒng)里雙緩沖和乒乓緩沖就是數(shù)據(jù)所有權(quán)思想的硬件體現(xiàn)。DMA寫完A區(qū)后通知CPU“數(shù)據(jù)在A區(qū)”CPU處理A區(qū)時(shí)DMA寫B(tài)區(qū)下次交替。兩個(gè)執(zhí)行流永遠(yuǎn)只碰各自的區(qū)域沖突和鎖全部消失。5.4 架構(gòu)級(jí)別的避坑習(xí)慣接觸線程沖突問題多了之后我總結(jié)出幾條從源頭上減少?zèng)_突概率的架構(gòu)習(xí)慣。中斷服務(wù)函數(shù)里只做三件事置位標(biāo)志位、讀寫輕量級(jí)緩沖區(qū)、觸發(fā)更高優(yōu)先級(jí)的外設(shè)操作。任何需要長(zhǎng)時(shí)間處理的東西都延后到主循環(huán)或?qū)S萌蝿?wù)里做。那些“順手在中斷里printf一下”、“順手在中斷里調(diào)用delay”的習(xí)慣遲早會(huì)以更隱蔽的線程沖突方式還回來(lái)。再有就是全局變量的治理。新建一個(gè)全局變量時(shí)先問自己誰(shuí)會(huì)寫它誰(shuí)會(huì)讀它寫和讀是否可能發(fā)生在不同的執(zhí)行流如果答案是“中斷和主循環(huán)都有訪問”那么這個(gè)變量必須配合volatile、臨界區(qū)或原子操作一起使用。很多老代碼編譯不報(bào)錯(cuò)、運(yùn)行不崩潰但就是會(huì)“偶爾不正?!备赐驮谟谖词鼙Wo(hù)的全局共享變量太多。最后一條是刻意制造時(shí)序壓力測(cè)試。開發(fā)完成后不要只跑正常邏輯我習(xí)慣把中斷頻率、任務(wù)負(fù)載、協(xié)議速率都往上調(diào)讓系統(tǒng)在高壓力下連續(xù)跑幾個(gè)小時(shí)或幾天。如果高壓力下不崩那正常負(fù)載下系統(tǒng)具備的容錯(cuò)余量就非常可觀了。這個(gè)方法在LTO優(yōu)化、高優(yōu)先級(jí)搶占、外設(shè)并發(fā)滿載等場(chǎng)景下特別管用。6. 一個(gè)完整復(fù)盤ESP32上溫度數(shù)據(jù)錯(cuò)亂的48小時(shí)最后分享一個(gè)我自己在ESP32開發(fā)板上處理的真實(shí)案例完整走一遍從現(xiàn)象到定位到修復(fù)的排查鏈路。項(xiàng)目是一個(gè)環(huán)境監(jiān)測(cè)節(jié)點(diǎn)ESP32跑FreeRTOS兩個(gè)任務(wù)任務(wù)A每500ms讀取一次BME280溫濕度傳感器任務(wù)B每100ms把最新數(shù)據(jù)刷新到SSD1306 OLED屏上。兩個(gè)任務(wù)復(fù)用了同一條I2C總線驅(qū)動(dòng)是兩個(gè)不同庫(kù)各自維護(hù)自己的狀態(tài)變量?,F(xiàn)象是溫度值每隔一段時(shí)間會(huì)跳變到0xFF或者一個(gè)明顯不對(duì)的數(shù)OLED屏幕上偶爾出現(xiàn)亂碼和雪花塊。嚴(yán)重的時(shí)候I2C總線像死掉一樣之后所有傳感器讀取全部失敗只有重啟才能恢復(fù)。第一個(gè)直覺是傳感器壞了。換了一顆全新BME280跑了半天問題依舊。然后把I2C速率從400kHz降到100kHz情況只是稍微好轉(zhuǎn)沒有根除。接著用GPIO翻轉(zhuǎn)加邏輯分析儀的方法在I2C驅(qū)動(dòng)讀寫的入口和出口各抓一根IO。波形出來(lái)后問題一目了然一次原本應(yīng)該在5ms內(nèi)完成的傳感器讀取實(shí)際占用了15ms中間出現(xiàn)了整整10ms的“空窗期”——任務(wù)在讀寫過程中被調(diào)度器切走了。被誰(shuí)切走的呢看任務(wù)優(yōu)先級(jí)發(fā)現(xiàn)任務(wù)BOLED刷新優(yōu)先級(jí)比任務(wù)A傳感器讀取高。把兩個(gè)任務(wù)的實(shí)時(shí)調(diào)度翻出來(lái)看問題鏈條非常清晰任務(wù)A發(fā)起I2C讀操作剛剛發(fā)完從設(shè)備地址、還沒讀完數(shù)據(jù)字節(jié)時(shí)任務(wù)B就緒搶占CPU開始執(zhí)行OLED的I2C寫操作。兩個(gè)執(zhí)行流同時(shí)操作同一套I2C控制器的寄存器數(shù)據(jù)線和時(shí)鐘線的時(shí)序被交錯(cuò)撕裂總線上出現(xiàn)了非法電平組合部分從設(shè)備直接進(jìn)入異常狀態(tài)。修復(fù)方案選了最直接的一種給I2C外設(shè)加互斥量。每個(gè)任務(wù)在發(fā)起I2C傳輸前xSemaphoreTake傳輸結(jié)束后xSemaphoreGive。兩個(gè)庫(kù)各自持有的狀態(tài)變量也被收攏到同一個(gè)模塊里確保I2C控制器的寄存器訪問始終在鎖保護(hù)范圍內(nèi)。FT5316——不對(duì)是BME280和SSD1306——從這一刻開始不會(huì)再被兩個(gè)執(zhí)行流并發(fā)操作了。加了互斥量之后同樣在高負(fù)載下連續(xù)跑了兩天溫度數(shù)據(jù)始終平穩(wěn)OLED顯示正常未再出現(xiàn)總線死鎖。接著我把架構(gòu)順手改成了數(shù)據(jù)所有權(quán)模式傳感器任務(wù)讀到的數(shù)據(jù)放進(jìn)隊(duì)列OLED任務(wù)只從隊(duì)列取數(shù)據(jù)兩個(gè)任務(wù)連共享全局變量都不存在了。I2C總線只在傳感器任務(wù)里被訪問OLED任務(wù)不再碰I2C控制器連互斥量都可以去掉。這48小時(shí)的經(jīng)驗(yàn)值得總結(jié)的其實(shí)就一句話單核開發(fā)板上的線程沖突天然比多核更隱蔽因?yàn)槟惚仨氃凇按a正確”之外還要意識(shí)到執(zhí)行流的交錯(cuò)隨時(shí)可能發(fā)生。學(xué)會(huì)用GPIO翻轉(zhuǎn)和邏輯分析儀把“看不見的切換”變成“看得見的波形”習(xí)慣用鎖保護(hù)臨界區(qū)、用隊(duì)列傳遞所有權(quán)很多讓新手抓狂的偶發(fā)bug都能以非常低的成本定位和修復(fù)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
91五月天| 夜夜夜夜做天天天做无码视频| 婷婷久久五月天| 久久香蕉网| a色色色色色| 激情丁香久久| 五月天婷婷中文字幕在线播放| 99re鈥哸鈥唙| 丁香五月天婷婷91| 婷婷久月| 丁香五月社区| 26uuu丁香婷婷五月| 久久久久久久人妻| 97久久人人人干| www.99.色| 婷婷五月乱交换| 97婷婷在线| 99综合久久| 99这里的视频都是精品| 这里精品| 婷婷色五月情| 久久狼人天堂| 久久婷婷五月天丁香| 97婷婷丁香五月综合| 精品视频网| 日韩精品99久久| 五月天丁香久久| 久久婷视频| 国产亚洲色婷婷久久99精品91| 99A级片| 国产亚洲成AV人片在线观黄桃 | 婷婷五月综激情| 99爱精品| 成人免费120分钟啪啪| 中文字幕人妻AV| 日本操碰碰| 99久久成人| 久久99热这里只有精品| 亚洲精品V天堂中文字幕| 丁香六月激情国产| WwW天天干| 99在线精品视频| 色婷婷99| 99精品久久| 精品皮股午夜AV| 99热最新精品| 91色色色视频| 激情久久五月网| 综合噜噜| 六月丁花香啪啪激情欧美| 9久久久| 亚洲色情免费网| 五月激情婷婷国产精品久久久久久| 99热这里只有精品1| 五月天小说激情| 欧美日综合| 大陆肏屄视频| 风流少妇A片一区二区蜜桃| 久久全色| 狠色狠色综合久久| 国产又粗又大又爽又黄| 99视频在线| 婷婷五月天成人网站| 久激情网| 日本人人草草| 99er热精品视频| 九九色热| 视频这里只有精品| 91人人操人人爱| 九九亚洲天堂| 五月天亚洲最大成人| 狠狠色大香蕉| av无码电影| 天天舔日日肏夜夜爽| 五月天啪啪| WWW.久久久久久久| 婷婷六月丁香五月| 68热超碰在线| 囯产精品一品二区三区| 国产乱人偷精品人妻A片| WWW,五月| 婷婷六月色开 | 天天爱天天日| 九九操操| 成人五月天丁香| 色色色色色色色色色色色色色色,网站| 欧美丁香五月97色| 中文AV在线观看| 97亚洲婷婷| 五月天中文网| 天天干天天拍| 激情五月丁香综合蜜桃| 大香蕉久艹| 九九久久污| 思思热再线视频| 热久久这里只有精品| 丁香五月另类色婷婷麻豆| 中文AV网站| 伊人超碰在线| 五月激情天天干| 丁香五月天大香蕉啪啪| 婷婷六月丁香欧美视频在线| 永久热91| 五月丁香亭亭操逼| 免费黄色视频网址| 91九色网| 大香蕉院线| 免费无码毛片一区二区A片| 天天婷婷综合| 欧美人与性动交CCOO| 天天干天天操天天上| 色婷婷色丁香色欲av| 人色五月天婷婷| 国产激情久久久| 久久66er久久| 成人午夜视频精品一区| 色五月婷婷丁香婷婷| www.婷婷| 日本成人小说婷婷六月| 婷婷黄色五月| 91超碰九色| 五月丁香六月婷综合成人综合| 91九色视频| 国产成人AV在线| 久久婷婷激情| 青青夜夜狠狠夜夜狠狠| 国产精品日本一区二区在线播放| 五月中旬婷婷丁香六| 日本人人超碰| 婷婷天天日婷婷| 日韩啪图| 五月丁香色色网| 九九黄色网| 日日爽夜夜爽| 狠狠五月天婷婷激情网。| 久婷狼色诱惑在线| 99色在线| 天天爽成人综合网站| 国产精品大香蕉| 婷婷五月天,影院| 丁香婷婷九月在线| 五月香婷婷| 超碰免费成人| 日韩黄色中文字幕| 影音先锋91资源站| 色综合色综合婷婷热| 最近韩国日本免费高清观看| 五月天天爽| 中日韩狠狠色| 亚洲午夜av| 国熟女视频| 国产精品成av人在线视午夜片| 国产精品人人妻人人爽| 激情婷婷五月天。| 东北熟女高潮99综合99| 亚洲高清在线| 天天爽天天草| 五月天激情影院| 成人无码精品1区2区3区免费看| www国产亚洲色婷婷com| 色五月激情综合| 五月婷激情| 六月五月久久丁香| 婷婷五月色影视先锋| 色婷久久| 99亚洲色色| 色九月欧美| 激情综合一| 少妇久久诱惑视频| 色吧五月婷婷| httpwww色com日本| 色婷婷综合网| 久久久精品色| 五月婷婷与六月丁香图片激情| www.丁香黄色五月天人与| 婷婷五月天天爽| 五月色婷婷亚洲 | 久久杏爱视频| 99视频在线播放大全| 99色热| 情久久综合五月天| 噜噜噜噜噜日本视频| 色婷婷人人| 99爱在线精品视频免费观看| 婷婷丁香18| 久热视频A.| 婷婷色五月噜噜| 精品久久艹| AAA久久久AAA久久久AAA| 色吧五月婷婷| 99热精品在线免费观看| 五月婷婷综合色啪| 99爽视频| 91超级碰人人操| 午夜色婷婷| 丁香五月婷婷色| 九九综合色| 99精品综合在线| 亚洲五月花| www久热com| 婷婷丁香成人| 成人网站av免费网站推荐| 亚洲亚洲人成综合网络| 九九综合九九| 激情五月婷婷五月| 五月丁香激情欧洲啪啪| oumeisesewang| 第四色五月婷婷| 国产高清av黄色看片| 九九久久99精品免费观看www| 五月丁香六月婷婷亚洲| 日日做天天操夜夜爽| 久久久久久久久久久月丁| www99热| www.99.色| www.婷婷五月| 亚洲最大在线| 另类视频五月天| 99色色最新视频| 五月婷婷丁香| 丁香婷婷六月天| 一本狠婷婷综合| www.色五月| 超碰狠狠操| 另类小说色婷婷| 日本九九热| 五月天激情播播网| 九九热精品| 99色五月| www激情网站| 久9久视频精品| 超碰99在线| 91色色色| 婷婷伊人久久| 五月 成人 婷婷| 丁香五月激情啪啪| 婷婷色五月色| 五月丁香亚洲婷婷| 婷婷开心六月| 亚洲色无码| 操逼在线视频| 色五月婷婷开心| 五月丁香综合网色欲| 五月丁香婷婷基地| 欧美婷婷丁香五月社区| 99精品视频偷拍| 99资源在线| 操日本99| www.cao.com久久| 操老逼综合网| 超碰熟女农村在线69| 狠狠综合网| 夜夜躁爽日日| 九九Av| 第四色五月天| av九九| 亚洲成人网站在线观看| 亚洲婷婷五月天| 热九九精品| 可以看的AV| AA丁香综合激情| 99热18| 超碰人人草| 超碰97人人操| 色婷五月| 嫩BBB槡BBBB搡BBBB| 一级黄色影片| 超碰av在| 888久久久| 六月丁香开心婷婷欧美| 欧美大道不卡| 色 免费网站视频| 九九热精品| 欧美五月丁香在线| 午夜不卡成人一区二区| 欧美成人精品老美女噜噜噜| 国产精品VA在线| A久久| 天天日天天爽| 久热9| 激情五月婷婷五月| 97精品人人A片免费看| 91男同视频| 婷婷五月激情欧美大胆视频| 五月婷婷性爱视频| 大香蕉五月婷婷| 91九九| 99热久久这里只有精品| 五月婷婷激情四月| 青青草青青草五月天| 色色五月婷婷| 夜夜爽77777妓女免费下载| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 91干| 内射人妻视频国内| 久久99网| 久久久久激情| 精品网站99| 丁香五月激情六月综合| 婷婷五月天国产在线播放| 日本婷婷在线| 免费视频无码| 青青草五月天| 天天做天天爱天天搞| 五月花成人网| 99热精品免费| 亚洲五月婷婷| 欧美成人va| 婷婷五月天欧美图片在线播放电驴| 久久这里有精品视频| 色五月五月婷婷| 99干视频| 丁香六月青青草| 五月综合丁香婷婷| 狠狠擼综合| 色玖玖导航| 天天狠狠色综合| www,婷婷,com| 久久一品区| 先锋五月婷婷丁香草草| 婷婷五月天婷婷| 九九99热| 日韩抽插操逼| 99热这里只有精品青草| 亚洲激情av| 操97在线观看| 天天操无码| 伊人成人宗合网| 欧美中文五月天| 久久机热/这里只有精品| 国产毛片精品一区二区色欲黄A片| 国产91在线视频| 色婷婷19| 这里只有免费精品| 九九色热| 婷婷午夜综合| 思思久热6| 超碰成人电影| 免费观看日韩成人av| 亚洲AV成人精品日韩在线播放| 五月天婷婷爱丁香中文字幕| 五月丁香亭亭操逼| 岛国AAAV| 婷婷五月成人色综合| www.开心激情| 综合久久99| 色噜久| 久久与婷婷| 99精品网| 123日本不卡在线| 五月丁香啪啪网| 婷婷开心激情五月激情网| 久久这里只有精品热在99| 色婷婷综合网| 久99精品视频| 亚洲精| 亚洲永久四色| 怡红院91a√| 第二色AⅤ| 五月天婷婷在线播放| 97色色网| 亚洲不卡| 婷婷无码五月天| 97天堂| 婷婷色在线视频| 婷婷五月天伦理| 色99自拍| 色色色色色网站| 久久久久久久人妻| 丁香熟女乱| 亚洲五月丁| 无码啪啪| 久久久久久久久久久44| 热99只有里视频| 九九碰九九爱97超碰| 91在线日本| 亚洲mm色| 五月婷婷影院| 精品99这里有| 色婷婷97| 五月丁香在线观看99| 插插干干干色| 婷婷五月天在线观看| 手机在线日韩视频中文字幕| WWW,五月| 超91热| 色情五月天se| 色婷婷基地| 色综合久久综合中文综合网| www.99热| 亚州色综合| 操嫩逼电影| 六月激情综合| 九九综合色| 国产激情在线| 99五月婷| 久久久久人妻网址| 91热在线观看视频| 蜜乳中文字| 国自产拍偷拍精品啪啪一区二区| 九九这里只有精品在线视频| 在线中文字幕视频| 日韩av在线免费观看| 亚洲成人黄色网| 成人精品视频99在线观看免费| 99热综合在线| 天天综合激情| 色一情一乱一乱一区91Av| www91久久| 五月天婷婷视频30| 激情五月天婷婷播播久久综合91| 色婷婷丁香五月天激情综合网| 色偷偷五月天| WWW五月婷婷| 这里只有精品免费视频| a网站免费观看| 影音先锋一区| 九热视频| 婷婷五月天色播| 激情另类综合| 日韩视频99| 成人短视频在线| 97干网站| 任你操精品免费| 天堂综合久久| 黄网免费观看| 91操人| 啪啪激情网| 伊人网大香| 婷婷九月亚洲| 九九热超碰| 狠狠爱五月婷婷| 激情婷婷久久| 九九九日本熟女| 色色丁香五月天| 男女99免费视频| 丁香婷婷色五月| 综合久久婷婷| 欧美成人va| 日本www五月婷婷| 一本大道嫩草AV无码专区| 亚洲激情 久久| 99热综合| 99综合一区| 另类婷婷五月天啪帕帕| jizzdr| 婷婷五月色惰| 色欲色香综合网| 婷婷丁香69精华| 啪啪91| 操逼福利视频| 婷婷丁香综合在线| 五月丁香激情综合啪啪| 99热自拍| 欧美性做爰大片免费看办公室| 天天干天天操天天干天天操天天干天天操| 色婷婷色综合久久精品V| 激情五月四色| 一月婷婷色色| 久青草影院| 婷婷成人丁香色情基地30 | 成人无码精品1区2区3区免费看| 激情综合网婷婷久久| 天堂无码人妻精品AV一区| 婷婷 亚洲图片 丁香| 97人碰人操| 五月丁香激情综合六月涩涩爱| 开心五月网 | 国外亚洲成AV人片在线观看| 婷婷五月av| www久久艹| 美女五月天| 亚洲狠狠狠色婷婷综合激情久久久| 99ri6在线视频| 99热免费| 开心丁五月| 91夫妻网站九色| 日本在线99| 99色视| 99人妻碰碰久久久禁片| 99热这里精品| 99热99ai| 亚洲精品九九| 日本99视频| 99爱免费在线视频| 91凹凸在线| 午夜丁香| 色婷婷在线视频| 超碰人人超碰| 欧美五月停| 97碰碰视频| 丁香激情合作五月| 久久香蕉婷婷| 伊人激情| 五月激情天| 大香蕉伊人久久| 强壮的公次次弄得我高潮A片日本 | 天天高潮夜夜爽| 中文字幕在线免费| 五月丁香亭亭电影久久| 亚洲AV网站在线观看| 婷婷五月免费观看| 波多野结衣AV无码Porn| 777精品久无码人妻蜜桃| 色婷婷丁香五月色综合网| 丁香婷婷六月天| 国外亚洲成AV人片在线观看| 性视频久久| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 婷婷五月天综合网| 五月激情小说网| 九九黄色网| 五月婷婷综合天天操| 精品色| 婷婷爱五月天人人爱| 色婷婷综合久久久久| 久久视频在线视频| 欧美久久婷婷| 色婷五月天激情| 狠狠艹狠狠艹| 91无码视频| 五月激情婷婷偷拍| 亚洲综合婷婷| 五月天丁香婷| 婷婷五月丁香综合激情| 激情五月天之六月婷婷| 婷婷五月天影院| 影音先锋综合网| 开心激情站| 欧美综合123区| 另类激情五月| 99r久久这里只有精品| 激情六月天婷婷| 日本色99网站| 婷婷不干网| 婷婷五月天激情文学| 日日干天天爽| 色噜噜狠狠狠综合曰曰曰| 久久99热只有精品| 9热视频在线观看| 丁香五月亚洲综合| 中文毛片无遮挡高潮免费| 日韩性视频| 桃色激情网| 人人干Av| 天天射综合网天天插| 操操操操操操婷婷五月天| 91丨九色丨国产在线| 亚洲国产精品VA在线看黑人| 婷婷五月激情中文字幕| 中文字幕在线免费观看视频| 五月天偷拍| 婷婷五月天在线综合| 亚洲女婷婷五月基地综合久久久| 色黑鬼导航| 久久五月婷婷电影| 玖玖综合色| 激情九色| 991自拍视频| 色播jjjj| 97人碰人操| 一本色道久久88综合日韩精品| 九九RE视频在线精品| 色色吧综合| 欧美成人日韩| 久久与婷婷| 免费观看大片视频 丁香婷婷 六月欧美| 久久精品66| 亚洲色情久久| 99 热| 久久99网站| 色综合九九色综合88| 久久精品91视频| 大香AV| 五月情涩综合婷婷| 五月婷婷婷| 色噜久| 97色视频网| 91se在线观看| 久久综合中文字幕| 九热视频在线精品15| 99小视频在线观看| 国产4P视频精品五区| 人妻中文字幕网| 99热很操老逼| 98永久精品| 操日视频| 久久伦乱| 天天射影| www.夜夜夜| 狠狠色丁香99| 丁香五月开心婷婷| 99热这里只有精彩| 激情五月天婷婷在线网址发给我| 激情亚洲婷婷| 五月天社区| 色五月综合在线| 97人人草| 综合AV网| www.cao.com久久| 伊人大香蕉毛片| 一级性感毛片| 婷婷九月狠狠色| 婷婷丁香色情| 精品国产人人爱人人| 天天 日综合| 艹| 婷婷伊人五月天| 日日操天天操| 色欲久久综合| 天天日天天操心| 国产,欧美,学生妹,视频| 99热最新国内| 超碰成人av| 色情五月婷婷| 伊人日日干| 凹凸操Av| 天天综合色丁香| 日本久久精品| 一区二区三区视频| 中文AV网站| 噜噜狠狠色综合久| 久久xx| 69婷婷丁香午夜| 成人五月天视频播放| 婷婷五月丁香在线视频| 色五月激情五月天| 日韩一级一片内射视频4K| 97碰 在线视频观看| 精品人妻在线| 久久婷婷丁香五月一二三| 我爱va亚洲va52| 丁香五月影院| 婷婷色导航| 91久女| 久久婷婷色情7777网站| 精品人妻伦| www五月天激情com| 色九区| 婷婷五月天影院| 久久大香蕉丁香| 伊人九九热| 色婷婷丁香六月| 天天干天天爽天天操| 97色啪| 国产精自产拍久久久久久蜜 | 91激情五月开心| 国产精品a无线| 97婷婷五月丁香| 国产欧美第五十五页| 第四色婷婷五月| 99免费视频| 99热综合| 国产成人在线不卡AV| 色色亚洲无码| 婷婷综合五月| 无遮羞AV| 久久久久久综合88| 天堂草在线观| 99性爱| 99热大| 看黄的网站18禁| 国产VA亚洲VA96| 第五色婷婷| 在线观看欧美3区| 96人人操人人操人人| 欧美婷婷精品激情| 激情六月天| www.99热在线观看| 激情五月婷婷在线| 99热都是精品| 九九99热久久精品66中文字幕| 久久黄色网扯| 99色精品| 五月婷婷av在线| 玖玖综合玖玖| 婷婷五月精品中文| 婷婷丁香77777| 深爱开心激情| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 91狠狠色丁香婷婷综合久久精品| 五月丁香AV在线| 五月丁香黄色视频| 操逼视频网址| 夜夜嗨一区二区三区直播内容 | 97热精品| 超碰免费99| 99精彩视频在线观看| 丁香五月天激情| 色爱99| 亭亭色色五月天| 97人人干视频| 五月激激网w'w'w| 亚洲婷婷开心五月| 五月婷婷六月丁香| 欧美熟妇一区二区三区| 日本ww亚洲| 婷婷五月天电影网| 丁香五月色五月| 日韩在线五月天婷婷| 大地资源色婷婷视频在线| 九九99九九99九九99视频网| 99色免费观看全部| 天天干天天av天天射| 色色色色色色色综合| 99无码超碰| www.91在线看| 黄色AAAAA| 激情内射人妻1区2区3区| www久久五月com| 97狠狠色| 99日本视频| 五月久久丁香| 亚洲妇女熟BBW| 99热这里只有精品98| 国产 亚洲 在线| 五月丁香综合影院| 天天爽夜夜爽夜夜爽精品视频| 超碰国产在线播放| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 日日做夜夜爱| 99热在线观看| www.五月激情.com| 99热综合| 第四色五月激情网| 久久免片| 九九热在线观看6| 97碰久久| 九九婷婷综合| 五月丁香色色网| 狠狠色噜噜狠狠狠狠综合| 影音先锋一区| 亚洲操精品| 免费啪啪亚州视频| 99久久婷婷五月综合| 性综合网| 91久久色| 97超碰人人操| 五月婷婷久久综合| 久久久久久久人妻| 天天天天天天天干| 免费观看的av| 午夜丁香六月婷| 激情五月丁香五月| 久久综合热17c| www.色婷婷| 久久aaa| 人妻丰满精品一区二区A片| 好好日激情五月天| 亚洲12p| 狠狠五月综合在线| 操b视频在线观看一区二区| 婷婷五月天在线观看第二页| 婷婷五月在线| 五月婷婷天天| 九九热re99re6在线精品| 婷婷五月天影院| 色狠狠五月天| 欧美黑人巨大性生话| 天天肏天天插| 丁香五月亚洲综合丝袜| 五月激情六月婷婷| 综合色婷婷| 超级碰碰91| 操操操操操操婷婷五月天| 天天爽人人综合免费7799| 国产片天天爽夜夜爽| www.夜夜操.com| 五月丁香久| 五月婷婷色影院| 欧美成人猛片AAAAAAA| 99热久只有| 色爱综合网| 精品成人无码A片观看香草视频| 万月丁香狠狠爱| 六月合五月婷| 99伊人性爱在线影院| 国产67194| 欧美日韩大黄| 五月婷婷先锋| 99精品一二三四视频| 亚洲色五月| 国产婷婷色综合AV蜜臀AV| 开心五月婷| 日本三级片片| 久操人妻| 深爱激情五月天婷婷网| 停停六月 综合| 综合大香蕉| 69热在线| 在线中文字幕免费视频| 激情综合网激情五月天| 婷婷丁香五月久久| 精品久久久中文字幕大豆网推荐理由| 性色五月天| 五月婷婷综合激情网| 亚洲亚洲人成综合网络| 丁香五月五月婷婷| 国产精品久久久久久白浆色欲| 婷婷在线视频| 国产五月天欧美色| 色丁香五月天| 亚洲乱码日产精品BD| 五月丁香婷婷成人网| 婷婷五月大| 性色视频| 成人片黄网站色大片免费毛片| 日韩操逼小电影| 激情爱爱网站超大免费| 97在线精品| 无码色色| 天天舔天天插天天爱| 色五月,com| 婷婷天天婷婷天天澡| 99ri国产| 久久se 综合网| 久久总和99| 五月色情婷婷开心五月色情| 94干大香蕉| 99精品免费| 五月性色| 五月色婷婷综合丁香精品无遮挡| 色婷成人狠干| 第四色五月天| WWW久久久| 五月色俺婷婷| 丁香婷婷五月色成人网站| 国产古装妇女野外A片| 来吧亚洲综合网| 婷婷五月天777| 久久九九re热| 粉嫩AV久久一区二区三区| 五月天啪啪啪| 色婷婷丁香五月高清在线| 我想看国产大学生口爆吞精的视频| 久久免片| 成人五月天视频| 色情·com| 婷婷丁香www视频日本韩国| 久久久久9| 久久九九色| 五月婷婷伊人网| 日韩操人| 丁香五月九九| 深夜婷婷 丁香| 激情四射五月天| 激情綜合W W W,激情五月天| AV天堂淫乩| 1024婷婷综合久久五月天| 久久中文网| 色色婷婷五月| 天天色天天日| 亚洲五月天狠狠| 99婷婷国产最新视频| WWW.五月com| 大香蕉九九| 色情五月丁香| 99在线精品免费视频| 有码人妻久久| 丁香六月啪啪啪| 色色草97| 超碰婷婷色| 色婷婷色99国产综合精品| 激情六月婷婷| 五月丁香六月婷婷姐| 9这里只有精品| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 草榴视频网| 亚洲欧美成人在线观看| 噼里啪啦在线观看免费完整版视频| 婷婷伊人中文字幕| 激情综合网色播五月| 九九操综合网| 九月丁香婷婷综合| 色婷婷综合久久| 久久激情视频| 4399在线日本A片| 五月天成人小说| 色99热| 九九热这里只有精品12| 五月视频日本免费观看| 香蕉婷婷| 伊人色综合影院视频| 国产91在线视频| 久久久国产精品黄毛片| 五月丁香综合激情网| 91碰| 日韩一级网站| 五月丁香另类图片| 亚洲激情97五月天| www.色五月天.com| www.日韩艹| 99综合婷婷五月| 婷激情五月天视频导航| 99久在线精品99re8热| 婷婷六月激情小说网| 激情婷婷九月| 海外网站专业操老外| 91n啪啪| 婷婷五月精品| 涩丁香| 五月丁香啪啪啪| 超碰二区| 国产伦亲子伦亲子视频观看| 99A片| 99操99| 婷婷激情图片| 久久精品这里只有精品免费首页| 五月丁香啪啪综合| 91综合在线| 大香蕉九九| 婷婷情色五月| 青青操日本摸摸看看| 665566 无码| 97碰精品| 久久久久久9热不雅视频| httpwww色com日本| 亚洲传媒在线观看| 丁香五月大香蕉在线99| 丁香五月瑟瑟| 成人在线观看国产| 爱操天堂| 97色碰碰公开视频| 91传媒无码人妻精| 婷婷久久在线| 五月婷婷日| 九九综合网色全集| 激情四射婷婷| www色色com| 伊人婷婷青青cao| se99高清无码| 99热思思在线观看| 丁香五月激情婷婷激情| 丁香五月网在线观看| 国产婷婷五月天| 能直接看的av网站| 丁香五月在线自慰| 欧美人妻一区二区| 丰满少妇乱A片无码| 五月婷婷综合精品| 欧美色爱五月天| 99热免费观看| 欧美97色| 99色在线| 曰韩五月丁香色婷婷无码| 亚洲国产成人AV在线| 久久婷中文字幕| 色综合久久久久| 激情综合五月婷| 婷婷五月情色| 米奇影视五月天| 久久国产色| 亚洲旡码| 91一起操| 欧美天堂婷婷日韩| 99热性色| 5月激情天| 亚洲精品五月| 丁香五月婷婷在线| 大香蕉九九| 日本欧美成人片AAAA| 无码一区精品一区视频| 色爱综合五月| 婷婷激情综合| 成人狠狠成人狠狠成人狠狠成人狠狠| 婷婷五月激情视频| 51XX午夜影福利| 婷色五月| ZpRSw| 激情久久久久久久久久久| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷94s| 伊人久久婷| 成人五月天婷婷| 天天射夜夜骑| 神马欧美精| 国产精品人成A片一区二区| 丁香五月婷婷国产av| 玖玖99免费视频| 99色综合| 五月丁香六月情婷婷久久| 九九热最新视频| 婷婷五月色天| 九月婷婷在线视频| 久久亚洲无码| site:esunnet.com| 婷婷综合五月色播| 色天堂A| 色色婷婷五月天| 五月激情四射网站| A在线观看| 色情五月丁香婷婷网| 久久激情五月网| 思思精品视频| 日本网站久久| 五月天激情小说婷婷| 久久婷婷五月综合伊人| 久久久性爱视频| 精品国婬伦V无码久久久| 色五月婷婷基地| 五月婷六月丁香| 婷婷丁香五另类网站| av网址在线播放| 丁香九月婷| 五月精品免费XXX| 思思热这里只有精品| 国产黄大片在线观看画质优化| 人人干99| 开心激情久久久久久久| 激情99热| 99热99精品在线观看| 五月婷婷高清| 色色色色热| 成人 在线观看国产| 色狠狠999综合| 五月婷婷免费| 爱射综合| 韩国97天堂| 五月丁香综合激情在线观看| 天天干天天干天天干| 风流少妇A片一区二区蜜桃| AV在线观看网站| 九九亚洲视频| 婷婷色播婷婷| 色综合视频| 亚洲99在线| 99久热这里只有精品| 婷婷五月18永久免费网站| 五月丁香六月婷婷不卡免费无码 | 在线观看免费视频| 激情丁香六月| 99免费| 最近中文字幕大全免费版在线 | 日韩九区| 九九热最新视频| 亚州第一黄网| 国内裸舞二区| 伊人五月婷婷| 亚洲激情六月丁香| 激情综合网 激情五月天| 青青草五月天| 国产在线黄色| 激情五月天影院| 五月婷婷久久爱| 六月亚洲| www夜夜操| 任你搞网站| 五月丁香在线观看| 色色色五月天婷婷| 成人欧美一区二区三区在线观看| 激情开心五月天| 老师高潮流白浆喷水的A片| 亚洲色五月天在线| 激情五月婷婷网| 超碰免费成人| 丁香五月婷婷基地| 天天日P天天射P| 激情丁香五月激情婷婷| 深爱综合网| 五月天婷婷香蕉狠狠超碰综合| 五月天六月色| av婷婷丁香| 天天色综合网吨吧| 欧美在线| 玖玖综合色| 超碰高清在线| 欧美日韩国产一区二区| 久热视频这里只有精品| 90色免费视频| 六月色日韩| 五月丁香六月天| 国产成人网站在线观看| 99日韩| www.色综合| 26uuu精品一区二区| 六月天婷婷| 激情婷婷综合网| 色色色色色综合| 国产黄色大片| 思思国产99| 97涩婷婷| 婷婷五月天成人网站| 五月丁香激情综合网| 99精品国产在热久久| 少妇综合网| 丁香婷最新动态| 九九热AV| 玖玖在线视频福利| 日韩成人综合网| 色五月婷婷久久爱| 国产精品18久久久| 色色色视频免费无码| 五月天色图| 五月天伊人av| 禁欲电影完整版在线播放| 婷婷五月激情六月丁香 | 激情色视频| 在线日本www| 婷婷激情图片| 亚洲精品成人片在线播| 久久99热这里只有精品| 九九久久精品國產| WWW.桔色成人.COM| 99久热精品在线| 99热在线精品播放| 欧美日韩123| 色色婷| 欧美日韓成人亚洲精品另类| 欧美韩国日本| www.亚洲激情| 大香蕉在线观看9| se影音资源在线观看| 白度黄视频| 女人天堂AV| 伊人五月婷婷| 婷婷综合网| 国产阿姨日皮艹逼内射视频 | 婷婷五月天美女21p| 六月丁香啪| 麻豆雪千夏| 婷婷激情九月| 婷婷五月天电影网| 五月婷婷色丁香| 丁香狠狠色婷婷久久无码视频| 人妻久久久久久久久妻久久久久| 伊人99久久| 五月丁香综合| 996热| 成人无码精品1区2区3区免费看 | 久久99热这里只频精品6学生| AV无码免费| 91色久| 思思w99| 久久九九精彩| 青草五月天| 五月婷婷久久综合| 亚洲国产成人AV在线| 婷婷欧美激情综合| 99热99色| 国产熟妇乱子伦hd| 久久久久久性爱视频| 激情九月婷婷| 性色做爰片在线观看WW| 婷婷瑟瑟五月天| 97久人人| 色区久久| 色五月女| 婷婷永久在线| 久久色大香蕉| 色五月亚洲| 性爱网久久| 人人操婷婷| 婷婷丁香激情综合色情| 五月天婷婷网站| 操婷婷久久| 色播丁香| 五月婷婷花| www.五月天婷婷| 亚洲亚洲人成综合网络| www99热| 99热国产| 婷婷丁香激情五月天色色色| 天堂AV在线看| 久草丁香婷婷五月天婷| 亚洲综合九九| 五月天精品综合| 婷婷激情九月| 五月天天丁香婷婷| 九热免费视频| 狠狠久久婷五月综合色| 激情综合色婷婷啪啪五月天| 国产操碰| 天天 青草 制服丝袜 在线| 91呦呦呦| 亚洲无码色色| 婷婷视频在线| 色婷婷九月| 色九月丁香婷婷蜜桃在线观看| 久久婷婷成人| 亚洲精品444久久久久久| 五月丁香激情在线| 久久婷狠狠色| 成人亚洲精品久久久久| 色综合伊人网| 婷婷色香六月综合激情| 九色在线观看91av| 五月天综合网| 婷婷五月丁香五月| 久热这里精品免费| WWW久久久| 免费色婷婷| 色婷婷丁香| 色久激情在线| 国产精品久久..4399| 婷婷五月综合色小姐小说| www.yw尤物| 天天日夜夜帕| 五月婷婷六月丁香综合视频在线| 大香蕉视频婷婷| 99热啪啪| 99自拍视频网站| AV 3P| 91爱操| 久久久精品99| 成人国产欧美大片一区| 婷婷九九| 欧美激情综合色丁香婷婷五月天| 色之综合网| 久久久99婷婷久久久久久| 人与禽A片啪啪| 99久久综合| 婷婷丁香人妻| 婷婷伊人综合中文字幕| 九月丁香网婷婷| 在线日韩视频| 人人草人| a v色婷婷| 丁香五月亚洲激情婷婷射| 天啪色| 男人操女人高潮91视频| 午夜婷婷| www.99热| 婷婷丁香人妻久久在线观看| 蜜臀av无码久久久久久久久| 亚洲综合无码| 狠狠久久婷婷| 最近中文字幕大全免费版在线| 99久久九九| 婷婷 伊人 久久| 蜜乳A√| 久久丁香五月综合六月激情红杏视频| av在线免费网站 | 国产亚洲99久久精品熟女| 婷婷五月深深爱| 五月丁香婷婷成人网| 26uuu成人网| 婷婷大乡焦噜噜| 激情婷婷啪啪| 激情欧美婷五月| 婷婷八月激情| 91人人超碰在线| 婷婷丁香综合在线| 精品视频二级九九| AA片在线观看视频在线播放 | 色色网站在线| 久草五月婷婷| 精品无吗va视频免费观看| 人人摸人人干人人做| 日日天天操| 涩涩涩,com| 99国产小视频2013| 五月婷婷色色| 五月婷婷色影院| 婷婷久久99| 六月丁香啪啪啪| 五月婷婷|欧美| 九九激情视频| 99噜噜噜| 亚洲视频久久| 欧美婷婷综合网| 大香蕉视频婷婷| 狠狠插.com| 99cao婷婷| 9999热在线| www.色欲丁香婷婷| 北条麻妃伊人 |