欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

嵌入式固件啟動(dòng)故障定位實(shí)戰(zhàn):從復(fù)位源到main()前的五級(jí)穿透法

嵌入式固件啟動(dòng)故障定位實(shí)戰(zhàn):從復(fù)位源到main()前的五級(jí)穿透法 1. 這不是“講啟動(dòng)流程”的課是嵌入式固件工程師的現(xiàn)場(chǎng)作戰(zhàn)手冊(cè)你手里的開(kāi)發(fā)板突然卡在串口打印第一行就停住log里只有一串0x20000000地址的非法訪問(wèn)OTA升級(jí)后設(shè)備反復(fù)重啟但bootloader日志顯示“image valid”校驗(yàn)和也對(duì)得上客戶現(xiàn)場(chǎng)反饋某批次固件在特定溫度下冷機(jī)啟動(dòng)失敗復(fù)現(xiàn)率37%而實(shí)驗(yàn)室100%通過(guò)——這些不是考試題是凌晨?jī)牲c(diǎn)你被電話叫醒時(shí)的真實(shí)戰(zhàn)場(chǎng)。這篇專欄要解決的從來(lái)不是“ARM芯片上電后PC從哪取指令”這種教科書(shū)定義而是當(dāng)你面對(duì)一塊貼著“已燒錄固件”的黑色PCB、一臺(tái)正在報(bào)錯(cuò)的產(chǎn)線測(cè)試儀、或一封寫(xiě)著“請(qǐng)48小時(shí)內(nèi)定位根因”的郵件時(shí)真正能讓你快速拆解、精準(zhǔn)定位、穩(wěn)住局面的工程化方法論。核心關(guān)鍵詞嵌入式、固件、啟動(dòng)流程、OTA、ARM每一個(gè)都對(duì)應(yīng)著真實(shí)產(chǎn)線里摔過(guò)的跟頭、改過(guò)的寄存器、抓過(guò)的波形。我?guī)н^(guò)的團(tuán)隊(duì)里新人常把“看懂startup.s”當(dāng)成啟動(dòng)流程終點(diǎn)老手卻知道真正的難點(diǎn)在startup.s執(zhí)行完之后——那幾毫秒內(nèi)發(fā)生的內(nèi)存映射切換、時(shí)鐘樹(shù)配置沖突、外設(shè)初始化時(shí)序錯(cuò)位才是讓90%故障藏身的灰色地帶。本系列不講抽象理論所有內(nèi)容都來(lái)自我們?yōu)榘卜罃z像頭、工業(yè)PLC、車載T-Box做固件交付時(shí)的真實(shí)案例比如用示波器抓取reset引腳與uart tx引腳的時(shí)序差定位bootloader跳轉(zhuǎn)失敗用JTAG trace buffer回溯到第7條指令的SP異常把OTA鏡像拆成bin段逐字節(jié)比對(duì)發(fā)現(xiàn)flash控制器DMA burst長(zhǎng)度配置錯(cuò)誤。上篇課后思考題不是為了考你而是還原我們當(dāng)年在客戶現(xiàn)場(chǎng)白板上畫(huà)出的故障樹(shù)——答案本身不重要重要的是你能否沿著“現(xiàn)象→寄存器狀態(tài)→硬件信號(hào)→電源軌紋波”這條鏈路一環(huán)扣一環(huán)地推演。適合誰(shuí)剛畢業(yè)想避開(kāi)“只會(huì)點(diǎn)燈”的嵌入式新人做了三年驅(qū)動(dòng)但遇到啟動(dòng)問(wèn)題仍要靠“重?zé)囋嚒钡闹屑?jí)工程師以及需要向客戶出具《啟動(dòng)異常根因分析報(bào)告》的固件架構(gòu)師。2. 啟動(dòng)流程深度拆解從復(fù)位向量到main()前的七層地獄2.1 真正的啟動(dòng)起點(diǎn)復(fù)位源與向量表基址的博弈很多工程師認(rèn)為啟動(dòng)始于CPU執(zhí)行第一條指令這是危險(xiǎn)的誤解。真正的起點(diǎn)是復(fù)位源觸發(fā)的硬件狀態(tài)重置。以Cortex-M系列為例當(dāng)POR上電復(fù)位發(fā)生時(shí)CPU并非直接跳轉(zhuǎn)到0x00000000而是根據(jù)BOOT引腳電平、eFUSE配置、甚至OTP中存儲(chǔ)的啟動(dòng)模式寄存器值決定向量表基址VTOR的初始值。我在調(diào)試一款全志H3芯片時(shí)客戶產(chǎn)線出現(xiàn)15%的啟動(dòng)失敗最終發(fā)現(xiàn)是eMMC boot mode下SOC內(nèi)部ROM bootloader會(huì)先讀取eMMC第一個(gè)扇區(qū)的MBR再根據(jù)MBR中的分區(qū)表跳轉(zhuǎn)到boot0分區(qū)加載u-boot而該批次eMMC的MBR寫(xiě)入時(shí)CRC校驗(yàn)位被擦除工具意外清零導(dǎo)致ROM bootloader誤判為無(wú)效鏡像直接fallback到SPI flash啟動(dòng)——但SPI flash里只有舊版bootloader其不支持新SOC的DDR初始化時(shí)序于是卡死在SDRAM初始化階段。這個(gè)案例說(shuō)明所謂“啟動(dòng)流程”必須從硬件復(fù)位源的物理特性開(kāi)始梳理。ARM架構(gòu)下常見(jiàn)的復(fù)位源包括POR、NRST、WDOG reset、SYSRESETREQ等每種復(fù)位源觸發(fā)后CPU內(nèi)核、總線矩陣、外設(shè)模塊的寄存器復(fù)位值并不完全相同。例如WDOG reset通常不會(huì)復(fù)位RTC寄存器而POR會(huì)清空所有寄存器。實(shí)操中我習(xí)慣在startup.s最開(kāi)頭插入一段匯編讀取SCB-AIRCR寄存器的VECTCLRACTIVE位和SYSRESETREQ位結(jié)合NVIC-IABR寄存器判斷當(dāng)前復(fù)位類型并通過(guò)GPIO輸出不同波形用示波器直接觀測(cè)復(fù)位源——這比看串口log快3秒且100%準(zhǔn)確。2.2 向量表不只是中斷入口更是內(nèi)存布局的憲法向量表Vector Table常被簡(jiǎn)化為“中斷函數(shù)地址數(shù)組”但它實(shí)際是整個(gè)固件內(nèi)存布局的憲法性文件。標(biāo)準(zhǔn)ARM Cortex-M向量表前16項(xiàng)為系統(tǒng)異常Reset、NMI、HardFault等后接用戶中斷。但關(guān)鍵在于向量表位置決定了整個(gè)代碼段的鏈接基址。當(dāng)使用分散加載scatter loading時(shí)向量表可能被鏈接到0x08000000主flash也可能被重定向到0x20000000SRAM用于調(diào)試。我在調(diào)試RT-Thread系統(tǒng)時(shí)遇到過(guò)經(jīng)典問(wèn)題將vector table放在SRAM后reset handler能正常執(zhí)行但HardFault發(fā)生時(shí)PC指向0xFFFFFFFE——查證發(fā)現(xiàn)是SCB-VTOR寄存器未在reset handler中顯式設(shè)置導(dǎo)致CPU仍從默認(rèn)0x00000000讀取向量表而該地址此時(shí)是未初始化的SRAM內(nèi)容全0故HardFault向量為0x00000000PC被加載為0x0000000040x00000004再加偏移變成0xFFFFFFFE。解決方案不是改鏈接腳本而是在startup.s的reset handler第一行插入ldr r0, 0x20000000msr VTOR, r0。更隱蔽的問(wèn)題出現(xiàn)在多bank flash場(chǎng)景某款STM32H7芯片有兩塊獨(dú)立flash bankbank1: 0x08000000, bank2: 0x08100000客戶要求OTA升級(jí)時(shí)新固件燒錄到bank2啟動(dòng)時(shí)由bootloader切換VTOR到bank2向量表。但實(shí)測(cè)發(fā)現(xiàn)切換后USB中斷無(wú)法觸發(fā)根源是USB PHY的時(shí)鐘使能寄存器RCC-APB1ENR在切換VTOR后未重新配置——因?yàn)樵摷拇嫫鞒跏蓟a位于bank1的startup.s中bank2的向量表雖指向bank2的reset handler但handler內(nèi)部調(diào)用的clock_init函數(shù)地址仍在bank1而bank1此時(shí)已被remap禁用。最終方案是將clock_init及所有依賴的底層驅(qū)動(dòng)函數(shù)全部復(fù)制到bank2并在鏈接腳本中用KEEP(*(.text.clock_init))強(qiáng)制保留。2.3 初始化三部曲堆棧、時(shí)鐘、內(nèi)存缺一不可的死亡鏈從reset handler跳轉(zhuǎn)到C環(huán)境前必須完成堆棧、時(shí)鐘、內(nèi)存三大初始化任一環(huán)節(jié)失敗都會(huì)導(dǎo)致不可預(yù)測(cè)行為。這里沒(méi)有“標(biāo)準(zhǔn)流程”只有針對(duì)具體SOC的精確操作序列。堆棧初始化Cortex-M內(nèi)核有兩個(gè)堆棧指針MSPMain Stack和PSPProcess Stack。Reset后CPU使用MSP因此startup.s中__initial_sp必須指向合法RAM區(qū)域。常見(jiàn)陷阱是stack size設(shè)置過(guò)小某次為智能電表設(shè)計(jì)固件stack size設(shè)為0x200測(cè)試時(shí)一切正常量產(chǎn)時(shí)客戶增加DLMS協(xié)議棧函數(shù)調(diào)用深度超過(guò)256字節(jié)導(dǎo)致MSP溢出覆蓋相鄰全局變量設(shè)備在抄表時(shí)隨機(jī)死機(jī)。解決方案是用arm-none-eabi-gcc的-fstack-usage選項(xiàng)生成每個(gè)函數(shù)的stack usage報(bào)告取最大值30%安全余量。時(shí)鐘樹(shù)配置這是啟動(dòng)失敗的最高發(fā)區(qū)域。以NXP i.MX RT1052為例其時(shí)鐘樹(shù)包含PLL、SYS PLL、AUDIO PLL等12個(gè)時(shí)鐘源reset后默認(rèn)使用24MHz晶振經(jīng)分頻得到的12MHz作為core clock。但若在未配置SYS PLL前就調(diào)用SystemCoreClockUpdate()該函數(shù)會(huì)讀取CCM_ANALOG_PLL_SYS_CTRL寄存器獲取當(dāng)前PLL倍頻系數(shù)而該寄存器reset值為0導(dǎo)致計(jì)算出的SystemCoreClock為0后續(xù)所有基于此的delay函數(shù)失效。更致命的是某些外設(shè)如FlexSPI的時(shí)鐘源必須在core clock穩(wěn)定后才能配置否則寄存器寫(xiě)入無(wú)效。我的做法是在clock_init函數(shù)中先用匯編指令dsb syisb確保流水線清空再讀取PLL lock status bit如CCM_ANALOG_PLL_SYS_CTRL[12]循環(huán)等待直到bit1最后才調(diào)用SystemCoreClockUpdate()。內(nèi)存初始化重點(diǎn)是SRAM和外設(shè)RAM。某次調(diào)試GD32F450發(fā)現(xiàn)DMA傳輸數(shù)據(jù)錯(cuò)亂最終定位到startup.s中未初始化DTCM RAMData Tightly Coupled Memory。DTCM是Cortex-M7特有的高速RAM地址范圍0x20000000-0x2001FFFFreset后內(nèi)容隨機(jī)若DMA descriptor table放在DTCM但未清零descriptor中的next pointer可能指向非法地址導(dǎo)致DMA鏈表斷裂。解決方案是在reset handler中添加movs r0, #0movs r1, #0movs r2, #0movs r3, #0循環(huán)清零DTCM區(qū)域而非依賴C庫(kù)的__iar_data_init3該函數(shù)僅初始化.data/.bss不處理DTCM。2.4 main()之前的暗流C運(yùn)行時(shí)環(huán)境與全局對(duì)象構(gòu)造當(dāng)startup.s執(zhí)行bl main時(shí)你以為進(jìn)入了安全區(qū)不C運(yùn)行時(shí)環(huán)境CRT的初始化才剛剛開(kāi)始。這部分由編譯器自動(dòng)生成但細(xì)節(jié)決定成敗。.data段復(fù)制鏈接腳本中定義.data位于flashLOAD_REGION但運(yùn)行時(shí)需復(fù)制到RAMRUN_REGION。復(fù)制過(guò)程由__iar_data_init3IAR或__libc_init_arrayGCC執(zhí)行。陷阱在于若flash讀取速度慢于RAM寫(xiě)入速度且未啟用cache復(fù)制過(guò)程可能超時(shí)。某次在ESP32-S3上.data段大小達(dá)128KB使用QSPI flash80MHz復(fù)制時(shí)因flash controller的read latency設(shè)置不當(dāng)導(dǎo)致復(fù)制耗時(shí)超過(guò)watchdog timeout設(shè)備在main()前被復(fù)位。解決方案是修改鏈接腳本在.data段前插入.fast_datasection將高頻訪問(wèn)的全局變量如DMA buffer指針顯式放入該section并用__attribute__((section(.fast_data)))標(biāo)記確保其位于內(nèi)部RAM而非QSPI映射區(qū)。全局對(duì)象構(gòu)造C項(xiàng)目中全局對(duì)象的constructor在main()前執(zhí)行。某次為車載T-Box開(kāi)發(fā)一個(gè)全局CAN driver對(duì)象在constructor中調(diào)用CAN_Init()而該函數(shù)依賴RCC_EnableClock()但clock init尚未完成——因?yàn)閏lock init在main()中而global object constructor在main()前。IAR編譯器默認(rèn)按聲明順序執(zhí)行constructor但GCC使用__init_array_start數(shù)組順序不可控。最終方案是放棄全局對(duì)象改用單例模式在main()中首次調(diào)用時(shí)初始化或使用__attribute__((constructor))顯式指定執(zhí)行順序。堆初始化malloc()依賴heap region。鏈接腳本中_heap_start和_heap_end定義不當(dāng)會(huì)導(dǎo)致malloc返回NULL。某次在RT-Thread項(xiàng)目中heap size設(shè)為0x10000但實(shí)際可用RAM因DTCM占用只剩0x8000malloc分配大buffer時(shí)失敗。更隱蔽的是heap與stack碰撞當(dāng)遞歸過(guò)深或局部數(shù)組過(guò)大stack向下增長(zhǎng)撞上heap向上增長(zhǎng)導(dǎo)致內(nèi)存破壞。我習(xí)慣在startup.s中添加stack guard在stack底部預(yù)留0x100字節(jié)寫(xiě)入magic number如0xDEADBEEF在main()開(kāi)頭檢查該值是否被修改若被改寫(xiě)則說(shuō)明stack overflow。3. 故障定位方法論從現(xiàn)象到根因的五級(jí)穿透法3.1 第一級(jí)現(xiàn)象分類學(xué)——拒絕模糊描述故障定位的第一步不是抓log而是對(duì)現(xiàn)象進(jìn)行原子化分類。我建立了一套現(xiàn)象分類矩陣橫軸為可觀測(cè)維度串口log、LED狀態(tài)、JTAG連接性、外設(shè)響應(yīng)縱軸為時(shí)間特征上電瞬間、啟動(dòng)過(guò)程中、運(yùn)行穩(wěn)定后、特定操作觸發(fā)。例如“設(shè)備上電后LED常亮不閃爍”屬于“LED狀態(tài)上電瞬間”而“運(yùn)行2小時(shí)后UART無(wú)響應(yīng)”屬于“外設(shè)響應(yīng)運(yùn)行穩(wěn)定后”。這種分類能立即排除80%的誤判。曾有個(gè)案例客戶報(bào)“設(shè)備無(wú)法啟動(dòng)”現(xiàn)場(chǎng)看到串口無(wú)任何輸出。按矩陣分類屬于“串口log上電瞬間”。我首先用萬(wàn)用表測(cè)UART_TX引腳電壓——正常應(yīng)為3.3V高阻態(tài)實(shí)測(cè)為0V說(shuō)明MCU未輸出問(wèn)題在MCU本身或供電若為3.3V則可能是電平轉(zhuǎn)換芯片損壞。結(jié)果測(cè)得TX為0V進(jìn)一步測(cè)VDDA為1.2V應(yīng)為3.3V發(fā)現(xiàn)LDO輸出電容虛焊導(dǎo)致模擬電源域未建立ADC和內(nèi)部RC振蕩器失效MCU無(wú)法退出復(fù)位。若不分類直接換MCU會(huì)浪費(fèi)3天。3.2 第二級(jí)寄存器快照——讓硬件開(kāi)口說(shuō)話當(dāng)現(xiàn)象指向特定模塊如UART無(wú)輸出必須獲取該模塊關(guān)鍵寄存器的實(shí)時(shí)快照。不要依賴loglog可能因時(shí)鐘未啟而無(wú)法打印。我使用JTAG debugger的memory dump功能在reset后立即halt CPU讀取相關(guān)寄存器。以UART為例關(guān)鍵寄存器包括UARTx_CR發(fā)送/接收使能位UARTx_FRbusy、txfe、rxfe等狀態(tài)位UARTx_IBRD/UARTx_FBRD波特率分頻值UARTx_LCR_H數(shù)據(jù)位、停止位、parity配置某次調(diào)試Nordic nRF52840UART無(wú)輸出UARTx_FR[txfe]為1發(fā)送FIFO空但UARTx_CR[txe]為0發(fā)送使能關(guān)閉。追蹤發(fā)現(xiàn)UARTx_CR寫(xiě)入操作被編譯器優(yōu)化掉——因?yàn)閷?xiě)入后未讀取確認(rèn)gcc認(rèn)為該操作無(wú)副作用。解決方案是添加__DSB()內(nèi)存屏障并用volatile修飾寄存器指針。更深層的問(wèn)題是UARTx_CR[txe]寫(xiě)1后需等待UARTx_FR[busy]從1變0才表示使能生效而我們的代碼未等待直接寫(xiě)數(shù)據(jù)導(dǎo)致數(shù)據(jù)丟失。因此寄存器快照不僅要讀值更要驗(yàn)證狀態(tài)轉(zhuǎn)換邏輯。3.3 第三級(jí)信號(hào)層捕獲——示波器是固件工程師的聽(tīng)診器當(dāng)寄存器值正常但功能異常必須下沉到電氣信號(hào)層。我標(biāo)配一個(gè)2通道示波器帶邏輯分析功能探頭直連關(guān)鍵信號(hào)線。典型場(chǎng)景復(fù)位信號(hào)完整性用10x探頭測(cè)NRST引腳觀察復(fù)位脈沖寬度和邊沿。某次設(shè)備偶發(fā)啟動(dòng)失敗示波器顯示NRST脈沖寬度僅80ns要求100ns原因是復(fù)位電路中RC時(shí)間常數(shù)過(guò)小且PCB走線存在反射。解決方案是增大R值至10kΩ并在NRST引腳就近加0.1μF去耦電容。時(shí)鐘信號(hào)質(zhì)量測(cè)HSE高速外部晶振輸出觀察波形是否正弦、有無(wú)過(guò)沖。某款STM32F767HSE頻率偏差達(dá)±500ppm導(dǎo)致USB通信失敗。示波器顯示波形頂部削頂說(shuō)明驅(qū)動(dòng)能力過(guò)強(qiáng)更換晶振負(fù)載電容從12pF為18pF后解決。總線事務(wù)時(shí)序用邏輯分析儀抓SPI bus驗(yàn)證CS、CLK、MOSI時(shí)序是否符合器件spec。某次調(diào)試SPI flash讀取ID返回0xFF抓波形發(fā)現(xiàn)CS低電平時(shí)間不足flash未進(jìn)入command mode。修改SPI controller的CS setup/hold time寄存器解決。3.4 第四級(jí)電源軌紋波——被忽視的終極殺手90%的間歇性故障源于電源。我用示波器AC耦合模式測(cè)各電源軌VDD、VDDA、VDDIO紋波帶寬設(shè)為20MHz。關(guān)鍵指標(biāo)VDD紋波峰峰值 50mV數(shù)字電源VDDA紋波峰峰值 10mV模擬電源某次車載設(shè)備在引擎啟動(dòng)時(shí)重啟示波器顯示VDD紋波達(dá)200mV原因是DC-DC converter的輸入電容ESR過(guò)高引擎啟動(dòng)時(shí)電池電壓跌落converter瞬態(tài)響應(yīng)不足。解決方案是并聯(lián)一個(gè)低ESR固態(tài)電容100μF/6.3V。更隱蔽的是地彈ground bounce當(dāng)多個(gè)GPIO同時(shí)翻轉(zhuǎn)瞬態(tài)電流通過(guò)地線電感產(chǎn)生壓降導(dǎo)致MCU內(nèi)部邏輯誤判。某次調(diào)試LED矩陣驅(qū)動(dòng)部分LED隨機(jī)熄滅測(cè)GND引腳對(duì)大地電壓波動(dòng)達(dá)300mV最終在MCU GND引腳就近增加0.01μF陶瓷電容濾除高頻噪聲。3.5 第五級(jí)交叉驗(yàn)證——用另一套系統(tǒng)證明你的結(jié)論當(dāng)以上四步仍無(wú)法定位啟動(dòng)交叉驗(yàn)證。核心原則用完全獨(dú)立的技術(shù)路徑驗(yàn)證同一假設(shè)。例如懷疑flash讀取錯(cuò)誤不只看讀取數(shù)據(jù)還應(yīng)用JTAG讀取flash內(nèi)容與bin文件md5比對(duì)用邏輯分析儀抓取SPI flash transaction驗(yàn)證發(fā)送的read command和address是否正確將flash芯片取下用編程器讀取對(duì)比數(shù)據(jù)某次為安防攝像頭定位啟動(dòng)失敗前四步均正常交叉驗(yàn)證時(shí)發(fā)現(xiàn)用JTAG讀取flash前16KB數(shù)據(jù)正確但從0x4000開(kāi)始全為0xFF。但編程器讀取同一flash數(shù)據(jù)完整。結(jié)論是MCU的QSPI controller配置錯(cuò)誤未正確設(shè)置memory mapping。最終查到QSPI_ACR寄存器中LATENCY位設(shè)置為0應(yīng)為3導(dǎo)致讀取時(shí)序不匹配。4. OTA升級(jí)工程化實(shí)戰(zhàn)從“能升級(jí)”到“可信賴”的七道防線4.1 鏡像格式設(shè)計(jì)不止是拼接是可信鏈的起點(diǎn)OTA鏡像不是簡(jiǎn)單的app.bin bootloader.bin拼接而是構(gòu)建可信鏈的載體。我采用分層簽名結(jié)構(gòu)Layer 0Root of Trustbootloader內(nèi)置公鑰用于驗(yàn)證Layer 1簽名Layer 1Firmware Header包含app版本號(hào)、硬件平臺(tái)ID、簽名算法標(biāo)識(shí)、簽名值Layer 2App Image原始固件二進(jìn)制Layer 3Metadata升級(jí)策略如roll-back protection flag、兼容性列表簽名使用ECDSA secp256r1私鑰離線保存于HSMHardware Security Module公鑰固化在bootloader ROM中。某次客戶要求支持roll-back protection我們?cè)贚ayer 1 header中增加min_version字段bootloader驗(yàn)證時(shí)若當(dāng)前版本低于min_version則拒絕升級(jí)。但實(shí)測(cè)發(fā)現(xiàn)若攻擊者篡改header中的min_versionsignature仍有效。解決方案是將min_version納入簽名摘要計(jì)算范圍——即簽名時(shí)對(duì)headerapp image整體hash而非僅對(duì)app image hash。這樣任何header字段修改都會(huì)導(dǎo)致signature verification fail。4.2 安全啟動(dòng)集成讓OTA成為信任錨點(diǎn)OTA不能脫離secure boot獨(dú)立存在。我將OTA流程深度集成到secure boot chain中Stage 1ROM bootloader驗(yàn)證bootloader image signatureStage 2verified bootloader驗(yàn)證app image signatureStage 3app image中包含OTA agent其signature由Stage 2驗(yàn)證關(guān)鍵創(chuàng)新是動(dòng)態(tài)密鑰派生OTA agent的簽名密鑰不是固定值而是由device unique IDfuse-based和firmware version hash派生。這樣即使某版本OTA agent密鑰泄露也無(wú)法用于其他版本。派生算法采用HMAC-SHA256derived_key HMAC-SHA256(device_id, version_hash)。某次安全審計(jì)發(fā)現(xiàn)若version_hash計(jì)算不包含build timestamp攻擊者可重放舊版本鏡像。因此我們?cè)趘ersion_hash中加入__DATE__和__TIME__宏確保每次build hash唯一。4.3 差分升級(jí)實(shí)現(xiàn)節(jié)省90%帶寬的工程細(xì)節(jié)全量升級(jí)在蜂窩網(wǎng)絡(luò)下成本高昂差分升級(jí)delta update是剛需。我采用bsdiff算法但針對(duì)嵌入式場(chǎng)景優(yōu)化內(nèi)存約束標(biāo)準(zhǔn)bsdiff需O(n)內(nèi)存我們改用streaming bsdiff內(nèi)存占用恒定為256KBflash磨損均衡差分patch寫(xiě)入時(shí)避免集中擦寫(xiě)同一block。方案是將patch分片每片寫(xiě)入不同flash sector并記錄sector wear-leveling counter斷電保護(hù)patch寫(xiě)入中途斷電必須保證可恢復(fù)。我們?cè)诿總€(gè)patch block前寫(xiě)入header包含block id、crc32、status flag0x00writing, 0xFFwritten。升級(jí)agent按block id順序?qū)懭雽?xiě)完一個(gè)block后將status flag置0xFF再寫(xiě)下一個(gè)。斷電后agent掃描所有block header跳過(guò)status0xFF的block繼續(xù)未完成的block。某次為NB-IoT設(shè)備實(shí)施差分升級(jí)全量鏡像4MB差分patch僅320KB節(jié)省帶寬80%。但實(shí)測(cè)發(fā)現(xiàn)patch應(yīng)用后app checksum錯(cuò)誤根源是bsdiff生成的patch中包含對(duì)flash controller寄存器的寫(xiě)操作因原始鏡像中有flash driver代碼而OTA agent執(zhí)行patch時(shí)flash controller處于非初始化狀態(tài)。解決方案是在patch生成時(shí)用objdump提取所有flash相關(guān)symbol將其從diff范圍排除改用runtime patch injection。4.4 回滾機(jī)制不是“備份舊版本”是狀態(tài)一致性保障回滾不是簡(jiǎn)單地“恢復(fù)舊固件”而是保障系統(tǒng)狀態(tài)一致。我設(shè)計(jì)雙slot機(jī)制A/B但關(guān)鍵在狀態(tài)同步Slot A當(dāng)前運(yùn)行固件Slot B待升級(jí)固件Shared State Partition獨(dú)立flash partition存儲(chǔ)設(shè)備狀態(tài)如sensor calibration data、network config升級(jí)前agent將Shared State復(fù)制到Slot B的reserved area升級(jí)成功后將Slot B的state寫(xiě)入Shared State若升級(jí)失敗回滾時(shí)從Shared State恢復(fù)Slot A的state。某次客戶設(shè)備升級(jí)后WiFi密碼丟失就是因?yàn)閟tate partition未同步。我們?cè)黾觭tate validation每次讀寫(xiě)state前計(jì)算CRC32并存儲(chǔ)于header若CRC mismatch則觸發(fā)factory reset。4.5 升級(jí)過(guò)程監(jiān)控從“黑盒”到“透明化”O(jiān)TA過(guò)程必須全程可觀測(cè)。我在agent中嵌入狀態(tài)機(jī)并通過(guò)UART/USB暴露狀態(tài)接口GET /ota/status返回{state: downloading, progress: 45, speed_kbps: 12}GET /ota/log返回最近100行debug logPOST /ota/cancel安全終止升級(jí)狀態(tài)機(jī)包含12個(gè)狀態(tài)每個(gè)狀態(tài)有超時(shí)保護(hù)。例如verifying signature狀態(tài)超時(shí)設(shè)為30秒超時(shí)則自動(dòng)回滾。某次升級(jí)卡在writing flash狀態(tài)遠(yuǎn)程查詢log發(fā)現(xiàn)flash erase耗時(shí)超預(yù)期原因是該批次flash的erase time spec為100ms但實(shí)測(cè)達(dá)200ms。解決方案是動(dòng)態(tài)調(diào)整timeout首次erase后記錄實(shí)際耗時(shí)后續(xù)erase timeout設(shè)為實(shí)際值*1.5。4.6 硬件協(xié)同設(shè)計(jì)讓OTA不再“裸奔”O(jiān)TA可靠性依賴硬件協(xié)同。我要求硬件設(shè)計(jì)包含獨(dú)立看門(mén)狗由專用WDOG芯片管理不依賴MCU內(nèi)部WDOG確保MCU hang死時(shí)仍能復(fù)位雙電源軌監(jiān)控VDD和VDDA分別監(jiān)控任一軌跌落即觸發(fā)復(fù)位升級(jí)指示LED硬件級(jí)LED由MCU GPIO控制升級(jí)中常亮成功后快閃失敗后慢閃某次設(shè)備在OTA中因VDDA跌落導(dǎo)致ADC采樣錯(cuò)誤進(jìn)而觸發(fā)軟件看門(mén)狗復(fù)位但MCU未完全復(fù)位flash controller處于未知狀態(tài)導(dǎo)致后續(xù)升級(jí)失敗。硬件級(jí)電源監(jiān)控芯片如MAX6326在VDDA2.7V時(shí)立即拉低NRST徹底復(fù)位。4.7 灰度發(fā)布策略用數(shù)據(jù)代替直覺(jué)OTA發(fā)布不是“全量推送”而是漸進(jìn)式灰度。我設(shè)計(jì)三級(jí)灰度Level 11%設(shè)備隨機(jī)選擇僅推送通知不自動(dòng)升級(jí)Level 210%設(shè)備自動(dòng)升級(jí)但限制并發(fā)數(shù)如每分鐘最多10臺(tái)Level 3100%設(shè)備全量推送但開(kāi)啟rollback threshold如錯(cuò)誤率0.1%自動(dòng)暫停監(jiān)控指標(biāo)包括升級(jí)成功率target 99.95%啟動(dòng)成功率升級(jí)后first boot success rate關(guān)鍵服務(wù)可用率如WiFi connect time 5s某次新版本OTA上線Level 2階段啟動(dòng)成功率降至92%監(jiān)控發(fā)現(xiàn)是new bootloader中新增的USB CDC初始化代碼與舊host driver不兼容。立即暫停Level 3回滾Level 2設(shè)備并發(fā)布hotfix。5. 上篇課后思考題完整解析還原真實(shí)故障排查現(xiàn)場(chǎng)5.1 思考題1某Cortex-M4設(shè)備啟動(dòng)時(shí)串口輸出“HardFault_Handler”但未打印更多l(xiāng)og。如何定位這不是代碼問(wèn)題是調(diào)試基礎(chǔ)設(shè)施缺失。HardFault發(fā)生時(shí)CPU進(jìn)入HardFault_Handler但若該handler未實(shí)現(xiàn)或未配置設(shè)備會(huì)死循環(huán)。標(biāo)準(zhǔn)做法是在HardFault_Handler中讀取SCB-HFSRHardFault Status Register和SCB-CFSRConfigurable Fault Status Register若CFSR[IBUSERR]1說(shuō)明instruction bus error可能是PC指向非法地址若CFSR[PRECISERR]1說(shuō)明precise data bus error查看BFARBus Fault Address Register用JTAG halt CPU讀取R0-R12、SP、LR、PC寄存器值PC值指向出錯(cuò)指令地址LR值指示調(diào)用來(lái)源反匯編PC地址處指令結(jié)合寄存器值分析某次實(shí)操中CFSR顯示PRECISERRBFAR0x20000000但該地址是valid SRAM。進(jìn)一步檢查發(fā)現(xiàn)該地址被DMA controller占用而CPU嘗試寫(xiě)入時(shí)DMA正在訪問(wèn)同一地址觸發(fā)bus conflict。解決方案是添加memory barrier在DMA啟動(dòng)前執(zhí)行__DSB()確保所有CPU寫(xiě)操作完成。5.2 思考題2OTA升級(jí)后設(shè)備啟動(dòng)卡在“Initializing SDIO...”但SDIO硬件測(cè)試正常。原因表面是SDIO驅(qū)動(dòng)問(wèn)題實(shí)則是時(shí)鐘域切換故障。SDIO controller依賴HSIHigh Speed Internal時(shí)鐘而OTA升級(jí)后bootloader可能將HSI頻率從16MHz改為24MHz以提升性能但SDIO driver的初始化代碼未適配新頻率。驗(yàn)證方法用示波器測(cè)SDIO CLK引腳確認(rèn)實(shí)際頻率檢查SDIO-CLKCR寄存器計(jì)算CLKDIV值是否匹配當(dāng)前HSI頻率對(duì)比升級(jí)前后bootloader的clock_init函數(shù)確認(rèn)HSI配置是否變更某次案例中bootloader將HSI trim value從0x00改為0x10導(dǎo)致HSI頻率從16.000MHz變?yōu)?6.012MHzSDIO driver中硬編碼的CLKDIV1實(shí)際CLK8.006MHz低于SDIO spec要求的12MHz導(dǎo)致初始化失敗。解決方案是driver中動(dòng)態(tài)計(jì)算CLKDIVCLKDIV (HSI_FREQ / (2 * SDIO_TARGET_CLK)) - 1。5.3 思考題3客戶反饋某批次固件在-20℃啟動(dòng)失敗實(shí)驗(yàn)室25℃正常。如何復(fù)現(xiàn)與解決這是溫度敏感型硬件缺陷需構(gòu)建溫度梯度測(cè)試環(huán)境將設(shè)備置于溫箱從25℃逐步降溫至-20℃每降5℃保持30分鐘在每個(gè)溫度點(diǎn)重復(fù)啟動(dòng)10次記錄失敗率失敗時(shí)立即用JTAG halt讀取所有電源監(jiān)控寄存器如VDD、VDDA、VREFINT某次定位到-20℃時(shí)VREFINT內(nèi)部參考電壓從1.2V降至1.05V導(dǎo)致ADC校準(zhǔn)失敗進(jìn)而影響flash controller的read margin判斷讀取失敗。解決方案是在低溫啟動(dòng)時(shí)禁用ADC校準(zhǔn)使用出廠校準(zhǔn)值或在bootloader中添加溫度補(bǔ)償讀取TSTemperature Sensor值查表修正VREFINT5.4 思考題4OTA鏡像校驗(yàn)通過(guò)但升級(jí)后app功能異常??赡茉蛐r?yàn)通過(guò)只證明鏡像完整性不保證執(zhí)行環(huán)境一致性??赡茉騀lash wear-out某block擦寫(xiě)次數(shù)超限讀取時(shí)bit flip但CRC32未檢測(cè)到因flip位在padding區(qū)域Memory mapping conflict新固件中新增外設(shè)驅(qū)動(dòng)其memory map與舊bootloader的MMU配置沖突Peripheral state leakage升級(jí)前未reset外設(shè)殘留狀態(tài)影響新固件某次案例中新固件啟用ETH MAC但bootloader未reset ETH controller導(dǎo)致PHY狀態(tài)機(jī)處于invalid state。解決方案是在OTA agent中升級(jí)前執(zhí)行RCC_EnableReset(RCC_RESET_ETH)強(qiáng)制reset。5.5 思考題5如何設(shè)計(jì)一個(gè)無(wú)需JTAG即可定位啟動(dòng)問(wèn)題的“黑盒診斷”機(jī)制核心是將診斷信息編碼到有限IO。我設(shè)計(jì)如下LED編碼用LED閃爍次數(shù)表示錯(cuò)誤碼如1閃stack overflow, 2閃hardfault, 3閃flash verify failUART fallback若主UART初始化失敗自動(dòng)切換到備用UART如USB CDC虛擬串口EEPROM log在關(guān)鍵路徑如clock init后、memory init后寫(xiě)入timestamp和status code到EEPROM某次為無(wú)UART接口的傳感器設(shè)計(jì)僅有一個(gè)LED。我們用摩斯碼編碼短閃dot0長(zhǎng)閃dash1組合成8位錯(cuò)誤碼。例如0x1A00011010表示“clock init timeout”?,F(xiàn)場(chǎng)人員用手機(jī)錄下LED閃爍用APP解碼即可獲知根因。6. 實(shí)操心得與避坑指南十年踩過(guò)的坑都在這里提示以下經(jīng)驗(yàn)均來(lái)自真實(shí)產(chǎn)線事故非理論推演關(guān)于startup.s的黃金法則永遠(yuǎn)在reset handler第一行插入cpsid idisable IRQ并在main()前最后一行執(zhí)行cpsie ienable IRQ。曾因未禁用IRQreset handler執(zhí)行中被NMI打斷導(dǎo)致stack corruption。更糟的是某些SOC如GD32的NMI handler未初始化直接跳轉(zhuǎn)到0x00000000引發(fā)連鎖故障。關(guān)于OTA的血淚教訓(xùn)絕不允許OTA agent與app共用同一heap。某次升級(jí)后malloc失敗查證發(fā)現(xiàn)OTA agent的heap與app的heap重疊因agent未釋放內(nèi)存即跳轉(zhuǎn)到app。解決方案是OTA agent使用靜態(tài)內(nèi)存池或在跳轉(zhuǎn)前調(diào)用heap_free_all()。關(guān)于示波器的隱藏技巧測(cè)復(fù)位信號(hào)時(shí)將示波器觸發(fā)模式設(shè)為“pulse width”條件設(shè)為“l(fā)ess than 100ns”可自動(dòng)捕獲異常窄脈沖。某次產(chǎn)線問(wèn)題就是靠此功能發(fā)現(xiàn)復(fù)位芯片輸出脈沖被PCB噪聲干擾變窄。關(guān)于編譯器的陷阱使用-O2優(yōu)化時(shí)gcc可能將while(1);優(yōu)化為udf #0undefined instruction導(dǎo)致HardFault。解決方案是添加__attribute__((used))或用for(;;) __asm volatile(wfi);。關(guān)于安全啟動(dòng)的誤區(qū)認(rèn)為簽名驗(yàn)證足夠安全。實(shí)際上若bootloader未驗(yàn)證自身完整性攻擊者可替換bootloader然后驗(yàn)證任意app。必須實(shí)現(xiàn)chain of trustROM bootloader → signed bootloader → signed app。關(guān)于溫度測(cè)試的真相溫箱降溫時(shí)設(shè)備外殼溫度滯后于環(huán)境溫度約15分鐘。某次-20℃測(cè)試設(shè)備內(nèi)部溫度實(shí)為-10℃導(dǎo)致誤判。正確做法是貼熱電偶到MCU die上直接測(cè)die溫度。關(guān)于JTAG的救命招數(shù)當(dāng)JTAG連接失敗先測(cè)TCK/TMS/TDI/TDO引腳電壓正常應(yīng)為3.3V。若TDO為0V說(shuō)明MCU未供電或JTAG disable fuse被燒。某次客戶設(shè)備JTAG失效測(cè)得TDO0V最終發(fā)現(xiàn)是PCB上JTAG排針焊接虛焊。關(guān)于OTA回滾的致命細(xì)節(jié)回滾時(shí)必須擦除新固件所在的flash sector否則下次升級(jí)時(shí)舊固件可能被新固件的erase操作意外擦除。某次回滾后設(shè)備變磚就是因?yàn)槲床脸齋lot B。關(guān)于啟動(dòng)流程文檔的謊言SOC datasheet中的“typical startup sequence”只是理想路徑。真實(shí)啟動(dòng)受PCB layout、電源設(shè)計(jì)、溫度、器件批次影響極大。我的做法是為每個(gè)硬件版本制作專屬startup checklist包含該版本特有的寄存器配置序列。**關(guān)于固件加密
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
婷婷色色网| 久久九精品| www999日韩精品| 久热天堂| 色色色五月婷| 色五月天.con| 日本精品人妻无码77777| 青草性爱视频| 男人的天堂在线婷婷| 5月婷婷激情网| 另类天堂| 综合网五月天123| 日韩青青| 综合久久久| 国产精典视频在线观看| 九九热在线精品视频| WWW、日本色丁香co m| 丁香六月激情综合| 噜噜色com| 色综合久久88色综合天天| 色婷五月天激情| 国内久久久精品99| 色综合久久888| 黄色AV日韩| 五月天婷婷丁香蜜桃91| 丁香五月婷婷激情97| 激情婷婷五月色| 国产真人做爰视频免费| 99色 色| 天天综合区| 久久久久人妻精选| 亚洲碰碰碰| 乱码操操| 九九热视频免费观看| 人碰人人人玩91| 九九色视频| 丁香六月婷婷社区| 婷婷综合久久| 日韩五月丁香| 99免费综合网| 99久久高清视频| 久久WW| 久99在线视频| 久草婷婷在线| 综合AV在线| 综合欧美五月婷婷| 大香伊人婷婷| 精品人妻伦九区久久AAA片| 一區四區歐美日韓| 五月丁香啪综合| 五月天婷婷激情小说电影| 婷婷激情五月天7| 天堂呦 呦百度搜索-百度搜索| 五月丁香无码| 亚洲AV影片在线观看| 九一99| 9久久久久久久久久久| 婷婷五月成人| 天天操夜夜操| 色色网站免费观看| 99精品在线观看| 99爱操| www.久久99热地址发布| 六月色五月天天婷婷| 婷婷色在线播放| 九九色影视| 亚洲综合网激情小说| 91啦丨九色丨刺激中文| 免费看欧美成人A片无码| 狠狠高潮精品亚洲1| 99re热在线视频| 色色五月婷婷狠狠| 99热免费| 五月丁香精品| 婷婷五月激情天| 九九久久精品| 99热国内精品| 久久五月天免费网站| 五月激情影院| 婷婷成人视频| 激情五月激情综合网一级丸片| 天天干天天爽| 成人性爱精品视频| 蜜乳.comcom| 51XX嘿嘿午夜无码| 免费日本aⅴ中文字幕| www.99在线| 99热在线观看这里只有精品| 天堂婷婷五月在线| 五月激情综合网| 婷婷色狠狠| 激情六月天| 婷婷综合在线| 91成人性爱视频| 99热99日…..| 婷婷五月综合婷婷| 九月色婷婷| 色吊丝av中文字幕| 高潮毛片又色又爽免费| 成人做爰A片免费看视频| 天天操B| 婷婷丁香小说| 欧美成人网99网| 操国产人妻| www99在线观看视频| 色噜婷婷| 婷婷五月激情基地| 国产亚洲成AV人片在线观黄桃| 久久久久婷婷| 五月色色色| 日本在线视频播放91| 99燥99日| 欧美性生交XXXXX无码小说| www.henhenl| 国产日韩欧美| 激情五月天激情综合网| 夜夜爽天操| 都市激情五月婷婷综合| 思思99热在线| 思思热性操| 99热6这里只有精品6| 99日韩| 九九婷婷综合| 成人五月天丁香| 中文字幕性爱视频| 91激情五月开心| 91九九热| 日本99视频| 九九精品自拍| 99re这里只有精品99| 国产精品岛国片在线观看免费| 丁香五月婷婷影视先锋| 九九美女视频| 99毛片| 国产午夜精品一区二区| 五月丁香激情四射综合| 亚洲Va成人| 五月婷婷啪啪| 九九九九九无码| 成人va在线观看视频| 亚洲色五月| 久久激情五月| 99热精品网| 日本狠狠爽| 婷婷五月天在线综合导航| 色五月婷婷久久爱| 开心五月婷婷99| 蜜臀九九九九| 亚洲成人五月| 亚洲中文av| 国精产品一区一区三区有限公司杨 | 激情综合4月| 久久九九视频网站| 色色亚卅| 少妇搡BBBB搡BBB搡毛茸茸 | 久久久婷婷| AV中文在线| 97福利视频| 99热这里只有精| 欧美色五月| 国产成人精品一区二区三区视频| 激情内射人妻1区2区3区| 97色婷婷| 97在线日本| 99热综合色图| 色五月涩涩婷婷蜜桃| 狠狠操天天操综合| 五月丁香婷婷综合视频| 久热九九| 不卡在线视频| 超碰成人影视| 激情综合五月丁香| 丁香婷婷伊人| 99热碰碰热| 日日夜夜天天综合| 少妇伦子伦精品无吗| 91大操| 美女91一起草| 开心婷婷中文字慕| 欧美激情综合色综合色| 内射综合网| 久9热在线视频| 噼里啪啦在线观看免费完整版视频 | 中文成人在线| 日韩无码91| 网色99| 天天综合图片| 26uuu成人网| 六月丁香啪啪| 殴美97色| 丁香六月婷婷久久综合八月| 天天爽免费视频| 久久五月激情| 狠狠爱深色婷婷综合| 99色免费在线观看| 色色影院aaaav| 六月丁香影院| 激情六月天| 激情涩播| 婷婷激情丁香五月天综合| 婷婷五月噜噜| 色色五月天激情| 久久ri精品视频| av网址在线| 婷婷五月天熟妇| AA久久| 99久热| 天天网曰日曰夜夜综合永久免费| 99爱免费在线观看| 亚洲综合久| 嫩草AV久久伊人妇女超级A| 日都一级A片| 亚洲精品视频在线| 99热这里只有精品4| 天天综合在线网| 色情成人五月天| 99久在线精品99re8| 狠狠色噜噜| 国产成人网址| 男人視頻站| www.日韩艹| 91丨九色丨熟女| 欧美情色一区| 成人色站,在线视频,看片-SS1AV| 97久久久久| www.99色在线| 婷婷色色综合激情| 丁香五月六月婷婷综合| tingtingseav| 思思色综合网站| 玖玖综合网| 丁香五月婷婷操逼| 另类图片 五月激情| 站长推荐无码播放| 色婷婷激情五月天| av狠狠操| 狠狠色综合久久久久| 午夜婷婷丁香| 99久在线观看| 日韩在线观看亚洲| 婷婷情爱五月天6| 97人妻超级碰碰碰碰碰| 五月丁香888| 日日操日日射| 欧美成人AAA片一区国产精品| 久热re在线视频| 午夜爱爱爱成人| 色婷婷六月| 丁香五月婷婷亚洲另类| www天天色天天射| 开心五月婷婷激情| 天天做综合| 国产9色在线/日韩| 婷婷在线综合| 91婷婷丁香五月| 精品国产a| 日日操,日日爽| 婷婷久久精品| 久草五月天| 淫荡综合网| 99色视频| 中文无码精品一区二区三区| 国产无遮挡又黄又爽免费网站| 在线观看熟女少妇| 丁香六月婷婷久久综合| 五月天色婷婷av| 天天日天天插| 五月丁香六月日逼| 怡红院AV亚洲一区二区三区H| 久久久久亚洲A∨成人乱码电影| 六月丁香激情网| 97碰| 色色射| 99久久99九九99九九九| 五月丁香人妻| www.av视频xx999.com| 天天综合久久| 五月天婷婷操逼视频| 久久婷婷五月天| 91操屁股| 欧美久久婷婷| 五月天丁香六月综合| 四色五月婷婷| 婷色成人| 久婷婷视平| 婷婷五月噜噜| 成人 在线 日韩| 久9热视频在线观看| 99欧州偷拍视频| 欧美色图天堂网色| 成年人丁香五月| 青青草a在线| 婷婷五月天成人网| 五月丁香六月婷精品视频| 中文毛片无遮挡高潮免费| 五月天六月天| 亚洲影院婷婷色| 99这里只有精品|v| 91欧美日韩综合| 久久a热| 九月丁香婷婷综合激情| 色综合久久久无码中文字幕999| 五月婷婷深爱六月| 大香蕉伊在| 五月丁香免费视频| 色情成人五月天| 久播影院免费观看电视剧大全最新网| 国产午夜精品一区二区| 婷婷丁香六月| 欧美天天干天天草| 六月婷婷综合久久| 香蕉AV福利精品导航| 国产精品久久久60086| YW无码| 99.N在线视频| oumeisesewang| 婷婷婷久久| 五月天色婷婷伊人网| 精品导航在线x不卡| 久久久久人妻| 噜综合| 免费无码毛片一区二区A片| 婷婷五月天综合色| 日本熟妇精品99| 久久精品99国产精品日本| 99在线精品免费视频| 色婷婷色综合激情91| 91狠狠综合久久久久久| 五月激情婷婷女| 六月色播| 超碰只有精品在线| 色9999日韩国产| 中文字幕日韩无码制服诱或| 六月丁香六月婷婷欧美| 亚洲无AV在线中文字幕| 久久婷婷五月综合色奶水99啪| 伊人五月天综合网| 9999综合99综合人| 五月综合视频| 国产精品久久久海的味道| 色五月大香蕉| 六月丁香开心婷婷欧美| 亚洲人妻av| 99国产性感视频| 欧美六月| 无码 色| 婷婷丁香五月亚洲欧美| 九九超日本| 99视频这里有精品| 十一月婷婷激情四射| WWW五月天| 日本WWW九九九| 午夜69成人做爰视频| 丁香五月天电影| 亚洲激情免费久久| 影视av久久久噜噜噜噜噜三级| 精国产品一区二区三区A片| 99免费热视频在线| 九九视频热| 九九热10| 超碰在线观看成人视| 图片区 小说区 区 亚洲五月| 天天做天天爱天天爽综合网| 免费观看的AV| 伊人丁香六月婷婷| 天天综合久久| 日本97人人| 99这里有精品视频| 在线观看中文字幕亚洲| 丁香五月香蕉| 99re在线这里只有精品视频首页| 99热大全在线观看| 九九久久五月天综合伊人| 99ri6在线视频| 俺去也婷婷| 激情综合婷婷| 激情av在线| 五月婷婷伊人在线| 丁香五月天无码| 欧美色图天堂网| 色色色色色五月| 激情图片亚洲| 蜜桃成语时李时珍 免费| 噜噜噜狠狠色综| 激情小说婷婷五月| 99爱免费视频| 婷婷开心青青草| 丁香婷婷六月天| 人人操91色| 不卡的AV网站| 国产黄大片在线观看画质优化| 五月开心激情| 色婷婷久久综合| 日本婷色| 久久久免费精彩视频| 五月天激情av| 91dy.av| www.国产亚洲69ty.久久久久久久久久久久| 欧美三级黄色片久久| 墨西哥毛片内射精| 99国产97在线,| 久久99热网| 99色亚洲| 婷婷欧美| 操一区| 九九操操| 婷婷社区五月天| 色综合九九| 超碰在线中文字幕| 97AV在线视频| 99亚洲精品视频| 五月天激情综合网| 激情五月天小说网| 精品99在线观看| 九九热在线精品视频| 日韩1区2区| 天天做夜夜爽| 超碰在线中文字幕| 九九久久五月天| 欧美成人va| 开心激情婷婷| 99热这里| 五月天色丁香| 国精产品一区一区三区免费视频| 日曰躁夜夜躁2026| 日韩久久欧亚| 欧洲综合视频| 97色色色视屏| www.热99热| 激情五月天www| 亚洲欧美另类在线23p| 丁香五月亚综合图片| 久久精品视频在这里有| 久久与婷婷| 色婷| 99热免费| 中文字幕人妻一区二区| 日本色色网站| 五月天激情黄色小说在线观看| 久久草人妻| 久久视这里只有精品| 五月丁香拍拍激情综合| 久久A V无码视频| 亚洲激情五月天| 99热这里| 乱岳熟女50岁| 91VIP在线观看| 干一干xxxx| 久久久婷婷婷| 天天色伊人| 四五月婷婷| 成人五月天视频播放| 日本色婷婷| 五月婷网| 射婷婷中文字幕| 欧美人人草草| 大香蕉婷婷色| 五月天激情网页| 亚洲精品大片| 可以看的av| 欧美性生交xXxX久久久| 婷婷第一页| 97人妻碰碰中文无码久热丝袜| 永久的网站AAAA| 提提热五月天婷婷| 五月丁香综合| 蜜桃人妻无码AV天堂三区| 国产精品电| 日韩在线99| 婷婷天天舔| 精品久久久人妻| 大香蕉人妻| 国产肥白大熟妇BBBB视频| 日韩三级视频一区二区| 噜噜狠狠| 天天天干夜夜夜操| 五月丁香婷婷色| 久久久久久久11111111111| 色婷婷情片| 色欲Av五月天| 女高怪谈在线观看| 开心激情婷婷| 成人在线综合| 婷婷丁香激情五月天色色| 91丁香五月| 欧洲色区| 婷婷情色五月天| 丁香五月天无码| 丁香五月伊人| 97热91| 色欲天天综合| 国产26uuu| 午夜婷婷| 亚洲综合草草| 九九热精品视频九九| www.五月天色色.com| 欧美三9久九观看| 91黄址| 五月婷婷AV| 亚洲高清在线| 色色色综合色| 五月天婷婷综合免费| 强辱丰满人妻HD中文字幕| 欧美在线视频免费播放| 激情六月一二| 欧美日本免费一道免费视频 | www.国产色| 成人免费120分钟啪啪| 99热在线资源| 色婷婷久久综合久色综| 国产操B| 久久66er久久| 人妻综合网| 丁香婷婷综合影院| 美女主播野战视步页| 91九九| av人人操| 精品国产va久久久久久久| 久久丝袜婷婷| 色婷婷啪啪| Va另类视频| 婷婷色播婷婷| 国产99热| 97碰在线视频| 91精品人妻少妇无码影院| 九一99| AA片在线观看视频在线播放 | 亚洲AV无码电影| 99综合婷婷五月| 天天色天天爱天天舔| 天堂中文国产| 久久超视频| 九九热最新地址| 97碰碰久久| 色综合色欲综合天天免费| 丁香婷婷影院| 婷婷中文字幕| 五月天色社区| 综合亚洲六月婷婷在线| 色五月婷婷91| 激情文学第四色婷婷丁香五月| 色婷婷五月视频| 亚洲岛国电影| 丁香六月婷婷综合在线| 亚洲精品又粗又大又爽A片| 五月婷婷中文字幕| 久色| 五月久久婷婷| 激情五月天婷婷| 色五月天堂| 色欲天天综合| 99热超碰在线| 色五月激情网| 91精品综合久久久久久五月丁香| 色婷婷五月在线| 久热伊人| 伊人婷婷五月天| 亚洲VA欧美VA| 婷婷丁香社区| 另类综合国产| 色婷婷色和| 五月天成人小说| 亚洲AV另类| www.99热精品| 色婷婷六月天| 九九成人视频| 激情综合网激情五月网| 国产av第一专区| 五月婷婷六月综合| 色情婷婷。| 久久久久久综合88| 欧洲亚洲免费视频区| 国产成人精品一区二区三区视频| 婷婷五月俺要去| se色婷婷视频| 另类激情中文| 色综合色综合网| 天天肏夜夜肏| 激情婷婷人妻| 在线日韩av| 国产在这里只有精品| 久久九九中文字幕| 黄网在线播放| 婷婷综合激情五月综合| 91丨人妻丨国产丨丝袜| 99在线热| 色婷婷综合网| 久久色大香蕉| 夜夜夜夜夜骑撸| 超碰在线中文字幕| 丁香六月综合激情| 婷婷五月深爱五月| 玖玖午夜视频| 99热久久这里只有精品| 中文字幕性爱丰满| 91人人澡人人爽人人看| 成人看片网站| 成人开心五月天| 丁香五月最新网址| 久久99久久99久久99人受| 欧美va亚洲va在线播放| 狠狠狠狠狠狠色| 丁香啪啪| 夜夜综合色| 日日噜噜夜夜狠狠久久丁香六月| 八戒青柠影视剧在线观看| 丁香六月激情综合啪啪| 久热中文字幕| 欧美综合激情| 91丨九色丨熟女丰满| 五月丁香六月婷婷啪啪综合| 一区操| 久久丁香五月天| 五月天婷婷爱丁香中文字幕| 91色吧网| 欧美搡BBBBB摔BBBBB| 色婷婷亚洲精品天天综| 亚洲激情淫网| 99久久精品国产色欲| 久久五月视频| 类似婷婷激情综合网站| 涩涩五| 婷婷丁香宗合888| 艳妇野外情欲放荡HD| 色九月婷婷丁香| 亚洲综合色丁香婷婷六月| 大香蕉久久婷婷| 激情五月天婷婷| 婷婷亚洲欧美丁香五月| 国产婷婷综合| 婷婷的99视频网站| 2022久久婷婷| 99噜噜噜在线播放| 91操熟女| 五月天综合在线观看| 亚洲精品乱码久久久久久按摩观| 久草嫩草在线观看| 99热这里有精品| 中文字幕,综合,91| 久热最新视频 | 综合aV在线| 日韩欧美一级大黄网站| 99热网站| 天天日天天做天天操| 婷婷九色| 久99在线| 国产一区二区三区影院| 一起草性爱不卡视频| 久久这里只有精品热在99| 丁香综合伊人AV| 色综合九九| 极品少妇婷婷五月| 五月婷婷玖玖综合玖玖爱| 99综合| 玖玖婷婷综合| 97色色色色色| 丁香五月停停av| 激情的五月婷婷蜜桃| 粉嫩av懂色av蜜臀av熟妇| 狠爱婷色| 国产色色色色色| 中文字幕网伦射乱中文| 色99色| 午夜大香蕉| 欧美日韩123| 日婷婷| 色五月影视| 亚洲行行色色| 天天碰天天插天天操| 99热九九这里只有精品10| 色播五月综合网| 亚洲人成网站999久久久综合| 香蕉网婷婷| 亚洲中文字幕在线观看| 欧美大肥婆大肥BBBBB| 丁香五月Av| 超碰人人色| 日本系列_4页_777FP| 久久99网| 久久a热| 亚洲99热| 色五月综合在线| 天天日本夜夜谢| www.99热这里只有精品| 99热这里只有精品66| 激情五月色在线播放| 婷婷五月深爱五月| 五月婷婷在线综合| 久久久性爱视频| 亚洲操b| 婷婷六月啪啪 | aaa久久| 久久婷婷五月综合色奶水99啪| 偷偷操99| 天天肏在线观看| 久久五月网| 九九十99视频| 九九热99视频| 激情综合啪啪啪| 婷婷五月丁香综合激情小说| 五月丁六月香av| 日日射天天射| 激情五月婷婷丁香综合网| 在线1青婷| 五月婷婷亚洲色视频| 六月综合婷婷开心伊人| 久久久久网站| 日韩成人综合网| 涩五月婷婷| www.色婷婷| 影音先锋91在线资源站| 91re色综合视频| 另类图片五月激情| 久久五月天色婷婷| 五月丁香婷婷在线| 99热这里只有精品98| 五月丁香六月婷婷免费视频| 人草人人| 婷婷午夜精品久久久| 婷婷深爱五月天| 五月婷婷六月天| 99热 精品在线| 日本丰满久久| 久久大香蕉视频| 99无码视频| 青青操绿aaa一区日v| 天天天天天天天操| 色丁香五月婷婷| av狠狠操| 久久九九激情五月天 | 97碰碰人人| 色天天久婷婷| 天天插综合| 97久久久| 欧美性生交XXXXX无码小说| 人人操人人看97干| 亚洲精品乱码久久久久久按摩观| 天天日天天操天天干| 色综合久久五月天| 五月丁香色情| 9色小视频在线观看| 色综合偷拍| 丁香五月激情天AV无码| 国产精品香蕉| 六月丁香激情网| 六月五月天婷婷涩播在线| 久婷婷五月天影院| 五月婷婷激情刺激| 天天干天天干天天干天天干天| 琪琪色五月天| 成人精品视频99在线观看免费| 久久久久九九九九视屏小说88| 日韩久久色| 五月丁香九九九综合| 天天日夜夜爽| 日本熟妇乱妇熟色A片蜜桃| 97超碰9久热婷婷热| 妇激情基地| 色婷婷丁香五月天| 久久久噜噜噜久久人妻| 超碰A V在线| 久久丁香婷婷五月天| 婷婷六月久久综合导航| 久热免费视频| 玖玖热99| 婷婷五月丁香高清无码| 久久婷婷综合基地| 人五月天婷婷喷水| 就要爱综合| 99精品在这里| 人人艹艹艹| 婷婷五月天丁香社区| www.狠狠操.com| 久操福利| 青青草99re| 第二色AⅤ| 色婷婷97| 夫妻超碰在线| 婷婷六月中文字幕| 99精品在这里| 九九热在线99| 亚洲bt丁香五月天婷婷激情小说| 天天插天天日| 激情综合99| 丁香五月天的网址。| 囯产精品久久欠久久久久久九大| 五月丁香六月婷婷综合| 99re思思热这里| 色综合激情| 婷婷五月色惰| 无月播播激情在线观看视频| 亚洲激情网| 丁香五月婷婷色情综合| 欧美婷婷综合| 天堂呦 呦百度搜索-百度搜索| 91婷婷丁香五月天免费视频网站| 五月综合激情| 91av色色乱视频| 五月天性色| 婷婷五月天激情网| 久热人妻| 思思99久久| 丁香六月婷婷开心婷婷网| 国产乱妇乱子伦| 丁香五月婷婷色五月| 五月天激情图片| www.久久综合| 欧美丁香五月夫妻天| 人人操9| 很操日本7| 色五月综合| 久久99精品九九久久久婷婷| 久久婷婷丁香| 亚洲 欧洲 国产 伦综合| 婷婷丁香五月天中文字幕| 日日躁夜夜躁狠狠久久AV| 99色在线观看免费| 色色亚洲五月天| 九九五月天| 日本啪啪网| 97色图片中文字幕视频在线观看 | 新97人人上人人| 久久99看免费| 丁香五月激情啪啪| 亚洲热久| 丁香六月婷| 久久婷婷亚洲无码一起| www.婷婷五月| 狠狠色丁香婷婷| 婷婷色色欧美| www.九九婷婷| 韩国激情五月天综合网| 97热在线精品| 五月丁香好婷婷A片网| 久久99精品日本| 99热丁香| 色婷婷中文在线| 综激情网| 亚洲成人网站在线观看| 成人看片网站| 五月丁香六月激情综合网| 色六月婷婷| 91婷婷在线| 直接看的AV| 婷婷五月天天天日日夜夜| 啊V视频在线观看| 大香蕉婷婷色| 色五月av| 五月人妻婷婷| 中文字幕乱码亚洲精品一区| 亚洲丁香五月美女| 国产日产亚系列精品版优势| 色综合久久88色综合中文字幕| 激情人妻蜜夜系列区| 婷婷丁香综合成人| CAOBIBI| 98色花堂98t.R| 99啪| 久久精品99| 色天天久婷婷| 丁香五月天AV在线 | 久久只有精品| 大香伊人久色| www.狠狠艹| 婷婷狠狠18禁久久| 久久久精品人妻| 五月天色官网| 九月色婷婷婷| 日本人人xxx| 丁香五月影视| 激情伊人五月天| 五月天激情小说电影| 丁香六月丁香婷婷激情| 色五月人妻| 婷婷综合色| 久碰视频| 26uuu亚洲精品国产| 人人操人人妻| 婷婷五月天亚洲精品| 婷婷综合干| 婷婷激情人妻| 激情深爱五月天| 天堂草在线观| 亚欧州精品视频| 五月天婷婷綜合院| 五月天激情网页| 婷婷六月色丁香视频在线观看| 丁香五月综合高清在线| 久热中文字幕| 综合色影| 99re视频在线| 人妻六月天| 婷婷日本在线| 久久44| 4438亚洲欧美| 激情内射人妻1区2区3区| 婷婷丁香在线| 色色a| 婷婷啪啪| 噜噜噜狠狠色综| 成人 在线 日韩| 天天色丁香| 国产精品成人AV在线| 激情五月天色播| 26uuu国产| 色综合久久88色综合天天| 99久久免费精品| 99热99热| 天天日日综合| 天天狠狠干| www.99情趣网| 色五月天电影| 婷婷五月天激情小说| 国产精品久久久海的味道| 性爱视频99| 婷婷五月色惰| 9热精品| 婷婷的99视频网站| 操人无码| 久久久五月天| 五月婷婷在线免费观看| 婷婷久久五月天| 玖玖婷婷五月天| 久久久激情| 欧美顶级少妇做爰HD| 人与禽A片啪啪| 丁香五月综合网| 国产高清视频91九九九久久久| 亚洲色区17| www.99日本| 国产成人AV在线| 天天爱天天做天天日| 精品国产人人爱人人| 丁香五月大片| 狠狠干伊人| 色五月婷婷影院| 日本久久人人| 亚洲九九视频| 99视频| 99惹 精品在线| www. 五月. com| 123草逼网| 国内一级精品| 日本va欧美va欧美va精品| 亚洲激情无码久久| 六月伊人婷婷| 欧美VA在线观看| 日日撸夜夜操| 五月丁香啪啪网| 丁香六月啪啪| http:色情日本com| 丁香av网| 99手机在线精品视频| 丁香五月电影| 69婷婷丁香午夜| 国产无套精品一区二区| 成人短视频在线免费观看| 欧美性爱五月天| www.婷婷| www.91AV.com| 色婷天天| 伊人大香五月天| 五月WWW| 99re在线视频| 99啪啪| 婷婷综合天堂| 99日本黄站| 婷婷五月天激情综合| 丁香六月久| 亚洲综合五月天婷婷丁香| 另类视频五月天| 成人国产网| 久久久ww| 337p午夜影院| www.狠狠操| 久久婷婷亚洲| 日韩人人操| 婷婷五月丁香综合| 日日做天天操夜夜爽| 五月婷婷激情网| 天天做天天爽| 五他月天啪啪啪| 五月婷婷色播视频| www99热| 俺去也五月| 亚洲操女| 成片免费播放| 五月综合精品| 六月丁香婷| httpwww色com日本| 久久婷婷热| 久久久久人妻中文| 亚洲午夜av| 五月美女婷婷风骚| 91chinese在线| 婷婷五月天综合中文| 亚洲精品亚洲人成人网| 免费无码毛片一区二区A片| 丁香五月激情欧美| 久久五月天合网| 婷婷干五月综合在线播放| 99视频自拍| 久操人| 丁香五月婷婷呀| 激情五月综合网| 国产乱子轮XXX农村| 日本色色网站| 热99久久这里只有精品| 九九这里是免费的视频5| AV大片在线播放| 九九色色网| 天天色综合网1| 婷婷六月色| 天天搞天天色综合| 日在线V视频在线播放| 色三级色三级| 大香蕉丁香五月| 噜综合| 婷婷五月丁香超碰| 亚洲亚洲人成综合网络| 天天久综合网永久入口17v| 久色国产| 五月色网| 丁香五月人妻| 一本久久亚洲五月婷婷| 91丨九色丨熟女|新版| 五月天久久小说| 玖玖色资源站| 国产综合色婷婷精品久久| 婷婷综合性爱网| 97色婷| 久久婷婷久久| 665566 无码| 九九视频这里是精品五月| 超碰在线免费| xxxx五月天色色| 91大屁股| 婷婷五月天色| 丁香五月婷婷啪| 九九激情| 狠狠色综合图片| 亚洲久久婷婷丁香五月天| 99九九视频| 91网站黄| 五月综合无码| 五月丁香色停停啪啪啪| 丁香花五月天| 色狠狠色| 色婷网| 婷婷午夜综合| www.ywav| 婷婷五月综合欧美在线播放| www.久久| 4399亚洲视频| 激情五月久久| 久久香视频| 中文国产五月天| 三十熟女| 狠狠色狠狠| 人妻少妇色综合| 五月天婷婷无码| 婷婷五月天成人动漫 | 色五月天网| 日日夜夜天天| 538午夜激情| 成人五月天视频| 亚洲国产网站| 男人的天堂五月丁香| 狠狠干五月| 丁香婷婷人妻综合网| www.久久99| 99噜噜噜在线播放| 色婷婷狠狠| 99久久婷婷国产综合| 99久在线观看| 超级黄色片| 一级二级色大片| 色婷婷色综合激情91| 四色99久久| 亚洲综合欧美色丁香婷婷888月图片| 婷婷深爱五月丁香网| 欧美日韩成人h| 丁香五月天啪啪激情综和网| 亚洲三级无码| 国产探花AV在线| A片试看120分钟做受图片| 四虎婷婷五月天| 中字幕视频在线永久在线观看免费 | 99九九玖玖| AV成人在线播放| 五月天狠狠色| www,色婷婷| 超碰99在线观看| 九九热在线99| 丁香六月激| 99热综合| 五月婷婷内射网| 中文字幕网伦射乱中文| 熟女五月天久久综合| 欧美性生交XXXXX无码小说| 亚州日本欧州韩美高青高潮一| 久久性爱网| 婷婷激情五月色综合| 五月色亭丁香| 五月丁香六月激情欧美综合| 97超碰欧美中文字幕| 99视频35精品视频在线观看| 99在线精品视频| 99re热在线视频| 欧美天天草人人草| 97色色视频| 开心五月综合| a免费在线| 五月丁香色婷婷综合| 99精品丰满| 成年人最刺激的综合网| 一逼色综合| 中文激情网| se99在线| OYIWbGcPu8H| 综合网激情| 久久激情五月天| 狠狠插狠狠插| 先锋资源996| 182tv992tv人之初午夜免费观看| 99热免| 极品色丁香| 婷婷五月天电影网| 亚洲开心激情网| 丁香五月婷婷总啪啪| 五月婷婷五月| 色婷婷丁香| 色五月大香蕉| 丁香五月天综合网| 狠狠99| 丁香五月婷婷基地| 五月丁香婷中文字幕| 婷婷五月乱交换| 99精品在这里| 变态另类9| 思思热在线观看| 丁香 婷婷 亚洲 熟女| 综合99久久天天综合| 另类小说五月天| 五月久久丁香| 九九热大香蕉| 丰满老熟妇BBBBB搡BBB| 久久九九在线视频| 狠狠99| 日本一级一级一级一级| 日本激情综合| 丁香久月婷| 激情开心五月天| 婷婷五月天综合小说网| 丁香五月色五月| 日日夜夜狠狠| 婷婷五月天六月丁香| 五月天婷婷综合久久| 激情五月婷婷视频| 99久久久久久www| 青青草a在线| 丁香激情五月天| 婷婷六月色| 久8色色| 日本综合色图| 超碰cap| 99精品自拍视频| 六月婷婷成人| 伊人久久大香线蕉AV最新午夜| 一起草AV| 99成人小视频| 激情五月,激情综合网| 狠狠色综合网| 五月天综合视频网| 色色日韩| 丁香五月婷婷国产在线| 99视频内射三四| 巴基斯坦粉嫩无码视频| WWW久久久| 欧美日韩成人综合9| 色色色色色色色色综合网| 99青青草| 激情五月天婷婷图| 亚洲无码影音| 三级三久久线久久99久目本WW| www.sezonghe| 二色AV| 91久女| 婷香五月激情视频| 六月丁香激情网| 再綫Av免费視品| 狠狠干综合网| 播丁香五月婷婷欧美| 婷婷久久网| 天天天操天天天日| 狠狠色五月激情| 天天色99| 久久综合婷婷激情| 婷婷情爱五月天6| 婷婷五月天无码熟女| 国产老熟妇亲子乱对白| 丁香五月之久操视频| 免费黄色视频网址| 亚洲精品午夜国产va久久成人| www.五月天激情| 永久热91| 中文字幕在线免费观看视频| 色五月婷婷小说亚洲中文字幕组| 小视频在线亚洲| 色九月欧美| 一本大道嫩草AV无码专区| 婷婷五月天堂| 99免费热视频| 五月婷婷综合激情| 超碰97人人操| 激情婷婷九月| 天天干天天av天天射| 操操人人| av操一操| 噜噜噜色噜噜| 丁香五月婷婷无码AV| 1024婷婷综合久久五月天| 色综合色综合色综合| 人妻熟人中文字幕一区二区| 午夜婷婷久久 | 欧美成人五月天| 激情婷婷综合| 秋霞三级色戒| 国产成人在线精品| 九九综合五月欧美| 国产欧美熟妇另类久久久| 亚洲色网络| 五月天婷婷网站888| 天天日,天天插| 天天做天天爱天天玩夜夜爽| 欧美日韓成人亚洲精品另类| 天天射美女| 亚洲乱码w在线观看| 男人天堂AV在线一区二区| 99超碰欧美| 日日做A爰片久久毛片A片英语 | 中文AV网| 91色五月| 色久综合| 国产婷婷五月色情综合| 色大综合| 狠狠操天天操综合| 久久99热这里只有| 丁香九月婷婷综合| 久久婷婷丁香五月宗合| 中文字幕人妻AV| 婷婷丁香成人色综合| 六月丁香网| 天天爽天天干| 97色婷婷| 九九99免费视频| 久久久久久久久久8888| WWW.婷婷五月天.COM| 99这里都是精品| 婷婷玖玖五月天| 激情五月激情综合网| 99亚州综合精品成人网| 天天干天天爽天天操| 婷婷六月伊人| 激情宗合网激情五月天| 成人片久久网站|