欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

STM32MP257異構(gòu)多核實(shí)戰(zhàn):M33+FreeRTOS與OpenAmp通信避坑指南

STM32MP257異構(gòu)多核實(shí)戰(zhàn):M33+FreeRTOS與OpenAmp通信避坑指南 前陣子負(fù)責(zé)一個(gè)需要同時(shí)兼顧 Linux 生態(tài)和實(shí)時(shí)控制的項(xiàng)目最終把選型落在 STM32MP257 上。這顆芯片最大的看點(diǎn)是 Cortex-A35 旁邊那個(gè) Cortex-M33 核用 FreeRTOS 在里面跑實(shí)時(shí)邏輯再通過 OpenAmp 和 Linux 側(cè)做無感通信。很多人一聽到 MPU 就以為又是嵌入式 Linux 那一套實(shí)際上 M33 FreeRTOS 才是真正決定項(xiàng)目成敗的部分。這篇文章從 SDK 目錄結(jié)構(gòu)、啟動(dòng)順序、DTS 內(nèi)存預(yù)留一直聊到 RPMsg 收發(fā)、緩存一致性、量產(chǎn)心跳監(jiān)控的完整過程。準(zhǔn)備在 STM32MP25x 上做異構(gòu)開發(fā)的朋友可以直接當(dāng)避坑手冊用。1. 從MP1到MP2為什么這次我選了STM32MP257的M33核1.1 STM32MP257不是又一個(gè)跑Linux的開發(fā)板STM32MP257 屬于 STM32MP25x 系列內(nèi)部是多核異構(gòu)架構(gòu)。主處理器是 Cortex-A35可以跑完整的 Linux協(xié)處理器是 Cortex-M33適合跑裸機(jī)或者 FreeRTOS。很多人看到 MPU 的第一反應(yīng)是“主頻多少、內(nèi)存多大、能不能跑容器”但這些指標(biāo)只衡量了 A35 那半邊。真正讓 MP257 和普通 Linux 板卡拉開差距的是那顆 M33 核。傳統(tǒng)做法里如果一個(gè)系統(tǒng)既需要 Linux 的業(yè)務(wù)吞吐又需要對電機(jī)、IO、協(xié)議棧做“微秒級響應(yīng)”往往會(huì)外掛一顆 MCU比如 STM32F4 或者 GD32。主 SoC 和 MCU 之間用 UART、SPI、CAN 通信。通信協(xié)議自己要定義可靠性自己要保證板級面積和功耗也多了一份。MP257 把 M33 做進(jìn)同一顆 SoC兩個(gè)核之間的通信通過共享內(nèi)存和硬件郵箱完成延遲比外掛串口低一兩個(gè)數(shù)量級。從項(xiàng)目角度講這意味著可以省掉一顆外部 MCU減少整個(gè) BOM 的物料種類和貼片面積。另一方面M33 與 A35 共享同一片 DDR通過 RPMsg 傳數(shù)據(jù)天然比“外部 MCU 串口 協(xié)議解析”更穩(wěn)。當(dāng)然省掉外部 MCU 不意味著省事因?yàn)榭绾苏{(diào)試、內(nèi)存隔離、固件加載這些問題全部從硬件層級轉(zhuǎn)移到了軟件工程里。1.2 M33核在整個(gè)系統(tǒng)里的角色實(shí)時(shí)性與安全島M33 在 MP257 里承擔(dān)什么角色直接決定了 FreeRTOS 工程怎么寫。如果只是想讓 A35 跑 LinuxM33 跑一個(gè)流水燈那這顆核就浪費(fèi)了。我這次項(xiàng)目里M33 要做三類事第一類是硬實(shí)時(shí)控制。比如電流環(huán)的 PWM 更新周期是 20kHzLinux 的調(diào)度根本保證不了這種確定性。M33 本身就是單片機(jī)內(nèi)核配合定時(shí)器中斷能穩(wěn)定完成。第二類是高速 IO 響應(yīng)。MP257 有不少 GPIO 和低速外設(shè)掛在 M33 側(cè)比如部分 UART、I2C、SPI、定時(shí)器。把這些外設(shè)放在 M33 上A35 側(cè) Linux 發(fā)生調(diào)度抖動(dòng)或者網(wǎng)絡(luò)風(fēng)暴時(shí)M33 依然能按自己的節(jié)奏處理。第三類是安全兜底。Cortex-M33 支持 TrustZone可以把一部分敏感邏輯放在安全世界里。即使 Linux 側(cè)被攻破M33 里的安全固件仍然可以獨(dú)立運(yùn)行。不能說這是百分之百的安全方案但相比“所有邏輯都跑在同一個(gè)非安全環(huán)境下”攻擊面小了很多。換句話說M33 不是一個(gè)“附贈(zèng)品”而是一塊獨(dú)立的實(shí)時(shí)島。FreeRTOS 在這個(gè)島上跑OpenAmp 是島和大陸之間的橋。橋怎么搭比島上怎么蓋樓更重要。1.3 和MP157對比M33核的資源邊界用過 STM32MP157 的人應(yīng)該知道MP157 的協(xié)處理器是 Cortex-M4主核是 A7。到了 MP257主核升級為 A35協(xié)處理器升級為 M33。M33 相比 M4多了 TrustZone、MPU以及更完整的中斷控制器支持。單看頻率M33 在 MP257 上通常能跑幾百 MHz算力比老 M4 有提升但和 A35 不是一個(gè)量級。M33 可訪問的資源不是無窮的。它有自己的 TCM、SRAM也能通過總線訪問 DDR。但 A35 上的 Linux 訪問同一片 DDR 時(shí)會(huì)涉及緩存一致性問題。簡單說M33 寫的內(nèi)存數(shù)據(jù)如果只是停在 CPU 的 cache 里A35 讀到的可能是舊值反過來也一樣。所以我們在設(shè)計(jì)共享內(nèi)存時(shí)必須明確這塊內(nèi)存是否允許 cache或者由軟件主動(dòng)做 clean/invalidate。還有一個(gè)容易被忽略的地方M33 側(cè)能用的中斷不是所有 GIC SPI 都可以隨便綁。很多中斷源在硬件層面就固定了只能到 A35 或者只能到 M33。開始畫系統(tǒng)框圖前一定要對著參考手冊把每一條中斷線捋清楚否則后面寫代碼時(shí)才發(fā)現(xiàn)某個(gè)外設(shè)的中斷根本到不了 M33只能換方案。2. 動(dòng)手前必須理清的啟動(dòng)鏈與資源分配2.1 復(fù)位后的內(nèi)核啟動(dòng)順序A35先跑還是M33先跑很多第一次做 AMP 的人都會(huì)問上電后 M33 要不要自己啟動(dòng)FreeRTOS 是不是和 A35 的 Linux 一起跑答案要分階段看。MP257 默認(rèn)上電流程里ROM 引導(dǎo)鏈先啟動(dòng) A35 這一路上的 bootloader也就是 FSBL、TF-A、U-Boot最后進(jìn)入 Linux。M33 固件并不會(huì)自動(dòng)跑起來它需要由 A35 側(cè)的軟件通過 remoteproc 機(jī)制加載并啟動(dòng)。這個(gè)設(shè)計(jì)其實(shí)是刻意的M33 跑什么、什么時(shí)候跑、啟動(dòng)后加載到什么地址應(yīng)該由整個(gè)系統(tǒng)的管理者這里通常是 Linux統(tǒng)一決策便于控制資源。所以項(xiàng)目調(diào)試初期最方便的做法是讓 Linux 起來之后用 remoteproc 接口把 M33 的 elf 文件加載到指定內(nèi)存然后觸發(fā)啟動(dòng)。命令大概是echo start /sys/class/remoteproc/remoteproc0/state如果希望系統(tǒng)上電后 M33 自動(dòng)運(yùn)行可以在 U-Boot 階段通過rproc start啟動(dòng) M33。兩套方案我建議初期先全部用手動(dòng)方式確認(rèn)固件和共享內(nèi)存配置無誤后再優(yōu)化成自動(dòng)啟動(dòng)。原因很簡單手動(dòng)啟動(dòng)時(shí) M33 出了問題你可以直接在 Linux 側(cè)重啟它不用反復(fù)燒錄整個(gè)系統(tǒng)。2.2 給M33分配內(nèi)存DTS reserved-memoryM33 固件要放在內(nèi)存里跑它和 Linux 的通信緩沖區(qū)也要放在內(nèi)存里。這里的難點(diǎn)在于Linux 自己也要用內(nèi)存如果 M33 使用的區(qū)域被 Linux 分配給別的進(jìn)程兩邊數(shù)據(jù)就會(huì)互相踩。所以第一步是在 Linux 的設(shè)備樹里把這些內(nèi)存區(qū)域聲明為 reserved。設(shè)備樹里常見寫法reserved-memory { #address-cells 2; #size-cells 2; ranges; m33_fw0x10000000 { reg 0x0 0x10000000 0x0 0x1000000; no-map; }; m33_rsc: m33-share0x10010000 { compatible shared-dma-pool; reg 0x0 0x10010000 0x0 0x100000; no-map; }; };這里no-map很關(guān)鍵。它告訴 Linux這塊區(qū)域不要建立頁表映射也不要給普通進(jìn)程用。M33 的固件代碼、資源表、共享內(nèi)存都放在這類區(qū)域里。如果沒有no-mapLinux 的頁表可能把這部分內(nèi)存映射為可緩存后面出現(xiàn)各種匪夷所思的奇怪錯(cuò)誤。DTS 里還要將遠(yuǎn)程處理器節(jié)點(diǎn)指向這塊共享內(nèi)存。以官方 SDK 的常見方式為例rproc 節(jié)點(diǎn)會(huì)引用 reserved-memory 中的地址Linux remoteproc 驅(qū)動(dòng)才知道加載固件到哪里以及從哪個(gè)地址讀取 M33 的資源表。這里所有地址必須是物理地址而且要和 M33 固件編譯時(shí)的鏈接地址嚴(yán)格一致。2.3 resource table和固件加載M33 固件和普通 MCU 固件有個(gè)很大的不同它需要附帶一個(gè) resource table。這個(gè)表是給 Linux remoteproc 驅(qū)動(dòng)的“配置清單”里面描述了 M33 側(cè)需要的內(nèi)存、vring 地址、備用資源等。Linux 啟動(dòng) M33 前會(huì)解析這個(gè)表把對應(yīng)的資源映射給 M33。在 M33 側(cè)工程里resource table 通常是一個(gè) C 結(jié)構(gòu)體。重點(diǎn)是里面的 vring 地址。vring 是 OpenAmp 用于兩個(gè)核之間傳遞消息的“環(huán)形緩沖區(qū)”它必須位于兩塊都很容易訪問且不會(huì)被動(dòng)過的內(nèi)存區(qū)域。我建議直接把 vring 放在 reserved-memory 里并且地址按 64 字節(jié)或者 4KB 對齊。對齊問題后面會(huì)展開這里先記住不要把這些緩沖區(qū)定義在 M33 自己的 TCM 里因?yàn)?A35 訪問 TCM 的路徑和訪問 DDR 不同鏈路更慢還容易引發(fā) cache 問題。固件加載方式上官方 SDK 提供了一套 Yocto 工程也提供了預(yù)編譯的 Demo 固件。剛開始不需要自己從頭寫鏈接腳本直接基于官方例程改會(huì)更省事。但你必須把鏈接腳本里 RAM 區(qū)域的起始地址和 DTS 里的 reserved-memory 對應(yīng)起來否則固件能加載但運(yùn)行時(shí)立刻 HardFault。3. FreeRTOS在M33上的移植看著像M4實(shí)際上三處不一樣3.1 拿SDK的例程改還是從零移植STM32MP257 的 M33 完全可以直接跑 STM32Cube 系列的 HAL 庫。ST 官方提供的 OpenAMP 例程里M33 側(cè)工程一般用的是 CM33 內(nèi)核文件、HAL 驅(qū)動(dòng)和 FreeRTOS 移植層。如果你熟悉 STM32F4/F7 的 CubeMX 工作流上手這個(gè)平臺(tái)并不難。但我不建議直接把老工程的 FreeRTOS 文件拷過來用。M33 和 M4 的底層差別不小TrustZone 會(huì)讓內(nèi)存和中斷分成安全/非安全兩組MPU 的單元數(shù)、內(nèi)存屬性配置也和 M4 不同部分外設(shè)的訪問權(quán)限要顯式打開。哪怕只是從 F4 拷貝一個(gè)port.c都可能因?yàn)榈讓訁R編指令差異而編譯不過。比較好的路徑是先打開官方 M33 FreeRTOS 例程確認(rèn)能編譯能跑然后在此基礎(chǔ)上加入自己的任務(wù)、隊(duì)列和信號量。不要一開始就想著“我要寫一個(gè)最純凈的工程”在 MP257 上官方例程本身就是最可靠的地基。3.2 TrustZone帶來的隔離問題非安全態(tài)與安全態(tài)Cortex-M33 的 TrustZone 把整個(gè)系統(tǒng)劃分為安全世界和非安全世界。FreeRTOS 可以跑在安全態(tài)也可以跑在非安全態(tài)。ST 官方關(guān)于 M33 的 OpenAMP 例程通常讓 FreeRTOS 跑在非安全態(tài)因?yàn)檫@樣 Linux 側(cè)的 remoteproc 才能正常加載和調(diào)試固件。這帶來一個(gè)實(shí)際影響你在工程啟動(dòng)文件里需要配置 SAUSecurity Attribution Unit把大部分外設(shè)和內(nèi)存區(qū)域標(biāo)記為非安全。否則非安全態(tài)的 FreeRTOS 一訪問外設(shè)寄存器立刻觸發(fā) bus error。我第一次調(diào)的時(shí)候GPIO 初始化明明沒寫錯(cuò)但只要一碰GPIOA-MODER就進(jìn) HardFault查了半天才發(fā)現(xiàn)是 SAU 里完全沒有給外設(shè)開放非安全權(quán)限。如果項(xiàng)目里有安全需求可以把一部分邏輯放到安全側(cè)非安全側(cè)和 Linux 通信安全側(cè)負(fù)責(zé)校驗(yàn)密鑰、管理關(guān)鍵數(shù)據(jù)。不過這會(huì)成倍增加開發(fā)復(fù)雜度。沒有強(qiáng)需求的話建議先用官方例程的默認(rèn)配置跑通再考慮 TrustZone 的安全隔離。3.3 中斷配置與SysTickMPU、NVIC和GIC的邊界M33 在裸機(jī) MCU 上用慣了會(huì)覺得 NVIC 是理所當(dāng)然的中斷控制器。但在 MP257 里系統(tǒng)級中斷有兩個(gè)層次M33 內(nèi)部有 NVIC同時(shí)芯片里還有一個(gè) GIC負(fù)責(zé)把各種外設(shè)中斷統(tǒng)一發(fā)給 A35 或 M33。GIC 發(fā)給 M33 的中斷會(huì)以 SPIShared Peripheral Interrupt的形式進(jìn) NVIC。因此在配置外設(shè)中斷時(shí)你不僅在操作 NVIC還要確保 GIC 側(cè)已經(jīng)使能了這條中斷線。Linux 側(cè)的設(shè)備樹里可能會(huì)把某些外設(shè)中斷指定到 M33。如果兩邊的中斷路由配置不一致M33 就永遠(yuǎn)收不到中斷。FreeRTOS 的 SysTick 在 M33 上仍然用于系統(tǒng)節(jié)拍。默認(rèn)情況下SysTick 是內(nèi)核私有定時(shí)器不需要經(jīng)過 GIC。但要注意如果在低功耗模式下關(guān)閉了內(nèi)核時(shí)鐘SysTick 也會(huì)停擺導(dǎo)致 FreeRTOS 時(shí)間片失效。這個(gè)問題在“M33 側(cè)進(jìn)入 Stop 模式”的低功耗項(xiàng)目中特別明顯后面量產(chǎn)收尾部分再細(xì)說。3.4 堆棧與MPU給FreeRTOS任務(wù)畫好“安全圈”FreeRTOS 移植好之后第一件事不是急著跑 OpenAmp而是先把多個(gè)任務(wù)跑起來確認(rèn)調(diào)度器正常。任務(wù)棧大小設(shè)多少老手都會(huì)有自己的一套經(jīng)驗(yàn)但在 M33 AMP 場景里任務(wù)棧和共享內(nèi)存之間會(huì)互相擠占所以需要更謹(jǐn)慎。建議打開 FreeRTOS 的堆棧溢出檢測功能至少用configCHECK_FOR_STACK_OVERFLOW 2。這個(gè)選項(xiàng)會(huì)在任務(wù)切換時(shí)主動(dòng)檢查棧頂標(biāo)志能盡早發(fā)現(xiàn)棧溢出。我遇到過的情況是任務(wù)本身看起來沒炸但 OpenAmp 一端點(diǎn)在接收大包時(shí)遞歸調(diào)用了回調(diào)棧指針一路往下漲最后把另一個(gè)任務(wù)的棧踩了。MPU 的作用是把任務(wù)的內(nèi)存區(qū)域隔離開。M33 的 MPU 支持多個(gè) region可以把每個(gè)任務(wù)棧設(shè)置成獨(dú)立 region并設(shè)置訪問權(quán)限。這個(gè)做法的代價(jià)是任務(wù)切換時(shí) MPU 配置需要同步更新帶來額外性能開銷。我的建議是前期先用最簡單的方式把所有內(nèi)存權(quán)限都放開專心調(diào)試業(yè)務(wù)量產(chǎn)前再評估是否要用 MPU 做訪問保護(hù)。4. OpenAmp不是庫是套路RPMsg那條通道怎么修通的4.1 OpenAmp在M33側(cè)的角色不是操作系統(tǒng)的對立面OpenAmp 的全稱是 Open Asymmetric Multi-Processing它本身不是操作系統(tǒng)而是一套跨核通信框架。M33 側(cè)OpenAmp 庫像是一層“中間件”跑在 FreeRTOS 之上負(fù)責(zé)管理消息通道Linux 側(cè)內(nèi)核 remoteproc/rpmsg 子系統(tǒng)提供了對等驅(qū)動(dòng)。兩邊用 RPMsgRemote Processor Messaging協(xié)議通信。很多人第一次接觸 RPMsg會(huì)把郵箱和共享內(nèi)存搞混。硬件郵箱是“敲門鈴”它只負(fù)責(zé)通知對方“我有數(shù)據(jù)了”本身不傳大數(shù)據(jù)。真正傳數(shù)據(jù)靠的是共享內(nèi)存里的 vring 和消息緩沖區(qū)。舉個(gè)例子A35 要給 M33 發(fā)一條 1KB 的控制指令實(shí)際流程是A35 把數(shù)據(jù)寫入共享內(nèi)存的某個(gè) buffer 中然后寫 vring 的更新信息最后觸發(fā)一個(gè)硬件中斷給 M33M33 收到中斷后從對應(yīng)的 buffer 取出數(shù)據(jù)。M33 側(cè) OpenAmp 的初始化代碼官方例程里能看到類似這樣的流程解析 resource table拿到共享內(nèi)存地址和 vring 地址。調(diào)用openamp_init初始化遠(yuǎn)程處理器框架。注冊 RPMsg 端點(diǎn)和回調(diào)函數(shù)。等待 Linux 側(cè)啟動(dòng)通信。這里的關(guān)鍵是不要試圖把 OpenAmp 和 FreeRTOS 割裂開。OpenAmp 的任務(wù)、中斷處理、接收回調(diào)都要集成到 FreeRTOS 的調(diào)度體系里。如果直接在中斷回調(diào)里處理大量數(shù)據(jù)M33 的實(shí)時(shí)任務(wù)會(huì)被嚴(yán)重拖延。4.2 共享內(nèi)存與vring郵箱和消息池是兩回事把共享內(nèi)存的布局設(shè)計(jì)好OpenAmp 就成功了一半。我習(xí)慣把共享區(qū)域分成兩層第一層是resource table里面保存了 vring 的描述信息以及各端點(diǎn)需要的共享緩沖。第二層是 vring 本身它由多個(gè)描述符組成每個(gè)描述符指向真正的數(shù)據(jù) buffer。一個(gè)常見問題是vring 的地址沒有在 DTS 和 resource table 之間保持一致。Linux remoteproc 驅(qū)動(dòng)啟動(dòng) M33 時(shí)會(huì)從 resource table 讀 vring 地址再與 DTS 中的配置比對。如果兩邊對不上要么通信掛起要么握手失敗。不要相信“看起來差不多”的地址直接用十六進(jìn)制逐字節(jié)核對。還有一個(gè)容易被忽略的細(xì)節(jié)共享內(nèi)存區(qū)域的 cache 屬性。前文提到過no-map實(shí)際使用中還要明確這段內(nèi)存是配置成 cacheable 還是 non-cacheable。為了最簡單的穩(wěn)定性我通常把 vring 和共享 buffer 標(biāo)記為 non-cacheable。這樣省去了手動(dòng) cache 操作的復(fù)雜度代價(jià)是訪問共享內(nèi)存的速度稍慢。對于 RPMsg 這種小報(bào)文場景性能完全能接受。如果一定要用 cacheable就必須在每次發(fā)送前做 clean接收前做 invalidate否則會(huì)出現(xiàn)“對方明明寫了數(shù)據(jù)我卻讀到舊值”的問題。4.3 從Linux側(cè)發(fā)起通信rproc_boot與rpmsg_client_sampleLinux 側(cè)內(nèi)核的 remoteproc 子系統(tǒng)負(fù)責(zé)管理 M33 生命周期。啟動(dòng) M33echo start /sys/class/remoteproc/remoteproc0/state停止 M33echo stop /sys/class/remoteproc/remoteproc0/state啟動(dòng)成功后Linux 下會(huì)多出一個(gè)/dev/rpmsg0設(shè)備節(jié)點(diǎn)。應(yīng)用程序可以像普通設(shè)備文件一樣打開它、讀寫數(shù)據(jù)。官方內(nèi)核里有一個(gè)rpmsg_client_sample模塊加載后會(huì)自動(dòng)創(chuàng)建一個(gè)端點(diǎn)往 M33 發(fā)一條消息然后等待回應(yīng)。這個(gè) Sample 是驗(yàn)證整條鏈路最好的工具modprobe rpmsg_client_sample如果 M33 側(cè)的 FreeRTOS 例程已經(jīng)跑起來但rpmsg_client_sample沒反應(yīng)多半是 vring 地址不對、共享內(nèi)存 cache 配置不一致或者 M33 側(cè)根本沒有注冊對應(yīng)的服務(wù)端點(diǎn)。4.4 M33側(cè)循環(huán)收發(fā)拷貝策略與中斷回包M33 側(cè)收到 RPMsg 消息后回調(diào)函數(shù)會(huì)被 OpenAmp 庫調(diào)用。這個(gè)回調(diào)是在什么上下文里執(zhí)行的根據(jù)官方例程通常是在 OpenAmp 自己的接收任務(wù)里或者在一個(gè)由信箱中斷觸發(fā)的傘形中斷中。無論哪種都不應(yīng)該在里面做耗時(shí)操作。正確做法是回調(diào)函數(shù)里把數(shù)據(jù)拷貝到自己的任務(wù)緩沖然后通知業(yè)務(wù)任務(wù)去處理。這里有個(gè)取舍拷貝會(huì)帶來額外開銷但換來的是任務(wù)調(diào)度更加解耦。如果控制數(shù)據(jù)只有幾十字節(jié)拷貝幾乎可以忽略如果是大數(shù)據(jù)塊你也可以只拷貝指針但前提是發(fā)送方在收到 ACK 前不能重用這塊緩沖區(qū)。為了降低復(fù)雜度我初期一直是直接拷貝穩(wěn)定優(yōu)先。另外要注意M33 收到消息后如果需要回復(fù) Linux應(yīng)該在發(fā)送完成后調(diào)用一次緩存清理操作確保 Linux 能讀到最新數(shù)據(jù)。RPMsg 的發(fā)送函數(shù)rpm_send內(nèi)部一般會(huì)做必要的 cache 處理但如果你在回調(diào)里直接操作共享內(nèi)存還是要自己把關(guān)。5. 真機(jī)聯(lián)調(diào)階段踩過的坑每一個(gè)都值得記下來5.1 現(xiàn)象M33內(nèi)核崩潰但Linux毫無察覺第一次跑通 OpenAmp 后我給 M33 加了一個(gè)比較復(fù)雜的控制任務(wù)結(jié)果發(fā)現(xiàn) M33 側(cè)代碼進(jìn)入 HardFault但 Linux 側(cè)毫不知情。A35 的 remoteproc 驅(qū)動(dòng)不會(huì)主動(dòng)監(jiān)測 M33 是否還活著它只負(fù)責(zé)啟動(dòng)和停止。M33 死了Linux 上的/dev/rpmsg0依然存在但收不到任何響應(yīng)。排查時(shí)我一開始以為是 FreeRTOS 里的任務(wù)棧溢出就把configCHECK_FOR_STACK_OVERFLOW打開也加了棧水印打印。后來發(fā)現(xiàn)問題出在一個(gè)定時(shí)器中斷服務(wù)函數(shù)里我在中斷里訪問了一處被 Linux 占用的外設(shè)寄存器M33 總線上直接報(bào)錯(cuò)進(jìn)入 HardFault。這種問題最坑的地方在于M33 的 HardFault 如果不處理整個(gè) M33 就“死寂”了而 Linux 側(cè)只能通過它的心跳超時(shí)才能發(fā)現(xiàn)。所以聯(lián)調(diào)初期M33 側(cè)一定要加上故障打印并且把 HardFault_Handler 里記錄的關(guān)鍵寄存器通過串口輸出。否則出了問題你根本不知道是任務(wù)調(diào)度崩了還是外設(shè)訪問違例。5.2 現(xiàn)象OpenAMP握手失敗rpmsg創(chuàng)建不了端點(diǎn)第二個(gè)坑是 OpenAmp 的握手失敗。Linux 側(cè)rpmsg_client_sample加載后/dev/rpmsg0雖然創(chuàng)建了但 M33 側(cè)一直沒有日志輸出也不回包。我一開始重新編譯了固件檢查了 endpoint 注冊順序問題依舊。后來用調(diào)試器掛在共享內(nèi)存上查看 resource table 的內(nèi)容才發(fā)現(xiàn) vring 地址和 DTS 里預(yù)設(shè)的地址差了幾百字節(jié)。原因是我改了鏈接腳本M33 固件里的 resource table 被編譯器重新排版了但 DTS 里的 reserved-memory 還是舊地址。兩邊各自都“對”就是互相不對。這里給新手一個(gè)建議不要手動(dòng)修改 resource table 的存放位置除非你完全理解 OpenAmp 的加載流程。在任何一次鏈接腳本調(diào)整后都要重新生成 resource table并和設(shè)備樹比對。5.3 現(xiàn)象printf打印影響實(shí)時(shí)性M33 側(cè)調(diào)試時(shí)很多人習(xí)慣在任務(wù)里加 printf。這個(gè)思維是從 MCU 開發(fā)帶來的但在 MP257 上要特別小心。M33 的 printf 如果走串口而串口驅(qū)動(dòng)在 FreeRTOS 里用了阻塞式發(fā)送遇到波特率 115200 時(shí)一條幾十字節(jié)的日志就要占掉幾毫秒。對于 20kHz 的控制周期這是災(zāi)難。我的做法是聯(lián)調(diào)階段把 printf 重定向到共享內(nèi)存里的一個(gè)環(huán)型日志區(qū)Linux 側(cè)隨時(shí)讀取。正式運(yùn)行階段把調(diào)試 printf 用宏關(guān)掉只保留錯(cuò)誤級別日志。這樣既不影響實(shí)時(shí)性又能完整復(fù)現(xiàn)現(xiàn)場。5.4 調(diào)試手段用Linux的/dev/rpmsg0和M33的log互相印證AMP 聯(lián)調(diào)最大的痛苦是“兩邊都覺得對方?jīng)]發(fā)數(shù)據(jù)”。我的經(jīng)驗(yàn)是建立一套雙向的“回環(huán)測試”再開始業(yè)務(wù)邏輯開發(fā)。先讓 M33 收到什么就回什么然后在 Linux 側(cè)寫一個(gè)簡單腳本往/dev/rpmsg0發(fā)一串遞增數(shù)據(jù)接收端校驗(yàn)是否原樣返回。跑通回環(huán)后再逐步加入業(yè)務(wù)。如果回環(huán)都過不了問題一定在底層資源配置或緩存一致性上不要往下寫業(yè)務(wù)。M33 側(cè)也要把日志做成“有向心跳”每收到一條消息就通過串口輸出一個(gè)序號。這樣即使沒有調(diào)試器也能確認(rèn) OpenAmp 的接收鏈路是通的。我實(shí)測下來這套方法能過濾掉八成以上的“疑似通信問題”。6. 量產(chǎn)前必須補(bǔ)上的收尾工作6.1 監(jiān)控M33心跳光靠watchdog不夠M33 側(cè)跑 FreeRTOS通常都會(huì)開一個(gè)獨(dú)立看門狗防止任務(wù)死鎖。但看門狗只能“發(fā)現(xiàn)死機(jī)后復(fù)位”恢復(fù)后 Linux 側(cè)怎么知道 M33 已經(jīng)重啟過這是量產(chǎn)前必須設(shè)計(jì)的。我建議在 Linux 側(cè)寫一個(gè)應(yīng)用周期性通過 RPMsg 向 M33 發(fā)送心跳查詢M33 在最高優(yōu)先級任務(wù)里回應(yīng)。如果連續(xù)若干次沒有回應(yīng)Linux 主動(dòng)stopstartM33。這樣 M33 即使崩潰也能在無人工介入的情況下自動(dòng)恢復(fù)。注意這個(gè)機(jī)制不能依賴簡單的一問一答建議在心跳報(bào)文里帶序列號用于發(fā)現(xiàn) M33 是否發(fā)生過重啟。M33 側(cè)同樣要監(jiān)控 Linux 側(cè)的心跳。若 Linux 側(cè)卡死或者重啟M33 要能做安全保護(hù)比如把執(zhí)行機(jī)構(gòu)歸到安全位置。異構(gòu)系統(tǒng)不能只保護(hù)單側(cè)兩側(cè)都要有“對方可能死掉”的意識(shí)。6.2 低功耗時(shí)別忘了M33的電源域MP257 的功耗管理是個(gè)大話題A35 側(cè)的 Linux 有 CPUFreq、CPUIdleM33 側(cè)也有自己的低功耗模式。M33 進(jìn)入 Deep Sleep 前必須關(guān)閉對共享內(nèi)存的訪問并讓 Linux 側(cè)的 remoteproc 先處于停止?fàn)顟B(tài)。我踩過的坑是Linux 側(cè)進(jìn)入 suspendM33 還掛在共享內(nèi)存上結(jié)果喚醒后共享數(shù)據(jù)區(qū)出現(xiàn)撕裂。正確的順序是先讓 M33 進(jìn)入低功耗等待命令狀態(tài)再讓 Linux 進(jìn)入 suspend喚醒時(shí)反過來Linux 先恢復(fù)正常再喚醒 M33。整個(gè)流程要用 RPMsg 做一個(gè)握手協(xié)議不能用簡單延時(shí)“估摸”對方已經(jīng)完成。6.3 日志規(guī)范與遠(yuǎn)程升級的邊界M33 固件和 Linux 內(nèi)核是兩套獨(dú)立鏡像量產(chǎn)后的升級鏈路也完全不同。Linux 側(cè)可以通過 A/B 分區(qū)做系統(tǒng)級 OTAM33 固件則需要設(shè)計(jì)自己的升級機(jī)制常見做法是由 Linux 側(cè)把新固件下載到某個(gè)分區(qū)再通過 remoteproc 停止 M33、寫入新固件、重新啟動(dòng)。升級過程中最怕兩件事一是升級到一半掉電M33 固件損壞二是新舊固件的資源表不兼容導(dǎo)致 OpenAmp 通信失敗。對第一個(gè)問題建議 M33 固件保留一個(gè)極小 Bootloader負(fù)責(zé)校驗(yàn) App 固件對第二個(gè)問題建議在 RPMsg 應(yīng)用層約定版本號Linux 啟動(dòng) M33 后先做版本握手版本不匹配直接拒絕業(yè)務(wù)。這些在項(xiàng)目初期就要定好量產(chǎn)后再改協(xié)議非常痛苦。6.4 實(shí)測性能參考與后續(xù)擴(kuò)展拿我們實(shí)際項(xiàng)目的數(shù)據(jù)做個(gè)參考A35 雙核跑 LinuxM33 跑 FreeRTOSOpenAmp 通過 RPMsg 每 1ms 雙向交換一條 64 字節(jié)狀態(tài)幀。M33 側(cè)額外跑著三個(gè)任務(wù)分別是 1kHz 控制循環(huán)、按鍵掃描、串口日志。整條鏈路跑下來RPMsg 單次收發(fā)的 CPU 占用和中斷延遲都在可接受范圍內(nèi)。如果業(yè)務(wù)需要更大帶寬可以考慮把共享緩沖區(qū)加大或使用帶 cache 的訪問模式但務(wù)必做好緩存一致性處理。后續(xù)擴(kuò)展方向上可以考慮讓 M33 直接承擔(dān)一部分傳感器數(shù)據(jù)預(yù)處理只把提煉后的結(jié)果發(fā)給 A35。也可以嘗試把部分網(wǎng)絡(luò)協(xié)議棧卸載到 Linux把實(shí)時(shí)安全策略放在 M33。這個(gè)平臺(tái)最大的魅力就在于此兩顆核各司其職又共用一套內(nèi)存。對我個(gè)人而言用過 MP257 的 M33 FreeRTOS OpenAmp 組合后再回到“外掛 MCU 串口”的老路確實(shí)回不去了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲色五月| 天天色综网| 九九九AAA热视频| 国产精品A片| 超碰日韩成人| 色亚洲婷婷| 中文字幕人妻熟女在线| 激情五月天色婷婷综合| 日韩一级网站| 色欲婷婷五月天| 99热99干| 婷婷六月天| 天天情天天狠天天透| 婷婷大香蕉| 99视频自拍| 五月丁香六月婷| 婷婷性爱影院| AV片一区在线观看| 丁香五月天之婷婷影院| 天天干,天天舔| 日本三级中国三级99人妇网站| 69精品人人人人人人| 五月丁香六月激情视频| 97精品自拍| 久99热| 97九色| 亚欧州精品视频| 人妻视频在线| 北京熟妇搡BBBB搡BBBB| 婷婷六月丁| 殴美日韩成人| 色爱五月天| 狠狠狠婷婷五月综合| 久久精品99国产精品日本| 激情婷婷五六月天| 亚洲AV另类| 国产9色在线/日韩| 色色亚洲无码| 99热在线看| 日韩狠狠色| 婷婷五月天激情四射| 久久婷婷伊人| 久久激情网| 久操人| 99操久久| 婷婷.com| 99久久66| 大香伊人久色| 色五月综合在线| 另类小说婷婷色| 欧美日本99| 五月天激情图片| 思思热99er在线视频| 五月丁香综合色婷婷| 色噜噜狠狠色综无码久久合欧美| 久久er这里只有精品| 色欲一区二区三区精品A片| 五月婷婷六月婷| 伊人色综合影院视频| 九九久久高清| 激情五月婷婷老师| WWW.天天日| 九月丁香八月婷婷加勒比| 五月婷婷在线免费观看 | 综合性爱网| 久久综合性| 久久99最新| 亚洲激情网| 狠狠狠狠狠操| 99这里是99在线视频| 久cao香蕉影院| 五月天天天色| 天堂婷婷丁香六月网| 五月叮香啪| 综合激情婷婷| 五月激情啪啪啪| 热热久久精品视频| 91精品婷婷国产综合久久| 亚洲五月六月婷婷| 另类图片五月天| 精品久久久人妻| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色色婷婷婷丁香五月天| 国产69久久久欧美黑人A片| 免费观看的av| 婷婷射丁香| 99色色网站| 国产免费av在线| 欧美交换配乱吟粗大25P| 国产.亚洲.欧洲视频在线| 五月丁香综合精品| 天天综合色丁香| 99少妇精品| 在线观看国产高清视频免费网站| 成人看片网站| 六月婷婷色综合| 国产日韩欧美| 五月丁香久久丝袜啪啪| 五月婷婷高清| 五月丁香| 成人综合网站| 久久久久思思热| 五月婷婷六月丁| 色婷婷情片| 99久| 精品一二三区久久AAA片| 亚洲啪啪啪啪| 色色丁香| 五月天开心网| 婷婷五月天AV| 99热66| 97狠狠色| 久久婷婷婷| 99这里只有| 色五月婷婷丁香国产在线| 久操人妻| 欧美色色色色色| AV在线不卡网站| ..真实国产乱子伦对白在线_欧 | 操碰97| 99热销国产这里有精品| 99ri在线播放| 亚洲综合无码| 九九99在线免费在线观看视频| 大伊香蕉玖玖爱| 操b视频在线观看一区二区| 亚洲成人AV高清字幕| 久久久久久久人妻| 610018岁成人视频| 成人亚洲精品久久久久| 伊人综合网站| 黄色av高清| 嫩草AV久久伊人妇女超级A| 亚洲精品成人| 99视频这里有精品| 国产色香蕉精品五夜婷| 极品另类| 婷婷五月天久久| 色五月,婷婷大香蕉| 久久久精品免费啪啪国| 超碰A V在线| 婷婷香蕉香| 69超碰在线| 大陆极品少妇内射AAAAAA| 超碰99在线| 色色色热| 久久久久久久久18久久| 高清国产一级婬片a免费| 99re青青草| 欲色人妻| 日本三级中国三级99| 久久精品9| 91人操| 色色色婷婷五月| 婷婷五月大香蕉| 网色99| 久久9视频| 久久久www| 国产精品久久久99视频| 99小精品| 婷婷激情社区| 91超碰九色| 俺去也五月天婷婷| 色青青电影色五月| 亚洲色基地| 青青操丝袜美腿| 777久久久| 色色色色色日韩午夜激情| 五月香蕉网| www91久久| 激情五月天婷婷丁香| 另类亚洲视频| 99热6这里只有精品6| 96性爱视频| 五月天色视频| 丁香婷婷五月色成人网站| 色婷网| 裸睡玩奶头(高H)| 狠狠做深爱婷婷久久综合一区| 五月婷婷影院| 超碰在线观看成人视| 超碰人人艹| 日本婷婷丁香五月| 五月丁香激情综合网| 国产玖玖资源| 午夜丁香婷婷| www.99操.com| 538任你爽| 亚洲色婷婷激情| 五月婷婷在线综合| 丁香五月激情婷婷| 欧美 日韩 成人| 六月婷婷激情| 婷婷五月天美女视频| 色婷五月天| 极品人妻VideOssS人妻| 色五月色情| 热九九九九| 久久9热| 天天插天天狠| 狠狠干五月天| 成人国产网站在线免费看| 99久久精彩视频| 久久黄A片| 激情五月婷婷综合色播小说| 五月天堂婷婷| 青青草婷婷五月天| 午夜丁香丁香婷婷| 精品人妻伦一二三区久久| 中文av网站| a毛片二逼wwwwwwwwww| 9久久久| 这里只有精品99视频| 99色免费观看全部| 香蕉久久国产AV一区二区| 99久热精品在线| 婷婷五月天无码视频| 饮料下药迷倒漂亮女同事强干| 91久操| 婷婷色偷拍| 婷婷丁香六月五月天| 丁香六月五月婷婷| 黄桃AV无码免费一区二区三区| 婷婷五月丁香欧洲| 可以直接看的AV| 色婷婷香蕉| txt五月激情四射网综合俺也来了 五月天婷婷丁香人人操91 | 五月色婷| 色爽九九| 在线99精品| 婷婷色色播五月天| 精品人妻伦一二三区久久| 操日本三片99| 五月天亚洲综合网| 国产黄大片在线观看画质优化| 久99综合婷婷| 精品人妻在线| 色色六月| 亚洲人人操BD| 亚洲亚洲人成综合网络| 色色色综合视频| 色色五月丁香| 色婷天天| 丁香五月欧美午夜视频| 2021日韩无码| 六月五月久久丁香| 男男野外做爰全过程69| 美臀自射自家人妻| 色偷偷综合| 97色色婷婷五月天| 色婷久九| 九九综合色综合| 直接看的av| 五月婷视频| 天天色爽| 老师的粉嫩小又紧水又多A片视频 粉嫩AV久久一区二区三区 | 99久视频| 五月婷婷激情综合在线| 99综合免费视频| 婷婷精品免费久久| 激情影院丁香五月| 激情五月黄色小说| 久热伊人| 色天天综合色| 婷婷精品综合| 五月天丁香婷婷视频网址 | 久久久国产精品黄毛片| 激情亚洲色图片丁香综合| 热久久这里只有精品| 亚洲婷婷丁香| 97干在线| 夜夜骑日日操| 狠狠插.com| 91啪级电影| 久热在线中文字幕色999舞 | 日本片日本片祼观看网站在线看中文版网页在线看 | 中文无码婷婷| 久99久热| 精品九九在线观看视频| 精品国产AV色一区二区深夜久久| 丁香五月激情六月综合| 东北熟女视频99| 无码成人AAAAA毛片AI换脸| 欧美熟女99| AV中文在线| 99视频自拍| 亚洲最大视频| 色人五月婷婷| 99视频日韩| 99热精品中文字幕| 91碰| 五月天激情综合网| 丁香五月激情视频| 久综合九| 99操视频| 高清无码 一区 二区 三区| 专区无日本视频高清8| 日本精品。999| 亚洲第一综合| 亚洲最大五月六月丁香婷婷| 五月婷婷综合影院| 九九青青草成人| 热99在线精品| 日日综合网| 欧美色骚婷婷五月天| 激情AV网| 可以免费观看的AV| 婷婷五月丁香六月伊人网| 天堂成人A片永久免费网站 | 婷婷操逼| 桃色激情网| 91人人超碰在线| 涩涩涩五月天| 停停五月天激情网| 人人操 色| 五月丁香网站| 熟女乱论网| 丁香花大香蕉婷婷综合| www.婷婷| 很很操很很操| 视频久久9| 婷婷五月丁香基地| 色操b| 超碰不卡在线| 成人无码精品1区2区3区免费看| 色婷婷色五月天| yellow视频在线观看91| 艹B高清无码| 激情六月天婷婷| 99re在线视频| 噼里啪啦完整版中文在线观看| 婷婷噜噜| 第四色五月激情网| 五月婷婷综合影院| 99热在线观看| 亚洲操逼网| 色天天综合成人网| 日本99久久| WwW色婷婷| 91精品国产99久久久久久天美| 色五月婷婷少妇人妻| 五月天婷婷激情四射综合| 久99热| 99在线国| 午夜色婷婷| 国产精品扒开腿做爽爽爽A片唱戏| 精品一区二区三区木瓜| 色色色色色日韩午夜激情| 亚洲婷婷欧美婷婷| 婷婷中文字幕版| 九九热99视频在线| 99五丁香月| 婷婷伊人中文字幕| 五月天婷婷综合免费| 色9色| 五月婷婷色播| 91欧美日韩| 天天爽天天| 五月丁香成人小说| 9999热精品在线免费播放| 五月天婷婷久草丁香| 风流少妇A片一区二区蜜桃| www.久久99热地址发布| 五月天婷婷在线播放免费| 人人干人人干骚美女| 大香蕉人人网| 久久国产一区二区三区| 99亚洲视频| 岛国AV网| 99色看| 婷婷丁香五月天哟啪| 色综合色综合色综合| 成人免费120分钟啪啪| 丁香美女五月天婷婷| 噜噜噜噜在线| 99啪| 久99久视频精选| 性按摩玩人妻HD中文字幕| 色欲久久综合| 五月天婷婷成人网| 五月天天爽| 五月天色婷婷视频| 99热国产国产| 99热这里只有精品21| 青996青| 337久久| 色五月av| 另类在线| 天天精品视频免费观看| 精品激情| 五月香婷婷| 91婷婷搞| 99热精品观看| 人妻AV在线观看| 可以免费观看的AV| 伊人色综合网| 丁香婷婷激情| 可以免费看的AV网站| 九九热手机在线视频| 欧美综合激情五月丁香| 99热 在线观看| 九九综合伊人| 激情四射五月天| 色热久| 日韩一级A片黄色| 色情婷| av婷婷六月丁香社区在线观看| 无码一区精品一区视频| 桃色五月婷婷| 婷婷亚洲天堂| 色狠狠色噜噜AV天堂五区| 婷婷成人五月天| 婷婷五月天Av| 亚州色色色| www九九热| 97综合在线| 99九九在线视频| 99热这里只有是亚洲国产| 丁香综合伊人AV| 任你草| 亚洲色色色色色| 色婷婷狠狠| 情色五月天网站| www色婷婷| 丁香婷婷五月综合色情| 色欲婷婷五月天丁香| a色婷婷| 成人婷婷| 26uuu.| 久久婷婷五月综合色播| 5月丁香啪啪啪| 夜夜爱网站| 丁香五月欧美午夜视频| 91操碰| 五月婷婷六月丁香| 欧美搡BBBBB摔BBBBB| 免费看欧美成人A片无码| 强辱丰满人妻HD中文字幕| 亚洲宗合激情| 91美女啪啪| 9超碰在线| 色射影院| 噜噜噜色噜噜| 婷婷五月免费视频| 五月天啪啪啪| 久久久一级AAA| www.激情五月天.com| 91chinese 在线| 激情综合网址| 这里只有精品99视频| 综合97五月| 9er热在线精品视频| 天天做天天要天天爽| 日日爱激情| 婷婷射综合| 99热精品观看| 九九成人视频| 亚洲成人av在线观看| 色99自拍| 久热最新视频| 色婷婷六月| 夜夜爱网站| 1024国产在线| 在线观看的av| www.夜夜騎夜夜狠| 9久久婷婷国产综合精品性色| 激情五月婷婷视频一区二区三区| 日日夜夜狠狠| 99亚洲精品综合在线 | 91色操| 色无码| 久久99久久99www| 婷婷亚洲影院| 五月天久久网站| 深夜男女福利刺激影院一区完整| 激情五月综合婷婷| Aα在线免费观看| 久久这里精彩免费在线观看| 国产精品五月天婷婷| 丁香五月婷婷激情尤物| 亚洲亚洲人成综合网络| 99色五月| 欧美激情Va| 久久激情五月| 久久综合久色欧美综合狠狠| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 欧美性爱五月天| 色婷婷狠狠| 色色色色色色色色色色色色色色,网站| 日本一级一级一级一级| 日韩精品成人在线| 精品色色网| 久久资源网五月婷| 91亚洲视频| 婷婷五月天成人娱乐| 久久久这里有精品| 色一情一乱一伦一区二区三区| 色偷偷色婷婷| 天天射天天干天插色综合| 五月婷婷婷婷婷婷艺术| 泰州成人视频| 操操熟女| 激情综合五月激情| 五月天激情网页| 天天激情站| 日本精品人妻无码77777| 丁香五月手机在线| 五月深爱婷婷| 99精品在线观看视频| 天色色综合网| 天天日日人| 五月天婷婷色色网| 亚洲天堂制| 色色影院aaaav| 99日本在线| 欧美啪啪五月天| 久久99色色| 婷婷五月激情图片| 日本性视频| 超碰人人操人人干| 久久久久丁香婷婷五月天| 无码激情AAAAA片-区区| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久激情五月婷婷| 久婷婷五月综合欧美| 操一操插一插| 五月天色综合| 久久丁香五月天| 色99色| 久久中国毛毛片爱久久| 九九精品视频在线观看| 亚洲AV成人精品网站在线播放| 久久婷婷五月草视频在线播放| 精品久久99码| 99啪| 热久久91| 色色爽爽天天| 亚洲欧美成人在线| 99re免费精品视频| 天天日婷婷| 青青草免费公开视频| 久久久这里都是精品| 97久久精品| 久草网大香视频| 99亚州综合精品成人网| 免费看欧美成人A片无码| 亚洲 激情 中文| 五月婷婷av| 色情五月婷婷| 激情婷婷丁香| 久鲁鲁色网| 99热天堂| 五月天另类激情在线| 内射综合网| 日日色综合| 五月婷婷激情在线| www.五月丁香av| 婷婷成人基地| 六月婷婷色宗合| 国产精自产拍久久久久久蜜 | 99久久婷婷综合| 色婷婷五月亚洲| 农村熟妇高潮精品A片| 秋霞学生妹一二级| www.色婷婷.com| 五月婷婷香蕉| 欧美日本日韩| 夜夜骑天天玩天天日| 99玖玖视频| 开心婷婷丁香五月| www.精品99| 综合色99| 欧美噜噜久久久XXX| 久99久视频| 黄色五月婷婷| 97在线精品| www.com操| 九九99视频精品| 欧美综合在线五月天色婷婷| 999精品久久久久久久| 六月婷婷五月天| 色婷婷五月在线| 精品久久人妻| www五月天激情com| 99热热热国产超碰| 久久99操| 天堂五月婷婷| 久久性都花花世界成人免费视频 | 伊人香大香蕉视频| 五月天激情视频五月天| 久久99精品久久久久久噜噜| 亚洲精品大片| 伍月婷婷六月丁香| 99婷婷国产最新视频| 日日夜夜婷婷| 午夜电影网VA内射| 啪啪东京热| 丁香六月色婷婷| 丁香五月激情六月| 日本97在线观看| 翔田千里 50岁 无码| 做爱夜夜干天天操| 在线综合亚洲欧美65| 国产亚洲精品久久一区二区三区| 激情深爱五月婷婷| 久热免费视频| 激情婷婷另类| 免费AV在线| 五月天婷婷基地| 草做免费在线观看| 天堂久久性| 天天干 夜夜爽| 国产高清精品色| 91av视频| 五月天婷婷在线观看| 激情综合五月色丁香婷婷 | 天天 青草 丝袜制服 在线| 涩 五月 婷婷 狠狠| 丁香五月婷婷亚洲综合精品| 天天综合.com| av在线免费网站| 婷婷色网| 熟女激情五月天| eeuus五月婷| 日本理论久久| 在线视频99| 激情99。| 五月丁香好婷婷A片网| 婷婷五月花| 五月婷婷啪| 天天肏屄夜夜爽| 婷婷久久18| 五月丁香六月欧美综合网站| 婷婷情爱五月天6| 五月丁香六月激情综合网| 少妇高潮呻吟A片免费看软件| 欧美黄色韩日网| 五月激情婷婷开心五月| 久热 91| 婷婷中文字幕欧美| 色五月大| 色婷婷五月网| 色色五月天婷婷| av操逼网| 久久99热这里只有精品| 欧美成人日韩| 中文字幕 久久9999| 久久久人妻人伦| 欧美日本不卡黄色片| 超碰超碰在线| www色婷婷com| 五月天久久成人| 婷婷丁香人妻天久久| 精品一二三区久久AAA片| 五月天婷婷丁香导航| 最新五月天婷婷影| 人人操Av| 丁香婷婷激情综合五月激情| AV操一操| 综合久久五| 九九热AV| 99综合视频| 九月丁香亭亭| 五月天久久丁香| 内射激情在线| 婷婷五月天色| 99操逼视频| av成人在线播放| 天天日天天久久青青| 六月丁香久久| 一区二区免费看| www激情| 日日爱激情| 99视频精品全部免费观看| 99热这里只有精品21| www.久久久久久久| 色九月综合网| 丁香五月天堂网AV| 色婷婷最新域名| 色99欧洲色19| 色亭亭九月| 亚洲色无码A片一区二区麻豆| 9久久精品| 91avse| 欧美人妻一区二区| 狠狠色婷婷777| 亚洲色 视频| 天天摸天天舔天天爽| 五月总合激情网| 久久婷婷精品| 热中文字幕| 激情网站五月| 99er这里只有精品视频| 婷婷激情五月天综合| 日韩色色小视频| 人妻中文字幕网| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 久久婷婷色丁香| 99亚洲大片精品永久在线观看| 日韩婷婷五月天| 五月丁香婷中文| 丁香伊人综合| 五月 丁香 欧美| 五月丁香久久久| 丁香无月在线观看| 久久er视频6| 久久视频66| 婷婷另类开心| 亚洲久热无码| 99热在线观看免费精品| 综合婷婷五月天| 丁香五月天.com| 乱色色色| 五月天成人免费视频| 久久婷婷色色| www.色99| 狠狠撸激情综合丁香五月天俺来啦| 激情 婷婷 插| 99热综合网| 色99日韩| 丁香久久| 免费一区二区三区| 2013AV天堂| 五月丁香久久综合| 嫩草综合网| 久久机只有这里精品| 丁香五月婷婷色| 狼友超碰| 色婷婷电影网| 麻豆AV一区二区三区| 99精品手机在线视频| 精品九九网| 五月天丁香成人| 免费国产VA国产免费| 日日噜狠狠色综合久久| 色天五月天在线观看视频| 伊人玖玖婷婷| 天天日,天天干,天天操| 亚洲字幕AV一区二区三区四区| 奇米四色五月天| 99riAv1国产在线观看| 丁香婷婷人妻| 欧美激情五月| 天天色丁香| 亚洲精品又粗又大又爽A片| 婷婷94s| 91超级碰| 校园激情 亚洲| 99九九在线视频| 97色婷婷成人综合在线观看| 亚洲人妻AV| aaaa久久| 啪啪啪大香蕉| 天堂草在线看www| 色五月中文网| 女人高潮内射99精品| 激情五月天第四色| 亚洲av免费在线| 亚洲行行色色| 色婷丁香| 国产一级片色色| 操操天堂| 婷婷激情五月天小说校园| 99丁香五月婷| 99热91| 色婷婷91| 开心五月丁香婷婷| 日本片日本片祼观看网站在线看中文版网页在线看 | oumeisesewang| 五月花免费视频| 97色在线| www.五月天婷婷| 夜夜夜叫天天天做| 欧美婷婷五月丁香| 日本激情综合| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 婷婷深爱网| 色综合久| 婷婷五月六月丁香| 狠狠艹狠狠艹| 色婷婷五月天成人网| 99热热热99精品丁香| 国av网| 婷婷五月天视| 五月丁香六月天| 可以看的av| 亚洲第一成人无码A片| 天天日夜夜爽。| 日日色综合| 天天综合久久| 久久久久久9热不雅视频| 婷婷色五月噜噜| 狠狠狠狠狠狠色| 大香蕉伊人丁香五月| 久久99这里只有精品| http://www.sd-xiangsu.com/| 五月色影院| 婷婷丁香五月色偷偷| 五月丁香五月天现场视频| 激情综合网五月婷婷| 99热 在线播放| 思思热久久婷婷五月天| 在线只有精品| www超碰| 超碰三级片| 五月天丁香啪啪啪啪| 天天天添天天操| 九九热婷婷| 伊人久久大香| 日日艹思思热| 五婷婷综合网| renre人人操国产超碰在线| 久久色情| 五月丁香婷中文| 色婷婷电影网| 久热9热| 日韩久久这里只有精品| 被强行糟蹋的女人A片| 人人干人人干骚美女| av在线资源| 99人人干人人| 婷婷久久五月天| 91精品国产综合久久蜜芽解析速度| 丁香五月天BBw| 91九色最新视频| 午夜性爱影视一区77| 伊人久久婷婷| 丁香五月六月久久综合 | 免费黄色视频网址| 大香蕉网站,大香蕉综合| 四川操逼站| 婷婷五月丁香综合激情| 国产色色色色色| 六月亚洲| 人与禽A片啪啪| 亚洲小说五月婷婷| 激情丁香五月婷婷| 精品99这里有| 久热久| 五月开心婷婷网| 丁香五月婷婷亚洲综合精品| 国产黄色av| 精品久久99码| 欧美日韩国产一区| 久久人人看| 久久九九综合| 五月丁香亭亭| 婷婷综合| 亚洲精品一区中文字幕乱码| 影音先锋激情网| 人妻内射一区二区在线视频| 热99久久这里只有精品| 亚洲AV影片在线观看| 六月狠狠综合| 99婷婷色| 色五月大| 日本综合色图| 六月丁香五月婷婷| 五月天婷婷导航| 99综合色色色| 五月丁香六月激情视频| 欧美操逼天堂| 久久久97| 玖玖资源部在线播放| 嫩草极品| 99热精品在线播放| 99视频网址| 亚州操人在线视频| 五月丁香啪啪综合网| 日本九九九九| 亚洲性爱99| 香蕉久久国产AV一区二区| 婷婷五月婷婷五月| 99久久国产综合精品五月天喷水\| 99热费观看| 涩 五月 婷婷 狠狠| 亚洲成人av在线| 99久久久国产大片| 日韩成人中文| 能直接看的AV网站| 婷婷丁香综合| 五月丁香综合在线| 丁香五月天五码婷婷| 91大神在线免费看视频全集男男一起操| 五月丁香六月婷婷综合伊人| 久久中国毛毛片爱久久| 色999亚洲人成色| 天天艹夜夜爽| 丁香色影院| 99精品在线观看视频| 婷婷五月激情图片| 日本色色色| 婷婷五月激情在线视频| 91免费看片| 久久九九色| 26uu| 日亚二欧美| 丁香五月香蕉| 欧美狠狠地| 青青草Avb在线| 中文av网| 天天操天天爱天天日| 成人综合网站| 5五月综合网亚洲| 伊人五月婷婷| 丁香五月婷婷色偷偷| 成人在线视频网| 色婷视频| 超碰人妻在线| 91人久| 色婷婷超碰| 深爱开心激情网| 成人资源在线| 丰满少妇猛烈A片免费看观看| 深爱五月日韩| 色综合夜夜| 久久婷综| www.婷婷五月天.com| 99re思思热久久| 久久老码第一| 在线超碰91| 久久A极片| 婷婷久久久久| 五月丁香综合激情网| 色色色综合视频| 色www.con| 丁香五月婷婷天激情| 婷婷五月色天| 丁香五月色| 狠色狠色狠狠色综合网| 91精品啪| 色五月婷婷777| 99九九精品| www.91在线观看| 色五月色情| 亚洲精品又粗又大又爽A片| 婷婷午夜综合| 天天做天天爱天天做| 狠狠色激情在线| 日韩影院三级| 99婷婷国产最新视频| 九月丁香网婷婷| 五月天激情影院| 啪啪综合| 婷婷深爱五月| 婷婷五月天激情综合网| www.av视频xx999.com| 激情99| 久久婷婷电影| 草草女人亚洲| 色色色999| 久久人操| 亚洲色色色| 五月婷婷六月少妇激情| 丁香婷婷五月天亚洲| 五月伊人网| xx久久| 中文字幕亚洲-区久久99婷婷| 在线色婷婷| 六月成人网| 97人人干| 26UUU精品一区二区| 色色五月天激情| 亚洲啪啪网| 黄网在线观看免费| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 国产肏屄大片| 91性人人| 丁香婷婷婷婷十二月在线观看视频| 精品久久穴| 拍真实国产伦偷精品| 天天插天天射| 色五月激情五月| 久久久久9999| 亚洲区视频| 女人被男人吃奶到高潮| 六月丁香色婷婷| 久久婷婷欧美| er99免费视频在线| 丁香五月婷婷成人色区| 天天操夜夜夜夜爽| 久久9久| 久久婷婷五月综合伊人| 日本婷婷在线| 第四色大香蕉| 九九热99视频在线| 九月激情综合| 99在线播放视频| www.99热视频| 婷婷丁香社区网| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 丁香五月婷婷六月婷婷| 五月婷婷综合激情| 美女五月天婷婷| 六月色伊人婷婷| 五月色婷婷影视在线电影| 99热6这里只有精品6| 免费国产VA国产免费| 五月天婷婷久久日| www.com久久久久久久久久久久久久久久久| 天天色情站| 亚洲久久天堂| 91seAV| 色色色色色色色色色色色色色色,网站| 五月丁香六月综合图| 五月丁香婷婷狠狠操| 中文字幕高清av| 五月天久久激情| 人人操人人干AV| 综合激情在线视频| 久久9视频| 色情五月天视频网| site:esunnet.com| 久热最新视频| 婷婷瑟瑟五月天| 五月婷婷久久大香蕉| 色噜噜狠狠色综合成人99| 亚洲综合五月| 婷婷99| 亚洲国产无线乱码在线观看| 丁香婷婷综合影院| 超碰不卡在线| 香蕉综合网| 开心五月婷婷六月丁香| 婷婷五月丁香手机在线视频| 秋霞影音91人妻久久| 激情五月丁香五月| 99久在线精品| 婷婷五月综合激情| 教师性爱毛片| 9久久AV| 久久九九综合| 六月丁香婷啪射| 丁香五月综合在线观看| 日韩性视频| 国产精品国产成人国产三级| 啪啪视频99| 五月天三级久久| 97成人丁香婷婷| 插插干干干色| 激情文学五月丁香六月婷婷| 色色色色色色色色网站| 风流少妇A片一区二区蜜桃| 亚洲av无码精品色午夜| 狠狠色丁香| 99aese| 成人短视频在线免费观看| 99精品免费视频| 婷婷大香焦| 丁香五月综合婷婷| 亚洲九九九九| 婷婷久久草| 五月丁香婷婷视频| 午夜少妇在线观看视频| 美女爆乳18禁www久久久久久| 色色五月天丁香| www.sezonghe| 欧美在线操| 国产成人精品一区二三区熟女在线| 色色色色色日韩午夜激情| 婷婷综合精品视频97| 婷婷六月丁香久| 新99思思视频| 玖玖五月| 大香蕉久艹| 9l视频自拍九色9l视频在线观看| 色亭亭影园| 久久精彩免费视频| 日本天天操| 开心激情五月天网| 操97免费超级视频| 久久99国产综合精品免费| 五月婷婷色白丝| 婷婷五月天激情偷拍| 婷婷丁香五月天激情| 少妇搡BBBB搡BBB搡毛茸茸| 九月婷婷色色| 丁香五月天欧美在线| 色久女| 欧美日韩二区在线| 色色丁香婷婷| 日日操天天| 精品亚洲国产成AV人片传媒| 开心五月婷婷婷美女| 深爱激情久久| 67194国产| 日韩天堂久久| 天天肏屄夜夜爽| 九九这里是免费的视频5| 韩日另类| 99rewww| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 99热久久这里只有精品| AAA久久久AAA久久久AAA| 五月天全国最大成人网| 五月婷精品| 爆乳熟女-区二区三区| 日日干日日色| 久久五月激情| 99热热热国产超碰| 五月婷婷深深爱爱| 久久久99免费视频| 六月丁香成人| 天天爽综合| 色噜噜狠狠色综合日日| 玖色色综合| 国产精品色一哟哟| 九九久久99| 日本99在线视频| 色五月丁香伊人五月| 五月天丁香婷婷网| www.狠狠操.co m| 国产 码在线成人网站| 99碰在线视频| 五月婷婷开心亚州在线| 色情婷婷| 97自拍视频在线| 国产熟女一区二区三区五月婷| 高清av在线国产| 深爱激情五月天婷婷网| 思思精品视频| 91尤物九色在线| 婷婷深爱五月天| 激情综合文学| 综合五月激情| 无码AV免费精品一区二区三区| 天天日天天做天天舔| 五月天综合视频网| 伊人丁香五月婷婷潮吹| 99热这里有精品2| 少妇AB又爽又紧无码网站| 亚洲五月天,激情视频| 五月婷婷色影院| 7777精品伊人久久久大香线蕉最新版| 五月天俺去也| 色欲五月丁香| 97激情五月天| 婷婷丁香六月| 99久久a线观| 天天射美女| 97热精品| 免费观看亚洲AV片| 涩综合网| 色综合色色| 99热精品在线播放| 欧美婷婷丁香五月社区| 热99免费在线| 色玖玖综合网| 婷婷五月超碰| 可以直接看的AV| 久久久潮喷-久久久九九-成人AV| 五月婷六月丁香| 综合五月激情| 五月色网| 亚洲不卡123| 99热这里有精品| 国产综合81p| 第四色大香蕉| 手机在线日韩视频中文字幕| 色情五月综合婷婷| 午夜色婷婷| 91久久久久久| aaaaa黄色| 色爱亚洲| 天天日狠狠| 极品人妻VideOssS人妻| 亚洲欧洲99| 年轻的妺妺伦理HD中文| 电影《战争与艾拉》免费观看| 亚洲另类电影| 九九热思思热| 亚洲日比视频| 天天在线XXX| 日韩AV在线免费观看| 91黄址| 包操45分钟网站| 人与禽A片啪啪| 五月婷婷狠狠干| 婷婷五月天丁香成人社区| 日本美女上人| 九九操操| 色色日韩| 激情综合色五月丁香| 深爱激情网综合| 色综合香蕉| 五月婷在线观看| 亚洲色色在线| 久久您您综合网| 婷婷丁香六月天| 狠狠色色| 激情AV网| 色色国产| 亚洲免费看片| 成人超碰网| 久久九九色| 超碰激情网| 另类图片五月天| 91精品综合久久久久久五月丁香| 综合亚洲AV| 成人在线视频网| www.五月天婷婷姐姐| 另类图片五月天激情| 五月婷婷激情性爱| 五月色丁香婷婷中文字幕| 中文字幕在线人妻| 超碰在线国产| 五月婷婷在线网站| 狠狠九九婷婷韩| 激情小说五月天| 婷婷激情五月天小说校园| 天天揷综合网| 色婷婷69| 天天插夜夜爽| 97人人爱人人操| 色九九综合| 伊人五月成人| 无码四色色色| 丁香五月激情五月色综合| 99热只有这里有精品| 婷婷五月天丁香花| 婷婷久久色五月婷婷久久久| 9久久久久| 天天干天天爽天天爽| 久久九九思思| 精品久久久人妻| 亚洲日日操| 91黄操| 影音先锋AV资源男人站| 国产免费一区二区三区三州老师F1F1.CC | 热久91| 久久久婷| 激情五月五月婷婷| 久婷婷五月丁香在线观看| 久久婷婷草| 欧美大片| 九热免费视频| 都市激情小说婷婷| 九九人人操| 男同色五月开心五月激情五月| 色综合九九| 五月天激情啪啪| 五月丁香综合激情| 狠狠色九月| 婷婷97狠狠成人网站| 日日夜夜天天| 亚洲激情综合五月婷婷啪啪| WWW.HENHENL.| 超碰九色| 五月综合激情| 丁香五月亚洲无码| 久色网址| 丁香六月激情综合网| 五月天激情综合网| 一起草性爱不卡视频| www。五月天。com| 九月丁香欧美综合| AV成人在线网站| 另类视频在线| 色五月天成人| 四五月婷婷| 五月婷婷av| 九九色院| 亚洲在线网站| AA片在线观看视频在线播放| 天天综合网91| 熟女激情五月天|