欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

嵌入式Linux性能瓶頸排查與優(yōu)化:CPU、內(nèi)存、I/O與啟動時間全攻略

嵌入式Linux性能瓶頸排查與優(yōu)化:CPU、內(nèi)存、I/O與啟動時間全攻略 做嵌入式Linux開發(fā)這些年我踩過最多的坑不是功能實(shí)現(xiàn)不了而是板子跑起來了、功能也都能用但一到真機(jī)驗(yàn)證、量產(chǎn)階段各種性能問題就像洪水一樣涌出來。你盯著串口日志想定位問題結(jié)果日志本身就是瓶頸之一你以為是應(yīng)用代碼寫得爛查了一圈發(fā)現(xiàn)是內(nèi)核配置的問題你把優(yōu)化一通操作拉滿又發(fā)現(xiàn)啟動時間暴漲。這種“按下葫蘆浮起瓢”的體驗(yàn)凡是搞過Embedded Linux的人應(yīng)該都不陌生。這篇文章我就結(jié)合自己的實(shí)際經(jīng)歷把嵌入式Linux方案里常見的Performance Bottlenecks系統(tǒng)性地梳理一遍覆蓋CPU、內(nèi)存、I/O、啟動時間這幾個重災(zāi)區(qū)每個點(diǎn)都會給出排查工具、定位思路和實(shí)際優(yōu)化案例。無論你是剛?cè)胄械那度胧焦こ處熯€是被線上問題折磨已久的“老油條”這篇文章都值得你花十分鐘讀完至少能少走幾個月的彎路。1. 內(nèi)容整體設(shè)計與思路拆解1.1 嵌入式性能問題的特殊性在講具體瓶頸之前我想先聊一個認(rèn)知層面的問題嵌入式Linux的性能優(yōu)化和普通服務(wù)器端的性能調(diào)優(yōu)本質(zhì)上是兩碼事。服務(wù)器端資源相對充裕遇到瓶頸通??梢钥慷延布鉀Q——加CPU、加內(nèi)存、換SSD產(chǎn)品經(jīng)理那邊也好交代。但嵌入式方案是資源受限的CPU主頻固定、內(nèi)存焊死在板上、存儲用的是eMMC或者NAND Flash連電源余量都是按最低配置設(shè)計的。這意味著你必須在有限的資源內(nèi)把性能摳出來每一個微秒、每一兆內(nèi)存都可能有價值。還有一個更讓人頭疼的地方嵌入式系統(tǒng)通常有實(shí)時性要求。我的一個項(xiàng)目里主控CPU要同時處理HMI渲染、通信協(xié)議棧和運(yùn)動控制算法。HMI渲染被卡頓可以忍一下但運(yùn)動控制如果延遲抖動超過幾個毫秒設(shè)備直接就出安全問題了。這種“非實(shí)時任務(wù)拖垮實(shí)時任務(wù)”的場景在嵌入式Linux里非常典型。所以在排查嵌入式性能問題的時候不能只看平均負(fù)載更要關(guān)注“最壞情況延遲”和“尾部延遲”。有時候系統(tǒng)的平均CPU使用率只有60%但某個中斷響應(yīng)延遲已經(jīng)飆到幾十毫秒了。這種問題不通過專門的手段是根本看不出來的。1.2 性能優(yōu)化的核心思路先測量再優(yōu)化很多新手上來就喜歡“感覺哪里慢就優(yōu)化哪里”比如覺得系統(tǒng)卡是CPU頻率不夠直接把CPU調(diào)到最高頻結(jié)果電池掉電飛快、板子燙得能煎雞蛋問題卻沒解決。這是我見過最多的一種錯誤。正確的思路永遠(yuǎn)只有一個先量化再定位最后優(yōu)化。所謂量化就是把性能問題變成可測量的數(shù)值。系統(tǒng)啟動花了多長時間某個中斷響應(yīng)延遲是多少關(guān)鍵線程的調(diào)度延遲分布長什么樣內(nèi)存最高占用是多少只有把這些指標(biāo)量化了你才知道問題到底有多嚴(yán)重、優(yōu)化有沒有效果。接下來是定位。這一步需要借助工具鏈把瓶頸從“系統(tǒng)很卡”這種模糊的描述收斂到“某個進(jìn)程在某段時間內(nèi)發(fā)起了大量系統(tǒng)調(diào)用導(dǎo)致CPU占用飆升”這種精確的結(jié)論。perf、ftrace、strace這些工具在后面的章節(jié)我會詳細(xì)講怎么用。最后才是優(yōu)化。優(yōu)化手段從高到低有幾個層次算法優(yōu)化、架構(gòu)優(yōu)化、內(nèi)核配置優(yōu)化、硬件資源重新分配。最優(yōu)的方式是直接改應(yīng)用代碼因?yàn)椴挥|碰系統(tǒng)層、風(fēng)險最小但如果瓶頸在內(nèi)核或者配置層該改還是要改只是改動前必須在測試環(huán)境充分驗(yàn)證。我個人的習(xí)慣是同一個性能問題至少要量化兩次——優(yōu)化前一次優(yōu)化后一次。兩次數(shù)據(jù)對比才能確認(rèn)優(yōu)化真的生效了而不是“感覺變好了”。這個習(xí)慣幫我避免了很多次“白忙活”的尷尬。1.3 影響性能的關(guān)鍵維度劃分從工程實(shí)踐的角度我會把嵌入式Linux的性能瓶頸分成四大類CPU類瓶頸運(yùn)算能力不足、調(diào)度延遲過高、中斷風(fēng)暴、鎖競爭嚴(yán)重等。內(nèi)存類瓶頸物理內(nèi)存不足、內(nèi)存碎片化、分配延遲過高、swap抖動等。I/O類瓶頸閃存讀寫速度慢、文件系統(tǒng)日志開銷大、塊設(shè)備調(diào)度不均衡等。啟動類瓶頸內(nèi)核解壓耗時、initramfs加載慢、用戶態(tài)服務(wù)初始化串行化等。這四類問題在實(shí)際項(xiàng)目中很少單獨(dú)出現(xiàn)往往是互相牽制的。比如頻繁的I/O操作會拉高CPU占用內(nèi)存不足會導(dǎo)致OOM觸發(fā)、進(jìn)而引發(fā)I/O風(fēng)暴。所以排查的時候要有一個大局觀不能只盯著一項(xiàng)指標(biāo)看。還有一個維度經(jīng)常被忽略就是構(gòu)建與部署配置。同樣是代碼編譯優(yōu)化等級選-Os還是-O2跑起來性能差別不小內(nèi)核裁剪不當(dāng)沒用的驅(qū)動和子系統(tǒng)占著內(nèi)存、耗著電這些都屬于“隱形瓶頸”。我見過有的項(xiàng)目固件里明明沒有Wi-Fi模塊內(nèi)核還編譯了一堆Wi-Fi驅(qū)動白白占用內(nèi)存。這種問題改一行.config就能解決但沒人意識到。后面的內(nèi)容我就按這四個維度展開每個維度都會講原理、排查方法和實(shí)際案例。2. 核心瓶頸類型拆解與實(shí)操要點(diǎn)2.1 CPU類瓶頸從“跑滿”到“調(diào)度抖動”CPU類瓶頸是最直觀、最容易發(fā)現(xiàn)的因?yàn)镃PU使用率就放在那里一眼就能看到。但“看到CPU滿了”和“找到誰把CPU弄滿了、為什么弄滿”之間還有很長一段路。先說簡單的場景。用top命令看系統(tǒng)負(fù)載發(fā)現(xiàn)某個用戶態(tài)進(jìn)程CPU占用接近100%。這種情況通常是應(yīng)用層代碼出了Bug比如陷入死循環(huán)、頻繁輪詢、或者在事件循環(huán)里做了耗時操作。定位方法很簡單用perf top直接看當(dāng)前CPU熱點(diǎn)函數(shù)幾秒鐘就能找到問題函數(shù)。這種問題雖然好定位但我見過不少項(xiàng)目在代碼審查階段沒看出來等到測試階段才暴露白白浪費(fèi)了不少排查時間。復(fù)雜一點(diǎn)的是調(diào)度延遲問題。系統(tǒng)CPU看起來沒滿整體負(fù)載也不高但某個關(guān)鍵線程總是不能按時被調(diào)度導(dǎo)致外設(shè)通信超時或者控制周期抖動。這種問題的本質(zhì)是Linux默認(rèn)的CFS調(diào)度器是為“公平性”設(shè)計的它追求的是所有進(jìn)程共享CPU而不是優(yōu)先保證某個關(guān)鍵進(jìn)程的延遲。解決思路主要有兩種一是用線程優(yōu)先級RT調(diào)度策略SCHED_FIFO或SCHED_RR讓關(guān)鍵線程搶占普通進(jìn)程二是綁定CPU核心把關(guān)鍵線程固定在某個核上避免它被調(diào)度器在不同CPU之間遷移。我做過的一個項(xiàng)目里用cyclictest工具測量發(fā)現(xiàn)某個控制線程的最大調(diào)度延遲達(dá)到了400毫秒這顯然是不可接受的。當(dāng)時系統(tǒng)的CPU占用率只有40%所以問題不是資源不夠而是調(diào)度策略不對。解決辦法是把控制線程設(shè)成SCHED_FIFO優(yōu)先級90并且綁核到CPU2同時把其他非關(guān)鍵任務(wù)統(tǒng)統(tǒng)降級為SCHED_IDLE。改完之后最大調(diào)度延遲降到了150微秒以內(nèi)。這個案例很典型地說明嵌入式場景下不僅要看“CPU夠不夠用”還要看“CPU怎么被分配”。還有一種CPU類瓶頸是中斷風(fēng)暴。某個外設(shè)的中斷頻率異常高比如GPIO引腳沒有正確去抖、或者網(wǎng)卡收到了大量廣播包導(dǎo)致CPU頻繁進(jìn)入中斷處理程序。中斷的優(yōu)先級高于一切用戶態(tài)進(jìn)程所以中斷頻率過高會直接餓死業(yè)務(wù)線程。排查方式是用cat /proc/interrupts看哪個中斷號計數(shù)暴漲然后用echo禁用或屏蔽異常中斷源。這類問題在硬件不穩(wěn)定或者電磁干擾強(qiáng)的環(huán)境中特別常見。2.2 內(nèi)存類瓶頸碎片化、泄漏與分配延遲內(nèi)存瓶頸在嵌入式平臺上的表現(xiàn)形式和服務(wù)器很不一樣。服務(wù)器內(nèi)存不夠了可以看free命令然后加內(nèi)存或者調(diào)參數(shù)但嵌入式平臺內(nèi)存是固定的一旦出現(xiàn)內(nèi)存不足系統(tǒng)直接OOM觸發(fā)內(nèi)核的OOM Killer隨機(jī)殺掉一個倒霉進(jìn)程來騰內(nèi)存。這種“隨機(jī)殺人”在生產(chǎn)環(huán)境是絕對不可接受的。內(nèi)存類問題里面最隱蔽的是內(nèi)存碎片化。系統(tǒng)物理內(nèi)存總量充足但因?yàn)闆]有連續(xù)的物理頁面導(dǎo)致內(nèi)核無法分配大的連續(xù)內(nèi)存塊。這個問題在需要DMA操作的設(shè)備驅(qū)動中特別致命因?yàn)楹芏嘤布驞MA緩沖區(qū)在物理上連續(xù)。系統(tǒng)運(yùn)行幾天后某些驅(qū)動突然初始化失敗重啟就好了過幾天又壞了——這種典型的“運(yùn)行時間越長越容易出問題”的怪現(xiàn)象十有八九就是內(nèi)存碎片化。檢查碎片化的辦法是看/sys/kernel/debug/buddyinfo或/sys/kernel/debug/extfrag/index如果高orderorder3的連續(xù)頁面幾乎為0那基本可以確診了。改善手段包括啟用內(nèi)存規(guī)整功能在/etc/sysctl.conf里配置vm.compact_memory1、調(diào)整pageblock參數(shù)、或者在內(nèi)核配置中使能CMAContiguous Memory Allocator來專門管理大塊連續(xù)內(nèi)存的分配。再說說內(nèi)存泄漏。嵌入式Linux的應(yīng)用層內(nèi)存泄漏不像服務(wù)器端可以用Valgrind慢速排查很多時候你根本沒有那個運(yùn)行環(huán)境。我這邊常用的方法是在應(yīng)用里定期讀取/proc/self/status里的VmRSS把內(nèi)存占用的變化趨勢記錄下來分析是否持續(xù)增長更精細(xì)一點(diǎn)的做法是用tracepoint跟蹤kmalloc/kfree。內(nèi)存在嵌入式設(shè)備上是稀缺資源所以我的經(jīng)驗(yàn)是在開發(fā)階段就要把內(nèi)存監(jiān)控代碼寫進(jìn)應(yīng)用里這樣問題在上線前就能發(fā)現(xiàn)而不是等客戶用了半年后設(shè)備無故重啟才來溯源。還有一個經(jīng)常被忽略的點(diǎn)是分配延遲。在實(shí)時性要求高的場景里malloc()可能導(dǎo)致進(jìn)程進(jìn)入內(nèi)核態(tài)去申請內(nèi)存頁這個過程有時候會觸發(fā)內(nèi)存回收內(nèi)存頁換出消耗的時間可能是幾十微秒甚至幾毫秒。對于控制回路來說這種延遲是不能接受的。解決思路是啟動階段預(yù)分配內(nèi)存池業(yè)務(wù)運(yùn)行時從內(nèi)存池里取內(nèi)存避免在關(guān)鍵路徑上調(diào)用malloc()。2.3 I/O類瓶頸閃存特性的影響遠(yuǎn)超你的想象I/O瓶頸在嵌入式Linux里可以說是“最容易被低估”的一類問題。很多工程師習(xí)慣了PC上NVMe SSD的隨機(jī)讀性能下意識地認(rèn)為存儲不是瓶頸。但嵌入式平臺上用的eMMC、NAND Flash隨機(jī)小文件讀寫的速度可能只有幾十MB/s隨機(jī)寫IOPS更是低到感人。我做過一個數(shù)據(jù)記錄類產(chǎn)品需求是每秒鐘往Flash寫一條約4KB的日志。代碼很簡單就是open、write、fsync、close。跑起來后發(fā)現(xiàn)CPU占用率高達(dá)30%而且寫入速率經(jīng)常跟不上。一開始我以為Flash硬件有問題后來用strace一分析發(fā)現(xiàn)每次write之后調(diào)用的fsync會把數(shù)據(jù)強(qiáng)制刷到物理介質(zhì)上而Flash的塊擦除和寫入開銷遠(yuǎn)大于普通磁盤導(dǎo)致每次fsync都要卡好久。解決方案有兩層。第一層是代碼層面把日志先緩存到內(nèi)存環(huán)形緩沖區(qū)里攢夠批量數(shù)據(jù)后一次性寫入避免頻繁的小I/O第二層是文件系統(tǒng)層面換用更適合Flash場景的日志策略減少元數(shù)據(jù)更新的頻率。這樣一來同樣4KB/條的日志CPU占用降到了5%寫入速率也完全達(dá)標(biāo)了。文件系統(tǒng)選型也是嵌入式I/O優(yōu)化的關(guān)鍵環(huán)節(jié)。傳統(tǒng)ext4在全盤日志dataordered或datajournal模式下每筆寫入都要先寫日志再寫數(shù)據(jù)這在Flash上會造成嚴(yán)重的寫放大和延遲。我的建議是如果是只讀場景優(yōu)先考慮squashfs、erofs這類只讀壓縮文件系統(tǒng)如果是讀寫但數(shù)據(jù)不需要掉電保護(hù)可以選用ext4的datawriteback模式或者干脆上ubifs這種專為Flash設(shè)計的文件系統(tǒng)。另外還有塊層調(diào)度器的選擇。Linux內(nèi)核里有三種I/O調(diào)度器none、mq-deadline、bfq。在嵌入式設(shè)備上如果你用的是eMMC這類閃存設(shè)備本身已經(jīng)內(nèi)置了復(fù)雜的FTL映射和磨損均衡算法內(nèi)核層的調(diào)度器基本幫不上忙反而會引入額外開銷。所以我一般會直接設(shè)為none模式讓請求直通設(shè)備層減少一層軟件開銷。2.4 啟動時間瓶頸每一毫秒都要摳啟動時間是嵌入式Linux方案最容易被客戶感知的指標(biāo)之一。設(shè)備上電到主界面出現(xiàn)如果超過三秒用戶體驗(yàn)就很差在車載、工控這些領(lǐng)域啟動時間甚至要按百毫秒級別去要求。但Linux系統(tǒng)啟動鏈路很長Bootloader → 內(nèi)核解壓 → 內(nèi)核初始化 → initramfs加載 → 用戶態(tài)服務(wù)啟動每一環(huán)都有時間開銷。優(yōu)化啟動時間的第一步是先把各部分耗時量化出來。硬件上我會在啟動各階段的關(guān)鍵節(jié)點(diǎn)加GPIO翻轉(zhuǎn)點(diǎn)用示波器直接測量軟件上有Bootchart/Bootgraph工具可以自動收集各進(jìn)程的啟動耗時。拿到數(shù)據(jù)后通常會發(fā)現(xiàn)耗時大頭集中在這么幾處內(nèi)核解壓如果內(nèi)核太大、initramfs中庫和驅(qū)動的加載、systemd服務(wù)的串行啟動、Qt等GUI框架的初始化。針對內(nèi)核解壓耗時最直接的手段是減少內(nèi)核體積。把不需要的驅(qū)動和子系統(tǒng)全部裁掉開啟內(nèi)核的LTO優(yōu)化選項(xiàng)壓縮算法從gzip換用lz4或lzma。根據(jù)我的測試同樣的內(nèi)核用gzip壓縮的大約耗時400ms解壓改成lz4后能降到200ms左右代價是固件體積變大自行權(quán)衡。針對用戶態(tài)啟動慢主流手段是把systemd里非關(guān)鍵服務(wù)干掉或者延遲觸發(fā)只保留最核心的幾個服務(wù)立即啟動更激進(jìn)的方案是跳過initramfs直接讓內(nèi)核掛載根文件系統(tǒng)。如果用的是根文件系統(tǒng)在eMMC上的方案還可以在啟動階段只掛載只讀的squashfs鏡像需要讀寫的目錄再單獨(dú)掛overlayfs這樣文件系統(tǒng)掛載速度快得多。我在一個行車記錄儀項(xiàng)目里做啟動優(yōu)化原始啟動時間接近4秒。通過內(nèi)核裁剪省掉700ms換用lz4解壓省掉200msinitramfs精簡庫文件省掉500mssystemd服務(wù)精簡省掉1.2秒最終壓到了1.4秒。整個過程沒有改任何應(yīng)用代碼收益卻非常明顯。3. 工具鏈與排查方法解析3.1 基礎(chǔ)工具top、free、iostat的基礎(chǔ)與進(jìn)階用法排查性能問題我首先會用到一套“三板斧”工具top、free、iostat。這三個命令系統(tǒng)自帶部署方便在任何嵌入式環(huán)境里都能跑。top用來觀察CPU占用和內(nèi)存占用。但我的習(xí)慣不是看一眼CPU Total就完事而是重點(diǎn)關(guān)注每個進(jìn)程在用戶態(tài)us、內(nèi)核態(tài)sy以及等待I/Owa上的時間分配。us高說明是用戶態(tài)計算密集sy高說明是系統(tǒng)調(diào)用或內(nèi)核路徑開銷大wa高說明瓶頸在存儲I/O。這三個值的組合能快速把問題方向定下來。free主要看內(nèi)存的使用情況。但嵌入式環(huán)境下我特別關(guān)注available這一列因?yàn)樗攀恰罢嬲捎谩钡膬?nèi)存而不是free這一列。Linux會盡量把空閑內(nèi)存用作page cache來提升I/O性能所以free列很小不代表內(nèi)存不夠只有available很小才是真正的內(nèi)存不足。iostat可以查看塊設(shè)備的實(shí)時I/O情況包括tps每秒傳輸次數(shù)、KB_read/s、KB_wrtn/s以及await平均I/O等待時間。如果await值很大說明I/O請求在隊(duì)列里等待時間很長設(shè)備處理能力跟不上如果是r_await和w_await差異很大則要考慮閃存的讀寫性能不對稱問題。這三板斧雖然基礎(chǔ)但在大多數(shù)嵌入式項(xiàng)目里用它們就能定位到80%的問題。只有剩下的20%疑難雜癥才需要動用后面講的perf、ftrace這些重型武器。3.2 高級追蹤工具perf、ftrace與trace-cmd實(shí)戰(zhàn)perf是Linux性能分析的“核武器”它利用硬件性能計數(shù)器和內(nèi)核tracepoint來做采樣分析。在嵌入式平臺上的用法通常是這樣# 采集10秒CPU熱點(diǎn)數(shù)據(jù) perf top # 記錄全系統(tǒng)性能數(shù)據(jù)采樣頻率99Hz perf record -g -F 99 -- sleep 10 # 生成報告 perf report-g參數(shù)表示記錄調(diào)用棧這樣能把“哪個函數(shù)調(diào)用了哪個函數(shù)”的完整鏈條抓出來。比如系統(tǒng)卡頓你用perf record一拍可能發(fā)現(xiàn)是某個驅(qū)動在中斷上下文里做了大量線性搜索熱點(diǎn)函數(shù)一目了然。perf好是好但版本依賴內(nèi)核源碼嵌入式交叉編譯有時候比較折騰。如果不想編譯工具鏈可以用ftrace。ftrace是內(nèi)核自帶的事件追蹤器不需要額外安裝任何用戶態(tài)工具只需要內(nèi)核開啟了對應(yīng)的CONFIG_FTRACE配置項(xiàng)。我常用的是ftrace的function_graph功能它可以追蹤指定函數(shù)的調(diào)用耗時# 掛載tracefs mount -t tracefs nodev /sys/kernel/tracing # 追蹤某個特定內(nèi)核函數(shù) echo function_graph /sys/kernel/tracing/current_tracer echo do_sys_open /sys/kernel/tracing/set_ftrace_filter echo 1 /sys/kernel/tracing/tracing_on cat /sys/kernel/tracing/tracetrace-cmd則是ftrace的封裝工具提供更友好的命令行交互可以按事件名抓取數(shù)據(jù)并生成報告。我之前定位一個USB驅(qū)動偶發(fā)卡頓的問題就是靠trace-cmd抓到的usb_submit_urb函數(shù)調(diào)用延遲分布找到根因的。3.3 系統(tǒng)調(diào)用追蹤與啟動分析利器strace是我對應(yīng)用層問題定位的首選工具。它可以記錄進(jìn)程發(fā)起的每一次系統(tǒng)調(diào)用、參數(shù)和返回值在排查“程序卡在哪個系統(tǒng)調(diào)用”這類問題上效果極為顯著。嵌入式環(huán)境里strace一般放在debugfs分區(qū)里只在調(diào)試時掛載使用量產(chǎn)固件里不要打進(jìn)去因?yàn)閟trace會讓目標(biāo)進(jìn)程的運(yùn)行速度下降一到兩個數(shù)量級。啟動時間的專項(xiàng)分析工具我用得比較多的有兩個Bootchart和systemd-analyze。Bootchart會從啟動開始記錄每個進(jìn)程的CPU、內(nèi)存、I/O時間線生成SVG圖。從圖里能直觀看到哪些服務(wù)在并行執(zhí)行、哪些服務(wù)被串行等待拖累了。systemd-analyze更精準(zhǔn)它直接讀取systemd的啟動事件記錄# 展示各服務(wù)啟動時間 systemd-analyze blame # 展示服務(wù)依賴關(guān)鍵路徑 systemd-analyze critical-chainblame會按各服務(wù)的耗時從高到低排列critical-chain則能看出整個啟動鏈路里最長的關(guān)鍵路徑。一般來說服務(wù)啟動慢的要么是依賴等待比如等待某個設(shè)備節(jié)點(diǎn)出現(xiàn)要么是自身初始化太重這兩者都能通過這些命令快速定位。3.4 其他值得擁有的工具latencytop與cyclictest前面提到的工具主要面向“性能”問題但如果你的系統(tǒng)是實(shí)時性要求高的場景還需要重點(diǎn)關(guān)注“延遲”問題。這時候兩個工具會派上大用場latencytop和cyclictest。latencytop可以系統(tǒng)級地展示“哪些內(nèi)核路徑導(dǎo)致了用戶態(tài)進(jìn)程長時間無法運(yùn)行”它的輸出類似top命令但排序依據(jù)是進(jìn)程在等待延遲上的時間開銷而不是CPU占用。cyclictest是實(shí)時性測試領(lǐng)域的標(biāo)桿工具用來測量內(nèi)核調(diào)度延遲。它會創(chuàng)建一個高優(yōu)先級線程按固定周期睡眠然后測量實(shí)際喚醒時間與預(yù)期時間的偏差這個偏差就是調(diào)度延遲。我的習(xí)慣是讓它跑24小時以上統(tǒng)計最大延遲值只有最大延遲在可接受范圍內(nèi)這個系統(tǒng)才敢說滿足實(shí)時性要求。4. 實(shí)戰(zhàn)案例復(fù)盤與避坑指南4.1 案例一一個“永遠(yuǎn)跑滿”的CPU核心一個工業(yè)網(wǎng)關(guān)項(xiàng)目ARM四核A53平臺運(yùn)行過程中發(fā)現(xiàn)CPU3使用率幾乎一直是100%但CPU0-2都很空閑。客戶抱怨功耗偏高、機(jī)身發(fā)燙要求排查。我先用perf top采樣了幾秒結(jié)果熱點(diǎn)函數(shù)指向了一個內(nèi)核驅(qū)動模塊——某個傳感器驅(qū)動的中斷處理函數(shù)。這個驅(qū)動在每次中斷觸發(fā)時都去讀取一個慢速I2C設(shè)備中斷頻率極高所以CPU3被持續(xù)占用。我繼續(xù)看/proc/interrupts確認(rèn)中斷次數(shù)果然是網(wǎng)卡之外中斷次數(shù)最高的。深入看代碼后發(fā)現(xiàn)驅(qū)動作者在中斷處理函數(shù)里做了大量的輪詢式讀取這種寫法在快速中斷場景下非常糟糕。解決方式分兩步第一步把中斷處理函數(shù)里的底部處理邏輯移到tasklet或workqueue里讓中斷處理只做最少的確認(rèn)工作第二步降低I2C設(shè)備的采樣頻率并對采樣數(shù)據(jù)做滑動平均濾波避免對噪聲過度反應(yīng)。改完之后CPU3使用率從100%降到了8%功耗問題隨之消失。這個案例的教訓(xùn)是嵌入式平臺上的中斷處理函數(shù)不是隨便寫的任何不能在幾十微秒內(nèi)完成的操作都必須考慮延遲到非中斷上下文執(zhí)行。4.2 案例二啟動時間從4.2秒優(yōu)化到1.4秒某個帶屏的消費(fèi)類設(shè)備需求是上電到顯示主界面不超過2秒。原始版本實(shí)測4.2秒差得有點(diǎn)遠(yuǎn)整個優(yōu)化過程我按啟動鏈路分了三步走。第一步是Bootloader階段。U-Boot從Flash加載內(nèi)核鏡像原來的壓縮模式是gzip我改成了lz4這一步省了約200ms同時裁剪了U-Boot里不需要的驅(qū)動省了100ms。第二步是內(nèi)核階段。原來內(nèi)核打了大量沒用的驅(qū)動包括一些根本不存在的外設(shè)控制器驅(qū)動全部裁剪掉內(nèi)核映像從6MB減到了3.2MB解壓和初始化時間大幅下降這一塊總共省了約1秒。第三步是用戶態(tài)階段。原來的做法是systemd把十幾個服務(wù)全部按默認(rèn)方式串行啟動其中有藍(lán)牙、網(wǎng)絡(luò)、云平臺連接等但這些服務(wù)在首屏顯示之前根本不需要。我把顯示服務(wù)設(shè)為最優(yōu)先啟動其他服務(wù)全部設(shè)為延遲到首屏顯示后再啟動同時把initramfs里用不到的庫文件全部刪掉。這部分省了1.7秒。最終啟動時間穩(wěn)定在1.4秒。整個優(yōu)化過程總結(jié)起來就是一句話把不需要的東西都去掉把關(guān)鍵的路徑縮短。4.3 案例三內(nèi)存碎片化導(dǎo)致驅(qū)動隨機(jī)初始化失敗網(wǎng)卡驅(qū)動在某嵌入式設(shè)備上時常初始化失敗報的是DMA緩沖區(qū)分配錯誤。但系統(tǒng)空閑內(nèi)存明明還有200MB以上重啟后能正常跑一兩天后故障復(fù)現(xiàn)概率越來越大。我一開始懷疑是內(nèi)存泄漏但排查了一圈沒有發(fā)現(xiàn)明顯泄漏。后來偶然用cat /proc/buddyinfo看了一眼發(fā)現(xiàn)order3的連續(xù)頁面數(shù)量為0才終于明白問題的本質(zhì)系統(tǒng)內(nèi)存碎片化嚴(yán)重盡管總空閑內(nèi)存不少但無法滿足驅(qū)動的大塊連續(xù)內(nèi)存分配請求。這種問題的根源在于系統(tǒng)長時間運(yùn)行后內(nèi)存頁面被頻繁申請和釋放大的連續(xù)塊被逐漸切割成碎片。內(nèi)核對頁面分配無能為力的話就只能報錯。我用的解決方法是在內(nèi)核配置里確認(rèn)開啟CMA并將網(wǎng)卡的DMA緩沖區(qū)分配改為從CMA區(qū)域分配同時在內(nèi)存壓力大的時候定期觸發(fā)內(nèi)存規(guī)整echo 1 /proc/sys/vm/compact_memory。改完以后連續(xù)跑了兩個月故障沒有再出現(xiàn)。這個案例給我們的啟示是嵌入式方案在選型階段就要考慮設(shè)備的運(yùn)行時長和內(nèi)存行為規(guī)劃好DMA內(nèi)存的分配策略。等到現(xiàn)場出問題了再排查代價會高得多。4.4 常見問題速查表現(xiàn)象可能原因排查命令/工具解決思路單個核心跑滿中斷風(fēng)暴/調(diào)度不均cat /proc/interrupts綁核、延遲中斷處理系統(tǒng)卡頓但CPU不高鎖競爭/調(diào)度延遲perf sched、cyclictest調(diào)整優(yōu)先級、減少共享鎖內(nèi)存充足但分配失敗內(nèi)存碎片化cat /proc/buddyinfo啟用CMA、內(nèi)存規(guī)整寫入慢且CPU高fsync頻繁/文件系統(tǒng)日志strace、iostat批量寫入、調(diào)整日志模式設(shè)備越用越卡內(nèi)存泄漏定期記錄VmRSS定位泄漏點(diǎn)并修復(fù)啟動慢服務(wù)串行/內(nèi)核過大systemd-analyze blame裁剪內(nèi)核、并行化服務(wù)網(wǎng)絡(luò)時延抖動大中斷處理不當(dāng)/調(diào)度延遲perf、cyclictest網(wǎng)卡中斷綁核、RT補(bǔ)丁4.5 一些容易忽略的“隱形”瓶頸除了上面這些明面上的瓶頸還有幾個“隱形”問題我覺得值得單獨(dú)拎出來說一下。第一個是調(diào)試串口的拖累。很多嵌入式工程師習(xí)慣在代碼里到處加printf打印但串口波特率通常只有115200約合每秒十幾KB。如果代碼里大量打印光串口輸出就能把CPU拖垮因?yàn)槊枯敵鲆粋€字符CPU都要等待串口FIFO刷新。我見過一個系統(tǒng)僅僅是因?yàn)檎{(diào)試打印太多CPU占用就多了20%。量產(chǎn)固件里建議關(guān)掉所有調(diào)試打印或者用環(huán)形緩沖區(qū)在內(nèi)存里暫存日志按需導(dǎo)出。第二個是編譯優(yōu)化等級。內(nèi)核和應(yīng)用默認(rèn)的編譯選項(xiàng)是-O2但在嵌入式場景建議認(rèn)真試試-Os優(yōu)化體積。體積變小意味著緩存命中率提高、啟動時內(nèi)核加載時間變短有時候反而會比-O2更快。我在幾個項(xiàng)目里都驗(yàn)證過-Os編譯的內(nèi)核在某些負(fù)載下性能比-O2更好還節(jié)省了Flash空間。第三個是電源管理策略。現(xiàn)在的ARM SoC都支持動態(tài)調(diào)頻調(diào)壓DVFS。有時性能問題不是硬件不夠強(qiáng)而是CPU降頻了——可能是溫控策略太激進(jìn)可能是電源管理框架把CPU調(diào)到了低功耗檔位。遇到性能不達(dá)預(yù)期、但硬件配置客觀夠用的場景一定要先檢查/sys/devices/system/cpu/cpu*/cpufreq/scaling_cur_freq確認(rèn)CPU是否跑在預(yù)期頻率上。5. 一個值得嘗試的調(diào)優(yōu)順序與檢查清單我在實(shí)際項(xiàng)目中總結(jié)了一套相對固定的排查流程分享出來供你參考。遇到性能問題按這個順序走基本不會漏掉大方向確認(rèn)性能問題可量化先明確“慢”的定義。是啟動慢是某個操作響應(yīng)慢是處理吞吐不夠用指標(biāo)定義清楚比如“從觸發(fā)到響應(yīng)超過500ms”。收集基礎(chǔ)數(shù)據(jù)跑top看CPU分布free看內(nèi)存iostat看I/Odmesg看內(nèi)核有沒有報警。應(yīng)用層定位如果CPU高用perf top看熱點(diǎn)如果進(jìn)程卡住用strace抓系統(tǒng)調(diào)用。先排除應(yīng)用層的低級問題。內(nèi)核層定位應(yīng)用層沒問題再往內(nèi)核里挖用ftrace追蹤關(guān)鍵路徑用/proc/interrupts看中斷分布。針對定位結(jié)果做優(yōu)化每次只改一個變量改完重新量化對比確認(rèn)沒有引入新的問題。驗(yàn)證長期穩(wěn)定性性能優(yōu)化完成不代表結(jié)束尤其是涉及內(nèi)存、實(shí)時性的改動要在目標(biāo)環(huán)境上持續(xù)運(yùn)行幾天確認(rèn)無回歸。這個流程看起來簡單但很多人做不到原因就是“跳步”。看到CPU高就直接改代碼看到啟動慢就盲目裁剪內(nèi)核沒有先定位清楚最后往往是白忙活甚至越改越糟。另外一個常被忽略的點(diǎn)是優(yōu)化時要把“需求指標(biāo)”寫清楚??蛻粽f“我要系統(tǒng)跑得快”這個描述沒有意義。你得追問您是要啟動快操作響應(yīng)快還是持續(xù)業(yè)務(wù)吞吐高每個指標(biāo)對應(yīng)的優(yōu)化路徑完全不同選錯方向就是在浪費(fèi)團(tuán)隊(duì)時間。我每次在項(xiàng)目啟動前都會把性能指標(biāo)寫成一個正式的表格發(fā)給客戶確認(rèn)簽字這樣后續(xù)優(yōu)化有據(jù)可依也避免做無用功。做嵌入式Linux這些年我最大的體會是性能問題從來不是單點(diǎn)問題而是一個系統(tǒng)性問題。CPU、內(nèi)存、I/O、啟動時間、實(shí)時性每個維度都像木桶的一塊板哪塊短了水都會漏。但好在大部分瓶頸都有跡可循解法也都是成熟的技術(shù)關(guān)鍵在于你有沒有耐心去測量、定位、驗(yàn)證。還有一個心得優(yōu)化這件事越早介入成本越低。很多性能問題在設(shè)計階段就可以避免比如選型時評估內(nèi)存和存儲余量、設(shè)計時規(guī)劃好中斷優(yōu)先級、編碼時注意鎖粒度和系統(tǒng)調(diào)用頻率。等到設(shè)備量產(chǎn)了再出性能問題那種被客戶催著、被領(lǐng)導(dǎo)盯著的感覺真的希望你永遠(yuǎn)不要體驗(yàn)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九人人操| 99免费在线视频| 五月激情婷婷丁香| 欧美综合五月丁香五月天| 天天开心天天色| 婷婷五月天AV在线| 五月天婷婷激情网| 人人操人人添人人摸97| 狠狠色噜噜狠狠狠狠狠色综合久久| 五月婷婷激情综合| 26uuu欧美| 97资源欧美日韩大香蕉超碰一区| 99啪99| 五月丁六月婷| 天天成人综合视频| 26UUU精品一区二区Com| 99久久思思| 99re思思| 欧美性二区| 色婷久九| 噜噜操操| 在线观看av网站| 婷婷之玖玖| 日日夜夜九九| 丁香五月瑟瑟| 狠狠色综合久久久久| AA片在线观看视频在线播放| 亚洲妇女熟BBW| 丁香六月婷婷久久综合| 亚洲九九视频| 狠狠操狠狠| 99热人人| 超碰国产在线| 天天干天天干天天干天天干天| 五月丁香亭亭操逼| 9999三级片| 新激情五月天天在线网| 久久色五月天| 婷婷五月色| 79色色色色| 亚洲激情五月丁香久久久久| 五月噜噜| 99热精品9| 激情五月天啪啪| 欧美欧盟性爱网| 玖玖无码中文| 色激情综合| 成人av在线网址| 五月五月婷婷| 欧美日韩成人高清在线| 色婷婷五月天成人网| 婷婷久久婷婷| 七月激情六月婷婷综合在线播放| 超碰9在| 微拍92| 超碰熟女农村在线69| 国产精产国品一二三在观看| 610018岁成人视频| 九九色网专区| 色婷婷AV久久| 久久精品天| 亚洲无码 图片区| 青柠影视免费高清电视剧| 日韩另类| 日日干夜夜干| 精品国产乱码久久久久久免费| 色色99| 亚洲色另类| 亚洲九九视频| 亚洲爆乳无码精品AAA片蜜桃 | 日本色色色| 色色亚洲视频| 337p大胆噜噜噜噜噜91Av| 99热这里只有精品3| 丁香五月五月婷婷| 在线播放中文字幕| 色狠狠色噜噜AV天堂五区| 青柠影视免费高清电视剧| 禁欲电影完整版在线播放| 色婷婷电影网| av一级棒av| 国产精品天天狠天天看| 色呦呦在线| AV在线免费观看不卡| 色五月色开心开心五月| 亚洲爱婷婷| 亚洲AV无码成人精品区电影网| 五月婷婷九九久久| 97干欧美| .操區COm| 高清无码中文字幕aVDV| 五月婷婷丁香在线| 五月丁香网站| 亚洲中文字幕AV| 99热精品无码| 国产伦亲子伦亲子视频观看| 五月天婷婷激情六月久久| 五月九九综合| 日本久久人| 91凹凸在线| 99热人人| 婷婷AV丁香| 久久五月激情网| 99热99这里有免费的精品| 婷婷色网站| 色欲AV导航| 99热在线只有精品| 婷婷精品在线| 九九精品热| 日本熟妇乱妇熟色A片蜜桃| 国产成人AV| 99综合97| 婷婷久久免费| 日韩免费乱轮网站| Jh7Uf088VHafNm| 综合婷婷五月丁香在线观看| AV网站免费在线| 99热日韩| 97精品自拍视频| 激情四射网| 人人爱人人草| 3p九色在线| 久久无意婷婷| 综合色五月天| 亚洲俩性性爱图片久久第六页| 天天橾日日橾夜夜橾17| 五月丁香六月欧美综合网站| 99操视频| 亚洲12p| 亚洲无码猫咪| 久热人妻| 手机激情网| 五月花综合视频| 伊人久久大香线蕉av一区| 久久婷婷成人综合色怡春院| 91妻人人爽人人看片| 大香伊人婷婷影院| 综合色播| 96精品久久久久久久久| 开心亚洲久久开心| 激情五月小说婷婷| 思思精品视频| 婷久久高清| 影音先锋偷偷色男人站| 综合久久婷婷五月丁香| 五月天久久丁香| 67194中文字幕| 99久视频| 婷婷五月激情综合网| 激情五月天综合网| www.狠狠操.con| 激情五月婷婷六月丁香| 五月婷色| 美女久久天堂| 欧美久久婷婷| 色婷婷五月天小说网| 狠狠色噜噜狠狠狠888| 高清无码视频网址| 丁香五月激情五月色综合| 综合久久五月天| 久久亚洲色导航| 玖玖资源站中文| 亚州色婷婷| 96精品成人无码A片观看金桔| 国产免费av网站| 久久五月网| 五月婷丁香在线视频在线| 丁香五月天啪啪a日本| 99碰超| 成人做爰A片免费看网站找不到了| 超级碰碰视频无码| 高潮毛片遮挡费高一百度| 99re思思精品在线观看| 大香蕉啪啪| 国产精品人成A片一区二区| 伊人久热91网| 国产在线6| 色色色色色色网| 99爱视频免费| 大香蕉丁香| 狠狠婷婷色| 99热精品观看| 爱婷婷久久视频| 99玖玖免费视频| 大地9中文在线观看免费高清| 婷婷五月激情综合啪啪| 玖玖在线资源视频| 亚洲婷婷五月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 农村熟妇高潮精品A片| 综合色视频| 开心婷婷中文字慕| 久久五月天激情| 丁香六月婷婷色XXXXX| 亚洲9久久精品| 久久婷婷精品| 99精品大片| 丁香婷婷色五月| 91精品91久久久久77777| 爆乳熟妇一区二区三区爆乳照片| 可以免费看的av网站| 影音先锋一区二区三区| 91久久久久| 97操操| 婷婷丁香色情| 日日干夜夜干| av久热| 激情九九综合网| 狠狠爱综合网| 五月丁香啪。| 五月婷婷婷婷婷婷艺术| 亚洲最大视频| 夜夜躁婷婷AV| 精品久久66| www.婷婷五月天| 伊人五月婷婷国产视频| 69er小视频| 激情丁香社区| 人妻五月天激情开心网| 丁香六月天色婷婷| 婷婷成人五月天成人文学| 五月天婷婷涩涩| 丁香五月婷婷动漫视频| 在线播放中文字幕| 91丁香婷婷综合资源| 最新激情五月天| 久久婷狠狠色| 婷婷五月精品中文| 亚洲激情区| 久久伊人婷婷| 亚洲成人av在线观看| 国内裸舞二区| 操一区| www亚洲无码| 婷婷色香六月综合激情| 丁香五月电影| 久久超视频| 丁香五月天无码| 99精在线| 色吧五月婷婷| 激情深爱五月天| 97色 五月天丁香| 思思热久久阴99| 婷婷八月丁香激情综合| 五月天婷婷狂暴白浆| 婷婷五月天激情四射五月天激情| 丁香五月91| 五月色激情综合网| 天天操夜夜爱| 香蕉久久国产AV一区二区| 97久久久| 婷婷射图| 久久婷婷亚洲无码一起| 2025年最新亚洲在线欧美| 色婷婷六月| 日本精品99网站| 五月天另类小说| av一级棒av| 色色综合色视频| 99综合自拍| 婷婷丁香五月视频| 天天狠狠色| 午夜大香蕉| 国产67194| 久久99精品久久久久久噜噜| www.AV在线| 热99热9| 国产人妻人伦精品一区二区| 丁香婷婷五月天校园春色| 欧美视频五区| 九九色播五月丁香| 99热6精品| 天天日日| 色欲资源网| 精品影院| 狠狠人人| 91狠狠综合久久| 久操大香蕉| 精品99在线| 99re视频在线| 婷婷五月在线播放| 婷五月天| 亚洲99精品欧美一区| 不卡的AV网站| 亚洲XX日本| 少妇性按摩无码中文A片| 欧洲永久精品| 另类视频五月天| 91偷拍视频| 九九99热| 丁香婷婷九月| 亚洲操逼片| 狼友超碰| 黄色成人网站在线播放| 91丨九色丨白浆秘| 97人人操人人| 26UUU欧美激情一区二区| 九九热视频在线观看| 久热伊人在91| 色综合久久88色综合天天99| 97艹| 丁香婷婷激情五月天无毒不卡蜜桃| 91在线看片| 可以直接看的AV网站| 激情操逼婷婷| 五月婷婷啪啪网| 亚洲五月六月婷婷| 99亚洲色| 天天婬色综合| 思思精品视频| 五月天基地| 天天搞天天爽| 国产精品国产| 色色五月天网站| 日韩精品一区二区亚洲AV观看| 六月丁香激情| 久婷久婷| 婷婷五月天黄色| 色婷婷成人网| 久久99网站| 婷婷九月丁香| 综合啪啪| 色五月天.con| 99热这里只有精品9| 六月欧美综合色情| 欧美成人一区二区三区在线视频| 天天射天天射一道本日本社区| 熟女色色一区二区| 久久网思思| 欧美色男人网站| 色婷婷a三区麻| 曰本久久女| 久久精品亚洲热| 91热在线观看视频| 天天爽天天日| 99热1| 日本色婷婷| 丁香六月综合激情| 五月丁香综合网| 九九热只有精品6| 极品少妇高潮啪啪AV无码| 五月亭亭六月激情| 五月天婷婷激情六月久久| 五月深爱激情网| 国产人人操| 婷婷五月天美女21p| 日韩黄色网络| 色婷婷小说| 六月婷婷俺也去| 国产午夜精品AV一区二区麻豆| 天天爽天天透天天爱| 九九色网| 九九干视频| www婷婷| 久久性爱视频| 五月色婷婷AV| 亚州激情九月| 五月天伊人综合| 婷婷五月色情天| 婷婷五月天久久久| 亚洲成人乱码av网站| 五月丁香色色色| 天天狠狠六月婷丁香影院| 日本一级大片| 色婷婷综合网站| tingtingjiqingwuyue| 国产精品久久欧美久久一区| 天天天天天久久久久久| 久操97| 婷婷丁香五另类网站| 99er这里只有精品| co超碰在线观看| 五月婷婷真爱激情网| 97热久久| 日本天天操| xxx综合在线| 91色色色视频| 色五月婷婷av| 第四色色六月色综合| aV直接看| 婷婷五月激情图片| 日日爱678| 国产69久久久欧美黑人A片| 久久这里有精品视频在线免费观看| 婷五月天丁香婷五月| 中文AV在线播放| 伊人大香五月天| 欧州婷婷五月天综合| 日韩aaaaa| 91成人品| 婷婷情色开心五月天99| 免费视频99| 九九爱精品网站| 久草大| 久久婷婷五月| AV中文网| 天天干天天干天天干| 看婷婷五月天网| 五月丁香亭亭电影久久| 丁香五月婷婷五月天| www.日本久久videos| 91男人操女人视频| 91婷婷色 | 天天免费成年人视频| 九九在线91| 婷婷五月丁香久久| 六月天六月婷| 99超级碰碰| 五月天开心网| 久久精品人妻| 国产阿姨日皮艹逼内射视频 | 黑人糟蹋人妻HD中文字幕| 99热免费精品| 色很很96| 丁香五月天婷婷大香蕉| jiZZdr| 天天干com| 婷婷四色五月| 淫视馆av三区| 婷婷激情五月综合| 婷婷久久亚洲| 99色这里| 日逼影音先锋AV男人资源站| 九九無妻| 丁香五月天天高清在线| 天天插天天插天天操| 99色在线观看视频者| 色五月天丁香| 伊人丁香花综合影院| 久热超碰91| 被男人添B超爽视频| 丁香五月婷婷视频| 色五月丁香总合网| 九九色区| 午夜精品久久久久久久爽| 国产视频婷婷| 国产99美少妇| 婷婷久久内射| 91在线就要啪| 99ri精品| 婷婷综合精品视频97| 五月丁香A片| 伊人激情网| 五月天激情小说| 婷婷六月天激情| 久色成人| 欧美日韩成人高清在线| 国产精品人成A片一区二区| 日本久久人| 亚州视频九九99| 色婷婷A| 婷色影院| 囯产精品久久欠久久久久久九大| 爱婷婷都市激情| 婷婷六月丁香激情综合| 综激情网| 中文字幕综合色| 精品色| 精品久久久人妻| 99er6| 五月天伊人综合| 五月成人丁香av91| 五月天伊人网| 日韩淑女人妻luan伦激情精品一区二| 丁香五月综合在线| 狠狠色婷婷777| 97色综合视频| 五月丁香六月激情| 国产激情在线| 五月婷婷开心六月激情小说| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 婷婷亚洲五月丁香综合在线| 丁香激情网| 99热99日天天干| 人人爱操| 99热这里都是精品| 这里只有精品免费视频| 婷婷综合网伊人| 久久婷婷五月综合| 99久久精彩视频| 91妻人人爽人人看片| 在线中文字幕视频| 天天做天天爱| 久久思思热视频| 五月婷婷黄色| 青青草轻轻操| 色97啪啪| 欧美在线ee日韩| 伊人色综合网| 激情久久五月天| 玖玖热视频| 这里只有国产精品在线| 涩涩五月天综合| 综合久久97| 亚洲热久| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 亚洲偷| 大香蕉五月天婷婷| 99操视频| 日韩欧美成人片| 婷婷五月天激情五月天网站| 色色成人網| 国产在线中文字幕| 狠狠色丁香婷婷久久综合| 久久91久久精品久久| 深爱激情五月天| 中文字幕 码精品视频网站| 停婷丁五月在线| 影音先锋人妻出差| 内射丰满人妻| 色婷婷丁香五月天在线视频 | 狠狠干狠狠干| 丁香五月天激情视频| 99视频九九热| 婷婷五月天视频亚洲| 婷婷香五月综合激情| www婷婷亚洲| 人妻射精AV| 五月激情综合网| 久久WW| 天天艹| 91五月花丁香| 国产AV影片| 亚洲精品久久久久久久久久吃药| 99热这里只有精品2| 美女激情综合| 色五月五月婷婷| 色噜噜狠噜噜视频| 婷婷成年人免费视频| 婷婷五月伦理网站| 夜夜做夜夜愛| 人人操人av| 影音先锋 91工厂| 都市激情久久| 91欧美| 婷婷综合色| 婷婷五月天综合久久| 亚洲操B视频| 色婷婷啪啪| av五月丁香| 丁香99| 婷婷丁香五月天之开心少妇| 亚洲岛国电影| 97人人妻人人艹| 丁香伍月婷电影全集| 免看黄大片AA | 丁香网站| 777影视理论片大全在线观看| 丁香婷婷大香蕉| 久久ab| 婷婷五月天色| 99热在线观看免费精品| 99热这里全都是精品| 五月婷婷香| 久久婷综合| 激情久久五月天| 久久婷婷网| 日本色天堂| 51XX午夜影福利| 五月婷婷色色色| 久久五月丁香婷婷| 26UUU欧美| 色色色色色色色色综合网| 91久热| 色婷婷色99国产综合精品| 久久久久久综合88| 欧美成人A片AAA片在线播放| 九九性视频| 五月婷综合| 夜夜撸日日操| 国外亚洲成AV人片在线观看| 熟妇人妻中文字幕无码老熟妇| 丁香五月欧美午夜视频| 婷婷激情人妻| 人妻av在线| 99久久极情精品一区| 丁香婷婷久久| www.五月天| 九九热这里只有精品6| 亚洲五月婷婷| 激情内射人妻1区2区3区| 中国无码av| 免费日本aⅴ中文字幕| 9精品一区| xxxx五月天色色| 4438国产免费看| 久久99精品久久久久子伦| 色婷婷9| 激情综合色| 婷婷第六色| 美女婷婷六月色| jiujiu热在线视频| 婷婷丁香五月天欧美| 色色色欧美色色| 五月丁香婷婷激激激综合网色播| 99re鈥哸鈥唙| 亚洲天堂大香蕉| 五月丁香大香蕉| www.99视频| 六月天婷婷| 婷婷五月在线影院| 玖色色综合| 婷婷月综合| 99热福利| 3p日韩网站视频| 五月天久久www| 五月激情综合美女久久| 91视频一起草| 99热在线播放| 日韩无码AV电影网站| 九九在线91| 丁香密臀AV激情网| 九九热av| 婷婷在线五月天观看| 天天狠狠色| 六月激情婷婷| 激情九月婷婷| 国产日韩精品SUV| 最新国产AV| 国产成人AV在线播放| 天天开心天天色| 最新五月天婷婷影| 天天干com| 日亚二欧美| 久久婷婷五月| 婷婷欠久少妇| 淫荡A片| 色婷丁香| 无码G高清天| 噜噜噜精品欧美成人在线观看| 欧美婷婷成人| 26uuu最新地址| 欧美槡BBBB槡BBB少妇| 亚洲第二AV| 超碰在线人妻| 五月四色婷婷| 五月综合激情| 99爱爱| 91黄色五月天视频| 九色地址91视频| 看婷婷五月天网| 这里只有国产精品在线| 六月婷婷激情| 五月天婷婷色| 综合久久丁丁香婷| 97婷婷狠狠久久综合9色| 色六月丁香婷婷啪啪啪| 日日夜夜噜噜爽爽| 六月婷婷久久| 超碰v| 另类图片五月天婷婷| 五月天丁香网| 可以直接看的AV网站| 欧美三日本三级少妇三99| 国产成人+综合亚洲+天堂| 91av传媒高清在线视频网| 99内射视频| 久久久思思热| 狠狠狠夜夜夜| 日日夜夜婷婷| www,setingting| www99精品| 色色色色av777| A在线观看| AA片在线观看视频在线播放| 9 9热这里有精品| 五月丁香亚洲校园欧美| 丁香 婷婷 亚洲 熟女| 丁香色五月 97干| 婷婷在线中文字幕| 99狠狠| 色综合色综合婷婷热| 欧美日本va| 色五月天电影| 97性高潮久久久| 99色色热| 色五月激情五月| 丝袜大香蕉| 丁香六月婷婷社区| 五月停停直播| 丁香五月激情网| 亚洲成av人影院| 国产免费av在线| 日本无va视频| 久久最新色| 7EzOBIhNq85TO| 五月丁香久人妻中文| 天天添天天摸天天天天做| 99热大香蕉| 五月天丁香久久综合| 第五婷婷伊人丁香色| 五月婷婷影视| 色情综合| 1024在线视频| 九九免费视频在线| 青青草轻轻操| 综合AV网| 五月丁香婷婷中文| 岛国AV网| 性爱久久| 99热亚洲| 婷婷五月天在线观看第二页| www.婷婷| 婷婷欧美激情综合| www.色擼擼.com| 99色视频| 五月激情婷婷国产精品久久久久久| 五月婷婷成人w| 另类精品视频在线观看| 久久se 综合网| www.99热| 激情五月天婷婷在线网址发给我| 国产做爰视频免费播放| 色五月综合激情| 天天干狠狠艹| 精品亚洲国产成人A片在线鸭王| 丁香久久综合| 五月天激情小说婷婷基地| 综合激情站| 亚洲av无码精品色午夜| 色婷婷九月综合| 开心五月婷婷激情| 丁香六月婷婷色XXXXX| 五月婷婷五月天天| 99热这里只有精彩| 色五月婷婷自拍| 性生活久久人妻| 色婷婷丁香五月| 久久看婷婷| 久色欧美| 午夜天堂一区人妻| 久草天堂| 96丁香六月婷婷蜜桃综合久久| 久爱综合| 久er7久热| 中文字幕在线播放视频| 1024在线视频| 狠狠狠狠狠狠狠狠草| 99热手机在线精品| 久青操| 日本颜色视频人人爱| 色五月激情五月| 大香网伊人久久综合| 高清无码网址| 99综合97| 先锋资源996| 精品色色| 五月丁香亭亭操逼| 五月天天视频| 九97免费视频| 婷婷五月天激情综合网| 婷婷久久五月天| 日夜操B| 久9免费视频| 五月丁香综合精品欧美| 五月婷婷综合色啪| 久久久久人妻精品| 色色色婷| 久久九九国产精品怡红院| 超碰免费观看| 婷婷开心激情综合五月天| 激情五月综合网| 五月婷婷另类| 色99网| 激情九九六月激情免费视频| 日韩AV大全| 热久久999| 日韩av大全| 六月丁丁香| 丁香丁婷五月激情| 色色五月天婷婷| 欧美日本国产欧美日本韩国99 | www.99热视频| 超碰2021| 色性五月天| 色五天综合| 久久狠狠色| 97综合在线| 天天日天天做天天舔| 五月天婷婷影院| 99男人天堂| 丁香五月欧美午夜视频| 最新AV在线观看| 99热这里只有精品最新网址| 射婷婷中文字幕| 人妻久久久久久久久妻久久久久| 国产精品人成A片一区二区| 久久五月丁香伊人青草| 97色色网| site:901-07.com| 亚洲激情网| 久久五月婷婷电影| 五月亭亭直播| 91欧美| 激情五月婷婷网| 99操逼| 色99在线| 色色婷| 五月丁香啪啪| 超碰免费在线| 六月婷婷五月天| 婷婷偷拍网| 99综合久久| 99ri精品视频在线观看| 99自拍视频在线| 国产精品操| 亚洲人人操| 97极品在线| 五月婷婷色综图片| 婷婷射丁香| 影音先锋噜一噜| 九热精品| 五月天激情四射| a网站免费观看| 久久人人妻| 五月天天天操天天爽夜夜操| 五月天婷婷小说| 婷婷在线操| 亚洲深喉aV| 激情五月天小说视频| 9 7总站超级碰免费视频| 26uuu另类亚洲欧美日本一| 亚洲色区17| 99综合色| 久久五月天网| 99热亚洲| 精品乱码视频| 色色网站在线| 激情久久四色| 亚洲精品V天堂中文字幕| 婷婷5月开心6月| 亚洲最大成人综合网720P| 手机AVAV天堂看网| 日韩不卡123| 色婷婷久久综合中文久久一本| 9久久精品视频| 丁香五月婷婷五月天| 一起草Av| 丁香五月激情五月| 五月婷婷综合激情| 亚洲午夜在线视频| 五月婷婷丁香色播网| 精品九九婷婷| 色你久久| 色五月网址| 日本欧美成人片AAAA| 狠狠色综合777| 99在线视频观看| 色五月丁香婷婷在线观看| 婷婷丁香五月色偷偷| 久久99视频| 五月婷婷亚洲天堂激情在线| 天海翼中文字幕高| 精品亚洲VA网站| www.日本91| 99热啪啪| 五月香蕉综合| 色五月婷婷在线观看第一页舔| 深情五月天| 99超级碰碰| 亚洲精品大片| 97婷婷丁香五月天激情图片| 日日夜夜亚洲一区| 色五月婷婷五月天激情综合| 91久久综合| 91精品久久久久久77777| 久热99| 人妻丰满精品一区二区A片| 91wwmm导航| 伊人九九综合| 99久久极情精品一区| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 综合九九久久| 91九色熟女| 九九热a| 亚洲欧美在线观看| 久久久久久人妻久久久久久久久久人妻久久久 | 婷婷五月天综合久久| 超碰91在线| 日产精品久久久久久久蜜臀 | 色七七九九| 色五月成人婷婷| 99色热综合| 狠狠狠狠狠狠| 久热大香蕉| 人妻丰满精品一区二区A片| 婷婷五月av| 久操热| 青草视频在线播放| 久热这里只有精品6| 婷婷五月色| 亚洲中文字幕AV在线| 青青草五月天| 99精品久久| 狠狠色 综合色区| 草五月| 久草热在线视频| 五月天激情无码高清| 99视频日韩| www激情网| 国产免费一区二区三州老师F1F1……| 操碰99| 婷婷色五月天第7色| 婷婷六月丁综合| 黄色三级日本| 九九久久99| 五月丁香六月婷婷久久| 天天操夜夜操| WWW.99热| 99热9999| 91男人操女人视频| 久久这里只有精品热在99| 久久只有精| 国内熟女黄色系列| 99re热在线视频| 丁香久久五月天视频在线观看| 99人妻碰碰碰久久久久| 久久香蕉网| 精品三区影院| 婷婷的99视频网站| 国产精品久久久久久妇女6080| 99热在线观看免费精品| 伊人丁香六月婷婷| 综合九九日本| 亚洲中文字幕av| 五月婷亚洲精品| 人妻自慰在线| 久久女人九九| 久久99网| 日本va欧美va欧美| 婷婷精品视频| 色在线免费观看| 婷婷五月天影院| 。久久久久久久久久久久久久人妻| 91狠狠综合网| 婷婷五月激情欧美大胆视频| 五月婷婷激情| 五月涩涩网| 亚洲综合婷婷五月| 教师性爱毛片| 成人日韩欧美| 激情五月婷婷丁香综合网| 天天爱天天做天天日| 成人在线免费网址| 色五月婷婷五月天| 五月播播| 天天色情站| av婷婷丁香| 九月丁香婷婷| 99热这里只有精品2| 丁香亭亭久久| 97婷婷狠狠久久综合9色| 国产午夜精品AV一区二区麻豆| 99国产精品久久久久久久久久久| 开心亚洲久久开心| 另类视在线| 中字幕视频在线永久在线观看免费| 色综合天堂| 色色色色色爱| 久久99久久99久久99人受| 99情色五月天| 色玖玖| 婷婷色五月婷| 五月婷婷精品视频| 婷婷综合色图| 欧美日韩国产一二区| 九九亚洲| 色爱综合网| 深爱丁香激情| 99欧美| 丁香五月天社区婷婷| 99久久久99久久91熟女| 91九色中文字幕女在线观看| www.狠狠干com| 色啪综合| 中文av在线观看| 香蕉AV777XXX色综合一区| 久久久久久综合88| 天天爽,夜夜爽| 很很干在线视频| 影音先锋色婷婷| 婷婷干六月综合旧址| 第九色区av天堂| 色丁香久久| 欧美α√| 丁香五月婷婷丫| 国产99久久久| 九九热91| 激情 久久 婷婷| 日韩中文欧美| 五月天综合在线| 九九热在线视频,| 人妻狠狠操| 五月天婷婷AV| 91av视频| 九九色热| 五月停亭六月,六月停亭的英语| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 99情色五月天| 亚洲无码另类| 日本五月天一页| 超碰色综合| 图片区 小说区 区 亚洲五月| 97成人视频| 丁香五月123| 五月丁香怕怕综合| 激情小说五月丁香在线视频观看视频| 777精品成人a v久久| 97操男人的天堂| 亚洲中文乱字字幕在线永久| 天天综合久久| 99热最新| 色色色色色色97| 色色色视频免费无码| 久色网址| 99碰网站| 亚洲综合成人网站| 99婷婷精品推荐在线视频| 五月天婷婷久久| 殴美日比视频| 天天干一干| 天天色宗合| 大香蕉院线| 成人欧美一区二区三区在线观看| 大香蕉五月丁香| 97超碰在线免费观看| 九九精品婷| www.久久久久久久久久.com| 日本无码专区| 超碰人人色| 9久热| 色欧美影院| 玖玖婷婷五月天| 日日夜夜狠狠干| 亚洲色色精品| 97深爱伊人综合| 九九视频这里只有精品在线播放| 色 免费网站视频| 久久久性爱网| 天天干,天天操,天天射| 99啪视频在线观看| 五月丁香花激情啪啪网| 大香蕉 婷婷| 中文字幕 中文字幕明步| 亚洲综合视频在线| 五月花婷婷| 五月丁花六月丁香综合| 996日日爱| 五月丁香婷婷伊人| 五月婷婷色播网| 午夜色色色极品视频| 九九精品网站| 丁香五月婷婷激情小说| 六月激情婷婷| 九洲一级A片| www.maotanji.com| 丁香密臀AV激情网| www.99精品视频| 99热久97| 五月丁香五月丁香五月丁香五月丁香91| 五月天婷婷丁香人人操91| 丁香啪啪中文字幕| 开心婷婷五月综合| 好叼操在线观看| 99五月香婷婷丁香在线视频| 国产亚洲精品AAAA片APP| 疯狂做受XXXX高潮A片| 激情综合五月婷婷| 色99在线| 婷婷五月天小说| 在线99热| 99久久久| 国产69久久久欧美黑人A片| 五月婷婷综合在线| 色色99| 五月综合激情婷婷六月色窝| 97人人射| 人妻丰满精品一区二区A片| 大香蕉AV在线| 亚洲精品一区中文字幕乱码| 婷婷五月天综合网| 99久久久久| 五月丁香婷婷综合| 五月婷婷色色| 婷婷色六月| 婷婷社区五月天| 五月丁香综合啪啪| 亚洲综合色色色| 色99在线| 六月婷婷综合| 人妻丰满精品一区二区A片| 精品成人无码A片观看香草视频| 另类少妇人与禽zOZZ0性伦| 丁香五月大香蕉| 天天操综合网| 亚洲综合激情五月久久| 中字幕视频在线永久在线观看免费| 日逼影音先锋男人AV资源站| 亚洲99精品九九在线| 亚洲区1| www.91AV.COM| 丁香五月电影院在线观看| 久99热在线观看| 91超碰在线观看| 五月天激情综合网俺也去| 午夜色色色极品视频| 狠狠做五月婷婷| 午夜精品777| 丁香五月激情鲁| 天天日夜夜拍| 永久免费一区二区三区| 中文字幕综合网| 激情五月天婷婷五月天| 国产精品涩涩涩视频网站| 成人短视频在线观看| 无码成人AAAAA毛片AI换脸| 丁香五月大香蕉在线99| 九九色video| 精品导航在线x不卡| 五月香蕉婷婷| 日本3级片偷拍网站| 亚洲国产色婷婷| 天天操九九插| 色色欧美色色| 成年人丁香五月| 久久超级碰碰| 91美女被操| 久久久18| 老妇六区| 色婷婷精| 超碰99资源站| 婷婷在线精品| 婷婷成人综合免费视频| 国产裸舞福利资源在线视频| 天堂婷婷丁香六月网| 99热激情| 五月激情啪啪啪| 激情开心五月天| 99九九这里有免费视频| 99视频在线啪| www.激情com| 99久久综合网| 五月色丁香成人| 婷婷五月天日本无码| 蜜臀99精品| 色墦五月丁香| 白人荫道BBWBBB大荫道| 一本色道久久综合狠狠躁一二三| 婷婷国产五月天17c| 91操片| 久热这里只有精品3| 色婷婷在线视频综合| www.色擼擼.com| 精品久热69| 九九激情综合| 日本欧美成人片AAAA| 九九热内射| 五月天婷婷操逼视频| 99爱免费在线观看| 丁香色综合| 99A级片| 67194国产| 五月丁香六月停停停| 五月丁香六月成人| 久久色五月天| 99热色在线精品| 超碰在线超碰| 五月天精品| 99精品视频播放| 日本人人草草| 少妇日麻屄| 亚洲激情.com| 99综合久久| 五月丁香六月欧美综合网站| 在线观看免费观看在线9久| 五月丁香香蕉| 五月婷婷中文字幕| 精品国产乱码久久久久久免费| 丁香九色不卡aaa| 日本综合久久| 五月婷婷婷婷婷婷艺术| 五月丁香色综合| 久久98| 99热99精品在线观看| av久热| va婷婷在线免费观看| 五月婷婷五月天在线| 天天干天天干天天干天天干天天干| 欧美综合激情| 26uuu丁香婷婷五月| 婷婷丁香五月亚洲欧美| 五月丁香六月婷婷婷婷| 影视av久久久噜噜噜噜噜三级| 99爱视频| 热久91| 97碰久久| 五月综合激情视频| 五月天综合激情网| 风流少妇A片一区二区蜜桃| 九热视频精品| 888精品福利地址| 99热这里只有精品1| 久久久精品人妻| 久久久噜噜噜操操操| 欧美色婷婷| 婷婷丁香五月综合激情小说| 九九香蕉网| 91操人| 激情丁香五月AV| 狠狠狠婷婷五月综合| 婷婷五月天伊人网| 女人天堂AV| 婷婷五月激情综合啪啪| 欧美群妇大交乱婬网| 婷婷网五月天| 99爱爱| 综合九九久久| 五月综合激情图片| 婷婷五月综合体验看| 99热在线观看| 亚洲 视频 导航 一区| 全国最新疫情| 久久丝袜婷婷| 成人综合网站| 婷婷五月色综合| 小视频一区 | 久久xxxx| 日韩美女羞羞网站在线观看| 综合在线丁香五月| 91碰超| 99热香港| 亚洲另类电影| 人人草人人视| 色五月丁香网| 99久久婷婷综合| tingtingjiqingwuyue| 亚洲综合激情五月久久| WWW.桔色成人.COM| 欧美三级黄色片久久| 伊人婷婷激情| 六月丁香av| 99草在线免费观看视频| 丁香六月婷婷综合激情欧美| 激情五月天小说网| 99人妻碰碰久久久禁片| 67194成I人在线观看线路1| 五月婷婷网站| 日本一级一级一级一级| 操b视频在线观看一区二区| 丁香五月视频在线观看| 91大神操美女| 影音先锋一区二区资源站| 天天做天天爱天天爽夜夜揉| 六九色综合婷婷五月天| 五月色情| 九九色影院| 米奇影视资源777狠狠色婷婷五月天激情网| 精品激情| 色色综合热| 五月天另类综合网| 九九色人| 亚洲精品444久久久久久| www.爱操com.| 天天插综合| www.99久久久久99| 99视频精品8 |