欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Linux進(jìn)程管理全解析:從task_struct到調(diào)度與僵尸進(jìn)程

Linux進(jìn)程管理全解析:從task_struct到調(diào)度與僵尸進(jìn)程 你有沒有遇到過這種情況線上服務(wù)沒多少用戶量CPU 卻飆得離譜或者你 fork 完子進(jìn)程后父子進(jìn)程的打印順序完全不按你預(yù)期的來又或者一個程序明明不復(fù)雜卻頻繁卡頓、僵尸進(jìn)程堆積。這些問題看著五花八門追根溯源全部指向同一個領(lǐng)域——Linux 進(jìn)程管理。這篇內(nèi)容我會從內(nèi)核視角把進(jìn)程管理這條鏈路完整梳理一遍重點(diǎn)拆解兩個核心環(huán)節(jié)進(jìn)程是如何被創(chuàng)建的以及創(chuàng)建之后調(diào)度器又是如何決定“誰先跑、誰后跑、跑多久”的。同時會延伸到進(jìn)程退出、回收和僵尸進(jìn)程這些工程實(shí)戰(zhàn)中一定會踩到的場景基本覆蓋了從創(chuàng)建到調(diào)度、再到銷毀的完整生命周期。適合正在學(xué) Linux 內(nèi)核原理的學(xué)生也適合那些寫多進(jìn)程服務(wù)、做性能排查時經(jīng)常需要面對進(jìn)程模型的開發(fā)者和運(yùn)維。1. 進(jìn)程在Linux里到底是什么——從task_struct說起1.1 “進(jìn)程”不是抽象概念它就是一個結(jié)構(gòu)體實(shí)例教科書上說“進(jìn)程是運(yùn)行中的程序”這句話沒錯但對內(nèi)核開發(fā)者來說太朦朧了。在 Linux 內(nèi)核里進(jìn)程的本質(zhì)就是一塊數(shù)據(jù)一個叫task_struct的結(jié)構(gòu)體實(shí)例。內(nèi)核每創(chuàng)建一個進(jìn)程都會kmalloc出一塊內(nèi)存初始化一個task_struct然后把這個結(jié)構(gòu)體掛到全局任務(wù)鏈表上。進(jìn)程的切換、調(diào)度、信號處理、資源統(tǒng)計(jì)說白了都是在對這塊數(shù)據(jù)做操作。你ps看到一行輸出背后就是遍歷這一堆task_struct節(jié)點(diǎn)然后把字段打印成表格。task_struct是一個非常龐大的結(jié)構(gòu)體包含的字段有幾百個按職責(zé)大致可以分成這幾類職責(zé)代表字段作用狀態(tài)與調(diào)度state、se、prio、static_prio、normal_prio、rt_priority表示進(jìn)程當(dāng)前狀態(tài)、調(diào)度實(shí)體、優(yōu)先級內(nèi)存管理mm、active_mm指向進(jìn)程地址空間描述符文件系統(tǒng)fs、files記錄根目錄、當(dāng)前工作目錄、打開的文件表信號處理sigpending、signal掛起信號和信號處理函數(shù)身份與權(quán)限cred、uid、gid記錄用戶態(tài)身份和權(quán)限相關(guān)信息時間與統(tǒng)計(jì)start_time、utime、stime啟動時間、用戶態(tài)/內(nèi)核態(tài) CPU 時間資源限制rlim進(jìn)程可使用的資源上限用生活里的類比來說每個進(jìn)程像是一個在公司里的員工task_struct就是他的完整檔案袋。檔案里寫著他是誰、在哪個部門調(diào)度器、住哪內(nèi)存、負(fù)責(zé)什么項(xiàng)目文件描述符、上面有多少領(lǐng)導(dǎo)權(quán)限權(quán)限體系。調(diào)度器做決策的時候看的不是“人”就是這份檔案。1.2 在 Linux 里進(jìn)程和線程沒有那么涇渭分明很多人問“Linux 進(jìn)程和線程到底怎么區(qū)分”。答案可能會顛覆你的認(rèn)知在內(nèi)核視角下進(jìn)程和線程沒有本質(zhì)區(qū)別它們都是task_struct。區(qū)別只在于clone()系統(tǒng)調(diào)用時傳入哪些共享標(biāo)志如果父子進(jìn)程共享地址空間CLONE_VM、共享文件表CLONE_FILES、共享信號處理器CLONE_SIGHAND那看起來就是一個“線程組”里的多個線程。如果不共享這些東西各自擁有獨(dú)立的地址空間和資源這就是傳統(tǒng)意義上的“進(jìn)程”。所以 Linux 里的線程準(zhǔn)確叫法是輕量級進(jìn)程Lightweight Process。你平時用ps -eLf可以看到一個進(jìn)程對應(yīng)的多個線程每行一個task_structLWP 就是線程 ID。我實(shí)際排查線程問題時踩過一個坑用top看某個進(jìn)程 CPU 占用不高但整個系統(tǒng)負(fù)載很高。后來用top -H -p PID按線程查看才發(fā)現(xiàn)是其中一個線程在死循環(huán)。這就是因?yàn)檫M(jìn)程是一種“資源容器”CPU 調(diào)度其實(shí)是針對于線程內(nèi)核可調(diào)度實(shí)體進(jìn)行的并不以進(jìn)程為最小單位。2. 進(jìn)程的誕生fork、寫時復(fù)制與執(zhí)行流切換2.1 fork 的語義調(diào)用一次返回兩次Linux 創(chuàng)建進(jìn)程最經(jīng)典的方式就是fork()。這個系統(tǒng)調(diào)用的語義在大學(xué)課本里就寫著調(diào)用一次返回兩次。如果是父進(jìn)程成功調(diào)用fork()內(nèi)核會在父進(jìn)程的地址空間基礎(chǔ)上復(fù)制一份子進(jìn)程的task_struct然后讓父進(jìn)程返回子進(jìn)程的 PID讓子進(jìn)程返回 0。這樣程序里就能通過返回值判斷自己是父還是子#include stdio.h #include unistd.h int main() { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } if (pid 0) { printf(子進(jìn)程PID%d父進(jìn)程PID%d\n, getpid(), getppid()); } else { printf(父進(jìn)程PID%d子進(jìn)程PID%d\n, getpid(), pid); } sleep(1); return 0; }編譯運(yùn)行g(shù)cc -o fork_demo fork_demo.c ./fork_demo你會發(fā)現(xiàn)輸出兩行但順序不一定固定。父和子誰先運(yùn)行完全由調(diào)度器決定。如果你假設(shè)父進(jìn)程一定先執(zhí)行大概率會寫出有并發(fā) Bug 的程序。fork 失敗的情況也得留意。最常見的原因是進(jìn)程數(shù)達(dá)到RLIMIT_NPROC限制或者內(nèi)存不足申請不到內(nèi)核態(tài)數(shù)據(jù)結(jié)構(gòu)。線上服務(wù)器如果 fork 頻繁報 EAGAIN首先去查是不是某個系統(tǒng)服務(wù)把進(jìn)程數(shù)打滿了。2.2 寫時復(fù)制COW為什么 fork 可以這么快早期 Unix 的fork()確實(shí)會完整復(fù)制父進(jìn)程的地址空間包括所有物理頁。后來工程師們想明白一個關(guān)鍵問題fork 之后絕大多數(shù)情況是緊接著調(diào)用exec()加載新程序父進(jìn)程的整個地址空間很快就會被覆蓋丟棄前面復(fù)制那么多頁純屬浪費(fèi)。于是內(nèi)核引進(jìn)了寫時復(fù)制Copy-on-Write機(jī)制。原理一句話概括fork 的時候內(nèi)核不會復(fù)制父進(jìn)程的物理頁只是把父進(jìn)程的頁表復(fù)制一份并把父子進(jìn)程頁表中所有可寫頁表項(xiàng)標(biāo)記為只讀。父子進(jìn)程的虛擬地址此時映射到同一個物理頁。誰先嘗試寫這個頁面誰就會觸發(fā)缺頁異常內(nèi)核在異常處理里做真正的物理頁復(fù)制、更新頁表權(quán)限然后重放這條寫指令。這個過程快在哪fork 本身只需要復(fù)制頁表不需要復(fù)制物理內(nèi)存時間復(fù)雜度大大下降。只有實(shí)際發(fā)生寫入的頁面才會被復(fù)制很多“復(fù)制后不寫”的場景開銷為零。如果 fork 后立刻exec()幾乎不會觸發(fā)缺頁復(fù)制開銷極小。這也是為什么一些 Web 服務(wù)器喜歡用 fork 模型每次都復(fù)制一個很大的進(jìn)程出來但在 exec 之前只做很少的操作整體成本可控。2.3 fork 的變體與 exec工程里到底怎么用真實(shí)工程里直接用裸fork()的情形其實(shí)不算多因?yàn)榇蠖鄶?shù)語言運(yùn)行時會自己做封裝。但你理解原理之后看 C/C 里的pthread_create、Python 的multiprocessing底層就不虛了。fork()有三個值得注意的親戚系統(tǒng)調(diào)用行為典型場景fork()復(fù)制進(jìn)程配合 COW父子獨(dú)立地址空間經(jīng)典進(jìn)程創(chuàng)建vfork()不復(fù)制頁表父進(jìn)程阻塞子進(jìn)程共享父進(jìn)程地址空間直到子進(jìn)程 exec 或退出嵌入式/內(nèi)存受限環(huán)境現(xiàn)在基本被 forkCOW 替代clone()通過 flags 精細(xì)控制父子共享哪些資源pthread_create的底層實(shí)現(xiàn)再來看exec系列。這里有個常見誤區(qū)exec 不是創(chuàng)建進(jìn)程而是替換進(jìn)程。execve()系列系統(tǒng)調(diào)用execl、execlp、execvp等會把當(dāng)前進(jìn)程的代碼段、數(shù)據(jù)段、堆、棧全部換成新可執(zhí)行文件的內(nèi)容但進(jìn)程的 PID、打開的文件描述符默認(rèn)情況下等保持原樣。所以整個生命周期是fork()創(chuàng)建新進(jìn)程。子進(jìn)程調(diào)用exec()加載目標(biāo)可執(zhí)行程序。父進(jìn)程wait()回收子進(jìn)程。這條鏈路從 Unix 時代延續(xù)至今Linux 上跑任何程序的本質(zhì)都是這一套組合拳。提示很多人分不清“執(zhí)行一個程序”和“創(chuàng)建一個進(jìn)程”。執(zhí)行程序必然先創(chuàng)建進(jìn)程或者復(fù)用當(dāng)前進(jìn)程但創(chuàng)建進(jìn)程之后不一定 exec。比如環(huán)境變量設(shè)置、命令行解析這些邏輯都得在 exec 之前做好準(zhǔn)備。3. 調(diào)度器的核心機(jī)制vruntime、CFS與調(diào)度類3.1 調(diào)度器演進(jìn)從遍歷所有進(jìn)程到紅黑樹選最左節(jié)點(diǎn)說完了進(jìn)程怎么來接下來是主角調(diào)度器。它的任務(wù)可以濃縮成一句話——多個進(jìn)程都在可運(yùn)行隊(duì)列里CPU 到底給誰。Linux 調(diào)度器歷史上經(jīng)歷過三個階段O(n) 調(diào)度器2.4 時代每次調(diào)度都要遍歷整個運(yùn)行隊(duì)列計(jì)算每個進(jìn)程的優(yōu)先級、當(dāng)前狀態(tài)等。進(jìn)程數(shù)量多了以后調(diào)度本身消耗的 CPU 時間線性上升這在高負(fù)載服務(wù)器上完全不可接受。O(1) 調(diào)度器2.6 早期引入 active / expired 兩個優(yōu)先級數(shù)組調(diào)度時間變成常數(shù)級。它更重視響應(yīng)速度但對“公平性”的理解比較粗暴交互式進(jìn)程體驗(yàn)不穩(wěn)定。CFS完全公平調(diào)度器2.6.23 之后不再用優(yōu)先級數(shù)組而是維護(hù)一棵紅黑樹用虛擬運(yùn)行時間vruntime作為鍵值每次取最左葉子節(jié)點(diǎn)作為下一個運(yùn)行進(jìn)程。名字叫“完全公平”但實(shí)際是通過權(quán)重實(shí)現(xiàn)“按比例公平”不是絕對平均?,F(xiàn)在的 6.x 內(nèi)核又在 CFS 基礎(chǔ)上引入了 EEVDF最早虛擬截止時間優(yōu)先理念有些變化但 CFS 的虛擬時間模型依然是理解這一切的地基所以我們從 CFS 講起。3.2 核心概念vruntime 是怎么算出來的CFS 的關(guān)鍵變量是vruntime翻譯過來叫“虛擬運(yùn)行時間”。每個進(jìn)程更準(zhǔn)確說是每個調(diào)度實(shí)體都維護(hù)一個自己的vruntime。進(jìn)程運(yùn)行的時間越長vruntime就越大。內(nèi)核每次選擇下一個進(jìn)程時就從紅黑樹里挑出vruntime最小的那個進(jìn)程來運(yùn)行。這樣做的好處很直觀哪個進(jìn)程欠的 CPU 時間最多就先補(bǔ)給他。vruntime的增長速度并不是簡單的 1:1而是經(jīng)過權(quán)重?fù)Q算delta_vruntime delta_exec * NICE_0_LOAD / se_load其中NICE_0_LOAD 1024se_load是當(dāng)前進(jìn)程的權(quán)重。權(quán)重的來源就是 nice 值。nice 值范圍是 -20 到 19內(nèi)核里通過一張靜態(tài)映射表把它轉(zhuǎn)換成權(quán)重nice 值權(quán)值-2088761-109546010245335101101915從這個表格能看到兩個要點(diǎn)。第一nice 0 的進(jìn)程權(quán)重就是 1024vruntime增長速度和真實(shí)運(yùn)行時間一致。第二nice 值每降低一級權(quán)重約增加 1.25 倍每提高一級權(quán)重約減少 0.8 倍。但權(quán)重差不是均勻的。nice 0 到 nice 19 權(quán)重相差約 68 倍。所以如果一個 nice 0 的進(jìn)程和一個 nice 19 的進(jìn)程同時競爭一個 CPUnice 19 的進(jìn)程幾乎跑不動它的vruntime漲得飛快很快就被紅黑樹推到右邊。為了讓你更直觀地感受假設(shè) nice 0 進(jìn)程運(yùn)行 1ms它的vruntime增加 1ms同樣是 1ms 運(yùn)行時間nice 19 進(jìn)程的vruntime增加約1 * 1024 / 15 ≈ 68ms。這就是“低優(yōu)先級進(jìn)程得到更少 CPU”在數(shù)學(xué)上的精確表達(dá)。3.3 為什么是紅黑樹而不是鏈表或數(shù)組這個問題我面試時經(jīng)常被問到。原因很樸素CFS 需要頻繁做兩種操作——插入新喚醒的進(jìn)程、刪除運(yùn)行中的進(jìn)程、找出最小vruntime節(jié)點(diǎn)。鏈表查找最小值是 O(n)數(shù)組插入刪除涉及移動都不適合大量進(jìn)程的場景。紅黑樹能在 O(log n) 時間內(nèi)完成插入、刪除、查找最小節(jié)點(diǎn)平衡操作又能控制樹的深度保證最壞情況下性能也可接受。實(shí)際代碼里調(diào)度器直接把紅黑樹的最左葉子節(jié)點(diǎn)作為下一個要運(yùn)行的進(jìn)程。這棵樹的根在 per-CPU 運(yùn)行隊(duì)列的cfs_rq結(jié)構(gòu)里如果兩個 CPU 上各有一個cfs_rq調(diào)度就是各跑各的只有發(fā)生負(fù)載均衡時才會把進(jìn)程從忙的 CPU 遷移到閑的 CPU。3.4 調(diào)度類不同需求的進(jìn)程走不同的“車道”CFS 管的是普通進(jìn)程但 Linux 里還活著多種調(diào)度需求。為了靈活處理內(nèi)核把調(diào)度器代碼抽象成了“調(diào)度類”sched_class每個task_struct都會掛到某個調(diào)度類下面。從高優(yōu)先級到低優(yōu)先級核心調(diào)度類大致如下調(diào)度類優(yōu)先級典型用途stop_sched_class最高停止 CPU、CPU 熱插拔等內(nèi)核內(nèi)部任務(wù)dl_sched_class高Deadline 調(diào)度嚴(yán)格保證最晚完成時間用于實(shí)時任務(wù)rt_sched_class較高SCHED_FIFO / SCHED_RR傳統(tǒng)實(shí)時調(diào)度fair_sched_class中CFS普通進(jìn)程idle_sched_class最低每個 CPU 的空閑進(jìn)程調(diào)度器選擇進(jìn)程時會從高優(yōu)先級調(diào)度類開始找只有當(dāng)前調(diào)度類沒有可運(yùn)行任務(wù)才會往下走。這就是為什么實(shí)時進(jìn)程能搶占普通進(jìn)程的原因rt_sched_class 在 fair_sched_class 前面。rt 調(diào)度類內(nèi)部又有兩種策略SCHED_FIFO先進(jìn)先出。相同優(yōu)先級的任務(wù)先到先跑沒有時間片的概念直到任務(wù)自己阻塞或退出或者更高優(yōu)先級的任務(wù)出現(xiàn)。SCHED_RR時間片輪轉(zhuǎn)。同優(yōu)先級的任務(wù)輪流運(yùn)行時間片用完就排到隊(duì)尾。用實(shí)時策略時要特別謹(jǐn)慎。如果系統(tǒng)里有一個 SCHED_FIFO 的死循環(huán)進(jìn)程普通進(jìn)程包括 shell、監(jiān)控程序完全得不到 CPU系統(tǒng)看起來就像死機(jī)了鍵盤和鼠標(biāo)都無響應(yīng)。這也是為什么設(shè)置實(shí)時策略需要 root 權(quán)限或CAP_SYS_NICE權(quán)限。3.5 上下文切換的代價為什么更推薦線程調(diào)度器做出決策后就要執(zhí)行上下文切換。這個操作不是簡單切換寄存器而是要保存當(dāng)前進(jìn)程的 CPU 現(xiàn)場恢復(fù)下一個進(jìn)程的現(xiàn)場。進(jìn)程間的上下文切換開銷更大因?yàn)閮蓚€進(jìn)程有不同的地址空間內(nèi)核需要切換內(nèi)核棧。切換 CR3 寄存器使 MMU 指向新進(jìn)程的頁表。刷新 TLBTranslation Lookaside Buffer。重置流水線狀態(tài)新進(jìn)程的指令和數(shù)據(jù)基本都在冷緩存里后續(xù)訪問會頻繁 miss。線程之間切換就好一些它們共享地址空間CR3 不變TLB 也基本不用全部刷新只是切換棧、寄存器、指令指針。所以在高并發(fā)場景里線程模型往往比進(jìn)程模型有更好的上下文切換性能。我在做性能優(yōu)化時測過一個處理服務(wù)用進(jìn)程模型每秒只能承受約 2 萬請求換成線程模型以后接近 5 萬主要差距就是上下文切換的 TLB miss 少了很多。4. 優(yōu)先級、nice值與CPU綁定不知道這些命令等于白搭4.1 nice 值給低優(yōu)先級進(jìn)程“讓路”在用戶態(tài)絕大多數(shù)進(jìn)程都是普通進(jìn)程走 CFS。你能直接用到的干預(yù)手段就是 nice 值。nice名字本身就很有意思——“禮貌”。你的進(jìn)程越禮貌nice 值越大越把 CPU 讓給別人。啟動時指定 nice 值nice -n 10 ./cpu_bound_process對已運(yùn)行的進(jìn)程調(diào)整renice -n 5 -p 1234這里有個很實(shí)際的規(guī)則普通用戶只能把 nice 值調(diào)高讓優(yōu)先級更低不能調(diào)低讓優(yōu)先級更高。比如你自己啟動一個進(jìn)程你可以把自己的進(jìn)程從 nice 0 改成 nice 10但不能改成 nice -10因?yàn)檎{(diào)低優(yōu)先級會搶占其他用戶進(jìn)程的資源內(nèi)核不讓你這么干。只有 root 或者有CAP_SYS_NICE權(quán)限的進(jìn)程才能隨便調(diào)。從實(shí)測角度一個 nice 0 的 CPU 密集進(jìn)程和一個 nice 19 的 CPU 密集進(jìn)程在單核上跑nice 19 的進(jìn)程能被分配到的 CPU 時間會少到讓任務(wù)幾乎無法完成。做批處理任務(wù)時經(jīng)常用 nice 調(diào)低優(yōu)先級避免影響了線上服務(wù)的響應(yīng)。4.2 chrt實(shí)時調(diào)度策略的正確用法如果你需要嚴(yán)格保障某個任務(wù)的最壞情況響應(yīng)時間普通 CFS 滿足不了可以考慮實(shí)時調(diào)度策略。chrt就是設(shè)置實(shí)時策略和優(yōu)先級的工具# 以 SCHED_FIFO 策略運(yùn)行優(yōu)先級 50 chrt -f 50 ./realtime_task # 以 SCHED_RR 策略運(yùn)行優(yōu)先級 30 chrt -r 30 ./realtime_task # 查看當(dāng)前進(jìn)程的調(diào)度策略 chrt -p $$實(shí)時優(yōu)先級范圍是 1~99數(shù)字越大優(yōu)先級越高。普通進(jìn)程的 nice 值范圍是 -20~19和這個實(shí)時優(yōu)先級完全是兩套體系不要混淆。什么場景適合用實(shí)時調(diào)度音頻采集、工業(yè)控制、高頻交易這種對抖動極其敏感的任務(wù)它們需要的是“到了時間就必須運(yùn)行”的硬保證。普通 Web 服務(wù)完全沒必要用了反而有風(fēng)險。我親眼見過有人給一個日志處理進(jìn)程設(shè)了 SCHED_FIFO 高優(yōu)先級結(jié)果它占住 CPU 不放數(shù)據(jù)庫主進(jìn)程餓死整個服務(wù)雪崩。實(shí)時優(yōu)先級不是越高越好它的本質(zhì)是搶占權(quán)必須控制使用范圍。4.3 taskset 與 NUMA綁核要不要用再往下一層是 CPU 親和性CPU affinity。用taskset可以把進(jìn)程綁定到指定的 CPU 核心上# 將進(jìn)程綁定到 CPU0 和 CPU1 taskset -c 0,1 ./cpu_bound # 綁定到 CPU0~3 的任意核心 taskset -c 0-3 ./cpu_bound # 修改已有進(jìn)程的綁定 taskset -pc 0 1234綁核的價值主要體現(xiàn)在緩存和 NUMA 上。如果一個進(jìn)程在多核之間來回遷移它的熱數(shù)據(jù)在 L1/L2 緩存里反復(fù)失效性能損耗明顯。綁定到固定核心后一級二級緩存能保持相對熱度。在 NUMA 架構(gòu)下進(jìn)程訪問本地內(nèi)存和遠(yuǎn)端內(nèi)存的延遲差距能達(dá)到數(shù)倍把進(jìn)程綁定到內(nèi)存所在節(jié)點(diǎn)的本地 CPU 上能顯著降低內(nèi)存訪問延遲。但綁核也不是越多越好。綁定后調(diào)度器就不能在這個進(jìn)程上做負(fù)載均衡了。如果該 CPU 核心本身已經(jīng)很忙其他核心很閑綁核反而會浪費(fèi)算力。我的建議是先不要綁核用性能分析工具比如perf觀察確認(rèn)緩存 miss 和遠(yuǎn)程內(nèi)存訪問是瓶頸再考慮綁定別一上來就綁。5. 進(jìn)程的“身后事”退出、回收與僵尸進(jìn)程5.1 從 exit 到 do_exit進(jìn)程退出到底清理了什么進(jìn)程退出不是簡單的“內(nèi)存釋放”。當(dāng)進(jìn)程調(diào)用exit()或者從 main 函數(shù)返回時內(nèi)核會執(zhí)行do_exit()整個清理過程大概涵蓋釋放用戶態(tài)地址空間mm銷毀頁表和物理頁面。關(guān)閉進(jìn)程打開的所有文件描述符。釋放文件系統(tǒng)相關(guān)結(jié)構(gòu)當(dāng)前目錄引用等。向父進(jìn)程發(fā)送 SIGCHLD 信號喚醒正在 wait 的父進(jìn)程。把進(jìn)程狀態(tài)設(shè)置為僵尸ZOMBIE保留最小信息等待父進(jìn)程回收。注意最后一步。進(jìn)程死了但task_struct并沒有立刻消失。它會以一個僵尸狀態(tài)繼續(xù)留在進(jìn)程表里直到父進(jìn)程調(diào)用wait()或waitpid()來讀取退出狀態(tài)。5.2 僵尸進(jìn)程為什么內(nèi)核不立刻清干凈新同學(xué)第一次看到僵尸進(jìn)程時通常會問既然進(jìn)程都結(jié)束了為什么不立刻回收掉答案是父進(jìn)程有權(quán)知道子進(jìn)程的退出碼。比如一個子進(jìn)程因?yàn)槟承┬r?yàn)失敗而退出退出碼是 3。父進(jìn)程需要拿到這個 3 來判斷子進(jìn)程為什么退出。內(nèi)核必須有地方存這個退出碼又不能為此保留整個地址空間所以就在進(jìn)程表里留下一個最小化的task_struct里面主要是 PID、退出碼、資源統(tǒng)計(jì)、時間統(tǒng)計(jì)。所以僵尸進(jìn)程占用的資源其實(shí)很少它本身沒問題。真正的問題在于如果父進(jìn)程一直不 wait僵尸進(jìn)程就會一直累積。大量僵尸會消耗 PID 表項(xiàng)讓系統(tǒng)無法創(chuàng)建新進(jìn)程。同時運(yùn)維看top的時候滿屏 zombie會嚴(yán)重影響排障判斷。一個經(jīng)典的制造僵尸進(jìn)程的 C 代碼是這樣的#include stdio.h #include unistd.h #include sys/wait.h int main() { pid_t pid fork(); if (pid 0) { // 子進(jìn)程立即退出 return 0; } // 父進(jìn)程不調(diào)用 wait直接掛起 sleep(30); return 0; }編譯運(yùn)行后另開一個終端執(zhí)行ps -el | awk $2 Z你就能看到狀態(tài)為 Z 的僵尸進(jìn)程。父進(jìn)程睡 30 秒后退出僵尸會被系統(tǒng)收養(yǎng)并回收就消失了。5.3 排查和清理僵尸進(jìn)程的實(shí)戰(zhàn)流程在線上服務(wù)器碰到僵尸進(jìn)程第一步不是急著 kill而是理清父子關(guān)系。推薦按這個順序排查# 1. 找出所有僵尸進(jìn)程 ps -el | awk $2 Z # 或 top -b -n 1 | grep zombie # 2. 看僵尸進(jìn)程的父進(jìn)程是誰 ps -o ppid -p zombie_pid # 3. 看父進(jìn)程到底在干什么 ps -fp ppid處理方式取決于父進(jìn)程的情況如果父進(jìn)程是我們的服務(wù)進(jìn)程那問題大概率是代碼里 fork 了子進(jìn)程卻沒有調(diào)用 wait或者只 wait 了一個、另一個沒處理。正確做法是補(bǔ)上waitpid(-1, NULL, WNOHANG)循環(huán)。如果父進(jìn)程是可以安全的重啟或 kill 的進(jìn)程直接把父進(jìn)程 kill 掉它的孤兒進(jìn)程們會被 systemd 收養(yǎng)systemd 會循環(huán) wait 回收僵尸自然消失。如果父進(jìn)程是不能動的重要進(jìn)程可以用SIGCHLD信號處理器或者現(xiàn)成的子進(jìn)程管理器來做回收。提示硬 kill 僵尸進(jìn)程kill -9 zombie_pid是沒有意義的。內(nèi)核里它已經(jīng)“死”了kill 信號不會起任何作用。能做的只有從父進(jìn)程層面去 wait或者干掉父進(jìn)程讓子進(jìn)程被收養(yǎng)。5.4 孤兒進(jìn)程父進(jìn)程沒了誰來管和僵尸進(jìn)程經(jīng)常一起出現(xiàn)的是孤兒進(jìn)程——父進(jìn)程先退出子進(jìn)程還在運(yùn)行。正常情況下子進(jìn)程的父進(jìn)程字段ppid會被改成 1也就是被 init 進(jìn)程現(xiàn)在一般是 systemd收養(yǎng)。systemd 作為祖先會在子進(jìn)程退出時主動調(diào)用wait完成回收。所以孤兒進(jìn)程只要不自己掛住一般不會變僵尸。在容器化環(huán)境里有個細(xì)節(jié)值得注意容器往往沒有完整的 init 進(jìn)程如果容器里的 1 號進(jìn)程不是專門負(fù)責(zé)收尸的 init就可能導(dǎo)致容器內(nèi)的孤兒進(jìn)程沒人回收積累成僵尸。這也是很多容器基礎(chǔ)鏡像額外引入tini之類 init 程序的原因。5.5 不可中斷睡眠 D 狀態(tài)和僵尸不是一回事排查進(jìn)程狀態(tài)時除了 Z還經(jīng)常會看到 D不可中斷睡眠狀態(tài)。D 狀態(tài)通常意味著進(jìn)程正在等待內(nèi)核態(tài) IO比如等待磁盤寫入完成、等待 NFS 響應(yīng)這期間信號殺不掉它因?yàn)閮?nèi)核正在做一些不能半途而廢的操作。大量 D 狀態(tài)進(jìn)程基本說明底層 IO 子系統(tǒng)出問題了比如存儲卡死、網(wǎng)絡(luò)文件系統(tǒng)超時。這種情況排查重點(diǎn)不在進(jìn)程層而是去查存儲和網(wǎng)絡(luò)。我處理過一例 MySQL 實(shí)例無響應(yīng)ps一看幾十個 D 狀態(tài)線程最后定位到是底層存儲設(shè)備故障和數(shù)據(jù)庫配置沒什么關(guān)系。結(jié)尾一點(diǎn)個人體會進(jìn)程管理這塊內(nèi)容學(xué)的時候確實(shí)枯燥但每次線上出問題最后都會回到這些基礎(chǔ)概念。我自己排查過不少 CPU 飆高、服務(wù)掛起的問題最開始的判斷往往不是代碼邏輯而是先看進(jìn)程狀態(tài)、調(diào)度策略、優(yōu)先級這幾個入口。其中 fork 和 wait 的配合、僵尸進(jìn)程和孤兒進(jìn)程的機(jī)制、實(shí)時調(diào)度策略的使用邊界這三個點(diǎn)踩過坑以后就再也忘不掉了。如果你剛接觸 Linux建議不要只盯著top那一排數(shù)據(jù)而是抽時間親手跑一遍 fork、wait、taskset、chrt 的示例看看進(jìn)程狀態(tài)在ps -el里怎么變化。只要把這些實(shí)驗(yàn)做一遍你對“進(jìn)程是怎么活過來又是怎么被安排運(yùn)行的”這件事的理解會比看十篇文章都深刻。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天干,夜夜爽| 31色区视频免费看| 色婷婷影音| 99热这里是精品| 99色色爰| 51精品国自产在线| 五月婷婷综合精品| 亚洲AV第二区国产精品| 超碰在线人人| 久色视频首页| 久久婷鲁| 九热精品| 色婷婷狠狠干| 色综合久久久综合久久网| 逼逼AV| 日韩av一区二区在线/日产精品久久久 | 日本色色网| 亚洲 精品 综合 精品| 五月丁香影视| 春色激情第四色| 国产日产亚系列精品版优势| 操日挥操日日| 国产99久久久| 欧美顶级少妇做爰HD| 国产一区男女| 精品亚洲国产成AV人片传媒| 狠狠精品干练久久久无码中文字幕| 久久久噜噜噜www成人| 色婷婷丁香| 五月天停停日日| www.超碰在线| 特级片神马电影| 五月激情久久| 日韩色色视频| 九九色热视频| 激情综合区| 日日操天天操| 激情五月天电影| 色婷婷色九月| 国产肥白大熟妇BBBB视频| 色五月天在线| 久久免费9| 婷婷五月天社区| 9999热这里只有精品| 玖玖婷婷免费| 97色色色色色| 俺去也五月| 久久久大香蕉| 丁香av网| 国产成人+综合亚洲+天堂| 激情久久五月网| 六月婷婷网| 这里只有精品视频在线| 五月色影院| 丁香五月婷婷啪| 99色色| 亚洲欧美另类在线23p| 色99在线观看| 精品操逼一区二区| 日日夜夜干| 五月天激情AV| 啪啪啪啪五月天| 99re视频在线| 久久五月婷综合| 亚洲va成人va成人va在线观看| 99碰在线视频| 玖玖爱伊人网| 99精品视频在线观看| 久久色天堂| 熟惀91九色在线| 亚洲五月天另类小说图片| 99热在线精品播放| 五月丁香婷婷激情图片| 嫩草AV久久伊人妇女超级A| 久久精品视频在这里有| 五月丁婷婷| 久久久99婷婷久久久久久| 熟女激情五月天| 色五月丁香在线| 亚洲成人AV在线观看| 五月激情丁香啪啪| 欧美性猛交 XXXX 乱大交| 六月婷婷在线| 亚洲va欧美va国产综合久久久| 丁香花五月天社区| 日韩成人影片网站| 激情綜合W W W,激情五月天| 国产97色在线| 天天夜天天色天天| 一本久久亚洲五月婷婷| 99成人网一区| 大香蕉婷婷五月天| 99精品在线观看视频| 九九伊人网| 婷婷的色色五月天| 狠狠xx| 影音先锋色色色资源色资源色| 五月丁香免费视频| 丁香六月婷婷综合啪啪| 思思久久青草热| 日韩人妻无码一区二区| 超碰狠狠操| 久久婷婷五月综合一| XX久久| 婷婷激情五月天亚洲综合| 99热9999| 超碰激情网| 九九超日本| 色婷婷丁香花五月天| 综合色色网| 婷婷综合五月天| 亚洲综合激情五月| 婷婷综合色五月天| 五月丁香花婷婷玉莉AV| 五月天影院| 欧美大奶熟女噜噜噜噜| 色色色精品无码区| 热99视频精品| 丁香五月色综合色播五月| 神马欧美精| 五月婷婷综合成人| 久久九九99.www| 青青青在线视频国产| 夜夜操天天干| 五月激情啪啪| 色色婷婷五月天| 97久久视频| 岛国AV网| 九九性爱网| 亚洲色激情| site:ornaments52.com| 亚洲第一精品网站| 久久超视频| 激情五月天天狠狠久久| 亚洲精品无码久久| 99色热视频| 久久亚洲天堂| 激情www| 婷婷五月综合激情免费| 黄网在线观看免费| 婷婷开心激情| 91婷婷| 激情丁香五月| 热久久999| 青青草免费公开视频| 99热啪啪| 91丨九色丨首页| 综合色在线| 婷婷狠狠综合网入口| 99久久超级| 婷婷色色色| 婷婷激情五月天小说| 婷婷五月丁香激情图片| 天堂久久精品| 五月丁香婷婷无码A∨| 天天爱天天做天天舔| 婷婷五月天伦理| 人妻videos人妻高清| 影音先锋 91工厂| 玖玖在线资源视频| 欧美人妻一区二区| 97人人操人人爽| 婷婷五月丁香基地| 五月婷婷啪啪啪啪| 亚洲无aV在线中文字幕| 九九综合久久| 好激情在线综合网| 激情性爱五月| 无码成人AAAAA毛片AI换脸| 亚洲精品a成人在线播放| 激情综合文学| 国产成人+综合亚洲+天堂| 婷婷色播色五月五色五月天色妇| 99re66热这里只有精品| 五月天色网站| 人人色婷婷| 97操视频| 婷婷丁香五月天激情四射| 91日综合欧美| 色五月婷婷五月丁香五月激情五月视频| www.久久爱.com| 婷婷久久五月天| 丁香五月婷婷成人综合| 永久免费一区二区三区| 97在线视频观看| 超碰人人摸AV| 开心六月婷| 五月婷婷婷婷婷婷艺术| 天天肏视频| 亚洲A片成人无码久久精品青桔 | 激情综合网站| 婷婷五月天视| 啪啪色区| 一本色道久久综合狠狠躁一二三| 亚洲影院婷婷色| 日本美女上人| 色性五月天| 久久综合婷婷五月| 久久人人添人人爽添人人片αV| 色五月婷婷成人| 91婷婷丁香五月| 春色激情第四色| 狠狠色成人影片| 一级黄色影片| www.综合久久.com| 婷婷丁香五月天狠狠| 日韩一级网站| 久热A片| 色欲色天天香综合| 思思热久热| 夜夜谢天天干| www,色婷婷| 五月色情婷婷开心五月色情| 99ri国产| 无码A片一区二区免费| 色五月婷婷狠狠撸| 久久99热免费最新版| 亚洲精品视频在线| 亚洲旡码| 99在线观看精品视频| 午夜少妇在线观看视频| 二色AV| 婷婷五月免费在线| 激情五月天电影| 激情av网| 青青草原精品久久| 最近免费中文字幕大全高清大全1| 99爱操| 中文字幕,综合,91| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 色婷婷狠狠禁久久| 色五月亚洲五月天| 婷婷五月色| 欧美日本99| 丁香五月天婷婷久久| 99热碰碰| 五月婷婷黄| 丁香六月天婷婷开心综合| 99热网站| www狠狠| 婷婷激情六月| 97爱综合| 桃色五月天| 大香蕉婷婷婷| 人人摸人人干人人做| 无码激情AAAAA片-区区| www.91.com处女在线直播| 九九99香蕉在线视频播放| 国产麻豆视频| 丁香五月综合在线播放| 精品亚洲国产成AV人片传媒| 国产va在线视频| 99色婷婷视频| 日韩九九视频| 这里只有精彩视频| 婷婷伊人中文字幕| 五月天开心色情网| 一区二区三区视频| 99热综合| 五月色婷婷在线观看| 五月丁香免费视频| 久久婷色| 狠狠操天天干| 久久狠色噜噜狠狠狠狠97| 一级性爱视频| 色婷五月婷婷| 亚洲国产精品VA在线看黑人| 黄页大全十八禁| 无码人妻精品一区二区蜜桃色欲| 激情九月婷婷| 五月丁香六月成人| 亚洲色色在线| 中文字幕乱码亚洲精品一区| 色丁香五月综合网| 国产探花一片区| va亚洲中文在线| 九九热这里只有精品9| 成人美女网| 婷婷综合久久| 99re在线播放| 久久精品66| 婷婷五月天涩涩| se99视频| 人人操AV| 狠狠狠狠狠| 色综合色综合色综合高潮| 欧美激情综合| 亚洲激情97五月天| 九九99香蕉在线视频播放| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 最新亚洲色色网| 热热色色五月天婷婷| 丁香五月天啪啪激情综和网| 色色色五月天激情资源| 九色自拍| 99久99热| 激情五月狠狠喔| 五月丁香婷婷综合| 色婷婷综合视频| 99热18| 亚洲色色图片| 久久婷婷网址| 97人人看| 婷婷五月开心中文字幕色| 91在线操逼视频| 六月 丁香 视频| 六月婷基地| 丁香色色网| www久久99com| 亚洲中文字幕在线电影| 五月婷婷激情综合网 | 人妻性爱| 丁香五月婷婷少妇| 99综合网| www一区二区三区| 五月婷婷色啪| 国产亚洲精品AAAA片APP| 中文字幕 久久9999| 伊人激情网| 狼人婷婷综合| 丁香六月高清视频| 在线成人视频免费| 天天干天天干天天干| 日逼免费视频 | 五月婷婷色情| 20253AV| 色5月婷婷色| 欧美激情五月天婷婷| 无码少妇高潮喷水A片免费| 五月丁香无码| 国产真实乱对白精彩| 五月天狠狠网| 色婷五月天亚洲| 99免费青青蜜臀| 色五月天综合网| 丁香亚洲婷婷五月| www.maotanji.com| 99re热视频这里只精品| 婷婷五月天堂| 狠色色狠网| 日韩久久视频| 丁香五月激情啪啪啪啪| 九九热在线精品| 五月丁香六月婷婷综合| VA婷婷| 久久艹网| 噼里啪啦完整版中文在线观看 | pom538精品视频| 亚洲激情网站无码| 久久hd| 久久大香蕉| 五月天狠狠网| 婷婷开心青青草| 啪啪 综合网| 亚洲第一成人无码A片| 另类视频五月天| 伊人五月人妻精品| av九九| 9 1 A v久久久| 激情五月天婷婷| 99九九视频| www.久久66| 婷婷五月激情综合| 天堂久久婷婷| 97sese婷婷| 丁香五月天激情网| 99色视| 成人色图情色成人网 www.5b5b5bcom 五月天 | 狠色狠色综合久久| 久久天天天| 日韩AV在线免费观看| 婷婷综合性爱网| 婷婷五月综合网| 色五月丁香五月| 26uuuu精品一区二区| 碰碰91| 久久伊人婷| 少妇人妻偷人精品无码视频新浪| 婷婷五月婷婷| 天天爽天天干天天| 丁香五月激情视频在线| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 第四色婷婷五月| 色情五月天小说| 九九综合色综合| 99热亚洲综合| 97男人天堂| 精品香蕉99久久久久网站| 亚洲色频| 国产毛片精品一区二区色欲黄A片| 第六色在线| 五月婷婷另类| 天天爽在线视频| 日韩日比视频| 色综合久久88色综合天天看| 色老久久| www久久久久久久97| 一起草AV入口| 亚洲日韩乱码一区二区三区四区 | 日日操日日射| 新激情五月开心五月婷婷五月丁香五月| 亚洲自拍天堂| 欧美色色色色色色| 国产免费av在线| 91操屁股| 综合色网站| 久热伊人9| 五月天堂色色| 99ri在线播放| 亚洲第一黄网| 99re这里只有精品9| 亲子乱AV一区二区三区下载| 久久五月视频| 欧美成性色| 色婷婷综合综合网| 91黄址| 国产精品成人在线| 性爱AV天堂| 婷婷六月丁香在线| 婷婷五月天Av| 色色色色av777| 五月婷婷激情69| 丁香六月亚洲综合| 色五月激情综合| 婷婷色五月天综合网| 婷婷色色播五月天| 丁香五月激情综合啪啪| 99久热这里只有精品| 99热在线观看免费精品| 超碰成人电影| 操碰97| 开心婷婷五月| 丁香五月婷婷欧美性爱| 色原狠狠综合| 婷婷伊人网| 在线国产精品色| 五月综合婷婷开心网| 可以直接看的av网站| 久久99久久99精品免观看软件 | 婷婷第六色| 色色色综合色| 久久九九免费大视频| 丁香婷五月天| 99这里只有精| 99欧美| 99免费在线视频| 99欧美热| 色色狼人综合| 婷婷在线操| 狠色色狠网| 五月婷婷五月| 99色天堂| 激情五月狠狠喔| 毛片新网地| 日韩无码专区| 99re欧美精品| 婷婷丁香激情综合色情| 久久五月丁香综合17C| 夜夜干天天干| 久久久久这里只有精品| yirenjiqingshiping| 大香蕉Av在线| 天天操天天操综合| 99热资源在线| 精品一二三区久久AAA片| 欧美性生交A片免费看| 五月色婷婷夜色| 99ri精品视频在线观看| 久久机热这里只有 | 天天日夜夜曹| 96丁香六月婷婷蜜桃综合久久| 婷婷精品视频| 成人国产网| 欧美性爱中文字幕| 色色色色色色色色色999| 丁XX 成人| 国产毛多水多女人A片| 九九婷婷热| 丁香婷婷六月天| 天天摸天天高潮天天爽| 伊人久久五月天| 日韩AV在线影片| 极品色丁香| 色五月婷婷开心| 大天天伊人| 少妇人妻丰满做爰XXX| 99狠狠| 丁香五月天无码| 超碰免费人妻| 狠狠综合久久综合| 人人舔人人色人人高潮| jiqingtaose五月天| 五月天中文字幕在线婷婷| AV色婷婷| 99热日本精品| wwwxxx五月婷婷小说| 思思精品热在线| 九九五月天| 激情玖玖综合网| 亚洲丁香婷婷五月天综合色| 中文AV在线观看| 婷婷综合中文字幕| 婷婷五月天视| 久久综合中文| 日韩淑女人妻luan伦激情精品一区二| 丁香五月中文字幕| 婷婷五月激情五月激情| 国产精产国品一二三在观看| 91久操| 五月亭亭狠狠| 五月激情婷婷偷拍| 天天干天天干天天干天天干天天| 视频一二区| 色婷婷很很十八禁| 九九热10| 色综合色色色| 九九热中文| 丁香五月婷婷日本| 91九九热| 久久人妻人人槡| www.婷婷六月天| WWW.99热| 亚洲六月婷婷| 葵花AV在线| 狠狠狠五月婷婷六月丁香| 九九综合九九| 天天色丁香| 精品丁香五月天在线播放| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 26uuu欧美宗合| 亚洲国产精品VA在线看黑人| 久久只有精| 人妻久久婷婷| 五月丁香色婷婷久久| 五月人妻婷婷视频| 狠狠干狠狠操狠狠爱| 久久视频九九视频| 久久91久久精品久久| 99热6这里只有精品6| 综合久久99| 国产成人av在线| 久婷久婷| 久久婷.com| 色私五月婷婷| 五月天婷婷香蕉狠狠超碰综合| 五月亚洲激情| 少妇真实被内射视频三四区| 99er日韩| 任你爽视频| 五月丁香六月婷婷啪啪| 综合99久久天天综合| 色婷婷在线影院| 五月综合无码| 九九精品亚洲| 在线另类视频| 看婷婷五月天网| www.婷婷五月| 99这里有精品免费| 成人精品视频99在线观看免费 | 亚洲性色XXXXX| 免看黄大片AA | 久久五月婷婷开心网| 婷婷五月天A V| 久久一热免费视频| 精品人妻在线免费观看| 十月丁香九月婷婷综合| 久七香蕉| 免费黄色视频网址| 五月婷婷内射网| 一本大道伊人AV久久综合| 五月四色婷婷| 色婷婷aV四虎| 色色激情五月| 婷婷6月综合网| 国产真实乱了老女人视频| 婷婷五月天人妻| 4399精品一区二区| 亚洲乱码在线观看| 婷婷激情性爱| 午夜少妇在线观看视频| 婷婷爱婷婷| 三级99热| 婷婷香五月天| 伊人婷婷五月| 99热 在线播放| 91超级碰在线视频| 婷婷爱综合| 无码碰碰| 成人 视频免费观看网站| 色欲色天天香综合| 无码人妻精品一区二区蜜桃色欲| 色亚洲视频| 久久久久久久久久久久久久久久一道本| 天天拍天天做视频| yw.av| 91九色无码日韩| 久久色在线视频| 激情内射人妻1区2区3区| 丁香五月a| WWW.婷婷五月天.COM| 日韩无码成人电影| 99re视频精品| 99操视频| 伊人喵咪a V| 亚洲午夜一区二区| 五月激情另类| 99伊人性爱在线影院| 超碰人妻在线| www.99热这里精品| 婷婷五月天成人在线视频| 婷婷五月激情黄色| 人人操AV| 五月六月播婷婷| 超碰在线免费观看3 9| 色 色 色综合com| 99免费成人网| 91AV视频| 99操无码视频观看| 午夜婷婷五月天在线| 久久久性爱网| 99riAV成人在线视频| 9色视频在线| 人人视频色| 色噜噜狠狠色综合日日| 99热伊人综合| 色播丁香| 91精品久久久久久综合五月天| 九九热9| 丁香五月婷久久| 日日夜夜狠狠干| 丁香五月天欧美成人| 夜夜AVV| 日日夜夜干| 日韩99视频| 五月天婷婷在线啪啪视频| 日本一区二区三区精品视频| 丁香五月天堂网| 日韩在线观看亚洲| 色婷五月天综合网| 五月天 综合 在线| 天天操无码| 殴美97色| 色日本颜射| 五月成人网站| 午夜爱爱网站| 五月婷婷激情久久| 成人网站免费sxj| 99毛片| 久久久久视剧HD| 激情婷婷五月天| 丁香五月影视| 狠狠干夜夜干| 国产资源91在线| 五月婷婷在线丁香| 午夜九九九九九九九九九九九九九| 99这里| 久综合| 欧美激情-区二区三区| 天天日夜夜B久久| 欧洲亚洲免费视频9| 色五月色开心开心五月| 黑人巨粗进入警花疼哭A片| 99热精品在线播放| 色婷婷www| 五月天 无码| 色欲资源网| 五月丁香好婷婷姑娘综合网| 天天 青草 制服丝袜 在线| 天天色丁香| Caop在线| 99ri视频在线播放| 精品九九网| 香蕉网婷婷| 五月综合婷婷五月| WwW色婷婷| 9这里只有精品| 日本91在线播放| 亚洲综合视频一下| 亚洲午夜在线视频| 99热久久这里只有精品2010| 九九九九无码| 亚洲99精品欧美一区| 亚洲视频1区| 日日操夜夜爽| 4399伦理午夜| 91玖玖| 亚洲sesesese| 激情五月天婷婷| 91啪级电影| 香蕉曰比| 丁香婷婷情色五月天| 色99色| 五月天激情四射| 六月色婷婷色| 国外亚洲成AV人片在线观看| 六月亭亭久久综合激情| 六月丁香天堂| 91视频精品99| 18av天堂| 99热最新地址在线| 亚洲激情无码久久| 狠狠干激情五月| 开心五月婷婷在线| 开心激情播播五月天| m色激情网| 色婷婷狠狠干芒果TV| 人草人人| 超级碰碰碰97免费| 大香蕉九九| 日韩操人| www.久久| 亚洲99热| 超碰高清在线| 碰碰女| 欧美婷婷六月丁香综合色| 综合亚洲六月婷婷在线| 91热er| 五月天婷网| 日日操夜夜爽| 五月综合色| 五月激情婷婷在线| 精品一二三区久久AAA片| 裸体做A爰片毛片A片免费| 国产色色网站网址| 婷婷丁香在线| 精品无吗va视频免费观看| 伊人网欧美在线男人天堂五月丁香| 99爱视频| 丁香五月手机在线| 久久99婷婷| 五月婷婷久久爱| 色五月婷婷久久大| 99热成人| 开心五月深爱五月| av在线婷婷| 91打屁股视频网站| 五月天丁香花婷婷| 99热18| 五月婷天天搞视频| 久久这有这里精品| 日本久久爽| 婷婷激情五月呦呦| 久久国产色| www.99热这里精品| 激情桃色网 | 欧美日韩成人综合9| 99自拍网| 色五月天成人| 色情丁香五月天| 激情五月天色婷婷综合| 九色婷婷| 五月天婷婷视频小说| 久久婷婷色色| 青青草婷婷五月天| 激情婷婷五月少妇| 青青热久精品视频在线观看| 婷婷五月天六月丁香| 亚洲色婷婷| 人人爽欧美婷婷久久久五月丁香 | 第九色区AV在线| 日日干日日| 亚洲狠狠操| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 日本颜色视频人人爱| 五月丁香人妻| 激情婷婷在线| 一本色道久久88加勒比—| 人人爱天天摸摸天天爱| 亚洲免费av在线| 大香蕉AV在线| 欧美日韩成人在线网站| 思思99re这里只有| 玖玖婷婷综合| www.99riav99| 天天 青草 制服丝袜 在线 | 色级婷婷| 五月六月婷婷激情网| 亚洲综合色色色| 伊人无码高清| 香蕉婷婷| 国产精品色| 五月天丁香色色| 婷婷开心深爱五月天| 丁香五月网在线观看| 婷婷五月天丁香花| 亚洲人妻五月丁香婷婷| 婷婷丁香人妻| 激情五月天开心网丁香无码| 综合欧美五月婷婷| 五月天婷婷黄色视频| 免费啪啪亚州视频| 人人插9| 色婷婷4| 久久丁香五月婷| 国产亚洲精品AAAAAAA片 | 超碰熟女拍拍| 九九99精品视频在线观看| 亚洲精品成人片在线播| 五月婷婷九九久久| 婷婷五月综合基地| 东京热人妻一区二区三区在线| 久久资源网五月婷| 日日夜夜天天| 亚洲操B| 久久色五月天| 久久久99久久| 日本婷久久| 99热偷拍| 亚洲精品视频在线播放| 亚洲人人操| 国产精品VIDEOSSEX久久发布| 色综合伊人网| 五月丁香六月激情综合| 国产精品色婷婷99久久精品| 熟女激情网| 五月丁香花婷婷玉莉AV| 精品福利911| AV成人在线播放| www.激情五月天.com| 五月丁香拍拍激情综合| 亚洲无码色色| 大香蕉520| 九久9精品| 婷婷99视频精品| 123草逼网| 人人操91| 99爱在线精品视频免费观看| 丁香六月综合激情| 伊人婷婷大香蕉在线| 开心激情站| 涩综合网| 97人妻碰碰中文无码久热丝袜| 婷婷色综合中心站| 狠狠色噜噜色狠狠狠综合久久成人波| 色婷婷色99国产综合精品| 人妻射精AV| 激情五月天综合网| 99精品热| 丁香五月婷婷超碰在线| 激情久久五月天| 六月激情婷婷| 五月婷婷六月丁香免费| 大香蕉精品视频| 久婷婷婷| 亚洲天堂啪啪| 久久九九网| 精品人妻伦一二三区久| 五月色色色| 操操自拍| 亚洲精品国产成人AV在线| 激情五月六月婷婷| 久久五月丁香伊人青草| 少妇AB又爽又紧无码网站| 天干干夜夜操| 天天日色情| 国产夫妻操逼内射视频| 久久婷婷五月天激情| 偷偷操99| 成人免费黄色短视频| 91xxxx九色| oumeisesewang| sewuyue第四色| 久久精品99国产精品日本| 狠狠色五月激情| 草草女人亚洲| 伊人五月久久| 亚洲综合碰| www.婷婷,com| 婷婷五月69| 99ER热精品视频| 九九色视频| 色婷婷丁香五月天| 国产一区二区三区影院| 婷婷五月综激情| ss99热| 99精品久久| 国产亚洲成人综合| 一根材五月婷成人| 婷婷五月丁香久久| 国产99久9在线+|+传媒| 六月婷婷网| 人妻aV在线| 国产国产乱老熟女视频网站97| 丁香五月久久综合| 色色色婷婷五月天| 国产精品一区在线观看你懂的| 色伦专区97中文字幕| 国产成人精品亚洲线观看| www天天干| 亚洲成片在线观看| 午夜丁香婷婷| 五月丁香婷婷激情澎湃四射| 欧美色偷拍| 色婷婷亚洲婷婷| 五月成人综合| 婷婷久月| 婷婷五月久久| 亚洲天堂大香蕉| 色综合色综合色综合高潮| 婷婷五月丁香手机在线视频| 婷婷激情人妻| 超级碰人人操人人干| 伊人丁香六月婷婷| 成人综合AV| 密臀久久| 五月丁香网站| 欧洲色色| 婷婷色五天| 五月综合亚洲| 婷婷综合色色| 99视频综合网| 天天爽天天干| 激情六月色| 国产阿姨日皮艹逼内射视频| 九九人人看| 99在线精品免费视频| 五月丁香影视| 五月天婷婷色播在线网| www.97碰碰com| 欧美人与性动交CCOO| 色噜噜狠狠色综无码久久合欧美| 伊久久婷婷| 欧美十二区| www.操.com| 中文av网站| 激情五月无码| 久久婷婷五月丁香网| 亚洲无码影片| 五月婷婷综合网| 久久婷网| 亚洲无码九九| 国产婷婷五月中文字幕高清| 欧美婷婷精品激情| 97人人操人人操人人操人人| 播四月婷婷六月丁香| 中文字幕在线人妻| 五月婷婷在线视频| 九九综合网色全集 | 色综合久久中文| 香蕉婷婷五月| 午夜大香蕉| 99乱视频| 婷婷干五月综合在线播放| ss五月天激情| 欧美日本黄色| 天天射射夜| 婷婷色av| 精品国产a| 思思热99热| 婷婷五月综合色拍| WWW.婷婷| 六月伊人婷婷| 91.www综合| www天天爽| 99精品偷自拍| 国产裸舞表演WWWW| 五月狠狠| 色久天| 夜夜做天天爽| 日韩视频99| 婷婷在线操| 国产成人精品一区二三区熟女在线| 91狼友视频网页更新| 91狠狠色| 99久久婷婷五月综合| 色五月婷婷久久| 一区二区三区四区无码| 好吊丝aV| 91久久精品无码一区二区三区| 99精品视频在线观看| 五月婷婷激情综合网| 91超级碰在线视频| 日日夜夜干| 婷婷五月天中文字幕| 五月丁香婷庭在线| 国产人妻人伦精品一区二区| 这里只有久久精99| 九九热在线视频观看| 五月天婷婷高清无码| 伊人激情| 久久久婷婷| 久久性刺激| 午夜少妇在线观看视频| 五月开心激情| www,天天干| 久久五月激情综合| 99精品无码| 五月天婷婷7米| 五月激情婷婷在线| 久久五月天婷婷| 91狠狠综合久久久| av中文在线| 91超碰在线观看| 男女99免费视频| 色玖玖| 五月婷婷激情网| 五月婷婷啪啪| 97精品人人A片免费看| 开心婷婷五月| 国产精品美女久久久久AV超清| 五月丁香啪综合| 影音先锋一区二区三区| 亚洲欧美婷婷五月色综合| 99亚洲天堂| 97干在线| 免费无码毛片一区二区A片| 九九99久久精品| 大香蕉天堂色| 色 五月 天 婷婷 丁香 九月| 色色色激情网| 热99热久| 久久婷婷五月综合啪| 成人 视频免费观看网站| 99爱99操| 亚洲人妻av| 开心婷婷五| 久久这里只有精品无码| 久久色五月天综合网| 99色色色色| 五月天丁香久久| 人人爱操| 成人AV在线网站| 婷婷精品综合| 91青娱乐青青草| 五月婷婷婷| 99色爱| 婷婷五月丁香色色| 大香蕉人在线65| 天天日天天舔天天摸| 五月天婷婷爱丁香中文字幕| 久久婷婷激情视频| 五月丁香色婷婷| 五月综合色| 国产精品第一国产精品| 涩婷婷视频快播人妻| 五月伊人网| 日日干夜夜撸夜夜骑| 日日.c| 五月天色丁香| 亚洲六月色| 激情綜合網址| 婷婷免费成人视频| 国产成人99久久亚洲综合精品| 狠狠色噜噜狠狠| 久久久8| 国产乱子轮XXX农村| 国产亚洲成AV人片在线| 九月丁香| 国产精品激情五月天色婷婷| 九九色播五月丁香| 五月天综合网| 五月色婷丁香| 丁香六月婷婷| 九九精品在线网| 色婷| 日本操天堂| 永久免费一区二区三区| 丁香亭亭久久| 五月停停激情网| 五月婷av| 欧美婷婷色| 丁香五月婷婷99| 天堂婷婷五月在线| 久久人妻伊人| 综合色播| 人人超碰99| 亚洲激情淫网| 五月精品| 538在线精品| 国产成人av在线播放| 99精品在线下载| 噜噜干日本| 久久婷婷五月综合网| 婷婷五月天成人在线视频| 婷婷丁香激情综合色情| 婷婷久久五月天| 激情熟女网| 丁香五月骚喷水视频| 狠狠色成人影片| 久久久99精品免费观看| 色久女| 婷婷情色激情| 天天爽天天操| 国产白丝在线一区| 一级操逼内射在线视频| 思思热在线精品视频| 综合www色| 五月色婷婷AV| 久久大香蕉| 激情五月婷黄版| 五月婷婷丁香大陆免费| 久久香蕉网| 色婷婷在线影院| 99爱免费视频在线观看| 五月色亚洲| 97超级碰碰碰| 激情网综合| 久久婷婷五月天| 色99网| 新激情五月天天在线网| 九九丁香社区欧美激情| 久久激情综合| 大香蕉伊人久久| 丁香婷婷五月综合| 激情网婷婷婷| 久热这里| 在线观看免费视频| 日本一级黄色电影| 少妇性按摩无码中文A片| 国产操B| 一夜福利不卡| 丁香花五月天激情| 99热热热国产超碰| 婷婷久久亚洲| 牛牛澡牛牛爽| 涩涩五月天综合| 色五月婷婷综合| 91久久精品无码一区二区三区| AAAA亚洲| 六月久久婷婷| 婷婷色五月天色色| 丁香婷婷十月| 国产精品久久久久久妇女6080| 亚洲无码www| 久久99激情丁香婷婷小说网| 苗黎美女四级成人版一级二级毛片| AV动漫不卡无码免费| 婷婷五月天亚洲综合| 九色在线五月婷婷网址| 婷婷激情综合网| 六月撸婷婷| 爆乳熟女-区二区三区| 婷婷五月天论坛| 嫩草极品| 亚州视频九九99| 麻豆AV一区二区三区| 99视频地址| 天堂久久精品| 色综合香蕉| 国产毛片精品一区二区色欲黄A片| 午夜69成人做爰视频| 六月婷婷之青青草| www.99色| 99国产er热视频| 狠狠的日| 日韩 欧美 国产 一区 二区| 综合网亚洲| 五月丁香婷成人网| 国产亚洲在线观看| 久久无码成人| 五月婷在线观看| 热99在线精品| 久久久欧美精品sm网站| 99热这里只有精品一区| 123日本不卡在线| 五月天婷网| 青青操成人福利| 婷婷五月天第三页| 久久色五月天| 日韩精品999| 五月色网| www.夜夜| 激情五月丁香综合蜜桃| 国产精产国品一二三在观看| 国产va在线视频| 牛色色碰| 五月之婷婷| 丁香五月 无码| 婷婷五月天网| 天天操加勒比| 精品人妻一区二区三区四区不卡在| jiujiujiuwuyuetian| 丁香五月最新地址| 99色天堂| 久久激情视频| 三十路磁力链接| 国产女生爱爱AA| 激情小说五月天| 色~性~乱~伦~噜| 色婷婷香蕉| 婷婷五月天视| 伊人免费视频9| 色色色色网站| 97人人做| www九九| 丁香六月婷婷综合激情欧美 | 色私五月婷婷| 婷婷射丁香| 免费国产VA国产免费| 欧美顶级少妇做爰HD| 久久丁香九| 色五月五月天色婷婷色五月| 激情九月婷婷| 国产精品久久久久久久久久| 综合五月激情| 丁香婷婷五月人体| 色情五月综合婷婷| 免费99情趣网视频| 亚洲人成播放网站| 色五月琪琪| 狠色狠色狠色狠色狠色网| 五月婷狠狠| 九色PORNY自拍成人精彩视频| av国产精品偷| 五月婷av| 婷婷五月天亚洲图片| 五月天久久网站| 婷婷五月天福利| 影音先锋人妻出差| 碰97久久| 婷婷丁香六月| 激情网五月婷婷| 国产在线黄色| 欧美69久成人做爰视频| www.操.com| 五月丁香 六月婷婷a| 我想看国产大学生口爆吞精的视频| 五月开心激情| 欧美日韩99| 丁香五月亚洲综合丝袜| 91热久久| 亚洲小说欧美激情| 九月综合| 在线观看免费人成视频无码| 亚洲无码yw| 狠狠色丁香婷婷基地| 日本3级片一区2区| 久久五月天婷婷| 日本社区五月天激情| 日日骑夜夜撸| 日本久久极品| 五月丁香婷婷综合网| 五月激情婷婷丁香天堂| 五月婷婷偷拍| 亚洲精品一二三| 色五月综合在线| 色色色色色色色色色色色色色色,网站| 超级碰碰碰久久网站| 五月婷婷av| 小视频久久久aaa| 五月天婷亚洲天综合网综合| 99热官网精品在线| 亚洲蜜桃精久久久久久久久久久久 | 伊综合蕉| 午夜丁香| 五月婷婷导航| 色综合久久88色综合中文字幕| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99激情| 五月天激情小说| 国产阿姨日皮艹逼内射视频| 99热在线资源| 极骚大香蕉伊人| 99久热这里只有精品| 俺去啦综合网| 五月激情精品视频| 中文字幕人妻在线| 婷婷酒色网| 国产成人精品一区二三区熟女在线| 亚州色色色| 亚洲五月天综合| 九九99在线免费在线观看视频| 丁香五月婷婷色综合| 五月婷婷综合在线| 九九99九九99九九99视频网| 日日想日日夜日日操|