欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Linux進(jìn)程生命周期詳解:從fork、exec到僵尸進(jìn)程回收

Linux進(jìn)程生命周期詳解:從fork、exec到僵尸進(jìn)程回收 在 Linux 上你每敲下一個(gè)命令、每打開一個(gè)程序背后都有一套完整的生命周期在運(yùn)轉(zhuǎn)。從 bash 收到你的命令到 fork 出一個(gè)新進(jìn)程再到 exec 加載可執(zhí)行文件然后進(jìn)入運(yùn)行、睡眠、停止、退出等狀態(tài)最后被父進(jìn)程回收這個(gè)過程就是 Linux 程序的進(jìn)程生命周期。我最早對(duì)生命周期有實(shí)感是在排查一個(gè)不起眼的服務(wù)進(jìn)程時(shí)。程序明明已經(jīng)退出了ps 里卻還能看到一條記錄狀態(tài)是 Z也就是僵尸。后來才明白程序退出和進(jìn)程被回收是兩回事這正好對(duì)應(yīng)生命周期的一頭一尾。這篇文章就把這套過程拆開講起點(diǎn)在哪、中間狀態(tài)怎么切、結(jié)尾怎么收以及實(shí)際排查時(shí)該按什么順序看。如果你平時(shí)只寫代碼、不關(guān)心進(jìn)程狀態(tài)可能覺得生命周期是操作系統(tǒng)課程里才需要背的東西。但真到了線上服務(wù)卡住、進(jìn)程被反復(fù)重啟、明明退出了卻還在列表里時(shí)這套知識(shí)就是排查的第一條線索。下面按實(shí)際落地順序拆一遍。1. 生命周期起點(diǎn)一條命令是怎么變成一個(gè)進(jìn)程的1.1 先分清“程序”和“進(jìn)程”很多人會(huì)把“程序”和“進(jìn)程”混著說但在 Linux 里它們是兩個(gè)完全不同的東西。程序是磁盤上的靜態(tài)文件比如 /usr/bin/nginx、你自己編譯的 demo_server一堆二進(jìn)制指令和元數(shù)據(jù)躺在那里。進(jìn)程是程序被加載到內(nèi)存之后的運(yùn)行實(shí)體它有獨(dú)立的虛擬內(nèi)存、PID、文件描述符、環(huán)境變量、工作目錄、資源統(tǒng)計(jì)信息。一個(gè)程序可以被多次啟動(dòng)變成多個(gè)進(jìn)程。比如同一個(gè) nginx 二進(jìn)制在 master 和 worker 模型下會(huì)產(chǎn)生多個(gè)進(jìn)程同一個(gè) Java 應(yīng)用啟動(dòng)兩遍就是兩個(gè) JVM 進(jìn)程。理解生命周期首先得把“程序文件存在”和“進(jìn)程在運(yùn)行”分開看因?yàn)楹芏嗯挪閱栴}都發(fā)生在兩者之間的過渡階段。1.2 fork execLinux 創(chuàng)建進(jìn)程的標(biāo)準(zhǔn)路線Linux 里絕大多數(shù)進(jìn)程不是“憑空創(chuàng)建”的而是由一個(gè)已有進(jìn)程復(fù)制出來的。復(fù)制動(dòng)作叫 fork復(fù)制之后再換成新程序的鏡像叫 exec。這段可以理解成兩步父進(jìn)程調(diào)用 fork內(nèi)核創(chuàng)建一個(gè)幾乎一模一樣的子進(jìn)程。子進(jìn)程繼承父進(jìn)程的環(huán)境變量、文件描述符、信號(hào)設(shè)置、內(nèi)存內(nèi)容副本。子進(jìn)程調(diào)用 exec 族函數(shù)把當(dāng)前進(jìn)程的代碼段、數(shù)據(jù)段、堆棧整體替換成目標(biāo)程序的文件內(nèi)容并從新程序的入口點(diǎn)開始執(zhí)行。為什么設(shè)計(jì)成兩步因?yàn)?fork 階段可以方便地繼承父進(jìn)程的上下文比如當(dāng)前工作目錄、環(huán)境變量、標(biāo)準(zhǔn)輸入輸出。exec 階段則負(fù)責(zé)把進(jìn)程改造成目標(biāo)程序。bash 啟動(dòng)一個(gè)外部命令時(shí)用的就是這條標(biāo)準(zhǔn)路線。下面是一個(gè)最小示例可以直接編譯觀察#include unistd.h #include sys/wait.h #include stdio.h int main(void) { pid_t pid fork(); if (pid 0) { perror(fork); return 1; } if (pid 0) { execl(/bin/echo, echo, child running, NULL); _exit(127); } wait(NULL); return 0; }fork 返回 0 表示當(dāng)前在子進(jìn)程里返回正整數(shù)表示在父進(jìn)程里、這個(gè)數(shù)字是子進(jìn)程的 PID。exec 成功后不會(huì)返回如果執(zhí)行不到說明 exec 失敗。父進(jìn)程最后調(diào)用 wait就是在等子進(jìn)程結(jié)束這一步和生命周期結(jié)尾直接相關(guān)。1.3 前臺(tái)運(yùn)行和后臺(tái)運(yùn)行的第一個(gè)分岔點(diǎn)在終端里直接執(zhí)行 ./demo這個(gè)進(jìn)程是前臺(tái)進(jìn)程終端會(huì)被它占用CtrlC 會(huì)通過 SIGINT 信號(hào)終止它。如果執(zhí)行 ./demo 進(jìn)程進(jìn)入后臺(tái)它不占用終端輸入但 stdout 和 stderr 通常還是往終端輸出只是你可以在同一終端繼續(xù)打命令。這個(gè)差異對(duì)生命周期影響很大。后臺(tái)進(jìn)程如果在脫離終端的管理下繼續(xù)運(yùn)行可能變成孤兒進(jìn)程或守護(hù)進(jìn)程前臺(tái)進(jìn)程則會(huì)因?yàn)榻K端關(guān)閉而收到 SIGHUP很多程序如果沒有處理這個(gè)信號(hào)就直接退出了。實(shí)際使用中我一般會(huì)先用前臺(tái)方式跑一次確認(rèn)日志和退出碼正常再考慮用 nohup 或者 systemd 把它放到更穩(wěn)定的生命周期管理里。不要一上來就搞后臺(tái)運(yùn)行否則輸出、日志、狀態(tài)入口都會(huì)變得分散排查起來很被動(dòng)。2. 進(jìn)程運(yùn)行中的狀態(tài)流轉(zhuǎn)你可以在 ps 輸出里看到一切2.1 R、S、D、T、Z 這幾個(gè)狀態(tài)分別代表什么程序進(jìn)入進(jìn)程后生命周期不會(huì)一直停在“運(yùn)行中”。Linux 會(huì)不停切換進(jìn)程狀態(tài)給每個(gè) CPU 核分配最值得運(yùn)行的任務(wù)。ps 的 STAT 列就是生命周期最直觀的窗口。R運(yùn)行態(tài)或者可運(yùn)行態(tài)表示進(jìn)程在 CPU 執(zhí)行隊(duì)列里隨時(shí)可能被調(diào)度。S可中斷睡眠態(tài)表示進(jìn)程在等待某個(gè)事件或資源比如等待網(wǎng)絡(luò)包、等待磁盤 I/O、等待用戶輸入、sleep 中。D不可中斷睡眠態(tài)通常是等待內(nèi)核態(tài) I/O 完成比如磁盤寫回。這種狀態(tài)不能隨便用信號(hào)殺掉因?yàn)閮?nèi)核正在操作某個(gè)關(guān)鍵資源。T停止態(tài)一般是收到了 SIGSTOP、SIGTSTP比如終端里按 CtrlZ進(jìn)程會(huì)被暫停。Z僵尸態(tài)進(jìn)程已經(jīng)退出但父進(jìn)程還沒有調(diào)用 wait 獲取退出狀態(tài)。如果你看到某個(gè)進(jìn)程長(zhǎng)時(shí)間停在 S 狀態(tài)不代表它出問題它可能只是在等一個(gè)合適的喚醒條件。如果大量進(jìn)程長(zhǎng)時(shí)間停在 D 狀態(tài)就要重點(diǎn)關(guān)注磁盤、NFS、I/O 子系統(tǒng)是否異常了。很多人一看到 RUNNING 就覺得資源占用高其實(shí)嚴(yán)格說 R 隊(duì)列長(zhǎng)度才能反映 CPU 競(jìng)爭(zhēng)情況。2.2 為什么進(jìn)程會(huì)從運(yùn)行態(tài)切到睡眠態(tài)進(jìn)程不會(huì)永遠(yuǎn)占用 CPU。當(dāng)它執(zhí)行到 read、recv、sleep、等待鎖、等待條件變量時(shí)內(nèi)核會(huì)把它放到對(duì)應(yīng)資源的等待隊(duì)列里CPU 就不調(diào)度它了。這就是從 R 到 S 的過程。等到數(shù)據(jù)包到達(dá)、超時(shí)時(shí)間到、鎖被釋放時(shí)內(nèi)核會(huì)給這個(gè)進(jìn)程一個(gè)喚醒信號(hào)把它重新放回運(yùn)行隊(duì)列狀態(tài)又變回 R。這個(gè)來回切換是生命周期里占比最大的一段。如果進(jìn)程在生命周期內(nèi)長(zhǎng)時(shí)間不切換狀態(tài)反而不正常。我在排查“進(jìn)程卡住”時(shí)第一動(dòng)作不是看 CPU 占用而是用 ps 確認(rèn)它到底停在哪個(gè)狀態(tài)。如果停在 S再用 strace 掛上去看它卡在哪個(gè)系統(tǒng)調(diào)用順藤摸瓜找到阻塞點(diǎn)。2.3 線程生命周期與進(jìn)程生命周期有什么關(guān)系線程是進(jìn)程內(nèi)部的執(zhí)行流。同一個(gè)進(jìn)程的多個(gè)線程共享地址空間、堆、文件描述符但各自有獨(dú)立的棧和寄存器上下文。線程生命周期不會(huì)長(zhǎng)于進(jìn)程生命周期進(jìn)程一旦退出所有線程都會(huì)被內(nèi)核回收。但線程的狀態(tài)切換和進(jìn)程類似也有運(yùn)行、睡眠、停止等狀態(tài)。top 里按 H 鍵或者執(zhí)行 top -H -p PID可以看到某個(gè)進(jìn)程內(nèi)部各個(gè)線程的狀態(tài)。Java 進(jìn)程尤其明顯一個(gè) JVM 進(jìn)程里往往有主線程、GC 線程、業(yè)務(wù)線程、日志線程任何一個(gè)長(zhǎng)時(shí)間卡住都可能拖累整個(gè)進(jìn)程。如果你管理過 Java 應(yīng)用應(yīng)該見過 jstack 輸出的線程堆棧。jstack 列出的狀態(tài)其實(shí)是 JVM 層面的線程生命周期跟操作系統(tǒng)線程狀態(tài)不完全等同但兩者有對(duì)應(yīng)關(guān)系。遇到進(jìn)程整體不退出、連接數(shù)異常時(shí)先分清是線程阻塞還是進(jìn)程狀態(tài)問題能少走很多彎路。3. 進(jìn)程結(jié)束不是瞬間完成的退出碼、信號(hào)與僵尸進(jìn)程3.1 程序正常退出時(shí)發(fā)生了什么程序正常結(jié)束有三種常見形式main 函數(shù)里 return 0直接返回。調(diào)用 exit(0) 結(jié)束當(dāng)前進(jìn)程。調(diào)用 _exit(0) 或 _Exit(0) 直接進(jìn)入內(nèi)核退出邏輯。exit 和 return 不一樣。exit 會(huì)先刷新標(biāo)準(zhǔn) I/O 緩沖區(qū)執(zhí)行 atexit 注冊(cè)的函數(shù)然后才進(jìn)入內(nèi)核退出流程。_exit 不會(huì)刷新緩沖也不執(zhí)行清理函數(shù)直接退出。所以在寫后端程序時(shí)如果要清理某個(gè)臨時(shí)文件、寫入日志、釋放自定義鎖盡量不要在 main 的 return 里依賴 _exit。正確做法是先用 exit 或正常 return 讓清理邏輯走完。父進(jìn)程拿到子進(jìn)程退出狀態(tài)后可以用 shell 的方式看./demo echo $?0 通常表示成功非 0 表示失敗。$? 就是前一個(gè)命令的生命周期“結(jié)賬單”。3.2 被信號(hào)終止和正常退出有什么不同進(jìn)程生命周期并不總是自然走完。CtrlC、kill 命令、系統(tǒng) OOM Killer、服務(wù)管理工具停止服務(wù)本質(zhì)上都是發(fā)送信號(hào)。SIGINT終端 CtrlC 產(chǎn)生默認(rèn)終止進(jìn)程可捕獲。SIGTERMkill 默認(rèn)發(fā)送請(qǐng)求進(jìn)程優(yōu)雅退出可捕獲。SIGKILLkill -9 發(fā)送不可捕獲、不可忽略、不可阻塞進(jìn)程被內(nèi)核強(qiáng)制終止。SIGHUP終端關(guān)閉或掛斷時(shí)產(chǎn)生默認(rèn)終止進(jìn)程。SIGSTOP暫停進(jìn)程不可捕獲。被信號(hào)終止時(shí)進(jìn)程生命周期的結(jié)果表現(xiàn)為“被信號(hào) N 殺死”。在 wait 狀態(tài)里父進(jìn)程能觀察到子進(jìn)程是因?yàn)槟膫€(gè)信號(hào)結(jié)束的shell 里可以這樣看./demo echo $?常見輸出是 137也就是 128 9表示進(jìn)程被 SIGKILL 殺死。這個(gè)規(guī)律在排查“進(jìn)程突然沒了”時(shí)很好用。不要一開始就 kill -9。先試 SIGTERM讓程序有機(jī)會(huì)保存狀態(tài)、清理資源。反復(fù)用 SIGKILL 會(huì)導(dǎo)致臨時(shí)文件堆積、數(shù)據(jù)庫(kù)連接泄漏、心跳消息沒發(fā)完生命周期收尾收不干凈。3.3 僵尸進(jìn)程是怎么產(chǎn)生的為什么必須回收子進(jìn)程退出后內(nèi)核并不會(huì)把它的所有信息都清掉。它要保留最少量的記錄比如 PID、退出狀態(tài)、資源使用量直到父進(jìn)程調(diào)用 wait/waitpid 來讀取。如果父進(jìn)程沒有調(diào)用 wait子進(jìn)程就會(huì)停留在 Z 狀態(tài)也就是僵尸進(jìn)程。僵尸進(jìn)程不占 CPU也不占實(shí)際內(nèi)存但它仍然占著一個(gè) PID且不會(huì)被調(diào)度。如果父進(jìn)程從不回收子進(jìn)程而子進(jìn)程又不斷產(chǎn)生PID 資源會(huì)被耗盡最終可能出現(xiàn) fork 失敗。更麻煩的是很多人看到 Z 狀態(tài)會(huì)以為進(jìn)程還在運(yùn)行實(shí)際它已經(jīng)退出只是“身份證”還沒注銷。所以判斷生命周期是否真的結(jié)束不能只看進(jìn)程在不在還要看它是不是 Z 狀態(tài)。3.4 用 wait/waitpid 回收子進(jìn)程父進(jìn)程想要正確回收子進(jìn)程就必須在合適時(shí)機(jī)調(diào)用 wait 或 waitpid。wait 會(huì)阻塞等待任意一個(gè)子進(jìn)程退出waitpid 可以指定等待某個(gè) PID還支持 WNOHANG 選項(xiàng)表示沒有子進(jìn)程退出時(shí)立即返回。這在多進(jìn)程服務(wù)里尤其重要。比如一個(gè)網(wǎng)絡(luò)服務(wù)用 fork 給每個(gè)連接創(chuàng)建子進(jìn)程如果主進(jìn)程只管 fork不管 wait一段時(shí)間后系統(tǒng)里就會(huì)出現(xiàn)大量僵尸進(jìn)程。常見的管理方式是在主進(jìn)程的循環(huán)里配合 SIGCHLD 信號(hào)處理子進(jìn)程退出時(shí)內(nèi)核給父進(jìn)程發(fā) SIGCHLD父進(jìn)程在信號(hào)處理函數(shù)里調(diào)用 waitpid配合 WNOHANG 把已經(jīng)退出的子進(jìn)程全部回收。這樣既能及時(shí)收尾又不會(huì)阻塞主流程。如果是一個(gè)簡(jiǎn)單的父子進(jìn)程示例直接 wait(NULL) 就夠了。生產(chǎn)環(huán)境里的進(jìn)程池、任務(wù)隊(duì)列則需要更精細(xì)的回收策略。4. 守護(hù)進(jìn)程與服務(wù)管理生命周期被“外部化”的程序4.1 守護(hù)進(jìn)程和普通前臺(tái)進(jìn)程有什么差別普通前臺(tái)進(jìn)程跟終端綁定。終端一旦關(guān)閉內(nèi)核會(huì)給進(jìn)程發(fā)送 SIGHUP很多進(jìn)程就會(huì)退出。守護(hù)進(jìn)程要做的是徹底脫離這個(gè)生命周期牽制。守護(hù)進(jìn)程一般會(huì)調(diào)用 fork 一次或兩次讓自身不再作為會(huì)話首進(jìn)程。調(diào)用 setsid 創(chuàng)建新的會(huì)話脫離原終端控制。把工作目錄改成 /避免占用某個(gè)掛載點(diǎn)導(dǎo)致卸載失敗。關(guān)閉標(biāo)準(zhǔn)輸入輸出、錯(cuò)誤輸出或者把它們重定向到日志文件。屏蔽或處理 SIGHUP 信號(hào)防止終端掛斷誤殺進(jìn)程。自己手動(dòng)寫守護(hù)進(jìn)程時(shí)這些步驟容易踩坑。比如忘記 setsid進(jìn)程可能還掛著原終端忘記重定向標(biāo)準(zhǔn)輸入輸出某些庫(kù)讀終端或?qū)懡K端時(shí)會(huì)出問題。更穩(wěn)妥的做法是寫普通程序再交給 systemd 管理由 systemd 負(fù)責(zé)守護(hù)化和重啟。4.2 systemd 如何接管服務(wù)生命周期現(xiàn)代 Linux 發(fā)行版基本都用 systemd 管理服務(wù)。服務(wù)不再需要自己處理守護(hù)化systemd 會(huì)直接創(chuàng)建進(jìn)程、管理狀態(tài)、記錄日志并在進(jìn)程退出后根據(jù)策略決定是否重啟。一個(gè)最小服務(wù)單元文件類似[Unit] DescriptionDemo Service [Service] Typesimple ExecStart/opt/demo/demo_server Restarton-failure RestartSec3 [Install] WantedBymulti-user.target寫好后執(zhí)行sudo systemctl daemon-reload sudo systemctl start demo_server sudo systemctl status demo_server這個(gè)模型把生命周期從程序內(nèi)部移到了外部。程序只需要做好 SIGTERM 的優(yōu)雅退出處理運(yùn)行、退出、失敗重啟的判斷全部交給 systemd。服務(wù)被 kill 掉后systemd 發(fā)現(xiàn)進(jìn)程退出再按 Restart 策略拉起新進(jìn)程。系統(tǒng)里很多服務(wù)都是這么管理的。MySQL、nginx、Redis 這些程序在 Linux 上之所以推薦用 systemd 啟停不是因?yàn)樗芴嵘阅芏巧芷诟?guī)范崩潰恢復(fù)、開機(jī)自啟、日志收集都能統(tǒng)一處理。4.3 進(jìn)程池和任務(wù)隊(duì)列帶來的生命周期問題熱詞里有“進(jìn)程池”它和生命周期關(guān)系很緊。進(jìn)程池的本質(zhì)是預(yù)先創(chuàng)建一批工作進(jìn)程重復(fù)處理任務(wù)而不是每個(gè)任務(wù)都現(xiàn) fork 一個(gè)進(jìn)程。這樣可以省掉反復(fù)創(chuàng)建、銷毀進(jìn)程的開銷提高吞吐。但進(jìn)程池也有生命周期管理問題工作進(jìn)程在處理任務(wù)時(shí)退出池管理器要能發(fā)現(xiàn)并補(bǔ)充新進(jìn)程。任務(wù)進(jìn)來時(shí)如何把工作量均勻分給空閑進(jìn)程。工作進(jìn)程僵死時(shí)是否會(huì)自動(dòng)重新拉起。進(jìn)程退出時(shí)任務(wù)隊(duì)列里的數(shù)據(jù)會(huì)不會(huì)丟。設(shè)計(jì)這類系統(tǒng)時(shí)我的建議是給每個(gè)工作進(jìn)程加一個(gè)心跳或進(jìn)程狀態(tài)標(biāo)記并在主流程里維護(hù)一份任務(wù)分配表。工作進(jìn)程結(jié)束后由池管理器統(tǒng)一回收和重啟而不是讓每個(gè)任務(wù)自己處理進(jìn)程退出。這一類場(chǎng)景里“進(jìn)程生命周期”已經(jīng)不只是單條進(jìn)程自己的事而是一個(gè)管理單元里多個(gè)進(jìn)程互相配合、互相回收的問題。排查時(shí)看 ps 只能知道單個(gè)狀態(tài)真正要看的還有父進(jìn)程是誰(shuí)、誰(shuí)在負(fù)責(zé)回收、任務(wù)是否重新入隊(duì)。5. 用命令觀察程序的完整生命周期從出生到回收的排查鏈路5.1 ps 和 top看當(dāng)前狀態(tài)想觀察一個(gè)程序的生命周期第一步就是看進(jìn)程列表。常用命令不多但每個(gè)都有側(cè)重點(diǎn)ps -ef ps aux ps -ef --forest pgrep -a demo_server top -p PID pidstat -p PID 1ps -ef 適合看 PID、PPID 和命令完整參數(shù)ps aux 會(huì)多出 CPU、內(nèi)存、狀態(tài) STATps -ef --forest 可以輸出進(jìn)程樹一眼看出誰(shuí)是誰(shuí)的子進(jìn)程pgrep 適合按名字找 PID。top 是實(shí)時(shí)視圖適合觀察進(jìn)程狀態(tài)變化和 CPU 使用波動(dòng)。pidstat 可以按固定間隔輸出指定進(jìn)程的 CPU、內(nèi)存、線程數(shù)量方便記錄一段時(shí)間內(nèi)的生命周期數(shù)據(jù)。判斷進(jìn)程處于哪個(gè)階段時(shí)我一般先看 STAT 列。R 表示正在或等待調(diào)度S 表示等待某類事件D 表示內(nèi)核態(tài) I/O 等待T 表示暫停Z 表示僵尸。這一列基本能告訴你生命周期走到了哪一步。5.2 strace從系統(tǒng)調(diào)用層面跟蹤生命周期事件ps 只能看到切片strace 能看到過程。比如跟蹤一個(gè)程序的 fork、exec、exit 系統(tǒng)調(diào)用可以用strace -f -e traceprocess ./demo_server-f 表示同時(shí)跟蹤子進(jìn)程traceprocess 表示只看進(jìn)程相關(guān)的系統(tǒng)調(diào)用包括 fork、clone、execve、exit_group、wait4 等。輸出里能看到子進(jìn)程什么時(shí)候創(chuàng)建、什么時(shí)候執(zhí)行新程序、什么時(shí)候退出、父進(jìn)程什么時(shí)候回收。生產(chǎn)環(huán)境不建議隨便對(duì)繁忙服務(wù)用 strace它會(huì)明顯拖慢性能。更穩(wěn)妥的方式是先用 strace -p PID 短暫掛幾秒采集到卡住時(shí)的系統(tǒng)調(diào)用棧再立即分離。很多“進(jìn)程狀態(tài)異?!钡膯栴}靠這一步就能定位到是 read、write、recvfrom、poll、nanosleep 中的哪一個(gè)。5.3 讀 /proc 目錄直接看進(jìn)程自己的“檔案”Linux 的 /proc 文件系統(tǒng)會(huì)把每個(gè)進(jìn)程的信息暴露成一個(gè)目錄。目錄名就是 PID里面有很多關(guān)鍵文件。常用的包括/proc/PID/status進(jìn)程狀態(tài)、PPID、線程數(shù)。/proc/PID/cmdline啟動(dòng)命令。/proc/PID/fd已打開的文件描述符。/proc/PID/stat內(nèi)核統(tǒng)計(jì)信息。比如快速看某個(gè)進(jìn)程的實(shí)時(shí)狀態(tài)cat /proc/1234/status輸出里 State 一欄就是生命周期狀態(tài)PPid 表示父進(jìn)程 PIDThreads 表示線程數(shù)量。如果發(fā)現(xiàn)進(jìn)程是 zombiestate 會(huì)明確寫成 Z。如果想知道它打開了哪些文件可以 ls 一下 /proc/1234/fd這在排查文件占用、日志刪除、連接斷開時(shí)非常有用。5.4 一個(gè)可靠的排查順序當(dāng)你發(fā)現(xiàn)某個(gè) Linux 程序生命周期異常時(shí)我推薦的順序是先確認(rèn)進(jìn)程還在不在ps -ef | grep 程序名 或者 pgrep -a 程序名。再看狀態(tài)ps -o pid,ppid,stat,cmd -p PID??锤高M(jìn)程是誰(shuí)如果 PPID 是 1說明它已經(jīng)被 systemd 收養(yǎng)成孤兒進(jìn)程了。如果是 Z 狀態(tài)找它的父進(jìn)程為什么不回收。是父進(jìn)程自己卡住了還是沒寫 wait 邏輯。如果是 S 狀態(tài)且一直不動(dòng)用 strace 掛上去看阻塞在哪個(gè)系統(tǒng)調(diào)用。最后看系統(tǒng)日志dmesg 或 journalctl -u 服務(wù)名確認(rèn)有沒有被 OOM Killer 殺死、有沒有 crash report。這套順序可以避免很多誤判。比如進(jìn)程看起來“沒反應(yīng)”但實(shí)際可能是正在等待網(wǎng)絡(luò)連接進(jìn)程看起來“消失了”但可能只是后臺(tái)運(yùn)行、輸出被重定向了進(jìn)程看起來“還在”但可能是僵尸記錄沒清掉。6. 生命周期相關(guān)的常見問題與排查清單6.1 程序啟動(dòng)了但沒有輸出可能是生命周期和終端綁定“脫鉤”了常見場(chǎng)景在終端執(zhí)行 ./demo_server程序起來后沒有任何輸出終端也能繼續(xù)敲命令。這時(shí)可能程序已經(jīng)進(jìn)入后臺(tái)或者啟動(dòng)過程被重定向到了文件。先用 ps 確認(rèn)進(jìn)程是否真的存在ps -ef | grep demo_server pgrep -a demo_server進(jìn)程存在但沒有輸出到終端要看 stdout 是否被重定向。用 ls -l /proc/PID/fd/1 能看到進(jìn)程的標(biāo)準(zhǔn)輸出指向哪里。如果指向某個(gè)日志文件說明輸出被重定向了不是程序卡死。還有一種情況是程序有緩沖區(qū)printf 之后沒有立即 flush。如果進(jìn)程被 SIGKILL 殺掉緩沖區(qū)的數(shù)據(jù)就丟了。這也是生命周期收尾的一部分正常退出時(shí) exit 會(huì)刷新緩沖強(qiáng)殺則不會(huì)。6.2 進(jìn)程不退出先檢查是不是子進(jìn)程沒有回收完服務(wù)進(jìn)程收到停止命令后一直不退常見原因不是主進(jìn)程不想退而是它有子進(jìn)程或后臺(tái)線程沒有結(jié)束。排查步驟用 ps -ef --forest 看進(jìn)程樹確認(rèn)有沒有子進(jìn)程還活著。用 top -H -p PID 看線程狀態(tài)。用 strace -p PID 看到底卡在什么系統(tǒng)調(diào)用上。如果是網(wǎng)絡(luò)服務(wù)檢查監(jiān)聽 socket 是否還有 ESTABLISHED 連接未關(guān)閉。如果是 Java 服務(wù)用 jstack 看線程整體狀態(tài)是否有鎖等待。不要因?yàn)橹鬟M(jìn)程不退出就立刻 kill -9。先弄清楚它為什么不愿意結(jié)束可能是清理邏輯在做最后的工作可能是在等待某個(gè)遠(yuǎn)端響應(yīng)超時(shí)正確地給 SIGTERM 并等待一段時(shí)間通常能保留更多有效信息。6.3 信號(hào)導(dǎo)致生命周期異常終止時(shí)怎么判斷誰(shuí)干的進(jìn)程被信號(hào)終止后從系統(tǒng)層面看沒有“程序員視角”的異常棧只能靠線索反推。優(yōu)先看這些dmesg 或 /var/log/messages 里有沒有 OOM Killer 記錄常見表現(xiàn)是進(jìn)程被 SIGKILL。journalctl -u 服務(wù)名 里有沒有服務(wù)管理器記錄的退出狀態(tài)。shell 里 echo $? 如果輸出 137說明被 SIGKILL143 是 12815說明被 SIGTERM。如果是自己寫的腳本或守護(hù)進(jìn)程檢查是否有 kill 命令誤匹配到了進(jìn)程名。我之前踩過一個(gè)坑腳本里用 pkill -f demo 想停掉舊版本結(jié)果把同名的新版本也殺了。原因就是 -f 匹配到了命令行里包含 demo 字符串的所有進(jìn)程包括剛拉起來的新進(jìn)程。生命周期里最怕這種“關(guān)聯(lián)誤殺”排查信號(hào)來源時(shí)要特別注意。6.4 一張快速定位狀態(tài)表觀察結(jié)果可能原因優(yōu)先處理方式STAT 為 R正在運(yùn)行或等待 CPU結(jié)合 CPU 占用判斷是否正常STAT 為 S等待事件或資源用 strace 看阻塞點(diǎn)STAT 為 D等待內(nèi)核 I/O 完成檢查磁盤、NFS、存儲(chǔ)STAT 為 T被 SIGSTOP 或 CtrlZ 暫停用 kill -SIGCONT 恢復(fù)STAT 為 Z子進(jìn)程退出父進(jìn)程未回收檢查父進(jìn)程 wait 邏輯PPID 變成 1原父進(jìn)程已退出進(jìn)程被收養(yǎng)確認(rèn)是否期望的后臺(tái)服務(wù)退出碼 137被 SIGKILL 殺死查 OOM、日志、外部 kill退出碼 143被 SIGTERM 殺死查服務(wù)停止邏輯和信號(hào)處理6.5 真正理解生命周期能解決什么問題生命周期不是一個(gè)需要背的概念它是一根把“程序文件、進(jìn)程、終端、信號(hào)、父進(jìn)程、系統(tǒng)服務(wù)”串起來的線。遇到問題時(shí)從這條線上定位大多數(shù) Linux 進(jìn)程異常都能找到入口。如果只是學(xué)習(xí)階段先把 ps 的 STAT 列、fork/exec 創(chuàng)建流程、exit/wait 回收流程看明白就夠用了。如果要長(zhǎng)期維護(hù)服務(wù)就把 systemd、守護(hù)進(jìn)程、優(yōu)雅退出、進(jìn)程池回收一起納入考慮你會(huì)發(fā)現(xiàn)很多“莫名其妙”的問題其實(shí)都發(fā)生在生命周期的某個(gè)特定階段。我個(gè)人更建議先拿一個(gè)簡(jiǎn)單的 demo 程序做實(shí)驗(yàn)前臺(tái)跑、加 跑、用 nohup 跑、放進(jìn) systemd 跑每一步都用 ps 和 strace 觀察一次。跑過一輪之后比看十篇理論文章都有用。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天爱天天爽| 91日视频| 亚洲无码www| 激情图片婷婷| 久久黄色免费视频| ady狠狠入| 亚洲啪视频| 丁香五月天激情婷婷丁香六月| 国产亚洲精品AAAAAAA片| 99er视频在线| 午夜丁香婷婷| 久久免费干| 91热视频色网站| 国产黄色在线观看| 亚洲激情综合| 美女婷婷六月色| 精品热九九| 久9精品视频| 天天做天天爱天天综合网| 婷婷五月精品中文| 国产精品久久..4399| 激情五月天色色| 久久婷婷五月天| www好屌操| 91尤物九色在线| 美女视频图片久久91| 中文字幕成人| 色色五月天激情| 色狠狠999综合| 亚洲午夜AV| www99热| 成人va在线观看视频| www色婷婷com| 丁香六月婷婷社区| 五月丁香六月婷婷在线播放| 中文字幕AV网址| 精品一二三区久久AAA片| 五月丁香婷婷激情视频| 色五月aV| VA色婷婷| 狠狠色综合网站久久久久| 超碰99热| 色婷婷狠狠爱| 99热在线只有精品| 天天干天天干天天干天天干天天| 激情床戏| 天堂网操| 三男玩一女三A片| 久久久27操| 婷婷久久网| 性爱激情五月| 狠狠色婷婷7777久| 天天草天天舔| 丁香五月网络网络| 天堂草在线观| 香蕉婷婷色五月| 丁香综合婷婷五月天| 色五月婷婷影院| 99色嘟嘟精品网站| 另类图片五月天激情| 两性婷婷丁香五月| 久久婷婷亚洲无码一起| 五月天开心色情网| 丁香五月色播中文在线播放| 国产精品久久7777777精品无码| 五月婷婷精品视频| 丁香婷婷色九月| 99人妻碰碰碰久久久久视| 色婷婷在线视频| 丁香五月激情五月| 2018国产大陆天天弄| 日韩精品无码一区二区| 9热久久| 婷婷色在线播放| 性色婷婷| 一区二区三区四区无码| 99久在线观看| 亚洲精品一区中文字幕乱码| av第一二区| VA色婷婷| 日日.c| 丁香五月欧美激情| 国产精品久久久久9999小说 | 婷婷99视频精品| 五月丁香无码| 丁香婷婷影院| 五月婷婷丁香社区| 亚洲天天综合| 五月婷婷开心综合| 婷婷开心久久| 久久久精品色色色| 天天插天天插天天插| 五月色亭丁香| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 99热精品在线观看| 亚洲色啪| 97碰人人操| 欧美亚洲成人在线| 九九热在线99| 成人在线精品| 亚洲精品视频在线| 色色五月婷婷丁香| 国产毛多水多女人A片| 欧美色碰| 激情五月天小说| 99热这| 操碰色一区就去操| 色婷婷丁香六月| 五月色天情| 婷婷久久亚洲| 99视频在线观看网址| 六月婷婷深深爱| 婷婷五月色網站| 久久a热| 亚洲AV成人精品网站在线播放| 色色色婷婷| 美女久久婷婷| 超级久久久| 91人妻人人操| 99久久久免费| 大香蕉婷婷五月天| 99热免费在线| 亚洲精品又粗又大又爽A片| 99精品网| 中文字幕无码人妻少妇免费视频 | 99自拍视频| 五月婷婷综合网| 日本色色色| 99在线精品观看99| 91碰超| 色播婷婷五月天| 久久婷婷五月草视频在线播放| 丁香激惜男女| 五月婷婷激情视频| www.玖玖婷婷在线| 色婷婷成人| 午夜无码熟熟妇丰满人妻| 五月天社区| 伊人在线视频| 色娸娸综合网| 国产成人+综合亚洲+天堂| 停停六月 综合| 婷婷丁香激情| 天堂久久大香蕉| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 五月丁香怕怕综合| 久久一二三视频| 色欲资源网| 激情五月婷婷老师| 久9视频免费播放| 在线观看av网站| 国产熟女一区二区三区五月婷| 最新av在线观看| 久久大香蕉| 伊人五月天| 高清一区二区三区日本久| 丁香五月婷婷激情97| 五月婷婷开心爱| 翔田千里 50岁 无码| 丁香婷婷啪啪| 六月丁香五月婷婷| 操骚货在线| 玖玖婷婷色| 丁五月激情视频免费| 五月婷婷色色网址| 99这里都是精品6| 丁香五月自拍| 天天射天天操天天干| 五月丁香在线婷婷美女| 人人操人人爽成人AV| 婷婷狠狠97| 97久久久久| 丰满人妻一区二区三区| 国产毛片精品一区二区色欲黄A片 国产人妻777人伦精品HD | 色噜噜狠狠色综无码久久合欧美| 丁香六月久久| 99热在这里只有精品| 五月天久久91| AV中文在线| 久热re视频在线观看网站| 婷婷色五月天色| 99日韩| 五月天婷婷激情小说| 亚洲色婷婷五月| 大香蕉99| 伊人久久丁香五月91| 琪琪色影音先锋| 中文字幕黄色片| 五月激情另类| 欧美色频| 免费视频在线观看的网站| 老师把我爽高潮了免费A片| 丁香五月天啪啪| 久久99精品久久久久久三级| 99无码精品| 99热热热天天人人人超超碰| www.97干视频| 久久婷婷综合五月天| 六月色狠狠色| 武则天精品久久| 少妇人妻丰满做爰XXX| 日韩99色99| 久久九九中文字幕| AV亚洲在线| 欧美日韩成人在线网站| 久久人妻视频| 殴美激情综合网| 色播五月丁香婷婷| 久久婷婷色| 婷婷丁香91综合| 久草视频一,二三四| 这里只有精品热| 狠狠插狠狠插| 天堂网亚洲色图| 性爱综合网| 婷婷五月天美女视频| 91精品久久久久久| 色婷亚洲| 日日日影院| 色噜噜狠狠色综合日日| 啪啪东京热| 色综合久久88色综合天天人守婷| 九月丁香亭亭| 我想看国产大学生口爆吞精的视频| 激情四射五月天偷偷看婷婷| 99无码| 欧美亚洲婷婷五月| 大香蕉九操| 国产欧美熟妇另类久久久| 9 1大香蕉| 99热777| 婷色视频| 色综合久久综合| 国产精产国品一二三在观看| 天天做天天爽| AA片在线观看视频在线播放| 色婷婷狠狠18禁| 亚洲欧洲午夜成人精品av| 武汉美女啪啪视频免费一级片| 色一情一乱一乱一区91Av| 五月激情五月婷婷五月天在线| 96丁香六月婷婷蜜桃综合久久| 婷婷热色| 激情五月瑟瑟| 伊人三级激情| 激情熟女网| 久久只有精品| 99热日| 91色综合久久| 婷婷激情综合网| 色五月在线观看| 亚洲精品成人片在线播| 人人爽亚洲| 国产毛片欧美毛片久久久| 91avse| 色综合色色| 春色激情| 婷婷五月天伊人网在线观看视频| 久操操| www.色9| 婷婷五月无码| 色综久久久| 成人网站免费sxj| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 女人天堂av| av在线免费网站 | 丁香五月天激情视频| 五月激情偷拍| 亚洲AV日韩无码| 97干综合网| 婷婷丁香社区| 成久综合视频| 五月成人网天天| 女人天堂 AV| 深爱婷婷丁香五月激情| 成人AV免费观看| 日本三级韩三级99久久| 人妻丰满精品一区二区A片| 99re6在线视频精品免费| AV在线不卡播放| 久久综合55| 91亚洲免费片| 色五月婷婷激情综合网| 夜夜爽天操| 亚洲激情网| 99操久久| 亚洲六月综合激情久久下卡| 精品99在线看| 色婷婷4| 就爱射中文字幕资源网| 91热久久| 九九九九九九九九九九九九九九九九九九九在线视频 | 五月丁香六月婷婷在线播放| 亚洲人妻Av| 99精品视频网| www.九月婷婷丁香.com| 99热99网| 色五月综合| 99久久极情精品一区| 久久久国产精品黄毛片| 91人人网| 五月婷精品| 久久久性爱视频| 亚洲色在线观看| 婷婷天堂视频| 91爱啪啪| 99热热九九| 久草热8精品视频在线观看| 亚洲视频在线观看99| 五月婷婷综合在线| 五月综合婷婷久久在线 | 色偷偷综合| 天天日夜夜B久久| 日日夜夜狠狠| 日日懆天天懆| 黄页免费一级视频懂色| 久久免费操| 99热国产免费| 久久婷婷91| 成年人99热| 婷婷性爱视频在线| 久久精品系列| 那里有AV网址| 婷婷五月天国产传媒| 这里只有精品视频在线看| 一区二区你懂的| 欧美激情VA永久在线播放| 亚洲艹网| 色婷婷五月天激情在线观看| 欧美A片在线视频免费观看| 99热自拍| 天天肏夜夜肏| 91视频一起草| 激情亚洲婷婷| 91在线视频综合| 26uuu91| 天天综合网站| 99国产er热视频| 五月婷婷草| 国产精品成av人在线视午夜片| 色五月xxx| 伊人网碰碰| 中文字幕久久婷九女同| 国产黄大片在线观看画质优化| www99久久| 日本VA视频| 爱爱网址9| 激情丁香婷婷五月天| 天天爽免费视频| 99热 在线播放| 五月天丁香综合| 久久综合网免费视频| 久久婷婷九月国产精品| www99在线观看视频| 26uuu青青| 激情五月天天| 狠狠久久婷五月| 狠狠色丁香99| 91九色超碰正在播放| 日本久久网| 色五月五月丁香| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 亚洲六月综合激情久久下卡| 日韩精品一区二区亚洲AV观看| 男女啪啪做爰高潮无遮挡 | 五月婷在线| 人妻熟妇六区| 人妻久久婷婷| 亚洲V国产V欧美V久久久久久| 激情九月天天天天婷婷| 亚洲综合婷婷| 99热www.| 五月天婷婷丁香基地在线观看| 97搞在线| 五月婷在线色视频| 天天射天天干天插色综合| 深爱激情综合网| www.99热国产| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 丁香狠狠操| 五月天桃色深爱网| 激情五月丁香五月| 婷婷综合五月天| 色久天| 成人在线网址| 久久久精品色| 色色色色色色色色综合网| 五月丁香花视频| 99视频精品在线| 九九九九这里只有精品| 丁香五月播播| 久久久天天啊| 亚洲综合另类| 久青操| 亚洲色五月| 天天爽天天摸天天爱| www.狠狠艹| 日日爽日日爽| 久草热在线视频| 夜夜爽天天爽| 99九九在线观看免费| 日韩xx在线| 91婷色| 婷婷五月免费观看| 天天操夜夜夜拍拍拍| 色99综合色88| 人妻少妇色综合| 丁香九月综合| 正宗黄色毛片| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 亚洲人妻五月丁香婷婷| 9久国产精品| 成人免费120分钟啪啪| 四色五月婷婷在线观看| 操人妻90p| 六月婷在线| 婷婷丁香五月综合| AV成人在线播放| 色五月丁香激情视频| 无码动漫AV| 九九av| 射区导航| 亚洲精品激情| 婷婷成人综合五月| 日日天天天| 久久日九九| 成 人片 黄 色 大 片| 国产美女视频久| 奸逼视频| 五月丁香美女| 天天色月| 国产9色在线/日韩| 久久婷婷亚洲无码一起| 99碰碰碰| W色综合| 思思热视频在线| 99在线观看精品视频| 激情com| 久久精品4| 亚洲一区二区 成人网站戴套| 中文av网| 一本色道久久综合狠狠躁小说| 人妻久久久久久久| 欧美成人网99网| 日本ww亚洲| 婷婷五月天影院| 日韩AV中文字幕在线| 又大又粗九一在线| 熟女人妻一区二区三区免费看| 99久久99九九九99九他书对| 99热精品观看| 亚洲婷婷丁香| av色婷婷| 丁香五月激情婷婷| 精品人妻一区二区三区四区不卡在| 狠狠色成人影片| 九九无码视屏| 五月婷视屏在线观看| 亭亭五月天黑人2014| 五月婷婷这里都是精品| 天天插轮理| 久热2025无码| 久久黄色免费视频| 26uuu激情五月天| 热久久思思热思思| 九九热在线视频,| 99久热这里有精品| 五月天激情网页| 5月丁香六月情| 丁香五月婷婷激情123| 色五月婷婷五月丁香五月激情五月视频 | 亚洲乱码成人| 五月丁香六月婷| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 性一交一乱一交A片久| 丁香六月色| 五月色亭丁香| 大香蕉伊人99| 丁香影院五月综合| 亚洲性图一区二区三区| 婷婷五月电影| Av在线资源| 婷婷五月天视| 五月天激情图片| 丁香深五月婷婷| 精品视频这里只有精品| 久久婷婷五月综合色丁香| 久久久天堂国产精品女人| 激情综合色图| 色婷婷综合视频| 亚洲乱码日产精品BD| 婷婷五月AV| 婷婷色五月色| 大香蕉在九| 九九99热精品| 午夜婷婷久久| 久久婷婷五月综合网| 国产成人网站在线观看| 国产亚洲精品久久一区二区三区| 色天使久久综合| 五月激情四射婷婷丁香| 九九综合伊人| 日韩黄色网络| 婷婷五月天丁香成人社区| 久久久久久97| 婷婷丁香五月激情图片| 五月婷婷深深爱| 五月丁香狠狠爱| 午夜在线成人网站免费观看| 爱操人妻| 五月丁香做爱视频| 久久99久久99精品免视看婷婷| 乱精品一区字幕二区| 狠狠狠狠青草| 99热在线里有精品| 欧美影院| 久月久在线视频| www.91九色| 人妻videos人妻高清| 九九热这里只有精品6| 九九RE视频在线精品| 色色色宗合网| 人妻内射麻豆视频| 狠狠人妻色综合| 五月丁香激情综合啪啪| 色婷小说| 婷婷操婷婷干婷婷射| 婷婷五月激情综合网| 噜噜噜精品欧美成人在线观看| 日日夜夜干| 色狠狠色噜噜AV天堂五区| 亚洲综合视频八| 噜综合| 中文AV在线观看| 欧美成人在线观看| a色色片| 亚洲成人中心| WWW、日本色丁香、co m| 综合综合色色| 99操视频| 人伦30P| 五月天激情亚洲| 亚洲亚洲人成综合网络| 亚洲激情亚洲激情 | 欧美搡BBBBB摔BBBBB| 欧美99热| 亚洲在线资源| 婷婷的色色五月天| 亚洲色网址| 久久九九思思| 日本强伦片中文字幕免费看| jiujiu无码五区| 双性美人被调教到喷水A片| 综合激情网| 610018岁成人视频| 激情五月四色| 五月天婷婷社区久久综合| 爆乳熟妇一区二区三区爆乳照片| 色婷婷丁香花五月天| 夜夜骑日日操| 欧美交换配乱吟粗大25P| ww亚洲ww在线观看| 天天综合精品| 涩综合在线 | 亚洲av| 26UUU在线观看| 99久久国产宗和精品1上映| se99高清无码| 99热免费| www.夜夜騎夜夜狠| 日韩天堂久久| 狠狠干狠狠干| 色综合久久44| 天天插天天射| 狠狠色丁香婷婷基地| 成人做爰高潮A片免费视频| 四色综合网| 啪啪啪综合网| 亚洲六月婷| 99热久久这里只有精品2010| 激情婷婷黄色五月| www.狠狠| av性爱在线| 五月婷婷深深爱| 五月丁香六月婷综合成人综合 | 色婷婷操逼| 色色色色色日韩午夜激情| 激情六月综合| 91色综合网| 狠狠色丁香| www.国产亚洲69ty.久久久久久久久久久久| 99久热这里只有精品| 激情美女五月天| 久久综合久色欧美综合狠狠| 婷婷精品性视频| 九九热在线99| 99色色| 五月丁香六月花| 黄色91在线观看| AAA久久| 色综合久久88色综合天天人守婷| 超级碰 久久9| 色婷婷小说| 丁香五月天五码婷婷| 亲子乱av一区二区三区的| 五月天伊人综合| 日韩无码一区二区三区四区| 操草草草| 婷婷五月丁香六月| 成人午夜天| 久久久久久久久99精品| 国产成人va在线| 色婷五月| 久久免费试看120秒| 五月丁香激情综合网| 99这里只有精品视频| 天天色综合天天| 99九九精品视频推荐| 五月婷精品| 思99热精品久久只有精品| 91亚洲免费片| 激情 五月 婷婷 丁香| 天天干在线播放| 丁香花五月天激情| 性日本精品| 欧美激情丁香五月| 爆乳熟妇一区二区三区爆乳| 五月丁香直播| 色综合色色| 狠干综合| 亚洲AV久久久久久久久久久久久久久久| 九九久久精品| 五月综合激情网| 婷婷四色成人综合色视| 免费色色色| 97干免费视频| 97人妻碰碰碰久久| 啪啪九九色| 99re6在线视频精品免费| 欧美熟女99| 中文av网站| 丁香婷婷十月| 精品色色网| 亚洲日本激情| 婷婷色五月激情| 中文久久婷婷| 超级碰碰视频无码| av网站免费在线| 国产成人精品亚洲线观看| 久久九九免费视频| 中美日韩成人在线| 久色大| 26uuu亚洲| 99自拍视频网站| 五月天激情av| 人人操人av| 激情婷婷综合| 777久久综合视频| 九九久久综合| 九九热精品视频| 丁香蜜臀黄色婷婷五月天| 99热在线观看精品| 91精品综合久久久久久五月丁香| 26uuu亚洲欧美| 六月色狠狠色| 丁香五月宝贝激情网| 激情综合4月| 狠狠干五月天婷婷网| 99色热视频| 五月天婷婷爱| 欧美操逼天堂| 伊人影院久久网| 超碰在线个人观看| 人人操人| 9久久网| 超色欲天天| 国产色99| 人人性久久| BT综合在线视频观看| 五月天婷婷网站888| 婷婷五月天狠狠| 亚洲操b| 五月激情小说| 操99| 99精品视频在线观看| 国产露脸150部国语对白| 中文字幕网伦射乱中文| 狠狠爱婷婷五月天| 操逼国产91| 丁香五婷婷| 九九色影视| 少妇日麻屄| 色五月五月丁香| 色狠狠综合入口| 丁香五月成人| 少妇综合网| 国产又爽又猛又粗的视频A片| 青青久在线视频免费观看| 五月停性愛| 香蕉伊人综合| 九九热99re8热免费观看| site:picc-up.com| 思思国产99| 日本在线视频播放91| 五月天综合久久| 91人人人人人| 精品99在线看| 激情的五月| 天天色视频| 这里只有精彩视频| 99热九九九九| 操操碰| 九九婷婷五月天影视| 日日综合网| 婷婷伊人| 久久ri精品视频| 五月婷婷啪啪网| 亚洲五月天综合| 天天干天天操天天爽| 五月丁香网站| 4399欧美另类视频| 9999热精品在线免费播放| 可以直接看的AV| 亚洲精品成人| 免费AV在线网址| 精品国产人人爱人人| 天天插综合| 大香蕉啪啪网| 欧美性猛交99久久久99| 九九久久99| 超碰在线视屏| 十二区无码| 99久久精彩视频。| 天天爱天天做天天操| 五月天激情视频| 九色无码| 久久性爱视频久久性爱视频| 日日夜夜天天| www.婷婷,com| 五月天另类小说久久小说网| 天天草天天爽| 天天综合 99久久婷婷| 26UUU欧美激情一区二区| 国产操碰| 9九色首页| 婷婷亚洲在线| 天天拍天天操| 色啪网| 婷婷日欧美在线观看| 最新无毒无码AV| 丁香五月情色| 日本综合色色| 色婷婷国产精品综合在线观看| 久久久精久人妻| 狠狠干综合| caop在线| 噜噜操操| 丁香五月婷婷综合精品素人| 丁香五月六月婷婷殴美综合| 日本二级毛片二级毛片| 久久这有这里精品| 丁香六月婷婷| 香蕉综合网| 色色五月丁香婷婷| 五月丁香大相交| 噜噜视频| 狠狠综合区| 亚洲夜夜操| 久久婷婷免费| 五月激情基地| 激情五月天久久| 日日噜狠狠色综合久久| 色五月情| 九九久久五月天综合伊人| 97色吧| ...婷婷国产成人亚洲日韩| 色色色色综合| 色五月成人婷婷| 日本色色色| 色五月成人婷婷| 天天干天天做| 婷婷丁香第一页| 国产JK精品白丝AV在线观看| 五月婷婷香蕉| 婷婷丁香无码专区| 丁香六月激情综合啪啪| 激情色情五月天| www.五月丁香| 久久 婷婷 五月天| 狠狠操狠狠爱| 99视频地址| 色色欧美。| 巴基斯坦粉嫩无码视频| 玖玖玖婷婷婷| 日本一级特黄大片AAAAA级| 伊人狠狠丁香婷婷综合尤物| 丁香婷婷久久 | 黄色AAAAAAA| 野战毛片三一3| 久综合| 天天舔天天爽| 手机AVAV天堂看网| 色在线免费观看| www夜夜操| 色婷婷久久综合| 五月天婷婷成人网| 日韩操逼小电影| 9热在线观看| 狠狠干无码| 思思久久思思| 亚洲婷婷五月| 99亚洲精品| 5月丁香六月婷婷| 9999热在线观看| 狠狠色婷婷| 亚洲综合婷婷| 91九色欧美| 狼人久草| 婷婷五月天开心激情网| 免费亚洲婷婷中文字幕| 国产毛片欧美毛片久久久 | 九九激情综合| 五月天婷爱综合| 午夜婷婷久久| 激情婷婷丁香| 99re6久热只有精品6在线直播| 99热国产| 色婷婷91激情小说| 亚洲操b| 开心婷婷五月中文字幕组| 大香蕉天堂| 7EzOBIhNq85TO| 狠狠色噜噜狠狠| 色欲丁香久久| 中文字幕丰满人妻无码专区| 成人做爰A片免费看视频| 五月婷婷丁香俺日污视频| 久久er视频6| 色色97丁香婷婷五月天| 激情婷婷六月天| 五月色色激情网| WWW丁香五月| 色色九九五月天 | 91丨九色丨国产打屁股网站| 五月激情六月综合| 九九热在线精品| 天天综合天天做天天综合| 亚洲性视频| 色综合99无码| 99ri视频| 久热中文字幕| 国产综合网在线| 99在线免费视| 亚洲综合网 665566| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 永久思思热在线| 婷婷五月天久久综合88| 97操在线| 中文毛片无遮挡高潮免费| 91人人操.COM| 99精彩视频| 美英法精品无码免费视频| 色VA| 天天看A片| 丁香五月激情综合婷综| 9l久久久视频| 五月天婷婷狂暴白浆| 丁香婷婷久久| 色五月激情| 91操片| 五月激情综合网| 亚洲第一精品成人999久久精品| 国语对白性爱视频播放| 九九热a| 99热久草| 久久婷婷丁香| 激情五月份婷婷| bukadeavzaixian| 九九婷婷热| 2025神马午夜福利| 亚洲国产精品二二三三区| www.久热| 99久久网站| 五月天久久婷婷| 婷婷丁香五另类网站| 色色色五月婷| 色婷婷AV在线| 婷婷情色五月天| 日本色婷婷| 天天爽天天| 九九热视频在线观看| 99综合视频| 99色在线| 五月丁香六月激情综合| 日韩在线99| 日本操碰碰| PORNY九色9l自拍视频成人| 99综合自拍| 婷婷久久五月丁香| 大香蕉婷婷| 天天舔天天爽| 极品少妇高潮啪啪AV无码| 99网| 激情五月天天| 免费在线观看av网站| 这里只有精品视频| 婷婷五月六月丁香综合| 涩涩涩.com| 综合久久五月天| 国产精品色色| 91超碰在线观看| AV性爱网| 色欧美一级| 丁香五月婷婷婷桃花影院| 99欧美| 色情成人五月天| 亚洲成人电影aaaa| 97婷婷色| 丁香五月婷婷天堂大香蕉| 日本视频久久| 狠狠插狠狠操| 精品一区二区三区木瓜| 十月丁香婷婷| 丁香成人色情五月天| 激情六月婷婷| 中文AV网站| 久久无码成人| 五月丁香成年黄色| 色色热99| 激情五月丁香六月婷婷| 婷婷六月综合基地| 婷婷五月激情综合| 玖玖伊人网| 青青草原亚洲天堂| 伊人久久婷婷五月天激情四射| 综合九九| 五月婷婷激情久久| 综合色色五月| 久久大香蕉同僚| 色婷婷视频| 情趣视频66| 丁香五月在线观看| ZpRSw| 婷婷丁香在线| 五月婷婷综合潮喷| 九九色人| 五月天操逼激情| 久久精品63| 五月丁香综合精品| 黄色一级影片| 黄网在线免费| 亚洲av成人在线| 精品久久久久久久久久久久人妻| 91超级碰在线| 极骚大香蕉伊人| 色综合久久综合中文综合网| 国产熟女日日骚五月丁香爱| 激情综合网五月丁香| 91男人操女人视频| 婷婷精品在线| 婷婷五月18永久免费视频| 99热亚洲精品| 97伊人综合婷婷| 五月丁香婷婷综合激情基地| 五月婷中文字幕| 高清a片基地| 婷婷激情五月天天天开心| 久热这里只有| 久久婷婷五月综合色丁香花| 丁香五月婷婷色| 婷婷五月色天| 国产,欧美,学生妹,视频| 五月天社区| 久久久精品人妻| 潘金莲AAAAAAAAAA| 六月丁婷婷| 色~性~乱~伦~噜| 国产婷婷久久| 岛国av电影网站| 婷婷丁香在线| 久九色| 精品久久这里热66| W色综合| 九九热10| 色播五月婷婷| 九月丁香婷婷综合| 色五月av| AV中文字幕夜夜操b天天摸bb | 九月丁香婷婷| 九色视频91| 婷婷五月综合社区| 狠狠久久婷婷| 国产婷婷五月色情综合| 怎么样可以看免费的一级av| 2050人人操免费工开爱| 东京热免费视频| 91人人网| 久久激情五月天| 丁香五月777| 丁香五月伊人| 色九综合| 国产va视频| 婷婷丁香色性爱| 色五月色五天免费视频| 丁香九色不卡aaa | www.99热国产| 伊人狠狠狠综合| 大地资源色婷婷视频在线 | 天天性视频| 夜夜谢天天干| 天天天久久久| 色啪网| 激情五月天综合图片小说网站 | 91在线观看www| 97色色综合| 大香蕉娱乐| 九九在线精点品| 亚洲色夜| 99九九久久| 思思久久99热| 欧亚成人A片一区二区| 五月丁香婷婷国产精品综合| 国产69久久久欧美黑人A片| 逼逼AV| 婷婷五月天丁香综合网| 深爱五月网| 99偷拍视频在线日本| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 国产精品香蕉| 啪精品| 99久久网站| 天天综合久久| 色色三级视频| AV五月婷婷露脸| 婷婷色中文| 大香蕉啪啪啪| 色的色综合| 国产AV成人精品| 五月丁香六月综合激情| 五月丁香婷婷色色| 中国丰满熟女A片免费观| 国际国外精品欧洲南美洲专区无码不卡| 亚洲午夜在线视频| 人妻操逼视频| 日韩黄黄| 无码一区精品一区视频| 五月丁香色| 激情文学久久| 狠狠操天天日| 丁香五月婷婷香| 欧美色色色色色色色色色色| 丁香五月天AV在线| 99色热综合| 热99精品视频五月| 亚洲激情网站无码| 五月丁香A∨在线| 337p大胆噜噜噜噜噜91Av| 高清激情av在线观看| 日韩精品呦呦va| 日本操碰碰| 久久五月丁香综合17C| 婷婷亚洲久久| 99精品在线观看| 久草热视频在线观看| 激情av| 婷婷香蕉香| 色情综合网| 五月婷婷欲色| 大香蕉伊人久久| 人操91在线| 精品久久人妻| WWW.婷婷| 激情婷婷色小说| 亚洲成Av人片乱码色第1集| 天天爽天天日| 色五月激情五月| 五月激情另类| 超碰猛烈的性猛交| 一起草AV入口| 色婷婷综合网站| 日日日天天干| 丁香婷婷五月天色综合| 精品亚洲日韩99欧美片| 极品人妻VIDEOSSS人妻| 99九九99九九九视频精彩| 日日撸日日操| 丁香婷婷五月天校园春色| 九九综合五月欧美| 国产乱妇无乱码大黄AA片| 99riAv1国产在线观看| 狠狠操性爱av| 色。 婷婷婷| 一起草Av| 六月婷婷网| 久cao香蕉影院| 99综合视频| 九九综合| 一本色道久久综合狠狠躁小说| 3p日韩网站视频| 久久婷婷视频| 婷婷激情人妻| 91人人爽人人操| 一区二区三区四日本| 色99在线| www99热| 日本久久婷婷| 五月丁香激情综合网| av在线色五月丁香婷区久| 啪啪五月综合| 91丨九色丨高潮丰满日本| 欧美色爱五月天| 青青草婷婷综合五月| 九九热再线九九视频免费在线观看| 综合性爱网| 久久精品噜噜噜成人A∨色欲| 婷婷丁香九色| 中文字幕乱码亚洲精品一区| 五月天综合| 97人人草| 亚洲精品亚洲人成人网| 久99在线视频| 日本狠狠干| 欧美日韩aaa| 九九视频在线观看| 怡红院视频| 午夜激情五月天| 激情五月婷婷丁香综合网| 婷婷五月天在婷| www.色五月天.com| 丁香婷婷色五月天| 日逼免费视频| 天天爽夜夜爽| 久久视频在线| 99乱视频| 色综合五月天| 丁香色成人| 99综合网| 九九99九九99九九99视频网| 综合AV在线| 在线观看的av| 九九亚洲视频| 啪啪啪综合网| 色久综合| 欧美亚洲999| 国产做爰视频免费播放| 色五月开心开心五月激情五月| 97亚洲视频在线| 欧美性爱5月天天天看| 久操香蕉| 天天爽天天摸人妻综合网| 一起操 91N.com| 天天插天天插| 99久热在线精品| 97操操| 激情五月图| 97在线观看| 亚洲欧州色情在线观看| 日本婷婷色| 思思久久精品| 九色七七| 婷婷五月天丁香| 性爱在线播放av| 九九九九九999999| 五月草影视| 五月天婷婷色情| 五月婷色色| 思思99热热热99| 农村熟妇高潮精品A片| 五月色精品| 久热re在线视频| 丁香六月婷婷综合激情欧美| 四色综合网| 伊人在线视频| 色五狠狠| 国产激情在线| 日本婷婷五月天| 成人狠狠成人狠狠成人狠狠成人狠狠| 在线观看日韩12345区| 天天舔天天摸| 操操碰| 国产在线aaa片一区二区99| 九九99一区| 99热国内精品| 五月婷婷六月激情| 9久热这里只有精品| 99九九视频精彩在线| 六月丁香婷| 5月婷婷性视频| 午夜成人在线免费视频| 婷婷五月天激情四射| 亚洲99视频| 丁香五月婷婷亚洲另类| 五月丁香免费看| 69er小视频| www91久久| 狠狠色噜噜狠狠狠888| 欧美天天干天天草| 亚洲色图45p| 国产69久久久欧美黑人A片 | 91干在线视频| 丁香五月色情| 日日夜夜天天爽| 欧美日韩成人一区二区| 99热在线观看| 久久国产性爱A V| 丁香六月亚洲综合| 五月婷婷六月激情| 婷婷国产欧美97| 伊人婷婷五月| 99色婷婷视频| 久久天堂色| 粉嫩av蜜桃av蜜臀av| 亚洲综合五月天综合| 无码动漫av| 国产精品扒开腿做爽爽爽A片唱戏| 思思热精品在线| 狠狠干在线| 色狠狠婷婷| 五月丁香久久综合| 久久久27操| 98热精品| 婷婷五月天777| 五月狠狠| 无码激情AAAAA片-区区| 久久婷婷五月综合色丁香| 丁香婷婷久久激情| 玖玖五月| 色婷婷综合久久| 色综合色| 天天爱夜夜爽| 开心久久xxx色| 啪精品| av大片在线| 婷婷午夜| 99热这里只有精品4| 99re这里只有精品视频6| 久久人人九| 超碰色碰碰| 亚洲色综合| 天天肏天天肏天天肏| 五月天激情无码高清| 99re66热这里只有精品| 无码九九九九| 激情操逼婷婷| 激情五月天社区| 色婷婷精品视频| 五月丁香六月停停| 精品九九在线观看视频| 丁香六月婷婷色播| 99热热热天天人人人超超碰| 激情婷婷五月天| 96精品久久久久久久久| 79精品视频| 99在线视频精品| 秋霞电影一级黄| 久久婷婷五月综合精品蜜芽| 日本97在线观看| 777影视理论片大全在线观看| 久久99久久99精品免视看婷| 99爱在线免费视频| 99精品在线下载| 亚洲色色图片| 色婷五月天| 99男人天堂| 91久草五月天婷婷| 亚洲AV日韩在线观看|