欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Linux系統(tǒng)編程實戰(zhàn):從epoll、內(nèi)存管理到崩潰排查的硬核指南

Linux系統(tǒng)編程實戰(zhàn):從epoll、內(nèi)存管理到崩潰排查的硬核指南 簡介《Linux系統(tǒng)編程實戰(zhàn)技巧》對應的是杰克-本尼·佩爾松所著的《Linux系統(tǒng)編程技術(shù)》一書面向有一定 Linux 基礎(chǔ)、希望深入系統(tǒng)級編程的開發(fā)者。書中從環(huán)境搭建講起逐步覆蓋共享庫構(gòu)建與使用、終端輸入輸出控制、進程間通信、多線程編程以及調(diào)試技巧等主題并以實際案例和練習引導讀者動手編寫高效、健壯的 Linux 程序強調(diào)在實踐中鞏固概念幫助讀者理解原理后直接應用到日常開發(fā)與問題排查。壓縮包內(nèi)為 1 個 PDF 文件大小約 4.82MBPDF 格式便于跨設(shè)備閱讀、檢索和批注適合自主學習或工作查閱。目前已有 102 人學習說明其內(nèi)容在開發(fā)者群體中具備一定參考價值。通過系統(tǒng)閱讀讀者能補齊系統(tǒng)編程知識短板把握共享庫、進程協(xié)作、終端控制與多線程等關(guān)鍵點掌握從基礎(chǔ)概念到實戰(zhàn)排錯的核心技能為后續(xù)深入服務(wù)端開發(fā)與內(nèi)核機制打下扎實基礎(chǔ)。1. 項目概述與核心價值1.1 為什么現(xiàn)在還要學系統(tǒng)編程先拋個觀點在云原生、容器化、Serverless 鋪天蓋地的今天Linux 系統(tǒng)編程不僅沒過時反而成了區(qū)分“調(diào)包俠”和“真工程師”的分水嶺。很多人會用 Python、Go 寫業(yè)務(wù)但遇到性能瓶頸、詭異崩潰、內(nèi)存泄漏就抓瞎了——因為不會看底層。系統(tǒng)編程的本質(zhì)就是直接跟內(nèi)核打交道理解進程、內(nèi)存、文件、信號、IPC 這些抽象概念背后的真實機制。我經(jīng)常打一個比方用高級語言寫業(yè)務(wù)相當于開自動擋汽車踩油門就走做系統(tǒng)編程相當于你親自調(diào)發(fā)動機、變速箱你得知道每個擋位什么時候換、離合器怎么配合。這個過程固然辛苦但一旦你掌握了再看上層框架、中間件會有一覽眾山小的感覺。這門技術(shù)最典型的應用場景一是基礎(chǔ)設(shè)施類項目數(shù)據(jù)庫、消息隊列、存儲引擎、網(wǎng)絡(luò)代理二是性能敏感型服務(wù)網(wǎng)關(guān)、推薦引擎、實時流處理三是嵌入式與邊緣計算物聯(lián)網(wǎng)網(wǎng)關(guān)、智能設(shè)備。待遇普遍不低但門檻也擺在那里核心卡點就是系統(tǒng)編程能力。這篇實戰(zhàn)總結(jié)不是來給你念 man 手冊的而是把我在實際項目中高頻踩坑、反復驗證過的關(guān)鍵知識點拎出來結(jié)合具體場景講清楚“為什么”。文章會覆蓋時間處理、內(nèi)存管理、文件 I/O、錯誤處理、崩潰排查等幾個硬核方向每個都給到可落地的代碼片段和排查命令??赐瓴桓艺f讓你脫胎換骨但至少能在遇到同類問題時少走幾個大彎。1.2 這篇文章適合誰有 C/C 基礎(chǔ)、正在轉(zhuǎn)向 Linux 服務(wù)端開發(fā)的工程師是這篇文章最核心的閱讀人群。如果你是剛學完《Unix 環(huán)境高級編程》前幾章、對文件描述符和進程概念有了模糊認識但還沒在真實項目里練過手的階段那正好。另外準備面試后端崗位、被問到“進程和線程的區(qū)別”“select 和 epoll 的差異”這類問題時只能背答案的朋友同樣適合讀一讀——我會從原理層面幫你把這些知識點打穿而不是停留在面經(jīng)口訣上。如果你已經(jīng)在寫業(yè)務(wù)代碼但對 strace、gdb、perf 這類工具僅限于聽說那這篇文章的實操部分會給你清楚的入手路徑。底層原理配合工具鏈雙管齊下才能真正把知識變成排查問題的能力。對于純運維或純前端背景的朋友這篇文章可能有一定深度但不必勸退——遇到不懂的系統(tǒng)調(diào)用直接 man 一下或者查內(nèi)核源碼注釋養(yǎng)成查一手資料的習慣比看二手博客強得多。2. 內(nèi)容整體設(shè)計與技術(shù)選型思路2.1 項目實戰(zhàn)中的技術(shù)棧與系統(tǒng)監(jiān)控回到一個實際的系統(tǒng)編程項目里來聊。比如我們要做一個高并發(fā)的日志采集代理需要從多個網(wǎng)絡(luò)連接讀取數(shù)據(jù)、解析、批量寫入磁盤。這個項目看起來簡單但真正實現(xiàn)時技術(shù)選型處處是坑每一處都體現(xiàn)系統(tǒng)編程的核心功力。技術(shù)棧上幾個核心選擇是這樣的語言選 C 而不是 C日志代理的核心在于 I/O 吞吐和內(nèi)存控制C 的 runtime 更輕、可控性更強配合內(nèi)核 API 直來直去幾乎沒有隱藏開銷。C 標準庫確實方便但異常安全、模板展開帶來的二進制膨脹在低配嵌入式環(huán)境下并不劃算。I/O 模型選 epoll 而不是多線程面對大量并發(fā)連接為每個連接起一個線程上下文切換開銷會吃掉不少 CPU。epoll 配合非阻塞 I/O 加事件驅(qū)動是 Linux 下處理高并發(fā)的最優(yōu)模型沒有之一。存儲層不直接裸寫磁盤無論你多自信OS 的頁緩存page cache優(yōu)化比你手寫的任何緩沖機制都成熟。正確的姿勢是高頻寫入先進入用戶態(tài)緩沖區(qū)積累一批或定時落盤利用 write 或 pwrite 的“拷貝到內(nèi)核頁緩存即返回”的特性把性能壓力交給內(nèi)核的 pdflush 機制去刷盤。監(jiān)控方式最直觀的就是 /proc 文件系統(tǒng)。不要小看這個虛擬文件系統(tǒng)它幾乎是內(nèi)核狀態(tài)的全景窗口。比如/proc/{pid}/status 可以看進程內(nèi)存分布VmRSS、VmPeak/proc/{pid}/io 能統(tǒng)計真實讀寫字節(jié)數(shù)/proc/loadavg 反映系統(tǒng)整體負載。排查文件描述符泄漏直接看 /proc/{pid}/fd 目錄的符號鏈接數(shù)量。我調(diào)試很多問題第一步就是進去掃一眼這個目錄比盲目上工具高效得多。2.2 為什么選這套方案避開了什么坑選這套方案核心邏輯是減少不可控的間接層。多線程模型看似直覺但坑在同步。鎖競爭、條件變量誤喚醒、死鎖、ABA 問題隨便一個都能讓你調(diào)幾個通宵。而單線程 epoll 模型配合非阻塞 I/O天然規(guī)避了并發(fā)帶來的數(shù)據(jù)競爭問題——一個線程按順序處理所有就緒事件根本不需要鎖。這種模型的確定性極強出了問題也容易復現(xiàn)。另外沒有盲目引入第三方庫。很多新手一上來就找 libevent、libuv但底層邏輯沒搞通之前這些庫就是個黑盒。你在 epoll 層犯了語義錯誤比如沒有處理 EPOLLRDHUP、對 EPOLLERR 響應不正確換個庫同樣會有問題而且更難查。先把系統(tǒng)調(diào)用層面的手冊讀透再談抽象。這里補一個操作系統(tǒng)層面的背景epoll 之所以高效核心在于內(nèi)核維護了一個就緒鏈表應用程序只需要等待自己關(guān)注的事件被觸發(fā)無需每次遍歷大量文件描述符。這個機制網(wǎng)上的文章一搜一大把我不再展開。實際操作中建議多看看內(nèi)核源碼中 fs/eventpoll.c 的注釋理解水平會高出一大截。3. 核心細節(jié)解析與實操要點3.1 時間處理你代碼里的 time 可能是錯的先來個開胃菜——時間處理。這個問題看著基礎(chǔ)但坑極深。系統(tǒng)編程中經(jīng)常碰到的一個需求是“計算某段邏輯耗時”很多人寫代碼直接用clock()或者gettimeofday()然后發(fā)現(xiàn)結(jié)果忽大忽小神秘莫測。先說結(jié)論性能統(tǒng)計一律用 clock_gettime(CLOCK_MONOTONIC)不要用 gettimeofday 或 time。因為 CLOCK_MONOTONIC 不受系統(tǒng)時間跳變影響——NTP 校時、運維手動改時間都不會干擾它它只記錄系統(tǒng)上電以來流逝的時間。再深一層clock()返回的是進程占用 CPU 的時間而非墻鐘時間。如果你的程序有大量 sleep 或 I/O 等待clock()統(tǒng)計出來的數(shù)值會嚴重偏小幾乎等于沒測。這個細節(jié)面試經(jīng)??紝嶋H開發(fā)中也極容易中招。#include stdio.h #include time.h static inline double now_ts(void) { struct timespec ts; clock_gettime(CLOCK_MONOTONIC, ts); return ts.tv_sec ts.tv_nsec / 1e9; } int main(void) { double start now_ts(); // 模擬業(yè)務(wù)處理 for (volatile int i 0; i 100000000; i); double end now_ts(); printf(elapsed: %.6f s\n, end - start); return 0; }注意結(jié)構(gòu)體timespec的tv_nsec單位是納秒不是微秒。很多人在這個單位換算上翻車把 1000 當 1000000 用結(jié)果性能數(shù)據(jù)放大了 1000 倍。這種問題一旦跑在監(jiān)控告警上能把整個團隊帶溝里。3.2 內(nèi)存分配malloc 的背后不是簡單的堆再聊聊內(nèi)存管理。很多 C/C 程序員對 malloc 的理解停留在“從堆上分配一塊內(nèi)存”這個層面但實際上當你調(diào)用 malloc(1024) 時內(nèi)核可能根本沒有給你分配真實的物理內(nèi)存頁。Linux 下 glibc 的 malloc 對小塊內(nèi)存默認閾值通常是 128KB 以內(nèi)走 brk通過調(diào)整堆頂指針滿足分配大塊內(nèi)存走 mmap由內(nèi)核在進程地址空間找一個空閑區(qū)域映射。關(guān)鍵點是mmap 出來的內(nèi)存在首次訪問時才觸發(fā)缺頁異常由內(nèi)核真正分配物理頁。所以你的程序申請了 1GB 內(nèi)存但 RSS駐留內(nèi)存可能只有幾百 MB——這就是著名的內(nèi)存惰性分配。這個機制本身是優(yōu)化但也是坑源。在高并發(fā)服務(wù)中如果大量使用 mmap 分配內(nèi)存又頻繁釋放會產(chǎn)生大量頁表操作造成性能抖動。對于需要高頻分配釋放對象的場景正確做法是維護自己的內(nèi)存池或者使用 tcmalloc / jemalloc 這類現(xiàn)代分配器。它們通過線程本地緩存降低鎖競爭性能提升很明顯。# 查看進程實際物理內(nèi)存占用RSS cat /proc/{pid}/status | grep -E VmRSS|VmPeak # 查看內(nèi)存映射分布 cat /proc/{pid}/maps | head -n 20以上命令在線上排查內(nèi)存問題時極常用。若發(fā)現(xiàn) VmPeak 遠大于 VmRSS說明存在大量申請但未實際使用的內(nèi)存——可能是預留型分配也可能是內(nèi)存泄漏的早期信號需要結(jié)合 pmap 判斷具體映射區(qū)域。3.3 文件 I/O 的幾個隱身殺手文件 I/O 看起來簡單open、read、write 三板斧但實際項目里有一堆隱形陷阱。第一個坑是未處理部分讀寫。read/write 被信號中斷EINTR或者實際讀寫字節(jié)數(shù)小于請求字節(jié)數(shù)的場景非常普遍。尤其是在管道、socket、慢速設(shè)備上write 幾乎不可能一次寫完所有數(shù)據(jù)。必須寫循環(huán)重試邏輯這是一個合格系統(tǒng)程序員的基本素養(yǎng)。ssize_t writen(int fd, const void *buf, size_t n) { const char *p buf; size_t left n; while (left 0) { ssize_t nw write(fd, p, left); if (nw 0) { if (errno EINTR) // 被信號打斷重試 continue; return -1; // 其他錯誤交給調(diào)用方處理 } left - nw; p nw; } return n; }第二個坑是 forgot O_CLOEXEC。在 fork exec 的模型中如果你 open 一個文件描述符時沒有指定 O_CLOEXEC那么 exec 執(zhí)行新程序后這個 fd 默認會保持打開狀態(tài)。如果新程序的某個庫恰好在某路徑下創(chuàng)建文件或者加鎖就可能產(chǎn)生隱性的沖突。現(xiàn)代的寫法是 open 時一律加 O_CLOEXEC除非你明確需要跨 exec 傳遞 fd。第三個坑是 fclose 的返回值沒人檢查。fclose 不只是釋放用戶態(tài)緩沖它還會嘗試把緩沖區(qū)內(nèi)剩余數(shù)據(jù) flush 到內(nèi)核并檢查是否落盤成功。很多人寫完文件直接 fclose 不查返回值結(jié)果磁盤滿、NFS 斷連導致數(shù)據(jù)丟失程序還不知情。寫關(guān)鍵數(shù)據(jù)時fclose 之后請務(wù)必檢查返回值。4. 實操過程與核心環(huán)節(jié)實現(xiàn)4.1 從零搭建一個非阻塞回顯服務(wù)為了把上面的理論串起來這里帶大家手寫一個極簡的 epoll 回顯服務(wù)。它監(jiān)聽 TCP 端口收到什么就原樣返回什么。麻雀雖小但 epoll 的核心用法全在里面——從我多年的經(jīng)驗來看這個練手項目搞定后再看 Nginx、Redis 的事件循環(huán)代碼會輕松特別多。先列出關(guān)鍵代碼再逐行解釋#include stdio.h #include stdlib.h #include string.h #include unistd.h #include errno.h #include sys/socket.h #include netinet/in.h #include sys/epoll.h #include fcntl.h #define MAX_EVENTS 64 #define BUF_SIZE 4096 static int set_nonblock(int fd) { int flags fcntl(fd, F_GETFL, 0); if (flags -1) return -1; return fcntl(fd, F_SETFL, flags | O_NONBLOCK); } int main(void) { int lfd socket(AF_INET, SOCK_STREAM, 0); int opt 1; setsockopt(lfd, SOL_SOCKET, SO_REUSEADDR, opt, sizeof(opt)); struct sockaddr_in addr { .sin_family AF_INET, .sin_addr.s_addr htonl(INADDR_ANY), .sin_port htons(9000) }; bind(lfd, (struct sockaddr *)addr, sizeof(addr)); listen(lfd, 128); set_nonblock(lfd); int epfd epoll_create1(0); struct epoll_event ev {.events EPOLLIN, .data.fd lfd}; epoll_ctl(epfd, EPOLL_CTL_ADD, lfd, ev); struct epoll_event events[MAX_EVENTS]; char buf[BUF_SIZE]; for (;;) { int n epoll_wait(epfd, events, MAX_EVENTS, -1); for (int i 0; i n; i) { int fd events[i].data.fd; if (fd lfd) { // 有新連接到達 int cfd accept4(lfd, NULL, NULL, SOCK_NONBLOCK); if (cfd 0) { ev.events EPOLLIN | EPOLLRDHUP; ev.data.fd cfd; epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, ev); } } else { if (events[i].events EPOLLRDHUP) { close(fd); continue; } ssize_t r read(fd, buf, sizeof(buf)); if (r 0) { write(fd, buf, r); // 回顯 } else if (r 0) { close(fd); } else { if (errno ! EAGAIN errno ! EWOULDBLOCK) { close(fd); } } } } } return 0; }幾個必須劃重點的細節(jié)第一accept4 帶 SOCK_NONBLOCK 一步到位。如果先 accept 再單獨調(diào) fcntl 設(shè)置非阻塞在高并發(fā)場景下存在一個時間窗口該 fd 仍處于阻塞模式。如果這個窗口內(nèi)該連接變得非?;钴S你的事件循環(huán)可能在 accept 返回后、設(shè)置非阻塞前阻塞在讀操作上整個服務(wù)就卡死了。這個問題在教科書里很少被強調(diào)但在生產(chǎn)環(huán)境很容易栽跟頭。第二EPOLLRDHUP 必須監(jiān)聽。很多人只關(guān)注 EPOLLIN忽略了連接關(guān)閉事件。其實對端關(guān)閉連接時Epoll 會同時觸發(fā) EPOLLIN但當你 read 返回 0 時才處理意味著至少多一次系統(tǒng)調(diào)用。如果對端是半關(guān)閉shutdown 寫端你的 read 可能永遠不返回 0連接泄漏就發(fā)生了。加上 EPOLLRDHUP內(nèi)核會在對端關(guān)閉連接的第一時間通知你處理更優(yōu)雅。第三read 返回 -1 時要區(qū)分 EAGAIN 和真正的錯誤。EAGAIN/EWOULDBLOCK 表示當前沒有數(shù)據(jù)可讀這是非阻塞模式下的正常情況忽略即可。其他錯誤ECONNRESET、EPIPE 等才需要關(guān)閉連接。這個判斷順序?qū)懛戳藭霈F(xiàn)大量無效的 close 調(diào)用白白丟失連接。編譯這段代碼gcc -O2 -o echo echo.c ./echo # 另開終端測試 echo hello | nc 127.0.0.1 9000 # 輸出 hello4.2 利用 strace 動態(tài)追蹤系統(tǒng)調(diào)用詳情寫完回顯服務(wù)如果本地測試正常但懷疑某些場景有異常怎么辦strace 就是最犀利的工具它通過 ptrace 機制攔截進程的所有系統(tǒng)調(diào)用讓你看到用戶態(tài)和內(nèi)核態(tài)之間的每一次交互。# 跟蹤新啟動的進程 strace -f -e tracenetwork,read,write -o /tmp/echo.log ./echo # 或者跟蹤正在運行的進程 strace -p 12345 -f -e traceall -o /tmp/echo_attach.log跟蹤日志里的關(guān)鍵信息如何解讀以 accept 為例如果日志里出現(xiàn)大量EAGAIN說明事件循環(huán)里確實在讀非就緒的 fd——這本身是設(shè)計使然但如果密集出現(xiàn)說明事件注冊邏輯可能有問題fd 沒有正確地從 epoll 移除。再比如看到write(...) -1 EPIPE說明對端已關(guān)閉但你仍在寫通常需要處理 SIGPIPE 信號或使用 MSG_NOSIGNAL 標志。有一個使用技巧先 strace 看系統(tǒng)調(diào)用序列再結(jié)合代碼邏輯定位比單純看日志高效得多。很多詭異的問題日志里全是歲月靜好strace 一跑就原形畢露。特別是超時類問題在 strace 輸出里你能清楚看到 poll/ppoll/epoll_wait 的等待時長簡潔明了。提示strace 有性能開銷不能長時間在生產(chǎn)環(huán)境開啟。它適合臨時追蹤某個可疑進程定位問題后立刻關(guān)閉。4.3 gdb 調(diào)試崩潰與段錯誤系統(tǒng)編程最常見的崩潰就是段錯誤Segmentation Fault。定位段錯誤很多人第一反應是看 core dump 文件這沒問題但如果 core 開關(guān)沒開或者 core 文件巨大無比就得靠 gdb 現(xiàn)場調(diào)試了。# 編譯時開啟 -g 保留調(diào)試符號-O0 關(guān)閉優(yōu)化便于單步調(diào)試 gcc -g -O0 -o echo echo.c # 用 gdb 啟動 gdb ./echo # 在 gdb 中運行 (gdb) run # 崩潰后查看?;厮?(gdb) bt # 查看當前幀源碼 (gdb) list # 查看某個變量/內(nèi)存 (gdb) info locals (gdb) x/16xb buf這里必須強調(diào)一個我在實踐中反復驗證的經(jīng)驗崩潰兩次的現(xiàn)象往往才是 root cause。第一次崩潰可能發(fā)生在任意位置但第二次崩潰基本能穩(wěn)定暴露真正的問題因為此時數(shù)據(jù)結(jié)構(gòu)已經(jīng)被污染成穩(wěn)定狀態(tài)。所以線上遇到偶現(xiàn)段錯誤不要急著重啟盡量保留現(xiàn)場用 gdb attach 上去看看。此外當沒有 gdb 環(huán)境時也需要看懂核心轉(zhuǎn)儲文件里到底發(fā)生了什么。一個常見組合# 查看 core 文件的堆棧概要 gdb ./echo /var/lib/systemd/coredump/core.echo.12345 (gdb) thread apply all bt這個命令會列出所有線程的棧能快速判斷問題發(fā)生在哪個線程是主事件循環(huán)還是某個 worker。多線程程序崩潰時所有線程棧都打出來非常關(guān)鍵——問題線程的??赡懿皇亲铒@眼的那個但通過觀察鎖等待關(guān)系和資源訪問模式就能定位。4.4 日志與監(jiān)控沒有觀測就沒有降級最后是日志。系統(tǒng)編程的程序往往運行在無人值守的服務(wù)器上日志就是你的眼睛。但日志怎么寫是有講究的。首先盡量使用異步日志避免磁盤 I/O 阻塞業(yè)務(wù)線程。其次日志必須有級別DEBUG/INFO/WARN/ERROR且可動態(tài)調(diào)整——生產(chǎn)環(huán)境默認 INFO排查問題時臨時降級到 DEBUG不需要重啟進程。如果追求更精細的操作可以自己實現(xiàn)一個信號鉤子收到 SIGUSR1 時提升日志級別收到 SIGUSR2 時恢復。這種設(shè)計在線上運維中非常實用。這里補充一個可以“抄作業(yè)”的小方案日志落盤路徑/var/log/yourapp/app.log軟鏈到當前版本目錄日志輪轉(zhuǎn)用 logrotate每天切割 保留 7 天超過大小強制輪轉(zhuǎn)核心指標通過 /proc/{pid}/fd 統(tǒng)計連接數(shù)、通過 /proc/{pid}/status 統(tǒng)計內(nèi)存、通過 epoll_wait 返回值統(tǒng)計事件吞吐量全部定時打印到日志一旦做到以上幾點出現(xiàn)問題大概率能通過日志鏈路直接定位不需要頻繁登錄機器。5. 常見問題與排查技巧實錄5.1 連接數(shù)暴漲時出現(xiàn)“Too many open files”現(xiàn)象服務(wù)運行一段時間后日志里飄著Too many open files新連接無法 accept。排查思路先看當前進程打開了多少 fdls /proc/{pid}/fd | wc -l再確認系統(tǒng)限制ulimit -n兩者對比若接近或達到上限就是 fd 泄漏最可能的原因和解決代碼里accept返回的 fd 在某條分支上忘記 close比如 read 返回異常時沒關(guān)相對隱蔽的是epoll_ctl刪除 fd 失敗卻沒有 close 這個 fd還有一個容易忽略的點select/poll時代程序換到 epoll 后對 close 行為沒做調(diào)整——epoll 里 fd 被 close 時自動從監(jiān)聽列表移除但如果你繼續(xù)沿用舊的“兩段式刪除”寫法就可能在刪除時拿到已關(guān)閉 fd 編號的復用誤刪其他連接推薦預防手段在代碼里周期性統(tǒng)計 fd 總數(shù)并輸出日志設(shè)置明確告警閾值而不是等到了系統(tǒng)上限才被動發(fā)現(xiàn)。另外建議給每個可能持有 fd 的結(jié)構(gòu)體增加magic字段close 后置 0后續(xù)任何訪問都先校驗快速定位重復釋放問題。5.2 讀數(shù)據(jù)時遇到 EINTR 和 EAGAIN 的處理迷惑場景非阻塞 socket 編程時read 返回 -1errno 分別等于 EINTR 和 EAGAIN很多新手表示一臉懵。區(qū)分說明EINTR系統(tǒng)調(diào)用被信號中斷只是暫時的重新調(diào)用一次就行。常見觸發(fā)場景是終端 CtrlC、定時信號或者調(diào)試器介入。EAGAIN/EWOULDBLOCK資源暫時不可用比如 socket 接收緩沖區(qū)為空不是錯誤。非阻塞模式下這是常態(tài)直接忽略或者回到 epoll_wait 等待下一輪事件。經(jīng)驗法則這兩種錯誤碼都要“繼續(xù)等”但 EINTR 是立即重試EAGAIN 是回到事件循環(huán)。如果循環(huán)里對 EINTR 重寫時還帶著 sleep等于是人為給自己的服務(wù)加了延遲如果 EAGAIN 被當成異常直接 close就會出現(xiàn)連接無故斷開的問題。用本章代碼里的 writen 函數(shù)配合 EPOLLOUT 事件基本能覆蓋多數(shù)場景。// 正確姿勢收到 EAGAIN 就停止寫入等待 EPOLLOUT 事件 if (errno EAGAIN || errno EWOULDBLOCK) { // 將 fd 注冊到 epoll監(jiān)聽 EPOLLOUT ev.events EPOLLIN | EPOLLOUT; epoll_ctl(epfd, EPOLL_CTL_MOD, fd, ev); break; }5.3 多線程 vs 多進程的選型糾結(jié)這個問題幾乎每個系統(tǒng)編程初學者都會困惑。簡單說幾條經(jīng)得住實戰(zhàn)檢驗的建議多線程適合共享大量狀態(tài)線程間通信成本低任務(wù)粒度小線程池能夠高效復用單機多核并行計算一進程內(nèi)搞定多進程適合需要高可靠性隔離一個子進程崩潰不影響主進程模塊間權(quán)限不同希望用不同 UID 運行某個第三方庫不安全不想讓它污染主進程地址空間我的實操心得能用單線程 epoll 解決的問題絕不上多線程。曾經(jīng)有項目用 4 個線程處理 2 萬個連接光鎖競爭就損失了 30% 的吞吐量。后來改成多進程模型每個進程各管各的 fd 集合再配合 SO_REUSEPORT 做內(nèi)核級負載均衡性能直接翻倍。這個思路在 Nginx、Envoy 等生產(chǎn)級項目里已經(jīng)被反復驗證是真實有效的擴展路徑。5.4 服務(wù)器對時與時間戳亂象一個容易讓人崩潰的 bug服務(wù)日志時間偶發(fā)跳變、晚于實際時間、或者出現(xiàn)負耗時。根因代碼混用了 CLOCK_REALTIME墻上時鐘和 CLOCK_MONOTONIC單調(diào)時鐘。CLOCK_REALTIME 會隨 NTP 校時、手動調(diào)整發(fā)生跳變導致耗時計算瞬間變負。修改方案命脈指標統(tǒng)一使用 CLOCK_MONOTONIC日志展示附帶北京時間就單獨調(diào)用 localtime_r 轉(zhuǎn)換 CLOCK_REALTIME 的輸出。二者不要混在一個計算鏈路里。補充一個技巧如果某個功能只是想計算一次超時可以使用 timerfd_create epoll把超時管理交給內(nèi)核不需要自己開定時線程。這種設(shè)計更利于事件循環(huán)的一致性——同一套事件循環(huán)里既管理 fd又管理定時器代碼結(jié)構(gòu)更整潔。5.5 崩潰時沒有 core 文件怎么辦問題程序段錯誤了但 /var/lib/systemd/coredump/ 里啥也沒有。排查順序ulimit -c是否為 0如果是改成ulimit -c unlimited/proc/sys/kernel/core_pattern是否被 systemd 接管如果是確認 systemd-coredump 服務(wù)存在且運行代碼是否調(diào)用過signal(SIGSEGV, SIG_IGN)或者其他方式屏蔽了默認行為如果現(xiàn)場不好復現(xiàn)也可以直接讓程序在崩潰時自己打印?;厮荨J褂?backtrace 函數(shù)族和 backtrace_symbols_fd 寫到 stderr 或者日志文件能夠快速離線定位。#include execinfo.h #include unistd.h #include signal.h void crash_handler(int sig) { void *frames[32]; int n backtrace(frames, 32); backtrace_symbols_fd(frames, n, STDERR_FILENO); _exit(1); } // main 函數(shù)里注冊 signal(SIGSEGV, crash_handler); signal(SIGABRT, crash_handler);注意backtrace 在異步信號處理函數(shù)中不保證完全安全但多數(shù)場景下足夠用來做初步定位。生產(chǎn)環(huán)境最好還是借助 core dump 文件做完整分析。6. 寫在最后的實踐總結(jié)系統(tǒng)編程這門手藝書看百遍不如手過一遍。這篇文章里提到的每個問題幾乎都是我在真實項目里踩過的坑——有些坑是用一個通宵換來的教訓有的則是用線上事故的代價買回來的經(jīng)驗。所以我想用自己的實踐體會收個尾。首先一定要養(yǎng)成“先 strace再 gdb最后翻源碼”的排查習慣。很多時候崩潰現(xiàn)場類問題strace 記錄的系統(tǒng)調(diào)用序列比任何日志都有說服力先確認進程究竟做了什么再打開源碼分析為什么這么做效率會高很多。其次內(nèi)核文檔和 man 手冊永遠是第一手資料。網(wǎng)上博客魚龍混雜不少內(nèi)容都是互相抄抄到最后連參數(shù)名都被改錯了。碰到不清楚的系統(tǒng)調(diào)用優(yōu)先查一下對應 man page 的 “NOTES” 和“BUGS” 段落里面的警告信息非常值錢。更進一步直接看內(nèi)核源碼的注釋和提交記錄往往能發(fā)現(xiàn)很多設(shè)計者的真實意圖。最后系統(tǒng)編程是一場長期主義。它對人的心智模型要求很高需要你同時理解 CPU 調(diào)度、內(nèi)存管理、I/O 協(xié)議棧等一堆底層知識。但正是這種“難”才構(gòu)成了行業(yè)壁壘。今天文章里的 epoll 模型、內(nèi)存惰性分配、EINTR 處理、core dump 排查都只是冰山一角。接下來你可以擴展的方向是把單線程 epoll 升級為多進程 SO_REUSEPORT 的架構(gòu)自己實現(xiàn)一個簡單的線程池比較不同調(diào)度策略的優(yōu)劣深入研究一下 io_uring看看下一代異步 I/O 是怎么把系統(tǒng)調(diào)用開銷降到極致的。如果你正好在學這些內(nèi)容遇到具體問題卡住了歡迎帶著棧信息和 strace 日志來交流——好的問題往往比答案更值得討論。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美色色色色色| 中文精品在| 婷婷五月婷婷| 色综合xx| 久久婷婷综合网| 极品人妻VIDEOSSS人妻| 成人电影在线免费试看| 99免费热视频在线| 日本无va视频| 变态另类9| 免费无码毛片一区二区A片| 人人爽欧美婷婷久久久五月丁香| 久久99热免费| 大香蕉九操| 亚洲亚洲人成综合网络| 国产操碰| 91ncm视频| 三级三久久线久久99久目本WW| www..com色爱| 五月天激情四射| 亚洲狠狠丁香婷婷香蕉| 99色在线观看| 日本色色色| www,五月天激情| 天天色天天射天天日| 日本精品人妻无码77777| 亚洲人成色A777777在线观看| 色婷婷伦理| 人人干99| 婷婷五月丁香花综合| 丰满少妇猛烈A片免费看观看| 综合一本道| 激情五月丁香综合蜜桃| 9久久精品| 丁香五月婷婷久久久| 国产午夜精品AV一区二区麻豆| 丁香 亚洲 久久| 99精品在| 五月婷婷黄色视频| 99秘 在线| 99色精品视频| 色五月丁香总合网| 日本色婷婷综合| 色碰碰视频| 婷婷影院欧美| 五月丁香五月婷婷| 日本欧美在线| 久久综合性| 五月天综合在线观看| 无码yw| 日逼影音先锋男人AV资源站| 丁香五月婷婷图片综合| 超碰2021| 91在线看免费 九九九九| 97久久人人人干| 久热9| 99re免费精品视频| 婷婷丁香花五月天| 日本操碰碰| 九九这里都是精品| 狠狠插日日干撸| 99亚洲大片精品永久在线观看| 国产99热在线看| 久久婷婷综合网| 日本97在线| 亚洲成片在线观看| 色久女| 久9免费视频| 九九综合网色全集| 1024手机在线观看看片_日韩精品| 九九九九成人| 日本久久超碰| 黄色片区子| 一区二区免费看| 婷婷婷久久久| 丁香五月欧美午夜视频| 久久婷婷五月综合色区| 五月天色站| 日韩无码乱轮| 色色色国产| 久久久27操| 偷拍91九色| 色99热| 丁香五月婷婷啪啪| 五月天婷婷伊人| 婷婷性爱无码视频| 五月婷婷中文字幕AV| 色婷婷亚洲五月天| 久热综合| 国产看真人毛片爱做A片| 亚洲最大成人综合网720P| 久久在线视频免费观看| 无码橾| 久久99久久99精品免观看粉| 夜夜噜夜夜奇| 色色色色五月| 操人91| 成人做爰黄A片免费看直播室男男 A片试看120分钟做受图片 | 欧洲第一无人区观看| 亚洲激情久久| 欧美超级视频97| 99热18| 777久久精品| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 成人综合网站| 99狠狠操一| WWW.天天日| 日本成人噜噜噜噜噜| 天天狠狠色综合| 深爱激情综合网| 99操逼视频| 国产乱妇无乱码大黄AA片| 日本三级第一页| 99免费热视频在线| 99精品久久久久久久婷婷久久| 五月丁香成人视频| 日本人妻操| 99热1| 99久久网站| 婷婷五日b| 第四色首页| 九九伊人网| 亚洲日韩操B| 色爱99| 色色色综合视频| 五月婷婷综合精品| 开心五月激情网| 久久99久久99精品免观看粉嫩| 婷婷五月综合在线| 九九99久久| 五月激情影院| 97丁香婷婷| 五月丁香av在线| 五月天伊人综合| 五月丁香| 另类专区在线| 夜夜谢天天干| 青青草伊人婷婷| 97操在线视频| www.henhenl| 九九精品免费视频99| 欧美日韩91| 久播影院免费观看电视剧大全最新网| 激情五月综合| 久久视频66| 婷婷五月天国产| 久久人妻熟女一区二区| 久久精典| 狠狠操狠狠| 高清资源站日A美A欧亚…| 久久婷婷网| 99热99这里免费的精品| 五月天激情色色| 丁香五月网站| 99热这里只有精品4| 日韩精品99久久| 五月丁香在线视频观看| 精品人妻伦一二三区久久| 亭亭五月基地在线| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 99热 在线观看| 成人网址在线观看| 99riAV国产精品视频| 婷婷四色成人综合色视| 激情综合色五月丁香| 99精品在线播放| 天天色噜| 伊人玖玖网| 五月涩涩网| 综合婷婷| 久久婷婷五月综合激情国产| 久久久亚洲精品一区二区三区浴池| 97碰碰视频在线观看| 可以看的av| 亚洲成人日韩无码精品| 丁香五月天激情网| 七七久久婷婷| 丁香婷婷成年| 999热这里只有精品| 亚洲视频无| 国内精品玖玖| 色婷婷aV四虎| 五月婷婷丁香婷婷| 激情综合九| 婷婷六月色情| 99资源人人| 99视频网| 九九综舍久久| 超碰在线91| 婷婷激情性爱| 97操碰| 天堂婷婷五月在线| 五月婷婷开心网| 丁香激情久久| 色婷婷丁香五月| 久久久免费精彩视频| 色综合网综合| 男人的天堂99| 五六月丁香激情视频| 青青草视频免费观看| 岛国资源网| 情欲禁地| 亚洲综合五月| 丁香五月激情婷婷视频| 99热在线播放| 五月天另类小说| 激情婷婷综合网| 婷婷五月天无码| 青青草Avb在线| 欧美丁香五月| 思思视频久久| 热99.com婷婷| 中文字幕在线不卡| 色香五月天| 91黄色五月天视频| 五月天婷婷基地综合网| 婷婷 激情 五月| 人人爽网| 99热在线中文字幕| 五月花成人网| 亚洲色婷婷五月天| 另类小说五月天| 99精品在线下载| 丁香婷婷午夜| 五月丁香六月婷综合成人综合| 四虎婷婷五月天| 97在线干| 婷婷天天日婷婷| 丁香婷五月天| 国产免费一区二区三区三州老师F1F1.CC | 99成人| 91人人人人人| 丁香五月花影院| 久久XX| 五月激情丁香久久综合网| 欧美性生交XXXXX无码小说| 色婷婷小视频| 久久久精品99亚洲综合| AV中文字幕夜夜操b天天摸bb | 五月激情丁香久久综合网| 天天射影院| 亚洲色情网站| 五月丁香婷婷国产精品综合| 91精品久久久久久久久久久久| www.色婷婷.com| 99色色色色| 7超碰自拍| www.夜夜| 99啪啪视频| 色五月婷婷激情五月| 99伊人婷婷在线| 丁香五月天综合| 天天操天爱综合| 成人网址在线观看| 99视频91| 一本到不卡高清DVD| 中文AV在线观看| 日本色婷婷综合| 青青日韩| 九九九激情网| 性按摩玩人妻HD中文字幕| 日本成人噜噜噜| 五月六月激情婷婷| 亚洲婷婷五月天在线激情综合网| 69综合在线| 变态 另类 在线 | 九九综合| 超碰在线9| 婷婷99视频在线| 操一区| 五月天天爽| 五月天婷婷青青| 久久多色| 丁香婷婷五月激情| 丁香久月婷| 欧美精品狠狠色丁香婷婷| 亭亭五月丁香五月天激情| 日本色爽| 亚洲无码色色| 五月天精品视频| 丁香久色| site:wpjngj.com| 色5月婷婷色| 久操大屁股女人av| 91综合网| 日本A片一区| 丰满少妇猛烈A片免费看观看 | 欧洲电影在线观看免费版英语版| 五月丁香激情综合网| 亚洲精品视频在线播放| 激情久久肏屄视频| 九九视频在线| 9九色首页| 色五月婷婷丁香五月| 天天日,夜夜爽| 丁香五月婷婷动漫视频| 99热视| 99久久久国产大片| 色一区高清| 成人午夜无码视频| 天天久久人人| site:minyis.com| 99re99在线看| 九九这里有精品视频| 国产亚洲色婷婷99精品| 天天摸,天天爽| 99热欧美在线观看| 五月丁六月香av| 九九视频这里只有精品在线播放 | www五月婷婷88导航| 欧美69久成人做爰视频| 亚洲一二三网| g00d人体西西| 91日本在线观看| 超碰人人射| www.狠狠| 少妇口诉沐足视频播放器网址| 五月丁香六月婷婷在线小说视频| 五月丁香六月情婷婷久久| 天天婷婷操| 五月天成人手机在线视频| 久久这里只有精品视频26| 管管補管管紱| 99在线精品在线视频| 午夜五月天| 26uuu日韩| 五月丁香六月激情| 99在线免费观看| 免费做A爰片77777| 婷婷狠狠青青| 99爽视频| 五月激激网w'w'w| 激情 婷婷 丁香五月天| 色无码| 97碰碰在线看视频免费| 婷婷五月色| 97在线观视频免费观看| 亚洲 欧洲 国产 伦综合| 色七七九九| 中文网AV| 79色色色色| 五月天激情啪啪| 天天日天天干天天操| 182TV大香蕉| 日韩九九| 色啪久 | 美女网黄| 美女婷婷激情亚洲| 一区视频网站| 另类国产综合| 六月婷婷av| 丁香五月久久| 五月激情综合婷婷| 婷婷五月在线免费| 五月丁香在线看| 99自拍视频网站| 久久在线视频免费观看| 丁香五月婷婷亚洲色图| 婷婷五月丁香婷婷| www.五月婷婷| 国产性爱大片久久| 婷婷五月综合色中文字幕| 九九爱看亚洲| 人妻AV在线| 丁香六月综合激情| 99人人操人人操人人精| 色五月婷婷激情五月| 99热这里只有精品8| www.久久| 丁香花综合永久入口| 久久精品五月天| 五月五丁香婷婷| 久久久久激情网| 97精品人人A片免费看| 丁香伊人五月色婷婷五十路| 五月色欧洲| AV成人在线播放| 超pen个人视频97| 超碰资源在线| 婷婷五月天成人综合网| 丁香五月天激情| 97超碰色| 影音先锋 婷婷| 成人av免费观看| 五月刺激丁香月综合| 热的五码久久精品| 亚洲情色一区| 久久伊人婷| 99区视频| 91日本在线观看| 九月婷婷激情| 久久久久人妻网址| 在线不卡AC| 99久久性爱| 夜夜爱网站| 99re青青草| 久久性刺激| 伊人五月天婷婷| 色色色热| 五月综合久久| 丁香六月综合激情| 国产av基地| 色婷婷色五月天| 色婷婷五月天| 国产精品久久99| 九九精品自拍| 91色吧网| 狠狠干五月天| 激情骚五月| 丁香婷婷中文字幕| 丁香五月成人自拍| 99热免| 五月综合激情久久| 色天天综合| 亚洲色就是色色色| 99秘 在线| 日本天天操| 五月婷婷激情综合在线| 亚洲综合成人网| 亚洲天99| 玖玖综合色| 午夜婷婷久久| 99热在线观看精品| 99热国产精品| 9l视频自拍九色9l视频在线观看| 67194中文字幕| 狠狠操狠狠操| 五月玖玖| 99久久这里只有精品| 99福利导航| 97人妻碰碰碰久久香蕉| 婷婷久久综合久| 婷婷五月丁香基地| 亚洲性爱干干| 国产在线网| 五月丁香六月婷婷玖玖| 丁香五月婷婷综合激情哟哟哟| 久99久热只有精品国产99| 久久一级AV| www开心激情网| 91人人人人人| 五月丁香六月婷婷在线观看| 伊人玖玖网| 99热这里只有精品8| 操操精品| 五月天综合视频| 影音先锋xfplay资源男人网| 婷婷五月天性色| 亚洲色色香蕉| 五月婷婷亚洲| 久久久网站| 丁香综合伊人AV| 九九热内射| 伊人婷婷色| 99色在线观看| 婷婷色五月综合| 深爱激情丁香五月| 九色自拍| 超碰免费人| www.五月天激情| 色婷婷丁香九月| 婷婷五月六月| 久久婷婷五月天亚洲欧美| 日本久碰| 婷婷久久综合久| 激情黄色五月天| 影音先锋AV男人站| 俺去也五月| 天天拍久久| 丁香五月www| 91视频综合网| 婷婷丁香五月激情图片| 99日在线观看视频| AV中文在线| 色久免费| 五月丁香婷婷中文| .精品久久久麻豆国产精品| 最新丁香六月婷婷| 免费成人va| 97成人在线视频| 成人AV在线网站| www。88热在线视频免费观看| 亚洲天堂制| 亚洲综合久| 五月婷婷免费在线观看| 婷婷色色欧美| 少妇高潮呻吟A片免费看软件| 日韩1区2区| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 强伦轩人妻一区二区电影| 婷婷伊人久久综合| 激情五月天在线观看婷婷| 欧美综合激情| 9色在线| 五月激情丁香五月宗合| 99毛片| 91偷拍视频| 九九蜜臀精品| av首页在线| 思思热在线精品视频| 成人色色视频| 天天插综合在线| 碰碰操91| 97在线99| 一级黄色影片| 91狠狠综合久久| 五月成人综合| 婷婷丁香久久五月综合| 久久婷婷五月综合| 三级毛片7979| 免费看欧美成人A片无码| 久久久99免费视频| 色婷婷狠狠| 五月天久久婷婷婷| 精品思思久久| 色色九区| 激情碰碰碰| 青青久在线视频免费观看| 欧洲亚洲午夜| 丁香五月欧美| 色欧洲| 99精品久久久久久久婷婷久久| 亚洲国产婷婷色五月| 超碰在线综合| 九九偷拍网| Aaa久久| 五月丁香色婷婷| 丁香五月天黄色片| 五月婷婷综合丁香视频| 五月丁香亚洲婷婷| 久久机热这里只有精品| 成人狠狠成人狠狠成人狠狠成人狠狠| 热99热| 免费成人va| 久综合| 色色色97| 第五婷婷伊人丁香色| 丁香五月综合无码趴趴| 久久一伦| 伊人久久大香天蕉亚洲特级| 99视频在线观看视频| 色99综合色88| 91日本在线免费| 日本美女97在线视频| 在线看的免费网站| 久久怕怕视频| 女人天堂AV| 久久这里只精品| 先锋资源婷婷| 亚洲视频操| 久久99激情| 日本天堂爱爱| 欧美色色色| 天干夜夜操| 婷婷丁香18| 午夜色婷婷| 激情av| 26UUU精品一区二区| 狠狠色综合网| 99精品网| 俺也去五月婷婷丁| 五月婷婷激情啪啪| 综合激情专区| 人人操99| 色欲五月天| 狠狠五月天婷婷激情网。| 熟女五月天久久综合| 白天AV月月| 午夜婷婷五月天| 狠狠插日日干撸| 五月婷婷开心五月| 五月丁香六月婷婷色情| 中文字幕在线日亚洲9| 丁香六月婷婷色XXXXX| 色欲天天综合网| 丁香网五月天| 狠狠综合色网| 超碰免费在线| 五月婷婷插一插| 激情五月六月婷婷| www.久久99热地址发布| 开心五月网| 国产精品18久久久| 久久婷婷大香蕉| 天堂综合久| 大香蕉九九| 亚洲精久久| 日韩五月天婷婷| 婷婷五点亚洲| 色五月婷婷久久| 欧美性猛交XXXX乱大交极品| 久热在线观看视频9| 铁牛TV人妻| 色婷婷狠狠干| 可似看的AV| 大香蕉婷婷五月| 1024日韩| 停停五月色宗合| 无码九九| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色综合天天网| 色五月激情| 夜夜爱网站| 成人中文网| 狠狠情色| 99热精品综合| 九九色精品| 深爱激情五月天| 欧美日韩二区在线| 丁香婷婷大香蕉| 开心五月深爱激情| 九月色婷婷| 色天使久久综合| 玖玖色综合| 久久久五月激| 青草激情综合| 91久草五月天婷婷| 精品人妻久久久| 色五XX| 99无码视频| 欧美大片免费播放器| 吊色AV男人的天堂| AV国产有码| 亚洲av免费在线| 狠狠爱青青草| 丁香五月婷婷五月天在线| jizzdr| 国产精品久久久久久亚洲毛片| 热久69| 九九一综合精品| 另类视频一区| 色九月国产| 激情五月丁香激情综合网| 免费AV播放| 色综合中文综合网| 久久久月丁香| 丁香五月人妻| 成人av中文字幕| 996日日爱| 丁香婷婷综合激情五月色| 国产1区2区3区| 亚洲另类噜噜| 国产成人精品一区二三区熟女在线 | 九九视频在线观看视频6| 久久婷婷丁香视频网| wwwxxx五月婷婷小说| 久热这里只有精品6| 婷婷刺激综合| 婷婷色五月丁香六月欧美啪| 五月婷婷啪啪啪啪| 天天狠狠插| 夜夜爱网站| 六月婷婷av| 色色色综合色| 91久久九| 婷婷五月天在线观看免费| 色爆五月| 五月婷婷激情69| 九九热精品在线| 五月丁香花激情综合网| 欧美在线视频免费播放| 久久99精品久久久久久三级| 亭亭五月丁香五月天激情| 嫩草视频。| 亚洲综合激| 久久亚洲婷婷| 久久国产性爱A V| 播播网色播播| 日操| 免费看欧美成人A片无码| 丁香五月色色| 99亚州综合精品成人网| 婷婷五月小说色综合| 六月丁香激情网| 婷婷中文字幕网| 久青草影院| 色婷婷AV在线| 色色哒五月婷婷六月丁香| 90色免费视频| 五月婷婷丁香在线| 色色欧美色色色| 丁香六月激情蜜桃| 色婷大香蕉| 天天噜| 第五婷婷伊人丁香色| 久久作爱| 五月情丁香色| 超碰97在线操| 天天综合亚洲| 国产日韩av片| 欧美日韩一区二区三区四区| 狠狠看狠狠| 国产精产国品一二三在观看| 91视屏在线观看com.wwwvv| 开心五月婷婷| 爱婷婷五月| 婷婷综合在线视频| www色五月| 视频1区2区| 婷婷五月天影院| 狠色综合网| 538在线精品| 久久久久久五月天| 操碰久| 久久99精品久久久久久三级| 色综合激情| 丁香五月天之婷婷影院| 五月丁六月香av| 久9热插入| 丁香六月激情四射| 亚洲婷婷月丁香五月| 熟妇无码乱子成人精品| 五月丁香人妻| 丁香五月婷婷色| 国产AV一区二区三区最新精品| 婷婷激情五月天在线| 九九热精品99| 欧美成人AAA片一区国产精品| 色五月综合激情| 激情六月丁香| www.91av.com| 在线另类视频| 99热精品一区| 丁香五月婷婷av| 这里只有精品久久| 丁香五月婷综合网| 久久婷婷五月国产色综合激情| 99久热视频在线| 五月丁香六月激情综合| 五月丁香六月色情网欧美| 久久嘟嘟丁香| 99久re热视频精品98| 亚洲欧美一区二区三区爱爱动图| 丁香六月啪啪| 97丁香视频| 人妻少妇色综合| www,天天干| 天天 青草 制服丝袜 在线| 综合色在线| 亚洲人妻AV| 开心激情网五月| 久久婷婷五月天激情新地址| 51精品国内探花| 狠狠综合网| 色五月播五月| 99re这里只有精品首页| 4399成人黄A片| 婷婷9月天| 久久婷婷综合五月天| 丁香五月婷婷色偷偷| 五月天色导航婷婷资源婷婷| 久久九九99桃花视频| 黄网在线免费观| 操骚货在线| 狠狠狠狠狠干| 欧美日韩AAA| 婷婷五月天在线观看av| 九九aV| 久久 无毛。| 青青久久五月| 五月激情婷婷在线| 五月 激情视频| 色五月天在线| 五月六月丁香婷婷在线观看| 亚洲激情综合网| 9视频1在线| 五月情色天| 久久五月天激情视频| 九九99在线免费在线观看视频| 青青艹b| 大香蕉AV电影在线| 一本色道久久88综合日韩精品| 婷婷激情社区| 婷婷五月花| 天天综合精品| 五月在线| 丁香五月婷综合网| 狠狠色综合五月| www 五月天 com| 亚洲精99| 色A网| 蜜乳9188| 99re思思热在线视频| 丝袜人妻| 婷婷99狠狠躁天天| 高清不卡一区| 97碰久久| 婷婷五月丁香六月| 丁香六月啪啪啪| www.色综合.com| 大香蕉Av在线| 免费AV在线| 狠狠色丁香婷婷久久综合| 五月天停婷基地| 草草影院爱爱| 丁香婷婷色九月| 色五月偷偷| 欧洲区自拍| 成人免费视频一区| 国内久久亭亭| 五月天操逼网| 丁香六月狠狠干| 丁香六月激情| 狠狠色综合网| 久久这里只有国产| 日本www五月婷婷| 天天综合图片| 五月综合六月婷婷| 亚洲最大五月天成人网| 91婷婷五月天嫩女| 婷婷狠狠97| 在线观看的av| 99激情视频| 黑人糟蹋人妻HD中文字幕| 日本少妇裸体做爰高潮片| 性欧美大战久久久久久久83| 欧美黄色一级| 99久久.www| 中美日韩成人在线| 丁香五月天信号| 26UUU欧美激情一区二区| 2025天天爽天天摸| 婷婷六月激情在线视频| 日本五月天网站| 激情丁香社区| 99re6在线视频精品免费| 久久丁香综合香蕉| 色婷婷操逼网| 另类在线| 激情黄色小说五月天| 婷婷五月天激情诱惑| 五月天伊人久久久久| 玖玖资源在线视频| 任你躁XXXXX麻豆精品| 婷婷狠狠爱| 九九99九九99九九99视频网| 色欲Av五月天| 五月丁香婷婷三级| 超碰在线人人| 少妇出轨做爰高潮A片| 婷婷五月天丁香久久| 六月婷基地| 婷婷五月天成人五月天| 激情婷婷丁香色五月| 狠狠色综合网站久久久久| 99自拍视频在线观看| 丰满少妇猛烈A片免费看观看| 97婷婷五月丁香| 五月婷婷三级| 只有久久精品免费| 中文字幕,综合,91| 成人做爰高潮A片免费视频| 亚洲无码 图片区| 色婷婷69| 99热只有精品在线观看| 五月天停婷基地| 99热精品在线| 色五月自偷自拍婷婷婷婷| 9久精品| 大地资源色婷婷视频在线| 五月婷啪啪| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲春色奇米影视| 91色九| 开心五月婷婷99| 午夜免费试看| 在线观看日韩12345区| 九九碰九九爱97超| 丁香婷婷激情网站| 六月丁香五月天| 51精品国内探花| 77799热| 人人干99| 激婷网| 色五月首页| 老司机伊人| 99re在线播放| 99热在线精品播放| 亭亭五月天成人| 99亚洲精品| 九九精品热播| 激情综合色五月丁香六月亚洲| 色婷五月| 五月丁香花激情啪啪网| 人人色性网| 97色干| 丁香五月婷婷亚洲另类| 色婷婷狠狠色| 日本九九九九| 色综合丁香婷婷| 成人综合伍月天| 色婷婷小说| 亚洲网视屏| 天天操婷婷| 欧美熟女视频 色婷婷| 五月天五月色婷婷综合| 97人人操| 欧美激情 日韩无码 婷婷 五月天| 国产精品久久99| 婷婷五月香蕉| 日本三级毛片| 最新丁香六月婷婷| 精品九九久久| 99热这里只有在线| 久久性综合| 激情综合网亚洲色图| 黑人糟蹋人妻HD中文字幕| 欧美噜噜久久久XXX| 99热这里只有精品22| 丁香婷色| 91丨九色丨熟女| aaa9区免费在线观看| 都市激情小说婷婷| 久久一级AV| 天天拍天天做视频| 狠狠色婷婷777| 五月五婷婷网| 开心激情五月天网| 亚洲精品成人| 99热免费精品| 欧美五月婷婷| 五月丁香综合| 色天天综合天天综合频道。| 五月天丁香网| 五月天播播综合| 亚洲亚洲人成综合网络| 亚洲99在线| 男女激情久久| 26uuu在线观看| 艹天天射| 久久久激情视频| 色 免费网站视频| 九九aV| 五月丁香狠狠爱婷婷综合| 国产一级片色色| 91久久婷婷人人澡草| 欧美激情 日韩无码 婷婷 五月天| www.婷婷五月| 五月天丁香网站| 免费亚洲婷婷| 亚洲另类婷婷五月综合| ai97re99一本| 99亚洲视频| 99久在线精品99re8| 狠狠综合| 凹凸操Av| 99男人的天堂| 久久久久久人妻| 五月天成人手机在线视频| av一区二区电影免费在线观看| 色五月婷婷亚洲最大| 97精品欧美91久久久久久久| 色色婷婷丁香| 欧美激情-区二区三区| 丁香五月天天| 色婷婷久久综合中文久久一本| 人人人人人人人人人草| 久草婷妨| 伊人干综合| 97干婷婷五月天| 婷婷伊人綜合| 26UUU精品一区二区| 六月丁香婷婷开心综合基地| 日韩成人综合| 狠狠插狠狠操| 五月婷婷欧美激情| 丁香婷婷五月六月久久| 五月婷婷影院| 5月婷婷6月六月丁香| AA丁香综合激情| 天天色中文字幕女优AV| 亚洲免费99| 无码激情精品色婷婷久久久久| 亚洲免费电影2| 另类激情综合| 婷婷色五月色| 99色精品视频| 日本在线wwww| 五月婷久久| 欧美婷婷成人| 久久久久亚洲A∨成人乱码电影| 色五月在线综合| 五月色影院| 5月婷婷激情网| 久久激情视频| 9999热在线| 一本色道久久综合狠狠躁小说| 婷婷色5月激情网| 六月丁香啪啪| 丁香九月综合在线| 丁香六月婷婷综合| 99精品在线观看| 久久99久久99精品免视看婷婷| 久久伦乱| 婷婷丁香大香蕉| 深爱五月天| 丁香在线视频| 成人欧美Va| 丁香色色网| 狠狠色中色| 激情深爱五月天| 五月天丁香成人| 久久久久人妻中文| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 日本3级片一区2区| 婷婷五月天97干| 99热6这里只有精品| 精品无吗va视频免费观看| 亚洲婷婷开心五月| 五月婷婷久久久| 无码一级片| 91 欧美| 色综合天天综合成人网| 五月天精品| 天天色官网| 色五月婷婷成人视频| 日本操碰碰| 人人操人| 六月婷婷综合网2| 狠狠色综合网| 丁香五月影院| 98色花堂98t.R| 四色99久久| www开心激情网| 一本久久亚洲五月婷婷| 五月天综合网| 婷婷六月激情| 中文字幕五月久久婷| 色99xx| 色六月 婷婷| 色五月婷婷网| www.色婷婷.com| 五月婷婷激情综合| 丁香六月激情四射| 五月婷婷综合在线| 天天久| 天天舔天天摸视频| 五月丁香五月天现场视频| 99成人精品六| 六月丁香啪| 99色色热| 丁香五月婷婷六月婷婷| YJLZZJLZZ亚洲乱熟无码| 日韩日比视频| 九九视屏| 射区导航| 任你操精品免费| 久久九九精彩| 日本3级片一区2区| 999久久久国产精品| 丁香五月黄色| 国内久久亭亭| 五月丁香六月婷婷久久肏| 婷婷中文字幕网| 九九综合网色全集| 看全色黄大色大片| 五月香蕉婷婷| 久久婷婷五月天激情四射| www,色婷婷| 玖玖在线视| 久久婷五月婷| 日日干五月天婷婷| 久久婷婷五月国产激情综合片| 开心五月天私房婷婷| 五月丁香怕怕综合| 激情婷婷人妻| 青青草六月丁香| 5月丁香六月婷婷| 色狠狠综合入口| 五月丁香婷婷综合视频| 五月丁香综合网| 99热天堂| 淫视馆aV二区一区| 成片免费播放| 亚洲第一成人无码A片| 九九爱激情| Caoporn公开| 五月丁香六月婷婷久久| 性视频久久| 日日爱678| 狠狠色丁香婷婷基地| 丁香五月23111| 丁香五月香蕉| 五月丁香婷婷综合久久| 天天色天天日| 亚洲妇女熟BBW| 国产色色小草视频| 色婷婷先锋| 无码地址| 婷婷五月天亚洲综合网| 婷婷性爱五月天| 99热主页日本| 久久免费精彩视频| 亚洲成人日韩无码精品| 金品在线视频99| 日韩啪啪视频| 久婷婷久草| 国产26uuu| 色五月综合网| 国产麻豆视频| 久久视频婷婷| 激情综合女人网五月播播| 狠狠干 狠狠操| 五月天丁香久久| 色五月首页| 91伦| 色色五月婷婷| 婷婷五月精品中文字幕| 五月丁香六月色| 丁香五月偷拍| 婷婷亚州综合| 97色色色色| 79色色色色| 婷婷色五月激情| 婷婷中文字幕欧美| 日本女人久久| 狠狠干五月丁香| 五月婷婷丁香五月| 五月丁香色婷婷| 涩 五月 婷婷 狠狠| 亚洲色涩视频| 色色色色色色色色网站| 婷婷五月激情小说| 99久久人人| 青草网在线观看| 激情丁香图片| 成人短视频在线观看| 碰超在线九色| 亚州激情网站无码| 人人爱摸视频| 精品香蕉99久久久久网站| 丁香五月天.com| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 啪啪啪综合网| 啪到高潮激情丁香五月| 天天拍天天操| 欧美日韩国产一区二区| 日韩黄黄| 操久久网| 婷婷六月久久| 狠狠做五月婷婷| 99碰网站| 激情综合九| 26uuu淫色| 亚洲最大在线| 伊人成综合五月婷婷| 六月综和久久| 激情综合五月天| 超碰99热在线观看| 日在线V视频在线播放| 91久久久久久久久18| 丁香综合久久| 九九热99精品在线| 激情五月天视频| 久久久性爱网| 婷婷深爱五月丁香| 99超超碰| www.夜夜操.con| 97在线综合| 91精品啪| 久久免费视频62| 免费观看全黄做爰的视频| 色吧综合网| 操九色| 99热在线爱| 色婷婷丁香五月综合| 成人做爰A片免费看网站找不到了| 婷婷五月综合久久中文字幕| 五月色综合网| 超碰97在线观看免费| 婷婷狠狠操| 久久99精品日本| 这里只有免费精品| 精品欧美性爱超级爽| 丁香五月婷婷久久综合激情网| 激情六月一二| 91男同视频| 色必久悠悠影院| 午夜五月天| 色婷婷久综合久久一本国产AV| 五月开心啪啪| 色九区| 五月天激情黄色小说在线观看| 97碰碰人人| 狠狠狠狠狠狠色| 丁香五月婷婷影院| 91聚色综合网| 午夜精品777| 亚洲精品一区中文字幕乱码| 色很很96| 这里只有精品免费| 伊人激情综合网| 99九无网码| 色99色| 色女人久久| 丁香五月网址| 在线观看的av| 久久性操| 久久XX| 99re热视频这里只有综合亚洲| 婷婷五月综合在线| 91精品丝袜久久久久久| 久热九九| av中文在线| 九九热在线视频| 99热这是里只有精品| 精品亚洲国产成人A片在线鸭王| 午夜丁香六月婷| 无码激情AAAAA片-区区| 5月婷婷激情6月| 99热10在线高清播放| 深爱激情69热| 一区二区三区四区牛| AV在线免费播放| 变态另类色图| 日日杆天天| 欧洲S级在线观看| 九九九九国产| 五月激情丁香五月| 26uuu国产| 色婷婷影音| 超爽内射| 亚洲天堂啪啪| 丁香五月婷婷久久综合激情网 | 精品热九九| 天天插综合| 五月丁香激| 99热精品在这里| 丁香五月天人体| 久久婷综| 99视频这里有精品| 婷婷伊人网| 色婷五月天| 日韩精品无码99| 人人操人人爽成人AV| 9+1视频网址| 插插插色综合网| 激情婷婷五月综合| 先锋资源91| 狠狠五月激情在线| 五月天丁香婷婷久久九| 999热这里只有精品| www.99久久久| 日本少妇裸体做爰高潮片| 人人人va亚洲视频在线| 偷偷操99| 五月丁香综合激情| 五月婷婷六月婷| 五月婷婷亚洲| 国产成人精品亚洲线观看| 久久色这里只有精品| 日韩人妻在线观看| 国产伦亲子伦亲子视频观看| 色五开心五月五月深深爱| 99精品视频偷拍| 亚洲乱码日产精品BD| 亚洲日日操| 热99国产精品| 五月天社区婷婷| 五月婷激情影院| 天天摸天天爽| 午夜日日| 中文字幕人妻熟女在线| 欧美丁香五月夫妻天| 99这里只有免费的精品| 久久亭亭电影|