欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx:stub_status+UserParameter配置實(shí)戰(zhàn)指南

Zabbix監(jiān)控Nginx:stub_status+UserParameter配置實(shí)戰(zhàn)指南 Nginx 監(jiān)控這件事很多人一開始想復(fù)雜了。Zabbix 要拿到 Nginx 的運(yùn)行狀態(tài)并不需要裝額外探針也不一定非要解析訪問日志最穩(wěn)定的入口其實(shí)是 Nginx 自帶的 stub_status 狀態(tài)頁(yè)。只要把它打開再用 Zabbix Agent 把里面的幾個(gè)數(shù)字讀回來就能完成請(qǐng)求量、并發(fā)連接、讀寫狀態(tài)的監(jiān)控再配上觸發(fā)器和圖形連接數(shù)異常、請(qǐng)求速率突變這些情況都能直接看到。這篇內(nèi)容按實(shí)際落地順序來拆先講 Nginx 狀態(tài)頁(yè)每個(gè)字段是什么意思再講怎么讓 Zabbix Agent 把數(shù)據(jù)采回來然后是 Zabbix 前端里的監(jiān)控項(xiàng)、觸發(fā)器和圖形怎么配最后做一輪實(shí)測(cè)把請(qǐng)求打起來再去看統(tǒng)計(jì)結(jié)果怎么解讀。適合剛接觸 Zabbix 監(jiān)控 Nginx 的人也適合已經(jīng)在用 shell 腳本采集、但想轉(zhuǎn)成 Zabbix 規(guī)范化監(jiān)控的人。1. 先搞清楚 nginx 狀態(tài)頁(yè)Zabbix 監(jiān)控 Nginx 的數(shù)據(jù)從哪來1.1 stub_status 輸出字段對(duì)照Z(yǔ)abbix 監(jiān)控 Nginx底層數(shù)據(jù)源不是日志而是 Nginx 自己維護(hù)的計(jì)數(shù)器。只要在 Nginx 配置里啟用 stub_status訪問狀態(tài)頁(yè)就能看到一小段純文本Active connections: 291 server accepts handled requests 16630948 16630948 31070465 Reading: 6 Writing: 179 Waiting: 106這段文本雖然短但每個(gè)字段都有明確含義。字段含義類型Active connections當(dāng)前活動(dòng)連接數(shù)瞬時(shí)值acceptsNginx 啟動(dòng)以來累計(jì)接受的客戶端連接總數(shù)累計(jì)值handled成功處理的連接總數(shù)累計(jì)值requests累計(jì)處理的客戶端請(qǐng)求總數(shù)累計(jì)值Reading正在讀取請(qǐng)求頭的連接數(shù)瞬時(shí)值Writing正在讀取請(qǐng)求體、處理請(qǐng)求或?qū)戫憫?yīng)的連接數(shù)瞬時(shí)值Waiting空閑的 keep-alive 連接數(shù)瞬時(shí)值第一行Active connections是當(dāng)前活動(dòng)連接數(shù)。注意它包含后面 Reading、Writing、Waiting 三類的總和所以只要 Nginx 活著這個(gè)數(shù)值通常不會(huì)是 0。第二行是固定表頭server accepts handled requests。第三行的三個(gè)數(shù)字分別對(duì)應(yīng)表頭都是只增不減的累計(jì)計(jì)數(shù)器只有 Nginx 重啟才會(huì)歸零。第四行的 Reading、Writing、Waiting 是三個(gè)瞬時(shí)值。一個(gè)請(qǐng)求從進(jìn)入到結(jié)束通常會(huì)依次經(jīng)過 Reading、Writing 兩個(gè)階段最后進(jìn)入 Waiting或者直接關(guān)閉連接。這幾個(gè)字段之間的換算關(guān)系是Active connections Reading Writing Waiting。理解這個(gè)關(guān)系后面看圖形和觸發(fā)器才不會(huì)被數(shù)字騙到。1.2 哪些指標(biāo)值得接進(jìn) Zabbix不是每個(gè)字段都必須接進(jìn)來但下面這幾個(gè)我建議至少都要有。請(qǐng)求速率是最核心的指標(biāo)對(duì)應(yīng) requests 計(jì)數(shù)器看的是單位時(shí)間內(nèi)處理了多少請(qǐng)求也就是平時(shí)說的 QPS。只看累計(jì)值沒有意義必須換算成速率。新建連接速率對(duì)應(yīng) accepts 計(jì)數(shù)器看的是單位時(shí)間內(nèi)來了多少新連接。這個(gè)值和 QPS 的區(qū)別在于keep-alive 生效的情況下一個(gè)連接上可以連續(xù)發(fā)多個(gè)請(qǐng)求所以請(qǐng)求速率通常遠(yuǎn)大于連接速率。當(dāng)前并發(fā)連接數(shù)對(duì)應(yīng) Active connections是最直觀的負(fù)載指標(biāo)。但它不能單獨(dú)說明問題必須結(jié)合 Reading、Writing、Waiting 一起看。Reading 如果持續(xù)偏高說明有一些客戶端請(qǐng)求頭發(fā)得很慢或者請(qǐng)求頭一直沒發(fā)完。Writing 持續(xù)偏高說明 Nginx 正在大量往客戶端寫響應(yīng)這時(shí)候要關(guān)注帶寬和上游服務(wù)能不能跟上。Waiting 高反而是正?,F(xiàn)象說明大量連接是空閑 keep-alive對(duì)靜態(tài)資源或高并發(fā) Web 服務(wù)很常見。把這些字段全部接進(jìn) Zabbix才算真正把 Nginx 的運(yùn)行狀態(tài)看完整。2. 環(huán)境準(zhǔn)備與最小配置讓 Nginx 先吐出狀態(tài)數(shù)據(jù)2.1 確認(rèn) Nginx 是否支持 stub_statusstub_status 不是所有 Nginx 都默認(rèn)包含。編譯 Nginx 時(shí)如果沒有加--with-http_stub_status_module這個(gè)功能就不存在配置寫了也會(huì)報(bào)錯(cuò)。先檢查當(dāng)前 Nginx 有沒有這個(gè)模塊nginx -V 21 | grep -o http_stub_status_module如果輸出里有http_stub_status_module說明支持。如果沒有有兩個(gè)方向重新編譯 Nginx 時(shí)加上這個(gè)模塊或者換成已經(jīng)默認(rèn)包含該模塊的發(fā)行版軟件包。很多發(fā)行版和官方倉(cāng)庫(kù)自帶的 Nginx 都已經(jīng)開啟了這個(gè)模塊但自編譯版本一定要單獨(dú)確認(rèn)。這里提醒一下執(zhí)行nginx -V時(shí)編譯參數(shù)是在標(biāo)準(zhǔn)錯(cuò)誤輸出里所以我加了21把錯(cuò)誤輸出重定向到同一路。很多人第一次只看第一行 version以為不支持其實(shí)是沒看全。2.2 Nginx 狀態(tài)頁(yè)配置示例與安全限制確認(rèn)模塊存在后在 Nginx 的 server 配置里加一個(gè) location。以下是一份最小配置server { listen 80; server_name _; location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; } }這里最關(guān)鍵的是allow和deny。stub_status 本身沒有任何認(rèn)證機(jī)制任何人能訪問就能看到你的連接數(shù)、請(qǐng)求量和連接狀態(tài)。如果把狀態(tài)頁(yè)暴露到公網(wǎng)內(nèi)部運(yùn)行信息等于公開了。所以默認(rèn)只允許本機(jī)訪問是最穩(wěn)妥的做法。如果你的 Zabbix Agent 和 Nginx 不在同一臺(tái)機(jī)器上不要直接把deny all刪掉應(yīng)該改成只允許采集機(jī) IP 訪問location /nginx_status { stub_status on; access_log off; allow 192.168.1.100; deny all; }改完配置先檢查再重載nginx -t nginx -s reloadnginx -t這一步不能省。stub_status 的 location 如果配置在錯(cuò)誤的上下文里或者和已有配置沖突reload 會(huì)直接失敗。2.3 用 curl 驗(yàn)證狀態(tài)頁(yè)是否生效配置完成之后先在 Nginx 所在機(jī)器上驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開頭那段文本說明狀態(tài)頁(yè)已經(jīng)可以訪問了。如果返回 404說明 location 沒生效或者配置在了錯(cuò)誤的 server 塊里。如果返回 403大概率是deny all生效了而你的請(qǐng)求來源 IP 不在allow列表里。這里有個(gè)容易忽略的點(diǎn)如果你的 Nginx 不是監(jiān)聽 80 端口或者同時(shí)有 HTTPSURL 里要帶上實(shí)際協(xié)議和端口例如http://127.0.0.1:8080/nginx_status。先花一分鐘把 curl 這步跑通后面會(huì)省很多時(shí)間。3. Zabbix Agent 接入一條 UserParameter 和一個(gè)監(jiān)控項(xiàng)的關(guān)系3.1 安裝與基礎(chǔ)配置 Zabbix AgentZabbix Agent 是部署在 Nginx 所在機(jī)器上的采集程序。它的作用和 Nginx 狀態(tài)頁(yè)互補(bǔ)狀態(tài)頁(yè)負(fù)責(zé)提供數(shù)據(jù)Agent 負(fù)責(zé)把數(shù)據(jù)讀出來再交給 Zabbix Server。安裝方式要看你的系統(tǒng)和 Zabbix 版本直接使用官方倉(cāng)庫(kù)安裝 zabbix-agent 即可。裝完需要修改配置文件常見要確認(rèn)三個(gè)參數(shù)Server192.168.1.10 ServerActive192.168.1.10 Hostnameweb01Server是允許給這臺(tái) Agent 下發(fā)被動(dòng)采集請(qǐng)求的 Zabbix Server 地址。ServerActive是主動(dòng)上報(bào)要連接的 Server 地址。Hostname是 Agent 上報(bào)時(shí)使用的名字在 Zabbix 前端添加主機(jī)時(shí)要保持一致特別是主動(dòng)檢查時(shí)Hostname 對(duì)不上會(huì)直接導(dǎo)致數(shù)據(jù)丟失。這里解釋一下被動(dòng)檢查和主動(dòng)檢查的區(qū)別。被動(dòng)檢查是 Zabbix Server 主動(dòng)連接 Agent 的 10050 端口要數(shù)據(jù)主動(dòng)檢查是 Agent 主動(dòng)連接 Server 的 10051 端口上報(bào)數(shù)據(jù)。自定義 UserParameter 兩種方式都支持但排查問題時(shí)的思路不一樣后面會(huì)詳細(xì)說。改完配置啟動(dòng)服務(wù)systemctl restart zabbix-agent systemctl status zabbix-agent3.2 通過 UserParameter 把 nginx_status 轉(zhuǎn)成監(jiān)控項(xiàng)Zabbix Agent 默認(rèn)不認(rèn)識(shí) nginx 的 key需要通過 UserParameter 來定義。UserParameter 的格式很簡(jiǎn)單一個(gè) key一個(gè)命令A(yù)gent 執(zhí)行命令把標(biāo)準(zhǔn)輸出作為監(jiān)控值返回。在/etc/zabbix/zabbix_agentd.d/目錄下創(chuàng)建一個(gè) nginx.conf寫入以下內(nèi)容UserParameternginx.active,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Active connections/{print $3} UserParameternginx.accepts,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $1} UserParameternginx.handled,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $2} UserParameternginx.requests,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk NR3{print $3} UserParameternginx.reading,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Reading/{print $2} UserParameternginx.writing,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Writing/{print $4} UserParameternginx.waiting,/usr/bin/curl -s --max-time 3 http://127.0.0.1/nginx_status | awk /Waiting/{print $6}逐個(gè)拆一下。每行都是一個(gè) key例如nginx.active。后面的命令先用 curl 抓取狀態(tài)頁(yè)再用 awk 提取對(duì)應(yīng)字段。awk 的寫法要特別注意。第三行的 accepts、handled、requests 是三個(gè)連續(xù)數(shù)字所以分別用NR3定位到第三行再打印第 1、2、3 列。Reading、Writing、Waiting 在同一行里所以要先用正則匹配到這一行再打印對(duì)應(yīng)列。Writing 是第 4 列Waiting 是第 6 列這個(gè)順序很多人會(huì)弄錯(cuò)。命令里的--max-time 3不是隨便加的。如果狀態(tài)頁(yè)異常導(dǎo)致 curl 一直掛住Agent 執(zhí)行這個(gè) UserParameter 就會(huì)卡住嚴(yán)重時(shí)會(huì)占滿 Agent 的檢查線程影響這臺(tái)機(jī)器上的其他監(jiān)控項(xiàng)。加上超時(shí)時(shí)間最壞 3 秒也會(huì)退出。改完配置后重啟 Agentsystemctl restart zabbix-agent3.3 先用 zabbix_get 還是前端測(cè)試功能配置完 UserParameter不要急著去 Zabbix 前端創(chuàng)建主機(jī)先在命令行驗(yàn)證一遍 key 能不能查到值。在有 zabbix-get 工具的機(jī)器上執(zhí)行它通常在 Zabbix Server 或 Proxy 上zabbix_get -s 192.168.1.20 -k nginx.requests返回一個(gè)數(shù)字說明這條鏈路通了。如果提示 Not supported 或者沒有輸出先不要懷疑 Zabbix 配置回到 Nginx 機(jī)器上直接執(zhí)行那條 UserParameter 命令看有沒有結(jié)果。這里有個(gè)容易踩的坑你手動(dòng)執(zhí)行命令時(shí)用的是 root 用戶而 Zabbix Agent 運(yùn)行時(shí)的用戶通常是 zabbix兩個(gè)用戶的環(huán)境變量、權(quán)限、可執(zhí)行路徑可能都不一樣。比如 zabbix 用戶沒有權(quán)限訪問某個(gè)目錄或者 SELinux 攔截了 zabbix 用戶執(zhí)行 curl都會(huì)導(dǎo)致手動(dòng)執(zhí)行正常、Agent 執(zhí)行失敗。新版 Zabbix 前端在監(jiān)控項(xiàng)配置里也有一個(gè) Test 按鈕可以直接測(cè)試當(dāng)前主機(jī)上的 key返回結(jié)果和報(bào)錯(cuò)更直觀。實(shí)際排查時(shí)我一般按三個(gè)地方順序看Agent 所在機(jī)器手動(dòng)執(zhí)行命令、zabbix_get 從 Server 端測(cè)試、前端 Test 按鈕看報(bào)錯(cuò)。4. 創(chuàng)建主機(jī)、監(jiān)控項(xiàng)、觸發(fā)器數(shù)據(jù)到告警的完整鏈路4.1 在 Zabbix 前端添加主機(jī)與監(jiān)控項(xiàng)命令行驗(yàn)證通過后進(jìn)入 Zabbix Web 界面按照 配置 → 主機(jī) → 創(chuàng)建主機(jī) 的路徑添加一臺(tái)主機(jī)。填寫主機(jī)名時(shí)要注意Agent 配置文件里的 Hostname 和這里的主機(jī)名必須一致否則主動(dòng)檢查會(huì)失敗。接口配置里選擇 Agent填寫 Nginx 所在機(jī)器的 IP 和默認(rèn)端口 10050。添加監(jiān)控項(xiàng)有兩條路線。一條是直接鏈接模板Zabbix 模板庫(kù)里有 Nginx by HTTP、Nginx by Zabbix agent 2 這類現(xiàn)成模板不同版本的模板數(shù)量和名稱會(huì)有差異底層采集方式也是去讀狀態(tài)頁(yè)適合不想自己維護(hù) key 的人。另一條是手動(dòng)創(chuàng)建監(jiān)控項(xiàng)用剛才定義的 UserParameter 鍵值自由度更高也更容易理解每個(gè)數(shù)字怎么來的。如果你是第一次做我更建議先手動(dòng)創(chuàng)建。原因很簡(jiǎn)單自動(dòng)模板會(huì)隱藏很多細(xì)節(jié)一旦出了問題你很難判斷是狀態(tài)頁(yè)的問題、Agent 的問題還是模板映射的問題。手動(dòng)創(chuàng)建一遍等于把鏈路里的每個(gè)環(huán)節(jié)都摸清楚了。手動(dòng)創(chuàng)建監(jiān)控項(xiàng)時(shí)以nginx.requests為例名稱Nginx Requests類型Zabbix Agent鍵值nginx.requests信息類型數(shù)字無正負(fù)更新間隔1m 或 30s 都可以歷史數(shù)據(jù)保留7d趨勢(shì)數(shù)據(jù)保留365d其他幾個(gè) key 按同樣方法創(chuàng)建。4.2 請(qǐng)求速率、連接數(shù)怎么存儲(chǔ)和計(jì)算單位這里要解決一個(gè)關(guān)鍵問題accepts、handled、requests 這三個(gè)字段是累計(jì)值直接存進(jìn) Zabbix 只能看到一根一直向上的線很難判斷當(dāng)前請(qǐng)求量到底是多少。所以必須讓 Zabbix 把累計(jì)值換算成速率。在 Zabbix 監(jiān)控項(xiàng)配置里有一個(gè)字段叫“存儲(chǔ)值”可以選“原樣存儲(chǔ)”“增量簡(jiǎn)單變化”和“增量每秒速率”。存儲(chǔ)方式適用場(chǎng)景示例原樣存儲(chǔ)瞬時(shí)值當(dāng)前是多少就存多少active、reading、writing、waiting增量簡(jiǎn)單變化累計(jì)值的兩次差值accepts 每次變化量增量每秒速率累計(jì)值換算成每秒速率requests、accepts、handled對(duì) requests、accepts、handled 這三個(gè)累計(jì)計(jì)數(shù)器應(yīng)該選擇“增量每秒速率”單位寫成 req/s 或 conn/s。這樣 Zabbix 會(huì)在后臺(tái)自動(dòng)計(jì)算兩次采集之間的差值再除以時(shí)間間隔得到每秒速率。如果你不想在監(jiān)控項(xiàng)里改存儲(chǔ)方式也可以用預(yù)處理步驟里的“每秒更改量”來實(shí)現(xiàn)同樣效果。兩者本質(zhì)上是一樣的看你習(xí)慣哪種。唯一要注意的是如果 Nginx 在兩次采集之間重啟過計(jì)數(shù)器歸零速率可能會(huì)出現(xiàn)一次很大的負(fù)值或異常值統(tǒng)計(jì)圖形上會(huì)出現(xiàn)明顯的斷點(diǎn)這是正常現(xiàn)象不是系統(tǒng)崩潰。active、reading、writing、waiting 這四個(gè)瞬時(shí)值就保持“原樣存儲(chǔ)”它們的數(shù)值本身就是當(dāng)前狀態(tài)不需要做速率換算。4.3 觸發(fā)器和告警閾值怎么定監(jiān)控項(xiàng)建好后數(shù)據(jù)會(huì)不斷進(jìn)入 Zabbix但沒人盯著圖形的話異常還是發(fā)現(xiàn)不了。觸發(fā)器的意義就是自動(dòng)判斷數(shù)值是否超過預(yù)期。觸發(fā)器配置路徑是 配置 → 主機(jī) → 觸發(fā)器 → 創(chuàng)建觸發(fā)器。以活躍連接數(shù)為例一個(gè)簡(jiǎn)單表達(dá)式last(/web01/nginx.active)10000含義是當(dāng)前活躍連接數(shù)大于 10000 時(shí)觸發(fā)警告。再比如請(qǐng)求速率min(/web01/nginx.requests,5m)5000含義是最近 5 分鐘請(qǐng)求速率平均值超過 5000 req/s 時(shí)觸發(fā)。閾值定多少?zèng)]有標(biāo)準(zhǔn)答案取決于你的業(yè)務(wù)。我建議先讓 Zabbix 跑兩三天積累一段基線數(shù)據(jù)再根據(jù)圖形里的峰值來定警告和嚴(yán)重閾值不要憑感覺拍腦袋。第一次設(shè)置可以把閾值放寬一點(diǎn)確認(rèn)告警鏈路能正常觸發(fā)后再往回收。觸發(fā)器還可以設(shè)置恢復(fù)表達(dá)式也就是數(shù)值降到多少以下時(shí)自動(dòng)恢復(fù)為正常。這個(gè)最好一起配好否則每次數(shù)值震蕩都會(huì)反復(fù)觸發(fā)、恢復(fù)告警會(huì)很吵。要測(cè)試告警鏈路的完整效果除了觸發(fā)器還需要配置好動(dòng)作和通知方式。如果暫時(shí)沒配郵件或其他通知也可以先只做觸發(fā)器通過 Zabbix 首頁(yè)的告警記錄來確認(rèn)觸發(fā)是否成功。5. 實(shí)測(cè)一輪用請(qǐng)求壓一壓再去看統(tǒng)計(jì)結(jié)果和圖形5.1 制造流量curl 循環(huán)或 ab 簡(jiǎn)單壓測(cè)配置完成之后最關(guān)鍵的一步就是實(shí)測(cè)。沒有流量監(jiān)控圖形是一條平線你很難判斷數(shù)據(jù)到底有沒有采集成功。最簡(jiǎn)單的測(cè)試方法是用 curl 發(fā)一批請(qǐng)求。在 Nginx 機(jī)器上執(zhí)行for i in $(seq 1 1000); do curl -s -o /dev/null http://127.0.0.1/; done這個(gè)循環(huán)會(huì)向本機(jī) Nginx 發(fā)送 1000 次請(qǐng)求每次丟棄響應(yīng)內(nèi)容。優(yōu)點(diǎn)是環(huán)境干凈不需要額外工具。缺點(diǎn)是速度不夠快產(chǎn)生的請(qǐng)求速率不會(huì)特別高。如果你機(jī)器上有 ab也就是 ApacheBench可以壓得更明顯一些ab -n 5000 -c 100 -k http://127.0.0.1/這條命令的含義是總共發(fā)送 5000 個(gè)請(qǐng)求同時(shí)保持 100 個(gè)并發(fā)連接-k表示啟用 keep-alive。ab 在測(cè)試時(shí)會(huì)持續(xù)請(qǐng)求能把 Nginx 的請(qǐng)求速率和活躍連接數(shù)明顯拉起來。執(zhí)行的時(shí)候建議一次只跑一種跑完等一分鐘讓 Zabbix 完成幾個(gè)采集周期再去前端看數(shù)據(jù)。如果立刻去看采集周期還沒到可能什么都看不到。5.2 分析 Latest data 和 Graphs進(jìn)入 Zabbix 前端的“監(jiān)測(cè) → 最新數(shù)據(jù)”選擇剛才創(chuàng)建的主機(jī)就能看到每條監(jiān)控項(xiàng)的當(dāng)前值。這時(shí)候你看到的應(yīng)該是有具體數(shù)字的綠色狀態(tài)而不是“不支持”或“無數(shù)據(jù)”。以剛才 ab 壓測(cè)為例壓測(cè)過程中可以看到 requests 數(shù)值沖上去壓測(cè)結(jié)束后又會(huì)回落。如果配上圖形把請(qǐng)求速率、活躍連接、Reading、Writing、Waiting 放在同一張圖里觀察能很直觀地看到整個(gè)請(qǐng)求生命周期的變化。如果你沒有在監(jiān)控項(xiàng)里單獨(dú)創(chuàng)建圖形也可以在儀表盤中添加一個(gè)圖表組件數(shù)據(jù)源選擇對(duì)應(yīng)主機(jī)的監(jiān)控項(xiàng)。Zabbix 的圖表組件支持把多個(gè)監(jiān)控項(xiàng)疊加到同一張圖上非常適合對(duì)比 Active connections、Reading、Writing、Waiting 這幾個(gè)相關(guān)指標(biāo)。5.3 從數(shù)據(jù)反向判斷 Nginx 狀態(tài)是否健康數(shù)據(jù)有了接下來的重點(diǎn)是怎么讀這些數(shù)字。先看 active connections 和 waiting 的關(guān)系。如果活躍連接數(shù)很高但 waiting 也很高說明大量連接是空閑 keep-aliveNginx 實(shí)際壓力不大只是在維持長(zhǎng)連接。如果活躍連接數(shù)高waiting 卻很低說明連接都在真正干活這時(shí)候負(fù)載才是真的高。再看 accepts 和 handled 的對(duì)比。正常情況下這兩個(gè)數(shù)值應(yīng)該非常接近。如果 handled 長(zhǎng)期明顯小于 accepts說明有一部分連接沒有被 Nginx 成功處理可能原因是 worker_connections 配置過低連接數(shù)被系統(tǒng)層面拒絕了。通過 Zabbix 監(jiān)控這兩個(gè)值的曲線差值能比看錯(cuò)誤日志更早發(fā)現(xiàn)問題。再看請(qǐng)求速率和連接速率的關(guān)系。用 requests 速率除以 accepts 速率可以得到平均每個(gè)連接上的請(qǐng)求數(shù)。如果這個(gè)值接近 1說明 keep-alive 基本沒起作用客戶端每次請(qǐng)求都新建連接連接效率很低。如果明顯大于 1說明 keep-alive 生效良好一個(gè)連接上處理了多個(gè)請(qǐng)求。Reading 和 Writing 是更細(xì)的觀察點(diǎn)。靜態(tài)資源站點(diǎn)在壓測(cè)時(shí)Writing 會(huì)明顯升高因?yàn)?Nginx 正在往客戶端輸出響應(yīng)。如果 Writing 持續(xù)高位但 requests 并不高可能是網(wǎng)絡(luò)帶寬打滿了響應(yīng)寫不出去。Reading 持續(xù)高位則要小心可能是客戶端請(qǐng)求頭發(fā)送緩慢也可能是存在慢連接這種情況即使活躍連接數(shù)不高worker 也可能被拖住。這些判斷不能只看一兩個(gè)采樣點(diǎn)最好結(jié)合 5 分鐘、1 小時(shí)的時(shí)間窗口來看趨勢(shì)。這也是為什么前面建議把趨勢(shì)數(shù)據(jù)保留時(shí)間設(shè)長(zhǎng)一些。6. 常見問題排查與生產(chǎn)環(huán)境落地的邊界6.1 Agent 顯示 Not supported 時(shí)按什么順序查Zabbix Agent 返回 Not supported 是監(jiān)控 Nginx 時(shí)最常遇到的問題。很多人第一反應(yīng)是去改 Zabbix 配置其實(shí)大多數(shù)時(shí)候問題出在 Agent 側(cè)。我的排查順序是固定的。第一步直接手動(dòng)執(zhí)行那條 UserParameter 命令看有沒有輸出。如果命令本身就沒輸出說明狀態(tài)頁(yè)、curl、awk 里有一環(huán)斷了。第二步確認(rèn)執(zhí)行用戶。Zabbix Agent 通常以 zabbix 用戶運(yùn)行手動(dòng)用 root 執(zhí)行成功不代表 zabbix 用戶能執(zhí)行??梢杂胹u - zabbix -s /bin/bash -c 命令來模擬 Agent 的執(zhí)行環(huán)境。第三步看 Agent 日志默認(rèn)在 /var/log/zabbix/zabbix_agentd.log。日志里會(huì)記錄 key 對(duì)應(yīng)的錯(cuò)誤信息比如命令找不到、執(zhí)行超時(shí)、權(quán)限不足等。第四步改完 UserParameter 后確認(rèn)重啟了 Agent。UserParameter 是在 Agent 啟動(dòng)時(shí)讀取的不重啟不會(huì)生效。第五步從 Server 端用 zabbix_get 測(cè)試連通性。這一步能區(qū)分問題是出在 Agent 執(zhí)行命令還是 Server 與 Agent 之間的網(wǎng)絡(luò)、端口、密鑰配置上。還有一個(gè)常見問題Linux 有 SELinux 或 AppArmor 環(huán)境時(shí)zabbix 用戶執(zhí)行 curl 連接本機(jī)端口可能會(huì)被攔截。手動(dòng)執(zhí)行正常Agent 執(zhí)行就是失敗排查到這一步時(shí)要看安全審計(jì)日志確認(rèn)是不是被策略攔截了。6.2 狀態(tài)頁(yè)不能直接暴露在公網(wǎng)前面配置 Nginx 狀態(tài)頁(yè)時(shí)寫了 allow 和 deny這個(gè)限制在正式環(huán)境同樣重要。stub_status 只有數(shù)據(jù)輸出沒有認(rèn)證、沒有訪問控制任何人拿到狀態(tài)頁(yè)地址就能看到你所有虛擬主機(jī)的連接數(shù)、請(qǐng)求量等信息。這些數(shù)據(jù)單獨(dú)看不算機(jī)密但結(jié)合業(yè)務(wù)時(shí)序可能暴露促銷活動(dòng)、低谷期等運(yùn)營(yíng)信息。所以生產(chǎn)環(huán)境要遵守幾個(gè)原則狀態(tài)頁(yè)只監(jiān)聽內(nèi)網(wǎng)地址或只允許內(nèi)網(wǎng)訪問。Zabbix Agent 與 Nginx 部署在一起時(shí)直接限制為 127.0.0.1。如果需要遠(yuǎn)程采集優(yōu)先讓 Agent 本機(jī)讀取不要讓其他機(jī)器直接 HTTP 訪問狀態(tài)頁(yè)。Nginx 服務(wù)本身就開啟了公網(wǎng)監(jiān)聽時(shí)更要檢查 allow 列表不要把公網(wǎng)網(wǎng)段放進(jìn)去。另外狀態(tài)頁(yè)建議使用獨(dú)立 location不要放在一個(gè)會(huì)匹配大量路徑的通用規(guī)則里避免被掃描工具順帶發(fā)現(xiàn)。access_log off也要保留否則每個(gè)狀態(tài)頁(yè)請(qǐng)求都會(huì)寫一條訪問日志白白增加磁盤 IO。6.3 多實(shí)例和規(guī)范化模板、宏、命名規(guī)則如果只有一臺(tái)機(jī)器手動(dòng)創(chuàng)建監(jiān)控項(xiàng)沒什么問題。一旦機(jī)器多起來比如七八臺(tái) Nginx 都要監(jiān)控逐臺(tái)手動(dòng)創(chuàng)建就很痛苦而且容易漏配。這時(shí)候應(yīng)該把監(jiān)控項(xiàng)、觸發(fā)器、圖形整理成模板。在模板里創(chuàng)建好 nginx.active、nginx.requests 這些監(jiān)控項(xiàng)和對(duì)應(yīng)的觸發(fā)器再把模板鏈接到主機(jī)上所有主機(jī)自動(dòng)繼承配置。后續(xù)要加閾值、加圖形只需要改模板一處所有主機(jī)同步生效。模板里的閾值可以做成宏比如{$NGINX_ACTIVE_WARN}、{$NGINX_REQ_HIGH}。這樣在不同業(yè)務(wù)機(jī)器上可以差異化覆蓋不用復(fù)制整個(gè)模板。比如 A 機(jī)器請(qǐng)求量本來就大警告閾值定 8000B 機(jī)器是小業(yè)務(wù)閾值定 1000。用宏就能在同一套模板下按主機(jī)單獨(dú)調(diào)整。key 的命名也要規(guī)范。前面用的 nginx.active、nginx.requests 就是比較清晰的命名方式。如果一臺(tái)機(jī)器上有多個(gè) Nginx 實(shí)例建議在 key 里帶實(shí)例編號(hào)比如 nginx1.active、nginx2.active避免數(shù)據(jù)串臺(tái)。6.4 歷史數(shù)據(jù)保留和監(jiān)控頻率最后聊一下采集頻率和數(shù)據(jù)保留。對(duì) Nginx 監(jiān)控來說30 秒到 1 分鐘的采集間隔已經(jīng)足夠。不要看到別人用 1 秒間隔就覺得越快越好越短的間隔意味著越多的 Agent 執(zhí)行、越多的 Server 輪詢和越大的存儲(chǔ)開銷。尤其是自定義 UserParameter 每次都執(zhí)行 curl 命令如果一臺(tái)機(jī)器上有 7 個(gè) nginx key每個(gè)采集周期就有 7 次 curl。機(jī)器數(shù)量一多這個(gè)開銷會(huì)被明顯放大。如果想降低開銷有兩個(gè)方向。一個(gè)方向是把采集間隔統(tǒng)一調(diào)大成 1 分鐘。Nginx 的指標(biāo)本來就是慢變量1 分鐘內(nèi)的尖峰對(duì)告警影響不大。另一個(gè)方向是寫一個(gè)單獨(dú)的采集腳本一次抓取狀態(tài)頁(yè)把結(jié)果寫到臨時(shí)文件再由多個(gè) UserParameter 去讀文件避免每次都重新 curl。后一種方案適合機(jī)器多、又不愿意放寬采集間隔的場(chǎng)景但腳本邏輯和錯(cuò)誤處理要寫得更嚴(yán)謹(jǐn)否則一個(gè)腳本崩了所有 nginx key 都會(huì)失效。歷史數(shù)據(jù)保留方面原始監(jiān)控值保留 7 到 14 天足夠趨勢(shì)數(shù)據(jù)保留 365 天用于回顧容量。如果你發(fā)現(xiàn)自己經(jīng)常要回溯更久之前的 Nginx 指標(biāo)建議單獨(dú)導(dǎo)出到外部存儲(chǔ)不要無限拉長(zhǎng) Zabbix 的保留周期否則數(shù)據(jù)庫(kù)膨脹之后整個(gè)監(jiān)控系統(tǒng)的查詢速度都會(huì)受影響。我個(gè)人更建議按這個(gè)順序落地先把狀態(tài)頁(yè)和 curl 驗(yàn)證跑通再用 zabbix_get 確認(rèn) key 有數(shù)據(jù)然后創(chuàng)建主機(jī)和監(jiān)控項(xiàng)最后才是觸發(fā)器和圖形。看起來流程更長(zhǎng)但每一步都有明確的成功標(biāo)準(zhǔn)出了問題也知道在哪一段排查。真正跑過一輪測(cè)試之后你會(huì)發(fā)現(xiàn) Zabbix 監(jiān)控 Nginx 并不復(fù)雜難點(diǎn)反而不是工具而是你愿不愿意把一個(gè)累計(jì)計(jì)數(shù)器、一個(gè)狀態(tài)頁(yè)字段吃透。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
9久精品| 五月丁香777| 色情五月停停丁香| 伊人激情啪啪| 国自产拍偷拍精品啪啪一区二区| 丁香六月av| 久青操| 欧美黑人大吊| 免费五月婷婷网| 超碰成人在线观看| 久久综合五月天激情小说网站| 婷婷五月色花丁香社区| 九九黄色网| 激情深爱综合| 第五色婷婷| 婷婷五月色播放| 777影视理论片大全在线观看| 9 7总站超级碰免费视频| 九月av在线| 99人人操人人操人人精| 日韩黄黄| 99综合视频| 久久久这里有精品| 99热 在线播放| 日韩成人无码人妻| 99热这里只有精品18| 五月天婷婷色色网| 玩熟女五十AV一二三区| www.99在线| 四五月婷婷| 国产欧洲欧洲精品久久| 少妇水多A片太爽了| 亚洲国产精品VA在线看黑人| 日韩成人网站精品久久大全| 丁香色影院| 夜夜嗨一区二区三区直播内容| 午夜在线成人网站免费观看| 九玖视频这里只有精品| 在线观看婷婷5月| 色色网五月激情| AV色婷婷| 超碰无码老师| 五月婷婷,六月激情| 来吧亚洲综合网| 成功精品影院| 中文字幕激情综合| 91啪级电影| 国产69精品久久久久999小说| 婷婷五月天.com| 日韩在线看AV| 玖玖综合网| 欧美99热| 狼人婷婷综合| 激情综合丁香六| 桃色五月天| 色色色色网站| 人人操人人操919999| 亚洲小说欧美激情| 色综合五月天| 熟女网站久久| 囯产精品久久欠久久久久久九大| 六六久久黄色| 色综合久久天天综合网| 成人丁香| 五月丁香婷婷基地| 婷婷五月天开心网| 色综合另类| 婷香五月激情视频| 日本熟女二区| 深爱激情网噜噜色| 丁香五月精品视频| 99精品视频偷拍| av操逼网| 国产高潮白浆一区二区| 天天激情视频| 五月婷在线| 久re热视频| 人人看人人草人人摸| 99久久九九| 五月天婷婷综合免费| 中文字幕乱轮| 婷婷碰碰| 欧美激情-区二区三区| 99视频在线播放大全| 在线免费视频caop| 五月综合亚洲婷婷| 91九九| 日韩人妻无码精品| www.婷婷,com| 影音先锋天天日| 丁香五月亚洲天堂| 亚洲欧洲中文日韩久久AV乱码| 亚洲综合网区| www.色婷婷| 亚洲免费99| 六月激情综合| www、丁香五月天| 婷婷五月天六点丁香五月| 中文字幕无码AV| www.av视频xx999.com| 97干免费视频| 婷婷六月激情| 午夜一区| 五月天激情综合首页| 9色在线视频| se.久久视频在线观看| 狠狠激情五月天| 伊久大香蕉| 国产裸舞福利资源在线视频| 最近中文字幕大全免费版在线| 午夜婷婷| 99精彩视频| 婷婷五月天成人在线视频| 91avse| 久久性刺激| 五月婷六月| 欧美色碰| 91超级碰碰| 九九热av| 欧美99| 影音先锋男人资源站一区二区| 噼里啪啦完整版中文在线观看| 99爱在线精品视频免费观看| 性爱111111| 婷婷婷五月天最新综合你懂的| 日本欧美成人片AAAA| 色99视| 欧美丁香婷婷天天操| 超碰成人av| 久操激情| 97色在线| 五月丁香六月婷婷玖玖| 九九九九九九九九九九九九九国产精品| 在线1青婷| 91在线人| 婷婷八月丁香激情综合| 99色色网| 荫道BBWBBB高潮潮喷| 欧美色小说婷婷| 碰97 久| www.五月丁香av| 丁香五月激情啪啪综合| 色99自拍| 九九99视频精品| 精品一二三区久久AAA片| 天天噜天天爱| 97色碰碰公开视频| 婷婷久久精品| 五月天婷婷基地| 99久在线精品99re8| 天天天久久久| 操日本99| 日日操夜夜爽| 久久免费精品小视频| 九九aV| 亚洲人人艹| 成人超碰网| 91精品久久久久久综合五月天| 婷婷五月丁香婷婷| 亚洲a色| 久久五月丁香| 深夜婷婷 丁香| 亚洲久热无码| 亚洲最大在线| 亚洲国产精品VA在线看黑人| 婷婷六月天激情| 91久久九九| 97干在线播放| 九九热这里只有精品一| 狠狠色大香蕉| 337p大胆噜噜噜噜噜91Av| 五月丁香九九九综合| 丁香激激情网| 婷婷五月天六点丁香五月| 特级西西4444www无码| 午夜九九九九九九九九九九九九九| 98色花堂98t.R| 色综合色| 日日爽日日爽| 思思久ren热| 99精品久| 91丨九色丨国产打屁股| 六月综合婷婷开心伊人| 97深爱伊人综合| www五月天com| 天天干天天操天天拍| 亚洲综合在线丁香五月| 五月婷婷av| 国产无套精品一区二区| 色五月婷婷影院| 婷婷激情四射| 热99在线| 久久伊人日日夜夜| www.91久久| 九九成人电影婷婷| 99热在线只有精品| 狠狠穞A片一區二區三區| 久久精品婷婷| 熟美女麻豆| 久久怡红院| 五月丁香六月婷婷激情视频在线观看免费| 激情的五月| 九七色色六月丁香| 五月婷婷激情网| 五月天天天色| 激情综合五月激情| 91热视频色网站| 97丨九色丨国产丨PORNY| 久久五月婷婷丁香| 亚洲成人在线五月天| 日韩色色小视频| 亚洲天堂有码| 日本操B视频在线观看| 996er热| 夜夜操,天天撸| 五月丁香婷婷在线综合蜜桃| 色99在线视频| 激情婷婷视频在线| 99久久国产宗和精品1上映| 婷婷在线激情| 久8色色| 六月丁香婷婷拍拍| 日本丁香五月| 91超碰在线观看| 色综合xx| 5月色婷婷| 看全色黄大色大片| 国产免费性爱| 亚洲精99| 夜夜操狠狠操| 精品久久9| 丁香五月天欧美| 快乐激情五月色婷婷| 婷婷综合日本| 操婷婷基地| 少妇出轨做爰高潮A片| 欧美日朝成人| 色色狼人综合| 99色| 丁香五月六月婷婷综合| 五月婷婷开心五月| 丁香婷婷成人在线播放| 99精品爱| 婷婷五月色网| 能看的av片| 九九久久99精品免费观看www| 久久久久久久久久久久63| 精品久久久久成人码免费动漫| 色五月在线观看| 色色色综合网| 天天日天天舔| 99在线热视频| 国产精品美女| jiZZdr| 久久婷婷资源| www91精品| 国产操逼视频网站| 色玖玖网| 99er热精品视频| 日韩AV在线免费| 五月婷婷视频| av婷婷丁香| 婷婷综合性爱网| 第四色在线观看| 色婷婷五月天| 91 影音先锋| 中字幕视频在线永久在线观看免费| 996er热| 美国不卡视频| 夜夜操夜夜操| www.色99| 色噜噜狠狠色综合日日| 99久久婷婷| 色婷婷大香蕉| 五月婷婷丁香五月| 狠狠综合网| 欧美婷婷| 九月丁香婷婷基地| 91丨人妻丨国产丨丝袜| 麻豆雪千夏| 色五月色图| 久久色五月| 欧美日韩成人h| 婷婷基地成人五月天| 五月激情小说| 激情五月婷婷网在线观看| 五月丁香六月色婷婷综合五月天 | 99视频| 日在线V视频在线播放| 99精品成人无码A片观看金桔 | 99热在线观看| 狠狠爱婷婷| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色综合久久88| 狠狠干综合| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 玖玖99福利| 日韩欧美四五区| 五月丁香久久呀| 激情性五月天免费小说视频| 婷婷五月天基地| 人人九色| 国产精品一区在线观看你懂的| 久久99热网| 丁香婷婷久久五月天| 欧美123区免| 99精品国产在热久久婷婷| 国产精品视频| 99国产小视频2013| 天天舔天天摸天天透| 色婷婷丁香五月天在线观看| 色五月天激情| 久99999热视频在线观看免费| 999热这里只有美国精品| 婷婷丁香视频| 9er热在线精品视频| 五月激情网五月综合网| 这里只有精品无码| 色一情一乱一乱一区91Av| 超级碰碰97在线| 日日操夜夜操中国无码| 久热九九| 五月丁香婷在线| 婷婷丁香五月91| 婷婷色色网| renre人人操国产超碰在线| 亚洲另类噜噜| 激情五月天影院| 欧美色男人网站| 九月激情综合婷婷| 天天爽日日搞| www.五月天婷婷| 久热这里| 五月久久网| 欧美成性色| 亚洲综合在线丁香五月| 91久久| 曰韩少妇内射免费播放| 天天插天天射天天干| 婷色人人狠| 亚洲丁香五月| 久久丁香五月天| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 日本婷色| AA片在线观看视频在线播放| 狼人狠狠操| 逼逼AV| 亚洲天码视频www蛋播视频| 亭亭色色五月天| WwW色婷婷| 96精品久久久久久久久| 五月久久丁香| 欧美性爱五月天| 婷婷五月天丁香久久| 欧美99| 俺也去在线视频 | 在线婷婷| 国产成人亚洲综合A∨婷婷| 成人在线视频网| 国产44页| 色久免费| 国产毛片精品一区二区色欲黄A片| 色综啪啪啪啪啪啪| 狠狠搞综合色| 色综合色色| 狠狠干狠狠操狠狠爱| 久热这里只有精品性色AV| 五月丁香在线婷婷美女| 99精品偷自拍| 在线另类| 五月天社区婷婷丁香社区| 国产看真人毛片爱做A片| 大香蕉五月婷婷| 五月激激激情综合网| 激情五月天小说网| 狠狠爱婷婷爱| 色五月婷婷在线观看| 五月天激情国产综合婷婷婷| 亚洲99综合| 天天噜噜| 69久久久| www.狠狠干com| 色色色com| 久婷婷五月天影院| 五月婷婷婷婷| 久久受www免费人成| 天天肏屄夜夜爽| 美女激情综合| 成人人操| 亚亚州久久高潮| 极品人妻VIDEOSSS人妻| 伊人久久激情图区五月| 91久久婷婷| 在线成人视频免费| 天天综合网在线| 婷婷99视频全集高清| 亚洲情欲| 免费AV播放| 无码一级片| 五月久久亚洲| 日本一級黃色一級片| 97色色色色| 91精品无码| 成人在线日韩欧美| 51国精产品自偷自偷综合| 亚洲超碰中文字幕| 99热99热99热99热| 抽插特写| 色欲天天综合| 7777久久亚洲中文字幕| 丁香五月婷婷色播艳门照| 丁香五月五月婷婷欧美大香蕉| 色综合色婷婷色伊人| 久久综合丁香激情五月| www.激情| 五月天婷婷综合| 精品久久9| 超碰99久久| 狠狠色丁香久久婷婷综合五月| 久久九九热视频| 丁香五月激情五月| 夜夜骑夜夜撸| 九月久久婷婷| 99热这里都是精品| 色欲天天综合网| 狠狠色色| 激情婷婷色小说| 五月天综合网| 黄页大全十八禁| 亚洲宗合激情| www天天爽| 日韩久久日| 色五月婷婷丁香五月| 任你爽视频| 免费亚洲婷婷| 欧美婷婷色| 九九九九无码| 婷婷射丁香| 色情五月| av网址在线| 日本九九九九| 福利视频在线播放| 丁香五月停停av| 婷婷六月久久| 婷婷五月天综合久久| 丁香五月大香蕉AV| 中文字幕在线日亚洲9| 啪啪一区| 五月网站| 人人草开心五月天| 99日本在线| 日本久久网| 99热成人精品| 97碰碰九九视频| 影音先锋777xfplay色资源网站| Caoub青青超碰| 激情婷婷五月天| 五月丁香另类图片| 婷婷五月天网| 性天天中文网| 182TV大香蕉| 色99在线观看| 99热这里只有精品50| 丁香五月婷婷www..com| 人人九色| 激情综合网婷婷久久| 激情五月综合网丁| 99热在线看片| 久久久久久天天日天天爱| 性做爰1一7伦| 国产性爱亚洲是图| 色婷婷小说| 五月天亭亭俺也| 伊人五月人妻精品| 玖玖99精品视频| 婷婷综合五月| 婷婷五月av| 一本久久亚洲五月婷婷 | 人人摸人人| 99色激| 丰满少妇猛烈A片免费看观看| 日韩欧美一级大黄网站| 91人妻人人做人碰人人爽九色| 亚洲午夜AV| 99国产性感视频| 亚洲网站999| 公的粗大挺进了我的密道| 久久99性爱视频| 五月激情婷婷综合| 黄急一级视频| 91人人爽狠狠狠| 操笔无码| 18久久| 桃色五月天| 开心五月天激情网站| 另类亚洲2| 久久婷婷青青草| WWW.99视频| 婷婷区日本| 日本精品干| 午夜婷婷| 夜夜大香蕉婷婷丁香| jiujiu无码五区| ...婷婷五月综合不卡,国产在线手机| 久久久婷| 伊人婷婷综合| 天天爽日日爽夜夜爽| 久久久久婷婷| 五月婷av| 国产看真人毛片爱做A片| 狠狠高潮精品亚洲1| site:jszngf.com| 男人的天堂97| 日韩性爱AV| 噜噜干日本| 久久aaaa片一区二区| 婷婷色中文字幕| 久久日婷婷| 开心激情综合| 成人网址在线观看| 色99综合视频| 五月丁香综合网色欲| 狠狠色网| 91黄色五月天视频| 99久热| 色婷久九| 99热这| 婷婷丁香水多多视频| 丁香五月婷婷AV| 九九伦子片| 亚洲五月天激情| 色爽九九| 天天日,天天干,天天操| 狠狠干青青草| 影音先锋一区| www.色色com| 天天插天天射| 亚洲操人| 人妻久久婷婷| 激情五月综合| 九九在线这里只有精品视频 | 婷婷综合伊人丁香| 人人草成人视频| 91热网址| 98热精品| 无码碰碰| 超碰av在| 日本人妻A片成人免费看片| 在线视频激情网站| 天天激情站| 开心五月丁香啪| www.夜夜操.con| 色丁香五月婷婷| 五月婷婷成人| 狠狠色中色| 免费三级黄色| 激情综合网激情五月丁香| 色亚洲无码| 激情丁香九九五月综合网| 天综合日日夜综合7799| 一级视频网址| 在线视频婷婷| 91人久| 天天干天天干天天干天天干天天干| 俺去也综合| 成年人看Va免费视频| 1995年关宝慧版蜘蛛女| 天天cha成人综合网| 婷婷五月天色丁香| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 日本熟妇乱妇熟色A片蜜桃| 俺去也综合| 超碰免费人人| A片一曲| 五夜丁香| 五月婷婷啪啪啪| www.99精品在线| 欧美激情VA永久在线播放| 色色性爱视频| 日本爆乳片手机在线播放| 色婷婷小说网| 神马欧美精| 99操免费视频| 成人一级片| 激情四射网| 91干视频| 激情色播| 人人爱人人草| 97精品人人A片免费看| 五月天丁香| 99re在线播放| 超碰在线免费观看日韩| 一本久婷婷综合| 久久久久视剧HD| 97超碰在线观看免费| 91综合网| www.日本91| 性爱人人网| 欧美日韩成人在线观看| 影音先锋色婷婷| 日韩啪啪视频| 丁香五月AV在线| 久久婷婷六月综合资源| 噜噜噜精品欧美成人在线观看| 欧美日本一区二区三区| 这里只有精品免费观看网占| 色五月欧美| 热久国产| 婷婷综合五月| 亚洲成人在线在线| 日本三级第一页| 日韩婷久| 五月婷婷久久久| 色色色777| 色播播之激情五月婷婷| 亚洲五月情| 99色精品| 亚洲丁香花色| 全部老头和老太XXXXX| 99热亚洲只有色| 综合九九久久| 六月丁香久久| 欧洲亚洲欧洲99久久| 99.色| 激情五月天婷婷五月天| av中文在线| 国产成人精品一区二区三区视频| 色亚洲欧洲| 99热精品在线免费观看| 97人人操在线| 亚洲五月婷婷| 成人五月丁香花| 91操屁股| 丁香啪啪| 婷婷色色网| 999久久久国产精品| 精品久久艹| 疯狂做受XXXX高潮A片| 激情婷婷五月社区| 五月婷婷六月天| 五月天婷婷丁香花| 丁香六月激情综合| 天天综合精品| 韩日AV片| 99热福利| 日韩爱操视频| 五月丁香婷婷成人网| 国产肥白大熟妇BBBB视频| 色拍九九九| 欧美性爱五月天| 秋霞影音91人妻久久| 99久精品视频| 成人超碰网| 国产无人区大片| 色播丁香五月婷婷操:屄| 开心五月网| 丁香婷婷大香蕉| 99在线小视频| 99在线免费视| 五月丁香婷婷综合| 丰满少妇猛烈A片免费看观看| 第五婷婷伊人丁香| oVV4WIB3vFi8D| 日本九九网| 99精品偷自拍| 色婷婷丁香综合中文字幕| 99热精品一区| 婷婷丁香久久| 天综合日日夜综合7799| 丁香五月天人体| 99热免费| 九九精品免费视频99| 91久久| av性爱在线| 五月天激情国产综合婷婷| 五月婷婷综合色啪首页| 激情亚洲五月| 五月天婷婷色色| 天天摸色吧天天摸色吧| 五月婷婷之综合激情| www.九九婷婷| 五月丁香网站在线播放| 99啪啪视频| 五月天大香蕉视频| 五月婷婷丁香大陆免费| 久久婷色| 成人在线视频一区| 新激情五月天色播| 丁香五月天综合| 五月香蕉婷婷| 五月婷婷开心丁香| 婷婷五月天福利| 91久久综合亚洲鲁鲁五月天| 五月丁香人妻| 欧美色五月| 九九超日本| 九九婷婷五月天影视| 丁香六月啪啪| 99精品久久久久| 99色免费视频| 97夫妻超碰| 日本色噜| 91超级碰碰| 丁香五月天狠狠操| 终合激情网| 97超碰,人人舔,人人操,人人摸 | 99热这里只有精品99| 大香蕉婷婷色| www.婷婷,com| 久草网大香视频| 亚洲行行色色| 少妇大叫太大太粗太爽了A片| 九九热欧美| 蜜臀av粉嫩av懂色av| 91制片厂久久久国产电影| 欧美久久婷婷| 天天干天天爽| 婷婷热色| 人妻中文字幕网| 久久婷.com| 久久在线视频只有这里有精品| 久久综合伊人综合在线| 婷婷五月天开心激情网| 热五月婷婷| 天天肏夜夜肏| 666555。COm毛片| 婷婷六月啪啪| 超碰在线人妻| 久热在线中文字幕色999舞| 欧美性猛交99久久久久99按摩| 久久在这里99| 色综合久久天天综合网| 蜜桃婷婷狠狠久久| 五月丁香六月婷| 激情五月丁香六月综合AVXXXX| 永久精品| 97久久五月丁香婷婷| 五月天婷久精视频| 久久区区一二三av| 深爱五月激情五月| 欧美日韩国产一区二区| 99九九精品| 97色五月丁香婷婷| 亚洲小说欧美激情| 国产人妻777人伦精品HD| 久久国产精品乱子伦_靑青草…| 五月天播播| 中文字幕成人| 五月丁香六月激情综合| 袁子仪视频观看| 五月丁香免费看| 永久的网站AAAA| 五月激情视频| 丁香五月第九色| 日韩精品视频中文字幕| 99热在线观看这里只有精品| 99久久婷婷综合| 天天爽天天日天天舔| 综合久久六月| 夜夜大香蕉婷婷丁香| 婷婷综合色| 久久婷婷成人综合色怡春院| 色五月丁香总合网| 91人人人人人| 色偷偷狠狠| 九九激情视频| 久久婷婷五月综合伊人| 色综合久久888| 色五月综合网| 我爱va亚洲va52| 亚洲无码免费看| 热久精品| 激情丁香婷婷| 日本99视频| 99色在线观看| 禁片二区| 色99在线| 欧美色99| 可以免费观看的AV| 五月天丁香啪啪啪啪| 五月婷婷九| 国产激情久久| 搡BBBB搡BBB搡18| 丁香五月中文字幕久色| 7777精品伊人久久久大香线蕉最新版| 五月天激情影院| 狠狠 婷婷| 国产精品第一国产精品| 欧美黄色AA片哗啦啦啦| 亚洲操逼片| 中文字幕无码人妻少妇免费视频 | 97伊人综合婷婷| 婷婷丁香成人| 五月丁六月香av| 色婷婷五月影视| 婷婷久久综合久| 婷婷丁香色五月亚洲| 九九综合九| 五月天久久网站| 色综合爽| 日本在线观看aaa 99| 99操久久| 婷婷五月天日日日干干干| 9伊人网| 色狠狠综合| 五月丁香婷婷三级| 色噜噜夜夜夜综合网| 国产人妻人伦精品一区二区| 一级黄色尤物综合视频手机在线观看| 台湾无码A片一区二区| 五月婷婷综合网| 五月天另类视频| 婷婷开心深爱五月天| 亚洲正能量欧美| 丁香五月成人| www.ppypp| 超碰九色| 91热在线观看视频| 开心深爱激情网| 色婷婷社区| 五月婷俺去也| wwww.色婷婷| AV性爱网| 99久久五月婷婷| 九九热免费观看视频| 永久热91| 狠狠精品干练久久久无码中文字幕| 五月丁香激情综合久久| 五月婷婷综合激情| 99啪啪网| 色噜噜丁香| 久久五月丁香| ji'qi'luan'ren'lun| 欧美婷婷六月丁香综合色连续高潮抽搐| 国产精品A片在线| 欧美色频| 热99在线精品| 不卡影院午夜理论片| 大香蕉啪啪啪| 色综合色婷色基地| 丁香五月五月婷婷欧美大香蕉| 超碰97干| 九九机热| 天天日天天做天天舔| WWW、日本色丁香、co m| 五月婷婷六月丁香| 色婷婷激情| 久久视频这里99| XXXX岛国| 久久综合中文字幕| 五月刺激丁香月综合| 99热官网| 婷婷五月丁香在线视频| 99精彩视频在线观看| 免费亚洲婷婷中文字幕| 免费视频在线观看的网站| 六月激情婷婷| 婷婷五月天美女21p| 天天射影视综合网| 超碰免费在线| 久久99精品久久久久久噜噜| 丁香婷婷六月| 亚洲视频在线观看| 色九月| 日本婷婷色日| 久久视频九九视频| 五月天·www·com| 婷婷色操| 激情碰碰碰| 激婷网| 久久99热这里只有精品| 五月丁香久| 激情五月五月婷婷| 久久性爱视频久久性爱视频| 成人欧美一区二区三区在线观看| 99精品视频在线观看免费| av亚洲国产小电影| 成人丁香| 狠狠操综合| 五月丁香婷婷综合久久| 丁香五月婷婷五月天| 丁香五月天天高清在线| 啪啪激情网站| 丁香五月六月婷婷自拍| 另类五月婷婷| 97色色色色| 九九久久五月天综合伊人| 日本色色网站| 婷婷玖玖丁香| 五月丁香六月婷婷激情四射| 欧美日本不卡黄色片| 91av传媒高清在线视频网| 99热这里只有精品9| 在线综合网| 日本色色图| 婷婷激情性爱| 九九99九九99| 日韩高清成人| 五月婷婷偷拍| 另类综合色| 欧美色色色色色| 色色网站免费| www.com五月天| 天天色综网| 99性爱视频网站| 丁香五月无码| 丁香五月综合网亚洲综合欧美狠狠| 99热这里只是精品| 青青草日本亚洲| 五月丁香婷婷啪啪综合网| 天天色,天天操,天天射| 思思热99er在线视频| 天天舔夜夜操www com| 任你爽免费视频| 另类综合激情| www.婷婷,com| 久草五月婷| 97色视频网| 色综合香蕉| 久综合| 91人人爽狠狠狠| 天天色播| 久久最新色色色| 七七九九色色| 五月亭亭六月激情| 久久99久久99精品免观看软件| 亚洲久久婷婷| 九九热精品6| 丁香五月天AV| 桃色五月天| 激情久久肏屄视频| 狠狠干综合| AV九九| 色狠狠色噜噜AV天堂五区| 五月婷三级片| 婷婷香蕉视频| 精品人妻在线| 丁香色色网| 欧洲精品欧洲情| 色色aⅤ網| 久热这里只有精品在线| 综合网亚洲| 久久狼人天堂| 五月婷婷色| 欧美三级A做爰在线观看| 熟妇内谢69XXXXXA片| 极品人妻VIDEOSSS人妻| 日韩在线观看网址| 亚洲AV日韩在线观看| 综合久久六月| 99色干| 梁铮版《蜘蛛女侠》在线| 亚洲Av入口| 成人五月天视频播放| 天天爽天天摸天天爱| 香蕉操亚洲| 五月丁香色综合| 狠狠色 综合色区| 99热精品网| 丁香五月天网站| 色五月久久成人婷婷| 五月婷婷精品无在线| 欧美va在线观看| 色激情五月| 国产精品日本一区二区在线播放 | 成人性爱无码| 色99热| 久久曰曰| 欧美人人草草| 生活片五区| 五月天色婷婷av| 五月天五月天激情网| 五月天伊人久久久久| 婷婷在线精品| 丁香婷婷激情四射五月| 久热黄色| 六月五月久久丁香| 欧美性丁香色色五月天干干| 天天干 夜夜爽| 婷婷色色亚洲| 91精品综合久久婷婷九色| 国产五月丁香在线| 蜜乳中文字| 激情五月婷| 202丰满熟女妇大| 婷婷色色丁香| 日本女天天爽| 色色网站| 99热精品在线观看| 丁香五月天社区婷婷| 综合激情婷婷| 欧美婷婷色五月| 婷婷久久亚洲| 91干婷婷| 大香蕉综合| 五月天激情av| 亚洲情欲| 99热亚州综合| 六月婷婷深深爱| 婷婷五月亚洲一本在线丁香| 天天插天天日| 在线成人av播放| 丁香五月AV在线| 婷婷五月免费视频| 精品国产乱码久久久久夜深人妻| 在线不卡中文字幕| 最新激情五月天| WWW免费视频碰碰碰碰| 在线18av | 九九色色网| 久久小片| 五月天综合网| 日韩美女羞羞网站在线观看| 激情婷婷综合| 婷婷欧美综合| 亚洲AV成人精品网站在线播放| 99热日本| 五月天六月色| 亚洲视频在线观看| 免费观看亚洲AV片| 亚美欧色影院| 日本人妻伦在线中文字幕 | 日日噜噜夜夜狠狠久久丁香六月| 中文字幕婷婷9月天| 狠狠综合| 丁香五月天婷婷激情| 精品香蕉99久久久久网站| 狠狠色狠狠| 天天爽日日爽夜夜爽| 天天综合网站| 婷婷六月激情| 五月天婷婷视频| 做爰丰满少妇1313| 99激情在线| 538在线精品| 色综啪啪网| 激情综合五月激情XXXX| 丁香六月激情四射| 久久久久久久久久久久久久久久久精典| 六月婷婷之青青草| 99热久草| 日韩性爱无码| AV 3P| 久久激情网| 久青操| 五月婷婷中文字幕| www.seqingwuyuetian| 五月丁香激情综合啪| 婷婷五月丁香色综合| 黑人糟蹋人妻HD中文字幕| 婷婷综合视频| 婷婷五月天在线综合| 国产做A爰片毛片A片美国| 超碰91av| 色婷婷黄色网络| 色婷五月天网站| 婷婷五月色综合| 九九色综合| 91日精品| 操国产人妻| 婷婷五月六| 超碰狠狠操| 色色五月丁香婷婷综合| 综合色色婷婷| 桃色激情网| 超碰免费观看| 深爱五月亚洲| 日产精品一线二线三线芒果| 怕怕av| 婷婷五月天综合在线| 午夜成人AV在线| 五月天婷婷基地综合网| 狠狠爱婷婷色| 婷婷六月丁香五月| 久久33视频| 天天干天天叉| 双性美人被调教到喷水A片| 天天综合激情| 五月婷婷丁香| 婷婷五月激情网站| 丁香五月天啪啪| 人人综合久| 五月狠狠| 玖玖精品婷婷| 色婷婷色99国产综合精品| 五月天大香蕉视频| 亚洲天天综合| 奇米四色五月天| 怡红院一二三| 色99视| 婷婷成人五月天成人文学| 色99婷婷五月天| 婷婷99狠狠| 超碰在线超碰| 九九99九九99| 激情久久五月天| 99日本精品视频热| 久热伊人| 丁香五月综合| 久久99热这里只有精品23| 成人视频网| 嫩草综合网| 高清资源站日A美A欧亚…| 婷婷综合成人五月天| 91在线就要啪| 激情五月婷婷综合色播小说| 超碰天堂网| 情婷婷五月天| 色婷在线视频| 97热这里精品在线视频| 中文字幕AV在线播放| 五月开心久久| 天天做天天爰天天爽天天无遮挡| 超碰在线免费观看日韩| 亚洲精品国产精品乱码不99| 高清av在线国产| 99这里有精品| 99自拍网| 久久伊人大香蕉| 五月色导航| 久草婷妨| 天天色噜| 91超级碰在线| 99久久极情精品一区| 丁香五月网络网络| ..真实国产乱子伦对白在线_欧| 天天操夜夜玩!| 久久久久久久久久久jjjj| 日日杆天天| 婷婷五月天堂| 思思99热| 色婷婷综合网站| 日韩在线一级| 五月叮香啪| 久久黄色网扯| 五月丁香综合精品欧美| 婷婷亚洲五月| 日韩欧洲亚洲| 少妇高潮A片无套内谢麻豆传| 思思99热这里只有精品6| 久热大香蕉| 99久久黄色顶级视频| 色和综合网| 涩五月婷婷| 激情视频网址| 五月丁久久| 色婷婷的五月天| 国产成人网| 精品香蕉99久久久久网站| 啄木鸟丝袜美女福利视频| 色五月婷婷综合在线| 天天做天天爱天天爽| 亚洲另类久久| 久久色五月天| 久久99久久99久久99人受| 婷婷激情综合网| 综合亚洲AV| 五月丁香免费看| 五月婷婷婷婷婷| WWW99热| 国产AV一区二区三区最新精品 | 97人妻碰碰碰久久| AVDV久久| 五月天色婷婷伊人网| 色婷婷六月天| 超碰免费成人网站| 五月丁香六月婷婷久久肏| 欧美五月丁香啪啪响视频| 97婷婷五月| 久婷久婷| 夜夜操少妇| 777久久久| 开心五月深爱五月| 欧美xx激情视频在线观看| 婷婷五月丁香综合亚洲| 日本丰满久久| 色五月天综合网| 婷婷五月天精品| 婷五月丁香俺| 这里只有精品网| 亚洲蜜乳AV| 九九亚洲视频| 狠狠插狠狠操| 1024在线一区| 久久这里只有精品8| 五月天激情综合网站| 国产综合A片| 婷婷五月天在线观看| 五月激情综合深爱| 色五月91| 婷婷综合玖玖五月| 思思热99热| 97 A I色色| 天堂爱爱| 爆乳熟女一区二区三区爆乳| 成人中文网| 综合AV在线| 色狠狠色综合| 激情色中文| aaaa.黄| 嫩BBB搡BBBB榛BBBB| 久久综合首页| 亚洲狠狠狠色婷婷综合激情久久久| 99久久五月天| 亚洲V国产V欧美V久久久久久| 91偷拍视频| 99国产这里只有精品| www.久9| www.色五月| 欧美日韩一区二区三区四区| 五月天婷婷激情在线色图| 激情综合女人网五月播播| 色婷婷情片| 黄色视频网站在线播放| 99热欧美| 丁香婷婷激情六月五月开心| 色婷婷丁香六月| 久热中文字幕| 色色色五月天激情资源| 久久精品99国产精品日本| 影音先锋天天日| 婷婷五月色综合| 丁香五月成人| www.日本91| 大香蕉久久伊人网| 丰满少妇猛烈A片免费看观看| 久久亚洲婷婷| 天天做天天爱| 深爱激情五月天婷婷网| 日日噜人人人做人| a九九热www| 超级碰碰一区| 天天射天天插天天干| 激情综合五| 色色色国产| 丁香五月激情五月| 99热日韩| 我爱婷婷五月天综合88| 婷婷综合欧美| 国产综合视频婷婷| 九九超日本| 99视频综合网| 五月婷婷操操| 五月激情在线| 婷婷五月花| 久久久久久人妻| 五月天婷婷高清无码| www久久99com| 大香蕉AV在线| 久久色天堂| 欧美日韩成人在线网| 久久激情婷婷| 婷久久久| 婷婷五月丁香青青草在线| 99热这里是精品| 丁香五月成人网| 久久久激情| 亚洲99综合| 婷婷丁香九月| 成人网在线视频| WWW.17C亚洲精品| 五月婷婷在线免费观看| 久久久精品色| 五月草视频| 99热只有这里才是精品| 玖玖资源天天无码|