欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx實(shí)戰(zhàn):Agent端配置與狀態(tài)頁(yè)采集全解析

Zabbix監(jiān)控Nginx實(shí)戰(zhàn):Agent端配置與狀態(tài)頁(yè)采集全解析 先說結(jié)論Zabbix 監(jiān)控 Nginx最關(guān)鍵的環(huán)節(jié)不在 Server 端怎么寫監(jiān)控項(xiàng)而在 Agent 端怎么把 Nginx 的實(shí)時(shí)狀態(tài)穩(wěn)定采集上來。很多人裝了一堆組件最后發(fā)現(xiàn)數(shù)據(jù)過不來問題大多出在 Nginx 狀態(tài)頁(yè)沒開、Agent 配置文件沒改對(duì)、自定義監(jiān)控項(xiàng)寫錯(cuò)這三個(gè)地方。這篇文章適合兩類人。一類是剛開始接觸 Zabbix想用 Agent 方式給 Nginx 加監(jiān)控的新手另一類是已經(jīng)把 Zabbix Server 跑起來但搞不清客戶端、狀態(tài)頁(yè)、自定義 key 之間關(guān)系的人??赐曛竽隳馨错樞虼畛鲆粭l完整鏈路Nginx 暴露狀態(tài)頁(yè)Agent 執(zhí)行采集命令Zabbix Server 通過 key 拿到數(shù)據(jù)最終在 Web 界面看到指標(biāo)曲線和告警。下面按實(shí)際落地順序拆一遍。1. 先把Zabbix監(jiān)控Nginx的數(shù)據(jù)鏈路拆清楚1.1 Agent在監(jiān)控鏈路里到底干什么Zabbix 監(jiān)控 Nginx 可以有多種方式比如直接用 SNMP、用 Zabbix Agent、或者讓 Zabbix Server 主動(dòng)去請(qǐng)求 HTTP 接口。最常見、也最適合多數(shù)企業(yè)內(nèi)部場(chǎng)景的就是Zabbix Agent方式。Agent 本質(zhì)上是一個(gè)安裝在被監(jiān)控機(jī)器上的小服務(wù)。它負(fù)責(zé)做三件事接收 Zabbix Server 或 Zabbix Proxy 發(fā)來的數(shù)據(jù)請(qǐng)求執(zhí)行本地的采集命令、腳本或從狀態(tài)頁(yè)讀取數(shù)據(jù)把結(jié)果返回給 Server 端。所以Agent 不是直接“連”上 Nginx而是起到了一個(gè)翻譯和采集的作用。Nginx 本身不會(huì)主動(dòng)告訴 Zabbix “我的并發(fā)連接是多少”Agent 需要自己去讀 Nginx 暴露出來的狀態(tài)信息然后轉(zhuǎn)換成 Zabbix 能識(shí)別的數(shù)值。理解這條鏈路非常重要。很多人直接照著網(wǎng)上配置往配置文件里寫了幾行UserParameter發(fā)現(xiàn)沒數(shù)據(jù)就以為是 Zabbix 的問題。實(shí)際上往往是 Nginx 狀態(tài)頁(yè)本身打不開或者 Agent 所在用戶沒有權(quán)限執(zhí)行 curl又或者 key 名稱寫錯(cuò)了導(dǎo)致 Server 端拿不到結(jié)果。1.2 基礎(chǔ)監(jiān)控項(xiàng)可以直接用高級(jí)指標(biāo)要靠狀態(tài)頁(yè)或腳本如果你只是監(jiān)控“進(jìn)程在不在”那 Zabbix 自帶的模板和內(nèi)置 key 就夠了。比如用proc.num[nginx]或proc.num[nginx.exe]判斷 Nginx 進(jìn)程數(shù)量用system.cpu.load看 CPU 負(fù)載用net.if.in、net.if.out看網(wǎng)卡流量。這些不需要改動(dòng) Nginx 配置Agent 裝上之后就能用。但如果你想監(jiān)控 Nginx 的業(yè)務(wù)指標(biāo)比如當(dāng)前活躍連接數(shù)總連接數(shù)總請(qǐng)求數(shù)每秒請(qǐng)求數(shù)Reading、Writing、Waiting 的數(shù)量那一定要開啟 Nginx 的stub_status模塊并配置一個(gè)狀態(tài)頁(yè)。然后通過 Agent 的UserParameter去讀取解析。這里有一個(gè)常見誤解以為 Zabbix 官方模板會(huì)自動(dòng)采集這些數(shù)據(jù)。實(shí)際上官方模板里包含這些監(jiān)控項(xiàng)但前提是 Agent 端已經(jīng)裝好了 Nginx 狀態(tài)頁(yè)采集腳本或自定義 key。模板只是“裝了 CPU 插座”還得你自己把“電源線”接上。1.3 環(huán)境準(zhǔn)備和判斷標(biāo)準(zhǔn)準(zhǔn)備環(huán)境時(shí)先確認(rèn)以下條件Zabbix Server 已經(jīng)安裝并運(yùn)行Web 界面可以打開被監(jiān)控的 Nginx 服務(wù)器能訪問 Zabbix Server/Serve 端也能訪問 Agent 的監(jiān)聽端口Agent 版本盡量和 Server 主版本接近避免低版本 agent 不支持某些 keyNginx 編譯時(shí)帶上了--with-http_stub_status_module或者本身就是發(fā)行版默認(rèn)編譯好的版本如果是 Docker 部署的 Nginx也要確認(rèn)容器內(nèi)是否有 curl、grep、awk 這些基礎(chǔ)命令后面腳本采集時(shí)會(huì)用到。其中“Agent 版本和 Server 版本盡量一致”這條很多人會(huì)忽略。雖然 Zabbix Agent 大體上向后兼容但高版本 Server 搭配特別老的 Agent可能出現(xiàn)監(jiān)控項(xiàng)顯示“不支持”的情況。建議落地前先統(tǒng)一版本。如果只是學(xué)習(xí)測(cè)試單機(jī)部署一臺(tái) VM 就夠如果要進(jìn)生產(chǎn)建議把 Zabbix Server 和 Agent 分別部署在不同機(jī)器上避免性能干擾。2. Agent端安裝和基礎(chǔ)配置決定后面少踩一半坑2.1 安裝方式選擇Zabbix Agent 的安裝方式取決于操作系統(tǒng)。常見的有使用發(fā)行版官方倉(cāng)庫(kù)或 Zabbix 官方倉(cāng)庫(kù)安裝下載源碼編譯安裝使用 Docker 容器運(yùn)行 agent如果是 Windows Nginx還需要安裝 Windows 版本的 agent。安裝時(shí)最好不要用“從網(wǎng)上隨手找個(gè)包”的方式因?yàn)?Zabbix 官方倉(cāng)庫(kù)會(huì)根據(jù)你使用的系統(tǒng)版本提供對(duì)應(yīng)的 agent 包依賴也能自動(dòng)處理。具體安裝命令這里不給死版本因?yàn)椴煌到y(tǒng)和 Zabbix 版本的倉(cāng)庫(kù)地址差異很大。建議參考官方安裝文檔或者直接看倉(cāng)庫(kù)安裝提示按照“添加官方倉(cāng)庫(kù) - 刷新包列表 - 安裝 zabbix-agent”的順序走。安裝完成后先不著急改配置確認(rèn) agent 二進(jìn)制文件已經(jīng)存在。which zabbix_agentd或者zabbix_agentd --version如果命令能打印出版本信息說明安裝成功。這一步能提前發(fā)現(xiàn)“安裝到一半缺依賴”“架構(gòu)不對(duì)”等問題。2.2 修改Agent配置文件Agent 的主配置文件一般叫zabbix_agentd.conf在 Linux 上常見路徑有/etc/zabbix/zabbix_agentd.conf、/usr/local/etc/zabbix_agentd.conf。Windows 上通常安裝在 agent 安裝目錄下。需要重點(diǎn)關(guān)注這幾個(gè)參數(shù)參數(shù)作用填寫建議Server允許向本 Agent 請(qǐng)求數(shù)據(jù)的 Zabbix Server 或 Proxy IP寫 Server 的實(shí)際 IP不要寫 0.0.0.0ServerActiveAgent 主動(dòng)連接 Server 的地址用于主動(dòng)模式同樣寫 Server IP 和端口HostnameAgent 在 Server 端注冊(cè)或顯示的主機(jī)名必須和 Web 界面創(chuàng)建的主機(jī)名一致UnsafeUserParameters是否允許自定義 key 包含特殊字符或帶參數(shù)如果自定義命令很簡(jiǎn)單可以設(shè)為 0如果帶參數(shù)、管道最好設(shè)為 1UserParameter自定義監(jiān)控項(xiàng) key 和采集命令可以寫在單獨(dú)文件里引用一個(gè)常見的問題是同時(shí)配置了Server和ServerActive但 Hostname 寫錯(cuò)了。結(jié)果就是 Zabbix Server 能看到主機(jī)但數(shù)據(jù)全斷斷續(xù)續(xù)。原因是被動(dòng)模式下 Server 根據(jù) IP 來找 Agent主動(dòng)模式下 Agent 要上報(bào)自己的 Hostname兩套機(jī)制的校驗(yàn)方式不一樣。我給你一個(gè)比較穩(wěn)妥的配置習(xí)慣先只配置被動(dòng)模式也就是Server和Hostname確認(rèn) zabbix_get 能取到數(shù)據(jù)后再按需開啟主動(dòng)模式不要一上來就同時(shí)開兩個(gè)模式排查起來不方便。2.3 啟動(dòng)與連通性驗(yàn)證配置文件改完后重啟 Agent 服務(wù)。systemctl restart zabbix-agent確認(rèn)進(jìn)程狀態(tài)systemctl status zabbix-agent然后看 Agent 日志確認(rèn)沒有報(bào)錯(cuò)。日志位置通常在/var/log/zabbix/zabbix_agentd.log。如果 Agent 和服務(wù)在同一臺(tái)機(jī)器可以用zabbix_get命令模擬 Server 拉取數(shù)據(jù)。zabbix_get -s 127.0.0.1 -k agent.ping返回1代表 Agent 活著。返回超時(shí)或cannot connect就要檢查端口監(jiān)聽和防火墻。接下來用同樣方式測(cè)試 Nginx 相關(guān)的內(nèi)置 key比如zabbix_get -s 127.0.0.1 -k proc.num[nginx]如果返回?cái)?shù)字說明 Agent 部署正常已經(jīng)能獲取系統(tǒng)數(shù)據(jù)。到這里基礎(chǔ)的 Agent 鏈路算通了。3. Nginx狀態(tài)頁(yè)開啟核心指標(biāo)都從這里來3.1 檢查Nginx是否帶stub_status模塊Nginx 的stub_status是官方自帶的一個(gè)模塊但很多源碼編譯的 Nginx 默認(rèn)并沒有把它帶上。所以第一步是先確認(rèn)。看已安裝 Nginx 是否包含該模塊nginx -V 21 | grep stub_status如果有輸出說明模塊已經(jīng)編譯進(jìn)去了。如果沒有輸出有兩種處理方式重新編譯 Nginx在 configure 參數(shù)中加上--with-http_stub_status_module如果用的是發(fā)行版默認(rèn) Nginx可以檢查是否已經(jīng)默認(rèn)帶了這個(gè)模塊。比如某些 Linux 發(fā)行版的 nginx 包會(huì)默認(rèn)包含。重新編譯相對(duì)麻煩尤其會(huì)影響現(xiàn)有 Nginx 的平滑升級(jí)。建議先在測(cè)試環(huán)境驗(yàn)證不要直接在線上操作。如果線上 Nginx 是別人裝的你也不清楚編譯參數(shù)那就先跑nginx -V看看結(jié)果。3.2 配置location /nginx_status在 Nginx 配置中增加一個(gè)狀態(tài)頁(yè) location。常見做法是新增一個(gè)獨(dú)立配置文件或者在server塊中新增 location。location /nginx_status { stub_status on; access_log off; allow 127.0.0.1; deny all; }這里最重要的不是stub_status on;而是allow和deny的訪問控制。默認(rèn)情況下這個(gè)頁(yè)面會(huì)暴露 Nginx 當(dāng)前所有連接和請(qǐng)求狀態(tài)。如果不做限制外網(wǎng)可以隨便訪問等于泄露了服務(wù)運(yùn)行基礎(chǔ)信息。所以一般只允許本機(jī)或內(nèi)網(wǎng)監(jiān)控網(wǎng)段訪問。如果 Agent 和 Nginx 在同一臺(tái)機(jī)器allow 127.0.0.1就夠了。如果 Agent 要從另一臺(tái)機(jī)器抓取就把a(bǔ)llow換成監(jiān)控網(wǎng)段但這樣會(huì)對(duì) Nginx 暴露一個(gè) HTTP 端點(diǎn)必須在防火墻層面做好限制。有些朋友會(huì)問不是 Agent 本機(jī)采集嗎為什么還要允許局域網(wǎng)因?yàn)槿绻愕牟杉_本是跑在 Agent 本機(jī)通過http://127.0.0.1/nginx_status訪問那確實(shí)只需要允許本機(jī)。但如果你嘗試從 Zabbix Server 直接用 HTTP agent 監(jiān)控 Nginx那就必須允許 Server IP。本文統(tǒng)一采用 Agent 本機(jī)采集的方式所以只允許 127.0.0.1 最穩(wěn)。配置完成后重載 Nginx。nginx -t nginx -s reload3.3 本地curl驗(yàn)證輸出格式在 Agent 本機(jī)執(zhí)行curl http://127.0.0.1/nginx_status正常情況下會(huì)看到類似這樣的輸出Active connections: 12 server accepts handled requests 100 100 200 Reading: 0 Writing: 1 Waiting: 11四行數(shù)據(jù)的含義第一行當(dāng)前活躍連接數(shù)第二行三個(gè)計(jì)數(shù)器的標(biāo)題第三行總接受連接數(shù)、總握手連接數(shù)、總請(qǐng)求數(shù)第四行正在讀取請(qǐng)求頭的連接數(shù)、正在寫入響應(yīng)的連接數(shù)、空閑等待請(qǐng)求的連接數(shù)。如果 curl 返回空或者 403、404先查 Nginx 配置是否真正生效再查防火墻。403 通常是 allow/deny 規(guī)則問題404 通常是 location 路徑或配置文件沒加載。4. 自定義監(jiān)控項(xiàng)把status頁(yè)轉(zhuǎn)換成Zabbix能識(shí)別的數(shù)據(jù)4.1 用UserParameter定義KeyAgent 拿到 Nginx 狀態(tài)頁(yè)內(nèi)容之后還需要把它解析成獨(dú)立指標(biāo)。Zabbix 是通過自定義 key 來實(shí)現(xiàn)的。在/etc/zabbix/zabbix_agentd.d/目錄下新建一個(gè)配置文件比如userparameter_nginx.conf寫入U(xiǎn)serParameternginx.active,curl -s http://127.0.0.1/nginx_status | grep Active | awk {print $NF} UserParameternginx.requests,curl -s http://127.0.0.1/nginx_status | sed -n 3p | awk {print $3} UserParameternginx.reading,curl -s http://127.0.0.1/nginx_status | grep Reading | awk {print $2} UserParameternginx.writing,curl -s http://127.0.0.1/nginx_status | grep Writing | awk {print $4} UserParameternginx.waiting,curl -s http://127.0.0.1/nginx_status | grep Waiting | awk {print $6}注意這里的命令里用到了管道和grep所以UnsafeUserParameters需要設(shè)為1否則 Agent 可能拒絕執(zhí)行這類帶特殊字符的命令。配置完重啟 Agentsystemctl restart zabbix-agent用zabbix_get測(cè)試zabbix_get -s 127.0.0.1 -k nginx.active如果返回?cái)?shù)字說明自定義 key 已經(jīng)生效。4.2 用腳本代替多條命令上面的寫法雖然簡(jiǎn)單但每條 key 都執(zhí)行一次 curl而且解析邏輯各不相同。如果有 5 個(gè)指標(biāo)每次采集都要重復(fù)請(qǐng)求 5 次狀態(tài)頁(yè)。雖然對(duì)單機(jī)來說影響不大但會(huì)讓監(jiān)控?cái)?shù)據(jù)點(diǎn)的時(shí)間不完全一致尤其是 active、connections、requests 三個(gè)值是不同時(shí)間快照畫圖時(shí)可能看到輕微波動(dòng)。更好的方式是寫一個(gè)采集腳本一次請(qǐng)求拿到所有值再按需輸出。#!/bin/bash STATUS$(curl -s http://127.0.0.1/nginx_status) case $1 in active) echo $STATUS | grep Active | awk {print $NF} ;; requests) echo $STATUS | sed -n 3p | awk {print $3} ;; reading) echo $STATUS | grep Reading | awk {print $2} ;; writing) echo $STATUS | grep Writing | awk {print $4} ;; waiting) echo $STATUS | grep Waiting | awk {print $6} ;; *) echo UNKNOWN ;; esac把這個(gè)腳本放到/usr/local/bin/nginx_status.sh并加執(zhí)行權(quán)限chmod x /usr/local/bin/nginx_status.sh然后配置 userparameterUserParameternginx.status[*],/usr/local/bin/nginx_status.sh $1這樣在 Zabbix Server 端可以用nginx.status[active]、nginx.status[waiting]讀取不同指標(biāo)每次采集只請(qǐng)求一次 Nginx 狀態(tài)頁(yè)。這類腳本方案適合指標(biāo)多、采集頻率高的場(chǎng)景。缺點(diǎn)是腳本出了問題排查難度更大所以腳本里盡量減少對(duì)系統(tǒng)命令路徑的依賴。4.3 主動(dòng)模式和被動(dòng)模式對(duì)自定義key的影響自定義 key 本身不區(qū)分主動(dòng)還是被動(dòng)兩種模式都支持。區(qū)別在于被動(dòng)模式Zabbix Server 發(fā)起 TCP 連接向 Agent 請(qǐng)求 keyAgent 執(zhí)行命令返回結(jié)果。適合監(jiān)控項(xiàng)不多、Server 并發(fā)壓力不大的場(chǎng)景。主動(dòng)模式Agent 每隔一段時(shí)間主動(dòng)去向 Server 獲取監(jiān)控項(xiàng)列表然后執(zhí)行并上報(bào)結(jié)果。適合監(jiān)控項(xiàng)很多、網(wǎng)絡(luò)分區(qū)復(fù)雜的場(chǎng)景。如果你使用主動(dòng)模式ServerActive必須配置正確并且 Agent 能訪問 Server 的 10051 端口。同時(shí) Hostname 必須和 Web 界面創(chuàng)建的主機(jī)名完全一致否則 Agent 上報(bào)的數(shù)據(jù)找不到歸屬主機(jī)。在測(cè)試階段建議先使用被動(dòng)模式因?yàn)閦abbix_get就是模擬被動(dòng)模式的請(qǐng)求排錯(cuò)更直觀。5. Server端把主機(jī)和監(jiān)控項(xiàng)綁定起來5.1 在Web界面添加主機(jī)Zabbix Server 裝好并配置好 Agent 后登錄 Web 界面在“數(shù)據(jù)采集 - 主機(jī)”里創(chuàng)建新主機(jī)。需要填寫的內(nèi)容主機(jī)名稱必須與 Agent 配置里的Hostname一致可見名稱可以自定義顯示在頁(yè)面上模板可以先選擇自帶模板測(cè)試連接性群組選一個(gè)已有主機(jī)組或者新建一個(gè) Nginx 組Interface選擇 Agent填寫被監(jiān)控機(jī)器 IP 地址端口默認(rèn) 10050。創(chuàng)建時(shí)如果勾選了“添加后啟用”保存后主機(jī)應(yīng)該會(huì)出現(xiàn)在可用主機(jī)列表里。很多人第一次配置時(shí)會(huì)把“主機(jī)名稱”和“可見名稱”混在一起。實(shí)際上主機(jī)名稱是 Zabbix 內(nèi)部用于匹配 Agent 上報(bào)的標(biāo)識(shí)必須嚴(yán)格對(duì)應(yīng)可見名稱可以隨便寫。如果主機(jī)名稱填錯(cuò)主動(dòng)模式下數(shù)據(jù)絕對(duì)不來被動(dòng)模式下有時(shí)還能通過 IP 匹配所以這個(gè)坑要記住。5.2 關(guān)聯(lián)模板或手動(dòng)添加監(jiān)控項(xiàng)Zabbix 官方提供了 Nginx by Zabbix agent 模板里面已經(jīng)定義好了監(jiān)控項(xiàng)和觸發(fā)器。如果你的 Agent 端已經(jīng)配好了對(duì)應(yīng)的自定義 key直接關(guān)聯(lián)模板就能看到數(shù)據(jù)。關(guān)聯(lián)模板之后建議先看“最新數(shù)據(jù)”。如果監(jiān)控項(xiàng)顯示“不支持”說明模板里引用的 key 在 Agent 端并沒有定義要么是自定義配置文件沒生效要么是 key 名稱不匹配。不使用模板的情況下也可以手動(dòng)創(chuàng)建監(jiān)控項(xiàng)字段示例名稱Nginx 活躍連接數(shù)類型Zabbix agent鍵值nginx.status[active]信息類型數(shù)字無正負(fù)更新時(shí)間30s手動(dòng)創(chuàng)建的好處是靈活壞處是每臺(tái)主機(jī)都要配一遍效率低。建議至少?gòu)哪0彘_始再按需修改。5.3 最新數(shù)據(jù)驗(yàn)證添加監(jiān)控項(xiàng)后等一兩個(gè)更新周期再到“監(jiān)測(cè) - 最新數(shù)據(jù)”里查看。判斷標(biāo)準(zhǔn)有數(shù)值且持續(xù)更新鏈路完全通顯示不支持Agent 執(zhí)行命令失敗或 key 名稱不對(duì)顯示“不支持”但 zabbix_get 正常檢查 Server 端 Agent 配置的 IP 和端口有數(shù)據(jù)但一直不變檢查腳本是否用了緩存或者 Nginx 狀態(tài)頁(yè)是否更新異常。有時(shí)候 Agent 端剛改了自定義配置需要等 Agent 重啟后才會(huì)重新加載。如果發(fā)現(xiàn)改了配置但沒生效先確認(rèn)是否重啟了 zabbix-agent。我用 zabbix_get 排查時(shí)會(huì)習(xí)慣在前面加一個(gè)timeouttimeout 5 zabbix_get -s 192.168.1.10 -k nginx.status[active]加上 timeout 可以避免命令長(zhǎng)時(shí)間卡住尤其當(dāng)腳本內(nèi)部頻繁請(qǐng)求外部地址時(shí)。生產(chǎn)上不建議讓監(jiān)控采集命令永久阻塞Zabbix Agent 本身有 timeout 限制但腳本內(nèi)部如果卡在某個(gè)命令上也會(huì)拖慢采集。6. 數(shù)據(jù)沒到、不支持、為0時(shí)按這個(gè)順序排查6.1 Agent狀態(tài)不可達(dá)現(xiàn)象Zabbix Server 頁(yè)面顯示主機(jī)離線zabbix_get -s 目標(biāo)IP -k agent.ping超時(shí)或 cannot connect。排查順序先確認(rèn)目標(biāo) IP 是否通ping 目標(biāo)IP確認(rèn) Agent 端口監(jiān)聽是否正常ss -lntp | grep 10050確認(rèn)防火墻是否放行端口Linux 檢查firewalld或iptables確認(rèn) Zabbix Server 能否連接到該端口用telnet 目標(biāo)IP 10050或nc -vz 目標(biāo)IP 10050如果前面都正???Agent 日志可能有配置錯(cuò)誤或啟動(dòng)失敗。大多數(shù)“不可達(dá)”不是 Zabbix Server 的問題而是防火墻或者 Agent 沒啟動(dòng)。6.2 監(jiān)控項(xiàng)顯示不支持現(xiàn)象agent.ping正常但 Nginx 相關(guān)監(jiān)控項(xiàng)顯示“不支持”。在 Agent 本機(jī)執(zhí)行zabbix_get -s 127.0.0.1 -k nginx.status[active]如果返回非數(shù)字或報(bào)錯(cuò)繼續(xù)看key 名稱是否和 Server 端完全一致自定義配置文件是否生效腳本是否有執(zhí)行權(quán)限腳本里的 curl 是否能訪問 Nginx 狀態(tài)頁(yè)Agent 日志里是否有cannot run command之類的記錄。這一層最常見的問題有兩個(gè)一個(gè)是UnsafeUserParameters0導(dǎo)致帶管道或參數(shù)字符的命令被攔截另一個(gè)是腳本權(quán)限不對(duì)Agent 執(zhí)行腳本時(shí)沒有執(zhí)行權(quán)限返回空值。6.3 數(shù)據(jù)為0或長(zhǎng)時(shí)間不變?nèi)绻?zabbix_get 能返回?cái)?shù)字但 Web 界面數(shù)據(jù)為 0 或不變可能的原因監(jiān)控項(xiàng)類型設(shè)置錯(cuò)誤比如把整數(shù)項(xiàng)配置成字符型更新周期太長(zhǎng)短時(shí)間內(nèi)看不到變化Agent 端腳本使用了緩存文件但緩存文件沒有及時(shí)更新Nginx 狀態(tài)頁(yè)的數(shù)值確實(shí)沒變化尤其是 Reading/Writing/Waiting請(qǐng)求量低的時(shí)候波動(dòng)很小。遇到這種問題先把監(jiān)控項(xiàng)改成 10s 更新間隔觀察同時(shí)把采集腳本手動(dòng)執(zhí)行幾次對(duì)比結(jié)果。如果手動(dòng)執(zhí)行有變化而 Zabbix 一直取舊值多半是 Agent 端緩存或 Server 端歷史數(shù)據(jù)存儲(chǔ)延遲。6.4 檢查權(quán)限和SELinux這個(gè)坑在 Linux 生產(chǎn)環(huán)境中非常普遍。如果 Agent 和 Nginx 都在同一臺(tái)機(jī)器Agent 執(zhí)行 curl 訪問http://127.0.0.1/nginx_status一般沒問題。但如果 SELinux 開啟可能會(huì)有連接被拒的情況。排查時(shí)先看/var/log/audit/audit.log有沒有 denied 記錄。有的話可以采用兩種方式放通相關(guān)端口或者把 SELinux 臨時(shí)轉(zhuǎn)為 permissive 測(cè)試。不要一上來就永久關(guān)閉 SELinux先確認(rèn)是不是它的原因。Zabbix Agent 默認(rèn)以zabbix用戶運(yùn)行這個(gè)用戶對(duì) Nginx 狀態(tài)頁(yè)的訪問是走 HTTP 協(xié)議的不涉及文件系統(tǒng)權(quán)限但要在操作系統(tǒng)層面允許它建立本地網(wǎng)絡(luò)連接。如果連本機(jī)回環(huán)都被限制curl 會(huì)返回空。7. 從單臺(tái)試跑到批量部署還要補(bǔ)三件事7.1 批量部署Agent單機(jī)跑通后批量監(jiān)控也別急著手工逐臺(tái)配置。建議提前準(zhǔn)備好 Agent 配置文件模板和安裝腳本利用自動(dòng)化運(yùn)維工具分發(fā)安裝。批量部署時(shí)每臺(tái)機(jī)器需要變化的內(nèi)容主要有兩個(gè)Hostname和Server。Server通常都指向同一個(gè) Zabbix ServerHostname則建議用機(jī)器名或業(yè)務(wù)名方便識(shí)別。如果沒有自動(dòng)化工具可以寫一個(gè)簡(jiǎn)單的 Shell 腳本在一批機(jī)器上執(zhí)行安裝、寫入配置、啟動(dòng)服務(wù)。關(guān)鍵點(diǎn)在于腳本要冪等重復(fù)執(zhí)行不會(huì)產(chǎn)生重復(fù)監(jiān)控項(xiàng)或配置沖突。7.2 模板復(fù)用和指標(biāo)命名規(guī)范批量部署前先定義一套統(tǒng)一的監(jiān)控項(xiàng)命名規(guī)范。比如nginx.active nginx.requests nginx.reading nginx.writing nginx.waiting不要每臺(tái)機(jī)器都用不同的 key 名。否則后面加圖形、加聚合、加告警時(shí)工作量會(huì)翻好幾倍。在 Zabbix 里一套完整的 Nginx 監(jiān)控模板應(yīng)該包含監(jiān)控項(xiàng)連接數(shù)、請(qǐng)求數(shù)、Reading、Writing、Waiting觸發(fā)器活躍連接數(shù)過高、請(qǐng)求數(shù)異常下降、Nginx 進(jìn)程數(shù)小于 1圖形連接數(shù)和請(qǐng)求數(shù)趨勢(shì)圖聚合原型如果需要按集群視圖查看可以配置聚合監(jiān)控項(xiàng)。模板設(shè)計(jì)好之后所有新主機(jī)直接關(guān)聯(lián)模板避免人工逐條添加監(jiān)控項(xiàng)。7.3 監(jiān)控頻率與告警閾值的取舍Nginx 的指標(biāo)采集頻率不建議太高。默認(rèn) 30 秒到 1 分鐘已經(jīng)足夠尤其是請(qǐng)求數(shù)、活躍連接數(shù)這類指標(biāo)本身就是瞬時(shí)快照采集頻率高并不能提高準(zhǔn)確性反而會(huì)增加 Agent 和 Server 的負(fù)擔(dān)。告警閾值要根據(jù)實(shí)際業(yè)務(wù)來定。比如活躍連接數(shù)超過某個(gè)值就告警但不同服務(wù)器的性能差異很大最好先采集一周數(shù)據(jù)再看基線請(qǐng)求數(shù)突然掉到接近 0可能是 Nginx 掛了也可能是業(yè)務(wù)本身陷入了低谷Reading、Writing 長(zhǎng)期偏高說明可能有大文件傳輸或慢客戶端不一定是故障。我在實(shí)際項(xiàng)目中用過的最不后悔的一個(gè)習(xí)慣是剛開始只采集不告警。先積累一兩周數(shù)據(jù)再根據(jù)真實(shí)基線設(shè)定閾值否則很容易被誤報(bào)刷屏。7.4 日志和備份最后補(bǔ)一個(gè)容易被忽略的點(diǎn)Agent 端自定義配置和腳本要納入版本管理不能只留在機(jī)器上。否則重裝機(jī)器后監(jiān)控配置就很難原樣恢復(fù)了。Zabbix 本身的模板、主機(jī)、監(jiān)控項(xiàng)配置也要定期導(dǎo)出備份。監(jiān)控系統(tǒng)一旦配置多了重新手搭非常痛苦。備份不只是保護(hù)數(shù)據(jù)也是在保護(hù)自己的運(yùn)維效率。如果只是學(xué)習(xí)按默認(rèn)配置跑通就可以了如果要長(zhǎng)期維護(hù)那就把日志、輸出目錄、模板備份和權(quán)限控制都提前整理好后面真的會(huì)省很多事。踩過幾次之后我發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 的坑很少在“功能不夠”上多半是前置環(huán)境不一致、狀態(tài)頁(yè)訪問受限、自定義 key 書寫習(xí)慣不統(tǒng)一。把這幾條理順整個(gè)監(jiān)控鏈路就穩(wěn)了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香啪啪激情| 91丁香综合| 99热大片| 热的国产99热| 婷婷激情五月综合丁香社| 香蕉久久国产AV一区二区| 色五狠狠| www.com操| 99燥99日| 九九综合色| 开心五月深爱婷婷| 婷婷丁香五月激情图片| 99色热| 97精品人人A片免费看| 色播五月婷婷五月| 青草激情在线| 激情五月婷婷综合网| 92国产福利| 一本道在线电影| 五月婷婷六月丁香玖玖玫瑰91| 青青草a在线| 国产精品成人网站| 狠狠综合久久综合| 99热最新国内| 国产精品电| 伊人五月天在线| 激情五月影院| 五月激情天| 婷婷五月丁香基| 亚洲综合草草| 五月婷婷性爱| 日韩亚洲视频| 欧洲激情网站| 激情99热| 狠狠干激情五月| 国产欧美第五十五页| 婷婷六月天| 亚洲精品国产A久久久久久| 久久99久久99精品免观看粉嫩| 五月丁香六月情婷婷久久| 99九色视频在线观看| 久久久久久久久久久久63| 国产69久久久欧美黑人A片| 久操激情| 国产在这里只有精品| 五月色综合| 丁香五月六月婷婷怡红院| 五月色 亚洲| 激情宗合哪里能看| 99性感视频| 9999热精品在线免费播放| 五月丁香久久久久| 天天做天天爱天天日| 色婷婷免费视频| 色色色色色色色色色色色色色97| 久久久性爱视频| 伊人网啪啪| 久久五月天免费网站| 无毒黄色网址| 狠狠久久婷五月| CAoub青青超碰| 大伊香蕉玖玖爱| 玖玖精品婷婷| 五月天伊人av| 婷婷久久综合久色| 色播五月婷婷| 婷婷综合仓库中文| 91人人澡人人爽人人看| site:esunnet.com| 婷婷综合精品视频97| 婷婷色五月在线视频| 精品久久久人妻| 丁香五月亚洲| 久久婷婷成人综合色怡春院| www.色色色com| 久久激情四射| 色一情一乱一乱一区91Av| 亚洲艹网| www.99热这里只有精品| 色久天| 婷婷爱五月天| 激情五月天第四色| 久久久久婷婷五月热综合| 我要色综合五月婷婷| 夜夜骑福利资源| 99热99色| 国产免费一区二区在线A片视频| 丁香激情五月天| 色五月综合激情网| 26uuu国自产精品| 激情综合网激情五月网| 婷色五月天| 国产又粗又大又爽又黄| 久久性操| 综合伊人狠狠| 五月综合色| 激情都市另类| 色五月大香蕉| 蜘蛛女侠2003满天星免费观看| 五月激情天| 九九婷婷网五月天| 五月丁香啪啪网| 久9久9久9久9久9久9| 亚洲激情另类| 天天射天天干天插色综合| 国产片天天爽夜夜爽| 丁香六月高清视频| 99在线精品视频在线观看| 国产午夜精品一区二区三区四区| 久激情网| 日本九九视频| 97超级操操| 狠狠操.com| 久久久精品色| 欧美色必爱| 99久热| 五月婷av| 青青草护士中出内射-欧美电影在线天堂新版 | 五月婷婷色色爱| www99久久| 五月天婷婷导航| 亚洲成人一区| 成人综合视频在线| 开心五月婷婷| 综合精品99| 2025最新亚洲激情在线| 超碰免费人人| 色色色视频免费无码| 免费视频无码| 中文字幕五月久久婷| 狠狠干狠狠干狠狠干狠狠干| A片试看50分钟做受视频| 国产成人AV在线播放| 天天操天天谢| 亚洲中文字幕翔田千里| 99视频只有这里精品| 久久97| 97碰人人操| 婷婷五月天激情网站| 无码成人AAAAA毛片AI换脸| 91婷婷丁香| 中文字幕激情综合| 伊人久久五月天| 久久九九国产精品怡红院| 人人操婷婷| 丁香五月婷婷激情123| 天天插天天插| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 玖玖玖婷婷婷| 99操逼| 婷婷中文字幕网站| 五月婷婷开心丁香| 麻豆精品| 91精品久久久久久77777| 婷婷色吧| 久操热| 亚洲视频国产一区| 婷婷五月天精品| 9热视频在线观看| 六月激情网| 久99久视频免费观看| 99久热| 亚洲Av成人在线观看| 亚洲男女激情| 婷婷久久五月天| 91精品无码| 久久大香蕉同僚| 操逼六区| 第四色色六月色综合| 亚洲人妻av| www.五月天婷婷.com| 久久这里只有精品8| 丁香婷婷人妻| 亚洲黄色操逼| 亚洲AV日韩无码| 五月丁香久人妻中文| 超碰人人在线| 激情综合五月婷婷六月丁香| 五月天婷婷影院| 噜噜视频| 99热在线成人网站| 激情五月婷婷| 色婷婷91激情小说| 超碰在线99| 天天人人天天爽| 五月婷A V在线| 亚洲色婷婷五月| 亚洲AV无码成人精品电影| 超碰色综合| 91婷婷丁香| 亚洲黄色影视| 超级碰碰碰久久网站| 五月婷婷五月天| 丁香色五月直播| 五月丁香亭亭激情操逼网| 欧美一级操逼视频| 开心 五月 综合| 日韩精品一区二区三区,四区,五区视频| 狠狠激情五月天| AA久久| 精品一二三区久久AAA片| 99热这里只有精品2016| 五月婷婷大香蕉| 四川BBB搡BBB爽爽视频| 最新久久网址| 成人五月天视频| 噜噜噜噜噜久| 久久久久久久8| 丰满人妻一区二区三区| 九九色图| 婷婷五月天免费视频在线观看| 国产精品操| 中国女人内射6XXXXX| 欧美成人日韩| 五月婷视屏在线观看| 99操碰| 日本三级第一页| 五月丁香六月香香蕉| 快色t v在线入口| 久久综合爱| 91久久久久| 激情五月婷婷视频一区二区三区| 婷婷五月激情图片| 7777久久亚洲中文字幕| 国产欧美精品AAAAAA片| 色99色| 26uuu成人网| 天堂爱爱| 秋霞午夜理论| 激情小说婷婷小说| 一级黄色影片| 激情五月天在线观看婷婷| 五月色婷丁香| 久草 tingting| 五月花婷婷| 9l视频自拍9l九色9l成人| 日本熟女内射| 狠狠色综合五月| 久久机热这里只有精品免费视频| 欧美影院婷婷| 中文字幕av在线| 无码九九九九| 综合亚洲AV| 综合久久丁丁香婷| 激情九月丁香婷婷| 高清a片基地| 亚洲精品字幕在线观看| 少妇熟女视频一区二区三区| 538在线精品| 少妇激情五月天| 欧美色九| 中文字幕成人| 99热18| 婷婷五月丁香基地| 色偷偷五月天| 午夜少妇在线观看视频| 99热个人在线| 国产原创视频91九色| 成人在线观看国产| 天天透天天干| 国产激情在线| 色婷婷亚洲婷婷| 激情性爱五月| 深爱五月月天| 超碰AAAAAAV| 好吊丝aV| 骚逼视频一区2区| 一级AV片| 99碰在线视频| 亚洲精品视频在线播放| 天天草天天舔| 视频色色色色色色| 亚洲旡码| 97色色婷婷| 色婷婷综合网| 久久久九九视频精品18| 最新久久网址| 五月丁香综合伦理片| 五月丁香久久久日婷婷久久婷婷日| 欧美美女国产日韩一区二区久| 国产色色网址网站| 五月婷婷开心综合| 成人电影一区| 欧洲MV日韩MV国产| 天天操天天曰天天射| 久青操| 五月六月播婷婷| xxxx五月| 久婷五月| 久久久久人妻| 玖玖五月丁香| 久色姿源| 成人婷婷| 日本色色影片| 五月丁香性爱| 午夜色丁香| 五月天婷婷爱| 激情涩播| 色五月天激情| 99亚州综合精品成人网| 婷婷色中文字幕| 久久婷婷五月天激情新地址| 久操激情| 五月婷婷性| 人橾人| 国产色色在线| www.天天干| 99在线观看精品视频| 天天狠狠综合精区| 色10月婷婷视频| 五月婷婷我| 超碰人人艹| 疯狂做受XXXX高潮A片动画| 久久精品日| 丁香六月综合激情| 五月婷婷丁香五月| 超碰国产一区| 南京搡BBBB搡BBBB| 91久久久久久久久久久| 五月婷婷之综合激情在线| 五月天亚洲综合网| 爱草视频在线观看| 久久只有18视频| 操大屄五月天视频| 888精品福利地址| 久热A| 色色色色色色色色综合网| 天天久综合网永久入口18| 中文AV在线播放| 亚洲丁香五月在线观看| 亚洲亚洲人成综合网络| 另类小说五月天| 99性色| 亚洲色无码A片一区二区麻豆| 伊人综合色干| 婷婷五月av| 国产偷人爽久久久久久老妇APP| 99色热视频| 情婷婷五月天| 五月丁香综合色婷婷| 丁香色五月直播| 六月丁香激情| 性爱七区| 色综合五月| 亚洲av另类在线观看| 青青草原中文字幕| 色色99| 亚洲精品国产setv| 三级黄网站| 3p久久| 一级黄色尤物综合视频手机在线观看| www.99.色| 婷婷五月综合色拍| 色欲日日躁| 久久99精品视频| 久热大香蕉| 亚洲人人操| 中文超碰视在线| 丁香婷婷啪啪啪| 亚洲激情综合| 亚洲色小说在线综合| 五月丁香六月激情综合| 精品色情一区二区三区四区| 亚洲妇女熟BBW| 国产VA播放| 欧美丁香婷婷五月| 丁香五月婷婷丫| 五月丁香网站| 婷婷色五月色妇| 激情五月成年| 亚洲精品午夜国产va久久成人| 超碰cap| 色五月激情婷婷| 六月婷婷最新网址| 天天操B| www.zbzhongsen.com| 婷婷中文字幕| 亚洲综合干| 国产精品久久久久久久久久| 日操夜撸| 久热 91| 天天爽天天干| 艾小青av| 日本一级一片免费视频| 婷婷五月天伊人| 丁香婷婷啪啪啪| 香蕉99网| 97人人做| 日本www五月婷婷| 最近中文字幕2019视频1| 五月丁香色五月| 天天久久九九| 亚洲欧美婷婷五月色综合| 一起草无码视频| 青草视频在线播放| 999热这里只有精品| 香蕉久久国产av一区二区| 大香蕉婷婷色| 69激情小说| 色级婷婷| 色婷婷网| 丁香五月婷婷在线| 激情五月亚洲综合网| 婷婷丁香六月天激情四射网| 色婷婷免费观看| 国产日批视频| 啪啪黄页网| 丁香五月激情五月| 人。妻久久| 久久免费精品小视频| 国产成人精品123区免费视频| 激情婷婷五月基地| 婷婷激情小说网| 青青草原亚洲久| 久热99热| 亚洲色情网站| www.99热国产| 中美月韩免费A片| 99在线精品免费视频| 日韩色色视频| 99色播| 六月婷婷九月丁香| 91精品国产综合久久久不卡电影| 91碰碰碰| 99资源在线视频| 亚洲AAA| 台湾无码A片一区二区| 婷婷丁香久久| 综合久久9| 五月好婷婷| 色色日韩网| 色情五月| 丁香五月婷婷香| 六月丁香五月婷婷| 级情九色| 99九九热在线观看| 五月婷婷先锋| 天天日天天舔| 婷婷综合| 国产成人99久久亚洲综合精品| 色婷婷综合网站| 色婷婷婷av| 欧美日本高清视频99| 色综合色| 91ncom.色| 五月天婷a| 综合激情婷婷| 亚洲综合色色| Caop在线| 久久 中文 日本| 亚洲婷婷性爱| 国产精品久久久久久久久久| 91成人性爱视频| 色色色9| 激情黄色小说五月天| 久9热| 欧美日韩国产日本精品四虎网网站物| 99精品久久久久久久久| 日本wwww在线| 欧美日本不卡黄色片| 成人片黄网站色大片免费毛片| 亚洲婷婷91丁香| www色五月| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 色婷婷狠狠18禁| 五月天丁香久久| 深情五月天| 丁香五月婷婷成人网| 婷婷五月激情网| 99热全是精品| 免费啪啪亚州视频| 美女黄频aⅴ视频| 五月草影视| 婷婷五月丁香在线观看| 这里只有精品视频看看| 色丁香久综合在线久综合在线观看| 日韩色色网| 狠狠狠婷婷五月综合| 成人日韩欧美| 丁香六月天婷婷在线| 亚洲在线激情婷婷五月| 五月丁香六月婷精品视频| 性爱综合网| 亚洲色色色色色色色色色| 99久久婷婷| 五月丁香婷婷中文| 五月婷婷综合激情| 精品一区二区三区四区五区六区介绍 | 中文av网站| 五月丁香婷婷中文网| 色五婷婷| 婷婷色在线播放| 丁香综合婷婷五月天| 五月婷婷丁香婷婷| 91色涩| 亚洲综合色色| 免费看欧美成人A片无码| 精品一二三区久久AAA片| 五月天社区| 日韩丁香涩| 五月天婷婷青青草| 婷婷五月丁香第四色超碰在线| 九九精品9| 人妻在线网站| WWW,色五月| 99爱免费在线观看| 伊人AV五月婷| 99热在线观看精品| 9久久狠狠的| 羞羞嫩草视频| 26UUU一区二区| 五月婷婷丁香大陆免费| 这里只有精品9| 五月色天情| 激情综合网址| 中日韩美欧成人一区二区精品在线| 大香焦啪啪啪| 亚洲午夜AV| 婷婷五月开心中文字幕色| 熟惀91九色在线| 操日本色| 婷婷在线观看五月天在线视频| 五月天基地| 婷婷成人五月天| 国产亚洲精品久久久久久郑州| 激情淫乱男女| 26uuu.| 色色射| 天天操天天插| 色噜噜五月天| 这里只有免费的精品| 色色五月婷| 五月停停大香蕉| av无码电影| 狠狠色激情综合| 99啪啪网| 强辱丰满人妻HD中文字幕| 综合色影院| 日日操夜夜爽天天天| 丁香婷婷六月男男| www.婷婷久久五月天| 久久性爱视频| 丁香五月婷婷日本| 国产精品国产成人国产三级| 熟女网站久久| 婷婷六月视频| 亚洲欧洲中文日韩久久AV乱码| 伊人久热91| 金桔一区二区ab地址| 天天色粽合合合合合合合| 麻豆AV一区二区三区| av在线观看网站| 五月婷在线视频免费播放| 人人爱操| 97av在线视频| 色婷婷综合网站| 大天天伊人| 99视频精品8 | 国模九区| 丁香五月激情综合啪啪| www.99色| 蜘蛛女免费观看完整版高清电影 | 久久五月丁香| 91九色视频| 成人免费在线电影| 日韩无码系列| 五月丁香啪啪啪| 思思久久99热只有频精品66| 色激情五月天| 天天爱天天做天天舔| 国产成人高清| 国产精品电影| 超碰在线99| 99热精品观看| 亚洲婷婷激情综合激情999精品| 99热10在线高清播放| 色六月天| 四色五月婷婷| 色五月丁香五月婷婷五月成人网| 无毒黄色网址| 色亭亭五月天丁香综合AV - 百度 - 百度| 国产操B| 五月天色婷婷伊人网| 日逼影音先锋男人AV资源站| 深爱激情网五月天| 91亚洲免费片| 久久久中文| 亚洲综合五月天婷婷丁香| 大婷婷色呦呦噜噜色呦呦噜噜| 激情五月天99色| 五月亭亭狠狠| 欧美日朝成人| 国产亚洲精品久久久久久牛牛| 美女丁香五月天| 日本欧美成人片AAAA| 五月丁香 久久久| 男女啪啪做爰高潮无遮挡| 久久99久久99精品免观看软件| 密着浓厚中出乚交尾GvG935| 嫩草AV久久伊人妇女超级a| 欧美碰碰| WWW久久久| 天天久久狠狠色综合| 五月丁香| 欧美五月丁香在线观看| 婷婷婷五月香蕉| 狠狠色成人影片| 大香线蕉伊人| 亚洲精品白浆高清久久久久久| 丁香六月毛片| 91丨九色熟女丨首页| 免费看成人747474九号视频在线观看| 亚洲另类日本| 亚洲视频五区| 777精品久无码人妻蜜桃| 色五月激情综合| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 久久这里都是精品| 色色色99| 九热av| 停停五月色宗合| 狠狠爱综合| 碰99在线| 97色色色色色| 五月天开心婷婷久久| www激情网站| 99免费在线视频| 国产VA亚洲VA96| 丁香六月久久| 操逼五月婷婷| 欧美激情五月天| 九九色综合视频| www久久久| 亚洲狠狠终合停停终合| 婷婷久久久久| 毛片色五月| 天天性视频| 综合久久五| 狠狠插狠狠操| 色五月婷婷亚洲| 色色网站在线免费观看视频| 色噜久| 五月天激情综合网| www.久久久.com| 9这里只有精品| 亚洲在线视频321| 中文字幕视频色婷婷| 99热这里都是精品| 欧美三级视频下载| 搡BBBB搡BBB搡18| 丁香婷婷性久久| 五月香六月婷| 天天日狠狠| 99熟女| 激情久久综合网| 国产精品人人做人人爽人人添| 99久久综合网| 婷婷爱五月| 五月婷婷综合在线观看| 成人视频九九| 丁香五月久久| 婷婷九月激情| 五月天丁香久久| 日韩成人综合| 天堂久久久久天堂网| 337p大胆噜噜噜噜噜91Av| 综合另类视频| 99热99极品观看| 久狠狠| 五月天伊人手机在线播放AV| 热99视频精品| 色五月aV| 丁香五月综合福利视频导航| 婷婷丁香五月天色播网站| 日本在线视频www色| 综合激情sV| 最新久久99视频网站| 99婷五月| 成人精品视频99在线观看免费| 亚洲va综合va国产va中文| 色综合久久88色综合天天99| 在线播放中文字幕| 亚洲人妻av| 亚洲综合久| 成人丁香五月| 久9热| 丁香六月啪| 99这里都是精品| 色爱亚洲| 少妇出轨做爰高潮A片| 五月天婷婷成人网| 色五月 婷婷, 大香蕉| 激情五月天婷婷播播久久综合91| 婷婷在线五月综合| 人妻有码乱操| 激情啪啪五月| 91要啪| 成人av免费观看| 在线另类| 婷婷啪啪| 天天揷综合网| 超碰成人影视| 丁香五月激情啪| 丁香六月婷婷综合| www.五月天性.com| 久久婷婷五月综合色丁香| 思思热久久婷婷五月天| 日日操夜夜爽| 五月丁香成人网| 日本天天操| 久久无码成人| 99热综合在线| 婷婷久久五月| www开心激情网| 色色色色色色色色色色色色色97| 亚洲精品国产成人AV在线| 成人看片网站| 丁香五月婷婷老师网站| 91猫咪国产在线播放| 97香蕉久久超级碰碰高清版| 色欲人妻综合aaaaaaaa网| 中出内射的人妻视频| 色婷婷丁香五月天在线观看| 婷婷激情综合| 亚洲精品又粗又大又爽A片 | 五月天激情综合首页| 五月涩涩网| 五月丁香六月色| 狠狠色婷婷7777久| 天天视频精品9| 亚洲区,视频区,视频区免费| wwccc久久久| 俺去也在线www色官网| 日日天天干| 97色在线| 美女久久天堂| 九九久久精品| 五月婷婷人妻| 婷婷丁香人妻天天爽| 热婷婷av| 五月天激情站| 4438激情网| 亚洲欧美在线观看| www色综合亚洲92| 亚洲色情免费网| 精品久久这里热66| 久久se 综合网 | 做爱夜夜干天天操| 亚洲天堂啪啪| 日本三级99人妇网站| 久久狠狠欧美| 五月天婷婷综合免费| 9色91视频| 婷婷丁香熟妇综合网| ss视频xx91| 久操大香蕉| 99操逼| 男同91| 亚洲色色色色色色色色色| 99re6久热只有精品6在线直播| 午夜天堂一区人妻| 色婷婷超碰| 婷婷色正月| 亚洲成av人影院| 99久久久国产大片| 中文字幕综合| 综合九九中文字幕| WWW.色婷婷.COM| 99ER热精品视频| 婷婷月五天在线在线看| 丁香五月婷婷天| 精品一区二区三区四区五区六区| 九洲一级A片| 极品另类| 日本天堂爱爱| 九九热视频这里只有精品| 99热66| 成片免费观看视频大全| 日韩精品一区二区亚洲AV观看| 色九月综合网| www.深爱激情| 丁香狠狠操| www,五月天激情| 色五月亚洲| 久久五月丁香六月婷| 天天天干夜夜夜操| 久久丁香婷婷五月天| 97人人操在线| 亚洲区,视频区,视频区免费| 大香蕉九九| AV九九| 婷婷激情五月| 婷婷六月丁香综合| 另类小说色婷婷| 琪琪理论片| 亚洲无码99| 五月天激情站| 91妻人人爽人人看片| 婷婷色系婷色| 色婷婷在线视频观看| 无码人妻一区二区三区免费九色| 最新国产AV| 热思思| 丁香五婷| 99热国内精品| 熟女激情网| 婷婷久久综合| 婷婷五月天激情小说网站| 亚洲日韩操B| 夜夜做夜夜愛| www.综合久久.com| 超碰人人操人人干| 综合逼五月激情婷婷| 欧美性生交XXXXX无码小说| 六月天丁婷婷| 久久99看免费| 99日韩| 第一区久久网站| 色五月激情综合网站| 天天爽天天操| 色波激情五月天| 国产肥白大熟妇BBBB视频| 一本道综合网| 麻豆精品| 久久久久er热| 五月综合激情视频| 五月婷婷婷综合网| 99热这里只有精品在线| 亭亭五月激情亚洲在线| 激情五月天啪啪| 色99视频| 欧美丁香婷婷五月天| 五月天婷婷基地| 九九九九操逼| 激情AV在线| 五月婷婷伦理| 亚洲国产精品VA在线看黑人| 久久婷婷激情视频| 日本色色影院| 色情五月综合婷婷| 五月丁香花激情综合网| 亚洲精品国产setv| 七月婷婷色香综合网| 丁香婷婷五月六月久久| 五月丁香999| 99久久婷婷精品视频| 综合网色| 久久 视频这里只有精总| 婷婷91| 婷婷丁香18| 五月天激情影院| 五月丁香婷中文字幕| 久久婷婷成人| 美女久久婷婷| 直接看的av| 婷婷五月视频| 思思热在线视频观看精品| 99caobi| 欧美性猛交99久久久久99按摩| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 91精品久久久久久77777| 国产偷人爽久久久久久老妇APP| 日本久久人| 色色色.com| 五月天婷婷激情网| 综合色吧| 九月色婷婷综合亚洲| 亚洲精品大片| 国产熟女一区二区三区五月婷| 天天干天天操天天爱| 超碰在线国产9| 久久久高清| 日韩欧美颜射| 天天天天干| 九九热短视频在线观看| 久久亚洲色导航| 国产97色在线| 久久精品系列| 噢美99| 国产69久久久欧美黑人A片| 欧洲亚洲免费视频9| 久色大| 五月丁香婷婷成人综合网| 日本成人噜噜噜噜噜| 996热| 色婷婷网| 97色色婷婷五月天| 色播五月天婷婷老师| 岛国在线观看91| 五月天电影网| 另类天堂| 四虎国产精品永久在线国在线| 久久丁香五月天| 91九色国产| www.天天干| 开心婷婷中文字幕| 五月色俺婷婷| 99re热免费观看视频精品| 激情网战码亚洲A| 淫荡家庭AV| 日韩性视频| 亚洲综合在线视频| 亚洲精品乱码久久久久久按摩观| 国产色网站| 999热这里只有美国精品| 97伦乱| 久久小视频| 中文字幕网伦射乱中文| 国内一级片| 爱久久小说下载网| 亚洲xx在线| 日本三级色| 婷婷久久图片| 色久女| 色色色色色色色色五月先| 婷婷丁香五月天哟啪| 欧美激情综合| 丁香婷婷五月天色播| 综合狠狠五月婷婷| 伊人五月成人| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 丁香激情网| 色色色色综合网| 亚洲精品久久久久久久久久飞鱼 | 婷婷五月天最新综合你懂的 | 欧美日本高清视频99| 91天堂网综合| 91九色视频| 日本一级一级一级一级| 538久久| 亚洲色色色色| 婷婷成人五月天成人文学| 色婷婷久久久| 六月丁香啪啪| 婷婷狠狠爱| 综合久久97| 激情小说婷婷小说| 婷婷五月天BBw| 精品三区影院| 欧美三级欧美一级| 欧洲MV日韩MV国产| 久碰久| 久操热| 婷婷成人五月天一区| 九九婷婷网五月天| 99碰碰| 六月婷婷色色网| 婷婷综合九月| 91操色| 呦呦视频无码播放| 久99在线视频| 操碰色一区就去操| 激情久久综合网| 精品无码av丁香五月激情| 午夜激情五月| 九九Av| 91妻人人爽人人看片| 久99在线视频| 色婷婷婷婷成人网| 任你爽精品免费视频6| 九九人人操| 色九月综合| 丁香五月色色色色| 五月天色婷婷激情| 久久人妻精品| 九九九九无码| 成人五月天在线视频在线观看| 丁香婷婷五月| 天天射影院| 2017人人操| 五月天社区狠狠| 亚洲九九夜夜| 99草视频在线观看| 亚洲丁香五月美女| www,色婷婷| 亚洲人成网站999综合| 日韩ac不卡无码| 思思久久精品| 99久视频| 五月丁香久久综合| 午夜婷婷五月天| 色色亚洲| 九色91国产| 五月天亚洲综合网| 久操香蕉| 五月天婷亚洲综合在线嫩草网| 99啪啪网| 国产精品成人AV在线观看春天| 九九色逼| 无码区婷婷五月花开| 9|人妻人人操| 五月丁香AV、伊人业余、性色熟妇| 97人人操人人爽| 久久丁香九| www.开心激情| 99re在线观看| 99热 这里只有精品 国产 日韩| 欧美色性色好| 99久免费视频| 五月丁香中文| 欧美槡BBBB槡BBB少妇| 九九热九九热精品| 五月婷婷欧美| 99在线视频资源| 精品久久久人妻| 香蕉99网| w婷婷五月婷婷w| 丁香五月天堂| 欧美激情 日韩无码 婷婷 五月天| 14色综合婷婷| WWW免费视频碰碰碰碰| www.狠狠艹| 激情五月天福利| 天天操天天曰| 噜噜五月天综合| 五月丁香婷婷综合视频| 91日在线视频| 久久精品亚洲一级牲爱综合| 亚洲色图欧美色图日本视频| 丁香五月丁香伊人| 99激情在线| 婷婷久久综合久| 五月丁香六月激情在线| 亚洲愉拍99热成人精品| 婷婷操逼| 91啪啪视频| 在线只有精品| 狠狠综合久久| 婷婷色婷婷| 五月婷婷狠天天色综合| 欧美日韩成人| 天堂婷婷丁香六月网| 强辱丰满人妻HD中文字幕| 天天操天天谢| 大香蕉懂9| 综合网亚洲| 99福利导航| 婷婷丁香色五月| 亚洲五月天天| 日本久久网| 丁香五月六月激情| 大香久久伊人网| 丁香五月天色婷婷| 亚洲国产成人在线| 玖玖热视频| 丁香成人综合| 丁香香蕉婷婷| 天天日天天操心| 久久婷婷五月天激情新地址| 91婷婷| 深爱五月日韩| 五月婷婷啪啪网| 天天插天天爽| 99热这里只有在线| 色色色色色色色色色色色色色五月天| 亚洲综合在线播放| 婷婷丁香五月激情综合站_久久五月丁香激情综合_开心五月综合激情综合五月_婷 | 综合五月丁香六月婷婷| 狠狠色丁香| 色爱终和网| 丁香五月婷婷99| 九九在线精点品| 色国产五月| 99 福利 导航| 久久伊人婷婷| 日日操夜夜操狠狠操| 丁香花综合永久入口| 九九热最新| 成人小说 五月天 婷婷| 大香蕉人人网| 五月丁香香蕉| 六月婷婷狠狠做| 婷婷五月AV| 夫妇交换刺激做爰| 99热在线观看| 色视五月天婷婷| 婷婷性爱综合| 亚洲日韩一页精品发布| 99热99热在线| 都市激情蜜桃婷婷五月天| 人妻五月天激情开心网| 人人爽天天爽| 婷婷五月天色播| 九九青青草成人| 一本狠婷婷综合| 亚洲人妻AV| 日本久久人| 亚洲综合视频一下| 99狠狠色| 青青久久91| 亚洲色网络| 天天爽天天操| 天堂草在线观| 5月婷婷视频网站综合| AV网址大全在| 无码成人AAAAA毛片AI换脸| 日韩久久视频| 亚洲美女网Va| 丁香五月98| 丁香六月婷婷久久综合| 国产超碰人人| 欧美婷婷色| 久久久com| 综合久久影院| 亚洲AV色婷婷人禽五月天| 综合xx网| 26UUU一区二区| 久久婷婷五月综合色丁香| 999热在线观看视频| 99久久99久久综合| 五月丁香六月婷婷综合网站| 丁香五月丁香伊人| 激情综合色| 丁香五月情| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 青青操日本摸摸看看| 无码AV免费精品一区二区三区| www.色婷婷| 日韩欧美成人片| 综合六月久久| 青草视频在线观看视频| 任你爽视频| 色色色色色网| 夜夜躁爽日| 天天操综合网站| 激情五月综合ì香亚洲| 一区二区三区四区五区| 超碰人人色| 九热久| 亚洲无aV在线中文字幕| 色五月在线综合| 91丨九色丨首页| 欧美日韩成人综合9| 国产亚洲精品久久久久久牛牛| 色婷婷导航| 大香蕉人妻| 五月丁香大香蕉| 婷婷丁香色五月| 婷婷综合97| 九九色影视| 色婷婷香蕉| 超碰男人色| 日韩久久色| 玖玖婷婷五月天| 伊人五月婷婷| 99操| 天天做天天爱| 99热| 中国女人做爰A片| 丁香五月天成人| 五月天网址在线刘玥| www.丁香黄色五月天人与| 婷婷五月天综合久久日美女| 久久久全国免费视频| 激情五月天福利| 在线成人av播放| 六月丁香中文字幕| 久久黄A片| 性爱先锋AV| 天色综合网站| 五月丁香淫淫婷婷婷| 99这里只有| 婷婷情色五月天| 久久这里只有精品99| 午夜色婷婷| 婷婷大香焦| 伊人久久综合| 精品亚洲国产成AV人片传媒| 天天操B| 人人舔人人色人人高潮| xxx综合在线| 日韩aaaaa| 99精品性爱| 丰满人妻妇伦又伦精品国产| 成人精品网站在线观看| 成人五月丁香社区| 538久久| 思思热在线精品视频网站| 五月天婷婷乱论小说| 九九热最新地址| 丁香五月天堂网| 91呦呦呦| 亚洲精品视频在线播放| 婷婷成人五月天一区| 五月丁香六月欧美| 丁香六月激情| 亚洲视频在线观看| 五月天婷婷丁香花| 五月婷色| 中文在线视频久1| 久久婷婷视频| 精品国产AV色一区二区深夜久久| 亚洲人成播放网站| 久久婷五月| www色综合| 色色丁香婷婷综合| 曰本久久女| 九九热这里只有精品23| 噜噜噜噜在线| 久久伊人大香蕉| www.九月婷婷丁香.com| 婷婷色九月| 五月丁香在线综合| 婷婷色婷婷| 亚洲色激情| 天天舔天天摸天天透| 亚洲乱码在线观看| 欧美五月婷婷综合| 九九蜜臀精品| 丁香五月天AV| 国外亚洲成AV人片在线观看| 秋霞日本免费毛片A片| 99视频精品全部免费观看| 女人天堂AV| 久久婷婷五月综合色丁香花| 天天爽在线视频| 五月婷视频在线| 99爱在线视频| 婷色五月天| 26uuu亚洲| 色五月丁香A欧美com| 婷婷的99视频网站| www.激情五月| 精品九九九久| 亚洲熟妇AV综合网五月丁香伊人| 午夜成人网站在线观看| 久99婷婷色综合| 亚洲婷婷丁香五月在线| 9精品在线| 91在线看免费 九九九九| 婷婷五月天婷婷| www.色五月| 色婷婷69| 欧美婷婷五月天| 成人免费超碰| 丁香婷五月| 久热免费视频| 五月丁香综合| 婷婷色丁香五月| 色婷婷久久综| 草五月| 丁香五月激情啪啪综合| 婷婷五月天日日日干干干| www.夜夜| 色啪综合| www九九| 五月激情网站| 婷婷五月免费视频| 9一精品视频观看| 中文字幕 久久9999| 亚洲视频一区| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 日韩无码亚欧无码| 婷婷五月骚厕所| av在线婷婷| 综合图区激情| 久久精彩视频| 五月天开心成人网| 最近中文字幕2019视频1| 欧美婷婷五月激情| 少妇高潮呻吟A片免费看软件| 久思思热视频在线观看| 国产97色在线| 热九九精品| 丁香六月综合激情| xx色综合|