欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月丁香啪啪啪| 午夜成人AV在线| 国产色色色色| 人妻久久婷婷| 国产精产国品一二三在观看| 久久综合26p| 婷婷五月超碰| 婷婷丁香五月天哟啪| 丁香五月自拍| 五月天天爽| 久久久婷婷五月亚洲97号色| 日日夜夜干| 五月丁香婷婷五月色| 狠狠色噜噜狠狠亚洲A∨| 五月丁香综合成人社区| 九九视频这里只有精品在线播放| 嫩草哈哈操| 色色色色色色色色色色色色色五月天| 天天做天天爱高潮片| 秋霞电影理论| 91婷色| 丁香五月婷婷在线| 久久这里只有精品视频15| 538任你爽视频不一样的| AAA久久| 天天 日综合| 噜噜久| 色色色色色网| A片试看50分钟做受视频| 99超级超级超级碰| 九九热这里有精品23| 婷婷五月天干干| 九九爱激情| 99在线视频播放| 69精品人人人人| 亚洲婷婷丁香五月| 色五月婷婷视频| 天天操夜夜操| 婷婷视频在线| 这里只有精品偷拍| 婷婷色五月开心五月| 久久人妻精品| 婷婷丁香综合| 新激情五月开心五月婷婷五月丁香五月| 色婷婷久久综合久色综| 一本色道久久88加勒比| 99热在线只有精品| 欧美激情中文字幕| 深夜A片| 91久久1118| 大香焦啪啪啪| 色情五月丁香婷婷网| 婷婷网五月天| 色五月激情网| 亚洲成人中心| 色婷婷社区| 色五月 五月婷婷| 丁香五月 无码| 久热这里只有精品在线观看 | 欧洲亚洲免费视频9| 激情综合色五月丁香六月亚洲| 亚洲色热| 色九网| 男人大jjc女人免费视频| 大香蕉五月丁香| 亚洲第一精品成人999久久精品| 操骚货在线| 97人人操人| 天天操天天爽天天爱| 五月天久久网站| 久久99国产综合精品免费| 日本色99| 色婷婷色| 欧美色爱五月天| 日韩九九| 九月激情综合| 婷婷五月天天天| 婷婷中合| 99re26视频| 欧美色婷婷| 色婷大香蕉| 91免费在线视频6| 超碰精品在线| 九九激情综合| 久久五月激情综合| 综合伊人久久| 激情久久丁香| 中文字幕中文有码在线| 五月丁香五月激情综合色综合| 激情五月天视频| 怡红院成人AV| 亚洲精品大片| 亚洲精品444久久久久久| 久久这里只有精品无码| AⅤ网站在线看| 久久只有精| 国产9色在线/日韩| 99热日韩| 国产激情综合五月久久| 欧美日韩999| 青草青草久热这里只有精品| 婷婷五月天堂| 五月丁香六月婷婷久久| 99激情| 超碰丁香五月| 无码色| 日韩美一级毛卡片| 99热成人精品网站| 91日日日| 91avse| 亚洲有码在线视频| 丁香五月综合婷婷| 九九成人精品免费视频| 天天做天天爽| 五月婷久久| 丁香五月婷婷五月| 成人网丁香五月| 国产一区二区三区影院| 天天综合永久| 伊人久热91网| 蜜臀av粉嫩av懂色av| 五月天婷婷激情网| 9久久婷婷国产综合精品性色| 久婷久婷激情肉| 亚洲色婷婷| 91人碰| 六月婷婷八月丁香| 五月丁香香蕉| 99国产精品久久久久久久久久久| 婷婷五月天亚洲图片| 国产精品涩涩涩视频网站| jiqingtaose五月天| 9久热免费视频99| 国产成人AV在线播放| 激情五月天综合网| 高清不卡一区| 国产做爰视频免费播放| www,婷婷| 亚洲AV网站| 思思热视频在线| 九九热只有这里精品| 99精彩视频| 久久综合网免费视频| 少妇被下春药玩弄A片| 提提热五月天婷婷| 熟美女麻豆| 久久99精品久久久久久噜噜| 综合欧美五月婷婷| 男女激情久久| 操逼巨乳91| 亚洲第一成人无码A片| 久久婷婷五月| 色丁香婷婷| 久久婷婷五月综合一| 天天日天天操心| 丁香五月欧美激情| 亚洲欧洲中文日韩久久AV乱码| 999热在线视频| 4399欧美另类视频| 五月大香蕉| 一区二区三区四区无码| 六月丁香中文字幕| 少妇大叫太大太粗太爽了A片| 丁香五月天视频在线播放| www.九月婷婷丁香.com| 亚洲天天操| 五月婷婷精品视频| 9色免费网| 六月撸婷婷| 人人色人人摸人人看| 亚洲精品一区无码A片| 天天操夜夜爽歪歪| 亚洲激情亚洲激情| 久久九九经典| 狠狠色狠狠操| 久久久久人妻网址| 美臀自射自家人妻| 六月色激情| 伊人激情影院| 亚州色色色| 伊人久久99| 欧美激情综合五月色丁香| 天天婷婷色六月| 综合99综合久久久久久久| 五月天激情小说网| 婷婷五月天AV在线| 天天干天天日日| 免费成片在线观看| 国产精产国品一二三在观看| 婷婷色色婷婷| 99久热这里有精品| 蜜桃婷婷狠狠久久| www免费在线视频| 成人在线综合| 欧美综合在线五月天色婷婷| 九月婷婷久久久| 91久久久久久久久久18| 久久亚洲婷婷| 99久视频| 丁香六月天婷婷色| 97在线精品| 五月丁香另类网| 天天色色天天| 婷婷亚洲综合| wwwC0maV五月花| 超碰在线视屏| 亚洲精品网址| 热日韩欧美| 六月色色| 五月激情天| 婷婷五月欧美综合| 成人噜噜网| 99ri视频在线观看| 久久精品凹凸分类| 九九热精品视频| 激情综合网五月激情| 婷婷激情五月天天天开心| 婷婷五月六月| 丁香五月天堂亚洲社区| 中国女人内射6XXXXX| 黄网免费看| 天天综合天天玩夜夜玩天天玩夜夜玩| 五月丁香综合啪啪| 色情综合| 庭庭久久内射| 婷婷五月天激情诱惑| 99这里只有免费的精品| 第四色激情网| 一区视频网站| 国产99久9在线| 成人AV在线中文版| 国产AV一区二区三区最新精品| 久久久.COM| 99久久精品网| 五月丁香拍拍激情综合| 色五月天激情| 大香蕉久久婷婷| 99久久婷婷国产综合精品| 天天插天天插| 天天精品视频免费观看| 亚洲区视频| 婷婷丁香人妻天天爽| 99久久成人| 色五月激情问网站| 激情五月深爱五月| 精品视频这里只有精品| 久久亚洲婷婷| 婷婷五月av| 婷婷色在线视频| www.色色com| 97luluse| 操逼视频网址| 婷婷五月丁香99| 乱精品一区字幕二区| 97人人操人人爽| 婷婷五月天狠狠色| 天天射影院| 婷婷五月天第三页| 免费视频99| 深爱婷婷丁香五月激情| 丁香五月婷中字幕| 亚洲婷婷欧美婷婷| 性视频久久| 色综合五月| 久久婷婷五月免费视频| 久久九九色| 九九热在线99| 婷婷色五月婷| 丁香九月婷| 超黄亚洲瑟瑟网站| 亚洲五月婷婷在线| 五月丁香色狠狠干大屄| 综合狠狠干| 亚洲激情99| 婷婷亚洲天堂| 色色色综合视频| 无码网| eeuus五月婷| 五月婷婷中字在线| 五月丁香AV、伊人业余、性色熟妇| 小视频aaa久久久| 乱女乱妇熟女熟妇综合网站| 久热这里只有精品在线观看| 五月天婷婷丁香视频| 森林影视大全,最好看的2019年视频| 深夜婷婷五月丁香| 五月天色网站| 狠狠色噜噜狠狠| 婷婷情色五月天| www,com,五月色色| 激情五月婷婷综合| 黄色99网| 激情综合五月色在线| 色狠狠综合网| 深情五月天| 婷婷王月天影院| 丁香五月手机在线| 日韩成人综合网| 国产97色在线 | 日韩| 天天综合 99久久婷婷| 久久婷婷成人| 超碰v| 九月丁香婷婷基地| 亚洲人妻电影| 国产日产成人亚洲欧美国产VA| 五月丁香网视频| 人人人人人人人人人草| 亚洲成人在线五月天| 日韩aaa| 97视频久久| 五月开心久久| 665566 无码| 99九九热视频免费| 在线五月婷婷小电影| 丁香五月六月久久综合 | 可以看的av网站| 色色色色网| 99干99| 人妻视频一区而且二区| 亚洲午夜av| 色综合五月| 婷婷五月丁综合| 成人视频在线免费播放| 激情五月天色色| 五月婷婷亚洲综合在线| 六月婷婷中文字幕| 高清国产一级婬片a免费| 夜夜撸夜夜骑| 99热这里只有免费精品| 天天日天天插天天操| 高清资源站日A美A欧亚…| 日韩一级| 三级三久久线久久99久目本WW| 伍月婷丁香婷| 婷婷激情视频欧美视频自拍视频欧美剧| 久久久99免费视频| 国产偷人爽久久久久久老妇APP| 超碰在线资源| 高清无码.com| 色99在线观看| 99色色网| 色婷婷丁香AV综合| 五月激情啪啪啪| 99久久99热| 中文字幕婷婷五月天在线观看| 狠狠色丁香婷婷久久综合| 婷婷五月天成人| 123日本不卡在线| 色婷婷伊人| 人人摸人人射| 99性爱视频| 丁香五月av| 大香蕉在线观看9| 丁香无月在线观看| 天天婷婷综合亚洲亚洲| 中文字幕欧美日韩VA免费视频| 国产操逼网站| 婷婷五月俺要去| 婷婷干五月综合在线播放| 五月天综合网| 久久婷婷草| 九九这里只这里只有精品| 亚洲激情五月| 日韩十国产极品久久| 亚洲色综合| 欧美69久成人做爰视频| 五月天丁香婷| 五月婷婷婷婷网| 色噜噜综合网| 国产精品成人AV在线| 思思热再线视频| 91久久婷婷| 久9热插入| 婷婷6月综合网| 亚洲色五月婷婷| 强辱丰满人妻HD中文字幕| 伊人久久大香蕉网| 久久这里只有精品8| 99热精品在线| www.激情com| 丁香五月综合在线| 99久在线精品99re8| 欧美日韩成人在线网| 艹| 激情综合五月| 成人在线综合| 99热6色| 欧美性色A片免费免费观看的 | 超色欲天天| 婷婷五月综合在线视频| 婷婷五月色| 精品在线网站| 五月丁香婷草| 日韩AV中文字幕在线| 五月天激情小说婷婷| 51国精产品自偷自偷综合| 亚洲精品白浆高清久久久久久| 97碰| 玖玖爱综合网| 成人精品人妻| 影音先锋91| 久久五月天影院| 日日噜噜夜夜狠狠久久丁香五月| 超碰在线91| 天天干天天干天天操| 新激情五月天| anquye五月| 亚洲妇女熟BBW| 婷香五月网在线| 婷婷丁香五月麻豆| 五月婷中文字幕| 67194中文字幕| 蜜乳久AV| 婷婷五月激情在线| 亚洲AV成人一区二区在线观看| 开心四月婷婷在线色播播| 深爱激情六月天| 亚洲性视频| 五月叮香啪| YW无码| www.亭亭五月天| 五月婷婷 婷婷五月 一区二区 久久久| 26uuu美女三级视频| 色色色色色色网站| 久久久色婷婷五月天| 天天干天天干天天操| 丁香激情久久| 丁香五月激情啪啪| 99re热精品在线视频| 久久99视频| 超碰在线国产9| 五月丁香操婷逼| 色综合久久8| 五月情色天| 中文字幕综合色| av五月天婷婷丁香| 久久人操-久草婷婷-成人AV| 亚洲人人操| 国产亚洲99久久| 色五月中文网| 五月婷婷草| 98色花堂98t.R| 色九九九综合| 免费精品99| 丁香六月激情| 狠狠88综合久久久久噜噜噜| 久久99最新地址| 另类小说五月天激情| 久9久视频精品| 九九热精品视频九九| 婷婷伊人欧美| 日日爽夜夜爽| 91九色精品女同系列| 五月婷婷片| 五月婷婷五月丁香综合| 色婷婷呢狠禁久禁| 五月天网站免费欧美| 丁香五月开心亚洲| 婷婷射图| 青青草搞屄视频网站| 国产99久久久国产精品免费看| 久久这里只有精品无码| 我想看国产大学生口爆吞精的视频| 99热这里只有精品8| 婷婷情色五月天| 狠狠干婷婷| 91AV婷婷| 最近中文字幕2019视频1| 91人妻视频| 94干大香蕉| 超碰在线国产| 五月激情婷婷播播网| 黄色AAAAAAA| 九热免费视频| 99人这里只有精品| Caoporn公开| Av九九| 婷婷五月丁香综合激情小说| 毛片九九九九九九| 久久久无码精品成人A片小说| jiujiu热在线视频| 婷婷丁香久久网| 99热天堂| 国产肥白大熟妇BBBB视频| 79色色色色| 狠狠爱婷婷爱| 97色干在线观看| 五月天色不卡| 《战争与艾拉》完整版| 青青草婷婷久久| 五月丁香| 伊人五月丁香| 91九色精品熟女内射| 久碰视频| 狠狠插日日干撸| 综合AV在线| 男同91| 99热| 欧美丁香六月激情视频| 人人超碰99| 久久激情五月婷婷| 人人摸人人搞| 五月欧美色播| 99免费在线视频| 91婷婷| 婷婷五月天偷拍| 大香蕉婷婷色| 一起操最新网址| 大香蕉九九| 99愛国产| 色婷婷色五月另类综合| www.久久爱.c n| 蜜桃人妻无码AV天堂三区| 99热地址| 天天拍久久| 色月九九| Www.久久| www.天天日| 伊人五月天在线| 激情综合播播| 99视频九九热| 久久九久久| 噜噜五月天综合| 五月天婷婷綜合院| 操逼五月婷婷| 久久狠狠干| 色五月在线播放| 狠狠人人| 婷婷五月丁香久久| 99久久婷婷国产综合亚洲| 亚洲婷婷五月天| 五月天婷婷小说| 婷婷五月天深爱| 7777激情基地| 久久久久婷| 婷婷五月花.97| 少妇激情五月天| 久久婷婷视频| 五月天另类图片| 天天爽夜夜爽夜夜爽精| 久久99操| 丁香六月婷| 黄色片avv| 五月综合视频| 五月丁香天堂网| 九九热免费视频| 激情婷婷综合五月少妇| 天堂五月婷婷| 免费国产VA国产免费| www.91在线观看| 大香蕉天堂色| 激情涩播| 免费无码毛片一区二区A片| 色色色99| 99热精品在线播放| 99啪啪网| 少妇人妻人伦A片| 99热这里只有精品最新网址| 亚洲色a| 五月婷婷天天色| 五月丁香亚洲校园欧美| www.日韩国产| 91porn一起草| 午夜婷婷久久 | 久久久性爱视频| 99久操| 久久婷婷丁香五月宗合| 91丁香| 丁香色五月AV在线| 91色在线 | 日韩| 91pornav在线| 亚洲AV第二区国产精品| 激情综合国产| 亚洲无码播放| 99小视频| 精品九九在线观看视频| 亚洲精品色色| 五月天激日本色情在线| 99自拍视频| VA色婷婷| 色五月网址| 在线99热| 97亚洲色 torrent magnet| 五月6香色婷婷视频| 五月丁香香蕉| 亚洲区,视频区,视频区免费| 91久久久久久| 日日日,com| 日本女天天爽| 天天激情夜夜干| 狠狠88综合久久久久噜噜噜| 五月婷婷色综图片| 婷婷丁香成人网址| 人妻自慰高清合集| 色中色综合| 高清无码入口| 激情五月婷| 亚洲精品99| 色五月超碰| 超碰人人草| 人人爱国产| 久久激情五月| AV成人在线网站| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 丁香五月在线人妻| jiujiuxiangjiaowang| 婷婷五月激情基地| 亚洲狠狠爱婷婷| 99欧美精品99日本精品| 超碰京东热av男人的天堂| 伊人五月天97| 超碰av在线| 丁香婷婷五月天校园春色| 一本久久亚洲五月婷婷| 婷婷五月天在婷| 五月婷婷开心丁香| 极品另类| 亚洲无码99| http:色情日本com| 丁香五月婷婷啪啪视频| 丁香五月综合无码趴趴| 久超超碰| 色爱99| 丁香六月丁香婷婷激情| 五月丁香婷婷色色| 免费精品99| 91大操| 丁香五月停停基地| 五月婷在线影院| 丁香五月天欧洲在线| 玖操97| 亚洲综合五月| 亚洲色网址| 色综合久久之分久久| 婷香狠狠爱五月| 久久精品婷婷| er99免费视频在线| 五月婷婷第四色| 日韩在线视频网站| 538在线精品| 激情婷婷22月间| 啪啪激情网| 襙逼网| 天天做天天爱天天爽| 丁香色五月天| 91聚色综合网| 97资源碰碰在线| 天天射天天射一道本日本社区 | 久久久中文| 丁香六月成人网| 亚洲色五月| 五月天色色激情综合| 婷婷五月情| 噜噜噜噜噜久| 五月婷婷丁香六月| 激情五月天啪啪| 国产精品涩涩涩视频网站| 色青青五月| 国产3p露脸普通话对白| 婷婷五月天手机版视频| www99精品日韩| 婷婷五月天激情五月天网站| 九月丁香婷婷网| 色永久| 日本在线观看91| 79精品视频在线观看,| www狠狠com| 婷婷激情人妻| 操99| 免费无码毛片一区二区A片| xx色综合| 91av成人| 五月丁香激情综合网| 九色无码| 国产精品大香蕉| 亚洲综合成人网| 亚洲第一综合| www.日日日.com| 午夜天天精品视频| 常久最新免费的色吊丝| WWW·色色色·COM| 久久精品99| 五月天五月色婷婷综合| 五月婷A V在线| 激情五月,婷婷五月,丁香五月| 东北黄色一级| 婷婷综合网站| 岛国资源网| 香蕉视频性爱BB做爱| 国产激情综合五月久久| 新97人人上人人| 91丨九色丨大屁股| 婷婷五月天天aV| 久久 中文 日本| 国产67194| 日日噜狠狠色综| 精品人妻在线免费观看| 五月久久婷婷成人网| 色色色婷婷五月天| 超碰v| 婷婷五月天激情网站| 色狠狠999综合| 激情色色| 日韩在线婷婷五月天综合| 色久影院| 国产精品人成A片一区二区| 快色t v在线入口| 五月婷婷六月丁香首页| 丁香五月AV| 综合图区激情| 成人欧美日韩| 亚洲精品白浆高清久久久久久| 5月婷婷激情在线| 99自拍视频在线观看| 无码激情AAAAA片-区区| 99热资源在线| 丁香五月在线伊人| xxxx五月天色色| 婷婷香五月天| 久狠日av| 久操操| 婷婷色五月大香蕉在线| 亚洲天堂啪啪| 欧美另类五月激情| 色私五月婷婷| 亚洲精品无AMM毛片| 99热免费| 色婷婷婷婷成人网| 偷偷操99| 欧美三级巜人妻互换| 操97免费超级视频| 先锋男人99资源| 五月婷激情影院| 性做爰1一7伦| 影音先锋一区| 欧美婷婷五月天综合| 大香伊人婷婷| 国产精品美女久久久久AV超清| 五月婷婷中文字幕| 日本色婷婷综合| 人人操操| 色五月婷婷在线观看第一页舔| 日本九九视频| 可以免费看的av网站| 成片免费播放| 91久久精品视频| 色色五月婷婷| 婷婷六月亚洲综合| 婷婷五月天色综合翘| 99干99| 久cao香蕉影院| 色婷五月| 婷婷亚洲五月| 久久狠狠色| 婷婷五月丁香久久| 影院久久久| 粉嫩AV久久一区二区三区| 婷婷五月综合啪| 色五月六月婷婷| 久久久精品视频79| 五月婷婷丁香六月| 激情四射亚洲| 五月天婷婷激情在线色图| 五月开心激情| 天天舔天天| 成人噜噜网| 精品九九网| 丁香五月大香蕉在线99| 久久久久久久人妻| 91色综合网| 丁香六月伊人| 亚洲婷婷六月天| 婷婷五月天丁香| 综合色网站| 久久性都花花世界成人免费视频| 激情综合五月| 激情综合无码| 天天做天天爱天天高潮| 视色综合| 五月色导航| 2015好吊操| 天天射天天干天插色综合| 超级碰碰一区| 日韩成人影片网站 | 91无码高清| 天天色综合综合| 五月婷婷亚洲综合网| 五月激情视频| 99在线视频播放| 大香蕉人人网| 69久久久| 九色综合网| 国产JK精品白丝AV在线观看| wwwss在线观看| 色婷婷超碰| 99久在线精品99re8热| 五月婷AV| 襙比视频| 五月色无码| 天天激情综合| 91干| 极品色丁香| www.九月婷婷丁香.com | 在线观看国产高清视频免费网站| 成人丁香五月天| 中文字幕综合网| 亚洲欧美婷婷五月色综合| 狠狠狠狠狠狠狠狠| 婷婷丁香五月综合激情小说| 婷婷丁香五月欧美人| 日韩一区二区三区无码| 翔田千里aV中文字幕| 狠狠做五月| 九九热这里只有精品5| 激情久久肏屄视频| 天天综合网91| 99狠狠色| 97久人人| 久久婷网| 中文字幕AV网址| 99啪啪网| 91在线日本| 97久久久免费福利网址| 色婷婷综合电影| 五月婷久草| 亚洲综合色婷婷文学| 色色色香蕉五月婷| 中文字幕精品无码一区二区| 欧美精品中文字幕亚洲专区| 99热.com| 99热啪啪| 99爱精品| 777精品久无码人妻蜜桃| 99精品综合视频| 99热精品在线播放| 日日干天天爽| AV中文在线| 涩涩五月天| 激情五月天色播| 91超碰人人操| 五月婷婷久久综合| 色中色综合| 东京热免费视频| 欧美日韩中文国产一区发布| 欧美电影在线观看| 国产精品久久久久久妇女6080| 狠狠干综合| 久草五月丁香婷婷综合| 色日本综合| 丁香婷婷五月天网站| 色播五月| 天堂A∨在线| 狠狠操狠狠狠| 九九热中文| 97精品人人A片免费看| 久久久天天啊| 九九视频这里只有精品在线播放 | 综合色吧| 欧美在线视频免费播放| 182TV亚洲| 97色碰| www.伊人天堂偷偷婷婷| 色色草97| 国产人妻人伦精品一区二区| 97碰久久| 精品一区二区三区木瓜| 六月婷婷啪啪| 精品人妻午夜一区二区三区四区| 丁香五月骚喷水视频| 色性日本| 日韩AV大全| 97干在线播放| 丁香婷婷深情五月亚洲| 婷婷成人基地| 婷婷五月综合基地| 91九色小视频| 嫩草AV久久伊人妇女超级A| 日韩欧美四五区| 色狠狠色噜噜噜a天堂一区| 久久国产色| 9色在线视频| 99热自拍| 婷婷久综合| 久草a片| 婷婷丁香五月亚洲欧美| 欧美黑人巨大猛烈cuckold| 国产综合网在线| 涩综合网| 国产成人片| 97成人在线视频| 秋霞成人毛片一级A片| 丁香五月天色综合| 亚洲小视频| 日本在线视频播放91| 超碰AV在线| 91久女| 日本三级中国三级99| 精品国产人人爱人人| 丁香六月久| 成人AV免费观看| 国产午夜精品一区二区三区嫩草| 91九色无码内射| 日本一级| 超色欲天天| 亚洲啪啪自拍| 九九色网专区| 欧美电影在线观看| 亚洲综合色网| 九九人人操| 99久久99久久| 久久综合首页| 亚洲综合另类| 色综合五月| 青草五月天| 看全色黄大色大片| 五月婷婷官网色| 五月五丁香婷婷| 婷婷五月丁香综合激情小说| 91热在线| www.玖玖婷婷在线| AV大香蕉| 五月丁香婷婷基地| 激情综合99| 开心五月婷婷婷美女| 亚州激情网站无码| 婷婷五月影院| 国产JK精品白丝AV在线观看| 97爱综合| 日本狠狠爽| 五月婷婷导航| 亚洲亚洲人成综合网络| 日韩久操婷婷| 婷婷丁香五月天婷婷| 丁香五月婷久久| 婷婷五月天综合网| 色色色色色五月| www.av视频xx999.com| 五月天激情图片| 国产3p露脸普通话对白| 五月久久婷婷天堂视频| 秋霞电影理论| 亚洲无码另类| 97狠狠碰| 久久五月婷综合网| 久久性爱视频| 久久9热好| 成人AV在线电影| 五月色综合网| 99在线精品免费视频| 2017狠狠干| 久久性爰视频这里只有精品| www久久99| 五月99久久| www激情网| 丁香九月婷| 九九精品碰| 亚州视频九九99| AV电影在线播放| 中文字幕操比影片| 精品婷婷五| 婷婷久久综| 日本三级日本黄色| 26uuu四色| 五月丁香在线| 五月天婷婷丁香成人网| www久久五月com| 国产精品视频免费看| 99操网站| 天堂婷婷五月色| 天天精品视频免费观看| 色五月婷婷激情基地| 色五月成人网| 538在线精品| 狠狠爱综合网| 色狠狠999综合| 婷婷影院A成人| 99精品视频在线6| 97色婷婷成人综合在线观看| 国产AV不卡福利| 五月丁香六月婷婷的女人| 99久久国产宗和精品1上映| 激情综合五月| 日韩在线观看亚洲| 亚洲黄色av网站| 五月丁香六月情亚洲| 九九色热| 成人做爰A片免费看网站找不到了| 亚洲欧美婷婷五月色综合| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 欧美在线| www.天天色综合| 97香蕉碰碰人妻国产欧美| 大香av| 99热免| 伊人超碰在线| 小视频一区 | 狠狠干五月天| 九九热99视频| AV在线免费播放| 国产免费一区二区三州老师F1F1……| 天天爽日日爽夜夜爽| 国产精品久久久久久久久久免费 | 欧美日韩国产一区| 五月久视频| 婷婷综合天堂| 天天色天天舔天天爱天天爽| 1024操逼| 日日操日日干| 亚洲电影在线观看| 色综合色综合色综合高潮| 五月婷婷六月丁香| 另类的婷婷| 999热这里只有精品| 91chinese在线| 色婷婷AAA| 超碰在线观看9| 丁香五月六月综合激情| 九九综合网色全集| pom538精品视频| 97日本在线| 噜噜国产| 婷婷伊人75| 久色大| 婷婷五月电影| 桃色五月天| 99热精品99| 青青草tp| 一起草Av| 91精品综合久久久久久五月丁香| 婷婷五月天亚洲综合| 永久免费一区二区三区| 五月丁香六月婷婷成人| 99色色| 久久免费试看120秒| 99热手机在线精品| 久草五月天| 92久久| 97人人操人人干| 这里只有精彩视频| 五月丁香啪啪激情| 日日操天天操| 色婷婷五月基地在线| 大地资源色婷婷视频在线| 天天操天天操天天操| 免费三级黄色| 久久这里只有国产视频| 亚洲不卡123| 天天日天天摸| 激情五婷网| 99色免费观看全部| 欧美大奶熟女噜噜噜噜| 亚洲精品字幕| 天天干天天射综合网| 婷婷中文字暮| www.天天干| 色久九| 另类视频在线| 色婷激情网| 色综合久久8| 婷婷婷婷婷婷婷婷| 久久大香蕉同僚| 人人摸人人| 99热99日…..| www日本熟妇99在线视频| 五月丁六月香| 亚洲色图81p| 91精品综合久久久久久五月丁香| 人妻内射麻豆视频| 婷婷五月丁香第四色超碰在线| 噜噜色婷婷| 久久久性爱网| 99无码视频| 色偷偷狠狠| 成人色图情色成人网 www.5b5b5bcom 五月天| 欧美色99| 精品色情一区二区三区四区| yazhoujiqingav| 丁香婷婷月| 久久婷婷五月天懂色| 无码少妇高潮喷水A片免费| 性生活久久人妻| 五月香蕉婷婷| 99色在线视频| 丁香五月天天高清在线| 色欲影香| 99在线精品视频| 天天摸天天高潮天天爽| 综合色色综合| 色婷视频| 五月草影视| 97丁香婷婷| 疯狂做受XXXX高潮A片动画| 色五月综合激情| 色婷婷操逼| 99视频这里有精品| 婷婷九月丁香| 第四色色六月色综合| 日本色99网站| 婷婷99狠狠躁天天| 99爱视频在线免费观看| 伊人久久综合| 久久人人妻| 天天精品视频在线观看视频| 综合网啪啪| 白人荫道BBWBBB大荫道| 五月亭亭网成人在线视频| 人人澡天天色天天做| 午夜]香婷婷深深爱| 超碰成人在线观看| 久久这有这里精品| 一级无码作爱片| 色色热| 六月婷婷久久大全| 婷婷五月18永久免费网站| www色色com| 99热这里只有精品2| 亚洲性受XXXX五月丁香| 欲色人妻| 国产成人99久久亚洲综合精品| site:ornaments52.com| 武则天精品久久| 密着浓厚中出乚交尾GvG935| yellow视频在线观看91| 俺五月| 99九九综合久久九九| 精品亚洲国产成AV人片传媒| 伊人色综合久久久| 中文字幕日韩无码制服诱或| 丁香五月最新地址| 国产精产国品一二三在观看| 超碰色综合| 色婷婷香蕉丁丁网| 欧美精品99| 婷婷五月丁香四射| 色色色网站| 五月亭亭狠狠| 天天日天天摸天天| 玖玖色资源| 国产XXXX搡XXXXX搡麻豆| 免费啪啪亚州视频| 婷婷射图五月天| 91狠狠综合久久久久久| 五月天社区婷婷| 亚洲男女激情| 九九视频在线观看| 夜夜爽日日躁| 婷婷九月激情| 色噜婷婷| 做爰丰满少妇1313| 日本婷久久| 97色色色视频| 丁香六月婷婷开心| 激情综合国产| 五月激情综合婷婷| 99精品在线观看| 波多野结衣AV无码Porn| 天天综合亚洲综合| 天天想夜夜爽天天爽| 色五月婷婷大香蕉| 狠狠婷婷色| 91一起操| 五月天激情四射网站| 五月婷色啪| 琪琪理论片| 中文字幕不卡+婷婷五月| 久久密臀婷婷| 亚洲精品V天堂中文字幕| 99在线热| 开心五月网 | 99色在线观看视频者| 日本三级中国三级99人妇网站| 99热青青草| 五月婷av| 天天插天天干天天舔| 五月久久五月激情| 六月婷色| 久久丁香九| 99热8在线| 五月丁香六月激情综合| 亚洲精品又粗又大又爽A片| 五月天婷婷丁香社区| 密黄站| 亲子乱AV一区二区三区下载| 日本天堂久久| 在线免费视频caop| 乱精品一区字幕二区| 色情综合网| 97人妻碰碰碰久久香蕉| 99热亚洲精品| 五月婷婷视频ab| 六月婷婷日| 久久婷婷丁香五月一二三| 欧洲综合视频| 五月丁香自拍| 狠狠色噜噜狠| 婷婷五月天综合网| 久久思思热| 亚洲综合激情五月久久| 亚洲综合五月天婷婷丁香| 婷婷五月天天天| 色欲久久久久| site:esunnet.com| 丁香五月婷婷深五月| 激情五婷网| 丁香六月婷| 欧美久人人| 五月天久草| 丁香五月婷婷激情中文| 爱99干99| 青草视频在线观看视频| 欧美经典片免费观看大全| 婷婷九月色| 精品色色| 丁香五月激情网| AA丁香综合激情| 99久久6| 午夜丁香婷婷| 夜夜干夜夜操| 九九热在线视频观看| 婷婷丁香在线| 久久久com| 久久亚洲激情五码| 六月色色| 99久久激情视频| 99精品在线观看视频| 久久久久人妻| 色五月亚洲| 婷婷视频网| 婷婷亚洲综合| 九九99视频精品| 九九热视频这里只有精品| AV九九| 久久五月网| 亚洲婷婷丁香五月亚洲| 色色五月天激情| 久热久69| 6月丁香婷婷| 婷婷深爱五月丁香| 日本欧美成人片AAAA| 91精品国产色猫| 激情五月天综合网站网站网站| 成人在线网| 色五XX| 五月开心深爱激情网| 丰满熟女人妻一区二区三| 九九热这里只有精品在线观看| 激情五月六月婷婷| 五月天成人免费视频| 五月激情基地| 天天狠狠干| 五月天婷婷综合网| 99riAV国产精品视频| 伊人网碰碰| 99自拍视频| 色色色色综合网| 99久在线精品99re8| 国产超碰在线| 99色在线| 2018夜夜草| 9色操| www,com,五月色色| 激情婷婷丁香五月天| 色色是色N一| 久久激情五月婷婷| 人人干人人干骚美女| 这里只有精彩小视频视频网站|