欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上

Zabbix監(jiān)控Nginx沒(méi)數(shù)據(jù)?核心問(wèn)題往往在狀態(tài)頁(yè)與agent采集鏈路上 上個(gè)月幫同事排查一套 Zabbix 監(jiān)控 Nginx 數(shù)據(jù)一直為空的問(wèn)題。一開(kāi)始我們都把注意力放在 Zabbix Web 端反復(fù)檢查模板、主機(jī)、宏折騰了一上午。最后才發(fā)現(xiàn)真正斷掉的環(huán)節(jié)是 Nginx 的 stub_status 狀態(tài)頁(yè)根本沒(méi)有暴露出來(lái)agent 自然也就拿不到任何數(shù)據(jù)。更讓我意外的是同事的配置是從一篇兩三年前的教程里抄來(lái)的那篇教程里的模板名稱、agent 類型和現(xiàn)在的環(huán)境已經(jīng)對(duì)不上。這不是個(gè)案。Zabbix 監(jiān)控 Nginx 這件事最常見(jiàn)的坑不是 Zabbix 不會(huì)裝而是安裝配置流程里塞滿了舊資料。所以下面我不打算只給一個(gè)固定命令序列而是想把 Zabbix 監(jiān)控 Nginx 的鏈路重新拆一遍Nginx 怎么暴露狀態(tài)agent 怎么讀到數(shù)據(jù)模板怎么匹配以及當(dāng)你拿到一臺(tái)新機(jī)器時(shí)應(yīng)該按什么順序驗(yàn)證。核心判斷只有一句——真正決定這套監(jiān)控能不能跑通的往往不是 Zabbix 本身而是 Nginx 狀態(tài)頁(yè)、agent 采集和模板匹配這三個(gè)環(huán)節(jié)有沒(méi)有全部連上。1. 先想清楚Zabbix 監(jiān)控 Nginx 到底在監(jiān)控什么1.1 表面是進(jìn)程存活本質(zhì)是連接和請(qǐng)求很多入門教程會(huì)把 Zabbix 監(jiān)控 Nginx 簡(jiǎn)單理解成“Nginx 掛了就報(bào)警”。這個(gè)理解不算錯(cuò)但太單薄。Nginx 是應(yīng)用入口它的價(jià)值不在于進(jìn)程起沒(méi)起來(lái)而在于它當(dāng)前扛了多少連接、請(qǐng)求處理得是否順暢、有沒(méi)有異常堆積。Zabbix 之所以能監(jiān)控 Nginx核心不是直接讀進(jìn)程狀態(tài)而是通過(guò) Nginx 自身的狀態(tài)接口或模塊拿到一組結(jié)構(gòu)化指標(biāo)。最常見(jiàn)的數(shù)據(jù)源是 Nginx 官方自帶的 stub_status 模塊。打開(kāi)狀態(tài)頁(yè)后你會(huì)看到類似這樣的一小段文本Active connections: 3 server accepts handled requests 12 12 15 Reading: 0 Writing: 1 Waiting: 2這幾個(gè)數(shù)字的含義值得記住Active connections當(dāng)前活躍連接數(shù)。acceptsNginx 啟動(dòng)以來(lái)成功接受的連接總數(shù)。handled成功處理的連接總數(shù)。正常情況下 accepts 和 handled 應(yīng)該接近。requests總請(qǐng)求數(shù)。Reading / Writing / Waiting分別表示正在讀請(qǐng)求頭、正在寫響應(yīng)、以及空閑 keep-alive 連接的數(shù)量。這些指標(biāo)能幫你看清什么比如 Reading 長(zhǎng)時(shí)間很高說(shuō)明請(qǐng)求堆積在讀取階段背后可能是客戶端沒(méi)有把請(qǐng)求發(fā)完整Waiting 大量存在不是壞事只能說(shuō)明 keep-alive 連接占著資源accepts 和 handled 差距持續(xù)增大則可能說(shuō)明有連接在中間環(huán)節(jié)被丟掉。1.2 為什么很多“監(jiān)控沒(méi)數(shù)據(jù)”其實(shí)和 Zabbix 無(wú)關(guān)排查過(guò)幾次就會(huì)發(fā)現(xiàn)Zabbix 監(jiān)控 Nginx 沒(méi)數(shù)據(jù)絕大多數(shù)原因不在 Zabbix要么是 Nginx 狀態(tài)頁(yè)沒(méi)開(kāi)啟要么是狀態(tài)頁(yè)返回的是 HTML 而不是純文本要么是 agent 訪問(wèn)不到狀態(tài)頁(yè)要么是模板里的宏路徑和實(shí)際路徑不一致。Zabbix 本身只是在按固定周期向 agent 要數(shù)據(jù)agent 再去請(qǐng)求 Nginx 狀態(tài)頁(yè)。這一條數(shù)據(jù)鏈上有任何一個(gè)環(huán)節(jié)斷了儀表盤就永遠(yuǎn)是空的。所以我建議把這條鏈路拆成三段來(lái)理解Nginx 負(fù)責(zé)提供數(shù)據(jù)agent 負(fù)責(zé)搬運(yùn)數(shù)據(jù)Zabbix 負(fù)責(zé)展示和告警。后兩段的問(wèn)題通常都有日志可查反而是第一段最容易被人忽略。很多“監(jiān)控沒(méi)數(shù)據(jù)”的案例其實(shí)和你選的模板、版本的關(guān)聯(lián)沒(méi)有想象中那么大問(wèn)題往往出在數(shù)據(jù)源這一層。2. Nginx 側(cè)的狀態(tài)頁(yè)配置先把數(shù)據(jù)源打開(kāi)2.1 先確認(rèn)模塊再改配置順序不要反Nginx 狀態(tài)頁(yè)依賴 http_stub_status_module 這個(gè)模塊。問(wèn)題在于不是所有 Nginx 環(huán)境都默認(rèn)包含它。源碼編譯安裝時(shí)如果沒(méi)有帶 --with-http_stub_status_module后面想加模塊就得重新編譯發(fā)行版?zhèn)}庫(kù)里的 nginx 通常已經(jīng)包含這個(gè)模塊但不同發(fā)行版、不同倉(cāng)庫(kù)之間也可能有差異容器鏡像則更不一定一些精簡(jiǎn)鏡像會(huì)把用不到的模塊裁掉。所以第一步是確認(rèn)模塊存在。常見(jiàn)做法是查看編譯參數(shù)nginx -V 21 | tr \n | grep stub_status如果輸出里能看到 http_stub_status_module說(shuō)明模塊沒(méi)問(wèn)題。如果什么都沒(méi)有就不要繼續(xù)往下配狀態(tài)頁(yè)了先解決模塊問(wèn)題。否則你配置再正確curl 訪問(wèn)時(shí)也只能看到 404。注意有些系統(tǒng)里 nginx 不在 PATH 中可能需要寫全路徑比如/usr/local/nginx/sbin/nginx -V或者先執(zhí)行which nginx確認(rèn)一下。2.2 一個(gè)穩(wěn)妥的 stub_status 配置示例確認(rèn)模塊存在后再修改 Nginx 配置。常見(jiàn)的做法是在一個(gè) server 塊里加一個(gè) location只讓狀態(tài)頁(yè)從指定路徑訪問(wèn)server { listen 80; server_name _; location /nginx_status { stub_status; allow 127.0.0.1; allow 192.168.10.0/24; deny all; } }這里有幾個(gè)細(xì)節(jié)要說(shuō)明。location /nginx_status是精確匹配避免掩蓋其他路徑規(guī)則stub_status;是常見(jiàn)寫法如果你看到的舊教程里寫的是stub_status on;通常也能兼容但更推薦按當(dāng)前版本的標(biāo)準(zhǔn)寫法來(lái)allow 和 deny 用來(lái)限制來(lái)源 IP避免狀態(tài)頁(yè)暴露到公網(wǎng)。雖然狀態(tài)頁(yè)內(nèi)容看起來(lái)不敏感但泄露給外界等于給攻擊者多一個(gè)信息采集入口沒(méi)有理由不做限制。寫完配置后先檢查配置再重載nginx -t nginx -s reload # 如果使用 systemd 管理也可以寫成 systemctl reload nginx然后用 curl 驗(yàn)證curl -s http://127.0.0.1/nginx_status如果能看到開(kāi)頭那段純文本說(shuō)明 Nginx 側(cè)已經(jīng)通了。注意curl 的來(lái)源 IP 要和 allow 規(guī)則匹配否則你會(huì)看到 403。2.3 容器化和非默認(rèn)端口環(huán)境的特殊點(diǎn)如果你的 Nginx 跑在容器里情況會(huì)稍微復(fù)雜一點(diǎn)。agent 要么和 Nginx 在同一個(gè)容器內(nèi)要么通過(guò)容器 IP 或映射端口訪問(wèn)狀態(tài)頁(yè)。容器內(nèi)的 Nginx 如果只監(jiān)聽(tīng)了容器內(nèi)部端口agent 在宿主機(jī)上直接 curl 127.0.0.1 是拿不到響應(yīng)的。這類問(wèn)題用 curl 驗(yàn)證時(shí)最容易暴露但很多人會(huì)誤以為是自己配置寫錯(cuò)了。另外狀態(tài)頁(yè)不一定只能放在 80 端口。有的環(huán)境為了安全和便于管理會(huì)把狀態(tài)頁(yè)放在 8080 或單獨(dú)一個(gè) server 塊里。這樣的設(shè)計(jì)沒(méi)問(wèn)題但模板里的宏就要跟著改。這里的重點(diǎn)是先想清楚 agent 要從哪個(gè)地址訪問(wèn) Nginx然后保證這個(gè)地址上的 TCP 連通性和 ACL 都允許。不要只在 Zabbix 里把宏改來(lái)改去主機(jī)上卻訪問(wèn)不到。我在很多環(huán)境里見(jiàn)過(guò)一種最隱蔽的錯(cuò)誤狀態(tài)頁(yè)本身配置正確但 allow 規(guī)則只放行了 127.0.0.1agent 卻通過(guò)內(nèi)網(wǎng) IP 去訪問(wèn)狀態(tài)頁(yè)。agent 請(qǐng)求時(shí)Nginx 看到的來(lái)源 IP 是內(nèi)網(wǎng)地址命中 deny all于是返回 403監(jiān)控項(xiàng)自然拿不到數(shù)據(jù)。所以配置 allow 時(shí)要想著 agent 會(huì)從哪個(gè) IP 過(guò)來(lái)而不是只寫 127.0.0.1。3. Zabbix agent 這一層不是安裝了就行3.1 配置 Server 地址和 Hostname一致性是第一原則Nginx 狀態(tài)頁(yè)通了之后才輪到 agent。agent 安裝本身不復(fù)雜麻煩的是配置。以最常見(jiàn)的 zabbix-agent 為例配置文件里幾個(gè)關(guān)鍵參數(shù)一定要理解Server192.168.10.20 ServerActive192.168.10.20 Hostnameweb01Server 和 ServerActive 不是一回事。Server 是被動(dòng)模式下允許從 Zabbix Server 拉取 item 的地址白名單ServerActive 是主動(dòng)模式下 agent 向哪個(gè) Zabbix Server 或 Proxy 上報(bào)數(shù)據(jù)的地址。如果你只配置了 Serveragent 就會(huì)等 Server 來(lái)問(wèn)如果你用了主動(dòng)模式ServerActive 也要填。很多舊教程只寫一個(gè)值換到新環(huán)境就出問(wèn)題。比這更容易出錯(cuò)的是 Hostname。Zabbix Web 端添加主機(jī)時(shí)填的主機(jī)名必須和 agent 配置里的 Hostname 保持一致。如果 Web 端寫的是 web01agent 里配的是 nginx-web-1那么即使在 Zabbix 里能看到主機(jī)監(jiān)控項(xiàng)也始終是 no data。在新版本 agent 里你還會(huì)看到HostnameItemsystem.hostname這樣的配置意思是讓 agent 用系統(tǒng)本身的 hostname 作為上報(bào)名稱。這個(gè)機(jī)制可以避免手工維護(hù) Hostname但前提是系統(tǒng) hostname 必須和 Zabbix Web 里的主機(jī)名一致。所以不管用哪種方式原則都是同一個(gè)兩邊名字要對(duì)上。3.2 agent 與 agent2模板和 key 可能不一樣這里要說(shuō)一個(gè)“和過(guò)去不一樣”比較明顯的點(diǎn)現(xiàn)在 Zabbix 官方推薦使用 Zabbix agent 2也就是 agent2。agent2 不僅在采集能力上更豐富還支持一些內(nèi)置插件但對(duì)應(yīng)的模板、監(jiān)控項(xiàng) key 和舊 agent 不完全一樣。在 Zabbix Web 里搜索 Nginx 時(shí)你可能會(huì)看到多個(gè)模板有些名字類似 Nginx by HTTP有些類似 Nginx by Zabbix agent 2。如果你在主機(jī)上裝的是 agent2卻鏈接了舊 agent 版本的模板可能會(huì)出現(xiàn) unsupported item。反過(guò)來(lái)也一樣。所以我的建議是在鏈接模板之前先打開(kāi)模板里的監(jiān)控項(xiàng)預(yù)覽看它使用的采集類型是 Zabbix agent、HTTP agent還是依賴 agent2 插件。確認(rèn)它跟你實(shí)際安裝的 agent 類型對(duì)得上再鏈接。這一步只要花兩分鐘卻可以省掉后面一晚上的排查時(shí)間。agent 和 agent2 的服務(wù)名也不一樣常見(jiàn)的有 zabbix-agent、zabbix-agent2系統(tǒng)服務(wù)名可能是 zabbix-agentd.service 或 zabbix-agent2.service。啟動(dòng)服務(wù)后用systemctl status看一下是否 active再看一眼日志路徑常見(jiàn)的是/var/log/zabbix/下面。出現(xiàn)問(wèn)題時(shí)日志里通常直接會(huì)告訴你 key 不支持還是連接失敗。3.3 用 zabbix_get 快速驗(yàn)證采集鏈路在 Web 端排查前可以先在 Zabbix Server 上用 zabbix_get 做一次最直接的驗(yàn)證確認(rèn) agent 是否正常工作zabbix_get -s 192.168.10.11 -k agent.ping如果返回 1說(shuō)明 Server 能連上 agent。如果返回值不是 1就別急著去 Web 端看模板先解決網(wǎng)絡(luò)、端口和 Hostname 問(wèn)題。agent.ping 是通用探活 key驗(yàn)證通過(guò)后再去模板里找到你想測(cè)的監(jiān)控項(xiàng) key比如和 Nginx 狀態(tài)頁(yè)相關(guān)的 key繼續(xù)用 zabbix_get 測(cè)試。不同版本、不同模板的 key 名稱會(huì)有差異所以這里不列具體 key但思路是一樣的先用 curl 確認(rèn)狀態(tài)頁(yè)存在再用 zabbix_get 確認(rèn) agent 能取到值最后才去 Web 端看圖表。鏈路從底層往上逐層打通比在界面上猜效率高得多。4. 在 Zabbix Web 端鏈接模板別被舊截圖帶偏4.1 模板名稱已經(jīng)變過(guò)好幾輪Zabbix 的模板策略在過(guò)去幾年變化很大。這次部署里我在模板列表里搜索 nginx出來(lái)的已經(jīng)不是早期教程里那張截圖上的名字了。官方模板按采集方式做了拆分有的走 HTTP agent有的走 Zabbix agent有的專門適配 agent2。這本身是好事但如果你照著一個(gè)兩三年前的教程去選模板很可能選錯(cuò)。我的建議是以當(dāng)前 Zabbix 版本實(shí)際加載的模板列表為準(zhǔn)不要憑記憶點(diǎn)。鏈接模板后立刻去“監(jiān)測(cè) – 最新數(shù)據(jù)”里過(guò)濾這個(gè)主機(jī)等一到兩個(gè)更新周期看有沒(méi)有數(shù)據(jù)進(jìn)來(lái)。如果 Zabbix 的刷新周期是 30 秒或 1 分鐘通常幾分鐘內(nèi)就能看到。另外一個(gè)主機(jī)通常只需要鏈接一個(gè)對(duì)應(yīng)當(dāng)前采集方式的 Nginx 模板不需要把所有 Nginx 模板全鏈接上。鏈接多個(gè)模板并不會(huì)讓數(shù)據(jù)更豐富反而會(huì)讓監(jiān)控項(xiàng)沖突、重復(fù)告警排查起來(lái)也更亂。4.2 宏參數(shù)路徑、協(xié)議、端口都是變量模板鏈接后還有一層容易被忽略宏參數(shù)。官方 Nginx 模板里通常會(huì)定義一組宏用來(lái)告訴 agent 去哪個(gè)地址、哪個(gè)路徑、用什么協(xié)議獲取狀態(tài)頁(yè)。常見(jiàn)宏名可能包括{$NGINX.SCHEME}、{$NGINX.PORT}、{$NGINX.STUB_STATUS.PATH}具體名稱以你當(dāng)前模板為準(zhǔn)。它們的作用就是把狀態(tài)頁(yè)的訪問(wèn)信息從監(jiān)控項(xiàng)中抽出來(lái)這樣同一套模板可以復(fù)用在不同的 Nginx 主機(jī)上。如果你的狀態(tài)頁(yè)地址不是默認(rèn)值就不用改監(jiān)控項(xiàng)直接在主機(jī)層級(jí)覆蓋宏就行。比如狀態(tài)頁(yè)路徑是 /nginx_status 而不是 /status就在主機(jī)的宏里把對(duì)應(yīng)宏改成實(shí)際路徑。改完后等下一次采集生效再看最新數(shù)據(jù)。要注意的是宏的生效范圍有層級(jí)全局宏、模板宏、主機(jī)宏。主機(jī)宏優(yōu)先級(jí)最高。如果模板里已經(jīng)定義了默認(rèn)值主機(jī)上沒(méi)改也沒(méi)關(guān)系但如果狀態(tài)頁(yè)地址做了修改一定要記得改對(duì)應(yīng)主機(jī)的宏而不是只在模板里改一個(gè)默認(rèn)值因?yàn)槟0迥J(rèn)值會(huì)影響所有鏈接該模板的主機(jī)。還有一個(gè)容易出錯(cuò)的地方狀態(tài)頁(yè)地址如果是 https但宏里用的是 http監(jiān)控項(xiàng)會(huì)一直返回錯(cuò)誤。這種問(wèn)題在視覺(jué)上非常隱蔽因?yàn)?Nginx 和 agent 都正常只有協(xié)議不匹配。4.3 驗(yàn)證模板是否能出數(shù)據(jù)鏈接模板和配好宏之后不要直接離開(kāi)頁(yè)面。花一分鐘做兩件事第一到主機(jī)監(jiān)控項(xiàng)列表里看有沒(méi)有出現(xiàn)紅色 error 狀態(tài)的監(jiān)控項(xiàng)第二到最新數(shù)據(jù)里過(guò)濾該主機(jī)確認(rèn)有非空數(shù)據(jù)。如果看到 error 狀態(tài)的監(jiān)控項(xiàng)先點(diǎn)擊進(jìn)去看錯(cuò)誤信息。常見(jiàn)的有 unsupported item key、Cannot connect to [...]: 10060、Connection refused 這類。每一條錯(cuò)誤信息其實(shí)都指向了數(shù)據(jù)鏈路的具體環(huán)節(jié)比你在外面猜模板要快得多。如果最新數(shù)據(jù)里有值但看起來(lái)不對(duì)比如 Reading 是 0、Writing 是 0也不要慌先用 curl 手動(dòng)看一次狀態(tài)頁(yè)確認(rèn)源數(shù)據(jù)里就是這些值然后判斷是 Nginx 本身空閑還是采集路徑不對(duì)。如果源數(shù)據(jù)是對(duì)的Zabbix 只是如實(shí)展示不用改 Zabbix。5. 沒(méi)數(shù)據(jù)的排查鏈路按順序查別亂試5.1 四個(gè)環(huán)節(jié)從上到下檢查如果你最終面對(duì)的是一臺(tái)沒(méi)數(shù)據(jù)的 Nginx 主機(jī)不要先懷疑 Zabbix更不要反復(fù)重新鏈接模板。按下面的順序逐層排查通常能在十分鐘內(nèi)定位問(wèn)題。第一層Nginx 狀態(tài)頁(yè)是否可訪問(wèn)。curl -s http://127.0.0.1:80/nginx_status如果 curl 能返回純文本進(jìn)入下一層。如果返回 403、404 或 HTML 頁(yè)面問(wèn)題在 Nginx 側(cè)。第二層agent 能否讀到狀態(tài)頁(yè)。注意 agent 的運(yùn)行身份和權(quán)限。你可以切換到 agent 運(yùn)行用戶或者用 sudo 模擬執(zhí)行同樣的 curl 命令確認(rèn) agent 視角下能訪問(wèn)。如果 agent 在容器里還要確認(rèn)容器網(wǎng)絡(luò)。第三層Server 和 agent 之間是否連通且 Hostname 匹配。zabbix_get -s agent_ip -k agent.ping如果 zabbix_get 返回 1說(shuō)明網(wǎng)絡(luò)層通。然后再確認(rèn) Web 端主機(jī)名和 agent Hostname 一致。第四層模板宏和監(jiān)控項(xiàng)是否匹配。打開(kāi)監(jiān)控項(xiàng)列表查看具體監(jiān)控項(xiàng)的 key、宏替換后的實(shí)際地址用測(cè)試功能跑一次。如果返回錯(cuò)誤根據(jù)錯(cuò)誤信息調(diào)整宏。這個(gè)順序的核心思路是先確定是哪一層壞了再?zèng)Q定修哪里。不要在不知道哪一層出問(wèn)題的時(shí)候改配置改來(lái)改去只會(huì)讓狀態(tài)更亂。5.2 高頻錯(cuò)誤對(duì)照表下面這張表基本覆蓋了 Zabbix 監(jiān)控 Nginx 時(shí)最容易遇到的幾類現(xiàn)象現(xiàn)象常見(jiàn)原因處理思路狀態(tài)頁(yè) curl 返回 404沒(méi)有配置 location 或模塊缺失先查 nginx -V 里的 stub_status 模塊狀態(tài)頁(yè) curl 返回 403allow/deny 沒(méi)有放行 agent 來(lái)源 IP調(diào)整 allow 規(guī)則思考 agent 從哪個(gè) IP 訪問(wèn)監(jiān)控項(xiàng)顯示 unsupported itemagent 版本或模板類型不匹配確認(rèn)是 agent 還是 agent2換對(duì)應(yīng)模板或 key最新數(shù)據(jù)一直是空Hostname 不匹配、宏路徑不對(duì)、采集周期長(zhǎng)檢查主機(jī)名一致性測(cè)試宏替換后的地址監(jiān)控項(xiàng)返回 Connection refusedagent 未啟動(dòng)、端口不通、防火墻攔截systemctl status 看服務(wù)再用 zabbix_get 驗(yàn)證狀態(tài)頁(yè)返回的是 HTML 而非純文本location 配置被其他規(guī)則截獲檢查 server 塊順序確認(rèn)精確匹配位置這張表不是讓你背下來(lái)而是給你一個(gè)參考坐標(biāo)。遇到問(wèn)題時(shí)先看現(xiàn)象再判斷屬于哪一層然后去對(duì)應(yīng)位置檢查。5.3 沉淀一個(gè)“四層驗(yàn)收清單”最后一個(gè)能長(zhǎng)期復(fù)用的經(jīng)驗(yàn)把 Zabbix 監(jiān)控 Nginx 的鏈路固定成一張驗(yàn)收清單每次新接入一臺(tái) Nginx 主機(jī)時(shí)按順序過(guò)一遍。Nginx 狀態(tài)層模塊存在、location 配置正確、curl 返回純文本、allow 已放行 agent 來(lái)源 IP。Agent 采集層服務(wù)已啟動(dòng)、配置了正確的 Server/ServerActive、Hostname 與 Web 端一致、zabbix_get 驗(yàn)證 agent.ping 返回 1。Server 接入層Web 端主機(jī)存在、agent 接口可達(dá)、主機(jī)名匹配。模板匹配層鏈接了適配 agent 類型的 Nginx 模板、宏路徑/協(xié)議/端口正確、最新數(shù)據(jù)出現(xiàn)非空值。這個(gè)清單不是固定不變的但它能幫你把一次復(fù)雜的排查變成一次順序的確認(rèn)。以后不管是三臺(tái)機(jī)器還是三十臺(tái)機(jī)器先讓這種驗(yàn)證順序變成肌肉記憶再談自動(dòng)化。6. 適用邊界這套方案不是所有 Nginx 環(huán)境都適合6.1 適合誰(shuí)Zabbix 監(jiān)控 Nginx 這套方案適合的場(chǎng)景其實(shí)很清楚你已經(jīng)在用 Zabbix手里是一批長(zhǎng)期存在的虛擬機(jī)或物理機(jī)核心關(guān)注的是連接數(shù)、請(qǐng)求數(shù)、握手狀態(tài)等基礎(chǔ)指標(biāo)。這種情況下引入一套新的監(jiān)控系統(tǒng)成本遠(yuǎn)大于收益直接在 Zabbix 里接 Nginx 模板是最順的路。從我個(gè)人經(jīng)驗(yàn)看當(dāng)一個(gè)團(tuán)隊(duì)已經(jīng)用 Zabbix 管了幾百臺(tái)機(jī)器再為了 Nginx 單獨(dú)部署一套 Prometheus、Grafana反而不劃算。不是因?yàn)?Prometheus 不好而是你的告警、權(quán)限、儀表盤、值班流程都已經(jīng)長(zhǎng)在 Zabbix 上了新增一套系統(tǒng)意味著要同時(shí)維護(hù)兩套監(jiān)控體系的賬號(hào)、存儲(chǔ)和告警規(guī)則。6.2 不適合誰(shuí)反過(guò)來(lái)如果你的環(huán)境是大量短生命周期容器Nginx 實(shí)例像 Pod 一樣隨時(shí)擴(kuò)縮容Zabbix 這種以主機(jī)為單位的管理模型就會(huì)變得很吃力。每來(lái)一個(gè)新實(shí)例都要?jiǎng)?chuàng)建主機(jī)、鏈接模板、維護(hù) Hostname規(guī)模一大這些動(dòng)作本身就是運(yùn)維負(fù)擔(dān)。另外如果業(yè)務(wù)需要按 URL、按狀態(tài)碼、按 upstream 做細(xì)粒度 SLA 分析單靠 Zabbix 的 Nginx 狀態(tài)頁(yè)數(shù)據(jù)也不夠。狀態(tài)頁(yè)給的是連接數(shù)和請(qǐng)求總數(shù)拿不到每個(gè)接口的響應(yīng)時(shí)間分布。這種需求更適合讓 Nginx 輸出 access log 結(jié)構(gòu)化、再送進(jìn)時(shí)序數(shù)據(jù)庫(kù)或者日志系統(tǒng)或者直接采用具有服務(wù)發(fā)現(xiàn)能力的監(jiān)控方案。這不是說(shuō) Zabbix 不能做擴(kuò)展而是說(shuō)你要先判斷值不值得。任何方案都有維護(hù)成本Zabbix Nginx 監(jiān)控的優(yōu)勢(shì)是簡(jiǎn)單直接代價(jià)是深度有限。認(rèn)清這個(gè)邊界比盲目堆監(jiān)控項(xiàng)更重要。6.3 重要的不是某一個(gè)命令而是適應(yīng)變化的能力回到標(biāo)題里那半句“和過(guò)去有一點(diǎn)不同”。這句話其實(shí)很適合用來(lái)概括這類監(jiān)控方案的常態(tài)Nginx 的編譯參數(shù)在變agent 從舊版走向 agent2模板名稱和宏定義在變安裝方式從裸機(jī)走向容器。過(guò)兩年你再回頭看今天這篇文章里的具體配置很可能又有出入。但有一點(diǎn)不會(huì)變數(shù)據(jù)從 Nginx 到 agent 再到 Server 這條鏈路的邏輯是穩(wěn)定的。你只要掌握了“先 curl 狀態(tài)頁(yè)、再 zabbix_get 探活、最后看模板宏”的驗(yàn)證順序無(wú)論版本怎么升級(jí)你都能在最短時(shí)間內(nèi)判斷出問(wèn)題出在哪一層。這才是比某一條命令更有價(jià)值的東西。所以我的長(zhǎng)期建議是不要只收藏某個(gè)版本的配置片段而是順手把自己的環(huán)境、模板名稱、宏定義、驗(yàn)證命令寫成一個(gè)簡(jiǎn)短文檔或腳本。下次再遇到 Nginx 監(jiān)控沒(méi)數(shù)據(jù)你不是回去翻舊教程而是打開(kāi)自己的排查清單?;氐介_(kāi)頭那個(gè)案例。我們最后做的事情其實(shí)很簡(jiǎn)單把 stub_status 狀態(tài)頁(yè)配置好allow 規(guī)則放行 agent 來(lái)源 IP再把 Web 端主機(jī)名和 agent Hostname 改成一致。數(shù)據(jù)在第二個(gè)更新周期就出現(xiàn)了。整個(gè)過(guò)程沒(méi)有任何懸案只是之前分散在不同教程里的經(jīng)驗(yàn)沒(méi)有串成一條完整的鏈路。Nginx 側(cè)會(huì)變、Zabbix 會(huì)變、模板會(huì)變但驗(yàn)證順序不會(huì)變。下次再看到最新數(shù)據(jù)為空時(shí)不要急著在界面上反復(fù)點(diǎn)先打開(kāi)一個(gè)終端curl 一下?tīng)顟B(tài)頁(yè)很多時(shí)候答案早就寫在響應(yīng)里了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情婷婷五月| 手机免费福利视频| 91天堂网综合| 免费无码毛片一区二区A片| 成人一级片| 五月天激情影院| 欧美性生交A片免费看| 丁香五月停停av| AA久久| 操B视频在线播放| 色高清无码视频| 亚洲激情AV| 五月天婷婷激情春色小说| 久久婷五月综合| 国产欧美精品AAAAAA片| 婷婷激情六月综合| 天天草婷婷五月| 久热爱大香蕉在线蜜臀悦色| 一本色道久久88加勒比| 欧美久久婷婷| 人人操人av| 丁香婷婷人妻| 色婷网| 五月天丁香久久综合 | 99久久综合| 久热黄色| 亚洲区在线| 天天综合久久| 久久激情五月婷婷| 99亚州综合精品成人网| 久热A| 婷婷伊人| 五月天啪啪| 狠狠爱青青草| 日本一级黄色片。| 丁香五月天操B| 开心深爱激情网| 天天爽天天干| 丁香六月综合激情| 婷婷色基地| 丁香五月激情综合在线观看| 婷婷5月色| 91精品久久久久久久久久久久| www.99操.com| 美女视频图片久久91| 成年人丁香五月| 五月天丁香综合久久国产| 夜夜撸天天日| 99热99热在线| 久久婷婷丁香| 丁香五月天.com| 婷婷五月成人系列| 天天爽天天| 欧美成人精品老美女噜噜噜| 婷婷丁香色无五月| 婷婷五月色惰| 91久久五月天| 天天骑天天操| 天天揷综合网| 欧美S码亚洲码精品M码| 成人无码髙潮喷水A片| 色九区| 九九精品热播| 中文字幕av久久爽一区| 99热这里是精品| 色情五月综合婷婷| 超碰天堂网| 一点色成人网| 一起草aV| 丁香五月天无码AV| 国产阿姨日皮艹逼内射视频| 婷婷中文字幕| 丁香六月婷婷色XXXX| 俺去也五月| 色婷婷六月天| .精品久久久麻豆国产精品| 大香蕉九九| 丁香五月天色婷婷| 婷婷五月日本| 色色婷婷丁香| 狠狠干思思热| 婷婷视频网| 噜噜视频| 日本91在线播放| 91九色PORNY大屁股| 婷婷深爱五月| 婷婷亚洲综合| 91怕怕网| 午夜九九九九九九九九九九九九九| 九伊人网| 五月婷婷伊人网| 丁香婷婷伊人| 亚洲综合成人网| 久草五月天| 北京熟妇搡BBBB搡BBBB| 婷婷丁香综合在线| 日本本土色网第一区| www.狠狠狠.com| 99热这里只有精品2024| 色五月婷婷综合| 婷婷亚洲综合| 亚洲天堂无码| 五月丁香狠狠| 亚洲乱码精品久久久久..| 五月天婷婷婷| 青青草原中文字幕| 99热首页| 人人干av| 婷婷五月天黄色网址| 五月婷婷xxx| 这里只有精品99www| 成人五月天视频| 99热精品在线播放| 性爱人人网| 丁香五月在线伊人| 天天婷婷| 成人五月丁香花| 久久九九一區| 99热这里只有国产精品| 久久久精品人妻| 91N 一起草| 色色色色热热| 九九AV在线| 久久五月婷综合| 97日在线视频| 五月天天视频| 婷婷综合天堂| www.热99热| 九九这里是免费的视频5| 九九热视频在线观看| 国产精品激情AV久久久青桔| 色婷婷电影网| 色五月激情| 大香AV| 九九视频精品这里只有| 大香蕉久操| 91九色熟女| WWW.99热| www.婷婷激情网.com| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 开心五月婷婷激情网| 玖玖99免费视频| 中文字幕av久久爽| 五月婷婷基地| 超碰伊人碰婷婷五月| 深爱五月天婷综合| 天天碰夜夜操| 99热在线免费| 国内久久久精品99| 99爱视频在线观看| 人妻久热| 婷婷四色五月| 五月天色色婷婷| 亚洲男女激情| 五月天天堂久久| 综合久久99| 中文字幕91,综合| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 五月丁香A片| 人妻在线中文字幕久久| 丁香88AV五月婷婷| 婷婷激情五月天激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 99色在线观看视频| 射久久丁香五月| 久久HD| 99久久久| 丁香久久综合| 99人人干| 深爱婷婷丁香五月激情| 色婷婷色九月| 永久免费一区二区三区| 9久久久久久久久久久| 婷婷五月天美女21p| 久在线综合69| 久久作爱| 婷婷色色播五月天| 成人网站av免费网站推荐| 色欲午夜无码久久久久久张津瑜| a色色色色色| 六月婷婷综合| 狠狠狠色激情综合适合| 亚洲视频在线观看99| 98国产精品综合一区二区三区| 天天天天天操| 97视频91| wwww.9免费视频| 亚洲视频二区| 婷婷五月深深爱| 亚洲婷婷五月| 秋霞少妇AV网站| 俺也去在线视频 | 五月婷婷爽爽爽| 婷婷伊人网| 五月丁香| 激情五月天第四色| 国产在线激情视频| 五月婷婷五月| www.天天干| 五月丁香在线视频观看| 婷婷色操| 色婷婷aV四虎| 综合婷婷六月| 色五月婷婷操逼| 亚洲日韩一页精品发布| 99这里只有精品| 九九热在线亚洲免费视频| 五月婷婷综合在线亚洲视频| 色色网站| 99在线视频资源| 91视屏在线观看com.wwwvv| 日韩精品无码AV| 丁香五月手机在线| 噜噜噜狠狠色综| 国产性色蜜乳| 噜噜噜噜噜日本视频| 色99www.| 991自拍视频| 另类天堂| 婷婷五月六月丁香| 五月天色色网站| 国产资源91在线| 开心五月激情网| 中文成人在线| 久久久久久久久久久jjjj| 九月婷婷久久| 人人操AV| 思思热在线视频精品| 国产偷人妻精品一区| 丁香六月视频| 五月丁香六月欧美综合| 九九热这里精品| 伊人婷婷大香蕉| 狠狠色色色| 三级三久久线久久99久目本WW| 色色色网站| 亚洲激情精品| www色综合| 停停色综合伊人| 色婷久久| 天天色综合图片| 人人色性网| 九月色婷婷| 色碰干| 狠狠久久婷| 欧美一级a | 欧美日韩91| 99色色网| 色九月婷婷综合| 婷婷五月天无码| 色久五月天| 青青草婷婷综合五月| 久久久久婷婷五月热综合| 99久在线视频| 婷婷激情五月天综合| AV在线资源| 99人人操人人爱久久久| 婷婷六月啪啪| 思思99热在线| 激情5月天天天| www.五月婷婷久久.com| 久热网站| 亚洲另类婷婷综合| 91碰碰碰| 亚洲欧洲美女在线观| 成人AV在线中文版| 成人AV综合在线| www.99热这里精品| 久久黄A片| WWW.夜夜操.com| 五月丁香WWW| 久久av电影| 五月天激情日色在线| 综合久久五月| 五月丁香久| 色女人久久| 五月丁香婷婷综合| 99综合色色色| 色玖玖导航| 五月婷婷基地| 婷婷五月丁综合| 六月合五月婷| 五月丁香偷拍| 91在线人| 婷婷大香蕉| 色色色视频免费无码| 五月丁香视频在线观看| 精品乱码久久久久| 狠狠综合| 97色婷婷在线观看| 五月色丁香成人| 丁香激激情网| 91成人性爱视频| 五月丁香六月激情综合| 99热99思午夜精品| 五月激情六月| 九九在线精品| 免看黄大片AA | 探花搜索结果 - 黄上黄| Av九九| 婷婷区日本| 五月天,激情四射,婷婷频道| 丁香婷婷大香蕉| 亚洲AV成人无码精品| 久久久五月婷婷| 亚洲精品乱码久久久久久综合| 婷婷色Av| 久久99网站| 另类图片五月激情| 日日想日日夜日日操| 五月婷婷av| 亚洲国产精品VA在线看黑人| 99久久亚洲国产| 丁香色六月婷婷| 国产色色色色| 五月丁香六月片| 丁香婷婷五月天激情四射| 99在线观看免费精品视频| 激情婷婷色五月| 99热在线播放| 欧美天堂久久| 色婷婷www| 人妻AV在线| 激情五月份婷婷| 五月婷婷成人w| 五月丁香啪啪网| .肏屄视频一区二区| 亚洲激情综合| 色综合综合色| 日韩无码人妻一区二区| 99免费视频在线观看爱| 97热91| 亭亭五月丁香综合欧美| 婷婷五月电影院| 五月婷婷9| 婷婷夜夜夜夜| 欧美顶级少妇做爰HD| 东京热伊人| 色婷婷丁香五月天在线观看| 九日日夜夜69| 欧美综合激情五月天| 丁香五月天啪啪| 超碰九色| 五月婷婷,六月丁香| 77777亚洲午夜久久| 欧美噜一噜| 色婷婷狠狠18禁| 99热伊人| 天天干,天天日| 97视频91| 开心五月激情网| 99a级片| 99九九热视频| 亚洲综合视频在线| 九九在线视频| 婷婷丁香午夜综合影视| 春色激情| 婷婷五月六月| 欧美五月婷婷| 欧美日韩91| 欧美99热| 国产真实乱对白精彩| 国产va在线视频| 五月色综合| 五月天亚洲最大成人| 丁香五月综合| 久久五月天激情视频| 激情五月天婷婷视频| 97碰在线| 丁香五月婷婷久久久| 婷婷五月成人| 天天精品视频在线观看视频| 色狠狠综合入口| www.婷婷五月天| 久久婷婷热| 另类图片五月天| 99色色网站| www.婷婷com| 色深爱五月| 日熟女| 色色色色色色色色综合网| 九九成人精品免费视频| 丁香五月婷婷欧美性爱| 五月婷婷激情网| 丁香五月欧美成人| 91操人人操| 婷婷五月色情天| 天天综合网91| 九色综合网| 五月天开心激情综合网| 日本熟女视频一区二区| 中文不卡av| 日本色色网站| 色婷丨日丨天丨综合久久| 亚洲成人精品三区| 丁香五月天婷婷激情| 99热精品一区| 四虎成人精品永久免费AV九九| 91chinese在线| 五月天婷婷成人资源站| 色播五月天婷婷老师| 五月丁香免费看| 另类小说五月天激情| 狠狠色噜噜狠狠狠777奇米| 亚洲成人在线五月天| 丁香六月婷婷综合激情欧美| 熟女人妻一区二区三区免费看| 激情婷婷丁香色五月| 综合爱久久| 久综合网| 97操碰在线视频| 这里只有精品视频222| 久久精品99国产精品日本| 丁香五月天激情免费在线观看AV777| 久99久99精品免| 九九热视频这里只有精品| 丁香五月婷婷欧美成人色图| 91狠狠综合网| 色亭亭九月| 久超超碰| 夜夜夜夜夜骑撸| 女性自慰系列第五页| 蜜乳av一级av| 色5月婷婷| 思思热精品在线视频| 色香蕉影院| 日本韩国视频在线观看社区免费的9| 五月丁香啪啪网| 战争与艾拉电影免费观看| 色色色在线| 国产精品第一国产精品| 这里只有精品免费视频| 97 A I色色| 天天想夜夜爽天天爽| 91视频久久久| 狠狠色综合图片| 五月丁香天堂网| 五月丁香亚洲婷婷| 人人人舔人人人操人人人摸人人人97 | 天堂网色色| 亚洲春色奇米影视| 99热在线只有精品| 色九月婷婷综合| 五月第四色| 激情五月婷婷欧美极品| 激情综合五月丁香| 久婷久婷| 超碰97干| 激情伊人网| 五月婷A V在线| 亚洲综合激情五月久久| 91丨九色丨大屁股| 久久婷五月综合| 成久综合视频| 精品国产人人爱人人| 成人电影在线免费试看| 五月丁香人妻| www.日本91| 色婷婷色综合| 九九九九九九九九九九九九九国产精品| 99热精品在线观看| 丁香综合网| 天天人人人人人人人人人人人| 色性日本| 色色com| 深爱激情丁香五月| 狠狠干综合网| 五月丁香六月婷婷姐| 丁香五月天啪啪a日本| 99视频在线观看欧| 五月天婷婷激情春色小说| 五月天婷婷乱| 亚洲aV写真天天综合网久久| 五月婷婷在线综合| 五月婷婷综合丁香视频| 亚洲九九夜夜| 五月综合丁香婷婷| 九九精品自拍| 好好日激情五月天| 婷婷五月天综合色| 婷婷丁香五月激情| www.激情| 99热久| 免费看欧美成人A片无码| 九九热AV| 中文AV网站| 葵花AV在线| 四射综合网| 亚洲操逼片| 久久性视频| 五月丁香爱婷婷深深| 久久丁香婷婷五月| 婷婷第六色| 婷婷丁香五月天综合网| 天天色官网| 日本丁香五月| 色五月在线播放| 99色色网| 天堂网色婷婷| 九九久久精品| w婷婷五月婷婷w| 激情五月狠狠| 99精品自拍| AA片在线观看视频在线播放| 天堂在线伊久| 九九热超碰| 亚洲丁香五月美女| www五月天com| 玖玖五月| 日本久久激情| 久草视频一,二三四| 亚洲综合九九| 亚洲第79页| 久久久大香蕉| 在线18av | 99九九视频| 丁香五月激情天AV无码| 天天做天天爱天天做| 亚洲激情AV| 日本一級黃色一級片| 欧美毛卡| 五月丁香婷婷激情| 激情綜合W W W,激情五月天| 五月四色激情| 五月天婷婷激情网| 超碰人人99| 五月激情天| 欧美人人超级碰| 色天天久婷婷| www久久久久久久97| 亚洲精品又粗又大又爽A片| 91 原创 在线 九色| 五月天天天操天天爽夜夜操| 久久久无码精品成人A片小说| 五月天啪啪啪| 偷偷操99| 蜜乳中文字| 久久国产色| 一二区成人电影| 色情五月天首页| AV在线大香蕉| 激情亭亭五月| 婷婷六月激情综合| 成人无码精品1区2区3区免费看| 黄网网站在线播放| 婷婷无码五月天| 国产成人一区二区三区在线观看| 九九Av| 婷婷五月天综合在线| 日本精品人妻无码77777| 玖热精品综合视频| 99色色| 婷婷新网址| 2020久久婷婷五月| 免费观看欧美成人AA片爱我多深 | 久久久8| 亚洲天天操| 五月综合激情久久| 开心激情站婷婷五月天| 亚洲色啪| 日日夜夜狠狠婷婷色| 色综合综合色| aa久久| 噜噜噜久久| 小色小蛇伊人婷婷色香五月| 另类激情中文| 久久99久久久久久久噜噜| 婷婷.com| 亚洲9久久精品| 久青操| 久久激情天堂| 六月婷婷色色色| 色射7856五月天激情四射| 久久人妻www| 色九月丁香婷婷蜜桃在线观看| 色婷婷色五月色丁香| 亚洲V国产V欧美V久久久久久| 狠狠干婷婷| 91碰碰碰| AV 3P| caop视频| 天天干天天射色综合| 熟妇天天综合| 97热这里只有精品| 97极品在线| 欧美日韩999| 色综合久| 成人免费120分钟啪啪| 色五月色综合| 麻豆123区| 久久激情五月婷婷| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 色五月婷婷五月天| 五月天激情子轮| 五月天久久小说| 这里只有久久精99| 91精品婷婷国产综合久久| 免费黄色视频网址| 亚州精品色情在线观看| www.色欲丁香婷婷| 久色激情| 五月天综合缴情网网站0| 97超碰,人人舔,人人操,人人摸| 热99这里只有精品视频| 五月婷婷亚洲色图| 色色色综合网| 婷婷丁香在线播放| 伊人玖玖精品| 俺也去五月婷婷丁| 99热这里只有精品1| 三级毛片7979| 超碰国产在线播放| 一级二级色大片| 欧美激情综合| 9久热视频| 99久久久久| 激情五月亚洲综合网| 丁香五月婷婷亚洲激情四射| 99热9| 欧美丁香六月激情视频| 91综合色| 亚洲午夜成人av电影网| 欧美婷婷九月| 色吧五月| 激情五月天网| 午夜理论片最新午夜理论剧| 亭亭丁香97| 超碰99在线| www激情com| 激情综合5| 白度黄视频| 丁香五月影院| 14色综合婷婷| 久久草婷婷丁香网站| 国产ava| 中文字幕婷婷9月天| 99色精品| 亚洲人妻一区二区 | 91九色欧美| 五月丁香六月激情综合在线| 日韩av在线电影| 超碰在线日夜| 国产真人做爰视频免费| 丁香五月六月综合激情| 亭亭五月激情亚洲在线| 婷婷五月丁香影院| 五月丁香六月综合基地| 丁香婷婷浪潮AV久久综合| 丁香六月激情综合| 91黄址| 久久丁香久久| 色婷婷丁香五月综合| 6月丁香婷婷| 天天操天天曰天天射| 久久月天堂| 婷婷丁香五月综合| 人人噜天天上| 五月丁香婷婷俺| 五月丁香少妇网| 丁香六月狠狠| 在线播放中文字幕| 丁香色综合| 亚洲小电影在线观看黄999| www.99色在线| 欧美午夜乱妇午夜福利| 国产精品涩涩涩视频网站| 狼人久草| 97久久久| 五月丁香综合网| 色综合久久88色综合天天99| 色久女| 五月婷婷丁香五月 | 欧美色婷婷| 伊人久久艹| 婷婷五月色| 国产成人一区二区三区在线观看| 五月婷婷基地| 久久亚洲婷婷| 国产看真人毛片爱做A片| 久久99网| 97自拍视频在线| 亚洲成av人影院| 婷婷五月天小说| 可以免费观看的AV| 九八Av| 无码日本精品XXXXXXXXX | WWW.婷婷| 欧美一级色| 97在线精品| 99精品丁香五月| 天堂在线观看视频| 婷婷日本在线| 另类激情五月| 99热思思久| 丁香伊人综合| 伊人9999| 一丁香五月天月AV| 国产毛片精品一区二区色欲黄A片| 色五月激情综合网| 色999五月色| 婷婷五月天综合亚洲| 婷婷碰碰| www.精品99| 啪啪91| xx综合网| 天天拍天天操| 夜夜撸天天操| AAA久久| 欧美成人AAA片一区国产精品| 久久大国产香蕉| 久99久视频免费观看| 成人婷婷| 凹凸探花电影| 狠狠人人婷婷| 夜夜撸日日操| 五月婷中文娱乐综合| 国产视频福利| 色亚洲中文| 婷婷五月天伊人| 岛国AV网| 俺也去五月婷婷丁| 亚洲狠狠婷婷| 色婷婷五月天激情在线播放| 亚洲色网址| 久久97| 国产一级黄色影片,| 激情婷婷九月| 精品无码人妻一区| 亚洲av综合网| 日韩AC在线免费观看| 色区久久| 婷婷开心久久| 激情丁香五月婷婷| 99人人操| 久久 这里只有精品1| 日韩精品无码AV| 色色婷| 五月天综合在线观看| 久99热| 97久久久免费福利网址| 丁香九月婷婷| 五月婷婷六月丁香在线| 狠狠操狠狠| 99热在线中文字幕| 色色丁香激情五月| 99精品视频在线观看| 天天综合 99久久婷婷| 色综合色欲综合天天免费| 婷婷色丁香五月| 九九九激情网| 99热在线这里只有精品| 涩五月婷婷| 国产人人操| 九九视频在线免费视频| 九九视频在线观看| 久久久WWW| 丁香五月婷婷六月| 日韩人妻AV在线| 久久黄色网扯| 五月开心激情| 伊人久久婷婷| 99re在线视频| 综合亚洲AV| 婷婷亚洲欧美丁香五月| 三级片AAA久久久AAA久久久AAA| 九九综合视频在线观看| 久久九九@| 色玖玖网| 26uuu| 丰滿爆乳一区二区三区| 五月天婷婷激情干干| 色婷婷电影网| 丁香五婷| 色噜噜狠狠一区二区三区| 色五月婷婷综合| 色五月天激情| 综合五月婷婷| 久久九九爽| 色婷婷久久综合| 婷婷免费无马| 天天插天天插| 婷婷中文字幕网| 99这里都是精品6| 大香蕉九九操| 激情五月激情综合网| 五月天婷婷色情| AV操操操| 91色综合网| caop在线| 激情视频网址| 婷婷五月天av| 九九草热在线观看| 天天日日| 久久精热| 激情综合五| 欧美日朝成人| 噜噜狠狠色综合久| 久热伊人| 九九家庭影院| 久久99人人| 五月天久久网站| 成人视频九九| 婷婷五月欧美综合| 另类综合婷婷五月天欧美视频| 久久五月天影院| 91精品综合久久久久久五月丁香| 婷婷欧美激情| 婷婷久久亚洲| 人人舔人人色人人高潮| 182.t午在线观看| 国产亚洲色婷婷久久99精品91| 操一区| 狠狠色噜噜狠狠| 久久五月情| 综合网五月| 色五月天综合| 午夜丁香六月婷| 人人操AV| 五月天伊人手机在线播放AV| 婷婷综合另类| 超碰人人在线| 青青草原福利在线| 99视频在线观看网址| 丁香六月婷婷色XXXXX| 婷婷五月天亚洲色| 久xxxx| 九九热在线精品视频| 99热这里只有精品一区| 日韩伊人大香蕉| 婷婷伊人网| 五月婷婷免费看| 五月婷婷久久久| 五月天丁香色色| 五月丁香六月激情综合| 26uuu欧美亚洲日韩| 欧美日本高清视频99| 久久久久人妻网址| 婷婷五月天综合中文| 五月天丁香综合| 久久AAAA片一区二区| 四月丁香五月婷婷久久| 激情五月黄色小说| 97碰碰人人视频| 婷色五月| 欧美色色色色色色| 五月天伊人手机在线播放AV| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 97久久超碰| 亚州色色色| 天天爽夜夜爽夜夜爽精| 成人做爰A片免费看网站找不到了| 91视频五月丁香| 中文字幕日韩无码制服诱或| 超碰免费大香蕉| chaopengdaxiangjiao| 综合激情站| 婷婷金品综合视频| 婷婷五月免费在线| 爱射综合| 日韩婷久| 中字幕视频在线永久在线观看免费 | 久操人妻| 狠狠爱丁香婷| 六月丁香五月婷婷| 久99综合婷婷| 五月综合色| 五月婷婷六月奇米网丁香| 国产99美少妇| 夜夜谢天天干| 2025年最新亚洲在线欧美| 五月天婷婷综合久久| 91超级碰在线| 九九九九成人| 亚洲无码猫咪| 青青久在线视频免费观看| 色婷婷丁香五月| 色九亚洲| 色五月色图| 五月激情六月宗合| 久久视频这里99| 亚洲欧洲自拍图片专区五月天| 色五月开心久久网| 五月婷婷精品视频| se色婷婷视频| 人人爽欧美婷婷久久久五月丁香| 国产激情在线| 丁香五月WWW| 五月婷婷久久网| 日本美女97在线视频| 大地9中文在线观看免费高清| 亚洲激情网| 91色在线/日韩| 五月丁香婷婷视频| 激情五月婷| 日韩九九| 婷婷色片| 99九九视频精彩在线| 久久小视频| 五月天婷婷乱论小说| 5五月综合网亚洲| 综合激情站| 偷拍91九色| 五月天天综合| 大香网伊人久久综合| 超碰在线观看9| 五月丁香啪| 五月丁香久久| 99精品成人无码A片观看金桔| 九九热在线精品视频| 四川BBB搡BBB爽爽视频| 性按摩玩人妻HD中文字幕| 丁香婷婷狠狠97| 秋霞少妇AV网站| 色色五月天婷婷| www.色多多婷| 久热精彩视频98| 六月丁香婷婷综合狠狠爱夜夜爱| 九久久精品视频99| 亚洲激情亚洲激情| 色色亚洲无码| 亚洲天天综合| 五月天婷婷综合免费| 欧美人人操| 激情五月小说婷婷| 青青草青青草五月天| 无码字幕中文| 无码啪啪| 成人婷婷色五月天| 99久久大片| 九九热在线精品视频| 天天日,天天插| 六月丁香婷| AV在线不卡网站| 激情九九六月激情免费视频| 激情综合5| 天天噪夜夜爽| 99操免费视频| 六月丁香啪啪啪| 无码人妻一区二区一牛影视| 99热全是精品| 立川无码av| 五月丁香另类网| 丁香五月色色| 乱岳熟女50岁| 大香蕉中文| 99爱在线| 久久超级碰碰| 久久免费精彩视频| 日本在线99| 五月天天丁香婷婷在线中| 这里有精品2| 久久草大香蕉| 久久天堂女人| 开心五月六月婷婷| 伊人五月天在线| 色色色色网| 伊人青涩网| 庭庭久久内射| A A色色| 天天色播| 婷婷五月天首页激情| 99热九九这里只有精品10| 五月 婷婷 成人| AV大香蕉| www.色九月| 日本激情五月天‘| 99综合视频一体| 天天综合色99| 激情99。| 五月天婷婷在线AN| 色色热日| 夜夜操夜夜姧| 欧美99热| 狠狠se| 天天天天做夜夜夜夜做| 超碰免费人人| 天天综合久久| 天天做天天爱天天做| 五月丁香六月婷婷网| 成人资源在线| 五月天激情无码高清| 婷婷五月天AV| 欧美婷婷九月| 草婷婷在线| 欧美性生交XXXXX无码小说| 婷婷激情四射网| 99精品在这里| 日本二级毛片二级毛片| 五月天六月丁香| 14色综合婷婷| 久久9热| 国产资源91在线| 色无婷婷| 66久久视频在线| 久操热线| 激情文学久久| 色五月首页| 日本久久天堂| 欧美日韩成人一区二区| 亚洲AV永久无码影院黑人| 婷婷爱综合| 亚洲综合激情五月久久| 午夜亚洲国产精品av一区二区| 色综合五月| 西西4r午夜剧场| 日韩人妻操逼视频| 精国产品一区二区三区A片| 五月天婷婷一起草| 大香蕉精品视频| 99久久久免费| 99九无网码| 99色干| 天天摸色吧天天摸色吧| 丁香婷婷六月| 久久激情五月婷婷| 欲求不满的人妻| 高清无码视频网址| 五他月天啪啪啪| 天天透天天爱| 丁香五月婷婷综合91| 人妻精品一区二区三区| 婷婷五月天丁香久久| 热99在线| 色色婷婷色色| 五月婷婷av| 热的国产99热| 九月丁香婷婷| 丁香六月激情蜜桃| 日本大人久久| 狠狠干五月天| 人橾人| 久久性爱视频网站| 日本视频99| 婷婷91| 狠狠色官网| 久久caop| 亚洲天堂色色| WWW99热| 色色操| 99亚洲欧洲| 玖玖伊人网| 曰曰久久| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 中文色婷婷| 色五月激情婷婷| 五月天婷婷色播在线网| 色婷婷中文| 97超碰在线免费观看| 91pornav在线| 五月丁香在线观看| 99热99这里免费的精品| 国产女人十八水真多1| 五月天激情四射网站| 五月婷婷啪| 久爱综合| 天天日天天干天天操| 操91| 思思99热| 色99网| 久久精品性爱视频,| 亚洲中文字幕在线观看| 五月天综合视频网| 激情丁香久久| 久久精彩免费视频| 亚洲激情亚洲激情 | 婷婷香草网| 日韩黄色电影| 狠狠夜夜五月丁香| 久久99久久久| 99自拍视频在线观看| 婷婷激情五月综合| 超碰AV在线| 91日婷婷在线| 激情五月天视频| 激情五月天激情综合网| 91婷婷丁香五月天免费视频网站| 日韩精品视频中文字幕| 亚洲av综合网| 九九久久综合网站| 激情av| AVV黄| AA丁香综合激情| 九九热大香蕉| 中文字幕 久久9999| 色色吧综合| 国产在线网址1| 婷婷大香蕉| 五月婷婷啪啪啪| 婷婷六月伊人| 色色网站观看| 亚洲XX网| 99综合入口| 四LLL少妇BBBB槡BBBB| 色婷五月天| 日韩99色99| 婷婷五月激情热播| 91碰| 亚洲无码成人网| 日韩综合成人| 五月丁香六月婷综合成人综合| 婷婷五月激情视频在线| 97涩涩丁香五月天| 伊人成综合五月婷婷| 精品9197碰| 精品一区二区三区四区五区六区| 色婷婷五月天| 婷婷丁香人妻天天爽| 玖玖色综合| 婷婷综合色图| 色婷婷久久综| 狠狠色综合图片| 欧美槡BBBB槡BBB少妇| 丁香六月婷婷| 色婷婷久久综合久色综| 这里只有精品9| 丁香久色| va中文资源在线观看| 9热视频在线观看| 热99精品视频| 日韩AV在线免费观看| 久婷婷视平| 婷婷五月天免费99| 国产成人网址| 婷婷色综合| 五月丁香亭亭| 狠狠狠狠狠狠| 五月丁香啪啪网| 婷婷播5月| 狠狠色综合五月| 五月天激情播播网| 中文字幕在线免费观看视频| 亚洲在线综合| 久久婷婷伊人| 激情另类综合| 精品久色| 99在线视频免费| www.25五月婷婷| 天天婷婷天天| 色必久悠悠影院| 涩涩五| 99成人小视频| 日撸夜撸日操| 五月婷婷中文| 91精品国产99久久久久久天美| 99热在线只有精品| 超碰爱爱爱| 久操福利| 五月天色色网站| 国产伦亲子伦亲子视频观看| 丰满人妻一区二区三区| 国产69久久久欧美黑人A片| 春色激情| 3DAV亚洲香蕉久久 一区二区| 蜜桃婷婷狠狠久久综合| 91久久国产综合久久| 五月丁香自拍| 狠狠色噜噜狠狠色噜噜噜999| 色五月婷婷天天干| 久久在线人妻| 五月丁香综合激情| 九月激情综合| 色色婷| 思思re99视频在线观看| 无码少妇高潮喷水A片免费| 亚洲丁香花五月丁香花| 99综合入口| 99啪| 午夜青草资源| 激情综合亚洲色婷婷五月| 精品成人a v无码内射| av久热| 成人在线日韩| 新男人天堂人妻| 色综合久网| 亚洲av免费在线| 九九爱看亚洲| 色婷婷狠狠| 九九综合| 色约约视频一区二区三区四区五区| 丁香五月婷婷综合91| 丁香六月啪啪| 狠色色狠网| 成人电影AV在线观看| 疯狂做受XXXX高潮A片动画| 亚洲免费电影2| 4399在线日本A片| 五月色丁香激情| 亚洲精品成人| 国外亚洲成AV人片在线观看 | 一区二区乱码视频| 丰满老熟妇BBBBB搡BBB| 五月开心久久| 人人爱干人人爱草| 天天透天天爱| 激情综合区| 欧美色男人网站| 五月婷中文字幕| 伊人久久大香网| 色五狠狠| 性爱综合网| 伊人玖玖综合| 中文不卡一二三区| 91超碰在线观看| 日木WWW视频| 九九热a| 久久人人妻| 99这里只有精品| 日本熟妇精品99| 五月伊人婷婷| 这里只有精品视频在线| 91日精品| 天天日天天做天天操| 翔田千里 50岁 无码| 婷婷色色色| 69午夜成人影片| AV在线观看网站| 亚洲一二三网| 日本五月丁香| 久久Xx| 精品导航在线x不卡| www.五月婷婷久久.com| 中文字幕成人| 97日本在线播放| 九九色综合| 激情五月丁香社区| 伊人喵咪a V| 激情五月综合免费| 婷婷色婷婷| 色婷婷香蕉丁丁网| 99久久久国产精品免费蜜乳tv| 中文av网| 91丁香| 天天橾夜夜爽| 影音先锋五月婷婷| 狠狠草天天草| 操91| 丁香花色色网| 森林影视大全,最好看的2019年视频 | 五月婷婷综合激情| 另类伊人婷婷| 精品人妻在线| 婷婷五月超碰| 国产女生爱爱AA| 天天爽日日爽夜夜爽| 欧美大肥婆大肥BBBBB| 午夜丁香丁香婷婷| 色色色色色色色色综合网| aaa9区免费在线观看| 天天草比天天爽| 日韩精品一曲二曲三曲四曲五曲| 婷婷中文在线| 亚洲九区| 99五月丁香丁| www.色婷婷.com| 婷综合| 99色热| 婷婷在线观看五月天在线视频| 99欧州偷拍视频| 久操无码| 99久久激情视频| 超碰97人人操| 色婷婷www| 久久亚洲精品成人无码网站导航| 五月丁香啪| 二人电影免费版在线观看| 国产一区二区三区影院|