欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

可視化運(yùn)維監(jiān)控實(shí)戰(zhàn):從故障可見到可控可定位的完整體系搭建

可視化運(yùn)維監(jiān)控實(shí)戰(zhàn):從故障可見到可控可定位的完整體系搭建 干了這么多年運(yùn)維我最大的感觸是系統(tǒng)出故障不可怕可怕的是故障發(fā)生之后你盯著滿屏的告警郵件卻說不清楚現(xiàn)在到底是什么掛了、影響多大、從哪開始查。那種“明明知道出事了卻無從下手”的無力感比通宵加班更折磨人。可視化運(yùn)維監(jiān)控要解決的就是把這個(gè)過程從“靠猜、靠問、靠翻日志”變成“靠看、靠點(diǎn)、靠鉆取”讓故障從發(fā)生到定位有一條清晰的路。這篇文章我想圍繞“可見、可控、可定位”這三個(gè)關(guān)鍵詞把我自己做監(jiān)控體系搭建時(shí)的思路、工具選型、踩坑記錄和排查經(jīng)驗(yàn)完整梳理一遍。不管你是剛接手公司監(jiān)控系統(tǒng)的運(yùn)維新人還是準(zhǔn)備把現(xiàn)有監(jiān)控從“能用”升級到“好用”的負(fù)責(zé)人這篇文章應(yīng)該都能給你一些可以直接抄作業(yè)的參考。1. 故障可見監(jiān)控體系的地基是先讓你“看得見”1.1 你真正需要看見的是什么很多人一提到可視化監(jiān)控第一反應(yīng)就是“搞個(gè)大屏把 CPU、內(nèi)存、磁盤畫成花花綠綠的圖表”。這個(gè)方向不能說錯但太淺了。做了幾年監(jiān)控之后我總結(jié)了一句話可視化的本質(zhì)不是畫圖而是壓縮信息。你在一個(gè)面板上看到的每一個(gè)數(shù)字、每一條曲線都是在幫你回答四個(gè)問題什么東西出故障了影響面有多大持續(xù)了多久當(dāng)前是正在惡化還是在恢復(fù)所以第一步不是選工具而是先盤點(diǎn)你的監(jiān)控對象。一個(gè)典型的業(yè)務(wù)系統(tǒng)你至少要把下面幾個(gè)層面拆出來基礎(chǔ)設(shè)施層物理機(jī)或虛擬機(jī)的 CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)流量、硬件健康狀態(tài)比如 RAID 陣列卡、電源、風(fēng)扇。中間件層MySQL、Redis、Kafka、Elasticsearch 這些組件的連接數(shù)、主從延遲、內(nèi)存碎片率、隊(duì)列積壓量。應(yīng)用層接口的 QPS、響應(yīng)時(shí)間、錯誤率、JVM 或 Go runtime 的 GC 情況。業(yè)務(wù)層訂單量、支付成功率、用戶登錄失敗次數(shù)這些直接反映用戶體驗(yàn)的指標(biāo)。這四層缺哪一塊你的監(jiān)控面板都會“偏科”。只盯 CPU 和內(nèi)存你根本不知道 Redis 已經(jīng)積壓了幾萬條消費(fèi)消息只盯應(yīng)用日志你可能凌晨四點(diǎn)才會發(fā)現(xiàn)磁盤早就滿了。1.2 從采集到展示一條完整的數(shù)據(jù)鏈路可視化不是平白無故變出來的它背后是一條完整的數(shù)據(jù)管道。我自己搭監(jiān)控的時(shí)候習(xí)慣把它拆成四段來看采集從目標(biāo)機(jī)器或應(yīng)用里把指標(biāo)揪出來。最常見的開源方案是 Prometheus 的各類 exporter比如 node_exporter 負(fù)責(zé)機(jī)器基礎(chǔ)指標(biāo)mysqld_exporter 負(fù)責(zé)數(shù)據(jù)庫指標(biāo)redis_exporter 負(fù)責(zé) Redis 指標(biāo)。如果你的應(yīng)用是 Java 寫的還可以直接暴露 Micrometer 格式的端點(diǎn)讓 Prometheus 來抓。存儲指標(biāo)數(shù)據(jù)是典型的時(shí)間序列數(shù)據(jù)不適合往 MySQL 里塞。Prometheus 自帶 TSDB 存儲默認(rèn)保留時(shí)間夠用我一般設(shè)置 15 天左右如果要長期留存可以再接一套 Thanos 或者 VictoriaMetrics。展示Grafana 是繞不開的選擇它跟 Prometheus 配合得最舒服支持的圖表類型也足夠豐富從折線圖到熱力圖到儀表盤都能做。告警Prometheus 的 Alertmanager 負(fù)責(zé)根據(jù)規(guī)則觸發(fā)告警再通過 webhook 投遞到釘釘、企業(yè)微信、飛書或者郵件。這里我多說一句選型的事。經(jīng)常有人問我用 Zabbix 不也能做監(jiān)控嗎為什么非要用 Prometheus 這一套我的看法是Zabbix 在傳統(tǒng)網(wǎng)絡(luò)設(shè)備監(jiān)控和純內(nèi)網(wǎng)環(huán)境里確實(shí)很成熟但如果你有大量動態(tài)擴(kuò)縮容的容器環(huán)境或者應(yīng)用是微服務(wù)架構(gòu)Prometheus 的標(biāo)簽label設(shè)計(jì)、服務(wù)發(fā)現(xiàn)機(jī)制和活躍的生態(tài)會順手得多。反過來如果你公司環(huán)境非常固定、沒有容器化需求那 Zabbix 反而是省心選擇。工具沒有絕對的好壞只有跟場景合不合適。1.3 可視化大屏的設(shè)計(jì)信息分層比炫酷重要說到可視化大屏我得潑一盆冷水。很多人只看過那些數(shù)據(jù)大屏的 demo覺得“夠炫”就要求運(yùn)維也做一個(gè)。實(shí)際上真正在生產(chǎn)環(huán)境里扛過故障的監(jiān)控大屏設(shè)計(jì)原則是反著來的寧可樸素不可花哨。我后來把大屏信息分成三層第一層是全局健康度一眼掃過去就知道今天有沒有大事。這一層放最頂級的幾個(gè)數(shù)字比如整體可用率、當(dāng)前嚴(yán)重告警數(shù)、核心服務(wù)的平均延遲。我習(xí)慣給這層加顏色邏輯正常情況下綠色有 P0 告警就整塊變紅配合閃爍效果值班的人抬頭就能看到。第二層是趨勢和關(guān)聯(lián)讓你快速判斷故障是正在發(fā)展還是逐漸恢復(fù)。這里放核心服務(wù)的 QPS、錯誤率、P99 延遲再加幾條關(guān)鍵中間件的連接數(shù)和積壓量曲線。這層的重點(diǎn)是曲線不是數(shù)字因?yàn)橼厔荼人矔r(shí)值更能說明問題。第三層才是明細(xì)入口本質(zhì)上是“鉆取”的起點(diǎn)。大屏上每一個(gè)看起來能點(diǎn)的區(qū)塊背后都要能跳到對應(yīng)的 Grafana Dashboard甚至繼續(xù)下鉆到具體機(jī)器的具體進(jìn)程。我踩過最大的坑就是把大屏做成“數(shù)據(jù)堆砌”八塊屏幕全放著相似的折線圖真出了故障所有圖都在波動但你根本不知道先看哪一塊。后來我立了一條規(guī)矩每一屏只回答一個(gè)問題裝不下的問題就翻頁不要硬塞。2. 故障可控告警機(jī)制才是監(jiān)控的靈魂2.1 告警不是越多越好先學(xué)會分級可視化解決的是“看得見”但“看見”之后你得有動作否則多好看的大屏也只是個(gè)觀賞屏。告警體系說白了就是給監(jiān)控裝上手腳。告警最忌諱的是什么是“一視同仁”。如果磁盤快滿了和數(shù)據(jù)庫主從斷開的告警用的是同一個(gè)通知渠道、同一個(gè)優(yōu)先級那運(yùn)維人員遲早會對所有告警脫敏最后連真告警也被忽略了。我自己的分級邏輯是這樣的P0 級核心服務(wù)不可用、數(shù)據(jù)丟失風(fēng)險(xiǎn)、大面積故障轉(zhuǎn)移失敗。要求立即響應(yīng)通知到值班負(fù)責(zé)人和研發(fā)負(fù)責(zé)人支持電話和短信雙重轟炸。P1 級核心功能受損但還可用比如接口 P99 延遲翻倍、數(shù)據(jù)庫連接數(shù)逼近上限、Redis 內(nèi)存淘汰頻繁。要求 15 分鐘內(nèi)響應(yīng)。P2 級非核心功能異常或資源接近瓶頸比如某臺非核心機(jī)器 CPU 持續(xù) 90%、日志目錄磁盤使用率超過 80%。要求當(dāng)天處理。P3 級輕微波動、已知問題的重復(fù)提醒這類告警甚至可以選擇不通知只記錄在案。做這個(gè)分級的時(shí)候我一直提醒自己一句話告警的等級不能拍腦袋定要看它對業(yè)務(wù)的實(shí)際影響。一個(gè)冷門報(bào)表服務(wù)的 CPU 飆到 95%可能只是定時(shí)任務(wù)在跑不用拉響 P0但支付鏈路的 P99 延遲漲了 200ms哪怕絕對值也不高也得嚴(yán)肅對待。2.2 告警抑制與收斂躲開告警風(fēng)暴告警風(fēng)暴這個(gè)詞做過線上運(yùn)維的人一定不陌生。某個(gè)核心數(shù)據(jù)庫一抖動依賴它的幾十個(gè)服務(wù)全開始報(bào)告警一瞬間你的釘釘群、郵件、短信全炸了。我遇到最夸張的一次是某個(gè)基礎(chǔ)組件升級失敗觸發(fā)了級聯(lián)告警一晚上收到了 3000 多條通知真正有用的信息早就被淹沒在垃圾里了。從那次之后我認(rèn)認(rèn)真真研究了 Alertmanager 的抑制inhibit和路由分組group機(jī)制這才算把告警風(fēng)暴給管住。抑制規(guī)則的核心邏輯是如果出現(xiàn)了一個(gè)高級別告警那么由它引發(fā)的低級別告警都先閉嘴。舉個(gè)例子如果某個(gè)數(shù)據(jù)庫實(shí)例掛了它下面的所有主從延遲、連接數(shù)異常、慢查詢類告警都不要發(fā)了。我只需要知道“數(shù)據(jù)庫掛了”然后順著數(shù)據(jù)庫往下排查就行。分組機(jī)制解決的是“同類告警刷屏”的問題。比如一個(gè)服務(wù)有 30 個(gè)實(shí)例同時(shí)出現(xiàn) CPU 告警不需要發(fā) 30 條消息應(yīng)該按告警名分組一條消息里列出哪些實(shí)例受影響就夠。我通常把 group_by 設(shè)置成告警名稱和告警級別這樣同類告警會被合并到同一條通知里。這里有一個(gè)我能直接分享的 Alertmanager 配置片段核心就是 inhibit 規(guī)則inhibit_rules: - source_matchers: - severityP0 target_matchers: - severityP1|P2 equal: - alertname這個(gè)規(guī)則的意思是如果存在 P0 告警那么相同 alertname 的 P1 和 P2 告警都會被抑制。有了這個(gè)兜底級聯(lián)故障時(shí)消息量至少能砍掉七成。2.3 通知路由讓告警找到對的人告警被收斂之后下一個(gè)問題是發(fā)給誰不同團(tuán)隊(duì)的職責(zé)邊界不一樣基礎(chǔ)架構(gòu)告警應(yīng)該讓基礎(chǔ)設(shè)施團(tuán)隊(duì)看到業(yè)務(wù)應(yīng)用告警應(yīng)該讓對應(yīng)業(yè)務(wù)的研發(fā)收到。我見過很多公司是一個(gè)大群接收所有告警結(jié)果就是“人人都在群里人人都不覺得該自己動手”。我的做法是給告警規(guī)則打上團(tuán)隊(duì)標(biāo)簽通過 Alertmanager 的 route 做分叉。每個(gè)團(tuán)隊(duì)獨(dú)立的釘釘群或企業(yè)微信機(jī)器人只接收跟自己相關(guān)的告警。只有 P0 級告警才會廣播到所有管理者和核心負(fù)責(zé)人確保一件事情有且只有一個(gè)第一責(zé)任人。通知內(nèi)容本身也非常重要。純文字告警說“CPU 高”沒有任何上下文等于沒報(bào)。我一般在告警模板里帶上這幾樣?xùn)|西告警對象、當(dāng)前指標(biāo)數(shù)值、持續(xù)了多長時(shí)間、對應(yīng)的 Grafana 面板鏈接、最近一次變更記錄。讓收到消息的人不用再登機(jī)器查一遍才知道發(fā)生了什么。2.4 告警自愈把重復(fù)勞動交給自動化告警可控的更高一級形態(tài)是讓一部分告警根本不需要人處理。運(yùn)維時(shí)間應(yīng)該花在復(fù)雜故障上而不是每天重復(fù)“重啟一下服務(wù)”這種瑣碎操作。我碰到過一種場景某個(gè)定時(shí)任務(wù)每天凌晨都會把內(nèi)存吃滿然后觸發(fā) OOM 告警值班同事每天到點(diǎn)手動重啟。后來我把這個(gè)操作做成了告警聯(lián)動Prometheus 觸發(fā)特定告警后通過 webhook 調(diào)起一個(gè)腳本檢查服務(wù)進(jìn)程、清理緩存、自動重啟并記錄操作日志。只要自愈成功告警會自動關(guān)閉人只需要第二天看總結(jié)報(bào)告確認(rèn)這不是一個(gè)需要根治的問題。不過自愈要克制只對“動作明確、風(fēng)險(xiǎn)低、可回滾”的操作開啟。比如自動重啟一個(gè)無狀態(tài)服務(wù)是可以的自動切換數(shù)據(jù)庫主從或者自動清理數(shù)據(jù)這類高風(fēng)險(xiǎn)操作還是老老實(shí)實(shí)讓值班人員確認(rèn)后再執(zhí)行。3. 故障可定位從“知道掛了”到“知道為什么掛”3.1 可觀測性的三支柱指標(biāo)、日志、鏈路追蹤可視化大屏可以讓你一秒發(fā)現(xiàn)“訂單服務(wù)響應(yīng)變慢了”但這只是開始。真正困難的是從“變慢”定位到“是 SQL 慢查詢導(dǎo)致的還是下游 Redis 抖動導(dǎo)致的還是 GC 停頓導(dǎo)致的”。所以我一直強(qiáng)調(diào)可視化只是入口定位故障需要完整的可觀測性體系。業(yè)內(nèi)常說的三支柱——指標(biāo)Metrics、日志Logs、鏈路追蹤Traces一個(gè)都不能少。指標(biāo)回答“發(fā)生了什么”比如延遲升高、錯誤率上升。這部分由 Prometheus 負(fù)責(zé)。日志回答“細(xì)節(jié)是什么”比如報(bào)錯堆棧、參數(shù)內(nèi)容、具體的 SQL。由 Loki、Elasticsearch 或 ClickHouse 負(fù)責(zé)。鏈路追蹤回答“問題出在哪個(gè)環(huán)節(jié)”一次請求經(jīng)過了 A、B、C、D 四個(gè)服務(wù)時(shí)間都耗在哪了由 Jaeger 或 Zipkin 負(fù)責(zé)。三者缺一不可。沒有指標(biāo)你連“故障發(fā)生的時(shí)間點(diǎn)”都難確定沒有日志你找到了異常服務(wù)卻不知道它具體報(bào)了什么錯沒有鏈路追蹤微服務(wù)架構(gòu)下你根本不知道一次慢請求到底慢在哪個(gè)下游。3.2 從可視化面板“鉆取”到根因我追求的效果是一個(gè)人在 Grafana 上看到某條指標(biāo)不對勁點(diǎn)一下能直接跳到對應(yīng)的日志搜索頁和鏈路查詢頁。具體做起來就是統(tǒng)一標(biāo)簽。Prometheus 指標(biāo)里有 service、instance 這些標(biāo)簽日志在采集進(jìn) Loki 時(shí)也打上相同的 service、instance 標(biāo)簽鏈路追蹤同樣帶上這類元信息。這樣在 Grafana 里通過 Explore 功能就能實(shí)現(xiàn)“指標(biāo)查詢”和“日志查詢”的聯(lián)動。舉個(gè)例子我在 Grafana 看到order_service_http_requests_total這個(gè)指標(biāo)的錯誤率突然升高我點(diǎn)擊面板上的“View logs”按鈕Grafana 會自動跳轉(zhuǎn)到 Loki 查詢頁面并且?guī)?serviceorder-service 這個(gè)過濾條件。再點(diǎn)一下具體的 trace_id就能看到整條請求鏈路上每個(gè)服務(wù)耗時(shí)多少、哪一步返回了 5xx。整個(gè)過程不需要手動復(fù)制粘貼查詢語句也就大大縮短了故障定位的時(shí)間窗口。這個(gè)聯(lián)動機(jī)制我強(qiáng)烈建議每個(gè)做監(jiān)控的人都去配一下因?yàn)樗拇_是我這些年用下來單位時(shí)間收益最高的一個(gè)功能。3.3 K8s 集群場景故障轉(zhuǎn)移時(shí)該盯哪些指標(biāo)說到故障定位不得不提 K8s 集群?,F(xiàn)在生產(chǎn)環(huán)境用 K8s 的團(tuán)隊(duì)越來越多而 K8s 的故障有個(gè)特點(diǎn)很多故障直接影響用戶但故障源藏在很深的調(diào)度和編排層。比如一個(gè)節(jié)點(diǎn)出了問題Pod 被重新調(diào)度到其他節(jié)點(diǎn)這個(gè)過程本身有自愈能力但如果節(jié)點(diǎn)頻繁 NotReady、Pod 不斷 Evicted業(yè)務(wù)就會間歇性抖動。這種故障光盯業(yè)務(wù)指標(biāo)很難看出來你看到的只是錯誤率曲線像鋸齒一樣波動但找不到規(guī)律。我的建議是K8s 的監(jiān)控必須分層做控制面層API Server 的請求延遲和錯誤率、etcd 的 fsync 耗時(shí)和 leader 穩(wěn)定性。etcd 一旦出問題整個(gè)集群都會受影響。節(jié)點(diǎn)層節(jié)點(diǎn)的 CPU、內(nèi)存、磁盤壓力尤其要盯kubelet的 heartbeat 延遲。工作負(fù)載層Pod 重啟次數(shù)、Pending 狀態(tài)的 Pod 數(shù)量、副本數(shù)與期望副本數(shù)的差值。資源層HPA 的擴(kuò)縮容事件、資源限額LimitRange有沒有導(dǎo)致容器頻繁被殺。這里有個(gè)很典型的案例有一次我們公司的業(yè)務(wù)偶爾抖動現(xiàn)象是每隔幾分鐘就有幾條 502。一開始所有人都在看網(wǎng)關(guān)日志排查了半天沒結(jié)果。后來我拉出了 K8s 節(jié)點(diǎn)層指標(biāo)發(fā)現(xiàn)某個(gè)節(jié)點(diǎn)的磁盤 IO 延遲周期性飆升再往下查原來是那個(gè)節(jié)點(diǎn)上跑了一個(gè)寫日志特別頻繁的 Pod把節(jié)點(diǎn)磁盤 IO 打滿了導(dǎo)致 etcd 心跳超時(shí)觸發(fā)了 Pod 驅(qū)逐。業(yè)務(wù)側(cè)看只是偶發(fā) 502但真實(shí)原因在基礎(chǔ)設(shè)施層。這就是分層監(jiān)控的價(jià)值也是鏈路追蹤替代不了的排查路徑。3.4 硬件級故障別讓 RAID 陣列卡成為盲區(qū)軟件層的監(jiān)控大家比較熟悉但硬件層的故障很多人會忽略。這幾年我在實(shí)際運(yùn)維中吃過一次虧就是服務(wù)器用的是 RAID 陣列卡硬盤快故障預(yù)故障狀態(tài)時(shí)系統(tǒng)層面完全沒有明顯異常直到有硬盤徹底掉線陣列降級甚至數(shù)據(jù)重建失敗才追悔莫及。這里我要推薦一個(gè)實(shí)踐用 storcli 或 megacli 監(jiān)控 RAID 卡狀態(tài)并把結(jié)果暴露成 Prometheus 指標(biāo)。比如 LSI 9361-8i 陣列卡可以通過定時(shí)執(zhí)行storcli /c0 /vall show來獲取每個(gè)硬盤的狀態(tài)重點(diǎn)關(guān)注“Predictive Failure”或“Media Error”這類預(yù)警信息。把這些輸出解析成指標(biāo)后接入 Grafana再配上告警規(guī)則就能在硬盤剩余壽命耗盡之前及時(shí)發(fā)現(xiàn)把故障消滅在“還沒影響業(yè)務(wù)”的階段。有次我朋友的服務(wù)器就是預(yù)先報(bào)出了“Predictive Failure”提前做了數(shù)據(jù)遷移后來那塊硬盤果然在幾天之內(nèi)徹底壞掉了但因?yàn)樘崆疤幚砹藰I(yè)務(wù)一點(diǎn)沒受影響。這種硬件監(jiān)控你說它是可視化也好是告警也罷核心價(jià)值就是讓你把故障定位在最早期、代價(jià)最小的階段。4. 一個(gè)完整的排查實(shí)戰(zhàn)Redis 主從切換的監(jiān)控與定位4.1 故障現(xiàn)象業(yè)務(wù)側(cè)延遲突增我覺得理論講再多不如完整過一遍案例。這里我挑一個(gè)比較典型又不復(fù)雜的故障Redis 集群主從切換。某天下午我們收到告警說訂單服務(wù)的 P99 延遲從 20ms 跳到了 800ms持續(xù)時(shí)間大概兩分鐘。但詭異的是等我們打開 Grafana 想看曲線時(shí)延遲已經(jīng)恢復(fù)了。這種“過去式”故障最讓人頭疼。我當(dāng)時(shí)的排查邏輯是這樣走的。先看訂單服務(wù)的應(yīng)用指標(biāo)面板發(fā)現(xiàn)延遲曲線確實(shí)有個(gè)尖峰同時(shí)錯誤率并沒有升高說明服務(wù)沒掛只是變慢。接著看下游依賴的中間件面板發(fā)現(xiàn) Redis 的連接數(shù)有個(gè)斷崖式下跌又快速回升的過程這通常是主從切換的典型特征。再點(diǎn)開 Redis 實(shí)例面板確認(rèn)了確實(shí)發(fā)生過一次 failover切換過程中部分請求因?yàn)檫B接重連而出現(xiàn)了延遲尖峰。4.2 定位過程從指標(biāo)到日志再到底層原因確認(rèn)了“Redis 發(fā)生過主從切換”之后下一個(gè)問題就是為什么會切換我按照下面的順序查下去第一步看 Redis 的日志我這里是用文件采集接入日志平臺做全文檢索的。主從切換分為主動切換和被動切換。被動切換通常是因?yàn)橹鞴?jié)點(diǎn)失聯(lián)哨兵或集群檢測到心跳超時(shí)后發(fā)起的選舉。日志里如果看到failover-election相關(guān)的記錄說明走的是被動流程。第二步看主節(jié)點(diǎn)的健康指標(biāo)。我打開了主節(jié)點(diǎn)的監(jiān)控面板發(fā)現(xiàn)切換發(fā)生前CPU 使用率有一個(gè)階梯式上升內(nèi)存碎片率也異常偏高。這提示我主節(jié)點(diǎn)當(dāng)時(shí)可能已經(jīng)處于“亞健康”狀態(tài)只是還沒有徹底宕機(jī)。第三步順著排查底層的資源限制。登錄主節(jié)點(diǎn)機(jī)器確認(rèn)是集群規(guī)格偏小內(nèi)存被大量緩存數(shù)據(jù)占滿觸發(fā)了頻繁的內(nèi)存淘汰淘汰過程帶來額外 CPU 開銷最后在高峰期撐不住了觸發(fā)了故障轉(zhuǎn)移。到這里整條鏈就串起來了業(yè)務(wù)延遲升高 → Redis 主從切換 → 主節(jié)點(diǎn)資源不足、內(nèi)存淘汰嚴(yán)重 → 集群規(guī)格需要擴(kuò)容。4.3 這次故障暴露的問題事后我復(fù)盤發(fā)現(xiàn)這次故障其實(shí)在半小時(shí)前就有征兆內(nèi)存監(jiān)控面板上used_memory 早就逼近 maxmemory 了只是當(dāng)時(shí)值班的人沒有把“內(nèi)存水位”和“故障轉(zhuǎn)移”這兩件事關(guān)聯(lián)起來看。所以我在 Grafana 里專門建了一個(gè)“Redis 健康總覽”面板把內(nèi)存使用率、內(nèi)存淘汰鍵數(shù)、主從切換次數(shù)、集群狀態(tài)這幾個(gè)關(guān)鍵指標(biāo)放在同一個(gè)頁面。再加一條告警規(guī)則當(dāng) Redis 內(nèi)存使用率連續(xù) 5 分鐘超過 85%并且內(nèi)存淘汰鍵數(shù)開始增長時(shí)自動升為 P1 告警。這樣下次還沒到故障轉(zhuǎn)移那一步我們就能提前介入。這套做法也可以平移到其他中間件上核心思路就是不要等故障發(fā)生了才開始定位把可能導(dǎo)致故障的隱患點(diǎn)預(yù)先做成可視化和告警故障才會真正“可控”。5. 落地過程中我踩過的坑5.1 儀表盤“好看但沒用”的陷阱做監(jiān)控可視化的第一年我花了很多時(shí)間整 Grafana 的排版、配色、交互做出來的面板截圖發(fā)到群里大家都說漂亮。但真有一次線上事故那個(gè)漂亮的儀表盤竟然沒能幫我快速定位問題我才醒過來。原因是儀表盤上的圖表粒度太粗時(shí)間范圍默認(rèn)是 6 小時(shí)故障發(fā)生前 5 分鐘的變化曲線在這種視圖下被拉平成了一條幾乎看不見的毛刺。等我手動把時(shí)間范圍縮到 15 分鐘才發(fā)現(xiàn)異常早就開始了。這是我的第一個(gè)經(jīng)驗(yàn)儀表盤默認(rèn)時(shí)間范圍一定不能太長。我自己現(xiàn)在的默認(rèn)值是 1 小時(shí)關(guān)鍵面板甚至默認(rèn) 30 分鐘。另外每個(gè)核心服務(wù)都要準(zhǔn)備兩套視圖一套是“總覽版”適合長期盯屏一套是“排障版”默認(rèn)時(shí)間短、粒度細(xì)還帶自動刷新適合點(diǎn)擊進(jìn)入后直接判斷。5.2 數(shù)據(jù)采集本身的誤差可視化監(jiān)控依賴的是采集數(shù)據(jù)但采集過程本身也會引入誤差這個(gè)很多人沒意識到。最典型的是 Prometheus 的拉取機(jī)制如果你使用scrape_interval默認(rèn)的 15 秒那某些持續(xù)時(shí)間很短的問題比如只有 30 秒的 CPU 毛刺很可能被漏掉。我還碰到過一次非常搞笑的誤判因?yàn)?node_exporter 采集腳本里用了rate()函數(shù)去計(jì)算磁盤 IO但沒有處理 counter 重置的問題導(dǎo)致磁盤 IO 指標(biāo)在 Grafana 上畫出來的曲線像鋸齒一樣瘋狂跳動告警規(guī)則差點(diǎn)誤報(bào)。所以我的建議是監(jiān)控告警規(guī)則上線之前一定要拿歷史數(shù)據(jù)“回測”一遍。把過去一周的真實(shí)指標(biāo)數(shù)據(jù)拉到告警規(guī)則里跑一遍看它會在哪些時(shí)間點(diǎn)觸發(fā)觸發(fā)的告警是不是都真實(shí)有效。這個(gè)動作成本不高但能幫你省掉深夜被誤報(bào)警吵醒的痛苦。5.3 告警渠道失靈發(fā)了等于沒發(fā)告警鏈路的最后一環(huán)是通知渠道。我遇到過企業(yè)微信機(jī)器人 webhook 地址配錯、消息發(fā)不出去結(jié)果整個(gè)團(tuán)隊(duì)在故障期間完全沒收到提醒的情況。更尷尬的是那時(shí)候所有人都在排查為什么服務(wù)沒告警結(jié)果發(fā)現(xiàn)是 webhook 掛了。這個(gè)問題的解決辦法說穿了也不復(fù)雜告警鏈路本身也要監(jiān)控。Alertmanager 自己會暴露指標(biāo)比如alertmanager_notifications_total我把這個(gè)指標(biāo)接入 Grafana并設(shè)了一條規(guī)則如果通知投遞失敗率連續(xù) 10 分鐘超過 50%就通過備用渠道短信通知到值班人。第二道保險(xiǎn)是每周自動發(fā)送一次“告警自檢報(bào)告”里面列出本周所有告警是否都成功送達(dá)。這樣至少能保證告警通道本身不成為盲區(qū)。5.4 給新手的落地順序建議最后說一下我建議的落地順序。很多人一上來就想搞一套完備的可觀測性平臺結(jié)果項(xiàng)目體量太大最后不了了之。我的建議是三步走第一步先把基礎(chǔ)監(jiān)控做扎實(shí)。用 Prometheus node_exporter 把機(jī)器指標(biāo)管理起來再接入 Grafana配上最基礎(chǔ)的 CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)告警。即使只有這些東西已經(jīng)能覆蓋相當(dāng)一部分基礎(chǔ)設(shè)施故障了。第二步接中間件和應(yīng)用指標(biāo)。把公司里最核心的 MySQL、Redis、Kafka 等組件指標(biāo)接進(jìn)來應(yīng)用自己暴露的 HTTP 指標(biāo)或 JVM 指標(biāo)也想辦法接到 Prometheus。建好 3 到 5 個(gè)核心業(yè)務(wù)儀表盤。第三步再考慮日志聯(lián)動、鏈路追蹤、告警自愈這些進(jìn)階能力。不用貪多每加一塊都要保證它是真正被用起來的不然就是維護(hù)負(fù)擔(dān)。按照這個(gè)順序走通常兩到三周就能讓監(jiān)控體系從“沒有”變成“初步可用”之后隨著對業(yè)務(wù)的深入理解再逐步迭代而不是一開始就鋪一個(gè)大攤子。我個(gè)人做了這么多年可視化運(yùn)維監(jiān)控最大的體會是監(jiān)控本質(zhì)上是在跟時(shí)間賽跑可視化、告警、鏈路追蹤所有這些技術(shù)手段最終目的都是把故障定位的時(shí)間從小時(shí)級壓縮到分鐘級。每個(gè)系統(tǒng)、每個(gè)團(tuán)隊(duì)的情況都不一樣但方向是一致的——讓故障可見、可控、可定位這三件事做到了運(yùn)維的底氣就完全不一樣了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
国产欧美大香蕉一区| 我去色色网五雨天| 五月婷综合网| 五月婷婷开心网| WWW,五月| 五月婷综合性中心| 激情深爱综合网| 六月色日韩| AAA级久久久精品| 日本乱子人伦在线视频| 久久丁香五月| 深爱1激情网| 婷婷综合成人| 国产69久久久欧美黑人A片| 天堂综合久| 丁香五月婷婷88在线| 五月丁香婷婷综合| 亚洲AV电影av| 五五月五月| 另类图片色五月| 婷婷伊人五月丁香天堂网| 五月开心婷婷网| 亚洲综合五月天婷婷丁香| 91av传媒高清在线视频网| 国产67194| 色色色色色网| 久久五月婷婷视频| 五月婷婷丁香五月婷婷丁香| 日韩精品电影| 激情五月天com| 婷婷色五月大香蕉在线| 亚洲超碰中文字幕| 久久这里有精品视频| 99热在线观看| renre人人操国产超碰在线| 亚洲精品V天堂中文字幕| 久久视屏这里只有久久| 国产毛片精品一区二区色欲黄A片| 99热 日韩| 五月丁香婷婷中文网| 超碰在线观看三级片| 天堂爱爱| 婷婷激情四射五月天| 九九婷婷网五月天| 1024婷婷综合久久五月天| 99婷婷五月天| 成人综合网站| 免费看欧美成人A片无码| 99热综合网| 99燥99日| 丁香五月激情啪啪啪| 亚洲成人网站在线观看| 国产中文亚洲欧美日韩性交| Www.se.久久| 九九热在线精品视频| 亚艹艹| 婷婷五月丁香综合激情小说| 色热久| 人操人人| 久久99三级在线视频| 国产片XXXXA片国语对白| 99热在线中文字幕| 九九干视频| 热久视频| 玖玖热视频| 九九这里精品| 亭亭社区五月天| 亚洲AV日韩无码| 中文字幕高清av| 九九婷| 国产精品久久久久久久久久| 亚洲无AV在线中文字幕| 被强行糟蹋的女人A片| 五月丁香六月激情欧美综合| 99re思思热久久| 丁香五月欧美色综合| 欧美熟妇一区二区三区| www.99成人视频| 99热青青草| 99超级碰碰| 日本三级毛片| 六月99天天婷婷激情综合| 久久久人妻系列| 婷婷五月激情综合| 天天天天爽爽天干| 99色网站| 亚洲成人无码免费| 色色色色av色色色色| 精品久热| 亚洲视频一区| 操97| 97在线/亚洲| 伦99热| 亚洲亚洲永久无码777777| 婷婷五月成人社区| 亚洲第一黄网| 日日噜噜久久婷婷五月天 | 亚洲视频色色| 第四色婷婷日本| 激情欧美五月丁香| 婷婷丁香精品视频在线观看| 激情久久天天| 久久9精品视频| 伊人青草成人| 日本三级成人秘书精品片| 噜噜噜精品欧美成人在线观看| 99色精品| 91日韩在线| 五月丁香六月婷婷啪啪| 久久久日韩特色特黄AAAA| 婷婷午夜精品久久久| 五月激情六月丁香| 婷婷伊人綜合中文字幕| 开心五月婷婷| 亚洲激情网站| 狠色综合网| 久久婷婷五月综合| 色J香五月天| 五月丁香综合啪啪| 激情五月com| 成人在线日韩欧美| 亚洲免费成人电影AV| a网站免费观看| 成人五月天视频| 亚洲丁香五月综合| 9久久精品视频| 干亚洲天堂| 人妻九九九九| www.91有码.com| 刘玥精品一区| 99re在线播放| 五月婷婷激情久久| 婷婷综合精品视频97| 98色花堂98t.R| 少妇性BBB搡BBB爽爽爽电影| 五月丁香好婷婷A片网| 1995年关宝慧版蜘蛛女| 激情网站五月| av在线资源| 天天日人人爽| 午夜做爱影院| 操丝袜视频影院导航| 丁香五月激情六月欧亚激情综合导航| 五月天色五月| 久久久99视频| 天天插天天插| 色噜噜狠狠狠综合曰曰曰| 久久激情视频| 五月天丁香婷婷社区| 国产肥白大熟妇BBBB视频| 色9999综合久久| 97精品综合| 91干视频| 色欲天天综合网| 日韩综合久| 91成人性爱视频| 五月天.com| 丁香激情五月少妇| 色色色综合| 五月婷婷激情综合网 | 婷婷中文字幕| 五月天伊人| 99热超碰在线| 五月天狠狠色| 丁香五月成人| 激情综合啪啪| 久久激情综合| 91狠狠综合久久| 婷婷综合激情| 31色区视频免费看| 久热精品在看| 如何安全看伊人婷婷| 激情久久久久久久久| 欧美综合激情五月| 婷婷涩五月天综合| 亚洲婷婷基地| 天天做天天爱| 天天艹| 玖玖爱导航| 色色网五月激情| 成人视频一区| 日韩99视频| www98日本小时间到了| 玖玖伊人网| 婷婷在线日韩综合| 97碰在线视频| 五月婷高清视频| 无码人妻一区二区三区四区| 五月婷婷视频在线观看| 五月色网| 91re色综合视频| 婷婷丁香花五月天| 丁香久久五月天视频在线观看| 中国激情网| www.日韩艹| 国产日产成人亚洲欧美国产VA| 国产综合81p| a网站免费观看| 亚洲乱码日产精品BD| 国精产品一区一区三区免费视频 | 久久五月天色婷婷| 天天插天天插| 激情综合五月天| 色五月婷婷中文字幕| 99色色视频| 久色视频| 91丨九色丨大屁股| 色婷婷伊人激情在线观看| 偷拍九九热| 婷婷丁香色情| 夜夜做夜夜愛| 人妻丰满精品一区二区A片| 五月婷婷久久久久| 天天婷婷色六月| www.色综合| 婷婷五月天综合久久日美女| 九九婷| 熟妇内谢69XXXXXA片| 久久人妻精品| 亚洲av另类在线观看| 天天射夜夜爽| 中文幕无线码中文字蜜桃| 综合色影| 少妇激情五月天| 9超碰在线| 人妻操操色| 中文av在线观看| 伊人成人宗合网| 麻豆123区| 婷婷伊人| 久久综合中文| 激情五月天99色| 99热免费18| 婷婷干五月综合在线播放| 亚洲国产99| 亚洲色五月天是什么| 国产精品美女久久久久AV超清| 九九视频精品这里只有| 欧美A片在线视频免费观看| 五月天婷婷永久免费视频| 久热在线中文字幕色999舞 | 婷婷五月综合婷婷| av高清无码| 亚洲激情网| 久久久思思热| 久久天堂女人| 日本人妻伦在线中文字幕 | 六月丁香六月婷婷欧美| 婷婷内射视频在线| 婷婷丁香社区| 亚洲丁香五月| 成人片在线播放| 天天干一干| 久久久久9| 六月婷婷在线| 亚洲人人96@| 伊人在线大香蕉网| 婷婷六月激情小说网| 激情婷婷内射| 久久综合香蕉国产国产蜜臀AV| 久久九九免费视频| 678五月丁香亚洲综合| 色玖玖网| 大香蕉久操| 黄色成人网站在线播放| 五月色综合| 久久九九免费大视频| 操精品9| 91狠狠综合久久| 婷婷五亚洲| 久久五月天精品视频| 欧美色必爱| 色婷婷久久综合中文久久一本| 五月天停停成人网| 久久精品视频在这里有| 色色性爱视频| 极品另类| 色婷婷综合视频| 婷婷深爱五月天| 射久久丁香五月| 丁香五月天欧洲在线| 黄久久久| 在线观看欧美3区| 国产成人精品一区二三区熟女在线 | 日韩啪啪网| 婷婷久久网| 中文字幕人妻一区二区| 色婷婷先锋| 丁香久久久| 第四色网婷婷| 99热资源在线| 久久美女五月天| 操操啪| 国产毛片欧美毛片久久久| 九九在线视频| 欧美熟女视频 色婷婷| 秋霞av吧| 荫道BBWBBB高潮潮喷| 99热66| 久机视频这只有精品| 99久久婷婷国产综合| 久久精品综合色| 激情文学 综合 九月| 美女被肏网站在线看| 婷婷丁香五月基地| 婷婷色情网| 久久久久久久,99精品视频| 婷婷六月偷拍| 精品亚洲国产成AV人片传媒| 老师把我爽高潮了免费A片| 伊人玖玖婷婷| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 操逼巨乳91| 色婷婷狠狠18禁| 一本色道久久综合狠狠躁小说| 久久精品小视频| 99热在线播放| 精品怡红九九九| Caoub青青超碰 | 播五月,色五月,开心五月播放器| 婷婷丁香激情综合色情| 欧美色必爱| 日本色天堂| 99热碰碰| 夜夜夜夜做天天天做无码视频| 欧美激情中文字幕| 九九激情| 丁香五月五月婷婷欧美大香蕉| 丁香丁香激情网| 精品亚洲国产成AV人片传媒| 日韩综合久| a色色色色色| 操逼五月婷婷| 丁香六月成人| 婷婷激情五月天桃花网| 26uuu欧美日韩| 79色色免费| 日韩啊啊啊| 精品,99| 五月婷婷大香蕉| 蜜桃五月天色| 90色免费视频| 九九草热在线观看| 开心婷婷五月天电影院| 欧美中文五月天| 免费无码毛片一区二区A片 | 日本色99| 激情内射人妻1区2区3区| 啪到高潮激情丁香五月| 99er视频在线| 免费在线a| 亚洲中文字幕在线观看| 久久免费视频62| 桔色成人在线| 免费视频WWW在线观看网站| 97热精品| 98色花堂98t.R| 色狠狠色综合| 国产精品视频久久99| 中文网AV| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 9999色色色色| 五月激香蕉网| 77799热| 玖玖午夜视频| 97在线视频人妻九色| 欧洲激情精品婷婷| 9热在线观看| 夜夜干 夜夜操| 日韩有码久久| 91人人网| 欧美久久网| 猫咪伊人久久| 国产av网| 久久婷婷热| 99热在线免费观看精品| 伊人久久大香线蕉精品| 亚洲无码色| 婷婷色网站| 激情综合网五月婷婷| 欧美噜噜噜草| 少妇性BBB搡BBB爽爽爽电影| 99er在线观看| 婷婷综合久久综合| 9999三级片| 五月天啪啪| 婷婷五月永远18免费久久久| 97luluse| 色婷视频| 99热免| 国产精品操| 久久九九思思| 99精品综合| 四月婷婷五月丁香| 99热成人在线| 三十路磁力链接| 一区二区免费看| 天天综合精品| 综合久久六月| 色色色国产| bbwcuckold精品熟妇| 婷婷激情五月呦呦| www.五月天| 五月婷婷基地| 欧美啪啪9| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 五月丁香777| 啪啪五月天啪啪| 久久五月视频| www.超碰在线| 色五月综合| 色吊丝中文字幕| 影音先锋一区| www.99视频| 婷婷四色五月| 狠狠干.com| 蜜桃人妻无码AV天堂三区| 激情婷婷五月| 色色色综合色| 99在线视频精品| 99日本精品视频热| 人妻AV在线观看| 婷五月天丁香婷五月| 97干干干丁香| 少妇人妻偷人精品无码视频新浪| 色99视频| 天天操夜夜操| 亚洲性爱AV在线| 97久久久久久久久久久| 4438全国最大视频成人网站在线观看| 久久伊人婷| 婷婷自拍| 一级黄色影片| 五月丁香WWW| 色欲香综合网| 婷婷色网站| 亚洲妇女熟BBW| 国产欧美熟妇另类久久久| 99热99色| 91 久热| 欧美日韩中国| 丁香婷婷五月天激情四射| 婷婷综合精品| 色婷婷综合五月| 丁香五月综合在线| 天天做天天爱天天爽| 玖玖资源在线视频| 99热8| 思思久久99热只有频精品66| 婷婷亚洲丁香五月| 99.色| 国精产品久久| 4438激情网| 97碰免费视频在线| 国产精品国产成人国产三级| 在线91日韩| 日本三级中文字幕| 色婷五月天| 婷婷丁香社区| 99久久精品国产色欲| 欧美群妇大交乱婬网| 狠狠五月综合在线| 99亚州综合精品成人网| 色操综合| 我爱婷婷五月天综合88| 影音先锋偷偷色男人站| 久久人人做人人妻人人玩精品va| 五月婷婷综合激情网| 天天摸日日舔狠狠添婷婷婷| 99热这里只有精品首页| 中文资源在线a| 五月天激情四射| av网站不卡在线| av成人在线播放| 九九在线视频| 十月丁香婷婷| 八戒青柠影视剧在线观看| 日本www五月婷婷| AV在线免费播放| 熟妇内谢69XXXXXA片| 操操国产| 婷婷丁香18| 99精品成人无码A片观看金桔| 婷婷成人AV| 成人九九视频| 国产乱子轮XXX农村| 色综合久久天天综合网| 99精品久久久久久久婷婷| 天天综合网色欲香| 欧美成人五月天| 亚洲婷婷成人五月天| 99热在线观看| 久久五月丁香综合17C| 亚洲99热| 梁铮版《蜘蛛女侠》在线| 亚色网站小视频| 伊人久久婷婷| 亭亭五月基地在线| 九九热最新| 91碰碰视频在线观看| 99在线热| 五月天婷婷色在线视频免费观看 | 激情婷婷五月丁香啪啪啪| 五月综合六月丁| 曰韩五月丁香色婷婷无码| 99综合视频| 欧美精品18| www.色婷婷.com| 日夜操B| 就爱日五月天| 九一99| 久99久视频精品| 蜜乳国产网站| 久久婷婷综合拍| 色婷婷六月| 综合激情在线视频| 亚洲无码色| 九九热视频免费的| 97色色婷婷五月天| 中国女人做爰A片| 亚洲激情婷婷| 天天日夜夜高潮| 五月婷婷五月丁香综合| 青青草婷婷久久| 成人做爰高潮A片免费视频| Av九九| 停停五月天激情网| 日本成人噜噜噜噜噜| 77777亚洲午夜久久| 婷婷丁香无码专区| 欧洲亚洲免费视频9| 五月天婷婷永久免费视频| 婷婷久久五月| 欧日美女Va| 五月婷色色| 99色精品| 激情婷婷视频在线| 日韩国产在线免费观看| 超碰伊人碰婷婷五月| 9久热视频| 无码 av电影| 国产毛片欧美毛片久久久 | 婷婷五月天天天日日夜夜| 国产操B视频| 久久婷婷亚洲无码一起| 九艹在线| 成人在线视频网| 色婷婷综合久久久久| 97人妻碰碰碰久久香蕉| 综合另类视频| 精品色色| 99综合网| 日韩一级一片内射视频4K| 国外亚洲成AV人片在线观看| 国产毛片精品一区二区色欲黄A片| AV大香蕉| 日本久久激情| 久久天堂女人| 日本乱论99| 日韩无码91| 欧美色色色色色色| 婷婷丁香成人| 丁香五月婷婷综合视频| 五月丁香六月婷婷不卡免费无码 | 99热99免费| 五月综合激情视频| 激情色色色| 99热久草| 国产婷婷综合| 色激情五月天| 日韩丁香涩| 97成人丁香| 五月婷婷 自拍| 91久久免费| 免费婷婷| 激情五月天啪啪| 色婷婷成人影片| 婷婷六月天激情影院| 综合色激情| 久久电影4399| 1024婷婷综合久久五月天| 久久精品系列| 欧韩性爱| 国产精品五月天婷婷| 中文在线成人| 国产激情视频在线观看| 天天干天天av天天射| 五月天婷婷亚洲| 久久婷婷热| 五月天亚洲最大成人| 亚洲激情网站| 日韩欧美一级大黄网站| 色天堂婷婷| 丁香婷婷六月| 五月丁香啪啪激情| 丁香六月毛片| AV五月丁香| 日日夜夜干| 日韩啪图| 久久久久久久久久久久久久人妻视频| 亚洲激情综合免费| 26uuu欧美日本| 北京熟妇搡BBBB搡BBBB| 999久久久国产精品| 婷婷久久午夜网| 五月婷婷丁香狠狠撸久久| 色婷婷激情五月天| 天天日天天爽| 色九九九综合| 开心久久xxx色| 久久久久久久8| 五月婷六月综合在线观看| 人人爽欧美婷婷久久久五月丁香| 亚洲色热| 久久人妻少妇嫩草AV| 色色五月天丁香婷婷| 久思思久视频| 婷婷成人视频| 91男人操女人视频| www.日本久久videos| 婷婷六月五月| 成人国产欧美大片一区| 国产老熟妇亲子乱对白| 婷婷五月天六月| 日日综合网| 久久99免费视屏| 久久综合网免费视频| 影音先锋天天日| 精品久久久中文字幕大豆网推荐理由| 激情四射五月天| www.日日夜夜.com| 精品人妻一区二区三区在| 丁香九月婷| 婷婷丁香五月综合激情小说| 亚洲婷婷五月天| 五月伊人网| 狠狠色狠狠操| 五月婷婷性爱网| 无码一区二区三区四区五区| 婷婷永久在线| 精品九九网| 草婷婷在线| 夜夜操夜夜姧| 91操人| 无码橾| 99爱免费视频| 影音先锋91网站在线观看| 激情久久久| 久久机热这里只有精品| 亚洲字幕AV一区二区三区四区| 思思热这里只有精品视频666| 五月天精品| www91色网站| 五月天激情婷婷五月天久久| 色99热| 激情婷婷九月| 99精品在线观看视频| 91久久18| cc精品国产性传播| 狠狠婷婷综合| 国产精品A片| 97超碰,人人舔,人人操,人人摸 | 97人妻碰碰碰久久香蕉| 九九青草热| 亚洲丁香五月天视频| 夜色五月天| 五月婷婷影视| 成人久碰| 五月婷婷丁香在线| 色涩影院六月丁香| 婷婷六月综合基地| 丁香五月AV| 五月婷婷激情| 大香人妻| 色情五月婷婷| 国产超碰人人| 天天久综合| 婷婷性爱视频在线| 成人电影AV在线观看| 另类图片激情五月| 99热偷拍| 夜夜骑操AV| 极品人妻VIDEOSSS人妻 | www超碰| 久一这里有精品国产| 五月天激情小说| 亚洲AV激情五月综合网| 97碰碰碰免费公开在线视频| 欧美色色色| 天色色综合网| 操人久久| 五月开心婷婷网| 91精品丝袜久久久久久| sS丁香五月婷婷| 亚洲精品无人区| 五月丁香六月婷婷网站| 小色小蛇伊人婷婷色香五月| 成人视屏在线观看| 干婷婷五月天| 91干99| 1024操逼视频| 五月丁香综合激情在线观看| 欧美日韩二区在线| 激情五月丁香六月综合AVXXXX| 丁香六月激情| 图片区 小说区 区 亚洲五月| 色婷婷五月天在线| 婷婷五月天中文字幕| 婷婷色播婷婷| 色五月婷婷五月久久| 影音先锋91视频| 九色自拍| 天堂婷婷丁香六月网| 97艹| 色五月婷婷久久| 日本熟妇人妻在线| 操久久精| 国产午夜精品AV一区二区麻豆| 思思精品热在线| 丁香婷婷五月激情| 国产69精品久久久久999小说| 激情五月天激情小说| 五月丁香久久| 色八戒操婷婷| 五月婷婷丁香六月| 丁香五月天婷婷激情| 精品国产va久久久久| 97久久久| 噜噜视频| 日韩成人网站精品久久大全| 欧美日韩精品一区二区三区钱| 久久9视频| 五月婷婷婷自由综合| 黄色精品五月婷婷| 激情图片亚洲| 超碰免费在线| 亚洲国产精品VA在线看黑人| 五月天激情在线视频| 黄色高清无码| 婷婷色色五月天| 这里只有精品视频在线| 日本色噜| 五月丁香激情综合啪啪| 婷婷五月天99综合网站| 亚洲中文字幕网| 久久久五月四色| 99er日韩| 九九综合网色全集| 伊人丁香在线| 日本欧美成人片AAAA| 五月婷婷丁香婷婷| 五月丁香久久激情网| 五月丁香色色| 综合九色| 日韩艹比| 中文字幕在线免费观看视频| 婷婷色五月开心五月| 婷婷五月中文字幕国产| 亚洲综合在线伊人婷| 婷色影院| 欧美在线干| 天天操加勒比| 五月天婷久精视频| 午夜丁香六月婷| 99九九精品| 超碰国产在线观看| a毛片二逼wwwwwwwwww| 狠狠色综合网| 狼人久草| 色玖玖| 97九色视频| 久机视频这只有精品| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 中日韩美欧成人一区二区精品在线| 色啪综合| 综激情网| 国产激情av| 日本美女五月天| 婷婷五月天中文字幕| 日本激情五月| 亚洲色色色色| 久久996re热这里只有精品无码| 91婷婷丁香五月天免费视频网站| 婷婷五月激情欧美| 色婷婷超碰| 激情伊人网| www,超碰| 久久综合影院| 开心五月婷婷婷美女| 丁香五月综合无码趴趴| 九九婷婷热| 狠狠干五月| www.婷婷com| 久久婷婷五月综合色丁香花| 五月日韩中文字幕| 一二线视频 另类| 国产麻豆视频| 大香蕉久久视频久久视频 | 九九色综合网| 色色色com| 99热99色| 大地资源色婷婷视频在线| 日日操夜夜撸| 色婷婷丁香五月天| 性做久久久久久久免费看| 粉嫩AV久久一区二区三区| 久久小说| 亚洲色区17| 婷婷九月丁香天堂丁香天堂| 黄色片精品| 一本色道久久88加勒比—| 五月婷婷黄| 国产婷婷五月天| 色情丁香五月婷婷精品| 亚洲熟女色| 成人短视频在线观看| 久久草人妻| 久久996re热这里只有精品无码| 第四色五月激情网| 亚洲男人的天堂婷婷色五月| 综合一本道| 另类视在线| 九九热只有精品| 久久人妻视频| 精品国婬伦V无码久久久| 操逼电影免费看| 欧美图片丁香五月天| 五月丁香啪啪网| 激情开心五月婷婷| 亚洲激情电影五月天色婷婷丁香一起草 | 丁香五月无码| 欧美性丁香色色五月天干干| 五月丁香91| 国产成人网址| 草了bav视频在线观看| 任你干线上免费视频有3吗| 日本乱论99| 欧美群妇大交乱婬网| 蜜臀九九九九| 色婷婷色99国产综合精品| 欧美人妻一区二区| 丁香五月亚洲综合丝袜| 国产无人区大片| 久久五月天合网| 我爱婷婷五月天综合88| 久色| 丁香五月婷婷五月| 就爱日五月天| 91chinese在线| www五月天激情com| 五月丁香婷婷基地| 97caop| 伊人久久大香蕉网| 丁香婷婷五月天色播| 桃色激情网| 色色婷婷丁香| 婷婷色六月| 快乐婷婷五月天| 91精品综合久久久久久五月丁香| 久操热| 天堂久久久久天堂网| 亚洲一级色电影| 99热这里只有精品50| 玖玖爱伊人| EEUSS鲁片一区二区三区| 色久一| 婷婷丁香五| 色色综合激情| 中文字幕日本最新乱码视频| 91精品啪| 丁香五月婷婷亚洲综合精品在线| 欧美这里只有精品| 欧美激情综合五月色丁香| 亚洲啪啪网| 99久久久国产精品免费蜜乳tv| 日本高清久久| 日韩伊人大香蕉| 激情五月丁香在线观看直播| 久草大| 99福利视频导航| 色狠狠激情五月| 丁香五月婷婷av| 丁香五月天91| 丁香婷婷激情五月| 婷婷射丁香| 久久五月婷综合网| 先锋资源 996| 夜夜操狠狠操| 色色色婷婷五月天| 婷婷五月另类网站| 婷婷五月丁香五月| 丁香五月天网站| 亚洲精品永久久久久久| 婷婷五月丁香基| 激情涩涩网| 五月婷婷五月天| www.刺激色网站www.| 99热精国产这里只有精品| 欧美成人va| 日韩AV片| 另类 在线| www.久操| 夜夜夜夜做天天天做无码视频| 天天爽夜爽| 九九色人| 99啪啪网| 丁香五月综合久久综合| 色色COm| 五月婷婷电影院| 五月天激情图| 国产又爽又猛又粗的视频A片 | 丁香婷婷五月综合欧美另类| 69婷婷丁香午夜| 婷婷五月天丁香| 久久黄色网扯| 色色色综合网| 六月婷婷俺也去| 夜夜 操无码| 青青草tp| 狠狠色综合网站久久久久| 97涩婷婷| 欧美美美女性色视频| 影音先锋AV资源男人站| 九九久久视频| 97人人干视频| 久久激情五月网| AV在线二十六页| 日韩视频99| 婷婷影院欧美| 久久婷婷五月综合| 亚洲成人在线综合| 欧美综合五月丁香六月婷| 超碰人人艹| 色色色成人网| 激情色中文| 搡BBBB搡BBB搡18| 啄木鸟黑丝一区二区| 久热在线中文字幕色999舞| 日本熟妇人妻在线| 26uuuuuuuu国产| 丁香五月狠狠在线观看| 久热这里只有精品66| 色插人人| 热99在线| 亚洲中文字幕在线电影| 天天色天天爱天天爱天天爱y| 大香蕉在线观看9| 婷婷五月天激情综合深爱激情| 亚洲精品另类| 操操自拍| 日日骑夜夜撸| 疯狂做受XXXX高潮A片动画| 色五月激情基地| 成片免费观看大全| 亚欧州精品视频| 丁香色六月| 天天综合精品| 九一99| h亚洲| 丁香五月天之婷婷影院| 六月丁香五月激情网| 亚洲蜜桃精久久久久久久久久久久| 五月婷婷色情| 免费看片操逼| 久热伊人| 五月天婷婷开心| 淫荡A片| 六月丁香深深爱| 色综合77777| 影音先锋天天日| 热九九在线| 在线观看视频1区| 久草狼人| 99re思思精品视频在线观看| 丁香九月色| 亚洲成人在线免费| 激情综合网五月天天| 色婷婷91激情小说| 亚洲综合五月天婷婷丁香| 伊人五月婷婷| www.色色com| 久久久久这里只有精品| 另类视频丁香五月| 9精品在线| 午夜丁香| 激情五月天电影| 国产片天天爽夜夜爽| 亚洲乱码日产精品BD| 丁香婷婷六月男男| 日本人妻丁香婷婷久久寝取熟女五月| 久热视频97AV在线观看| 五月天色色色| 亚洲人妻五月丁香婷婷| 99综合网| 6 9式性爱视频在线播放| 成人AV免费观看| 婷婷丁香激情五月天色色| AV在线大香蕉| 九九九九热99超碰| 激情久久久| 天天爽免费视频| 久久五月天色婷婷| www.91在线看| 久草热8精品视频在线观看| 婷婷色五月色| 天天日夜夜高潮| 久久久欧美精品sm网站| www.金莲av| 丁香五月人妻| 久久久这里有精品| 亚洲五月婷婷在线| 九九九九综合| 日韩在线观看网址| 日本一级一级一级一级| 久久九九视频| 天天干天天日天天插| 伊人大香蕉在线视频| 国产精品美女久久久久AV超清| 色婷婷综合久久久久| 婷婷五月花丁香| 色播丁香五月婷婷操:屄| 97久人人| 国产黄色大片| 婷婷综合网| 人妻久久婷婷| 综合激情站| 亚洲综合狠狠艹| 五月天开心激情网色欲无码| 色婷婷综合综合网| 婷婷五月激情视频网| BBWCUCKOLD精品熟妇| 97碰| 婷婷五月情| 欧美色色色| 婷婷爱综合| 五月天婷婷基地| 伊人五月综合网| 色婷婷久久9.com| 五月色情| 久久婷婷五月综合| 午夜丁香| 超碰在线9| 亚洲成人中心| 天天爽天天摸天天爱| 3www激情| 亚洲综合狠狠艹| 在线综合婷婷| 99热免费网站| 久热99| 亚洲精品无码久久| www色色色com| 91成人视频| 91视频五月丁香| 欧美熟妇一区二区三区| 激情婷婷综合网| 综合激情九月婷婷,激情综合婷婷中文字| 综合婷婷| 激情综合色| 五月香婷婷| 久久9精品| 亚洲另类婷婷综合| 五月丁香无码| 欧美综合123区| 91色操| 精品人妻一区二区| 5五月综合网亚洲| 五月天综合在线观看视频| 亚洲热久久| 丁香婷婷深情五月亚洲| 五月天黄色激情小说| 久久成人天| 99热777| av性爱网站| 色色色国产| 婷婷五月天黄色小说| 五月开心色| 五月色影院| 久99久热| 91青娱乐青青草| 丁香五月天资源网| WWW99热| www.色婷婷| 婷婷丁香六月| 日韩黄色影院| 99久久婷婷国产综合精品电影| 91在线97视频| 日本天堂久久| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 丁香五月影院| 97狠狠色| 激情五月天色色网| 国产午夜精品AV一区二区麻豆| www.五月天| 天天狠狠综合精区| 日韩成人影片在线观看| 亚洲综合在线播放| 日韩婷婷| 2025最新亚洲激情在线| 就去涩涩丁香五月天| 狠狠干在线| 91视频一起草| 91色婷婷综合久久中文字幕二区| 99热在线观看| 婷婷天天五月天| 六月丁香狠狠爱| 黄网网站在线播放| 丁香婷婷综合五月天| 激情五月婷婷老师| 操逼巨乳91| 五月天色丁香| 久久久国产精品黄毛片| 五月丁香久久激情综合| 久久色五月天| aaaaaa片| 天天日综合| 天天操天天操天天操天天操天天操| 中国丰满熟女A片免费观| 69久久久| 五月婷网| 久久99这里只有精品视频| 日本狠狠色| 激情第四色| 在线91日韩| 97碰碰人人| 99性感视频| 91九色中文| 99在线精品免费视频| 操逼综合网| 99热r| 五月丁香婷爱在线| 99爱视频| 丁香六月av| 久久色亭亭五月天| 婷婷五月天狠狠| 色色综合视频| 热99视频精品| 婷婷五月中文在线| 色九网| www.超碰在线| 99视频这里只有免费精品| 尔尔AV一区| 爱草视频在线观看| AA久久| 成人一区在线观看| 国产人人操| 91亚洲视频| 日韩三级视频一区二区| CAOBIBI| 亚洲AV免费国产电影| 精品亚洲日韩99欧美片| 沈娜娜av| 九久热| 婷婷97色| 色婷婷丁香五月| 国产做爰视频免费播放| 99热在线观看| 五月综合色| 欧洲电影在线观看免费版英语版 | 影音先锋四区| 久久色婷婷| 婷婷六月色| 99超级碰免费视频| 91热爆在线| 国产毛片精品一区二区色欲黄A片| 婷婷91| 欧美性爱五月天| 伊人无码高清| 91干婷婷| 九九精品re免费视频| 国产三级在线播放| 九九av在线| 五月丁香无码| 激情综合自拍五月婷婷色五月| 狠狠狠狠狠狠狠狠草| 久久机热思思热| 这里只有精品视频99| 26uuu日韩| 久色网| 亚洲亚洲人成综合网络| 午夜微拍福利| 六月婷婷av| 丁香综合伊人| 国产成人va在线| 婷婷香五月综合激情| 色情五月综合婷婷| 九九亚洲视频| 色综合久久88色综合天天99| 五月天色社区| 97超碰婷婷五月天| 2013AV天堂| 五月丁香六月激情综合| 99热思思在线观看| 激情综合网,婷婷五月天| www.色五月| 人妻久久久| 国产av第一专区| 婷婷六月啪啪| yazhouzonghesese| 婷婷五月丁香五月| 国产真人做爰视频免费| 中文字幕久久婷九女同| 超碰人人在线| 婷婷激情丁五月| 影音先锋一区| 久久艹 五月天| 五月香婷婷| 99热这里只有精品一区| 五月天色婷婷网| 一起草av| av一区二区电影免费在线观看| 久热91精品| 这里只有精品视频一区| 大香蕉精品视频| 两性婷婷丁香五月| 婷婷四色五月| 日日舔夜夜操| 亚洲精品亚洲人成人网| 欧美三级级99久久| 九九热这里精品| 色啪影院| 综合久久婷婷99| 香蕉久久国产AV一区二区| 亚洲另类婷婷五月综合| 人人澡玖玖一| 亚洲性爱AV| 99热这里只有精品13| 人妻久久久| 另类五月激情| 激情久久久久久| 天天爽天天摸人妻综合网| 色色色热| a毛片二逼wwwwwwwwww| 97色婷婷| 亚洲无码色色| 农村熟妇高潮精品A片| 婷婷五月综合网| 一区二区中文字幕| 激情99| 七七色综合| 伊人午夜综合色啪| 天天操天天干天天日| 九九九九大香蕉| 五月成人天| 五月婷婷综合激情小说| 五月激情婷婷图片基地| 亚洲成人高清在线| 五月婷婷色色网址| 日韩另类| 色婷婷九月| 久一网站| 大香蕉久久婷婷精品综合| 色99xx| 影音先锋人妻出差| 91五月天| 婷婷日在线观看| www,天天干| 欧美婷婷丁香五月| 丁香婷婷在线| 另类婷婷五月天啪帕帕| 91欧美| 天天色播| 大香蕉免费9| 天天婷婷综合亚洲亚洲| 97精品综合久久| www.天天色综合| AV性爱网|