欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓

Logstash性能排查實戰(zhàn):JVM調(diào)優(yōu)解決Kafka積壓 說句實話以前看到“JVM調(diào)優(yōu)”這四個字我腦子里第一時間蹦出來的也是“八股文”內(nèi)存模型、GC算法、類加載機制、雙親委派……背得滾瓜爛熟但真正到了線上面對一個“瘋了一樣吞CPU卻不吐結(jié)果”的Java進程還是會有點手足無措。這次Logstash性能問題排查記錄就是一次把“面試題”重新拆成“排查工具”的完整過程——我打算把它原原本本寫出來如果你也在維護ELK這套日志管道或者正在被Kafka消費延遲、日志積壓這類問題折磨這篇應(yīng)該能給你省下不少彎路。這篇文章不會講太多花哨的理論重點是一臺Logstash在高峰期卡死之后我如何通過JVM自帶工具、GC日志分析、啟動參數(shù)調(diào)整一步步找到根因并最終恢復(fù)吞吐量的全過程。中間會穿插我踩過的坑、查過的資料、以及最終沉淀下來的一套參數(shù)配置。不管你是剛接觸Logstash的運維新手還是后端Java開發(fā)想借實例真正理解JVM調(diào)優(yōu)這篇文章都按“現(xiàn)象 → 分析 → 操作 → 復(fù)盤”的順序來寫可以直接照著做。1. 問題是怎么發(fā)生的Kafka Lag 突然翹了上來先說下當時的架構(gòu)線上日志通過Filebeat采集發(fā)到Kafka再由Logstash消費并清洗最后寫入Elasticsearch做檢索。這套鏈路跑了大半年一直很穩(wěn)直到某一天流量高峰監(jiān)控面板上的Kafka消費延遲Consumer Lag曲線突然像坐了火箭一樣往上竄。一開始我以為是Elasticsearch寫入變慢了因為Logstash的寫入端和數(shù)據(jù)量直接掛鉤但查了一圈ES的bulk隊列、線程池、慢日志都正常索引速率也沒掉那問題大概率就出在Logstash本身。1.1 現(xiàn)象描述進程活著但就是不吐數(shù)據(jù)登錄服務(wù)器敲幾條命令CPU占用直接飆到百分之八九百但看一眼Logstash的監(jiān)控指標事件處理速率卻不升反降Kafka里積壓的消息越來越多。最氣人的是進程沒有掛日志里也沒有明顯異??雌饋怼耙磺姓!睂嶋H上數(shù)據(jù)就是卡在里面出不去。這是最典型的“假死”狀態(tài)——進程活著線程也占著但真正的處理能力已經(jīng)崩潰了。我當時的第一個反應(yīng)是檢查Logstash的管道配置懷疑是不是filter里的grok正則寫得太復(fù)雜或者某個插件在高峰時段出現(xiàn)了阻塞。但把pipeline的worker數(shù)和batch size隨便改了幾下重啟之后問題并沒有實質(zhì)改善。這時候我才意識到問題的根源可能不在Logstash的業(yè)務(wù)處理邏輯上而是承載它的JVM環(huán)境已經(jīng)處于“亞健康”狀態(tài)了。1.2 初步判斷Logstash性能問題先別急著懷疑管道很多人有一個誤區(qū)Logstash處理性能慢了第一反應(yīng)就是加filter、調(diào)grok、換插件很少有人會去想JVM本身是不是已經(jīng)不行了。但Logstash的本質(zhì)是一個跑在JRuby上的Java應(yīng)用它的所有事件處理、隊列緩沖、內(nèi)存分配全部依賴底層JVM的健康程度。JVM堆內(nèi)存、垃圾回收、JIT編譯這些“聽起來像八股文”的東西在高壓場景下會直接決定Logstash是每秒處理一萬條還是每秒處理一千條。所以排查思路從這一步開始轉(zhuǎn)變不再盯著Logstash的管道配置看而是把它當成一個普通的Java進程先用JVM的視角去體檢。這里也順帶說明一下網(wǎng)上經(jīng)常有人問“JDK、JVM、JRE有什么區(qū)別”——簡單來說JRE是Java運行環(huán)境JVM是JRE核心里真正負責執(zhí)行字節(jié)碼的虛擬機JDK則是開發(fā)工具包。Logstash自帶JRuby和Java運行時所以它本質(zhì)上就是一個“套了Ruby皮的Java程序”所有Java系的JVM調(diào)優(yōu)知識在它身上完全適用。2. 把Logstash當Java應(yīng)用來查先看懂JVM在干什么既然決定按Java應(yīng)用的思路排查那第一步就是把JVM的內(nèi)存模型、GC機制這些“八股文基礎(chǔ)”重新?lián)炱饋硪驗楹竺嫠蟹治龆冀⒃谶@上面。很多情況下不懂原理的人拿到j(luò)stat輸出只會看數(shù)字而懂原理的人能從數(shù)字倒推出一整套現(xiàn)場還原。2.1 JVM內(nèi)存模型快速復(fù)習(xí)堆、元空間、線程棧和直接內(nèi)存JVM運行時數(shù)據(jù)區(qū)可以粗略分成四塊堆內(nèi)存Heap用來存放對象實例是GC回收的主戰(zhàn)場元空間Metaspace存放類元數(shù)據(jù)在Java 8之后替代了永久代默認情況下只受本機內(nèi)存限制但類加載過多也可能撐爆虛擬機棧Stack是線程私有的每個線程執(zhí)行方法時都會創(chuàng)建棧幀棧深度過大就會拋StackOverflowError還有一塊是直接內(nèi)存Direct MemoryNIO和Netty用得最多不在堆內(nèi)但在物理內(nèi)存里如果做網(wǎng)絡(luò)傳輸時分配太多同樣可能觸發(fā)OOM。Logstash這種數(shù)據(jù)處理型應(yīng)用最敏感的就是堆內(nèi)存。因為每條日志進來都會被包裝成Logstash::Event對象還有中間的各種String、Hash全都住在堆上。堆如果設(shè)置得不對垃圾回收就會頻繁發(fā)生輕則吞吐下降重則進程假死。2.2 排查工具組合拳top、jstat、jmap、jstack怎么配合登錄到Logstash所在機器我會按以下順序操作先用top -Hp查看進程的CPU和內(nèi)存占用確認是不是某個線程在瘋狂自旋。Logstash啟動后會有一個獨立的JRuby運行時很多線程名都帶jruby關(guān)鍵字如果發(fā)現(xiàn)某個線程CPU占用異常高說明它正在反復(fù)執(zhí)行代碼或頻繁觸發(fā)GC。用jps -l確認Logstash進程的PID然后jstat -gcutil 1000觀察每秒的GC情況。這一步能立刻判斷出當前GC頻率、單次GC耗時、老年代使用率等關(guān)鍵指標。用jmap -heap 看當前堆的分配情況和各分代使用率特別是Eden區(qū)和老年代的比例是否合理。如果懷疑線程卡住用jstack 抓線程快照看看JRuby的工作線程是不是阻塞在某個地方。這里我想重點說一下gcutil輸出里的幾個字段E代表Eden區(qū)使用率O代表老年代使用率FGC是Full GC發(fā)生次數(shù)FGCT是Full GC累計耗時。如果FGC在短時間內(nèi)快速增長FGCT占比很高基本就能斷定系統(tǒng)正在被垃圾回收拖死。GC本身是為了騰出空間但Full GC觸發(fā)時會“停止整個世界”Stop The World簡稱STW應(yīng)用線程全部暫停這期間Logstash完全無法處理數(shù)據(jù)。2.3 現(xiàn)場抓到的證據(jù)GC日志不會騙人當時我連續(xù)觀察了差不多五分鐘jstat的輸出大致是下面這個樣子S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 92.34 95.67 98.12 96.45 1123 18.23 47 23.81 42.04 0.00 0.00 94.12 96.02 98.20 96.50 1124 18.25 48 24.95 43.20 0.00 0.00 95.78 96.89 98.25 96.52 1125 18.28 49 26.03 44.31看得出什么Eden區(qū)使用率一直維持在90%以上老年代也一直在95%左右徘徊Full GC幾乎每10秒就會來一次而且每次FGCT都在1秒以上。翻譯成人話就是堆內(nèi)存不夠用了JVM疲于奔命地做垃圾回收但回收完了馬上又填滿根本沒有足夠的空間讓數(shù)據(jù)處理線程順暢跑。這就像一個人一邊工作一邊不停地打掃房間房間卻永遠堆滿東西工作效率能高才怪。3. 根因分析為什么默認配置撐不住高峰日志量拿到這些數(shù)據(jù)之后我心里基本有數(shù)了但還是要搞清楚一個最關(guān)鍵的問題為什么之前一直沒事偏偏這段時間出問題這就得從頭檢查Logstash的默認JVM配置和數(shù)據(jù)量增長情況。3.1 堆內(nèi)存太小默認1GB根本只夠“自家日用”Logstash的默認JVM堆大小是1GB這個數(shù)值在官方文檔里寫得很清楚除非你通過LS_HEAP_SIZE或jvm.options里的-Xmx參數(shù)顯式指定否則它就老老實實用1GB。對很多小規(guī)模日志場景來說1GB確實夠用因為日志量小事件在高頻GC完成之前就被消費掉了。可一旦業(yè)務(wù)量漲上去比如高峰期每秒涌入幾千上萬條日志這1GB的堆就會變成瓶頸。為什么會這樣我們簡單估算一下假設(shè)一條日志原始文本平均2KB經(jīng)過系統(tǒng)解析后會變成Logstash::Event對象除了message字段還有host、path、timestamp等一堆元數(shù)據(jù)。JRuby環(huán)境下每個Ruby對象在Java層的開銷都比較大換算下來一條日志在堆里實際占用的空間差不多是原始文本的3到5倍也就是6到10KB。如果配置的批處理大小是默認的125條一批數(shù)據(jù)在堆里也就1MB左右看起來不多但架不住Logstash是持續(xù)不斷地消費和寫入在1GB堆里同時存在幾十批數(shù)據(jù)在排隊、在轉(zhuǎn)換、在等待寫入ES內(nèi)存壓力一下就上來了。3.2 G1收集器默認參數(shù)不一定適合你的場景大多數(shù)現(xiàn)代JVM默認的垃圾收集器是G1Logstash也不例外。G1的設(shè)計目標是“可預(yù)測的停頓時間”它把堆分成一個個Region然后根據(jù)各Region垃圾比例來優(yōu)先回收垃圾最多的區(qū)域理論上很優(yōu)雅。但G1對參數(shù)的敏感度也很高默認的MaxGCPauseMillis是200ms意思是JVM會盡量把每次GC停頓時長控制在200毫秒左右但這只是一個“目標”如果堆太小、對象分配太快G1為了追上分配速度依然會觸發(fā)Full GC。更麻煩的是當老年代占滿之后G1會退化到Serial Old式的Full GC這種回收是單線程執(zhí)行大范圍全堆掃描的停頓時間可能是好幾秒。這個過程對Logstash來說是毀滅性的一次幾秒鐘的STW管道里堆積的數(shù)據(jù)會成倍增長等到GC結(jié)束后瞬間把內(nèi)存又填滿然后再次觸發(fā)FGC形成惡性循環(huán)。我當時從jstat里看到FGC之后老年代使用率幾乎沒降多少就猜到已經(jīng)進入這種退化狀態(tài)了。3.3 JRuby執(zhí)行模型與批量參數(shù)Logstash性能的“命門”Logstash的pipeline配置里有幾個非常重要的參數(shù)pipeline.batch.size默認125代表每次從隊列里取多少個事件交給filter和output處理pipeline.batch.delay默認50ms代表即使沒有湊夠batch.size最多等多久也要把現(xiàn)有事件送出去pipeline.workers默認是CPU核數(shù)代表并行處理管道的線程數(shù)。這三個參數(shù)加在一起決定了Logstash處理數(shù)據(jù)的“節(jié)奏”。批處理的好處是減少JRuby和JVM之間的交互次數(shù)讓一批事件一次性完成filter和output提升吞吐。但batch.size調(diào)大的同時內(nèi)存占用也會線性上漲如果堆空間跟不上就會誘發(fā)更頻繁的GC。這就像把一個餐廳的翻臺率公式里加了一個“每桌人數(shù)”的變量每桌人越多廚房備菜的效率越高但倉庫如果不夠大食材堆不下了就只能扔掉重買——扔食材就是垃圾回收買食材就是重新加載成本全在這上面。所以批量調(diào)整和JVM堆配置必須同步考慮不能只看一頭。3.4 順帶說下-XX:CompileThreshold這類JIT參數(shù)在排查過程中我也重新研究了一個常見的面試參數(shù)-XX:CompileThreshold。它的作用是控制熱點代碼被JIT編譯為本地代碼的觸發(fā)閾值默認值在C1編譯器下是1500次方法調(diào)用在C2編譯器下是10000次左右。JRuby本身是Ruby代碼JVM對JRuby的調(diào)用棧進行C2編譯時也需要時間如果CompileThreshold設(shè)置得過高熱點方法會長時間停留在解釋執(zhí)行階段性能自然上不去。反過來如果把這個閾值調(diào)低可以讓高頻執(zhí)行的方法盡早編譯成機器碼減少解釋執(zhí)行的CPU開銷。不過說實話在實際排查過程中這個參數(shù)不是主要矛盾屬于“錦上添花”的優(yōu)化項。如果GC問題不解決把CompileThreshold調(diào)到天上也沒有意義。但了解它的存在是很重要的因為很多面試題里都會問“JVM是如何判斷熱點代碼的”這個問題放到Logstash這種解釋型語言套殼應(yīng)用上有完全不同的解讀——JRuby代碼在JVM里到底算不算“熱點”取決于這段Ruby邏輯被調(diào)用的頻率以及是否觸發(fā)了編譯閾值。4. 調(diào)優(yōu)落地一套我正在用的Logstash JVM配置確定了問題是JVM堆內(nèi)存和GC、批量參數(shù)配置不匹配之后我重新整理了整個Logstash環(huán)境。這里要特別注明以下配置是從實際場景出發(fā)做的調(diào)整不一定適合所有人但思路可復(fù)現(xiàn)先根據(jù)業(yè)務(wù)量估算內(nèi)存需求再反推JVM參數(shù)最后通過監(jiān)控驗證。4.1 堆內(nèi)存怎么定不能拍腦袋要看數(shù)據(jù)量和物理機器這臺機器是32GB內(nèi)存Elasticsearch部署在另一臺機器上所以Logstash可以安心地使用這臺機器的內(nèi)存。我第一反應(yīng)是直接把堆調(diào)到16GB但冷靜下來想了想不妥。為什么因為JVM堆之外還有Metaspace、JRuby本身的原生內(nèi)存、線程棧、網(wǎng)絡(luò)緩沖區(qū)等非堆內(nèi)存如果堆占了16GB整個進程實際占用可能輕松超過20GB。萬一物理機器還有其他任務(wù)在跑就容易觸發(fā)系統(tǒng)級別的內(nèi)存壓力甚至被內(nèi)核OOM Killer直接殺掉。Logstash官方建議堆大小不要超過系統(tǒng)內(nèi)存的50%這個建議是合理的。我最后選擇把-Xmx和-Xms都設(shè)為8GB理由也很簡單高峰期Logstash單批事件batch_size2000在堆里占用的空間大約幾十MB8GB堆可以容納足夠多的批次在隊列里排隊同時給JRuby解釋器、Metaspace、線程棧留出充足余地。Xms和Xmx設(shè)置為相同值是為了避免JVM在運行期動態(tài)擴容堆時產(chǎn)生額外開銷。對追求穩(wěn)定吞吐的在線服務(wù)來說啟動時就把堆分配好比運行中頻繁擴縮容要靠譜得多。4.2 批量參數(shù)和worker數(shù)量怎么配合關(guān)鍵是找到平衡點調(diào)整JVM參數(shù)的同時我把pipeline配置中的batch.size從125調(diào)到了2000batch.delay保持默認的50mspipeline.workers從默認值當時機器是16核所以默認16調(diào)到了8。為什么worker要減半因為數(shù)據(jù)管道不是無腦并行就能提升性能的當batch.size變大之后單個worker在一輪處理中的數(shù)據(jù)量已經(jīng)很大了如果還開16個worker并行對堆內(nèi)存的壓力和對下游ES的沖擊都會成倍增加。尤其在filter階段跑的是grok、dissect這類CPU密集型插件時線程過多反而會導(dǎo)致上下文切換開銷和頻繁GC。我建議一個比較穩(wěn)妥的起步點是pipeline.workers設(shè)置為CPU核數(shù)的一半到三分之二batch.size從500開始壓測逐步往上調(diào)到1000、1500、2000同時盯著GC監(jiān)控。如果發(fā)現(xiàn)FGC頻率上升就說明batch.size調(diào)得太激進需要回退一點。批量調(diào)優(yōu)不是越大越好這句話需要寫在墻上。4.3 完整配置參考jvm.options和pipelines.yml這是我這套環(huán)境最終使用的配置供參考# jvm.options -Xms8g -Xmx8g -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:UseStringDeduplication -XX:ParallelRefProcEnabled -XX:DisableExplicitGC -Xlog:gc*info,gcheapdebug,gcergodebug:file/usr/share/logstash/logs/gc.log:utctime,uptimemillis,level,tags:filecount5,filesize50m這里解釋幾個關(guān)鍵參數(shù)-XX:UseG1GC顯式指定G1作為垃圾回收器避免不同JDK版本默認GC行為不一致的坑。-XX:MaxGCPauseMillis200把目標停頓時間設(shè)為200ms這是Logstash默認值但顯式寫出來便于后續(xù)審計。-XX:UseStringDeduplication日志處理場景會產(chǎn)生大量重復(fù)字符串開啟去重可以降低堆占用。-XX:ParallelRefProcEnabled并行處理引用對象減少GC停頓時間。-XX:DisableExplicitGC防止第三方庫調(diào)用System.gc()觸發(fā)不必要的Full GC。Xlog參數(shù)把GC日志輸出到文件方便事后追溯這是整個調(diào)優(yōu)過程中我最后悔沒有早點做的事——日志是最好的老師。然后在pipelines.yml里核心配置如下pipeline: batch: size: 2000 delay: 50 workers: 8 max_inflight: 8192max_inflight代表管道內(nèi)允許同時存在的最大事件數(shù)默認值為batch.size * workers的兩倍我顯式設(shè)置成8192是為了給突發(fā)流量留緩沖同時避免內(nèi)存無限增長。4.4 調(diào)優(yōu)效果前后數(shù)據(jù)對比調(diào)整完并重啟Logstash之后我盯著監(jiān)控面板觀察了好久數(shù)據(jù)變化非常明顯指標調(diào)優(yōu)前調(diào)優(yōu)后Full GC頻率每10秒一次左右基本為0偶發(fā)一次Full GC平均耗時3秒以上無事件處理速率約2000 events/s波動大穩(wěn)定在10000 events/sKafka消費延遲持續(xù)增長達到分鐘級穩(wěn)定歸零CPU使用率800%以上空轉(zhuǎn)明顯300%左右各線程干實事這里我想特別提醒CPU使用率從800%降到300%看起來像是“占用變低了效率變低了”但其實恰恰相反。之前的高CPU有很大一部分是垃圾回收線程和內(nèi)存分配的消耗真正處理數(shù)據(jù)的線程一直在被STW打斷屬于“忙但不出活”。調(diào)優(yōu)后CPU降下來了但事件處理速率反而提升了五倍這才是健康的CPU占用。5. 常見報錯與避坑指南調(diào)優(yōu)過程中我還順手解決了一些Logstash運行中的經(jīng)典報錯這里整理成速查省得大家再走彎路。5.1 “stopped processing because of an error: (SystemExit) exit org.jruby”這個報錯在Logstash社區(qū)里出現(xiàn)頻率很高很多人一看到就慌了以為是管道崩潰。其實它翻譯過來的意思就是“JRuby進程主動退出了”SystemExit是一種JRuby主動拋出的退出信號。最常見的原因有三個一是進程被系統(tǒng)的OOM Killer殺掉JVM被迫退出二是Logstash啟動腳本在執(zhí)行過程中檢測到配置錯誤主動調(diào)用了System.exit三是堆內(nèi)存設(shè)置不合理導(dǎo)致OutOfMemoryErrorJRuby捕獲后以SystemExit的形式退出。排查思路分三步先看dmesg | tail確認有沒有Out of memory: Kill process的記錄再看Logstash日志里有沒有Java heap space相關(guān)的異常最后檢查jvm.options里有沒有寫錯參數(shù)。我遇到過有人把-Xmx寫成-Xms然后進程一啟動就報錯退出很隱蔽。5.2 Docker容器部署時怎么定位JVM異常重啟和GC日志現(xiàn)在很多人用Docker部署Logstash如果容器異常重啟第一反應(yīng)是docker logs看標準輸出但JVM的GC日志默認不會打到stdout而是輸出到文件或丟棄。針對這類問題我建議啟動時通過LS_JAVA_OPTS環(huán)境變量顯式指定GC日志路徑然后把對應(yīng)目錄掛載為Volume這樣即使容器重建日志也能保存下來。docker run -d \ -e LS_JAVA_OPTS-Xlog:gc*:file/usr/share/logstash/logs/gc.log:time,uptime,level,tags:filecount2,filesize20m \ -v /data/logstash/logs:/usr/share/logstash/logs \ docker.elastic.co/logstash/logstash:8.11.0另外容器里的jmap、jstack這類JDK工具可能沒有打包進鏡像。遇到這種情況可以先用docker exec -it bash看看有沒有如果沒有就只能在啟動時掛載宿主機JDK目錄進去或者用docker cp把JVM自帶的工具拷進容器。更簡單的辦法是讓Logstash開啟JMX遠程監(jiān)控從本機用jconsole或VisualVM遠程連接查看。但JMX端口暴露在公網(wǎng)有安全風險生產(chǎn)環(huán)境建議走內(nèi)網(wǎng)。5.3 集成自定義插件時容易忽略的JVM因素如果你像很多團隊一樣給Logstash集成了自定義插件那還要注意JVM層面對插件代碼的影響。JRuby調(diào)用Java API時會頻繁發(fā)生Ruby對象和Java對象的互轉(zhuǎn)這個轉(zhuǎn)換過程是有內(nèi)存開銷的。如果插件內(nèi)部創(chuàng)建了大量臨時數(shù)組或列表沒有及時釋放引用就會造成堆內(nèi)存泄漏。調(diào)優(yōu)時可以用jmap -histo:live 查看當前堆里哪些對象占用了最大空間如果發(fā)現(xiàn)自己的插件類名列前茅那基本可以斷定插件存在內(nèi)存管理問題。這在Logstash集成自定義插件時是特別容易踩的暗坑——插件功能沒毛病但內(nèi)存損耗拖垮了整個管道。5.4 調(diào)優(yōu)誤區(qū)速查表面試常見參數(shù) vs 線上實際操作最后整理一個我個人的對照表很多概念在面試題里是“考記憶”在真實場景里則要“看語境”千萬別混淆面試常見問題八股文標準回答線上真實操作JVM默認堆大小是多少物理內(nèi)存1/4要根據(jù)進程實際數(shù)據(jù)量重設(shè)別信默認值G1和CMS哪個好低停頓選G1高吞吐選Parallel先看你的停頓敏感性和內(nèi)存大小G1不是銀彈-XX:CompileThreshold有什么用控制JIT編譯觸發(fā)次數(shù)對JRuby型應(yīng)用有點幫助但優(yōu)先級靠后Full GC為什么慢要掃描整個堆實際上更可能是堆太小導(dǎo)致G1退化成了Serial OldJDK、JVM、JRE啥區(qū)別一個是開發(fā)包一個是虛擬機一個是運行環(huán)境排查時你只需要關(guān)心JVM的運行時參數(shù)和GC狀態(tài)順帶提一句網(wǎng)上經(jīng)??吹健癕axKB知識庫如何調(diào)優(yōu)”這類問題雖然MaxKB不是Logstash但它同樣是Java系服務(wù)底層邏輯一樣先看GC再看堆匹配再看線程池和批量配置。核心方法論是通用的。6. 寫在最后的個人體會這次排查前后花了大半天時間其中最浪費時間的一環(huán)恰恰是最開始“不想去碰JVM配置”的心理——總覺得Logstash日志不報錯就等于沒問題結(jié)果監(jiān)控數(shù)據(jù)狠狠打了臉。JVM調(diào)優(yōu)在面試里是八股文在線上就是保命技能差別只在于你有沒有真的拿著jstat輸出逐行分析過。調(diào)優(yōu)完成之后我痛定思痛做了一件事給所有Java系服務(wù)統(tǒng)一開啟了GC日志并且用腳本定時掃描FGCT增長率只要Full GC累計耗時在短時間內(nèi)翻倍就立刻告警。這樣一來再遇到類似問題我不用再從零開始抓現(xiàn)場直接從監(jiān)控面板和GC日志里就能把病根揪出來。我也建議大家排查性能問題時盡量“每次只改一個變量”改完給足觀察時間不要同時動堆大小、GC算法、batch size和worker數(shù)——不然你根本不知道是哪個調(diào)整起了作用又回到了猜謎游戲。最后分享一個小技巧調(diào)優(yōu)JVM參數(shù)后別急著馬上看吞吐量先看GC曲線穩(wěn)不穩(wěn)定再看Kafka Lag有沒有下降趨勢。如果GC穩(wěn)定了但吞吐還沒上來那再考慮是filter邏輯還是下游ES的問題如果GC還是像過山車一樣那堆內(nèi)存設(shè)置就還沒到位繼續(xù)調(diào)。這套判斷順序是我這次踩過坑之后總結(jié)出來的最可靠的節(jié)奏。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人电影AV在线观看| 激情婷婷五月天| 五月丁香久久精品在线观看| 超碰99热在线观看| 91人久| 亚洲视频色婷婷| 狠狠色狠狠干| 五月婷婷丁香| 香蕉狠狠爱视频| 日日操夜夜擼| 婷色五月天| 色色色综合| 久久五月丁香综合17C| 国产综合视频婷婷| 综合婷| 三男玩一女三A片| 一本色道久久综合狠狠躁小说| 精品无码av丁香五月激情| 色婷婷狠狠18yy| 人妻久久久久久久 | 黑人糟蹋人妻HD中文字幕| 97色在线| 丁香六月狠狠干| 五月天深爱激情网| 天天免费日日夜夜夜夜| 超碰狠狠色| 五月丁香六月婷婷综合在线| 六月丁香婷婷拍拍| 激情五月激情综合俺也去婷婷小说| 激情五月天婷婷色色色色色色色色色色色| 亚洲精品第一国产综合亚AV| 婷婷中文字幕网站| 91制片厂久久久国产电影| 91日韩在线| 丁香激情五月| 91超级碰碰碰| AV在线大香蕉| 在线成人网站| 激情综合婷婷| 99亚洲精品视频| AA久久| 九九色热| 大香蕉99热| 五月丁香婷婷成人网| 狠色狠色综合久久| 九九这里都是精品| 99性爱视频| 亚洲天天| 九九久久综合| 99综合网| 99热99这里有免费的精品| Av大香蕉| 五月天婷婷午夜丁香| 亚洲色久| 五月社区婷婷激情| 曰日爽日日操| 日本一级特黄大片AAAAA级| 色色com| www激情com| 深爱1激情网| 久久久人妻门| 丁香五月婷婷大香蕉| 丁香六月激情| 99热九九热| 网站免费一站二站| 免费91久久精品| 亚洲视频码| 婷婷五月天午夜激情影院| 激情婷婷五月少妇| 激情小说五月天| 久久精彩免费视频| 亚洲成人在线观看网址| 六月色播| 678五月丁香亚洲综合| 天天综合干| www.五月天婷婷姐姐| 五月天婷婷成人资源站| 婷婷少妇激情| 成AV人片一区二区三区久久| 天天玩天天摸| 九九热视频免费观看| caopeng97日韩| 激情宗合网激情五月天| 日本一级一片免费视频| 国产偷人爽久久久久久老妇APP| 亚洲蜜桃精久久久久久久久久久久| 激情小说色五月| 在线免费视频caop| 五月天激情四射| 激情五月综合视频| 天天综合精品| 荡乳尤物3HP1V5| 亚洲狠狠丁香婷婷香蕉| 日本三级中国三级99| 色婷婷婷av| 色婷婷综合网站| 99视频在线| 亚洲人妻av| 青草视频在线播放| 色婷婷av在线| 思思热在线播放| 91超级碰| 91丁香婷婷综合资源| 殴美激情综合网| 色五月天中文字幕| 久99久视频| 久久欧洲久久| 超碰93在线观看| 丁香花婷婷五月天| 综合激情五月丁香9999久久精| 天天摸日日舔狠狠添婷婷婷 | 久久婷丁香五月| 五月丁香欧美综合免费视频| 这里只有精彩视频| 日韩aaaaa| 久久婷婷九月国产精品| 色婷婷五月天激情| 久久精彩视频| 婷婷在线中文字幕| 丁香5月激情网| 婷婷亚洲五月色综合| 五月丁香激情婷婷| 精品九九久久| www.五月天婷婷姐姐| 日本99在线| 国产日韩精品SUV| 丁香六月婷婷色播| 九九热这里只有精品在线观看| 久久丁香| 九九色色色| 久久这里只有精品无码| 五月天激情小说网| 在线观看的av| 99色综合| 99在线免费视频播放| 五月婷丁香花| 欧美性爱五月天| Av在线资源| 婷婷丁香五| 91viP在线看| 亚洲一区二区 成人网站戴套| 狠狠做五月| 思思热99热| AA片在线观看视频在线播放| 天天做天天爱天天爽在| 涩五月婷婷| 黄色成人网站在线播放| 成人免费高清在线播放| 五月婷婷综合天天操| 在线五月婷婷小电影| 激情六月色| 91肏肏肏| 色五月天视频| 久久婷青青草原| 六月丁香啪| 久久久久久久91| 7777激情基地| 翔田千里 50岁 无码| 色五月美女| 先锋男人99资源| 第五色婷婷| 91九色在线视频| 九九亚洲视频| 婷婷六月丁综合| 丁香综合网| 538在线精品| 天天五月香欧美| 九热...av| 激情婷婷综合网| 日本熟女内射| 婷婷激情四射五月天| 免费观看的AV| 欧美 色婷婷| 97色伦另类图片小说视频 | 丁香五月婷婷少妇| 婷婷五月激情综合| 97干婷婷五月天| www.婷婷| 五月天六月婷婷电影| 国产精品久久久久久久久久免费| 狠狠干激情五月| 欧美精品XXXXBBBB| 激情网婷婷婷| 久草a片| 国产密乳av一区二区三区四区| av一区免费看| 67194成I人在线观看线路1| 婷婷伊人75| ai97re99一本| 久久九精品| 五月天婷婷免费| 欧洲亚洲免费视频9| 婷婷丁香激情综合色情| 高清无码网址| 色色色色色爱| 超碰93在线观看| 丁香婷婷色九月| 91九色熟女| 成人视频一区| 26uuu激情五月天| 黄色国久久| 99热国产在线| 97操视频| 九月丁香很很色| 色婷五月天综合网| 人妻免费网站| 一本久久亚洲五月婷婷| 五月丁香色婷婷综合| 久久久高清| 精品国产va久久久| 99精品国产在热久久| 激情网五月天| 五月天狠狠网| 五月婷婷新网站| www.91av.com| 狠狠色噜噜狠狠狠狠综合| 噜噜噜噜噜久| 五月婷婷丁香五月| 久热爱大香蕉在线蜜臀悦色| 色五月91| 婷婷五月精品中文字幕| 狠狠色婷婷777| 亚洲精品白浆高清久久久久久| 五月天婷婷成人资源站| 99热这里都是精品| 婷婷桃色网| 五月婷精品| 日日婷婷不卡| 丁香色色网| 天天舔天天| 五月婷啪啪| 五月亭亭六月色| 五月婷婷 婷婷五月 一区二区 久久久| 综合久久人妻| 丁香香五月激情免费视频| 久9久视频精品| 色激情五月| 日本在线视频手机播放五月婷| 久久中国毛毛片爱久久| 国产毛片精品一区二区色欲黄A片| 99在线精品在线视频| 日日爱678| 亚洲美女裸体被操在线观看| 香蕉久久国产AV一区二区| 丁香婷婷视频| 天插天啪天啪天啪| 日本欧美成人片AAAA| 亚洲激情六月丁香| 婷婷免费视频| 开心激情综合| 五月激情婷婷开心| 天天日人人| 91色在线| 色99www.| 伊人激情网| 六月丁香啪啪| 天天玩夜夜操| 色色色色综合网| 色婷婷激情五月天| 这里只有精品在线播放| 人人色性网| 99热在线精品观看| 婷婷玖玖五月天| 婷婷色色综合| 99精品偷自拍| 色噜噜狠狠色综无码久久合欧美| 九九色热| 日本欧美成人片AAAA| 97干网站| 国产在线黄色| 超碰在线9| 五月婷婷说| 激情播丁香| 伊人婷婷青青cao| 激情久久丁香| 五月天狠狠色| 五月婷视频| 秋霞AV淫| 狠狠色丁香婷婷久久综合| 久久婷婷网址| 91久久精品视频| 色综合色五月| 成人精品亚洲性爱| 久热网在线视频| 2020久久婷婷五月| 六月丁香婷婷网| 亚洲夜五月| 五月丁香六月久久| 涩涩涩,com| 日韩啪啪视频| 亚洲激情99| 国产五月天欧美色| 欧洲激情精品婷婷| 婷婷五月天基地| 综激情网| 伊人久久艹| 久久久精品AV| 人妻av在线| 久久曰曰| 婷婷在线五月天观看| 婷婷五月天影院| 久久婷婷网| 182TV亚洲| 夜夜大香蕉婷婷丁香| 色噜久| 丰满少妇乱A片无码| 激情五月综合视频| 玖玖九九99| 亚洲精品小视频| 亚洲狠狠婷婷综合久久久| 久久综合热17c| 色婷婷成人影片| 99热精品一区| 亚洲这里只有精品| 99热碰碰热| 色婷婷操逼| 婷婷丁香人妻天天爽| 99免费在线视频| 少妇被躁爽到高潮无码文| 亚洲婷婷婷| 色婷婷色丁香色欲av| 67久久| 五月天伊人久久| 七七色色综合| 情婷婷五月天在线| 国产又色又爽又黄又免费| 丁香五月激情婷婷| 久99久精品| 99精品热| 色婷小说| 婷婷在线免费| 五月婷婷五月天亚洲无码| 激情五月天激情五月天| 天天狠天天叉| 日韩av在线播放综合网| 91碰| 五月丁香婷庭在线| 五月丁香啪啪啪啪| 熟妇高潮一区av| 999精品久久久久久久| 亚洲色五月天| 九九热AV| 97香蕉人人在线观看| 丁香五月香蕉| 天天操狠狠操| 直接看的AV| 疯狂做受XXXX高潮A片| 99精品手机在线视频| 天天综合五月天| 色六月天天激情综合网| 激情综合网五月| 五月丁香黄色视频| 99人人干人人操| 99精品在线观看| 五月天激情.com| 久久婷婷五月天激情四射| 国产乱妇无乱码大黄AA片| 91av无码| 五月天自拍网| 五月激情视频| www.激情| 日本高清久久| 99riAV国产精品视频| 婷婷五月天xxx| 欧美五月婷婷| 国产午夜伦鲁鲁| 亚洲无aV在线中文字幕| 五月丁香色婷| 丁香五月天社区| 色综合色婷色基地| 狠狠色丁香婷婷综合久久97AV| 少妇人妻人伦A片| 亚洲乱码日产精品BD| 性生活视频98791| 五月丁香六月婷婷综合伊人| 五月天色区| 无码九九九九| 97精品综合| 激情综合激情综合| 中文成人在线| 五月香婷婷| 亚洲另类日本| 超级碰 久久9| 白天AV月月| 亚州操操| 2022人人操人人看| 婷婷五月天激情诱惑| 99性视频| 深爱丁香网| 99九无网码| 黄色AAAA韩国guochansanji| 蒲京久久无码视频| 激情综合五月| 色五月天激情| 五月丁香无码| 丁香五月六月综合激情| 99热丁香五月| 五月婷婷综合网| 婷婷香蕉香| 欧美97p| 色墦五月丁香| 五月色丁香综合| 丁香五月日韩| 五月丁香花视频| 激情综合网五月| 七七色综合| 久久成人精品视频| 超碰色热| 成人性爱无码| 四色五月视频| 五月天停婷基地| 永久热91| 久久总和99| 激情五月天色婷婷综合| 大香蕉丁香婷婷| 日日操,夜夜撸| 九九综合影音先锋| 97丁香五月| 67久久| 五月久久丁香| 美女伊人久久| 五月激情婷婷综合| 五月天激情综合在线| 99超级碰免费视频| www.av视频xx999.com| 色色色热| 五月婷婷影视| 欧美婷婷色五月网| 日本色图综合| 66精品国产成人| 天天综合精品| 五月天色婷婷基地| 99热第一页| 丁香五婷婷| 婷婷激情九月| 最近中文字幕大全免费版在线| 亚洲99激情| 一点色成人网| 亚洲视频图片婷婷五月| 久久激情五月婷婷| 欧美日韩91| 五月天婷婷乱| 丁香六月青青草| AV成人在线播放| 色五月综合| 久久五月视频| 丁香五月婷婷色播艳门照| 狠狠色丁香婷婷| 棕合影院色色| xx综合网| 狠狠色婷婷7777久综合| 久久婷婷视频| 亚洲五月情| 激情综合网,婷婷| 成人午夜天| 天天爽天天日天天舔| 丁香五月婷婷大香蕉| 综合久久影院| 色婷婷香蕉丁丁网| 日韩精品一区二区亚洲AV观看| 成人精品在线| 日韩乱玛久久| 深夜男女福利刺激影院一区| 亚洲国产精品VA在线看黑人| 综合XX网| 婷婷丁香五月久久| 99热精品观看| 熟女强人妻一区二区三区四区无| 无码橾| 狠狠干天天内射| 97丁香视频| 五月婷婷在线免费观看| 五月天婷婷在线AN| 五月婷婷亚洲天堂激情在线| 五月婷婷黄色毛片| 婷婷五月天基地| 99色性爰网络| 亚洲综合丁香五月| 自拍视频99| 久热伊人| 综合网五月| 色吧五月| 五月天色色色色色| 搡BBBB搡BBB搡18| 丁香五月成人婷婷| 五月天婷爱综合| 毛片新网地| 2025神马午夜福利| 婷婷综合网| 天天色宗合| 香蕉婷婷色五月| 99热69| 亚洲色无码A片一区二区麻豆| 色噜噜狠狠色综无码久久合欧美| 丁香婷停五月激情综合深爱| 色综合色五月| 久狠日av| 婷婷综合网在线| 97性视频| 色婷婷另类| 免费看欧美成人A片无码| 丁香五月色色| 亚洲天堂色色| 日韩欧美一级大黄网站| 6080av| 九九99久久| 婷婷丁香综合| 五月婷婷亚洲综合在线 | 超碰免费在线| 五月激情偷拍| 激情AV在线| 婷婷五月另类网站| 日日操日日爽| 激情五月天色爱| 五月色丁香综合| 色色色色综合网| 狠狠综合色网| 91九九精品| 欧美性猛交99久久久99| 五月婷在线观看| 五月天亚洲最大成人| 色99在线视频| 91色综合网| 在线超碰免费| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | 激情丁香五月激情婷婷| 思思99精品视频在线观看| 久色网| 激情AV在线| 男女免费视频999| 丁香婷婷午夜| 大香蕉 伊人夜| 久久精彩视频99| 色色婷婷五月| www.婷婷| 色婷婷丁香AV综合| 五月丁香偷拍| 久久这里有精品在线观看| 五月丁香六月婷婷久久| 色色操| 五夜婷婷| 蜜乳9188| 丁香久久| 色情激情五月| WWW.HENHENL.| 六月丁香综合| av在线播放网址| 97精品在线| 色综合久久天天综合网| 五月丁香无码| 婷婷五月天激情综合网| 亚洲欧美成人在线观看| 天天舔天天操| 97极品在线| 97人人操人人| 天天色综合天天| 人妻少妇色综合| 免费国产VA国产免费| 91日本在线观看| 激情99。| 久久丁香五月| 99性爱| 丁香久久AV| 日本熟妇乱妇熟色A片蜜桃| 97激情五月天| 亚洲人成网站999综合| 亚洲热热视频| 九九热99视频| 激情久久久| 6080av| 996黄色片| 国产免费一区二区三区三州老师F1F1.CC| 91丨九色丨丰满人妖| 99精品视频网| 91日本在线免费| 26uuu最新地址| 丁香婷婷色色| 色香蕉影院| 五月四色婷婷| 美女伊人久久| 五月天婷婷视频| 丁香婷婷六月激情| www.久9| 五月天精品视频| 六月伊人婷婷| yazhochengrenavwang| 久久久com| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 香蕉久久国产AV一区二区| 桔色成人在线| 婷婷九月丁香| 青青久久五月| 97碰| 婷婷综合五月色播| av在线观看免费| 成人片黄网站色大片免费毛片 | 欧美成人精品一区二区| 99激情网| 色五月婷婷成人| 99爱视频| 久久久婷丁香五月| 激情99| 粉嫩AV久久一区二区三区| 婷婷天天婷婷天天澡| 97色婷婷| 亚洲激情六月丁香| 超碰久热| 欧美激情五月天| 六月综和久久| 超碰男人色| 国产性av| 99久热这里只有精品| 色婷婷九月| 永久无码色| 五月做爱| www.激情| 97操操操| 99乱视频| 襙比视频| 蜜臀av粉嫩av懂色av| 99re这里只有精品国产99| 超碰激情五月| 99热99艹在线观看| 六月 丁香 视频| 五月色影院| 五月天色婷婷av| 九九热自拍| 热99色| 激情第四色| 久久视频婷婷| 五月久久丁香| 狠狠干2007| 国产白丝在线一区| 丁香婷婷久久综合在线| 国产AV一区二区三区日韩| 337p大胆噜噜噜噜噜91Av| 亚洲热久久| 久热这里精品免费| 毛片网站谁有| 91色噜噜狠狠狠狠色综合| 99热国产在线| 夜夜爽77777妓女免费下载| 91综合国免费久入| 99热这里只有精品8| 九九热在这里只有精品| 99视频这里只有免费精品| enecarbon-materials.com污K127封锁请涟系@wip1688 | 99网| 精品久久久人妻| 亚洲熟妇无码乱子AV电影| 五月丁香六月婷综合成人综合| 在线天堂9| 中文字幕无码人妻少妇免费视频| 大香蕉婷婷| 91碰超| 精品无吗va视频免费观看| 狠狠干五码| 五月丁香在线婷婷蜜桃| WWW丁香五月| 亚洲色啪| 亚洲网视屏| 五月天婷婷香蕉狠狠超碰综合| 久久丁香九| 韩国97天堂| 淫视馆av三区| 丁香av网| 丁香五月天亚洲综合| 雪千夏麻豆| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 亚洲AV无码成人电影| 99视频这里有精品| 刘玥av在线| 一本久久亚洲五月婷婷| 天天 日综合| 91热er| 狠狠五月天婷婷| 色婷婷成人影片| 成人婷婷五月天| 一根材五月婷成人| 五月色情婷婷开心五月色情| 狠狠色婷婷丁香六月| 天天综合.com| 777精品成人a v久久| 天天日,夜夜爽| 五月天婷婷久久综合| 色五月色综合| 天堂草在线观看| 五月激情婷婷六月| 十一月婷婷激情四射| 欧美性色视频| 色综合综合色| 俺去也五月天| AA片在线观看视频在线播放| 九九99精品视品| 日韩精品呦呦va| 六月丁香成人| 青青草tp| 丁香五月综合色婷婷| 六月激情婷婷色| 久久婷婷色丁香| 色婷婷色人人射| 尔尔AV一区| 亚洲 视频 导航 一区| 婷婷性爱网| 热久精品| 春色激情| 9999热在线观看| 日本啪啪天堂| 色99视| 五月色丁香激情| 色香欲综合| 久久综合性| 中字幕视频在线永久在线观看免费 | 国产高清精品色| 99综合| 丁香六月婷婷久久综合| 国产精品天天狠天天看| 婷婷色基地在线看| 久久久久9| 五月婷婷香蕉| 五月亭亭狠狠| www激情| 久久久婷丁香五月| 五月久久婷婷天堂视频| 激情丁香久久| 五月第四色| 亚洲精品国产成人AV在线| 国产av天堂| 91精品视频男人的天堂| 99碰碰| 五月天色在线| 丁香久久五月婷综合| 五月丁香狠狠爱| 五月婷久久综合| www.久久久久| 天天狠狠夜夜狠狠2023| 久久丁香婷婷色情综合| 成人天天爽| 人妻操在线看| 大香蕉伊人99| 五月天久久色| 亚洲旡码| 色丁香久久久| 久久久激情| 综合久久激情久久| 五月丁香精品| 五月天婷婷青青草| 丁香六月在线| 丁香五月色激情| 天天日天天做天天舔| 五月激情网综合| 九九热在线99| 久碰久| 亚洲一个色| 丁香婷婷噜噜| 蜜桃人妻无码AV天堂三区| 色欧美日| 99 这里只有精品| 丁香五月天黄色片| 91热在线观看视频| 婷婷五月天成人在线视频| 99热这里只有精品官网| 狠狠操狠狠操AV| 丁香六月综合激| 色婷五月天亚洲| 久久婷狠狠色| 七七久久综合| 精品国产va久| 久久综合爱| 碰超在线九色| 人妻熟妇六区| 俺去也综合| 激情宗合 激情宗合| 色五月婷婷大| 伊人激情影院| 操逼视频一区| 九九这里都是精品| 亚洲色无码A片一区二区麻豆| 天天操加勒比| 五月婷婷 激情五月| 中文字幕丰满孑伦无码专区| 天堂久久精品| 日本天天色| 超碰在线日夜| 这里只有视频精品| 9久久精品| 99热国产婷婷| 99热在线成人网站| 超pen个人视频97| 天天曰夜夜爽| 色久九| 婷婷丁香www视频日本韩国| 五月四色婷婷| 99re6在线视频精品免费| 久久99久久99久久99人受| 婷婷色综合av| 色婷婷综合在线| 婷婷六月花| 午夜不卡久久精品无码免费| 美女亚洲五月丁香| 久久婷五月天| 噜噜噜狠狠色综| 色五月婷婷影院| 操比激情五月| 中国激情网| 色婷婷综合久久| 国产精品在线视频| www色色com| 婷婷五月天激情网址| 色婷婷小说| 91人人操人人| 五月婷中文字幕| 九九热99视频在线| 视频一二区| 九九av在线| 激情综合五月婷婷| 91精品综合久久久久久五月天| 夜夜爽天天日| 女同在线9| 狠狠五月天婷婷激情网。| 色五月激情五月| 六月婷婷日| 色135综合网| 久久久五月激| 日韩青青| 成人网在线视频| AV在线资源| 成人 在线 日韩| 91久久精品无码一区二区三区| 96丁香六月婷婷蜜桃综合久久| 91久久精品视频| 丁香五月激情婷婷婷婷在线观看| 9色在线视频精品观看| 丁香桃色网| 狠狠色丁香久久婷婷综合五月| 99视频只有精品| 在线观看996精品| 91色噜噜狠狠狠狠色综合| 激情综合网五月丁香| 激情综合啪啪| 丁香六月婷婷综合色| 国产成人片| 久香草视频在线观看| 中文不卡av| 丁香五月婷婷香| 色婷婷色情| 色色色综合色| 狠狠擼综合| 91热视频| 六月丁香五月婷婷| 超碰AV在线| 中文字幕人妻熟女在线| 欧美日本一区二区三区| a片在线免费观看一区| 九色无码| 午夜丁香丁香婷婷| 日产精品久久久久久久蜜臀| 亚洲五月情| 亚洲AV无码影院| 色综合com| 国产Va视频| 色天使久久综合| 亚洲丁香五月天视频| 99在线69| AA片在线观看视频在线播放| 色久五月天| 色综合久久99色| 婷婷精品| 精品五月天| 婷婷的久久网站| 国产精品久久欧美久久一区| 色色COm| www.五月天色色.com| 五月天激情四射| 巴基斯坦粉嫩无码视频| 色婷婷久久综| 操碰97| 五月婷婷婷婷| 欧美性二区| 97成人丁香| 网色99| 艹| 婷婷久久综| 久久精品99国产精品日本| 另类激情中文| 乱女乱妇熟女熟妇综合网站| 色黄啪啪| 五月婷在线| 一级操逼内射在线视频| 另类激情五月| 91919191919久久成人视频| 激情综合网激情五月天| 99高级会所久久| 99re在线免费视频| 狠狠干综合| 思思热精品在线视频| 在线国产精品色| 日日操夜夜操中国无码| 青青草成人网| 丁香五月亚综合图片| 亚洲国产婷婷色五月| 99操不停| 色色综合网站| 这里只有精品视频在线| 亚洲开心激情网| 97碰碰在线观看视频| 欧美性做爰大片免费看办公室 | 丁香五月aV| 97人人操| 亚洲精品九九| 人人摸人人干| 丁香婷婷五月色成人网站| 偷拍视频五月天| 天天色播| 色99婷婷五月天| 亚洲精品无人区| 9l视频自拍9l九色成人| 夜夜综合色| 激情综合五月色在线| 91丁香五月| 91a片爽| 日本色色色| 婷婷涩涩五月天| 久久久久人妻中文| 亚洲激情图文小说| 婷婷五月综合久久中文字幕| 9l久久久视频| 国产日韩欧美| 久久久网站| 五月天婷婷视频小说| 99re思思精品在线观看| 激情婷婷五月女| 人妻AV在线观看| 欧美婷婷丁香五月| 68热超碰在线| 第九色区av天堂| 五月天综合视频| 99玖玖在线视频| www.成人婷婷综合| 激情五月丁香激情综合网| 人人澡天天色天天做| w婷婷五月婷婷w| 久热婷婷在线视频| 操操综合网婷婷| 欧美人与性动交CCOO| 亚洲综合激情五月久久| 97在线精品视频| 亚洲色五月| 夜夜躁爽日| 久久性爰视频这里只有精品| 综合色五月天| 99精品色色| 思思久久网| 狼友视频在线观看18| www.99精品视频| 中文字幕欧美精品久久| 69天堂99| 播丁香五月婷婷欧美| 欧美性生交A片免费看| 狠狠干狠狠色| 99久久久久| 六月激情网| jiZZdr| 久久丁香五月| 六月激情婷婷| AV操操操| 亚洲中文乱字字幕在线永久| 丁香六月色婷婷| 99热这里只有精品1025| 激情婷婷五月| 26UUU欧美激情一区二区| 五月婷婷九九热| 色五月婷婷五月天| 超碰国产AV| 99久在线精品99re5热视频| 99色视频在线| 免费观看大片视频 丁香婷婷 六月欧美| 婷婷五月av| 色五月天婷婷| 无码色| 中文字幕,综合,91| 玖玖爱综合网| 91九色精品熟女内射| 99黄色性生活| 深爱激情五月网| 婷婷五月花| 久久人妻视频| 免费无码毛片一区二区A片| 中国操逼99| 韩国不卡AC视频| 日本在线观看aaa 99| 婷婷色六月| 久9久成人精品视频| 人人妻人人澡| 色综天天综合| xx综合网| 国语精品探花| 五日激情综合| 成人亚洲精品| 天天日天天爽| 久久精品国产AV一区二区三区 | aV直接看| 97操在线资源| 香蕉操亚洲| 偷偷狠狠久久婷婷五月天| 99热成人精品| 久8色色| 激情五月天偷拍综合网| 丁香五月天激情| 电影蜘蛛女| 色婷婷丁香五月色综合网| 亚洲婷婷免费| 91热在线| 欧美成人精品三区综合A片| 五月激情综合网婷婷| 五月色丁香婷婷综合| 182TV大香蕉| 思思热国产视频| 天天拍久久| 国产成人亚洲综合A∨婷婷| 色久五月| 新激情五月天色播| 噜噜狠狠色| 丁香久久| 日本视频不卡123区| 久久机热探花| 九九Av| 日韩无码人妻一区二区三区综合| 色色色色色网站| 色五月天激情| 亚洲情综合五月天| 五月丁香综合中文| 久久色在线视频| 97五月天婷婷| 午夜激情综合| 色爆五月| 九热久| 婷婷狠狠久久| 久久99热这里只有精品| www夜夜| 久久9情免费| 综合久久97| 丁香五月综合在线播放| 在线观看免费狠狠色丁香香综合| 丁香色五月 97干| 婷婷激情五月天激情小说| 色99在线| 日日爽天天| 亚洲色五月| 九九热内射| 九九国产视频| 五月丁香婷婷五月色| 成人在线视频男人的天堂4399| 五月总合激情网| 99这里只有精品99| 99久在线精品99re8| BlACKEDRAW视频一区二区| 中文字幕av在线| 激情久久综合网| 国产超碰在线| 五月丁香综合网| 丁香六月婷婷开心| 久久激情五月婷婷| 性做久久久久久久免费看| 六月丁香狠狠爱| 色情五月天首页| 99激情在线| 国产97在线日韩亚洲女人被黑人巨大| 大香蕉五月天| 97色色综合| 无码人妻精品一区二区蜜桃色欲| 色色色在线观看| 久色网五月| 亚洲这里只有精品| 99伊人婷婷在线| 激情五月亚洲综合网| 五夜婷婷| 九九热青青草| 色综合久久伊伊婷婷五月| 婷婷伊人久久| 九九精品系列| 五月亭亭六月激情| 香蕉综合网| 色婷婷情片| 五月开心激情网| 99ri精品| 五月婷婷人人人操| 久久久久人妻网址| A短视频免费在线观看| 婷婷激情五月综合| 五月天淫乱视频| 婷婷不卡基地| 99高级会所久久| 狠狠综合| 婷婷丁香五月天影院 | 狠狠色狠狠鲁| 色99网站| 色婷婷五月在线| 五月激情婷婷在线| 综合色、色综合| 久久亚洲色导航| 久9热| 久热99热| 综合图片色色| 色99xx| 第一区久久网站| 天天日天天色| 一级片sese片.COM| 成人一级片| 丁香 亚洲 久久| 综合激情站| 99在线视频网址在线观看| 日日操,日日爽| 色欲久久综合| 噜噜噜噜噜久| 综合网色| 丁香六月啪啪啪| 激情爱爱网站| 黑人无码一区| www.夜夜操.com| 99综合成人视频在线观看| 99热这里只有免费| 婷婷五月丁香青青草在线| 思思热精品免费视频| 午夜69成人做爰视频| Xx色综合| 这里有精品| 五月天无码| 欧美色色色色色| 五月天亚洲图片婷婷| www.久久| 五月丁香激情啪啪| 99热18| 亚洲精品国产成人AV在线| 99热爱爱干干日| 五月婷精品| 成人精品在线| 99久久婷婷| 五月丁香六月情| 亚洲一个色| 99色色网| 丁香五月婷婷丫| 极品少妇XXXX精品少妇偷拍| 久久ER视频com| 精品亚洲国产成AV人片传媒| 5月婷婷激情6月| 色综合久久久综合久久网| 国产精品色一哟哟| 超碰人人插| 丁香五月六月婷婷怡红院| 久久久人人操A V| 五月婷婷色播| 啪啪丁香五月| 九九性视频| 九九这里只有精品在线视频| 9999久久久久| 婷婷五月天色网久| 人妻免费网站| 99综合视频| 亚州操操| 五月综合无码| 欧美成人热| 激情五月婷婷视频| 热思思| 人人操人人爽成人AV| 日韩欧美一级大黄网站| 天天日综合网射| 中国操逼99| 色婷婷小说| 精品99在线| 天天做天天爱| 天色综合网站| 久久免费干| 成人av在线网址| 7月婷婷六月丁香| 亚洲愉拍99热成人精品| 九九精品视频在线观看| 婷婷网影院| 久热这里| 激情五月天婷婷视频| 亚洲热久| 99久热| 日韩成人精品一区久久久久| 综合久久8| 日韩狠狠色| 人妻内射麻豆视频| 大香蕉久久伊人网| 五月婷婷激情性爱| 色五月激情问网站| 沈娜娜av| 六月99天天婷婷激情综合| 安息电影在线观看完整版| 欧美日本不卡黄色片| 色综合久久中文| 久久成人性爱| 久热99久热| 欧美丁香婷婷五月| 思思热在线精品视频网站| 婷婷六月色情| 涩五月婷婷| 婷婷丁香五月天中文字幕| 六月丁香六月婷婷欧美| 91操人| 婷婷五月激情视频在线| www激情| 婷婷五月天久草在线| 9久久久久| 人妻肉射免费观看| 91凹凸在线| 99热在线观看| 欧洲亚洲午夜| 六月色狠狠色| 九月婷婷色色| 极品人妻VIDEOSSS人妻| 99久久五月婷婷| 新99思思视频| 亭亭五月基地在线| 激情综合五月天| 五月天婷婷综合网| 亚洲色婷婷99一9|| 久久宗合影| 少妇性BBB搡BBB爽爽爽视頻| 久色| 丁香五月宝贝激情网| 国产午夜精品一区二区| 99精品视频在线观看| 五月天丁香综合久久国产| 亚洲 在线 性爱 | 五月婷婷基地| 婷婷五月综合网| 婷婷美女精品视频| 色色色色色色色色五月先| 久久久久9999| 激情五月狠狠喔| 97精品综合久久| 婷婷五月色播| 天天橾日日橾夜夜橾17| 99在线热| 在线日韩av| 国产精品久久久久久久久久| 九月婷婷激情| 亚洲人妻五月丁香婷婷| 就要去操亚洲成人精品五月天丁香婷婷| 无码一级片| 亚洲亚洲人成综合网络| 超碰在线国产| 色色日本| 亚洲色域网| WWW.天天日| 婷婷综合色网| www。五月,com| 五月丁香网站| 99色天堂| 99这里| 六月婷婷影院| 久久色五月| 97色碰| 丁香五月激情网| 丁香五月欧美婷婷综合| 日本99在线视频| 亚洲网站999| 婷婷 月 丁香| 综合激情五月丁香| 国产人妻操逼| 久久性刺激| 九九热99在线视频|