欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Prometheus+Grafana實(shí)戰(zhàn):從零構(gòu)建JVM監(jiān)控與性能調(diào)優(yōu)體系

Prometheus+Grafana實(shí)戰(zhàn):從零構(gòu)建JVM監(jiān)控與性能調(diào)優(yōu)體系 1. 項(xiàng)目概述從“黑盒”到“白盒”的JVM監(jiān)控之旅在微服務(wù)和云原生架構(gòu)大行其道的今天Java服務(wù)作為后端的主力軍其運(yùn)行狀態(tài)的透明化變得前所未有的重要。想象一下你的服務(wù)在線上跑著CPU偶爾飆升內(nèi)存緩慢增長GC垃圾回收越來越頻繁但除了偶爾的告警和日志你對(duì)JVM內(nèi)部到底發(fā)生了什么其實(shí)知之甚少。這就像一個(gè)飛行員在駕駛艙里卻看不到引擎的轉(zhuǎn)速、油壓和溫度表只能憑感覺和事后分析來飛行風(fēng)險(xiǎn)不言而喻?!癙rometheus監(jiān)控Java服務(wù)通過Grafana工具將JVM參數(shù)可視化樣式4701參數(shù)解讀”這個(gè)項(xiàng)目正是為了解決這個(gè)痛點(diǎn)。它不是一個(gè)簡(jiǎn)單的工具堆砌而是一套完整的可觀測(cè)性解決方案。其核心目標(biāo)是將JVM這個(gè)復(fù)雜的“黑盒”變成一個(gè)“白盒”讓每一個(gè)關(guān)鍵的運(yùn)行時(shí)參數(shù)——從堆內(nèi)存使用、線程狀態(tài)到垃圾回收的每一次停頓——都能以直觀、實(shí)時(shí)、歷史可追溯的圖表形式呈現(xiàn)在我們面前。這里的“樣式4701”通常指的是Grafana社區(qū)中一個(gè)非常經(jīng)典且功能強(qiáng)大的JVM監(jiān)控儀表盤模板其ID往往是4701它預(yù)置了數(shù)十個(gè)精心設(shè)計(jì)的面板幾乎覆蓋了JVM監(jiān)控的所有關(guān)鍵維度。這套組合拳的價(jià)值在于對(duì)開發(fā)者而言它是性能調(diào)優(yōu)和問題排查的“顯微鏡”和“時(shí)間機(jī)器”可以快速定位內(nèi)存泄漏、線程死鎖或GC瓶頸對(duì)運(yùn)維和SRE而言它是保障服務(wù)SLA服務(wù)等級(jí)協(xié)議的“儀表盤”能基于豐富的指標(biāo)設(shè)定精準(zhǔn)的告警規(guī)則實(shí)現(xiàn)主動(dòng)運(yùn)維對(duì)團(tuán)隊(duì)管理者而言它提供了統(tǒng)一的技術(shù)視圖消除了開發(fā)、測(cè)試、運(yùn)維之間的信息壁壘。接下來我將以一個(gè)資深從業(yè)者的視角帶你從零開始拆解如何搭建這套監(jiān)控體系并深度解讀那些關(guān)鍵指標(biāo)背后的故事。我們不僅會(huì)完成部署更會(huì)弄懂每一個(gè)數(shù)字的含義。2. 技術(shù)棧選型與架構(gòu)設(shè)計(jì)思路為什么是Prometheus Grafana Micrometer這個(gè)“黃金組合”在開始動(dòng)手之前理解這個(gè)選擇背后的邏輯比盲目執(zhí)行命令更重要。市面上監(jiān)控工具很多比如Zabbix、Nagios或者商業(yè)化的APM應(yīng)用性能管理套件。我們的選擇基于以下幾個(gè)核心考量2.1 Prometheus拉取模型與多維數(shù)據(jù)模型的勝利Prometheus是一個(gè)開源的系統(tǒng)監(jiān)控和告警工具包它最大的特點(diǎn)是拉取Pull模型。傳統(tǒng)的推Push模型如Agent將數(shù)據(jù)推送到中心服務(wù)器在Agent異常時(shí)中心服務(wù)器會(huì)丟失數(shù)據(jù)且難以統(tǒng)一管理抓取間隔。而Prometheus主動(dòng)去配置好的目標(biāo)Target上拉取指標(biāo)控制權(quán)在監(jiān)控端更容易管理全局的抓取頻率和一致性。這對(duì)于監(jiān)控成千上萬個(gè)動(dòng)態(tài)變化的容器實(shí)例尤其友好結(jié)合Service Discovery可以自動(dòng)發(fā)現(xiàn)新實(shí)例。它的數(shù)據(jù)模型也極其強(qiáng)大一個(gè)指標(biāo)由指標(biāo)名稱Metric Name和一組鍵值對(duì)標(biāo)簽Label唯一標(biāo)識(shí)。例如jvm_memory_used_bytes{area“heap”, id“Eden Space”}這個(gè)時(shí)間序列清晰地告訴我們這是堆內(nèi)存中伊甸園區(qū)Eden Space的使用字節(jié)數(shù)。這種多維數(shù)據(jù)模型使得查詢和聚合變得異常靈活你可以輕松地查看整個(gè)集群的堆內(nèi)存使用也可以下鉆到某個(gè)特定服務(wù)、特定實(shí)例的某個(gè)內(nèi)存區(qū)域。2.2 MicrometerJava應(yīng)用的度量門面要讓Java應(yīng)用暴露JVM指標(biāo)給Prometheus我們需要一個(gè)橋梁。早期常用的是Prometheus官方提供的client_java庫但它需要手動(dòng)注冊(cè)和定義指標(biāo)比較繁瑣?,F(xiàn)在更主流的選擇是Micrometer。你可以把Micrometer理解為Java監(jiān)控領(lǐng)域的“SLF4J”。它是一個(gè)供應(yīng)商中立的度量門面Facade提供了統(tǒng)一的API。你的應(yīng)用代碼通過Micrometer API來記錄指標(biāo)然后在運(yùn)行時(shí)通過添加一個(gè)Micrometer到Prometheus的橋接器即micrometer-registry-prometheus依賴這些指標(biāo)就會(huì)自動(dòng)以Prometheus期望的格式通常是/actuator/prometheus端點(diǎn)暴露出來。這樣做的好處是應(yīng)用代碼與監(jiān)控后端解耦未來如果你想換到InfluxDB、Datadog等其他監(jiān)控系統(tǒng)只需要更換Registry依賴代碼幾乎不用動(dòng)。2.3 Grafana可視化與告警的瑞士軍刀Prometheus自帶一個(gè)簡(jiǎn)單的表達(dá)式瀏覽器但用它來做日常監(jiān)控和可視化無異于用記事本寫代碼。Grafana的出現(xiàn)完美彌補(bǔ)了這個(gè)缺口。它是一個(gè)功能強(qiáng)大的開源數(shù)據(jù)可視化和分析平臺(tái)支持多種數(shù)據(jù)源Prometheus是其一。它的核心價(jià)值在于豐富的面板Panel支持圖形、表格、儀表盤、熱圖等多種展示方式。靈活的儀表盤Dashboard可以自由拖拽、組合面板構(gòu)建業(yè)務(wù)和技術(shù)視圖。強(qiáng)大的查詢編輯器直接編寫PromQLPrometheus查詢語言實(shí)時(shí)預(yù)覽圖表。告警管理雖然Prometheus有Alertmanager但Grafana內(nèi)置的告警規(guī)則配置對(duì)于簡(jiǎn)單的閾值告警非常直觀易用。社區(qū)生態(tài)擁有極其活躍的社區(qū)共享了成千上萬個(gè)儀表盤模板如著名的“樣式4701”讓你可以站在巨人的肩膀上快速開始。2.4 整體架構(gòu)流程圖整個(gè)系統(tǒng)的數(shù)據(jù)流非常清晰Java應(yīng)用集成Spring Boot Actuator和Micrometer Prometheus Registry啟動(dòng)后會(huì)在/actuator/prometheus端點(diǎn)暴露指標(biāo)。Prometheus Server定期如每15秒向Java應(yīng)用的上述端點(diǎn)發(fā)起HTTP請(qǐng)求拉取指標(biāo)數(shù)據(jù)并存儲(chǔ)在自身的時(shí)序數(shù)據(jù)庫中。Grafana配置Prometheus作為數(shù)據(jù)源。用戶通過Grafana界面編寫PromQL查詢語句從Prometheus中獲取數(shù)據(jù)并渲染成圖表展示在儀表盤上??蛇xAlertmanagerPrometheus根據(jù)配置的告警規(guī)則Rule將觸發(fā)的告警推送給Alertmanager由后者進(jìn)行分組、去重、靜默并通過郵件、釘釘、Slack等渠道發(fā)送給接收人。注意在生產(chǎn)環(huán)境中通常會(huì)將Prometheus、Grafana、Alertmanager部署在Kubernetes集群內(nèi)或獨(dú)立的監(jiān)控虛擬機(jī)/容器中與應(yīng)用實(shí)例網(wǎng)絡(luò)互通。同時(shí)Prometheus的數(shù)據(jù)存儲(chǔ)需要考慮持久化卷PV以滿足數(shù)據(jù)保留策略。3. 實(shí)戰(zhàn)部署一步步搭建監(jiān)控環(huán)境理論說得再多不如動(dòng)手做一遍。我們假設(shè)一個(gè)典型的場(chǎng)景在一個(gè)Linux服務(wù)器上部署一個(gè)Spring Boot的Java應(yīng)用并配置完整的監(jiān)控鏈。這里我會(huì)給出詳細(xì)的命令和配置并解釋每一個(gè)步驟的意圖。3.1 目標(biāo)Java應(yīng)用準(zhǔn)備首先我們需要一個(gè)能暴露監(jiān)控指標(biāo)的Java應(yīng)用。如果你手頭沒有可以用Spring Initializr快速生成一個(gè)。依賴引入在pom.xml中確保包含以下關(guān)鍵依賴。!-- Spring Boot Actuator提供生產(chǎn)就緒的特性包括端點(diǎn)暴露 -- dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-actuator/artifactId /dependency !-- Micrometer Prometheus Registry橋接Micrometer和Prometheus -- dependency groupIdio.micrometer/groupId artifactIdmicrometer-registry-prometheus/artifactId /dependency對(duì)于Gradle項(xiàng)目在build.gradle中添加implementation org.springframework.boot:spring-boot-starter-actuator implementation io.micrometer:micrometer-registry-prometheus應(yīng)用配置在application.yml或application.properties中啟用Prometheus端點(diǎn)并對(duì)其進(jìn)行一些安全或管理配置生產(chǎn)環(huán)境務(wù)必考慮安全這里以開放為例。management: endpoints: web: exposure: include: health,info,prometheus # 暴露健康檢查、信息和prometheus端點(diǎn) base-path: /actuator # 端點(diǎn)基礎(chǔ)路徑默認(rèn)為/actuator metrics: export: prometheus: enabled: true tags: application: ${spring.application.name} # 為所有指標(biāo)添加一個(gè)應(yīng)用標(biāo)簽便于區(qū)分 server: port: 8080 # 應(yīng)用端口 spring: application: name: demo-monitoring-app啟動(dòng)應(yīng)用啟動(dòng)你的Spring Boot應(yīng)用。訪問http://你的服務(wù)器IP:8080/actuator/prometheus你應(yīng)該能看到一大串以# HELP和# TYPE開頭后面跟著metric_name{label“value“ ...} metric_value格式的文本數(shù)據(jù)。這就是Prometheus能夠理解的指標(biāo)格式。如果能看到恭喜應(yīng)用端配置成功。實(shí)操心得在本地開發(fā)時(shí)經(jīng)常遇到訪問/actuator/prometheus端點(diǎn)返回404的情況。請(qǐng)按順序檢查1) 依賴是否正確引入2)management.endpoints.web.exposure.include是否包含了prometheus3) 項(xiàng)目是否成功引入了micrometer-registry-prometheus有時(shí)依賴沖突會(huì)導(dǎo)致它未生效。使用./mvnw dependency:tree | grep micrometer來確認(rèn)。3.2 Prometheus Server安裝與配置我們將在同一臺(tái)服務(wù)器或另一臺(tái)監(jiān)控專用服務(wù)器上安裝Prometheus。下載與解壓從Prometheus官網(wǎng)下載最新版本的Linux二進(jìn)制包。wget https://github.com/prometheus/prometheus/releases/download/v2.47.0/prometheus-2.47.0.linux-amd64.tar.gz tar -xzf prometheus-2.47.0.linux-amd64.tar.gz cd prometheus-2.47.0.linux-amd64配置Prometheus編輯解壓目錄下的prometheus.yml文件這是Prometheus的核心配置文件。我們需要添加一個(gè)抓取我們Java應(yīng)用的任務(wù)job。global: scrape_interval: 15s # 全局抓取間隔默認(rèn)15秒 evaluation_interval: 15s # 告警規(guī)則評(píng)估間隔 # 告警規(guī)則文件這里先不配置 rule_files: # - first_rules.yml # - second_rules.yml # 抓取配置這里定義Prometheus要監(jiān)控哪些目標(biāo) scrape_configs: # 監(jiān)控Prometheus自身 - job_name: prometheus static_configs: - targets: [localhost:9090] # Prometheus默認(rèn)端口是9090 # 監(jiān)控我們的Java應(yīng)用 - job_name: spring-boot-app metrics_path: /actuator/prometheus # 指標(biāo)暴露的路徑 static_configs: - targets: [你的Java應(yīng)用服務(wù)器IP:8080] # 替換為你的應(yīng)用實(shí)際IP和端口 labels: group: demo-services # 可以為這組目標(biāo)添加自定義標(biāo)簽 # 建議添加抓取超時(shí)、認(rèn)證等配置生產(chǎn)環(huán)境需要 # scrape_timeout: 10s # basic_auth: {...}關(guān)鍵配置解析job_name任務(wù)名稱會(huì)在指標(biāo)中生成一個(gè)job”spring-boot-app”的標(biāo)簽。targets監(jiān)控目標(biāo)地址列表格式為host:port。metrics_path目標(biāo)暴露指標(biāo)的HTTP路徑我們的Spring Boot應(yīng)用是/actuator/prometheus。labels為這個(gè)job下的所有target添加額外的靜態(tài)標(biāo)簽方便后續(xù)聚合篩選。啟動(dòng)Prometheus# 前臺(tái)啟動(dòng)方便看日志 ./prometheus --config.fileprometheus.yml # 或后臺(tái)啟動(dòng) nohup ./prometheus --config.fileprometheus.yml prometheus.log 21 訪問http://Prometheus服務(wù)器IP:9090進(jìn)入Prometheus Web UI。點(diǎn)擊頂部菜單欄的“Status” - “Targets”你應(yīng)該能看到兩個(gè)Targetprometheus和spring-boot-app狀態(tài)State應(yīng)為“UP”。如果spring-boot-app是“DOWN”請(qǐng)檢查網(wǎng)絡(luò)連通性、應(yīng)用是否啟動(dòng)、/actuator/prometheus端點(diǎn)是否能訪問。3.3 Grafana安裝與配置同樣在監(jiān)控服務(wù)器上安裝Grafana。安裝以Ubuntu/Debian為例使用官方倉庫安裝。sudo apt-get install -y software-properties-common sudo add-apt-repository “deb https://packages.grafana.com/oss/deb stable main“ wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add - sudo apt-get update sudo apt-get install grafana啟動(dòng)并設(shè)置開機(jī)自啟sudo systemctl daemon-reload sudo systemctl start grafana-server sudo systemctl enable grafana-server # 啟用開機(jī)自啟Grafana默認(rèn)運(yùn)行在3000端口。訪問http://Grafana服務(wù)器IP:3000默認(rèn)用戶名和密碼都是admin首次登錄會(huì)要求修改密碼。添加Prometheus數(shù)據(jù)源登錄Grafana后點(diǎn)擊左側(cè)齒輪圖標(biāo)“Configuration” - “Data Sources”。點(diǎn)擊“Add data source”選擇“Prometheus”。在URL處填寫你的Prometheus服務(wù)器地址如http://localhost:9090如果Grafana和Prometheus在同一臺(tái)機(jī)器。如果不在同一臺(tái)則填寫Prometheus的實(shí)際IP和端口。其他選項(xiàng)保持默認(rèn)點(diǎn)擊最下方的“Save Test”。如果顯示“Data source is working”恭喜數(shù)據(jù)源配置成功。至此監(jiān)控的基礎(chǔ)設(shè)施已經(jīng)全部就位。數(shù)據(jù)正在從Java應(yīng)用流向Prometheus而Grafana已經(jīng)準(zhǔn)備好查詢和展示這些數(shù)據(jù)。接下來就是最激動(dòng)人心的部分——使用強(qiáng)大的“樣式4701”儀表盤讓數(shù)據(jù)開口說話。4. 深度解讀Grafana儀表盤樣式4701與核心JVM參數(shù)在Grafana中儀表盤Dashboard是面板Panel的集合。與其從零開始創(chuàng)建每一個(gè)監(jiān)控圖表不如直接導(dǎo)入社區(qū)大神們已經(jīng)打磨好的模板?!皹邮?701”通常指的是Grafana官網(wǎng)Dashboards庫中一個(gè)非常受歡迎的JVM監(jiān)控儀表盤其ID可能是4701或8563等數(shù)字會(huì)變但內(nèi)容經(jīng)典。我們以JVM (Micrometer)這個(gè)經(jīng)典模板為例進(jìn)行解讀。4.1 導(dǎo)入儀表盤模板在Grafana首頁點(diǎn)擊“”號(hào) - “Import”。在“Import via grafana.com”輸入框中輸入儀表盤ID例如4701或8563然后點(diǎn)擊“Load”。在下一步中為儀表盤命名如“My App JVM Dashboard”并選擇我們剛才添加的Prometheus數(shù)據(jù)源最后點(diǎn)擊“Import”。瞬間一個(gè)包含數(shù)十個(gè)面板、信息密度極高的專業(yè)監(jiān)控視圖就呈現(xiàn)在你面前。它通常被劃分為幾個(gè)邏輯行Row如“Overview”、“Memory”、“Threads”、“Garbage Collection”等。我們來逐一拆解最關(guān)鍵的部分。4.2 核心面板與參數(shù)解讀4.2.1 內(nèi)存Memory監(jiān)控這是JVM監(jiān)控的重中之重主要關(guān)注堆Heap和非堆Non-Heap內(nèi)存。關(guān)鍵指標(biāo)jvm_memory_used_bytes已使用的內(nèi)存字節(jié)數(shù)。這是最直接的“用了多少”的指標(biāo)。jvm_memory_max_bytes最大可用的內(nèi)存字節(jié)數(shù)如果存在限制。對(duì)于堆內(nèi)存這就是你設(shè)置的-Xmx參數(shù)值。jvm_memory_committed_bytes已提交給JVM使用的內(nèi)存字節(jié)數(shù)。這是操作系統(tǒng)實(shí)際分配給JVM的內(nèi)存它會(huì)隨著使用增長但可能小于max。area標(biāo)簽這是最重要的標(biāo)簽之一其值包括heap堆內(nèi)存。其下又有id標(biāo)簽進(jìn)一步區(qū)分Eden Space伊甸園區(qū)新創(chuàng)建的對(duì)象首先在這里分配。Survivor Space幸存者區(qū)通常有兩個(gè)From和To在Minor GC后存活的對(duì)象會(huì)在這里來回拷貝。Tenured Gen或Old Gen老年代經(jīng)歷多次GC依然存活的對(duì)象最終晉升到這里。nonheap非堆內(nèi)存。包括MetaspaceJava 8或Perm GenJava 7及以前存儲(chǔ)類元數(shù)據(jù)、方法信息等。Code Cache存儲(chǔ)JIT編譯后的本地代碼。Compressed Class Space壓縮類指針空間。面板解讀堆內(nèi)存使用趨勢(shì)圖通常展示jvm_memory_used_bytes{area“heap”}。你會(huì)看到一條鋸齒狀的曲線這是GC工作的典型特征——內(nèi)存使用增長GC回收后下降。你需要關(guān)注的是曲線的“基線”是否在緩慢上升這可能暗示內(nèi)存泄漏。內(nèi)存池詳情一個(gè)堆疊面積圖分別展示Eden、Survivor、Old Gen的使用量。正常情況下Eden區(qū)頻繁升降Old Gen相對(duì)穩(wěn)定增長。如果Old Gen持續(xù)快速增長且Full GC后回收有限是內(nèi)存泄漏的強(qiáng)信號(hào)。Metaspace使用量監(jiān)控jvm_memory_used_bytes{area“nonheap” id“Metaspace”}。如果這個(gè)值持續(xù)增長到接近max可能會(huì)觸發(fā)Metaspace的GC甚至OutOfMemoryError常見于動(dòng)態(tài)生成類如CGlib代理、Groovy腳本的場(chǎng)景。實(shí)操心得看內(nèi)存圖不要只看瞬時(shí)值更要看趨勢(shì)。設(shè)置一個(gè)時(shí)間范圍如最近1小時(shí)、6小時(shí)觀察GC后內(nèi)存是否能回到一個(gè)穩(wěn)定的低點(diǎn)。對(duì)于Metaspace建議設(shè)置一個(gè)基于使用率的告警例如80%而不是等OOM發(fā)生。4.2.2 垃圾回收Garbage Collection監(jiān)控GC是影響Java應(yīng)用吞吐量和延遲的關(guān)鍵因素。關(guān)鍵指標(biāo)由Micrometer自動(dòng)從GarbageCollectorMXBean采集jvm_gc_pause_seconds_countGC暫停事件發(fā)生的總次數(shù)。jvm_gc_pause_seconds_sumGC暫停時(shí)間的總和秒。jvm_gc_pause_seconds_max單次GC暫停的最大時(shí)間。action和cause標(biāo)簽區(qū)分GC類型如action“end of minor GC“、cause“Allocation Failure“。面板解讀GC暫停時(shí)間與頻率儀表盤常用rate(jvm_gc_pause_seconds_count[5m])來計(jì)算每分鐘GC次數(shù)用rate(jvm_gc_pause_seconds_sum[5m])來計(jì)算每分鐘GC耗時(shí)。對(duì)于低延遲應(yīng)用你需要密切關(guān)注平均暫停時(shí)間和最大暫停時(shí)間P99 P999。GC類型分布通過標(biāo)簽區(qū)分Young GCMinor GC和Full GCMajor GC。Full GC會(huì)暫停所有應(yīng)用線程Stop-The-World耗時(shí)遠(yuǎn)長于Young GC。頻繁的Full GC是性能殺手。GC原因cause標(biāo)簽告訴你為什么觸發(fā)GC如“Allocation Failure”分配失敗、“System.gc()”代碼調(diào)用等。如果頻繁出現(xiàn)“System.gc()”可能需要檢查代碼或第三方庫。衍生計(jì)算平均GC暫停時(shí)間rate(jvm_gc_pause_seconds_sum[5m]) / rate(jvm_gc_pause_seconds_count[5m])。這個(gè)值應(yīng)該保持在一個(gè)較低且穩(wěn)定的水平。GC吞吐量可以粗略估算為(1 - (GC總時(shí)間 / 運(yùn)行總時(shí)間)) * 100%。高吞吐量應(yīng)用如批處理追求高GC吞吐量低延遲應(yīng)用如交易系統(tǒng)則追求短暫停。4.2.3 線程Threads監(jiān)控線程狀態(tài)是診斷死鎖、鎖競(jìng)爭(zhēng)、資源等待等問題的重要窗口。關(guān)鍵指標(biāo)jvm_threads_live_threads當(dāng)前存活的線程數(shù)包括守護(hù)和非守護(hù)線程。jvm_threads_daemon_threads當(dāng)前存活的守護(hù)線程數(shù)。jvm_threads_peak_threads自JVM啟動(dòng)以來的峰值線程數(shù)。jvm_threads_states_threads按狀態(tài)統(tǒng)計(jì)的線程數(shù)狀態(tài)包括runnable,blocked,waiting,timed_waiting,new,terminated。面板解讀線程總數(shù)趨勢(shì)監(jiān)控jvm_threads_live_threads。如果線程數(shù)持續(xù)無限制增長“線程泄漏”最終會(huì)耗盡資源導(dǎo)致OutOfMemoryError: unable to create new native thread。常見的泄漏原因是使用了線程池但未正確關(guān)閉或者任務(wù)隊(duì)列無限堆積。線程狀態(tài)分布一個(gè)堆疊圖展示各狀態(tài)線程的數(shù)量。健康的應(yīng)用大部分線程應(yīng)處于runnable可運(yùn)行或timed_waiting限時(shí)等待如Sleep。如果blocked阻塞或waiting無限期等待狀態(tài)的線程持續(xù)很多可能意味著存在激烈的鎖競(jìng)爭(zhēng)或資源死鎖。4.2.4 其他關(guān)鍵指標(biāo)CPU使用system_cpu_usage系統(tǒng)CPU使用率和process_cpu_usage本進(jìn)程CPU使用率。結(jié)合線程狀態(tài)如果CPU使用率高且runnable線程多可能是計(jì)算密集型任務(wù)如果CPU使用率不高但blocked線程多可能是I/O或鎖瓶頸。類加載jvm_classes_loaded_classes已加載類數(shù)量和jvm_classes_unloaded_classes_total已卸載類總數(shù)。結(jié)合Metaspace內(nèi)存使用一起看。文件描述符process_files_open_files打開的文件描述符數(shù)。如果接近系統(tǒng)限制ulimit -n會(huì)導(dǎo)致無法創(chuàng)建新的連接或文件。HTTP請(qǐng)求如果集成了Micrometer的Timed注解或Spring MVC指標(biāo)還可以監(jiān)控請(qǐng)求量、延遲、錯(cuò)誤率等這對(duì)于Web服務(wù)至關(guān)重要。5. 高級(jí)配置、告警與生產(chǎn)環(huán)境實(shí)踐基礎(chǔ)監(jiān)控搭建好后我們需要讓它變得更智能、更可靠以適應(yīng)生產(chǎn)環(huán)境的需求。5.1 Prometheus抓取配置優(yōu)化服務(wù)發(fā)現(xiàn)Service Discovery在微服務(wù)或K8s環(huán)境中靜態(tài)配置targets是不現(xiàn)實(shí)的。Prometheus支持多種服務(wù)發(fā)現(xiàn)機(jī)制如Kubernetes SD、Consul、DNS SD等。例如在K8s中可以配置自動(dòng)發(fā)現(xiàn)所有帶有特定注解annotation的Pod。- job_name: kubernetes-pods-springboot kubernetes_sd_configs: - role: pod relabel_configs: # 只抓取包含特定注解的pod - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape] action: keep regex: true # 從注解中獲取抓取路徑和端口 - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path] action: replace target_label: __metrics_path__ regex: (.) - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port] action: replace regex: ([^:])(?::\d)?;(\d) replacement: $1:$2 target_label: __address__抓取間隔與超時(shí)根據(jù)應(yīng)用的重要性和指標(biāo)變化頻率調(diào)整scrape_interval。對(duì)于核心業(yè)務(wù)應(yīng)用可以縮短到5-10秒對(duì)于變化慢的基礎(chǔ)設(shè)施可以延長到30-60秒。同時(shí)設(shè)置合理的scrape_timeout通常略小于scrape_interval。標(biāo)簽重寫Relabeling這是Prometheus最強(qiáng)大的功能之一。你可以在抓取前后修改目標(biāo)的標(biāo)簽。例如為所有從K8s發(fā)現(xiàn)的Target添加namespace、pod_name標(biāo)簽或者根據(jù)Pod標(biāo)簽添加一個(gè)service業(yè)務(wù)標(biāo)簽使得查詢和聚合維度更加豐富。5.2 配置告警規(guī)則Prometheus Rule監(jiān)控是為了發(fā)現(xiàn)問題告警是為了及時(shí)通知。我們?cè)赑rometheus中定義告警規(guī)則。創(chuàng)建規(guī)則文件在Prometheus目錄下創(chuàng)建rules/jvm_alerts.yml。groups: - name: jvm_alerts rules: # 規(guī)則1: 堆內(nèi)存使用率超過80%持續(xù)2分鐘 - alert: HighHeapMemoryUsage expr: (sum(jvm_memory_used_bytes{area“heap”}) by (instance, job) / sum(jvm_memory_max_bytes{area“heap”}) by (instance, job)) * 100 80 for: 2m # 持續(xù)2分鐘才觸發(fā)避免瞬時(shí)毛刺 labels: severity: warning annotations: summary: “高堆內(nèi)存使用率 (實(shí)例 {{ $labels.instance }})“ description: “堆內(nèi)存使用率已超過80%當(dāng)前值為 {{ $value }}%。可能面臨GC壓力或存在內(nèi)存泄漏?!?# 規(guī)則2: Full GC頻繁發(fā)生每分鐘超過1次 - alert: FrequentFullGC expr: rate(jvm_gc_pause_seconds_count{action“end of major GC“}[5m]) 1/60 # 換算為每分鐘 for: 5m labels: severity: critical annotations: summary: “頻繁Full GC (實(shí)例 {{ $labels.instance }})“ description: “Full GC發(fā)生頻率過高當(dāng)前每分鐘 {{ $value }} 次。將導(dǎo)致應(yīng)用長時(shí)間停頓嚴(yán)重影響性能?!?# 規(guī)則3: 線程數(shù)異常增長 - alert: ThreadLeak expr: predict_linear(jvm_threads_live_threads[30m], 3600) 1000 # 基于過去30分鐘線性預(yù)測(cè)1小時(shí)后線程數(shù)超過1000 for: 5m labels: severity: warning annotations: summary: “疑似線程泄漏 (實(shí)例 {{ $labels.instance }})“ description: “當(dāng)前線程數(shù) {{ $value }} 預(yù)測(cè)1小時(shí)后將超過1000。請(qǐng)檢查線程池配置或是否存在未關(guān)閉的資源?!斑@里使用了predict_linear函數(shù)進(jìn)行線性預(yù)測(cè)是一個(gè)很實(shí)用的高級(jí)用法。在prometheus.yml中引用規(guī)則文件rule_files: - “rules/jvm_alerts.yml“重啟Prometheus使配置生效。在Prometheus Web UI的“Alerts”標(biāo)簽頁可以看到定義的告警規(guī)則及其當(dāng)前狀態(tài)Inactive, Pending, Firing。5.3 配置Alertmanager進(jìn)行告警分發(fā)Prometheus負(fù)責(zé)觸發(fā)告警Alertmanager負(fù)責(zé)去重、分組、靜默和路由到不同接收器。安裝與配置Alertmanager下載并配置alertmanager.yml設(shè)置郵件、釘釘、Webhook等接收器。配置Prometheus與Alertmanager聯(lián)動(dòng)在prometheus.yml中指定Alertmanager地址。alerting: alertmanagers: - static_configs: - targets: - ‘localhost:9093‘ # Alertmanager默認(rèn)端口配置告警路由在Alertmanager中可以根據(jù)告警標(biāo)簽如severity: critical將告警路由到不同的團(tuán)隊(duì)或渠道如PagerDuty、釘釘群、短信。5.4 Grafana告警除了Prometheus AlertmanagerGrafana自身也提供了強(qiáng)大的告警功能配置更直觀適合簡(jiǎn)單的閾值告警。在任何一個(gè)圖表面板的編輯界面切換到“Alert”標(biāo)簽頁。創(chuàng)建告警規(guī)則設(shè)置評(píng)估條件如WHEN last() OF query(A, 5m, now) IS ABOVE 0.8表示查詢A最近的值超過0.8。設(shè)置通知渠道需要先在“Configuration” - “Alerting” - “Notification channels”中配置好釘釘、郵件等。Grafana會(huì)定期評(píng)估規(guī)則并發(fā)送告警。它的優(yōu)勢(shì)是與圖表緊密結(jié)合設(shè)置方便但功能上不如Alertmanager強(qiáng)大如分組、靜默。6. 常見問題排查與性能調(diào)優(yōu)實(shí)戰(zhàn)即使搭建好了監(jiān)控面對(duì)海量數(shù)據(jù)如何快速定位問題這里分享一些實(shí)戰(zhàn)中總結(jié)的排查思路和調(diào)優(yōu)技巧。6.1 典型問題排查清單現(xiàn)象可能原因排查步驟與關(guān)鍵指標(biāo)CPU使用率持續(xù)100%1. 存在無限循環(huán)或計(jì)算密集型任務(wù)。2. 頻繁的GC尤其是Full GC。3. 大量線程處于runnable狀態(tài)競(jìng)爭(zhēng)CPU。1. 使用top -Hp [pid]或jstack查看占用CPU高的線程棧定位熱點(diǎn)代碼。2. 查看GC頻率和暫停時(shí)間面板確認(rèn)是否由GC引起。3. 查看線程狀態(tài)面板看runnable線程數(shù)是否異常多。內(nèi)存使用率不斷攀升Full GC后回收很少內(nèi)存泄漏。對(duì)象被意外地長期持有無法被GC回收。1. 觀察堆內(nèi)存趨勢(shì)圖特別是Old Gen區(qū)是否呈“階梯式”上漲且不回落。2. 使用jmap -histo:live [pid]或jcmd GC.class_histogram查看存活對(duì)象直方圖尋找數(shù)量異常多的類。3. 使用專業(yè)內(nèi)存分析工具如Eclipse MAT, JProfiler對(duì)堆轉(zhuǎn)儲(chǔ)jmap -dump:live,formatb,fileheap.hprof [pid]進(jìn)行分析找到GC Root引用鏈。應(yīng)用響應(yīng)變慢但CPU和內(nèi)存不高1.鎖競(jìng)爭(zhēng)激烈大量線程處于blocked狀態(tài)。2.I/O等待數(shù)據(jù)庫、外部API調(diào)用慢。3.頻繁的Young GC雖然暫停短但頻率極高。1. 查看線程狀態(tài)面板blocked線程數(shù)是否激增。使用jstack分析線程鎖信息。2. 監(jiān)控應(yīng)用層面的HTTP請(qǐng)求延遲、數(shù)據(jù)庫連接池使用率等指標(biāo)。3. 查看GC面板關(guān)注rate(jvm_gc_pause_seconds_count[5m])Young GC頻率是否異常如每秒數(shù)次。Metaspace持續(xù)增長導(dǎo)致OOM1. 動(dòng)態(tài)類生成過多如CGLib代理、Groovy腳本引擎。2. 應(yīng)用服務(wù)器熱部署頻繁。1. 監(jiān)控jvm_memory_used_bytes{id“Metaspace”}趨勢(shì)。2. 檢查jvm_classes_loaded_classes是否持續(xù)增長。3. 考慮增大-XX:MaxMetaspaceSize但更重要的是找到類泄漏的根源檢查相關(guān)框架配置。線程數(shù)無限增長線程泄漏線程池創(chuàng)建了線程但未正確回收或任務(wù)隊(duì)列無限堆積導(dǎo)致不斷創(chuàng)建新線程。1. 監(jiān)控jvm_threads_live_threads趨勢(shì)線是否一直向上。2. 使用jstack查看線程名通常泄漏的線程會(huì)有相似的命名模式如pool-1-thread-*。3. 檢查代碼中線程池的創(chuàng)建和使用確保使用了有界隊(duì)列和合理的拒絕策略。6.2 基于監(jiān)控?cái)?shù)據(jù)的JVM調(diào)優(yōu)實(shí)戰(zhàn)思路監(jiān)控?cái)?shù)據(jù)是指標(biāo)調(diào)優(yōu)是行動(dòng)。不要為了調(diào)優(yōu)而調(diào)優(yōu)一定要有明確的目標(biāo)如降低GC暫停時(shí)間、提高吞吐量、解決OOM。目標(biāo)減少GC停頓時(shí)間低延遲應(yīng)用策略減少Full GC優(yōu)化Young GC。行動(dòng)如果Old Gen持續(xù)增長首先排查內(nèi)存泄漏。如果對(duì)象“朝生夕死”的特性明顯可以嘗試增大年輕代-Xmn的比例。讓大部分對(duì)象在Young GC時(shí)就被回收避免過早進(jìn)入Old Gen。考慮使用G1垃圾回收器-XX:UseG1GC。它旨在提供可預(yù)測(cè)的停頓時(shí)間模型。你需要設(shè)置最大停頓時(shí)間目標(biāo)-XX:MaxGCPauseMillis200G1會(huì)盡力達(dá)成。對(duì)于ZGC或Shenandoah這類超低延遲GC需要在支持的高版本JDK上使用并充分測(cè)試。目標(biāo)提高吞吐量批處理、計(jì)算密集型應(yīng)用策略減少GC總時(shí)間占比。行動(dòng)在內(nèi)存充足的情況下增大整個(gè)堆大小-Xmx, -Xms。更大的堆意味著GC發(fā)生的頻率更低??梢钥紤]使用Parallel GCJDK8默認(rèn)它專注于吞吐量。監(jiān)控顯示Young GC頻繁但每次回收量小可以嘗試增大Eden區(qū)大小通過調(diào)整-XX:NewRatio如-XX:NewRatio2表示老年代:年輕代2:1年輕代變大。目標(biāo)解決Metaspace OOM行動(dòng)立即措施增加-XX:MaxMetaspaceSize256m例如。根本解決使用-XX:TraceClassLoading和-XX:TraceClassUnloading或JDK Flight Recorder追蹤類加載/卸載找到類加載的源頭并修復(fù)。檢查是否有多余的庫、重復(fù)的依賴或動(dòng)態(tài)代理框架的濫用。6.3 一個(gè)真實(shí)的調(diào)優(yōu)案例電商大促前的準(zhǔn)備假設(shè)一個(gè)電商應(yīng)用日常流量平穩(wěn)但大促時(shí)流量增長10倍。監(jiān)控發(fā)現(xiàn)平時(shí)Young GC頻率為2次/分鐘平均暫停15msOld Gen使用率穩(wěn)定在60%。大促壓測(cè)時(shí)Young GC頻率飆升至20次/秒平均暫停時(shí)間到50msOld Gen在30分鐘內(nèi)被填滿并觸發(fā)頻繁的Full GC導(dǎo)致服務(wù)間歇性卡頓。分析Young GC頻率激增說明對(duì)象創(chuàng)建速率極快。Old Gen被快速填滿說明很多對(duì)象“存活”時(shí)間變長可能是緩存、會(huì)話對(duì)象等或者Young GC survivor區(qū)設(shè)置太小導(dǎo)致對(duì)象過早晉升。調(diào)優(yōu)動(dòng)作增加總堆內(nèi)存從-Xmx4g調(diào)整為-Xmx8g為系統(tǒng)提供更大緩沖。調(diào)整新生代比例顯式設(shè)置新生代大小為3G (-Xmn3g)讓更多對(duì)象在年輕代被回收。調(diào)整Survivor區(qū)比例使用-XX:SurvivorRatio8Eden:Survivor8:1:1增大Eden區(qū)減少對(duì)象晉升頻率。切換垃圾回收器從Parallel GC切換到G1 GC (-XX:UseG1GC -XX:MaxGCPauseMillis100)追求更可控的停頓時(shí)間。結(jié)果驗(yàn)證再次壓測(cè)。監(jiān)控顯示Young GC頻率降至5次/秒平均暫停30msFull GC在1小時(shí)內(nèi)未發(fā)生Old Gen使用率緩慢增長至70%后穩(wěn)定。服務(wù)延遲達(dá)標(biāo)。這個(gè)案例的核心是監(jiān)控提供了“是什么”和“在哪里”而基于經(jīng)驗(yàn)的調(diào)優(yōu)策略提供了“怎么辦”。沒有監(jiān)控調(diào)優(yōu)就是盲人摸象沒有正確的策略調(diào)優(yōu)可能適得其反。最好的調(diào)優(yōu)永遠(yuǎn)是帶著明確目標(biāo)基于監(jiān)控?cái)?shù)據(jù)進(jìn)行有根據(jù)的、可驗(yàn)證的調(diào)整。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
综合色图婷婷| 在线网黄| av九九| 色999五月色| 怡红院成人AV| 激情五月天丁香| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 91色操| 丁香五月天色综合| 激情99| 热九九精品| 久久婷婷综合五月趴| 色婷婷四虎| 婷婷 丁香 精品| 天天日天天狠狠操| 婷婷伊人久久| 五月天停停日日| 青青草a在线| 日逼影音先锋AV男人资源站| 超碰在线人妻| 97精品自拍视频| www.操逼comm| 色播播之激情五月婷婷| 久9久成人精品视频| 九久9精品| 色色哒五月婷婷六月丁香| 91操在线| 超碰啪啪网| 久99热| 综合网亚洲| 色情五月天首页| 亚洲AV另类| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天色天天爱天天舔| 国产AV熟妇人震精品一品二区| 婷婷伊人久久综合| 先锋资源996| 97人人干人人操| 九月色婷婷综合亚洲| 九九热精品| 色五月亚洲| 玖玖综合色| 五月色影院| 五月涩涩网| 亚州精品色情在线观看| 日韩精品一品二区三区的使用体验| 99A级片| 日日综合网| 99re26视频| 青青草a在线| 任我肏| 婷婷丁香www视频日本韩国| 欧美色久| 日韩精品二三区| 六月色婷婷色| 性爱综合网| 色五月婷婷影院| 久久蜜臀婷婷| 大香蕉久久婷婷精品综合| 久久精品这里只有精品免费首页| 国产精品VA在线| 免费日韩99| 秋霞学生妹一二级| 狠狠婷婷综合| 丁香婷婷老司机久操| www.99热在线| 免费成人va| 天天澡天天狠天天天做| 99热久草| 亚洲九区| 日日色五月天| 色婷婷九月| 性爱电影科技贸易有限公司| 精品国产va久久久久| 在线播放中文字幕| 亚洲综合色色| 91九色|疯狂|高潮|对白|| 99热成人精品| 亚洲性色XXXXX| 欧美色小说婷婷| 五月婷伊人| 国产淫熟妇| 亚洲九九99精品视频在线播放| 欧美伊人9| 婷婷丁香大香蕉| 99色嘟嘟精品网站| 九九这里是免费的视频5| 久久丁香综合香蕉| 亚洲色基地| 婷婷九月在线| 三区激情四射av| 69er小视频| 亚州AV超碰人人操| 99热自拍| 亚洲综合色成丁香五月色| 色偷偷综合| 天天插天天日| 五月综合激情| 激情婷婷五月社区| 99久久九九| 99九九玖玖| 97久久超碰| 怡红院院在线导航网| 99免费综合网| www激情com| 91九色中文| 五月综合亚洲色| 色综合色| 伊人久久丁香五月91| 色五月琪琪| 亚洲另类电影| 四射综合网| 成人做爰A片免费看网站找不到了| 激情性爱网站| 综合天天综合| 婷婷五月天伊人网| 欧美美女视频| 激情综合无码| 欧美日韩AAAA| 可以看的av| 青吴乐视频| 亚洲性爱电影| 人人摸人人搞| 99色爱| 婷婷终合色图| 开心深爱五月天| 99热这里只有精品免费观看| 激情久久丁香| 99超超碰| 狠狠五月激情在线| 丁香五月AV| 大地9中文在线观看免费高清 | 精品无码人妻一区| 国产 亚洲 在线| 538在线精品| 九热...av| 日韩精品无码99| 激情综合啪啪| 亚洲五月激情| 人妻久久久久久久| 人与禽A片啪啪| 久色网址| 色哟哟www| 久久久久久久久久久久久9| 中文字幕乱码亚洲精品一区| 99色视| 色天天综合天天综合频道。| 狠狠操.COM| 欧美 日韩 成人在线| 综合久久99| 婷婷五月天性色| 九色视频91疯狂| 亚洲色亚洲精品| 色色色综合| 色婷婷在线视频观看| 九九爱激情| 91九色精品熟女内射| 激情小说五月天中文字幕| 这里只有精品在线免费视频| 久操婷婷| 色综合久| 四色99久久| 色情开心五月| 色婷婷激情四射视频| 五月天综合| 美欧成人视频| 色色色色色色网站| 超碰99热精品| 色丁香五月| 91日综合欧美| 亭亭五月色男人| 色婷婷六月| 99热青青草| 色婷婷五月天| 五月丁香好婷婷A片网| 亚洲色婷婷99一9|| 亚洲V国产V欧美V久久久久久| 碰碰碰97免费精彩视频| 无码激情精品色婷婷久久久久| 五月天婷婷丁香导航| 深爱五月天| 超碰93在线观看| 色色色免费视频| 亚洲正能量欧美| 99热在线免费观看精品| 婷婷五月天影院| AV成人在线播放| 国产婷婷色综合AV蜜臀AV| 久久婷婷五月| 久久伊人大香蕉| 超碰在线观看99| 婷婷影院欧美| 99久久99九九九99九他书对| 九九久久污| 婷婷激情五月天小说| 久热9| 99亚洲精美视频在线观看| 久久这有这里精品| 午夜亚洲AV日韩无码| 婷婷五月激情四月综合| 久久色婷婷| 久久九色| 一本色道久久88综合日韩精品| 久天综合| 婷婷五月综合激情| 久久这里只有欧美| 99在线公开视频| 爆乳熟妇一区二区三区爆乳| 久久9热| 免费啪啪亚州视频| sisi热国产| 欧美日韩精品人妻狠狠躁免费视频| 九九色逼| 99精品国产在热久久| 成人亚洲精品| 国产AV一区二区三区日韩| 五月丁香婷婷在线| 综合福利网| 五月婷视屏在线观看| 国产日韩精品SUV| 人妻久久做| 五月色综合| 婷婷五月天,影院| 最新日韩AV中文字幕| 人妻熟人中文字幕一区二区| 日本色婷婷久久99精品91| www.夜夜操.com| 夜夜夜叫天天天做| 色婷婷电影| 五月婷婷欧美| 丁香婷婷欧美综合| 91viP在线看| 9999热精品在线免费播放| 青青草激情网| VfJxEwPH| 色婷婷五月天亚洲| 中文在线成人| 激情五月婷婷综合秋霞| 亚亚州久久高潮| 久久婷婷综| 亚洲亚洲人成综合网络| 五婷婷六月合| 影音先锋91| 亚洲中文字幕在线观看| 欧美狠狠地| 97干免费视频| 成人AV片播放| 综合激情视频| 五月天激情AAAA| 欧美性猛交99久久久99| 色色a| 亚洲99热| 丁香婷婷综合精品六月初| 九九色影院| 天天插天天| 九色视频91疯狂| 色婷婷小说网| 日韩综合久久| 久久久天天啊| 这里只有精彩亚洲视频推荐| 九九狠狠干| 人妻激情久久| 91九色网| 婷婷午夜精品久久久| 久久久WWW| 国产精品24r| 99热啪啪| 爆乳熟妇一区二区三区爆乳照片| 中海油常州环保涂料有限公司| 天天弄天天操| 激情六月色| 5月色婷婷| 五月天社区婷婷丁香社区| 久热99| 色色射| 久久狠狠色| 丁香五月激情棕合| 日本在线视频播放91| 丁香五月播播| 久久亚洲无码| 久久久久久人妻| 午夜无码精品色综合久久| 婷婷五月丁香色综合| 狠狠干综合| 色五月亚洲| 五月丁香激情六月| 五月涩涩网| 色激情综合狠狠婷婷| 色六月 婷婷| www.色色五月天.com| 女人露出p毛视频www网站| 日韩AV中文在线观看| 思思热在线播放| 天天干天天干天天干天天干天天干天天| 九九99免费理论| 中文字幕人妻AV| 久久小说| 久久久久亚洲AV综合| 综合性爱网| 婷婷综合激情| 婷婷丁香日韩五月| www.狠狠狠.com| 激情丁香五月天综合| 亚洲精品白浆高清久久久久久| 欧美色五月天| 久久激情五月| 99自拍视频网站| 五月丁香六月婷婷激情视频在线观看免费| 黄色激情久久| 在线一起草av| 五月丁香A∨在线| 激情综合五月丁香六月婷婷| 成人五月天丁香| 97se视频在线| 欧美99热| 激情五月天丁香| 99色在线| 丰滿爆乳一区二区三区| 少妇出轨做爰高潮A片| 丁香婷婷六月天| 69色婷婷| 色狠狠综合| 操一区| 色欲色香综合网| 五月天成人综合| 亚洲在线资源| 婷婷色在线| 中文字幕人妻熟女在线| 丁香五月AV| 九九综合久久| 亚洲欧美日韩另类| 99ri在线视频| 亚洲久久婷婷丁香五月天| 综合色色网| 激情久久久| 99久久黄色顶级视频| 激情综合无码| 色国产五月| 人人操A| 日本人人xxx| 人人草人人视| 激情五月色婷婷| 99亚洲视频| 日韩性爱AV| 久99精品视频| 在线观看熟女少妇| 五月丁香六月综合激情网| 五月色婷婷影视在线电影| 欧亚色色| Www.狠狠| 天天爽天天爽| 色女人久久| 国产精品五月丁香| 五月婷亚洲精品AV天堂| 婷婷久久五月| 99人妻碰碰碰久久久久| 亚洲不卡欧洲| 深爱开心五月天| 色屌丝中文字幕| 日韩色色视频| 94干大香蕉| a色色片| 九九激情视频| 五月伊人网| 精品香蕉99久久久久网站| 中文字幕免费高清电视剧| www.夜夜操| 色婷婷aV四虎| 久久综合激情五月天| 五月天婷婷青青| 99热新网址| 久久全意婷婷| 免费亚洲婷婷中文字幕| 久久婷婷五月激情网站| 激情五月天色播| 777精品久无码人妻蜜桃| 丁香88AV五月婷婷| 五月六月丁香婷婷在线观看| 五月开心色| 日本色婷婷| 婷婷色五月激情强奸四射| 婷婷激情五月| AV在线大香蕉| 另类激情五| 蜜乳中文字| 丁香五月六月| 九热视频| 丁香五月婷婷六月| 97久久久| 久久婷婷六月综合| 日本久久综合| 色丁香五月天| 伊人狠狠丁香婷婷综合尤物| 婷婷99中文字幕| 91操碰| 人人操97| 国产成人综合在线| 色你久久| 久99视频在线观看| 五月天色不卡| 色婷婷XXXXX| 亚洲第一成人无码A片| 九九这里有精品| 色婷婷伊人| 久久综合五月天| 嫩草视频。| 热这里| 丰满少妇猛烈A片免费看观看| 五月天婷婷激情在线色图| 天天色综合色色色色色。| 天天日天天爱天天噪| 丁香久久久| 婷婷终合色图| AV在线免费播放| 欧美色97| 色优久久| 五月天婷婷综合| 五月伊人综合| 亚洲欧洲中文日韩久久AV乱码| 操九色| 久久婷婷亚洲| 在线成人网址| 亚洲操操| 色情一区二区播放| 五月色婷丁香| 日本3级片一区2区| 六月色婷婷色| 99国产精品久久久久久久久久久| 欧美欧盟性爱网| 久久人人妻| 蜘蛛女免费观看完整版高清电影| 五月在线| 久久成人综合五月天| 97色色视频| 天天在线久久综合 | 九九激情网| 超碰人人草| 综合在线丁香五月| 91九色无码内射| 99九九玖玖| 五月丁香猫咪久久婷婷综合视频激情四射网入口| 日本精品久久久久中文字幕| 久99视频| 日韩抽插操逼| 日韩精品在线观看9| 一本色道久久综合狠狠躁一二三| 噜综合| 97亚洲婷婷| 激情五月天网站| 色在线99| 丰满女老板BD高清A片| 成人.在线日韩| 狠狠夜夜五月丁香| 变态另类色图| 色吧五月婷婷| 激情网五月婷婷| 亚洲午夜一区二区| AV九九| 婷婷五月18永久免费视频| 激情四射五月天| WWW.开心五月天.COM| 欧美婷婷五月丁香| 亚洲人成人五月天| 淫视馆aV二区一区| 国产av天天插天天操天天爽| 五月婷婷福利| 人妻狠狠操| httpwww色com日本| 欧美精品999| 第四色五月激情网| 999久久久国产精品| 丁香五月婷婷影院| 中文字幕在线日亚洲9| www.黄色片-久久成人国产精品在线播放-999AV | 五月天成人网婷婷| 色色五月天婷婷丁香| www.五月激情红色| 亭亭色网| 五月丁香综合色婷婷| 天天插天天| 亚洲婷婷基地| 日韩青青| 中文av网站| 亚洲99精品欧美一区| 欧美日韩成人h| 啪啪激情综合| 婷婷五月天欧美图片在线播放电驴| 九九婷婷五月天| 在线视频你懂得| 午夜无码精品色综合久久| 开心五月色婷婷综合开心网| 婷婷五月综合啪| 久久婷婷五月综合一| 丁香六月婷婷久久综合| 人人综合久| 久久精品国产精品| 五月婷婷啪啪| 亚洲国产精品VA在线看黑人| 亚洲国产网站| 香蕉久久国产AV一区二区| Blackedraw视频一区二区| 丁香六月天婷婷色| 五月婷婷啪啪| 人人操女人| 精品人妻在线免费观看| 99久久www| 五月激情网五月综合网| 玖色色综合| 中文字幕婷婷9月天| 不卡影院午夜理论片| 中文字幕一色哟哟哟哟| 亚洲男女激情| 天天做天天摸| 操操操操操电影网| 久久亚洲色导航| 亚洲九九夜夜| 日本视频99| 亚洲殴洲精品Av在线| 玖玖资源在线视频| 日日噜狠狠| 色色色色色色网站| 亚洲va在线∨a天堂va欧美va| 任你日视频| 久久99三级在线视频| 欧洲色色| 四色五月婷婷| 中文字幕综合网| 深爱五月激情综合| 超碰爱爱爱| 久久密臀婷婷| caop视频| 婷婷综合中文字幕| 免费看欧美成人A片无码| 欧州色色| 婷婷深爱五月丁香| 激情五月丁香六月综合AVXXXX| 精品人人操| 超碰人人操在线| 久久久久久久久久久月丁| 九九这里都是精品| 亚洲激情AV| 五月天另类小说| 成人AV在线网站| 丁香婷婷色九月| 色婷婷伊人| 91视频一起草| 9久视频| 操一区| 国产亚洲99久久精品| 精品人妻久久久久久久| 天天骑日日爽| 综合激情五月综合激情五月激情1| 91九色中文| 久久3p| 99精品视频偷拍| 五月婷婷激情网| 日本一级特黄大片AAAAA级| 色综合xx| 亚洲婷婷激情888精品久| 国产这里只有精品| 大香蕉久久视频久久视频 | 综久久久| 大香蕉99热| 操99| 丁香五月婷婷亚洲另类| 免费AV黄在线播放| 色五月六月婷婷| 少妇激情五月天| 婷婷五月激情中文字幕| 日韩精品二三区| 99男人的天堂| 激情综合网五月| 欧美肉大捧一进一出免费视频| 久久99热这里只有精品| 超碰免费99| 五月天精品| 超碰操日| 日本一级一片免费视频| 日碰日| 精品99在线观看| 大香蕉五月丁香| 婷婷六月丁香综合| 可以看的AV| 六月丁香啪啪啪| 狠狠干狠狠干| 东北熟女高潮99综合99| 国产在线激情视频| 大香蕉久久草| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | av国产精品| 婷婷色综合网日韩国产| 淫荡家庭AV| 久久视频在线视频| 五月婷综合| 丁香五月婷婷色情综合| www.97干视频| 五月丁香在线偷拍视频| 五月天欧美激情| 婷婷八月丁香激情综合| 开心色五月天久久久久久久| 久久人妻视步| 99热精品在线| 无码九九九九| 五月丁香婷婷AV天堂| 亚洲性爱干干| 久久婷狠狠色| www五月天激情com| 免费亚洲婷婷五月| av亚洲国产小电影| 五月丁香婷婷色色| 五月综合缴情网| www.婷婷五月| 丁香五月www| 五月婷婷激情四季| 在线网黄| 波多野结衣成人作品在线| www久久久久久| 婷婷色五月天第7色| 少妇婷婷五月天| 久久久婷婷五月亚洲97号色| 婷婷丁香五月天欧美| 五月天婷婷基地| 色播五月婷婷五月| 97日韩无套内| 日本激情ⅩXX免费视频| 久久小片| 国产精品日本一区二区在线播放| www.99热这里只有精品| ss99热| 色五月亚洲| 91碰碰视频在线观看| 91操屁股| 色五月天在线| 午夜天堂一区人妻| 亚洲欧美成人在线| 五月天久久婷婷| 色婷青青| 激情婷婷五月天伊人在线观看| 99热网站| 日韩野外 无套| 欧美va国产va| 日韩啪啪网| 武则天精品久久| 99热这里只有精品4| 午夜丁香| 五月天丁香六月综合| 激情五月婷婷老师| 国产婷婷婷| 99re思思精品视频在线观看| 免费AV在线| 色婷婷啪啪| 99九九精品视频| 亚洲99热| 天天精品视频在线观看视频| 综合色播| 成人精品一区二区三区四区五区| 五月婷婷激情综合网 | 成人av中文字幕| 五月天成人在线视频网站| 精品久色| 精品久久久人妻| 爱久综合| 色五月激情五月天| 亚州精品色情无码A片| 日韩操| 五月丁香婷婷狠狠操| 91成人品| 九九精品热| 男人的天堂999| 久久机热/这里只有精品| 激情五月婷婷她| 终合激情网| 91久草五月天婷婷| 五月天色区| 激情骚五月| 狠狠插狠狠操| 亚洲av成人在线| 日韩无码成人电影| www.激情五月天.com| 成人网在线视频| 五月激情网站| 久热大香蕉| 久久综合伊人综合在线| 激情网五月天| 五月婷六月丁香| 激情五月丁香婷婷| 亭亭五月天成人| 涩涩涩.com| 久久成人性爱| 欧美色播综合在线观看| 色综合中文色综合网| 五月天激情久久| 97 A I色色| 99色亚洲| 国产精品久久久丁香五月八戒视频| 日本操B片| 久久国产高清| 亚洲乱码w在线观看| 97碰碰碰免费公开在线视频| 91精品91久久久中77777久久玖玖九九 | 中美日韩成人在线| AA丁香综合激情| 天天夜夜操| www一起操在线观看| 亚州操人在线视频| 丁香九月综合激情| 色综合色色| 丁香五月婷婷手机| 五月丁香六月综合基地| 99热网址| 婷婷天堂综合| 国产精品久久久久久久久久免费| 五月天婷婷色播在线网| 97热91| 婷婷五月天BBw| 人妻激情在线| 狠狠精品干练久久久无码中文字幕 | 色天堂A| 九月婷婷综合八月丁香在线观看| 91操人视频| 狠狠色丁香99| 婷婷丁香五月高清| 天天干电影| 182tv992tv人之初午夜免费观看| 四季8848精品成人免费网站| 五月丁香久久久| 五月天婷婷在线播放免费| 五月丁香婷婷99| 99久久a线观| 丁香九月综合在线| 久热伊人| 开心五月天激情网| 久久99这里只有精品视频| 激情5月婷婷| 国产又粗又大又爽又黄| 九九AV| 色婷婷四色| 亚洲婷婷五月草久| 天天操夜夜操| 婷婷五月丁香99| 成人在线日韩| 99热精品在线观看| 色综合综合综合| 91色涩| 婷婷色五月天在线| 激情五月天婷婷| 99热在线精品观看| 99re热免费观看视频精品| 五月天色影院| 国产午夜成人免费看片无遮挡| 国产黄大片在线观看画质优化| 色色999三级片| 日本怕怕视频| 丁香六月激情综合啪啪| 久久永久视频| 久久久五月天婷婷成人网| 欧日韩成人| 丁香六月婷婷一区二区三区| 99自拍视频在线| 伊综合蕉| 操逼福利视频| 久久东京热婷婷五月| 精品99在线观看| 超碰97在线操| 久久久久久久久久久久久久人妻视频 | 日本WwW色偷偷丁香花久久久京东热| 亚洲在线视频321| co超碰在线观看| 成人综合网站| 日韩成人综合网| 色婷婷五月天在线观看| 丁香六月天堂| 九九热视频免费的| 婷婷五月天激情亚洲小说| 在线观看欧美| 欧美激情综合色综合啪啪五月| 精品国产乱码久久久久夜深人妻| 久草a片| 久色视频| 天天爽,夜夜爽| 天天久| 丁香五月天论坛| 这里只有精品免费视频| 2025最新亚洲激情在线| 色婷婷19| 91精品综合久久婷婷九色| 亚洲国产精品VA在线看黑人| 99精品热| 日日夜夜狠狠| 久久综合丁香| 亚洲网视屏| 久久人人九| 五月婷婷婷自由综合| 国产.亚洲.欧洲视频在线| 亚洲色图五月丁香五月婷婷| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 无套内射极品大美女| 人妻久久久| 99色最新在线视频| 丁香成人五月天| 久久er免费视频| 丁香五月天啪啪| 玖玖福利视频资源| 色噜婷婷| 日熟女| 色综合网址| 色情性爱视频网址| 激情第四色| www.日韩艹| 五月久久| 91九色熟女| 婷婷她六月天| 欧美色综合天天久久综合精品| 日本久久婷婷| 六月丁香啪啪啪| 99久久久久| 久久综合伊人综合在线| 亚洲最大视频| 精品成人在线观看| 99热网站| 激情网综合| 五月天激情啪啪| 久久九九网| 99这里只有精品视频在线| 在线91日韩| 欧洲亚洲免费视频9 | AV无码免费| 熟女婷婷网站一婷婷五月一丁香婷婷一婷婷激情网 | 婷婷五月色情天| 五月丁香六月婷婷精品| 开心色五月天久久久久久久| 九九九九综合| 婷婷五月天久久| 九九婷婷五月天| 亚洲激情无码久久| 91操操| 女人高潮内射99精品| 成人 在线 日韩| 丁香五月日啪| 91久久久久久久| 91狼友视频在线观看| 婷婷亚洲天堂| 五月天伊人| www.久9| 婷婷舔| 婷婷综合五月| 激情综合区| 天天日天天舔天天摸| 综合网啪| ri电影在线| www,色婷婷| 婷婷五月天日本国产| 少妇熟女视频一区二区三区| 激情综合网五月激情| www.91五月| 日本免费91| 狠狠操天天操天天操| 99无码黄色视频| 99在线精品观看99| 色色网站免费在线视频| 五月色俺婷婷| 五月综合影院| 超碰99热| 五月天婷婷青青草| 超碰在线人妻| 五月婷视频| 99久在线精品99re8| 国产熟妇乱子伦hd| 亚洲中文无码成人| 九九AV| 狼人婷婷综合| 丁香五月中文字幕久色| 丁香婷婷人妻综合网| 97色色-99久久| 26.uuu丁香五月婷婷| 五月婷婷综合久久| 99日本黄站| 久久看九九90| 天堂爱爱| 2020日日干| 婷婷激情五月综合| 99国产精品久久久久久久久久久| 超碰免费人人| 九九热婷婷| 九九成人视频| 97碰碰视频| 色J香五月天| 久久超视频| 91精品丝袜久久久久久久久粉嫩| 亭亭丁香aV| 日本在线视频看se99| 狠狠狠激情网| 欧美va精品va老师va| 婷婷成人av| 成人做爰黄A片免费看直播室男男 A片试看120分钟做受图片 | 五月丁香影院 | 久久这里只有精品视频15| 婷婷五月色天| 亚洲男女激情| 婷婷五月天综合在线 | 亚洲成人一区| 五月狠狠| 色婷婷社区| 久久婷色| 激情图片婷婷丁香五月| 色婷婷成人在线| 五月丁香啪啪| 色频玖玖五月天| 久久99婷婷| 人人操AV| 碰碰女| 丁香六月狠狠干| 丁香六月婷婷| 极骚大香蕉伊人| 日韩欧美成人网| 99色视| 91婷婷丁香五月| 99色热| 五月婷婷激情四季| 五月天婷爱综合| 日本欧美国产| 丁香五月中文字幕色播| 婷婷黄色五月天在线视频| 激情久久五月天| 色婷婷久久| 电影爱拉战争免费观看| 超碰人人操在线| 新99思思视频| 人人干AV| 五月精品| 五月天天天色| www.丁香黄色五月天人与| 激情五月天网| 中文字幕高清av| 97 A I色色| 97干综合网| 99色热视频| 婷婷导航| 大香蕉啪啪啪| 狠狠干伊人| Caoub青青超碰| 综合网啪| 蜜桃婷婷狠狠久久| 亚洲精品午夜国产va久久成人| 五月天堂六月丁香亚州中文字幕久久| 五月丁香六月婷婷亚洲综合| 五月丁香999| 成人电影在线免费试看| 色五月丁香婷婷综合| 天天激情站| 五月婷婷六月丁香激情深爱| 久久xxxx| 久久这里在精品视频| 激情av| 丁香综合伊人| 99久99久| 五月丁香成年黄色| 99久久丝| 五月天综合在线观看| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 五月丁香成年黄色| 激情六月丁香| 国产乱人偷精品人妻A片| 99热资源在线| 久草热在线视频| 午夜九九电影| 九九99在线视频| 久久婷五月婷| 亚洲瑟瑟精品在线| 97碰免费精采视频| 五月天综合久久| 婷婷五月天亚洲激情戏精品| 久久午夜理论| 99精品亚洲| 国产黄色av| 久久人妻情侣| 97操碰| pom538精品视频| 九九久久综合网站| 五月丁香六月激情| 九九精品热播| 99国产这里只有精品| 激情网婷婷五月天| 91九色超碰| 成人五月天在线观看| 天天色,天天操,天天射| 色五月婷婷五月天| 丁香六月激情综合网| 人人人操 超碰| 超碰三级片| 开心五月丁香婷婷| 色五月婷婷操逼| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 69精品无码一区二区三区| 五月天玖玖狠狠色色| 五月丁香A片| 国产日批视频免费播放| 噜噜噜久久| 伊人啪啪网| 综合综合色色| 亚卅毛片| 色欲五月丁香| 日本丁香五月| www.狠狠艹| 高清无码 一区 二区 三区| 亚洲欧洲另类图片| 五月花免费视频| 男人的天堂五月丁香| 99热99精品| 亚洲狠狠爱婷婷| 啪啪91| 日日夜夜天天综合| 色综合开心五月深爱五月| 热996精品在线观看| 影音先锋一区| 色五月丁香五月| 五月天婷婷网站| 九玖视频这里只有精品| 免费观看欧美成人AA片爱我多深 | 午夜一区| 日本美女上人| 日韩在线aaa| 色播婷婷五月天| 色99婷婷五月天| 狠狠色噜噜狠| 麻豆AV一区二区三区| 激情小说 五月天| 99色啊| www.久久久久| 国产97色在线| 2021日韩无码| 婷婷香蕉香| 伊人99久久| WWW.桔色成人.COM| 天天色天天操天天射| 热99只有精品| 色插综合网| 色色是色N一| 夜夜夜天天操| www99精品| 久久五月网| 久久久久亚洲AV无码网影音先锋| www.色婷婷.com| 九九综合| 五月丁香综合在线| se99视频| 久操热线| 色婷婷香蕉| 五月丁香婷婷色色| 99热综合在线| 五月色婷婷中文字幕| 思思久久96热在精品国产,| 日本97在线视频| 丁香五月激情综合婷综| 亚洲第一成人无码A片| 婷婷八月丁香激情综合| 婷婷五月花| 丁香五月婷婷色| 色色激情五月天| 色播五月丁香| 激情www| 91九色熟女| 激情六月天婷婷| 激情综合啪啪| 超碰成人在线观看| 丁香五月影院| 97综合在线| 婷婷五月天成人| 国产91资源在线| 任你躁XXXXX麻豆精品| 开心婷婷五月| 五月婷婷六月丁香| 狠狠干在线| 国产亚洲精品久久久久久郑州| 超碰资源在线| 九九热在线99| www.色综合| 五月开心播播网| 东北熟女高潮99综合99| 这里只有精品视频| 99精日本久久| 久久久色情| 婷婷色五月开心五月| 九九Y精品热播| 97AV人人插人人操| 人妻久久婷婷| 五月丁香六月婷综合成人综合| 日亚二欧美| 亚洲网视屏| 好吊丝aV| 婷婷五月综合激情免费| 在线A色| www.天天日| 99免费热视频在线| 亚洲另类在线观看| 97一区二区| 牛牛色av| 婷婷99| 美女要搞搞天天搞搞搞网站| 79亚洲精品少妇| 这里只有精品在线看| 99色播| WWW.桔色成人.COM| 思思热精品在线视频| 久久综合丁香激情五月| 五月 成人 婷婷| 97干在线| 久久激情婷婷| 92久久| 色婷婷丁香五月天激情综合网| www99热| 久久人妻高清中文| 五月丁香 啪啪| 亚洲精品久久久久久久久久吃药| 成人无码髙潮喷水A片| 九九在线精品| 亚洲天堂玖玖| 一级片sese片.COM| 激情宗合网激情五月天| 99九九热视频| 丁香丁婷五月激情| 日韩99色99| 日本五月婷婷| 超碰人人在线观看| 99婷婷| 日日夜夜久| 婷婷久久色| 超级碰碰一区| 久久综合99| 26uuu最新地址| 婷婷综合激情| 日韩AV中文字幕在线| 婷婷午夜综合| 婷婷丁香五另类网站| 天天操天天草天天草天天| 99热九九热| www.99在线| 黄网在线观看免费| 综合色天天| 激情六月婷婷| 国产乱轮一区二区三区| 99在线视频喷水| 色噜噜,噜噜色| 久操无码| 丁香五月 性爱| 色播五月婷婷综合| 一本色道久久综合狠狠躁小说| 丁香五月手机在线| 激情五月四色| 五月婷视频久久| 婷婷丁香五月综合免费视频百花| 五月天激情网图片| 极品少妇XXXX精品少妇偷拍| 五月丁香另类网| 丁香五月天欧美成人| 99综合一区| 这里有精品| 香蕉大综综综合久久| 久久色五月| 亚洲 六月 综合| 色色婷| 日本色五月| 色色色色色色色色色色色色色五月天| 精品综合久久久久久五月天| 五区毛片七区毛片| 国产日韩欧美| 天天日天天做天天舔| 无码激情精品色婷婷久久久久| 色婷婷五月天激情在线观看| 激情九月综合| www91精品| 九九热免费| 天天做天天爱天天高潮| 九九美女视频| 91婷婷色 | 91狠狠色丁香婷婷综合久久精品| 五月花亭亭| 四川BBB搡BBB搡多人乱亂| 久热爱大香蕉在线蜜臀悦色 | 99精品国产热久久91色欲| 婷婷亚洲综合| 欧美色色干| 丁香成人五月天| 91九九九九九九| 天天拍久久| 久久99热网| 亚洲中文无码成人| 丁香五月天电影| a色色色色色| 91九色在线| 九九综合九九| 五月婷网| www.maotanji.com| 99精品久久久久| 爆乳熟女一区二区三区爆乳| 精品久久人妻热| 五月天婷婷色| 婷五月天在线草| 超碰在线看| 99热www.| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 五月婷视频| 国产日产成人亚洲欧美国产VA| 99热99热在线| 丁香婷婷激情四射五月| 中文字幕丰满乱孑伦无码专区 | 99久久婷婷国产综合精品电影| 久久只有精| 色婷婷香蕉| 激情综合五月激情XXXX| 猫咪伊人久久| 色婷| 操一区| 婷婷欧美偷拍综合| 国产精品人成A片一区二区| 操操自拍| 激情综合区| 亚洲VA欧美VA| 激情婷婷五月天| 天天干天天 亚洲| 色在线免费观看| 欧美五月丁香| 婷婷射图五月天| 99久在线精品99re8热| 夜夜爱影院| 4399成人黄A片| 婷婷色五月噜噜| 99免费| 成人婷婷桔色| 成人在线观看精品| 俺去啦综合网| 99热精品网| 激情五月天综合婷婷网| 丁香五月天堂婷婷| 五月天激情久久| 色五月天激情| 五月色综合| 综合色色婷婷| 欧美日韩成人在线网| 五月婷婷丁香综合| 久热亚洲| 激情五月丁香婷婷| 丁香伊人激情| 五月婷婷丁香大香蕉| 看国产探花操逼三级片| 婷婷五月天成人小说| 秋霞av吧| 六月份天丁香婷婷| 丁香婷婷五月色成人网站| 色丁香五月婷婷| 亚洲精品网站色视频| 色综合com| 亚洲色婷婷网站| 精品一区二区三区三区| 五月天色视频| 五月婷婷啪啪啪| 免费无码毛片一区二区A片| 激情婷婷五六月天| 五月婷九月| 中文字幕成人| 五月婷婷九月婷婷九月婷婷| 成人在线观看精品| 偷拍91九色| 久久这里只有精品无码| 丁香五月激情图片婷婷| 亚洲国产va|