欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

目標(biāo)驅(qū)動(dòng)Java Agent開(kāi)發(fā)實(shí)戰(zhàn):不修改代碼實(shí)現(xiàn)方法耗時(shí)監(jiān)控

目標(biāo)驅(qū)動(dòng)Java Agent開(kāi)發(fā)實(shí)戰(zhàn):不修改代碼實(shí)現(xiàn)方法耗時(shí)監(jiān)控 在業(yè)務(wù)系統(tǒng)里做性能診斷、故障排查、方法鏈路觀測(cè)時(shí)很多人第一反應(yīng)是改代碼加日志或者引入一個(gè)重量級(jí) APM。但遇到線上不能隨意發(fā)布、依賴不好升級(jí)、框架源碼不好改的場(chǎng)景Java Agent 幾乎是繞不開(kāi)的方案。Java Agent 可以做到不修改業(yè)務(wù)源碼就在類加載階段對(duì)目標(biāo)類進(jìn)行增強(qiáng)也正因如此很多團(tuán)隊(duì)都想做一個(gè)屬于自己的輕量 Agent 工具。不過(guò)絕大多數(shù)人剛接觸 Java Agent 時(shí)都會(huì)卡在字節(jié)碼操作、Instrumentation 機(jī)制、類加載器邊界這些問(wèn)題上寫出來(lái)的 Agent 經(jīng)常出現(xiàn)“不生效”“重復(fù)增強(qiáng)”“把應(yīng)用改崩了”之類的詭異現(xiàn)象。本文將圍繞 embabel 這類目標(biāo)驅(qū)動(dòng)的 Java Agent 開(kāi)發(fā)框架展開(kāi)先解釋 Java Agent 與目標(biāo)驅(qū)動(dòng)開(kāi)發(fā)的核心概念再通過(guò)一個(gè)可運(yùn)行的方法耗時(shí)監(jiān)控 Agent 實(shí)戰(zhàn)案例完整演示從工程搭建、目標(biāo)聲明、增強(qiáng)邏輯到運(yùn)行驗(yàn)證的全過(guò)程。文章還會(huì)整理高頻故障的排查思路和生產(chǎn)環(huán)境落地的注意事項(xiàng)。適合剛接觸 Java Agent 的讀者入門也適合正在設(shè)計(jì)內(nèi)部診斷組件的后端同學(xué)參考。1. 為什么 Java Agent 開(kāi)發(fā)如此繁瑣1.1 傳統(tǒng) Agent 開(kāi)發(fā)的“三座大山”如果一個(gè)團(tuán)隊(duì)打算自研一個(gè) Java Agent最常遇到的阻礙通常有三個(gè)。第一是字節(jié)碼操作門檻。JVM 加載類時(shí)ClassFileTransformer 會(huì)收到類的字節(jié)碼數(shù)組開(kāi)發(fā)者需要在這個(gè)數(shù)組上操作增加方法計(jì)時(shí)、打印入?yún)?、吞掉異常等邏輯。直接操作字?jié)碼不現(xiàn)實(shí)常用 ASM 或 ByteBuddy 這類庫(kù)來(lái)做。ASM 更底層性能好但代碼寫起來(lái)很繁瑣ByteBuddy 封裝程度高但對(duì)新手來(lái)說(shuō) API 依然有學(xué)習(xí)成本。第二是 Instrumentation 機(jī)制細(xì)節(jié)。Java 提供 premain 和 agentmain 兩種入口分別用于啟動(dòng)時(shí)增強(qiáng)和運(yùn)行時(shí) Attach 增強(qiáng)。要做運(yùn)行時(shí)增強(qiáng)還需要正確處理 retransform/redefine 的時(shí)機(jī)以及不同 JVM 版本對(duì) Can-Redefine-Classes、Can-Retransform-Classes 的限制。第三是類加載器邊界。同一個(gè)類可能被多個(gè) ClassLoader 加載Agent 中的增強(qiáng)類可能對(duì)目標(biāo)類的 ClassLoader 不可見(jiàn)一旦邊界處理不對(duì)要么增強(qiáng)不生效要么直接拋 NoClassDefFoundError。1.2 傳統(tǒng)方式寫一個(gè)方法耗時(shí)統(tǒng)計(jì)有多麻煩先看一個(gè)傳統(tǒng) ByteBuddy 方式的方法耗時(shí)統(tǒng)計(jì)樣例。雖然 ByteBuddy 已經(jīng)幫我們屏蔽了大量字節(jié)碼細(xì)節(jié)但開(kāi)發(fā)者仍然需要理解 AgentBuilder、Transformer、Advice 這些概念public class CostAgent { public static void premain(String arg, Instrumentation inst) { new AgentBuilder.Default() .type(ElementMatchers.nameStartsWith(com.example)) .transform((builder, typeDescription, classLoader, module, protectionDomain) - builder.visit(Advice.to(CostAdvice.class) .on(ElementMatchers.named(hello)))) .installOn(inst); } }這段代碼還不算復(fù)雜。真正復(fù)雜的是當(dāng)目標(biāo)類變成幾十個(gè)、方法變成幾百個(gè)、每個(gè)增強(qiáng)動(dòng)作還不太一樣時(shí)開(kāi)發(fā)者就不得不維護(hù)一堆類型匹配規(guī)則、方法匹配規(guī)則、Advice 類映射關(guān)系。可讀性和可維護(hù)性都會(huì)明顯下降。1.3 目標(biāo)驅(qū)動(dòng)換一種思考方式目標(biāo)驅(qū)動(dòng)開(kāi)發(fā)的核心思路是開(kāi)發(fā)者不再面向“字節(jié)碼增強(qiáng)規(guī)則”編程而是面向“我要增強(qiáng)誰(shuí)、增強(qiáng)后做什么”編程。開(kāi)發(fā)者只需要聲明目標(biāo)類、目標(biāo)方法、增強(qiáng)動(dòng)作框架負(fù)責(zé)把聲明翻譯成底層 Instrumentation 和字節(jié)碼增強(qiáng)邏輯。這個(gè)體驗(yàn)有點(diǎn)像我們?cè)?Spring 里通過(guò)注解聲明切面而不需要手寫 AOP 代理的生成邏輯。embabel 這類目標(biāo)驅(qū)動(dòng)框架就是要把 Java Agent 開(kāi)發(fā)從“底層機(jī)制編碼”提升到“目標(biāo)聲明與動(dòng)作編排”的層次從而降低 Agent 開(kāi)發(fā)門檻提升治理規(guī)則的可維護(hù)性。2. Java Agent 與目標(biāo)驅(qū)動(dòng)開(kāi)發(fā)的核心概念2.1 Java Agent 到底是什么Java Agent 是 JVM 對(duì)外提供的一種擴(kuò)展機(jī)制。開(kāi)發(fā)者可以編寫一個(gè)包含 premain 或 agentmain 方法的 JAR 包通過(guò)-javaagent:xxx.jar參數(shù)在應(yīng)用啟動(dòng)前掛載或者通過(guò) Attach API 在運(yùn)行期掛載到目標(biāo) JVM。掛載成功后Agent 可以獲得 Instrumentation 對(duì)象注冊(cè) ClassFileTransformer從而在 JVM 加載類或重新轉(zhuǎn)換類時(shí)修改字節(jié)碼。典型應(yīng)用場(chǎng)景包括性能監(jiān)控統(tǒng)計(jì)方法耗時(shí)、采集 JVM 指標(biāo)。鏈路追蹤自動(dòng)給 RPC 方法注入 traceId。故障診斷動(dòng)態(tài)打印參數(shù)、返回值和異常堆棧。熱修復(fù)替換某些方法的實(shí)現(xiàn)邏輯。增強(qiáng)框架在 Spring、MyBatis 等框架調(diào)用鏈路上增加邏輯。2.2 Premain 與 Agentmain 的區(qū)別入口方式掛載時(shí)機(jī)使用方式典型場(chǎng)景premainJVM 啟動(dòng)時(shí)main 方法執(zhí)行前-javaagent:xxx.jar靜態(tài)增強(qiáng)適合發(fā)布時(shí)統(tǒng)一掛載agentmainJVM 運(yùn)行中Attach API動(dòng)態(tài)掛載適合診斷已有進(jìn)程premain 的優(yōu)點(diǎn)是掛載時(shí)機(jī)早能在業(yè)務(wù)類加載前就完成 Transformer 注冊(cè)增強(qiáng)邏輯可控性高。agentmain 的優(yōu)點(diǎn)是無(wú)需重啟進(jìn)程但需要處理類重新轉(zhuǎn)換的問(wèn)題復(fù)雜度更高。目標(biāo)驅(qū)動(dòng)框架一般都會(huì)同時(shí)支持這兩種入口。2.3 目標(biāo)驅(qū)動(dòng)開(kāi)發(fā)框架解決了什么問(wèn)題目標(biāo)驅(qū)動(dòng)開(kāi)發(fā)框架解決的核心問(wèn)題是讓 Agent 增強(qiáng)邏輯更加“可聲明、可編排、可復(fù)用”。如果不使用目標(biāo)驅(qū)動(dòng)框架每增加一個(gè)增強(qiáng)目標(biāo)開(kāi)發(fā)者都要理解類型匹配器、方法匹配器、Advice 綁定規(guī)則、類加載器可見(jiàn)性。如果使用目標(biāo)驅(qū)動(dòng)框架增強(qiáng)目標(biāo)可以寫成類似下面這種結(jié)構(gòu)目標(biāo)類com.example.demo.HelloService目標(biāo)方法hello增強(qiáng)動(dòng)作方法進(jìn)入時(shí)記錄時(shí)間、方法退出時(shí)打印耗時(shí)這樣開(kāi)發(fā)者只需要專注增強(qiáng)動(dòng)作本身類型匹配、方法匹配、Advice 織入方式都由框架層統(tǒng)一處理。這也是“目標(biāo)驅(qū)動(dòng)”四個(gè)字的核心含義。3. 環(huán)境準(zhǔn)備與工程搭建3.1 基礎(chǔ)環(huán)境說(shuō)明本文實(shí)戰(zhàn)案例使用以下環(huán)境JDK 8 或更高版本Maven 3.6 以上操作系統(tǒng)Windows / macOS / Linux 均可字節(jié)碼操作庫(kù)ByteBuddy不同項(xiàng)目的 JDK 版本會(huì)存在差異實(shí)際開(kāi)發(fā)時(shí)應(yīng)根據(jù)線上運(yùn)行環(huán)境調(diào)整編譯源碼級(jí)別。本文示例統(tǒng)一使用 JDK 8 兼容的編譯方式方便在大多數(shù)存量項(xiàng)目中復(fù)現(xiàn)。3.2 Maven 工程結(jié)構(gòu)規(guī)劃為了讓 Agent 和被增強(qiáng)的應(yīng)用分離建議使用多模塊工程。本文的工程結(jié)構(gòu)如下javaagent-tutorial/ ├── agent-core/ │ ├── pom.xml │ └── src/main/java/com/example/agent/ │ ├── AgentMain.java │ ├── AgentAction.java │ ├── AgentTarget.java │ └── HelloCostAction.java │ └── src/main/resources/META-INF/services/com.example.agent.AgentAction └── demo-app/ ├── pom.xml └── src/main/java/com/example/demo/ ├── DemoApp.java └── HelloService.java模塊劃分的原則很簡(jiǎn)單agent-core 負(fù)責(zé) Agent 掛載和增強(qiáng)邏輯。demo-app 負(fù)責(zé)模擬一個(gè)普通業(yè)務(wù)應(yīng)用。這樣在運(yùn)行驗(yàn)證時(shí)可以清楚看到業(yè)務(wù)應(yīng)用本身沒(méi)有做任何修改增強(qiáng)完全來(lái)自 Agent。3.3 manifest 配置說(shuō)明一個(gè) Java Agent JAR 包必須在 manifest 中聲明 Premain-Class 等信息否則 JVM 不會(huì)識(shí)別它的 Agent 身份。常用配置項(xiàng)如下配置項(xiàng)作用Premain-Classpremain 入口類的全限定名Agent-Classagentmain 入口類的全限定名Can-Redefine-Classes是否允許重新定義類Can-Retransform-Classes是否允許重新轉(zhuǎn)換類本文示例使用 premain 方式所以重點(diǎn)配置 Premain-Class。如果需要?jiǎng)討B(tài)掛載還需要在 manifest 中增加 Agent-Class 配置。4. embabel 目標(biāo)驅(qū)動(dòng)的核心抽象4.1 目標(biāo)聲明的表示方式在目標(biāo)驅(qū)動(dòng)框架中目標(biāo)聲明通常包含三部分信息目標(biāo)類的全限定名、目標(biāo)方法名、處理動(dòng)作?;谧⒔饪梢赃@樣表達(dá)AgentTarget(className com.example.demo.HelloService, method hello) public class HelloCostAction implements AgentAction { }框架層通過(guò)讀取注解拿到字符串形式的目標(biāo)類名和目標(biāo)方法名再將其翻譯成 ByteBuddy 能識(shí)別的匹配規(guī)則。這樣做的好處是目標(biāo)信息與動(dòng)作代碼放在同一個(gè)類上一眼就能看出這個(gè)動(dòng)作要增強(qiáng)誰(shuí)。4.2 動(dòng)作編排攔截后做什么動(dòng)作編排是目標(biāo)驅(qū)動(dòng)框架最體現(xiàn)設(shè)計(jì)價(jià)值的部分。一個(gè)增強(qiáng)動(dòng)作通??梢圆鸱殖蓛蓚€(gè)階段方法進(jìn)入階段在目標(biāo)方法執(zhí)行前執(zhí)行可以記錄開(kāi)始時(shí)間、打印入?yún)?、修改參?shù)、控制是否繼續(xù)執(zhí)行。方法退出階段在目標(biāo)方法正常返回或拋異常后執(zhí)行可以記錄耗時(shí)、打印返回值、上傳異常信息。在 ByteBuddy Advice 中對(duì)應(yīng)的是 Advice.OnMethodEnter 和 Advice.OnMethodExit 兩個(gè)注解方法。目標(biāo)驅(qū)動(dòng)框架要做的就是把這些動(dòng)作編排能力封裝成統(tǒng)一接口讓開(kāi)發(fā)者不用關(guān)心 ByteBuddy 細(xì)節(jié)。4.3 生命周期與上下文傳遞生產(chǎn)級(jí)目標(biāo)驅(qū)動(dòng)框架不只是簡(jiǎn)單做一次方法織入它還需要考慮生命周期和上下文傳遞。例如多個(gè)增強(qiáng)動(dòng)作之間存在順序要求時(shí)如何編排執(zhí)行順序。方法進(jìn)入階段產(chǎn)生的臨時(shí)數(shù)據(jù)如何傳遞到方法退出階段。同一個(gè)類被多個(gè) Agent 或者自身重復(fù)匹配時(shí)如何避免重復(fù)增強(qiáng)。這些都屬于目標(biāo)驅(qū)動(dòng)框架的工程化能力。開(kāi)發(fā)者在選擇框架時(shí)應(yīng)該重點(diǎn)考察這些能力而不只是看它能不能做一次方法耗時(shí)打印。4.4 目標(biāo)驅(qū)動(dòng)與 AOP 的異同目標(biāo)驅(qū)動(dòng) Agent 和 AOP 都解決“在不改動(dòng)業(yè)務(wù)代碼的前提下增強(qiáng)邏輯”的問(wèn)題但它們的作用層不同。AOP 通常在應(yīng)用啟動(dòng)后由 Spring 容器生成代理對(duì)象目標(biāo)驅(qū)動(dòng) Agent 則通過(guò) JVM Instrumentation 在類加載階段修改字節(jié)碼。后者不依賴 Spring 容器也不需要被增強(qiáng)類實(shí)現(xiàn)接口或允許繼承對(duì)第三方 Jar 包內(nèi)部的方法也可以生效。這決定了目標(biāo)驅(qū)動(dòng) Agent 更適合做框架級(jí)增強(qiáng)、線上診斷、統(tǒng)一治理這類場(chǎng)景。5. 完整實(shí)戰(zhàn)構(gòu)建一個(gè)方法耗時(shí)監(jiān)控 Agent5.1 場(chǎng)景拆解本文實(shí)戰(zhàn)案例要完成的任務(wù)是不修改 HelloService 的任何代碼給 hello 方法增加耗時(shí)統(tǒng)計(jì)并在方法進(jìn)入和退出時(shí)打印日志。先編寫 agent-core 模塊的 pom.xml?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion groupIdcom.example/groupId artifactIdagent-core/artifactId version1.0.0/version packagingjar/packaging properties maven.compiler.source8/maven.compiler.source maven.compiler.target8/maven.compiler.target project.build.sourceEncodingUTF-8/project.build.sourceEncoding bytebuddy.version1.14.9/bytebuddy.version /properties dependencies dependency groupIdnet.bytebuddy/groupId artifactIdbyte-buddy/artifactId version${bytebuddy.version}/version /dependency dependency groupIdnet.bytebuddy/groupId artifactIdbyte-buddy-agent/artifactId version${bytebuddy.version}/version /dependency /dependencies build plugins plugin groupIdorg.apache.maven.plugins/groupId artifactIdmaven-shade-plugin/artifactId version3.4.1/version executions execution phasepackage/phase goals goalshade/goal /goals configuration transformers transformer implementationorg.apache.maven.plugins.shade.resource.ManifestResourceTransformer manifestEntries Premain-Classcom.example.agent.AgentMain/Premain-Class Can-Redefine-Classestrue/Can-Redefine-Classes Can-Retransform-Classestrue/Can-Retransform-Classes /manifestEntries /transformer /transformers /configuration /execution /executions /plugin /plugins /build /project這里有一個(gè)關(guān)鍵點(diǎn)Agent JAR 打包時(shí)需要把 ByteBuddy 依賴一起打進(jìn)最終 JAR否則應(yīng)用啟動(dòng)時(shí)雖然能加載 AgentMain但找不到 net.bytebuddy 相關(guān)的類。maven-shade-plugin 的作用就是把依賴整合到一個(gè) JAR 里。版本說(shuō)明ByteBuddy 版本建議以你實(shí)際項(xiàng)目中測(cè)試過(guò)的穩(wěn)定版本為準(zhǔn)不同大版本的 Agent API 可能略有差異。5.2 agent-core 模塊實(shí)現(xiàn)首先定義目標(biāo)注解 AgentTarget它是“目標(biāo)驅(qū)動(dòng)”的可視化入口package com.example.agent; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.lang.annotation.Target; /** * 目標(biāo)驅(qū)動(dòng)聲明標(biāo)記一個(gè) Agent 動(dòng)作要增強(qiáng)哪個(gè)類的哪個(gè)方法。 */ Retention(RetentionPolicy.RUNTIME) Target(ElementType.TYPE) public interface AgentTarget { String className(); String method(); }接著定義動(dòng)作標(biāo)記接口 AgentAction。這個(gè)接口不定義任何必須實(shí)現(xiàn)的方法作用是讓框架能夠通過(guò) ServiceLoader 統(tǒng)一加載所有增強(qiáng)動(dòng)作package com.example.agent; /** * Agent 動(dòng)作標(biāo)記接口。 */ public interface AgentAction { }接下來(lái)是核心入口 AgentMain。它讀取 ServiceLoader 加載到的所有 AgentAction解析目標(biāo)注解并將其翻譯成 ByteBuddy 匹配和織入邏輯package com.example.agent; import net.bytebuddy.agent.builder.AgentBuilder; import net.bytebuddy.asm.Advice; import net.bytebuddy.description.type.TypeDescription; import net.bytebuddy.dynamic.DynamicType; import net.bytebuddy.matcher.ElementMatchers; import net.bytebuddy.utility.JavaModule; import java.lang.instrument.Instrumentation; import java.security.ProtectionDomain; import java.util.ServiceLoader; /** * Agent 啟動(dòng)入口。 */ public class AgentMain { public static void premain(String arg, Instrumentation inst) { AgentBuilder agentBuilder new AgentBuilder.Default() .disableClassFormatChanges() .with(AgentBuilder.RedefinitionStrategy.RETRANSFORMATION); ServiceLoaderAgentAction actions ServiceLoader.load(AgentAction.class); for (AgentAction action : actions) { AgentTarget target action.getClass().getAnnotation(AgentTarget.class); if (target null) { System.out.println([agent] skip action without AgentTarget: action.getClass().getName()); continue; } agentBuilder agentBuilder .type(ElementMatchers.named(target.className())) .transform(new AgentBuilder.Transformer() { Override public DynamicType.Builder? transform( DynamicType.Builder? builder, TypeDescription typeDescription, ClassLoader classLoader, JavaModule module, ProtectionDomain protectionDomain) { return builder.visit(Advice.to(action.getClass()) .on(ElementMatchers.named(target.method()))); } }); System.out.println([agent] register target: target.className() # target.method() - action.getClass().getName()); } agentBuilder.installOn(inst); System.out.println([agent] target-driven agent installed successfully.); } }這段代碼最需要理解的是 ServiceLoader 的使用方式。目標(biāo)驅(qū)動(dòng)的動(dòng)作類不通過(guò)硬編碼注冊(cè)而是通過(guò)META-INF/services/com.example.agent.AgentAction文件聲明這樣新增一個(gè)增強(qiáng)動(dòng)作時(shí)不需要改動(dòng) AgentMain 的注冊(cè)代碼符合開(kāi)閉原則。再來(lái)看 HelloCostAction它就是我們要執(zhí)行的增強(qiáng)動(dòng)作。package com.example.agent; import net.bytebuddy.asm.Advice; /** * 方法耗時(shí)統(tǒng)計(jì)動(dòng)作示例。 */ AgentTarget(className com.example.demo.HelloService, method hello) public class HelloCostAction implements AgentAction { Advice.OnMethodEnter public static long enter(Advice.Origin(#t.#m) String method) { System.out.println([embabel-example] enter method); return System.nanoTime(); } Advice.OnMethodExit(onThrowable Throwable.class) public static void exit(Advice.Origin(#t.#m) String method, Advice.Enter long startNanos, Advice.Return Object result, Advice.Thrown Throwable throwable) { long costUs (System.nanoTime() - startNanos) / 1000; System.out.println([embabel-example] exit method , costUs costUs , result result , throwable throwable); } }這里的幾個(gè)注解參數(shù)需要重點(diǎn)解釋Advice.Origin 可以拿到被增強(qiáng)方法的原始描述信息#t.#m表示“類型名.方法名”。Advice.Enter 可以拿到 OnMethodEnter 方法的返回值這里是把方法進(jìn)入時(shí)間傳遞給退出階段。Advice.Return 是目標(biāo)方法的返回值如果目標(biāo)方法拋異常這個(gè)值會(huì)是 null。Advice.Thrown 是目標(biāo)方法拋出的異常沒(méi)有異常時(shí)是 null。為了讓 ServiceLoader 識(shí)別 HelloCostAction還需要在 resources 目錄下創(chuàng)建服務(wù)文件。文件路徑agent-core/src/main/resources/META-INF/services/com.example.agent.AgentAction內(nèi)容com.example.agent.HelloCostAction5.3 被監(jiān)控的示例應(yīng)用先編寫 demo-app 模塊的 pom.xml?xml version1.0 encodingUTF-8? project xmlnshttp://maven.apache.org/POM/4.0.0 xmlns:xsihttp://www.w3.org/2001/XMLSchema-instance xsi:schemaLocationhttp://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd modelVersion4.0.0/modelVersion groupIdcom.example/groupId artifactIddemo-app/artifactId version1.0.0/version packagingjar/packaging properties maven.compiler.source8/maven.compiler.source maven.compiler.target8/maven.compiler.target project.build.sourceEncodingUTF-8/project.build.sourceEncoding /properties build plugins plugin groupIdorg.apache.maven.plugins/groupId artifactIdmaven-jar-plugin/artifactId version3.3.0/version configuration archive manifest mainClasscom.example.demo.DemoApp/mainClass /manifest /archive /configuration /plugin /plugins /build /project創(chuàng)建 HelloServicepackage com.example.demo; public class HelloService { public String hello(String name) { if (slow.equals(name)) { try { Thread.sleep(500); } catch (InterruptedException e) { Thread.currentThread().interrupt(); } } return hello name; } }創(chuàng)建應(yīng)用入口 DemoApppackage com.example.demo; public class DemoApp { public static void main(String[] args) throws Exception { HelloService service new HelloService(); System.out.println(service.hello(embabel)); System.out.println(service.hello(slow)); } }這個(gè)應(yīng)用本身非常簡(jiǎn)單只是一個(gè)包含普通方法和 sleep 的業(yè)務(wù)類。接下來(lái)我們要驗(yàn)證不修改任何業(yè)務(wù)代碼Agent 就能自動(dòng)給 hello 方法增加耗時(shí)統(tǒng)計(jì)。5.4 構(gòu)建與運(yùn)行先構(gòu)建 agent-corecd agent-core mvn clean package -DskipTests再構(gòu)建 demo-appcd ../demo-app mvn clean package -DskipTests最后用 javaagent 參數(shù)啟動(dòng)應(yīng)用java -javaagent:../agent-core/target/agent-core-1.0.0.jar -jar target/demo-app-1.0.0.jar如果你的工程目錄結(jié)構(gòu)與本文不完全一致注意把-javaagent的路徑換成實(shí)際 agent JAR 的絕對(duì)路徑或相對(duì)路徑。6. 運(yùn)行與驗(yàn)證6.1 預(yù)期輸出正常運(yùn)行后控制臺(tái)輸出大致如下[agent] register target: com.example.demo.HelloService#hello - com.example.agent.HelloCostAction [agent] target-driven agent installed successfully. [embabel-example] enter com.example.demo.HelloService.hello [embabel-example] exit com.example.demo.HelloService.hello, costUsxxx, resulthello embabel, throwablenull hello embabel [embabel-example] enter com.example.demo.HelloService.hello [embabel-example] exit com.example.demo.HelloService.hello, costUs500xxx, resulthello slow, throwablenull hello slow6.2 驗(yàn)證 Agent 確實(shí)生效如果輸出中出現(xiàn)了[embabel-example]日志說(shuō)明 Agent 已經(jīng)成功織入目標(biāo)方法。此時(shí)我們不需要在 DemoApp 中打印任何額外日志Agent 的增強(qiáng)邏輯已經(jīng)生效。還可以進(jìn)一步驗(yàn)證不添加任何 Agent 參數(shù)直接啟動(dòng) DemoApp輸出中不會(huì)有[embabel-example]日志這能幫助確認(rèn)增強(qiáng)邏輯完全來(lái)自 Java Agent。6.3 常見(jiàn)變體在實(shí)際項(xiàng)目中你可能需要同時(shí)監(jiān)控多個(gè)類、多個(gè)方法或者在同一方法上執(zhí)行多個(gè)動(dòng)作。目標(biāo)驅(qū)動(dòng)框架的思路是增加更多帶 AgentTarget 注解的 Action 類并在 ServiceLoader 文件中注冊(cè)對(duì)應(yīng)實(shí)現(xiàn)類注冊(cè)邏輯不需要改動(dòng)。7. 常見(jiàn)問(wèn)題與排查思路目標(biāo)驅(qū)動(dòng) Agent 雖然降低了開(kāi)發(fā)門檻但底層仍然是 JVM Instrumentation 和字節(jié)碼增強(qiáng)線上運(yùn)行時(shí)不缺各種問(wèn)題。下面整理一張常見(jiàn)故障速查表。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路Agent 啟動(dòng)日志都沒(méi)打印JAR 未配置 Premain-Class或 javaagent 路徑錯(cuò)誤檢查 manifest 中 Premain-Class修正路徑增強(qiáng)方法沒(méi)有生效目標(biāo)類名、方法名匹配不上或類加載器不同確認(rèn)全限定名和加載器調(diào)整匹配范圍拋 ClassNotFoundException增強(qiáng)動(dòng)作類對(duì)目標(biāo)類的 ClassLoader 不可見(jiàn)將動(dòng)作類放入可見(jiàn)類加載器或使用委托機(jī)制方法被重復(fù)增強(qiáng)多個(gè) Agent 或重復(fù)注冊(cè)了 Transformer加冪等保護(hù)檢查重復(fù)掛載情況啟動(dòng)后應(yīng)用變慢增強(qiáng)方法范圍過(guò)大或動(dòng)作邏輯太重縮小目標(biāo)范圍異步化處理最少化增強(qiáng)邏輯retransform 拋出異常類格式變化被拒絕或與 JVM 參數(shù)沖突檢查 Can-Retransform-Classes關(guān)閉 disableClassFormatChanges7.1 Agent 啟動(dòng)日志都沒(méi)打印首先確認(rèn) manifest 里有沒(méi)有 Premain-Class??梢詧?zhí)行命令查看unzip -p agent-core-1.0.0.jar META-INF/MANIFEST.MF也能直接檢查agent-path是否誤寫成 jar 內(nèi)目錄。另外Agent 通常會(huì)在 main 方法之前執(zhí)行如果 premain 方法內(nèi)部拋了異常會(huì)有明確堆棧需要優(yōu)先處理這類報(bào)錯(cuò)。7.2 增強(qiáng)方法沒(méi)有生效比較常見(jiàn)的原因有三個(gè)目標(biāo)類名不是完整二進(jìn)制名例如把com.example.demo.HelloService寫成了HelloService。方法名不匹配ByteBuddy 默認(rèn)匹配精確方法名重載方法需要額外聲明參數(shù)類型。目標(biāo)類由自定義 ClassLoader 加載Agent 匹配規(guī)則沒(méi)有覆蓋到該 ClassLoader。生產(chǎn)環(huán)境排查時(shí)可以先在 premain 里打印注冊(cè)日志再通過(guò)-verbose:class日志確認(rèn)目標(biāo)類的加載情況觀察 Transformer 是否被觸發(fā)。7.3 拋 ClassNotFoundException當(dāng)被增強(qiáng)的類位于自定義 ClassLoader 中比如 Tomcat 的 WebAppClassLoader而 Action 類在 Agent JAR 中時(shí)目標(biāo)類加載器可能無(wú)法加載 Action 類。普通java -jar應(yīng)用一般沒(méi)有這個(gè)問(wèn)題但容器類應(yīng)用需要注意。解決方法是把動(dòng)作相關(guān)類放到能被目標(biāo)類加載器看到的 ClassLoader 中或者使用類加載器委托策略讓增強(qiáng)代碼在正確的加載器上下文中執(zhí)行。7.4 方法被重復(fù)增強(qiáng)重復(fù)增強(qiáng)多發(fā)生在同一個(gè) Agent 重復(fù)掛載或者多個(gè) Agent 都注冊(cè)了相同目標(biāo)的 Transformer。目標(biāo)驅(qū)動(dòng)框架里可以通過(guò)維護(hù)一個(gè)全局注冊(cè)表在 register 時(shí)檢查目標(biāo)是否已經(jīng)注冊(cè)避免重復(fù)織入。生產(chǎn)環(huán)境也應(yīng)該約定一個(gè)唯一標(biāo)識(shí)防止多個(gè)實(shí)例同時(shí)掛載同一個(gè) Agent 時(shí)互相影響。7.5 啟動(dòng)后應(yīng)用變慢Java Agent 增強(qiáng)邏輯運(yùn)行在業(yè)務(wù)線程中如果動(dòng)作里做了比較重的 IO、鎖等待或遠(yuǎn)程調(diào)用業(yè)務(wù)接口 RT 就會(huì)明顯上升。目標(biāo)驅(qū)動(dòng)框架適合做輕量級(jí)增強(qiáng)耗時(shí)統(tǒng)計(jì)之外參數(shù)采集、日志輸出都應(yīng)盡量異步和降級(jí)。必要時(shí)可以增加開(kāi)關(guān)在業(yè)務(wù)低峰期開(kāi)啟。8. 生產(chǎn)環(huán)境最佳實(shí)踐8.1 最小化增強(qiáng)范圍目標(biāo)驅(qū)動(dòng)框架提供了目標(biāo)匹配能力但開(kāi)發(fā)者不能因此濫用。建議只增強(qiáng)必要的方法不要整包掃描、全量增強(qiáng)。增強(qiáng)范圍過(guò)大不僅影響性能還會(huì)增大類加載階段的風(fēng)險(xiǎn)。可以用“白名單”思路控制目標(biāo)范圍只列出確需增強(qiáng)的類和方法其他一律排除。上線前最好在預(yù)發(fā)環(huán)境做一次全鏈路回歸觀察核心接口耗時(shí)變化。8.2 動(dòng)作邏輯保持輕量Agent 動(dòng)作在目標(biāo)方法調(diào)用鏈路上執(zhí)行任何阻塞操作都會(huì)反向影響業(yè)務(wù)。增強(qiáng)動(dòng)作應(yīng)該具備以下特點(diǎn)不執(zhí)行遠(yuǎn)程調(diào)用。不申請(qǐng)長(zhǎng)時(shí)間鎖。不批量創(chuàng)建大對(duì)象。不做大日志輸出。如果確實(shí)需要上傳數(shù)據(jù)建議統(tǒng)一寫入一個(gè)內(nèi)存隊(duì)列由獨(dú)立線程異步消費(fèi)。8.3 可觀測(cè)性日志、指標(biāo)、鏈路Agent 本身也應(yīng)該被觀測(cè)。建議在 Agent 層補(bǔ)充以下能力啟動(dòng)成功/失敗日志。目標(biāo)匹配統(tǒng)計(jì)。動(dòng)作執(zhí)行失敗計(jì)數(shù)。增強(qiáng)耗時(shí)上報(bào)。這能幫助你在 Agent 不出問(wèn)題時(shí)快速發(fā)現(xiàn)出了問(wèn)題時(shí)快速定位。8.4 灰度與快速回滾生產(chǎn)環(huán)境掛載 Java Agent 本質(zhì)上是在線修改字節(jié)碼風(fēng)險(xiǎn)不可完全忽略。上線前必須先在一組低流量節(jié)點(diǎn)驗(yàn)證再逐步擴(kuò)大范圍。接線時(shí)最好保留兩組發(fā)布配置一組開(kāi)啟 Agent一組不開(kāi)啟 Agent。一旦發(fā)現(xiàn) Agent 導(dǎo)致異??梢钥焖偻ㄟ^(guò)配置中心切換回滾。8.5 安全與最小權(quán)限對(duì)線上應(yīng)用做字節(jié)碼增強(qiáng)需要遵循最小權(quán)限原則只讀類信息時(shí)不進(jìn)行類定義。只在必要方法上織入邏輯。不在 Agent 邏輯中保存業(yè)務(wù)敏感參數(shù)。Agent 包發(fā)布前經(jīng)過(guò)代碼評(píng)審避免內(nèi)部邏輯成為攻擊面。如果你在生產(chǎn)環(huán)境需要臨時(shí)排查問(wèn)題優(yōu)先考慮使用動(dòng)態(tài)掛載的 agentmain而不是直接改動(dòng)業(yè)務(wù)代碼。9. 總結(jié)與后續(xù)學(xué)習(xí)建議通過(guò)本文的講解和實(shí)戰(zhàn)我們圍繞 embabel 這類目標(biāo)驅(qū)動(dòng)的 Java Agent 開(kāi)發(fā)框架拆解了目標(biāo)驅(qū)動(dòng)帶來(lái)的變化開(kāi)發(fā)者只需聲明目標(biāo)類、目標(biāo)方法再編寫增強(qiáng)動(dòng)作框架層負(fù)責(zé)將目標(biāo)翻譯成 Instrumentation 與字節(jié)碼增強(qiáng)邏輯。在實(shí)戰(zhàn)部分我們用 ByteBuddy 結(jié)合 ServiceLoader搭建了一個(gè)可運(yùn)行的方法耗時(shí)監(jiān)控 Agent。這個(gè)示例雖然不復(fù)雜但它完整展示了目標(biāo)驅(qū)動(dòng) Agent 的核心流程注解聲明目標(biāo)、動(dòng)作類承載增強(qiáng)邏輯、ServiceLoader 自動(dòng)注冊(cè)、premain 入口完成織入。如果你接下來(lái)要繼續(xù)深入學(xué)習(xí)建議按以下路徑推進(jìn)掌握 ASM 和 ByteBuddy 的匹配器 API理解字節(jié)碼增強(qiáng)邊界。研究 agentmain 動(dòng)態(tài)掛載技術(shù)配合 Attach API 實(shí)現(xiàn)生產(chǎn)環(huán)境局部增強(qiáng)。在 Agent 中增加指標(biāo)上報(bào)和降級(jí)開(kāi)關(guān)往生產(chǎn)級(jí)組件靠近。閱讀 SkyWalking、Arthas 等開(kāi)源項(xiàng)目的 Agent 設(shè)計(jì)思路體會(huì)底層機(jī)制。回到目標(biāo)驅(qū)動(dòng)這個(gè)話題真正適合生產(chǎn)環(huán)境的 Java Agent 開(kāi)發(fā)框架不只是讓新手能寫幾行示例代碼而是能在復(fù)雜類加載環(huán)境、高并發(fā)場(chǎng)景和灰度回滾訴求下讓增強(qiáng)邏輯變得可控、可觀測(cè)、可維護(hù)。如果你也在設(shè)計(jì)內(nèi)部診斷組件可以先從最小目標(biāo)開(kāi)始驗(yàn)證再逐步把發(fā)布和回滾流程補(bǔ)起來(lái)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.久久综合| 狠狠做五月婷婷| 激情五月丁香亭亭| 婷婷久久综| 婷婷六月综合激情| 玖玖爱资源站| 99re在线观看| www.六月丁香看AV| 在线99精品| 久久这里有精品视频在线免费观看| 五月天色丁香| 欧美综合婷婷欧美综| 99视频在线精品| 亚洲性受XXXX五月丁香| 精品成人无码A片观看香草视频| 久久99热这里只有精品23| 99自拍视频在线| 五月丁香视频在线观看| 牛牛澡牛牛爽| 欧洲激情五月天婷婷| 九九aV| 亚洲中文字幕网| 五月天综合网| 五月天激情国产综合AV| 色月丁| 色婷婷小说| 8050一级网| 亚洲六月色| 综合五月丁香六月婷婷| 热99在线| 91久久婷婷人人澡草| 久操香蕉| 黄色五月婷婷| 91人人爽狠狠狠| 俺去也五月| 色色五月天com| 超碰熟女拍拍| 婷婷的99视频网站| 色情五月综合婷婷| 激情五月四色| 91爱啪啪| 久久se 综合网| 日韩在线五月天婷婷| 人人操人人添人人摸97| 亚洲精品色| 热久久66| 99精品偷自拍| 深爱激情综合| 五月婷婷五月丁香综合| 欧美123区免| 免费看成人747474九号视频在线观看| 任你爽视频| 天天舔天天爽| 丁香五月天婷婷中文字幕| 亚洲丁香花色| 丁香婷婷社区| 秋霞簧片| www.五月婷婷久久.com| 3p九色在线| 九九性爱网| 色情五月丁香婷婷网| 熟女强人妻一区二区三区四区无| 婷婷五月,偷窥偷拍网| 五月天激情国产综合婷婷婷就去爱| 亚洲AV成人在线| 五月开心婷婷| 精品久色| 91久久综合亚洲噜噜成人在线| AV电影在线播放| 99er精品视频| 天天综合插插| 五月婷婷色影院| AA丁香综合激情| 丁香五月开心婷婷| 26uuu四色| 日韩AV中文字幕在线| 99热99干| 激情五月丁香五月| 激情婷婷另类| 婷婷色情五月| 色天堂婷婷| 99热最新精品| 99热综合网| 亚洲无码成人网| .comwww在线观看免费操| 五月婷婷香| 丁香五月六月激情| 欧亚色色| 91色五月| 亚洲欧美成人在线| 日本五月婷婷| 99热这里只有精品86| 色五月丁香六月资源站| 色色五月天网站| 艳妇野外情欲放荡HD| 日日干日日| 天天爽综合| 九九av| 婷婷丁香www视频日本韩国| 国产午夜成人AV在线播放| 九九精品综合| 亚洲五月天综合| 日韩无码亚欧无码| 91狼友视频在线观看| 五月天色丁香| 亚洲日日操| 五月天婷婷在线AN| www,五月天激情| 91操人| 丁香婷婷五月人体| 免费操超碰| 日韩综合成人| 国产午夜精品一区二区三区四区| 色综合伊人网| 97操操| 激情五月综合| 五月激情久久综合网| 九九热10| 日韩草草草草草草草草草草草草| 9久久久久久久久久久| 成人五月天。COM| 黑人巨粗进入警花疼哭A片| 91热在线| 九九99久久| 精品成人a v无码内射| 丁香五月激情六月| 激情五月综亚网| 亚洲va日| 美女100%露全身无挡网站| 亚洲九九夜夜| 色婷婷在线影院| 91五月花丁香| 婷婷五月a| 1024人妻无码中文字幕| 丰滿爆乳一区二区三区| 婷婷香蕉视频| 中文精品在| 人人叉久| 91凹凸在线| 第四色网婷婷| 伊人婷婷大香蕉| h亚洲| 六月婷婷啪啪| 97精品自拍| 91人人操人人看| 婷婷五月丁香激情图片 | 狠狠干伊人| 婷婷免费精品视频| 人人干Av| 激情五月天激情小说| 久热这里精品免费| 色婷婷成人五月| 激情五月六月婷婷综合啪啪| 九九热这里只有精品9| 99久热这里有精品| 天天xxxxxx天天日| 久久久久这里只有精品| 丁香六月婷婷综合| 天天综合图片| 操操操AV| 激情久久肏屄视频| 婷婷五月天激情网| 婷婷五月丁香五月基地| 啪啪夜久久| 狠狠色噜噜狠狠狠狠综合| 丁香花色色网| 婷婷激情丁五月| 五月婷婷色吧!| 校园激情 亚洲| 激情婷婷综合五月少妇| 久热免费视频| 亚洲中文乱字字幕在线永久| 亚洲宗合激情| www久久久久久久97| 国产日比| 五月综合缴情网| 久久久久久久久久久久久久人妻视频 | 伊人婷婷大香蕉| 任你日视频| 任你草| 激情婷婷五月天| 无码少妇高潮喷水A片免费| 超碰在线人人| 色狠狠色噜噜AV天堂五区| 亚洲爆乳无码精品AAA片蜜桃| 狠狠婷婷日韩| 五月婷婷啪| 小视频在线亚洲| 久久精品小视频| 色五月成人在线| 婷婷五月天久久| 婷婷99狠狠躁天天躁| 日韩成人无码| 玖玖婷婷五月| 六月婷伊人| 天天夜夜六月丁香五月婷婷老师| 精品久久99码| 九九九九这里只有精品| 丁香啪啪中文字幕| 天天插天天插天天操| 99热这里有精品24| 五月天婷婷基地| 99精品免费| 偷拍99在线视频观看| 99九九99九九九视频精彩| 五月丁香婷婷综合在线| 激情六月天婷婷| 可以看的av| 日韩AV无码影片| 男人天堂AV在线一区二区| 五月婷婷色色| 国精产品一区一区三区有限公司杨 | 婷婷六月丁香1| 在线只有精品| 狠狠爱成人综合网| caopeng超碰| 丁香五月天网友自拍啪啪啪视频| 欧美激情VA永久在线播放| 在线播放成人| 色久婷婷网| 国产裸舞表演WWWW| 熟女人妻一区二区三区免费看 | 天天干天天做| 99久操视频| 久久久久久久97| 夜夜做夜夜愛| 成人在线二区| 精品无码av丁香五月激情| 久狠日av| 成人免费120分钟啪啪| 九九这里是免费的视频5| 美女100%露全身无挡网站| 色婷另类| 婷婷五月欧美| 三级大香蕉网| 日本色色色| 男人的天堂av俄罗斯热| 日韩激情人伦人| 欧美精品99久久久| 久9久9久9久9久9久9| 美妞av| 欧美性爱中文字幕| 超碰色女人| 日日干夜夜撸夜夜骑| 五月激情六月宗合| 五月天丁香久久综合| 天天爽在线视频| 国产免费一区二区三区三州老师F1F1.CC | 91久草五月天婷婷| 国产综合网在线| 91打屁股免费看| 天天人人综合| 久久98| 日韩一级片| 久久天天| 五月婷视频| 久色视频在线| 六月激情婷婷| 久久网站免费亚洲| 五月丁香六月天| 色婷婷呢狠禁久禁| 天天操天天操| 大香蕉五月天| 久久人人九九| 五月丁香好婷婷A片网| 91丁香婷婷综合久久欧美| 亚洲另类婷婷五月综合| 欧美99视频| 丁香五月婷婷欧美成人色图| 五月婷婷六月激情| 色六月婷婷| 99热6色| 9色91视频| 亚洲五月丁| 丁香五月天激情综合| 国产亚洲在线观看| 九九精品热| 97色久| 99成人精品视频| 婷婷婷婷午夜| 精品乱码久久久久| 色色婷婷婷丁香五月天| 色婷婷色99国产综合精品| WWW.五月com| 五月激情网综合| 综合五月激情| 激情图片五月天| 日本123区日韩欧美不卡在线看| 26UUU欧美| 久久精品99国产精品日本| 蜜臀av无码久久久久久久久| 五月天网站免费欧美| 丁香五月激情月| 来吧亚洲综合网| 日韩啪图| 天堂色婷婷| 91在线日| 夜夜爽77777妓女免费下载| 99热热九九| 中文字幕丰满孑伦无码专区| 激情综合亚洲色婷婷五月| 99在线资源视频| 激情五月天电影| 91热久88| 色爱99| 热五月婷婷| 色无码| 婷婷五月天成人动漫 | 99久超碰| 天天插天天插天天日| 五月丁香六月激情综合| 精品福利911| 97超级碰| 9l视频自拍9l九色成人| 九九热视频网站| 色啪网| 丁香五月激情六月综合| 91操在线观看| 综合久| 天天做综合| aV直接看| 久久精品66| 综合九九久久| 免费黄色片子| 99只有这里是精品| AⅤ在线播放网| 日韩在线视频网站| 青娱乐美女福利视频美臀| 热日韩欧美| 日本久久婷婷| 九色视频九色九色91jiuseshipin| 99re热精品视频国| 六月色 亚洲| 色呦呦美女| 狠狠操狠狠色| 婷婷色五月天在线| 五月婷婷六月开心| 激情五月综合久久| 国产精品成人AV在线观看春天 | 五月丁香婷婷欧美色图视频五月丁香777电影 | 丁香五月天堂网| 天天日夜夜夜操操操操| 无码AV免费精品一区二区三区 | 99爱无码| AV中文在线| 肏日网在线看| 六月婷婷色综合| 综合激情网激情五月。| 久青青久| 婷婷玖玖五月天| 五月天社区| 婷婷狠狠干| 激情小说五月天| 天天综合网~91| 久久视频在线| 五月天色婷婷av| 欧美色色色色色色色色色色| 99热人人艹| 久/久精品99看9| www.五月瑟| 99碰碰碰| 亚洲乱码日产精品BD| 激情六月天婷婷| 开心婷婷五月天电影院| 五月 成人 婷婷| 天天操天天干天天射| 中文无码婷婷| 99久热| xxxx五月| 99爱视频精品| 婷婷五月丁香青青草在线| 婷婷天堂站| 天天日天天爱天天噪| 五月丁香激情综合六月涩涩爱| 性av| 中文字幕日产A片在线看| 久99久热| 狠狠色五月天| 亚洲AV日韩在线观看| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 国产麻豆视频| 99这里只有精品| a久久| 亚洲色久| 六月婷久久| 超碰AV成人| 久久婷婷五月综合啪| 激情五月天免费视频| 爆乳熟女一区二区三区爆乳| 亚洲无码九九九| 婷婷五月丁香图片人人操| 久99热| 欧美25p| 啪色综合| 久久伦乱| 久久艹99| 久久99激情| 六月丁香激情最新更新| 天天在线久久综合| 99久久成人| 操人妻90p| 99色综合| 激情爱爱网站超大免费| 成人av观看| 去色色五月天| 亚洲AV成人在线观看| 六月激情久久| 67194中文字幕| 超碰三级片| 伊人网啪啪| 国产这里只有精品| 色五月激情五月| 午夜不卡久久精品无码免费 | 久久婷婷丁香五月宗合| 大香蕉婷婷五月| 亚洲xx在线| 特黄三级片| 亚州操操| 综合网激情| 五月开心深深爱激情综合| 天天干狠狠操| 欧美成人网婷婷综合在线| 操操操av| 天天干夜夜b| 色婷婷五月丁香色| 欧美大片| 日日操夜夜操中国无码| 狠狠色婷婷7777久| 九九热精品视频在线观看| 婷婷播5月| 色色亚洲五月天| 深爱1激情网| 色色网站免费| 婷婷五月av| www.色9| 九九碰九九爱97超| 久/久精品99看9| 99精品在线播放| 天天天天干| www.五月天| 免费看欧美成人A片无码| 五月天社区| 免看黄大片AA | 国产午夜成人AV在线播放| 成人一级片| 91Chinese在线| 九九色综合| 日韩欧美一级大黄网站| 丁香六月婷婷综合| 国产99久| 婷婷五月激情欧美| 79精品在线视频| 国产日日操夜夜操的肉棒视频| 思思久久99热只有频精品66| 五月丁香777| 六月丁香激情| 色色COm| 狠狠舔| 久久婷婷亚洲| 五月婷婷av| www色色com| 99热在线观看| 乱精品一区字幕二区| 国产亚洲精品人人| 五月婷婷婷色| 五月丁香六月激情| 操操熟女| 99热精品6| www色婷婷久久综合久色 | 婷婷五月丁香色综合| 婷婷丁香成人色综合| 婷婷五月丁香激情色情| a毛片二逼wwwwwwwwww| 九九成人电影婷婷| 玖玖婷婷色| 色欲天天综合| 天天舔天天| 激情五月天视频| 婷婷九月亚洲| 色偷偷五月天| 色色综合网www| 九伊人网| 国产综合激情五月久久| www.天天干| 开心五月激情网| 丁香五月婷婷激情蜜桃| 99re欧美精品| 国产乱人偷精品人妻A片| 久久久久98| 日日夜夜干| 婷婷五月天综合久久日美女| 66精品国产成人| 综合狠狠五月婷婷| 激情综合网五月| 久99999热视频在线观看免费| 久久人人做人人妻人人玩精品va| 五月天三级久久| 婷婷丁香五月天综合网| 天天在线XXX| 亚洲色婷婷五月天| 亚洲网站观看视频| 五月婷激情影院| 性小说五月天| 天天舔天天摸天天透| 99ri在线观看视频| 亚洲国产成人AV在线 | 国产成人AV| 色色色五月婷| 五月丁香婷婷久久| 亚洲爱爱无码婷婷色五月| 激情婷婷五月社区| AAA久久| www.色婷婷。com| 色婷婷先锋| 涩五月婷婷| 五月婷婷插一插| 国产三级片91| 狠狠干天天内射| 丁香亭亭激情四射| 深爱激情五月天| 欧美成人va| 九九色色色| 97日本在线播放| 国产精品色色| 色婷婷成人| 狠狠爱五月婷婷| 狠狠做深爱婷婷久久综合一区| 色五月丁香婷婷综合| 夜夜资源站| 欧美婷婷精品激| 国产精品男人AV不卡| 少妇性按摩无码中文A片 | 久久99免费视频网站| 91 影音先锋| 色婷婷电影| 91色涩| 都市激情五月婷婷亚洲| 色欲日日躁| 就99这里只有精品| 天天 青草 制服丝袜 在线 | 91精品婷婷国产综合久久| 97人妻人人| 五月丁香亚州综合网| 日韩国产在线精品| 七月丁香婷婷 色色| 国产AV一区二区三区日韩| 丁香五月AV| 99热偷拍| 可以看的av网站| 五月丁香婷婷色色色| h亚洲| 亚美欧色影院| 婷婷五月亚洲一本在线丁香| 久久综合五月天| 久久只这里有精品| 人人综合五月人人婷婷| 丁香开心深爱| 国产精品A片| 五月婷婷激情综合视频| 亚洲色就是色色色| 99热最新国内| 色播五月丁香综合| 91大神操美女| .操區COm| 99久久久国产精品免费蜜乳tv| 婷婷五月天激情五月天| 久久激情五月| 9久久精品| 激情五月丁香五月| 免费视频WWW在线观看网站| 熟女少妇内射日韩亚洲| 丁香五月婷婷少妇| 婷婷丁香色情| 五月视频日本免费观看| 五月天色婷婷伊人网| 激情综合丁香五月| 五月丁香六月婷婷色情| 日本三级韩三级99久久| 第九色区av天堂| 狼人伊人天堂| 欧美日本黄色| 丁香婷婷少妇| 婷婷五月天堂| 色综合伊人网| 丁香五月激情啪啪综合| 日本啪啪网| 丁香五月婷婷性爱| 五月丁香六月婷婷国产视频| 国产成人网址| 亚洲日韩乱码一区二区三区四区 | 日日干天天| 日韩av手机在线观看| 五月婷婷综合激情小说| 婷婷人人操| 婷婷爱综合| 青草少妇激情| 五月激情在线| 久久婷婷七月丁香| 97久久草草超级碰碰碰| 日韩婷婷五月天| 日本成人噜噜噜| 人妻22p| 六月色 亚洲| 五月天狠狠网站| 丁香五月天啪啪激情综和网 | 亚洲六月色| 婷婷丁香色五月| 久久3级片| 日韩黄色网络| 色婷婷a三区麻| 婷婷综合五月天| 青青草青青草五月天| AV免费在线网站| 五月丁香美女| 激情久久久久久久久| 丰满少妇猛烈A片免费看观看| 色色色色区| 五月丁香美女视频| 婷婷婷婷婷婷婷婷| 五月天久久色| 五月开心婷婷网| 色色色色网色色网色色| 久热伊人| www.五月婷婷| 自拍盗摄 另类| 婷婷丁香五月综合| 综合99综合久久久久久久| 亚洲激情色色| 99精品久久| 成人五月天丁香| 五月天婷婷人妻| 99爱在线视频| 婷婷五月天成人| 天天插天天日| 亚洲图色五月天| 婷婷五月丁香激情色情| 五月婷婷六月丁香综合在线| 久久久久98| 激情99在线视频| 熟妇人妻中文字幕无码老熟妇| 激情久久久久久| 五月丁香六月色| 色五月,com| 婷婷丁香色五月天久久88| 8区视频在线| 久热9热| 丁香五月成人在线| 亚洲视频一区| 开心四月婷婷在线色播播| 亚洲无码另类| 在线视频另类| 久综合| 五月刺激丁香月综合| 清色五月天| 久久久久人妻| 99色在线观看免费| 直接看的av| 丁香97综合| 五月天色婷婷网| 婷婷五月综合性爱| 五月天婷婷青青草| 超碰天堂网| 五月婷婷综合网在线播放| 五月婷婷色综图片| 五月丁香 啪啪| 开心五月婷婷| 第五婷婷伊人丁香色| 婷婷五月综合亚洲| 一片AV片免费播放| 久久99热在线观看| 婷婷射图五月天| 五月激情综合婷婷| 九九色婷婷五月天| 99热这里只有精| se99视频| 色中色综合| 五月天另类激情在线| 婷婷播5月| 五月激情综合深爱| 亚洲色婷婷网站| 激情丁香五月天综合| 99免费热视频在线| 9月色婷婷| 久久人视频| 五月伊人婷婷| 亚洲AV网址| 97色视频网| 五月婷婷激情在线| 日韩人妻在线播放| 色丁香五月婷婷综合久久| 九九视频网| 少妇熟女视频一区二区三区| 五月欧美色色五月| 色婷婷成人做爰A片免费看网站| 狠狠色情婷婷| 任我肏视频精品| 丁香激情五月少妇| 九九99精品视频| 黄色三级日本| 国产99精品免费视频| 无码AV免费精品一区二区三区 | 色玖玖综合网| 六月婷婷深深爱| 9色91视频| 婷婷五月激情五月激情| 内射综合网| 欧美成人精品三区综合A片| 精品皮股午夜AV| 光棍影院日韩精品| www.久热| 俺去啦综合网| 97干视频| AA片在线观看视频在线播放| 丁香色播五月天| 日韩xx在线| 久久狼人天堂| 婷婷大美在线| 五月丁香久久呀| 五月丁香色综合| 啪啪婷婷五月天激情| 久久久免费图片视频| 九九性视频| 六月激情婷婷综合| 久热丁香| 无码少妇高潮喷水A片免费| 亚洲色情网站| 成人操呦av| 五月天啪啪网| 欧美这里只有精品| 五月婷婷之综合激情| 91久久婷婷| 日本天堂网站99| 天天干天天干天天操| 精品久久久久久久人妻| 思思热天天看| 91精品啪| 五月开心播播网| www九九| 丁香六月无码| 天天草人人摸| AAA久久久AAA久久久AAA| 欧美成人精品A片免费一区99| 婷婷激情六月| 九九精品综合| 色婷综合| 色婷婷丁香A片区毛片区女人区| 国产毛片精品一区二区色欲黄A片| 99色激| 亚洲色图在线视频| 国精产品一区一区三区免费视频| 色婷婷五月天| 四月婷婷丁香| 69五月天视频| 色婷婷电影网| 97久久精品视频| 国产做A爰片毛片A片美国| 久久久.COM| 99精品大片| 精品无码人妻一区| 九九热这里只有精品7| 我想看国产大学生口爆吞精的视频| 久久女婷| 欧美激情综合| 五月四色婷婷| 亚洲激情免费久久| 久操婷婷| 天堂资源欧日浪女在线播放| 中文字幕黄色电影网址| 色九月综合| 国产,欧美,学生妹,视频| 五月丁香网站| 伊人久久婷婷| 欧美综合五月丁香六月婷| 天天爽免费视频| 丁香激激情网| 激情五月婷婷综合视频| 九九视频这里是精品五月| a在线观看| 久久伦乱| 91精品久久久久久久久久久久| 成人精品免费在线观看| 九九综合影音先锋| 欧美成人AAA片一区国产精品| 亭亭五月丁香五月天激情| 亚洲综合1024| 婷婷五月天激情电影| 久久久久人妻精品| 五月亭亭性| 五月天激情小说欧美激情| 天天xxxxxx天天日| 国产另类综合| 丁香六月亭亭久久综合| 96五月丁香熟女| 天天操天天爱天天玩| 开心色播色五月婷婷| 色色日韩无码| 久久婷婷激情视频| 这里只有精品免费| 色色色网站| 五月亭亭开心网| 99视频精品在线| 婷婷五月天激情小说| 五月婷婷丁香在线| 色色色色色网| 人人妻人人澡| 亚洲99热| 国产精品久久久久久亚洲毛片| 五月婷婷六月天| 久久婷婷六月综合| 精品少妇人妻AV无码专区偷人| 夫妇交换刺激做爰| 婷婷丁香五月天激情四射| 激情婷婷在线| 草榴视频网| www久久久久久久久久久久久久久久久| 26uuu色五月| 婷婷丁香www视频日本韩国| www.激情com| 第1影院之五月婷婷| 久久98热re| 丁香婷婷大香蕉| 久热这里只有精品6官网亚洲| 二级黄色毛片| 高清不卡一区| 99超在线| 99er精品视频| 91人妻人人做人碰人人爽九色| 婷婷网五月天| 农村熟妇高潮精品A片| 91久女| 日本一级大片| 亚洲综合婷婷| www色色色com| 久久这里只有精品07 | 婷婷丁香综合| 91欧美| 九九九成人在线视频| 丁香六月婷婷一区二区三区| 六月婷久久| 99热精品在线在线| 超碰妻人人| 五月婷婷熟女| 激情五月天婷婷直播| 婷婷99狠| 99啪啪视频| 日本熟妇人妻在线| 香蕉人在线香蕉人在线 | 天天天天天天操| 日本一级黄色片。| 激情文学第四色婷婷丁香五月| 99久久丝| 99国产视频网| 久久九九国产精品怡红院| 色狠狠色综合久久久绯色aⅴ影视| 久热婷婷在线视频| 亚洲激情淫网| 99无码视频| 婷婷伊人久久| 综合狠久久| 四虎成人精品永久免费AV九九| 久热这里只有精品99re,久热这里只有精品7 | 99精品无码| 九9九9无码| 噜噜噜色噜噜| 丁香激情久久| 久热伊人| 六月婷婷久久| 久热只有这里精品| 色播五月婷婷| 亚洲AV另类| 天天狠狠色| 久机视频这只有精品| 色综合久久无码| 99视频精品视频| 婷婷月综合| 91人妻人人操| 色婷婷五月天天天天天| 婷婷五月综合色拍| 1024AV视频| 婷婷五月成人有| 激情五月丁香婷婷| 激情涩播| 影音先锋女人av鲁色资源网小说免费| WWW.桔色成人.COM| 在线综合亚洲欧美65| 欧洲亚洲免费视频9| 婷婷五月天Av| 九九九激情网| 天天色综合色| 激情綜合W W W,激情五月天| 亚洲mm免费| 久久视频婷婷视频| 99热在线只有精品| 日韩在线视频网站| 99视频激情四射| 9 7总站超级碰免费视频| 久久久久婷婷五月热综合| 久久多色| 五月天狠狠色| 这里只有精品1| H亚洲| 五月丁香花伦理电影| 六月激情婷婷| 色色色在线| 99热在线播放| 婷婷丁香五月天操逼| 婷婷五月天免费| 色99综合色88| 色五月五月丁香| 五月综合激情婷婷六月色窝| 色婷婷大香蕉| 超碰97干| 91九色精品| 激情 婷婷| 久久久久久久久久久44| 五月婷婷片| 久久综合综合综合| 亚州AV超碰人人操| 久久加勤综合| 777精品成人a v久久| 欧美成人精品三区综合A片| 中文字幕AV在线播放| 激情丁香九九五月综合网| 91在线视频综合| 五月天 婷 欧美亚洲| 婷婷久久18| 热99这里只有精品视频| 色色欧美色色色| 亚洲AAAA网| 丁香五月欧美婷婷综合| 天天色综合图片| 极品嫩草| 丁香五月婷婷香| 9久久久| 99综合网| 五月婷婷狠狠干| 久久婷婷亚洲| 色播五月丁香婷婷| 成人国产欧美大片一区| 无码婷婷五月天| 香港九九六区八区99| 丁香五月激情啪啪| 操人视频91| 九九色色网| 青青草色在线视频观看| site:pnnrt.com| 台湾综合丁香五月蜜桃| 亚洲亚洲人成综合网络| 久久婷婷色丁香| 99视频在线9| 五月天激情无码| 久久图色4| 日本在线视频www色| 五月天激情综合在线| JAPANRCEP老熟妇乱子伦视频| 狠狠狠狠狠操| AVV黄| 婷婷激情综合网| peg 2区三区四区的| 蜜乳av一级av| 九九婷婷网五月天| 97操操| 国产片XXXXA片国语对白| 日本熟女内射| 蜜桃婷婷狠狠久久| 免费观看的av| 久99热| 97影院一级片| 欧美性做爰大片免费看办公室| 人妻尝试久久久久久久久久久久| 另类图片五月激情| 日韩欧美颜射| 久久久婷丁香五月| 婷婷丁香成人五月天| 久久久久久久人妻| 懂色AⅤ| 久久久五月五丁香| 丁香网站| 亚洲VA口| 色色婷五月天| 中文字幕网站在线观看| 久草五月| 天天透天天摸天天舔| 丁香五月停停基地| 五月激情综合网| 开心激情综合| av在线资源| 婷婷五月欧美| 欧洲色| 日韩五月丁香| 99re这里只有精品视频6| 九九综合88| 亚洲va综合va国产va中文| 激情深爱综合网| 婷婷色女| www.久操| 五月天色图| 亚洲天堂色色| 欧美性二区| 色日本综合| 少妇人妻偷人精品无码视频新浪| 99精品久久久久| 五月天久久成人| 国产精品视频免费看| 99精品视频免费观看近期发布| 色色色色色色色色色色色色色97| 色国产五月| 97久久久久| 97偷拍对白视频| 97色色网| 精品久热69| 婷婷四色成人综合色视| 久久九九婷婷| 日本强伦片中文字幕免费看| 99热这里| 婷婷开心激情五月激情网| 深爱五月激情综合| 超级碰碰碰碰视频| 热久久婷婷| 四川BBB搡BBB搡多人乱亂| 丁香婷婷基地| 五月色婷婷综合| 五月丁香AV、伊人业余、性色熟妇 | 99爱视频| 日韩色色视频www| 99亚洲综合| 人人摸人人操人人爽| 五月丁香综合网| 五月综合激情婷婷六月色窝| 中文字幕在线日亚洲9| 综合图片色色| 久久婷婷五月综合伊人| 在线VA视频| 色色爽爽天天| 久久婷综合网| 黄色aa观看aaguochan| 丁香五月影院| 99自拍视频| 五月婷婷婷| 丁香婷在线| 午夜精品777| www.sd-xiangsu.cpm| 激情六月丁香综合| 丁香五月影院| 激情综合色婷婷啪啪六月天| 涩涩激情五月婷婷| 在线视频九色97| 天天揷综合网| 精品国产乱码久久久久久免费| 深爱激情五月网| 久99| 91在线日| 婷婷五月AV| 五月色婷婷影院| 这里有精品| 激情五月天综合网| 色色婷婷丁香五月天| 久久久性爱视频| 婷婷基地爱| 99精品福利视频| 综合网五月| 久久99热这里只有精品| 五月天成人综合| 久久五月天婷婷| 亚洲五月天婷婷| 超碰熟女拍拍| 欧美人妻一区二区| 婷婷五月丁香六月天亚洲综合| 婷婷色色网| 天天夜天天色天天| 婷婷六月花| va婷婷| 五月丁香六月欧美综合网站| 新激情五月天天在线网| 婷婷久久丁香| 久久五月婷婷视频| 婷婷激情五月天激情小说| 色婷婷人人| 91精品综合久久婷婷九色| 99久久99视频| 丁香六月婷婷激情综合| 色色激情五月天| 99热欧美在线观看| www.com操| 久久婷婷五月草视频| 99热国产这里只有精品| 九九热精品在线| 色碰碰| 欧美色频| 色999五月色| 99精品视频在线观看| 成人中文网| 精品自拍97| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 久婷五月| 91精品久久久久久| 五月丁香六月婷| 91色性感五月婷婷丁香| 超碰激情五月| 久久综合中文| 婷婷五月天影视网址| 欧美婷婷五月| 另类A片| 91丨九色丨东北熟女| 五月天婷婷色综合| 9l视频自拍9l视频自拍九色学生| 五月婷婷色播视频| 婷婷日日天天| 婷婷五月天美女21p| 夜夜操狠狠操| 久久受www免费人成| 色噜噜狠狠色综合成人网| anquye伊人| 狠狠狠狠狠操| 色欲婷婷五月天| 日韩丰满少妇无码内射| 丁香五月婷婷久久久| 99精品久久| 五月天中文网| 99ri精品| 欧美三级巜人妻互换| 婷婷丁香91| 啪啪综合网| 五月婷婷伊人久久| 五月丁香婷婷色色| 国产人妻777人伦精品HD| 97资源碰碰在线| 色播五月丁香| 五月天婷婷影院影院| 天堂在线9| 大伊香蕉精品视频在线| 91丁香五月| 五月社区婷婷激情| 97精品欧美91久久久久久久| 午夜天堂一区人妻| 日本三级网址| 96人人操人人操人人| 人妻内射视频| 国产欧美日韩综合精品一区二区| 婷婷趴趴| 色青青视频| 久久资源网五月婷| 免费碰碰视频久| 亚洲精品成人| 日韩综合大黄| 亚洲激情在线| 欧美碰碰碰| 思思热精品免费视频| www.久久久.com| 婷婷桃色网| 无码四色色色| 色婷婷AV在线| 97人人操人人插| 丁香六月婷月91婷月| 少妇综合网| 97色啪| 国产性爱大片久久| 成人天天爽| 日韩在线观看亚洲| 97午夜一区二区| 六月丁香婷啪射| 91啪啪视频| 黑人熟妇一区二区三区| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 五月天啪啪视频| 91热久| 97色色色色色色色色色色色色色| 狠狠操狠狠操| 超碰在线99热| 97色色-99久久| 呦呦v线| 亚洲乱码精品久久久久..| 91好好热日本在线| 久久66成人网站| 天天爽夜夜操| 色综合色五月| 操逼巨乳91| 欧美操综合| 婷婷五月天伊人| 精品一区二区三区三区| 黄色91在线观看| 久久无码成人| 天天日天天插天天操| 五月激情偷拍| 伊人久久艹| 超碰在线免费9| 夜夜嗨一区二区三区直播内容 | 婷婷伊人激情婷婷| 99热思思| 婷婷激情九月| 色欲一二三| 亚州激情九月| www.婷婷五月天.com| 激情五月综合网| 五月天婷婷影院影院| 超碰国产在线观看| 精品久久久人妻| 亚洲精品久久久久久久久久吃药| 色爱综合五月| 亚洲五月婷婷| 色婷婷色五月综合| 98色花堂98t.R| 另类图片五月天| caopeng97日韩| 99久久天堂婷婷| 久久婷婷五月综合啪| 中文字幕在线免费看线人| 性做爰A片免费视频A片直播| 啪啪综合网| 91久久婷婷| 久久HD| 亚洲美女高潮久久久久久69| 思思久久精品| 婷婷五月在线观看| 丁香五月婷婷手机| 玖玖婷婷五月| 精品无码久久久久久久久| 第五色色色婷婷| 天天射美女| 亚洲日本三级片| 婷婷九月丁香| 欧美va亚洲va在线播放| 久久六月天| 九九爱精品网站| 久久九色| 色五月丁香伊人五月| 久久网站免费亚洲| 少妇出轨做爰高潮A片| 六月丁香综合| 亚洲综合婷婷六月丁香五月| 日韩久热| 欧美精品狠狠色丁香婷婷| 人妻中文在线| 五月婷婷丁香狠狠撸久久| 婷婷五月天av| 久久婷婷综合色丁香| 亚洲操逼网| 综合狠狠干| 爱婷婷久久视频| 99久久婷婷| 久久资源综合| 国产精品A成V人在线播放| 五月天狠狠| 五月丁香啪啪啪啪| 婷婷涩五月| 日韩国产在线精品| 亚洲第一第二网站| 久久婷婷五月天蜜桃| 婷婷五月丁香六月伊人网| 国产精品岛国片在线观看免费| 激情内射人妻1区2区3区| 99ri视频在线播放| 午夜无码精品色综合久久| 91超级碰| 玖玖在线视| 激情五月亚洲| sisi热国产| 变态另类9| Av在线不卡一区| 国产亚洲精品久久久久久郑州| 五月丁香无码| 99热精品在线免费观看| 六月婷五月丁香| 五月天激情黄色小说在线观看 | 这里只有精品在线播放| 五月伊人综合|