欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

深入拆解ThreadLocal:線程隔離、弱引用、內(nèi)存泄漏與OOM排查

深入拆解ThreadLocal:線程隔離、弱引用、內(nèi)存泄漏與OOM排查 并發(fā)編程系列寫到這一篇前面的內(nèi)容基本都在圍繞一個詞打轉(zhuǎn)共享。鎖、原子類、并發(fā)容器本質(zhì)上都是想讓多個線程更安全、更高效地協(xié)作同一份數(shù)據(jù)。而ThreadLocal的思路是反著來的——既然共享這么容易出問題那干脆每個線程各存一份誰也別碰誰的。這個思路聽著簡單但背后牽扯到弱引用、內(nèi)存泄漏、線程池上下文傳遞一系列坑值得用一整篇來拆。ThreadLocal解決的是線程隔離問題不是并發(fā)原子性問題搞清楚這一點后面所有原理和實戰(zhàn)姿勢才立得住。這一篇我打算從最經(jīng)典的SimpleDateFormat翻車現(xiàn)場切入先讓你明白ThreadLocal到底解決了什么問題然后進(jìn)源碼拆一遍set/get/remove的完整鏈路重點講ThreadLocalMap的哈希設(shè)計和弱引用機(jī)制接著把內(nèi)存泄漏的形成鏈路徹底還原說清楚為什么線程池是重災(zāi)區(qū)再給出實戰(zhàn)層面的使用規(guī)范包括remove的幾種姿勢和上下文封裝思路最后記錄一次線上OOM排查實錄手把手走一遍jmap加MAT的定位流程。適合剛學(xué)并發(fā)編程的同學(xué)建立正確認(rèn)知也適合被ThreadLocal泄漏或臟數(shù)據(jù)坑過的人對照著排查。1. 從SimpleDateFormat翻車現(xiàn)場切入ThreadLocal到底解決了什么問題1.1 SimpleDateFormat在多線程下的崩潰如果你在Java后端寫過日期格式化大概率見過這個經(jīng)典事故一個SimpleDateFormat實例被多個線程同時調(diào)用parse()或format()結(jié)果日期串錯位、數(shù)字亂掉甚至直接拋NumberFormatException。private static final SimpleDateFormat SDF new SimpleDateFormat(yyyy-MM-dd HH:mm:ss); public String formatDate(Date date) { return SDF.format(date); // 并發(fā)調(diào)用時偶發(fā)錯亂 }根因不復(fù)雜SimpleDateFormat內(nèi)部維護(hù)了一個Calendar對象format()和parse()過程中要反復(fù)讀寫這個共享的Calendar。多個線程同時操作同一份可變狀態(tài)又沒有同步數(shù)據(jù)被互相覆蓋自然就亂了。你單獨跑單測永遠(yuǎn)復(fù)現(xiàn)不出來一壓測就現(xiàn)原形。1.2 加鎖、每次新建和ThreadLocal三條路的取舍解決這個線程安全問題通常有三條路。第一條是給format()加synchronized或使用ReentrantLock。這能保證正確性但等于把并發(fā)的日期格式化全部串行化。想象一個支付系統(tǒng)每秒鐘幾千筆訂單都要格式化時間所有請求擠在同一把鎖上性能損耗肉眼可見。第二條是每次調(diào)用都new SimpleDateFormat()。這條路避免了共享可變狀態(tài)但頻繁創(chuàng)建對象會增加GC壓力。雖然JIT的逃逸分析在部分場景能把對象優(yōu)化到棧上但依賴編譯器優(yōu)化本身不可靠尤其在對象構(gòu)造較重、調(diào)用頻繁時效果并不穩(wěn)定。第三條就是用ThreadLocal給每個線程緩存一個SimpleDateFormat實例private static final ThreadLocalSimpleDateFormat DATE_FORMAT ThreadLocal.withInitial(() - new SimpleDateFormat(yyyy-MM-dd HH:mm:ss)); public String formatDate(Date date) { return DATE_FORMAT.get().format(date); }每個線程第一次get()時通過withInitial創(chuàng)建自己的實例之后一直復(fù)用。線程之間互不干擾不需要加鎖也不存在頻繁創(chuàng)建對象的開銷。這也直接點出了ThreadLocal的核心定位給每個線程一份獨立的私有副本把共享問題轉(zhuǎn)化成隔離問題。方案是否線程安全并發(fā)度對象創(chuàng)建開銷代碼侵入synchronized加鎖安全低串行無額外對象低每次new實例安全高高依賴GC兜底低ThreadLocal緩存安全高每個線程僅一次中需注意清理1.3 ThreadLocal解決的是線程隔離不是并發(fā)修改不少初學(xué)者把ThreadLocal當(dāng)成線程安全的Map來用這是個危險的誤解。ThreadLocal并不保證你對某個對象內(nèi)部狀態(tài)的修改是原子的它只是讓每個線程看到不同的對象實例。你往ThreadLocal里放一個共享的ArrayList再讓100個線程同時往這個List里add那該出事還是出事因為List本身還是同一個。所以在實踐中ThreadLocal的典型場景是那種每個線程天然該有一份但又不方便作為參數(shù)層層傳遞的東西事務(wù)連接、用戶登錄上下文、traceId、請求級別的緩存、框架層面的上下文對象。Spring的RequestContextHolder、MyBatis的SqlSessionTemplate在底層都用ThreadLocal綁定當(dāng)前線程的資源。理解這點你才不會被后續(xù)的內(nèi)存泄漏問題帶偏思路——它存儲的本質(zhì)是線程級上下文而不是并發(fā)安全容器。2. ThreadLocal的源碼級拆解線程本地變量是怎么存進(jìn)去、取出來的2.1 每個線程都自帶了兩個Map字段很多人以為ThreadLocal是把數(shù)據(jù)存在ThreadLocal對象里這是錯的。真正存儲數(shù)據(jù)的地方是Thread類內(nèi)部的兩個字段threadLocals和inheritableThreadLocals??碕DK源碼里Thread.java的字段定義一目了然ThreadLocal.ThreadLocalMap threadLocals null; ThreadLocal.ThreadLocalMap inheritableThreadLocals null;每個線程對象自帶一個ThreadLocalMap。當(dāng)你調(diào)用ThreadLocal.set(value)的時候本質(zhì)是把當(dāng)前線程的threadLocals這個Map取出來往里面塞了一條記錄key是ThreadLocal對象自身value是你傳入的數(shù)據(jù)。不同ThreadLocal實例就是同一個線程Map里不同的key。所以線程隔離的準(zhǔn)確含義是數(shù)據(jù)分散存儲在各個線程自己的Map里而不是存在ThreadLocal對象上。inheritableThreadLocals則是給子線程用的后面講子線程傳遞時再細(xì)說。這里先記住getMap(t)方法本身沒做什么高深的事它就是返回t.threadLocals這個字段。很多人在看源碼時卡在這個方法上其實它就是個訪問器熱詞里那句threadlocal getmap指的就是這一步。ThreadLocalMap getMap(Thread t) { return t.threadLocals; }2.2 set、get、remove的完整調(diào)用鏈先看set()在JDK 8里的實現(xiàn)public void set(T value) { Thread t Thread.currentThread(); ThreadLocalMap map getMap(t); if (map ! null) map.set(this, value); else createMap(t, value); }流程很直白拿到當(dāng)前線程取出它的threadLocals如果Map已經(jīng)存在就直接往里放不存在就創(chuàng)建一個新Map并塞入第一條記錄。createMap內(nèi)部會new一個初始容量16的ThreadLocalMap并把當(dāng)前ThreadLocal和value作為第一個Entry放進(jìn)去。再看get()public T get() { Thread t Thread.currentThread(); ThreadLocalMap map getMap(t); if (map ! null) { ThreadLocalMap.Entry e map.getEntry(this); if (e ! null) return (T)e.value; } return setInitialValue(); }線程的Map存在并且能找到以當(dāng)前ThreadLocal為key的Entry就返回里面的value找不到就調(diào)用setInitialValue()——它會執(zhí)行initialValue()方法默認(rèn)返回nullwithInitial就是重寫這個方法把初始值塞進(jìn)Map再返回。remove()更直接public void remove() { ThreadLocalMap m getMap(Thread.currentThread()); if (m ! null) m.remove(this); }看到這里你應(yīng)該已經(jīng)發(fā)現(xiàn)一個關(guān)鍵點ThreadLocal的線程隔離能力完全建立在每個Thread對象內(nèi)部的Map之上。這意味著只要線程還活著它Map里所有的value都不會被自動釋放。這條結(jié)論是理解內(nèi)存泄漏的起點。2.3 哈希散列為什么ThreadLocal敢用線性探測硬扛沖突ThreadLocalMap底層是個Entry數(shù)組初始容量16負(fù)載因子是2/3。每個ThreadLocal實例在創(chuàng)建時都會通過一個全局的AtomicInteger累加得到一個threadLocalHashCode增量是那個著名的魔數(shù)0x61c88647源碼里叫HASH_INCREMENT。private final int threadLocalHashCode nextHashCode(); private static int nextHashCode() { return nextHashCode.getAndAdd(HASH_INCREMENT); }為什么要定這個增量它和黃金分割比例有關(guān)對應(yīng)的是斐波那契散列。簡單說0x61c88647能保證ThreadLocal的哈希值在數(shù)組長度是2的冪時均勻地散布在槽位上最大程度避免多個ThreadLocal擠在同一條探測序列上。你不需要深挖數(shù)學(xué)推導(dǎo)只要記住結(jié)論ThreadLocalMap的鑰匙分布是經(jīng)過精心設(shè)計的所以在ThreadLocal數(shù)量不多的前提下用開放地址法線性探測解決沖突就夠了不需要像HashMap那樣掛鏈表、轉(zhuǎn)紅黑樹。定位槽位的語句是這樣的int i key.threadLocalHashCode (table.length - 1);table.length永遠(yuǎn)是2的冪所以按位與等價于取模而且比取模快。如果槽位被占就往后找空位找的時候如果遇到key為null的過期Entry還會順手做清理。這套機(jī)制讓ThreadLocalMap在低沖突場景下性能非常好代價是它不適合存儲大量key——如果你在一個線程里new了幾百個ThreadLocal線性探測的性能就會明顯劣化。這也是為什么實戰(zhàn)規(guī)范里強(qiáng)調(diào)能復(fù)用的ThreadLocal盡量復(fù)用。3. 弱引用不等于安全ThreadLocal內(nèi)存泄漏的完整鏈路分析3.1 Entry的引用鏈key是弱引用value是強(qiáng)引用先看ThreadLocalMap.Entry的定義static class Entry extends WeakReferenceThreadLocal? { Object value; Entry(ThreadLocal? k, Object v) { super(k); value v; } }注意Entry繼承自WeakReference也就是說Entry本身是個弱引用引用的是key也就是ThreadLocal對象。而value字段是一個普通強(qiáng)引用。整條引用鏈畫出來是這樣Thread 對象 └─ ThreadLocalMap └─ Entry[] └─ Entry (弱引用 - ThreadLocal key) └─ value (強(qiáng)引用 - 你塞進(jìn)去的數(shù)據(jù))弱引用的語義是當(dāng)GC發(fā)生時如果一個對象只被弱引用指向沒有任何強(qiáng)引用它就會被回收。也就是說ThreadLocal對象一旦在業(yè)務(wù)代碼里失去外部強(qiáng)引用比如方法局部變量用完了GC就有資格回收它Entry的key就變成null。這看起來是個保護(hù)機(jī)制框架不知道業(yè)務(wù)什么時候不再需要ThreadLocal所以用弱引用保證ThreadLocal實例本身可以被回收。但value沒有這層保護(hù)。value是強(qiáng)引用只要Entry還在value就一直在。而Entry被線程的ThreadLocalMap持有ThreadLocalMap又被線程對象持有。只要線程還活著這條鏈就斷不開。3.2 泄漏的完整形成條件我見過很多人把ThreadLocal內(nèi)存泄漏簡單歸結(jié)為用了弱引用這其實是誤解。弱引用恰恰是為了避免ThreadLocal對象本身泄漏真正的問題出在value的強(qiáng)引用鏈上。一個完整的泄漏需要同時滿足三個條件ThreadLocal對象失去外部強(qiáng)引用。最常見的是在方法內(nèi)部直接new ThreadLocal()使用方法執(zhí)行完局部變量沒了ThreadLocal實例只剩Entry里的弱引用GC一發(fā)生就被回收。線程是長生命周期的。線程池里的worker線程、Tomcat的請求處理線程都是長期存活的只要線程不死它的ThreadLocalMap就一直在。沒有后續(xù)操作觸發(fā)清理。如果后面再也不碰這個ThreadLocalMap底層的expungeStaleEntry()清理邏輯永遠(yuǎn)不會執(zhí)行value就變成永遠(yuǎn)無法訪問但一直被強(qiáng)引用的垃圾。典型的業(yè)務(wù)場景長這樣public void handleRequest(Request req) { ThreadLocalbyte[] holder new ThreadLocal(); holder.set(new byte[1024 * 1024]); // 1MB // 業(yè)務(wù)處理... // 忘記remove方法結(jié)束后holder失去外部引用 }如果這個handleRequest被丟進(jìn)一個線程池執(zhí)行每個請求都new一個ThreadLocal并set入大對象那么每次請求都會在線程的Map里留下一個key為null、value為1MB數(shù)組的過期Entry。線程池線程不死這些Entry就永遠(yuǎn)躺在那里。QPS稍微高一點內(nèi)存漲起來非??臁?.3 線程池既是泄漏放大器也是臟數(shù)據(jù)制造機(jī)線程池把線程長生命周期這個條件放大了。普通線程執(zhí)行完一個任務(wù)就結(jié)束整個ThreadLocalMap隨著線程銷毀被回收根本談不上泄漏。但線程池的worker線程是復(fù)用的它們一直在等新任務(wù)threadLocals這個Map也跟著一直存活。線程池還會帶來第二個問題臟數(shù)據(jù)串線。假設(shè)你寫了一個登錄用戶信息上下文private static ThreadLocalUser currentUser new ThreadLocal();任務(wù)A里執(zhí)行了currentUser.set(userA)但忘了remove任務(wù)A跑完worker線程回到池子里待命。任務(wù)B被分配到同一個worker線程如果任務(wù)B的代碼路徑在某個分支沒有主動set用戶信息它currentUser.get()讀到的就是用戶A的信息。輕則業(yè)務(wù)數(shù)據(jù)錯亂重則出現(xiàn)越權(quán)訪問。這類問題在代碼Review里很難發(fā)現(xiàn)因為它不是必現(xiàn)的完全取決于線程池把哪個任務(wù)分配給哪個worker。所以在線程池場景下ThreadLocal的正確用法不是用完等GC而是用后必須remove甚至要在任務(wù)最外層做防御性清理。3.4 ThreadLocalMap的兜底清理機(jī)制能救命但不能依賴JDK的設(shè)計者當(dāng)然知道這個坑所以ThreadLocalMap在幾個關(guān)鍵操作里內(nèi)置了清理邏輯set()時如果發(fā)現(xiàn)相同key的Entry會用新值覆蓋并對探測路徑上的過期Entry做清理get()未直接命中時會在getEntryAfterMiss()里線性向后找遇到key為null的Entry會調(diào)用expungeStaleEntry()把value置null、槽位置空rehash()時也會先全面清理再擴(kuò)容。這套機(jī)制確實能在很多情況下兜底比如你反復(fù)set同一個ThreadLocal舊的過期Entry大概率會被順帶清掉。它的問題是一切清理都必須由后續(xù)的set/get/remove操作觸發(fā)。如果線程執(zhí)行完任務(wù)后長時間閑置沒有任何關(guān)于這個Map的操作過期Entry就一直靜止在內(nèi)存里。你指望GC救你但GC根本碰不到value——它有一條完整的強(qiáng)引用鏈。結(jié)論很明確底層清理是優(yōu)化不是保障業(yè)務(wù)側(cè)的remove()才是唯一靠得住的釋放手段。4. 實戰(zhàn)守則如何正確使用ThreadLocal而不埋雷4.1 remove是底線三種清理姿勢先說最基礎(chǔ)的姿勢也是我要求團(tuán)隊必須遵守的用完之后在finally里remove無論正常返回還是拋出異常都必須執(zhí)行。private static final ThreadLocalString TRACE_ID new ThreadLocal(); public void process() { try { TRACE_ID.set(generateTraceId()); doSomething(); } finally { TRACE_ID.remove(); } }為什么必須在finally而不是在方法末尾因為方法中間拋了異常末尾的remove根本執(zhí)行不到然后殘留值就留在線程里了。線上拋異常是常態(tài)不是意外。很多泄漏就是在某個異常分支里漏掉了清理。第二種姿勢是在框架的攔截器或過濾器中統(tǒng)一清理。以Spring Web應(yīng)用為例如果你需要請求級的上下文更推薦用HandlerInterceptor的afterCompletion方法public class TraceIdInterceptor implements HandlerInterceptor { Override public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) { TraceContext.clear(); // 內(nèi)部調(diào)用ThreadLocal.remove() } }Filter或者Interceptor的好處是入口和出口都在框架層面業(yè)務(wù)代碼不需要在每個方法里try-finally漏清理的概率大大降低。第三種姿勢是封裝成AutoCloseable配合try-with-resources使用public class AutoThreadLocalT extends ThreadLocalT implements AutoCloseable { Override public void close() { remove(); } }這種寫法適合那種只在單個方法里臨時用的場景代碼會更緊湊但我個人更推薦前兩種——因為try-with-resources要求每個用到的代碼塊都正確寫語法而Filter/Interceptor是集中式治理對團(tuán)隊更友好。4.2 static修飾符到底該不該加這是一個經(jīng)常被問到的點。結(jié)論分兩種情況。如果ThreadLocal是Spring單例Bean的成員變量那實例只有一份ThreadLocal對象長期存活相當(dāng)于static。這種情況下用不用static修飾影響不大但為了語義清晰統(tǒng)一用private static final。真正危險的是在短生命周期對象里持有ThreadLocal。比如一個每次請求都new的Helper類里面定義了一個實例字段ThreadLocalString holder。Helper對象在請求結(jié)束時失去引用ThreadLocal對象也失去強(qiáng)引用GC把這key回收后Map里就剩一個value還在。如果這個請求跑在線程池里下次任務(wù)又new一個新的Helper、新的ThreadLocalMap里的過期Entry持續(xù)累積。這種寫法是我在代碼Review里看到最多的隱性雷。所以我的建議是ThreadLocal實例能定義為static final就優(yōu)先static final。它不會讓你少寫remove但能避免ThreadLocal對象本身被GC回收導(dǎo)致value失聯(lián)這條更隱蔽的泄漏路徑。4.3 統(tǒng)一封裝上下文工具類把ThreadLocal關(guān)進(jìn)籠子業(yè)務(wù)代碼里散落使用ThreadLocal最大的問題不是語法錯誤而是管理混亂。今天你在A服務(wù)里set了個用戶ID明天B服務(wù)也想用又不好意思改A的代碼于是自己又new了一個ThreadLocal。線程Map里的key越來越多清理也越來越不徹底。我建議每個項目針對線程級上下文做統(tǒng)一封裝。比如這樣一個TraceContextpublic final class TraceContext { private static final ThreadLocalString TRACE_ID new ThreadLocal(); private TraceContext() { } public static void setTraceId(String traceId) { TRACE_ID.set(traceId); } public static String getTraceId() { return TRACE_ID.get(); } public static void clear() { TRACE_ID.remove(); } }然后在整個調(diào)用鏈的最外層——Filter、Interceptor、或者異步任務(wù)的入口——統(tǒng)一調(diào)用setTraceId統(tǒng)一在finally里調(diào)用clear。業(yè)務(wù)代碼只通過靜態(tài)方法讀寫不需要知道底層的ThreadLocal長什么樣。這樣做還有一個好處以后想換成TransmittableThreadLocal只需要改這一個類不用滿項目找散落的ThreadLocal.set/get。4.4 子線程與線程池的變量傳遞InheritableThreadLocal的局限和TTL的解法很多場景需要把父線程的上下文傳到子線程比如異步任務(wù)里記錄traceId。JDK提供的原生方案是InheritableThreadLocal。它的實現(xiàn)原理是父線程創(chuàng)建子線程時把父線程的inheritableThreadLocals里的Entry復(fù)制一份給子線程。注意是創(chuàng)建線程那一刻的快照而且這個復(fù)制是淺拷貝——如果value是可變對象父子線程持有的是同一個引用并發(fā)修改照樣有競爭問題。InheritableThreadLocal最大的局限在于線程池。線程池的worker線程不是每次任務(wù)都新建的它早在提交任務(wù)之前就創(chuàng)建好了。父線程想傳值給worker線程根本不觸發(fā)線程創(chuàng)建過程InheritableThreadLocal完全無效。而且即使你第一次提交任務(wù)時值傳過去了下次提交新值也不會更新因為worker線程不會再走創(chuàng)建線程復(fù)制這條路徑。這個場景下業(yè)界更常用的方案是阿里開源的TransmittableThreadLocal簡稱TTL。它的思路是在任務(wù)提交時捕獲當(dāng)前線程TTL值的快照任務(wù)真正執(zhí)行前把快照回放到執(zhí)行線程上執(zhí)行結(jié)束后恢復(fù)執(zhí)行線程原有的值。使用方式很簡單ExecutorService executor TtlExecutors.getTtlExecutorService(executorService); executor.submit(() - { // 這里能正確讀到提交任務(wù)時的上下文 });不引入依賴包的情況下你也可以自己包裝Runnable在run()前后手動set/remove實現(xiàn)思路和TTL一致提交時快照執(zhí)行前回放執(zhí)行后清理。只不過TTL把這個邏輯封裝好了還支持Java Agent方式自動透傳。如果項目里大量使用線程池且需要傳遞traceId、用戶身份這類上下文建議直接把TTL納入基礎(chǔ)設(shè)施。5. 一次線上OOM排查實錄如何定位到ThreadLocal泄漏5.1 現(xiàn)象老年代持續(xù)上漲但GC后回不去之前接手過一個異步處理服務(wù)現(xiàn)象很典型JVM老年代使用率從啟動后一路爬升Full GC之后也只是從95%降到80%很快又漲回去。接口響應(yīng)時間越來越長最后每天固定OOM一次只能靠重啟續(xù)命。第一反應(yīng)肯定是先看GC日志和內(nèi)存曲線。用jstat看一眼jstat -gcutil pid 1000輸出里重點觀察FGCFull GC次數(shù)和O老年代使用率。如果YGC很頻繁、FGC也在持續(xù)增長但老年代使用率始終處于高位說明堆里有大量對象無法被回收。這時候就要考慮是不是有對象被長生命周期對象比如線程、類加載器、緩存持有形成了事實上的泄漏。值得提醒的是不要一看內(nèi)存高就無腦調(diào)-Xmx。調(diào)大堆只會推遲OOM時間不會解決問題。正確步驟是把堆dump下來看對象構(gòu)成。5.2 用jmap導(dǎo)出堆快照再用MAT定位可疑對象低峰期用jmap導(dǎo)出堆快照jmap -dump:live,formatb,fileheap.bin pid注意live參數(shù)會先觸發(fā)一次Full GC生產(chǎn)環(huán)境盡量在業(yè)務(wù)低谷操作或者改用jcmd pid GC.heap_dump heap.bin。dump文件通常很大本地用MATMemory Analyzer打開。打開后先看Histogram直方圖按retained heap排序。在這個服務(wù)里我很快就看到了一個熟悉的自定義類RequestContext有幾萬個實例retained heap占了差不多1GB。這個類為什么會單例持有那么多實例肯定是被某個容器類緩存了。接下來右鍵這個類選擇List objects - with incoming references看看引用它的是什么。你會看到大量引用來自java.lang.ThreadLocal$ThreadLocalMap$Entry這就基本鎖定方向了這些對象都被ThreadLocalMap里的Entry強(qiáng)引用著。5.3 順著GC Roots路徑確認(rèn)是ThreadLocal鏈確認(rèn)這一步需要右鍵對象選Path to GC Roots - exclude weak references。如果之前看過一遍ThreadLocal的引用鏈此刻再看這條路徑會非常清晰Thread (worker線程) └─ ThreadLocalMap └─ Entry[ ] └─ Entry └─ value (RequestContext實例)路徑里能看到Thread對象是GC Roots因為線程池里的worker線程都活著正等著新任務(wù)。順著路徑往下還會發(fā)現(xiàn)一個關(guān)鍵細(xì)節(jié)很多Entry的key已經(jīng)是null了。這說明ThreadLocal對象本身已經(jīng)被GC回收但value還躺在Entry里。這就是典型的key弱引用被回收、value強(qiáng)引用殘留的泄漏形態(tài)。如果只看Entry數(shù)量還不足以定位到代碼就再切到線程棧視圖把目標(biāo)Thread的線程棧打出來看看這個線程最近在執(zhí)行什么業(yè)務(wù)然后回代碼里找這個業(yè)務(wù)鏈路上的set()調(diào)用。我當(dāng)時就是從worker線程綁定的任務(wù)名一路追到一個公共的異步切面發(fā)現(xiàn)在切面里為了記錄traceId每次請求都new ThreadLocal()set完之后沒有remove方法結(jié)束ThreadLocal失去強(qiáng)引用剩下的value就全留在線程池線程的Map里了。5.4 修復(fù)與驗證一行remove解決幾百MB內(nèi)存修復(fù)方案很簡單把那個切面里的new ThreadLocal改成靜態(tài)常量并在finally塊里調(diào)用remove()。public class AsyncTraceAspect { private static final ThreadLocalString TRACE_ID new ThreadLocal(); public Object around(ProceedingJoinPoint point) throws Throwable { try { TRACE_ID.set(buildTraceId()); return point.proceed(); } finally { TRACE_ID.remove(); } } }改完之后再用jmap導(dǎo)一次堆用MAT對比修復(fù)前后的對象數(shù)量。最直觀的驗證指標(biāo)有兩個一是RequestContext的實例數(shù)從幾萬降到了和線程數(shù)同一量級二是老年代使用率在幾次Full GC后穩(wěn)定在30%左右不再持續(xù)爬坡。這個效果不是靠調(diào)參數(shù)調(diào)出來的是真正把引用鏈斷了。排查過程中還有一個容易忽略的點如果你在MAT里用exclude weak references查不到GC Roots路徑不要慌。key為null的Entry本身已經(jīng)斷開了對ThreadLocal的引用MAT的弱引用排除規(guī)則可能導(dǎo)致路徑不顯示。這時候換include all references再查或者直接在Dominator Tree里找ThreadLocalMap通常能看到完整的引用鏈。這次排查給我留下的最深印象是ThreadLocal泄漏很少是單個大對象的問題更多是業(yè)務(wù)對象被線程池線程長期持有的組合問題。你單看每個對象都不算大但線程池有幾百個線程每個線程攢幾百個過期Entry就是幾百MB甚至上GB的垃圾。它在代碼Review階段極難發(fā)現(xiàn)因為所有set/remove分散在各個方法里沒有一個集中的審視點。這也是為什么我會在前面的實戰(zhàn)部分反復(fù)強(qiáng)調(diào)統(tǒng)一封裝和攔截器清理——線上少踩一個坑比事后排查輕松太多。最后分享一個我個人的習(xí)慣線上服務(wù)里如果需要排查ThreadLocal相關(guān)的問題除了jmap和MAT也可以用Arthas的watch命令觀察某個上下文類的set和remove調(diào)用次數(shù)。如果發(fā)現(xiàn)set被瘋狂觸發(fā)但remove幾乎不觸發(fā)那基本不用dump堆也能判斷問題出在哪了。這套組合拳下來ThreadLocal這個線程私有的小籠子在你手里就不再是黑盒了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩AAAAAAAAAAA片| 婷婷色正月| 亚洲宗合激情| 五月天色色网站| 日本在线免费中文com.| 五月婷婷丁香综合| 激情五月天色色色| 激情都市另类| 天天色播| 九热视频| 99热| AAA久久久| 天天AV导航网| 天搞天天天天天| 激情五月瑟瑟| 丁香狠狠色婷婷久久无码视频| 色婷婷综合亚洲| 日日夜夜噜噜爽爽| 日日夜夜青青草| 91 原创 在线 九色| 激情内射人妻1区2区3区| 色五月五月天色婷婷色五月| 最新丁香六月婷婷| 婷婷五月综合啪| 五月天婷婷影院| 丁香九月激情在线视频| 天天插操| 4399精品一区二区| 婷婷性爱五月天丁香网| 九九精品丁香花| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 久久亚洲激情五码| 夜丁香综合| 久久色五月天| 综合99在线| 一二区成人电影| 国产成人综合电影| YW无码| 黄急一级视频| 亚洲日比视频| 婷婷性爱综合| 999精品乱码77777| 99小视频| 夜夜骑操AV| 国产亚洲在线| 久久6这里只有精品| 一区视频网站| 99在线观看精彩视频| 日本 欧美在线| 亚洲AV第二区国产精品| 亚洲成人AV在线播放| 月丁香久久久| 亚洲AV人人操| 人人色性网| 亚洲午夜精品久久久久久人妖| 色五月琪琪| 久久人人九| 好色婷婷| 六月色日韩| 国产精品第一国产精品| 我要看激情五月天| 久久人妻乱| 久久只有18视频| 99热99干| 亚洲免费99| 色99视频| 国产精品99久久久久久久女警| 开心五月天激情网| www.婷婷五月.com| 丁香花五月天激情| 色婷婷激情视频| http://www.sd-xiangsu.com/| 亚洲人妻五月丁香婷婷| 深爱五月婷婷| 4399成人黄A片| 久草热8精品视频在线观看| 超碰在线人妻| 第1影院之五月婷婷| 伊人热婷婷| 丁香五月停停基地| 狠狠另类视频| 国产精品电影网| 99热人人| 五月丁香色色色| www91久久| 成人片在线播放| 色婷婷婷av | 色色丁香婷婷综合| 久久视9精| 九九综合网色全集 | 97婷婷狠狠| 操碰97| www.婷婷五月天啪啪| 乱轮A片| 先锋资源91| 天天色天天| 欧美三9久九观看| AV在线二十六页| 亚洲成人另类| 婷婷五月天电影区小说区| 婷婷五月天综合久久| 99热久久这里只有精品| 日韩人妻在线观看| 久久婷婷综合五月趴| 色色五月婷婷久久| 亚洲av电影网站| 丁香五月另类色婷婷麻豆| 深爱丁香网| 深爱1激情网| 五月丁香福利| WWW·色色色·COM| 无码网站视频| 婷婷六月丁香五月图区| 久久五月天合网| 精品色| 色婷婷www| www.韩日视频| 日日操日日射| 怡红院AV亚洲一区二区三区H| 激情五月婷婷视频一区二区三区| 久噜久噜| 99在线精品免费视频| 九九青草热| 女人天堂av| 天天干天天拍| 玖玖婷婷婷丁香五月| 婷婷六月天精品| 婷婷五月天激情网| 99ri精品视频在线观看| 97碰| 成人婷99最新| 色婷婷久久综合| 丁香五月色色婷| 少妇日麻屄| 亚洲天堂爱爱| 日韩狠狠色| 色色亚洲视频| 黄网在线观看免费| 91凹凸在线| 久久六月婷婷| 中国激情网| 青柠影视免费高清电视剧| 六月色播| 色99网站| 国产阿姨日皮艹逼内射视频| 色婷婷基地 | 精品在线| 老师的粉嫩小又紧水又多A片视频| 九九色婷婷| 天天色99| www激情| 五月天激情小说网| 伦乱天堂| 五月婷婷激情综合| 思思w99| 婷婷五月天成人| 开心婷婷中文字慕| 国产午夜精品一区二区三区四区| 一级A片天天操夜夜操| 欧美内射AAAAAAXXXXX| 亚洲综合激| 日韩操人| 久久久久久丁香五月| 欧美日韩一区二区三区四区| 噜噜噜久久| 国产精品久久久丁香五月八戒视频| 超碰99热| 人妻VideOssS人妻| 超碰网站在线观看| 六月婷婷色综合| 免费视频舔| 婷婷五月色| 久久婷婷六月综合资源| 午夜激情久久| 婷婷色导航| 久久婷婷激情五月天一区二区| 五月激情婷婷丁香| 丁香婷停五月激情综合深爱| 大香蕉七区| 九九色播五月丁香| 激情涩涩网| AA片在线观看视频在线播放| 五月婷婷影院| 丁香五月婷婷动漫| 日韩久综合| 四虎成人精品永久免费AV九九| 婷婷中文在线| 激情影院69| 色婷婷在线视频| 超碰人人超碰| 亚洲av电影网站| 这里只有精品在线视频在线观看| 人人干天天舔| 99热精品10| 另类在线| 五月天婷婷爱| 亚洲丁香五月综合| 性热视频99精品| 亚洲色综合| 2020久久婷婷五月| 婷婷六月啪啪| 婷婷色综合网日韩国产| 婷婷色在线| 26uuu另类亚洲欧美日本一| 精品99在线| 色婷婷丁香| www.26uuu.com亚洲电影| 伊人久久大香| A片试看120分钟做受图片| 几激情五月婷婷色五月色天堂| 亚洲成人免费在线| 综合五月丁香六月婷婷| 成人丁香婷婷| 99操视频| 91色综合| 久婷五月| 青草少妇激情| SS丁香五月婷婷| 综合色五月| 岛国AAAV| 超碰免费人| 99在线免费视频| 五月综合激情综合久| 激情人妻综合| 色噜久| 搡BBBB搡BBB搡18| 色婷婷六月天| 五月综合激情视频在线| 丁香五月乱中文字幕| 操操操操操操婷婷五月天| 色婷婷久久9.com| 99热只有| 婷婷久久综合| 无码色| 国产成人av在线播放| 丁香婷婷十月| 久热精品视频| 天天视频亚洲| 婷婷五月丁香伊人| 激情www| 男人综合网| 欧美狠狠一在草| 9月色婷婷| 日本专区久久| www热久久yy9| 色婷婷在线视频| 婷婷激情啪啪| 亚洲久久婷婷| 狠狠色噜噜| 色丁香综合影院| 久久久久久xxxxx| 国产av基地| 久久网址99热| 婷婷五月丁香色综合| 一级黄色片看看| 国产精品色情AAAAA片软件| 激情综合婷婷| 婷婷五月天天| 1024AV视频| AV网在线| 99热色婷婷| 五月婷九九草| 69久久99精品久久久久| 91操碰| 久久色区| 伊人超碰| 婷婷五月激情天| 色五月影视| 亭亭五月色男人| 欧美成人A片AAA片在线播放| 99热在线精品播放| 婷婷色中文字幕| 色婷婷av在线观看| 国产精品色色| 操碰色一区就去操| 亚洲视频在线观看区| 五月 婷 久| 婷婷字幕在线| 97碰| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 日韩日比视频| 五月婷婷欧美| 丁香午月AV中文字幕| 超碰在线观看99| 天天操无码| www.久久9| 91碰超| 色婷婷成人网| 夜夜涩涩涩| 另类五月婷婷| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪| 国产精品国产| 亚洲AV免费在线| 99热这里只有精品99| 99re热视频这里只精品| 伊人大香蕉综合在线| 8区视频在线| 99色色热热| 激情五月婷婷网在线观看| 五月婷婷色吧!| 久久这里只| 播五月丁香三月婷婷| 九九热中文| 久久99网| 九月婷婷综合在线| 99这里只有精品视频免费| 色情综合网| 五月花婷婷在线精品视频| 亚洲综合色网站| 丁香婷停五月激情综合深爱| 久久五月婷婷丁香| av国产精品| 五月婷婷 自拍| 超碰在线国产| www.久热| 亚洲精品国产A久久久久久| 91av色色乱视频| 五月婷婷偷拍| 岛国资源网| 婷婷基地爱| 久久久999精品| 丁香婷婷成年| 天天人人综合| 激情中文在线| 丁香六月综合激| 婷婷免费精品视频| 五月天婷婷操逼视频| 性爱综合网| 国产操B视频| 色婷五月丁香久亚洲| 操逼三区| 免费在线观看av网站| 丁香激情网| 日韩操| 色综合婷婷| 亭亭五月基地在线| 99er视频在线| 免费观看全黄做爰的视频| 久久WW| 五月天影院| 五月婷婷激情| 99热超碰在线| 婷婷的99视频网站| 色婷婷在线影院| 玖久精品视频9| 思思久久精品| 中文字幕婷婷| 99日本黄站| 91日综合欧美| 丁香婷婷色五月激情综合| 日本三级日本三级99| 婷婷娌伦网| 色婷婷先锋| 天天综合精品| 色婷婷五月基地在线| 91欧美日韩综合| 青青草婷婷久久| 日日做天天操夜夜爽| 开心激情综合| 婷婷五月丁香综合激情小说| 中文字幕黄色片| 久久久久久久久99精品| 亚洲精品视频电影| 六月丁香色色| 俺去也综合| www.91操| 六月丁香网| 人人操插| 极品少妇高潮啪啪AV无码| 性爱综合网| 91超碰九色| 六月丁香六月婷婷欧美| 国产精品成人AV在线| 五月天婷综合| 大香蕉伊人久久| 91avse| 综合AV在线| 成人电影在线免费试看| 午夜丁香| 99性感视频| 四川BBB搡BBB爽爽视频| 深爱激情av| 欧美日韩二区在线| 色5月丁香婷婷| 嫩草国产| 婷婷色中文字幕| 久久综合丁香| 99精品网| 日本成人噜噜噜| 99五月婷| 99色在线视频| 婷婷五月开心中文字幕在线| 丁香婷婷午夜| 99无码超碰| www久久久| 久99热| 人人天堂操| 中文字幕人妻AV| 可以看的AV网站| 激情四射婷婷色色色| 久久婷丁香五月| 激情五月婷黄版| 成人.在线日韩| 色五月婷婷内射| 久久婷婷激情久久| 97操碰人人| 啪啪啪大香蕉| 黄色AAAAA| 偷拍91九色| 五月婷在线观看| AⅤ色区| 七月激情六月婷婷综合在线播放| 天天操综合网| 五月丁香六月激情欧美综合| 五月天无码| 亚洲成人影视在线| 色色亚洲五月天| 婷婷色五月色妇| 亚洲久久天堂| 亚洲综合丁香婷婷六月天| 人与禽A片啪啪| 丁香婷婷色情社区成人小说| 婷婷五月成人有| 9热超碰| 日本欧美国产| 五月天婷爱综合| 日韩三及成人AV片| 黄色av网站在线免费播放| 国产成人在线精品| 婷婷综合在线观看视频| 丁香五月激情婷婷视频| 万月丁香狠狠爱| 婷婷五月六月| 色激情五月| 丁香六月婷婷高清| 色综合色综合网| 婷婷伊人綜合| 亚洲乱码日产精品BD在线观看| 9l视频自拍九色9l视频在线观看| 伊人色欲五月天| 天堂资源欧日浪女在线播放| 久久伊人大香蕉| 超碰免费大香蕉| 伦99热| 久久99久久99精品免视看婷| 少妇婷婷五月天| 69热91天堂| 五月天激情综合网| 久久婷婷内射| 色婷婷狠狠| 五月丁香天堂网婷婷| 日日干五月天婷婷| 六月婷婷激情| 超级碰碰91| 丁香五月婷婷老师网站| 区欧美日韩成人| 99ER热精品视频| 大香蕉九九| 99操免费视频| 99久久99九九99九九九| 婷婷五月天堂| 色五月婷婷操逼| 日本狠狠色| 激情五月天啪啪| 欧美美女国产日韩一区二区久| 亚洲成人AV在线播放| 伊人五月天久久| 欧美日本不卡黄色片| W色综合| 嫩BBB搡BBBB榛BBBB| 天天干夜夜想| 夜夜撸日日操| 欧美色婷婷| 天天日天天色| XX色综合| 亚洲成人丁香花| 综合欧美五月婷婷| 婷婷五月综合网激情| 丁香六月丁香婷婷激情| 亚洲色图五月丁香五月婷婷| 狠狠色丁香久久综合婷婷亚洲成人福利| 无码字幕中文| 久久青青日本视频| www.99日本| 十区AV| 9久精品视频| 变态另类9| www激情| 婷婷激情中文综合| 天天综合天天玩夜夜玩天天玩夜夜玩| 久久精品永久免费| 五月激情六月综合| 淫视馆AV在线| 欧美久热| 另类少妇人与禽zOZZ0性伦| 中文字幕无码人妻少妇免费视频 | 99热这里只有免费精品| 激情五月婷| 狠狠综合网| 日韩无码专区| 热99.com婷婷| 九九热亚洲中文在线观看免费| 婷婷六月丁香开心深深爱| 色婷婷精品小视频| 五月丁六月香| 日本人妻A片成人免费看片| 国产成人精品一区二区三区视频| 无码人妻一区二区一牛影视| 超碰免费大香蕉| 婷婷激情五月天色| 五月天婷婷小说| 人人操日| 热91久| 丁香五月天激情四射网| 欧美又粗又大一区二区在线观看| 欧美激情综合色综合色| 97九色| 久久精品一区二区三区四区| 久操干| 98毛片| 亚洲国产精品综合色区| 婷婷六月啪啪| 婷婷亚州综合| 亚洲第一色网站| 成人综合伍月天| 99久久6| 97午夜一区二区| 成人av播放| 色插综合网| 婷婷五月天视频免费在线观看| 偷拍五月丁香| 琪琪色影音先锋| 色五月激情问网站| 久久伊人五月天| 色婷婷中文| 91色五月| 五月天婷婷基地| ..真实国产乱子伦毛片| 99久久久久| 欧美啄木乌丝袜人妻系列| 成人视频一区| 五月天丁香成人社| 久久这里只| 91九色在线| 丁香六月婷婷综合啪啪| 亚洲精品大片| 中文字幕人妻一区二区| site:minyis.com| 天天干,夜夜爽| 狠狠色综合图片| AV伊人青草丁香六月| 99精品性爱| 99精品成人无码A片观看金桔| 999激情视频| 色婷婷色人人射| 热久久这里只有精品| 婷婷丁香91综合| 色五月丁香五月激情五月激情| 停婷丁五月在线| 热99玖玖99玖玖99九九| 久久午夜理论| 九九日伊人| 开心久久五月天| 色丁香五月天| 人人干人人操外国| 开心激情婷婷| 丁香六月激情综合网| 激情五月天免费视频| 免费看成人AA片无码视频吃奶| 色婷婷小说| 91婷色| 国产色99| 亚洲色图五月丁香| 六月丁香色色| 久久久99免费视频| 婷婷97碰碰| 舔色婷婷| 亚洲AV无码影院| 婷婷五月色激情欧美激情| 久久五月天精品视频| 婷婷深爱网| 伊久大香蕉| 丁香六月视频免费观看| 色网五月婷婷| 欧美激情凹凸丁香网| 久久婷婷五月天大香蕉| 色综合日日| 久久婷婷原创视频| 妻久久人久久| www.婷婷五月天.com| 國語久久婷| 色色色色五月天| 人人摸人人搞| 伊人丁香花综合影院| 成人五月丁香花| 五月丁香五月激情综合色综合| 四LLL少妇BBBB槡BBBB| www.sezonghe| 欧美日韩国产一区二区| 九九九热精品| 九九色99| 97热九九| 日本三级日本三级99| 少妇日麻屄| 日韩熟女啪啪视频| 丁香激情网| 欧美人人操| 激情内射人妻1区2区3区| 天天色天天舔天天爱天天爽 | 红桃91人妻爽人妻爽| 九九热精品99| 丁香六月 婷婷六月| 黄色视频网站在线播放| 99热精品中文字幕| 色播五月婷婷综合| 亚洲啪啪自拍| 综合色五月| 狠色狠色综合久久| 五月婷在线影院| 啪啪啪综合网| 五月天婷婷激情在线色图| 97婷婷色| 色色草97| 五月丁香偷拍| 色婷婷婷婷| 99热伊人| 99超碰人人| 久草热在线视频| 亚洲综合色五月| 婷婷五月天堂| 成人免费超碰| 激情丁香五月婷婷| 青青草激情网| 人人干人人操人人摸人人做| 日本一级特黄大片AAAAA级| 九九av| 任你日视频| 五月色导航| 亚洲综合视频网| 成人国产欧美大片一区| 99色婷婷视频| 天天骑天天操| 五月婷婷在线网站| 色激情综合狠狠婷婷| 精品亚洲日韩99欧美片| 亚洲综合网在线| 99啪啪| 色五月色五天免费视频| 五月婷婷色丁香| 日韩在线视频网站| 91日视频| 六月婷婷最新网址| 美女久久婷婷| 丁香六月激情| 成人精品在线观看| 久久久久网站| 99热99热不卡| 精品免费99| 开心丁五月| 丁香婷婷六月天| 亚洲视频国产一区| 色婷婷五月影视| 丰满少妇猛烈A片免费看观看 | www.五月天婷婷姐姐| 亚洲sesesese| 九九99精品视频在线观看| 久久婷婷东京热大香樵| 伊人热婷婷| 五月婷婷久久大片| 牛牛热这里只有jingpin| 丁香六月婷婷| 国产人妻人伦精品一区二区| 人妻久久久久久| 色综合色五月| 久久婷婷五月| 激情图片五月天| 色色色色五月天| 99色热| 爱射综合| 九月丁香| 色情婷婷| 免费视频WWW在线观看网站| 亚洲五月天激情| 五月婷色色| 午夜成人天堂久久无码日韩久久| 丁香五月天社区| 26uuu成人网| 亚洲天堂啪啪| 九九青青草成人| 精品婷婷| 国产人妻人伦精品一区二区| 久久久99精品免费观看| 日韩一级一片内射视频4K| 五月综合激情久久| 九九色video| 91超级碰人人操| 五月天三级久久| 久久久久8888| 五月天婷婷色| 丁香5月啪啪| 热99只有里视频| 狠狠草狠狠草| 色婷婷的五月天| 99人碰碰碰| 99色色网| 亚洲成人无码专区| 91免费看片| 欧美在线视频99| 79亚洲精品少妇| 色宗合久久五月婷婷| 五月丁香成人网| 色色婷婷丁香| 久久久天堂国产精品女人| 91久热| 日韩操啪| 亚洲色色色色色色色色色| 亚洲视频在线观看99| 99色丁香婷婷综合网| 色狠狠色综合| 色999五月色| 五月丁香六月片| 亚洲色图81p| 久久九九怡红院| 狠狠色噜噜色狠狠狠综合久久成人波 | 日日干日日s| 天天操屄网| Av大香蕉| 久久加勤综合| 爱性综合网| 丁香五月开心婷婷| 色婷婷六月天| www.夜夜爱.com| 高清不卡一区| 99精品这里只有免费视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 九九九激情网| 久久伊人婷婷| 久热这里只有精品视频免费观看| 久热91| 久久综合66| 五月婷视频久久| 激情网综合| 欧美色色色色色| 97伊人综合婷婷| 五月丁香婷成人网| 天天日天天插| 99精品视频播放| 色婷婷久久| 日韩五月丁香| 亚洲欧美综合7777色亭亭| 精品成人久久久久久久_一二三四视| www激情网| 99性色| 99人人操人人操人人精| 深爱激情五月天婷婷网| 色色激情| 婷婷色中文字幕| 久久99热这里只有精品 | 婷婷六月综合基地| 久草热视频在线观看| 五月婷婷激情| 99热这里是精品| 久久久久亚洲AV成人无码电影| 伊人99久久| 六月色日韩| 天天日天天色| 五月丁香亭亭A片| 色五月 激情婷婷 综合五月天| 狠狠狠狠狠狠狠狠| 亚洲、欧美、国产另类笫二区| 五月婷婷综合久久| 五月婷av| 婷婷干五月综合在线播放| 中文字幕无码人妻少妇免费视频| 色热久资源| 一起草Av| 亚洲午夜视频| 五月丁香综合啪啪| 激情久久久久久| 精品爆操| 99在线精品视频| 五月丁香婷婷免费视频| 大香蕉伊然在亚洲90| 天天草比天天爽| 97色综合视频| 开心五月婷| 玖玖婷婷五月天毛片| 丁香五月婷婷激情123| 鲁鲁色五月| 五月婷婷丁香大陆免费| 色婷婷在线视频| 熟女五月天久久综合| 无码少妇高潮喷水A片免费 | 激情综合五月激情| 99人人干| 久色视频首页| 人人色人人弄人人操| 26uu| 色色色com| 激情六月综合| 夜夜爱影院| 天天日夜夜拍| 婷婷五月天777| 亚洲妇女熟BBW| 天天做天天摸| 色香久久| 亚洲国产成人综合| 久久综合热17c| 欧美三级巜人妻互换| 日日日影院| 精品99视频| 亚洲AV网站| 97在线精品| 婷婷色色网| 九九热在这里只有精品| 久久婷婷亚洲无码一起| 五月综合激情| 激情综合播播| 99热人人操人人操| 九九大香蕉黄色影院| 激情综合区| 亚洲无码99| 五月综合影院| 日本一道久久| 噼里啪啦完整版中文在线观看 | 五月天伊人| 天天爽天天摸| 亚洲操人| 日韩AV免费电影在线播放| 激情五月,婷婷五月,丁香五月| 91丨九色丨熟女|新版| 激情婷婷| 五月天开心网| 天天爽夜夜爽夜夜爽精| 97午夜一区二区| 久久色情| 色婷亚洲| 四色永久成人网站| 九97免费视频| 狠狠插狠狠插| 久久丁香综合| 国内裸舞二区| 大香蕉娱乐| AA片在线观看视频在线播放| 激情综合五月婷婷| 婷婷五月天伊人网在线观看视频| 激情久久丁香| 强壮公让我夜夜高潮A片视频| 亭亭五月丁香五月天激情| 99re在线观看| 丁香五月婷婷少妇| 五月综合久久| 久久综合影院| 五月婷婷免费看| 欧美五月丁香在线| 九九www| 婷婷5月久久综合网站| 国产综合色婷婷精品久久| 五月激情另类| 久久久久久激情| 国产特黄色精品一区二区三区精品无广告| 五月丁香婷婷综合| 色婷婷电影网| yazhouzonghesese| 99er这里只有精品| 五月婷婷六月丁香玖玖玫瑰91| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 久久婷婷网站| 99热在线网站| 五月婷婷黄网站大全| 丁香色婷婷| 五月婷婷与六月丁香图片激情| 婷婷十月丁香| 亚洲天堂亚洲色色色| 久久久婷婷婷| 久久久五月五丁香| 五月丁香婷婷婷激情爱爱| 婷婷综合性爱网| 超碰91在线| 免费AV播放| 婷婷成人五月天成人文学| 五月天激情婷婷丁香| 亚洲综合丁香婷婷六月天| 色婷婷久久| 免费国产视频| 涩综合网| 综合狠狠干| 色天堂A| 日本三级毛片| 日韩精品一区二区刘| #NAME?| 久久大大香| 九色99视频| 亚洲成人在线观看av| www99热| 国产精产国品一二三在观看| 精品婷婷| 亚洲无码色| 91热爆在线| 97在线精品视频| 欧美色色色色色| 丁香激情四射| 天天色综网| 亚洲啪视频| 99性爱| 色色色网站| 五月丁香色情| 中文字幕成人网站| 成人婷婷色综合| www,99色| WWW·色色色·COM| 日本操B片| 黄色一级影片| 精典久久| 丁香五月综合激情久久潮喷| 五月婷婷中字在线| 九九热这里只有精品一| 丁香五月激情婷婷| 深爱激情婷| 久草视频一,二三四| 婷婷射丁香| 婷婷五月天影院| 青青草免费公开视频| 99色综合久久| 99人妻碰碰碰久久久久| 九色七七| 狠狠干2007| 久久这里只有国产视频| 天天草天天爽| 丁香五月电影| 国产精品18久久久| 欧美色偷偷大香| 中文字幕激情综合| 天堂婷婷五月在线| 五月丁香六月欧美| 综合视频久久| 婷婷五月综合在线| BBWCUCKOLD精品熟妇| 亚洲天堂九九九| 久久久.COM| 婷婷丁香五月天欧美| 伍月婷婷六月丁香| 玖玖爱伊人| 中文字幕日产A片在线看| 亚洲色图日韩网址| 色婷婷五月开心六月综合| 日韩无码人妻一区二区三区综合| 国产亚洲色婷婷久久99精品91| 欧美久久婷婷| www.91热久久| 天堂资源欧日浪女在线播放| 天天干天天 亚洲| 丁香五月影院| 在线日韩视频| 天堂网啪啪| 亚洲成色综合网站免费观看| www.婷婷六月天| 五月天大香蕉| 五月丁香婷婷婷激情爱爱| 五月婷婷激情| 五月天丁香欧美激情| 亚洲色色色色色色色色色| 色九月激情综合网| 91啪啪视频| av在线观看免费| 婷婷五月激情图片| 色99视频| 夜夜爱伊人| 手机AVAV天堂看网| 五月婷婷六月综合| 久久久亚洲精品一区二区三区浴池| 97色色色| 成人精品免费在线观看| 久热九九| 亚洲无码色| 国产黄色在线| 思思99热热热99| 九九这里有精品| 99riAV成人在线视频| wwwss在线观看| 五月六月伦理| 亚洲精级| 久久99热免费| 九九在线精点品| 超碰99热精品| 久久只有18视频| 免费视频WWW在线观看网站| 啊V视频在线观看| 六月丁香五月天| 五月天丁香久久综合 | 五月婷婷香蕉| 开心激情五月天网| 99操免费视频| 五月丁香成人网| 99精品综合| 性爱电影科技贸易有限公司| 国产超碰在线| 超碰在线国产| 蜜臀av粉嫩av懂色av| 婷婷五月激情综合啪啪| 久久婷婷五月丁香| 青柠影视免费高清电视剧| 五月丁香激情啪啪| www.99热在线观看| 五月天婷婷免费| 五月丁香综合在线| 超碰京东热av男人的天堂| 天堂五月婷婷| 中文字幕无码人妻少妇免费视频| 99er日韩| 五月天开心色情网| 五月婷婷丁香啪啪| 人人操av| 国产综合久久久777777| 九九这里有精品| 五月天丁香看婷婷| 五月天四色房丁香亭亭| 国产综合A片| 性日本精品| 果冻传媒A片一二三区| 操逼在线视频| 日韩二区搞逼插逼毛片| 久久久久综合激动五月天| 公的粗大挺进了我的密道| 婷婷丁香五月天综合AV| 婷婷综合视频| 伍月婷丁香婷| 极品人妻VIDEOSSS人妻| 婷婷区日本| 激情亚洲五月| 欧美激情综合色综合色| 在线91日韩| 天天色天天日天天舔| 激情99热| 色播五月丁香| 99r久久这里只有精品| 五月天婷婷基地| 五月丁香六月婷婷婷婷| 国产精品成人网址| 丁香婷婷激情五月天无毒不卡蜜桃| 偷偷操九九| av在线观看网站| 综合色播| 九九热123| 五月成人综合| 久久久久久久久久91| 自拍偷窥99热| WWW.桔色成人.COM入口| 丁香五月综合狠狠| 色欧美影院| 99精品久久久久久久婷婷| 五月丁香六月婷| 欧美激情五月| 蜜桃婷婷狠狠久久综合| 国产免费一区二区三州老师F1F1| 九九综合色| 国产毛片精品一区二区色欲黄A片| 狠婷婷五月| 99久精品视频| http:色情日本com| 婷婷五月天中文字幕| 色五月琪琪| CHINESE熟女老女人HD视频| 六月丁香VA| 久久曰曰| 97成人在线视频| 色婷婷免费观看| 婷婷五月激情欧美大胆视频| 大香蕉人人网| 天天干天天做| 亚州操人在线视频| 亚洲色婷婷色| 色综合播放| 五月天色色网站| 五月激情婷婷开心| 婷婷丁香五月综合| 五月美女婷婷风骚| 99久久99久久综合| 色婷婷狠狠色| 99亚洲天堂| 久久看九九90| 99操视频| 亚洲天堂色色| renre人人操国产超碰在线| 欧美日韩成人在线网| 香蕉久久av一区二区三区| 夜夜骑天天操| 中出内射的人妻视频| 久9视频| 色婷婷香蕉丁丁网| 99色热| 激情综合啪啪| 国产婷婷色综合AV蜜臀AV| 青青草a在线| 久久99精品日本| 国产特黄色精品一区二区三区精品无广告 | 久久久久9| 欧美97超碰| 拍真实国产伦偷精品| 色色色地址| 久久精热| se99在线| 99热99日…..| 黄色精品五月婷婷| 99久高清视频| 在线看的免费网站| 热久久这里只有精品| 五月婷婷啪啪综合网| 五月婷婷久草在线视频综合| 五月婷婷色播视频| 日本99热| 99在线免费视频播放| 高潮毛片又色又爽免费| 狠狠干狠狠色| 欧美色色色色色色色| 女人天堂AV| 五月丁香色婷婷综合| 操逼福利视频| 丁香五月天在线观看视频| 色色五月天丁香| 色色色婷婷| 5五月综合网亚洲| 99碰碰。| 日韩在线观看网址| 日韩人妻AV在线| www.99热日韩.com| 久色激情| 色九月欧美| 激情五月婷婷她| 夫妻超碰在线| 久久38视频| 1024久婷| 欧美人人草草| 婷五月天| 伊人网色婷婷五月天| 久婷婷视平| 色婷婷狠狠久久综合五月| 色欧美一级| 久久XX日本综合| 极骚大香蕉伊人| WWW.五月com| 99在线视频网址在线观看| 91五月花丁香| 欧美大片免费观看| 91碰免费视频| 亚洲色五月婷婷| 久婷自拍视频| 原琪琪色影院| 99啪| 草操网| 五月天婷婷在线观看精品男人| 六月香五月婷| 婷婷色成人| www.日日夜夜.com| 99热精国产这里只有精品| 91婷婷在线观看| 99ri精品视频在线观看| 8区视频在线| site:901-07.com| 日韩操人| 五月天婷婷在线啪啪视频| 综合深爱五月| 色激情五月| 久久久8| 五月丁香六月在线| 电影91久久久| 92久久久| 美女激情综合| 男人天堂亚洲综合| 天天干夜夜欢| 停停五月色宗合| 久久人操| 99色爱| 久久丁香综合精品综合| 亚洲99在线| 色婷婷色五月另类综合| 好吊丝aV| 亚洲色婷婷五月天| 久久停停超碰| 日本欧美成人片AAAA| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 91久久五月天| 婷婷激情丁香五月婷婷激情丁香五月婷婷| 五月婷婷伊人久久| 五月六月伦理| 国产精品美女| 久久五月天影院| 天天摸天天肏| 26uuu四色| 婷婷五月天激情开心网| 久99久视频| 丁香婷婷五月综合欧美另类| 五月天激情图片| 五月天a婷婷伊人| 热99在线精品| 99噜噜噜在线播放| 九九99在线| 婷色成人| 五月精品| 国产婷婷婷| av色婷婷| 激情开心五月亚洲| 九九黄色网| AV色色天堂中文| 99亚洲精品视频在线观看| 久久色五月天激情小说| 亚州色婷婷| 人妻免费网站| 99超级碰免费视频| 狠狠五月激情丁香六月| 成人片在线播放| 丁香五月婷婷激情中文| 99国产小视频免费观看| 欧美婷婷成人| 午夜天天精品视频| 99热最新网址| 久久这里有精品在线观看| 色五月丁香网| www99xxxx五月丁| 天天干夜夜b| 狠狠插狠狠插| 日韩成人综合| www好屌操| 激情六月天婷婷| 成人在线免费网址| 内射激情在线| 99超级碰免费视频| 久久久久久久8| 看久久性爱视频| www.色婷婷| 久久99久久99精品免观看粉| 日日做天天操夜夜爽| 六月丁香五月婷婷| 思思热这里只有精品视频666| 欧美国产一区二区三区| 五月天婷久久| 大香蕉狼人久久| 色中色综合| 狠狠色婷| 天天插天天很| 九月丁香| 99在线观看视频免费| 激情五月色婷婷| 人妖色AV色综合| 婷婷精品在线| www.五月天婷婷| 九九热在线观看6| 秋霞AV淫| 日本女人久久| 激情图片婷婷| 精品九九网| 亚洲日日日| 操婷婷基地| 激情五月婷婷丁香综合网| 大操人妻| 欧洲亚洲免费视频区| 色婷婷丁香五月| 色五月开心婷婷| 亚洲操精品| 久久 婷婷 五月天| 婷婷涩五月| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 永久思思热在线| 欧美日综合| 亚洲 综合中文| 激情网五月天|