欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網運營的一線實戰(zhàn)洞察。

TPS、并發(fā)數、響應時間底層關系:從Little定律到性能測試實踐

TPS、并發(fā)數、響應時間底層關系:從Little定律到性能測試實踐 在這個月面試了 10 個候選人之后我只能說“會做性能測試”和“懂性能測試”之間隔著一條很深的認知鴻溝。絕大多數簡歷上寫著“熟練掌握 JMeter有性能測試實戰(zhàn)經驗”的候選人都能熟練地告訴我線程數設多少、Ramp-Up 怎么配、聚合報告怎么看。但當我把這個問題拋出去——TPS、并發(fā)數、響應時間這三者的底層關系是什么——場面往往會陷入尷尬的沉默。有人照著面試題背答案“TPS 并發(fā)數 / 響應時間”。這個公式對嗎對但不全對。它只在極理想的模型下成立。一旦系統(tǒng)出現排隊、資源爭搶、線程阻塞這個公式會把你的測試引向一個深坑。還有一個有意思的現象是最近搜“jmeter 性能測試步驟”的人特別多但很多人在第一步就錯了他們根本不確認系統(tǒng)真實的并發(fā)用戶數是多少直接設置線程數 500、1000 就開始壓。壓出來的 TPS 很漂亮卻是“虛高”的。這篇文章不打算繼續(xù)講 JMeter 的按鈕在哪那些基礎操作屬于入門教程。我真正想做的是把 TPS、并發(fā)數、響應時間三者在底層的關系徹底講透包括它們怎么互相影響、為什么會出現 TPS 虛高、真實業(yè)務場景中這個關系會發(fā)生什么變形以及面試中怎么回答才不會被面試官追問到原地“爆炸”。讀完這篇文章你至少能得到三樣東西一套能說服面試官的、關于三者關系的底層邏輯框架。一個判斷系統(tǒng)真實并發(fā)承載能力的“靠譜”方法。若干直接能用于工作場景的性能測試設計思路。1. 這篇文章真正要解決的問題先說一個扎心的事實大部分性能測試報告寫出來只是為了應付上線檢查而不是為了發(fā)現系統(tǒng)瓶頸。如果你只是想把壓測報告做得“好看”那不需要理解三者的底層關系——把線程數拉高把聚合報告里的 TPS 看成一個數字截圖貼上去完事。但如果你要解決的是以下任何一個問題你就必須從根本上搞明白這三者的關系線上出現卡頓或超時但你在測試環(huán)境壓不出來。測試環(huán)境怎么壓都穩(wěn)如老狗一到線上就出問題。老板問“我們系統(tǒng)能扛多少并發(fā)”你給不出一個可信的數字。不是不愿意給是你根本不知道從哪個維度推導。你壓測出來的 TPS 很高但上線后一遇活動流量就掛。你想做容量評估、限流配置、容量規(guī)劃但不知道用哪個指標做依據。很多人以為性能測試的核心是“會用壓測工具”其實性能測試的核心是建立指標之間的換算關系。你需要的不是一個孤立的 TPS 數字而是“在什么并發(fā)數下、響應時間達到多少、TPS 還能不能撐住”的關聯模型。這篇文章就是圍繞這個關聯模型展開的先從底層定義開始把三個概念從“你腦子里的模糊印象”撥正為“可計算、可推導的工程指標”再拆解三者之間在不同系統(tǒng)狀態(tài)下會經歷怎樣的關系變化接著用真實的場景案例講清楚為什么并發(fā)數翻倍后 TPS 反而下降最后回到 JMeter 操作層面告訴你一套能落地的壓測設計方法。不管你是準備性能測試面試還是正在寫壓測方案這篇文章的目標都是讓你從“會用工具”提升到“能講清楚系統(tǒng)表現”。2. 先把三個概念徹底說清楚從生活場景到技術定義在推導關系之前必須先確保我們聊的是同一個“并發(fā)數”。很多人在這一步已經跑偏了。面試時我經常追問“你的并發(fā)數是怎么定的”答案五花八門有說線程數的有說注冊用戶數的有說同時在線數的。這些說法都混淆了不同層面的并發(fā)概念。2.1 并發(fā)數是“同時發(fā)出的請求數”不是“在線人數”為了把這個問題說透先講一個生活場景。想象一家銀行網點有 3 個柜臺窗口相當于系統(tǒng)有 3 個處理線程大廳里坐著 50 個等待辦理業(yè)務的客戶。這時候真正的“并發(fā)數”是多少不是 50。50 個客戶坐在大廳里只能叫“在線人數”或者“待處理任務數”。真正的并發(fā)數是同一時刻正在窗口辦理業(yè)務的客戶數量——也就是最多 3 個。其他 47 個人要么在排隊要么在填單子他們沒有占用柜臺資源。從技術上理解并發(fā)數是同一時刻系統(tǒng)正在處理的請求數量也就是“在途請求數”。這個“在途”包括請求已經在操作系統(tǒng)網絡隊列里等待、已經被應用接收、正在執(zhí)行 SQL、正在等待下游依賴返回等所有狀態(tài)。這個區(qū)別非常關鍵。你做壓測的時候把 JMeter 線程數設為 500這 500 個只是“正在嘗試發(fā)起請求的客戶端”它們大多處在等待響應階段并不等同于系統(tǒng)“同一時刻正在處理”的請求數更不是業(yè)務層面真正的“在線用戶數”。我用一個稍微嚴謹一點的說法幫助記憶并發(fā)用戶數在線用戶數業(yè)務概念應用層有多少用戶同時活躍。并發(fā)請求數在途請求數技術概念系統(tǒng)同時處理的請求量。壓測線程數施壓數工具概念你開了多少并發(fā)連接去發(fā)起請求。三者有關聯但絕不是一回事。2.2 響應時間一個被你錯誤統(tǒng)計的指標響應時間Response Time, RT字面理解是“從發(fā)起請求到收到完整響應的時間”。但在性能測試中你需要把這條時間鏈路拆開看。一次完整的請求耗時通常包括網絡傳輸時間客戶端到服務器的往返時延RTT。排隊時間請求到達服務器后在連接池、線程池、隊列里等待被處理的時間。處理時間應用執(zhí)行業(yè)務邏輯、讀寫數據庫、調用下游接口的時間。響應傳輸時間結果返回客戶端的時間。這里有一個最常見的坑JMeter 中顯示的響應時間默認只包含“從發(fā)出請求到收到響應”的時間它包含了網絡、排隊和處理時間但不包含你在前置處理器、后置處理器中所做操作的時間。更關鍵的是響應時間是一個分布不是一個固定的數。同一系統(tǒng)在同樣的壓力下1 個請求可能 50ms 返回另 1 個請求可能 800ms 返回。所以你應該關注的是響應時間分布平均值Avg容易被極端值拉偏參考意義有限。TP90 / TP95 / TP9990%95%、99%的請求耗時在多少毫秒以內。這個比平均值更接近真實體驗。最大值Max常被 GC垃圾回收、網絡抖動之類因素拉得極高看個趨勢就好別拿來做結論。在后面的關系模型里我提到的響應時間都默認指“穩(wěn)定狀態(tài)下的平均響應時間”。在做性能評估、容量規(guī)劃時建議你把 TP99 作為核心指標。2.3 TPS事務吞吐量系統(tǒng)的“實際產能”TPSTransactions Per Second是每秒完成的事務數。它衡量的不是系統(tǒng)能“接收”多少請求而是系統(tǒng)能“完成”多少業(yè)務操作。這里有個區(qū)別需要明確TPS 和 QPSQueries Per Second經常被混用。嚴格來說QPS偏重“查詢”類請求每秒查詢量。TPS偏重“事務”類請求它更強調一個完整業(yè)務操作通??赡馨鄠€請求。舉個例子你打開一次訂單列表頁面會同時調 3 個接口。從 JMeter 的角度如果你給每個接口各創(chuàng)建一個 Sampler一次打開頁面就是 3 個請求如果你把整個操作封裝成一個“邏輯事務”那一次頁面打開就是 1 個事務。在做性能壓測時比較規(guī)范的做法是用“事務”作為計量單位而不是用“請求數”。因為業(yè)務方最關心的往往是“每秒能完成多少訂單”而不是“每秒能處理多少 HTTP 請求”。如果壓測報告上只寫“TPS 500”卻沒有說明這個 TPS 是接口級別的還是業(yè)務事務級別的這份報告的參考價值要打一個很大的折扣。2.4 一個簡單的三句話總結為了后文推導方便先把三個概念的準確描述統(tǒng)一起來并發(fā)數表示的是“系統(tǒng)同時處理的在途請求數量”它決定了系統(tǒng)處于什么壓力相位。響應時間表示的是“一個請求完成一次完整往返的代價”它反映單個用戶感受到的快慢。TPS 表示的是“系統(tǒng)單位時間內真正處理完的事務總量”它反映的是系統(tǒng)的產能。一句話概括并發(fā)數是施壓的強度響應時間是單筆處理的代價TPS 是系統(tǒng)整體的產出能力。接下來我們就要推導這三者之間到底存在什么樣的數學底層關系。3. 三者關系的核心模型從 Little 定律到實戰(zhàn)公式3.1 排隊論視角下的核心公式在性能工程的底層理論中有一個幾乎繞不開的定律——Little 定律。它最初來自排隊論后來被廣泛應用在計算機系統(tǒng)性能分析中。Little 定律的數學表達式很簡潔L λ × W翻譯成性能測試術語就是并發(fā)數L TPSλ × 平均響應時間W什么意思呢它描述的是一個處于穩(wěn)定狀態(tài)的系統(tǒng)內部同時在處理的任務數并發(fā)數等于單位時間新到達并被處理完成的任務數TPS乘以每個任務在系統(tǒng)內部停留的時間響應時間。這個公式非常重要因為它建立了三個指標之間的硬性換算關系?;谶@個公式可以導出兩個常用形態(tài)TPS 并發(fā)數 / 平均響應時間 平均響應時間 并發(fā)數 / TPS3.2 為什么教科書公式在實戰(zhàn)中經常“失效”你會在很多面試題和培訓資料里看到上面的推導公式。但如果實際壓測過系統(tǒng)你一定會發(fā)現一個現象并發(fā)數從 100 提到 300TPS 絕對不是按 3 倍線性增長。原因在于Little 定律有一個隱含假設——系統(tǒng)處于穩(wěn)定狀態(tài)沒有過載沒有隊列溢出沒有資源競爭激化。說得更直白一點Little 定律假設系統(tǒng)是一個“理想管道”。但真實系統(tǒng)不是理想管道真實系統(tǒng)有線程池上限處理線程被占滿后新增請求只能排隊。數據庫連接池上限連接不夠用應用線程阻塞等待。CPU 多核爭搶線程切換開銷變大真正干活的時間比例變小。鎖競爭多個線程同時搶一把鎖串行化的時間變長。內存 GC并發(fā)升高后GC 頻率上升Stop-The-World 導致響應時間惡化。當這些瓶頸開始顯現時關系模型就變成了這樣并發(fā)數繼續(xù)上升 → 響應時間快速惡化 → TPS 不再上升甚至下降這個拐點就是性能測試中最重要的發(fā)現系統(tǒng)的最佳并發(fā)區(qū)間在哪里。為了讓你看清楚這個變化過程我用一張關系演變表來描述系統(tǒng)從空閑到被打垮的過程階段并發(fā)數變化響應時間TPS 變化系統(tǒng)狀態(tài)空閑期低并發(fā)穩(wěn)定且小隨并發(fā)線性上升資源空閑產能未被充分使用健康期并發(fā)提升輕微上升總體平穩(wěn)隨并發(fā)近似線性增長資源利用率逐漸提升飽和點到達拐點開始明顯上升增長趨緩達到峰值某個資源開始打滿過載區(qū)繼續(xù)加壓急劇上升不增反降排隊嚴重資源耗盡崩壞區(qū)極端高并發(fā)大量超時大幅下跌線程池拒絕、連接池滿、雪崩風險這五個階段至關重要。所謂“懂性能測試”核心就是能識別出你的系統(tǒng)當前處于哪個階段以及拐點在哪里。3.3 用一個具體場景驗證公式假設有一個系統(tǒng)壓測場景如下平均響應時間 200ms0.2 秒并發(fā)數 50按公式計算TPS 50 / 0.2 250這說明如果每個請求耗時 0.2 秒系統(tǒng)同時能處理 50 個請求那 1 秒內能處理完 250 個請求。現在把并發(fā)數提升到 100會出現什么情況理想情況如果系統(tǒng)資源充足、沒有競爭響應時間仍為 0.2 秒則 TPS 100 / 0.2 500翻倍。常見情況并發(fā)提升后線程切換、鎖競爭、數據庫連接等待一起出現平均響應時間可能漲到 0.35 秒那么 TPS 100 / 0.35 ≈ 286。雖然并發(fā)翻倍了TPS 只多了 14%。過載情況并發(fā)數到 200 以后響應時間漲到 1.2 秒TPS 200 / 1.2 ≈ 167不但沒漲反而比并發(fā) 100 時更低。這就是為什么很多人在壓測時會看到“TPS 虛高”或“TPS 暴跌”的現象——因為測試沒有建立“由響應時間推導 TPS”的意識只是機械地增加線程數看著聚合報告里的數字上躥下跳卻說不出系統(tǒng)到底哪里出了問題。4. 真實系統(tǒng)里三者關系會發(fā)生哪些變形4.1 不同接口類型下的關系差異很多剛接觸性能測試的人會犯一個錯誤把所有接口都用同一套并發(fā)-響應時間模型來理解。實際上不同接口類型下三者的關系表現差異巨大。先看“快接口”。典型的例子是查詢類的接口比如登錄校驗、緩存查詢、狀態(tài)檢查。這類接口響應時間很短通常在 5ms 到 50ms 之間。在低并發(fā)階段它們能支撐非常高的 TPS因為每個請求在系統(tǒng)內逗留時間極短。但這類接口一旦并發(fā)打高最先出現問題的是網絡層和線程池響應時間可能從 10ms 暴漲到 500ms。再看“慢業(yè)務”。典型例子是報表導出、批量任務、大文件上傳、涉及大量復雜 SQL 的查詢。這類接口響應時間可能在 1 秒甚至更長。重點在于慢接口是 TPS 的天敵。同樣是 100 個并發(fā)請求快接口能輕松做到 2000 TPS慢業(yè)務可能只能做到 50 TPS。不是因為系統(tǒng)能力差異而是因為每個請求占據處理線程的時間太長。這種差異在容量規(guī)劃時的含義完全不同。壓測一個查詢接口時你可以用“并發(fā)數 500、TPS 3000”來規(guī)劃但壓測一個導出報表接口時同樣的并發(fā)數 500 可能直接把系統(tǒng)打掛因為每個請求處理時間太長線程池很快就耗盡了。4.2 有狀態(tài)系統(tǒng)與無狀態(tài)系統(tǒng)的區(qū)別另外一個影響三者關系的因素是系統(tǒng)的“狀態(tài)性”。無狀態(tài)應用比如純 Redis 查詢、靜態(tài)資源服務、計算型接口不依賴會話數據、不持有用戶狀態(tài)。它的并發(fā)模型相對簡單Little 定律的推導會比較貼近現實。資源充足時并發(fā)和 TPS 基本線性關系。有狀態(tài)應用比如在線交易、購物車、WebSocket 長連接、分布式鎖、樂觀鎖更新等。此時系統(tǒng)不僅要處理計算還要處理“狀態(tài)同步”。并發(fā)升高時數據一致性、鎖沖突、臟讀重試帶來的額外開銷會急劇增加響應時間會非線性上升。從壓測角度看有狀態(tài)系統(tǒng)的性能測試絕不能用無狀態(tài)系統(tǒng)的“線性模型”去預測結果。你必須通過階梯加壓的方式找到真實的飽和點。4.3 異步化對三者的關系顛覆還有一個不可忽視的變量異步化。如果系統(tǒng)大量使用消息隊列、異步回調、線程池異步處理用戶的“請求-響應”鏈路和“業(yè)務處理鏈路”就解耦了。這種情況下會出現什么對用戶來說響應時間變短了因為請求只是被接收后放進了隊列立即返回“受理成功”。對系統(tǒng)來說真正的業(yè)務處理是在后臺異步進行的TPS 的計量口徑變了。對壓測來說你看到的響應時間是“受理時間”而不是“業(yè)務完成時間”。此時仍套用“TPS 并發(fā)數 / 響應時間”就會得出嚴重失真的結論。一個系統(tǒng)中如果有大量異步處理你必須分別觀察“入口 TPS”和“處理 TPS”以及兩者之間的隊列積壓量。隊列積壓量才是觀察系統(tǒng)壓力的關鍵指標而不是直接看響應時間。所以在回答三者關系之前先要反問當前系統(tǒng)是同步的還是異步的如果是異步系統(tǒng)三者的關系鏈條要重新梳理。5. 為什么你會看到“TPS 虛高”——并發(fā)數、響應時間與統(tǒng)計口徑的三角關系“TPS 虛高”是我們搜索熱詞中出現頻率非常高的一個詞。這個詞概括了性能測試實踐中一類常見的錯誤認知壓測報告上的 TPS 很高但真實性存疑。5.1 虛高 TPS 是怎么產生的先說結論TPS 虛高的本質是統(tǒng)計口徑和真實業(yè)務模型不匹配而不是壓測工具出了問題。常見產生虛高 TPS 的操作有第一種只用低響應時間接口做壓測。如果一個系統(tǒng)只有一個查詢接口響應時間 10ms那 500 并發(fā)就能壓出 20000 TPS。但這能代表系統(tǒng)整體能力嗎明顯不能。業(yè)務高峰期的流量是混合的包含慢接口、寫接口、長事務。壓測場景設計時如果只挑快接口打得到的 TPS 沒有任何參考價值。第二種忽略事務定義直接把 HTTP 請求數當 TPS。這在 JMeter 中特別常見。默認情況下JMeter 聚合報告里的 Throughput 是按照 Sampler 的執(zhí)行次數來統(tǒng)計的。一個頁面包含 10 個接口用戶一次完整操作會產生 10 個請求。如果你把這個數字直接當成業(yè)務 TPS報告上的數字會比真實業(yè)務吞吐量高出 10 倍。第三種高并發(fā)長時間壓測取峰值 TPS 當結果。很多壓測報告習慣取“最高那一段的 TPS”作為成果。但是這個最高值通常出現在系統(tǒng)資源尚未穩(wěn)定、緩存未預熱、垃圾回收尚未開始的時候。你真正應該關注的是系統(tǒng)在“持續(xù)壓力下”的穩(wěn)定 TPS而不是瞬時峰值。第四種忽略錯誤率。如果系統(tǒng)大量返回 500、超時、連接拒絕JMeter 會統(tǒng)計這些“失敗的請求”嗎默認情況下JMeter 不會將斷言失敗或者 HTTP 非 2xx 狀態(tài)碼算作成功事務但如果你沒有配置斷言或者把錯誤響應也當作“完成”來統(tǒng)計你的 TPS 就會把失敗請求也計算進去看起來很高實際上是假象。5.2 怎么避免 TPS 虛高從工程經驗來看避免 TPS 虛高的核心有四點壓測場景必須包含核心鏈路而不是只挑快接口。事務定義必須和業(yè)務操作對齊。打開訂單列表 1 個事務而不是 3 個 Sampler。報告 TPS 必須關聯錯誤率和響應時間分布。TPS 再高如果 TP99 已經突破 2 秒也不算健康。結果必須取穩(wěn)定段平均值而不是瞬時峰值。如果你在壓測報告中寫“TPS 峰值 5000”面試官或者老板追問一句“響應時間多少錯誤率多少并發(fā)多少什么場景壓了多久”你能清晰回答才算真正對這個數字負責。6. 通過壓測實驗反向驗證三者關系JMeter 階梯加壓實操理論講完了現在進入實操環(huán)節(jié)。既然你是做性能測試的JMeter 是繞不開的工具。這一節(jié)我會給你一套可以直接執(zhí)行的壓測設計思路用 JMeter 來驗證“并發(fā)數、響應時間、TPS”三者之間的動態(tài)關系。6.1 環(huán)境準備本小節(jié)以最常用的 JMeter 為例。當前 JMeter 的主流版本為 5.x需要 JDK 8 或以上版本建議使用 JDK 11 或 17。不同 JMeter 版本的界面細節(jié)會有差異但核心操作思路一致。如果還沒有安裝 JMeter可以去 Apache JMeter 官網下載解壓版解壓后進入bin目錄Windows 雙擊jmeter.batmacOS/Linux 執(zhí)行./jmeter即可。為了方便演示準備一個簡單的被測服務。你可以使用任意本地 Web 服務這里用一個最小的 Spring Boot 項目提供一個模擬業(yè)務處理接口// 文件路徑src/main/java/com/example/perfdemo/controller/DemoController.java package com.example.perfdemo.controller; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RequestParam; import org.springframework.web.bind.annotation.RestController; import java.util.concurrent.TimeUnit; RestController public class DemoController { /** * 模擬耗時業(yè)務接口。 * delayMillis 參數用于模擬業(yè)務處理耗時默認 100 毫秒。 */ GetMapping(/demo) public String demo(RequestParam(value delayMillis, defaultValue 100) long delayMillis) throws InterruptedException { // 模擬業(yè)務處理耗時實際項目中這里是 SQL 查詢、下游調用、復雜計算等 TimeUnit.MILLISECONDS.sleep(delayMillis); return success; } }這個接口很簡單每個請求進來模擬處理 100ms然后返回。為什么設計這個接口因為你只有讓每個請求固定占用一定時間才能清晰觀察到并發(fā)數增加后線程池、CPU、響應時間和 TPS 之間如何互相制約。如果不想寫代碼啟動服務也可以使用任一 Linux 環(huán)境用 Python 開啟一個臨時 HTTP 服務再通過time.sleep模擬耗時。核心目標只是“有一個可被壓測的接口”。6.2 JMeter 測試計劃設計打開 JMeter按下面的步驟建一個最小測試計劃右鍵“測試計劃”添加一個“線程組”。在線程組下添加“Sampler - HTTP 請求”。在 HTTP 請求中配置協議http服務器名稱或 IPlocalhost端口號8080方法GET路徑/demo?delayMillis100在線程組下添加“監(jiān)聽器 - 聚合報告”和“監(jiān)聽器 - 響應時間圖”。線程組配置這里先不固定因為我們要做階梯加壓。階梯加壓的核心思路是同樣的測試腳本從低并發(fā)開始逐步增加線程數每一檔保持運行一段時間觀察各項指標的變化趨勢。比如按下面規(guī)模來階段線程數Ramp-Up 時間持續(xù)時間階段1101 秒30 秒階段2201 秒30 秒階段3502 秒30 秒階段41005 秒60 秒階段520010 秒60 秒階段640020 秒60 秒為什么要設置“持續(xù)時間”因為性能測試必須看穩(wěn)定狀態(tài)下的表現。啟動后立即出現的數字可能受線程初始化、緩存預熱影響。一般建議每個階段的持續(xù)時間不少于 30 秒最好 60 秒以上讓數據趨于穩(wěn)定后再記錄。如果你不想手動創(chuàng)建 6 個線程組也可以使用 JMeter 的插件Ultimate Thread Group需要在 JMeter Plugins Manager 中安裝它可以在一張圖表里配置多個階梯階段的線程數。核心思想不變階梯加壓、逐級遞增。6.3 使用命令行執(zhí)行壓測JMeter 官方建議在壓測時使用命令行模式而不是 GUI 模式因為 GUI 模式本身會占用系統(tǒng)資源影響壓測結果的準確性。按下面的命令執(zhí)行jmeter -n -t perf-test.jmx -l result.jtl -e -o report參數說明-n非 GUI 模式運行。-t指定測試計劃文件路徑。-l輸出原始結果文件JTL 格式。-e測試結束后生成 HTML 報告。-oHTML 報告輸出目錄目錄必須不存在或為空。執(zhí)行完成后打開report目錄下的index.html即可看到完整的圖表化報告包括 TPS、響應時間分布、錯誤率等信息。6.4 預期結果與數據解讀在我設計的 Demo 接口下預期你會看到以下現象低并發(fā)階段10、20平均響應時間接近 100ms 左右TPS 隨并發(fā)數近似線性增長。中等并發(fā)階段50、100響應時間可能小幅上升到 120ms 左右TPS 仍在增長但增速放緩。較高并發(fā)階段200、400響應時間明顯上升可能出現 300ms 甚至 500ms 以上的值。TPS 要么增長極其緩慢要么開始下降。為什么在這個 Demo 中并發(fā) 200 就出現明顯拐點因為 Spring Boot 默認內嵌 Tomcat 的max-threads默認值是 200。當并發(fā)請求數超過 200 時多余的請求會進入 Tomcat 的accept-queue排隊。這樣一來請求的“等待時間”開始大幅增加響應時間快速上升TPS 增速放緩甚至下降。這個實驗清晰地展示了一個道理系統(tǒng)的最大并發(fā)承載能力取決于系統(tǒng)內部最窄的資源的處理能力。對 Demo 服務來說最窄的資源就是 Tomcat 的最大工作線程數。每增加一個線程都在增加處理能力但一旦線程池滿了加并發(fā)只會讓隊列越來越長TPS 不再增長。6.5 通過一個最小 Python 腳本模擬并發(fā)與 TPS 的關系如果你希望在代碼層面更直觀地理解“并發(fā)數、響應時間、TPS”三者之間的換算可以用一個最小 Python 腳本模擬這個過程。# 文件路徑simulate_concurrency.py import time import threading import requests from concurrent.futures import ThreadPoolExecutor BASE_URL http://localhost:8080/demo?delayMillis100 def send_request(_): start time.time() try: requests.get(BASE_URL, timeout5) except Exception as e: print(f請求異常: {e}) return time.time() - start def run_test(concurrency, total_requests200): start time.time() with ThreadPoolExecutor(max_workersconcurrency) as executor: latencies list(executor.map(send_request, range(total_requests))) total_time time.time() - start avg_rt sum(latencies) / len(latencies) tps total_requests / total_time print(f并發(fā)數{concurrency}, 總請求數{total_requests}, 總耗時{total_time:.2f}s, f平均響應時間{avg_rt * 1000:.1f}ms, TPS{tps:.1f}) return tps, avg_rt if __name__ __main__: for concurrency in [10, 20, 50, 100, 200, 400]: run_test(concurrency)運行方式python simulate_concurrency.py需要注意這個腳本的并發(fā)模型是有限線程池它模擬的“并發(fā)數”是從客戶端視角發(fā)起的并發(fā)連接數和服務器端實際并發(fā)處理數是兩碼事。它只能幫你從宏觀上理解趨勢不能取代 JMeter 這類專業(yè)壓測工具。如果通過這個腳本觀察輸出的 TPS你會發(fā)現一個現象在低并發(fā)時TPS 粗略滿足TPS ≈ 并發(fā)數 / 平均響應時間在并發(fā)數超過系統(tǒng)處理能力后平均響應時間上漲TPS 不再同步上漲。7. 常見問題與排查思路并發(fā)數、TPS、響應時間“對不上”怎么辦在實際項目中你會發(fā)現壓測出來的數據和公式推導的對不上甚至同一套系統(tǒng)隔一天壓出來的數據都不一樣。下面整理了幾個高頻問題。問題現象可能原因排查方式解決方案并發(fā)數增加TPS 卻幾乎不變系統(tǒng)存在單點瓶頸如數據庫連接池、單線程處理邏輯、鎖競爭查看數據庫連接池使用率、CPU 使用率、線程阻塞情況加大連接池上限優(yōu)化鎖粒度拆分熱點資源并發(fā)數增加響應時間暴漲TPS 下降系統(tǒng)已經過載線程池滿請求在排隊查看 Tomcat 線程池活躍線程數、隊列長度降低并發(fā)壓力先找拐點優(yōu)化處理耗時引入限流保護TPS 很高但錯誤率同步上升斷言未配置完整失敗請求被計入成功或服務端大量返回錯誤查看 JTL 日志中的錯誤碼添加響應斷言核對壓測結果統(tǒng)計口徑在 JMeter 中增加斷言過濾錯誤響應后再統(tǒng)計 TPS壓測響應時間正常但線上響應時間很慢壓測數據不真實只打了緩存命中場景未覆蓋慢查詢線上數據量和并發(fā)模型更復雜檢查壓測數據是否與線上數據特征一致檢查慢查詢日志使用貼近生產的數據量增加混合場景同一套系統(tǒng)兩次壓測結果差異極大壓測機自身資源不足或 JVM 垃圾回收產生抖動監(jiān)控壓測機 CPU、內存使用率查看服務端 GC 日志壓測機單獨部署避免資源爭搶壓測前預熱系統(tǒng)偶爾出現個別請求響應時間極高網絡抖動、GC 停頓、線程池滿的瞬間排隊查看 TP99、TP999 而不是只關注平均響應時間分析 GC 日志和網絡監(jiān)控調整 JVM 參數JMeter 聚合報告中的 Throughput 和手算 TPS 不一致事務定義不一致JMeter 默認按請求統(tǒng)計未按事務統(tǒng)計檢查是否是“邏輯事務組”模式確認每個事務包含幾個 Sampler使用“事務控制器”包裹完整業(yè)務流程統(tǒng)一 TPS 統(tǒng)計口徑值得強調的一點是在排查性能問題時不要只盯著壓測工具的輸出。TPS、響應時間、并發(fā)數只是“現象”底層原因往往在系統(tǒng)資源層CPU 使用率、線程池活躍數、數據庫連接池活躍數、GC 頻率、網絡帶寬、磁盤 IO。任何一層的資源耗盡都會表現為“并發(fā)數上去了、TPS 上不去”。8. 性能測試設計與工程最佳實踐到這里你已經理解了并發(fā)數、響應時間、TPS 之間的底層關系。接下來需要把這套認知沉淀為工程實踐否則理論永遠是理論。8.1 從業(yè)務流量反推壓測負載很多人在設計壓測場景時憑感覺設置線程數。正確的做法應該是從業(yè)務流量反推。假設你的業(yè)務在高峰時段的日活用戶是 10 萬核心接口的 QPS 預估是 2000平均響應時間要求小于 500ms那壓測配置應該這樣推導根據 Little 定律需要并發(fā)數 QPS × 平均響應時間 2000 × 0.5 1000。但是 1000 是“業(yè)務請求并發(fā)”不是“JMeter 線程數”。因為 JMeter 一個線程可以連續(xù)發(fā)起多個請求實際線程數還需要考慮單線程的循環(huán)次數和思考時間Think Time。如果你的壓測腳本沒有設置思考時間1000 個并發(fā)線程會不間斷地發(fā)起請求這屬于“極端壓力”不是“真實壓力”。真實用戶的操作是有思考間隔的。所以壓測時通常分兩種模式不上思考時間探求系統(tǒng)最大處理能力找到性能拐點。加上思考時間模擬真實用戶行為評估線上容量。兩種模式的目標不同不能混為一談。8.2 階梯加壓是常規(guī)操作不要一上來就直接壓 1000 并發(fā)。更穩(wěn)的做法是先小并發(fā)例如 10跑一遍確認功能正確、無報錯然后按 1-2-5-10-20-50 的倍數關系遞增每個梯隊保持至少 30 秒記錄每個梯隊下 TPS、響應時間、錯誤率三個指標。這種做法的好處是你不僅能知道系統(tǒng)“掛了”還能找到“從哪個并發(fā)開始變慢”。這個拐點比“壓崩了”這個結果有價值得多。8.3 場景設計要覆蓋混合鏈路性能壓測不應該只壓一個“最慢接口”或“最快接口”。真實用戶的一個操作往往調用多個接口包含讀緩存、讀數據庫、寫數據庫、調用下游等不同行為。比較合理的場景設計是按照生產環(huán)境的流量占比設計不同接口的混合比例。舉例來說查詢訂單接口占比 60%創(chuàng)建訂單接口占比 20%取消訂單接口占比 10%支付回調接口占比 10%這種混合場景壓出來的結果才接近線上真實情況。8.4 正則提煉并發(fā)數設置與確認針對熱搜詞“jmeter 壓測怎么確認系統(tǒng)的并發(fā)數”這里給出一個可執(zhí)行的確認路徑第一步從業(yè)務方獲取核心接口的高峰 QPS 數據和平均響應時間要求。第二步用 Little 定律計算理論并發(fā)數并發(fā)數 QPS × 平均響應時間。第三步在 JMeter 中用該并發(fā)數初步執(zhí)行壓測觀察實際響應時間是否達標。第四步逐步增加并發(fā)數直到響應時間不再滿足要求此時記錄的并發(fā)數就是系統(tǒng)當前的“極限并發(fā)數”。第五步加上安全余量通常取極限并發(fā)數的 70% 左右作為生產環(huán)境的限流閾值或容量規(guī)劃基線。注意如果系統(tǒng)使用異步模型、消息隊列等架構這個推導過程還需要額外引入隊列積壓量的監(jiān)控指標而不是只盯響應時間。8.5 關注穩(wěn)定性測試與異常場景除了短時間壓測找拐點還需要做穩(wěn)定性壓測。常見做法是以 70% 到 80% 的極限并發(fā)數持續(xù)壓測 30 分鐘到 1 小時觀察是否存在內存泄漏、連接池泄漏、線程數持續(xù)增長、GC 時間不斷變長等問題。穩(wěn)定性壓測最容易暴露的問題包括內存泄漏導致 Full GC 頻繁響應時間周期性惡化。數據庫連接池泄漏連接被占滿。日志框架導致 IO 阻塞。定時任務與峰值流量疊加導致資源競爭。8.6 安全提醒別在生產環(huán)境亂壓壓測是會對系統(tǒng)產生高負載的行為任何時候都不要未經授權直接對生產環(huán)境發(fā)起壓力測試。正確的做法是先在測試環(huán)境驗證壓測腳本和預期結果。如果確實需要進行生產環(huán)境的容量驗證需要提前協調好運維、研發(fā)、DBA 等相關人員選定低峰期并在有監(jiān)控告警和回滾預案的情況下進行。生產壓測前必須確認限流降級策略已經就緒避免壓測導致雪崩。一句話壓測不是“大家都在測”就可以隨便做的事授權、備份、回滾、監(jiān)控缺一不可。9. 回到面試題怎么回答 TPS、并發(fā)數、響應時間的底層關系把前面的內容理清之后現在可以回答標題里那個問題了。如果在面試中我被問到“TPS、并發(fā)數、響應時間三者之間存在什么樣的底層關系”一個能讓面試官眼前一亮的回答思路是這三者之間的關系不能用一個孤立的公式來概括而應該用系統(tǒng)在不同負載階段的行為變化來描述。在系統(tǒng)還沒達到資源瓶頸時它們基本滿足 Little 定律并發(fā)數 TPS × 平均響應時間。也就是說TPS 和平均響應時間的乘積必須等于系統(tǒng)的在途并發(fā)數。這是排隊論中一個守恒關系。但一旦系統(tǒng)進入過載區(qū)這個公式就會“變形”。因為響應時間不再穩(wěn)定而是隨著并發(fā)數上升而快速惡化此時 TPS 會被響應時間拖住甚至下降。所以更準確的表述是并發(fā)數是輸入它影響響應時間和 TPS響應時間是被影響項它反映了系統(tǒng)壓力TPS 是輸出它體現系統(tǒng)的真實產能。核心的工程能力在于找到“系統(tǒng)從線性增長階段進入飽和階段的拐點”這個拐點才是容量評估的關鍵。接著主動給面試官講一個自己實際做過的壓測場景“我之前壓測過一個訂單查詢接口在并發(fā) 100 時 TPS 能到 1200響應時間 80ms并發(fā)拉到 300 后響應時間漲到 250msTPS 反而降到了 1100。后來定位到是數據庫連接池不夠用連接等待時間大量增加。調整連接池參數后同樣的并發(fā)下TPS 重新回到了 1800 左右。”這段回答的好處在于展現了你懂理論公式Little 定律。展現了你知道公式的邊界過載區(qū)會失效。展現了你做過真實測試能說出具體數字變化。展現了你有排查問題的能力定位到連接池。這個回答的邏輯鏈條比背誦“TPS 并發(fā)數 / 響應時間”要完整得多。10. 總結從“會壓”到“懂性能”回到最初的話題會做性能測試的人很多但能講清楚 TPS、并發(fā)數、響應時間底層關系的人才是真正能解決線上疑難雜癥的人。這篇文章從頭到尾其實就圍繞一條主線并發(fā)數是施加給系統(tǒng)的壓力響應時間是系統(tǒng)感受到的代價TPS 是系統(tǒng)交出的產能。三者的關系從理想狀態(tài)的 Little 定律出發(fā)在真實系統(tǒng)中會因為線程池、連接池、鎖競爭、GC、異步化等因素發(fā)生變形。理解這些變形找到系統(tǒng)的拐點才是性能測試的核心價值。如果你正在準備性能測試面試不要只背公式。你可以按照這篇文章第 6 節(jié)的思路自己搭一個 Demo 服務用 JMeter 跑一遍階梯加壓親手畫出 TPS 和響應時間隨并發(fā)數變化的曲線。當你親眼看到并發(fā) 50 時 TPS 穩(wěn)定增長、并發(fā) 200 時響應時間開始“起飛”、并發(fā) 400 時錯誤率飆升——你對三者的理解就不再是文字層面而是刻進直覺里的東西。下一步你可以繼續(xù)深入學習JMeter 的分布式壓測配置、全鏈路壓測方案、容器化環(huán)境下的性能測試、數據庫慢查詢分析與索引優(yōu)化、JVM 調優(yōu)與 GC 日志分析。這些都是性能測試進階路上繞不開的主題。如果這篇文章對你有幫助建議收藏備用。下次做壓測時把本文第 8 節(jié)的“并發(fā)數確認路徑”拿出來對著做一遍你會發(fā)現性能測試報告的質量會有明顯提升。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
人妻 性久久久久久| 久久98| 亚洲成人在线免费| 婷婷五月成年人| 午夜激情婷婷| 九九这里有精品视频| 激情久久久久久| 色五月婷婷婷婷婷婷婷婷婷婷| 九九www| 五月婷婷六月激情网| 六月婷欧美| 五月伊人网| 日本熟女三区| 久婷久婷| 日韩黄色中文字幕| 久久婷婷色情7777网站| 综合色天天| 婷婷五月综合在线视频| 91热在线| 九九视频精品视频精品| 99无码黄色视频| 五月丁香六月婷婷开心网| 人妻aV在线| 久久激情五月| 久久九九经典| 天天看片日日夜夜| 婷婷丁香五月在线播放| 91人人操人人| 啪啪日热| 夜夜操夜夜姧| 伊人激情AV一区二区三区| 亚洲精品一二三| 久久33视频| 日本久久视频| 五月天激情电影| 久久九九网| 一级黄在线| 五月婷五月婷伊人伊人五月婷| 色青青视频| 99爱视频在线| 粉嫩av蜜桃av蜜臀av| 国产午夜精品久久久观看| 噼里啪啦在线观看免费完整版视频 | 五月天婷婷影院| 久久久潮喷-久久久九九-成人AV| 色婷婷视频| 天天婷婷色六月| 日韩乱轮AV| 99在线观看视频免费| 亚洲免费99| 免费看成人AA片无码视频吃奶| 色婷婷综合综合网| 激情綜合W W W,激情五月天| 综合久久伊人| 婷婷伊人综合中文字幕| 日韩久久日| 色色啊| 91久久久久久| 996热| 亚洲乱码日产精品BD在线观看| 国产片天天爽夜夜爽| WWW久久久| 噜噜噜噜噜日本视频| 天天摸天天透天天舔| 婷婷五月综合中文字幕| 国产成人综合网| 婷婷玖玖丁香| 99精品国产在热久久| 久草久青福利| 91色干| 亚洲综合另类| 激情网 五月天| 久久久大香蕉| 深爱激情AV| WWW.婷婷| 五月亭亭开心网| 色五月天丁香婷婷| 亚洲丁香花五月丁香花| 婷婷五月天综合AV| 99热这里精| 婷婷伊人綜合| 九九九九操逼| 免费看欧美成人A片无码| 激情宗合哪里能看| 色人久夂| www激情网站| 夜夜干夜夜操| wwwC0maV五月花| 97在线/亚洲| 亚洲亚洲人成综合网络| 夜夜爱网站| 天天色天天爱天天爱天天爱y| 97五月天婷婷午夜| 久久东京热婷婷五月| 亚洲色久| 五月天激情图片| 成人精品在线| 色播播婷婷| 午夜精品久久久久久久爽| 色五月婷激情| 九九视频热| 啪啪激情网| 一级无码作爱片| 婷婷五月丁香亚洲| 六月丁香五月婷婷| 欧美激情综合色综合啪啪五月| 欧美日本黄色| 天堂在线伊久| 开心激情站| 亚洲99综合| 五月激情婷婷在线| 五月婷婷九九热| 99色热综合| 久操大| 成年人看Va免费视频| 婷婷亚洲天堂| 久久综合色五月| AV色婷婷| 婷婷五月天视| 一本伊人色婷| 色99网站| 久操婷婷| 久热婷婷在线视频| 婷香狠狠爱五月| 激情图片婷婷丁香五月| 天天色天天搡| www.成人婷婷综合| 激情综合色婷婷啪啪六月天| 亚洲热久久| 久久久久久久久人妻| 婷婷五月天久久久| 婷婷五月天AV| 丁香五月婷婷总啪啪| 综合九九中文字幕| 凹凸探花电影| 三年高清大片免费观看国语| 天天色天天舔天天爱天天爽| 巴基斯坦粉嫩无码视频| 99热这里全是精品| 99色综合| 91热在线观看视频| 超碰人人超碰| 成人网丁香五月| 久久综合婷婷五月| 美女视频图片久久91| 久热只有这里有精品| 亚洲国产精品成人免费一区久久久在线观看AAAA | 在线伦子99热| 狠狠狠狠狠狠狠狠草| 五月婷婷AV| 色色色色色色色五月| 亚洲九九九九| 五月丁香大相交| 日日夜夜天天综合| 26UUU欧美激情一区二区| 五月婷婷六月丁香激情| W色综合| 丁香五月天导航| 色爱五月天| www九九免费视频| 亚洲午夜精品久久久久久人妖| 新激情五月天色播| 色色网站日本91| AⅤ色区| 九九这里都是精品| 99热大| 天天综合网、天天综合色| 天天射夜夜骑| 99热9999| 五月婷婷狠狠干| 97超碰在线观看免费| 五月丁香亚洲五月| 国产成人精品一区二三区熟女在线| 亚洲小视频免费播放| 日韩成人AV在线| 天天揷综合网| 天天做天天爱天天高潮| 欧美操我| 中文字幕无码人妻少妇免费视频| 2025色婷婷| 亚洲韩国日产综合AV| 五月婷婷六月色| 国产婷婷综合| 色狠狠色噜噜AV天堂五区| 天天爽日日搞| 东北熟女高潮99综合99| 激情五月丁香五月综合| 婷婷五月天成人影片| 日本在线观看91| 色色亚洲| 91综合在线视频| 99爱精品| 午夜 外网 精品 在线| 草综合14| www.狠狠操.con| 丁香9月婷婷| 五月天色丁香| www。五月天。com| 色狠狠五月天| 亚洲婷婷综合视频| 久久久久人妻| 久久性刺激| 99激情在线| 国产又爽又猛又粗的视频A片| 开心五月深爱婷婷| 思思久ren热| 国产免费一区二区三州老师F1……| 久久综合影院 | 五月色色激情网| 天天五月香欧美| 丁香五月激情啪啪综合| a久久| 99re视频精品| 草操网| 婷婷五月天丁香花| 亚州操操| 狠狠色丁香| 在线成人va| 欧美精品中文字幕亚洲专区| AV电影在线播放| 久99视频| 九热免费视频| 五月婷婷综合影院| 久久草中文日韩欧美| 五月丁香| 婷婷精品| 欧美成人精品A片免费一区99| 影音先锋偷偷色男人站| 玖玖婷婷五月天| 久久人妻伦理| 成人开心五月天| 极品九九九九九九| 婷婷色吧| 久久亚洲网| 婷五月丁香| 日日射天天射| 色婷婷色五月综合| 五月丁香六月色| 色五XX| www.夜夜操.com| 99热这里只有免费精品| 五月 成人 婷婷| 99热只有| 色婷婷丁香女女| 4399在线观看免费高清毛片| 色原狠狠综合| 五月丁香久人妻中文| 狠狠狠婷婷五月综合| 天天日天天操天天干| 久久婷婷五月草视频| 婷婷五月综合视频| 色五月婷婷丁香五月| 综合五月丁香六月婷婷| 狠狠操综合| 日韩精品无码AV| 99在线视频播放| 热久久国产视频| 青青草搞屄视频网站| 五月婷婷欧美激情| 天天日天天爽| 日韩成人电影在线播放| 亚洲aV写真天天综合网久久| 日本欧美成人片AAAA| 日日噜噜久久婷婷五月天| 都市激情蜜桃婷婷五月天| 亚洲视频在线观看99| 五月婷婷在线免费| 黄网在线免费观| 国产av基地| 六月丁香五月激情婷婷| 亚洲国产精品VA在线看黑人| 天天色月| 中文字幕按摩做爰| 婷婷五月综合在线| 亚洲无码色色| 九9九9无码| 久久久久久丁香五月| 来吧亚洲综合网| 1囯产午夜仑鲁鲁| 亚洲第一色色色| 婷婷五月天久久| 99色热综合| 97色色色| 激情伊人五月天| 玖玖精品婷婷| 五月丁香大相交| 亚洲亚洲人成综合网络| 五月天婷婷色小说| 少妇性按摩无码中文A片| 婷婷五月激情的图片| 婷婷激情啪啪| 欧美色碰| 婷婷五月激情小说| 激情网第九色| 国产成人网址| 婷婷六月综合激情| 五月天婷婷爱| 99热在线观看精品| 色丁香综合影院| 少妇高潮呻吟A片免费看软件| 久久久大香蕉| 婷婷中文字幕| 色香欲综合| 亚洲精品白浆高清久久久久久| 亚洲精品操一操、噜一噜、摸一摸、爽 | 79精品视频在线观看,| 天天久久狠狠色综合| 五月激情婷婷在线| 九九99在线观看视频| 这里只有精品视频在线| 思思 热 99| 99视频九九热| 日本nghangse中文字幕| 婷婷久久五月| 天天干天天色天天干| 色综合网页| 五月天婷婷视频| 26uuu精品一区二区| 9l视频自拍9l九色成人| 日日夜夜久| 久久香蕉影院| 色玖玖综合| 国产精品国产成人国产三级| 五月色色激情网| 六月色播| 欧美综合激情五月丁香| 色五月,com| 久99| 九九亚洲视频| www.久久66| 色色网站免费在线视频| www.99久| 色色色丁香| 99ri国产| 青草激情综合| 亚洲AV综合在线观看| 丁香六月激情综合啪啪| 91操熟女| 婷婷五月天基地| 久久色五月| 日日夜夜天天| 熟女人妻一区二区三区免费看| 婷婷色网站| 五月天婷婷综合免费| 久久婷婷五月综合色丁香| 婷婷的五月天另类视频| 丁香五月激情婷婷视频| 久久桃花网色婷婷| 伊人网色婷婷五月天| 六月丁香婷婷五月天| 97很鲁在线视频| 日本综合久久| 青青草国产亚洲精品久久| 欧美色五月| 五月婷婷六月丁香| 日韩AV免费| 婷婷五月丁香超碰| 五月六月丁香激情视频| 天天日日夜夜爽。| 婷婷97| www.色婷婷.com| 婷婷五月激情欧美大胆视频| 亚洲免费电影2| 九九色大香蕉| 亚洲一区先锋影音| 欧美性爱一区| 五月色网| 9精品视频在线观看| 超碰av在线| 天天肏屄夜夜爽| 色播婷婷五月天| 五月婷婷成人| 国产精品久久久爽爽爽麻豆色哟哟| 免费视频在线观看的网站| www.com五月天| www.亭亭五月天| 六月激情婷婷色| 五月综合婷婷开心网| 婷婷五月天日逼| 99性爱视频网站| 国产三级秋霞| 视色综合| 久久9RE热视频精品98| 婷婷导航| 五月亭亭直播| 激情综合五月| 亚洲AV日韩AV永久无码网站| 狠狠操狠狠色| 97久久草草超级碰碰碰| 五月香六月婷| 九九久久99精品免费观看www| www.夜夜操| 五月丁香激情综合啪啪| 婷婷色丁香五月| 狠狠狠色激情综合适合| 色色热| 六月激情网| 丁香六月婷月91婷月| 激情五月婷婷在线观看| 青青草视频免费观看| 国产 亚洲 在线| 思思久久青草热| 色婷五月天| 婷婷色基地在线看| 欧美激情-区二区三区| 97碰碰视频在线观看免费| 影音先锋美国A| 9操在线| 99这里只有精品视频| 老妇六区| 这里只有精品在线视频精品| 久婷| 五月天丁香婷| 性综合网| 涩涩婷婷五月| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 婷婷五月天成人基地| 五月丁香操亭亭网| 国产免费性爱| 69激情小说| 夜夜干夜夜操| 久久五月天激情美女| 婷婷五月天av| 91AV视频| 天天做天天爱天天爽综合网| 色婷狠狠| 综合久久五月天| 婷婷五月丁香成人网| 天天撸夜夜爽| 99国产精品久久久久久久久久久| 综合久色五月| 天天插天天干| 五月丁香啪啪啪啪| 色色色无码| 91久久综合亚洲鲁鲁五月天| 99热欧美| 九九综合视频在线观看| 99热免| 男人天堂99| 成人网在线视频| 丁香五月AV| www.色婷婷.com| 亚洲色图啪啪| 五月天六月婷婷| 亚洲无码九九九| 丁香色五月天| 婷婷九九视频| 五月丁香啪啪啪综合网| 一起草无码视频| 九热...av| 久久多色| 久久精品99| 狠狠色大香蕉| 日日色综合| 五月激情婷婷图片基地| 激情五月丁香五月色| 五月综合婷婷久久在线| www.9色色色| 色婷婷www| 婷婷九色| 五月丁香影视| 激情综合激情五月| 任你搞在线观看视频| 99精品色| 2017狠狠干| 婷婷五月情| 综合色影院| www色五月| 色色五月婷婷| 97高清国语自产拍| 99热精品在这里| 丁香婷婷性爱| 中文字幕,综合,91| 色播五月婷婷| 丁香亭亭激情四射| 这里只有精品视频免费在线观看| 99热欧美| 国产精品涩涩涩视频网站| 欧美色欲色欲天天天www| 久久九九婷婷| 伊人91| 丁香九月婷婷色| 9有码中文| 99热婷婷| 人妻久久久久久| 天天爱天天日| 五月亭久久无码视频| 亚欧州精品视频| 99久久婷婷国产综合| 婷婷五月天av| 天天天操天天天日| 久久99激情| 丁香六月天婷婷色| www.操.com| 日本色色色| 久热大香蕉| 久久九九Com| 中文字幕不卡+婷婷五月| 综合久久五月| 综合色五月| av在线婷婷| 黄色AV日韩| 淫荡综合网| 亚洲欧美国产A片免费观看| 日韩aaa| 五月丁香六月合| 欧美婷婷丁香五月社区| 丁香五月婷婷欧美成人色图| 成人做爰A片免费看网站找不到了| 婷婷开心六月| 婷婷五月天激情网址| 欧美婷婷九月| 中文字幕有多少字| 色五月天丁香婷婷| site:picc-up.com| 亚州色婷婷| 69热91天堂| 色婷婷丁香| 热99国产精品| 91干视频| 亚洲成人网站在线| 91妻人人爽人人看片| 五月婷婷色色| 99无码视频| 婷婷和五月天| 99热精品观看| 涩五月丝袜婷婷| 免费超碰在线观看| ww久久| 天天爽,夜夜爽| 久久亚洲色导航| 秋霞成人毛片一级A片| 日韩成人影片在线观看| 岛国在线观看91| AV九九| 久久色婷婷| 天天插,天天射| 五月婷婷色吧!| 久月丁香爱婷婷综合| 丁香九月激情| 亚洲网视屏| 日韩另类在线观看| 日本视频99| 五月色激情综合网| 99啪在线视频| 色情五月天导航| 色色色色色日韩午夜激情| 2050人人操免费工开爱| 九九五月天| 可以免费观看的AV| 五月丁香啪啪伦理电影| 五月天婷婷伊人| 色色精品色| 99久热在线精品| 亚洲激情五月| 激情久久丁香| 99热 在线播放| 天堂va久久久噜噜噜久久Va| 刘玥精品一区| 欧美婷婷色| 婷婷97狠狠成人网站| 九九AV在线| 亚洲性爱电影| 久久9视频| 色色色成人网| 五月天综合在线| 婷婷五月天综合网| 99热这里有精品| 丁香五月电影| 亚洲 在线 另类| 大香蕉福利导航| 丁香五月天91| 大香蕉75线| 97伊人综合婷婷| 92久操视频| 91猫咪国产在线播放| ...婷婷五月综合不卡,国产在线手机 | 人人草成人视频| 无码九九| 丁香婷婷人妻综合网| 色六月天| 色婷婷六月| 呦呦v线| 国产精品久久久60086| 丁香六月婷婷高清| 久久久久综合激动五月天| 色情五月天首页| WWW,五月| 99视频久久| 色婷五月| 国产女人十八水真多1| 免费人人操| 色久女| 日日干综合| 日韩99精品| 99热资源在线| 粉嫩AV久久一区二区三区| 超碰色碰碰| 久操干| 五月激情丁香六月狠狠干| 婷婷在线免费| 五月婷婷99热| 玖玖在线视频| 99婷婷综合| 99在线免费视频| 另类综合激情| AV色婷婷| 91|疯狂丨高潮丨对白| 国产首页在线| 日本99视频| 五月天激情美女久久| 激情五月天啪啪| 日日天天干| 五月停视频天堂| 97视频久久| 天天色天天爱天天爽| 秋霞AV淫| 亚洲精级| 2025最新亚洲激情在线| 这里只有精品视频免费在线观看| 六月丁香啪啪| a片在线免费观看一区| 日韩999| 日日夜夜小色哥| 另类图片婷婷五月天| 婷婷五月天影院| 亚州成人综合在线| 偷拍91九色| 五月婷婷无码专区| 人妻啪啪啪| 97操资源婷婷| 开心婷婷五月激情网小说 | 九九热在线观看视频| 丁香五月婷婷基地| 伊人久久大香网| 俺去也五月天婷婷| 久久九九国产精品怡红院| 国内久久亭亭| 婷婷五月深爱五月| www.色五月| 丁香婷婷啪啪| 色婷婷色五月综合| 久操操| 久久婷婷五月天懂色| 五月色天五月色| 国产午夜精品一区二区| 久久五月丁香综合| 丁香五月成人在线| 国自产拍偷拍精品啪啪一区二区| 五月天婷婷操逼视频| 五月婷婷丁香六月在线| 久久人妻熟女一区二区| 91精品久久久久久| 五月久久婷婷天堂视频| 岛国在线观看91| 天天日天天做天天舔| 五月婷婷六月丁香玖玖玫瑰91| 五月婷婷新网站| 丁香六月婷婷社区| 婷婷五月色| 桃色五月天| 五月天另类图片| 亚洲区1| 91九九九色在| 欧美精品A片一区在线观看| 39视频第二区| 五月丁香在线观看国产| 日日.c| 先锋男人99资源| 91热视频色网站| 久久丁香社| 激情综合5| 久久综合干| 国产丁香五月天婷婷| 一区二区三区四区无码| 天天肏高清在线| 蜜桃人妻无码AV天堂三区| 玖玖@三月天天丁香婷婷| 激情五月婷婷啪啪| 三级毛片视频| 久久激情视频99| 久久久com| 玖玖婷婷色五月| 91九色中文| 五月久久网| 五月婷婷激情网| 天堂网啪啪| 色综合区| 久热这里这里有精品| 色5月婷婷| 婷婷五月四狠狠| 丁香六月婷婷综合| 六月婷婷色宗合| 激情性爱五月天网页| 日韩色色视频www| 日韩AV在线免费| 深爱激情综合| 亚洲中文av| 99亚洲天堂| 777精品成人a v久久| 性一交一乱一交A片久| 久久五月天婷婷视频| 欧美性猛交AAAA片黑人 | 五月天激情日色在线| 九九久久玖玖爱| 99精品热| 激情五月丁香婷婷夜夜操| 丁香五月人妻| 色五月婷婷久久大| 琪琪色影音先锋| 久久小片| 九九综合| 熟惀91九色在线| 五月成人网站| 97操操| 五月婷婷无码| 996日日爱| 99热在线看片| 超碰人人色| 丁香五月婷婷色| 六月撸婷婷| 影视av久久久噜噜噜噜噜三级| 日本操片| 99re6在线视频精品免费| 亚洲成人无码片| 99九九久久| 激情深愛五月視頻| www.91热久久| 色婷婷精品视频| 久久99综合网| 国产精品99久久久久久久女警| dingxiangtingtingliuyue| 久久久久久久8| 九九视频在线观看视频6 | 六月丁香久久| 99丁香五月婷| 97热久久五月婷婷| 少妇性BBB搡BBB爽爽爽视頻| 五月婷婷 激情五月| 色婷婷a v| 丰满少妇猛烈A片免费看观看| 色婷五月天综合网| 日日噜狠狠色综| 99玖玖视频| 色五月婷婷在线| 91久久婷婷| 狠狠狠五月婷婷六月丁香| 亚洲激情av| 91oumei| 色五月丁香伊人| Av中文在线| 成人精品亚洲性爱| 丁香久久综合| 五月天婷婷丁香| 国产裸舞福利资源在线视频| 大香蕉综合在线| 91无码高清| 五月婷婷欲色| 综合网啪| 久久五月婷天天干| 香蕉婷婷| 人人色性网| 亚洲AV第二区国产精品| 农村熟妇高潮精品A片| 日本一级一片免费视频| 狠狠干在线视频| 五月丁香六月婷婷啪啪| 99热这里都是精品| 九九一综合精品| 另类视频五月天| 婷色五月天| 日韩啪啪网| 五月婷婷色色网址| 色射婷婷五月天| 99热只有精品在线播放| 五月丁香黄色| 四色五月视频| aaaa久久| 五月婷婷影院| 丁香色婷婷| 激情五月天网页| VA婷婷| 日韩精品一品二区三区的使用体验| 国产成人精品123区免费视频 | 五月天婷婷乱论小说| 六月婷婷色宗合| 这里只精品| 亚洲精品乱码久久久久久按摩观| 91久久九久久九久久九久久九久久| 亚洲欧美在线观看| 狠狠干综合| 1区2区视频| 啪啪小说五月天| www.五月丁香av| 激情都市五月天| 99热首页在线30| 99 这里只有精品| 亚洲视频a| 丁香五月婷婷六月婷婷| 1024手机在线观看看片_日韩精品| 久热精彩视频98| 精品亚洲国产成AV人片传媒| 婷婷五月丁香六月| 天天干天天拍| 色婷婷电影网| 啪啪91| 色99在线视频| 色五月天在线观看| 日本色婷婷| 白人荫道BBWBBB大荫道| 五月天综合在线| 综合色色网| 久久久天堂国产精品女人| 成人短视频在线| 啪啪一区| 亚洲精品色| 久久97久久99久久综合欧美| 超碰在线免费观看3 9| 9久热在线视频| 丁香五月停停av| 狠狠婷婷日韩| 9久9久9久女女女九九九一九| 在线看片h站| 综合网色| 五月丁香久久久| 香蕉久久国产AV一区二区 | 色噜噜狠狠色综合日日| 97精品在线| 天堂久久性| 九色视频91疯狂| 日本99热| 激情纯色婷婷五月天在线不卡视频| 99精品爱| 日本婷色| 日本三级韩三级99久久| 日本色婷婷| 久久这里只有精品99| 亚洲啪啪网| 国产精品爽爽久久久久久| 五月天另类视频| 久热人妻| 五月天婷婷视频| 五月天色丁香| 欧美大肥婆大肥BBBBB| 亚洲AV日韩在线观看| 婷婷六月偷拍| 99热九九九九| 色99在线观看| 激情五月综合色婷婷| 成人欧美Va| 99热在线播放| 久久五月婷| WwW色婷婷| 9月色婷婷| 五月婷婷 婷婷五月 一区二区 久久久| 日操夜操天天操不卡| 国产在线自| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 99操网站| 99这里只有精品国产| 五月激情在线| 欧美VA在线观看| 97干在线看| 婷婷热色| 五月天婷婷乱论小说| 婷婷五月激情小说| 夜夜爱影院| 深夜男女福利刺激影院一区完整| 一本久久亚洲五月婷婷| 激情五月婷婷五月| 人人摸人人| 国产真实乱了老女人视频| 182TV亚洲| 五月婷婷自拍| www.久久爱.com| 五月丁香六月日逼| 热久国产| 色www久视频| 久久五月婷婷丁香| 九九视频热| 99热这里精品| 99热99天堂| 91婷婷五月天综合视频| 婷婷五月开心中文字幕在线| 天天综合亚洲| www.色婷婷.com| 亚洲无码yw| 五月丁香AV在线| 99精品在线| 亚洲 视频 导航 一区| 色综合综合网| 97精品综合久久| 中文字幕视频在线播放| 天天操天天曰| 国产真实乱对白精彩| www.婷婷,com| 深爱激情网五月天| 午夜69成人做爰视频| 中美日韩成人在线| 色九九九九| 大香蕉太香蕉视频97| 五月丁香在线国产 | 九九热10| 天天久| 狠狠色噜噜狠| 99热九九这里只有精品10| 啪啪激情网| 99ri视频在线播放| 噜噜五月天综合| 亚洲xx在线| 色五月婷婷开心| 青草青草视频2免费观看| 亚洲天堂久久| 狠狠色噜噜狠狠狠狠综合| 色色图五月天| www,五月丁,com| 国产日韩欧美| 久久亚洲精品成人无码网站导航| 99操视频| 色六月天天激情综合网| 色999亚洲人成色| 婷婷狠狠香蕉综合| 六月合五月婷| 玖玖婷婷色欲| 婷婷综合伊人丁香| 欧美性生交A片免费看| 99re熱| 日本色五月| 精品久色| 国产精品美女久久久久AV超清| 婷婷激情五月吧| 在线只有精品| Av狠狠色丁香婷| 丁香五月天啪啪| 久久婷婷丁香五月一二三| 婷婷婷婷色| 99er这里只有精品| 色情五月婷婷| 激情精品久久| 碰97 久| 日日操,天天操| www.第四色99| 天天爽天天操| 91九色 婷婷| 91热99| 色噜噜综合网| 日本狠狠干| 久久久久久久久久久97| 99在线视频资源| 9精品视频在线| 婷婷六月啪啪| 天天爽爽日日做做| 五月天国产| 色青青五月| 91制片厂久久久国产电影| 天天操电影院色狼性av| 超碰伊人碰婷婷五月| 狠狠干综合网| 五月综合久久| 天天日天天舔| 激情网婷婷婷| 婷婷丁香综合| 五月婷在线观看| 97操操| 蜜臀AV在线观看| 欧美成人精品一区二区| 五月丁香毛片| 久久综合激情| 色婷婷在线视频综合| 激情五月天情色| 97香蕉碰碰人妻国产欧美| sS丁香五月婷婷| 久99久视频精品| 停停五月色宗合| 色综合99| 天天日中文| 大香蕉伊人99| 婷婷五月丁香综合亚洲| 综合热无码| 久久国产高清| 另类在线| 久久九精品| 国产黄色一级片| 综合另类视频| 性 色 婷婷| 色婷婷啪啪| 激情欧美五月丁香| 天天舔天天摸视频| 综合亚洲六月婷婷在线| 99碰碰。| 五月天色色网站| 天天干天天叉| 婷婷天堂综合| 丁香六月丁香婷婷激情| 婷婷中文字幕网| 综合xx网| 丁香五月天激情四射网| 九九伊人网| 操操操Av| 天天干狠狠操| 色婷婷综合久久久久| 亚洲午夜成人av电影网| 亚洲天堂啪啪| 天天爽天天摸| 九九av| 在线日韩av| 天天爽天天| 无码色| 免费试看小视频 99| AV在线大香蕉| 九九九九热99超碰| 性色婷婷| 日本五月天一页| 婷婷综合激情五月中文字幕| 91性人人| 99热网精品| 婷婷丁香五月综合| 26uuu成人网| 欧美另类五月激情| 狠狠做五月| 九九九九九九综合| 婷婷情色开心五月天99| www.夜夜| 精品99视频| 99re在线这里只有精品视频首页| 99热最新地址在线| 99热销国产这里有精品| 夜色.cnm| 少妇性BBB搡BBB爽爽爽电影| 色情五月综合婷婷| 色婷婷五月天久久| 色色亚卅| 中文字幕日韩无码制服诱或| 狠色综合网| 免费AV在线| 五月丁香激情啪啪网| 久久综合99| 99亚洲视频| 激情综合婷婷| 丁香五月婷婷五月| 欧美xx激情视频在线观看| 激情五月天婷婷图| 碰碰人人漕| 婷婷久久图片| 日韩人人操| 久久婷婷超碰| 五婷婷综合网| 亚洲亚洲人成综合网络| 国产亚洲精品AAAAAAA片| 99热亚洲| 色五月婷婷九月| 日本婷婷色日| 91丨九色丨东北熟女| 久久与婷婷| 五月婷婷六月综合| 婷婷五月精品中文| 九九久久精品國產| 日本二级毛片二级毛片| 精品一二三区久久AAA片| 国产毛片欧美毛片久久久| 五月婷婷综合在线| 九九视频这里只有精品| 欧美日综合| 丁香午夜天| 夜夜骑夜夜撸| 日韩无码色色| 精品久久99码| 人人操av| 亚洲国产无线乱码在线观看| 激情丁香五月婷婷| 狠狠草在线观看| 国产精品大香蕉| 天天做天天爱天天高潮| 中文字幕日产A片在线看| 大陆极品少妇内射AAAAAA| 亚洲精品又粗又大又爽A片 | 99精品网址| Y11111111111少妇电影院| 五月丁香久久激情综合| 99久高清视频| 五月间天堂综合| 人妻久久婷婷| 另类激情五月天。| 丁香婷婷人妻| 五月丁香在线婷婷蜜桃| 深爱五月婷| 亚洲综合色色色| 91婷婷色 | 天天干天天干天天干天天干天| 日本狠狠色| 午夜一区| www.超碰97| 99视频极品在线香蕉| 婷婷丁香五月天熟女丝袜| 中文AV在线观看| 九九综合色| xxxx五月| 日本噜噜色网| 丁香成人五月天| 久久精品夜色噜噜亚洲a∨| 碰碰91| 五月天激情小说| 久久您您综合网| 色欲久久久久久综合网综合网| 婷婷五月六月| 99精品久久久久| 亚洲激情 久久| 日韩婷婷五月天| 亚洲色五月天| 五月天激情小说| 国产乱子轮XXX农村| 丁香激情综合| 韩国97天堂| 97人妻碰碰碰久久香蕉| 九九国产精视频| 婷婷射图五月天| 六月丁香婷婷综合在线| 在线只有精品| 日日日日日| 天天色五月婷婷91久久久久久久| 激情久久肏屄视频| 思思网站| 天天做天天爱天天爽| 色色色热| 国产视频色色色色色色色 | 丁香五月婷婷天激情| 色播五月网| 99精品免费视频| 久9热在线免费观看| 六月婷婷九月丁香| 琪琪秋霞| 日日噜噜夜夜狠狠久久丁香六月| 激情综合网五月天| 久久久久五月丁香| 草草视频91| 综合六月激情婷婷| 在线观看的av| 天堂成人A片永久免费网站| 婷婷基地成人五月天| 丁香婷婷久久 | 97久久视频| 久久99久久99久久99| 9热精品| 伊人六月丁香婷婷| 色五月天堂| 超碰在线日夜| 99综合视频| 骚。com| 久久九九网| 五月婷婷丁香综合,亚洲天堂| 99视频内射三四| 色婷五月天综合网| 国产成人网站在线观看| 九九热免费视频| 婷婷六月综合激情| 日本久久精品| 九九色逼| 亚洲精品久久久久久久久久吃药| 久久免费操| 91九色|疯狂|高潮|对白|| 99视频在线观看网址| 婷婷五月,偷窥偷拍网| 成人丁香| 久久亚洲无码| 九九aV| 午夜成人网站在线观看| 狠狠干在线| 99热最新精品| 五月天色影院| 九九热10| 伊人狠狠色婷婷综合丁香一区| 99人人看| 欧美色六月婷婷| 五月丁香婷婷六月| 欧美丰满熟妇BBB久久久| 婷婷五月香蕉| 天天爽,夜夜爽| 人妻第九页| 成人视频九九| 超碰人人操在线| 欧美超碰亚洲| 婷婷久久久| 婷婷五月天首页| 五月天开心网| 色综合天天综合成人网| 丁香香蕉射射射| 色综合综合综合| 亚洲五月天色色| 婷婷久久午夜网| 色播五月天天| 99免费热视频在线| 超碰97在线操| 五月天激情美女久久| 欧美大奶熟女噜噜噜噜| 色五月激情| 99超级碰碰| 99热这里只有精品中文字幕| 久久九九热re6这里有精品| 狠狠肏综合网| 天天干天天干天天操| 天天综合情| 国产免费一区二区在线A片视频| 在线99精品| 99亚州综合精品成人网| 久久久久久久五月| 怡红院视频| 亚洲av电影在线| 丁香五月综合亚洲| 婷婷中文综合网| 五月婷婷综合色啪| 少妇AB又爽又紧无码网站 | www.99热这里只有精品| 综合 蜜月 婷婷| 婷婷色五月色| 成人在线日韩| 丁香五月第九色| 少妇AB又爽又紧无码网站| 日本熟女三区| 亚州美女| 日本熟女一区二区| 亚洲精品第一国产综合亚AV| 五月天堂在线| 丁香婷婷影院| 五月婷婷婷丁香播| 伊人色五月| 五月天大香蕉| 亭亭玉立国色天香| 久久精品99国产精品日本| 插插插色综合网| 天天肏视奸| 99爱在线免费视频| 丁香五月婷婷色偷偷| 香焦网五月天| 久久精品爱爱| 国产成人精品一区二区三区视频| 久er7久热| 久久人妻熟女一区二区| 九九久热| 高清国产一级婬片a免费| 久久久激情视频| 久久久人妻久久久| 五月日韩中文字幕| 色色色.COM| 黄网免费看| 婷婷五月天AV| 欧美狠狠地| A级毛片高清免费不卡播放谢谢谢谢| 欧美日朝成人| 日本狠狠爽| 国产真实乱了老女人视频| 婷婷五月天激情基地| 欧美日韩成人在线观看| 婷婷五月综合在线| 六月丁香射婷婷欧美色图片| 激情婷婷五月综合| 97干视频| 思思热精品免费视频| 久久久久久久久久久-久五月天婷婷| 99热这里只有精品16| 天天久久人人| 婷婷五月天亚洲综合网| 亚洲超碰在线| 五月丁香直播| 国产性爱一级| 亚洲日本韩国| 淫视馆AV在线|