欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

IIS上SignalR連接數(shù)過(guò)載導(dǎo)致API阻塞?排查與解決方案

IIS上SignalR連接數(shù)過(guò)載導(dǎo)致API阻塞?排查與解決方案 這個(gè)標(biāo)題里的現(xiàn)象我印象太深了。之前幫朋友排查一個(gè)部署在 Windows Server 上的 .NET Core 項(xiàng)目項(xiàng)目里掛了 SignalR 做實(shí)時(shí)通知結(jié)果只要在線客戶端數(shù)量到 10 個(gè)左右Web API 的請(qǐng)求就全部卡住轉(zhuǎn)圈轉(zhuǎn)到超時(shí)。一開始我還以為是代碼里有死鎖后來(lái)才發(fā)現(xiàn)問(wèn)題出在 IIS、SignalR 和 ASP.NET Core 并發(fā)模型這三者的配合上。如果你也遇到類似情況建議先別急著改業(yè)務(wù)代碼這篇文章我會(huì)把整個(gè)排查過(guò)程和解決方案拆開講清楚為什么 10 個(gè)連接會(huì)成為臨界點(diǎn)、怎么確認(rèn)當(dāng)前 SignalR 到底走的什么傳輸模式、IIS 上需要做什么配置以及代碼里哪些隱藏坑會(huì)直接放大這個(gè)問(wèn)題。1. 故障現(xiàn)象與問(wèn)題定位1.1 現(xiàn)象描述在線連接數(shù)一到 10 個(gè)左右API 全部轉(zhuǎn)圈先還原一下現(xiàn)場(chǎng)。項(xiàng)目是標(biāo)準(zhǔn)的前后端分離架構(gòu)后端是 ASP.NET Core Web API部署在 Windows Server 的 IIS 上前端通過(guò) SignalR 客戶端接收服務(wù)端推送的消息。項(xiàng)目剛發(fā)布時(shí)一切正常但運(yùn)行一段時(shí)間后只要 SignalR 的在線連接數(shù)達(dá)到 10 個(gè)左右再發(fā)起任何一個(gè) Web API 請(qǐng)求瀏覽器端就會(huì)一直處于 pending 狀態(tài)直到 IIS 返回 504 或 503。這個(gè)現(xiàn)象有幾個(gè)非常明顯的特征SignalR 連接本身沒(méi)有立刻斷開客戶端顯示已連接。新的 HTTP 請(qǐng)求進(jìn)不來(lái)但已經(jīng)建立的連接還能維持一段時(shí)間。重啟 IIS 應(yīng)用程序池之后系統(tǒng)短暫恢復(fù)但連接數(shù)再次上來(lái)后又開始卡。卡住的時(shí)間不固定有時(shí)幾十秒有時(shí)直接超時(shí)。這種“連接數(shù)一到某個(gè)量級(jí)就整體阻塞”的現(xiàn)象很容易讓人誤判成數(shù)據(jù)庫(kù)連接池耗盡或者某個(gè) Redis 連接問(wèn)題。但仔細(xì)觀察會(huì)發(fā)現(xiàn)即使是不查數(shù)據(jù)庫(kù)的靜態(tài)接口也卡住說(shuō)明問(wèn)題出在更底層的 HTTP 請(qǐng)求處理鏈路上而不是某個(gè)具體業(yè)務(wù)模塊。1.2 最先想到的檢查項(xiàng)排除死鎖和接口慢查詢遇到這種問(wèn)題我第一反應(yīng)是排查代碼里有沒(méi)有同步阻塞比如在 async 方法里用了 .Result 或者 .Wait()。因?yàn)?SignalR 的 Hub 方法和 Web API 是跑在同一個(gè)進(jìn)程里的如果某個(gè) Hub 方法里有同步阻塞調(diào)用線程池線程會(huì)被快速耗盡新請(qǐng)求自然進(jìn)不來(lái)。我先做了三件事用日志記錄每個(gè)請(qǐng)求的進(jìn)入時(shí)間和離開時(shí)間看是根本沒(méi)進(jìn)來(lái)還是進(jìn)來(lái)了但處理很慢。把數(shù)據(jù)庫(kù)、Redis 等外部依賴全部暫時(shí)屏蔽測(cè)一個(gè)純內(nèi)存返回的接口看是否還會(huì)卡。檢查所有 Service 注冊(cè)的生命周期確認(rèn)沒(méi)有把 DbContext 這種 Scoped 服務(wù)錯(cuò)誤注冊(cè)成 Singleton導(dǎo)致并發(fā)競(jìng)爭(zhēng)。結(jié)果出乎意料純內(nèi)存接口在連接數(shù)上來(lái)之后照樣卡。也就是說(shuō)問(wèn)題不在這幾個(gè)常見(jiàn)坑里而是 IIS 和 SignalR 之間的請(qǐng)求處理方式出了問(wèn)題。1.3 明確的排查方向SignalR 的傳輸模式當(dāng)排除了業(yè)務(wù)代碼后我把目光放到了 SignalR 的傳輸機(jī)制上。SignalR 為了兼容不同環(huán)境默認(rèn)支持三種傳輸方式WebSocket、Server-Sent EventsSSE、Long Polling。這里有一個(gè)很關(guān)鍵的知識(shí)點(diǎn)并不是所有部署環(huán)境都能真正走 WebSocket。SignalR 客戶端啟動(dòng)時(shí)會(huì)先發(fā)一個(gè) negotiate 請(qǐng)求然后根據(jù)服務(wù)器返回的能力和當(dāng)前網(wǎng)絡(luò)環(huán)境選擇最優(yōu)傳輸方式。如果 IIS 上沒(méi)裝 WebSocket Protocol 功能或者中間有代理/負(fù)載均衡器沒(méi)有正確轉(zhuǎn)發(fā) Upgrade 頭SignalR 就會(huì)自動(dòng)回退到 SSE 或 Long Polling。而 SSE 和 Long Polling 有一個(gè)致命問(wèn)題每一個(gè)在線客戶端都會(huì)長(zhǎng)期占住一個(gè) HTTP 請(qǐng)求不釋放。服務(wù)端處理這些請(qǐng)求需要占用線程或異步連接當(dāng)連接數(shù)量達(dá)到一定臨界值后剩余的處理能力就無(wú)法響應(yīng)新的 API 請(qǐng)求了。這就解釋了為什么看起來(lái)像是“10 個(gè)連接之后開始阻塞”——實(shí)際上這取決于服務(wù)器配置的并發(fā)上限、CPU 核數(shù)、線程池初始線程數(shù)等因素10 只是一個(gè)常見(jiàn)臨界值。2. 為什么 10 個(gè)連接就能把請(qǐng)求堵死核心原理拆解2.1 IIS 托管 .NET Core 的請(qǐng)求處理模型要理解阻塞的根因必須先知道 .NET Core 應(yīng)用發(fā)布到 IIS 后請(qǐng)求是怎么流動(dòng)的。當(dāng)前主流的部署方式是進(jìn)程內(nèi)托管In-Process也就是說(shuō) ASP.NET Core 應(yīng)用直接跑在 IIS 的應(yīng)用程序池工作進(jìn)程里IIS 接收到 HTTP 請(qǐng)求后直接交給應(yīng)用內(nèi)的 Kestrel 服務(wù)器處理不再經(jīng)過(guò)一個(gè)獨(dú)立的 Kestrel 進(jìn)程。進(jìn)程內(nèi)托管的好處是性能更好少一次進(jìn)程間通信。但它也意味著應(yīng)用和 IIS 共享同一個(gè)進(jìn)程的資源包括線程池。IIS 本身對(duì)并發(fā)請(qǐng)求是有隊(duì)列管理的應(yīng)用程序池有一個(gè)“隊(duì)列長(zhǎng)度”參數(shù)默認(rèn)是 1000。也就是說(shuō)如果請(qǐng)求處理不過(guò)來(lái)新請(qǐng)求會(huì)在 IIS 隊(duì)列里排隊(duì)而不是直接進(jìn)到應(yīng)用代碼里。但這里要注意IIS 的隊(duì)列長(zhǎng)度默認(rèn) 1000理論上不會(huì)在 10 個(gè)連接時(shí)就爆掉。真正的瓶頸出現(xiàn)在 ASP.NET Core 的線程池和 SignalR 連接模型之間的沖突上。2.2 SignalR 的三種傳輸方式與連接占用差異SignalR 的三種傳輸方式對(duì)連接資源的占用是完全不同的WebSocket一次 HTTP 握手后協(xié)議升級(jí)為長(zhǎng)連接數(shù)據(jù)雙向?qū)崟r(shí)傳輸。這種連接不占用 HTTP 請(qǐng)求處理線程對(duì)服務(wù)器壓力最小。Server-Sent Events服務(wù)器向客戶端單向推送客戶端通過(guò) EventSource 接收。服務(wù)器會(huì)保持一個(gè) HTTP 響應(yīng)連接長(zhǎng)期不關(guān)閉每個(gè)客戶端占一個(gè)請(qǐng)求槽。Long Polling客戶端發(fā)一個(gè)請(qǐng)求服務(wù)器有消息就立即返回沒(méi)消息就掛住等有消息或超時(shí)后再返回客戶端收到后立刻發(fā)起下一個(gè)請(qǐng)求。這種模式下每個(gè)客戶端在任何時(shí)刻也至少會(huì)有一個(gè)掛起的 HTTP 請(qǐng)求。麻煩就出在后兩種模式。如果 SignalR 因?yàn)槟撤N原因沒(méi)有升級(jí)到 WebSocket而是回退到了 SSE 或 Long Polling那么每一個(gè)在線客戶端就相當(dāng)于一個(gè)永不結(jié)束的 HTTP 請(qǐng)求。在 ASP.NET Core 中這種長(zhǎng)時(shí)間掛起的請(qǐng)求會(huì)占用線程池的可用線程。雖然異步請(qǐng)求不會(huì)一直占著線程不放但 SignalR 在處理消息調(diào)度、連接生命周期等邏輯時(shí)仍然需要線程池分配線程來(lái)執(zhí)行回調(diào)。一旦這種半掛起的任務(wù)數(shù)量多了線程池就會(huì)進(jìn)入“饑餓”狀態(tài)。2.3 線程池饑餓真正壓垮系統(tǒng)的最后一根稻草.NET 的線程池有一個(gè)動(dòng)態(tài)調(diào)節(jié)機(jī)制。它會(huì)根據(jù)任務(wù)的到達(dá)速率和完成速率自動(dòng)增加或減少線程數(shù)。增加線程是有成本的需要消耗 CPU 和內(nèi)存所以線程池有一定的“惰性”。當(dāng)任務(wù)量突然增大且部分任務(wù)長(zhǎng)時(shí)間不完成時(shí)線程池會(huì)嘗試每 500 毫秒左右增加一個(gè)線程。聽(tīng)起來(lái)好像問(wèn)題不大但如果你的 SignalR 連接模式是 SSE 或 Long Polling這些連接會(huì)把線程池的“活躍請(qǐng)求數(shù)”撐起來(lái)但每個(gè)請(qǐng)求都不結(jié)束。線程池判斷系統(tǒng)仍然繁忙于是不斷加線程直到線程數(shù)達(dá)到上限。而線程數(shù)到達(dá)上限后新進(jìn)來(lái)的 API 請(qǐng)求會(huì)進(jìn)入線程池的全局隊(duì)列。上面說(shuō)的是理論上最典型的情況還有一個(gè)容易被忽略的技術(shù)細(xì)節(jié)線程池的“最小線程數(shù)”。默認(rèn)情況下.NET 線程池的最小線程數(shù)通常等于 CPU 核心數(shù)。如果一個(gè)部署環(huán)境是 4 核甚至 2 核那么最小線程數(shù)很低一旦連接數(shù)稍微上來(lái)一點(diǎn)線程池就很容易進(jìn)入饑餓策略。實(shí)際上線程池饑餓時(shí)不一定真的加不上線程而是加線程的速度趕不上請(qǐng)求堆積的速度。加上很多開發(fā)者在 Hub 方法里習(xí)慣性地寫了同步代碼比如用 HttpClient 的 .Result、用 Thread.Sleep、用 lock(obj)這會(huì)讓線程被真正占用而不是異步掛起進(jìn)一步加速線程池耗盡。2.4 為什么臨界點(diǎn)看起來(lái)是“10 個(gè)連接”而不是其他數(shù)字很多人在排查時(shí)會(huì)糾結(jié)“為什么是 10”甚至去 IIS 配置里找有沒(méi)有哪項(xiàng)限制是 10。我排查過(guò)不少案例得出的結(jié)論是10 并不是 IIS 寫死的數(shù)字而是你的服務(wù)器資源、線程池配置和應(yīng)用代碼共同決定的臨界值??梢宰鲆粋€(gè)簡(jiǎn)單推算假設(shè)服務(wù)器 CPU 是 2 核線程池默認(rèn)最小線程數(shù)可能就是 2。當(dāng)有 10 個(gè) SignalR 客戶端在線且每個(gè)客戶端因?yàn)閭鬏斈J交赝硕急3种粋€(gè) SSE 或 Long Polling 請(qǐng)求這時(shí)候線程池里至少有 10 個(gè)長(zhǎng)期掛起的異步操作。如果其中一部分 Hub 方法還做了同步阻塞調(diào)用那么真正能用來(lái)處理新請(qǐng)求的線程可能已經(jīng)所剩無(wú)幾。新請(qǐng)求進(jìn)來(lái)后排隊(duì)等待表現(xiàn)得就像被“阻塞”了一樣。所以重點(diǎn)不是去找一個(gè)隱藏的 10 連接上限而是先確認(rèn)你的 SignalR 在 IIS 上到底走了哪種傳輸模式如果走的是 WebSocket10 個(gè)長(zhǎng)連接根本不叫事如果走的是 SSE 或 Long Polling50 個(gè)、100 個(gè)連接遲早會(huì)暴露問(wèn)題。2.5 另一個(gè)隱藏因素ASP.NET Core 版本和托管模式差異不同版本的 ASP.NET Core 在 IIS 上的并發(fā)行為也有差別。比如 .NET Core 3.1 到 .NET 6、.NET 8雖然整體模型一致但在 ThreadPool 的默認(rèn)策略和 ANCM 的轉(zhuǎn)發(fā)細(xì)節(jié)上會(huì)有微調(diào)。另外如果你的部署選擇了進(jìn)程外托管Out-Of-Process請(qǐng)求會(huì)先經(jīng)過(guò) IIS再由 ANCM 轉(zhuǎn)發(fā)給獨(dú)立的 Kestrel 進(jìn)程。這種模式下IIS 和 Kestrel 之間有額外的進(jìn)程間通信開銷同時(shí) IIS 的一些機(jī)制可能會(huì)在傳輸升級(jí)時(shí)產(chǎn)生額外的握手消耗也會(huì)影響連接臨界值。如果你不確定自己項(xiàng)目是進(jìn)程內(nèi)還是進(jìn)程外托管最簡(jiǎn)單的方法是看 web.config 里的 aspNetCore 節(jié)點(diǎn)。hostingModelinprocess 就是進(jìn)程內(nèi)hostingModeloutofprocess 就是進(jìn)程外。3. 排查實(shí)錄從復(fù)現(xiàn)到定位的完整過(guò)程3.1 第一步復(fù)現(xiàn)問(wèn)題并確認(rèn)連接方式和數(shù)量排查任何這類問(wèn)題復(fù)現(xiàn)是第一位的。我寫了一個(gè)簡(jiǎn)單的 SignalR 客戶端模擬器循環(huán)創(chuàng)建 30 個(gè)連接連接到目標(biāo) Hub。每建立一個(gè)連接就調(diào)用一次 Web API觀察是否出現(xiàn)阻塞。復(fù)現(xiàn)的同時(shí)在瀏覽器開發(fā)者工具里查看 SignalR 的 negotiate 請(qǐng)求和后續(xù)請(qǐng)求協(xié)議。如果能看到 101 Switching Protocols說(shuō)明走的是 WebSocket。如果看不到而是一直有狀態(tài)為 pending 的 GET 請(qǐng)求那基本可以確定走的是 SSE 或 Long Polling。如果項(xiàng)目是 C# 客戶端還可以在 HubConnectionBuilder 里直接指定傳輸方式來(lái)做對(duì)照試驗(yàn)var connection new HubConnectionBuilder() .WithUrl(https://your-server/notificationHub, options { options.Transports HttpTransportType.WebSockets; options.SkipNegotiation true; }) .WithAutomaticReconnect() .Build();注意SkipNegotiation 只有在你明確使用 WebSocket 傳輸時(shí)才可以使用。如果服務(wù)器端不支持 WebSocket這種寫法會(huì)直接拋異常而不是自動(dòng)回退。這在排查時(shí)非常有用如果指定了 WebSocket 后全部連接失敗說(shuō)明問(wèn)題就出在 WebSocket 握手鏈路不通。我在那個(gè)項(xiàng)目里做了同樣的驗(yàn)證發(fā)現(xiàn)客戶端指定 WebSocket 傳輸后連接全部失敗。再回頭查 IIS 功能果然WebSocket Protocol 沒(méi)有安裝。問(wèn)題到這里已經(jīng)鎖定了八成。3.2 第二步檢查 IIS 的 WebSocket Protocol 功能Windows Server 上 IIS 默認(rèn)不會(huì)安裝所有功能模塊。WebSocket Protocol 屬于“應(yīng)用程序開發(fā)”類別下的一個(gè)子功能如果在安裝 IIS 時(shí)沒(méi)有手動(dòng)勾選默認(rèn)是缺失的??梢杂?PowerShell 檢查當(dāng)前是否安裝了 WebSocket ProtocolGet-WindowsFeature Web-WebSockets如果 Installed 狀態(tài)是 False說(shuō)明 IIS 缺少 WebSocket 支持。安裝命令也很簡(jiǎn)單Install-WindowsFeature Web-WebSockets安裝完成后建議重啟 IISiisreset這里有一個(gè)容易踩的坑WebSocket Protocol 的安裝可能需要重啟服務(wù)器或者至少重啟 IIS 服務(wù)才能生效。如果只裝了功能不重啟SignalR 握手仍然可能失敗。3.3 第三步用 dotnet-counters 觀察線程池狀態(tài)為了拿到更直接的數(shù)據(jù)我使用了 dotnet-counters 這個(gè)診斷工具。如果你的服務(wù)器上還沒(méi)裝可以先安裝dotnet tool install --global dotnet-counters然后找到應(yīng)用進(jìn)程 ID開始監(jiān)控線程池和 CPU 狀態(tài)dotnet-counters monitor --process-id PID --counters System.Runtime重點(diǎn)關(guān)注這幾個(gè)指標(biāo)ThreadPool Thread Count線程池當(dāng)前線程數(shù)、ThreadPool Queue Length線程池隊(duì)列長(zhǎng)度、CPU UsageCPU 使用率。在復(fù)現(xiàn)阻塞時(shí)觀察到的現(xiàn)象往往是線程池線程數(shù)在不停上漲但隊(duì)列長(zhǎng)度也在增長(zhǎng)CPU 使用率卻不高。這說(shuō)明系統(tǒng)不是忙到算不過(guò)來(lái)而是有大量線程被“卡住”了典型特征就是線程饑餓。如果 ThreadPool Queue Length 持續(xù)高于 0而 Thread Count 已經(jīng)達(dá)到一個(gè)較高值比如幾百幾乎可以斷定代碼或信號(hào)連接中存在著長(zhǎng)時(shí)間占用線程的操作。3.4 第四步開啟 stdout 日志確認(rèn) ANCM 的報(bào)錯(cuò)信息在 IIS 上排查 ASP.NET Core 問(wèn)題一個(gè)很大的困惑是應(yīng)用崩潰或連接異常時(shí)錯(cuò)誤信息不會(huì)直接顯示在瀏覽器里而是被 ANCMASP.NET Core Module吞掉了。這時(shí)候可以臨時(shí)開啟 stdout 日志來(lái)看 ANCM 層面的錯(cuò)誤。在 web.config 中修改 aspNetCore 節(jié)點(diǎn)aspNetCore processPathdotnet arguments.\YourApp.dll stdoutLogEnabledtrue stdoutLogFile.\logs\stdout hostingModelinprocess environmentVariables environmentVariable nameASPNETCORE_ENVIRONMENT valueDevelopment / /environmentVariables /aspNetCore注意保存 web.config 后 IIS 會(huì)自動(dòng)重啟應(yīng)用這個(gè)特性有時(shí)候很貼心有時(shí)候也會(huì)造成連接閃斷。開啟日志后讓問(wèn)題復(fù)現(xiàn)一次再去 logs 目錄下查看最新的 stdout 日志。日志里可能不會(huì)直接寫“WebSocket 不可用”但往往能看到連接被拒絕或升級(jí)失敗的相關(guān)記錄。另外如果你有 Failed Request Tracing 的權(quán)限也可以配置一條跟蹤規(guī)則專門監(jiān)聽(tīng) HTTP 500 和 HTTP 502 請(qǐng)求能夠看到更詳細(xì)的內(nèi)部錯(cuò)誤鏈。對(duì)于長(zhǎng)期運(yùn)行的生產(chǎn)環(huán)境我建議在 Web.config 里保留 stdoutLogEnabledfalse改成按需開啟避免日志文件暴漲占用磁盤空間。3.5 第五步查看應(yīng)用池的隊(duì)列長(zhǎng)度與回收策略如果 WebSocket 已經(jīng)安裝了、代碼也確認(rèn)沒(méi)有明顯的同步阻塞問(wèn)題仍然存在那就要看 IIS 應(yīng)用程序池的配置了。在 IIS 管理器中右鍵應(yīng)用程序池選擇“高級(jí)設(shè)置”會(huì)看到幾個(gè)關(guān)鍵參數(shù)隊(duì)列長(zhǎng)度Queue Length默認(rèn) 1000。如果請(qǐng)求堆積超過(guò)這個(gè)數(shù)IIS 會(huì)直接返回 503。最大工作進(jìn)程數(shù)Maximum Worker Processes默認(rèn) 1。如果你的應(yīng)用配置成了多個(gè)需要額外注意會(huì)話一致性和 SignalR 跨進(jìn)程消息的問(wèn)題。SignalR 默認(rèn)是無(wú)粘性的多個(gè)進(jìn)程時(shí)需要用 Redis Backplane 之類的方式同步消息。回收時(shí)間Regular Time Interval默認(rèn) 1740 分鐘即 29 小時(shí)。但如果你在代碼里手動(dòng)調(diào)用了 GC.Collect 或某些特殊操作應(yīng)用池回收也會(huì)造成連接全斷。對(duì)于 SignalR 場(chǎng)景不要在應(yīng)用池上開啟“重疊回收”因?yàn)?SignalR 連接在回收期間會(huì)全部斷開客戶端雖然會(huì)自動(dòng)重連但會(huì)產(chǎn)生一次明顯的消息丟失窗口。合理的做法是把應(yīng)用池回收時(shí)間改到凌晨低峰期或者設(shè)置成根據(jù)虛擬內(nèi)存/私有內(nèi)存使用量來(lái)回收。3.6 第六步代碼里的靜態(tài)全局狀態(tài)排查線程池饑餓還有一個(gè)不太容易察覺(jué)的原因SignalR Hub 中使用了靜態(tài)變量或靜態(tài)集合并且沒(méi)有加鎖。比如一個(gè)在線用戶列表如果是用靜態(tài) Dictionary 維護(hù)多個(gè)連接同時(shí)寫入時(shí)會(huì)造成競(jìng)爭(zhēng)。下面這種寫法在并發(fā)下很危險(xiǎn)public class NotificationHub : Hub { private static readonly Dictionarystring, string _connections new(); public override async Task OnConnectedAsync() { _connections[Context.ConnectionId] Context.UserIdentifier; await base.OnConnectedAsync(); } }如果寫入時(shí)沒(méi)有線程安全的保護(hù)可能在低并發(fā)時(shí)沒(méi)問(wèn)題但到一定并發(fā)量后觸發(fā)內(nèi)部哈希碰撞或擴(kuò)容問(wèn)題導(dǎo)致請(qǐng)求卡住。這個(gè)和 IIS 無(wú)關(guān)但會(huì)疊加在 SignalR 的并發(fā)問(wèn)題上讓系統(tǒng)看起來(lái)更早到達(dá)臨界點(diǎn)。建議要么使用 ConcurrentDictionary要么給字典操作加鎖。這里用 ConcurrentDictionary 就行private static readonly ConcurrentDictionarystring, string _connections new();排查這一步時(shí)可以在靜態(tài)變量的寫入邏輯處加日志觀察阻塞發(fā)生時(shí)這些靜態(tài)操作是否耗時(shí)異常。4. 解決方案從 IIS 配置到代碼改造的完整落地4.1 優(yōu)先保證 SignalR 走 WebSocket而不是降級(jí)到 SSE解決這個(gè)問(wèn)題的第一優(yōu)先級(jí)是讓 SignalR 盡可能使用 WebSocket。只要傳輸模式是 WebSocket就不會(huì)出現(xiàn)“每個(gè)客戶端占住一個(gè) HTTP 請(qǐng)求”的情況后面講的很多配置優(yōu)化才真正有意義。服務(wù)端確保支持 WebSocket 的代碼很簡(jiǎn)單。在 Program.cs 或 Startup.cs 中需要顯式調(diào)用 UseWebSocketsvar builder WebApplication.CreateBuilder(args); builder.Services.AddSignalR(); var app builder.Build(); app.UseWebSockets(); app.MapHubNotificationHub(/notificationHub); app.Run();這里有一個(gè)順序問(wèn)題UseWebSockets 必須放在 UseRouting 之后、MapHub 之前調(diào)用同時(shí)要放在任何可能短路請(qǐng)求的中間件之前比如身份驗(yàn)證中間件通常要放在它之前否則有些請(qǐng)求在驗(yàn)證時(shí)就被攔截了。4.2 安裝并驗(yàn)證 IIS 的 WebSocket 支持前文已經(jīng)提到安裝命令這里再整理一遍圖形化操作路徑打開“服務(wù)器管理器”。點(diǎn)擊“添加角色和功能”。選擇“基于角色或基于功能的安裝”。在“Web 服務(wù)器IIS”下展開“Web 服務(wù)器” - “應(yīng)用程序開發(fā)”。勾選“WebSocket 協(xié)議”。完成安裝后執(zhí)行 iisreset。安裝完成后可以用握手測(cè)試確認(rèn) WebSocket 已經(jīng)啟用。最直接的方式是通過(guò)瀏覽器的開發(fā)者工具觀察 SignalR 連接是否返回 101 狀態(tài)碼。如果項(xiàng)目不是托管在默認(rèn)站點(diǎn)下而是部署在虛擬目錄或使用 https 協(xié)議要確認(rèn) WebSocket 的升級(jí)請(qǐng)求能正常到達(dá)應(yīng)用而不是被 URL Rewrite 等規(guī)則攔截了。4.3 調(diào)整線程池最小線程數(shù)提升系統(tǒng)抗突發(fā)能力即使解決了 WebSocket 支持我仍然不建議跳過(guò)線程池優(yōu)化。因?yàn)?SignalR 的消息調(diào)度、心跳檢測(cè)、斷線重連等機(jī)制仍然會(huì)異步地使用線程池。生產(chǎn)環(huán)境中偶爾的線程池饑餓可能不表現(xiàn)為“10 連接就阻塞”而是表現(xiàn)為“高峰期 CPU 不高但接口響應(yīng)極慢”??梢栽趹?yīng)用啟動(dòng)早期調(diào)整線程池最小線程數(shù)。我會(huì)在 Program.cs 的 Main 方法最開始處加這樣一段ThreadPool.GetMinThreads(out int workerThreads, out int ioThreads); ThreadPool.SetMinThreads(workerThreads 100, ioThreads 100);這段代碼的意思是把線程池最小工作線程數(shù)和 IO 線程數(shù)各增加 100。這里的 100 不是固定標(biāo)準(zhǔn)值而是根據(jù)實(shí)際并發(fā)量來(lái)估算的。如果你的 SignalR 同時(shí)在線連接在 2000 以內(nèi)加 100 已經(jīng)能有效緩解饑餓如果更高建議做壓測(cè)來(lái)找到更適合的值。但要注意不要一次性把最小線程數(shù)調(diào)得過(guò)大比如直接設(shè)成 1000。線程池的最小線程數(shù)決定了系統(tǒng)在請(qǐng)求峰值到來(lái)時(shí)能多快創(chuàng)建線程。設(shè)得太大意味著程序一啟動(dòng)就會(huì)創(chuàng)建大量線程白白消耗內(nèi)存設(shè)得太小則在高并發(fā)時(shí)線程池會(huì)花時(shí)間慢慢加線程表現(xiàn)為響應(yīng)時(shí)間一路上升。4.4 用配置來(lái)強(qiáng)制 SignalR 只走 WebSocket可選方案如果在你的業(yè)務(wù)場(chǎng)景里客戶端環(huán)境完全可控比如是自家公司的內(nèi)部系統(tǒng)、PC 端瀏覽器統(tǒng)一為現(xiàn)代瀏覽器可以考慮強(qiáng)制 SignalR 只使用 WebSocket這樣可以從根上消除 SSE 和 Long Polling 造成的請(qǐng)求占用問(wèn)題。服務(wù)端在 MapHub 之前加一個(gè)檢查中間件app.Use(async (context, next) { if (context.Request.Path.StartsWithSegments(/notificationHub) !context.WebSockets.IsWebSocketRequest) { context.Response.StatusCode StatusCodes.Status400BadRequest; await context.Response.WriteAsync(WebSocket only.); return; } await next(); });客戶端也需要做對(duì)應(yīng)的設(shè)置。在前端 JavaScript 中創(chuàng)建連接時(shí)指定傳輸方式const connection new signalR.HubConnectionBuilder() .withUrl(/notificationHub, signalR.HttpTransportType.WebSockets) .build();如果你看到請(qǐng)求直接返回 400而且服務(wù)端沒(méi)有其他日志那基本可以斷定服務(wù)器端不支持 WebSocket需要回過(guò)頭檢查 IIS 功能和網(wǎng)絡(luò)代理。這種強(qiáng)制方案的缺點(diǎn)也很明顯如果服務(wù)器前面還有一層負(fù)載均衡器比如 F5、Nginx需要負(fù)載均衡器也支持并放行 WebSocket 的升級(jí)請(qǐng)求。很多負(fù)載均衡器默認(rèn)只轉(zhuǎn)發(fā)普通 HTTP對(duì) Upgrade 頭處理不當(dāng)會(huì)導(dǎo)致強(qiáng)制 WebSocket 后所有信號(hào)連接直接失敗。因此在強(qiáng)制方案前務(wù)必確認(rèn)全鏈路都支持 WebSocket。4.5 如果 WebSocket 不可用退而求其次的調(diào)優(yōu)方案有些團(tuán)隊(duì)的技術(shù)棧限制比較大比如客戶端位于某些安全等級(jí)很高的內(nèi)網(wǎng)環(huán)境網(wǎng)關(guān)會(huì)屏蔽掉所有非 80/443 端口的協(xié)議升級(jí)。這種情況下 WebSocket 可能真的無(wú)法使用SignalR 只能長(zhǎng)期跑在 SSE 或 Long Polling 下。這時(shí)要做的是盡量減小“每個(gè)連接占一個(gè)請(qǐng)求”的負(fù)面影響??梢詮膸讉€(gè)方向入手提高 ASP.NET Core 請(qǐng)求隊(duì)列的處理能力也就是合理地增加線程池最小線程數(shù)讓系統(tǒng)在 1000 個(gè)掛起請(qǐng)求時(shí)仍能保持部分線程響應(yīng) API。給 SignalR Hub 方法設(shè)置合理的超時(shí)時(shí)間避免某個(gè)連接長(zhǎng)時(shí)間不釋放。將 SignalR 和 Web API 拆分到兩個(gè)不同的應(yīng)用池甚至兩臺(tái)服務(wù)器上這樣實(shí)時(shí)連接即使拖垮了 SignalR 應(yīng)用池也不會(huì)影響主站 API。拆分方案是我比較推薦的。因?yàn)閺募軜?gòu)上看實(shí)時(shí)推送和 REST API 對(duì)資源的占用模型差異很大。實(shí)時(shí)推送是長(zhǎng)連接密集型REST API 是短請(qǐng)求密集型。混跑時(shí)長(zhǎng)連接容易餓死短請(qǐng)求。分開部署后兩邊可以各自調(diào)優(yōu)互不干擾。4.6 使用進(jìn)程外托管模式減少 IIS 層影響如果你排查了很久發(fā)現(xiàn)是 IIS 層對(duì)連接升級(jí)或請(qǐng)求隊(duì)列的處理有問(wèn)題而你的項(xiàng)目又恰好是進(jìn)程內(nèi)托管可以考慮切換為進(jìn)程外托管。進(jìn)程外托管的優(yōu)勢(shì)在于ASP.NET Core 應(yīng)用跑在獨(dú)立的 Kestrel 進(jìn)程中IIS 只作為反向代理。這種模式下請(qǐng)求在 IIS 和 Kestrel 之間多了一次轉(zhuǎn)發(fā)單請(qǐng)求性能會(huì)略降但隔離性更好。如果你的應(yīng)用本身沒(méi)有性能瓶頸只是被 IIS 的某些連接管理機(jī)制拖住這種隔離可能會(huì)讓問(wèn)題消失。修改 web.configaspNetCore processPathdotnet arguments.\YourApp.dll stdoutLogEnabledfalse hostingModeloutofprocess /aspNetCore進(jìn)程外托管模式下SignalR 連接的實(shí)際承載者是 KestrelIIS 只負(fù)責(zé)將升級(jí)后的 WebSocket 流量透明轉(zhuǎn)發(fā)。在 Windows 的 HTTP.sys 層這種轉(zhuǎn)發(fā)的處理效率和穩(wěn)定性通常比進(jìn)程內(nèi)更好。缺點(diǎn)是進(jìn)程外模式會(huì)額外占用一個(gè)進(jìn)程的內(nèi)存部署結(jié)構(gòu)相對(duì)復(fù)雜一些。5. 常見(jiàn)問(wèn)題與避坑經(jīng)驗(yàn)速查表5.1 連接數(shù)到臨界點(diǎn)就整體卡死懷疑是 IIS 限制現(xiàn)象可能原因處理方法連接數(shù)到 10-20 之后就阻塞SignalR 走 SSE/Long Polling占滿線程池安裝 WebSocket Protocol讓 SignalR 升級(jí)為 WebSocket純內(nèi)存 API 也卡死CPU 卻不高線程池饑餓調(diào)大線程池最小線程數(shù)檢查 Hub 內(nèi)同步阻塞代碼瀏覽器 Network 里沒(méi)有看到 101 狀態(tài)碼WebSocket 握手未完成檢查 IIS 功能、反向代理的 Upgrade 頭配置請(qǐng)求直接返回 503應(yīng)用池隊(duì)列長(zhǎng)度超限或應(yīng)用無(wú)響應(yīng)檢查應(yīng)用池隊(duì)列長(zhǎng)度確認(rèn)應(yīng)用池未頻繁回收指定 WebSocket 傳輸后連接全失敗服務(wù)器端不支持 WebSocket確認(rèn) Web-WebSockets 功能已安裝5.2 SignalR 斷線自動(dòng)重連時(shí)的隱藏坑SignalR 的自動(dòng)重連機(jī)制在客戶端斷線后會(huì)以指數(shù)退避的方式嘗試重新連接。每次重連都會(huì)重新發(fā)起 negotiate 請(qǐng)求如果客戶端量非常大重連風(fēng)暴造成的瞬時(shí)并發(fā)會(huì)對(duì)服務(wù)器造成巨大壓力。我曾見(jiàn)過(guò)一個(gè)項(xiàng)目因?yàn)榘胍拱l(fā)布導(dǎo)致所有連接斷開客戶端默認(rèn)配置在斷開后 0 秒、2 秒、10 秒、30 秒等時(shí)間點(diǎn)集中重連。當(dāng)時(shí)同時(shí)在線約 5000 個(gè)客戶端重連風(fēng)暴直接把 API 打垮。后來(lái)在客戶端加了隨機(jī)延遲const connection new signalR.HubConnectionBuilder() .withUrl(/notificationHub) .withAutomaticReconnect([0, 1000, 5000, 15000, 30000]) .build();同時(shí)也建議服務(wù)端配置 ClientTimeoutInterval 和 KeepAliveInterval避免服務(wù)端因?yàn)榫W(wǎng)絡(luò)抖動(dòng)誤殺活躍連接。一個(gè)常見(jiàn)的配置是services.AddSignalR(options { options.ClientTimeoutInterval TimeSpan.FromSeconds(60); options.KeepAliveInterval TimeSpan.FromSeconds(15); options.EnableDetailedErrors true; });5.3 Hub 生命周期與依賴注入的坑ASP.NET Core 的 SignalR Hub 在每次方法調(diào)用時(shí)是瞬時(shí)創(chuàng)建的不是單例。如果你在 Hub 的構(gòu)造函數(shù)里注入了 DbContext而 DbContext 本身是 Scoped這通常沒(méi)問(wèn)題。但如果你在 Hub 里使用了 IHubContext 來(lái)從外部推送消息并且這個(gè) IHubContext 被注入到一個(gè) Singleton 服務(wù)中那么在這條調(diào)用鏈上使用 DbContext 就會(huì)出問(wèn)題因?yàn)?Singleton 服務(wù)無(wú)法拿到 Scoped 的 DbContext。這種問(wèn)題在高并發(fā)時(shí)不一定會(huì)立刻報(bào)錯(cuò)但當(dāng)連接數(shù)多了以后可能會(huì)出現(xiàn)數(shù)據(jù)庫(kù)連接被意外釋放或線程阻塞的詭異現(xiàn)象。排查時(shí)可以看看 Hub 中是否有復(fù)雜的依賴鏈如果有盡量讓 Hub 的方法只做消息轉(zhuǎn)發(fā)把業(yè)務(wù)邏輯下沉到獨(dú)立的 Service 中并明確生命周期。5.4 使用反向代理時(shí) WebSocket 升級(jí)頭被過(guò)濾如果你在 IIS 前面配置了 Nginx、ARR 或其他反代需要確認(rèn)以下請(qǐng)求頭能夠正確傳遞Upgrade: websocket Connection: Upgrade在 Nginx 中針對(duì) WebSocket 的代理需要額外配置 Upgrade 頭。雖然標(biāo)題場(chǎng)景是 IIS但很多企業(yè)網(wǎng)絡(luò)是 IIS 外層還套一個(gè) Nginx 統(tǒng)一入口。這種情況下IIS 本身的 WebSocket 配置正確還不夠外層 Nginx 也得放行。如果你在生產(chǎn)環(huán)境看到“服務(wù)器已安裝 WebSocket 功能但客戶端始終無(wú)法升級(jí)”的情況大概率就是反代層過(guò)濾了 Upgrade 請(qǐng)求頭。5.5 不要忽視 DNS 和負(fù)載均衡層的超時(shí)設(shè)置SignalR 長(zhǎng)連接在傳輸層上是保持不關(guān)閉的。很多負(fù)載均衡器默認(rèn)有一個(gè)“空閑連接超時(shí)”比如 60 秒內(nèi)無(wú)數(shù)據(jù)傳輸就自動(dòng)斷開連接。如果 SignalR 的心跳間隔大于這個(gè)超時(shí)時(shí)間連接會(huì)被負(fù)載均衡器靜默切斷??蛻舳吮憩F(xiàn)為連接斷開隨后自動(dòng)重連重連成功后再次被切斷形成周期性斷連。解決方法是調(diào)節(jié) SignalR 的心跳頻率或者把負(fù)載均衡器的空閑超時(shí)時(shí)間調(diào)大。服務(wù)端和客戶端都有對(duì)應(yīng)的 KeepAlive 配置必須保證心跳間隔小于負(fù)載均衡器的空閑超時(shí)時(shí)長(zhǎng)。我建議在部署前先向網(wǎng)絡(luò)團(tuán)隊(duì)確認(rèn)反代層的空閑連接超時(shí)時(shí)間再反推 SignalR 的心跳間隔設(shè)置。6. 最后一次壓測(cè)驗(yàn)證與實(shí)際心得解決完全部問(wèn)題后用壓測(cè)工具模擬了 2000 個(gè) SignalR 并發(fā)連接同時(shí)持續(xù)調(diào)用 Web API。這次的現(xiàn)象和之前完全不一樣了API 不會(huì)阻塞SignalR 連接也都穩(wěn)定在 WebSocket 狀態(tài)。最初那臺(tái)服務(wù)器配置并不高4 核 8GB 內(nèi)存通過(guò)合理配置后承載 2000 個(gè)長(zhǎng)連接沒(méi)有太大壓力?;仡欉@次排查我最大的體會(huì)是遇到 IIS .NET Core SignalR 的組合問(wèn)題不要一上來(lái)就懷疑 IIS 版本或框架 bug。90% 的情況是傳輸模式?jīng)]有按預(yù)期走 WebSocket或者代碼中某個(gè)不起眼的同步阻塞放大了并發(fā)問(wèn)題。下次你再看到“連接數(shù)到 10 個(gè)就卡死”這類描述第一件事就去確認(rèn)瀏覽器 Network 面板里有沒(méi)有 101 Switching Protocols。如果始終沒(méi)有那跟線程池較勁沒(méi)意義先把 WebSocket 的握手鏈路打通再說(shuō)。SignalR 本身的設(shè)計(jì)是支持大規(guī)模長(zhǎng)連接的IIS 上要做的只是把這條通道正確建起來(lái)別讓它降級(jí)到 HTTP 輪詢模式去硬扛。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
pom538精品视频| 丁香五月大香蕉| 啪啪综合| 99ER热精品视频| 色综合99色| 99re视频在线| 色久播播| 人人爽欧美婷婷久久久五月丁香| 久久与婷婷| 色五月激情网| 91人人爽人人操| 五月天婷婷綜合院| 婷婷色五月色妇| 婷婷色情六月| 99热手机在线精品| 黄色成人AV在线| 亚洲 视频 导航 一区| 婷婷色导航| 婷婷色无码| 99热中国| 丁香五月天综合| 综合久久五| 9热精品| 五五月丁香花激情综合网| 性99网站| 综合婷婷| 香蕉婷婷色五月| 精品无码色| 色色色色色色色色网站| www激情| 日操熟女| 五月天国产成人| site:ornaments52.com| www.操.com| 亚洲图片 丁香婷婷| 婷婷伊人| 国精产品一区一区三区有限公司杨 | 国产超碰av| 婷婷五月天奸女| 五月综合激情图片| 色欲丁香| 婷婷丁香91| 激情丁香婷婷六月天| 99免费在线| 色情综合网| 色五月天丁香婷婷色| 成人精品一区二区三区四区五区| 免费啪啪亚州视频| www.婷婷五月| 色婷婷五月天成人网| 五月天婷婷色紫薇阁| 婷婷五月天久久久| 性做爰A片免费视频A片直播| 九九黄色网| 色色五月婷婷丁香| 亚洲无AV在线中文字幕| 五月丁香久久精品在线观看| 夜夜爱伊人| 婷婷在线网| 97操操操| 站长推荐无码播放| 99精品视频推荐| 婷婷五月天日日日干干干| 婷婷丁香97| 开心婷婷五月综合| 就爱干 在线| 超碰日日操| 久99999热视频在线观看免费| 丁香五月AV| 免费试看小视频 99| 婷婷五月天激情电影| 人妻体体内射精一区二区| 99热色婷婷| 丁香五月天婷婷久久| 五月天婷婷免费| 亚洲一二三网| 久久久精久人妻| 99亚洲天堂| 1769在线观看欧美国产| 五月丁香久久激情网| 啪啪综合网| 黄页免费一级视频懂色| 久久久久久五月天| 桃色五月婷婷| 色五月婷婷、老熟女| 激情五月综合网最新| 丁香婷婷综合色五月激情国产基地| 久思思久视频| 国产激情综合五月久久| 五月丁香色色| 天天 青草 制服丝袜 在线| 99这里都是精品6| 人妻熟女一区二区AV| 五月丁香色| 婷婷色情六月| 婷婷亚洲综合| 久久天堂女人| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | caop在线视频| 91超碰在线播放| 天天做天天爱天天综合| 超级碰碰碰久久网站| 精品无码色欲AV| 久久激情五月| 99欧美| 玖玖综合色| 99国产精品久久久久久久久久久 | 婷婷五月天网址| 丁香五月激情综合啪啪| 中国女人内射6XXXXX| 欧美激情五月综合| 婷婷爱五月| 99五月丁香丁| 色婷婷成人| 99热在线观看免费中文| 狠狠色婷婷7777久| 五月丁香成人日| 激情五月综合网最新| 久久一伦| 99九九视频| 涩涩婷婷五月| 99在线精品免费视频| 七七九色| 成人婷婷| 婷婷五月丁香综合亚洲| AA片在线观看视频在线播放| WWW激情五月天| 91在线就要啪| 亚洲天天| 色五月婷婷在线| 97资源欧美日韩大香蕉超碰一区| 情色婷婷五月天| 99热这里只有精品8| 99久久色| 丁香婷婷五月色成人网站| 丁香婷婷色色| 天天天天天天操| 少妇大叫太大太粗太爽了A片| www,8050,午夜三级| 性色五月天| 亚洲精品va| 激情视频网址| 精品久久久久久久人妻| 一区三区视频有限公司| 丁香五月天啪啪| 99热只有精品在线播放| 97搞在线| 色99日韩| 色狠狠伊人久久五月丁香| 欧美丰满熟妇BBB久久久| 秋霞电影理论| 丁香五月综合首页| 99热首页| 五月丁香久久综合| 日B日潘金莲BB| 激情综合网激情五月欧美| 丁香婷婷AV| 国产VA亚洲VA96| 91大神在线免费看视频全集男男一起操| 婷婷五月天激情免费在线观看| 激情五月婷婷啪啪| 丁香五月天视频| 夜夜人妻五月天| 丰满老熟妇BBBBB搡BBB| 丁香五月成人av| 原琪琪色影院| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 97色碰| 激情五月天啪啪| 国产精品天天狠天天看| 香蕉人在线香蕉人在线 | 超碰超碰在线| 久久丁香综合香蕉| 婷婷综合成人| 五月丁香六月欧美综合| 色色丁香五月| 99操碰| 激情综合激情五月| 久久精品99久久久久久久久| 久久婷婷影院| 五月天天天天天天天天天天天天天天天婷婷婷 | 99热在线极品极品| 亚洲中文字幕AV| 成人深爱丁香五月| 百度4399有码精品V在线观看| 91精品久久久久| 夜夜天天天天天干天天爽| 亚洲国产另类av| 中文字幕AV网址| 久操热| 51精品国自产在线| 成人亚洲精品| 日韩在线五月天婷婷| 色噜噜狠狠色综合网| 五月天色色网站| 五月婷婷六月少妇激情| 久久国产性爱A V| 五月黄色婷婷| 亚洲国产精品SUV| 天天做天天爽| 丁香伊人综合| 婷婷久久性爱| 在线sebiav精品视频| 五月天婷婷基地| 99热最新网址| 66精品国产成人| 激情婷婷护士激情| 亚洲婷婷五月天| 亭亭五月丁香五月天激情| 亚洲网视屏| 免费无码毛片一区二区A片| 五月天婷婷基地| 欧美激情五月天在线观看| 1999天天操夜夜操| 婷婷情色五月| 少妇大叫太大太粗太爽了A片| 免费观看的av| 亚洲欧州色情在线观看| 婷婷婷色五月| 亚洲久热| 一区视频网站| 毛片蕉地一二| 久久在线视频免费观看| 大香蕉婷婷色| 婷婷五月天国产| 色香五月天| 九九九九九九毛片| 日木WWW视频| www.99在线| 5月婷婷6月六月丁香| 激情综合网,五月| 99资源在线| 成人无码髙潮喷水A片| 丁香色综合| 97色色在线视频| 综合激情网| 五月丁香六月婷| 亚洲AV另类| 激情五月丁香五月综合| 婷婷丁香熟妇综合网| 色五月婷婷大香蕉| 五月丁香六月婷婷激情视频在线观看免费 | 久久综合五月天| 思思热久久爱| 天天操天天谢| 深爱开心激情网| 婷婷色女| 性爱动图国产麻豆一区二区三区| 久操人妻| 岛国资源站| 4438亚洲欧美| 国产精品久久久久9999小说| 被强行糟蹋的女人A片| 99热18| 五月天色综合| 五月天综合久久| 影音先锋人妻出差| 999热成人在线综合网| 免费日韩99| 丁香五月天激情| 久久亭亭电影| 色婷婷久久7777| BBWCUCKOLD精品熟妇 | 婷婷在线观看五月天在线视频| 91在线日| 中文字幕av在线| 香蕉五月婷婷| 免费啪啪啪网站| 开心五月天激情网| 五月天婷婷成人网| 色色99| 天天插天天插| 六月婷婷五月丁香| 国产亚洲精品久久久久久郑州| 91精品久久久久久| 五月天丁香| 国产精品日本一区二区在线播放 | 99在线观看精彩视频| 九色婷婷| 久久久久婷婷五月热综合| 538任你爽视频不一样的| 中文字幕在线不卡视频| 国产超碰人人| 色色五月丁香婷婷| 国产精品久久久99视频| 午夜丁香婷婷| 五月天婷婷综合网| 婷婷六月激情| 精品色| 日韩砖区| www久久五月com| 亚洲视频色色| 天天在线久久综合| 亚洲色A| 99性爱视频网站| 79精品视频| 五月花综合视频| 狠狠狠狠狠狠狠狠| 九九色欲网| 99re热久久| 丁香五月中文字幕久色| 激情网战码亚洲A| 激情综合5月| 视频综合网| 天天摸天天爽| www.开心激情| 丁香五月色网| 能看的AV| 极品精品一区二区三区在线| 九月大香蕉| 色婷婷亚洲在线观看| 成人免费在线电影| 亚洲国产精品成人免费一区久久久在线观看AAAA | 亚洲色综合| 国产偷人爽久久久久久老妇APP| 96精品成人无码A片观看金桔 | 久久色这里只有精品| 深情五月天| 天天噜| 午夜五月天| 丁香五月av| 久久性爱网| 丁香色情五月综合激情| 久久婷五月天| 亚洲操女| 在线视频99| 中文字幕,综合,91| 婷婷在线播放av| 婷婷五月天伦理| 丁香六月伊人| 精品乱码久久久久| 琪琪色网在线| 色天堂在线| 密黄站| 国产色五月婷婷| 婷婷五月另类网站| 99无码精品| 婷婷视频在线| ww久久| 五月婷婷开心激情六月蜜桃| 欧美丁香五月| 激情小说五月天| 五月丁香色六月激情干大屄| 丁香五月亚洲激情婷婷射| 超碰国产一区| 99久.| 超碰在线中文字幕| 2050人人操免费工开爱| 色婷婷久久综合久色综| 亚洲乱码日产精品BD在线观看| 日本天堂网站99| 色色色色五月天| 五月婷婷激清网| 日本一级| 天堂成人A片永久免费网站| 婷婷丁香www视频日本韩国| 九九热黄色| 久久开心五月婷婷| 国产性爱色| 3p九色在线| 亚洲国产成人综合| 色欲AVV| 综合久久综合久久| 99热九九在线| 久99视频| www.色色com| 人人亚洲| 生活片五区| www.婷婷com| 久久婷婷国产| α久久| 五月婷婷黄色| 超碰在线94| 久久精品爱爱| 色综合九九| 午夜免费试看| 久久伊人婷| 热的五码久久精品| 五月天婷婷色| 久久精品无码一区| 亚洲人人96@| 久久激情天堂| 99碰碰碰| 99成人精品六| 五月花激情| yiqicaoav| 久久久久婷婷五月热综合| 婷婷五月天社区| 婷婷综合性爱网| 色色五月天婷婷| 激情五月天在线视频| 26uuu欧美激情另类| 丁香六月婷婷久久综合| 免费啪啪啪网站| 婷婷色丁香五月| 亚洲九九夜夜| 另类专区在线| 男人的天堂五月丁香| 欧美性爱专区| 色情久久久| 久久久久人妻| 久久综合丁香五月| 大香蕉综合在线| 色狠狠综合入口| 这里只有精品免费视频在线观看| 7EzOBIhNq85TO| 亚洲五月丁香综合网| www.99热在线观看| 琪琪色网址| 午夜美女人啪最红院| 五月丁香综合啪啪| 99热碰碰热| 婷婷五月天在线综合| 亚洲无AV在线中文字幕| 婷婷五月天在线综合导航| 一本久道综合色婷婷五月| 伊人喵咪a V| 翔田千里aV中文字幕| 婷婷五月天亚洲综合| 狠狠色狠狠爱| 五月天色五月| 丁香五月开心亚洲| 成人永久免费视频在线观看| 激情九九六月激情免费视频| 亚洲国产精品VA在线看黑人| 激情综合婷婷久久| 色婷婷888| 丁香婷婷五月综合| 超碰在线99热| 人人操插| 99九九在线精品热动漫| 色五月婷婷av| 日本三级中文字幕| AAA久久久| 99热亚洲| 丁香五月婷久久| 色婷婷久久天天性爱| 噜噜狠狠色| 伊人热婷婷| 99热综合网| 一起肏在线视频| AVDV久久| 在线你懂的亚洲欧| 五月婷婷色色| 久久九九免费大视频| 色999五月色| 香蕉久久国产AV一区二区| a网站免费观看| 天天插天天玩天天干| 思思热这里只有精品| 欧美日本综合网| 无码少妇高潮喷水A片免费| 99精品自拍| 99亚州综合精品成人网| 五月丁香婷成人网| 丁香婷婷五月份| 天天xxxxxx天天日| 97ai婷婷| 五月天婷婷基地综合网| 色婷婷WWW| 婷婷激情五月| 色女人久久| 人妻22p| 九九这里只有精品在线视频| 51国精产品自偷自偷综合 | 婷婷D区| 五月婷婷说| 涩涩婷婷五月| 五月天婷婷小说| 五月丁香综合精品| www.激情五月天.con| 国产激情在线| 亚洲亚洲激情| 大香蕉色婷婷伊人在线| 五月婷婷网五月在线| 色五月婷婷91在线| 一区二区成人电影| 少妇激情五月婷婷| 激情婷| 97se视频在线| 99成人网站| 91九九九九九九| 亚洲激情综合| 一夜福利不卡| 99riAV成人在线视频| 性爱视频99| 在线中文字幕视频| 激情AV网| 亚洲最大在线| 噜噜噜噜在线| 婷婷五月天色色| 九九热这里只有精品一| #NAME?| 99色最新在线视频| 激情综合丁香| 99热精品在线| 久色视频首页| 国产色香蕉精品五夜婷| 俺去也五月天| 亚洲成人噜噜| www.com亚洲网站在线免费| 国产一级片| 丁香五月AV综合激情| 第1影院之五月婷婷| 在线日韩视频| 色5月婷婷| 久久五月天视频| .精品久久久麻豆国产精品| 日韩无码色色| 色在线五月天免费| 婷婷激情视频| 人妻激情久久| 激情五月婷婷网| 婷婷久久六月费| 激情五月天色色色| 五月天激情国产综合婷婷婷| 久久99综合网| 伊人网色婷婷五月天| 色婷婷综合久久久久| 九九热九九| 国产色五月| 婷婷丁香五月天哟啪| 26uuu成人网| 欧美精品99| 亚洲色欲AAAAAA| 激情综合网五月| 艹B高清无码| 9l视频自拍九色9l视频自拍九色9l社区 | 五月激情婷婷国产精品久久久久久| 拍真实国产伦偷精品| 人人操AV| 日韩精品无码99| 五月6香色婷婷视频| 五月婷婷9| 中文字幕欧美日韩VA免费视频| 亚洲天堂大香蕉| 女力报到正好爱上你| 亚洲五月天第一综合干| 狠狠色丁香久久婷婷综合五月| 欧美槡BBBB槡BBB少妇| 久久ww| 天天操天天曰| 综合热无码| 九九热在线亚洲免费视频| www.99热在线| 国内精品免费一区二区2009| 色色婷婷丁香| 开心五月婷婷激情| 亚洲色图五月丁香| 激情久久综合网| 综合亚洲色色| 丁香色六月婷婷| 99九九免费精品| 九九热123| 狠狠五月天| 五月天综合在线| 思思99热| 天堂AV在线看| 亚州激情网站无码| 久热只有这里有精品| www激情网站| 久久五月婷综合网| 婷婷丁香五月在线观看91| 国产精自产拍久久久久久蜜| 亚洲操人| 99热成人| 另类专区在线观看| 日本狠狠色| 亚州视频九九99| 99热这里只有精品21| 97色碰| 色欲丁香| 久久9热| 9久久久| 婷婷丁香五月天色色| 99久久综合狠狠综合久久| 99精品无码| 激情深爱五月天| 成人日韩欧美| 色五月丁香网| www.91操| 久久综合爱| 国产成人AV在线| 9热精品| 91免费看片| 国产精品VA在线| 激情婷婷啪啪| 五月天激情婷婷久久| 日韩99色99| 99视频只有这里精品| 极品五月天| 欧洲激情五月天婷婷| 亚洲激情99| 综合欧美五月婷婷| 2025最新亚洲激情在线| 日本ww亚洲| 亚洲看av的网站| www.五月天。com| 热久久视频99| 久久色五月天综合网| 99视频只有这里精品| 婷婷色色欧美| 综合欧美五月婷婷| 少妇大叫太大太粗太爽了A片| 99久久久久久www| 色婷婷丁香五月天在线观看| 五月婷亚洲精品| 99热69| 国产精品色| 五月婷婷色色| 激情五月天网站| 国产成人精品一区二区三区视频| 天天操人人干| 强壮公让我夜夜高潮A片视频| 一本大道嫩草AV无码专区| 亚洲av无码精品色午夜| 色五月 婷婷, 大香蕉| 成人做爰A片免费看网站找不到了| 久久久亚洲精品一区二区三区浴池 | 亚洲色涩视频| 五月丁香av在线| 色六月天| 天天爱天天吃狠天天透| 日韩色五月| 国产在这里只有精品| 午夜少妇在线观看视频| 99热九九九九| 亚州操操| 影音先锋女人av鲁色资源网小说免费 | 操日本三片99| 色啪影院| 亚洲无码成人性爰网| 五月婷婷久草在线视频综合| 9月色婷婷| 激情五月丁香婷婷| 久久精品国产AV一区二区三区 | 热久91| 91肏| 激情99热| 这里有精品2| 香蕉AV777XXX色综合一区| 色色色色色色色色网站| 成人电影一区| 丁香五月花影院| 久久亚洲无码| 丁香香五月激情免费视频| 五月激情丁香| 人人97碰| 亚洲中字AV电影在线网站| 综合久久综合五月天婷婷| 日本女人久久| 日日婷婷不卡| 97性视频| 亚洲字幕AV一区二区三区四区| 丁香六月青青草| 久9热在线视频| 色在线五月天免费| 色五月婷婷丁香五月| www.91婷婷| 亚洲综合五月天婷婷丁香| 黄色av网站在线免费播放| 91色综合网| 色五月婷婷大| 婷婷五月丁香91| 搡BBBB搡BBB搡五十| 五月婷婷七月丁香| 五月丁香久久综合精品| 色呦呦美女| 九九成人视频| 久久久27操| 草美女在线观看视频在线播放| 天天操夜夜爱| 日日噜噜夜夜狠狠久久丁香五月| 婷婷五月激情综合啪啪| 天干干夜夜操| 精品人人操| 免费色婷婷| 99超级碰碰| 天天操夜夜玩!| 99ri在线视频| 丁香五月综合激情久久潮喷| 久久婷婷伊人| 日操| 97色啪| 九九婷婷激情综合网| 99无码视频| 久久久久丁香婷婷五月天| 五月天婷婷影院| av在线免费网站| 五月丁香啪啪激情| 超碰男人色| 99久久婷婷国产综合精品电影| 亚洲九九夜夜| 女人天堂AV| 亚洲亚洲人成综合网络| 东京热免费视频| 深爱开心激情| 激情涩播| 九九热这里精品| 婷婷久久精品| 啪啪操网| 亚洲AAAA网| 激情五月天社区| 丁香激情五月| 99爱在线精品视频免费观看| 五月天久久色| 六月激情婷婷色| 亚洲视频五区| 婷婷六月香| 五月综合婷婷网| 热久久99热欧美国产亚洲| 丁香五月婷婷www..com| 色婷五月丁香久亚洲| 九九九午夜影院成人| 五月婷婷无码| 偷拍91九色| 婷婷六月丁香欧美视频在线| 日韩久久成人| 九月丁香婷婷| 深夜男女福利刺激影院一区完整| 91久久色| 色色A| 亚洲韩国日产综合AV| 天天橾日日橾夜夜橾17| 丁香五月久久| 婷婷五月天成人五月天| 少妇人妻人伦A片| www,99视频| 蜜桃婷婷五月| 丁香六月激情| 色色色区| 第四色大香蕉| 色天堂97| 亚洲色优| 久久精品五月| 欧美综合激情五月天| 五月丁香婷婷啪啪| 五月丁香色色综合| 91丨九色丨国产打屁股| 人妻性爱av网站| 丁香六月情| 日本69日人视频| 97狠狠色| 色啪影院| 久艹大香蕉| 丁香婷婷综合激情五月色| 丁香五月天AV| 亚洲精品中文字幕成人片| 一级黄色尤物综合视频手机在线观看| 中国操逼99| 4438国产免费看| 人人噜天天上| 97综合视频在线| 激情久久五月网| 久久大香蕉丁香| 99久久精品网| 成人无码精品1区2区3区免费看| 激情五月图| 日本人妻伦在线中文字幕| 99热免费网站| 久久精品99国产精品日本| 情情五月天色| 国产成人AV不卡| 婷婷天天综合| 丁香五月伊人| 狠狠操狠狠操AV| 成人AV中文字幕| 丁香五月天黄色片| 99re熱| 激情五月天视频| 色情婷婷| 免费看欧美成人A片无码| 欧美韩日AAA网站| 91色五月在线观看| 婷婷综合激情| 色综合久久天天综合网| 婷婷操逼| 五月丁香六月婷婷亚洲| 婷婷的五月天另类视频| 五月深爱激情网| 婷婷五月天午夜激情影院| 51XX午夜影福利| 99ri精品| 国产精产国品一二三在观看| 五月宗合激情网| 久久99精品久久久久久三级| 丁香五月六月综合激情| 欧美五月丁香啪啪响视频| 久久综合久色欧美综合狠狠| 激情婷婷啪啪| 五月丁香婷婷色色色| 激情综合五月丁香| 欧美性丁香色色五月天| 97香蕉人人在线观看| 六月撸婷婷| 中文字幕丰满乱孑伦无码专区| 久久精品国产一区二区三区四区| 婷婷五月天偷拍| 激情五月天啪啪| 国产67194| 天天爽天天透天天爱| 男人的天堂99| 亚洲在线综合| 婷婷激情六月综合| 色婷婷激情视频| 99九九在线精品热动漫| www。狠狠干。com| 热婷婷av| 亚洲五月天婷婷| 美女要搞搞天天搞搞搞网站| 日韩在线观看网址| 999久久久国产精品| ri电影在线| 熟妇天天综合| 伊人久久婷婷| 美女激情婷婷| 天天干天天操天天射| 91狠狠综合久久久| 丁香六月婷婷色XXXXX| 国产成人+综合亚洲+天堂| av在线资源| 五月婷av| 婷婷五月婷婷| 亚洲综合色成丁香五月色| 丁香五月综合在线播放| 亚洲另类毛片| 激情五月婷婷| 婷婷五月丁香综合人妻| 成人av在线电影| 色综合网页| 成人AV中文字幕| 在线观看的av| 67194线路二在线观看| 久超超碰| 婷婷五月天a| 开心五月婷婷婷美女| 国产午夜精品一区二区三区四区| 五月婷婷六月天| 五月色欧洲| 日本一级特黄大片AAAAA级| 亚洲国产精品VA在线看黑人 | 专区无日本视频高清8| 天天色亚洲| 免费99情趣网视频| 色婷婷aV四虎| 色人久久| 国产免费一区二区三区三州老师F1F1.CC| 538久久| 亚洲成人高清在线| 日本97在线观看| 久久98| 日韩视频99| 无码毛片992367| 97碰久久| 成人国产网| 99色网站| 99热69| 成人超碰网| 婷婷激情五月综合丁香社| 99狠狠操一| 中字幕视频在线永久在线观看免费| 婷婷五月丁香超碰| 久久久久久天天日天天爱| 欧美日韩国产一区| 久久99免费视频网站| 国产精产国品一二三在观看 | 伊人玖玖精品| 亚洲免费成人电影AV| 色欲久久综合| 婷婷五月电影院| 99这里只有精品|v| 色婷婷影音| 色五月开心婷婷| www.久操| www.色多多婷| 一区二区三区视频| 狠狠摸狠狠摸| 亚洲成人va| 99热精品少| 婷婷色在线观看| 玖玖精品婷婷| 91趴趴| 国产成人+综合亚洲+天堂| 婷婷丁香九月| 99色色视频| 五月天色婷婷网| 五月婷婷熟女| 精a品a视a频| 色九月婷婷丁香| 国产探花一片区| httpwww色com日本| 精品亚洲国产成AV人片传媒| 俺去也五月天| 五月婷婷 自拍| 最近中文字幕大全免费版在线| 丁香九月综合激情| 五月婷婷基地| www.五月天。com| 色丁香五月婷婷婷| 五月婷婷另类| 爱射综合| 爱操人妻| 九九综合影音先锋| 丁香五月花| 欧洲色区| www.夜夜| 婷婷中文字幕| 99热免费精品| 婷婷婷久久久| 六月婷婷啪啪| 五月激激激情综合网| 日日爱699| WWW.99热| 夜夜爽天操| 狠狠干 狠狠操| 亚洲AV激情五月综合网| 婷婷五月综合激情| 久热久| 草草视频91| 亚洲精品V天堂中文字幕| 丁香激情五月| 丁香六月婷| 色综合丁香| 99操逼| 亚洲色五月| 啪啪操超碰| 婷婷六月天天| 丁香大香蕉| 九九色综合九九色| 日韩无码专区| 99精品在这里| 五月天婷婷色| 日本不卡一区二区三区| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 九九99免费理论| 五月婷婷啪啪啪| 色婷婷香蕉| 俺去也婷婷| 这里只有精品视频在线| 欧美色综合天天久久综合精品 | 96性爱视频| 天天操天天操| 99国产小视频| 99色爱| 狠狠狠夜夜夜| 可以免费观看的AV| 丁香五月天网站| 五月丁香影院| 夜夜操天天爽| 色综合天天综合成人网| 久9热视频| 色玖玖| 99久久激情视频| 欧美成人精品A片免费一区99| 三级毛片视频| 天天日日| 婷婷综合色网| 欧美情月伍月天| 丁香五月AV综合| 婷婷五月综合激情小说| 开心五月深爱五月丁香五月激情五月 | 99热在线资源| 久久视屏这里只有久久| 婷婷天天插天天爱| 99只有这里是精品| 天天婷婷色六月| 人妻久久婷婷| 97色在线| AV片一区在线观看| 97成人在线视频精品| 91精产一区三区免费观看| 色五月婷婷中文字幕| 五月丁香久久综合精品| 99热精在线九九久久保| 99色看| 五月激情婷婷女| 亚洲AV网站在线观看| 婷婷综合视频| 久久精彩视频99| 99丝袜精品视频网站| 日韩成人综合网| 激情五月天婷婷激情| 欧美婷| 色玖玖综合| 婷婷成人五月天| 9色在线视频精品观看| 97操视频| 婷婷丁香激情| 狠狠色噜噜狠狠| 99热这里只有精品99| 激情五月天色色色| 美日韩成人| 99色看| 猫咪伊人久久| 狠狠爱青青草| 色哟哟精品| 日日射天天射| 站长推荐无码播放| 色婷五月| 69精品人人人人人人| 亚洲色色在线| 五月www| 超碰猛烈的性猛交| 嫩草极品| 久久综合色五月| 精品九九在线观看| 九九九九这里只有精品| 婷婷的99视频网站| 综合狠久久| 亚洲网视屏| 欧美成人精品一区二区| 在线只有精品| 综合九九中文字幕| 99综合视频在线| 五月丁香六月婷婷激情视频在线观看免费| 婷婷丁香五月亚洲| 2021日韩无码| 五月激情另类| 99国产精品久久久久久久久久久| 日日夜夜干| 中文字幕网站在线观看| 熟女五月天久久综合| 99综合网| 九月激情婷婷丁香| 丁香五月色情av| 玖玖爱伊人网| 婷婷激情四射网| 内射丰满人妻| 亚洲精品99| 色五月,com| 日本久久婷| 人人操人人爱丁香五月| 国产色99| 俺五月| 丁香久月| 丁香婷婷狠狠97| 一级片sese片.COM| 俺去也婷婷| 婷婷五月天天| 那里有AV网址| 久久九九色| 婷婷五月,综合伊人| 五月丁香美女| 亚洲无码色色| 婷婷六月天国产综合| 91丨九色丨熟女高潮| 深爱激情丁香五月| 在线18av | 久久九九综合| 99精品综合视频| 激情色五月天| 伊人五月婷婷| 97人人射| 91丨九色丨熟女丰满| 六月五月婷婷| 嫩草AV久久伊人妇女超级A| 深夜男女福利刺激影院一区完整| 久久久久久五月天| 免费视频WWW在线观看网站| 大香蕉婷婷| 亚洲激情婷婷| 色婷婷情片| 丁香五月婷老师| 久综合4| 女人露出p毛视频www网站| 婷婷刺激综合| 狠狠综合色网| 久久五月综合| 婷婷五月综合在线| 久久婷婷五月| 激情无码网| 99 福利 导航| 精a品a| 九九综合影音先锋 | 91成人电影| 色婷网站| 久久A热| 成人精品视频99在线观看免费| 丁香五月777| 四月丁香五月婷婷久久| 99干在线视频| AV天堂淫乩| 婷婷五月天小说网| 久99热在线观看| 99操免费视频| 1024成人在线观看| 色色色.COM| 日本玖玖在线| 狠狠干 狠狠操| 色色婷婷综合| 六月丁香激情婷婷| 99ER热精品视频| 丁香婷婷久久激情| 久久性爱视频| 亚洲色婷婷激情| 欧美私人家庭影院| WWW,五月天| 97干在线| 久99热| 91碰碰碰| 精品视频这里只有精品| 久久婷婷五月综合| 色亚洲中文| 精品一二三区久久AAA片| 99性爱无码| 九九色情网站| 性爱动图国产麻豆一区二区三区| 人人摸人人| 亚洲欧洲色色| 开心五月深爱五月| 五月色 亚洲| 国产又爽又猛又粗的视频A片| 深爱激情小说五月婷婷| 色狠狠色噜噜AV天堂五区| 色色丁香五月婷婷| 91色性感五月婷婷丁香| 婷婷五月激情在线| 午夜激情久久| 亚洲秘 无码一区二区三区妃光/1| 激情精品久久| 六月婷婷国产| 久久亭亭电影| 五月婷婷六月丁香在线| 丁香五月天天| 激情综合激情综合| 97碰碰碰| 久久婷婷网站| 九九伊人网| 精品一二三区久久AAA片| 色婷婷丁香五月天| 婷色五月天| 色欲五月婷婷| 色噜久| 99热综合网| 久青青久| 韩国中文字幕91| 激情播丁香| 日本少妇裸体做爰高潮片| 婷婷五亚洲| 牛牛色av| 97碰啪啪| 欧美色色色色色| 婷婷亚洲综合| 国产日日操夜夜操的肉棒视频| 日韩成人电泉AV| 色五月婷婷综合| 91fuliwang| 日本一级一片免费视频| 国产亚洲精品人人| 激情五月天伊人av| 91久久综合| 天天干天天爽| 国产26uuu视频| 狠狠色丁香久久综合婷婷亚洲成人福利| 91人碰| 欧美五月丁香在线| 20253AV| 婷婷欧美综合| 日本www五月婷婷| 久热在线观看视频9| 人人干99| 丁香五月天信号| 婷婷五月丁香综合亚洲| 婷婷五月影院| 色视频2025| 伊人九热| 天天射美女| 日日操,日日爽| 97成人在线视频精品| 五月婷婷激情综合| 五月天另类小说亚洲| 涩九九九九| 色情五月停停丁香| 九九综舍久久| 五月天婷婷影院| 丁香 婷婷五月| 人人肏逼视频在线一区二区| 99热都是精品| 国产激情综合五月| 久久五月天免费网站| 五月婷婷六月色| 婷婷五月天亚洲激情戏精品| 成人午夜免费电影| 丰满少妇猛烈A片免费看观看| 另类激情综合| 色婷婷国色天香综合| 亚洲av无码精品色午夜| 久久九九综合| 五月色丁香视频精品| 婷婷五月天最新综合你懂的 | 婷婷天天色| 国产色丁香| 色婷婷香蕉丁丁网| 五月丁香六月综合激情| 色丁香五月综合网| 五月天婷婷香蕉狠狠超碰综合| 亚洲乱码精品久久久久..| 婷婷99狠狠躁| 人人干人人干骚美女| 精品导航在线x不卡| 亚洲综合在线视频| 天天色宗合| 色婷婷综合视频| 日韩人人操| 亚洲综合在线视频| 99久久极情精品一区| 欧洲亚洲免费视频9| 丁香五月婷婷香| 欧美在线视频99| 五月丁香激情综合欧美| 亚洲AV综合在线观看| 欧美,日韩成人在线| 97人人干| 亚洲激情色色| 婷婷丁香五月天影院 | 色五月天中文字幕| 99热在线极品极品| 97碰在线视频| 色婷婷综合网| 天天草天天日| 只有精品视频在线观看| 亚洲中文AV网站| av久热| 久久五月综合| 色婷五月天亚洲| 色色色色五月天| 亚洲精品网址| 国产精品18久久久| 综合色久| 婷婷伊人网| 婷婷五月天亚洲图片| 丁香五月激情天AV无码| 亚洲最大视频网站| 99国产在线精品视频| 五月天另类激情在线| 五月婷婷色影院| 五月丁香六月婷婷网| 色婷婷丁香五月色综合网| 99视频35精品视频在线观看| www狠狠爱com| 99国产精品白浆在线观看免费| 丁香六月婷婷久久综合| 先锋资源婷婷| 五月天狠狠干| 中文网AV| 狠狠99| 亚洲V国产V欧美V久久久久久| 婷婷五月天开心网| 国产成人av在线播放| 激情婷婷五月天| 五月婷婷影视| 色亚洲无码| 玖玖爱伊人| 九九人人自拍| 99ri精品在线观看| 日本激情综合| 久久九九综合| 99毛片| 色色无码| 色99在线观看| 天天摸天天日天天舔| 九九九九九九九热| 婷婷丁香五月激情图片| 色在线五月天免费| 婷婷五月天777| 夜夜操夜夜爽|