欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

SpringCloud集成RabbitMQ實(shí)戰(zhàn):微服務(wù)異步解耦與消息可靠性保障

SpringCloud集成RabbitMQ實(shí)戰(zhàn):微服務(wù)異步解耦與消息可靠性保障 從實(shí)際項(xiàng)目里摸爬滾打過來的人對(duì)微服務(wù)之間的通信問題應(yīng)該都深有體會(huì)。一個(gè)電商訂單下來要通知庫存服務(wù)扣庫存、通知積分服務(wù)加積分、通知短信服務(wù)發(fā)通知如果全部用 Feign 同步調(diào)用一個(gè)服務(wù)抖動(dòng)整條鏈路就卡死數(shù)據(jù)庫連接池一滿全站跟著雪崩。我在項(xiàng)目里引入 SpringCloud 集成 RabbitMQ 之后這套問題才算真正從根上解決了。這篇就把微服務(wù)場景下使用 RabbitMQ 的完整實(shí)踐過程講清楚從協(xié)議原理、消息可靠性保障、死信隊(duì)列、手動(dòng)確認(rèn)到和 RocketMQ、Kafka 的選型對(duì)比以及我實(shí)際部署和排查問題時(shí)踩過的坑一次性說透。1. 微服務(wù)為什么需要 RabbitMQ核心場景與選型思考1.1 什么場景一定會(huì)用到 RabbitMQ很多新手看完教程會(huì)問我寫個(gè) CRUD 接口直接 HTTP 調(diào)用不就完了為什么非要多加一個(gè)中間件這個(gè)疑問很正常但當(dāng)你面臨下面幾類問題的時(shí)候單純靠同步接口是無解的。第一類是異步解耦。用戶下單后核心鏈路是扣庫存、生成訂單、返回支付鏈接這些必須在幾百毫秒內(nèi)完成。但下單后還要發(fā)短信、發(fā) APP 推送、更新用戶積分、給推薦系統(tǒng)發(fā)行為數(shù)據(jù)這些操作每增加一個(gè)同步調(diào)用接口耗時(shí)就增加幾百毫秒而且積分服務(wù)掛了訂單服務(wù)也得跟著回滾這不合理。把短信推送、積分更新等操作丟進(jìn) MQ訂單接口只需要等隊(duì)列寫入成功耗時(shí)天然降下來下游服務(wù)慢一點(diǎn)甚至臨時(shí)宕機(jī)都不影響主鏈路。第二類是流量削峰。秒殺場景下瞬時(shí) QPS 可能到上萬但數(shù)據(jù)庫只能扛幾百的并發(fā)寫。直接在業(yè)務(wù)代碼里寫數(shù)據(jù)庫瞬間就被打爆。用 MQ 擋在前面請(qǐng)求先全部塞進(jìn)隊(duì)列后端訂單消費(fèi)服務(wù)按自己數(shù)據(jù)庫能承受的速度比如每秒鐘處理 500 條慢慢消費(fèi)削峰填谷的效果立竿見影。這里有一個(gè)關(guān)鍵的定量經(jīng)驗(yàn)我會(huì)先壓測(cè)出數(shù)據(jù)庫的寫 TPS 上限再把消費(fèi)者的 prefetch 值設(shè)置成這個(gè) TPS 的一半留一半余量給其他業(yè)務(wù)查詢實(shí)測(cè)下來穩(wěn)定得多。第三類是數(shù)據(jù)廣播。微服務(wù)架構(gòu)里一個(gè)用戶下單事件訂單服務(wù)要通知審計(jì)服務(wù)、風(fēng)控服務(wù)、搜索服務(wù)、大數(shù)據(jù)平臺(tái)。如果用 Feign 逐個(gè)調(diào)用每加一個(gè)下游服務(wù)訂單服務(wù)代碼就要改一版。換成 MQ 的 Fanout 交換機(jī)訂單服務(wù)只管往交換機(jī)發(fā)一條消息所有綁定了這個(gè)交換機(jī)的隊(duì)列都能收到自己的副本下游服務(wù)增減完全不影響上游代碼。這種發(fā)布訂閱模型在架構(gòu)演進(jìn)時(shí)價(jià)值極大。一句話講清楚 RabbitMQ 的定位上游只負(fù)責(zé)把消息可靠地發(fā)出去下游按自己的節(jié)奏和需求來消費(fèi)雙方通過隊(duì)列解耦誰出問題都不影響對(duì)方。1.2 選型對(duì)比RabbitMQ 和 RocketMQ、Kafka 怎么選關(guān)于 RabbitMQ、RocketMQ 和 Kafka 的區(qū)別網(wǎng)上說法很多我結(jié)合自己用過的實(shí)際場景給出一個(gè)比較務(wù)實(shí)的看法。首先明確一個(gè)點(diǎn)沒有任何一個(gè) MQ 是絕對(duì)萬能的。先看 RabbitMQ。它是 Erlang 寫的對(duì) AMQP 協(xié)議支持非常完備路由規(guī)則在三種 MQ 里最靈活。社區(qū)認(rèn)知中它的吞吐量上限通常低于 Kafka但單機(jī)幾萬 QPS 對(duì)絕大多數(shù)業(yè)務(wù)系統(tǒng)完全夠用。而且它有一套很成熟的管理控制臺(tái)消息追蹤、隊(duì)列堆積、連接數(shù)監(jiān)控運(yùn)維成本低到驚人中小團(tuán)隊(duì)首選基本不用養(yǎng)專門的 MQ 運(yùn)維。RocketMQ 是阿里開源給 Java 生態(tài)使用的消息隊(duì)列特點(diǎn)是有事務(wù)消息可以保證本地事務(wù)和發(fā)消息的原子性這在支付、轉(zhuǎn)賬場景里很關(guān)鍵。但帶來的問題是部署運(yùn)維重NameServer、Broker、主從同步、Console 一套下來比 RabbitMQ 復(fù)雜不少。Kafka 的定位是日志采集和流處理吞吐量確實(shí)恐怖每秒幾十萬條毫秒級(jí)延遲。但 Kafka 本身不擅長復(fù)雜路由topic 設(shè)計(jì)簡單而且消費(fèi)端要自己維護(hù) offset對(duì)業(yè)務(wù)開發(fā)者來說心智負(fù)擔(dān)明顯更重。數(shù)據(jù)管道、用戶行為日志這種場景用 Kafka 沒問題拿它做訂單業(yè)務(wù)就有點(diǎn)高射炮打蚊子了。在我參與的項(xiàng)目里選型依據(jù)很簡單業(yè)務(wù)消息量日幾百萬級(jí)以下、看重路由靈活性和開發(fā)效率的用 RabbitMQ涉及嚴(yán)格分布式事務(wù)、必須事務(wù)消息兜底的用 RocketMQ海量日志、指標(biāo)數(shù)據(jù)采集秒級(jí)吞吐要求嚇人的用 Kafka。各干各最擅長的別混用。2. 集成前的環(huán)境準(zhǔn)備安裝部署與核心概念2.1 Windows 和 Docker 環(huán)境下的 RabbitMQ 安裝我最早是直接在 Windows 上裝 RabbitMQ 的。這里必須說新手第一次裝十個(gè)有八個(gè)會(huì)卡在 Erlang 版本號(hào)和 RabbitMQ 版本不匹配上。RabbitMQ 對(duì) Erlang 版本有嚴(yán)格對(duì)應(yīng)關(guān)系看一眼官方版本對(duì)照表再下載能避開一大半的坑。裝的時(shí)候先把 Erlang 裝了配好 ERLANG_HOME 環(huán)境變量再裝 RabbitMQ最后裝 rabbitmq_management 插件。命令行窗口用管理員身份運(yùn)行rabbitmq-plugins enable rabbitmq_management裝完訪問http://localhost:15672默認(rèn)賬號(hào) guest / guest 就能進(jìn)管理界面了。但如果你是在云服務(wù)器上部署guest 默認(rèn)只能 localhost 登錄遠(yuǎn)程訪問必須另建賬號(hào)并配置 vhost 權(quán)限。后來圖省事我直接改用 Docker 了是真省心。一條命令依賴全給你裝好docker run -d --name rabbitmq \ -p 5672:5672 -p 15672:15672 \ -e RABBITMQ_DEFAULT_USERadmin \ -e RABBITMQ_DEFAULT_PASSadmin123 \ rabbitmq:3.12-management注意鏡像 tag 一定要帶 management 后綴否則起來的鏡像沒有管理界面插件。我踩過一次坑用的 rabbitmq:3.12 不帶后綴容器起來了 5672 端口通15672 死活不回應(yīng)后來才發(fā)現(xiàn)是鏡像本身沒帶控制臺(tái)插件。2.2 核心概念掃盲交換機(jī)、隊(duì)列、路由鍵的關(guān)系不把 RabbitMQ 的消息模型搞清楚后面寫代碼就是抄模板出了問題不會(huì)排查。這里用生活里的事打比方來理解。想象一個(gè)快遞中轉(zhuǎn)站。生產(chǎn)者就是寄快遞的商家交換機(jī)Exchange就是中轉(zhuǎn)站的調(diào)度臺(tái)隊(duì)列Queue就是快遞員手上的配送單消費(fèi)者就是收快遞的人。商家寄件時(shí)只需要把包裹交給調(diào)度臺(tái)并說清楚目的地調(diào)度臺(tái)根據(jù)他寫的地址把包裹分配到對(duì)應(yīng)的配送單上快遞員按配送單派送收件人接收。這里商家說的目的地在 RabbitMQ 里叫路由鍵Routing Key調(diào)度臺(tái)按什么規(guī)則分配包裹取決于交換機(jī)類型。有三種常用的交換機(jī)Direct 交換機(jī)完全匹配路由鍵精確投遞一對(duì)一的場景最常用Topic 交換機(jī)按通配符模糊匹配比如order.*能匹配order.create和order.cancel適合需要按消息類型分類消費(fèi)的場景Fanout 交換機(jī)不看路由鍵直接廣播給所有綁定的隊(duì)列就像廣播電臺(tái)所有收音機(jī)都能收到。還有一個(gè) Headers 交換機(jī)按消息頭的 key-value 匹配實(shí)際業(yè)務(wù)里用得少我基本不碰。你還要理解Binding這個(gè)概念就是交換機(jī)和隊(duì)列之間建立的那條配送規(guī)則。生產(chǎn)者在綁定交換機(jī)的時(shí)候要同時(shí)指定隊(duì)列名稱和路由鍵。Bean public Binding binding() { return BindingBuilder .bind(orderQueue()) .to(orderExchange()) .with(order.create); }這段話的含義是消息發(fā)到orderExchange這個(gè)交換機(jī)時(shí)如果路由鍵是order.create就進(jìn)入orderQueue這個(gè)隊(duì)列。很多新手把 Queue 上的 name 和 Binding 的 with 混為一談其實(shí)前者是隊(duì)列名后者是路由鍵兩個(gè)概念別搞混了。3. SpringCloud 項(xiàng)目接入從依賴配置到第一個(gè)可靠消息3.1 依賴引入與核心配置項(xiàng)解析在 SpringCloud 項(xiàng)目里集成 RabbitMQ用的是 Spring Boot 的 starter 封裝。基礎(chǔ)依賴就一個(gè)dependency groupIdorg.springframework.boot/groupId artifactIdspring-boot-starter-amqp/artifactId /dependency如果項(xiàng)目用的是 SpringCloud 版本管理 BOM不需要額外指定版本號(hào)它會(huì)自動(dòng)匹配兼容版本。這里我說一個(gè)重要經(jīng)驗(yàn)永遠(yuǎn)不要手工指定 spring-boot-starter-amqp 的版本號(hào)讓 SpringCloud BOM 統(tǒng)一管理。我見過一次事故同事手動(dòng)指定版本結(jié)果和當(dāng)前 SpringCloud 版本不兼容消息發(fā)送時(shí) SerializationException 滿天飛查了半天才發(fā)現(xiàn)是版本沖突。application.yml 里核心配置項(xiàng)是這些spring: rabbitmq: host: 127.0.0.1 port: 5672 username: admin password: admin123 virtual-host: / publisher-confirm-type: correlated publisher-returns: true listener: simple: acknowledge-mode: manual prefetch: 50 retry: enabled: true max-attempts: 3 initial-interval: 1000 multiplier: 2 default-requeue-rejected: false逐項(xiàng)講一下這些配置背后的邏輯這是面試官最愛問的點(diǎn)也是實(shí)際線上出問題時(shí)要調(diào)的參數(shù)。publisher-confirm-type: correlated是開啟生產(chǎn)者確認(rèn)發(fā)送端能確知消息是否真正到達(dá)交換機(jī)。消息到達(dá)交換機(jī)后RabbitMQ 會(huì)回調(diào)一個(gè) ConfirmCallback 告訴你發(fā)送成功還是失敗。publisher-returns: true是開啟消息未投遞到隊(duì)列時(shí)的退回機(jī)制也就是消息到了交換機(jī)但沒匹配到任何隊(duì)列RabbitMQ 會(huì)把消息退回給生產(chǎn)者并觸發(fā) ReturnCallback。這兩條加一起才保證從生產(chǎn)者到隊(duì)列這一段不丟消息。acknowledge-mode: manual是手動(dòng) ACK這是線上生產(chǎn)環(huán)境必須的設(shè)置。默認(rèn)的 auto 模式在消費(fèi)者拋出異常時(shí)會(huì)自動(dòng)確認(rèn)消息消息就丟了。手動(dòng)模式把消息確認(rèn)的時(shí)機(jī)交給代碼控制消費(fèi)者處理成功后手動(dòng)調(diào)用 basicAck 告訴 RabbitMQ 可以刪除消息處理失敗時(shí)調(diào)用 basicNack告訴 RabbitMQ 這條消息我沒處理好你看著辦。prefetch是消費(fèi)者每次從隊(duì)列拉取多少條消息到本地緩存。設(shè)太大會(huì)導(dǎo)致消費(fèi)者內(nèi)存被占滿而且某條消息處理時(shí)間過長其他消息一直等在緩存里得不到處理設(shè)太小則吞吐量上不去。我常用的做法是結(jié)合服務(wù)端的線程池大小和業(yè)務(wù)處理耗時(shí)來定處理 50ms 以內(nèi)的消息prefetch 設(shè) 50~100 很合理處理 500ms 以上的消息prefetch 建議壓到 10 以下避免本地積壓太多消息導(dǎo)致內(nèi)存抖動(dòng)。3.2 生產(chǎn)者代碼確認(rèn)回調(diào)與 Return 回退配置只是第一步真正落實(shí)到代碼層面生產(chǎn)者的可靠發(fā)送要這樣寫。我先建一個(gè)配置類注冊(cè)交換機(jī)、隊(duì)列和綁定關(guān)系然后再建發(fā)送消息的 Service。先看交換機(jī)、隊(duì)列與綁定關(guān)系的聲明Configuration public class MqQueueConfig { public static final String ORDER_EXCHANGE order.exchange; public static final String ORDER_QUEUE order.queue; public static final String ORDER_ROUTING_KEY order.create; Bean public DirectExchange orderExchange() { return new DirectExchange(ORDER_EXCHANGE, true, false); } Bean public Queue orderQueue() { return QueueBuilder.durable(ORDER_QUEUE).build(); } Bean public Binding orderBinding() { return BindingBuilder.bind(orderQueue()) .to(orderExchange()) .with(ORDER_ROUTING_KEY); } }這里要留意的細(xì)節(jié)交換機(jī)、隊(duì)列的 durable 參數(shù)都設(shè)為 true代表持久化。這樣 RabbitMQ 重啟后交換機(jī)和隊(duì)列不會(huì)消失。隊(duì)列聲明的時(shí)候我推薦用QueueBuilder.durable().build()這種鏈?zhǔn)綄懛ê罄m(xù)要加 TTL、死信參數(shù)的時(shí)候直接往這個(gè) Builder 上追加即可可讀性比 new Queue(name, true, false, false) 直觀得多。代碼里最好用常量把交換機(jī)名、隊(duì)列名、路由鍵集中管理別在業(yè)務(wù)方法里隨手寫字符串項(xiàng)目大了你根本找不到誰在消費(fèi)誰的消息。然后是發(fā)送消息的核心代碼。我需要讓 RabbitTemplate 在消息確認(rèn)和消息退回時(shí)都留下日志方便排查Service Slf4j public class OrderMessageProducer { private final RabbitTemplate rabbitTemplate; public OrderMessageProducer(RabbitTemplate rabbitTemplate) { this.rabbitTemplate rabbitTemplate; // 消息到達(dá)交換機(jī)的確認(rèn)回調(diào) rabbitTemplate.setConfirmCallback((correlationData, ack, cause) - { if (ack) { log.info(消息發(fā)送成功correlationId {}, correlationData.getId()); } else { log.error(消息發(fā)送失敗correlationId {}, cause {}, correlationData.getId(), cause); } }); // 消息未投遞到隊(duì)列的退回回調(diào) rabbitTemplate.setReturnsCallback(returned - { log.error(消息被退回exchange {}, routingKey {}, body {}, returned.getExchange(), returned.getRoutingKey(), new String(returned.getMessage().getBody())); }); } public void sendOrderMessage(String orderJson) { CorrelationData correlationData new CorrelationData(UUID.randomUUID().toString()); rabbitTemplate.convertAndSend( MqQueueConfig.ORDER_EXCHANGE, MqQueueConfig.ORDER_ROUTING_KEY, orderJson, correlationData ); } }第二個(gè)方法第一步setConfirmCallback通常在構(gòu)造器里執(zhí)行一次就夠了因?yàn)樗侨旨?jí)別的回調(diào)。實(shí)際操作里很多人是在每次 send 方法前回調(diào)設(shè)置一遍也能跑通但沒有必要會(huì)對(duì)后續(xù)排查日志造成一定干擾。注意這里correlationData的 id 我用 UUID 生成目的就是能在回調(diào)日志里精確定位到某一條消息排查線上問題時(shí)特別有用。還有個(gè)細(xì)節(jié)convertAndSend方法發(fā)送字符串的時(shí)候?qū)嶋H走的是 SimpleMessageConverter 默認(rèn)的序列化方式將字符串轉(zhuǎn)成 UTF-8 字節(jié)數(shù)組。如果你直接發(fā)一個(gè) Java 對(duì)象默認(rèn)會(huì)用 JDK 序列化那么消費(fèi)者端也要用 JDK 反序列化類名還要完全一致這對(duì)微服務(wù)之間類共享有很強(qiáng)約束。我自己項(xiàng)目中通常是發(fā)送 JSON 字符串讓每個(gè)微服務(wù)自己反序列化成自己的 DTO避免模塊間強(qiáng)依賴這是微服務(wù)架構(gòu)的基本原則。3.3 消費(fèi)者代碼手動(dòng) ACK 與重試機(jī)制的配合消費(fèi)者這端是坑最多的地方。很多教程里只寫一個(gè)RabbitListener加上RabbitHandler方法執(zhí)行完就算完事了。但真實(shí)生產(chǎn)環(huán)境必須處理消費(fèi)失敗、消息重試、冪等這幾個(gè)問題。先看一個(gè)標(biāo)準(zhǔn)的手動(dòng) ACK 消費(fèi)示例Component Slf4j public class OrderMessageConsumer { RabbitListener(queues MqQueueConfig.ORDER_QUEUE) public void handleOrderCreate(Message message, Channel channel) throws Exception { long deliveryTag message.getMessageProperties().getDeliveryTag(); String body new String(message.getBody(), StandardCharsets.UTF_8); try { log.info(收到訂單消息{}, body); OrderDTO orderDTO JSON.parseObject(body, OrderDTO.class); // 核心業(yè)務(wù)邏輯扣庫存、更新訂單狀態(tài)、記錄日志 orderService.handleOrderCreated(orderDTO); // 業(yè)務(wù)處理成功手動(dòng)確認(rèn) channel.basicAck(deliveryTag, false); } catch (Exception e) { log.error(訂單消息處理失敗deliveryTag {}, deliveryTag, e); // 確認(rèn)是否已處理過 if (isProcessed(orderDTO.getId())) { channel.basicAck(deliveryTag, false); return; } // 處理失敗不重回隊(duì)列轉(zhuǎn)為死信 channel.basicNack(deliveryTag, false, false); } } }手動(dòng) ACK 的三個(gè)方法要搞清楚basicAck(deliveryTag, false)確認(rèn)成功RabbitMQ 刪除這條消息。第二個(gè)參數(shù) false 表示只確認(rèn)當(dāng)前這條消息不批量。basicNack(deliveryTag, false, true)第三個(gè)參數(shù) true 表示重回隊(duì)列注意這非常危險(xiǎn)如果消息本身有問題回到隊(duì)列會(huì)被再消費(fèi)一次然后再次 Nack形成無限循環(huán)消費(fèi)把 CPU 打滿日志刷屏。basicNack(deliveryTag, false, false)不重回隊(duì)列直接丟棄或進(jìn)死信。生產(chǎn)環(huán)境的重試機(jī)制我推薦用 Spring AMQP 自帶的retry配置而不是在消費(fèi)者代碼里自己寫 for 循環(huán)。配置文件里的 retry 參數(shù)組合起來是這樣的邏輯消費(fèi)者處理拋出異常后Spring 會(huì)按initial-interval開始重試每次重試間隔按multiplier倍數(shù)遞增最大嘗試次數(shù)是max-attempts。三次都失敗之后配合default-requeue-rejected: false這條消息才會(huì)被拒絕并投遞到死信交換機(jī)。所以在消費(fèi)者方法內(nèi)部我只需要拋異常就行重試過程交給框架處理代碼更干凈。還有一個(gè)容易忽略的關(guān)鍵點(diǎn)消費(fèi)者方法的冪等性。RabbitMQ 的投遞語義是至少一次也就是說極端情況下消息雖然被消費(fèi)成功了但 ACK 在網(wǎng)絡(luò)傳輸中丟失RabbitMQ 端認(rèn)為消息沒被消費(fèi)會(huì)重投。消費(fèi)者必須保證同一筆訂單消息被消費(fèi)兩次和一次結(jié)果一致。我常用的做法是在訂單表上建一個(gè)order_event_id唯一索引消費(fèi)前先查詢或嘗試插入一條冪等記錄能插入就繼續(xù)業(yè)務(wù)處理插入沖突說明已經(jīng)處理過直接投遞成功 ACK。這也解釋了為什么代碼里要有isProcessed(orderDTO.getId())這個(gè)判斷沒有這一層的系統(tǒng)是不完整的。4. 微服務(wù)實(shí)戰(zhàn)拆解死信隊(duì)列、延遲消息與削峰實(shí)踐4.1 訂單超時(shí)關(guān)閉場景TTL 與死信隊(duì)列組合實(shí)現(xiàn)延遲消息很多人剛接觸 RabbitMQ 時(shí)都聽說過它可以做延遲消息。但 RabbitMQ 本身并沒有直接提供延遲隊(duì)列插件支持實(shí)現(xiàn)延遲消息的經(jīng)典方案是利用死信隊(duì)列 消息 TTL。先解釋什么叫死信。消息在隊(duì)列里處于以下幾種狀態(tài)時(shí)就變成了死信消息被消費(fèi)者拒絕且不重回隊(duì)列消息 TTL 到期未被消費(fèi)隊(duì)列長度達(dá)到上限導(dǎo)致消息被丟棄。死信不會(huì)自己消失如果隊(duì)列配置了死信交換機(jī)RabbitMQ 會(huì)把死信重新投遞到指定的死信交換機(jī)再由死信交換機(jī)路由到對(duì)應(yīng)的死信隊(duì)列。下面的代碼聲明了一個(gè) 30 秒 TTL 的訂單超時(shí)隊(duì)列并綁定了死信交換機(jī)Configuration public class OrderTimeoutMqConfig { public static final String ORDER_DELAY_EXCHANGE order.delay.exchange; public static final String ORDER_DELAY_QUEUE order.delay.queue; public static final String ORDER_DEAD_EXCHANGE order.dead.exchange; public static final String ORDER_DEAD_QUEUE order.dead.queue; // 延遲隊(duì)列消息在這里等 30 秒 Bean public DirectExchange orderDelayExchange() { return new DirectExchange(ORDER_DELAY_EXCHANGE, true, false); } Bean public Queue orderDelayQueue() { return QueueBuilder.durable(ORDER_DELAY_QUEUE) .ttl(30000) .deadLetterExchange(ORDER_DEAD_EXCHANGE) .deadLetterRoutingKey(order.timeout) .build(); } // 死信交換機(jī)與死信隊(duì)列消息過期后到這里 Bean public DirectExchange orderDeadExchange() { return new DirectExchange(ORDER_DEAD_EXCHANGE, true, false); } Bean public Queue orderDeadQueue() { return QueueBuilder.durable(ORDER_DEAD_QUEUE).build(); } Bean public Binding delayBinding() { return BindingBuilder.bind(orderDelayQueue()) .to(orderDelayExchange()) .with(order.delay); } Bean public Binding deadBinding() { return BindingBuilder.bind(orderDeadQueue()) .to(orderDeadExchange()) .with(order.timeout); } }這里有一個(gè)需要特別提醒的隊(duì)列級(jí)別的 TTL 一旦設(shè)置隊(duì)列里的所有消息共享這個(gè)過期時(shí)間。如果你需要在同一個(gè)隊(duì)列中放不同延遲時(shí)間的消息比如訂單超時(shí)關(guān)閉是 30 秒自動(dòng)確認(rèn)收貨是 7 天就不能用隊(duì)列級(jí) TTL需要單獨(dú)建隊(duì)列。隊(duì)列級(jí) TTL 還有個(gè)大坑一條消息只在隊(duì)列頭部被檢查是否過期如果隊(duì)列頭部那條消息的 TTL 很長后面的消息即使 TTL 更短也只能等頭部消息先被消費(fèi)或過期。所以實(shí)際業(yè)務(wù)里不同延遲時(shí)間務(wù)必拆分到不同隊(duì)列。下單時(shí)訂單服務(wù)把訂單號(hào)發(fā)到order.delay.exchange路由鍵order.delay消息進(jìn)入order.delay.queue等待 30 秒。30 秒后消息變?yōu)樗佬磐哆f到order.dead.exchange再路由到order.dead.queue。此時(shí)專門負(fù)責(zé)關(guān)閉超時(shí)訂單的消費(fèi)者從死信隊(duì)列拿到訂單號(hào)查詢訂單狀態(tài)如果還是未支付則改成已超時(shí)關(guān)閉Component Slf4j public class OrderTimeoutConsumer { RabbitListener(queues OrderTimeoutMqConfig.ORDER_DEAD_QUEUE) public void handleTimeout(Message message, Channel channel) throws Exception { long deliveryTag message.getMessageProperties().getDeliveryTag(); String orderId new String(message.getBody(), StandardCharsets.UTF_8); try { log.info(收到訂單超時(shí)消息orderId {}, orderId); orderService.closeTimeoutOrder(orderId); channel.basicAck(deliveryTag, false); } catch (Exception e) { log.error(處理訂單超時(shí)消息失敗orderId {}, orderId, e); channel.basicNack(deliveryTag, false, false); } } }如果你想在消息級(jí)別設(shè)置獨(dú)立的 TTL也可以用MessageProperties的setExpiration方法在發(fā)送時(shí)動(dòng)態(tài)指定。關(guān)于消息級(jí) TTL 有一個(gè)注意點(diǎn)如果同時(shí)設(shè)置了隊(duì)列級(jí) TTL 和消息級(jí) TTL取兩者中較小的值。單條消息過期后并不會(huì)立即變成死信而是要等它排到隊(duì)列頭部時(shí)才會(huì)被判定所以如果你對(duì)延遲精確到秒最好直接建獨(dú)立隊(duì)列不要依賴隊(duì)列里堆多個(gè)不同消息級(jí) TTL 的消息。延遲消息還有更簡單的做法安裝 RabbitMQ 官方延遲消息插件 rabbitmq_delayed_message_exchange但考慮到插件在集群環(huán)境部署的一致性要求團(tuán)隊(duì)需要先聲明是否允許依賴額外插件基于當(dāng)前團(tuán)隊(duì)情況我用 TTL 死信方案零插件、邏輯清晰、可控性強(qiáng)適用于大多數(shù)訂單超時(shí)場景。4.2 秒殺削峰場景限流消費(fèi)與庫存防超賣把 MQ 作為秒殺系統(tǒng)的入口是非常典型的削峰填谷實(shí)踐。用戶點(diǎn)秒殺按鈕后請(qǐng)求直接被網(wǎng)關(guān)丟進(jìn) MQ后端秒殺消費(fèi)者按照自己處理能力慢慢消費(fèi)把瞬時(shí)高并發(fā)轉(zhuǎn)化為均勻的數(shù)據(jù)庫寫入流。這里最核心的一個(gè)坑是庫存防超賣。如果消費(fèi)者每收到一個(gè)秒殺請(qǐng)求就去數(shù)據(jù)庫查一下庫存發(fā)現(xiàn)大于零然后執(zhí)行UPDATE stock SET count count - 1 WHERE goods_id ?。你覺得自己寫對(duì)了但在高并發(fā)下多個(gè)消費(fèi)者線程同時(shí)讀到剩余庫存為 1然后同時(shí)執(zhí)行 UPDATE庫存會(huì)變成負(fù)數(shù)。解決方案是加條件更新讓數(shù)據(jù)庫自己去保證原子性UPDATE stock SET count count - 1 WHERE goods_id #{goodsId} AND count 0;判斷影響行數(shù)如果影響行數(shù)為 1說明扣減成功為 0說明庫存不足或已賣完該請(qǐng)求直接當(dāng)失敗處理。這是最簡單、最不容易出錯(cuò)的高并發(fā)庫存扣減方案比 Java 代碼里加鎖或分布式鎖都可靠得多。Redis 預(yù)扣減當(dāng)然更快但如果第一版還沒引入 Redis用這個(gè) SQL 方案就足夠穩(wěn)妥。MQ 在秒殺場景還有一層重要用途錯(cuò)峰落庫。秒殺請(qǐng)求先寫訂單表創(chuàng)建一條狀態(tài)為待支付的訂單這個(gè)過程是高頻寫支付回調(diào)再更新訂單狀態(tài)為已支付這個(gè)過程是低頻寫。直接把兩層都做成 MQ 異步處理數(shù)據(jù)庫的并發(fā)寫入壓力會(huì)被攤平到整個(gè)秒殺時(shí)段而不是集中在開搶后那幾秒業(yè)務(wù)才能穩(wěn)定運(yùn)行。4.3 消息不丟失從交換機(jī)到隊(duì)列再到消費(fèi)者的三段保障面試?yán)镒畛柕?RabbbitMQ 問題就是怎么保證消息不丟失。這個(gè)問題分三段回答缺一段都不完整。第一段生產(chǎn)者到交換機(jī)。默認(rèn)情況下生產(chǎn)者用convertAndSend發(fā)消息如果發(fā)到了一個(gè)不存在的交換機(jī)消息直接丟失生產(chǎn)者毫無感知。開啟publisher-confirm-type: correlated后RabbitMQ 會(huì)回調(diào)你的 ConfirmCallback告訴你消息有沒有被交換機(jī)接收。需要注意ConfirmCallback 只管到交換機(jī)這一段消息進(jìn)了交換機(jī)但沒找到隊(duì)列它不會(huì)觸發(fā)失敗回調(diào)。第二段交換機(jī)到隊(duì)列。路由器把你的消息匹配到隊(duì)列如果沒匹配上任何隊(duì)列RabbitMQ 默認(rèn)直接丟棄。開啟publisher-returns: true后匹配不到隊(duì)列的消息會(huì)被退回生產(chǎn)者你的 ReturnCallback 會(huì)收到一條 returnedMessage里面能拿到 exchange、routingKey 和消息體適合做告警和重發(fā)。第三段隊(duì)列到消費(fèi)者。隊(duì)列收到消息后如果消費(fèi)者處理完就 ACK 了消息就安全了。但假如消費(fèi)者在 ACK 之前崩潰消息會(huì)重新回到隊(duì)列等待其他消費(fèi)者處理。這種重投的語義就要靠前面說的冪等設(shè)計(jì)來兜底。這三段保障組合起來就是我們常說的消息不丟失的完整鏈路。在實(shí)際工程里我建議消息生產(chǎn)方和消費(fèi)方都以數(shù)據(jù)庫一張消息記錄表作為最終對(duì)賬依據(jù)發(fā)送時(shí)先本地落一條 status PENDING 的記錄收到交換機(jī)確認(rèn)回調(diào)后更新為 SENT然后有個(gè)定時(shí)任務(wù)掃描超過 1 分鐘仍未 SENT 的記錄補(bǔ)發(fā)消費(fèi)方也記錄一條處理狀態(tài)在 T1 或者實(shí)時(shí)對(duì)賬任務(wù)中核對(duì)兩邊的狀態(tài)發(fā)現(xiàn)不一致就走補(bǔ)償處理。這套機(jī)制被稱為對(duì)賬閉環(huán)有了它中間件層面即使出點(diǎn)小問題業(yè)務(wù)數(shù)據(jù)也能最終一致。5. 高頻問題排查實(shí)錄安裝失敗、消費(fèi)阻塞、消息積壓5.1 安裝與啟動(dòng)失敗問題速查我在實(shí)際部署 RabbitMQ 時(shí)遇到的啟動(dòng)失敗問題歸納下來就這么幾類先對(duì)照排查現(xiàn)象常見原因解決辦法Windows 啟動(dòng)服務(wù)后端口 5672 無響應(yīng)Erlang 版本與 RabbitMQ 不兼容對(duì)照官方版本兼容表重新安裝匹配版本Docker 啟動(dòng)后 15672 無法訪問鏡像沒帶 management 插件或端口映射遺漏換用 rabbitmq:3.12-management 鏡像檢查 -p 參數(shù)啟動(dòng)服務(wù)提示 unable to connect to epmdErlang 節(jié)點(diǎn)名或主機(jī)名解析異常檢查 hosts 文件把主機(jī)名映射到 127.0.0.1重新執(zhí)行 rabbitmq-server -detached集群模式下節(jié)點(diǎn)間無法通信cookie 不一致全集群同步 .erlang.cookie 文件并統(tǒng)一權(quán)限Windows 上的坑我最想說的是環(huán)境變量。有一次啟動(dòng)服務(wù)后后臺(tái)日志一直報(bào) VM 啟動(dòng)失敗 的錯(cuò)誤看了半天才發(fā)現(xiàn)是系統(tǒng)環(huán)境變量ERLANG_HOME沒有配置RabbitMQ 服務(wù)管理器拿著空路徑去找 Erlang 運(yùn)行時(shí)自然起不來。另外 Windows 下千萬別裝到帶中文和空格的路徑下也會(huì)遇到莫名的啟動(dòng)問題。5.2 消費(fèi)速度慢與消息積壓排查線上最容易出的一類問題就是管理后臺(tái)看著隊(duì)列瘋狂堆積消息消費(fèi)者服務(wù) CPU 也不高但消息就是消費(fèi)不過來。這塊請(qǐng)求量一大積壓就肉眼可見地增加。先從最常用的手段排查打開 RabbitMQ 管理頁面進(jìn)入 Queue 頁面注意幾個(gè)指標(biāo)Ready是等待消費(fèi)的消息數(shù)量Unacked是已經(jīng)推給消費(fèi)者但還沒確認(rèn)的數(shù)量Consumer count是當(dāng)前消費(fèi)者數(shù)量。如果Unacked很大說明消息已經(jīng)推給消費(fèi)者了但消費(fèi)者程序處理不過來或卡在某個(gè)調(diào)用上如果Unacked很小但Ready很大說明消費(fèi)者拉的速度太慢要考慮 prefetch 和線程數(shù)。程序?qū)用嫦瓤聪M(fèi)者方法有沒有慢調(diào)用。比如扣庫存要調(diào)數(shù)據(jù)庫數(shù)據(jù)庫一條 SQL 慢查詢了 2 秒那么消費(fèi)者線程就被占住 2 秒一分鐘只能處理 30 條隊(duì)列怎么可能不積壓。我一般習(xí)慣先看日志里消費(fèi)者處理單條消息的平均耗時(shí)再查數(shù)據(jù)庫慢 SQL 日志基本能找到問題所在。如果單條消息處理耗時(shí)正常但依然積壓可以調(diào)大concurrency參數(shù)。RabbitListener注解上可以直接指定RabbitListener(queues MqQueueConfig.ORDER_QUEUE, concurrency 10-20)這個(gè)10-20表示初始 10 個(gè)消費(fèi)者線程最大 20 個(gè)根據(jù)隊(duì)列負(fù)載自動(dòng)擴(kuò)容。要注意并發(fā)線程數(shù)不能無限大它受限于數(shù)據(jù)庫連接池大小如果連接池只有 20 個(gè)連接你把消費(fèi)者并發(fā)開到 100數(shù)據(jù)庫連接會(huì)被耗盡連帶其他業(yè)務(wù)接口一起雪崩。我一個(gè)項(xiàng)目里就吃過這個(gè)虧消息積壓太猛我把并發(fā)開到了 50結(jié)果數(shù)據(jù)庫連接池被消費(fèi)者線程全部占滿整個(gè)訂單服務(wù)對(duì)外接口超時(shí)事故級(jí)別從 P2 直接升級(jí)到 P0。后面我定了一條規(guī)矩消費(fèi)者并發(fā)線程數(shù) 數(shù)據(jù)庫連接池最大值的一半留一半給常規(guī) HTTP 業(yè)務(wù)從此再?zèng)]因?yàn)?MQ 消費(fèi)把連接池打爆過。如果消息積壓已經(jīng)非常嚴(yán)重比如積壓了幾百萬條而且這些消息不是最新業(yè)務(wù)產(chǎn)生的我建議用重置隊(duì)列的方式把已有的積壓消息全部清空或者通過死信方式丟棄讓消費(fèi)者只處理新消息避免消費(fèi)者線程長時(shí)間處理舊數(shù)據(jù)而無法及時(shí)響應(yīng)新請(qǐng)求。這在業(yè)務(wù)上要看場景不能一概而論但比死磕把積壓消息全消費(fèi)完往往更符合業(yè)務(wù)連續(xù)性。5.3 手動(dòng)確認(rèn)模式下最容易犯的三個(gè)錯(cuò)誤很多團(tuán)隊(duì)從 auto 模式切到 manual 模式后反而出了更多問題。這里說三個(gè)我見過最多的。第一個(gè)錯(cuò)誤消費(fèi)者方法里鎖沒釋放就拋異常。手動(dòng)確認(rèn)模式下如果你在處理消息時(shí)拿到了分布式鎖然后業(yè)務(wù)邏輯出現(xiàn)異常走了 basicNack但鎖的 finally 釋放代碼沒寫對(duì)鎖就一直被別人持有會(huì)導(dǎo)致后續(xù)所有同類消息都被卡住。處理機(jī)制是始終用 try-finally 包裹鎖釋放邏輯。第二個(gè)錯(cuò)誤對(duì)重試機(jī)制理解不深導(dǎo)致重復(fù)執(zhí)行。配置了 retry 之后Spring 會(huì)在消費(fèi)者方法拋異常時(shí)自動(dòng)重試但同一個(gè)消息的方法會(huì)被執(zhí)行多次。如果你在方法內(nèi)先扣了庫存再拋異常Spring 又會(huì)帶著同一筆訂單重新進(jìn)入方法再扣一次庫存庫存就超賣了。所以只要消費(fèi)者的業(yè)務(wù)操作涉及寫操作就必須先做冪等判斷再執(zhí)行真正的業(yè)務(wù)邏輯。這套先冪等后業(yè)務(wù)的順序是鐵律任何情況下都不能換。第三個(gè)錯(cuò)誤是把 basicNack 的 requeue 參數(shù)一直設(shè)為 true重試兩次后仍失敗繼續(xù)重回隊(duì)列直接死循環(huán)。RabbitMQ 不會(huì)因?yàn)橥粭l消息重投了 N 次就自動(dòng)放棄它如果你在代碼里沒有失敗次數(shù)判斷它會(huì)無限循環(huán)下去。我在消息屬性里加了x-death頭判斷它在消息變成死信時(shí)記錄下被投遞的次數(shù)消費(fèi)的時(shí)候讀取這個(gè)頭一旦大于 3 次直接丟棄不再重投。你可以直接試這個(gè)方案// 在消費(fèi)者中獲取重試次數(shù) Object deathHeader message.getMessageProperties().getHeaders().get(x-death); int retryCount 0; if (deathHeader instanceof List !((List?) deathHeader).isEmpty()) { Map?, ? death (Map?, ?) ((List?) deathHeader).get(0); retryCount ((Number) death.get(count)).intValue(); } if (retryCount 3) { channel.basicAck(deliveryTag, false); log.error(消息重試超過3次丟棄消息{}, body); }5.4 SpringCloud 環(huán)境下的特別注意事項(xiàng)在 SpringCloud 框架下集成 RabbitMQ有一個(gè)配置問題容易被忽略如果項(xiàng)目同時(shí)引入了 SpringCloud Stream那它默認(rèn)會(huì)占用 RabbitMQ 的連接并創(chuàng)建名為binder的交換機(jī)。如果你同時(shí)又用原生RabbitTemplate發(fā)消息會(huì)有兩套連接。配置稍微給錯(cuò)一點(diǎn)就會(huì)出現(xiàn)消息發(fā)到binder交換機(jī)而自己的隊(duì)列收不到的情況。我的經(jīng)驗(yàn)是一個(gè)微服務(wù)內(nèi)要么統(tǒng)一用 SpringCloud Stream 的 StreamListener要么統(tǒng)一用原生 RabbitTemplate RabbitListener不要混用否則排查問題時(shí)要同時(shí)看兩套配置邏輯心智負(fù)擔(dān)翻倍。還有 Nacos 注冊(cè)中心配合使用時(shí)的注意事項(xiàng)。SpringCloud 微服務(wù)通常用 Nacos 做配置中心RabbitMQ 的連接參數(shù)往往也放在 Nacos 配置中動(dòng)態(tài)刷新。如果你把spring.rabbitmq.host、spring.rabbitmq.username等配置寫在 Nacos 里并且開啟了配置動(dòng)態(tài)刷新那么修改密碼后部分情況下需要重建 ConnectionFactory 的實(shí)例否則刷新不生效。我踩過一次配置改了不生效的坑后來排查到是 ConnectionFactory 在應(yīng)用啟動(dòng)時(shí)已經(jīng)緩存了舊連接據(jù)說要顯式調(diào)用 resetConnection于是干脆把 MQ 連接參數(shù)單獨(dú)拆到一個(gè)獨(dú)立的配置文件不經(jīng) Nacos 動(dòng)態(tài)刷新修改時(shí)需要重啟消費(fèi)者服務(wù)這樣反而更可控。最后說一個(gè)比較玄但很實(shí)用的事RabbitMQ 的客戶端連接是有心跳機(jī)制的默認(rèn)心跳時(shí)間是 60 秒。如果你的微服務(wù)部署在不穩(wěn)定的網(wǎng)絡(luò)上經(jīng)常出現(xiàn)消費(fèi)者斷開連接但服務(wù)進(jìn)程也沒有報(bào)錯(cuò)的現(xiàn)象把配置稍微調(diào)一下spring: rabbitmq: requested-heartbeat: 30 connection-timeout: 10000心跳時(shí)間短一點(diǎn)網(wǎng)絡(luò)異常能更快暴露并被客戶端感知到觸發(fā)重連比等到 60 秒超時(shí)再去恢復(fù)業(yè)務(wù)影響要小很多。6. 從入門到落地我的總結(jié)與擴(kuò)展經(jīng)驗(yàn)如果你今天剛接觸 RabbitMQ我的建議是別急著把各種高級(jí)特性堆上去先把一個(gè)最簡單的一對(duì)一隊(duì)列完整跑通生產(chǎn)者發(fā)送一條消息、消費(fèi)者手動(dòng) ACK、關(guān)閉服務(wù)后重啟驗(yàn)證消息還在。然后再一步步加上交換機(jī)路由、確認(rèn)回調(diào)、死信隊(duì)列。這個(gè)遞進(jìn)過程比我見過的任何教程都能幫你建立對(duì) MQ 的整體感知。接下來說幾個(gè)我在真實(shí)項(xiàng)目里積累的細(xì)節(jié)經(jīng)驗(yàn)這些不太容易在官方文檔里看到但很可能會(huì)在關(guān)鍵時(shí)刻幫你少踩一次坑。第一個(gè)經(jīng)驗(yàn)隊(duì)列聲明使用durable但持久化到磁盤的消息存在刷盤延遲。RabbitMQ 默認(rèn)對(duì)持久化消息是異步刷盤極端情況下機(jī)器掉電確實(shí)可能丟極少量數(shù)據(jù)。對(duì)業(yè)務(wù)消息嚴(yán)格丟不起的場景要么對(duì)消息落庫做補(bǔ)償要么用 Lazy Queue。RabbitMQ 3.12 之后新隊(duì)列默認(rèn)就是 Lazy Queue消息直接走磁盤犧牲一點(diǎn)吞吐?lián)Q取接近零丟失的保障對(duì)訂單、支付這類業(yè)務(wù)值得。第二個(gè)經(jīng)驗(yàn)微服務(wù)拆得越細(xì)別讓 MQ 隊(duì)列跟著拆得越碎。我看到有些團(tuán)隊(duì)為了解耦一個(gè)業(yè)務(wù)事件建一個(gè)交換機(jī)、一個(gè)隊(duì)列結(jié)果沒到一個(gè)月控制臺(tái)里幾十個(gè)隊(duì)列沒人說得清誰在用。我的原則是按業(yè)務(wù)域劃分隊(duì)列不按具體方法劃分。訂單域一個(gè)交換機(jī)路由鍵區(qū)分 create、cancel、pay 等動(dòng)作消費(fèi)方各取所需。后續(xù)擴(kuò)展新消費(fèi)者綁定同一個(gè)交換機(jī)即可不用動(dòng)上游代碼。第三個(gè)經(jīng)驗(yàn)死信隊(duì)列不是萬能的垃圾桶。死信隊(duì)列里堆積的消息要設(shè)置監(jiān)控告警。一旦死信隊(duì)列持續(xù)增長說明消費(fèi)者處理業(yè)務(wù)的大量異常未得到解決。我習(xí)慣把死信隊(duì)列的消費(fèi)邏輯做成一個(gè)補(bǔ)償網(wǎng)關(guān)接到消息后先查消息里的業(yè)務(wù)主鍵然后從業(yè)務(wù)庫里查當(dāng)前狀態(tài)能修復(fù)就調(diào)用補(bǔ)償接口確實(shí)無法處理的再落到日志表里人工介入。如果死信隊(duì)列本身沒人管那它最終就變成了一個(gè)消息垃圾桶既占內(nèi)存又掩蓋問題真正的異常被靜靜埋在里面。還有一點(diǎn)是關(guān)于團(tuán)隊(duì)協(xié)作的。MQ 是典型的跨服務(wù)、跨團(tuán)隊(duì)基礎(chǔ)設(shè)施比接口契約更講究規(guī)范。生產(chǎn)者改了路由鍵消費(fèi)者隊(duì)列的綁定不做相應(yīng)修改消息就會(huì)進(jìn)死信。我們項(xiàng)目的做法是在 Git 倉庫里單獨(dú)維護(hù)一份 MQ 消息規(guī)范文檔用表格列出每個(gè)交換機(jī)、每個(gè)路由鍵、每個(gè)隊(duì)列的負(fù)責(zé)人、業(yè)務(wù)含義、消息體格式示例。每次改動(dòng)都需要同步更新這份文檔在代碼評(píng)審上一并檢查。這套流程堅(jiān)持下來之后因?yàn)楦南⒏袷綄?dǎo)致的線上問題驟減。最后想說的是RabbitMQ 雖然上手不難但真正要讓它在微服務(wù)架構(gòu)里穩(wěn)定可靠地跑起來需要把可靠性、冪等性、可觀測(cè)性這三件事貫穿始終。消息能發(fā)出去只是工程的下限消息在任何情況下都能不丟不重不積壓才是工程的上限。希望這篇實(shí)踐總結(jié)能幫你在自己的微服務(wù)項(xiàng)目里更穩(wěn)地用好 RabbitMQ。如果后續(xù)有時(shí)間我會(huì)再寫一篇從消費(fèi)端到生產(chǎn)端的鏈路追蹤實(shí)踐講講在消息投遞的全鏈路中如何用 TraceId 串起調(diào)用鏈定位到底是哪一環(huán)拖慢了整個(gè)流程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99综合视频| 婷婷五月天天天| 丰满少妇猛烈A片免费看观看| 色婷婷社区| 日本精品99网站| 亚洲乱码日产精品BD| 五月婷婷色情| 激情婷婷五六月天| 成人看片网站| 美女网黄| 99熟女啪啪视频| 无码AV久久久久久久久| 99re思思久久| 丁香五月天黄色片| 天天综合色| 狠狠擼综合| 99热线观看9| 久久婷婷精品| 色五月天电影| 亚洲免费婷婷| 另类A片| 夜夜操夜夜姧| 久久久久综合激动五月天| 六月婷婷综合久久| 婷婷五月色色| 六月婷婷综合久久| 婷婷人人操| 狠狠色婷婷综合开心影视| 九九久久综合| 99精品免费| 美女激情综合| 天天操婷婷| 这里只有精彩视| VA日本视频| 91久久五月天| 玖玖爱资源站| 五月天激情综合在线| 日韩成人电影av| 日本三级99人妇网站| 人妻少妇色综合| 激情久久丁香| 激情四射五月天| 激情五月婷| 久久人妻www| 色五月天天| 天天日天天添| 五月婷婷综合色拍| 婷婷丁香五月天中文字幕| 91视屏在线观看com.wwwvv| 9久久精品| 影视av久久久噜噜噜噜噜三级| 五月天婷婷色色首页| 婷婷月综合| 丁香五月婷婷深五月| 久久五月天色婷婷| 99er6免费视频热播| 夜夜资源站| 91九色欧美| 操久久精| 婷婷五月天受日本法律保护| 亚洲精品V天堂中文字幕| 狠狠狠狠狠干| 五月天丁香色色| 久久99最新地址| 五月天婷久久| 九久久精品视频99| 欧美成性色| 五月天激情偷拍| 久久视频66| 99久热这里有精品| 国产激情婷婷| 99无码黄色视频| 激情五月综合| 国产色香蕉精品五夜婷| 久热九九| 人人舔人人| se99视频| 思思网站| 综合五月网| 五月婷婷激情综合av| 五月天综合| 五月天狠狠色| 精品人妻午夜一区二区三区四区| 婷婷丁香视频| 99色色最新视频| 精品51XX| 五月天激情综合| 色网五月婷婷| 一起草av| 五月婷婷激情网| 久色资源| 婷婷久久免费| 色人妻五月| 久热免费视频| 亚洲狠狠色丁香婷婷综合久久| 婷婷99狠| 天天婷婷天天| 国产成人网址| 狠狠情色| 极品五月天| 日韩在线视频网站| 在线色婷婷| 久婷婷婷| 日本狠狠网| 天天干天天干天天操| 国产成人精品一区二三区熟女在线| 久久久久久久,99精品视频| 婷婷九月综合| 俺也去在线视频| 狠狠操综合| 久久成人亚洲欧美电影| 久久99激情| 婷婷色正月| 色综合五月天| 成人一级片| 六月丁香五月亭亭| 亚州美女| 日本熟女视频一区二区| 色九月婷婷| av不卡网站| 九九99在线免费在线观看视频| va婷婷在线| 99热思思| 日本天堂久久| 日日激情网| 久热综合| 丁香六月婷婷开心婷婷网| 色丁香五月天射婷婷爱婷婷| 天天爽天天爽| 丁香五月婷婷久久久| 永久的网站AAAA| 99热亚洲精品| 久久男人网婷婷| 91蜜桃婷婷狠狠久久综合9色| 婷婷五月视频| 婷婷在线日韩综合| 丁香六月婷婷色XXXX| 婷婷丁香五月激情密臀av| 激情欧美婷五月| 99视频在线观看网址| 在线99热| 视频这里只有精品| 五月婷丁香| 中文字幕婷婷在线| 26uuu欧美日本| 丰满女老板BD高清A片| 狼人婷婷综合| 婷婷五月天电影区小说区| 无码激情AAAAA片-区区| 色久婷婷网| 深爱婷婷网| 热99免费在线| www.婷婷五月天| 亚洲精级| 裸体美女丁香五月天。| 99热超碰天堂网| 一区二区三区四区无码| 欧美天堂婷婷日韩| 日日舔夜夜操| 五月丁香啪综合| 99re这里只有精品视频了| 久热99| 91九色网| 国产精产国品一二三在观看| 1995年关宝慧版蜘蛛女| 香蕉久日夜| 久久96热| 情久久综合五月天| 免费观看日韩成人av| 深爱丁香激情| 18久久| 色爱99| 免费看片在线观看| 丁香五月AV| 五月亭亭色| 六月综合在线| 91日日日| 色色色99| 亭亭社区五月天| 激情玖玖sh| 黄色99网| 色婷婷丁香社综合| 丁香五月色| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 99久久97| 九九99在线免费在线观看视频| 色婷婷激情| 欧美日韩91| 天天搞夜夜叫| 久久久香港| 五月天综合网| 深夜婷婷五月丁香| 亚洲人人艹| AV在线免费播放| 亚洲激情在线| 久久婷婷原创视频| 久久婷五月天| 色无婷婷| 激情久久五月天| 色色色综合视频| 蜜臀AV在线观看| 亚洲五月天婷婷在线| 婷婷五月综合免费在线| 九九色影院| VA五月激情在线| 一点色成人网| 婷婷综合五月天| 五月婷婷开心亚洲无| 久久久国产精品黄毛片| 丁香五月色五月| 在线中文av| 少妇AB又爽又紧无码网站| 九九视频这里有精品| 九九精品热播| 久久婷婷六月综合国际| 九九碰九九爱97| 亚洲激情综合五月婷婷啪啪| 婷婷五月亚洲激情| 激情五月色婷婷| 五月丁香啪| 99国产小视频| 婷婷六月插屄激情| 激情五月婷婷| www.91.com黄| 五月花激情网| www.99精品日操伊人乱碰在线| 成人 视频免费观看网站| 嫩草AV久久伊人妇女超级A| 色色丁香激情五月| 国产裸舞福利资源在线视频| 色综合久久天天综合网| 色黄啪啪| 草草夜夜操| 激情婷婷| 久久综合干| 天天色天天爱天天爽| 久久久99婷婷久久久久久| 久久精品国产AV一区二区三区 | 国产色色色色| 五月婷婷精品视频| 色五月天综合| 色亚洲视频| 99热网站| 五月天激情综合在线| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 亚洲综合成人网| 久热A| 九九爱这里只有精品| 91疯狂操操操操| 99婷婷精品推荐在线视频| 99热精品观看| 成人av中文字幕| 91 久热| 五月丁香婷婷色啪| 色五月丁香91| 亚洲日本三级片| 国产精品第一国产精品| 黄桃AV无码免费一区二区三区| 日韩综合久久| 色三级色三级| 97在线综合| 97色97干| 国产在线aaa片一区二区99| 日本99热| 久久婷婷五月草视频在线播放| 五月天激情影院| 激情宗合 激情宗合| 久久99草五月婷婷| 婷五月天丁香婷五月| 日本三级99人妇网站| 全部老头和老太XXXXX| 91碰碰| av久热| 99爱爱网| 夜夜干 夜夜操| 色婷婷视频| 五月丁香婷婷综合久久| 综合色色色| 婷婷色网| 婷婷五月久久| 婷婷五月精品中文| 超碰免费大香蕉| 婷婷五月综合网| 久久婷婷视频| 五月激情婷婷播播网| 丁香六月高清视频| 婷婷久久草| 五月婷婷激情综合网| 五月激情网站| 熟女激情网| 婷婷啪啪| 一区二区三区四日本| 国产毛片精品一区二区色欲黄A片| 色五月情| 激情久久久久久久久久久| 久热中文字幕| 激情黄色小说五月天| 五月开心深深爱激情综合| 丁香五月天av| 色五月大| 1000部毛片A片免费观看| 91中文狠狠综合| 人操91在线| www热久久yy9| 五月www| 开心五月深爱婷婷| 91操操| 亚洲欧美在线观看| 超碰色女人| 日本欧美在线| 日本熟女一区二区| 五月激情六月综合| 丁香花综合永久入口| 9久久久久久久久久久| 狠狠久久婷五月| 久久综合五月天| 丁香五月婷婷天激情| 色吊丝永久访问网址| 思思久久99热| 色五月AV| 激情婷婷丁香五月| 成人av播放| 天天操天天操| 色色丁香五月天| a免费在线| 丁香六月婷婷综合激情欧美| 思思热在线视频99| 99热官网| 婷婷五月天激情综合| 毛片新网地| 国产免费一区二区三州老师F1F1| AV在线不卡播放| 国产午夜精品一区二区| AAAA网站| 男人大jjc女人免费视频| 丁香综合网| 99热99热| 欧洲第一无人区观看| 99碰视频| 婷婷伊人网| 婷婷丁香成人| 久99久视频| 五月天激情电影| 国产精品大香蕉| 色综合视频| 6080av| 中文字幕成人| 停婷丁五月在线| 五月婷婷香蕉| 激情欧美婷五月| 天天噜日日噜综合无码| 91九色熟女| 丁香五月婷婷色| 嫩草AV久久伊人妇女超级A| 婷婷五月综合色拍| 欧美色频| 欧美激情伊人| 欧美 日韩 成人 在线| 久久天堂女人| 五月丁香亚洲婷婷| 99热香港| 婷婷色网站| 亚洲乱码日产精品BD在线观看| 九色自拍| 五月婷婷久久综合| 99操逼| 婷婷五月综合在线| 99久热在线精品| 五月丁香六月色| 久久久九九九 99| 色婷婷六月开心中文字| 玖玖九九超碰| 五月婷婷中文字幕| 超碰97久久| 中文字幕 中文字幕明步| 99久久.www| 久久婷婷综合五月天| a免费在线| 婷婷五月天美女视频| 日韩色色色色| 五月色天情| 大香蕉视频99| www.99热视频| 五月婷中文娱乐综合| 亚洲精品激情| 久久狠狠干| 五月婷婷六月天| 久色网址| 狠狠干狠狠干| www.99热. com这里只有精品| 韩日另类| 五月丁香五月综合欧美| 99日本黄站| 亚洲精品午夜国产va久久成人| 五月丁香另类图片| 丁香五月激情五月| 婷婷五月美女直播| 黄网免费观看| 色色丁香五月婷婷| av一区二区电影免费在线观看| 99九九精品视频| 丁香五月 无码| 涩婷婷五月天在线精品视频 | 婷婷五月色图| 五月丁香六月激情| 婷婷金品综合视频| 亚洲aV写真天天综合网久久| 亚洲狠狠色丁香婷婷综合久久| 管管補管管紱| 亚洲V国产V欧美V久久久久久| 亚洲综合网 665566| 欧美英丁香开心快乐六月天网| 5五月综合网亚洲| 99综合在线| 99热在线精品观看| 99这里只有精品视频在线| 亚洲中文乱字字幕在线永久| 激情五月婷婷色综合| 夜夜人妻五月天| 五月天婷婷色播综合在线| 婷婷六月激情啪啪| 大香蕉久| 99在线免费观看| 激情五婷精品网在线观看网址| 狠狠婷婷色综合| 久久久久人妻| 天天拍天天做视频| 全高清无码视頻| 精品亚洲国产成人A片在线鸭王| 婷婷五月天在线观看免费| 91干视频| 丁香玖玖| 国产av网| 91欧美| 婷婷丁香五月亚洲| 欧美成人无码一区二区三区| 光棍影院日韩精品| 在线18av | 91无码视频| 成人丁香五月| 六月婷婷色宗合| 猫咪伊人久久| 色色综合五月| 狠狠插.com| 99re8在这里只有精品| 热99在线| 91超碰在线观看| 26uuu亚洲精品国产| 玖玖资源站国产| 91天堂网综合| 婷婷综合国产| www,999日本色| 日本综合色图| 欧美Va婷色| 爱的综合网| 青青夜夜狠狠夜夜狠狠| 色综合色五月| 狠狠99| 婷婷六月成人| 超碰人人摸人人操| 欧美性生交XXXXX无码小说| 97色在线观看视频| 人妻久久人妻久久第一区| 激情五月天色婷婷| 深爱五月亚洲| 深爱丁香激情| 亚洲人妻一区二区 | 九九色情网站| 国产在线网址1| 男女啪啪做爰高潮无遮挡| 337p大胆噜噜噜噜噜91Av| www.色综合.com| 婷婷五月激情图片| 五月丁香六月婷婷姐| 婷婷五月六月丁香综合| 婷婷在线免费| 另类激情综合| 99热这里都是精品| 久久久99久久| 色五月综合网| 99激情视频| 婷婷五月天色色| av在线免费播放| 天天操夜夜操| 色综合com| 99热亚洲精品| 五月天啪啪| 亚洲亚洲人成综合网络| 中文字幕日产A片在线看| 五月婷婷啪啪| 亚洲精品一区中文字幕乱码| 亚韩精品视频1区| 五月丁香亭亭A片| 九九99视频精品| 97婷婷久久丁香| 影院久久久| 91人人妻人人操| 欧美碰碰碰| 色色色五月天激情资源| 丝雨一区二区| 操操操91| 久激情网| 99热这里只有精品23| 婷婷丁香激情| 影音先锋偷偷色男人站| 大香蕉综合网| 色五月情| 超碰在线94| 久操激情| 激情五月天在线| 丁香5月婷婷| 婷婷九月在线| 五月丁香在线| 大香蕉天堂色| 99啪啪| 亚洲综合色丁香五月天| 五月丁香六月婷婷色情| 狠狠色婷婷7777久| 婷婷五月丁香综合桃花色网| 日本色色图| 丁香久色| 色婷婷久久综合| 国产亚洲精品久久久久久郑州 | 97超碰人人操| 日本性激情色播| 色综合久久88色综合天天99| 1024亚洲无码| 婷婷五月丁香综合| 99热这里只有在线| 五月天色综合| 九九色区| 欧美婷婷五月天综合| www.99热视频| 超碰五月婷婷五月天| 情色婷婷五月天| 第四色婷婷五月| 婷婷久久综| 日韩av手机在线观看| 色综合久久88| 日日夜夜爽| 五月丁香激情综合| 骚五月婷婷| ss99热| 丁香五月激情啪| 午夜伊人大香蕉| 久久综合性| 激情欧美五月丁香| 少妇2做爰HD韩国电影| 去色色五月天| 五月丁香六月婷婷久久久综合| 久久看婷婷| 日本在线观看99| 天天弄天天爽| 色噜噜狠狠色综合成人99| 岛国在线观看91| 色婷婷久久| 久久这里只精品| 99国产精品白浆在线观看免费| 国产avapp 网| 婷婷久久综合久色| 97久久久久久久久久久| 这里只有视频精品| www,天天干| 99WWW免费视频| 亚洲天堂aaa| 四LLL少妇BBBB槡BBBB| 久久久999精品| 爽天天天天天天天| 中文字幕精品推荐免费在线观| 丁香激惜男女| 操逼六区| 五月天婷婷网站888| 激情丁香五月婷婷啪啪| 91av成人| 99视频只有这里精品| 国产肥白大熟妇BBBB视频| 欧美激情综合| 日日色综合| 五月久熟女| 五月婷婷激情中文字幕| 一本色道久久88加勒比—| WWW.婷婷| 婷婷中文字幕在线| 激情五月五月婷婷| 丁香久久五月婷综合| 色色色无码| 久久久香港| av色色国产| 加勒比久热| 狠狠插日日干撸| 婷五月天| 综合啪啪| 99热欧美在线观看| AA片在线观看视频在线播放| 开心五月丁香啪| 婷婷视频在线碰| 可以免费看AV网站| 婷婷狠狠爱| 精品99在线| 五月婷婷久久久| 97狠狠色| 人妻射精AV| 能看的AV| 久播影院免费观看电视剧大全最新网| 99热在线观看99| 99热精品观看| 久久五月天合网| 国产,欧美,学生妹,视频| 五月花丁香婷婷| 久久婷婷五| 五月婷婷色播| 亚洲操逼片| 桃色五月天| 日撸夜撸日操| 91视频免费后入强操| 婷婷四色五月| 热99视频| 91精品无码| 强壮公让我夜夜高潮A片视频| 婷婷丁香五月精品| 色婷在线视频| 国产精品大香蕉| 婷婷五月天人妻| 97婷婷在线| 99色色网| 久久99网| 婷婷97狠狠干| 久久久九九九 99| 一级黄色影片| 操人妻视频91| 婷婷 久综合| 婷婷丁香五月社区亚洲| 日本五月天一页| 九久9精品| 在线中文字幕免费视频| 99ri在线视频| 亚洲操B| 五月香蕉婷婷| 色婷婷888| 久久综合婷婷激情| 另类图片天天影视在线观看| 激情网五月婷婷| 秋霞性爱AV| 色婷婷亚洲综合网站| 99在线精品免费视频| 99久久99久久综合| 91久草五月天婷婷| www.超碰97| 在线观看的av| 99免费视频网| 亚洲色情一区二区三区四区| 免费婷婷| 激情婷婷视频在线| 五月婷婷啪啪啪啪| 久久婷婷亚洲| 亚洲免费观看高清完整版AV线| 欧美综合婷婷网| 大香蕉520| 无码视频国内精品久久久| 久久久18| 婷婷久久精品| 五月停停激情网| 日本婷婷丁香五月| 天天色丁香| 色色色色色色色色色色色色色五月天 | 香蕉久久av一区二区三区| 激情六月婷婷| 99色在线观看视频| 久久九九色| 国语精品探花| 五月天久久网站| 六月婷婷日| 99热精品在线播放观看| 婷婷丁香六月综合激情站| 婷婷丁香宗合888| 色五月中文字幕| 国产成人一区二区三区在线观看 | 亚洲综合五月天| 日本五月天网站| 天天天添天天操| 超碰国产在线| 激情婷婷五月天。| 亚洲色精彩| 啪啪啪大香蕉| 97爱综合| 色播播婷婷| 亚洲AV电影美洲AV电影| 99热欲| 一区=区操屄高清大全av| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 精品一区二区三区三区| 婷婷五月娱乐在线| 五月丁香婷婷老司机| 成人综合视频网址| 婷婷五月丁香青青草在线| 俺也去五月婷婷丁| 91在线精品一区二区| ai97re99一本| 5Www色5夜| 超碰亚洲欧美| 色噜婷婷| 久久99jiu9| 综合色网站| 五月丁香婷婷在线| 开心久久xxx色| 六月激情婷婷综合| 99re这里只有精品在线观看| 激情五月天激情小说| 成人超碰Av| 狠狠插狠狠操| 九九热AV| 丰满少妇猛烈A片免费看观看| 9色91视频| 六月丁香激情| 99免费热在线精品| 色情久久久| 天天色综网| 狠狠色噜噜色狠狠狠综合久久成人波| 婷婷激情丁香六月| 99色| 婷婷97| 欧美久久久中文字幕| 婷婷五月天午夜激情影院| 激情五月色综合网| 丁香五月婷婷综合视频| 亚洲AV成人无码久久精品老人法拉利| www.色五月| 国产精品色色| 色综合色色| 91麻豆国产三级精品福利在线观看 | 五月网站| 99噜噜| 丁香六月色情| 婷婷六月亚洲综合| 精品一二三区久久AAA片| 超碰免费人人肏| 欧美97色| 天天做 天天爱| 激情六月丁香| 婷婷99视频全集高清| 五月丁香婷草| 五月天婷婷青青草| 庭庭久久内射| 婷婷5月久久综合网站| 九热精品| 色色综合视频| 激情五月丁香五月| 色婷婷丁香社综合| 26UUU欧美激情一区二区| 亚洲天天综合| 性无码专区无码| 日本久久人| 手机激情网| 大香蕉久艹| 香蕉色色网| 婷婷五月蜜桃成人桃色丁香| 在线成人视频免费| 草婷婷在线| 深爱五月日韩| 无码AV免费精品一区二区三区| 另类激情四射| 欧美激情综合色丁香婷婷五月天| 婷婷色五月激情| 婷婷婷五月香蕉| 日本天天综合| 色丁香五月| 婷色视频| 亚艹艹| 这里只有精品视频| 欧美日韩999| 五月婷婷色播| 狠狠婷婷色| 五月天色婷婷av| 五月丁香在线观看| 色情五月天丁香社区| av色色国产| 九九热九九| 丁香五月欧美激情| 色色色色色色色色色色色色色97| 99九九热播在线免费视频| 欧洲日韩一区二区三区| 超碰在线国产| 97人人干| 色五月在线观看| 精品99在线看| 97 A I色色| 182无码| www.日日夜夜| 丁香色五月 97干| 色99热| 色香久久| www,色婷婷| 日韩啊啊啊| 9久热在线精品| 色综合色色色色色| 欧美人与性动交CCOO| 華人性愛AV在線| 99色色网| 人妻系列久久久久久久久久久 | 丁香婷婷噜噜| 婷婷久久婷婷色五月| www夜夜操com| 婷婷久久婷婷| 五月综合激情| 91精品91久久久中77777久久玖玖九九| 丁香五月六月综合激情| AV六月丁香| 天天草天天爽| 久久色五月天| 99操碰| 五月天激情综合网俺也去| 日本丁香五月| 婷婷丁香激情综合色情| 色五月婷婷影院| 丁香蜜臀黄色婷婷五月天| 99色婷婷| 激情婷婷五月基地| 123日本不卡在线| 五月天婷婷视频| 五月情涩综合婷婷| 丁香五月婷婷av| 大香蕉520| 亚洲色婷婷| 激情五月婷婷中文字幕| 99热人人操人人操| 激情图片婷婷丁香五月| 精品网站:999WWW| 偷拍五月丁香| 开心五月激情五月丁香五月婷婷| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 五月婷婷五月天亚洲无码| 91熟妇大香蕉| 婷婷色九月| 99热这是里只有精品| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 丁五月激情视频免费| 91色综合网| 9999久久久久| 亚洲精品久久久久久久久久吃药| 男人天堂AV在线一区二区| 色情综合| 日本成人小说婷婷六月| 婷婷丁香宗合888| 狠狠综合| 日本性激情色播| 大香蕉免费9| 日本三级中国三级99人妇网站| 五月丁香狠狠| 欧美色五月| W色综合| 狠狠久久婷五月| 米奇影视资源777狠狠色婷婷五月天激情网 | 色玖玖玖| 亚洲乱码日产精品BD| 婷婷六月花| 九月婷婷综合| 99热97美女| 玖玖热视频| 26UUU在线观看| www.henhenl| 午夜天堂一区人妻| 97热这里精品在线视频| 六月丁香五月激情网| 五月天社区婷婷丁香社区| 免费视频WWW在线观看网站| 五月丁香婷婷成人综合网| 四月婷婷五月色综合 | 五月婷婷啪啪啪| 色域五月丁香| 五月天婷婷基地| 亚洲va欧美va天堂v国产综合| 欧美色色色色色色色色色色影视| 日本一级黄色片。| 久久免片| 天天操夜夜肏| 丁香五月综合激情久久潮喷| 久久婷婷综合拍| 超喷97免费在线视频| www.久久99| 综合五月天亚洲婷婷| 久久99看免费| 婷婷五月丁香成人网| 9久热| 五月丁香婷婷基地| 天天噜| 五月婷婷之美女图片| 丁六月激情| WWW.99热| 亚洲欧洲一二| 婷婷9月天| 国产又爽又猛又粗的视频A片| 91久久99久久91熟女精品| 天天婷婷色六月| 伦99热| 欧美激情五月天在线观看| 丁香综合婷婷开心激情网| 91久久精品无码一区二区三区| 六月丁香婷婷色狠狠久久| 丝雨一区二区| seav天堂| 亚洲精品无码99热| 9色资源在线| caop视频| 成人在线观看国产| 亚洲欧洲中文日韩久久AV乱码| 五月婷亚洲精品AV天堂| 超碰在线看| 婷婷五月六| 天天干天天插| 激情丁香图片| 色五月丁香婷婷| 五月天婷婷无码| 日韩色色视频| 九九热在线观看视频| 色婷婷成人五月| 色久五月天| 人人爱国产| 丁香五月婷婷在线观看| 色五月AV| 超碰色综合| 26.uuu丁香五月婷婷| 性天堂久久| 亚洲五月婷婷| 99色视| 欧日美女Va| 久er7久热| 天天射天天射一道本日本社区| 色视五月天婷婷| 狠色综合网| 欧美色色色色色色色色色色| 五月丁香啪啪综合| 伊人婷婷青青cao| 亚洲色欲欧美一区二区三区| 天天色天天舔天天爱天天爽| AAA亚洲AV| 美女五月狠狠| 五月婷婷AV| 五月婷久久| 日曰躁夜夜躁2026| 91中文狠狠综合| 热久免费视频9| 亚洲成人无码网站| 五月丁欧美| 天天舔天天| www.99情趣网| 色999五月色| 国产人妻人伦精品一区二区| 日韩日比视频在线| 色婷婷激情五月天| 97人人干人人操| 五月天婷五月天综合网在线观| 婷婷亚洲在线| 五月天开心激情综合网| 色5月婷婷| www.婷婷六月天| 香蕉久日夜| 久久精彩综合视频| 五月天激情子轮| 99色干| 草草操操| 99热99精品在线观看| BT综合在线视频观看| 婷婷色系婷色| 色婷婷丁香五月| h在线看免费版在线看| 综合99在线| 丁香六月婷婷综情欧美| 热成人网| 婷婷五月激情丁香| 精品一二三区久久AAA片| 五月婷视频在线观看| 国产97色在线 | 日韩| 日本va欧美va精品发布视频| 亚洲精品国产精品乱码视99| 九九大香视频| 中文AV网站| 激情丁香五月天综合| 99热无码| 激情第四色| 激情玖玖sh| 99久久九九| 99热国产这里只有精品| 停婷丁五月在线| 四川BBB搡BBB搡多人乱亂| pom538精品视频| 激情综合4月| 五月丁香欧美综合| 国产av天堂| 日韩AV片| 色婷狠狠| 91狠狠色丁香婷婷综合久久狠丁香综合久久精品 | av操B网站| 99热日韩这里只有精品| 五月婷婷色播| 伊人在线视频| 大香蕉啪啪啪| 蜜桃人妻无码AV天堂三区| .青娱乐天天操B| 91热久久| 综合图片色色| 婷婷丁香五月社区亚洲| 丁香五月天婷婷久久| caop在线| 亚洲最大成人综合网720P| 性爱七区| 五月开心深爱激情网| 一本大道熟女人妻中文字幕在线| 婷婷色中文字幕| 亚洲精品99| 亚洲av成人一区二区电影在线| 99热6这里只有精品6| 久热9| 一起草av在线观看| 热思思| 亚洲正能量欧美| 久热9| 五月婷婷啪啪啪| 99九九视频| 日日噜噜夜夜狠狠久久丁香六月| 色婷婷色丁香色欲av| 九六五月天婷婷| 另类图片天天影视在线观看| 色婷婷a v| 色域五月婷婷丁香| 亚洲久艹| 夜夜撸天天操| 欧美色必爱| 六月婷婷九月丁香亚洲综合| 激情AV综合| 夜夜爽天天日| 五月天啪啪网| 超碰精品手机在线| 国产精品美女久久久久AV超清| 亚洲色五月天是什么| 日本精品久久久久中文字幕| 婷婷五月激情六月丁香| 深爱五月天| 大波美女VA网站| 白人荫道BBWBBB大荫道| 97色五月天| 色综合五月天| 亚洲看av的网站| 色色五月婷婷| 久久色情| 99福利导航| 激情综合色婷婷啪啪六月天| 色婷婷五月综合在线| 四射综合网| 人人干99| 色5月婷婷色| 五月天久久网站| 成人无码精品1区2区3区免费看| 五月天婷婷爱丁香中文字幕| 婷婷视频在线| 六月婷婷五月天| 色呦呦美女| 国产精品成人在线| 99色色热| 九九亚洲| 亚洲夜夜操| 久久 中文 日本| 五月天婷婷成人网| 91色色色视频| 激情开心五月天婷婷基地丁香社区| 丁香五月天堂网AV| 天天综合五月天| wWwCom夜操wwW| 97久久精品视频| 亚洲va综合va国产va中文| 人人操日| 国产一级视频a| 色婷婷五月天在线观看| 男女99免费视频| 成人无码髙潮喷水A片| 伊人深爱综合| 中文字幕 码精品视频网站| 无遮挡国产高潮视频免费观看| 天天操夜夜爽歪歪| 久久久久网站| 色色五月婷| 怡红院视频| 婷婷五月丁香五月| 色综色网| 中文久久婷婷| 亚洲色欲AAAAAA| 色约约视频一区二区三区四区五区| 99ri在线观看视频| 亚洲天码视频www蛋播视频| 狠狠狠狠狠狠色| 色.五月综合网| 大香蕉啪啪| 天天日日爽| 激情丁香婷婷五月天| www99xxxx五月丁| 影音先锋91| 色 五月婷婷基地| 超碰9| 久在热99| 六月婷婷视频| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 天天爽,天天操。| 操比激情五月综合| AV大片在线播放| 男人天堂99| 五月丁香综合啪啪啪啪啪| 在线观看996精品| 不卡在线超碰| 亚洲男女激情| 激情九月综合| 五月婷婷基地| 六月色色综合| 色宗合,宗合网| 天天操无码| 久草婷妨| 超碰婷婷色| 久热大香蕉| 婷婷五月花西瓜| 婷婷五月开心中文字幕色| 啪啪日热| 1000部毛片A片免费观看| 综合激情在线视频| 99这里精品| 91九色欧美| 丁香六月天婷婷| 日韩精品一区二区三区,四区,五区视频| 激情欧美五月丁香| 色域五月婷婷丁香| 亚洲色99| 五月天激情AV| 激情黄色五月天| 99色视| 激情文学第四色婷婷丁香五月| 九九婷| 少妇人妻人伦A片| 99年操人人爽| 天天做天天爱天天高潮| 99在线观看精品| 激情视频综合| 五月天激情丁香| 激情五月,色播五月| 亚洲乱码日产精品BD| 丁香色色网| 激情五月婷婷五月| 激情五月丁香六月综合AVXXXX| 人人舔人人色人人高潮| 久久只有精| 国产中文亚洲欧美日韩性交| 婷婷激情五月吧| 精品在线| 久久婷婷六月| 五月婷婷激情色情网| 天天摸夜夜爽天天做| 天天肏天天插| 狠狠干狠狠干狠狠干狠狠干| 婷婷五月成人| 激情五月天婷婷激情| 丁香五月天天哦| 综合色影院| 伊人久久大香网| 色婷婷狠狠18禁| 亚洲无码成人网| 98毛片| 夜夜爽日日躁| 精品无码视频| 婷婷天天色| 超碰人妻在线| 国产午夜一区二区三区| 天天干天天干天天| 99精品网| 五月婷婷视频| 色吊操色妞| 99热插| 丁香五月影院| 色婷婷成人做爰A片免费看网站| 综合99在线| 亚洲婷婷丁香五月天激情小说| 五月激情久久综合| 激情婷婷网| 五月丁花六月丁香综合| 丁香五月色五月| 激情亚洲网| 婷婷激情图片| 熟妇无码乱子成人精品| 5月丁香综合图区| 人人草碰| 久久婷婷五月丁香网| 五月丁香亭亭操逼| 久操人妻| 深爱五月天婷综合| 天天做天天爱天天综合网| 99啪99| 大香蕉久| 色情五月婷婷| 国产又爽又猛又粗的视频A片| 狠狠色噜噜狠| 亚洲在线视频321| 日本操碰碰| 久久99久久99久久99人受| 亚洲色色在线| 日日操,夜夜撸| 久久久久久人妻| 另类激情综合| 天天综合色| 新激情婷婷| 亚洲综合草草| 色九月激情综合网| 天天综合色| 激情噜噜噜| 六月丁丁香| 强奸幻女毛片| 婷婷五月激情基地| 99只有精品| 99国产精品久久久久久久久久久| 激情av网| 小泽玛利亚视频一区二区| 欧美噜噜久久久XXX| 亚州操人在线视频| 色综合久久888| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 色色网91| 丁香婷婷精品视频| 五月激情综合美女久久| 亚洲妇女熟BBW| 久久总和99| 丁香五月婷婷天| 久9热| 九色 在线| 日韩欧美骚货| 狠狠色狠狠操| 久热爱大香蕉在线蜜臀悦色 | 婷婷婷婷婷婷婷五月丁香| 天天天天操| 91窝窝| 另类国产综合| 五月婷婷综合丁香视频| 无码激情AAAAA片-区区| 九九热欧美| www色五月| 丁香五月之久操视频| 青青草原中文字幕| 婷婷亚洲欧美丁香五月| 狠狠色97| 久久99精品久| 五月激情婷婷色| 99久在线精品99re8| 久久9热| 99爱精品| 超碰自拍天堂| 亚洲日韩26uuu| 亭亭玉月丁香| 婷婷五月天亚洲综合| 五月丁香亚洲婷婷| 噼里啪啦完整版中文在线观看| 婷婷在线精品| 日本美女上人| 99热精品网| 丁香五月天天高清在线| 人妻免费网站| 五月丁香婷婷六月天| 99热免费| 婷婷色五月婷婷姐妹| 久热九九| 开心婷婷五月激情网小说| 91人人爽久久涩噜噜噜| 狠狠色综合久久久久| 五月天堂在线|