欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

輕量級(jí)消息代理 hermes-agent 實(shí)戰(zhàn)指南:解耦、可靠投遞與任務(wù)調(diào)度

輕量級(jí)消息代理 hermes-agent 實(shí)戰(zhàn)指南:解耦、可靠投遞與任務(wù)調(diào)度 做后端服務(wù)的同學(xué)大概率都有過(guò)這種經(jīng)歷業(yè)務(wù)模塊之間的調(diào)用像一團(tuán)亂麻A服務(wù)要同步等B服務(wù)返回結(jié)果B掛了A就跟著超時(shí)流量一上來(lái)數(shù)據(jù)庫(kù)連接池先被打滿定時(shí)任務(wù)散落在各個(gè)業(yè)務(wù)進(jìn)程里沒(méi)有統(tǒng)一的重試機(jī)制凌晨三點(diǎn)某個(gè)任務(wù)靜默失敗第二天數(shù)據(jù)對(duì)不上賬才發(fā)現(xiàn)。我早期也被這類問(wèn)題折磨過(guò)后來(lái)干脆自己動(dòng)手維護(hù)了一個(gè)輕量級(jí)的消息代理組件也就是標(biāo)題里提到的這個(gè) hermes-agent。名字取自希臘神話里專門負(fù)責(zé)傳信的赫爾墨斯定位很直白做一個(gè)默默跑在業(yè)務(wù)背后的“信使”把消息從生產(chǎn)者手里穩(wěn)妥地送到消費(fèi)者手里。這篇文章不是官方文檔的復(fù)述而是我從實(shí)際項(xiàng)目里摸爬滾打出來(lái)的經(jīng)驗(yàn)總結(jié)。內(nèi)容會(huì)覆蓋 hermes-agent 的核心模塊拆解、部署接入的完整過(guò)程、那些文檔里不會(huì)寫的踩坑記錄以及壓測(cè)調(diào)優(yōu)的思路。如果你正在為服務(wù)間同步耦合、任務(wù)投遞不可靠、或者單純想找一個(gè)比 Redis 列表更好用的消息中轉(zhuǎn)方案而頭疼這篇內(nèi)容可以幫你少走不少?gòu)澛贰?. 為什么我會(huì)選擇維護(hù)一個(gè) hermes-agent 這樣的消息代理1.1 最初的問(wèn)題同步調(diào)用把系統(tǒng)綁成了單點(diǎn)先說(shuō)我最開(kāi)始遇到的場(chǎng)景。當(dāng)時(shí)手上有幾個(gè)業(yè)務(wù)服務(wù)用戶下單后需要同步調(diào)用庫(kù)存服務(wù)、優(yōu)惠券服務(wù)、積分服務(wù)。用戶側(cè)看著一個(gè)下單接口后端實(shí)際上是三個(gè)串行 HTTP 調(diào)用任何一個(gè)服務(wù)抖動(dòng)下單就失敗。這個(gè)架構(gòu)的脆弱之處不用我多說(shuō)典型的多米諾骨牌下游一個(gè)慢查詢拖垮整條鏈路。這個(gè)痛點(diǎn)我估計(jì)很多人都有共鳴。同步調(diào)用的本質(zhì)問(wèn)題是“強(qiáng)耦合”——調(diào)用方必須等被調(diào)用方就緒雙方必須同時(shí)在線流量高峰還必須讓二者的容量精確匹配??蓪?shí)際業(yè)務(wù)里庫(kù)存服務(wù)和積分服務(wù)的處理速度根本不一樣硬把它們綁在同一個(gè)事務(wù)里只會(huì)互相拖后腿。我當(dāng)時(shí)需要的是一個(gè)能把“發(fā)消息”和“處理消息”拆開(kāi)的中間層。生產(chǎn)者只管把“用戶已下單”這個(gè)事件扔進(jìn)去剩下的庫(kù)存扣減、積分發(fā)放消費(fèi)者自己慢慢消化。就算消費(fèi)端某個(gè)服務(wù)臨時(shí)掛掉消息還在隊(duì)列里等著等它恢復(fù)之后繼續(xù)處理。1.2 為什么不用現(xiàn)成的消息隊(duì)列反而自己搞一個(gè)說(shuō)到削峰填谷、異步解耦很多人第一反應(yīng)是 Kafka、RabbitMQ 這類重型 MQ。這幾個(gè)方案我都用過(guò)穩(wěn)定是真穩(wěn)定但重也是真重。Kafka 需要一個(gè) Zookeeper 集群或者 KRaftRabbitMQ 要維護(hù) Erlang 環(huán)境的版本兼容性如果只是幾個(gè)內(nèi)部服務(wù)之間傳消息這些基礎(chǔ)設(shè)施的運(yùn)維成本比業(yè)務(wù)本身還高。相比之下hermes-agent 這種輕量代理的核心優(yōu)勢(shì)是“不挑環(huán)境、不搶資源”。它不需要獨(dú)立的存儲(chǔ)集群天然支持把消息轉(zhuǎn)發(fā)到 HTTP 接口甚至可以直接推送到業(yè)務(wù)方的回調(diào)地址。這種形態(tài)特別適合內(nèi)部服務(wù)數(shù)量在幾個(gè)到幾十個(gè)的中小型團(tuán)隊(duì)既想要消息隊(duì)列的解耦能力又不想背上 Kafka 那套重運(yùn)維包袱。我在選型時(shí)做了一個(gè)簡(jiǎn)單對(duì)比核心維度如下表對(duì)比項(xiàng)hermes-agentRedis StreamsRabbitMQKafka部署復(fù)雜度單個(gè)二進(jìn)制無(wú)外部依賴依賴 Redis 版本依賴 Erlang 環(huán)境依賴 Kafka 協(xié)調(diào)組件消息投遞方式HTTP推送/回調(diào)為主需自行實(shí)現(xiàn)推送邏輯AMQP 協(xié)議需要客戶端 SDK 消費(fèi)持久化能力支持本地積壓存儲(chǔ)依賴 Redis 持久化配置支持支持運(yùn)維成本低中中高高適合場(chǎng)景中小規(guī)模服務(wù)解耦簡(jiǎn)單隊(duì)列場(chǎng)景企業(yè)級(jí)復(fù)雜路由大數(shù)據(jù)量日志與流處理這個(gè)表不是否定 MQ 的價(jià)值而是想說(shuō)選型得看場(chǎng)景。如果每秒消息量過(guò)萬(wàn)、需要復(fù)雜路由和回溯消費(fèi)還是老實(shí)用 Kafka但如果是百來(lái)臺(tái)機(jī)器規(guī)模、消息量每秒幾百上千hermes-agent 這個(gè)體量的組件足以撐住。2. hermes-agent 的核心能力拆解從消息投遞到任務(wù)生命周期管理2.1 連接管理與心跳?;钕攘倪B接管理。消息代理的第一要?jiǎng)?wù)是保證生產(chǎn)端和消費(fèi)端之間鏈路可用而鏈路可用靠的是心跳機(jī)制。hermes-agent 的處理方式比較直接生產(chǎn)端每間隔固定時(shí)間發(fā)送一個(gè)輕量心跳包代理在連續(xù) N 個(gè)心跳周期沒(méi)收到數(shù)據(jù)后判定對(duì)端失聯(lián)觸發(fā)連接回收和待發(fā)送消息的積壓處理。這個(gè)機(jī)制跟我之前自己寫 socket 長(zhǎng)連接時(shí)的經(jīng)驗(yàn)很一致核心是兩個(gè)參數(shù)的配合心跳發(fā)送間隔和失聯(lián)判定閾值。間隔太短會(huì)浪費(fèi)帶寬和 CPU太長(zhǎng)則故障感知滯后。實(shí)際使用中業(yè)務(wù)允許的故障恢復(fù)時(shí)間大概是多少就把失聯(lián)閾值設(shè)在多少以內(nèi)心跳間隔取閾值的四分之一到三分之一比較合理。比如希望 30 秒內(nèi)感知對(duì)端故障心跳間隔 10 秒一次連續(xù) 3 次未收到心跳就判定失聯(lián)。2.2 消息路由基于 Topic 的訂閱分發(fā)消息路由是消息代理的心臟。hermes-agent 采用了 Topic 加訂閱分組的模型這個(gè)模型用一句話說(shuō)就是生產(chǎn)者把消息發(fā)到某個(gè) Topic代理根據(jù)訂閱關(guān)系把消息副本推給每個(gè)訂閱該 Topic 的消費(fèi)組。這個(gè)設(shè)計(jì)模仿了消息隊(duì)列里最成熟的那套思路。每個(gè)消費(fèi)組內(nèi)部消息按負(fù)載均衡策略分發(fā)給組內(nèi)的多個(gè)消費(fèi)者實(shí)例同一個(gè)消息在一個(gè)消費(fèi)組內(nèi)只會(huì)被一個(gè)實(shí)例處理。而不同的消費(fèi)組之間則互為獨(dú)立——比如訂單服務(wù)創(chuàng)建一個(gè)“訂單已支付”Topic庫(kù)存服務(wù)和積分服務(wù)可以各自建一個(gè)消費(fèi)組訂閱它兩邊互不干擾地拿全量消息。我在實(shí)際配置時(shí)踩過(guò)一個(gè)認(rèn)知誤區(qū)把“消費(fèi)組”和“消費(fèi)者”混為一談。一個(gè)消費(fèi)組代表一個(gè)獨(dú)立的業(yè)務(wù)處理方里面可以有一個(gè)或多個(gè)消費(fèi)者實(shí)例如果你把同一個(gè)業(yè)務(wù)的兩個(gè)實(shí)例放進(jìn)了不同的消費(fèi)組它們會(huì)各自消費(fèi)一遍全量消息這在某些網(wǎng)關(guān)通知場(chǎng)景會(huì)造成重復(fù)推送。正確姿勢(shì)是一個(gè)業(yè)務(wù)方對(duì)應(yīng)一個(gè)消費(fèi)組組內(nèi)加實(shí)例才是擴(kuò)容。2.3 消息生命周期與狀態(tài)機(jī)機(jī)制消息的一生在 hermes-agent 里會(huì)經(jīng)歷這樣一個(gè)狀態(tài)流轉(zhuǎn)新建、待投遞、投遞中、投遞成功、投遞失敗、重試中、最終被放進(jìn)死信隊(duì)列。理解每個(gè)狀態(tài)的含義對(duì)排查問(wèn)題很有幫助。新建狀態(tài)表示消息剛被代理接收尚未分配給任何消費(fèi)組待投遞狀態(tài)表示消息已確認(rèn)目標(biāo)消費(fèi)組等待被消費(fèi)者拉取或等待代理主動(dòng)推送投遞中狀態(tài)表示代理已通過(guò)網(wǎng)絡(luò)把消息發(fā)給了消費(fèi)者但還沒(méi)收到確認(rèn)回執(zhí)收到消費(fèi)者的成功應(yīng)答后消息進(jìn)入投遞成功狀態(tài)從待處理隊(duì)列中移除反之進(jìn)入投遞失敗狀態(tài)根據(jù)配置決定是直接重試還是進(jìn)入死信隊(duì)列。這幾個(gè)狀態(tài)不是憑空設(shè)計(jì)的它們對(duì)應(yīng)了消息系統(tǒng)最核心的“至少一次投遞”語(yǔ)義。因?yàn)榫W(wǎng)絡(luò)可能出問(wèn)題消費(fèi)者可能已處理但回執(zhí)丟失所以消息被重復(fù)投遞是不可避免的。能做的不是消滅重復(fù)投遞而是通過(guò)狀態(tài)機(jī)確保每條消息最多被“有效處理”一次——這部分我在后面踩坑那一章會(huì)展開(kāi)聊。2.4 重試機(jī)制與死信隊(duì)列重試機(jī)制是消息代理可靠性最關(guān)鍵的一環(huán)。hermes-agent 的重試采用了“指數(shù)退避加最大重試次數(shù)”的老牌策略第一次重試延遲 1 秒第二次延遲 2 秒然后 4 秒、8 秒、16 秒……直到達(dá)到配置的最大重試次數(shù)。超過(guò)最大次數(shù)后消息會(huì)被轉(zhuǎn)入一個(gè)獨(dú)立的死信 Topic不再騷擾消費(fèi)者但會(huì)觸發(fā)告警通知運(yùn)維人員。指數(shù)退避的意義在于避免“重試風(fēng)暴”。如果所有失敗消息都立刻重試一旦消費(fèi)端短暫故障代理就會(huì)在恢復(fù)瞬間收到海量重試請(qǐng)求直接把消費(fèi)端再次打掛。這是踩坑踩出來(lái)的教訓(xùn)重試要像道歉一樣第一次說(shuō)對(duì)不起第二次隔一會(huì)兒再說(shuō)表達(dá)誠(chéng)意但不能把人煩死。死信隊(duì)列并非處理完的終點(diǎn)。我通常會(huì)在死信 Topic 上掛一個(gè)專門的補(bǔ)償消費(fèi)者解析失敗消息結(jié)合業(yè)務(wù)日志決定是修正數(shù)據(jù)后手動(dòng)重投還是放棄。死信不能只存不處理不然等于把問(wèn)題從“消息投遞失敗”拖延成“消息被靜默丟棄”。3. 從零接入的完整實(shí)操讓第一條消息從生產(chǎn)端到達(dá)消費(fèi)端3.1 環(huán)境準(zhǔn)備與部署形態(tài)部署 hermes-agent 的過(guò)程簡(jiǎn)單得有點(diǎn)不像一個(gè)“中間件”。只需要把編譯好的二進(jìn)制丟到服務(wù)器上寫一個(gè) YAML 配置文件然后啟動(dòng)進(jìn)程就行。沒(méi)有依賴數(shù)據(jù)庫(kù)沒(méi)有依賴單獨(dú)的緩存服務(wù)消息的積壓存儲(chǔ)基于本地磁盤文件這也讓整體部署非常輕量。我在測(cè)試環(huán)境用的是單節(jié)點(diǎn)部署生產(chǎn)環(huán)境采用兩節(jié)點(diǎn)互為主備的形態(tài)。代理本身是無(wú)狀態(tài)設(shè)計(jì)的消息落盤后即便節(jié)點(diǎn)重啟也能從本地文件恢復(fù)未投遞完的消息。這里注意一點(diǎn)消息是本地存儲(chǔ)節(jié)點(diǎn)掛了但沒(méi)有將文件轉(zhuǎn)移到備節(jié)點(diǎn)的話備節(jié)點(diǎn)無(wú)法接續(xù)處理存量消息。所以更穩(wěn)妥的做法是讓生產(chǎn)端雙寫或者依賴上層業(yè)務(wù)的重試補(bǔ)償。3.2 配置文件的語(yǔ)義詳解以 YAML 配置為例核心配置項(xiàng)如下server: listen: 0.0.0.0:7788 # 代理對(duì)外服務(wù)端口生產(chǎn)端和消費(fèi)端都連這里 max_connections: 2000 # 最大連接數(shù)超過(guò)后拒絕新連接保護(hù)代理自身 storage: data_dir: /var/lib/hermes-agent/data # 消息落盤目錄注意預(yù)留磁盤空間 segment_size: 256MB # 每個(gè)數(shù)據(jù)分片的大小按消息量調(diào)整 sync_mode: async # async / fsyncasync 性能好fsync 更安全 route: topics: - name: order.created partitions: 8 # 分區(qū)數(shù)決定消息并行處理能力 consumers_mode: push # push / pull推送模式或拉取模式 delivery: ack_timeout: 30 # 消費(fèi)者確認(rèn)超時(shí)秒數(shù)超時(shí)判定失敗 max_retries: 5 # 最大重試次數(shù) retry_base_delay: 2 # 重試基礎(chǔ)延遲秒數(shù) dead_letter_topic: dlq.order.created # 死信 Topic幾個(gè)容易理解錯(cuò)的地方說(shuō)一下。partitions參數(shù)決定了一個(gè) Topic 在代理內(nèi)部被分成幾個(gè)并行處理的分片分區(qū)數(shù)越多并行度越高但也會(huì)帶來(lái)更大的文件句柄消耗和消息順序性變化。sync_mode選 async 時(shí)消息先寫內(nèi)存緩沖再異步刷盤吞吐高但極端情況下可能丟剛寫入的數(shù)據(jù)選 fsync每條消息都強(qiáng)制落盤安全但對(duì)磁盤性能要求高。我的建議是先從 async 開(kāi)始跑壓測(cè)之后如果吞吐達(dá)標(biāo)且能接受極端場(chǎng)景下的少量消息丟失保持現(xiàn)狀即可如果消息很重要再切換 fsync。3.3 生產(chǎn)端接入如何把一條消息安全投遞出去生產(chǎn)端接入的代碼模式非常干凈。以 Python 為例核心就三個(gè)動(dòng)作建立連接、發(fā)送消息、關(guān)閉連接。from hermes_agent import Producer producer Producer( endpointhermes://10.10.10.10:7788, topicorder.created, timeout5, ) def send_order_created(order_id: str, user_id: str, amount: int) - bool: payload { order_id: order_id, user_id: user_id, amount: amount, created_at: 1710000000, } try: producer.send(payload, keyorder_id) return True except Exception as exc: # 這里注意send 拋出異常并不代表消息一定沒(méi)被代理接收 # 可能是代理已接收但回執(zhí)在網(wǎng)絡(luò)上丟了需要去重機(jī)制兜底 print(fsend failed: {exc}) return Falsekey參數(shù)值得單獨(dú)說(shuō)。它決定了消息在分區(qū)間的分配策略同一個(gè) key 的消息會(huì)始終進(jìn)入同一個(gè)分區(qū)。對(duì)訂單類消息拿order_id當(dāng) key 可以保證同一個(gè)訂單的所有事件天然有序如果對(duì)順序性不敏感不傳 key 也行代理會(huì)按輪詢策略把消息打散到各分區(qū)吞吐更均衡。生產(chǎn)端有一個(gè)細(xì)節(jié)必須注意send 方法返回異常并不等于消息一定沒(méi)被收到。字節(jié)流可能已經(jīng)到了代理只是確認(rèn)包在回程中丟失。因此業(yè)務(wù)側(cè)在收到 send 異常時(shí)不能簡(jiǎn)單判斷“發(fā)送失敗”而要在消費(fèi)端配合冪等去重處理否則重發(fā)會(huì)帶來(lái)重復(fù)數(shù)據(jù)。這一點(diǎn)我在第 4 章展開(kāi)講。3.4 消費(fèi)端接入回調(diào)函數(shù)與確認(rèn)機(jī)制消費(fèi)端接入更簡(jiǎn)單注冊(cè)一個(gè)回調(diào)函數(shù)在收到消息時(shí)執(zhí)行執(zhí)行成功就返回確認(rèn)代理收到確認(rèn)后刪除消息執(zhí)行異常則觸發(fā)重試。from hermes_agent import Consumer def handle_order_created(payload: dict): order_id payload[order_id] user_id payload[user_id] amount payload[amount] # 模擬業(yè)務(wù)處理扣減庫(kù)存、發(fā)放積分、發(fā)送通知 print(fprocess order: {order_id}, user: {user_id}, amount: {amount}) # 處理成功后無(wú)需額外操作函數(shù)正常返回即視為確認(rèn) # 如果處理失敗拋出異常代理會(huì)自動(dòng)重試該消息 consumer Consumer( endpointhermes://10.10.10.10:7788, topicorder.created, groupinventory-group, callbackhandle_order_created, ) consumer.start()這套模型本質(zhì)上是把消息消費(fèi)做成一個(gè)“可重試的事務(wù)”?;卣{(diào)函數(shù)正常返回代表處理成功拋出異常代表處理失敗這條消息會(huì)被代理重新投遞。因此回調(diào)函數(shù)里不能有不可逆的操作。比如扣庫(kù)存和發(fā)短信這種動(dòng)作要保證即便重復(fù)執(zhí)行也不會(huì)造成資損。一個(gè)穩(wěn)妥的措施是引入去重表每條消息在第一次進(jìn)入回調(diào)時(shí)把message_id寫入一張去重表重復(fù)執(zhí)行時(shí)先查表命中則直接返回成功。這樣處理邏輯天然冪等無(wú)論代理重試多少遍業(yè)務(wù)數(shù)據(jù)都不會(huì)臟。這個(gè)處理方式雖然會(huì)給每筆請(qǐng)求增加一次存儲(chǔ)查詢但相比數(shù)據(jù)錯(cuò)亂帶來(lái)的對(duì)賬成本這點(diǎn)開(kāi)銷微不足道。4. 跑通之后才是真正開(kāi)始線上環(huán)境踩過(guò)的坑菜單搭起來(lái)、代碼寫順了不等于系統(tǒng)可以高枕無(wú)憂。這一章寫的都是我實(shí)際運(yùn)維時(shí)遇到并解決過(guò)的坑每個(gè)都花了不少時(shí)間才定位到根因。4.1 第一個(gè)坑消費(fèi)端重復(fù)執(zhí)行原以為是代理重復(fù)投遞結(jié)果是自己業(yè)務(wù)沒(méi)做冪等上線第二天運(yùn)營(yíng)反饋說(shuō)某些用戶的積分好像加了兩次。我第一反應(yīng)是查代理的重試日志結(jié)果發(fā)現(xiàn)消息只投遞了一次消費(fèi)者也成功確認(rèn)了。隨后翻數(shù)據(jù)庫(kù)才發(fā)現(xiàn)問(wèn)題出在消費(fèi)回調(diào)里扣減積分的邏輯是先查詢用戶當(dāng)前積分再加上本次積分然后寫回庫(kù)。而當(dāng)兩條不同的消息比如下單積分和簽到積分幾乎同時(shí)到達(dá)兩個(gè)回調(diào)各自讀到舊積分余額分別加完后寫回后寫的覆蓋了先寫的相當(dāng)于丟了一次加分。這不是重復(fù)投遞這叫并發(fā)覆蓋寫。排查鏈路是這樣的先看消息日志確認(rèn)消息被消費(fèi)的時(shí)間點(diǎn)和數(shù)據(jù)庫(kù)寫入時(shí)間點(diǎn)是匹配的再看應(yīng)用日志發(fā)現(xiàn)兩條消息的處理日志幾乎在同一秒打印最后看了數(shù)據(jù)庫(kù)記錄確認(rèn)是覆蓋寫而不是追加寫。到這里定位就清楚了——這不是消息代理的問(wèn)題是消費(fèi)端代碼沒(méi)有考慮并發(fā)串行化。解決方案是在數(shù)據(jù)庫(kù)層面用原子更新把“讀改寫”三個(gè)動(dòng)作合并為一個(gè) UPDATE 語(yǔ)句保證同一用戶的積分變更按順序執(zhí)行。如果用 Redis 做積分存儲(chǔ)就用 Lua 腳本把讀和寫做成原子操作。這個(gè)教訓(xùn)讓我養(yǎng)成了一個(gè)習(xí)慣所有消費(fèi)回調(diào)里的寫操作都得先問(wèn)自己“這條 SQL 在并發(fā)下執(zhí)行兩次數(shù)據(jù)會(huì)不會(huì)錯(cuò)”。4.2 第二個(gè)坑連接風(fēng)暴代理重啟把消費(fèi)端全部打掛有一次給代理節(jié)點(diǎn)做例行重啟重啟過(guò)程很順利但隨后監(jiān)控顯示消費(fèi)端服務(wù) CPU 一路飆升最后整批宕機(jī)。排查下來(lái)發(fā)現(xiàn)是這么一回事代理重啟后所有消費(fèi)端的長(zhǎng)連接同時(shí)斷開(kāi)各消費(fèi)端為了盡快恢復(fù)連接在極短時(shí)間內(nèi)同時(shí)發(fā)起重連請(qǐng)求。服務(wù)器的進(jìn)程數(shù)、文件描述符、握手線程全部被打滿代理反而因?yàn)檫^(guò)載拒絕了新的連接形成一個(gè)惡性循環(huán)。這個(gè)坑在連接型中間件里非常經(jīng)典英文叫 connection storm中文互聯(lián)網(wǎng)一般叫“連接風(fēng)暴”。根因是消費(fèi)端重連時(shí)機(jī)過(guò)于集中沒(méi)有加入抖動(dòng)延遲。修復(fù)方案也很經(jīng)典消費(fèi)端在斷線重連時(shí)不能立刻重連而要加上一個(gè)隨機(jī)延遲延遲范圍取 1 到 10 秒。這相當(dāng)于讓所有重連請(qǐng)求在時(shí)間軸上散開(kāi)避免對(duì)齊式的集中沖擊。同時(shí)我在代理側(cè)也做了保護(hù)限制單 IP 的連接頻率以及設(shè)置最大半開(kāi)連接數(shù)。這類保護(hù)看著多余但在線上出問(wèn)題的時(shí)候能救命尤其是當(dāng)你通過(guò)域名接入多個(gè)消費(fèi)端時(shí)DNS 刷新可能導(dǎo)致所有消費(fèi)端同時(shí)換 IP 重連。4.3 第三個(gè)坑消息積壓消費(fèi)者擴(kuò)容卻沒(méi)用問(wèn)題出在分區(qū)數(shù)某個(gè)大促活動(dòng)開(kāi)始時(shí)訂單量瞬間翻了好幾倍代理端消息積壓很快到了幾十萬(wàn)條。我第一反應(yīng)是給消費(fèi)端擴(kuò)容機(jī)器從 2 臺(tái)加到 8 臺(tái)結(jié)果積壓數(shù)紋絲不動(dòng)。后來(lái)仔細(xì)看文檔才意識(shí)到模型里有個(gè)關(guān)鍵約束同一個(gè)消費(fèi)組內(nèi)一條消息在同一時(shí)間只會(huì)被一個(gè)消費(fèi)者實(shí)例處理而消息是按分區(qū)分配給消費(fèi)者的消費(fèi)者數(shù)量超過(guò)分區(qū)數(shù)之后多出來(lái)的消費(fèi)者實(shí)例只能閑著。換句話說(shuō)分區(qū)數(shù)決定了消費(fèi)并行度的天花板。Topic 創(chuàng)建時(shí)我設(shè)了 4 個(gè)分區(qū)哪怕后面往消費(fèi)組里塞 100 個(gè)消費(fèi)者實(shí)例同時(shí)最多也只有 4 個(gè)實(shí)例在拉消息。這便是積壓無(wú)法緩解的真正原因。排查思路梳理如下表排查步驟操作結(jié)論1. 檢查消費(fèi)組內(nèi)實(shí)例數(shù)8 個(gè)消費(fèi)者都在線實(shí)例數(shù)不是瓶頸2. 檢查代理分發(fā)狀態(tài)只有 4 個(gè)消費(fèi)者分到消息消息只按分區(qū)數(shù)并行分發(fā)3. 檢查分區(qū)配置Topic 只有 4 個(gè)分區(qū)并行上限為 4擴(kuò)容無(wú)效4. 修改分區(qū)數(shù)并滾動(dòng)重啟分區(qū)提升到 12 個(gè)積壓開(kāi)始快速下降這個(gè)坑暴露了一個(gè)容量規(guī)劃原則Topic 的分區(qū)數(shù)在創(chuàng)建初期就要按業(yè)務(wù)峰值和消費(fèi)可并行的最大規(guī)模來(lái)定而不是按日常流量定。分區(qū)數(shù)過(guò)小后續(xù)擴(kuò)容消費(fèi)端沒(méi)用要修改分區(qū)數(shù)還需要新建 Topic 或做數(shù)據(jù)遷移分區(qū)數(shù)過(guò)大則會(huì)產(chǎn)生過(guò)多小文件影響代理本身的吞吐穩(wěn)定性。實(shí)踐中保守一點(diǎn)的做法是按當(dāng)前日常流量的 4 倍峰值來(lái)預(yù)估所需分區(qū)再乘 1.5 的冗余系數(shù)。4.4 第四個(gè)坑ack 超時(shí)導(dǎo)致頻繁重試消費(fèi)者其實(shí)只是有點(diǎn)慢默認(rèn)的ack_timeout是 30 秒平時(shí)運(yùn)行沒(méi)有任何問(wèn)題。某天一個(gè)消費(fèi)回調(diào)里多了一個(gè)外部接口調(diào)用響應(yīng)偶爾會(huì)飄到 40 秒開(kāi)外。代理端因?yàn)?30 秒沒(méi)收到確認(rèn)判定這條消息投遞失敗于是觸發(fā)重試重試幾秒后外部接口恢復(fù)消息成功被消費(fèi)并確認(rèn)。但原來(lái)的那條還沒(méi)超時(shí)的消息繼續(xù)處理最后也確認(rèn)了。結(jié)果一條業(yè)務(wù)數(shù)據(jù)被執(zhí)行了兩次。這個(gè)問(wèn)題的根子在于代理不知道消費(fèi)者需要多久才能處理完超時(shí)時(shí)間只是一個(gè)拍腦袋的配置。處理方案很直觀讓代理的 ack 超時(shí)時(shí)間大于消費(fèi)者的 p99 處理耗時(shí)即 99% 請(qǐng)求都能在該時(shí)間內(nèi)完成處理而不是等于平均值。通過(guò)監(jiān)控得出消費(fèi)者的 p99 處理耗時(shí)是 50 秒我就把 ack_timeout 改成了 90 秒多留一點(diǎn)余量重試次數(shù)立刻降了下來(lái)。另外一個(gè)相關(guān)的點(diǎn)是客戶端的心跳間隔。如果消費(fèi)者長(zhǎng)時(shí)間不發(fā)送心跳代理會(huì)誤判消費(fèi)者失聯(lián)并釋放連接導(dǎo)致消息被分配給其他實(shí)例。所以心跳間隔也要和 ack_timeout 配合設(shè)置我的習(xí)慣是把心跳間隔設(shè)為 ack_timeout 的一半比如 ack_timeout 90 秒心跳間隔 45 秒一次。5. 性能調(diào)優(yōu)與容量規(guī)劃用數(shù)據(jù)說(shuō)話而不是拍腦袋5.1 吞吐量估算從業(yè)務(wù)目標(biāo)反推技術(shù)參數(shù)接入階段很多人的第一個(gè)問(wèn)題是“我的業(yè)務(wù)需要多少個(gè)分區(qū)、多少臺(tái)代理”。這個(gè)問(wèn)題不該靠猜而應(yīng)該從業(yè)務(wù)指標(biāo)倒推。假設(shè)你的業(yè)務(wù)高峰期每秒產(chǎn)生 2000 條訂單消息每條消息大小約 2 KB你期望消費(fèi)端能在 10 秒內(nèi)把消息全部消化掉且單條消息處理耗時(shí)約 50 毫秒那么每個(gè)消費(fèi)實(shí)例的吞吐大約是 1 / 0.05 20 條/秒。消化 2000 條/秒的流量需要 2000 / 20 100 個(gè)消費(fèi)實(shí)例并發(fā)而這又要求分區(qū)數(shù)至少等于 100。這個(gè)簡(jiǎn)單的算術(shù)題說(shuō)明了一個(gè)直接結(jié)論分區(qū)數(shù)的上限不是消息量而是消費(fèi)端的處理速度。如果你的消費(fèi)端單條處理需要 500 毫秒那 1000 條/秒的流量就需要 500 個(gè)實(shí)例這顯然不現(xiàn)實(shí)。更合理的方案不是無(wú)限擴(kuò)容而是優(yōu)化消費(fèi)端的處理邏輯——比如把 500 毫秒的外部調(diào)用改為異步批量處理單條耗時(shí)降到 50 毫秒后實(shí)例數(shù)和分區(qū)數(shù)都降了一個(gè)數(shù)量級(jí)。5.2 磁盤和內(nèi)存的平衡消息量大的時(shí)候磁盤 IO 和內(nèi)存分配往往是瓶頸。本地存儲(chǔ)模式下消息寫入磁盤文件讀取后刪除。如果寫入頻率高、單條消息小會(huì)產(chǎn)生大量小文件碎片文件句柄數(shù)量上升操作系統(tǒng)層面的 IO 壓力隨之增大。我的調(diào)優(yōu)動(dòng)作主要有三個(gè)一是把segment_size調(diào)大減少分片合并的頻率二是將消息批量刷盤一次寫入合并多批數(shù)據(jù)減少磁盤尋道次數(shù)三是為數(shù)據(jù)目錄單獨(dú)掛一塊 SSD同時(shí)設(shè)置獨(dú)立的 IO 調(diào)度策略避免和其他業(yè)務(wù)的磁盤讀寫互相干擾。內(nèi)存方面我建議給代理進(jìn)程留足 page cache 空間。消息先寫內(nèi)存再刷盤系統(tǒng)會(huì)利用空閑內(nèi)存緩存熱點(diǎn)分片文件。如果服務(wù)器內(nèi)存有 64 GB使用率不高的情況下不需要刻意限制代理的內(nèi)存占用讓它多用 page cache 反而是好事情。真正需要擔(dān)心的是內(nèi)存被打滿導(dǎo)致 swap所以還是要給操作系統(tǒng)保留一定空閑內(nèi)存。5.3 監(jiān)控指標(biāo)這幾項(xiàng)不盯出事必手忙腳亂代理是否健康不能靠等 bug 出來(lái)再看我的監(jiān)控面板里固定放著四個(gè)指標(biāo)。第一是消息積壓數(shù)量這個(gè)直接反映消費(fèi)是否跟得上生產(chǎn)第二是重試消息占比這個(gè)指標(biāo)如果突然上升說(shuō)明消費(fèi)端在報(bào)錯(cuò)或者 ack 超時(shí)第三是死信隊(duì)列增長(zhǎng)速率正常應(yīng)該趨近于零一旦出現(xiàn)有規(guī)律的死信增長(zhǎng)就是有某類固定消息被反復(fù)處理失敗第四是代理進(jìn)程的句柄數(shù)與連接數(shù)這個(gè)可以在連接風(fēng)暴和設(shè)備文件耗盡之前提前預(yù)警。積壓數(shù)量這個(gè)指標(biāo)要額外加一個(gè)按 Topic 分組的統(tǒng)計(jì)因?yàn)槿址e壓看起來(lái)正常但不代表單個(gè) Topic 沒(méi)有異常。我曾經(jīng)遇到過(guò)全局積壓只有幾百條實(shí)際上某一個(gè)訂單 Topic 積壓了 20 萬(wàn)條的情況因?yàn)槠渌?Topic 消費(fèi)很快平均下來(lái)總量并不大結(jié)果掩蓋了問(wèn)題。6. 從消息代理走向任務(wù)調(diào)度hermes-agent 的兩種進(jìn)階用法6.1 定時(shí)任務(wù)與延遲消息的落地實(shí)踐消息代理用順手之后我開(kāi)始嘗試擴(kuò)展它的能力邊界。第一個(gè)用法是把延遲消息做成定時(shí)任務(wù)調(diào)度器。場(chǎng)景是這樣的下單后 15 分鐘未支付需要自動(dòng)關(guān)單用戶申請(qǐng)退款后 48 小時(shí)未處理需要提醒客服。原生實(shí)現(xiàn)往往要起一個(gè)單獨(dú)的任務(wù)掃描表定時(shí)輪詢數(shù)據(jù)庫(kù)效率低且存在掃描傾斜問(wèn)題。把 hermes-agent 和延遲隊(duì)列結(jié)合后整個(gè)流程變成一條流水線業(yè)務(wù)服務(wù)創(chuàng)建訂單時(shí)投放一條延遲消息到代理代理在指定的延遲時(shí)間之后才將消息推給消費(fèi)端消費(fèi)端收到消息后再去數(shù)據(jù)庫(kù)里核實(shí)訂單的支付狀態(tài)若未支付則執(zhí)行關(guān)單若已支付則直接放棄處理。這個(gè)方案省掉了定時(shí)掃描任務(wù)也不用維護(hù)額外的任務(wù)表。這里有個(gè)很重要的細(xì)節(jié)延遲類的回調(diào)處理必須是“復(fù)核式”的不能收到延遲消息就無(wú)條件執(zhí)行動(dòng)作。因?yàn)檠舆t消息可能被重復(fù)投遞而且從投放消息到觸發(fā)回調(diào)的這段時(shí)間里原始業(yè)務(wù)狀態(tài)可能已經(jīng)變了。收到關(guān)單消息時(shí)先查一遍訂單當(dāng)前狀態(tài)已經(jīng)支付就什么都不做這樣整個(gè)機(jī)制才是冪等可靠的。6.2 用消息代理做服務(wù)狀態(tài)感知與自動(dòng)補(bǔ)償?shù)诙€(gè)進(jìn)階用法是狀態(tài)感知與補(bǔ)償說(shuō)白了就是讓消息代理充當(dāng)業(yè)務(wù)的“神經(jīng)末梢”。某個(gè)下游服務(wù)被調(diào)用失敗時(shí)生產(chǎn)端不直接把錯(cuò)誤吞掉而是投遞一條失敗事件到代理專門的補(bǔ)償消費(fèi)者會(huì)分析這類失敗事件結(jié)合失敗頻率和業(yè)務(wù)規(guī)則決定是否啟動(dòng)重試、告警或者切換備用通道。本質(zhì)上是把業(yè)務(wù)里的異常分支也變成一條消息流。以前異常處理散落在各個(gè)服務(wù)里有的記日志、有的打告警、有的重試三次就放棄行為完全不統(tǒng)一。接了消息代理之后我把所有業(yè)務(wù)的失敗事件統(tǒng)一投遞到同一個(gè)失敗處理 Topic由同一個(gè)消費(fèi)組專門負(fù)責(zé)分類處理。這套模式減少了每個(gè)服務(wù)的異常處理代碼量也讓系統(tǒng)里“哪里有坑”變得一目了然——失敗事件累積最多的那個(gè) Topic就是最需要重構(gòu)的業(yè)務(wù)代碼所在。6.3 消費(fèi)能力擴(kuò)展從內(nèi)部解耦到對(duì)外開(kāi)放回調(diào)最后一個(gè)擴(kuò)展方向是對(duì)外開(kāi)放回調(diào)能力。hermes-agent 本身支持 HTTP 推送消費(fèi)者的形態(tài)所以可以不寫服務(wù)端代碼直接讓代理把消息以 HTTP POST 的形式推給一個(gè)公網(wǎng)可訪問(wèn)的回調(diào)地址。這個(gè)特性在對(duì)接內(nèi)部運(yùn)維系統(tǒng)、對(duì)接企業(yè)微信機(jī)器人、或者做外部 Webhook 通知時(shí)特別方便不需要為了發(fā)一條通知而專門起一個(gè) WEB 服務(wù)。對(duì)這類對(duì)外回調(diào)要注意兩個(gè)安全問(wèn)題一是回調(diào)地址必須配置白名單防止代理被惡意用來(lái)做內(nèi)網(wǎng)請(qǐng)求轉(zhuǎn)發(fā)二是回調(diào)地址必須是 HTTPS避免消息內(nèi)容在傳輸過(guò)程中被截獲。內(nèi)部調(diào)試階段用 HTTP 沒(méi)太大問(wèn)題一旦涉及真實(shí)用戶數(shù)據(jù)證書配置這件事不能省。7. 寫在最后消息代理不是一個(gè)終點(diǎn)而是一個(gè)起點(diǎn)從最初為了解決服務(wù)間同步耦合開(kāi)始到后來(lái)逐漸承擔(dān)了延遲任務(wù)、失敗補(bǔ)償、狀態(tài)感知、外部回調(diào)這些職責(zé)hermes-agent 這個(gè)組件在我的技術(shù)體系里已經(jīng)從“一個(gè)中間件”變成了“一套業(yè)務(wù)韌性基礎(chǔ)設(shè)施”?;乜凑麄€(gè)過(guò)程幾個(gè)教訓(xùn)我印象最深。分區(qū)數(shù)一定要按峰值和消費(fèi)并行度來(lái)規(guī)劃而不是按平均流量估否則線上擴(kuò)容會(huì)撞上一個(gè)看不見(jiàn)的天花板。消費(fèi)回調(diào)必須做冪等處理重復(fù)投遞不是 bug不做去重才是。配置 ack 超時(shí)和重試策略之前先去監(jiān)控面板看一眼消費(fèi)端的 p99 耗時(shí)所有參數(shù)調(diào)整都應(yīng)基于真實(shí)數(shù)據(jù)而不是猜。如果只讓我留一條建議那就是消息代理類組件的核心價(jià)值不在“能把消息發(fā)出去”而在“發(fā)不出去、收不到確認(rèn)、重復(fù)投遞、消費(fèi)積壓這些異常場(chǎng)景下系統(tǒng)能不能穩(wěn)定自愈”。把異常路徑設(shè)計(jì)好代理才能真正成為那個(gè)名字里所說(shuō)的信使——平時(shí)無(wú)感關(guān)鍵時(shí)刻絕不掉鏈子。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
另类小说五月天| 四月丁香五月婷婷久久| 被强行糟蹋的女人A片| 五月婷婷激情综合| 五月丁香六月婷| 九九热在视频| 4399无码视频二区| 五月天激情视频| 亚洲婷婷丁香五月| 色碰碰| 大伊香蕉玖玖爱| 六月激情综合| 狠狠干综合| 丁香婷婷色五月| 99噜噜| z色五月播播久久| 99九九视频精彩在线| 色婷婷69| 青青热久久综合| 综合五月天| 色情五月天首页| 久久色六月| 天天天天天操| 无码碰碰| 色色色综合| 偷拍99在线视频观看| 天天干天天操| 337p大胆噜噜噜噜噜91Av| 淫视馆aV二区一区| 色婷婷五月天堂资源| 97色 五月天丁香| 开心五月婷婷激情网| 色级停停| 天堂久久精品| 欧美成人无码一区二区三区| 日本久久爱| 丁香五月狠狠在线观看| 色欲婷婷五月天| 9 1超碰九色| 激情五月婷| www.俺去也com| 一区操| 在线观看av网站| 久99热在线观看| 婷婷激情五月| 26uuu亚洲| 九九激情视频| 丁香五月影院| 天天综合五月天| VA色婷婷| 色 噜噜 九月 婷婷| 狠狠操天天干| www.日日夜夜| 182TV大香蕉| 亚洲欧美婷婷五月色综合| 婷婷综合五月天激情| 热91久| 亚洲综合激情五月久久| 丁香五月aV| 久久久噜噜噜www成人| 婷婷午夜精品久久久| 丁香婷婷激情五月| 欧美在线看| 亚洲精品又粗又大又爽A片| 色爱终和网| 色综合色五月| 日韩在线aaa| 97碰| 亚州色综合| 丁香六月欧美| 激情五月婷婷| 亚洲AAAA网| 91porn一起草| 欲色人妻| 日韩人妻AV在线| 丁香婷婷视频| 婷婷综合五月色播| 性爱AV天堂| 国内精品免费一区二区2009| 91狠狠色丁香婷婷综合久久| 99亚洲精品| 思思视频精品| 五月婷婷免费在线| 久久超级碰碰| 亚洲AV无码影院| 国产亚洲99久久精品| 毛片毛片毛片毛片| 色婷婷欧美在线| 五月婷婷导航| 中文成人在线| 色综合中文综合网| 97五月婷| 日韩无码AV电影网站| 久99久视频| 五月天久久www| 日本综合久久| 狠狠色噜噜狠狠狠888| 婷婷色五月激情| 超碰人人在线观看| 久久久.COM| 99色在线视频| 99热这里只有免费精品| 天天做天天爱天天日| 色婷婷丁香五月综合| 天天搞夜夜爽夜夜爽| 激情四射五月天偷偷看婷婷| 99这里有精品| 国产无套精品一区二区| 91大屁股精品| 99免费综合网| 草榴视频网| 五月婷丁香| 色婷婷激情四射视频| 99热这里只有精品33| 色综合久久888| 天天爽天天爽夜夜爽| 苗黎美女四级成人版一级二级毛片| 国产avapp 网| 伊人www22综合色| 亚洲成人人人操| 天天成人丁香美女AV| 丁香婷婷少妇| 婷婷丁香成人在线视频| 99在线观看| 99热色综合| 日韩少妇内射免费播放| 99re欧美精品| 综合久久十| 亚洲经典三级| 婷婷香蕉精品| 五月丁香日逼| 激情图片99| 久久99久久久久久久噜噜| 岛国AV网| 五月天偷拍| 狠狠爱综合| 91婷婷色五月| 丁香综合网| 婷婷人人操| 91日视频| 91视频一起草| 夜夜爽天天干| 大地资源色婷婷视频在线| 色色激情五月天| 另类在线| 香蕉97碰碰碰欧美| 激情五月婷婷她| 亚洲色频| 色婷婷久久天天性爱| 精品99在线| 丁香婷婷色色| 亚洲 精品 综合 精品| 日韩狠狠色婷婷| 亚洲天堂AV免费片| 激情五月婷在线精品| 久久综合天天综合| 婷婷色激情五月天| 五月婷网| 欧美激情五月天| A片试看120分钟做受图片| 桃色成人网| 久久免片| 任你弄在线视频免费| 99人人爽| 91视频一起草| 99re熱| wwW天天干| 婷婷久久午夜网| 色婷婷婷综合五月天| 五月丁香婷婷AV天堂| 色综合色婷婷色伊人| 五月激情综合婷婷| 五月丁香在线观看| 亚洲综合99| 国产真人做爰视频免费| 九九热99精品| 五月天婷婷xxx| 日韩婷婷五月天| 深爱激情六月| 婷婷激情综合网| 色婷婷综合网| 大香蕉在九| 亚洲久艹| 色婷婷在线视频久| 日日夜夜天天综合| 五月天婷婷激情小说电影| 天天射影院| 六月丁香婷婷综合狠狠爱夜夜爱| 久久九九综合| 色色五月天com| 都市激情久久| 九九热精品视频在线观看| 美女五月天| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 欧美综合在线五月天色婷婷| 欧美操人| 国产人人操| 亚洲AV成人在线观看| 五月婷婷亚洲色图| 五月婷婷激情久久| 久久亚洲精品成人无码网站导航| 激情五月婷婷视频一区二区三区| 国产SUV精品一区二区883| 五月天伊人| 丁香五月天激情五月天激情五月天激情网| 激情婷婷九月| 99天堂在线观看免费视频| 性欧美日本| 五月天欧美激情| 婷婷丁香激情综合色情| 99re在线免费视频| 国产熟妇乱子伦hd| 狠狠五月天| 成人五月天视频| 亚洲视频在线观看99| 综合五月丁香97| 99国产精品白浆在线观看免费| 99视频这里有精品| 亚洲性图一区二区三区| 欧美久久网| 婷婷在线网| 9l视频自拍9l九色成人| 久久婷婷五月综合| 26uuu国产激情视频| 狠狠色丁香综合| 久久人人九| 蒲京久久无码视频| 牛色色碰| 国产 码在线成人网站| 久久综合首页| 色综合色色| 99视频精品全部免费 在线| 狠狠香蕉| 五月伊人网| 亚洲欧美日韩另类| 90色免费视频| 一区二区成人电影免费播放| 成人无码髙潮喷水A片| 狠狠做五月| 日韩高清久久| www.com色播五月天| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 综合久| 五月天婷婷操逼视频| 婷婷五月天美女视频| 天天日,天天射,天天插| 色婷婷五月天中文字幕| 91丨九色丨大屁股| 久久丁香五月综合六月激情红杏视频| 五月丁香888| 天天射天天操天天干| 激情五月天婷婷| 9久热| 久久婷婷网| 天天日天天草| 天天摸天天透天天舔| 3www激情| 亚洲综合激情五月| 玖玖热视频| 亚洲性爱区无码区| 深爱激情网五月天| 五月婷婷综合久久| 99热久| 伊人啪啪网| 天天色综合网吨吧| 亚洲婷婷激情五月天| 婷婷色色网| tingtingzonghewang| 五月天激情在线视频| 激情五月天婷婷久久久久久久久久久| 丁香五月天在线观看视频| 成人丁香色| 大香蕉七区| 九九色图| 中文在线视频久1| 国产黄色大片| 五月激情在线| 色www久视频| 国产,欧美,学生妹,视频| 欧洲第一无人区观看| 91九色精品熟女内射| 9久久精品| 欧洲色| 六月丁香网| 国产精品a无线| 白人荫道BBWBBB大荫道| 99热每日| g00d人体西西| 天天爽人人综合免费7799| 色999五月色| 99热只有精品综合| 九九这里有精品视频| 婷婷五月天在线综合导航| 六月激情婷婷色| 色9色| 夜夜爽日日躁| 直接看的AV| 可以看的av网站| 五月婷婷|欧美| www.精品99| 天天干天天色综合| 艳妇野外情欲放荡HD| 亚洲无码影音| 琪琪色影音先锋| 久久久性爱网| 五月天伊人av| 日韩欧美一级大黄网站| 婷婷六月色开| 夜夜操天天干| 91妻人人爽人人看片| 六月色丁香婷婷| 2021日韩无码| 天天狠狠婷婷在线| 青青草视频福利| 激情深爱五月| 色婷婷小说| 中文字幕日产A片在线看| 禁欲电影完整版在线播放| 日本在线播放97| 久热丁香| 97色色色视屏| 狠狠干在线| 日韩婷婷| 91人人爱| www.超碰| 精品草原久久视频| 岛国AV网| 真实熟女-91九色| 99九九99九九九视频精彩| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 精品夜夜澡人妻无码AV| 久久久久久久久久婷婷| 欧美美女国产日韩一区二区久| 精品无码99| 玖玖五月| 欧美日本韩国亚洲| 97久久久久| 久久婷婷成人视频| 精品久久艹| 五月丁香六月情| 99免费超碰在线| 在线资源av-超碰中文在线-成人AV| 丁香五月天激情网址| 丁香六月视频免费观看| 九九色热| 欧美日韩日韩成人| site:minyis.com| 色J香五月天| 午夜大香蕉| 久久五月婷综合| 亚韩在线视频| 97色色色色色| 国产FREESEXVIDEOS性中国| 色婷婷亚洲在线观看| 久久久久久久五月婷婷六月丁香综合,开心激情综合网 | 激情婷婷丁香色五月综合| 色色色色网| 91丨九色丨43老版熟女| 成人网在线视频| 天天天天天操| 99日韩| 九色成人AV在线| 99亚洲天堂| 99热这里只有精品最新网址| 五月激情综合网| 九九人人自拍| 日韩爱操视频| 国产69久久久欧美黑人A片| 综合久久五月天| 中文字幕久久一区二区三区| 超碰人人在线| 九色视频91疯狂| 九九性视频| 婷婷色婷婷| 色私五月婷婷| 99热精品在线播放| 亚洲网站观看视频| 国产99热在线看| 五月天婷婷久久| 亚洲亚洲人成综合网络| 婷婷色色五月天| 久久婷婷五月天| 婷婷丁香中文字幕| 婷婷综合五月激情| 99热青青草| 丁香五月婷婷亚洲天堂| 青青草婷婷综合五月| 五月婷在线观看| 欧美色色干| 深夜A片| 国产做爰视频免费播放| 天天做天天爱天天摸| 色女人久久| 亚洲区1| 欧洲激情五月天| AV人人操| 啪啪91| 亚洲婷婷丁香| 九月综合| 精品乱码久久久久| 婷婷激情五月天激情小说| 他改变了拜占庭| 婷婷五月天网址| 夜夜AVV| 国产精品激情五月天色婷婷| 播丁香五月婷婷欧美| 97亚洲色 torrent magnet| 五月综合激情| 婷婷综合视频| 亚洲人妻Av| 亚洲av午夜精品一区二区| 激情丁香五月婷婷啪啪| 91碰免费视频| 亚洲色情网站| chaopengdaxiangjiao| 人色五月天婷婷| 色色丁香| 亚洲视频丁香网va| 搡BBBB搡BBB搡五十| 丁香五月六月久久综合 | 婷婷久久五月| 天天日天天爽夜夜爽| 中文字幕不卡+婷婷五月| 亚洲AV综合网| 精品久久9| 色情五月婷| 97色欧美| 五月天婷婷色| 婷婷欧美色| 天天影院色| 激情五月婷黄版| 色婷婷五月在线| 丁香色情五月综合激情| www.天天干| 亚洲熟妇AV综合网五月丁香伊人 | 综合婷| 特级西西4444www无码| 9久操| 婷婷五月天综合网| 丁香婷婷六月天| 热九九精品| 激情五月深爱五月观看| 内射爽无广熟女亚洲| 97久久香草精品视频| 日韩一区二区A片免费观看| 超碰AAAAAAV| 五月婷婷很很色| 天天舔天天摸天天透| Www.se.久久| 婷婷狠狠干| av线电影| 97天堂| 婷婷五月天伊人在线| 婷婷五月天网| 天天做 天天爱| 亚洲久艹| 淫视馆aV二区一区| 狠狠五月丁香色婷| 久热精彩视频98| 五月天婷婷丁香导航| 丁香六月婷婷综合欧美| 久久久久久久人妻| www夜夜操wwwcon| 99re资源在线视频导航| 天天弄天天操| 九九熱最新視頻| 亚洲亚洲人成综合网络| www.lingjunshare.com| 五月丁香六月婷婷综合| 久久99网站| 欧美激情五月天在线观看| 婷婷五月丁香亚洲| 色5月婷婷色| 激情五月综合色| 99ree6| 79精品视频在线观看,| 五月色丁香| 五月激情在线| 丁香五月Av| 欧美精品999| 噼里啪啦完整版中文在线观看 | 丁香五月六月婷婷怡红院| 久热超碰91| 热九九精品| 青青草原福利在线| 激情五月综合网最新| 另类小说五月天| www.狠狠干com| 91日日日| 亚洲日韩一页精品发布| 欧美黄色AA片哗啦啦啦| 99色视| 91热视频| 精品五月天| 日日婷婷不卡| 婷婷五月天AV在线| 丰满少妇乱A片无码| 天天操天天操天天操天天操天天操| 婷婷五月天色| WWW、日本色丁香、co m| 99在线热| 天天摸天天日天天舔| 庭庭久久内射| 综合久久十三| 天天插综合| 五月天另类图片| 五月天久久久| 丁香婷婷午夜| 国产人妻777人伦精品HD| 五月婷婷av| 久久婷婷丁香五月一二三| 狠狠狠狠青草| 思思精品视频| 婷婷五月婷婷| 婷婷一本和五月丁香| 97干视频在线| 丁香五月天久久| 色综合久久888| 中文字幕乱轮| 婷婷丁香五月天在线视频| 在线看黄色| 狠狠干五月| 玖玖在线视频| 五月天播播中文字幕| jiujiu无码五区| 9l视频自拍九色9l视频在线观看| 五月停停大香蕉| 五月激情六月综合| 亚洲乱码w在线观看| 热的国产,热的综合,热的有码 | 丁香六月婷婷激情综合| 婷婷综合网性| 久久婷鲁| 草了bav视频在线观看| 激情五月天色网站| 五月丁香六月综合激情| 九九爱看亚洲| 小视频在线亚洲| 亚洲色激情| 五月丁香综合色婷婷| 婷婷五月天福利| 伊人网啪啪| 天天狠狠干| 五五月五月| 色优久久| 色婷婷中文在线| 国产色香蕉精品五夜婷| 免费91久久精品| 综合色99| 亭亭五月色男人| 五月丁香综合影院| 激情五月天电影| 丁香婷婷啪啪啪| 丁香五月天色综合| 五月丁香六月激情综合网| 婷婷 伊人 久久| 色婷婷AV久久| 久久5 9视频免费观看| 欧美色婷婷| 婷婷五月天久久久| 亚洲精品成人| 91狠狠色色丁香婷婷综合久久| 日日.c| 亚洲色综合性| 久久这里只有国产精品视频| 六月丁香五月激情网| 综合亚洲五月天| 99久久精| 99精品久久| 五月丁香性爱| 欧美色图天堂网| 大香蕉伊人99| 91九色精品女同系列| www.爱婷婷.com| 丁香五月熟女| 一起草日本| 欧美日韩一区二区三区四区| 69天堂99| 中日韩美欧成人一区二区精品在线| 91碰碰| 人妻AV在线| 最新久久网址| 91爱啪啪| 亚洲激情网| 久久久久久欧美精品se一二三四| 97人人操| 成人丁香五月| 五月婷婷六月丁香在线| 国产这里只有精品| 91丨九色丨熟女高潮| 99精品综合| 无码99| 色婷精品91| 99re热在线视频| 99热99极品观看| 91色逼| 综合色情网| 五月天婷婷色综合| 精品一二三区久久AAA片| 99色视频| 香蕉AV777XXX色综合一区| 日本三级成人秘书精品片| 五月天天丁香婷婷| 久热9热| 天天色99| 99精品久久| 激情五月激情综合网一级丸片| 六月婷婷色五月| 五月丁香激情综合欧美| 久久精品66| 精品久久艹| 丁香婷婷色色| 国产激情综合五月久久| 丰满少妇猛烈A片免费看观看| 国产内射婷婷| 五月丁香六月婷婷的女人| 久久98热re| AV激情五月| 日日爽日日操| 天天色,天天日,天天做| 久久网日本| 丁香五月影院| 婷婷香蕉香| 亚洲色区17| 99A级片| 另类五月婷婷| 天天色激情| 九九99香蕉在线视频播放| 久/久精品99看9| 极品少妇XXXX精品少妇偷拍| 色无婷婷| 另类激情码| 成人五月天在线观看| 婷婷六月天精品| 色五月综合在线| 99ri国产| 婷婷五月丁香基| 岛国资源站| 99久久九九| 色婷婷色情| 九九热最新| 天天干电影| 精品日本视频444| 天堂久久婷婷| 激情 婷婷 插| 狠狠操综合| 色五月综合激情网| 粉嫩av懂色av蜜臀av熟妇| 色五月五月天| 五月婷婷色色色| 青青草大香| 99热在线精品播放| 色情久久久| 婷婷九月综合| 午夜天堂一区人妻| 99久超碰| 五月婷婷视频ab| 久久狼人天堂| 性色九九| 色综天天综合| 99综合激情久久精品久久| 91操片| 七月丁香五月婷婷在线| 人妻激情视频| 天天操天天操| 九九精品99| 大香蕉AV电影在线| 天天性视频| 五月丁香婷婷俺| 99热在线精品观看| 99热很操老逼| 婷婷色五月亚洲| 日本婷久久| 久久久9久| 精品无码色| 超碰在线免费| 久艹久| 五月婷婷综合色啪首页| 天天天干夜夜夜操| xx久久| 亚洲综合激情五月| 欧美午夜乱妇午夜福利| 就是色婷婷五月亚洲色| 99re在线视频| 九九热在线视频观看免费10| 夜夜操狠狠操天天操| 热99在线| 站长推荐无码播放| www色五月| 天天插操| 99精彩视频在线观看| 这里只有精品视频99| 99热在线看片| 九九99精品视频在线观看| 国精产品一区一区三区免费视频| 天天骑日日爽| 久久丁香五月婷婷| 国产精品视频| 99精品免费视频| 91精品91久久久久77777| 国产色色网站网址| 丁香六月激情综合| 婷婷久久五月| 操碰99| 百度4399有码精品V在线观看| 婷婷五月噜噜| 天天色综网| 日韩狠狠色婷婷| 六月激情综合| 色综天天综合| 婷婷色五月天在线观看| 91干| 99色婷婷视频| 亚洲中文字幕AV| 99福利导航| www.99热在线| 日本狠狠干| 91 九色 入口| 天天日天天色| 99色免费| 五月天狠狠网| 97在线日本| 五月亭亭性| 丁香五夜激情四射夜夜夜| 丁香五月婷婷色| 99久操视频| 婷婷五月综合视频| 色婷婷精| 五月丁花六月丁香综合| 五月婷婷www| 激情综合网五月激情| 亚洲国产黄色电影| 婷婷深爱五月| 9999热在线免费观看| 亚洲欧美婷婷五月色综合| 人妖色AV色综合| 天天爽天天| 91chinese 在线| 99热热这里只精品996小说| 六月丁香停| 婷婷午夜精品久久久| 超碰97人人操| 播播网色播播| 99在线观看这里都是精品| 一本大道嫩草AV无码专区| 丁香五月宝贝激情网| 九九九九精品精| 互月天综合| 色吊丝99| 婷婷丁香五月综合免费视频百花| 另类视屏| 亚洲激情AV| 夜夜躁狠狠 | 婷婷六月五月| 小泽玛利亚视频一区二区| 久久九九@| 久久久婷| 强辱丰满人妻HD中文字幕| 色五月婷激情| 99久久五月天| 综合久久婷婷| 丁香婷婷久久激情| 婷婷五月天综合久久日美女| 五月婷婷亚洲色视频| 色狠狠色综合久久久绯色AⅤ影视| 色婷婷综合视频| 99高级会所久久| 色婷婷很很十八禁| 色丁香五月婷婷| 丁香五月综合婷婷| 少妇大叫太大太粗太爽了A片| 秋霞影音91人妻久久| 色婷婷最新域名| 欧美熟女99| 婷婷五月 丁香六月| 六月婷婷色色网| 久草热在线视频| 免费AV播放| 国产精品天天狠天天看| 99网| 中文网AV| 五月丁香色欲| 99精品久久久久| 五月天天丁香婷婷在线中| 婷婷五月天99综合网站| 色色色综合| 天天五月香欧美| 午夜AV网| 另类视频一区| 欧美97p| 婷婷激情四射网| 狠狠色色| 婷婷六月丁香五月| 五月婷婷六月丁香免费| 99在线视频。| 成人亚洲精品| 五月天色在线| 丁香婷婷五月色成人网站| 福利视频在线播放| 播五月,色五月,开心五月播放器| 99re这里只有精品9| 99综合五月免费视频色婷婷| 欧美日本国产欧美日本韩国99| 成人婷婷桔色| 婷婷丁香五月激情密臀av| 亚洲九九夜夜| 天天操天天干天天日| 天天做天天爱天天摸| 色婷婷成人久久| 四色五月婷婷| 天天天综合网| 九九视频这里是精品五月| 丁香五月婷婷亚洲激情四射| www.婷婷五月天| 五月天色影院| 色色色视频免费无码| 冬月かえでAV无码播放| 国产FREESEXVIDEOS性中国| 26UUU精品一区二区| 操笔无码| 狠狠色丁香婷婷久久综合| 亚洲国产精品二二三三区| 丁香五月婷婷av| 99热只有精品在线观看| 五月停亭六月,六月停亭的英语| 五月成人丁香av91| 五月婷婷香| 久久美女五月天| 婷婷综合五月天激情| 精品99在线看| 91碰人人| 在线另类| 久久永久视频| 五月天天爽| 天天色天天爱天天舔| 五月婷婷偷拍| 欧美高潮9| 极品少妇高潮啪啪AV无码| 91婷婷色| 六月丁香色婷婷| 色色色在线播放| 丁香五月另类色婷婷麻豆| 丁香五月 性爱| 噼里啪啦完整版中文在线观看| 婷婷射综合| 丁香五月六月婷婷怡红院| www.99热最新视频8| 激情爱爱网站超大免费| 久在线综合69| 丁香五月花| 人人摸人人摸| 一区二区免费看| 美女妹子后射视频网站在线观看| 激情五月婷婷欧美极品| 91干| 99在线视频免费| 亚洲AV成人精品网站在线播放| 深爱五月天| 九九色热| 国产在线黄色| 色噜噜狠狠色综无码久久合欧美| 可以免费看的av网站| 五月婷婷色男女| 久久精品色| 日韩不卡DvD| 97欧美在线| 婷婷色六月| 国产精品天天狠天天看| 色色五月天丁香婷婷| AAAA网站| 丁香五月在线观看完整版| 激情婷婷五月黑人| 思思久ren热| 色情五月天小说| 中文无码婷婷| 久久久99视频| 伊人狠狠丁香婷婷综合尤物| 黑人无码一区| 亚洲色图在线视频| 美女爆乳18禁www久久久久久| 超碰在线观看三级片| www99热| 99热| 激情综合网色播五月| 丁香六月五月天| 五月天啪啪| 开心五月婷婷激情| 丁香五月影院| 永久精品| 天天插天天射| 五月丁香六月激情| 91日本在线观看| 激情婷婷五月天| 99热这里都是精品| 丁香婷婷啪啪| 亚洲人人操| 午夜少妇在线观看视频| 中文字幕欧美日韩VA免费视频| 婷婷色婷婷| 四LLL少妇BBBB槡BBBB| www.丁香五月| 日夜夜久久| 丁香六月婷婷综合在线| 久久这里只有欧美| 开心婷婷五月中文字幕组| 九九综合久久| 99热国产这里只有精品| 激情综合色婷婷六月天| 开心婷婷丁香五月| 亚洲熟妇无码乱子AV电影| 五月丁香综合中文| 国产.亚洲.欧洲视频在线| 色婷婷88| 99在线精品观看99| 激情五月婷婷网| 99这里只有精品| 白人荫道BBWBBB大荫道| av中文网| 91人无码久久久久久| 91AV视频| 美欧日韩国产成人在战| 久热伊人| 激情婷婷人妻| 操一操插一插| 99热这里只有精品在线观看| 久大香蕉| 99热只有| 伊人热在线大香蕉| 美女xx不卡| 91色九| 激情图片亚洲| 五月丁香天堂网婷婷| 婷婷六月激情在线视频| 丁香五月婷婷基地| av中文在线| 少妇人妻丰满做爰XXX| 亚洲欧洲美女在线观| 五月婷婷黄| 国产激情视频在线观看| 婷婷丁香六月影视| 亚洲激情综合免费| 人妻激情在线| 激情久久久| 91碰免费视频| 99亚洲精品视频| 九九色影院| 亚洲婷婷91丁香| 六月色日韩| 亚洲久热无码| 亚洲五月天另类小说图片| www.狠狠| 射婷婷中文字幕| 人妻五月天激情开心网| 9999久久久久| 天天射天天射一道本日本社区 | 久婷婷视平| 婷婷五月天丁香社区| 伊人久久婷婷| 99re热视频| 直接看的AV| 日韩aaa| ztEJj| 91成人电影| 色七色九九| 激情丁香五月天图片| 大香蕉综合| 精品一二三区久久AAA片| 丁香五月激情欧美| 一级黄色影片| 99色最新在线视频网站| 婷婷五月综合在线| 国产黄色在线| 久草性爱| 琪琪秋霞| www.99热| 97碰碰碰免费公开在线视频| 丁香花五月天婷婷成人社区| 久久五月激情| 综合色综合| 欧美三日本三级少妇三99| 亚洲视频在线观看| 超碰在线观看9| 丁香五月aV| 操九色| 欧美三级A做爰在线观看| 人人叉久| 337p午夜影院| 丁香激情五月| 国产成人综合电影| 久久9久| 丁香五月天啪啪激情综和网| 五月激情啪啪| 丁香五月婷婷少妇| 入口五月婷婷六月香| 五月天综合视频| 97综合在线| 国产精品色婷婷久久久精品| 99热日| 999婷婷综合| 九九热视频精品999| 五月丁香婷婷综合网| 五月丁香激情六月| 五月激情综合网| 色婷婷五月影院| 伊人综合网4| www激情| 日日噜噜久久婷婷五月天| 五月天色婷好好| 婷婷激情人妻| 97丨九色丨国产丨PORNY| 67194成I人在线观看线路1| 99亚洲日韩| 五月丁香影院| 五月丁香亭亭操逼| 99re鈥哸鈥唙| 97天堂| 中文无码婷婷| 色婷婷的五月天| 亚洲亚洲人成综合网络 | 精品久9| 色热久资源| 狠狠爱婷婷| 日本高清不卡免费一区二区三区| 色婷丁香五月| 97色在线视频| 9视频1在线| 欧美色色色| 亚洲操逼网| 婷婷激情性爱| 人人摸人人搞| 五月天丁香婷婷久久九| 九九视频这里是精品五月| 九九精品综合| www.com色播五月天| 丁香婷婷成人在线播放| 国产精品成人在线| 99精品国产热久久91色欲| 成人视频婷婷| 欧美性生交XXXXX无码小说| 日韩成人精品中文字幕| 婷婷综合五月| 日噜噜色| 亚洲人人操BD| 无码AV免费精品一区二区三区| 色吧综合网| 久久多色| 五月亭亭欧美女人| 色色色色av色色色色| 久婷婷视平| 色五月婷婷在线视频| 五月婷婷开心网| 人人操99| 香蕉婷婷色五月| 欧美日韩成人在线免费| 婷婷va| 久在线88综合| 五月天婷婷青青| 五月丁香六月婷| 色婷婷综合视频| 激情亚洲婷婷| 神马欧美精| 日韩AV大全| 啪啪日热| 久久深爱激情网| 影音先锋91在线资源站| 99热这是里只有精品| 五月综合色| 五月婷婷激情综合在线| 国产99热| 色色婷婷五月| 五月天激情丁香| 丁香婷婷网| 五月婷婷六月丁香| 亚洲丁香花色| 狠狠色婷婷777| 丁香六月啪啪| 五月婷婷激情网| 色色婷| 99热在线观看免费精品| 综合五月草| 夜夜爽天天干| 丁香五月六月久久综合 | 欧美亚洲婷婷五月| 婷婷在线五月综合| 337午夜福利| 一区操| 99热免费看| 久久99精品久久久久久青青AR| 亚洲天堂色色| 激情视频综合| 久热人妻| 婷婷午夜| 99这里| 五月激情另类| 日韩成人中文| 天天色官网| xxxx五月天色色| 成人网在线视频| XX久久| 五月天婷婷色综合| 99这里只有免费的小视频在线观看| 国产又爽又猛又粗的视频A片 | 成人免费在线电影| 美女黄频aⅴ视频| 91操人视频| 亚州精品色情在线观看| 狠狠色噜噜狠| 亚洲AV成人无码久久精品老人法拉利| 激情色情五月天| 大香线蕉伊人| 噜噜干日本| 久热超碰| 99热这里只有精品无码| 婷婷激情综合色五月久久91| 射久久丁香五月| 99 r热| 国产真人做爰视频免费| 99热99这里有免费的精品| 亚洲av成人一区二区电影在线| 人人操av| 美女网黄| 欧美激情综合色综合啪啪五月| 六月丁香激情婷婷| 色97啪啪| 国产成人网址| 婷婷丁香六月激情综合| 99精品久久久久久久久| 亚洲人妻电影| 色五月开心婷婷| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 九九激情网| 超pen个人视频97| 亚洲免费婷婷| 超碰9| 日产精品久久久久久久蜜臀 | 超碰人人操人人干| 国产AV一区二区三区最新精品| 色五月婷婷久久| www.99精品在线| 久热免费视频| 91婷婷五月天嫩女| 欧美噜噜噜草| 欧美性生交XXXXX无码小说| 噜噜国产| 激情综合女人网五月播播| 丁香五月天AV在线| 婷婷九月亚洲| 91dy.av| 六月婷基地| 九九成人| 99在线精品视频在线观看| 99热偷拍| 河北真实伦对白精彩脏话| 99热思思| 这里只有视频精品| 国产亚洲色婷婷久久99精品9j| 九九激情综合| 色丁香五月综合网| 日本3级片偷拍网站| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 大香网伊人久久综合| 97婷婷五月| 亚洲九九夜夜| 99久操视频| 色色激情五月天| 色五月综合激情| 97干在线视频| 亚洲99一级无嗎特制在线| 久热只有精品| 另类小说激情五月天| 国产成人网站在线观看| 午夜成人av在线| 色爱亚洲| 亚洲另类视频| 婷丁五月| 亚洲无aV在线中文字幕 | 日日夜夜天天| 很操日本7| www,久久久| 国产精品18久久久| 婷婷五月天天aV| 91九色精品女同系列| 91丨九色丨东北熟女| WWW.婷婷| 伦乱美欧| 丁香婷婷九月| 丁香99| 色5月婷婷| 99久久五月婷婷| 99热这里精| 99爱爱| 色婷婷影音| 色一情一乱一伦一区二区三区| 成人五月天丁香婷| 天天色激情| 九九综合视频在线观看| 另类视屏| www日本熟妇99在线视频| 99精品综合视频| 欧美中文五月天| 五月天激情Av| 丁香色五月婷婷17C| 激情五月综合久久| 91夫妻视频| 亚洲五月婷| 成人一级片| 91婷婷五月天嫩女| 综合色五月天| 激情五月综合色| 99在线视频资源| 欧美日韩精品一区二区三区钱| 天天综合网站| 色丁香五月婷婷| 五月丁香婷婷爱| 欧美色五月天| 婷婷伊人激情婷婷| 超碰久热| 超碰二区| 亚洲狠狠婷婷| 五月停停99| 国精产品一区一区三区免费视频 | 四月婷婷丁香| 成人色站,在线视频,看片-SS1AV| 色色色婷婷五月天| 色婷成人狠干| 五月婷综合| 97超碰婷婷五月天| 国产精品美女久久久久AV超清| 99久热| 婷婷五月AV| 久色资源| Www,五月天| 伊人婷婷五月天av| 六月婷伊人| 99色激| 大香蕉婷婷丁香天堂AV| 六月婷婷综合久久| 婷婷影院欧美| 久777| 在线视频区| 国产看真人毛片爱做A片| 99久久婷婷| 色五月成人| 99综合免费视频| 婷婷九月丁香| 99九色视频在线观看| 婷婷丁香九月| 天天操夜夜操| 国产这里只有精品| 色99网站| 天天日天天爽夜夜爽| 99青青草| 99热99干| 婷婷五月色網站| 九九色热视频| 五月丁香六月婷婷综合网缴情| 五月青青草综合| 五月综亚洲| WWW五月天| 五月综合亚洲| www.狠狠干| 久久婷婷欧美| www,五月天激情| 色丁香五月天婷婷| 色五月激情婷婷| 丁香五月婷婷激情中文|