欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

輕量級消息路由與任務(wù)執(zhí)行引擎 hermes-agent 的設(shè)計與實踐

輕量級消息路由與任務(wù)執(zhí)行引擎 hermes-agent 的設(shè)計與實踐 1. 項目緣起為什么我會自己寫一個叫 hermes-agent 的東西先聊聊名字。Hermes 是希臘神話里的信使神腳上長著翅膀負責(zé)在眾神之間傳遞消息。我當(dāng)時給這個項目起名的時候想的就是這一層含義——在一個系統(tǒng)越來越復(fù)雜的時代消息的傳遞、路由、分發(fā)、執(zhí)行就是數(shù)字世界的信使工作。所以我管它叫 hermes-agent一個專門負責(zé)消息接入、規(guī)則匹配和自動執(zhí)行的小型智能體框架。這個項目的背景很具體。我手里維護著好幾套內(nèi)部服務(wù)有定時任務(wù)、有外部回調(diào)、有用戶行為事件還有各類監(jiān)控告警。這些消息源格式五花八門有的是 JSON有的帶簽名需要驗簽有的是純文本塞在 Webhook 里。早期我的處理方式是在每個服務(wù)里各寫各的入口邏輯A 服務(wù)收到回調(diào)就更新數(shù)據(jù)庫B 服務(wù)收到事件就調(diào)用某個內(nèi)部 APIC 服務(wù)收到告警就發(fā)釘釘通知。問題是一旦消息處理邏輯發(fā)生變化我需要同時改好幾個服務(wù)重新部署排錯的時候還要挨個翻日志非常被動。后來我認(rèn)真想了一下這些場景的本質(zhì)其實是一樣的源頭把事件拋出來中間需要有一套穩(wěn)定的機制接住再根據(jù)規(guī)則決定接下來讓誰去干活。這正是 agent 最擅長的事情。于是 hermes-agent 的雛形誕生了——一個運行時基于 Python asyncio、存儲用 SQLite生產(chǎn)環(huán)境可以換 Postgres、規(guī)則配置走 YAML 的輕量級消息代理與任務(wù)執(zhí)行引擎。它不依賴重量級框架部署就是拉代碼起進程非常適合中小型團隊內(nèi)部自動化場景。這篇文章我會把整個項目的設(shè)計思路、運行模型、核心代碼、踩坑記錄和演進方向都攤開來講。如果你也在做 Webhook 統(tǒng)一接入、任務(wù)分發(fā)、事件驅(qū)動型自動化或者單純想看看一個 agent 框架應(yīng)該怎么設(shè)計這篇內(nèi)容應(yīng)該對你有幫助。對于基礎(chǔ)偏弱的讀者我會盡量把涉及到的基礎(chǔ)概念一并講清楚不預(yù)設(shè)你已經(jīng)掌握 Python 異步編程或者消息隊列的完整知識。2. 核心架構(gòu)消息路由與任務(wù)編排的運行模型2.1 三層模塊劃分接入層、規(guī)則層、執(zhí)行層hermes-agent 從設(shè)計之初就是三層結(jié)構(gòu)這個分層思路不是我拍腦袋決定的而是從實際需求里自然長出來的。第一層是接入層Collector。它負責(zé)統(tǒng)一接住各種來源的消息。常見的 Collector 有 HTTP Webhook Collector、定時器 Collector、文件監(jiān)聽 Collector 和隊列消費 Collector。對于 HTTP 類型的 Collector我會封裝成一個獨立的 Web 服務(wù)進程只做一件事把收到的請求體轉(zhuǎn)成統(tǒng)一格式的 Event 對象寫入消息隊列或存儲然后立刻返回響應(yīng)給上游。這樣上游接口的響應(yīng)速度不會受到下游處理邏輯的影響這是個很關(guān)鍵的設(shè)計。第二層是規(guī)則層Router。它負責(zé)判斷一條消息應(yīng)該交給誰處理。判斷依據(jù)可以從消息內(nèi)容、消息來源、消息優(yōu)先級等多個維度提取。每一條規(guī)則本質(zhì)上是一組條件和動作的映射。條件支持等值匹配、正則匹配、JSONPath 取值匹配等多種模式。動作則是指定執(zhí)行器名稱和參數(shù)。第三層是執(zhí)行層Executor。它負責(zé)真正干活。執(zhí)行器是一段可插拔的代碼單元接收 Event 對象執(zhí)行具體業(yè)務(wù)邏輯。比如 HttpExecutor 把 Event 轉(zhuǎn)成 HTTP 請求發(fā)給內(nèi)部系統(tǒng)PythonExecutor 直接執(zhí)行一段配置好的 Python 腳本ShellExecutor 跑一條命令NotifyExecutor 發(fā)送通知到釘釘或者郵件。這樣的好處是接新場景時你不需要動框架本身只需要寫一個新的 Executor 注冊進去再配一條規(guī)則。這三層之間通過一個消息存儲默認(rèn) SQLite生產(chǎn)建議 Postgres和進程內(nèi)的消息通道串起來。實際運行的時候接入層進程把消息寫進存儲并標(biāo)記為 pending處理進程輪詢 pending 消息交給規(guī)則層判斷再調(diào)用執(zhí)行層完成任務(wù)并回寫狀態(tài)。2.2 一次消息從接入到執(zhí)行完成的完整生命周期我用一個實際例子說明整個流程。假設(shè)你有一個電商訂單系統(tǒng)用戶支付成功后訂單服務(wù)會調(diào)用你配置的 Webhook 地址通知支付結(jié)果。這個地址就是 hermes-agent 暴露出的 HTTP 接入點。第一步訂單服務(wù) POST 一條 JSON 到/hooks/payment內(nèi)容大概是{order_id: ORD20250101, status: paid, amount: 99.5}。HTTP Collector 收到請求后先做格式校驗提取必要的元信息來源標(biāo)記、接收時間、原始內(nèi)容然后封裝成 Event 對象dataclass class Event: event_id: str # 全局唯一ID用于冪等 source: str # 來源標(biāo)記比如 payment_webhook event_type: str # 事件類型比如 payment.paid payload: dict # 原始消息內(nèi)容 received_at: datetime priority: int # 優(yōu)先級默認(rèn)0越大越優(yōu)先第二步Collector 把 Event 寫入消息存儲。同時進程內(nèi)會立即觸發(fā)一次路由判斷但注意這里不是同步阻塞的。寫入成功后 HTTP 接口立刻返回 200處理邏輯全部在后臺繼續(xù)。這個異步設(shè)計能保證上游的 Webhook 調(diào)用不會被你這邊慢邏輯拖死。第三步處理進程從存儲中輪詢到這條 pending 消息進入 Router。Router 讀取已加載的規(guī)則集合并找到匹配項。rules: - name: payment_paid_order_finish match: event_type: payment.paid actions: - executor: python_executor params: script_path: ./scripts/order_finish.py timeout: 30第四步執(zhí)行器運行后腳本讀取 Event把訂單狀態(tài)更新為已完成、發(fā)送短信通知用戶、調(diào)用倉儲系統(tǒng)的出庫接口。執(zhí)行結(jié)果回寫到消息存儲狀態(tài)從 pending 變成 success 或者 failed。如果失敗會進入重試隊列按配置的退避策略重新執(zhí)行。整個生命周期最核心的原則是消息不丟失。消息無論是在接收階段還是在處理階段每一步的狀態(tài)更新都落盤保存絕不在內(nèi)存里直接處理完不記錄。這樣即使進程中途崩潰重啟之后依然可以從 failed 或者 pending 狀態(tài)恢復(fù)執(zhí)行。2.3 數(shù)據(jù)模型與存儲選型邏輯存儲這塊我是從簡單出發(fā)最初直接用 SQLite。直到現(xiàn)在如果場景是單機處理SQLite 完全夠用。表結(jié)構(gòu)非常簡潔CREATE TABLE events ( id INTEGER PRIMARY KEY AUTOINCREMENT, event_id TEXT UNIQUE NOT NULL, source TEXT NOT NULL, event_type TEXT NOT NULL, payload TEXT NOT NULL, status TEXT NOT NULL DEFAULT pending, priority INTEGER NOT NULL DEFAULT 0, retry_count INTEGER NOT NULL DEFAULT 0, created_at TIMESTAMP NOT NULL, updated_at TIMESTAMP NOT NULL ); CREATE INDEX idx_events_status_priority ON events(status, priority, created_at);這個表承擔(dān)了消息隊列和狀態(tài)存儲的雙重職責(zé)。很多剛接觸這個項目的朋友會問為什么不直接用 RabbitMQ 或者 Kafka答案是看場景。對于內(nèi)部自動化、Webhook 統(tǒng)一接入這類日吞吐量在幾萬條以下的任務(wù)引入獨立消息中間件會增加部署成本和運維成本。而且 SQLite 表天然支持 SQL 查詢消息審計、問題排查非常方便。當(dāng)你真的需要橫向擴容時把這個表換到 Postgres再對處理進程做多實例部署改動成本并不高。選擇存儲方案的一個重要標(biāo)準(zhǔn)是你的消息量級是否值得引入一套額外的分布式系統(tǒng)。如果答案是不確定就用最簡單可靠的方案起步。這個原則后來幫我省了非常多的時間。3. 規(guī)則引擎核心中的核心3.1 規(guī)則配置與條件匹配的設(shè)計思路Router 是整個 hermes-agent 的決策大腦而規(guī)則引擎中的匹配條件則是大腦的每一個神經(jīng)元。我把條件匹配設(shè)計成三種形式覆蓋了絕大多數(shù)實際需求。第一種是 exact 等值匹配。就是消息某個字段的值等于某個固定值。適合場景來源是某個固定系統(tǒng)、事件類型是某個固定字符串。第二種是 regex 正則匹配。適合場景訂單號以 AB 開頭、用戶郵箱屬于某個域名、請求路徑符合某個模式。正則匹配可以配置在 JSONPath 取值后的字符串上。第三種是 expression 表達式匹配。這是最靈活但也是我最謹(jǐn)慎使用的一種。你可以寫一段簡單的布爾表達式內(nèi)部通過受限的 eval 執(zhí)行不提供任意代碼執(zhí)行能力。屬性取值通過 JSONPath 實現(xiàn)。統(tǒng)一配置方式如下rules: - name: high_value_order match: $type: all conditions: - field: $.payload.amount op: gt value: 5000 - field: $.event_type op: eq value: payment.paid priority: 90 actions: - executor: notify_executor params: channel: dingtalk template: high_value_order這條規(guī)則的意思是當(dāng)消息的 payload.amount 大于 5000且 event_type 等于 payment.paid就觸發(fā)一個高價值訂單的通知動作。priority 決定多條規(guī)則同時匹配時誰先執(zhí)行。這個字段在設(shè)計早期被忽略過后來有人反饋說同時命中財務(wù)通知和庫存通知時希望財務(wù)先跑才補上的。3.2 規(guī)則匹配的反向查詢優(yōu)化規(guī)則多了以后如果每條消息都遍歷所有規(guī)則去匹配性能會逐漸變差。我后來做了一項優(yōu)化反向索引。具體做法是啟動時把所有規(guī)則的 event_type 條件提取出來建立字典然后按 event_type 快速定向到候選規(guī)則再進一步做深度匹配。這個優(yōu)化把規(guī)則匹配的復(fù)雜度從 O(N) 降到接近 O(1)。實現(xiàn)上也很簡單就是預(yù)處理階段class RuleIndex: def __init__(self, rules): self.event_type_map {} for rule in rules: for each_type in rule.get_match_event_types(): self.event_type_map.setdefault(each_type, []).append(rule) def find_candidates(self, event): types get_event_types(event.event_type) rules [] for t in types: rules.extend(self.event_type_map.get(t, [])) return deduplicate(rules)對于一條消息先用 event_type 快速篩出候選規(guī)則集合然后再逐條深度檢查完整條件極大減少了不必要的規(guī)則遍歷。從實際效果看規(guī)則數(shù)在三位數(shù)以內(nèi)時匹配耗時基本可以忽略。3.3 匹配失敗與未命中消息的處理策略做過通知系統(tǒng)的朋友應(yīng)該都有經(jīng)驗最怕的就是消息沒匹配到規(guī)則然后靜默丟失。你根本不知道它丟了直到業(yè)務(wù)方來問為什么我沒有收到消息。hermes-agent 對這一塊的處理是未命中的消息不丟棄統(tǒng)一進入 unmatched 表同時提供管理接口可以查詢。這樣你可以定期復(fù)盤是否有新的消息類型需要添加規(guī)則。我見過不少系統(tǒng)從一開始的忽略異常到后來接二連三出問題根源就是沒有負面消息的可見性。我的建議是把未命中消息當(dāng)成一等公民對待它們和正常消息一樣重要。4. 執(zhí)行器的設(shè)計與實踐從腳本到插件的演進4.1 執(zhí)行器接口設(shè)計與注冊管理執(zhí)行器是 hermes-agent 真正干活的部分。我定義了一個非常簡潔的抽象接口class BaseExecutor: async def execute(self, event: Event, params: dict) - ExecResult: raise NotImplementedError每個執(zhí)行器只需要實現(xiàn)一個 execute 方法。事件通過參數(shù)傳入執(zhí)行參數(shù)通過 params 傳入。返回值是一個 ExecResult包含 success、output、message、duration_ms 等字段方便持久化和追蹤。注冊機制方面我通過一個全局注冊表實現(xiàn)EXECUTOR_REGISTRY {} def register_executor(name): def decorator(cls): EXECUTOR_REGISTRY[name] cls return cls return decorator然后在每個執(zhí)行器文件里加上裝飾器??蚣軉訒r把所有執(zhí)行器文件 import 一遍注冊表里就有了全量執(zhí)行器。規(guī)則配置里指定 executor 名稱Router 就能根據(jù)注冊表找到對應(yīng)類并實例化調(diào)用。新增執(zhí)行器完全不需要修改框架代碼做到了可插拔。4.2 幾個常用執(zhí)行器的實現(xiàn)細節(jié)HttpExecutor 是最常用的執(zhí)行器之一。它負責(zé)把事件轉(zhuǎn)發(fā)給其他內(nèi)部服務(wù)。具體實現(xiàn)時有兩個細節(jié)容易踩坑超時控制和重試策略。register_executor(http_executor) class HttpExecutor(BaseExecutor): async def execute(self, event, params): url params.get(url) method params.get(method, POST) payload event.payload timeout params.get(timeout, 10) async with aiohttp.ClientSession() as session: try: async with session.request(method, url, jsonpayload, timeoutaiohttp.ClientTimeout(totaltimeout)) as resp: body await resp.text() return ExecResult(successTrue, outputbody, messagefstatus{resp.status}) except asyncio.TimeoutError: return ExecResult(successFalse, messageftimeout after {timeout}s)重試不用在 HttpExecutor 里做因為重試是消息處理框架層面的職責(zé)。執(zhí)行器只負責(zé)返回結(jié)果框架根據(jù)結(jié)果和配置決定要不要重試。這個職責(zé)邊界從設(shè)計之初就明確下來了避免執(zhí)行器里塞進太多與業(yè)務(wù)無關(guān)的邏輯。PythonExecutor 比較特殊它允許在規(guī)則配置里指定一段腳本路徑框架動態(tài)加載并執(zhí)行。這里有一個安全邊界腳本等同于本地代碼執(zhí)行權(quán)限等同于框架進程本身。所以它只適合內(nèi)部環(huán)境下執(zhí)行可信代碼不適合對外開放成多租戶執(zhí)行能力。NotifyExecutor 負責(zé)發(fā)送通知。支持釘釘、企業(yè)微信、郵件、飛書這些常見的通知渠道??紤]到外部 API 不穩(wěn)定這類執(zhí)行器最容易失敗所以通知類消息的重試策略通常配置得比較積極。4.3 執(zhí)行器的超時控制、并發(fā)與資源限制處理消息的時候最怕某個執(zhí)行器出問題導(dǎo)致整個進程卡死。所以從第一天起超時控制就是執(zhí)行器運行的關(guān)鍵約束??蚣転槊看螆?zhí)行器調(diào)用都包裹了 asyncio.wait_for強制超時try: result await asyncio.wait_for(executor_instance.execute(event, params), timeouttimeout) except asyncio.TimeoutError: result ExecResult(successFalse, messageexecutor timeout)并發(fā)控制方面hermes-agent 支持配置最大并發(fā)數(shù)。默認(rèn)是 20也就是同一時間最多 20 個任務(wù)在跑。超過的部分排隊等待。這個設(shè)計是為了避免某個瞬間大量消息涌入時打爆下游系統(tǒng)。對于危險操作類的執(zhí)行器比如刪除文件、清理數(shù)據(jù)庫數(shù)據(jù)我建議在 Executor 內(nèi)部增加二次確認(rèn)邏輯。規(guī)則配置里需要顯式設(shè)置confirm: true否則直接返回失敗。雖然增加了配置復(fù)雜度但在生產(chǎn)環(huán)境里這個保障非常重要。5. 可靠性設(shè)計重試、冪等與死信隊列5.1 重試策略與退避算法消息處理不可能永遠一次成功。網(wǎng)絡(luò)抖動、下游服務(wù)重啟、第三方接口超時這些都是常態(tài)。重試策略是整個可靠性設(shè)計中最重要的部分。hermes-agent 里的重試策略是四級退避第一次失敗后等 5 秒第二次 30 秒第三次 5 分鐘第四次 30 分鐘。超過四次仍然失敗消息進入死信隊列。這個策略的經(jīng)驗依據(jù)是大部分瞬時故障在前幾次重試時就能恢復(fù)如果 30 分鐘后還不行大概率不是瞬時問題了沒必要無限重試。實現(xiàn)上我把重試信息放在消息的元數(shù)據(jù)里dataclass class RetryPolicy: max_retries: int 4 base_delay: int 5 multiplier: int 6 max_delay: int 1800每次重試的延遲時間 base_delay * multiplier^retry_count不超過 max_delay。這個算法簡單明了不需要引入復(fù)雜的指數(shù)退避庫。5.2 冪等設(shè)計避免重復(fù)執(zhí)行帶來副作用重試機制帶來的一個直接問題是消息可能被處理不止一次。比如執(zhí)行器成功了但是由于網(wǎng)絡(luò)原因響應(yīng)沒有及時寫回框架判斷超時后重試于是同一個事件被執(zhí)行了兩次。這是所有分布式任務(wù)系統(tǒng)都躲不開的問題唯一的解法就是冪等設(shè)計。冪等有兩種做法。第一種是業(yè)務(wù)層冪等你在自己的業(yè)務(wù)代碼里判斷這個訂單是否已經(jīng)被處理過了處理過就什么都不做直接返回成功。這種做法需要業(yè)務(wù)方配合。第二種是框架層冪等框架記錄每條消息的執(zhí)行指紋指紋相同的結(jié)果直接用不實際執(zhí)行。hermes-agent 在框架層面做了一個簡單的保護。給每條事件生成 event_id這個 ID 在消息源頭生成并隨消息攜帶。事件表里 event_id 是唯一索引同一事件重復(fù)寫入直接失敗。處理成功之后這個 ID 會回寫到一個已處理表再次收到同 ID 的事件時直接返回成功。但要注意框架層的冪等保護沒法覆蓋執(zhí)行器已經(jīng)開始干活但是結(jié)果沒記錄這種情況。所以我的建議是所有 Executor 在編寫時都把事件已經(jīng)處理過當(dāng)成正常情況來處理不要拋出異常。把冪等當(dāng)成一種設(shè)計習(xí)慣而不是框架約束。5.3 死信隊列與人工介入流程死信隊列DLQ是消息系統(tǒng)的最后一道防線。我已經(jīng)設(shè)置了合理的重試次數(shù)和退避策略如果消息最終還是處理失敗就說明靠自動重試解決不了問題。此時消息進入 DLQ等待人工介入或后續(xù)補償腳本。在 hermes-agent 的管理界面上DLQ 消息可見、可查詢、可重新投遞。我通常的做法是先查詢 DLQ 里的消息內(nèi)容和失敗原因確認(rèn)問題后修復(fù)比如配置錯誤、依賴服務(wù)恢復(fù)然后在界面上點擊重新投遞消息會重新進入 pending 狀態(tài)再走一遍處理流程。這里我給一個建議DLQ 里的消息需要定期檢查不要讓它靜默增長??梢栽?hermes-agent 旁邊掛一個簡單的 cron每天統(tǒng)計 DLQ 數(shù)量超過閾值就發(fā)告警給你。不然時間久了積壓的失敗消息會變成一座沒人想動的山。6. 實戰(zhàn)項目搭建一個統(tǒng)一的 Webhook 接收器6.1 場景與需求定義這個實戰(zhàn)項目來自一個真實需求。我們內(nèi)部有好幾個服務(wù)需要暴露 Webhook 給第三方調(diào)用包括支付回調(diào)、物流狀態(tài)回傳、短信狀態(tài)報告。每個服務(wù)的回調(diào)地址不同、驗簽方式不同、處理邏輯不同。最麻煩的是某些第三方平臺的 Webhook 對響應(yīng)時間要求極高超過 2 秒就判定失敗并開始重試。需求匯總下來有三點統(tǒng)一 Webhook 入口一個地址接收所有第三方事件?;卣{(diào)立刻返回 200具體邏輯異步處理。驗簽邏輯可配置消息處理結(jié)果可追溯。6.2 配置實戰(zhàn)多來源接入與驗簽我在 hermes-agent 里配置了三個 Collector分別監(jiān)聽三個路徑/hooks/payment、/hooks/logistics、/hooks/sms。每個 Collector 綁定一個來源名稱同時可以配置該來源的驗簽規(guī)則。為了演示我用支付回調(diào)的 HMAC-SHA256 簽名方式作為例子。collectors: - name: payment_hook path: /hooks/payment source: payment_callback verify: type: hmac_sha256 secret_env: PAYMENT_HOOK_SECRET header: X-Signature body_from: raw驗簽邏輯不算復(fù)雜。第三方平臺用密鑰對請求體做 HMAC-SHA256 簽名放在 Header 里傳過來。hermes-agent 收到請求后用同樣的算法和密鑰計算簽名和 Header 里的值做比對。不一致就返回 401保持一致則繼續(xù)處理。這個驗簽過程看起來簡單但實際有一個非常重要的細節(jié)驗簽必須使用原始請求體不能先解碼 JSON 再重新序列化。因為 JSON 鍵值順序變化會導(dǎo)致簽名不一致。我在代碼里專門保留了原始 body 字節(jié)用于驗簽解析 JSON 放在驗簽通過之后。這個坑非常隱蔽希望看到這里的讀者能記住。6.3 實戰(zhàn)踩坑第三方回調(diào)的響應(yīng)超時問題這個項目的第一個線上問題就出在回調(diào)響應(yīng)超時上。某個物流平臺的 Webhook 配置了 HTTP 超時時間為 2 秒。hermes-agent 收到回調(diào)后需要驗簽、解析、寫入 SQLite 數(shù)據(jù)庫、再返回 200。正常情況下整個過程在幾十毫秒內(nèi)完成。但某個時間段內(nèi)由于服務(wù)器的磁盤 I/O 出現(xiàn)偶發(fā)高延遲SQLite 寫入超過了 2 秒導(dǎo)致上游平臺判定超時并重試。重試又帶來了重復(fù)消息處理邏輯里冪等沒做好部分物流狀態(tài)被重復(fù)回寫。這個問題的教訓(xùn)是雙重的。第一Webhook 接口的數(shù)據(jù)庫寫入不能放在返回響應(yīng)的路徑上。我的修復(fù)方案是HTTP Collector 先寫內(nèi)存隊列立刻返回 200后臺異步批量沖刷到 SQLite。內(nèi)存隊列的可靠性可以通過定時持久化快照來保障。第二冪等保護在任何可能重試的入口都必須做好即使你認(rèn)為概率很低。7. 性能優(yōu)化與壓測結(jié)果7.1 基于 asyncio 的并發(fā)模型背后的選擇理由我在最初選擇 asyncio 而不是多線程核心原因是這個項目的 IO 密集特性非常明顯接收 HTTP 請求、讀寫 SQLite、調(diào)用第三方接口、發(fā)送通知。這些都是 IO 等待沒有明顯的 CPU 密集計算。asyncio 在單線程內(nèi)用事件循環(huán)處理海量并發(fā)開銷遠小于線程切換且沒有線程安全問題。代價是要小心不要寫阻塞代碼。比如不要在 Executor 里用 requests 同步調(diào)用必須用 aiohttp不要直接調(diào) time.sleep必須用 await asyncio.sleep數(shù)據(jù)庫操作要么用異步驅(qū)動要么把阻塞操作丟給線程池。初期我在這上面踩了不少坑比如某個 Executor 里用了同步 SQLite 查詢結(jié)果整個事件循環(huán)被卡住所有消息處理都跟著變慢。7.2 單機壓測數(shù)據(jù)吞吐與延遲表現(xiàn)在一臺 4 核 8GB 的普通云服務(wù)器上我用 locust 對 hermes-agent 做了壓測。模擬客戶端持續(xù) POST 請求每條消息大小約為 1KB。事件處理邏輯為空操作只做規(guī)則匹配和落庫。壓測結(jié)果穩(wěn)定狀態(tài)下每秒處理約 500 條消息P95 延遲為 60 毫秒P99 延遲為 120 毫秒。消息從接收到進入 pending 隊列再被處理完成整體耗時平均在 300 毫秒左右。如果把規(guī)則匹配加上每條消息平均匹配 50 條規(guī)則吞吐量下降到 300 QPS但 P99 延遲仍在 200 毫秒以內(nèi)。對于內(nèi)部自動化場景這個性能完全足夠。7.3 壓測中暴露的瓶頸與優(yōu)化過程壓測暴露的第一個瓶頸是 SQLite 單條插入性能。每條消息獨立 INSERT 提交在事務(wù)開銷上浪費了不少時間。優(yōu)化方案是批量插入攢一批消息后統(tǒng)一提交使寫入吞吐量提升了一倍以上。這個批次大小我調(diào)到了 100 條一批平衡了延遲和吞吐。第二個瓶頸是規(guī)則深度匹配中的正則表達式操作。正則匹配雖然靈活但 CPU 開銷明顯高于等值匹配。優(yōu)化方案是給規(guī)則增加條件預(yù)篩階段先用 JSONPath 取出的值做一次快速數(shù)據(jù)類型和長度判斷過濾掉明顯不匹配的規(guī)則再進入正則不歸。實際效果是把規(guī)則匹配整體耗時降低了 40%。第三個優(yōu)化是熱點路徑上的日志修改。壓測時 statsd 和日志輸出占用了不少 CPU。我把每條消息處理的 DEBUG 日志改成按采樣率輸出比如每 100 條記錄一次整體性能提升明顯。對于日志這個點線上環(huán)境和壓測環(huán)境最大的區(qū)別就是線上大量無意義日志會把系統(tǒng)拖垮保留關(guān)鍵日志、關(guān)閉頻繁的 DEBUG 日志才是工程化做法。8. 部署與運維實踐8.1 單機 Docker 部署方案hermes-agent 的部署很簡單。我提供了一個 Dockerfile基于 python:3.11-slim 構(gòu)建體積控制在 200MB 以內(nèi)。整個鏡像只暴露一個端口通過環(huán)境變量注入配置。FROM python:3.11-slim WORKDIR /app COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt COPY . . ENV HERMES_CONFIG/app/config/config.yaml EXPOSE 8080 CMD [python, -m, hermes_agent]啟動命令也簡單docker build -t hermes-agent:latest . docker run -d --name hermes-agent \ -p 8080:8080 \ -v /data/hermes:/app/data \ -e HERMES_CONFIG/app/config/config.yaml \ --restart unless-stopped \ hermes-agent:latest將數(shù)據(jù)目錄掛在宿主機上的好處是升級鏡像時數(shù)據(jù)不丟排錯時可以直接查看 SQLite 文件和日志。8.2 配置管理環(huán)境變量與敏感信息配置管理這一塊我遵循的原則是非敏感配置放 YAML 文件敏感配置放環(huán)境變量。支付密鑰、數(shù)據(jù)庫密碼這類信息直接寫在 YAML 里并且提交到代碼倉庫是極其危險的做法一旦代碼泄漏全部密鑰跟著泄漏。在實際部署中我通過環(huán)境變量注入這些敏感信息配置文件中只引用變量名。import os from dotenv import load_dotenv load_dotenv() PAYMENT_HOOK_SECRET os.getenv(PAYMENT_HOOK_SECRET)建議在 CI/CD 流水線中把生產(chǎn)環(huán)境的密鑰存儲在專門的密鑰管理服務(wù)中運行時注入。即使是內(nèi)部系統(tǒng)的密鑰也不能因為覺得沒那么重要就放松管理。8.3 日志規(guī)范與健康檢查接口hermes-agent 的日志統(tǒng)一輸出為 JSON 格式字段包括時間、級別、event_id、source、event_type、執(zhí)行器名稱、耗時、結(jié)果狀態(tài)。方便接入 ELK 或 Loki 做日志搜索。統(tǒng)一的 JSON 日志格式我堅持了很久因為排查問題的時候跨字段關(guān)聯(lián)查詢比在純文本日志里用 grep 高效得多。健康檢查接口在/healthz上返回 200。檢查內(nèi)容包括進程是否存活、SQLite 是否能正常讀寫、掛起的 pending 消息數(shù)量是否超過閾值、最近 10 分鐘的錯誤率等。K8s 或 Docker Compose 的健康檢查探針可以把它配置為探活地址。8.4 消息積壓與延遲的監(jiān)控指標(biāo)運營 hermes-agent 的過程中我最關(guān)心的指標(biāo)有三個pending 消息數(shù)、處理延遲和執(zhí)行失敗率。這三個指標(biāo)分別對應(yīng)消息積壓、系統(tǒng)健康度和執(zhí)行質(zhì)量。pending 消息數(shù)可以通過一條 SQL 獲取SELECT status, COUNT(*) FROM events GROUP BY status;處理延遲指標(biāo)我通過記錄消息從 received_at 到 updated_at 的時間差在管理儀表盤上畫出分位數(shù)值。正常情況下 P95 應(yīng)該在 2 秒以下。如果某段時間 P95 突然上升基本可以判斷是某個執(zhí)行器變慢或者下游服務(wù)出現(xiàn)問題。9. 項目演進與多實例擴展9.1 從 SQLite 遷移到 Postgres當(dāng)消息量增大到日均幾十萬條時單機 SQLite 開始成為瓶頸。遷移到 Postgres 是自然的演進方向。我在存儲層抽象了一個接口SQLite 和 Postgres 各實現(xiàn)一份切換時只需要改配置。表結(jié)構(gòu)幾乎不變只有數(shù)據(jù)類型上做了一些調(diào)整比如 TIMESTAMP 帶時區(qū)、JSON 字段用 JSONB 類型。storage: type: postgres dsn: postgresql://hermes:passwordlocalhost:5432/hermes9.2 多實例運行時的任務(wù)鎖與消息分區(qū)Postgres 版本支持多實例部署也就是多個 hermes-agent 進程同時消費同一個消息表。這里的關(guān)鍵問題是不能讓兩個實例同時拿到同一條 pending 消息。解決辦法是使用 Postgres 的行級鎖通過 SELECT FOR UPDATE SKIP LOCKED 實現(xiàn)安全的消息領(lǐng)取。SELECT * FROM events WHERE status pending ORDER BY priority DESC, created_at ASC LIMIT 1 FOR UPDATE SKIP LOCKED;這個 SQL 的意思是鎖定并返回一條 pending 消息如果該行已經(jīng)被其他事務(wù)鎖定則跳過它不會阻塞等待。這讓多個實例可以并行安全地消費消息無需額外引入分布式鎖。實際測試中3 個實例部署時吞吐量基本能線性擴展到 1200 QPS。9.3 多執(zhí)行器協(xié)作的編排能力單條規(guī)則只能綁定一個動作這個限制在復(fù)雜場景下會顯得不夠用。例如用戶下單后需要同時完成扣庫存、通知發(fā)貨、記錄財務(wù)流水這三個動作如果失敗其中一個其他兩個應(yīng)該如何處理這就需要編排能力。為此我在新版本里引入了 action chain 的概念actions: - executor: inventory_executor params: operation: deduct - executor: financial_executor params: operation: record - executor: notify_executor params: channel: dingtalk template: order_created默認(rèn)情況下同一規(guī)則下的多個動作按順序執(zhí)行前一個失敗則后續(xù)中斷。你也可以配置為并發(fā)執(zhí)行或者允許部分失敗繼續(xù)。這個編排能力讓 hermes-agent 從單純的消息轉(zhuǎn)發(fā)進化為一個輕量級的任務(wù)調(diào)度引擎。9.4 多智能體協(xié)作模式的探索目前版本的 hermes-agent 支持讓執(zhí)行器反過來向消息隊列寫入新事件這為多智能體協(xié)作提供了可能。例如一個訂單超時監(jiān)控執(zhí)行器發(fā)現(xiàn)訂單存在異常它可以生成一條新事件交給另一個專門處理異常的執(zhí)行器處理。Agent A 處理完自己的部分把結(jié)果作為新消息發(fā)布出來Agent B 接住再處理下一環(huán)。這樣的好處是處理鏈路上每個節(jié)點都清晰可追蹤天然支持分布式部署。這個模式我目前還在實踐中探索比如用于消息分片后的并行處理、跨部門業(yè)務(wù)鏈路的自動化等場景。對于已經(jīng)上手的團隊這可能是把 hermes-agent 能力翻倍的關(guān)鍵方向。10. 遇到問題時的排查思路與實操經(jīng)驗10.1 消息處理失敗但日志沒有明顯報錯這種情況遇到過好幾次。排查的第一步是先確認(rèn)事件目前的狀態(tài)是 failed 還是 success如果是 failed去 events 表里看 retry_count 字段判斷是執(zhí)行器主動返回失敗還是框架重試后放棄。第二步查看失敗執(zhí)行器的 message 字段框架會把 Executor 返回的失敗原因記錄進去。第三步看 framework 日志重點查找該 event_id 對應(yīng)的執(zhí)行記錄和異常堆棧。這類問題的根源往往是 Executor 內(nèi)部吞掉了異常返回了一個本該拋出的結(jié)果。實際排查一次之后定位到某個腳本里用了 try...except... 把異常吃掉并直接返回成功導(dǎo)致框架認(rèn)為執(zhí)行成功但實際上業(yè)務(wù)處理并沒有完成。這個教訓(xùn)后來讓我養(yǎng)成了一個習(xí)慣執(zhí)行器內(nèi)部絕不允許無差別捕獲異常后靜默通過必須顯式返回失敗結(jié)果。10.2 消息重復(fù)消費問題消息重復(fù)消費的排查思路我每次都是先確認(rèn)事件表里 event_id 是否存在重復(fù)記錄。如果存在說明消息源頭或接入層已經(jīng)產(chǎn)生了重復(fù)事件。如果不存在但業(yè)務(wù)層面處理了兩次說明是執(zhí)行器冪等設(shè)計有問題。一個具體的案例是某執(zhí)行器在調(diào)用下游接口時由于框架超時重試同一事件被執(zhí)行了兩次但兩次執(zhí)行都改了不同字段所以業(yè)務(wù)數(shù)據(jù)變得不一致。解決辦法是在執(zhí)行器里增加一個基于 event_id 的處理記錄表每次執(zhí)行前先檢查是否已經(jīng)執(zhí)行過。10.3 規(guī)則匹配結(jié)果和預(yù)期不符規(guī)則匹配問題是日常排查里見得最多的一類。寫規(guī)則的時候想的是應(yīng)該匹配這類消息結(jié)果實際運行時不匹配或者錯誤匹配了。排查步驟一般是先在管理界面查看實際消息的完整內(nèi)容確認(rèn) event_type、source 等關(guān)鍵字段值再打開 Debug 模式輸出規(guī)則匹配時的條件逐項判斷結(jié)果看具體是哪個條件不滿足或誤匹配。有一次排查到最后發(fā)現(xiàn)問題竟然出在 YAML 配置文件里有人把鍵的縮進寫錯了導(dǎo)致條件層級與預(yù)期不同匹配邏輯完全變了。這類問題光看配置很難發(fā)現(xiàn)最好給規(guī)則文件加一個本地校驗工具在 CI 階段檢查 YAML 格式和必需字段。11. 個人經(jīng)驗總結(jié)與未來方向這個項目從最初的一個內(nèi)部腳本逐漸演化成了帶規(guī)則引擎、執(zhí)行器插件、重試機制和管理界面的輕量級 agent 框架。整個過程中我最深的體會有三點。第一輕量是王道。能用一個進程解決的事情就不要引入一整個微服務(wù)架構(gòu)。很多項目在初期規(guī)模很小的時候就把組件拆得滿天飛實際上每個組件都增加了排查問題的復(fù)雜度。hermes-agent 選擇用 SQLite 起步、用 YAML 做配置這個能不依賴就不依賴的理念幫助它快速落地并且在真實場景中穩(wěn)定運行。第二消息處理系統(tǒng)的核心價值在于可追蹤性。消息從哪兒來、被誰處理、處理成功還是失敗、失敗原因是什么這些信息必須完整記錄。很多系統(tǒng)出問題無法定位就是因為消息處理鏈路黑盒化。我設(shè)計 hermes-agent 時花費了大量精力在事件狀態(tài)、執(zhí)行結(jié)果、日志格式這些看起來不性感但實際極其重要的細節(jié)上最終實踐證明這些都是值得的。第三冪等設(shè)計比重試機制更重要。沒有業(yè)務(wù)冪等做支撐重試機制反而會放大問題。無論你用的是消息隊列、定時任務(wù)還是 Webhook都要養(yǎng)成同一事件可以重復(fù)執(zhí)行且結(jié)果一致的設(shè)計習(xí)慣。如果你也想自己實現(xiàn)一個類似的 agent 框架我建議你從最基礎(chǔ)的消息類型和狀態(tài)流轉(zhuǎn)開始做先跑通一條完整鏈路再逐步加規(guī)則、執(zhí)行器、重試這些復(fù)雜度。直接在項目初期設(shè)計一個面條式的大框架容易讓自己陷入細節(jié)不可自拔。一個穩(wěn)定可靠的小系統(tǒng)遠勝過一個看起來功能完整但處處漏風(fēng)的大架構(gòu)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲123区高清入口| 99热久只有| 欧美三日本三级少妇三99| 91成人视频| 热久久这里只有精品| 天天精品视频在线观看视频| 久久九九综合| 午夜丁香六月婷| 99热这里精品| 色婷婷先锋| 亚洲 激情 中文| 丁香五月婷婷高清| 丁香五月婷婷天激情| 日日懆天天懆| 99热 免费| 久久一操| 五月丁香婷婷欧美色图视频五月丁香777电影 | 国产亚洲色婷婷久久99精品9j| 久久综合九九| 五月天另类激情在线| 婷婷丁香六月综合激情站| AV操一操| 又大又粗九一在线| 久久精品99国产精品日本 | 开心激情网在线| 中文字幕丁香五月| 琪琪理论片| 久久精品夜色噜噜亚洲a∨| 亚洲av| 五月婷婷五月天| 26uuu欧美日韩| 日韩精品无码AV| 色色色欧美| 久久爱婷婷| 激情五月天综合图片小说网站| 秋霞日本免费毛片A片| 图片区 小说区 区 亚洲五月| 五月婷婷,狠狠操| 六月天丁婷婷| 六月婷婷亚洲| 九九九九这里只有精品| 99愛国产| 26uuu亚洲精品国产| 婷婷五月天无码视频| 欧美日本黄色| 久久刺激网| 97碰 在线视频观看| 久久资源网五月婷| 熟女网站久久| 中文字幕在线播放视频| 日日日日日| 天天干com| 天天操天天操| 99精品久久久久久久婷婷久久| 日韩成人综合网| 色拍九九九| 男同91 | 九九热10| 97综合在线| 国产三级片91| 国产成人网| 色色色婷婷| 婷婷网五月天| 伊人婷婷色| 婷婷五月婷婷| 激情综合99| 丁香午夜天| 色丁香五月| 2025色婷婷| 婷婷丁香人妻天天久久| 99视频只有精品| 99爱视频在线| 狠狠操天天干| 大香蕉色婷婷伊人在线| avv在线| 婷婷狠狠狠爱| 亚洲成人在线免费| 天天婷婷操| 成年AAAA色情| 美女五月狠狠| 色五月综合在线| 久久久久久综合88| 五月综合视频| www.九九婷婷| 激情综合网五月在线播放| 久久婷婷五月天| 丁香六月激情| 色五月婷婷五月久久| 天天插夜夜爽| 99视频在线观看网址| 天天爽天天摸天天爱| 色婷婷狠狠| 亚洲无码99| 色狠狠综合网| 青青久在线视频免费观看| 亚洲mm免费| 超碰A V在线| 久久婷婷五月天激情| 91精品人妻少妇无码影院| 久9精品视频| 99久久九九| 99在线观看视频免费| 九九这里有精品视频| 五月丁香六月激情狠狠| 日韩久久视频| 精品成人在线| 五月天成人综合| 丁香五月色| 可以直接看的av网站| 能直接看的AV网站| 综合色99| 碰久久精品w| 这里只有精品视频222| 久婷婷久草| 精品五月天| 色婷婷狠狠爱| 丁香五月婷婷久久久| 久久激情综合| 五月天激情亚洲| 婷婷丁香五另类网站| 国产精品涩涩涩视频网站| 婷婷婷五月香蕉| 丁香九月激情| 色五月丁香五月| 天天操夜夜操| 99热网址| 99热这里只有精品18| 91色五月| 奇米网大香蕉| 丁香婷停五月激情综合深爱| 婷婷五月天色| 天天综合91入口| 亚色网站小视频| 十一月婷婷激情四射| 色欲天天综合网| 精品一区二区三区三区| 99re这里只有精品在线观看| 五月激情影院| 26uuu视频欧美| 婷婷综合av| 婷婷丁五月| 久久丁香五月婷| 色婷久久| 狠狠干婷婷| 五月婷色啪| 日韩成人AV在线| 大香蕉丁香五月| 中文字幕黄色片| 深爱激情丁香五月| 人人摸人人干| 中文aV网| 最近中文字幕大全免费版在线 | 久婷五月| 日韩高清成人| 超碰a女人的天堂| 激情婷婷| 狠狠看狠狠| 久超超碰| 操逼三区| 国产精品国产| 伊人婷婷色| 蜜乳中文字| 99啪啪| 99啪99| 国语精品探花| 人妻激情久久| 思99热精品久久只有精品| AV性爱网| 狠狠色婷婷7| 五月丁香六月成人| 自拍偷窥99热| 久久99网站| 日本欧美国产| 婷婷色五月激情| 操日视频| 97视频91| 看婷婷五月天网| www.99久| 色婷婷香蕉丁丁网| 在线视频99| 亚洲另类毛片| 久久性爱视频| 久婷五月| 国产美女无遮挡裸体毛片A片| 欧美99| 五月丁香啪啪激情| 天天操天天日天天爱| 欧美在线干| 色噜噜狠狠色综合成人99| 99热精品在线观看| 五月婷在线| 97碰碰人人| 亚洲综合婷婷五月| 啪啪91| 激情宗合哪里能看| 国产精品久久久久久久久久| 婷婷五月天视| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 日韩久热| 97香蕉碰碰人妻国产欧美| 色播丁香| 丁香五月婷婷啪啪视频| 久久久免费精彩视频| 激情丁香久久| 成人 在线 日韩| 成人在线高清| 久久五月婷| 亚洲亚洲激情| 俺去婷婷 丁香| 丁香五月综合AV在线| 亚洲 欧洲 国产 伦综合| 狠狠操狠狠插| 五月情婷婷五月| 影音 五月 婷婷 久久| 日日夜夜小色哥| 91丨九色丨国产打屁股网站| 色综合色综合网| 久操福利| 开心五月婷婷六月丁香| 男人的天堂97| 天天色天天日| 日日噜狠狠色| 九九精品网站| 亚洲色区17| 婷婷五月天亚洲综合| 九九人人操| 被强行糟蹋的女人A片| 人妻精品久久久久久久| 色啪影院| 婷婷色色丁香| 97碰碰碰免费公开在线视频| 婷婷丁香18| 综合色99| 五月丁香A片| 婷婷九九| 婷婷五月深深爱| 99精品人人| 欧美成人精品三区综合A片| 丁香六月婷婷色XXXX| 婷婷五月色惰| 亚洲春色奇米影视| 99热这里只有精品3| 性 色 婷婷| 久久ri精品视频| 九九碰九九爱97超| 五月天综合图片| 欧美婷婷日本| 91高潮喷水久久久久久久久| 久久五月综合| 51XX午夜影福利| 思思久久精品视频| 伊人色综合影院视频| 被强行糟蹋的女人A片| 五月丁香亭亭| 欧美VA在线观看| 五月婷婷五月天| 成人丁香五月| 激情av在线| 操逼福利视频| 99 色色吧| 97干在线观看| 国产午夜精品一区二区三区四区| 五月丁香六月在线| 夜色综合网| 久久 这里只有精品1| 99热在线看片| 久热久操久热久草国产91| 五月丁香啪啪| 日本五月婷| 五月天综合在线观看| 这里都是精品99| 97碰成超视频免费视频| 人人肏逼视频在线一区二区| 在线理论片| 成人视屏在线观看| 亚洲人成色A777777在线观看| 538在线| 激情av在线| 亚洲无码影音| 日韩黄在免| 久久婷婷综合五月天| 色五月五月婷婷| 丁香五月六月激情| 99精品在线下载| 久热99| 久婷婷色| 天堂色色色| 丁香九月色| 思思久久99热只有频精品66| 强壮的公次次弄得我高潮A片日本 | 啪啪黄页网| 日日天天干| 97色婷婷五月天| 婷婷五月丁香五月丁香| 国产xxxxx在线观看| 成年人夜夜喷水| 五月婷婷综合影院| 99在线视频精品| 色五月97| 五月丁香婷婷成人版| 九九99视频精品| 91精品激情9| 综合五月天| 97在线精品| 欧美熟女99| 久久多色| 五月婷婷婷婷| 日日爽夜夜爽| 国产暴力强伦轩1区二区小说| 狠狠操狠狠爱| 久九男女天堂| 26uuu成人网| 黄色录像网点| 狠狠色噜噜狠狠亚洲A∨| 无码碰碰| 《久久综合九色综合97婷婷| 秋霞成人毛片一级A片| 超碰国产av| 五月丁香天堂| 色婷婷69| 色热久资源| 丁香六月色婷婷欧美| 天天玩夜夜操天天爽| 丁香婷婷人妻| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 91碰碰视频| 97婷婷丁香| 91久久1118| 天天操天天曰| 婷婷五月在线影院| 99九精品| 激情婷婷五月女| www.91.com处女在线直播| 丁香伊人综合| 99网99热| 婷婷伊人| 婷婷久久在线| 一起草av| 色婷婷六月精品| 激情五月天色婷婷| 九九RE视频在线精品| 久久99网站| 99热热热99精品丁香| 国产亚洲成人综合| 最新热中文字幕| 狠狠色性| 五月丁香亭亭| 国产看真人毛片爱做A片| 激情性爱五月天网页| 99ri国产精品| 丁香五月婷婷深爱综合激情| 另类激情网| 9久热在线视频精品| 99热综合网| 任你躁XXXXX麻豆精品| 丁香六月综合| 色综合色婷婷色伊人| 五月 丁香 欧美| 91久久婷婷人人澡草| 伊人玖玖网| 亚洲激情网| 九一牛视频探花| 91人人操人人| 这里只有精品免费观看网占| 色日本五月天| 成人AV综合在线| 色5在线| 99色最新在线视频网站| 婷婷丁香五月综合| 色婷婷亚洲在线观看| 婷婷亚洲色| 色婷婷成人做爰A片免费看网站| 日韩AV在线免费| 婷婷丁香97| 91精品久久久久久综合五月天| 99热首页在线30| 丁香五月激情啪| 免费超碰在线观看| 日日噜人人人做人| 欧美日韩成人在线网| 午夜无码熟熟妇丰满人妻 | 久久婷婷五月综合色区| 免费AAAAA网| 亚洲激情免费视频观看| 天天日天天干天天操| 天天日天天舔| 伊人久久婷| 视色综合| 中文字幕乱码亚洲精品一区| 99热一本| 99热成人在线观看| 免费无码毛片一区二区A片| 五月丁香综合成人社区| 深爱1激情网| 99综合| 十区AV| 丁香五月网| 色婷婷狠狠| 五月叮香啪| 五月色俺婷婷| 五月综合激情久久| 少妇婷婷五月天| 国产67194| 久久久五月天网站| 激情丁香图片| 久久婷婷原创视频| 九九视频在线免费视频| 人妻内射一区二区在线视频| 婷婷五月亚洲激情| 色色色无码| 国产日韩av片| 人人妻人人澡| 欧美成人va| 美女被肏网站在线看| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 99精品在线播放| 丁香五月婷婷超碰在线| 97在线精品视频| 亚洲xx网| 123草逼网| 99热全是精品| 激情图片婷婷丁香五月| 色99自拍| 亚洲激情四射| 欧美激情五月天婷婷| 超碰人人射| 五月婷婷啪啪啪| 色噜噜狠狠色综合网| 五月天伊人久久久久| 婷婷五月激情视频在线| 日本专区久久| 精品久久9| 97色色综合| 99精品国产在热久久婷婷| 日本欧美999久久久三级片| 大陆肏屄视频| 99小视频在线观看| 五月天丁香网站| 丁香五月网址| AV性爱网| 思思热性操| 欧美情色一区| 色久天| 色婷婷最新域名| 99热这里只有精品4| 亚洲无码你懂的| 天天日天天爽| 天天操天天日天天爱| 五月天精品| 激情网五夜婷婷| 久久精品99国产精品日本| 丁香五月婷婷免费视频| 婷婷久久草| 第五婷婷伊人丁香| 天天精品视频免费观看| 亚洲综合婷婷| 99热全是精品| 五月丁香五月综合欧美| 六月丁香五月激情网| 99久热视频在线| 五月丁香性| 久久五月激情综合| 亚洲精品又粗又大又爽A片| 婷婷丁香人妻久久在线观看| 久久9热| 激情五月天色色| 99 频99热国里只有精品| 大香蕉色婷婷伊人在线| 色99色| 成人噜噜网| http://www.com久久久精品一区| 亚洲综合五月天婷婷| 五月婷婷影| 91婷婷| 色欲天天综合| 九九热在线观看6| 免费无码毛片一区二区A片| 五月婷精品| 99re热在线视频| 91紱請| 婷婷在线视频| 丁香五月网| 欧美、日韩、中文、制服、人妻| 色丁香五月婷婷| 凹凸操Av| 噜一噜免费视频| 琪琪色网址| 五月丁香六月香香蕉| 婷婷五月开心中文字幕色| 噜噜狠狠色综合久| 1010日日无码| www超碰| 久久久全国免费视频| 激情五月综合婷婷| 思思视频久久| 91久久免费| 婷婷91| 六月丁香综合| 天天摸夜夜爽天天做| 棕合影院色色| 91传媒无码人妻精| 久久久久人妻| 婷婷五月天堂| 国产视频婷婷| 五月婷婷插一插| 亚洲美女高潮久久久久久69| 99ri国产精品| 久99婷婷色综合| 色情成人五月天| 人人操av| 日日夜夜爽| 日韩抽插操逼| jiqingtaose五月天| 色色色色色日韩午夜激情 | 天天色综网| 日韩成人电影AV| xxx.色婷婷| 丁香五月六月婷婷自拍| 亚洲人成网亚洲欧洲无码久久| 伊人影院久久网| 欧美成人一区二区三区在线视频| 99思思| 性综合网| 婷婷五月天免费视频在线观看| 99r久久这里只有精品| 欧美丁香五月97色| 久久婷婷五月综合啪| 丁香六月丁香婷婷激情| 操操操www.com| 98永久精品| 精品AV无码超碰| 风流少妇A片一区二区蜜桃| 五月丁香啪啪| www99热| 丁香五月影院| 九九热精品在线| 99热这里只有精品一区| 五月丁香婷中文| 色五月无码| 丁香五月婷婷狠狠色| 久久看婷婷| 91婷婷五月丁香碰| 婷婷va| 丁香婷婷五月人体| 五月天婷婷偷拍| 9精品久久999| 日日夜夜九九| 日噜噜色| 九九人人看| 丁香五月婷婷欧美成人色图| 日本三级片片| 日本天堂免费99| 97超级碰碰碰| 亚洲啪啪网| 色噜噜五月天| 五月丁香婷婷色色| 久久五月天激情美女| 国产91在线视频| 蒲京久久无码视频| 亚洲第二AV| 丁香五月天激情四射网络不好| 亚洲天堂AV综合网| 丁香五月最新网址| 91无码视频| 久久性爱视频| 五月婷婷在线视频免费观看| 开心亚洲久久开心| 人人干AV| 婷婷激情视频欧美视频自拍视频欧美剧| 狠狠色综合精品视频在线| 六月丁香激情网| 色婷婷小说网| 天天射影| 欧美黑人巨大猛烈cuckold| 五月丁香av在线| 激情五月天www| 狠狠插狠狠操| 丁香五月婷婷亚洲色图| 五月婷婷色色| 日本啪啪视频HD| 99日本视频在线观看专区| 久激情| 91男同| 婷婷在线五月天观看| 99re这里有精品手机在线| 天天综合网91| 色婷婷深爱五月| 六月久久狠狠| 91久久1118| 五月婷婷丁香| 五月婷综合| 欧洲亚洲免费视频9| 五月婷婷亚洲天堂激情在线| 丁香五月综合福利视频导航| 狠狠草在线观看| 亚洲激情综合| 99热香港| 99热只有精品综合| 五月天精品综合在线| 五月天激情综合| 五月婷av| av一区免费看| 色综合综合色| 婷婷五月天欧美图片在线播放电驴| 九九无码| 影音先锋91在线资源站| 九九re视频在线视频| 影音先锋按摩| 《蜘蛛女》梁铮1995| www.婷婷| 麻豆观看夏晴子| 久久婷婷内射| 亭亭五月激情亚洲在线| 久/久精品99看9| 雪千夏麻豆| 中文字幕在线资源| 中文字幕91,综合| 99综合视频| 五月天成人小说网| 日本猛少妇色XXXXX猛叫| 亚洲热久| www.夜夜騎夜夜狠| 玖玖在线视| 久久丁香综合香蕉| 99热永久在线观看| 97色操| 日韩成人中文| 啪啪色激情五月天| 色婷婷电影网| 99网| 大香蕉久久| 中文av网站| 激情婷婷丁香| 色五月激情网| 99亚洲视频| 九九成人电影婷婷| 这里只有精品视频国产| 亚洲五月婷婷| 色色色区| 色婷婷视频在线| 欧美69久成人做爰视频| 97精品综合| www.久久久久久久| 99色热| 三十熟女| 婷婷激情另类| 五月激情天| 天天综合网91| 免费播放片大片| 婷婷国产五月天17c| 激情久久五月网| 性爱久久| 天天射影| 噜噜噜狠狠色综合| 超碰免费大香蕉| 天天做天天爱天天爽| 91av无码| 亚洲天堂aaa| 色欲色欲久久宗合网| 99色看这里只有精品| 婷婷啪啪| 99热这里是精品| 超碰人人操在线| 伊久久婷婷| 色一情一乱一乱一区9| 日韩在线aaa| 极品少妇XXXX精品少妇偷拍| 婷婷激情五月天在线视频| 色色色色热| 91久久久久久| 天天日天天摸| 免费国产VA国产免费| 色色色无码| 99色在线| 五月丁香网站| 五月丁香久久综合精品| 91人久| 精品色情一区二区三区四区| 99在线精品视频| 国产xxxxx在线观看| www.色婷婷| 欧美va视频不用播放器的va视频网| 人妻中文在线| 就爱操www com| 国产真人做爰视频免费| 五月丁香六月婷婷a v| 亚洲愉拍99热成人精品| 天天爱天天做综合| 丁香五月狠狠在线观看| 操日挥操日日| 五月丁香综合中文| 激情综合网五月婷婷| 日本99视频| 开心五月天激情网| 五月婷婷色丁香| 九月丁香婷婷基地| 婷婷激情五月天小说校园| 婷婷免费视频| 超碰免费大香蕉| 国产韩日亚洲美州欧亚综合在线| 国产69久久久欧美黑人A片| 久久久区区一久久久久久| 99热大| 亚洲第一黄网| 人妻系列久久久久久久久久久| 超碰妻人人| 五月99久久| 人妻内射麻豆视频| 伊人久热91网| 99色色网| 五月激情天天干| 丁香六月婷婷综合啪啪| 丁香激情五月天| 婷婷情色激情| 激情爱爱网站超大免费| 综合网色| 思思热精品在线观看| 五月停停999| 激情六月丁香综合| 综合另类激情| 婷婷丁香五月亚洲| 99热这里只有精品最新| 91黄址| 免费观看全黄做爰的视频| 香蕉97碰碰碰欧美| 激情婷婷五月丁香啪啪啪| 亚州成人综合在线| 婷婷天天色| 欧美成人精品一区二区| 99re思思热在线视频| 色五月噜噜| 精品久久99码| 狠狠干综合网| 丁香五月自拍| 琪琪色综合网站| 丁香五月在线观看| 日韩一区二区三区无码| 黄网在线观看免费| 极品人妻VIDEOSSS人妻 | 91操片| 五月丁香啪啪啪| 丁香桃色网| 色色成人網| www.五月天色色色| 国产精品久久久久9999小说| 欧美精品99| 丁香五月婷婷在线视频| 性色欲情 网站| 婷久久高清| 九九成人视频| 五月婷婷自拍| 天天草狠狠擦| 另类图片天天影视在线观看| 亚洲免费av观看| 丁香五月五月婷婷欧美大香蕉| 色吧五月婷婷| 亚洲爱爱无码婷婷色五月| 丁香婷婷五月六月久久| 超碰在线资源| 国产精品第一国产精品| 丁香五月色| 婷婷色五月激情强奸四射| 思思热在线视频99| 亚洲色婷婷色| 日韩综合网络男女香蕉a片| 五月婷丁香久久综合| 五月丁香综合激情| 婷婷五月色综合| 黄色国久久| 色婷婷丁香五月| 99久久性爱| 五月丁香久| 99资源在线视频| 五月激情小说网| 婷婷十月激情综合网| 极品人妻videosss人妻| 婷婷色色播五月天| 免费99情趣网视频| 婷婷五月开心中文字幕色| 五月丁婷香| 婷婷丁香射射| 99综合免费视频| 人妻AV在线观看| 久久婷婷综合基地| 六月久久婷婷| 激情久久久久久| 久久婷婷人人| 日本色图综合| 久久久久久激情| 夜夜 操无码| 九九热中文| 先锋五月婷婷丁香草草| 丁香五月综合| 秋霞黄色一级久久| 美女va| 人人舔人人色人人高潮| 天天干天天日天天插 | 日韩久热| a在线观看| 色婷婷狠狠18禁| 色久综合| 黑人糟蹋人妻HD中文字幕| 久草热8精品视频在线观看| 国外亚洲成AV人片在线观看| 色五月婷婷在线观看第一页舔| 六月五月天婷婷涩播在线| 99热这里有精品| 亚洲熟妇AV乱码在线观看| 国产AV国片偷人妻麻豆| 天天肏在线视频| 免费观看日韩成人av| 丁香五月婷婷激情四射| 伊人网大香| 欧美狠狠草| 啪啪啪啪五月天| 五月丁香六月婷婷视频| 人妻少妇色综合| 99re热视频这里只精品| 色婷婷狠狠| 色情网综合| 十区AV| 色婷婷五月天中文字幕| 久久五月天合网| 婷婷丁香综合成人| 蜘蛛女侠2003满天星免费观看| 九九色欲网| 丁香五月天之婷婷影院| 伊人爱爱日本| 亚洲超级碰| 久久婷婷青草五月天| 激情网狠狠干| 狠狠干天天日| 五月色影院| 久久婷婷老| 热99久| 激情 五月 婷婷 丁香| 天天干天天干天天干天天干天天干天天干天天 | 深爱激情网五月天| 久久精品五月天| 色婷婷成人做爰A片免费看网站| www.91热久久| 婷婷天堂综合| 狠狠操在线视频| 99玖玖在线视频| 开心激情婷婷| 日本专区久久| 人妻乱码久久久| 野战毛片三一3| 99只有精品| 自拍视频在线观看9| 97在线精品| 久久婷婷五月综合伊人| 97婷婷色| 综合久久首页| 狠狠色婷婷在线| 五月丁香激情综合网| 99综合网| 九九大香蕉黄色影院| 久久黄色免费视频| 国产精品成人AV在线| 少妇大叫太大太粗太爽了A片| 91色吧网| 婷婷五月天激情综合深爱| 人人操插| 99久久97| 天天综合亚洲综合网天天αⅴ| 伊人久久五月天综合| 91九色在线| 玖玖综合玖玖| 久热最新视频| 亚洲五月婷婷| 操逼国产91| 26uuuu精品一区二区| 91精品综合久久久久久五月丁香| 夜夜嗨一区二区三区直播内容 | 五月色婷婷综合| 亚洲乱码日产精品BD| 中文字幕av在线播放| 看国产探花操逼三级片| 久久99热这里只有精品| 伊人九九综合| 欧美色欲色欲天天天www| 色五月亚洲| 天堂网啪啪| 亚洲bt丁香五月天婷婷激情小说| 日韩AAAAA| 九九精品热播| 五月婷婷在线观看| 国产激情综合五月久久| 99操逼视频| 激情www| 日操熟女| 丁香婷婷久久激情| 欧美色五月| 亚洲乱码在线观看| 激情五月天开心| 丁香五月伊人| 视色综合| 97caop| caobi四区| 五月天综合视频| 91精品在线看| 五月丁香色综合| 色99超碰| 亚洲bt丁香五月天婷婷激情小说| 激情操逼婷婷| 激情婷婷另类| 色五月婷婷五月天| 99热久只有精品首页| 五月天综合在线| 翔田千里 50岁 无码| 99视频在线观看网址| 超级碰人人操人人干| 色噜噜在线| 婷婷五月天天| 内射激情在线| 免费看成人AA片无码视频吃奶| 欧日美女Va| 久99热| 无码一区二区三区四区五区| 五月激情综合网| 另类五月婷婷| 91碰碰| 婷婷五月天激情在线观看| 99久re热视频精品98| 久久久久久久久久久久久久人妻视频| 精品久久艹| 久久99这里只有精品| 综合久久99| 五月婷久久| 99精品国产在热久久| 久久九精品| 操97在线观看| 深爱五月激情五月| 日韩在线99| 成人亚洲精品| aaaaaa片| 国产精品18久久久| 另类五月激情| 婷婷丁香91| 色色色色五月天| 91综合在线| 国产精品99久久久久久久女警| 色婷婷五月天堂资源| 久久se 综合网| 精品五月天| 久久日韩婷婷五月| av在线免费播放| 天天爱天天做天天日| 亚洲日韩一页精品发布| 天插天啪天啪天啪| 六月丁香成人| 99A片| 中文字幕在线免费观看视频| 五月婷丁香| 五月婷婷花| 欧美人人女女精品综合五月天| 婷婷丁香色情| 色综合爱综合| 无语停婷丁香网| 99玖玖免费视频| 激情综合网五月丁香| 99热成人| 婷婷五月天色| 1024手机在线观看看片_日韩精品| 婷婷激情图片| 日日夜夜噜噜爽爽| 中文字幕欧美久久| 丁香五月综合| SESE无码AV| 99操中文视频| 熟妇人妻中文字幕无码老熟妇| 26uuu精品国产| 婷婷五月天Av| 人与禽A片啪啪| 日日夜夜天天综合| 99综合视频在线| 五月婷婷丁香日韩在线| 丁香五月手机在线| 激情综合婷婷| 婷婷丁香五月天影院 | 色月九九| 精品久久久中文字幕大豆网推荐理由| 婷婷五月丁香基地| 婷婷激情五月天综合| 婷婷五月激情小说| 伊人干综合| 天堂AV在线看| 久久婷婷五月综合伊人| 99丁香五月| 五月婷婷色影院| 热99热9| 六月婷婷七月丁香| 国产亚洲精品AAAAAAA片| 亚洲人成色A777777在线观看| 狠狠色五月激情| 玖玖婷婷婷丁香五月| 99热精品在线| 久久久99免费视频| 五月丁香六月婷婷在线播放| 婷婷九月亚洲| 色播激情婷婷| 色色a| 丁香激情五月| 久色中文| 丁香五月情色| 婷婷午夜综合| 超碰国产在线播放| 夜夜爽天天干| 天天干夜晚夜操| 六月天无码网址| AV大香蕉| 五月婷婷九九久久| 玖久久网站| 久久婷婷五月综合| www99在线观看视频| 六月丁香激情最新更新| www超碰| av第一二区| 在线看九一V图片| 五月天婷婷激情在线色图| 26UUU欧美| 狠狠干 狠狠操| 六月丁香视频网站| 丁香五月婷婷激情尤物| 色色色五月天激情资源| 色婷婷成人做爰A片免费看网站| 婷婷综合久久| 五月激情婷婷丁香| 九九婷婷五月天影视| 婷婷色五月婷婷姐妹| 国产精品视频免费看| 午夜色丁香| 乱精品一区字幕二区| 五月婷婷激情网| 玖玖精品视频| www.五月天婷婷| 能看的AV| 秋霞簧片| 97色伦另类图片小说视频| 精品99久久久久成人网站免费| 狼友视频在线观看18| 狠狠爱婷婷爱| 久久久九九九 99| 五月婷九月| 国内熟女黄色系列| 青草视频在线播放| 国产偷人爽久久久久久老妇APP| 五月婷婷人人人操| 婷婷五月色综合| 99亚洲视频| 丁香婷婷月| 天天日夜夜曹| 狠婷婷五月| 99亚洲无码| 79色色色色| 丁香婷婷久久综合在线| 影音先锋人妻出差| 婷婷五月天成人综合网| 青青草视频福利| 色色综合视频| 综合图区激情| 天天色综网| 五月天婷婷激情在线色图| 色婷婷色婷婷五月| 五月婷婷丁香俺日污视频| 亚洲视频伍月婷婷| 99热首页| 久操福利| 婷婷色在线观看| 婷婷五月天成人网| 1024日韩| 久久人人妻| 国产美女无遮挡裸体毛片A片| 亚洲婷婷五月天| 操逼五月婷婷| 国产黄色av| 2015超碰| 婷婷五月天国产精品| 日韩99色| 婷婷激情欧美| 日韩五月丁香| www.激情| 欧洲色| 日韩黄在免| 亚洲AV成人一区二区在线观看| 丁香五月婷婷少妇| 99热新网址| 天搞天天天天天| xxx日本东京热| 乱色色色| 99久久www| 色婷婷色99国产综合精品| 日产精品一线二线三线芒果| 超碰操日| 4438激情网| 91人妻色色网| 五月婷婷干| 五月丁香天堂网| 色爱综合网| 国产3p露脸普通话对白| 欧美色必爱| 婷婷五月天奸女| 少妇激情五月婷婷| 色噜噜婷婷| 影音先锋一区二区三区| 欧洲色区| 婷婷日本色| 色婷婷综合网| 伊人五月人妻精品| 99国产精品久久久久久久久久久| 五月天激情小说| 激情5月婷婷| 午夜激情综合| 啪啪啪五月天| 九九热精品| 国产FREESEXVIDEOS性中国| 热婷婷在线视频| 99精品热视频| 婷婷五月天第四色| 色停停香蕉视频| 成人做爰高潮A片免费视频| 婷婷综合九月| 99 re视频一区| 婷婷色色网| 日韩无码专区| 伊人丁香五月天丁香在线婷| 日韩在线99| 五月天四色房丁香| 黄网在线观看免费| 欧美性猛交99久久久久99按摩| 99热只有精品在线| 婷婷六月丁香在线| 第四色五月天| 亚洲乱码日产精品BD| 97成人在线视频精品| Av性爱网站| 操逼六区| 国产91资源在线| 97色色综合| 99热在线网站| 丁香婷婷六月婷婷六月婷婷六月婷婷 | 二色av| 99久久97久久欧美综合网| 婷婷五月天亚洲激情戏精品| 色色亚洲| 久久免费少妇高潮99精品| 色五月激情视频在线综合| 亚洲欧美另类在线23p| 婷婷午夜| 超碰免费99| 五月天婷婷丁香六月| 婷婷在线视频| 色五月婷婷av| 丁香五月激情啪啪| 国产肥白大熟妇BBBB视频| 久久久五月天| 深爱激情综合网| 婷婷五月天97干| 婷婷六月丁香综合| 99热亚洲精品| 日韩性爱无码| 99久久婷婷五月天| 99久久激情视频| 六月婷欧美| 丁香五月激情婷婷婷婷在线观看| 亚洲妇女熟BBW| 玖玖资源站国产| 伊人婷婷五月天| 久久久婷婷色五月资源网| 激情五月六月丁香| 五月婷丁香| 91九色国产| 大香蕉久久婷婷| 五月天大香蕉AV| 天天色天天爱天天爽| 婷婷五月天福利| 天天射影| 久久久99久久| 国产av基地| 久热亚洲| 午夜丁香综合婷婷| 婷婷五月综合视频免费播放| 好色婷婷| 99自拍视频网站| 人人干女人| 嫩草视频| 开心五月深爱婷婷| 九九热这里只有精品9| 精品福利911| 99婷婷| 五月激情婷婷图片基地| 丁香九月婷婷| 大香蕉网站,大香蕉综合| 91大神操美女| 99视频九九热| 婷婷丁香五月综合| 天天操天天曰天天射| 天天综合五月| 婷婷五月色情| 久久WW| 亚洲旡码| 色噜噜狠噜噜视频| 色五月婷婷91| 精品人人操| 91操操| www99热| 九九激情网| 风流少妇A片一区二区蜜桃| 丁香婷婷五月天色综合| 五月丁香影视| 337p午夜影院| 成人片在线播放| 婷婷六月色丁香视频在线观看| 国产熟妇的荡欲午夜视频| www.91有码.com| 国产精品激情AV久久久青桔| 亚洲色欲AAAAAA| 色婷婷AV久久| 天天干夜夜想| WWW免费视频碰碰碰碰| 色婷网| 亚洲思思热久| 538在线精品| 五月丁香花激情综合网| www. 五月. com| 五月天激情婷婷| 婷婷五月天久久| 欧美精品999| 欧美久久五月婷婷| 91免费啪视频| 欧美va在线观看| 综合网色| 天天爽天天干| 亚洲人人操BD| 五月激情射| 久久婷狠狠色| 干亚洲天堂| 在线超碰免费| 综合一区二区三区| 狠狠操狠狠爱| 91 九色大美女| 婷婷深爱五月丁香| 99视频在线观看视频| 欧美日韩999| 五月丁香六月婷婷亚洲激情综合| 久久桃花网色婷婷| 99这里只有精| 青草网在线观看| 综合久久五| 色爱综合网| 狠狠干综合| WWW.HENHENL.| 婷婷激情性爱| 丁香综合伊人| 91在线观看www| 97 A I色色| 婷激情五月| 中文字幕,综合,91| 免费观看欧美成人AA片爱我多深| 五月丁香婷婷成人网| 色999亚洲人成色| 强辱丰满人妻HD中文字幕| 天天色粽合合合合合合合| 婷婷亚洲激情在线观看视频| 日韩精品一区二区刘|