欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

MySQL到BigQuery數(shù)據(jù)同步:CDC如何彌補周期同步的漏失

MySQL到BigQuery數(shù)據(jù)同步:CDC如何彌補周期同步的漏失 MySQL 到 BigQuery 的數(shù)據(jù)同步最容易被低估的問題就是時間窗口。無論是定時導(dǎo)出還是按updated_at增量拉取本質(zhì)上都屬于 periodic syncs。它們的共同點是數(shù)據(jù)庫里的變化并不會等待調(diào)度任務(wù)開始也不會按周期整齊地落入邊界。一次刪除、一條字段被改回舊值、一張表在夜間被大批量 UPDATE 后又改回來這些事件都可能發(fā)生在兩批同步任務(wù)的間隙最終 BigQuery 里的數(shù)據(jù)既不是源表的真實狀態(tài)也不是任何歷史時刻的真實狀態(tài)。CDCChange Data Capture通過讀取 MySQL binlog把每一條數(shù)據(jù)變更作為事件流送到 BigQuery正好從機(jī)制上補上了這個缺口。這篇文章圍繞周期同步會漏什么、binlog 為什么能避免漏、落地時要注意什么展開適合正在設(shè)計數(shù)據(jù)管道、給數(shù)倉接增量數(shù)據(jù)或者被批量任務(wù)數(shù)據(jù)不一致問題困擾的開發(fā)者與數(shù)據(jù)工程師。1. 周期同步在 MySQL 到 BigQuery 場景下到底漏了什么1.1 常見的三種周期同步寫法先看最常用的三種同步方式它們并不只是實現(xiàn)細(xì)節(jié)不同能捕獲的數(shù)據(jù)變化粒度也完全不同。第一種是全量導(dǎo)出覆蓋。直接把 MySQL 表導(dǎo)出成文件或通過 SQL 拉取寫入 BigQuery 臨時表再覆蓋目標(biāo)表。這種方式能保證目標(biāo)表最終狀態(tài)一致但同步窗口很長且 BigQuery 做覆蓋時下游可能讀到一半數(shù)據(jù)。數(shù)據(jù)量一旦上億這個方案基本不可持續(xù)。第二種是按自增 ID 增量拉取。記錄max(id)每次只拉大于該 ID 的行像這樣SELECT * FROM orders WHERE id :last_max_id ORDER BY id;這個方案只能捕獲新增數(shù)據(jù)。業(yè)務(wù)表一旦發(fā)生 UPDATE主鍵 ID 不變增量 SQL 永遠(yuǎn)拉不到這一行。DELETE 更不會出現(xiàn)在結(jié)果里。第三種是按更新時間戳增量拉取SELECT * FROM orders WHERE updated_at :last_sync_ts;這是目前最常見的周期同步方案前提是業(yè)務(wù)表有updated_at字段并且所有寫入路徑都正確更新這個字段。實際項目里這個前提經(jīng)常被破壞某些批量導(dǎo)入腳本沒有更新updated_at某些框架寫入時沒有映射該字段于是出現(xiàn)數(shù)據(jù)明明變了增量 SQL 卻查不到的問題。1.2 周期同步一定會錯過的幾類變更物理刪除是最典型的一類。DELETE 之后這條記錄不再存在于表中任何基于當(dāng)前表狀態(tài)的 SELECT 都無法發(fā)現(xiàn)它曾經(jīng)存在過。全量對拍能發(fā)現(xiàn)問題但只能事后補救而且對拍本身在大表上成本極高。沒有更新時間字段或者更新時沒有寫入時間戳也是一類。訂單表如果通過第三方系統(tǒng)直接改庫或者 DBA 手工執(zhí)行 UPDATE 時沒有維護(hù)updated_at那么增量邊界從一開始就是錯的。同周期內(nèi)狀態(tài)回跳同樣會被掩蓋。假設(shè)訂單在 00:00:10 從pending改為paid00:00:20 又改回pending。周期任務(wù)在 01:00 運行拉到的最終狀態(tài)還是pending。從業(yè)務(wù)角度看中間那次paid狀態(tài)也曾經(jīng)是真實數(shù)據(jù)但周期同步完全感知不到。高頻更新更不用說。一張促銷表每秒更新幾千行周期任務(wù)每隔 5 分鐘拉一次單行在周期內(nèi)被反復(fù)更新后最終拉到的只是最后一次值中間所有取值全部丟失。1.3 為什么不是多跑幾次就能解決周期同步的失敗模式是邏輯性漏數(shù)據(jù)不是漏跑任務(wù)。把調(diào)度頻率從小時改成分鐘只是縮小時間窗口并沒有改變讀取當(dāng)前表狀態(tài)的本質(zhì)。一張表在周期內(nèi)發(fā)生了 100 次更新周期同步只能看到最后一行binlog 能看到 100 個事件并且每個事件都保留前鏡像和后鏡像。這就是原理層面的差異。周期同步試圖通過查詢結(jié)果反推變化而 binlog 是 MySQL 自己記錄的寫操作流水賬。流水賬不會因為業(yè)務(wù)表沒有updated_at就缺頁也不會因為 DELETE 后記錄消失就抹去歷史。1.4 三種方案的能力對比維度全量快照增量字段輪詢binlog CDC刪除事件全量對拍后才發(fā)現(xiàn)通常無法發(fā)現(xiàn)每條 DELETE 都有對應(yīng)事件更新歷史只有最后狀態(tài)只有最后一次變更每次 UPDATE 都有前鏡像和后鏡像對業(yè)務(wù)表要求無必須有updated_at等字段無binlog 與業(yè)務(wù)表結(jié)構(gòu)獨立實時性取決于調(diào)度周期取決于調(diào)度周期秒級到分鐘級可配置對源庫壓力大全表掃描代價高中等取決于索引較小讀取日志而不是反復(fù)掃描表從這張表能看出周期同步不是慢而是漏。CDC 的價值不是讓同步更快而是讓變化過程本身可見。2. binlog 為什么能捕捉每一次變化CDC 的原理2.1 binlog 是什么binlog 是 MySQL 的二進(jìn)制日志記錄所有改變數(shù)據(jù)庫內(nèi)容的操作包括 INSERT、UPDATE、DELETE以及部分 DDL。MySQL 主從復(fù)制、崩潰恢復(fù)、數(shù)據(jù)恢復(fù)都依賴它??梢岳斫鉃?MySQL 把每一次寫操作按順序?qū)懙揭槐玖魉~上。binlog 并不是默認(rèn)可用的。MySQL 5.7 中l(wèi)og_bin默認(rèn)關(guān)閉8.0 默認(rèn)開啟但不同發(fā)行版和云廠商的默認(rèn)值可能不同落地前必須先確認(rèn)。如果 binlog 沒有開啟后續(xù)所有 CDC 方案都無從談起。2.2 ROW 格式給 CDC 提供了什么binlog 有三種格式STATEMENT、ROW、MIXED。STATEMENT 格式記錄的是 SQL 語句本身例如UPDATE orders SET statuspaid WHERE id1001;。這種格式日志量小但無法可靠還原每一行在語句執(zhí)行前后的具體值。MIXED 格式是兩者的混合MySQL 會根據(jù)語句類型自動選擇但對于 CDC 場景依然不夠穩(wěn)定。CDC 要求使用 ROW 格式。ROW 格式下binlog 直接記錄行的變化包括字段級的前鏡像和后鏡像。具體來說INSERT 事件包含插入后的完整行數(shù)據(jù)。UPDATE 事件包含變更前的整行數(shù)據(jù)和變更后的整行數(shù)據(jù)。DELETE 事件包含刪除前的整行數(shù)據(jù)。這意味著 CDC 消費者不僅能知道某張表發(fā)生了變化還能拿到 哪一行的哪個字段從什么值變成什么值。2.3 CDC 連接器如何消費 binlogDebezium、Flink CDC 這類工具在原理上會偽裝成 MySQL 從庫。它們通過 MySQL 的復(fù)制協(xié)議從主庫拉取 binlog并把 binlog 里的二進(jìn)制事件解析成結(jié)構(gòu)化的 JSON 變更事件。連接器需要記錄自己的消費位點。傳統(tǒng)方式是記錄 binlog 文件名加偏移量例如mysql-bin.000023的position 45123。更可靠的方式是使用 GTID即全局事務(wù)標(biāo)識符。GTID 能唯一標(biāo)識每個事務(wù)即使 binlog 文件被清理只要 MySQL 實例保留了完整的事務(wù)歷史連接器也能定位到正確的起點。CDC 連接器通常具備先快照再增量的能力。首次啟動時它會先讀取一次源表全量數(shù)據(jù)記錄當(dāng)時的 binlog 位點之后繼續(xù)從該位點消費增量從而保證從啟動那一刻起不遺漏后續(xù)變更。2.4 從 binlog 到 BigQuery 的完整鏈路一個常見的生產(chǎn)架構(gòu)是MySQL master - binlog - CDC Connector (Debezium / Flink CDC) - Kafka Topic - 流處理或?qū)懭氤绦?- BigQuery Storage Write API / Load Job - BigQuery Table也可以簡化為MySQL master - Flink CDC - BigQuery 目標(biāo)表無論采用哪種架構(gòu)核心都是從日志讀取變化而不是定時查詢表。這也決定了后面的環(huán)境準(zhǔn)備、配置、驗證和排錯方式。3. 前期準(zhǔn)備MySQL、BigQuery 和權(quán)限一項都不能省3.1 版本與前置條件在配置 CDC 之前先確認(rèn)環(huán)境是否滿足基本條件組件要求說明MySQL5.7 或 8.0開啟 binlog5.7 建議顯式開啟8.0 確認(rèn)默認(rèn)配置BigQuery數(shù)據(jù)集、目標(biāo)表、服務(wù)賬號建議單獨建服務(wù)賬號避免共用管理員賬號CDC 工具Debezium 或 Flink CDC版本需要與 MySQL 和 Kafka 版本匹配網(wǎng)絡(luò)源庫與數(shù)倉側(cè)連通私網(wǎng)優(yōu)先公網(wǎng)場景需要做好傳輸加密如果源 MySQL 是云數(shù)據(jù)庫還需要查看云廠商是否允許開啟 binlog 保留策略、是否開放復(fù)制賬號權(quán)限。有些托管數(shù)據(jù)庫默認(rèn)不開放REPLICATION SLAVE這是接入 CDC 前最容易發(fā)現(xiàn)的阻塞點。注意開啟 binlog 并切換為 ROW 格式后binlog 日志量通常會變大磁盤占用和復(fù)制延遲都會上升。生產(chǎn)環(huán)境切換前需要評估磁盤余量。3.2 修改 MySQL 配置下面是一份最小可用的 MySQL CDC 配置示例[mysqld] server_id 1001 log_bin /var/log/mysql/mysql-bin.log binlog_format ROW binlog_row_image FULL expire_logs_days 7 # MySQL 8.0 可用以下參數(shù)控制 binlog 保留時長 # binlog_expire_logs_seconds 604800每個參數(shù)的作用server_idMySQL 實例在復(fù)制拓?fù)渲械奈ㄒ粯?biāo)識。CDC 客戶端也會占用一個 server-id不能與主從庫中其他節(jié)點重復(fù)。log_bin開啟 binlog并指定日志文件路徑。binlog_formatROW讓 binlog 記錄行級變更。CDC 必須使用 ROW 格式。binlog_row_imageFULL讓 UPDATE 事件包含整行前鏡像和后鏡像。如果設(shè)置為 MINIMALbinlog 只包含被修改的字段和主鍵CDC 拿不到完整舊行和新行。expire_logs_days控制 binlog 文件保留天數(shù)。保留太短CDC 位點落后時可能追不上保留太長磁盤占用過大。常見建議是 3 到 7 天具體要結(jié)合源庫寫入量和磁盤容量調(diào)整。修改配置后需要重啟 MySQL。重啟前確認(rèn)max_allowed_packet等參數(shù)不會限制大事務(wù)的 binlog 傳輸。3.3 創(chuàng)建 MySQL CDC 賬號建議為 CDC 單獨創(chuàng)建一個賬號避免使用 rootCREATE USER cdc_user% IDENTIFIED BY strong_password; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO cdc_user%; FLUSH PRIVILEGES;三個權(quán)限的含義SELECT用于 CDC 工具首次啟動時的全量快照以及讀取表結(jié)構(gòu)信息。REPLICATION SLAVE允許該賬號通過復(fù)制協(xié)議讀取 binlog這是 CDC 的核心權(quán)限。REPLICATION CLIENT允許執(zhí)行SHOW MASTER STATUS、SHOW BINARY LOG STATUS等命令用于確認(rèn)位點信息。不要把ALL PRIVILEGES都授出去。CDC 賬號只需要讀取能力不需要寫源庫。3.4 BigQuery 側(cè)準(zhǔn)備BigQuery 側(cè)需要準(zhǔn)備數(shù)據(jù)集、目標(biāo)表和服務(wù)賬號。在 Google Cloud Console 中先創(chuàng)建數(shù)據(jù)集例如analytics。目標(biāo)表建議在接入 CDC 之前就定義好字段類型盡量與 MySQL 類型對應(yīng)。如果后續(xù)依賴 BigQuery 自動加列容易遇到 schema 不一致導(dǎo)致寫入失敗。服務(wù)賬號需要授予 BigQuery Data Editor 或更細(xì)粒度的角色。把服務(wù)賬號的 JSON 密鑰下載到寫入服務(wù)所在機(jī)器并通過環(huán)境變量GOOGLE_APPLICATION_CREDENTIALS指向密鑰文件。BigQuery 是列式存儲目標(biāo)表 schema 在寫入前就要對齊。CDC 事件字段如果比目標(biāo)表多需要做過濾如果少目標(biāo)表多出的列會使用默認(rèn)值或 NULL。4. 最小落地鏈路Debezium 捕獲 binlog程序?qū)懭?BigQuery4.1 兩種常用的技術(shù)選型常見方案有兩種方案鏈路適合場景Debezium KafkaMySQL - Debezium - Kafka - 寫入程序 - BigQuery已有 Kafka 基礎(chǔ)設(shè)施需要多消費方Flink CDCMySQL - Flink CDC - BigQuery Sink團(tuán)隊熟悉 Flink希望用 SQL 處理流下面以 Debezium Kafka Python 消費者為例把鏈路拆開看。這樣更容易理解每個環(huán)節(jié)的職責(zé)。Flink CDC 只是把 Debezium 和流處理合并到一個框架里原理一致。4.2 Debezium connector 的配置Debezium 通過 Kafka Connect 運行一個典型配置如下{ name: mysql-orders-connector, config: { connector.class: io.debezium.connector.mysql.MySqlConnector, database.hostname: 10.0.0.10, database.port: 3306, database.user: cdc_user, database.password: xxxx, database.server.id: 5400, database.include.list: ecommerce, table.include.list: ecommerce.orders, database.history.kafka.bootstrap.servers: kafka:9092, database.history.kafka.topic: schema-changes.ecommerce, topic.prefix: mysql, include.schema.changes: true } }關(guān)鍵參數(shù)database.server.idDebezium 會占用一個 server-id。它必須與 MySQL 現(xiàn)有主從庫、其他 CDC 實例的 server-id 不沖突否則連接會被 MySQL 拒絕。database.include.list/table.include.list限定監(jiān)聽的庫表。只同步需要的表能顯著減少 binlog 解析壓力。database.history.kafka.topicDebezium 用這個 topic 記錄表結(jié)構(gòu)歷史。binlog 里的舊事件在解析時可能依賴歷史 schema因此這個 topic 不能隨意刪除。topic.prefix生成 Kafka topic 名稱的前綴。最終 topic 名稱一般是{topic.prefix}.{database}.{table}。4.3 變更事件長什么樣Debezium 輸出的變更事件是一段 JSON核心結(jié)構(gòu)如下{ before: { id: 1001, status: pending }, after: { id: 1001, status: paid }, source: { db: ecommerce, table: orders, server_id: 1001, ts_ms: 1719900000123 }, op: u }op字段表示操作類型op 值含義事件內(nèi)容cINSERT只有afteruUPDATE有before和afterdDELETE只有beforer快照讀取類似 INSERTafter為快照行注意DELETE 事件沒有after。寫入 BigQuery 時如果目標(biāo)表要反映刪除必須自己定義刪除策略比如寫入一條帶刪除標(biāo)記的記錄或者通過主鍵 MERGE 刪除目標(biāo)行。4.4 寫入 BigQuery 的示例程序下面是一個最小 Python 消費者示例從 Kafka 讀取 MySQL 變更事件批量寫入 BigQueryimport json from google.cloud import bigquery from kafka import KafkaConsumer PROJECT my-project DATASET analytics TABLE orders client bigquery.Client(projectPROJECT) table_ref client.get_table(f{PROJECT}.{DATASET}.{TABLE}) def process_event(msg): payload json.loads(msg.value()) op payload.get(op) if op in (c, r): return payload[after] if op u: return payload[after] if op d: before payload[before] before[_is_deleted] True return before return None consumer KafkaConsumer( mysql.ecommerce.orders, bootstrap_serverskafka:9092, group_idbigquery-sync, auto_offset_resetlatest, enable_auto_commitFalse, ) rows [] batch_size 500 for message in consumer: row process_event(message) if row is not None: rows.append(row) if len(rows) batch_size: errors client.insert_rows_json(table_ref, rows) if not errors: consumer.commit() rows [] else: print(errors)這個示例說明的是思路不是完整生產(chǎn)代碼。insert_rows_json適合小規(guī)模驗證生產(chǎn)環(huán)境更推薦使用 BigQuery Storage Write API并配合監(jiān)控、重試和死信隊列。enable_auto_commitFalse是為了避免消息未成功寫入就提交位點減少丟失風(fēng)險但代價是重復(fù)消費因此目標(biāo)表必須容忍重復(fù)。4.5 如果團(tuán)隊已經(jīng)用 Flink可以考慮 Flink CDCFlink CDC 可以把上面的鏈路壓縮成一個 SQL 和一套連接器。用 Flink SQL 創(chuàng)建 MySQL CDC 源表CREATE TABLE mysql_orders ( id INT, user_id INT, amount DECIMAL(10, 2), status STRING, updated_at TIMESTAMP(3), PRIMARY KEY (id) NOT ENFORCED ) WITH ( connector mysql-cdc, hostname 10.0.0.10, port 3306, username cdc_user, password xxxx, database-name ecommerce, table-name orders, server-id 5400-5406, scan.incremental.snapshot.enabled true );scan.incremental.snapshot.enabled在較新版本默認(rèn)開啟。它讓 Flink CDC 以分片方式并行快照大表不需要像舊版本那樣先對全表加鎖再讀取對大表更友好。源表創(chuàng)建后可以再創(chuàng)建 BigQuery Sink 表通過INSERT INTO完成同步。具體 Sink 類名和參數(shù)取決于連接器版本落地前要以當(dāng)前使用的 Flink 和連接器文檔為準(zhǔn)。5. 怎么驗證 binlog 同步?jīng)]有漏數(shù)據(jù)5.1 先確認(rèn) binlog 真的開了進(jìn)入 MySQL 命令行執(zhí)行SHOW VARIABLES LIKE log_bin; SHOW VARIABLES LIKE binlog_format; SHOW VARIABLES LIKE binlog_row_image;預(yù)期結(jié)果中l(wèi)og_bin為ONbinlog_format為ROWbinlog_row_image為FULL。還可以執(zhí)行SHOW BINARY LOG STATUS;如果輸出包含當(dāng)前 binlog 文件名和 position說明 binlog 文件正在正常寫入。5.2 驗證 Kafka 收到了哪些變更先用 Kafka 自帶的控制臺消費命令觀察 MySQL 變更是否進(jìn)入 topickafka-console-consumer.sh \ --bootstrap-server kafka:9092 \ --topic mysql.ecommerce.orders \ --from-beginning然后在 MySQL 中分別執(zhí)行一次 UPDATE 和一次 DELETEUPDATE orders SET status paid WHERE id 1001; DELETE FROM orders WHERE id 1002;正常情況下消費端會看到op為u和d的兩條事件。這一步直接驗證了周期同步最難做到的能力刪除和更新都能被捕獲。5.3 驗證 BigQuery 目標(biāo)表觀察 BigQuery 目標(biāo)表是否有新數(shù)據(jù)寫入。可以通過控制臺查詢也可以執(zhí)行SELECT COUNT(*) FROM my-project.analytics.orders; SELECT MAX(updated_at) FROM my-project.analytics.orders;必須注意一個容易誤判的地方BigQuery 目標(biāo)表不會因為收到了 DELETE 事件就自動刪除對應(yīng)行。如果寫入程序只是把after或before以追加方式寫入刪除事件只會變成一行帶標(biāo)記的數(shù)據(jù)。要真實反映刪除目標(biāo)表需要按主鍵做 MERGE或者通過分區(qū)覆蓋實現(xiàn)。驗證時先明確自己的目標(biāo)表語義是追加明細(xì)還是鏡像源表。5.4 延遲監(jiān)控指標(biāo)從 binlog 到 BigQuery 的同步不是一次性的必須持續(xù)監(jiān)控。常見指標(biāo)包括指標(biāo)含義告警建議Kafka consumer lag消費程序落后的消息數(shù)持續(xù)增長則告警Debezium 位點與當(dāng)前 binlog 的文件間隔連接器是否在追趕超過 binlog 保留期則高風(fēng)險端到端延遲事件寫入 MySQL 到進(jìn)入 BigQuery 的時間差根據(jù)業(yè)務(wù)要求設(shè)置閾值BigQuery 寫入錯誤率schema 不匹配等寫入失敗立即告警把位點落后和consumer lag 持續(xù)增長作為關(guān)鍵告警能提前發(fā)現(xiàn)大事務(wù)、網(wǎng)絡(luò)抖動或消費程序故障。6. 數(shù)據(jù)到達(dá) BigQuery 后模式映射、DDL 和冪等才是真正的坑6.1 MySQL 與 BigQuery 類型映射字段類型映射是 CDC 鏈路里最容易踩坑的部分。下面是常見映射關(guān)系MySQL 類型BigQuery 類型注意事項INT / INTEGERINT64無符號 INT 可能超過 INT64 有符號范圍BIGINTINT64超過 2^63-1 的數(shù)據(jù)要改用 NUMERIC 或 STRINGDECIMAL(p, s)NUMERIC / BIGNUMERIC金額字段不要用 FLOAT精度會丟失DATETIMEDATETIME無時區(qū)語義按原值寫入TIMESTAMPTIMESTAMP建議統(tǒng)一按 UTC 存儲VARCHAR / TEXTSTRING長度和編碼要注意JSONJSONBigQuery 需要字段模式為 JSON 或先轉(zhuǎn)成 STRINGTINYINTINT64 / BOOL看業(yè)務(wù)語義確定最容易出問題的是 DECIMAL。MySQL 中的DECIMAL(10, 2)如果映射成 BigQuery 的 FLOAT640.1 這樣的值可能出現(xiàn)精度誤差。正確做法是映射為 NUMERIC。TIMESTAMP 也容易出問題。MySQL 的TIMESTAMP有會話時區(qū)概念CDC 事件里的ts_ms可能是 UTC 時間而業(yè)務(wù)字段本身可能是本地時間。建議在寫入端統(tǒng)一規(guī)范避免目標(biāo)表同一列混入不同時區(qū)的數(shù)據(jù)。6.2 DDL 變更會打斷 CDC當(dāng) MySQL 表結(jié)構(gòu)變化時CDC 鏈路會面臨兩個層面的問題。第一Debezium 需要依賴database.history.kafka.topic中的 schema 歷史來解析 binlog 里的舊事件。如果這個 topic 被刪除或清理連接器可能無法反序列化舊的 binlog 事件。第二BigQuery 目標(biāo)表的 schema 不會自動跟隨 MySQL DDL 變化。MySQL 加了一列CDC 事件里出現(xiàn)了新字段但 BigQuery 目標(biāo)表沒有這一列寫入就會報錯。處理建議是把 DDL 納入變更流程先審查 MySQL DDL 對同步鏈路的影響。先在 BigQuery 目標(biāo)表補充或調(diào)整 schema。再在 MySQL 執(zhí)行 ALTER TABLE。同步完成后核對事件是否正常。對于大表的 ALTER TABLE還可能導(dǎo)致源庫鎖表和復(fù)制延遲。生產(chǎn)環(huán)境做主從切換時要評估 DDL 對 binlog 位點的影響。注意不要依賴 BigQuery 自動加列來處理所有 DDL 變更。自動加列在不同版本和連接器里行為不一致且不能處理列重命名、刪除、類型變更等復(fù)雜操作。6.3 至少一次語義下重復(fù)是正常的binlog CDC 鏈路通常提供 at-least-once 語義。網(wǎng)絡(luò)閃斷、消費程序重啟、位點提交失敗都可能導(dǎo)致同一事件被重復(fù)消費。因此目標(biāo)表必須能接受重復(fù)。常見做法按主鍵去重寫入前先判斷目標(biāo)表是否已有該主鍵。使用 BigQuery MERGE按主鍵更新目標(biāo)行。在記錄中增加事件版本字段如event_ts_ms或 GTID寫入時取較新的事件。下面是 BigQuery MERGE 的簡化思路MERGE my-project.analytics.orders AS t USING changes AS s ON t.id s.id WHEN MATCHED THEN UPDATE SET status s.status, amount s.amount WHEN NOT MATCHED THEN INSERT (id, user_id, amount, status, updated_at) VALUES (s.id, s.user_id, s.amount, s.status, s.updated_at);MERGE 在處理刪除事件時還可以加一個WHEN MATCHED AND s._is_deleted TRUE THEN DELETE分支。但 MERGE 的成本比流式追加高適合對一致性要求高、更新頻率可控的場景。如果表更新量極大需要考慮分區(qū)覆蓋、冷熱分離等方案。6.4 亂序事件怎么處理同一個主鍵的多條變更在 Kafka 中如果分布到不同分區(qū)消費程序收到的順序可能和源庫事務(wù)提交順序不一致。比如先提交了statuspaid后提交了statuscancelled亂序可能導(dǎo)致目標(biāo)表最終停在paid。處理方式Kafka Topic 按主鍵 hash 分區(qū)保證同一主鍵路由到同一分區(qū)。寫入端使用 binlog 里的ts_ms或 GTID 做排序只接受更新的事件。如果業(yè)務(wù)允許短暫延遲可以在寫入端做窗口緩沖按主鍵排序后批量提交。如果源表存在刪主鍵后重新插入同一主鍵的場景還需要區(qū)分刪除后插入和舊 UPDATE 后到否則可能出現(xiàn)舊數(shù)據(jù)覆蓋新數(shù)據(jù)的現(xiàn)象。這種情況下GTID 或事務(wù) ID 是更可靠的順序依據(jù)。7. 常見問題排查從現(xiàn)象倒推 binlog 鏈路故障7.1 現(xiàn)象連接器啟動時報權(quán)限不足或無法讀取 binlog可能原因MySQL 賬號缺少REPLICATION SLAVE權(quán)限。連接器配置的 server-id 與現(xiàn)有從庫沖突。binlog 未開啟或者binlog_format不是 ROW。排查命令SHOW VARIABLES LIKE binlog_format; SHOW GRANTS FOR cdc_user%; SHOW PROCESSLIST;處理方式核對 MySQL 配置和賬號權(quán)限修改后重啟連接器。server-id 沖突通常會在 MySQL 錯誤日志里看到A slave with the same server_uuid/server_id as this slave has connected to the master之類的信息。7.2 現(xiàn)象任務(wù)運行一段時間后Kafka 里有歷史事件但新事件遲遲不來可能原因Kafka Connect 或連接器進(jìn)程掛掉后位點沒有正確恢復(fù)。MySQL 實例重啟導(dǎo)致 binlog 文件名變化連接器找不到舊位點對應(yīng)的文件。table.include.list配置了大小寫敏感的表名實際表名大小寫不一致。排查方式kafka-consumer-groups.sh --bootstrap-server kafka:9092 --describe --group bigquery-sync重點看CURRENT-OFFSET、LOG-END-OFFSET和LAG。如果 consumer lag 為 0 但新數(shù)據(jù)沒進(jìn)來檢查連接器日志里 binlog offset 是否還在推進(jìn)。必要時做一次 重新快照 增量 的初始化。7.3 現(xiàn)象BigQuery 寫入報錯字段不存在或類型不匹配可能原因MySQL DDL 新增了列BigQuery schema 沒有同步。DECIMAL 字段映射成了 FLOAT64導(dǎo)致精度丟失或?qū)懭胧?。MySQL JSON 字段映射到了 BigQuery STRING但事件里是 JSON 對象。排查方式SELECT column_name, data_type FROM my-project.analytics.INFORMATION_SCHEMA.COLUMNS WHERE table_name orders;處理方式定位是哪一列不匹配先同步 schema再重放失敗事件。不要直接丟棄報錯事件否則會在對賬時發(fā)現(xiàn)數(shù)據(jù)缺口。7.4 現(xiàn)象同步延遲持續(xù)增長可能原因源庫執(zhí)行了大事務(wù)例如一次 UPDATE 超過十萬行binlog 事件量巨大。消費程序單線程寫入 BigQuery寫入速度跟不上源庫變更速度。網(wǎng)絡(luò)帶寬不足或者 BigQuery 寫入配額受限。處理方式在源庫側(cè)避免一次性更新超大范圍拆成小事務(wù)。寫入端改用批量并行寫并啟用 Storage Write API。增加監(jiān)控觀察 binlog 保留時間是否充足。如果消費端位點落后太遠(yuǎn)而 binlog 文件已經(jīng)過期可能需要重新快照。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五婷网| 色99视频| 成人综合AV| 色五月大香蕉| 婷婷五月激情五月激情| 丁香五月天在线观看视频| 亚洲综合色网| 99九九视频| 五月丁香日本一抹本| 欧美A级成人婬片免费看理论| 青青草蜜臀| 中文字幕久久婷九女同| 日韩AV在线影片| 99精品免费| 色婷婷手机在线| 熟女强人妻一区二区三区四区无| 开心五月网 | 婷婷六月丁香五月图区| 色色亚洲视频| 久操福利| 五月天激情网站| 色久九| 亚洲蜜桃精久久久久久久久久久久| 婷婷开心五月| 丁香五月,激情五月,深爱五月| 久久免费试看120秒| 国产精产国品一二三在观看| 久久久婷婷| 久机视频这只有精品| www.天天色综合| 婷婷久久18| 91av传媒高清在线视频网| 成人片在线播放| 日本成人噜噜| A网在线欧洲| 99热福利| 丁香五月亚洲激情婷婷射| 人人操人| 91/九色黑人| 天天爽人人综合免费7799| 色噜噜五月天| 亚洲精品永久久久久久| 99热首页| z色五月播播久久| 开心五月婷婷激情网| 久热成人| 婷婷激情五月天综合| 丁香五月色五月| 色婷婷AV久久| 狠狠色综合网站久久久久| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 丁香久久在线| 另类丁香五月天区图| 91日本在线观看| 激情五月婷婷| 日本色婷婷| 婷婷五月色色| 五月婷婷激情综合| 婷婷激情六月| 亚洲乱码日产精品BD| 99免费| 婷婷五月免费视频| 日本久久人| 丁香五月偷拍| 久99热| 人人摸人人搞| 久久9热| 高清无码入口| 婷婷激情社区| 国外亚洲成AV人片在线观看| 国产JK精品白丝AV在线观看| 99久久超级| 丁香激情综合| 九九性爱网| 婷婷色色欧美| 9久热| 日韩欧美一区二区三区四区| 久热最新视频| 婷婷久久色| 91九色中文| 天天撸天天干天天插| 久久久人妻门| 人人综合久| 婷婷99中文字幕| 国产avapp 网| 成人无码髙潮喷水A片| 亚洲国产精品二二三三区| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 色五月色图| 婷婷五月激情图片| 欧美性爱特黄一级aaaassss| 五月天天天天天天天天天天天天天天天婷婷婷 | wwww.色婷婷| 久久99精品久久久久久三级| 秋霞黄色一级久久| 国产成人99久久亚洲综合精品| 久久婷婷成人综合色怡春院| 婷婷五月天视频| 91男女视频在线观看| 丁香久久激情俄| 97干综合网| 综合AV在线| 久久狠色噜噜狠狠狠狠97| 天天综合色综合| 五月六月激情| 人人干av| 欧美三级级99久久| 爱草视频在线观看| 任你爽精品免费视频6| 久久五月婷婷丁香| 情欲禁地| 99操视频| 五月天婷婷在线播放| 伊人久久大香线蕉av一区| 色婷婷综合网站| 五月激情天| 男人的天堂99| 婷婷丁香成人在线视频| 大香蕉伊人99| 狠狠爱五月婷婷综合六月| 国产精品美女| 天天摸天天日天天舔| 五月 激情视频| www久久99| Www.久久| 操逼123网| 色色色热| 久综合4| 99热在线精品观看| 激情綜合W W W,激情五月天| 乱精品一区字幕二区| 色婷婷AV在线观看| 亚洲综合视频一下| 97色色色| 婷婷五月丁香综合激情| 婷婷五月色情天| 丁香五月婷婷影院| 五月综合丁香婷婷| 婷婷成人五月天成人文学| 亚洲另类电影| 色综合色综合网| www.国产色| 亚洲人妻AV| 日韩伊人大香蕉| 婷婷五月天激情偷拍| 五月婷婷五月天在线| 97久久人人| 婷婷五月激情小说| 思思re视频在线| 高清无码视频网址| www.9797国产| 欧美中文五月天| 国产熟妇乱子伦hd| 激情五月亚洲综合网| av大香蕉| 天天色图| 1024国产| 色一情一乱一乱一区91| 婷婷婷久久久| 碰碰碰91| 久久这里只有精品8| 97超碰免费超级在线观看| 97色干| 五月天啪啪啪| aaa9区免费在线观看| 97色伦另类图片小说视频| 97视频91| 婷婷九九| 丁香婷婷久久 | caop视频| 色五月婷婷开心| 久久538| 婷婷综合视频| 九九热10| 120分钟婬片免费看| 久久精彩视频| 青青草轻轻操| 综合啪啪| 青青草tp| 97碰在线视频| 天天AV导航网| 国产在线网| 色999五月色| 99在线69| 26uuu国产色| 综合激情站| 久久婷婷成人| 五月丁香色色网| 亚洲激情四射| 成人精品一区日本无码网| 天天爽在线视频| 中文字幕在线日亚洲9| 五月久熟女| 超碰成人在线观看| 亚洲美女婷婷五月天| 色色a| 秋霞电影一级黄| 久久99网站| 第四色激情网| 日本人妻伦在线中文字幕| 天天干天天日天天插 | 中文字幕在线免费观看视频| 综合久| 影音先锋xfplay资源男人网| 在线成人va| 激情六月婷| 九九激情| 丁香婷婷深情五月亚洲| 五月天综合区| 91美女啪啪| 婷婷操婷婷干婷婷射| 综合久久六月| 丁香五月久久| 777久久综合视频 | 色色五月天激情| 无码九九| 丁香五月婷婷综合激情啪啪啪啪啪啪啪 | 激情床戏| 丁香五月aV| 激情五月四色| 五月停停999| 婷婷综合欧美| 色婷婷综合网站| 五月色丁香婷婷综合| 人妻VideOssS人妻高清| 色色五月丁香婷婷| 超碰9799| 色欲天天综合| 激情五月婷婷在线| 超碰av在线| 青青草大香| 婷婷五月天免费视频| 91丁香| 狠狠干狠狠色| 色色COm| 超碰97干| 亚洲五月六月婷婷| 99久久久久| 久热这里只有精品性色AV| 色综合久久久无码中文字幕999| www.婷婷五月| 翔田千里aV中文字幕| 色综合网页| 天天干天天干天天干| 丁香六月色香蕉视频| 激情网 久久| 猫咪伊人久久| 六月五月婷婷| 激情久久久| 久久激情四射| 99精品在线| 99爱免费视频| 天天综合天天做天天综合| 强辱丰满人妻HD中文字幕| 青草五月天| 色情·com| 婷婷久久内射| 久久婷婷大香蕉| 久久六月天| 九九色综合视频| 色色婷婷丁香| 五月天综合久久丁香91| 久热精彩视频98| 99精品综合视频| 婷婷久久六月费| www.久久久久久久| 色天堂97| 激情网 久久| 九九人人操| 婷婷五月天久久久| 黄色99网| 五月天婷婷久色| 久久婷婷网站| 五月丁香久久丝袜啪啪| 婷婷久久女人| 日韩欧美成人网| 成人电影一区| 亚洲中文乱字字幕在线永久| 综合色色色| 久久五月激情网| 亚洲高清在线| 丁香五月黄色| 绿色小导航AV| 精品九九网| 五月Huangsewang| 五月婷婷色五月| 美欧成人视频| 超碰在线免费9| 久久婷婷五月综合色和| 日日操,天天操| 五月天婷婷成人| 五月丁香婷婷基地| 五月停停99| 日韩1区2区| 色久影院| 99热这里| 色婷婷导航| 99热国产这里只有精品| 色色哒五月婷婷六月丁香| 欧美激情Va| 婷婷丁香69精华| 日本色天堂| 五月天婷婷久草丁香| 91婷婷丁香五月亚洲| 99婷婷狠狠成为人免费视频| 婷婷丁香成人色综合| 天天插天天插| 无码少妇高潮喷水A片免费| 国产成人网址| 9色91视频| 精品一二三区久久AAA片| 婷婷娌伦网| 热99这就是精品视频| 午夜丁香五月天综合| 五月丁香AV在线| 五月丁香六月停停| 色婷婷五月中文字幕在线dvd| 婷婷丁香人妻久久在线观看| 婷婷丁香人妻天天久久| 婷婷五月天影院| 91精品久久久久、久五月天| 殴美日比视频| 性爱久久| 一区操| 欧美五月婷婷综合| 成人免费在线电影| 超碰在线9| 丁香九月婷婷综合| 99热精品网| 亚洲色域网| 婷婷五月丁香久久| 五月天成人免费视频| 久久伦乱| 色婷婷成人做爰A片免费看网站| 亚洲精品无人区| 久久成人亚洲欧美电影| 91精品久久久久久久久| 丁香亭亭久久| 999影院成人在线影院| 天天草比天天爽| 欧美乱码国产一级A片| 五月停亭六月,六月停亭的英语| 五月婷婷AV| 99免费在线视频| 欧美日韩91| www。五月,com| 婷婷五月综合丁香久久| 久久久五月五丁香| 极品 少妇 内射| 久久 视频这里只有精总| 五月婷在线观看| 日本久久精品| 色欲一区二区三区精品A片| 色色色色色色色五月| 色九月欧美| 久久精品9| 六月色日韩| 天堂草在线观| 操操啪| 97干干干丁香| 97人凄人人操人人爽| 小视频aaa久久久| 丁香五月婷婷在线观看| 99欧美| 国产精品激情AV久久久青桔| 欧美三级欧美一级| 中文字幕性爱丰满| 色播五月婷婷| 国产操逼网站| 日日撸天天干| 91一起操| 亚洲成Av人片乱码色第1集| 婷婷丁香视频在线观看免费| 久久五月丁香激情综合| 五月丁香精品| 99久高清视频| 色九月激情综合网| 97人人草| 丁香五月手机视频| 亚洲精品性色| 99精品视频在线观看| 吊色AV男人的天堂| 中文字幕性爱丰满| 婷婷综合色图| AV在线不卡网站| 欧美欧盟性爱网| 婷婷色婷婷| 国产亚洲精品AAAAAAA片| 99热在线网站| 婷婷五月天激情AV影院| 中文字幕黄色片| 亚洲有码在线视频| 亚洲色模骚货| 成人超碰网| 东京热伊人| 天天操电影院色狼性av| 精品久久久久成人码免费动漫| 欧美日韩123| 亚州AV超碰人人操| 日韩在线视频9色| 成人操呦av| A1片久久久| 疯狂做受XXXX高潮A片| 色婷五月天| 日日噜噜夜夜狠狠久久丁香五月| 国产乱妇乱子在线播视频播放网站| 中文字幕成人| 超碰人人艹| 亚洲一区二区无遮挡A片| 天天色天天舔天天爱天天爽| 天天干天天拍| 九九热在视频| 激情五月天综合| 久在热99| 色六月丁香婷婷狠狠干| 极品少妇高潮啪啪AV无码| 九色PORNY9l原创自拍| 99精品视频在线观看| 亚洲AV成人精品网站在线播放| 亚洲中文无码成人| 粉嫩AV久久一区二区三区| 久久久这里都是精品| 午夜丁香综合婷婷| 日本色色影院| 99热色精品| 精品视频网| 婷婷激情五月天在线| 国产精产国品一二三在观看| 另类激情五月| 五月丁香婷婷欧美色图视频五月丁香777电影| 99热这里只有精品手机在线观看| 久久丁香| 大香蕉丁香| 婷婷色成人| av一级棒av| 亚洲女婷婷五月基地综合久久久| 三级片AAA久久久AAA久久久AAA| 高清激情av在线观看| www.久久| 激情综合丁| 丁香六月婷婷| 欧美综合丁香网| 丰满少妇乱A片无码| AV天堂淫乩| 黄色中文字目| 婷婷五月天色| 永久免费视频| 婷婷久久色| 五月花婷婷在线精品视频| 99亚州综合精品成人网| 久久激情综合| 九九99热精品| 性爱网五月天| 天天综合激情| 日本欧美成人片AAAA| WWW激情五月天| 一本色道久久综合狠狠躁一二三| 婷婷激情图片| 婷五月天天| 操操操97| 天天插天天干| 色五月久久成人婷婷| 婷婷五月丁香图片人人操| 久久久区区一久久久久久| 色婷婷色综合| 色婷婷久久| wwwxxx五月婷婷小说| 丁香五月久久社区| 丁香婷婷色五月激情综合| wwccc久久久| 色综合五月| 人妻久久久久久久久久久| 色99自拍| 午夜无码熟熟妇丰满人妻 | WWW色五月天| 免费碰碰视频久| 婷婷国产成人| 大香蕉久久伊人婷婷五月丁香| 免费无码毛片一区二区A片| 99热精品一区| 欧美色色色| 99视频地址| 99综合99| 99ER热精品视频| 激情五婷网| 人人妻人人澡| 大香蕉视频婷婷| 天天肏视频| 亚洲成人乱码av网站| 99色精品| 国产亚洲精品久久久久久久久动漫| 五月丁香六月色| 亚洲成人色五月天| 丁香五月最新网址| 国产在线aaa片一区二区99| 噜噜在线| 六月婷婷七月丁香| 全亚洲最大的婷婷五月天网站COM| 91中文狠狠综合| 99色视频| 色五月丁香五月婷婷五月成人网| 成人五月天在线观看| 亚洲成人在线观看网址| 99国产精品久久久久久久久久久| 9色在线视频| 五月天激情婷婷小说| 亚洲黄色影视| 婷婷色偷拍| a久久| 精品久久久人妻| 精品色情一区二区三区四区| 超碰二区| 六月激情网| 91中文狠狠综合| 六月丁香激情网| 五月天婷婷综合免费| 色国产五月| 五月天天堂久久| 九九热青青草| 久热伊人91| 操99| 五月丁香婷婷基地| 99色综合网| 婷婷淫淫狠狠六月| 亚洲色亚洲精品| 五月视频日本免费观看| 国产亚洲99| 丁香五月另类色婷婷麻豆| ...婷婷五月综合不卡,国产在线手机| 久久久婷婷五月天| 午夜天堂一区人妻| 国产精品18久久久| 色婷婷狠狠| 五月停停色色丁香| 99热1| 九九精品丁香花| 日本人妻伦在线中文字幕| 色色色色色网| 激情小说五月天| 秋霞性爱AV| 婷婷五月激情网| 成人丁香色| 婷婷色导航| 五月花免费视频| 操操操AV| 五月丁香六月色| 久久久精品色色色| 亚洲天天免费| 五月丁香啪啪网| 九九久久高清| 9l视频自拍9l视频自拍九色学生| 五月天激情四射网站| 天天综合91入口| 人人干人人操外国| 日韩大片艹艹| 久久综合丁香| 91超级碰碰| 精品久色| 亚洲色婷婷婷婷人人爽| wwccc久久久| 婷丁香久综合| 伊人丁香五月| www.亭亭五月天| 五月婷婷丁香狠狠撸久久| 亚洲色色精品| 色五月色五天免费视频| 久久草中文日韩欧美| 97 A I色色| 六月丁丁香| 九九99九九99偷拍视频免费看| caop在线| 99激情| 久草婷婷在线| 九九九九九九综合| 久久五月丁香| 很操日本7| 欧美VA在线观看| 26uuu国产| 日韩成人无码人妻| 九九这里只有精品| 真实的国产乱XXXX在线91| 婷婷五月超碰| 成人在线精品| 国产丁香五月天婷婷| 六月久久狠狠| 五月停停色色丁香| 丁香五月av| 99久久超级| 久久九九精彩| 99色激| 久久婷婷欧美| 久操97| 96丁香六月婷婷蜜桃综合久久| 大战熟女丰满人妻AV| 亚洲精品a成人在线播放| 色色丁香五月天社区| 欧美 日韩 成人 在线| 久热2025无码| 91久久五月天| 久久激丁香| 久久婷婷色情7777网站| 欧美激情-区二区三区| 五月天色色网站| 色www久视频| 色色综合激情| 激情黄色五月天| 五月丁香六月婷婷姐| 五月天综合| 久久99草五月婷婷| 婷婷五月激情的图片| 79色色色色| 天天干天天日天天操| 五月丁香亭亭A片| 在线中文字幕视频| 亚美欧色影院| 国产精品久久久久久久久久| 久久机热探花| 69婷婷丁香午夜| 欧美日韩成人在线观看| www.色婷婷| 九九综合88| 97亚洲色 torrent magnet| 九九色综合视频| 五月激情在线| 色婷婷国产精品综合在线观看| 激情黄色五月天| 无码人妻激情| 婷婷婷五月香蕉| 777久久综合视频 | www.婷婷| 爱婷婷都市激情| 亚洲精品久久久久久久久久吃药| 婷婷综合色| 99久久玖玖| 伊人五月天| 伊人色综合影院视频| 五月天深爱激情网| 激情五月天视频| 碰碰人人漕| 五月婷婷五月天亚洲无码| 欧美激情综合色综合啪啪五月| 久久久久久久久久久44| 丁香五月激情五月开心五月| 国外亚洲成AV人片在线观看| 《诡秘之主》在线观看| 色久九| www久久久久| 婷婷五月丁香久久| 久久人妻熟女一区二区| 亚洲日本激情| 人妻内射视频| 色噜噜婷婷| 欧美激情综合色综合啪啪五月| 狠狠婷婷日韩| 日日做夜夜爱| 91免费试看| 十月丁香九月婷婷综合| 熟妇天天综合| 五月丁香六月情| 激情婷婷五月天丁香| 色吧五月婷婷| 色五月大香蕉婷婷| 久久综合中文字幕| 久99久视频| 五月天婷婷在线AN| 琪琪理论片| 五月丁香综合| 就去涩涩丁香五月天| 日本www免费九九| 四色AVwww| 婷婷色六月| 日韩在线观看亚洲| 成人精品在线| 免费视频WWW在线观看网站| 亚洲丁香五月美女| www.婷婷激情网.com| 99热99热在线| 亚洲AV网址| 99爱视频免费| 婷婷免费无视频| 六月丁香啪| 亚洲色图五月丁香| 激情婷婷五月亚洲| 成人五月天综合网| 五月天综合网| 99热只有精品在线播放| 大香蕉AV电影在线| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 国产成人AV| 五月丁香天堂网| 久久99久久99精品免观看粉嫩| 91欧美| 九九久久这里只有精品XB| 综合久久8| 五月天综合久久| 婷婷五月天激情在线观看 | 五月天综合图片| 久久草中文日韩欧美| 午夜色婷婷| 天天爽天天摸| 亚洲永久免费| 色综合99无码 | AAA久久久AAA久久久AAA| 色色色com| 色色 9| www.99久| 九九久久9 9在线观看| 在线视频99| 五月婷婷狠天天色综合| 亚州综合色| 天天干,天天日| 五月婷婷六月丁香激情| 26uuu视频欧美| 色婷婷狠狠禁久久| 天天做夜夜爽| 综合网视频| .操區COm| 超级碰碰碰碰视频| 国精产品一区一区三区免费视频 | 久久永久视频| 天天夜天天色天天| 婷婷五月综合激情| 亚洲成人无码免费| 极品人妻VIDEOSSS人妻| 五月丁香花视频| 久久草婷婷丁香网站| 色婷婷六月天| 热久91| 97色干| 婷婷综合一二三| 色综合性视频| 丁香六月婷婷久久综合| 丁香五月黄色| 七月丁香五月婷婷在线| 综合网五月| 五月天久久综合婷婷| 五月天四色房丁香| 婷婷丁香五月天婷婷| 欧美男女婷婷| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 久久色婷婷| 婷婷五月另类网站| 99 这里只有精品| 思思热天天看| 五月天操逼网| 亚洲成人中文字幕| 久99久视频精品| www.超碰在线| 91超碰人人操| 久久在线大香蕉| 色色色色色色色色色色色色色色,网站| 乱女乱妇熟女熟妇综合网站| 色噜噜狠狠色综合成人99| 婷综合六月| 爱草视频在线观看| 色婷网| 九月色婷婷综合| 超碰免费电影| 182tv992tv人之初午夜免费观看| 被强行糟蹋的女人A片| 五月天综合久久| 97AV在线视频| 五月丁香亭亭操逼| 五月天激情小说| 激情伊人五月天| 久久婷婷五月综合啪| 色插综合网| 热99热| 天天色一道本综合婷婷| 99热国品免费| 婷婷月五天在线在线看| 日韩啪啪网| 欧美综合五月丁香六月婷| 超碰爱爱爱| 激情五月婷黄版| 欧美日本高清视频99| 波多野结衣成人作品在线| www超碰com| 操97在线观看| 成人小说色图婷婷五月| 91呦呦呦| 色情网综合| 日本玖玖在线| 99在线播放| 香蕉中文在线| 狠狠色丁香久久婷婷综合五月| 婷婷五月激情五月丁香五月| 亚洲AVDVD| 黑人无码一区| 91日本在线| 亚洲激情亚洲激情| 九九热九九热精品| 日夜夜天天| 久热网在线视频| 免费观看的婷婷五月视频在线| 婷婷五月亚洲一本在线丁香| 人人视频人人干人人做| 玖玖午夜视频| 久久怕怕视频| 青青草免费公开视频| 婷婷伊人五月天| 大香蕉伊然在亚洲90| www.精品久9| 久热 91| 久久婷婷五月综合97色一本| 另类图片五月天婷婷| 9999热这里只有精品| 色情综合网| 99热| 婷婷成人五月天成人文学| 五月丁香六月婷| WWW色五月| 久久五月婷婷视频| 大香蕉啪啪网| 丁香五月aV| 久久久久久久合一狠狠做深爱| 六月丁丁香| 五月天婷婷视频| 桃色成人网| 男人天堂AV在线一区二区| 色婷婷a v| 99久久国产宗和精品1上映| 亚洲五月天婷婷综合| 丁香婷婷色五月激情综合| 成人在线不卡| 99精品视频在线观看| 色欲色香,www,com| 亚洲午夜av| 可以直接看的av网站| 亚洲欧美另类在线23p| 国产精品视频免费看| 婷婷色色网| 丁香五月婷婷久久久| 东京热伊人| 久久96热| 亚洲激情视频在线观看| 91妻人人爽人人看片| 丁香五月开心亚洲| 色五月天中文字幕| 射琪琪| 色亚洲中文| 激情五月天婷婷五月天| 五月天丁香网| ...婷婷五月综合不卡,国产在线手机| 99热精品在线观看| 久热伊人| 99性感视频| 五月丁香五月综合欧美| 九九热免费视频| 1囯产午夜仑鲁鲁| 99视频色在线观看| 色狠狠婷婷| 国产激情综合| 99热资源在线| 777精品成人a v久久| 99热最新精品| aaaa久久| 激情美女五月天| 五月婷婷天天| 日逼影音先锋男人AV资源站| 91丨九色丨白浆秘| 涩婷婷五月天| 欧美成人精品A片免费一区99| 日本99视频精品免费播放| 六月色狠狠色| 九九热精品| 婷五月天丁香婷五月| 六月婷婷七月丁香| 色婷婷亚洲精品天天综| 婷婷激情综合色五月久久图片| 五月天欧美 另类小说| 亚洲综合五月天婷婷丁香| 香蕉曰比| 五月天婷婷色播| 伊人久久五月天| 婷婷色色丁香| 激情五月色综合国产精品| 五月天婷婷丁香| 吊色AV男人的天堂| 亚洲婷婷激情五月天| 五月丁香激情综合网| 亚洲综合草草| AA丁香综合激情| 九九色插| www.日韩艹| 久久婷婷亚洲| 97人人射| 久久婷婷五月综合色奶水99啪| 91主播在线| 五月丁香婷婷婷婷综合网| 午夜色婷婷| 中文字幕婷婷| 操人久久| 婷婷综合一二三| 丁香五月天啪啪a日本| 少妇高潮呻吟A片免费看软件| 黄色大片又大粗又爽| 色婷婷19| 久久色五月| 欧美这里只有精品| 国产亚洲成AV人片在线| 女力报到正好爱上你| 秋霞少妇AV网站| 五月天欧美 另类小说| 激情综合五月婷婷| 五月六月婷婷激情网| 色情婷婷五月天| 亚洲最大在线| 91avse| 在线网黄| 五月婷丁香| 九九久久五月天综合伊人| 五月婷婷激情久久| 色综合中文| 超碰免费成人| 超碰人妻在线| 色色色色色色网站| 婷婷五月综合婷婷| 婷婷激情综合网| 天天上天天爽| 四川BBB搡BBB搡多人乱亂| 久久九九激情五月天| www.久久五月天.com| 欧美激情综合五月色丁香| 久久九九99字幕| 碰碰碰97国产| 日韩99精品| 久七香蕉| 99热最新| 亭亭丁香久久五月| 色婷婷亚洲婷婷| 一本道综合网| 久久综合55| 99久在线精品99re8| 91视频综合网| 综合色99| 亚洲精品操一操、噜一噜、摸一摸、爽 | 国产在线6| 日韩人妻AV在线| 亚洲色模骚货| 丁香五月激情网| 亚洲精品视频在线播放| eeuus五月婷| 丁香婷婷五月份| 色爱亚洲| 超碰免费人妻| 亚洲综合色网| 五月婷婷精品无在线| 国产1区2区| 玖玖婷婷五月天| 亚洲精品操一操、噜一噜、摸一摸、爽 | 久久色情综合免费网站| 大香蕉久久久| 91九色网| 激情丁香六月| 庭庭久久内射| .精品久久久麻豆国产精品| 五月天激情婷婷小说| 中文字幕婷婷在线| 99热这里只有精品66| 三十路磁力链接| 美女xx不卡| 成人午夜无码视频| 婷婷综合网伊人| 大伊香蕉玖玖爱| 久久久com| 有哪些A片网站| 日韩AV在线免费观看| 五月天激情四射| 一级操逼内射在线视频| 五月丁香啪啪啪综合网| 青柠影视免费高清电视剧| 五月天综合久久| 免费的日逼视频| 久久全色| 人人爱操| 丁香五月成人网| 天天成人综合| 午夜丁香六月婷| 八戒青柠影视剧在线观看| 五月激情站| 亚洲综合新99视频| 久久婷婷夜| 国产乱人偷精品人妻A片| 天天日 天天草| 日本五月婷婷久久久六月丁香| 久久婷婷六月综合综合| 色情五月婷婷| 射久久丁香五月| 六月色色婷婷| 狠狠香蕉| 九九九九九九九九九九九九九国产精品| 伊人99热| 第五色婷婷| 亚洲综合干| 亚洲永久免费| 丁香五月www| 疯狂做受XXXX高潮A片动画| 国产综合婷婷| 久久99成人性爱高清视频| 丁香5月激情网| 亚洲视频无| 日韩AV无码影片| 狠狠草狠狠草| 日本天天操| 另类综合国产| 五月天天丁香婷婷在线中| 99热加勒比| av操B网站| 99啪啪| 日本久久婷| 夜夜操,天天撸| 欧美毛片www| 在线观看熟女少妇| 五月天伊人综合| 久久丁香九| 婷婷在线中文字幕| 日本久久网| 婷婷五月av| 激情碰碰碰| 思思久久久婷婷| 婷婷伊人| 丁香五月电影| 丁香九九九九| 99热亚洲| 青青草成人网| 久久精品亚洲一级牲爱综合| 五月的丁香六月的婷婷| 人妻射精AV| 色情五月婷婷| 91婷婷丁香| 色吊丝永久访问网址| 婷香狠狠爱五月| 97人人妻人人艹| 日韩艹比| 国产又爽又猛又粗的视频A片 | 婷婷久久亚洲| 五月天伊人综合| 六月婷色| 天天综合色丁香| 欧美日韩成人高清在线| 综合爱久久| 9久操| 操逼综合网| 丁香五月婷婷影院| 婷婷综合干| 丁香六月欧美| 色色五月激情| 视频在线免费观看欧洲乱码| 六月丁香开心婷婷欧美| 婷婷五月日本| 九月婷婷激情久久| 久久五月婷综合网| 97在线日本| 日本黄色精品| 在线观看996精品| 91丨九色丨熟女| 久热 91| 色五月激情网| 久久视这里只有精品| 丁香五月网络网络| 99在线观看免费精品视频| 婷婷丁香五月视频| 99热综合在线观看| 五月综合婷婷久久在线| 五月婷婷网站| www.com五月天| 久久婷婷视频| 97碰| 日本三级韩三级99久久| 婷婷五月天丁香| 老师的粉嫩小又紧水又多A片视频| 黑人巨粗进入警花疼哭A片| 在线看片h站| 欧美六月婷婷| 久久hd| 色婷婷影院| 66久久视频在线| 丁香五月冃欧美| 色色AV色色色东莞| 综合色影院| 婷婷综合激情| 国产成人精品一区二三区熟女在线| 国产亚洲精品久久久久久久久动漫| 99热草草| 国产精品国产| 五月婷视频久久| 青草视频在线蜜臀| 色狠狠色噜噜噜a天堂一区| 色久丁香五| 中文字幕在线免费观看视频| www久久99| 以及AA大片看看| 99色五月| 这里都是精品99| 婷婷五月骚厕所| 五月婷婷天天| 人人播| 超碰操日| 久婷久婷激情肉| 激情综合5月| 激情婷婷五月基地| 天天日夜夜| 99啪啪| 久久婷婷大香蕉| 久久亚洲婷婷| 天天日天天做天天操| 欧美成人日韩| 色婷婷丁香五月| 在线成人av播放| 深爱激情中文五月天av| 99人人操人人摸| 五月天堂婷婷| 熟女少妇内射日韩亚洲| 色婷婷色综合激情91| 色99亚洲| 亚洲中文乱字字幕在线永久| 色婷婷小说网| 丁香桃色网| a网站免费观看| 色六月 婷婷| 欧美大香蕉视频| 狠狠狠五月婷婷六月丁香| 色噜噜狠狠色综合成人网| 欧美性生交XXXXX无码小说| 男女免费视频999| 狠狠狠人妻| 丁香五月欧美色综合| 成人中文网| 亲子乱AV一区二区三区下载| 开心五月婷婷在线视频免费观看| 中文字幕,综合,91| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 5月婷婷激情网| 啪啪六月婷婷| 亚洲激情五月天| 91高潮喷水久久久久久久久| 激情婷婷| 精品人妻一区| 欧美激情综合五月色丁香| 91九色精品女同系列| 思思国产99| 欧美色婷婷| 久久9久久| 久久这里99| 综合网天天| 日韩黄色网络| 另类激情五月天| 五月天偷拍| 女婷久久| 999热这里只有精品| 日本欧美成人片AAAA| 色区久久| 婷婷五月丁香欧洲| 黄色av网站在线免费播放| 免费色色色| 久久婷婷五月天懂色| 久久九九re热| 五月天激情婷婷小说| 狠狠穞A片一區二區三區| 久久婷婷五月天激情四射| 丁香五月综合在线视频| 青青草免费公开视频| 妇激情基地| AV色婷婷| 色婷成人狠干| 婷婷五月深爱五月| 精品久久久91久久影视网| 色色无码日韩| 婷婷中文无码| 激情图片99| 噜噜狠狠色| 91狼友视频在线观看| 最新五月天婷婷影| 五月婷婷激情| 99久久99视频只有精品| 91精品丝袜久久久久久| 婷婷六月天天| 亚洲婷婷欧美婷婷| 综合网网欲色| www.99热这里只有精品| 好吊兆人妻| 亚洲mm色| 亚洲性爱AV在线| 91啪级电影| 无码人妻少妇色欲AV一区二区| 婷婷五月天受日本法律保护| 99久久9| 超碰成人电影| 91碰碰碰| www99热| 婷婷五月天亚洲| 婷婷五月色| 激情小说在线视频| 性爱AV天堂| 中文字幕在线免费观看视频| 五月欧美色播| www久久99| 九热在线这里有精品6| 天天干天天拍| 五月丁香六月婷婷色| 99∨VTV| 亭亭色天香| AV色色天堂中文| 日韩色色视频www| 天天综合色99| 99综合网| 国产成人av在线播放| 久久婷婷亚洲| 五月天色导航婷婷资源婷婷| 日韩无码成人电影| 天天日狠狠| 色婷婷伊人激情在线观看| 热99视频精品在线| 求可以看的AV网址| 99热草草| 久热只有精品| 丁香五月91| 天天插天天射| 全国最新疫情| 91九九热| 五月久视频| www.99久久久| 伊人91| 久久婷婷色五月| 四川操逼站| 337p大胆噜噜噜噜噜91Av| 麻豆科斗777| 人人人操 超碰| 亚洲这里只有精品| 日韩精品999| 五月天婷婷小说| 可以免费看的av网站| 97人操| 亚洲av骚货| se99在线| 天天射色五月天| 亚洲免费看片| 操逼福利视频| 五月天婷婷色色首页| 黄网在线播放| 色五月天天| 大香蕉懂9| 五月丁香免费视频| 伊人六月无码视频| 涩五月丝袜婷婷| 六月 丁香 视频| 精品成人无码A片观看香草视频| 黄色91在线观看| 丁香五月在线观看| 丁香六月亚洲综合| 国产在线黄色| 九九九九精品精| AV成人在线播放| 久久亚洲色导航| 六月婷婷AV| AA丁香综合激情| 97色色色色色| 99综合网| 婷婷五月天丁香综合网| 色婷婷狠狠18禁| 丁香五月激情六月综合| 熟女网站久久| 成人超碰网| 五月婷网| 天插天啪天啪天啪|