欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Oracle遷移PostgreSQL實(shí)戰(zhàn):低業(yè)務(wù)中斷、可校驗(yàn)、可回退的完整方案

Oracle遷移PostgreSQL實(shí)戰(zhàn):低業(yè)務(wù)中斷、可校驗(yàn)、可回退的完整方案 搞Oracle到PostgreSQL遷移這件事圈子里聊得最多的不是工具選哪個(gè)而是怎么讓業(yè)務(wù)別停太久、數(shù)據(jù)到底搬對(duì)沒(méi)有、出了問(wèn)題能不能跑回去這三個(gè)靈魂拷問(wèn)。我最近完整跟完了一個(gè)核心交易系統(tǒng)的遷移項(xiàng)目正好把整套打法梳理一遍給準(zhǔn)備上車的朋友當(dāng)個(gè)參考。先說(shuō)結(jié)論Oracle遷PostgreSQL難點(diǎn)從來(lái)不在怎么導(dǎo)數(shù)據(jù)而在遷移鏈條的整體設(shè)計(jì)。你只有把低業(yè)務(wù)中斷、可校驗(yàn)、可回退當(dāng)成一個(gè)整體目標(biāo)來(lái)拆解才能避免那種數(shù)據(jù)導(dǎo)完了、業(yè)務(wù)起不來(lái)、回也回不去的尷尬局面。1. 遷移項(xiàng)目啟動(dòng)前先想清楚怎么切再動(dòng)手1.1 遷移背景與目標(biāo)拆解我們這個(gè)項(xiàng)目是從Oracle 11g遷到PostgreSQL 14源庫(kù)大概有3TB數(shù)據(jù)核心業(yè)務(wù)表最大的一張超過(guò)8億行還有不少用到了CLOB、分區(qū)、存儲(chǔ)過(guò)程的老業(yè)務(wù)。業(yè)務(wù)側(cè)給的要求很明確停機(jī)窗口最多4小時(shí)切換后一個(gè)月內(nèi)如果發(fā)現(xiàn)重大問(wèn)題必須能回退并且遷移完成后要拿出讓業(yè)務(wù)信服的數(shù)據(jù)一致性證明。這三條要求翻譯成技術(shù)語(yǔ)言就是低業(yè)務(wù)中斷不能搞先停庫(kù)全量導(dǎo)出再全量導(dǎo)入的老套路必須走全量增量同步的雙軌方案把真正的停機(jī)時(shí)間壓縮到只需要處理增量追趕和切換驗(yàn)證這兩個(gè)環(huán)節(jié)。可校驗(yàn)遷移完成后要用行數(shù)、校驗(yàn)和、抽樣比對(duì)等手段證明數(shù)據(jù)沒(méi)丟、沒(méi)多、沒(méi)錯(cuò)。不是拿兩條SQL對(duì)一下數(shù)量就完事而是要能經(jīng)得起業(yè)務(wù)和審計(jì)的追問(wèn)??苫赝饲袚Q后保留完整的回退通道包括源庫(kù)持續(xù)運(yùn)行、反向同步機(jī)制、回退演練預(yù)案。一旦業(yè)務(wù)驗(yàn)證不通過(guò)能在一個(gè)小時(shí)內(nèi)切回Oracle且不丟新增數(shù)據(jù)。這三個(gè)目標(biāo)不是并列關(guān)系而是互相牽制的。比如為了可回退你可能需要在一段時(shí)間內(nèi)同時(shí)維護(hù)兩套庫(kù)的寫入為了低中斷你的增量同步工具必須足夠穩(wěn)定否則追趕不上就會(huì)無(wú)限拉長(zhǎng)停機(jī)窗口為了可校驗(yàn)又必須在遷移過(guò)程中保留足夠的審計(jì)痕跡方便回退時(shí)對(duì)賬。1.2 遷移前的源庫(kù)調(diào)研與風(fēng)險(xiǎn)清單很多項(xiàng)目死在第一步?jīng)]搞清楚源庫(kù)里到底有什么就開始動(dòng)手。我建議遷移前至少花一到兩周做一次徹底的源庫(kù)體檢輸出一份風(fēng)險(xiǎn)清單。我們當(dāng)時(shí)重點(diǎn)排查了以下幾類東西對(duì)象清單表、索引、約束、序列、視圖、物化視圖、存儲(chǔ)過(guò)程、函數(shù)、包、觸發(fā)器、同義詞、DB Link。每一項(xiàng)都要統(tǒng)計(jì)數(shù)量并評(píng)估改造工作量。千萬(wàn)別小看同義詞和DB Link業(yè)務(wù)SQL里如果大量使用遷移后全都要改。SQL使用情況抓取AWR報(bào)告和近一段時(shí)間的慢SQL重點(diǎn)看用了哪些Oracle獨(dú)有語(yǔ)法比如CONNECT BY層次查詢、()外連接、ROWNUM分頁(yè)、NVL、SYSDATE、MERGE、LISTAGG等。這些是SQL改造的重災(zāi)區(qū)。數(shù)據(jù)類型分布NUMBER、VARCHAR2、DATE、CLOB、BLOB、LONG、RAW、ROWID等類型的字段數(shù)量和最大長(zhǎng)度。尤其是CLOB和LONG遷移后要用TEXT替代但業(yè)務(wù)代碼里對(duì)CLOB的操作方式可能需要調(diào)整。存儲(chǔ)過(guò)程復(fù)雜度統(tǒng)計(jì)有多少存儲(chǔ)過(guò)程、總代碼行數(shù)、用到了哪些Oracle獨(dú)有包DBMS_SQL、DBMS_JOB、DBMS_ALERT、UTL_FILE等。這部分改造成本往往被嚴(yán)重低估。我們項(xiàng)目里有1300多個(gè)存儲(chǔ)過(guò)程最終花了整個(gè)項(xiàng)目40%的工時(shí)在改寫上面。依賴關(guān)系應(yīng)用與數(shù)據(jù)庫(kù)的交互方式包括連接方式JDBC、OCI、ODBC、事務(wù)隔離級(jí)別、會(huì)話級(jí)參數(shù)設(shè)置、臨時(shí)表使用情況。應(yīng)用層的連接串、驅(qū)動(dòng)、SQL寫法都要納入改造范圍。體檢報(bào)告出來(lái)后要讓業(yè)務(wù)方、DBA、開發(fā)三方一起評(píng)審明確哪些東西可以原樣遷哪些必須改造遷哪些是僵尸對(duì)象可以果斷拋棄。這一步做扎實(shí)了后面所有的方案才有依據(jù)。2. 低業(yè)務(wù)中斷的核心打法全量增量雙軌遷移2.1 遷移工具選型與取舍工具選型沒(méi)有標(biāo)準(zhǔn)答案核心看你的源庫(kù)版本、目標(biāo)庫(kù)版本、數(shù)據(jù)總量、同步實(shí)時(shí)性要求和團(tuán)隊(duì)熟悉度。我們當(dāng)時(shí)對(duì)比了三條路線Ora2Pg開源免費(fèi)Perl寫的能把表結(jié)構(gòu)、數(shù)據(jù)、序列、視圖、存儲(chǔ)過(guò)程整體轉(zhuǎn)換支持直接連Oracle導(dǎo)出再導(dǎo)入PostgreSQL。優(yōu)點(diǎn)是自動(dòng)化程度高缺點(diǎn)是大表導(dǎo)出用COPY方式對(duì)源庫(kù)有一定壓力而且存儲(chǔ)過(guò)程轉(zhuǎn)換質(zhì)量一般只能轉(zhuǎn)個(gè)骨架復(fù)雜邏輯基本還得人工改。pgloader同樣開源從Oracle讀數(shù)據(jù)到PostgreSQL非常快用的也是COPY協(xié)議支持并行加載。但DDL遷移能力弱主要用來(lái)搬數(shù)據(jù)。自研抽取同步腳本用Python寫一套基于JDBC的全量導(dǎo)出和增量抽取腳本配合調(diào)度平臺(tái)實(shí)現(xiàn)斷點(diǎn)續(xù)傳和數(shù)據(jù)校驗(yàn)。靈活性最高但開發(fā)量不小。我們最終采用了Ora2Pg轉(zhuǎn)結(jié)構(gòu)pgloader搬全量自研增量同步腳本Debezium做變更捕獲的組合方案。結(jié)構(gòu)轉(zhuǎn)換用Ora2Pg生成初始DDL再人工修全量數(shù)據(jù)用pgloader并行加載增量部分考慮到源庫(kù)是Oracle 11gDebezium的Oracle插件要裝額外組件最后是自己寫了一套基于日志的增量抽取程序。這里給個(gè)建議如果是Oracle 12c及以上Debezium是較好的增量同步方案社區(qū)活躍且支持?jǐn)帱c(diǎn)續(xù)傳11g就得掂量掂量了。2.2 全量遷移的并行與限速策略全量數(shù)據(jù)遷移最容易翻車的地方是導(dǎo)太猛把源庫(kù)IO打滿業(yè)務(wù)直接告警導(dǎo)太慢又趕不上停機(jī)窗口。所以并行度和限速必須提前設(shè)計(jì)。我們按表維度拆分任務(wù)用了一個(gè)簡(jiǎn)單的規(guī)則小于100萬(wàn)行的表單表單任務(wù)順序執(zhí)行100萬(wàn)到1000萬(wàn)行的表按主鍵范圍拆成4到8個(gè)分片并行超過(guò)1000萬(wàn)行的表按主鍵范圍拆成16到32個(gè)分片每個(gè)分片獨(dú)立連接、獨(dú)立事務(wù)。同時(shí)設(shè)置了全局并發(fā)上限保證源庫(kù)的活躍會(huì)話數(shù)不超過(guò)20。pgloader本身有個(gè)batch concurrency參數(shù)可以控制并行度但實(shí)測(cè)下來(lái)對(duì)Oracle源庫(kù)支持一般所以我更推薦自己寫一個(gè)簡(jiǎn)單的調(diào)度器用一張任務(wù)表記錄每個(gè)分片的狀態(tài)調(diào)度線程從里面撈待執(zhí)行的任務(wù)分發(fā)給工作線程工作線程處理完更新狀態(tài)出錯(cuò)自動(dòng)重試三次還是失敗就進(jìn)入人工處理隊(duì)列。這里有個(gè)非常關(guān)鍵的細(xì)節(jié)全量遷移必須在增量同步啟動(dòng)之前完成并且要記錄全量導(dǎo)出的數(shù)據(jù)快照時(shí)間點(diǎn)。我們的做法是全量開始前先在源庫(kù)開啟歸檔日志和補(bǔ)充日志然后啟動(dòng)增量抽取程序?qū)崟r(shí)解析日志寫入Kafka全量導(dǎo)出的每張表在導(dǎo)出前記錄一個(gè)SCNSystem Change Number快照導(dǎo)出完成后用這個(gè)SCN到增量同步里做數(shù)據(jù)拼接。這樣才能保證全量導(dǎo)出期間產(chǎn)生的增量變更不會(huì)丟。2.3 增量同步與業(yè)務(wù)雙寫設(shè)計(jì)增量同步的目標(biāo)是讓PostgreSQL和Oracle的數(shù)據(jù)差距保持在分鐘級(jí)以內(nèi)這樣停機(jī)切換時(shí)只需要把最后幾分鐘的增量追上就能關(guān)窗口。我們的增量鏈路是Oracle歸檔日志 → LogMiner解析 → Kafka → 自研消費(fèi)者程序 → 應(yīng)用到PostgreSQL。為什么用LogMiner而不是直接用OGG主要是因?yàn)镺GG授權(quán)成本和部署復(fù)雜度在當(dāng)時(shí)的環(huán)境下不劃算。LogMiner有幾個(gè)坑要提前踩必須提前開啟最小補(bǔ)充日志Supplemental Log否則LogMiner拿不到更新前的字段值UPDATE語(yǔ)句沒(méi)法正確重放。LogMiner解析出來(lái)的DDL語(yǔ)句不能直接拿到PostgreSQL執(zhí)行需要做語(yǔ)法轉(zhuǎn)換比如ALTER TABLE xxx ADD (col NUMBER)要改成ALTER TABLE xxx ADD COLUMN col NUMERIC。大事務(wù)解析會(huì)產(chǎn)生大量Redo記錄LogMiner內(nèi)存可能扛不住要設(shè)置合理的UTL_FILE落地目錄分段讀取。增量應(yīng)用端的沖突處理也需要設(shè)計(jì)。雙軌運(yùn)行期間如果應(yīng)用還在繼續(xù)寫Oracle我們的增量程序會(huì)把這些變更實(shí)時(shí)投遞到PostgreSQL兩邊數(shù)據(jù)保持一致。但如果某個(gè)時(shí)刻增量應(yīng)用出現(xiàn)問(wèn)題、落后太多或者業(yè)務(wù)在驗(yàn)證階段直接在PostgreSQL上面做了修改就會(huì)產(chǎn)生回環(huán)沖突。我們的策略是切換之前所有寫操作只走OraclePostgreSQL只接受增量投遞的歷史數(shù)據(jù)切換之后應(yīng)用層切到PostgreSQLOracle那邊不再接收業(yè)務(wù)寫流量。這套單向?qū)?、雙向讀的策略在切換前把沖突可能性降到最低。2.4 停機(jī)窗口內(nèi)的切換步驟清單就算增量同步再穩(wěn)定切換當(dāng)天也必須有SOP每一步到什么狀態(tài)、由誰(shuí)確認(rèn)都要提前定義好。我們的切換清單大概是這樣的業(yè)務(wù)側(cè)發(fā)布維護(hù)通知應(yīng)用層開啟只讀模式或直接停止寫流量等待增量同步追上確認(rèn)Oracle和PostgreSQL的數(shù)據(jù)延遲為0停止Oracle側(cè)的寫操作記錄停止時(shí)間點(diǎn)增量程序消費(fèi)完Kafka里所有消息應(yīng)用完最后一筆變更執(zhí)行數(shù)據(jù)校驗(yàn)?zāi)_本下一節(jié)細(xì)說(shuō)確認(rèn)兩邊數(shù)據(jù)一致關(guān)閉增量同步程序防止PostgreSQL繼續(xù)接收Oracle的變更應(yīng)用層修改數(shù)據(jù)庫(kù)連接配置切換到PostgreSQL執(zhí)行一批關(guān)鍵的冒煙測(cè)試SQL確認(rèn)核心業(yè)務(wù)功能正常觀察5到10分鐘確認(rèn)無(wú)異常后對(duì)外宣布切換完成。整個(gè)切換過(guò)程耗時(shí)大概1.5小時(shí)算上全量數(shù)據(jù)校驗(yàn)、應(yīng)用重連、緩存預(yù)熱最終停機(jī)窗口控制在3小時(shí)左右滿足4小時(shí)的要求。這里要注意第5步的數(shù)據(jù)校驗(yàn)不能等全部跑完才判斷我們?cè)谇袚Q前就做過(guò)多次全量預(yù)校驗(yàn)在增量持續(xù)運(yùn)行的情況下切換當(dāng)天只做增量部分的差異性校驗(yàn)和隨機(jī)抽表比對(duì)。3. 數(shù)據(jù)校驗(yàn)方案讓業(yè)務(wù)信服的三個(gè)層次3.1 第一層行數(shù)與總量校驗(yàn)最基礎(chǔ)的校驗(yàn)是行數(shù)比對(duì)。對(duì)每張表執(zhí)行SELECT COUNT(*)兩邊對(duì)不上就說(shuō)明有問(wèn)題。但COUNT在大表上很慢動(dòng)輒幾分鐘甚至更久。我們當(dāng)時(shí)是用pg_comparison這類工具直接對(duì)比但更通用的做法是按主鍵范圍分段統(tǒng)計(jì)行數(shù)每段一個(gè)任務(wù)并行跑最后匯總。如果源表和目標(biāo)表都沒(méi)有主鍵Oracle里確實(shí)存在這種爛表那校驗(yàn)就只能退而求其次按所有字段做GROUP BY后再COUNT或者用COUNT(*)配合SUM(HASH)來(lái)粗查。這類表數(shù)量不多還好如果很多強(qiáng)烈建議在建表階段就幫它們補(bǔ)上主鍵或唯一約束否則后續(xù)的數(shù)據(jù)一致性驗(yàn)證基本沒(méi)法做。行數(shù)校驗(yàn)是必要條件但不是充分條件行數(shù)一樣不代表數(shù)據(jù)一樣所以還要做第二層。3.2 第二層字段級(jí)CRC校驗(yàn)與哈希比對(duì)第二層是對(duì)每一行的所有字段拼起來(lái)做哈希兩邊比對(duì)哈希值是否一致。具體做法是在源庫(kù)Oracle寫一段SQL把每行需要比對(duì)的字段用DBMS_CRYPTO.HASH或STANDARD_HASH算出一個(gè)哈希值SELECT id, STANDARD_HASH(col1 || | || col2 || | || col3, SHA256) AS row_hash FROM my_table;在目標(biāo)庫(kù)PostgreSQL用同樣的拼接規(guī)則算哈希SELECT id, encode(sha256(convert_to(col1 || | || col2 || | || col3, UTF8)), hex) AS row_hash FROM my_table;兩邊按主鍵關(guān)聯(lián)對(duì)比row_hash是否一致把所有不一致的主鍵ID撈出來(lái)交給業(yè)務(wù)確認(rèn)。這里有幾個(gè)坑必須注意拼接字符串里的分隔符不能和字段值本身沖突。我一般用兩個(gè)特殊字符比如||~|~||并提前檢查字段值里是否包含這些字符。字段值里的NULL要統(tǒng)一處理。Oracle里空字符串就是NULL而PostgreSQL里空字符串和NULL是不同的。我們統(tǒng)一約定NULL或空串都替換成一個(gè)特殊標(biāo)記比如NULL。浮點(diǎn)類型BINARY_DOUBLE、NUMBER帶小數(shù)在Oracle和PostgreSQL二進(jìn)制存儲(chǔ)上有差異直接拼接字符串做哈希可能出現(xiàn)看起來(lái)一樣、哈希不一樣的誤報(bào)。處理方法是對(duì)數(shù)值類型先做格式化統(tǒng)一保留到小數(shù)點(diǎn)后6位或更多確保兩邊字符串一致。大數(shù)據(jù)量下表字段特別多時(shí)哈希計(jì)算會(huì)非常消耗源庫(kù)CPU。我們當(dāng)時(shí)在源庫(kù)用只讀快照或者備庫(kù)上跑哈希校驗(yàn)避免影響生產(chǎn)。3.3 第三層業(yè)務(wù)規(guī)則抽樣比對(duì)哈希校驗(yàn)?zāi)鼙WC技術(shù)層面的數(shù)據(jù)一致但業(yè)務(wù)方更關(guān)心他們用起來(lái)對(duì)不對(duì)。所以我們額外設(shè)計(jì)了一套業(yè)務(wù)規(guī)則的抽樣比對(duì)從核心業(yè)務(wù)表里隨機(jī)抽取若干個(gè)ID把該ID關(guān)聯(lián)的訂單、明細(xì)、流水全查出來(lái)業(yè)務(wù)方人工核對(duì)把一批統(tǒng)計(jì)報(bào)表SQL分別在Oracle和PostgreSQL上跑一遍比對(duì)聚合結(jié)果是否一致把幾個(gè)典型的復(fù)雜查詢多表關(guān)聯(lián)、子查詢、窗口函數(shù)在新庫(kù)上執(zhí)行業(yè)務(wù)方確認(rèn)執(zhí)行結(jié)果和口徑符合預(yù)期。這個(gè)環(huán)節(jié)的意義不止于查數(shù)據(jù)還在于讓業(yè)務(wù)方建立對(duì)遷移結(jié)果的信任。技術(shù)團(tuán)隊(duì)說(shuō)一百句校驗(yàn)過(guò)了不如業(yè)務(wù)方自己抽幾個(gè)單子確認(rèn)來(lái)得踏實(shí)。3.4 校驗(yàn)工具與自動(dòng)化我們整個(gè)校驗(yàn)體系是跑在一個(gè)自研的校驗(yàn)平臺(tái)上的支持配置表清單、校驗(yàn)類型、閾值和通知渠道。技術(shù)上不復(fù)雜核心就是一個(gè)任務(wù)調(diào)度器加一堆校驗(yàn)?zāi)_本。不過(guò)如果你沒(méi)有自研條件有幾個(gè)現(xiàn)成工具可以參考pg_comparison專門做PostgreSQL與PostgreSQL/Oracle等多庫(kù)數(shù)據(jù)對(duì)比支持行數(shù)、全量、抽樣對(duì)比能輸出差異報(bào)告。DataGrip/DBeaver的數(shù)據(jù)對(duì)比功能適合小表、交互式核對(duì)不適合大批量自動(dòng)化。xtc校驗(yàn)工具一些開源實(shí)現(xiàn)里有基于CRC或MD5的文件級(jí)校驗(yàn)?zāi)芰Φ苯佑迷跀?shù)據(jù)庫(kù)遷移上還是得改造。我的建議是工具只是輔助校驗(yàn)方案和口徑才是核心。先把口徑和字段映射規(guī)則定義清楚工具只是幫你把規(guī)則跑起來(lái)。4. 可回退機(jī)制給業(yè)務(wù)一顆定心丸4.1 回退方案設(shè)計(jì)的兩種路線回退最理想的方案是雙活也就是切換后Oracle和PostgreSQL都保持可寫應(yīng)用層按比例把流量分?jǐn)偟絻蛇吥骋粋?cè)出問(wèn)題可以隨時(shí)把流量全部切到另一側(cè)。但雙活對(duì)數(shù)據(jù)一致性的要求極高寫入沖突處理的復(fù)雜度也很大普通項(xiàng)目很難真正做到。我們實(shí)際采用的是切換后保留源庫(kù)只讀反向同步增量的半雙活方案。具體來(lái)說(shuō)切換時(shí)Oracle側(cè)停止業(yè)務(wù)寫入但數(shù)據(jù)庫(kù)實(shí)例不關(guān)閉歸檔日志繼續(xù)保留切換后增量同步程序反向工作監(jiān)聽PostgreSQL的變更用PostgreSQL的邏輯復(fù)制功能把變更同步回Oracle如果業(yè)務(wù)驗(yàn)證期間發(fā)現(xiàn)重大問(wèn)題需要回退我們先把PostgreSQL寫入停止等最后一批變更同步到Oracle然后應(yīng)用連接切回Oracle就能在較短時(shí)間內(nèi)恢復(fù)服務(wù)。這個(gè)方案的關(guān)鍵在于反向同步的可靠性和時(shí)延。PostgreSQL的邏輯復(fù)制Logical Replication機(jī)制比較成熟但把邏輯復(fù)制的變更重放到Oracle端還是得靠自研程序或中間件。我們當(dāng)時(shí)是寫了一個(gè)消費(fèi)者從PostgreSQL的WAL里解析出變更再合成SQL語(yǔ)句應(yīng)用到Oracle。這里有個(gè)現(xiàn)實(shí)問(wèn)題PostgreSQL邏輯復(fù)制默認(rèn)只適合PostgreSQL到PostgreSQL跨庫(kù)重放得自己處理類型映射和SQL方言差異工作量不小。4.2 回退窗口與觀察期設(shè)計(jì)回退不是無(wú)限期的業(yè)務(wù)方也不能想什么時(shí)候退就什么時(shí)候退。我們?cè)陧?xiàng)目計(jì)劃里明確了一個(gè)回退觀察期切換后一個(gè)月內(nèi)業(yè)務(wù)如果發(fā)現(xiàn)重大數(shù)據(jù)或功能問(wèn)題啟動(dòng)回退流程超過(guò)一個(gè)月認(rèn)為遷移已經(jīng)穩(wěn)定不再支持自動(dòng)回退Oracle源庫(kù)進(jìn)入只讀歸檔狀態(tài)。這個(gè)觀察期不是隨便定的是根據(jù)業(yè)務(wù)體量和風(fēng)險(xiǎn)容忍度協(xié)商出來(lái)的。觀察期越長(zhǎng)反向同步的維護(hù)成本和資源成本越高太短業(yè)務(wù)不放心。我見(jiàn)過(guò)有些項(xiàng)目觀察期只有一周結(jié)果第四天暴雷回退的時(shí)候反同步數(shù)據(jù)量太大差點(diǎn)沒(méi)退干凈。一般來(lái)說(shuō)業(yè)務(wù)量大的核心系統(tǒng)觀察期建議不低于兩周最好是一個(gè)月非核心系統(tǒng)可以適當(dāng)縮短。4.3 回退演練不能等到出事才練回退方案寫了幾頁(yè)紙但真正出事的時(shí)候能不能按流程執(zhí)行只有練過(guò)才知道。我們?cè)谡角袚Q之前做了兩次完整的回退演練每次都能暴露問(wèn)題。第一次演練暴露出一個(gè)經(jīng)典問(wèn)題切換后業(yè)務(wù)在PostgreSQL上生成了大量新數(shù)據(jù)回退時(shí)要把這些數(shù)據(jù)反向同步回Oracle結(jié)果因?yàn)楸斫Y(jié)構(gòu)里有個(gè)字段類型映射不一致導(dǎo)致批量INSERT失敗。這類問(wèn)題如果不演練真到回退的時(shí)候就是災(zāi)難。第二次演練我們提前修正了映射又測(cè)了流量切換的腳本確認(rèn)應(yīng)用重啟后能讀到Oracle的最新數(shù)據(jù)整個(gè)回退耗時(shí)控制在40分鐘內(nèi)。所以我的建議是回退演練必須包含數(shù)據(jù)層和應(yīng)用層兩層驗(yàn)證。數(shù)據(jù)層驗(yàn)證反向同步是否完整、一致應(yīng)用層驗(yàn)證連接切換、緩存清理、配置修改是否順利。只測(cè)數(shù)據(jù)不測(cè)應(yīng)用回退后業(yè)務(wù)還是起不來(lái)。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄整個(gè)遷移過(guò)程中我們踩過(guò)的坑和排查過(guò)的問(wèn)題不少挑幾個(gè)有代表性的寫在這里供大家參考。5.1 Oracle的CONNECT BY在PostgreSQL里怎么改Oracle的層次查詢CONNECT BY PRIOR是遷移的高頻改造點(diǎn)。PostgreSQL沒(méi)有直接對(duì)應(yīng)的語(yǔ)法要用遞歸CTEWITH RECURSIVE改寫。比如Oracle里SELECT emp_id, mgr_id, LEVEL FROM emp START WITH mgr_id IS NULL CONNECT BY PRIOR emp_id mgr_id;改成PostgreSQLWITH RECURSIVE emp_tree AS ( SELECT emp_id, mgr_id, 1 AS level FROM emp WHERE mgr_id IS NULL UNION ALL SELECT e.emp_id, e.mgr_id, t.level 1 FROM emp e JOIN emp_tree t ON e.mgr_id t.emp_id ) SELECT emp_id, mgr_id, level FROM emp_tree;這里注意遞歸CTE的性能調(diào)優(yōu)空間比較大如果樹的深度和寬度都很大比如超過(guò)10層、幾十萬(wàn)節(jié)點(diǎn)建議提前用真實(shí)數(shù)據(jù)量壓測(cè)必要時(shí)加search_depth之類的優(yōu)化手段。5.2ROWNUM和ROW_NUMBER()的等價(jià)改寫Oracle里用ROWNUM做分頁(yè)很常見(jiàn)SELECT * FROM ( SELECT t.*, ROWNUM rn FROM big_table t ) WHERE rn BETWEEN 101 AND 200;PostgreSQL里直接用LIMIT/OFFSETSELECT * FROM big_table ORDER BY id LIMIT 100 OFFSET 100;這里有個(gè)容易踩的隱形坑Oracle的ROWNUM是在排序之前生成的所以如果原SQL里寫了ORDER BY再套R(shí)OWNUM語(yǔ)義上是先取前N行再排序和PostgreSQL的LIMIT語(yǔ)義先排序再取前N行不一樣。改寫時(shí)必須先確認(rèn)原SQL的業(yè)務(wù)意圖不然數(shù)據(jù)就錯(cuò)了。5.3 CLOB字段遷移到TEXT后的性能問(wèn)題Oracle的CLOB在PostgreSQL里一般對(duì)應(yīng)TEXT類型??雌饋?lái)簡(jiǎn)單但實(shí)測(cè)發(fā)現(xiàn)一個(gè)現(xiàn)象某些業(yè)務(wù)對(duì)CLOB字段做頻繁的UPDATE和SELECT在Oracle里有專門的LOB段和空間管理性能還行到PostgreSQL的TEXT上如果寫入的文本很大幾十KB到幾MBTOAST機(jī)制會(huì)觸發(fā)壓縮和外部存儲(chǔ)性能會(huì)有波動(dòng)。我們的處理辦法把大文本字段單獨(dú)拆到一張擴(kuò)展表里和主表用外鍵關(guān)聯(lián)需要時(shí)才JOIN出來(lái)。如果業(yè)務(wù)確實(shí)要頻繁讀寫大文本還可以把external存儲(chǔ)打開避免每次查詢都加載整個(gè)大字段。5.4 空字符串與NULL的語(yǔ)義差異Oracle里和NULL是等價(jià)的SELECT NVL(, x) FROM dual返回x。PostgreSQL里不是NULL。這一條差異在數(shù)據(jù)遷移時(shí)特別容易產(chǎn)生臟數(shù)據(jù)。我們?cè)谛r?yàn)階段發(fā)現(xiàn)不少表的某些字段兩邊值看起來(lái)不一致查了半天才發(fā)現(xiàn)是源庫(kù)存在空字符串遷移時(shí)我們統(tǒng)一轉(zhuǎn)換成了NULL但業(yè)務(wù)代碼里有用判斷的邏輯導(dǎo)致行為變了。后來(lái)我們定了規(guī)范Oracle到PostgreSQL遷移時(shí)空字符串按照Oracle語(yǔ)義統(tǒng)一轉(zhuǎn)NULL同時(shí)業(yè)務(wù)代碼里所有 的判斷改為IS NULL。這個(gè)規(guī)范在改造階段就要同步給開發(fā)團(tuán)隊(duì)。5.5 分區(qū)表遷移的正確姿勢(shì)Oracle的分區(qū)表遷移到PostgreSQL有幾種方案用PostgreSQL原生分區(qū)表基于聲明式分區(qū)或者用繼承分區(qū)或者用pg_partman這類擴(kuò)展。我們的經(jīng)驗(yàn)如果分區(qū)數(shù)量不大幾十到幾百個(gè)用原生聲明式分區(qū)就夠了如果分區(qū)數(shù)量上千原生分區(qū)的元數(shù)據(jù)管理會(huì)有壓力可以考慮用pg_partman管理自動(dòng)建分區(qū)。遷移時(shí)的一個(gè)常見(jiàn)坑Oracle分區(qū)表的全局索引和分區(qū)索引在PostgreSQL里沒(méi)有完全對(duì)應(yīng)的概念需要根據(jù)業(yè)務(wù)SQL的過(guò)濾條件重新設(shè)計(jì)索引策略。不要照搬Oracle的索引結(jié)構(gòu)否則查詢性能會(huì)很差。5.6 序列遷移的斷檔問(wèn)題Oracle的SEQUENCE不保證連續(xù)PostgreSQL的SEQUENCE也一樣。但兩邊序列的CACHE和INCREMENT配置不同步可能導(dǎo)致ID沖突或斷檔。我們遷移時(shí)把Oracle序列的LAST_NUMBER和INCREMENT_BY記錄到PostgreSQL序列的同名參數(shù)上還要考慮增量同步階段兩邊應(yīng)用各拿各的序列號(hào)等切換后PostgreSQL序列起始值必須比Oracle當(dāng)前值大很多否則切過(guò)來(lái)后新生成的ID可能和同步回來(lái)的歷史數(shù)據(jù)撞車。這個(gè)問(wèn)題真的很隱蔽但如果爆了就是主鍵沖突直接拖垮切換。建議切換前用腳本檢查所有序列的當(dāng)前值確保PostgreSQL側(cè)的值遠(yuǎn)高于Oracle側(cè)。5.7 常見(jiàn)問(wèn)題速查表問(wèn)題現(xiàn)象常見(jiàn)原因排查/處理辦法校驗(yàn)時(shí)哈希不一致字段拼接順序不一致、NULL/空串沒(méi)統(tǒng)一、浮點(diǎn)精度差異統(tǒng)一拼接規(guī)則字段值做標(biāo)準(zhǔn)化增量同步延遲持續(xù)增大Kafka消費(fèi)能力不足、目標(biāo)庫(kù)應(yīng)用能力差、大事務(wù)卡住增加消費(fèi)者并行度排查大事務(wù)必要時(shí)手動(dòng)補(bǔ)數(shù)切換后應(yīng)用報(bào)驅(qū)動(dòng)錯(cuò)誤JDBC連接串或驅(qū)動(dòng)版本不兼容Postgres JDBC驅(qū)動(dòng)與Oracle JDBC驅(qū)動(dòng)用法不同檢查URL參數(shù)、schema設(shè)置存儲(chǔ)過(guò)程執(zhí)行失敗PL/SQL和PL/pgSQL語(yǔ)法差異人工改寫重點(diǎn)處理游標(biāo)、動(dòng)態(tài)SQL、異常處理查詢性能嚴(yán)重下降統(tǒng)計(jì)信息未收集、索引缺失、優(yōu)化器差異切換后立即執(zhí)行ANALYZE根據(jù)執(zhí)行計(jì)劃補(bǔ)索引回退時(shí)反向同步失敗類型映射不一致、主鍵沖突、循環(huán)依賴提前演練建立主鍵沖突處理規(guī)則類型映射表要用同一份我自己走完這個(gè)項(xiàng)目后最深的體會(huì)是數(shù)據(jù)庫(kù)遷移拼的不是單點(diǎn)技術(shù)有多強(qiáng)而是流程管理和風(fēng)險(xiǎn)把控。這三個(gè)目標(biāo)——低中斷、可校驗(yàn)、可回退——每一個(gè)都對(duì)應(yīng)著一整套方案和工具鏈而它們之間又互相影響。建議準(zhǔn)備動(dòng)手的朋友先把你現(xiàn)有的停機(jī)窗口、數(shù)據(jù)量、業(yè)務(wù)容忍度都擺出來(lái)用這些邊界條件去倒推每一步該怎么做。方案設(shè)計(jì)得越細(xì)執(zhí)行的時(shí)候才越穩(wěn)。再補(bǔ)充一點(diǎn)遷移過(guò)程中所有腳本和命令一定要先在小環(huán)境里完整演練一遍帶上真實(shí)數(shù)據(jù)量的1%到5%壓測(cè)一下性能別等到正式切換才發(fā)現(xiàn)導(dǎo)出速度、校驗(yàn)耗時(shí)、增量延遲這些數(shù)字完全不可控。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热国产| 天天肏屄夜夜爽| 啪啪黄页网| 日本三级色| 五月丁香啪| 丁香五月激情综合久久| www.yw尤物| 五月婷婷激情久久| tingtingjiqingwuyue| 夜色.cnm| 五月色丁香婷婷综合| 97 A I色色| WWW夜夜| 婷婷精品视频| 99这里只有精品| renrencaoni| 在线只有精品| 天天干天天干天天干天天干天天干天天| 97操男人的天堂| 99这里有精品视频| 欧美123区免| 日韩精品二三区| 极品少妇婷婷五月| 久9久9久9久9久9久9| 天堂五月婷婷| 嫩草综合网| 182TV大香蕉| 激情内射人妻1区2区3区| 狠狠干综合网| 九九热只有精品| 亚洲VA欧美VA| 五月婷婷激情四季| 人妻中文在线| 五月丁香 啪啪| 2017狠狠干| 超级碰碰碰久久网站| 99精品成人无码A片观看金桔| 99久热这里只有精品| 婷婷久久色| 久久久.COM| 婷婷五月天在婷| 99在线精品视频| 免费成人中文字幕| 欧美人人草草| 97色色综合| 五月丁香婷婷激情爱爱| 国产精品扒开腿做爽爽爽A片唱戏| 婷婷久久五月| 综合五月婷婷| 人人摸人人| 无码日本精品XXXXXXXXX| 婷婷综合久久| 丰满少妇猛烈A片免费看观看| 久久精品人妻| 天天干天天操天天射| 欧美色婷婷| 免费在线观看欧美激情xx小视频| 在线综合网| 久久欧洲综合网| 九九热在线观看视频网站| 激情五月婷婷在线区| 狠狠五月激情丁香六月| 热这里只有精| 久热只有这里精品| 天天躁日日躁狠狠躁日日躁2022年5月9日| 99久久久免费| 亭亭五月丁香五月天激情| 欧美精产国品一二三区| 91人人人人人人人| 久久图色4| 久草婷婷| 思思99精品视频在线观看| 任你擦免费视频| 九九RE视频在线精品| 五月丁香婷婷基地| 五月婷婷亞洲中文| 国产精品成人AV在线| 亚洲日日操| 国产精品久久久久久久久久| 国产亚洲成人综合| 久久久网站| 丁香五月天婷婷中文| 婷婷五月 丁香六月| 色综合伊人网| 婷婷伊人网| 色狠狠色噜噜AV天堂五区| 综合九九日本| 色色五月婷婷| 思思热精品在线| 91九色国产熟女| 丰满少妇乱A片无码| 综合视频五月| 日本激情综合| 亚洲精品视频在线播放| 不卡成人免费| 亚洲精| 激情丁香图片| 99精品偷自拍| 丁香婷婷综合五月天| 婷婷五月丁香伊人| 99ri在线视频| 天天色天天干天天插| chaopengdaxiangjiao| 婷婷综合另类小说| 日韩aaaaa| 狠狠色噜噜狠狠色噜噜噜999| 色天天综合| 99久久玖玖| 五月综合激情啪啪啪啪啪| 九九色天堂| 婷婷色播六月无码| 久99视频在线观看| 中文字幕按摩做爰| 五月丁香激情四射综合| 大婷婷色呦呦噜噜色呦呦噜噜| 天天干天天干天天干| 久久草大香蕉| 国产成人+综合亚洲+天堂| 婷婷久久精品| 日本色视| 国产成人精品123区免费视频| 人妻性操逼中文字幕 国产| 99色在线观看视频| 激情五月婷婷开心网| 影音先锋一区二区资源站| 黄色网址五月婷婷| 思思精品久久艹| 人人97碰| 久操大香蕉| 激情小说视频图片网| 丁香五月婷婷社区| 婷婷五月天狠狠| 国产精产国品一二三在观看| 五月天婷婷网站| 午夜色婷婷| 婷婷五月丁香人妻无码高清| 激情婷婷五月天在线观看| 玩熟女五十AV一二三区| www.激情在线| 国产精产国品一二三在观看| 第四色婷婷色五月| 日本色色色色色色色色一色二色| 日韩亚洲视频| 日日夜夜干| 最新日本A片| 日亚二欧美| xxxx五月| 国产欧美精品AAAAAA片| 狠狠爱婷婷丁香| 色五月婷婷综合在线| 五月综合丁香婷婷| 在线观看熟女少妇| 婷婷五月丁香综合瑟瑟| 激情五月天在线视频| 婷婷五月综合在线| 丁香五月婷婷AV| 亚洲成人一区| 婷婷不干网| 天天日日人| 久热久| 99热精品在线| 婷婷五月综合色中文字幕| 色99在线| 五月开心激情网| 在线观看av网站| 99热在线观看免费精品| 亚洲色域网| 丁香五月www| 久久视频婷婷| 亚洲看av的网站| 大香蕉婷婷| 久久五月天综合| 亚洲色色色色色色色色色| 国产午夜成人免费看片无遮挡| 丁香五月婷婷啪啪| 97婷婷丁香| 欧美色综合天天久久综合精品 | 久久草中文日韩欧美| 色五月丁香总合网| 成人 在线观看国产| 久久六月天| CAOBIBI| 玖玖综合色| 丁香六月狠狠| 婷婷五月综合在线| 西西4r午夜剧场| 五月丁香六月激情综合| 思思热国产在线| 97超级啪啪在线观看| 97自拍视频在线| 综合五月激情| 99热国产这里只有| 中日韩狠狠色| 丁香五月很很肏| 97精品欧美91久久久久久久| 激情五月视频| 综合久久人妻| 98色花堂98t.R| 大香蕉视频99| 男女啪啪做爰高潮无遮挡| 五月婷在线观看| 五月婷婷六月丁香激情| 婷婷黄色五月| 狠狠狠狠青草| 战争与艾拉电影免费观看| 人妻在线中文字幕久久| 亚洲第一色色色色| 亚洲视频在线观看99| 五月色婷婷在线观看| 欧美日韩色色| 美女xx不卡| 亚洲综合99| 欧美内射AA| 久久婷婷五月天激情四射| 色色亚洲视频| 丁香在线视频| 日韩在线视频网站| 第四色婷婷最爱| 色五月xxx| 99热大香蕉| 狠狠干综合网| 久久综合干| 九九色播五月丁香| 国产xxxxx在线观看| 五月丁香欧美综合| 亚洲九区| 91精品久久久久久77777| 99在线观看视频免费| AV五月丁香| 97婷婷丁香五月天激情图片| 狠狠人人婷婷| 丁香五月综合在线播放| 亚洲婷婷久久综合| 色欲天天综合网| 少妇高潮呻吟A片免费看软件| 九九这里都是精品| AV在线不卡播放| 97超碰在线观看免费| 九热视频精品| 色欲日日躁| a69在线视频| 婷婷中文字幕版| 色综合色综合色综合| 婷婷五月天成人小说| 精品国产va久久久| 久久婷婷五月综合色丁香| 色婷婷丁香五月| 五月婷视频| 国产性爱在线| 久久精品综合色| 亚洲、欧美、国产另类笫二区| 九九香蕉网| 免費亭亭成人| 欧美日韩AAA| 综合激情站| www.99热这里只有精品| 亚洲精品亚洲人成人网| 丁香五月婷婷影视先锋| 欧美成人日韩| 立川无码av| 好好日激情五月天| 都市激情五月婷婷亚洲| 99热精品9| 五月狠狠| 伊人久久丁香五月91| 草榴成人影片| 色五月琪琪| 五月开心深深爱激情综合| 色婷婷成人五月| 激情五月丁香五月| 国产欧美日韩综合精品一区二区| 婷婷五月深情丁香深爱日韩| 五月天成人小说| 中文av网| 久热婷婷在线视频| 五月丁香六月婷婷综合在线| 另类天堂| 夫妻超碰在线| 欧美综合激情五月天| 色五月婷婷五月天| 亚洲AV永久无码影院黑人| 91狠狠色| 人人做人人看人人摸| 色色色热热热| 亚洲国产精品VA在线看黑人| 婷婷五月电影院| www.狠狠艹| 久久色情| 日韩一级片| 国产精品久久久海的味道| 91狠狠综合久久久| 伊人狠狠丁香婷婷综合尤物| 狠狠五月天激情| 极品人妻VIDEOSSS人妻| 97碰免费视频在线| 97碰人人操| 99热在线观看| 欧美又粗又大一区二区在线观看| 91艹人| 天天干天天射色综合| 乱精品一区字幕二区| 91男同| 激情综合网五月婷婷| 成人午夜天| AV五月丁香| 影视av久久久噜噜噜噜噜三级| 久9久视频精品| 丁香六月啪啪| AAA久久| 久久久久婷婷| www.99视频| 人人舔人人色人人高潮| 丰满女老板BD高清A片| 密视AV综合在线| 狠狠干综合网| 色色网91| 级情九色| 丁香五月AV在线| 九九9久九9国产视频| 少妇激情五月婷婷| 成人亚洲精品久久久久| 日日天天干| 九九婷婷热| 性爱动图国产麻豆一区二区三区| 国产偷人爽久久久久久老妇APP| 青青草搞屄视频网站| 日本色婷婷| 婷婷的激情五月| 人人操人人干AV| 97碰碰视频在线观看| 狠狠干综合| 五月开心久久| 精品五月天| 97黑人精品区| 婷婷丁香五月亚洲| 成人色色视频| 99热热热国产超碰| 能看的AV| 99热99干| 久9热在线视频| 国产真人做爰视频免费| 狠狠操狠狠插| 丁香五月花| www天天色天天射| www.99热日韩.com| 天天综合区| 婷婷五月影院| 天天色天天色天天色天天色天天色| 婷婷激情五月天激情小说| 五月天激情影院| 密臀久久| 五月丁香激情综合啪啪| 婷婷激情四射| 超碰色综合| 色噜噜,噜噜色| 激情无码网| 天天檫天天爽| 26uuu国产色| 久久久久久婷| 婷婷午夜| 五月丁香六月花| 91人人操人人看| 久热9| 女高怪谈在线观看| 很很操很很操| 婷婷激情五月天网站| 日日操夜夜操中国无码| 97操操操| aa久久| 99爱在线| 天天情天天狠天天透| 日韩AV在线免费观看| 激情五月天 婷婷| 天天爽日日搞| 五月婷婷综合热| 九九色色网| 强伦轩人妻一区二区电影| 99热久只有| 五月天婷婷影院| 天堂久久精品| 亭亭色色五月天| 欧美色爱五月天| 丁香五月日本| 日在线V视频在线播放| 色综合网上班开心婷婷久久| 超色欲天天| 色欲色欲久久宗合网| 日本少妇裸体做爰高潮片| 色五月激情五月天| 另类国产综合| 九九机热| 色五月丁香婷婷综合| 久色视频首页| 五月大香蕉| 99这里有精品免费| 日日懆天天懆| 情情五月天色| 激情99| 日本久久超碰| 一级精品999WWW| 婷婷婷婷午夜| 超碰人人99| 大香蕉免费9| 成人在线视频网| 五月婷婷六月丁香激情深爱| 玖玖视频福利| 色五月五月丁香| 亚洲亚洲亚洲AAAAAA| 婷婷五月天亚洲激情戏精品| 日本色视| 五月伊人婷婷| 少妇性按摩无码中文A片| 99色婷婷视频| 九九九九操逼| 五月丁香888| 综合久久影院| 亚洲色碰| 深夜激情网| 婷婷激情五月综合丁香社| 五月丁香六月激情欧美综合| 97婷婷丁香| 丁香色六月婷婷| 91九色在线| 久久婷婷丁香花综合网| www九月婷婷| 另类图片天天影视在线观看| 五月丁香综合激情在线观看| 国模淫穴色图| 综合性爱网| 久久五月丁香| 大香蕉伊然在亚洲90| 9精品视频在线| 九九热这里有精品视频| 色五月综合婷婷| 天天做天天摸| 欧美日韩成人高清在线| 色综合77777| 婷婷玖玖五月天| 啪啪五月天啪啪| 久久久人妻门| 性做久久久久久久免费看 | 青青久久91| 久婷自拍视频| 九月性爱网| 婷婷五月天激情偷拍| 终合激情网| 狠狠色综合网| 97碰人人操| 五月丁香婷婷成人综合网| 夜夜爱伊人| 9久热精品在线视频| 2022久久婷婷| 激情婷婷五月天日本系列| 色yeye色综合| 91丨九色丨白浆秘| 久久久精品色色色| 一级AV片| 一區四區歐美日韓| 激情五月婷| 狠狠色九月| 色五月五月天| 九九在线视频| 五月丁香六月婷婷成人| 日本在线噜噜| 婷婷六月色| 大香蕉综合在线| 五月丁香激情在线| 天天日中文| 91九色国产熟女| 五月天五月天激情网| 久久99视频| 精品女人九九九| 日本高清综合网五月丁香| 国产乱子轮XXX农村| 天天综合网、天天综合色 | 99色视频| 久热re在线视频| 九九婷婷综合| 思思热这里只有精品视频666| 激情综合网之激情五月| 久久婷综合| 久久99热这里只有精品23| 久久五月天婷婷| 国产SUV精品一区二区6| 亚洲成人综合在线| 天天爽综合网| 成人在线观看精品| 五月丁香六月婷婷精品| 2025色婷婷| www.久久爱| 人操91在线| 人妻videos人妻高清| 久久色婷婷| 中文字幕久久婷九女同| 一区二区成人电影| 99久热在线精品| 日本色色影院| 欧美交换配乱吟粗大25P| 超碰9799| 亚洲激情高潮| 超碰免费在线| 久一这里有精品国产| 综合激情在线视频| 玖玖九九9999在线观看视频精品| 亚洲性爱99| 97香蕉久久超级碰碰高清版| 涩 五月 婷婷 狠狠| 丁香综合婷婷五月天| 香蕉久久国产AV一区二区| 激情AV| 激情五月婷在线精品| 五月婷婷综合视频| 情色五月天网站| 色色五月婷婷久久| 久9视频免费播放| 婷婷五月天丁香社区| 人妻久久久久久久久久| 亚洲黄色网址| 成人婷婷深爱综合网| 日本强伦片中文字幕免费看| 俺也去婷婷五月天第五色| 色色综合激情| 色婷婷欧美| 99亚洲精美视频在线观看| 青青五月天婷婷| 97碰碰碰免费公开在线视频| 婷婷深爱五月天在线| 国产精品18久久久| 久热精品视频| 色婷婷影视99| 天天爽夜夜操| 狠狠爱青青草| 婷婷五月花西瓜| 99热精品网| 丁香五月精品| 久久久婷婷五月亚洲97号色| www.jiujiujiu| 超级碰碰91| 婷婷丁香久久| 九九色影院| 久久综合丁香激情五月| 三区激情四射av| 午夜微拍福利| 五月婷婷九| 亚洲午夜AV| 精品欧美一区二区三区久久久| 五月丁香拍拍激情综合| 97人人操人人干| 亚洲天堂AV免费片| 91精品国产综合久久蜜芽解析速度| 超碰在线9| 久久狼人天堂| 天天插天天插天天操| 99热这里只有精品1025| 亚洲综合网区| 成人AV播放| 色色五月天婷婷丁香| 色噜久| 婷婷色在线观看| 99aese| 二级黄色毛片| 99精品成人无码A片观看金桔| 婷婷五月天论坛| 婷婷天堂视频| 99热这里是精品| 狠狠草在线观看| 日韩九九视频| 91操在线| 亚洲精品久久久无码| 五月天伊人综合| 婷婷放心五日爱| 婷婷色情五月| 精品日本视频444| 婷婷综合一二三| 五月香蕉婷婷| 国产日韩av片| 91久久精品国产91性色TV| 大香蕉久| 五月婷六月| 色五月激情综合| 久久亚洲婷婷| 77777亚洲午夜久久| 91超级碰碰碰| 日日艹思思热| 一区视频网站| 婷婷色色综合| 丁香色五月天| 色色日本| 九九在线视频| 日本社区五月天激情| 欧美天天干五月丁香| 狠狠看狠狠| 伊人青涩网| 被强行糟蹋的女人A片| 五月天成人小说| 婷婷五月69| 综合色网站| 国产一级片色色| 国产精品大香蕉| 九九热婷婷| 婷婷开心六月| 婷婷情色激情| 色五月综合在线| 丁香激情五月| 五月婷色丁香| 99热8在线| 国产精品久久久久久久久久| 涩涩五月天| 99久久er| 久久久五月激| 99久久国产宗和精品1上映| 激情综合在线观看| 婷婷综合色网| 亚洲婷婷91丁香| 性爱五月婷婷| 国产97色在线 | 日韩| 五月五月婷婷| 日日鲁鲁鲁夜夜爽爽狠狠视频97 | 五月天色五月| av在线免费播放| 九月色婷婷综合| 婷婷久久色| 吉澤明步Av一區二區| 五月婷婷色丁香| 久久婷婷欧美| 人人射人人高潮| 五月婷婷色五月| 色五月天成人| 五月天精品| 激情综合一| 婷婷干五月综合在线播放| 999热在线视频| 亚洲天堂亚洲色色色| 开心婷婷五月激情网小说| 五月丁香六月婷婷,婷| 99热99热在线观看| 99精品无码网站| 欧美Va在线| 五月丁香另类图片| 婷婷五月丁香五月| 亚洲成人av在线播放| 五月天亭亭俺也| 久色网五月| 99日这里只有精品| 操日视频| 婷婷五月婷婷| 国产美女无遮挡裸体毛片A片| 丁香婷婷狠狠97| 91色碰| 97视频91| 大香蕉久久草| 五月丁香激情综合六月涩涩爱| 亚洲性色XXXXX| 五月开心激情网| 国産精品| 狠狠爱五月婷婷综合六月| 超碰色女| 久热这里只有精品在线观看| 色丁香五月天婷婷| 97色片| 色婷婷电影网| WW婷婷五月天com| 人人操大| 99热 这里只有精品 国产 日韩| 色五月婷婷在线视频| 婷婷五月骚厕所| 99久热这里只有精品| 激情综合区| 久久天天| 精品爆操| 亚洲婷婷激情888精品久| 激情www| 91成人性爱视频| www,婷婷,com| 天天 青草 制服丝袜 在线| 思思久热| 久久精品一区二区三区四区| 九九亚洲综合| 五月丁香六月婷婷不卡免费无码| 九九成人视频| 色香蕉精品五夜婷| 亚洲天堂热| 五月婷婷激情久久| 99色在线| 欧美超级视频97| 岛国av电影网站| 99在线精品视频| 国产又粗又大又爽又黄| 成人短视频在线| 丁香五月开心婷婷| 国产亚洲精品久久久久久郑州| 久久五月天免费网站| 综合激情伊人影视在线| 色~性~乱~伦~噜| 亚洲综合网在线| 99热久久这里只有精品| 久久性视频| 操婷婷基地| 天天干肏夜夜| 婷婷六月丁| 停停六月 综合| 五月丁香黄色| 国产成人精品一区二三区熟女在线| 婷婷久久内射| 丁香婷婷综合激情五月色| 久久久这里有精品| 日本激情91| 天天色天天日| 国产AV一区二区三区最新精品| 激情色中文| 97色色色| tingtingjiqingwuyue| 久久婷婷热| 99超碰在线免费| 婷婷五月亚洲一本在线丁香| 91色综合网站在线| 开心五月婷婷激情网| 99热久久这里只有精品| 久久婷婷五月天激情| 五月综合丁香婷婷| 丁香花五月天激情| 91狠狠综合久久| 无码啪啪| 67194成I人在线观看线路1| 操婷婷基地| 永久精品| 久久99网址| 大香蕉99热| 综合色影| 99∨VTV| 4399成人黄A片| 久久国产色| 激情综合网五月丁香| 五月播播| 久久久久久9| 五月丁香婷婷综合网| 婷婷五月激情欧美| 欧美性爱五月天| 大香蕉伊人99| 亚洲无码色| 99色这里| 亚洲综合网在线| 五月天婷婷在线AN| a九九热www| 久久丁香五月天| 精品九九视频| 色色网91| 欧美婷婷综合| 2016日日夜夜操| 色综合激情| 五月伊人91| h在线看免费版在线看| 9191avse| WWW色色色COM| 国产成人AV在线播放| www.天天干.com| 九色综合网| 91无码高清| 久久9视频| 亚洲性天天| 丁香五月天色婷婷| 99.色| 激情超碰网| 9久视频| 思思色综合网站| 激情综合五月天| 成人午夜天| 婷婷九月在线| 丁香五月六月久久综合 | 色婷婷影视| 99久久丝| 婷婷丁香无码专区| 婷婷五月色播| 九九热这里只有精品31| www.91九色| 日本人妻伦在线中文字幕 | 99玖玖免费视频| 久久久999精品| 五月婷婷网五月在线| 婷婷终合色图| 草草色情综合网| 色欲色香综合网| 操逼福利视频| 丁香五月综合久久八| 99少妇精品| 超碰狠狠干99| 激情av| 狠狠狠狠狠草| 第四色色六月色综合| 五月婷婷|欧美| 天天日中文| 深爱激清网| 天天色色婷婷| 天天看片日日夜夜| 丁香蜜臀黄色婷婷五月天| 99热草草| 久久九九网| 丁香六月婷婷| 99久久精品网| 丁香五月天精品| 丁香激惜男女| 色色精品色| 99九九玖玖| 日本欧美成人片AAAA| 亚洲情欲| www.zbzhongsen.com| 久综合| 五月天播播中文字幕| 深爱开心五月天| 丁香五月天无码AV| 九九色影院| 丁香六月婷婷社区| 色婷婷色综合久久精品V| 中文字幕无码人妻少妇免费视频| 激情第四色| 97资源碰碰| 国产无套精品一区二区| 色色色9| 久久人妻精品| 日韩精品一品二区三区的使用体验| 色婷婷婷婷五月天| 深爱开心五月天| 思思久热6| 丁香五月天综合网| 日韩AV大全| 日韩抽插操逼| 久香草视频在线观看| 天天色综合网吨吧| 在线可以看的av网址| 啪啪六月婷婷| 久久婷婷操| 热久久成人| 五月婷六月丁香| 日日噜狠狠色| 六月婷婷中文字幕| 99色在线| av九九| 97人人搞| 开心五月婷婷激情| 99人妻碰碰久久久禁片| 亚洲人成网站999久久久综合| 丁香五月婷婷www..com| 亚洲视频国产一区| 久热超碰91| a色色色色色| ...婷婷国产成人亚洲日韩| 五月丁香色婷婷基地| 国产精品婷婷午夜在线观看| 夜夜撸日日操| 婷婷丁香五月亚洲17cao| 啪啪啪大香蕉| 91久女| 激情宗合 激情宗合| 9久久久久久久久久久| www.maotanji.com| 九九热在线99| 丁香五月综合网| 丁香色影院| 天天日日夜夜爽| 另类小说五月天综合网| 五月天com| 超碰亚洲天堂| 最近中文字幕大全免费版在线 | 国产在线激情视频| 中文字幕不卡网站| 婷婷日本在线| WWW久久久| 色婷婷AV久久久久久久| 大香蕉综合| 国产美女无遮挡裸体毛片A片| 久re在线| 婷婷激情综合网| 色五月综合资源推荐| 久热婷婷综合| www.sebowuyue| 四月婷婷丁香| 97福利视频| 色情五月综合婷婷| 国产古装妇女野外A片| 色月丁| 丁香婷婷人妻| 大香蕉久久久久| 在线综合91| 五月天婷婷三级黄| 色色国产| www.99色| 婷婷丁香五月基地| 五月婷婷视频啪啪美女| 新激情五月天天在线网| 在线免费视频caop| 激情五月婷| 五月婷婷免费在线观看| 美国色五月天婷婷资源站| 国产亚洲成AV人片在线观黄桃| 91丨九色丨白浆秘| 五日激情综合| 九九热99精品| 99re这里有精品手机在线| 婷婷五月天小说| 五月丁香大香蕉| 人人爱摸视频| 久久免费精彩视频| 91人人操人人| 亚洲热综合| 99热超碰| 97九色| 久久人妻精品| 亚洲成人AV高清字幕| 丁香五月第九色| 欧洲色色| 久久五月天激情婷婷| se99视频| 国产97色在线| 婷婷五月丁香六月| 五月天社区婷婷丁香社区| 五月草影视| 99精品在线观看视频| 色婷婷五月色| 天天爽天天摸天天爱| 中文字幕成人影视| 婷婷五月天六月丁香| 偷拍九九热| 天天干夜夜谢| 婷婷久久性爱| 开心深爱激情网| 99热在线看| 亚洲综合色网| 玖玖综合色区在线观看| 五月开心激情| 伊人久久大香线蕉AV最新午夜| 人。妻久久| 91丨九色丨首页| 午夜做爱影院| 182TV亚洲| 色优久久| 婷婷色5月天在线。| 久月久在线视频| 国产成人亚洲综合A∨婷婷| 激情中文在线| 91九色熟女| 亭亭色色五月天| 五月天成人综合| 粉嫩av蜜桃av蜜臀av| 99视频久久| 99热99热在线观看| 婷婷色色宗合网| 色综合另类| 五月激情啪啪啪| 强辱丰满人妻HD中文字幕| 久久99久久99精品免观看软件| 热婷婷在线视频| 99热色精品| 五月色婷| 五月综合久久| 《蜘蛛女》梁铮1995| 铁牛TV人妻| 欧美操人| 婷婷第六色| 五月婷婷六月天| Www.狠狠| 狠狠爱激情网| 麻豆AV一区二区三区| 五月婷婷啪啪| 77799热| 99ri网站在线观看| 99色中文| 九九精品网| 成人资源在线| 日在线V视频在线播放| 美欧成人视频| 五月亭亭开心网| 毛片毛片毛片毛片| 婷婷五月在线免费| 一级性爱大片| 777精品久无码人妻蜜桃| 六月五月丁香五月欧美| 日本91在线播放| 夜夜 操无码| 亚洲人人操BD| 中文字幕日韩无码制服诱或| 九色91视频| 五月婷婷激情四月| 久久99热这里只有| 五月婷婷精品视频| 少妇性BBB搡BBB爽爽爽视頻| 婷婷久久五月天| 1010日日无码| 热无码A∨| 天天久久狠狠色综合| 琪琪狠狠干| 搡BBBB搡BBB搡18| 激情五月丁香激情综合网| 丁香五婷婷| 色色六月| 69热91天堂| 开心五月天激情网| 99久在线精品99re8| 成人电影在线免费试看| 激情色色色| 婷婷香五月综合激情| 亚洲视频在线观看99| WWW.婷婷五月天.COM| 色欧美日| 韩国中文字幕91| 天天综合精品| 最新AV在线观看| 成人人操| 美女五月天| 婷婷五月丁香婷婷| 五月色视频| 日本女va| 成人一级片| 人人澡玖玖一| 九九热这里有精品视频| 久久久91精品| 九九色婷婷Av| 97超碰9久热婷婷热| 99超级碰免费视频| 嫩草AV久久伊人妇女超级A| 久久五月婷| 五月丁香色婷婷基地| 久久欧洲综合网| 天天爽,夜夜爽| 婷婷丁香基地在线| 婷婷色香六月综合激情| 欧美丁香六月在线观看视频| 视频久久9| 99色热视频| 97在线碰| 成人短视频在线| 开心五月婷婷激情| 天天 青草 制服丝袜 在线| 色色自拍视频网站| 狠狠 婷婷| 另类图片激情五月天| 丁香婷婷人妻综合网| 精品少妇蜜臀91| 五月婷婷啪| 婷婷射图五月天| 丁香五月成人婷婷| 9久国产| 婷婷九月在线| h亚洲| 熟女人妻一区二区三区免费看| 国精产品一区一区三区免费视频| 九九99九九精品视频| 国精产品一区二区三区| 九九热re99re6在线精品| 91欧美| 狠婷婷五月| 无码99| 99成人| 在线观看av网站| 六月丁香啪啪| 超碰在线资源| 啪啪激情网| 中文久久久人妻| 丁香五月婷婷激情中文| 亚洲色五月婷婷| 天天日夜夜| 超级碰91| 婷婷精品在线| 五月丁香亚洲五月| 五月婷婷色| 天天爽天天干| 人人干人人操外国| 99这里只有精品在线| 色婷婷AV在线| 国产AV一区二区三区日韩| 亚洲中文AV网站| 香蕉视频91| 久久久久综合激动五月天| 久久婷婷综合五月天| 久久激情视频| 欧美日本日韩| 亚洲XX网| 色婷婷情片| 丁香五月综合在线播放| 97碰碰人人| 婷婷五月丁香99| 五月激情啪啪啪| 五月天啪啪啪| 国产小精品| www.97碰碰com| 99热在线观看这里只有精品| 超碰在线看| 色99综合色88| 五月丁香在线视频观看| 久久99热这里只有精品| 天天干在线播放| AV五月丁香| 亚洲精品色| 国产欧美大香蕉一区| 99热这里只有99| 五月综合激情综合久| 丁香五月久久| 色五月大| 日本成人噜噜噜| a性生活久久无| 另类伊人婷婷| 五月婷婷开心激情六月蜜桃| 色999;丁香五月| 97干在线播放| 殴美综合激情五月天免费视频| 做爰丰满少妇1313| 夜色综合网| 少妇久久诱惑视频| 99久在线精品99re8热| 91蜜桃婷婷狠狠久久综合9色| 亚洲成人一区| 超碰在线精品| 色婷婷久久天天性爱| 婷婷五月丁香综合激情| 人碰人人人玩91| 天天干天天 亚洲| 五月九九综合| 1010日日无码| 五月色影院| 超碰男人色| 日本不卡中文字幕| 亚洲第一成人无码A片| 五月婷婷六月开心| 久久伊人五月天| 亚洲成人另类| 激情久久综合| 婷婷色婷婷亚洲成人| 久久只有18视频| av在线超清中文| 欧美精品中文字幕亚洲专区| 成年人99热| 91九色PORNY大屁股| 天天爱天天操| 久操乱| 很很干五月天| 婷婷狠狠狠爱| 五月婷婷色激情| 超碰免费电影| 五月婷婷激情性爱| 久久这里面只有精品视频| 精品成人在线| 天天日天天摸| 精品一二三区久久AAA片| 精品少妇蜜臀91| 六月色 亚洲| 思思热99在线| 在线色婷婷| 激情图片婷婷丁香五月| 91丨九色丨熟女丰满| 久久xxxx| 26uuu国产激情视频| 五月丁香婷婷色色| 色婷婷av综合网| www色婷婷| 99久久99视频只有精品| 婷婷激情久久| 婷婷综合五月| 无码任你操| 翔田千里aV中文字幕| 丁香五月天社区婷婷| 天天日天天久久青青| 狠狠插日日干撸| 九九色中文| 丁香五月婷婷老师网站| 激情视频网址| 婷婷五月六月激情| 久久精品爱爱| 综合www色| 少妇大叫太大太粗太爽了A片| 婷婷久久久| 五月婷婷综合久久| 五月婷婷在线网站| 99久超碰| 99热8在线| 欧美日韩欧美| 五月婷婷丁香在线| 日韩五月丁香| 色噜噜,噜噜色| 女人天堂av| av九九| 超碰在线9| 在线亚洲综合网| 91超级碰碰| 操逼毛片国语对白| 视频1区2区| 草草色情综合网| 一本色道久久综合狠狠躁小说| 亚洲五月婷婷| 99性视频| 天天成人综合视频| 亚洲中文无码成人| 草一草avb| 五月丁香啪啪婷婷| 婷婷 伊人 久久| 九 九九九AV| 91九色 熟| 激情6月| 夜夜操加勒比| 五月天色综合| 岛国AV网站| 99热免费精品| 五月天桃色深爱网| WWW五月| 国产精品蜜臀99| 婷婷伊人久久综合| 五月色婷婷AV| 久久精品66| 激情五月综合网最新 | 色色色天堂网| 日本色超碰| 国产激情在线观看| www.97干视频| 中文字幕在线免费观看视频| 黄色激情久久| 亚洲国产精品成人免费一区久久久在线观看AAAA | 色视频五月天| 综合在线色婷婷| 亚洲国产99| 婷婷五月综合网| 26uuu国产| 九九热只有精品| 久久婷婷伊人| 六月婷婷激情| 五月婷婷精品视频| 日本色天堂| 337p大胆噜噜噜噜噜91Av| 青青草a在线| 五月 丁香 欧美| 99热这里只有精品最新| 久久多色| 高清一区二区三区日本久| 欧美97超碰| 日韩啪啪自拍| 欧美99热| 五月婷深深爱激情网| 六月色播| 91操人视频| 久久久99精品免费观看| 五月天久久小说| 婷婷丁香五月天影院| 久热2025无码| 丁香婷婷六月| 久热这里只有| 人人肏逼视频在线一区二区| 欧洲亚洲免费视频9 | www色综合亚洲92| 色婷婷久久综合| 天天日天天干天天插天天射| 欧美色97| 婷色影院| 婷婷五月天成人导航| 桃色伊人在线| 九九性爱网| 91919191919久久成人视频| 婷婷精品综合| 五月丁香成人| 狠狠色综合网站久久久久| 久久久婷| 天堂资源欧日浪女在线播放| 久久er视频6| 色婷婷成人| 亚洲熟妇AV乱码在线观看| 99ri久久| 丁香 婷婷 亚洲 熟女| 久久伊人大香蕉| 丁香五月激情综合久久| 永久的网站AAAA |