欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Redis RDB持久化深度解析:原理、配置與生產(chǎn)環(huán)境避坑指南

Redis RDB持久化深度解析:原理、配置與生產(chǎn)環(huán)境避坑指南 看到這個(gè)標(biāo)題我先愣了一下RBD是個(gè)什么鬼以我多年的經(jīng)歷Redis持久化里從來(lái)沒(méi)有RBD這個(gè)說(shuō)法十有八九是把RDB打成RBD了。RDBRedis Database是Redis提供的快照持久化機(jī)制也是生產(chǎn)環(huán)境里用得最多、面試被問(wèn)得最頻繁的一塊內(nèi)容。正好借這個(gè)機(jī)會(huì)把RDB持久化徹底聊透從底層原理到配置實(shí)操再到生產(chǎn)環(huán)境里那些文檔不會(huì)寫明白的坑。這篇博文不是我臨時(shí)翻文檔整理的而是踩過(guò)無(wú)數(shù)坑之后的總結(jié)。早年我還在用Redis當(dāng)純緩存重啟就重啟丟了就丟了直到有一次大促前夜緩存節(jié)點(diǎn)因?yàn)閮?nèi)存碎片問(wèn)題被運(yùn)維重啟第二天高峰期一到數(shù)據(jù)庫(kù)瞬間被打爆我才真正意識(shí)到持久化不是選配功能而是保命功能。所以這篇內(nèi)容適合幾類讀者剛接觸Redis、想搞懂持久化到底是怎么回事的入門者正在做Redis選型和配置的開(kāi)發(fā)者以及已經(jīng)上了生產(chǎn)環(huán)境、想優(yōu)化或排查RDB問(wèn)題的運(yùn)維和后端同學(xué)。我會(huì)把RDB的原理講透把配置一行行拆開(kāi)講再把生產(chǎn)環(huán)境里“怎么用安全、怎么用好”的實(shí)踐經(jīng)驗(yàn)?zāi)贸鰜?lái)。最后還會(huì)附上問(wèn)題排查實(shí)錄都是真實(shí)場(chǎng)景里的典型問(wèn)題。1. 先搞懂RDB為什么存在從一次“緩存全丟”事故說(shuō)起很多教程上來(lái)就講RDB是什么、怎么配置我反而覺(jué)得得先講清楚一個(gè)問(wèn)題RDB到底在解決什么。明白了這個(gè)后續(xù)所有配置、參數(shù)、優(yōu)化方向都會(huì)變得順理成章。1.1 一次真實(shí)的生產(chǎn)事故復(fù)盤有一年我做電商平臺(tái)的架構(gòu)優(yōu)化某個(gè)核心服務(wù)用Redis存著熱銷商品、庫(kù)存扣減結(jié)果和用戶會(huì)話數(shù)據(jù)量不大內(nèi)存峰值也就600MB左右。因?yàn)闅v史原因這個(gè)Redis實(shí)例沒(méi)開(kāi)持久化大家都覺(jué)得“反正是緩存掛了就掛了最多回源一次”。結(jié)果一次例行升級(jí)服務(wù)器需要重啟Redis一停再一起來(lái)整個(gè)實(shí)例空空如也。可怕的地方在于這臺(tái)Redis早就被當(dāng)成“緩存準(zhǔn)存儲(chǔ)”在用了調(diào)用方代碼里大量用了“先查Redis查不到就不查庫(kù)”的寫法所以緩存一丟所有請(qǐng)求全部穿透到MySQL。不到兩分鐘數(shù)據(jù)庫(kù)連接數(shù)被打滿一堆慢查詢把CPU頂?shù)?00%接口可用性直接掉到個(gè)位數(shù)。復(fù)盤的時(shí)候所有人的第一反應(yīng)都是“等緩存自己慢慢回填”可問(wèn)題是寫代碼的人根本沒(méi)做回填保護(hù)數(shù)據(jù)庫(kù)扛不住瞬間流量整個(gè)服務(wù)雪崩。那次事故之后我把系統(tǒng)里所有Redis實(shí)例全部梳理了一遍該開(kāi)持久化的一律開(kāi)上并且每周做一次恢復(fù)演練。這里想說(shuō)的是Redis持久化從來(lái)不是給“存儲(chǔ)型Redis”準(zhǔn)備的只要你把數(shù)據(jù)寫進(jìn)Redis就得假設(shè)“重啟之后這份數(shù)據(jù)還有用”按這個(gè)標(biāo)準(zhǔn)來(lái)設(shè)計(jì)才不至于出事。1.2 RDB核心原理快照不是“備份”而是“寫時(shí)復(fù)制”RDB的原理一句話說(shuō)就是把內(nèi)存里的全部數(shù)據(jù)在某個(gè)時(shí)間點(diǎn)做一次完整的二進(jìn)制快照寫到磁盤上的一個(gè)文件里默認(rèn)叫 dump.rdb。這個(gè)“某個(gè)時(shí)間點(diǎn)”很關(guān)鍵它決定了RDB不是實(shí)時(shí)的而是按策略觸發(fā)的。觸發(fā)方式分為手動(dòng)和自動(dòng)兩類手動(dòng)就是執(zhí)行SAVE或者BGSAVE命令自動(dòng)就是在redis.conf里配置save規(guī)則比如“900秒內(nèi)至少有1個(gè)key發(fā)生變化就觸發(fā)一次快照”。那么問(wèn)題來(lái)了Redis是單線程處理命令的如果做快照要把內(nèi)存數(shù)據(jù)全部遍歷一遍這個(gè)過(guò)程中還能不能正常服務(wù)客戶端請(qǐng)求這里就要講到RDB的核心機(jī)制fork 寫時(shí)復(fù)制Copy On Write以下簡(jiǎn)稱COW。當(dāng)執(zhí)行BGSAVE時(shí)Redis主進(jìn)程會(huì)通過(guò)fork系統(tǒng)調(diào)用創(chuàng)建一個(gè)子進(jìn)程子進(jìn)程與主進(jìn)程共享同一份內(nèi)存頁(yè)。子進(jìn)程負(fù)責(zé)把這份共享快照寫入磁盤主進(jìn)程繼續(xù)處理客戶端請(qǐng)求。關(guān)鍵點(diǎn)在于如果主進(jìn)程此時(shí)沒(méi)有寫操作那么子進(jìn)程寫的就是完整內(nèi)存數(shù)據(jù)。可一旦主進(jìn)程收到寫命令需要修改某個(gè)內(nèi)存頁(yè)操作系統(tǒng)就會(huì)先把這塊內(nèi)存復(fù)制一份出來(lái)給主進(jìn)程用子進(jìn)程手里的仍是舊版本的那塊頁(yè)。這樣兩邊數(shù)據(jù)互不干擾子進(jìn)程就能生成一個(gè)一致性快照。生活里你就能找到類似的例子。你去打印店復(fù)印一堆材料打印機(jī)工作的時(shí)候你還能繼續(xù)修改手上的原稿打印出來(lái)的都是你按下開(kāi)始鍵那一刻的版本。新寫的字不會(huì)出現(xiàn)在打印結(jié)果里這就是“快照是某個(gè)時(shí)間點(diǎn)的狀態(tài)”的含義。理解COW機(jī)制后續(xù)看BGSAVE導(dǎo)致的阻塞、磁盤IO等問(wèn)題就會(huì)很清楚真正讓你擔(dān)心的不是快照本身多耗時(shí)而是fork瞬間和寫操作劇烈時(shí)COW帶來(lái)的內(nèi)存開(kāi)銷和系統(tǒng)負(fù)載。1.3 快照與AOF的本質(zhì)差異既然講了RDB就繞不開(kāi)AOFAppend Only File。很多新手搞不清兩者區(qū)別我習(xí)慣用一句話區(qū)分RDB存的是“某一時(shí)刻的數(shù)據(jù)狀態(tài)”AOF存的是“從啟動(dòng)至今的每一條寫命令”。一個(gè)是結(jié)果一個(gè)是過(guò)程。對(duì)比項(xiàng)RDB快照AOF日志存儲(chǔ)內(nèi)容二進(jìn)制數(shù)據(jù)快照可讀的命令文本文件體積小、緊湊通常比RDB大恢復(fù)速度快直接加載快照慢需要逐條執(zhí)行命令數(shù)據(jù)丟失窗口取決于觸發(fā)頻率可能丟最近一次快照后的數(shù)據(jù)取決于刷盤策略默認(rèn)每秒刷盤最多丟1秒數(shù)據(jù)對(duì)性能的影響當(dāng)bgsave時(shí)CPU/內(nèi)存/磁盤有開(kāi)銷持續(xù)寫入有CPU和磁盤開(kāi)銷使用場(chǎng)景數(shù)據(jù)量大、允許少量丟失、需要快速恢復(fù)對(duì)數(shù)據(jù)完整性要求高、不能丟數(shù)據(jù)生產(chǎn)環(huán)境里我見(jiàn)過(guò)很多團(tuán)隊(duì)盲目把兩個(gè)都打開(kāi)結(jié)果機(jī)器負(fù)載蹭蹭漲。實(shí)際上兩者各有適合的場(chǎng)景如果你只是拿Redis做緩存丟了能回源那RDB夠用如果里面有訂單、優(yōu)惠券、計(jì)數(shù)器之類不能丟的數(shù)據(jù)那就得AOF或者RDBAOF組合。這個(gè)選型問(wèn)題后面專門講。2. 實(shí)操配置與核心參數(shù)從零到落地的完整過(guò)程原理搞懂了接下來(lái)就是把RDB真正配置到你的實(shí)例里。這一節(jié)我按配置文件逐行拆解再演示手動(dòng)觸發(fā)和數(shù)據(jù)恢復(fù)的完整流程。2.1 redis.conf里與RDB有關(guān)的參數(shù)一行行拆給你看默認(rèn)安裝好Redis之后redis.conf里自帶了一套R(shí)DB相關(guān)的配置但默認(rèn)值只適合開(kāi)發(fā)環(huán)境生產(chǎn)環(huán)境需要仔細(xì)調(diào)。我們先看最核心的幾個(gè)save 900 1 save 300 10 save 60 10000這個(gè)格式很多新手看不懂我解釋一下save seconds changes意思是“在seconds秒內(nèi)如果至少有changes個(gè)key發(fā)生了變化就觸發(fā)一次BGSAVE”。上面三行合起來(lái)就是900秒15分鐘內(nèi)至少有1次寫操作就做一次快照300秒5分鐘內(nèi)至少有10次寫操作就做一次快照60秒1分鐘內(nèi)至少有10000次寫操作就做一次快照。這種多層配置的含義就是讓快照頻率跟寫入頻率聯(lián)動(dòng)數(shù)據(jù)變化越頻繁備份就做得越勤絕不讓數(shù)據(jù)丟失窗口擴(kuò)大到不可接受。接下來(lái)是和RDB文件本身相關(guān)的參數(shù)dbfilename dump.rdb dir /var/lib/redis rdbcompression yes rdbchecksum yesdbfilename是快照文件名dir是快照存放目錄這兩項(xiàng)決定了你恢復(fù)數(shù)據(jù)時(shí)去哪里找文件。rdbcompression表示是否用LZF算法壓縮RDB文件壓縮可以顯著減小文件體積對(duì)恢復(fù)速度影響不大我建議保持開(kāi)啟。rdbchecksum表示是否對(duì)RDB文件做CRC64校驗(yàn)開(kāi)啟后會(huì)增加一些寫入開(kāi)銷但能及早發(fā)現(xiàn)文件損壞生產(chǎn)環(huán)境建議開(kāi)啟。還有一個(gè)參數(shù)容易被人忽略但生產(chǎn)環(huán)境特別重要stop-writes-on-bgsave-error yes這個(gè)參數(shù)的意思是如果BGSAVE執(zhí)行失敗比如磁盤滿了、權(quán)限錯(cuò)誤Redis是否還繼續(xù)接受寫請(qǐng)求。默認(rèn)是yes即一旦快照保存失敗Redis會(huì)拒絕所有寫操作。有人覺(jué)得這個(gè)設(shè)計(jì)太粗暴但官方這么做的理由很充分如果快照失敗你不停止寫入意味著數(shù)據(jù)正在悄然丟失而所有外部系統(tǒng)還以為Redis是可靠的。生產(chǎn)環(huán)境我建議就保持默認(rèn)yes配合監(jiān)控在BGSAVE失敗時(shí)第一時(shí)間告警把問(wèn)題暴露出來(lái)而不是讓它埋著。2.2 手動(dòng)觸發(fā)RDB快照的三種方式及適用場(chǎng)景自動(dòng)觸發(fā)是日常主力但有時(shí)你需要手動(dòng)制造一份快照比如發(fā)布前備份、遷移前導(dǎo)出。手動(dòng)觸發(fā)有三種方式第一種執(zhí)行SAVE命令。SAVE是同步的Redis主進(jìn)程會(huì)被阻塞執(zhí)行期間所有客戶端請(qǐng)求都得不到響應(yīng)。數(shù)據(jù)量大時(shí)這個(gè)過(guò)程可能長(zhǎng)達(dá)好幾秒甚至更久。因此SAVE只適用于數(shù)據(jù)量極小、能接受停服備份的場(chǎng)景。我在本地開(kāi)發(fā)時(shí)會(huì)用生產(chǎn)環(huán)境絕不用。第二種執(zhí)行BGSAVE命令。BGSAVE是異步的立即返回Redis在后臺(tái)fork子進(jìn)程完成快照。這也是我平時(shí)用得最多的方式。執(zhí)行后用LASTSAVE命令查看上次成功生成快照的時(shí)間確認(rèn)真實(shí)執(zhí)行了。第三種通過(guò)SHUTDOWN SAVE命令關(guān)閉Redis時(shí)Redis會(huì)先執(zhí)行一次SAVE快照再退出。如果你沒(méi)配AOF正常關(guān)閉時(shí)最好用這個(gè)命令確保干凈退出且不丟數(shù)據(jù)。否則如果直接kill -9內(nèi)存里最后一次快照之后的數(shù)據(jù)就沒(méi)了。順便說(shuō)一下從Redis 2.6開(kāi)始支持BGSAVE的同時(shí)還支持異步AOF重寫可以并行執(zhí)行不過(guò)那是AOF相關(guān)的話題。RDB這邊你只需要記住生產(chǎn)環(huán)境手動(dòng)備份一律用BGSAVE。2.3 數(shù)據(jù)恢復(fù)的標(biāo)準(zhǔn)流程從dump.rdb到重新上線RDB恢復(fù)說(shuō)白了就是把dump.rdb放回配置的dir目錄下啟動(dòng)Redis數(shù)據(jù)自動(dòng)加載。但“放回去”這件事在生產(chǎn)環(huán)境常常會(huì)出各種幺蛾子。標(biāo)準(zhǔn)流程是先把Redis停掉防止進(jìn)程還在寫文件導(dǎo)致文件不一致。然后確認(rèn)你手里的dump.rdb文件完整且是最新的必要時(shí)用redis-check-rdb校驗(yàn)一遍后面會(huì)細(xì)說(shuō)。再把文件放到配置文件里dir指定的目錄文件名必須和dbfilename完全一致。確保Redis進(jìn)程對(duì)目錄有讀寫權(quán)限。最后啟動(dòng)Redis觀察啟動(dòng)日志。如果出現(xiàn)類似“DB loaded from disk”的日志說(shuō)明加載成功。啟動(dòng)后隨手執(zhí)行一條命令驗(yàn)證數(shù)據(jù)redis-cli DBSIZE把輸出的數(shù)量和你備份時(shí)的預(yù)期對(duì)比一下數(shù)量對(duì)得上說(shuō)明恢復(fù)成功。如果數(shù)量差很多就要檢查是不是加載了舊文件或者dir配置指向了別的目錄?;謴?fù)做多了之后我養(yǎng)成了一個(gè)習(xí)慣每次配置Redis都會(huì)記下當(dāng)前實(shí)例的CONFIG GET dir輸出因?yàn)橛械娜讼矚g相對(duì)路徑有的人喜歡絕對(duì)路徑而且多實(shí)例部署時(shí)不同實(shí)例的dir可能還不一樣??慈罩厩跋却_認(rèn)路徑能少走很多彎路。2.4 小實(shí)驗(yàn)親眼驗(yàn)證BGSAVE不阻塞業(yè)務(wù)光說(shuō)BGSAVE不阻塞不好使不如動(dòng)手驗(yàn)證一遍。我建議你在測(cè)試環(huán)境做這個(gè)小實(shí)驗(yàn)先往Redis里灌幾萬(wàn)條數(shù)據(jù)然后用redis-cli執(zhí)行BGSAVE同時(shí)用另一個(gè)終端快速執(zhí)行SET命令觀察延遲。再用SAVE做同樣的測(cè)試你會(huì)發(fā)現(xiàn)SAVE期間整個(gè)Redis瞬間沒(méi)有響應(yīng)。這個(gè)對(duì)比能讓你銘記SAVE和BGSAVE的使用邊界。再深入一點(diǎn)你可以在BGSAVE執(zhí)行期間用INFO persistence命令觀察輸出rdb_bgsave_in_progress:1 rdb_current_bgsave_time_sec:3這兩個(gè)字段表示當(dāng)前是否正在生成快照、已經(jīng)耗時(shí)多久。如果耗時(shí)異常長(zhǎng)說(shuō)明可能有大key或者系統(tǒng)負(fù)載很高這就牽涉到生產(chǎn)環(huán)境優(yōu)化的問(wèn)題了。3. 生產(chǎn)環(huán)境最佳實(shí)踐RDB不該“裸奔”配置完RDB你以為就高枕無(wú)憂了差遠(yuǎn)了。生產(chǎn)環(huán)境里RDB只是第一條防線真正讓你數(shù)據(jù)安全的是一整套配套機(jī)制。3.1 備份要有“異地”意識(shí)dump.rdb要定期離開(kāi)服務(wù)器我看到太多團(tuán)隊(duì)Redis和它在同個(gè)機(jī)房連備份都放在同一臺(tái)機(jī)器上更有人把dump.rdb存在系統(tǒng)盤里。結(jié)果服務(wù)器磁盤故障備份和應(yīng)用活在一起一起去見(jiàn)上帝。RDB文件應(yīng)該定期復(fù)制到另一臺(tái)物理機(jī)、獨(dú)立存儲(chǔ)或云對(duì)象存儲(chǔ)上。做法不復(fù)雜寫個(gè)cron腳本每天凌晨把dump.rdb用scp、rsync等方式傳到備份中心同時(shí)對(duì)歷史備份做保留策略比如保留最近7天、最近4周各一份、最近6個(gè)月每月一份。只備份還不夠我見(jiàn)過(guò)最魔幻的場(chǎng)景是某團(tuán)隊(duì)遠(yuǎn)程拷貝了dump.rdb做災(zāi)備三年了從沒(méi)恢復(fù)驗(yàn)證過(guò)。真到機(jī)房故障那天發(fā)現(xiàn)備份文件早就損壞了或者Redis版本升級(jí)不兼容備份文件。所以我堅(jiān)持“備份三步走”定期備份、定期校驗(yàn)、定期演練。3.2 官方推薦組合RDB AOF怎么搭配才合理Redis官方文檔其實(shí)不建議你在生產(chǎn)環(huán)境只用RDB或只用AOF而是推薦兩者結(jié)合RDB用于快速恢復(fù)和冷備份AOF保證數(shù)據(jù)完整性。原因在于如果只有RDB重啟后加載的是最后一次快照的數(shù)據(jù)之后到宕機(jī)前這段時(shí)間的數(shù)據(jù)全丟了。如果只有AOF重啟后雖然數(shù)據(jù)完整但AOF文件通常很大恢復(fù)時(shí)要逐條執(zhí)行命令大實(shí)例可能要幾分鐘這個(gè)時(shí)間窗口服務(wù)是不可用的。RDBAOF的組合在Redis重啟時(shí)優(yōu)先加載AOF文件因?yàn)锳OF里記錄的數(shù)據(jù)通常比RDB新。但同時(shí)保留RDB文件一是可以做冷備二是當(dāng)AOF文件損壞時(shí)還能用RDB兜底恢復(fù)。我的建議是按數(shù)據(jù)重要性分檔處理純緩存業(yè)務(wù)只開(kāi)RDB訂單、庫(kù)存等核心數(shù)據(jù)RDBAOF都開(kāi)且AOF刷盤策略選everysec最后一檔數(shù)據(jù)至關(guān)重要又不能容忍丟失用Redis主從加AOF的always策略但要做好性能開(kāi)銷的準(zhǔn)備。3.3 主從復(fù)制里的RDB全量同步的隱形依賴很多人沒(méi)注意到RDB不只是主節(jié)點(diǎn)自己用來(lái)持久化的主從復(fù)制的全量同步階段也在用RDB。當(dāng)你給Redis主節(jié)點(diǎn)新掛一個(gè)從節(jié)點(diǎn)時(shí)主節(jié)點(diǎn)會(huì)做一次BGSAVE然后把生成的RDB文件傳給從節(jié)點(diǎn)從節(jié)點(diǎn)加載這份RDB實(shí)現(xiàn)數(shù)據(jù)對(duì)齊。理解了這一點(diǎn)你就能在生產(chǎn)環(huán)境里避開(kāi)一些坑。比如主節(jié)點(diǎn)正在內(nèi)存吃緊的時(shí)候你給集群加從節(jié)點(diǎn)主節(jié)點(diǎn)fork生成RDBCOW機(jī)制把內(nèi)存占用翻倍很可能直接OOM。又比如主節(jié)點(diǎn)磁盤性能很差全量同步時(shí)RDB寫入慢從節(jié)點(diǎn)遲遲收不到完整數(shù)據(jù)兩個(gè)節(jié)點(diǎn)之間的同步延遲會(huì)越拉越大。增購(gòu)節(jié)點(diǎn)前先看一眼主節(jié)點(diǎn)的內(nèi)存和磁盤IO情況不要在高峰期做擴(kuò)容。如果數(shù)據(jù)量非常大、網(wǎng)絡(luò)帶寬又不愁可以打開(kāi)repl-diskless-sync yes讓主節(jié)點(diǎn)直接把RDB快照通過(guò)網(wǎng)絡(luò)流向從節(jié)點(diǎn)不落盤減少磁盤壓力。3.4 性能提優(yōu)如何避免BGSAVE“卡”住線上業(yè)務(wù)RDB最讓人頭疼的問(wèn)題是fork瞬間可能造成的服務(wù)停頓。理論上來(lái)講fork之后主進(jìn)程繼續(xù)正常工作但fork本身是要復(fù)制頁(yè)表等內(nèi)核數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)量越大fork耗時(shí)越長(zhǎng)。我見(jiàn)過(guò)一個(gè)32GB的Redis實(shí)例fork花了將近800毫秒期間明顯出現(xiàn)了請(qǐng)求毛刺。優(yōu)化方向有這么幾個(gè)控制單實(shí)例內(nèi)存上限。別把Redis當(dāng)成無(wú)限大的內(nèi)存容器單實(shí)例超過(guò)10GB后Fork開(kāi)銷就相當(dāng)可觀建議拆實(shí)例或用集群分片。避免在短時(shí)間集中大量寫入。COW機(jī)制下寫操作越多復(fù)制內(nèi)存頁(yè)就越多內(nèi)存消耗和磁盤寫入量都翻倍。把你那些批處理腳本、定時(shí)任務(wù)錯(cuò)峰執(zhí)行不要和自動(dòng)快照時(shí)間重合。監(jiān)控系統(tǒng)負(fù)載磁盤IO到瓶頸時(shí)BGSAVE耗時(shí)會(huì)劇增觸發(fā)風(fēng)險(xiǎn)成倍放大。Redis 7.0之后BGSAVE的實(shí)現(xiàn)做了不少優(yōu)化對(duì)Fork開(kāi)銷的緩解有幫助。但算法改進(jìn)不能替代架構(gòu)規(guī)劃基礎(chǔ)的內(nèi)存上限和寫入節(jié)奏控制任何時(shí)候都得做。3.5 別忘了安全這道底線RDB文件是敏感數(shù)據(jù)里面存放的數(shù)據(jù)可能包含用戶信息、訂單數(shù)據(jù)、業(yè)務(wù)密鑰。我見(jiàn)過(guò)有團(tuán)隊(duì)把Redis綁定在0.0.0.0還開(kāi)著默認(rèn)端口RDB文件直接放在一個(gè)所有人都能讀的目錄里。這隱患非常大。生產(chǎn)環(huán)境建議把dump.rdb放到權(quán)限受限的目錄一般用redis用戶運(yùn)行Redis時(shí)把目錄owner設(shè)為redis、權(quán)限設(shè)為750。如果數(shù)據(jù)敏感程度較高還要考慮對(duì)RDB文件加密落盤。Redis本身不提供加密但你可以通過(guò)文件系統(tǒng)加密比如加密盤來(lái)實(shí)現(xiàn)。還要防止RDB文件被惡意替換如果攻擊者能控制Redis寫文件路徑理論上可以構(gòu)造一個(gè)惡意RDB讓服務(wù)器啟動(dòng)時(shí)加載執(zhí)行命令。所以Redis的運(yùn)行用戶一定要獨(dú)立且低權(quán)限不能是root。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄寫配置、看文檔只能入門真正加深理解的是處理那些千奇百怪的問(wèn)題。下面這幾個(gè)是我在實(shí)踐中最常遇到、也最具代表性的場(chǎng)景。4.1 RDB文件損壞了怎么辦redis-check-rdb來(lái)救場(chǎng)RDB文件可能在寫入過(guò)程中遇到斷電、磁盤滿、進(jìn)程被殺等情況而損壞。Redis啟動(dòng)時(shí)如果發(fā)現(xiàn)RDB文件不完整會(huì)拒絕啟動(dòng)并報(bào)錯(cuò)。這時(shí)候不要慌用Redis自帶的工具redis-check-rdb來(lái)檢查修復(fù)。用法很簡(jiǎn)單redis-check-rdb /var/lib/redis/dump.rdb它會(huì)掃描整個(gè)文件揪出哪里損壞能修復(fù)的就自動(dòng)修復(fù)生成一個(gè)正常文件。注意如果是硬盤物理壞道導(dǎo)致的文件損壞修復(fù)后的數(shù)據(jù)可能仍然不完整所以我在前面的備份策略里強(qiáng)調(diào)“多版本備份”目的就是這種情況下還能有備胎。4.2 磁盤IO暴漲罪魁竟是BGSAVE有段時(shí)間我們的Redis服務(wù)器明明只有每秒幾百次讀寫磁盤IO卻時(shí)不時(shí)沖到100%查了半天沒(méi)頭緒。最后用iostat -x 1盯了幾分鐘發(fā)現(xiàn)每次IO飆升都對(duì)應(yīng)著一個(gè)redis進(jìn)程的寫文件操作再看INFO persistencerdb_last_bgsave_status:ok但rdb_last_bgsave_time_sec高達(dá)30多秒。問(wèn)題出在我們的save配置太激進(jìn)60秒內(nèi)只要1萬(wàn)個(gè)key變化就觸發(fā)快照。當(dāng)時(shí)業(yè)務(wù)正在做數(shù)據(jù)遷移大量寫入導(dǎo)致頻繁觸發(fā)BGSAVE文件又大寫盤時(shí)間成倍增加。解決辦法把自動(dòng)save策略改成了一個(gè)每小時(shí)一次的低頻兜底日常高并發(fā)時(shí)段把寫遷移的熱key先行拆分并用監(jiān)控在BGSAVE執(zhí)行期間重點(diǎn)關(guān)注磁盤IO。調(diào)完之后IO峰值降了80%。4.3 重啟之后數(shù)據(jù)沒(méi)恢復(fù)三個(gè)隱藏原因排查“重啟后數(shù)據(jù)丟失”這種問(wèn)題時(shí)大多數(shù)情況并不是Redis真把你數(shù)據(jù)弄丟了而是文件沒(méi)被正確加載。我總結(jié)了三個(gè)高頻原因。第一個(gè)dir配置不一致。你配置文件里寫的dir是/var/lib/redis但CentOS上用systemd部署時(shí)有些啟動(dòng)腳本會(huì)覆蓋工作目錄實(shí)際找的是別處啟動(dòng)后自然找不到dump.rdb。我總是用CONFIG GET dir確認(rèn)運(yùn)行時(shí)目錄。第二個(gè)文件權(quán)限問(wèn)題。Redis用redis用戶跑的dump.rdb的權(quán)限若是root:rootRedis啟動(dòng)時(shí)雖然能建新文件但舊的加載不了也不會(huì)報(bào)特別明顯的錯(cuò)。排查看一下目錄屬主馬上就能定位。第三個(gè)啟動(dòng)方式不對(duì)。沒(méi)有用SHUTDOWN SAVE或正常SIGTERM關(guān)閉Redis而是直接kill -9強(qiáng)制殺掉最后一次快照之后的數(shù)據(jù)自然就丟了文件本身還在?;謴?fù)時(shí)如果發(fā)現(xiàn)時(shí)間對(duì)不上看下機(jī)器有沒(méi)有異常斷電記錄就能印證是“沒(méi)來(lái)得及寫快照”。4.4 大實(shí)例全量同步慢到懷疑人生怎么破主從全量同步慢是運(yùn)維大Redis時(shí)最常見(jiàn)的問(wèn)題之一。數(shù)據(jù)量上了20GB之后主節(jié)點(diǎn)一邊BGSAVE一邊用網(wǎng)絡(luò)傳文件帶寬和磁盤雙雙打滿一個(gè)從節(jié)點(diǎn)完全同步可能要十幾分鐘期間主節(jié)點(diǎn)對(duì)外服務(wù)質(zhì)量明顯下降。我的處理經(jīng)驗(yàn)是先給主節(jié)點(diǎn)和同步目標(biāo)之間限速用repl-diskless-sync-delay和系統(tǒng)級(jí)帶寬限制錯(cuò)峰同步別讓同步流量跟業(yè)務(wù)流量打架。同步盡量在業(yè)務(wù)低峰期做比如凌晨。如果源實(shí)例太大全量同步太傷可以在添加從節(jié)點(diǎn)之前從備份機(jī)上拿一份較新的RDB文件先啟動(dòng)一個(gè)從節(jié)點(diǎn)把它作為級(jí)聯(lián)同步的中間層把主節(jié)點(diǎn)的壓力卸掉。最后說(shuō)一點(diǎn)RDB全家桶雖然好用但定期檢查版本兼容性問(wèn)題也是有必要的。大版本升級(jí)Redis后老版本RDB文件并不是總能被新版本直接加載先看官方Release Notes再在測(cè)試環(huán)境用真實(shí)備份驗(yàn)證一次能省下很多線上事故。結(jié)語(yǔ)回看我這些年的實(shí)踐ROB持久化這塊最深的感悟就是一句話配置寫對(duì)只是及格能排查、能演練、能因地制宜做取舍才算真正把持久化用明白。每次給團(tuán)隊(duì)做Redis培訓(xùn)我都會(huì)強(qiáng)調(diào)不要等項(xiàng)目重啟了才想起沒(méi)有持久化也不要因?yàn)殚_(kāi)了RDB就安心躺著文件的完整性、備份的合規(guī)性、恢復(fù)的可行性都是需要持續(xù)關(guān)注的事。最后再分享一個(gè)小技巧。我習(xí)慣在每個(gè)Redis實(shí)例的配置里以注釋方式記錄持久化策略的決策原因比如“為什么這里只開(kāi)RDB不開(kāi)AOF”寫清楚當(dāng)初的業(yè)務(wù)判斷。半年后回來(lái)看這些注釋比文檔還管用能幫你快速回憶當(dāng)時(shí)的思路也避免繼任者在不了解背景的情況下胡亂改配置。希望這篇關(guān)于RDB的完整拆解能幫你在生產(chǎn)環(huán)境里把Redis持久化用得明明白白。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情深爱综合| 免费观看18视频网站| 亚洲、欧美、国产另类笫二区| 婷婷五月天影院| 五月天婷婷一起草| 丁香五月天狠狠操| 亚洲操女| 婷婷五月天成人网| 91超碰在线观看| 天天色色婷婷| 六月丁香婷婷视频综合在线观看| 丁香五月婷婷99| 夜夜爱网站| 五月丁香六月香综合激情| 亚洲成人av在线播放| 色吧五月| 亚洲久热| 丁香婷婷基地| 99在线公开视频| 五月丁香影院| 99热免| 99惹在线精品免费观看| 久久 婷婷 五月天| 婷婷色在线播放| 99久久国产宗和精品1上映| www.99热在线| 丁香成人五月天| 色97综合婷婷天天色| 噜噜色五月| 1024人妻| 色色网站| 色99视频| 在线中文av| 五月婷婷我| 婷婷午夜| 国产激情视频在线观看| 永久免费视频| 五月丁香色婷婷久久| 伊人九九68| 婷婷五月天综合在线| 丁香五月六月婷婷怡红院| 色婷婷婷av| 我去色色网五雨天| 91热视频色网站| 婷婷99视频全集高清| 禁欲电影完整版在线播放| 久9无码视频| 日韩十国产极品久久| peg 2区三区四区的| 夜夜资源站| 久久九九99.www| 欧美交换配乱吟粗大25P| 996er热| 六月婷婷开心| 婷婷成人视频| 99丁香五月婷| 99热人人| 激情五月天色色网| 国产伦亲子伦亲子视频观看| 日韩AV免费看| 亚洲综合碰| 激情久久伊人| 九九中文色色| 五月天伊人久久久久| 天天肏天天舔AV| 黄桃AV无码免费一区二区三区| 99精品免费| 中文字幕 中文字幕明步| 91丨九色丨白浆| 丁香六月婷婷综合缴| www.五月天社区| 亚洲综合丁香婷婷六月天| 丁香六月婷婷五月天| 婷婷五月天在线看| 丁香涩涩五月天| 天天日夜夜操五月| 婷婷激情社区| 久久99婷婷| 99精品国产热久久91色欲| 秋霞AV淫| 激情五月综合| 婷婷五月综合基地| 精久久色| 亚洲中文字幕在线观看| 丁香五月婷婷六月婷| 亚洲 在线 性爱 | www热久久yy9| 丁香五月手机在线| 97在线观看| 亚洲午夜成人av电影网| 99色.com| 丁香五月婷婷综合视频| 色婷婷久久综合丁香五月| 五月激情综合美女久久| 天天爱天天爽| 超碰精品在线| 日日操夜夜操中国无码| 超碰av在线| 五月婷婷久久综合| 99精品热| 日本熟妇乱妇熟色A片蜜桃| 99五月香婷婷丁香在线视频| 国产午夜精品一区二区| 十月丁香婷婷| 啪啪99| 成人短视频在线| 五月天综合网| 激情综合婷婷久久| 婷婷黄色五月天在线视频| 婷婷亚洲在线| www99热| 天天干天天拍| 啪啪99| 开心五月激情| 日日干天天| 九九五月天| 日本天天色| 婷婷五月综合社区在线| 久久只有这里精品免费| 亚洲激情网| 丁香五月电影| www.久久9| 亚洲综合婷婷| 激情深爱综合网| 操一区| 婷婷丁香18| 六月丁香婷婷色狠狠久久| 国产精品久久99| 五月婷婷九月婷婷九月婷婷| www.99视频| 草草色情综合网| 97婷婷在线视频| 久er7久热| 婷婷五月激情五月激情| 北京熟妇搡BBBB搡BBBB| 亚洲天堂99| 色性日本| 极品少妇高潮啪啪AV无码| 婷婷色色丁香| 日日操日日爽| 97 天堂| 五月丁香色婷婷色| 啪啪六月婷婷| 成人做爰黄A片免费看直播室男男| 亚洲狠狠婷婷| 九九精品免费| 色婷婷亚洲综合天堂| 色五月xxx| 五月天啪啪啪| 久久久久视剧HD| 新99色色色色色色| 99热九九热| 日韩无码人妻一区二区| 99爱无码| 狠狠爱婷婷五月天| 人人摸人人干人人做| www.日日夜夜.com| 亚洲国产成人在线| 婷婷五月丁香啪啪| 超碰操网| 99热这里精品| 五月丁香六月激情综合网| 五月婷婷五月丁香| 久久久久久18| 欧美人妻一区二区| 9999热精品| 天天综合亚洲综合| 丁香五月之久操视频| 99re热精品视频国| 深爱五月婷婷| 婷婷五月天va| 亚洲妇女熟BBW| 久久99这里只有精品| 1024国产| 婷婷色网| 色一情一乱一乱一区91Av| 成人婷婷| 五月婷婷之综合激情| www.91在线观看| 五月丁香花婷婷玉莉AV| 97偷拍对白视频| 毛片新网地| 中文字幕欧美日韩VA免费视频| 五月丁香激情综合啪| 97在线精品| 国产操B视频| 久久天天| 丁香婷婷五月综合色情| 99久在线精品99re8| 亚州精品色情无码A片| 日韩成人网址| 综合xx网| 欧美一级a | 五月激情六月综合| 538在线| 婷婷激情六月| 婷婷五月天影视| 任你躁XXXXX麻豆精品| 插插干干干色| 色播色丁香五月| 国产婷婷五月天| 精品成人在线| 99热97| 亚洲成人AV在线| 九九热在线精品| 色色综合院| 六九色综合婷婷五月天| 激情综合无码| 97在线观视频免费观看| 97色色综合| 97人人看一| 久久九九@| AV在线大香蕉| 亚洲六月色| 综合激情网激情五月。| 中文字幕AV网址| 天天操婷婷| 操碰97| 国产精品久久..4399| 99热超碰| 九九色综合视频| 97五月婷婷| 亚洲欧美婷婷五月色综合| 伊人久久激情图区五月| 婷婷五月丁香综合桃花色网| 99精品在线观看视频| 六月婷婷日| 九色激情| 色综合五月天| 五月丁香六月婷婷操操操| 五月丁香成人| 激情五月婷婷视频| 色色丁香婷婷| 色播婷婷五月天| 字幕网AV中文字幕| 超碰成人电影| 色丁香影院| 五月色婷| 五月开心啪啪| 天天干天天拍| 99re视频在线播放| 99视频只有这里精品| 色婷婷先锋| 天天干天天爽| 国产精品视频| 五月WWW| 99热在线精品播放| 碰超在线九色| 日本视频不卡123区| 九九九午夜视频| 婷婷啪啪| www.婷婷| 五月丁香婷婷激情澎湃四射| 婷婷五月综合婷婷| 人妻激情综合| 五月婷婷,六月婷婷| 26uuu精品一区二区| 久久亚洲婷婷| AAAA亚洲| 男女99免费视频| 99久99久| 少妇性BBB搡BBB爽爽爽电影| 五月丁香香蕉| 天天干天天爽| 欧美丁香婷婷五月天| 大功率国产在线| 色欧美日| 色五月美女| 亚洲高清在线| 99综合视频| 五月天激情无码高清| 人妻人人操| 亚洲不卡123| 疯狂做受XXXX高潮A片| 激情啪啪五月| 五日激情综合| 色婷婷精品| 日日操,日日爽| 激情久久肏屄视频| 色久影院| 98永久精品| 99色在线观看视频者| 噜噜噜噜噜日本视频| 婷婷五月丁香啪啪| 超碰成人av| 亚洲xx在线| 夜精品无码A片一区二区蜜桃| 五月婷婷色色色| 综合网视频| 激情九九综合网| 翔田千里aV中文字幕| 91Chinese在线| 婷婷婷久久久| 激情av在线| 中文字幕高清av| 99视频| 丰满老熟妇BBBBB搡BBB| 精品一二三区久久AAA片| 成人午夜无码视频| www.婷婷五月天.com| 色色色色色网| AV色婷婷| 五月婷婷六月丁香综合在线| 五月婷婷久久综合| 狠狠穞A片一區二區三區| 99精品久久| 黄色三级日本| 综合色色网| 丁香五月天婷婷激情| 丁香六月婷婷| 被男人添B超爽视频| 久久婷婷六月综合| 久久性爱网| 婷婷影院A成人| 思思热久久爱| 精品久久久人妻| 日日日日操| 99热视精品| 淫荡综合网| 色综合综合网| 色婷婷丁香五月| 六月婷婷色色色| 久久久久人妻| 婷婷五月天av| 少妇高潮呻吟A片免费看软件| 青青草视频免费观看| 国产成人AV| 伊人久久丁香五月91| 1024欧美看片| 婷色五月天| 玖玖国产视频一区| 1995年关宝慧版蜘蛛女| 九九热最新地址| 国产在这里只有精品| 久99热在线观看| 婷婷五月天AV| 69热91天堂| 777久久久| 99在线资源| www.99视频| 日韩五月天婷婷| 五月天婷婷在线播放免费| 色噜噜狠狠一区二区三区| 九九精品自拍| 风流少妇A片一区二区蜜桃| 最新无毒无码AV| 另类图片五月天激情| WWW,五月| 婷婷五月激情片| 五月婷婷人妻| 91碰超| 99热超碰在线| 99热精品10| 99久久精彩视频。| 久久精热| 日本狠狠干| 奇米影视在线视频| 欧美群妇大交乱婬网| 丁香五月,激情五月,深爱五月| 九九99在线| 综合99综合久久久久久久| 翔田千里aV中文字幕| 五月天激情视频五月天| 九九碰九九爱97超碰| 五月丁香婷婷成人网| 综合九九久久| 狠狠999| 激情图片久久| 激情综合网婷婷五夜| www.婷婷,com| 99热99re6国产在线播放| 五月天激情久久| 99热国品| 91成人看片| 亭亭色天香| 超碰日日操| 免费无码毛片一区二区A片 | 成人午夜天| 九九人人看| 五月综合婷婷开心网| 激情五月综合| 丁香深五月婷婷| 色情久久久| 99精品久久久久久久婷婷久久| 91丨九色丨高潮丰满日本| 午夜伊人大香蕉| 婷婷九月色| 色婷婷五月综合| 成人免费120分钟啪啪| 99在线观看精品| 这里只有精彩亚洲视频推荐| 北京熟妇搡BBBB搡BBBB| 免费国产VA国产免费| 色五月 五月婷婷| 欧美特大片黄| 中文字幕日产A片在线看| 亚洲精品视频电影| 天天色综网| 日本熟妇乱妇熟色A片蜜桃 | 六月婷婷色综合| 天天操精品| 天天干天天 亚洲| 夜夜夜夜夜操| 色欲色天天香综合| 五月丁香婷婷婷激情爱爱| 狠狠狠狠狠狠草| 丁香五月亭亭六月综合激情网| 99九无网码| 黄色aa观看aaguochan| 婷婷大美在线| 亚洲乱码日产精品BD| 五月丁香美女| 五月婷婷激情综合| 激情六月下句是什么| 99日本黄站| 97人妻碰碰碰久久| 激情五月婷婷| 欧美性爱一区| 98永久精品| 婷婷九月丁香天堂丁香天堂| 五月在线| 婷婷色中文| 亚洲色色香蕉| 六月丁香成人| 五月婷婷导航| 九色视频91疯狂| 人人摸人人干| 丁香五月婷婷激情网| 色五月五月婷婷| 国产一区18| 五月丁香激情综合啪啪| 人妻九九九九| 色噜噜狠狠色综| 永久精品| 婷婷婷五月天最新综合你懂的| 久久在线视频免费观看| 亚洲成人乱码av网站| 午夜天堂一区人妻| 26uuu亚洲精品国产| 黄色av网站在线免费播放| 五月丁香婷婷久久| 狠狠色噜噜色狠狠狠综合色| 丁香婷婷激情五月天无毒不卡蜜桃| 婷婷五月天首页激情| 五月丁香成人视频| 欧美日韩成人免费在线| 五月激情小说网| 久久er免费视频| 欧美韩国日本| 婷婷开心激情五月激情网| 五月天丁香花婷婷| 91精品在线看| 激情 五月 婷婷 丁香| 91久久婷婷| 午夜无码精品色综合久久| 在线播放 精品| 九九精品网| 碰97久久| 成人做爰高潮A片免费视频| 五月丁香综合伦理片| 久热精品免费视频4| 夜夜干天天干| 色 免费网站视频| 亚洲乱码日产精品BD| A久网| 成人网在线视频| 26uuu成人网| 北条麻妃伊人 | 五月天久久网站| 丁香婷婷五月综合影院| 99精品在线观看视频| 婷婷五月天亚洲色| 色情开心五月| 日产精品久久久久久久蜜臀| 色五月亚洲| 日本三级黄色大片| 99热 日韩| 男人的天堂五月丁香| a色色片| OYIWbGcPu8H| 九月激情网| 五月丁香婷婷激情| 五月天丁香成人| 中国丰满熟女A片免费观| 日本人人xxx| 五月天婷婷色在线视频免费观看 | 丁香久久| 亚洲精品国产精品乱码视99| 色婷婷五月基地在线| 偷拍99在线视频观看| 在线色色| 色欧洲| 五月婷婷五月丁香综合| 五月天丁香欧美激情| 五月花婷婷| 99热在线只有精品| 五月天综合区| 99热超碰| 五月天停停日日| 国产成人精品一区二三区熟女在线| 激情网五月| 狠狠va| AV五月丁香| 色人妻五月| 天天干,天天舔| 激情骚五月| 嫩草AV久久伊人妇女超级A| 久9视频免费播放| 中文字幕日韩无码制服诱或| 狠狠色色| 丁香九九九九| 亚洲乱啪| 爱穴久久| 香蕉久久av一区二区三区| 日本色道视频网站| 99成人| 中文字幕性爱丰满| 色丁香在线视频| 色999五月色| 91午夜婷婷狠狠久久综合9色| 亚洲成人五月天| 久青草影院| 99er视频在线| 五月婷婷插一插| 国产精品成人在线| 欧美成人AAA片一区国产精品| 99久久网站| 99在线免费观看| 99综合激情久久精品久久| 888精品福利地址| 日本三级韩三级99久久| www.婷婷五月天| 五月丁香婷婷啪啪网| 亚洲无码影音| 五月天丁香婷婷视频网址| 操碰97| 色五月av| 五月天婷婷在线播放| 亚洲第一黄网| 91人操人人人操人| 国产97色在线 | 日韩| 五月丁香六月婷婷啪啪| 91久草五月天婷婷| 九九激情| 强奸幻女毛片| 丁香天堂夜| 日日操夜夜操中国无码| 婷婷伊人綜合| WWW久久99久久99久久| 色婷网站| 男人的天堂99| 94干大香蕉| 五月丁香婷婷激情四射迷人| sewuyuetingtingiii| 五月丁香久久色| 日本专区久久| 中文字幕欧美精品久久| 一起肏在线视频| 碰碰人人漕| 五月天婷婷狠狠| 99re久热只有精品6在线直播.com| 天堂五月婷婷| 亚洲AV网址| 五月天婷婷免费| 超碰91在线| 99热婷婷| 中文网AV| 色色色色色色综合| 另类小说激情五月天| 99r这里| 婷婷五月在线播放| 91超碰在线播放| 色你久久| 婷婷综合| 欧美人人草草| 全高清无码视頻| 五月丁香美女视频| 激情宗合网激情五月天| 婷婷丁香18| 视频一二区| 五月天亭亭俺也| 国产午夜成人AV在线播放| 噢美99| 色婷婷四色| 99福利导航| 五月天色区| 91人人人人人| 五月天天综合| 九九精品这里只有| 99热成人在线观看| 啪啪综合| 激情人妻蜜夜系列区| 欧美69色| 人人草成人视频| 久久机只有这里精品| 亚洲综合色棒| 丁香六月啪| 中文毛片无遮挡高潮免费| 色五月激情综合网站| 久久久激情视频| 丁香桃色综合网| 五月天天天色| 狠狠色婷婷777| 六月丁丁香| 丁香花综合永久入口| 色欲五月婷婷| AV天堂淫乩| 99爱视频在线观看这里只有精品| 六月丁香五月婷婷| 欧美操综合| 99色在线视频| 五月天婷婷爱| 开心激情婷婷| 激情五月瑟瑟| PORNY九色9l自拍视频成人| 婷婷 亚洲图片 丁香| 五月丁香六月婷婷成人电影| 精品少妇人妻AV无码专区偷人| 97丁香视频| 国产日批视频免费播放| 网站免费一站二站| 性做爰1一7伦| 大香蕉99热| 色欲资源网| www.久久久.com| 超碰免费人| 婷婷五月丁香综合| 日韩啊啊啊| 无码激情AAAAA片-区区| 国产99久久久| 欧美性色视频| 天天色综网| 五月丁香综合网| 色婷婷影| 精品国产va久久久| 少妇被下春药玩弄A片| 超碰chaompinm| 日韩无码色色| 亚洲人操亚洲人| 久草久青福利| 久99视频在线观看| 亚洲视频无| 色婷婷五月天堂资源| www久久99| 99re在线精品视频| 这里只有精彩视频| 日美三级| www.婷婷,com| 国产午夜精品一区二区三区嫩草| 久青青久| 超碰91人人操| 天久久久久| 狠狠插日日干撸| 色婷婷小说| 天天做天天爱天天摸| 九热...av| 色婷婷色综合激情91| 色婷婷五月天视频在线| 色啪久 | 91九色网| 欧美日本VA| 99热99干| 91干| 婷婷色五月丁香六月欧美啪| 9|无码久久久久久| 五月色色网| 五月婷婷色播| 欧美va在线观看| 欧美啪啪五月天| 99热这里只有精彩| 日韩成人中文| 五月丁香六月婷婷手机无线| 亚洲狠狠终合停停终合| 99热这里只有精品1998| 99久久婷婷国产综合精品电影| 久久99热 这里有精品| 色欲资源网| 少妇水多A片太爽了| 色婷婷丁香五月丁香| 欧美大片免费播放器| 少妇丁香婷婷 | 五月在在观看| 天天日色情| 日本操逼九九九九58日本操逼| 激情综合色婷婷啪啪五月天| 激情网综合| 伊人大香蕉毛片| 99乱视频| 婷婷五月大香蕉| 欧美精品999| 天天爱天天做天天日| 99这里有精品视频| 五月丁香六月婷婷中合网| 不卡的AV网站| 狠狠做深爱婷婷久久综合一区| 美女91一起草| 亚洲色五月| 激情久久综合| 三男玩一女三A片| 色五月天视频| 国产免费av在线| 午夜色婷婷| 色丁香五月婷婷婷| 丁香色婷婷色手机免费在线| 婷婷五月激情视频在线| 久久一级片| 91碰碰碰| 玖久精品视频9| 久操大屁股女人av| 色婷操逼| 丁香五月亭亭六月综合激情网| 日日操夜夜擼| 婷婷五月色| 天天综合情| 国产精品久久久爽爽爽麻豆色哟哟 | 日日日日日| 色欲资源网| 婷婷色在线视频| www色色com| 操笔无码| 蜜乳人妻一区二区三区| 精品视频这里只有精品| 亚洲五月六月婷婷| www.色综合.com| 秋霞午夜理论| 五月婷婷国产| 99热国产| 激情五月天视频| 五月婷婷五月丁香综合| 久久丁香婷婷五月| 激情综合色| 丁香六月婷婷综合在线| 涩五月婷婷| www。五月,com| 国产精品日日躁夜夜躁| 五月婷婷色情| 99色在线视频| 色九九一二| 99无码视频| 五月精品| 国产日韩欧美性生活| 97五月综合网| 在线视频区| 久久三级视频| 夜夜躁爽日日| 99色视频在线观看| 婷婷色导航| 国产五月视频| 亚洲色五月婷婷| 欧美性丁香色色五月天干干| 五月丁综合在线观看| 伊人网碰碰| 拍色综合| 午夜天堂一区人妻| 国产午夜一区二区三区| 欧美日本va| 婷婷亚洲丁香五月| 婷婷综合| 九月婷婷激情| 伊人久久大香| A片试看120分钟做受图片| 欧美日韩99| 九九无码| 九九这里都是精品| 九九热短视频在线观看| 五月色婷婷亚洲| 亚洲黄色精品| 大香蕉狠狠爱主页| 97伦色婷婷| 操人妻AV| 免费观看18视频网站| 99热超碰在线| 久久xx| 香蕉网久久| 中文字幕av网站| 超碰在线50| 久久精品一区二区三区四区| 色五月婷婷网| 色噜噜狠狠色综合日日| 91丨九色丨白浆| 99精品视频网| 精品人妻一区二区三区四区不卡在| 这里只精品| 26uuu国自产精品| 超碰九色| 色婷婷电影网| 性色人人爽| 91尤物九色在线| 激情av在线| 99久久喉9| 综合久久十三| 中文字幕成人版| 色六月 婷婷| 超碰人妻公开在线| 国精产品一区一区三区免费视频| 全部老头和老太XXXXX| 九九热九九| 色色五月天激情| 五月天啪啪| 激情99| 99在线精品免费视频| 夜精品无码A片一区二区蜜桃| 色色丁香| WWW.久久.COM| 国产熟妇的荡欲午夜视频| 国产成人精品123区免费视频| 婷婷五月色| 欧洲色| 亚洲欧美在线观看| 狠狠操狠狠色| 99热官网精品在线| 狠狠爱婷婷丁香| 五月婷婷三级| 亚洲 综合中文| 五月婷婷丁香伦理网| va中文资源在线观看| 亚洲色婷婷网站| 色婷婷深爱五月| 久久久五月婷婷| 婷婷开心六月| 狠狠xx| 婷婷激情六月综合| 久久性爱视频| 99色色网| 91精品91久久久久77777| 免费99色| 五月丁香啪啪啪综合网| 欧日美女Va| www.夜夜爱.com| 亚洲国产网站| 五月丁香999| 5月婷婷6月丁香aV| 亚洲视频伍月婷婷| 色婷婷综合久久久久| 91操人视频| 91在线97视频| 色五月五月婷婷| 亚洲va日| 精品免费99| 婷婷五月花| 五月开心网| 色婷婷丁香五月| 色爱爱综合网| 久久久性爱视频| 久久人妻爱爱| 五月六月丁香激情| 激情五月婷婷网| 日本人妻伦在线中文字幕| 激情五月天.色网| 伊久久婷婷| 午夜性爱影视一区77| 日本狠狠网| 91一起操| 色色六月| 激情小说五月天社区丁香| 五月丁香婷中文字幕 | 91超级碰碰| 狠狠婷婷色综合| 激情99| 日日射天天射| 久久五月婷婷丁香| 中文字幕有多少字| 久久婷婷五月综合色奶水99啪| 一本久久亚洲五月婷婷| 五月婷婷日| 欧美三级巜人妻互换| 日韩在线一级| 四虎婷婷五月天| 色婷婷精品视频| 少妇真实被内射视频三四区| 国产激情在线| 这里只有精品视频99| 色99视频| 色婷婷中文在线| 色婷婷丁香五月天| 国产成人精品123区免费视频| 成人中文字幕在线| 久久综合丁香激情五月| 欧美激情五月天| 五月综合丁香婷婷| 六月丁AV| 亚洲日韩一页精品发布| 九九亚洲综合| 九月丁香五月婷婷| 婷婷五月天综合网| 九九青草热| 婷婷激情五月天桃花网| 亚洲中文无码成人| 99九九视频精彩在线| 久久精品99国产精品日本| 日本啪啪网| 激情五月天伊人影院| 做爰丰满少妇1313| 狠狠爱婷婷爱| 天天夜夜操| 国产精自产拍久久久久久蜜| 日本一道久久| 可以免费观看的AV| 任你弄在线视频免费| 色激情综合狠狠婷婷| 午夜成人AV在线| 怡红院成人AV| 思思热久久爱| 99色在线| 大香蕉天堂| 五月天播播中文字幕| 草了bav视频在线观看| 久青青久| 亚洲99热| 亚洲综合色色| 97在线综合| 99久久五月丁香野外| 丁香五月五月婷婷五月天激情四射| 天天日日夜夜| 婷婷激情丁香五月天综合| 97视频久久| 婷婷激情视频| 婷婷九月在线| 人人插9| 丁香五月天色婷婷| 97超碰在线观看免费| 色播丁香五月婷婷操:屄| 色色a| 婷婷伊人綜合中文字幕小说| 97人人干人人操| 婷婷五月天情色| 5月婷婷6月六月丁香| 五月婷综合| 六月丁香久久| 丁香五月成人丝袜| 五月丁香中文| 九九99视频精品| 九九99一区| 婷婷综合干| 色婷婷五月天视频网站| 琪琪色五月婷婷老师| 七七九九色色| 国产成人精品一区二三区熟女在线| 色五月丁香五月五月婷婷| 丁香五月天激情综合| 九九热九九热精品| 成人免费120分钟啪啪| 色五月xxx| 超碰99热| 老司机午夜福利视频金瓶梅| 国产精品18久久久| 丁香婷停五月激情综合深爱| 婷婷五月综合社区在线| 婷婷五月天影院| 色色色婷婷五月天| 青青草深爱激情网| 久久小说网| www99热| 9有码中文| AV九九| 另类小说婷婷色| 影音先锋91资源站| 久婷五月| 99视频精品8 | 九九亚洲视频| 激情五月综亚网| 婷婷综合九色伊人| 婷婷九月亚洲| 麻豆科斗777| 六月丁香AV| 99视频九九热| 五月色 亚洲| 亚洲蜜乳AV| 超碰人妻在线| 五月情涩综合婷婷| 日本WWW九九九| 婷婷五月天AV| 色久五月天| 五月综合久久| 五月婷婷综合激情小说| 26.uuu丁香五月婷婷| 五月开心六月婷婷在线播放网站| ai97re99一本| 五月天婷婷色综合| 这里只有免费的精品| 丁香婷婷九月| 亚洲日韩一页精品发布| 激情五月婷婷五月| 99色色热热| 久久se 综合网 | 99er日韩| 激情五月婷婷色色| 我爱大香蕉| 九九视频这里有精品| 97自拍视频在线| 婷婷久久色五月婷婷久久久| 99热国产精品| 99爱免费在线视频| 色色色欧美| 影音先锋AV资源男人站| 五月天激情视频| 日本丁香五月| 欧美色色色色色色色色色色影视| 日本视频欧美观看免费| 色婷婷成人做爰A片免费看网站 | 亚洲VA口| 26uuu国产色| 一本久道综合99| 亚洲亚洲人成综合网络| 婷婷丁香久久| 可以观看的AV| 五月天婷五月天综合网在线观| 97在线日本| 国产精品18久久久| 丁香色色网| 99热无码| 婷婷五月丁香基| 亚洲国产成人综合| www.com色播五月天| 五月天开心色色网| 老司机日日夜夜青草| 99热这里只有精品5| 五月天婷婷在线啪啪视频| 97精品自拍| 97婷婷丁香五月综合| 亚洲亚洲人成综合网络| 日韩aaa| 九九热视频在线观看| 色色色.COM| henhencao国产在线| 丁香五月1页| 97伦色婷婷| 丁香婷婷狠狠97| 久久在线视频免费观看| 九色婷婷| 色六月婷婷| 亚洲热久久| 五月丁香亭亭天天舔| 天天干天天日日| 九九九这里只有精品| 婷婷无码视频| 久久综合网桃花| 我想看国产大学生口爆吞精的视频| 色五月婷婷在线观看第一页舔| 99成人| 婷婷色影院| 五月天丁香综合| 1024操逼视频| 99热这里只有精品9| 色五月在线视频观看| 激情五月婷婷色播网| 六月五月久久丁香| 五月婷婷开心激情六月蜜桃| 五月婷婷性爱| 91久久婷婷| 激情综合久久| 99热青青草| 欧美婷婷日本| 丁香五月天激情免费在线观看AV777| 色五婷婷| 久久人妻www| 性生活视频98791| 五月天社区狠狠| 人妻内射麻豆视频| 天天做天天要天天爽| 色综合久久天天综合网| 婷婷五月综合欧美在线播放| 五月婷免费视频久久久| 中文不卡一二三区| 狠狠色丁香99| 婷婷涩五月天综合| 婷婷五月天色综合| 婷婷六月丁香欧美视频在线| 丁香六月婷婷综合缴| 婷婷激情视频欧美视频自拍视频欧美剧| www.99视频| 久久五月丁香| 92久久| 色偷偷五月天| 9999久久久久| 色狠狠色综合久久久绯色aⅴ影视| 亚洲AV成人一区二区在线观看| 五月丁小婷婷激情四射| 色综合久久8| 色色丁香五月天社区| 婷婷99狠狠躁天天躁中| 狠狠色丁香五月婷巨| 五月丁香日本在线视频观看| 男人综合网| 四色女婷婷| 激情www| av网址在线| 九九热精品在线| 东京热五月婷婷| 视频在线免费观看欧洲乱码| 成人网站av免费网站推荐| 99热18| 婷婷久久五月| 亚洲经典小视频| 狠狠干综合网| 九九Av| 久草婷婷在线| 婷婷成人AV| 丁香六月啪啪| 九九热在线观看视频网站| 亚洲五月天狠狠| 国产精品色色| 国产激情久久久| 精品热九九| 久久性操| 久久99久久99精品免视看婷婷| 毛片毛片毛片毛片| 91精品无码| 野战J办公桌椅H| 91窝窝| 色综合夜夜| 能看的av片| 综合99久久天天综合| 久久综合五月天| 五月做爱| 欧美日综合| 伊人久久五月天| 久久久27操| 三十熟女| 亚洲AV中文在线| 亚洲在线激情婷婷五月| 婷婷五月激情中文字幕| 五月丁香啪啪啪| 一区操| 六月亚洲婷婷6月中文字幕| 五月色亭丁香| 国产精品美女| 亚洲12p| 99精品超在线播放| 亚洲天堂亚洲色色色| 色噜噜狠噜噜视频| 九九99精品| 五月丁香在线观看99| 色五月天成人在线| 激情网婷婷五月天| 色伦专区97中文字幕| 久9久9热久热| 欧美婷婷五月天综合| 激情视频网址| 久婷视频| 亚洲丁香五月综合| 婷婷狠狠18禁久久| 亚洲传媒在线观看| 狠狠操狠狠爱| 色婷婷激情五月天| 五月婷婷激情色情网| 生活片五区| 婷婷五月丁香四射| 久久99激情| 激情五月婷婷| 婷婷丁香大香蕉| 热久久99视频| 激情丁香九九五月综合网| 在线超碰免费| 五月婷婷开心色伊人| 五月天综合激情网| 婷婷9月天| 色五月婷婷、老熟女| 99九九热在线观看| 久久婷婷电影| 久热这里只有精品66| 婷婷五月无码| 日本天堂爱爱| 亚洲最大视频| 中国丰满熟女A片免费观| jiujiu热在线视频| 激情AV在线| 婷婷五月天综合久久日| 无码天天操| 久久性爱视频| A1片久久久| 五月天啪啪啪| 久久综合9| 天天色伊人| 99视频在线| 婷婷久月| 五月激情影院| 国产成人亚洲综合亚洲| 思思热国产在线| 99视频在线| 五月天婷婷综合久久| 婷婷色网站| 欧美操逼天堂| 五月婷婷色五月| 九九Y精品热播| 新激情五月开心五月婷婷五月丁香五月| 丁香五月性| 六月丁香啪| 激情五月影院| 丁香五月综合高清在线| 久热九九| 国产老熟妇亲子乱对白| 五月天伊人久久久久| 婷婷 伊人 久久| 婷婷中文字暮| 久久se 综合网 | 五月天丁香啪啪啪啪| 狠狠干青青草| 婷婷91视频| 人人舔天天| 日日操夜夜爽白洁| 5月婷婷五月天| 天天插操| 九九综合久久| 久久五月天激情| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 在线观看中文字幕亚洲| 超碰高清在线| www.97碰碰com| 激情九月婷婷| 99ri在线播放| 综合久久综合| 色情综合网| 99无码| 情五月亚洲婷婷| 五月丁香婷婷钟和色图| 新精品99| 97狠狠碰| 六月婷久久| 午夜丁香丁香婷婷| 国产99热| 精品婷婷五月视| 亚洲综合色成丁香五月色| 五月丁花六月丁香综合| 久久久久视剧HD| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 婷婷色色亚洲| 99免费在线| 婷婷欧美激情综合| 538任你爽| 99热热九九| 亚洲岛国电影| 久久婷婷五月综合啪| 欧美激情综合色综合啪啪五月| 五月激情影院| 丁香五月人妻熟女| 开心婷婷五月综合| 九九色播五月丁香| 高清无码.com| 久久五月婷综合| 婷婷五月天激情电影小说| 色热久| 大战熟女丰满人妻AV| 六月丁香激情综合| 操日本三片99| 97色色网| 在线可以看的av网址| 色噜噜五月天| 激情五月激情综合网| 五月五婷婷| 99在线视频免费| 超碰超碰在线| 狠狠干在线视频| 婷婷第一页| 狠狠色婷婷7777久| 69激情小说| 日韩 中文 欧美| 中文字幕有多少字| 91成人性爱视频| 99免费成人网| 亚洲啪啪自拍| 婷婷 伊人 久久| 开心四月婷婷在线色播播| 亚洲激情五月| 欧美成人AAA片一区国产精品| 色色色.COM|