欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Kubernetes集群備份與恢復(fù)實(shí)戰(zhàn):etcd快照與Velero雙保險方案

Kubernetes集群備份與恢復(fù)實(shí)戰(zhàn):etcd快照與Velero雙保險方案 自打開始正經(jīng)維護(hù) Kubernetes 集群之后我?guī)缀趺刻於紩煌粋€問題敲打如果哪天 etcd 數(shù)據(jù)盤壞了、誤刪了一個 namespace或者整臺 Master 節(jié)點(diǎn)被清空你到底能不能把集群拉回來我相信絕大多數(shù)人的第一反應(yīng)是有資源清單啊丟了重建不就行了。但真正經(jīng)歷過故障的人會明白這種想法在單機(jī)實(shí)驗(yàn)環(huán)境勉強(qiáng)成立放到生產(chǎn)環(huán)境里基本等于裸奔。因?yàn)榧豪锍?Deployment、Service 這些能kubectl get出來的對象還有大量的配置、密鑰、PVC 里的業(yè)務(wù)數(shù)據(jù)、CRD 資源、RBAC 授權(quán)關(guān)系這些東西一旦丟失想靠人工重建幾乎是不可能完成的任務(wù)。這篇博客就圍繞 Kubernetes 集群備份與恢復(fù)的完整配置與實(shí)踐展開。我會從備份思路講起逐步拆解 etcd 快照和 Velero 這兩套主流方案把命令、參數(shù)、常見坑、恢復(fù)演練的步驟全部攤開講。不管你是在自己搭的測試集群上做實(shí)驗(yàn)還是正在為生產(chǎn)集群設(shè)計(jì)容災(zāi)方案這篇內(nèi)容都能幫你在腦子里建立起一套清晰的備份恢復(fù)框架。先說明一點(diǎn)本文所有操作都基于我實(shí)際在用的集群環(huán)境驗(yàn)證過但版本差異會帶來細(xì)節(jié)上的變化閱讀時請結(jié)合你自己的集群版本做微調(diào)。1. 備份前先把思路理清楚到底要備份什么在動手配置任何工具之前我建議你先完成一輪“靈魂拷問”。因?yàn)閭浞莘桨傅脑O(shè)計(jì)本質(zhì)上是對集群資產(chǎn)做分類分類做不清楚后面所有備份動作都是盲目的。1.1 先問自己三個關(guān)鍵問題第一個問題如果集群徹底無法恢復(fù)你能否在 24 小時內(nèi)重建出所有業(yè)務(wù)這里說的業(yè)務(wù)不只是工作負(fù)載還包括它依賴的配置中心數(shù)據(jù)、數(shù)據(jù)庫內(nèi)容、消息隊(duì)列里的積壓消息、對象存儲桶以及 K8s 集群中的各種自定義資源。第二個問題你的備份是否被人為驗(yàn)證過備份文件存在那里沒有任何意義只有定期做恢復(fù)演練、并且演練成功過備份才算真正有效。第三個問題萬一發(fā)生誤刪操作你允許的數(shù)據(jù)丟失時間窗口是多久這個 RPORecovery Point Objective直接決定了你的備份頻率和備份方式。我把這些問題拿出來說是因?yàn)槲乙娺^太多人把備份等同于“對 etcd 做一個快照”。實(shí)際上etcd 快照只覆蓋 Kubernetes 控制面存儲的狀態(tài)它根本不包含業(yè)務(wù)容器寫入 PV 的數(shù)據(jù)。如果你跑的是 MySQL、Redis 這類有狀態(tài)服務(wù)PV 數(shù)據(jù)丟了etcd 再完整也只能幫你恢復(fù)出一個空殼數(shù)據(jù)庫。1.2 把資產(chǎn)拆成三個層次來看待我習(xí)慣把一個集群需要保護(hù)的資產(chǎn)分成三個層次。第一層是集群狀態(tài)層對應(yīng) etcd 中保存的幾乎所有 Kubernetes 對象包括 Deployment、Service、ConfigMap、Secret、Namespace、RBAC 規(guī)則、CRD 實(shí)例等。這一層的特點(diǎn)是數(shù)據(jù)量通常不大但變化極其頻繁任何一次kubectl apply都會改動它。第二層是持久化數(shù)據(jù)層也就是 PV/PVC 背后真正存儲的業(yè)務(wù)文件、數(shù)據(jù)庫文件這一層通常由云盤、NFS、Ceph 等外部存儲系統(tǒng)承載Kubernetes 自身并不知道里面裝了什么。第三層是外部依賴層比如鏡像倉庫里的鏡像、Helm Chart 倉庫、GitOps 倉庫里的部署清單這些資源往往不在集群內(nèi)卻是重建集群時必不可少的輸入。有了這三層視角之后你的備份策略就非常清晰了集群狀態(tài)層用 etcd 快照解決持久化數(shù)據(jù)層用 Velero 這類工具配合存儲驅(qū)動解決外部依賴層則靠日常的版本管理和倉庫鏡像同步解決。三者缺一不可。1.3 方案選型etcd 快照與 Velero 并不沖突我經(jīng)常在社區(qū)里看到有人爭論“備份到底該用 etcd 快照還是 Velero”這個問題本身就問錯了。這兩種工具解決的不是同一個問題放在一起使用才是一套完整的方案。etcd 快照負(fù)責(zé)兜底適合應(yīng)對集群級災(zāi)難比如 Master 節(jié)點(diǎn)不可用、etcd 數(shù)據(jù)全部損壞、誤刪了整個 Namespace 且資源無法重建。Velero 負(fù)責(zé)精細(xì)化和應(yīng)用級備份適合做資源遷移、版本回滾、按命名空間恢復(fù)還能借助 restic 或 Kopia 備份 PV 數(shù)據(jù)。如果你的集群所有數(shù)據(jù)都有外部備份并且一切皆代碼那你可以只依賴 GitOps 方式重建但大多數(shù)團(tuán)隊(duì)還沒做到這個程度因此快照依然是必需品??吹竭@里你基本明白了我不是讓你二選一而是建議你用“雙保險”思路搭建備份體系。后面幾節(jié)我會把兩條路線都走一遍你可以直接照抄配置。2. 動手前的環(huán)境準(zhǔn)備與配置項(xiàng)梳理不管用 etcd 快照還是 Velero集群本身需要滿足一些最基本的條件。這一節(jié)先把環(huán)境準(zhǔn)備和核心配置項(xiàng)講清楚避免后面實(shí)操時卡在一些莫名其妙的地方。2.1 確認(rèn)集群部署方式與 etcd 形態(tài)首先要確認(rèn)你的 etcd 是怎么部署的。不同集群形態(tài)會導(dǎo)致 etcd 的訪問方式完全不同這一點(diǎn)是新手最容易栽跟頭的地方。kubeadm 部署的集群etcd 以靜態(tài) Pod 方式運(yùn)行在 Master 節(jié)點(diǎn)上通過/etc/kubernetes/manifests/etcd.yaml定義證書和配置集中在/etc/kubernetes/pki/etcd/目錄。二進(jìn)制方式部署的集群etcd 通常以 systemd 服務(wù)運(yùn)行數(shù)據(jù)目錄、證書路徑、監(jiān)聽地址全部由你自定義快照時需要手動拼接參數(shù)。云廠商托管的集群如 EKS、ACK、TKE控制面 etcd 基本由云廠商管理用戶無法直接接觸此時你更需要依賴 Velero 或云廠商自帶的集群快照能力做應(yīng)用級備份。定位好你自己的集群形態(tài)后面的命令才能跑通。我下面的實(shí)踐示例基于 kubeadm 部署的集群來展開這也是社區(qū)里最常見的自建集群方式。2.2 為備份賬號準(zhǔn)備必要的權(quán)限配置如果你要用 Velero它需要一個專用的服務(wù)賬號并且這個賬號需要有足夠權(quán)限讀取集群中的所有資源。Velero 安裝時默認(rèn)會創(chuàng)建velero命名空間并部署一組 RBAC 規(guī)則正常情況下不用手動造輪子。但有一點(diǎn)容易忽略當(dāng)你計(jì)劃備份自定義資源CRD時需要確保 Velero 的服務(wù)賬號對相關(guān) CRD 有 get、list、watch 權(quán)限。如果某天你發(fā)現(xiàn)備份任務(wù)顯示成功但恢復(fù)后 CRD 實(shí)例丟了優(yōu)先檢查是不是權(quán)限不足導(dǎo)致 Velero 無法枚舉資源。這里給出一個排查用的最小 RBAC 配置它授予了備份操作所需的粗粒度權(quán)限。如果你對安全要求比較高建議按需收縮到具體資源apiVersion: v1 kind: ServiceAccount metadata: name: velero namespace: velero --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: velero-admin roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: cluster-admin subjects: - kind: ServiceAccount name: velero namespace: velero這個配置看起來比較粗暴但它能保證 Velero 不會因?yàn)闄?quán)限問題而跳過資源。生產(chǎn)環(huán)境建議結(jié)合 Velero 官方文檔中的 RBAC 模板做進(jìn)一步裁剪。2.3 準(zhǔn)備一套獨(dú)立的對象存儲用于存放備份Velero 的備份文件需要落到對象存儲中。如果你已經(jīng)在用 AWS S3、阿里云 OSS、MinIO 這類兼容 S3 協(xié)議的服務(wù)那可以直接復(fù)用。如果還沒有我強(qiáng)烈建議你在內(nèi)網(wǎng)部署一個 MinIO專門用于存放備份。它的部署非常簡單單機(jī)版用 Docker 幾分鐘就能跑起來。用 MinIO 主要是為了兩個目的一是讓備份文件集中管理不會被隨意清理二是 Velero 官方對 S3 API 的兼容性很好選它省去很多兼容性適配的麻煩。存儲桶創(chuàng)建好后記錄下 endpoint 地址、access key、secret key后面配置 Velero 時要用到。下面是我的 MinIO 初始化命令示例實(shí)際使用時請?zhí)鎿Q成你自己的賬號密碼docker run -d \ --name minio \ -p 9000:9000 \ -p 9001:9001 \ -e MINIO_ROOT_USERvelero_backup \ -e MINIO_ROOT_PASSWORDYourStrongPass2026 \ -v /data/minio:/data \ minio/minio server /data --console-address :9001啟動后到控制臺創(chuàng)建一個名為velero-backup的 bucket并且建議開啟版本控制。原因很簡單版本控制能防止備份對象被誤刪或覆蓋相當(dāng)于給備份又加了一層保險。3. etcd 快照備份與恢復(fù)的完整實(shí)踐etcd 快照是整個集群備份體系的第一塊基石也是恢復(fù)集群控制面數(shù)據(jù)的終極手段。我不敢說它難但操作過程中稍有不慎就會造成數(shù)據(jù)不一致所以接下來我會把每一步拆得很細(xì)。3.1 配置 etcd 客戶端證書環(huán)境變量使用etcdctl做快照通常需要 TLS 證書認(rèn)證。kubeadm 部署的集群中etcd 證書位于 Master 節(jié)點(diǎn)的/etc/kubernetes/pki/etcd/目錄你需要在執(zhí)行命令前導(dǎo)出環(huán)境變量否則會提示證書校驗(yàn)失敗。我的做法是先把以下內(nèi)容寫到/etc/profile.d/etcdctl.sh中簡化后續(xù)操作export ETCDCTL_API3 export ETCDCTL_CACERT/etc/kubernetes/pki/etcd/ca.crt export ETCDCTL_CERT/etc/kubernetes/pki/etcd/server.crt export ETCDCTL_KEY/etc/kubernetes/pki/etcd/server.key export ETCDCTL_ENDPOINTShttps://127.0.0.1:2379關(guān)于證書文件有一個細(xì)節(jié)值得說明server.crt和server.key是 etcd 服務(wù)端證書用于 etcd 各成員之間通信同時也被 etcdctl 作為客戶端證書使用。如果你在某個節(jié)點(diǎn)上找不到server.*文件也可以嘗試用peer.crt和peer.key替代但首選仍是 server 證書。執(zhí)行source /etc/profile.d/etcdctl.sh后可用一條簡單的etcdctl endpoint health命令驗(yàn)證連接是否正常。3.2 執(zhí)行手動快照與定時備份完成認(rèn)證配置后做一次手動快照就非常簡單了mkdir -p /backup/etcd etcdctl snapshot save /backup/etcd/snapshot-$(date %Y%m%d-%H%M%S).db執(zhí)行成功后會輸出類似Snapshot saved at /backup/etcd/snapshot-xxxx.db的信息。此時你可以用校驗(yàn)命令確認(rèn)快照文件沒有損壞etcdctl snapshot status /backup/etcd/snapshot-xxxx.db該命令會返回快照的版本、數(shù)據(jù)大小、hash 值等信息。我每次做完快照都會順手跑一次這條命令它雖然不能百分百保證恢復(fù)成功但至少能從哈希層面排除文件在落盤過程中出現(xiàn)損壞的可能。手動快照只能救急不能作為常態(tài)化機(jī)制。更合理的做法是寫一個定時任務(wù)腳本每天在業(yè)務(wù)低峰期自動執(zhí)行快照并清理三天前的舊文件。下面是我實(shí)際在用的腳本你拿走改成自己的備份目錄就能用#!/bin/bash BACKUP_DIR/backup/etcd RETENTION_DAYS3 source /etc/profile.d/etcdctl.sh mkdir -p ${BACKUP_DIR} etcdctl snapshot save ${BACKUP_DIR}/snapshot-$(date %Y%m%d-%H%M%S).db find ${BACKUP_DIR} -name snapshot-*.db -mtime ${RETENTION_DAYS} -exec rm -f {} \;用crontab -e添加定時任務(wù)以每天凌晨 2 點(diǎn)執(zhí)行為例0 2 * * * /opt/scripts/etcd-backup.sh /var/log/etcd-backup.log 21關(guān)于快照保留周期我建議根據(jù)自己的數(shù)據(jù)量決定。etcd 快照文件一般不會很大幾百 MB 到幾個 GB 都很常見所以你完全可以把保留周期設(shè)置得長一些比如保留 7 份每日快照外加每周快照。丟失數(shù)據(jù)這件事寧可多留不可少留。3.3 恢復(fù)實(shí)操從快照還原到單機(jī)集群恢復(fù) etcd 是整個集群恢復(fù)流程中最容易手忙腳亂的部分因?yàn)槟阈枰岩粋€“已經(jīng)存在的故障集群”先停下來再手動去重建數(shù)據(jù)目錄。這里強(qiáng)調(diào)一下恢復(fù)操作必須在所有 etcd 節(jié)點(diǎn)上協(xié)調(diào)進(jìn)行不建議只對單節(jié)點(diǎn)操作而讓其他節(jié)點(diǎn)繼續(xù)運(yùn)行。下面以單節(jié)點(diǎn) etcd 為例展開。第一步停掉 kube-apiserver 和 etcd。如果是靜態(tài) Pod 方式部署最直接的做法是把/etc/kubernetes/manifests/下的etcd.yaml移走并用kubelet的靜態(tài) Pod 機(jī)制讓它自動停掉。但更穩(wěn)妥的順序是先把 apiserver 停掉避免 apiserver 在 etcd 恢復(fù)期間不斷寫入數(shù)據(jù)導(dǎo)致快照還原后的數(shù)據(jù)被再次污染。mv /etc/kubernetes/manifests/etcd.yaml /root/backup-manifests/ mv /etc/kubernetes/manifests/kube-apiserver.yaml /root/backup-manifests/ sleep 30第二步備份并清空舊的 etcd 數(shù)據(jù)目錄。默認(rèn)數(shù)據(jù)目錄是/var/lib/etcd我建議先把它整個移動到一個備份位置而不是直接刪除防止恢復(fù)失敗時還有后悔藥可吃mv /var/lib/etcd /var/lib/etcd.bak.$(date %Y%m%d)第三步用快照文件恢復(fù)數(shù)據(jù)目錄。etcdctl 的snapshot restore命令會生成一個新的數(shù)據(jù)目錄你需要通過--data-dir參數(shù)指定位置并傳入與舊集群一致的名稱和證書參數(shù)etcdctl snapshot restore /backup/etcd/snapshot-xxxx.db \ --name etcd-1 \ --initial-cluster etcd-1https://127.0.0.1:2380 \ --initial-cluster-token etcd-cluster \ --initial-advertise-peer-urls https://127.0.0.1:2380 \ --data-dir /var/lib/etcd這里有一個關(guān)鍵點(diǎn)--initial-cluster-token的值必須和原來的集群保持一致或者干脆隨意指定一個全新值。后者其實(shí)更常見因?yàn)槟阍谧龌謴?fù)時通常是想啟動一個全新的 etcd 數(shù)據(jù)實(shí)例。但如果你希望恢復(fù)后的 etcd 能重新加入原有集群拓?fù)淠蔷捅仨毐3?peer URL 與集群配置一致否則其他節(jié)點(diǎn)會認(rèn)為這是一個陌生成員。第四步把etcd.yaml和kube-apiserver.yaml移回靜態(tài) Pod 目錄等待 kubelet 自動拉起 etcd 和 apiservermv /root/backup-manifests/etcd.yaml /etc/kubernetes/manifests/ mv /root/backup-manifests/kube-apiserver.yaml /etc/kubernetes/manifests/ sleep 60最后驗(yàn)證集群狀態(tài)kubectl get nodes kubectl get pods -A如果看到 Node 狀態(tài)正常、之前的資源都回來了說明恢復(fù)成功。如果 apiserver 啟動失敗先去看 kubelet 日志和 etcd 日志絕大多數(shù)問題出在證書路徑不匹配或數(shù)據(jù)目錄權(quán)限不對上。3.4 恢復(fù)操作中的風(fēng)險控制與注意事項(xiàng)關(guān)于 etcd 恢復(fù)我吃過不少虧挑幾個最典型的提醒一下。第一恢復(fù)操作前必須停止所有寫入方。不只是 kube-apiserver如果集群里還有其他組件直接通過 etcd 客戶端接口讀寫數(shù)據(jù)比如某些定制 Operator也要一并停止。否則很可能出現(xiàn)恢復(fù)后一部分舊數(shù)據(jù)被新數(shù)據(jù)覆蓋或沖突的情況表現(xiàn)為資源狀態(tài)詭異、對象反復(fù)重建。第二不要在生產(chǎn)集群上邊跑業(yè)務(wù)邊恢復(fù)。即便恢復(fù)的是單節(jié)點(diǎn) etcd也強(qiáng)烈建議先摘掉業(yè)務(wù)流量因?yàn)榛謴?fù)過程中 kubelet 可能會根據(jù)舊數(shù)據(jù)重新創(chuàng)建 Pod造成未知影響。第三etcd 快照不保證包含最近幾秒的寫入。etcd 的 snapshot 是某一時間點(diǎn)的存儲狀態(tài)自快照時間點(diǎn)之后發(fā)生的變更都會丟失。這決定了你的 RPO 不可能為零如果你的業(yè)務(wù)對數(shù)據(jù)極其敏感需要在上層做更細(xì)粒度的備份或同步。4. Velero 應(yīng)用級備份與恢復(fù)實(shí)操etcd 快照能保住控制面但它無法備份 PVC 里的數(shù)據(jù)。所以當(dāng)業(yè)務(wù)真正跑起來之后它用的數(shù)據(jù)庫文件、上傳的文件、生成的臨時數(shù)據(jù)全都在 PV 里面這時候必須請出 Velero。4.1 Velero 的核心架構(gòu)與備份原理Velero 的工作機(jī)制可以簡單概括為兩部分一方面通過 Kubernetes API 讀取集群中的資源對象打包后上傳到對象存儲另一方面通過文件系統(tǒng)備份組件如 restic 或 Kopia讀取 PVC 掛載的數(shù)據(jù)卷內(nèi)容將其一并上傳。它不需要在集群里安裝特權(quán) DaemonSet 之外的 agent備份動作由 Velero Server 組件部署在集群內(nèi)和 Velero CLI 客戶端協(xié)同完成。CLI 下發(fā)備份指令后Velero Server 會在集群中創(chuàng)建 Backup 資源隨后 Backup Controller 負(fù)責(zé)執(zhí)行具體任務(wù)。你在使用過程中會經(jīng)??吹?Backup、Restore、Schedule、BackupStorageLocation 這幾類 CRD它們都是 Velero 的核心抽象。理解它們的層級關(guān)系對排查問題很有幫助BackupStorageLocation 定義備份文件存放位置Schedule 定義周期巡檢任務(wù)Backup 是一次具體備份動作的記錄Restore 是一次恢復(fù)動作的記錄??慈罩緯r只需要找到對應(yīng) Backup 或 Restore 資源然后通過velero backup logs name查看詳細(xì)日志即可。4.2 安裝 Velero 并配置對象存儲安裝 Velero 的工具本身并不復(fù)雜核心是把云廠商存儲的訪問憑證準(zhǔn)備好。以 MinIO 為例首先創(chuàng)建一個包含訪問密鑰的文件cat credentials-velero EOF [default] aws_access_key_id velero_backup aws_secret_access_key YourStrongPass2026 EOF然后執(zhí)行安裝命令velero install \ --provider aws \ --plugins velero/velero-plugin-for-aws:v1.9.0 \ --bucket velero-backup \ --secret-file ./credentials-velero \ --backup-location-config regionminio,s3ForcePathStyletrue,s3Urlhttp://minio.velero.svc.cluster.local:9000 \ --snapshot-location-config regionminio \ --use-restic \ --use-volume-snapshotsfalse \ --wait拆解一下這條命令中幾個容易出錯的參數(shù)--provider aws這里不是說你必須用 AWS而是 Velero 用 AWS S3 兼容協(xié)議去對接對象存儲MinIO、OSS、COS 都支持這種協(xié)議。--plugins velero/velero-plugin-for-aws:v1.9.0插件版本要和 Velero 主版本接近否則可能出現(xiàn) API 不兼容的問題。s3ForcePathStyletrueMinIO 這類私有對象存儲要求路徑風(fēng)格 URL不加這個參數(shù)會導(dǎo)致 Velero 無法找到桶。--use-restic啟用文件系統(tǒng)備份能力用來備份 PVC 數(shù)據(jù)。--use-volume-snapshotsfalse如果存儲后端沒有實(shí)現(xiàn) CSI 快照能力就關(guān)掉卷快照功能避免 Velero 一直嘗試調(diào)用不存在的快照接口。安裝完成后查看 velero 命名空間下的 Pod 狀態(tài)確保velero和restic相關(guān) Pod 都正常運(yùn)行kubectl get pods -n velero4.3 按命名空間備份先從小范圍開始Velero 上手最好的方式不是一上來就全集群備份而是先挑一個測試命名空間做驗(yàn)證。比如我需要備份wordpress命名空間下的所有資源以及 PVC 數(shù)據(jù)可以執(zhí)行velero backup create wordpress-backup \ --include-namespaces wordpress \ --default-volumes-to-restic \ --ttl 168h0m0s參數(shù)說明--include-namespaces只備份指定命名空間。--default-volumes-to-restic對 PVC 數(shù)據(jù)啟用 restic 備份。--ttl備份文件在對象存儲中的保留時間這里設(shè)置了 7 天。執(zhí)行后可能會等待一段時間你可以用velero backup get查看狀態(tài)從 New 變成 Completed 就說明備份成功了。然后模擬一次災(zāi)難直接刪掉wordpress命名空間kubectl delete namespace wordpress等命名空間完全清理干凈后執(zhí)行恢復(fù)velero restore create --from-backup wordpress-backup恢復(fù)完成后進(jìn)入命名空間檢查資源確認(rèn) Pod、PVC、Service、Ingress 都回來了。如果 PVC 里的數(shù)據(jù)文件已經(jīng)通過 restic 重新灌入新恢復(fù)的 PV 中那業(yè)務(wù)一般能無縫拉起。4.4 整個集群與全量備份策略如果你想把整個集群的所有資源都備份起來需要更加謹(jǐn)慎。我先提醒一句全集群備份并備份 PVC 數(shù)據(jù)是代價最大的方案耗時和存儲成本都不可小覷所以不要動不動就跑全量備份。Velero 默認(rèn)在velero backup create時如果不加任何篩選參數(shù)實(shí)際上就已經(jīng)備份了所有非系統(tǒng)命名空間的資源。但要注意它默認(rèn)不會備份velero、kube-system、kube-public、kube-node-lease這些系統(tǒng)級命名空間。這樣設(shè)計(jì)是合理的因?yàn)檫@些命名空間里的組件大多可以通過重建或重新安裝還原備份它們意義不大。設(shè)置了清理系統(tǒng)命名空間后如果需要做“全集群模擬恢復(fù)驗(yàn)證”可以用以下命令初始化一個 full backup 作業(yè)把白名單和黑名單調(diào)整清楚velero backup create full-backup \ --exclude-namespaces kube-system,kube-public,kube-node-lease,velero \ --exclude-resources events,events.events.k8s.io \ --default-volumes-to-restic \ --ttl 336h0m0s排除了 events 的原因是事件數(shù)據(jù)通常量大且無恢復(fù)價值既浪費(fèi)時間又浪費(fèi)存儲空間。實(shí)際需求中你再結(jié)合是否要排除一些臨時緩存類資源根據(jù)業(yè)務(wù)情況調(diào)整。4.5 跨集群遷移Velero 的高階玩法Velero 備份文件存儲在對象存儲里這意味著它天然支持跨集群恢復(fù)。假如你有 A、B 兩個集群對象存儲是同一個 MinIO那么在 A 集群做好備份后到 B 集群執(zhí)行一條恢復(fù)命令就能完成資源遷移。我在做環(huán)境遷移時常用一套組合拳A 集群創(chuàng)建備份B 集群配置相同的 BackupStorageLocation 和 credentials然后執(zhí)行恢復(fù)。步驟上你先要在 B 集群上安裝 Velero使用同樣的 MinIO 配置參數(shù)velero install \ --provider aws \ --plugins velero/velero-plugin-for-aws:v1.9.0 \ --bucket velero-backup \ --secret-file ./credentials-velero \ --backup-location-config regionminio,s3ForcePathStyletrue,s3Urlhttp://minio.velero.svc.cluster.local:9000 \ --snapshot-location-config regionminio \ --wait然后你要保證 B 集群能夠讀到一個備份名。執(zhí)行velero backup get看到 A 集群創(chuàng)建的那個備份名稱后直接執(zhí)行恢復(fù)即可。如果目標(biāo)集群中沒有對應(yīng)的 StorageClass 或不支持同樣的存儲協(xié)議PVC 可能會恢復(fù)失敗。此時可以通過 Velero 的存儲類映射功能在恢復(fù)時把源存儲類替換為目標(biāo)集群的存儲類。5. 自動化定時備份與恢復(fù)演練經(jīng)驗(yàn)手動備份能保一時備份體系的真正價值在于自動化。一個無法自動運(yùn)行的備份機(jī)制最終一定會被日常工作節(jié)奏擠掉。5.1 使用 Velero Schedule 實(shí)現(xiàn)定時備份Velero 內(nèi)置了 Schedule 概念創(chuàng)建它之后Velero 會按照 Cron 表達(dá)式周期性地生成新的 Backup。它的最大優(yōu)點(diǎn)是把備份動作納入了集群內(nèi)部狀態(tài)管理你隨時可以通過 CRD 查看備份計(jì)劃。創(chuàng)建每日全量備份計(jì)劃保留 7 天命令如下velero schedule create daily-full-backup \ --schedule0 2 * * * \ --include-namespaces wordpress,default \ --default-volumes-to-restic \ --ttl 168h0m0s你可以用velero schedule get查看調(diào)度計(jì)劃狀態(tài)用velero backup get查看它自動觸發(fā)的 Backup 是否成功。如果其中一個 Backup 失敗了Schedule 會繼續(xù)保留并不會影響下一次觸發(fā)。這種解耦設(shè)計(jì)很實(shí)用至少我不會因?yàn)橐淮问《┑艉罄m(xù)備份。關(guān)于 Cron 表達(dá)式我建議結(jié)合業(yè)務(wù)低谷期來設(shè)置。如果集群和對象存儲都相對空閑凌晨 2 點(diǎn)到 4 點(diǎn)之間跑備份是比較通用的選擇。如果備份數(shù)據(jù)量很大可能單次執(zhí)行超過 30 分鐘你還要注意 Schedule 的時間窗口不能與下一次調(diào)度重疊否則會形成備份任務(wù)堆積。5.2 對象存儲側(cè)的備份生命周期管理備份文件生成之后對象存儲側(cè)同樣要有生命周期管理規(guī)則。MinIO 提供了生命周期配置可以為 bucket 配置過期刪除規(guī)則所以 Velero 里的--ttl并不是唯一的清理機(jī)制。我的建議是兩側(cè)都設(shè)但以 Velero 的 ttl 為主MinIO 生命周期為輔。假設(shè) Velero 設(shè)置了 7 天 TTLMinIO 生命周期規(guī)則設(shè)置為 10 天過期這樣能有效防止因 Velero 控制器異常導(dǎo)致備份文件無限堆積。配置 CapEx 時應(yīng)考慮到存儲成本不要把周期設(shè)得太長也不要設(shè)得太短。比較穩(wěn)妥的做法是“本地 7 天 異地副本 30 天”這部分需要根據(jù)你公司對數(shù)據(jù)安全的要求調(diào)整。5.3 每季度做一次真實(shí)的恢復(fù)演練我沒見過哪個團(tuán)隊(duì)的備份策略是第一次就能做完美的。真正的分水嶺在于是否做了恢復(fù)演練而且不是演練一次就結(jié)束是每季度或半年固定做一次。我自己的做法是準(zhǔn)備一個獨(dú)立的演練集群這個集群規(guī)模不需要很大但安裝的 K8s 版本和插件配置盡量與生產(chǎn)一致。然后我每個月從對象存儲中隨機(jī)挑一個備份把資源恢復(fù)到演練集群再驗(yàn)證幾個核心業(yè)務(wù)是否能正常工作。曾有一次演練暴露過大問題一切資源恢復(fù)成功但業(yè)務(wù)無法啟動原因是 Secret 中的密碼在源集群里已經(jīng)輪換過而 ConfigMap 中引用的配置仍舊是舊值。如果沒做演練等真實(shí)災(zāi)難發(fā)生時這個問題會變成生產(chǎn)事故的原因。所以我說演練不是額外負(fù)擔(dān)它是備份體系中最有價值的一環(huán)。6. 常見故障與排查技巧備份恢復(fù)大概率不是一次就能順利跑通的。我把這兩年遇到的高頻問題整理成了一張速查表供你定位問題。癥狀可能原因解決方案etcdctl snapshot save 報證書錯誤未正確加載 ETCDCTL_CERT / ETCDCTL_KEY 環(huán)境變量重新 source 環(huán)境變量文件檢查證書路徑etcd snapshot restore 后 apiserver 起不來數(shù)據(jù)目錄權(quán)限不對或新舊集群 token 不一致確認(rèn)/var/lib/etcd屬主為 etcd 用戶檢查 apiserver 日志Velero backup 狀態(tài)一直停留在 NewBackupStorageLocation 無效或插件版本不匹配查看 velero 日志檢查存儲桶是否可訪問Velero 備份完成但恢復(fù)后 PVC 為空沒有啟用 restic / 卷快照被顯式關(guān)閉恢復(fù)動作加上--default-volumes-to-restic并確認(rèn) restic Pod 運(yùn)行恢復(fù)時提示 storageclass 不存在目標(biāo)集群缺少源集群的 StorageClass創(chuàng)建同名 StorageClass或用--storage-class-mapping參數(shù)做替換定時備份連續(xù)失敗但你完全沒發(fā)現(xiàn)缺少失敗告警機(jī)制為 Velero 配置監(jiān)控告警或檢查日志工具備份文件在 MinIO 中被誤刪bucket 沒有開啟版本控制開啟 bucket 版本控制并配置生命周期規(guī)則除了表格里的問題我再補(bǔ)充三個比較隱秘但很重要的經(jīng)驗(yàn)。第一Velero 備份過程中如果集群正在發(fā)生大量資源變更可能出現(xiàn)部分資源處于中間狀態(tài)導(dǎo)致恢復(fù)回來后資源版本沖突或字段不完整。對于核心數(shù)據(jù)庫這類服務(wù)我建議備份前先將應(yīng)用置于只讀或停寫狀態(tài)至少也要接受 PVC 數(shù)據(jù)本身的一致性由應(yīng)用層保證。第二restic 備份模式對 PVC 數(shù)據(jù)的備份速度較慢。如果 PVC 體積達(dá)到 TB 級別全量備份耗時可能數(shù)小時。這時候需要考慮文件系統(tǒng)層面的定期快照比如云廠商磁盤快照或數(shù)據(jù)庫自身備份工具而不是一味依賴 Velero 的每個卷備份。第三恢復(fù)時注意資源間的依賴順序。Velero 會盡力做依賴排序但有些自定義資源需要先創(chuàng)建 CRD再創(chuàng)建 CRD 實(shí)例。如果恢復(fù)后自定義資源沒有正常出現(xiàn)優(yōu)先檢查 CRD 是否已經(jīng)注冊必要時手動應(yīng)用 CRD 定義。還有一個小技巧恢復(fù)前把目標(biāo)集群的命名空間先清空或者使用一個新的命名空間做恢復(fù)驗(yàn)證避免與現(xiàn)有資源產(chǎn)生沖突。這個操作能幫你把問題邊界縮小少在環(huán)境干擾上浪費(fèi)時間。說一個我印象最深的教訓(xùn)。某次我把 etcd 快照恢復(fù)做完了節(jié)點(diǎn)全部 ReadyPod 也全部 Running表面上一切完美。結(jié)果第二天業(yè)務(wù)反饋數(shù)據(jù)缺失一查發(fā)現(xiàn)備份時間點(diǎn)在業(yè)務(wù)高峰期前一小時隨后一小時內(nèi)的寫入全部丟掉了。從此以后我在設(shè)計(jì)備份策略時都會先問一句業(yè)務(wù)能否接受這個 RPO如果能承受小時級丟失則每日備份足夠如果不能那就需要借助數(shù)據(jù)庫層的 binlog 同步或存儲層的實(shí)時快照來縮短丟失窗口。備份恢復(fù)這件事看起來只是幾條命令但真正把它做扎實(shí)需要你對集群的部署形態(tài)、業(yè)務(wù)的數(shù)據(jù)特性、存儲后端的接口能力都有清晰認(rèn)知。希望這篇基于配置與實(shí)踐的梳理能讓你在構(gòu)建自己的備份方案時少走一些彎路。下一次遇到故障時希望你想到的不是后悔沒備份而是從容地執(zhí)行演練過無數(shù)遍的恢復(fù)流程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月激情婷婷综合| 婷婷九月综合| 大香蕉五月丁香| 丁香六月激| 亚洲亚洲人成综合网络| 久久婷婷五月综合色和| 这里只有精品视频在线| 五月天伊人av| 久久丁香网| 精a品a| 欧美啪啪9| 日日爽夜夜爽| 久久免费婷婷视频| 激情丁香九九五月综合网| 色999;丁香五月| 99精彩视频| 久久有码| 9人人操人人看| 97人人超| 丁香婷婷视频| 久久机热这里只有精品免费视频 | 五月丁香花成人社区| 婷婷性爱五月天| 丁香五月婷婷激情网| 激情第四色| 欧美成人A片AAA片在线播放| 九九熱最新視頻| 夜夜嗨一区二区三区直播内容| 亚洲最大视频| 五月婷婷之综合激情| 综合激情五月丁香| 久久这里99| 丁香五月另类色婷婷麻豆| 第六色在线| www久久99| 五月婷婷丁香啪啪| www.sebowuyue| 99热亚洲只有色| 五月综合激情| 天堂成人A片永久免费网站| 99无码视频| 亚洲VA口| 操逼六区| 亚洲激情av| 日本丁香五月| 丁香六月激情| 天天日,天天插| 丁香色婷婷五月天| 婷婷丁香综合成人| 在线视频色五月| 丁香婷婷浪潮AV久久综合| 99热9| 蜜桃五月天色| 看婷婷五月天网| 超碰成人在线免费观看| 婷婷99狠狠躁天天躁| 99爱在线免费视频| 五月婷婷这里都是精品| 99热播放| 亚洲性爱AV| 婷婷六月色| 综合九九| 99自拍视频在线| 五月婷婷AV| 很操日本7| 91性高潮久久久久久久久| 五月色激情综合网| 欧美性爱五月天| 亚洲成人在线播放| 婷婷五月丁香色情| 五月天激情视频| 色综合99| 日本丁香五月| 狠狠ri| 丁香色婷婷色手机免费在线| 丁香五月天亚洲综合| 99.色| 先锋资源 996| 久热免费视频| 九九热在线精品视频| 五月在线| 亚洲一级 片内射网站在线观看| 超碰免费人| 婷婷五月天亚洲综合网| 激情久久久久久| 五月婷婷六月丁香免费| 看国产探花操逼三级片| 91人人爽狠狠狠| 色婷婷五月天偷拍| 婷婷狠狠爱| 97亚洲婷婷| 欧美va视频| 影音先锋自拍网| 99操| 91久久九久久九久久九久久九久久| 天天干天天 亚洲| 亚洲网视屏| 丁香六月五月天| 99视频| 超碰97免费在线| 99综合激情久久精品久久| 天天操夜夜啊| 狠狠爱综合| 日韩精品电影| 丁香五月熟女| 伊人大综合| 超碰人人草| 成人婷99最新| 成人在线日韩欧美| 天天做天天爱天天爽综合网| 快色t v在线入口| 日韩一区二区在线播放| 激情九九综合网| 99玖玖在线视频| 人妻久久久久| 毛片新网地| 久久资源综合| 婷婷五月丁香成人网| 欧美激情性做爰免费视频| 青青草成人网| 99在线公开视频| 激情综合网激情五月丁香五月俺也去| 国产AV一区二区三区最新精品 | 日本九九视频| 五月丁香婷婷伊人日韩| 色五月婷婷少妇人妻| www.深爱激情| 国产精品涩涩涩视频网站| 成人一区在线观看| 久热这里只有精品视频6| 婷婷色片| Caoub青青超碰 | 亚洲网在线观看| 偷拍91九色| 情情五月天色| www.久久久久久久久久久| 亚洲sesesese| 97五月天婷婷综合激情网| 看黄的网站18禁| 五月婷婷之综合激情| 深爱激情网五月天| 色综合大香蕉| 99re久热| 五月桃花网综合| 人妖色AV色综合| 91精品啪| 中文字幕,综合,91| 99热这里| 538在线精品| 综合五月激情网| 婷婷激情综合网| 丁香五月手机在线| 91操在线| 久热 91| 亚洲婷婷五月天| 久久人人九九| 97在线观视频免费观看| 欧美精品999| 大香蕉五月婷婷| 欧美在线视频99| 玖玖在线资源视频| 久久一品区| 丁香五月天堂| 色色亚卅| 久热中文字幕| 五月天大香蕉av| 淫视馆aV二区一区| 免费亚洲成人电影AV| 一区二区三区四区无码| 六月婷婷激情| 人人操人人爱丁香五月| 五月婷婷色情| 成人五月丁香花| 亚洲色热| www99热| 丁香色五月婷婷| 欧美综合激情| 丁香五月精品| 欧美色偷偷大香| 婷婷综合激情五月综合| 九九久99免费视频| 狠狠干夜夜干| 婷婷久久精品| 人人操人人添人人摸97| 久草狼人| 天天射天天射一道本日本社区 | 综合一区二区三区| 国产成人网站在线观看| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 亚洲视频五区| 99毛片| 狠狠色噜噜狠狠亚洲A∨| 伊人狠狠干| JAPANRCEP老熟妇乱子伦视频 | 97色精品视频 | 五月丁香黄色| 日韩色五月| 九九热99在线视频| 婷婷五月天激情综合| 国产亚洲色婷婷久久99精品91| 亚州操操| 99热8| 色综合色五月| 荫道BBWBBB高潮潮喷| 婷婷五月天精品| 狠狠色综合网| 大香蕉人人网| 美女黄频aⅴ视频| 色五开心五月五月深深爱| 玖玖91| 99色爱| 国产精品A片在线| 亚洲天堂aaa| 99久久久精品| 日韩人妻在线观看| 九九热精品在线| 丁香色五月婷婷91桃色| 天天射夜夜骑| 中文字幕不卡网站| 五月丁香六月香综合激情| 久久最新色| 五月天伊人久久久久| 欧美影院婷婷| 爱久久小说下载网| 婷婷五月天电影网| 久久与婷婷| 五月天激情美女久久| 色狠狠色综合久久久绯色AⅤ影视| 97在线观视频免费观看| 九九亚洲| 伊人激情综合网| 丁香六月激情蜜桃| 免费AV黄在线播放| 五月丁香六月婷婷精品| 久久伦乱| 婷婷色五月天色| 超碰亚洲欧美| 六月丁香五月婷婷| 狠狠色综合网站久久久久| 狠狠狠五月婷婷六月丁香| 一起操最新网址| 五月天久久综合婷婷| 91偷拍视频| 亚洲免费看片| 婷婷十月激情综合网| 国产av影片| 99色色| 青青草原福利在线| 天天久久66xxx| 97五月婷| 欧美99| 久久亚洲婷婷| 开心五月婷婷综合在线精品素人| 色色五月婷| 五月婷亚洲精品| 婷婷色爱| 91九色无码内射| 99热久久这里只有精品| 五月综合激情久久| 超碰91在线| 超碰二区| 激情AV在线| 久久五月天色| 婷婷丁香色五月| 丁香五月六月激情| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇| 99色看这里只有精品| 97人人射| 婷婷五月天成人在线视频| 黄网在线观看免费| www.五月天婷婷| 中文字幕在线不卡视频| 影音先锋91资源站| 色色色在线观看| 97操在线资源| 婷婷丁香成人五月天| 野外99热| www.com色播五月天| 狠狠狠狠狠狠草| 99re欧美精品| 久久婷婷五月天激情新地址| 日本大人久久| 另类亚洲电影| 十区AV| 五月婷婷黄| www,色综合| 99re视频在线| 色丁香久综合在线久综合在线观看| 超碰在线超碰| 超碰91av| 美女天天艹人人爽| 深爱激情小说五月婷婷| 色婷五月天激情| 啪啪综合网| www.色九月| 91VIP在线观看| 日日噜噜夜夜狠狠久久丁香六月| 五月天婷婷基地综合网| 婷婷九月色| 久99视频在线观看| 丁香六月欧美| 超碰A V在线| 九九在线视频| 99视频内射三四| 婷婷色五月激情| 97碰人人操| 亚洲色视频| 呦呦视频无码播放| 婷婷丁香激情| 美女网黄| 97自拍99| 日日夜夜天天综合| 五月第四色| 亚洲操b| 夜夜撸夜夜骑| 色吧五月婷婷| 国产黄色在线观看| 久久婷婷五| 免费看成人747474九号视频在线观看| 婷婷五月综合久久中文字幕| 五月丁香日本在线视频观看| 丁香五月天av| 久久精热| 99热超碰在线| 亚洲欧洲中文日韩久久AV乱码| 国产一级片色色| 婷婷久久色五月婷婷久久久| 91嫩草国产线观看亚洲一区二区| 国产精品18久久久| 久久婷鲁| 色色五月婷婷久久| 日韩色色小视频| 极品五月天| 日韩人妻AV在线| 一区二区三区四日本| 久久九九激情五月天| 99青青草99| 日韩婷久| 婷婷五月在线综合| 2025最新亚洲激情在线| 人妻内射视频| 激情五月天综合网| 亚洲天堂有码| 丁香色五月直播| 大香蕉九操| 久草狼人| 无码色| 天天爱天天天射AV| 婷婷久久五月丁香| 婷婷色色五月| 99热网址| 亚洲精品乱码久久久久久综合| 热久久视频99| 色五月婷婷久久| 亚洲性爱AV在线| 五月天另类图片区99| 六月激情婷婷色| 婷婷五月18永久免费视频| 九色婷婷| 99综合成人视频在线观看| 五月天开心色情网| 狠狠五月综合在线| 婷婷色婷婷| 天天干天天射综合网| 狠狠久综合| 激情五月天偷拍综合网| 狠狠干狠狠色| 亚洲九区| 狠狠搞综合色| 9 1超碰九色| ..真实国产乱子伦毛片 | 日韩色五月| 中美日韩成人在线| 武汉美女啪啪视频免费一级片| 婷婷五月花| 色99在线| 91丨九色丨熟女|老版| 五月开心六月婷婷在线播放网站| EEUSS鲁片一区二区三区| 99热9| 玖玖九九9999在线观看视频精品| 另类激情五月天。| 激情五月久久| 人妻激情久久| 婷婷的激情五月| 五月丁香免费看| 五月综合久久| 婷婷久久五月| 夜夜操激情| 99日韩| 亚洲操b| 色五月激情综合网站| wWw色五月| 99爱最新免费视频在线观看| 天天操天天干天天日| a v色婷婷| 99re8这里只有精品99re8热视频| 免费看欧美成人A片无码| 成人网站av免费网站推荐| 狠狠色婷婷丁香六月| av在线中文| 欧美成综合在线观看| 九九综合久久丁香婷婷,开心激情综合网| 青草少妇激情| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 欧美综合激情五月丁香| 99视频精品| 琪琪色影音先锋| 丁香五月综合在线播放| 桃色成人网| AV九九| 99无码| 免费成片在线观看| 亚洲精久久| 五月丁香六月婷婷国产视频| 级人人91| 婷婷五月天色综合| 丁香综合| 激情五月婷婷丁香综合网| 五月六月播婷婷| 久久婷婷综合网| 超碰在线99热| www.9797国产| 色狠狠综合网| 日韩无码专区| 五月丁香啪啪啪综合网| 日本三级中国三级99人妇网站| 国产91九色| 五月婷婷六月丁香在线视频| .肏屄视频一区二区| 色婷婷a三区麻| 五月天婷婷小说| 丁香性爱在线视频| 国产,欧美,日韩,性爱| 国产黄大片在线观看画质优化| 98毛片| 五月天色色网站| 激情综合一| .青娱乐天天操B| 色婷婷色五月色丁香| 天天插天天干| 丁香婷婷六月激情| 琪琪色网在线| 伊人婷婷色| 九热av| 人人操A| 我淫我色婷婷五月天激情四射| 狠狠色丁香婷婷基地| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日噜噜色| 日本美女五月天| 大香蕉伊人爱在线| 婷婷六月天天| 久去色色| 色五月综合激情网| 日婷婷久久开心| 色九月婷婷丁香| 米奇激情婷婷| WWW久久99久久99久久| 99在线观看视频| 九九爱精品网站| 五月丁香六月婷婷操操操| 国产精产国品一二三在观看| 五月婷婷久| 色开心五月丁香| 激情五月婷婷| 亚洲综合视频天天精品| 色哟呦av| 色婷婷五月天激情在线观看| 久久人人九九| 狠狠操狠狠插| 丁香婷婷综合激情五月色| www亚洲无码| 色婷婷小说网| 狠狠色丁香久久久婷| 国产做爰视频免费播放| 深爱激情网五月天| www99久久| 婷婷久久五月天| 99热精品在线播放观看| 五月丁香婷婷激情爱爱| 婷婷综合视频| 久久这里只有精品5| 国产婷婷色综合AV蜜臀AV| 久久婷婷五月综合激情国产| 我要看激情五月天| 婷婷六月成人| 色婷五月| av五月天婷婷丁香| 91操碰| 国产操B| 五月天激情四射网站| 99热这里只有精品国产免费| 69久久久| 五月婷婷啪啪| 九九色大香蕉| 色婷婷在线视频综合| 日韩在线99| 五月天激情网图片| 国产这里只有精品| 九九操综合网| 97AV在线视频| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 五月婷婷视频啪啪美女| www五月天激情com| 久久久99免费视频| 婷婷五月天综合久久日| 开心激情站| 337午夜福利| 97人人草| 久久九九@| 少妇水多A片太爽了| 91成人电影| 校园激情 亚洲| 五月丁香性爱| 操操日韩| 被强行糟蹋的女人A片| 99re思思热这里| 久久九⑨| 婷婷五月在线影院| 99无码黄色视频| Www.狠狠| 99热这里只有精品13| 六月撸婷婷| 久99婷婷色综合| 婷婷丁香人妻天天爽| 色五月婷婷青娱乐| 五月综合色| 人人摸人人摸| 天天操夜夜夜拍拍拍| 激情五月,激情综合网| 四川女人毛多水多A片| 色婷婷五月天激情| 亚洲精品网址| 嫩草视频。| 日本欧美成人片AAAA| 久久婷婷五月| 婷婷六月丁香五月| 六月丁香婷婷五月| 人妻精品久久久久久| 草综合网| 99免费成人网| 婷婷五月天亚洲综合| 人人操人人妻| 色婷丁香91| 激情五月婷婷| 欧美S码亚洲码精品M码| 丁香五月色| 亚洲中文字幕AV| 任你操精品免费| 色五月丁香网| 五月开心色| 夜夜骑操AV| 人妻狠狠操| 久久九九中文字幕| 久久精品凹凸分类| 激情网五月天| 久久精品人妻| 亚洲啪视频| 79色色免费| 久久五月天合网| 国产性色蜜乳| 天天日夜夜高潮| 日本女天天爽| 色婷婷五月天天天做| 激情综合五月色在线| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 久久99性爱视频| 国产精品久久99| 开心五月婷婷五月| 欧美99热| 99亚洲色| 26uuu成人网| 五月天激情视频| 性高潮久久久久久-九九九九九九九九九九热-成人AV | 免费成人中文字幕| 九久久精品视频99| 色哟哟精品| 啪啪啪大香蕉| 婷婷五月电影院| 九九RE视频在线精品| 色婷婷WWW| 婷婷在线观看五月天在线视频| 日本一毛片| 国产成人网| 五月丁香婷婷无码A∨| 五月丁香好婷婷A片网| 国产精品婷婷午夜在线观看| 中文字幕网伦射乱中文| 青草青草视频2免费观看| 久久精品99国产精品日本| 97福利视频| 久久99精品久久久久久三级| 色五月激情五月天| 极品人妻VIDEOSSS人妻| 午夜丁香 婷婷| 91日韩在线| www.婷婷亚洲基地| 五月丁香亭亭激情操逼网| 成人丁香| 婷婷五月天成人网| 久久这里只有精品热在99| 丁香九月激情| 六月综合婷婷开心伊人| 91狠狠综合久久| 91九色成人原创视频| 国产操逼视频网站| 大香蕉久操| 丁香五月天激情综合网| 97人妻碰碰碰久久香蕉| 精品一区二区三区四区五区六区| 色约约视频一区二区三区四区五区 | www.热99热| 亚洲精品婷婷| 九九色色网| 五月婷在线| 97人妻碰碰碰久久| 丁香五月婷婷动漫视频| 青青草成人网| 99国产精品久久久久久久久久久 | 天天透天天干| 亚洲精品操一操、噜一噜、摸一摸、爽 | 国产91视频| 精品香蕉99久久久久网站| 99热国产婷婷| 伊人青草成人| 丁香五月六月综合激情| 伊人大综合| 丁香激情网| 日本激情综合| 五月婷婷色影院| 精品人妻在线免费观看| 五月婷婷色播| 26UUU亚洲欧美| 99热1| 青青草青青草五月天| 综合久久影院| 婷婷丁香18| 清纯唯美 激情四射| 综合色图区| 婷婷五月18永久免费视频| 五月婷婷色| 91黄操| 激情丁香图片| 97啪在线观看视频| 婷婷激情综合无月| 亚洲综合在线视频| 激情四射婷婷| 五月丁香六月在线| 亚洲九九99精品视频在线播放| 激情丁香五月天综合| www.色五月| 精品久9| 天天爽天天日人人爱| 大香蕉婷婷丁香天堂AV| 欧美啪啪9| 五月激情网站| 99热香港| 久久这里99| 欧洲色色| 九九热10| 丁香六月婷婷色XXXXX| 婷婷色吧| 狠狠干在线| 五月色情婷婷| 久久综合天天综合| 婷婷五月丁香第四色超碰在线| 欧美色色色色色色色色色色影视| 99爱在线视频| 五月丁香六月婷婷久久肏| 狠狠草综合网| 91大操| 国产噜一噜天天噜| AA丁香综合激情| 爽极品色| 97丁香五月| pom538精品视频| 色久丁香五| 99人人操| 日本色天堂| 久色网址| 五月天激情综合| 深爱丁香网| 日日爽夜夜爽| 99热这里只有精品23| 丁香五月23111| 色情五月丁香婷婷网| 五月丁香色狠狠干大屄| 爽tv | 狠狠色丁香婷婷综合久久97AV| 99精品成人无码A片观看金桔| 九热在线这里有精品6| 五月丁香综合| 婷婷六月天精品| 日本猛少妇色XXXXX猛叫| 婷婷五月天天| 人人色AV| 三日本无码| 色射婷婷五月天| 狼人狠狠操| 久久人妻人人| 精品无码片| AV五月婷婷露脸| 激情久久丁香| 日韩1区2区| 丁香狠狠| 91N 一起草| 99re在线视频| 天天舔天天插天天爱| 五月丁香影院| 久久视频这里有精品99| 婷婷99狠狠躁天天| 国产精品99久久久久久久女警| 色天天综合成人网| 色婷婷综合成人| 久久久久久久久久8888| 99视频精品8| 激情碰碰碰| 五月婷婷久久综合| 色婷婷六月精品| 日本三级色| 丁香桃色网| 六月丁香五月激情婷婷| 无码色| 亚洲成人噜噜| 99精品在线播放| 国产av天天插天天操天天爽| 成人va视频| 91seav| 天天日中文| 偷拍91九色| 五月婷六月综合在线观看| 精品99*| 开心五月激情网| 99操逼| 久综合4| 国产亚洲精品久久一区二区三区| 色综合夜夜| 久草五月丁香婷婷综合| 噜噜五月天综合| 五月丁香六月婷综合成人综合| 久久久五月婷婷| 五月婷婷综合在线| 婷婷免费视频| 五月激情综合婷婷| www.射伊蕉婷婷| 久爱综合| 泰州成人视频| 成人va视频| 五月开心婷婷| 婷香五月网在线| 9伊人网| 狠狠干,狠狠操| 操日视频| 久久性爱视频这里只有精品 | WWW.桔色成人.COM入口| 五月丁香六月情婷婷久久| 亚洲这里只有精品| 成人五月天婷婷| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | www.久久99| 五月激情六月综合| 深爱丁香激情| 天天开心婷婷丁香五月| 色色五月天网站| 丁香六月激情国产| 国产69久久久欧美黑人A片| 激情综合网五月丁香| 五月丁香黄色| 天天上天天爽| 亚洲啪啪啪啪| 丁香五月婷婷99| 岛国AAAV| www.婷婷五月天.com| 欧洲免费视频色| 五月丁香婷草| 九色地址91视频| 91919191919久久成人视频| 婷婷狠狠97| 深爱激情综合网| 人人做天天爱| 97干在线视频| 综合狠狠五月婷婷| 中文字幕综合色| 久色激情| 91狠狠综合久久久久久| 色五月播五月| 99热日本| 操操操av| 免费操超碰| 久久久久久9| 九九婷婷五月天影视| 婷婷亚州综合| 天天日天天干天天操| 国精产品一区一区三区免费视频| 五月婷婷成人w| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 99热思思| 五月婷色| 伊人热在线大香蕉| 操操自拍| 天天爽天天弄| 天天色五月婷婷91久久久久久久| 97操碰碰无码视频| 欧美99热| 日本天天操| 综合婷婷久久| 99综合网| 免费视频舔| 久热精品免费视频4| 丁香桃色网| 丁香激情久久| 亚洲综合网在线| 激情婷婷五月| 精品在线| 五月婷久草| av九九| 欧美激情2025| 婷婷色情五月| 亚州美女| 五月婷婷啪| 激情综合网丁香| 人人人操 超碰| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 婷婷丁香五月激情| 天天摸天天舔在线视频| 亚洲色图五月丁香五月婷婷| 日本欧美在线| 丁香综合网| 丁香伊人网| 欧洲电影在线观看免费版英语版| 97热在线精品| 美女激情婷婷| 粉嫩av蜜桃av蜜臀av| 99人妻碰碰久久久禁片| 亚洲视频操| 亚洲国产成人裸舞| 99热最新| 五月天大香蕉婷| 色婷婷电影网| av国产精品| 久久A极片| 国产精品24r| 久久久jd| 色色色视频| 美国色五月天婷婷资源站| 丁香婷婷AV| 色综合激情| 天天日天天操天天干| www.婷婷五月天.com| 久久99草五月婷婷| 开心深爱激情网| 欧美va亚洲va在线播放| 五月天丁香六月综合| 婷婷成人在线| 日韩成人中文| 婷婷狠狠干| 人人爱人人草| 色高清无码视频| 国产 码在线成人网站| 丁香五月天堂网AV| 蜜乳av一级av| 99爱视频| 五月婷婷色影院| 五月成人天| 婷婷色五月天综合网| 亭亭五月丁香综合欧美| 超碰在线综合| 国产高清视频91九九九久久久| 午夜婷婷| 久操热| 婷激情五月| www.激情五月天.com| 色五月五月婷婷| 色丁香五月婷婷综合久久| 内射干少妇亚洲69XXX| www热久久yy9| 99热99这里有免费的精品| 丁香五月综合高清在线| 桃色激情五月天| 好大好粗嗯啊-一级黄色大片免费观看-成人AV | 天天日夜夜爽| 国产99久| 九九热在线视频观看| 日韩综合网络男女香蕉a片| 午夜微拍福利| 国产特级毛片AAAAAAA高清| 色婷婷在线播放| 噜噜在线| 在线观看的av| 99久久综合网| 五月丁香六月停停停| 五月天天丁香婷婷| 久久人人九九| 99热这里有精品| 天天爽天天干天天| 五月婷婷m| 秋霞三级影视资源| 九九这里只有精品在线视频| 色婷天天| 五月丁香花视频| 日韩AV成人电影| 91综合视频丁香| .青娱乐天天操B| 成人中文网| 色色色热| 狠狠色噜噜狠狠狠888| 激情久久综合| 亚洲99在线| 久9热视频在线观看| 五月婷婷狠狠干| 久热这里只精品| 国产在线激情视频| 久久A极片| 成人无码精品1区2区3区免费看 | 天天狠狠夜夜狠狠2023| 日本高清久久| 五月天伊人网| 99在线免费视频| 天天爽夜夜爽| 国产成人精品一区二三区熟女在线 | 色久婷婷五月| 色六月天天激情综合网| 婷婷色吧| 99视频九九热| 噜噜噜狠狠色综合| 无码地址| 凹凸探花电影| 99久久er| 欧美婷婷五月天综合| 天天做 天天爱| 激情五月,色播五月| 狠狠高潮精品亚洲1| 天天撸天天干天天插| 欧美性爱一区| 桃色五月天| 丁香九月激情| 日韩青青| 色99视| 日本女人久久| 深爱五月激情综合| 久久精彩视频99| 日本天堂网站99| 9九热视频| 五月丁香五月天现场视频| 久久开心五月天激情| 婷婷丁香五月天亚洲| 免费不卡狠操美女视频网| 久9视频| 99性爱视频| 香蕉曰比| 色久综合| 黄网在线播放| 婷婷五月天久久| 五月天快乐开心激情网| 丁香五月天啪啪| 桃色成人网| 色狠狠婷婷| 激情文学第四色婷婷丁香五月| 五月丁香综合啪啪| 婷婷五月天激情影片| 激情婷婷五月天| 大香蕉伊人99| 久久综合九色综合97婷婷| 日韩熟女啪啪视频| 色五月色图| 91久久综合亚洲鲁鲁五月天| 五月天 综合 在线| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 99热精品中文字幕| 99九九精品视频推荐| 五月激情婷婷综合| 99成人精品六| 亚洲一区二区无遮挡A片| 激情五月天网| 乱精品一区字幕二区| 31色区视频免费看| 五月婷婷激情综合在线| 日韩五月丁香| 99热综合网| 热99在线| 五月婷婷黄| 久这里只有精品99| 99色热视频在线| 色丁香五月天| 四季日韩AV无码综合| 99色色热| 丁香99| 97日韩无套内| 激情图片久久| 蜜桃人妻无码AV天堂三区| 99久久综合网| 午夜少妇在线观看视频| 秋霞影音91人妻久久| 亚洲一区二区 成人网站戴套| 丁香五月天激情婷婷丁香六月| 丁香婷婷色五月| 色婷婷五月天| 婷婷五月天大香蕉在线视频观看| 夜夜躁婷婷AV| 99热在线成人网站| 91碰碰碰| 激情图片99| 成人九九视频| 色狠狠综合网| 疯狂做受XXXX高潮A片| 九九99免费视频| 26uuu成人网| 婷婷丁香www视频日本韩国| 久久机只有这里精品| 人妻啪啪啪| 久久日婷婷| 五月精品免费XXX| 色色色综合| 色之综合网| 丁香五月婷婷影院| 色婷婷六月天| 91色综合网| 99人人操人人爱久久久| 激情亚洲色图片丁香综合| 97人人草| 少妇激情基地| 激情综合网五月婷婷| 五月婷婷草| 俺去啦综合网| 美欧成人视频| 五月婷婷久久网| 操逼亚洲天堂| 婷婷五月丁香综合激情小说| 91狼友视频在线观看| 人人操婷婷| 国产激情综合五月久久| 久久精彩免费视频| 婷婷五月天堂| 激情综合啪啪| av九九| 91操操| 天天干夜夜想| 六月亚洲婷婷6月中文字幕| 天天综合网站| 成人精品一区二区三区四区五区| 国产AV国片偷人妻麻豆| 99re思思热这里| 熟妇人妻中文字幕无码老熟妇| 这里有精品99| 99热精品在线观看| 天天更新天天亚洲| 深夜婷婷 丁香| 五月网网站| 影音先锋美国A| 99热色在线精品| 另类亚洲电影| 亚洲成人av在线播放| 色噜噜狠狠色综合成人网| 五月天色图| 色丁香五月婷婷| 99免费在线视频| 色域五月婷婷丁香| 人人操五月天| 六月丁香婷婷天堂| 五月成人网站| av性爱在线| 先锋资源婷婷| 激情深爱五月天| 五月激情婷婷播播网| 久艹久| 久色激情| ay2区| 婷婷五月丁香图片人人操| 五月天综合网| 亚洲va久久久噜噜噜久久天堂| 超碰在线caop| 久久精品一区二区三区四区| 丁香久久综合| 久久久久这里只有精品| 丁香六月婷婷色XXXX| 五月婷久久久久综合| 超碰国产AV| 丁香无五月网| 久久激情四射| 狠狠香蕉| 天天夜天天色天天| 久久婷婷五月综合精品蜜芽| 丁香六月婷婷| 婷婷六月网| 第四色大香蕉| 国产精品a无线| 亚洲狠狠操| 天天肏夜夜肏| 狠狠狠狠狠狠草| 蜜桃人妻无码AV天堂三区| 人妻乱码久久久| 婷婷日韩| 婷婷99狠狠| 思思热视频| 婷婷婷五月天最新综合你懂的| 踪合专区啪啪| 精品欧美性爱超级爽| 99热在线只有精品| 天天艹天天综合网| 九九视屏| 国产美女无遮挡裸体毛片A片| 激情99| 天天摸日日舔狠狠添婷婷婷| 欧美综合123区| www久久久久久久久久久久久久久久久| 色色免费网站| 亚洲色色精品| 超级碰碰碰碰视频| 五月天综合在线网| 久久久久人妻网址| 第四色五月天| 激情图片婷婷| 在线不卡的视频| 五月婷视频| 殴美日韩成人| 激情五月婷婷色播网| 婷婷情色五月天| 久久99网| 另类小说色婷婷| 六月丁香色婷婷| 色噜噜伊人| 五月婷婷AV| 久久sp免费视频| 日韩AC在线免费观看| 伊人99热| 五月天涩涩| 九九热视频免费观看| 综合一区二区三区| 色五月婷婷丁香凹凸| 激情综合网色播五月| 91五月天| 91色五月| 婷婷五月丁香91| 色丁香五月综合网| 色综合爱综合| 丁香五月激情天AV无码| 九九视频在线观看视频在线播放69| 精品国产乱码久久久久久免费| 超碰人人色| 亚洲无线视频| 99re这里只有精品视频了| 乱抡小BB| 国产中文亚洲欧美日韩性交| 99色爱| 最新高清无码专区| 成人丁香| 久久人妻精品| 99视频在线精品| 91chinese在线| 成人电影一区| 日日日日日| www.久久99热地址发布| 日日夜夜天天| 日本激情五月天‘| 激情久久综合网| 色婷婷亚洲精品天天综| 丁香五月a| 综合久久97| 色色色色综合网| 天堂网色色| 日本免费91| 国产古装妇女野外A片| 久久99视频| a在线观看| 亚洲日韩一页精品发布| www.日日夜夜.com| AV在线观看网站| 色婷久久| 丁香婷婷激情| 婷婷六月天| 99五月香婷婷丁香在线视频| 亚洲宗合激情| 久久33视频| 情色五月天 网站| 婷婷激情四射五月天| 黄久久久| 影音先锋色色色资源色资源色| 九九蜜臀精品| 丁香5月婷婷| 舔色婷婷| 大香蕉伊人久久| 丁香五月色| 成人婷婷色综合| 婷婷激情四射五月天| 亚洲一区国产传媒| 亚洲色精彩| 五月婷婷精品视频| 婷婷狠狠久久| 国产精品热搜丁香五月婷婷| 婷婷丁香综合| 999热在线视频| AV大香蕉| 97se在线视频| 色V狠狠的干| 啪啪激情网站| 丁香五月天视频| 激情五月天色播| 久久97久久99久久综合欧美| 狠狠色噜噜狠狠亚洲A∨| 中文字幕,综合,91| 综合狠狠伊人| 99日这里只有精品| 九九热10| 五月丁香激情综合| 日韩三十六页| 丁香狠狠操| 亭亭玉立国色天香| 久久婷婷色丁香| 激情五月天网站| 99精品视频网| 字幕网AV中文字幕| 日韩精品超碰在线观看| 91久久婷婷| 这里只有精品69| 色色网站| 五月天开心色色网| 久婷| 五月婷婷在线观看| 婷婷激情综合网| 丁香五月激情啪啪啪啪| 丁香六月AV| 五月天另类图片| 久久久999精品| 丁香五月婷婷操逼| 97色色色色| 99热在线看| http:色情日本com| 婷婷操超碰| 久久思思热视频| 成AV人片一区二区三区久久| cao久久| 99国产性感视频| 五月天成人综合| 天天干,天天操,天天射| 欧美丁香婷婷天天操| 婷婷五月六月丁香| 色人久久| 日韩成人电影Av| 69婷婷丁香午夜| 婷婷五月天激情网| 狠狠五月天| www.久久久久久久| 丁香色啪综合| 国产无人区大片| Www.se.久久| 五月丁香激情综合欧美| 伊久久婷婷| 欧美婷婷九月| 五月婷婷欲色| 99这里只有| 99热免费精品| 亚洲男人的天堂婷婷色五月| 五月天激情网站| 五月婷婷色影院| 欧美日韩一区二区三区四区| 中文成人在线| WWW.五月天9999| 无码操B| 91九九九九九九| 日日噜狠狠| 六月丁香射婷婷欧美色图片| 亚洲成人在线播放| 久久五月天综合| 九九热re99re6在线精品| 亚洲欧美国产高清vA在线播放|