欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

kubeadm安裝Kubernetes 1.37并集成Docker運行時教程

kubeadm安裝Kubernetes 1.37并集成Docker運行時教程 這次我們來看一個用 kubeadm 安裝最新 Kubernetes 集群的完整過程目標(biāo)版本是 k8s 1.37.x并且讓底層容器運行時真正走 Docker。這里需要先把背景說清楚Kubernetes 從 1.24 開始移除了內(nèi)置 dockershimK8s 高版本不再直接內(nèi)置 Docker 支持。如果想在 1.37.x 繼續(xù)使用 Docker Engine正確做法是安裝 cri-dockerd 適配器讓 kubelet 通過 CRI 接口與 Docker 通信。整篇文章會給出從環(huán)境準(zhǔn)備到集群驗證的完整命令同時對這個方案背后的原理做說明方便你判斷哪種運行時更適合自己的項目。適用讀者主要是這幾類第一公司服務(wù)器上已經(jīng)大量使用 Docker想把業(yè)務(wù)平滑遷移到 Kubernetes第二正在學(xué)習(xí) K8s想對比 containerd 與 Docker 在集群中的行為差異第三需要一個可復(fù)現(xiàn)的 kubeadm 安裝步驟把集群搭出來給開發(fā)或測試環(huán)境用。本文不會花太多篇幅講 Kubernetes 基礎(chǔ)概念而是直接圍繞部署鏈路展開所以如果你已經(jīng)知道 Deployment、Service、Pod 的基本含義理解起來會更快。對完全沒接觸過 K8s 的讀者先把這套安裝跑通再回來看概念文檔效果也會比空談概念好很多。部署細節(jié)上我會以 Ubuntu 22.04 作為示例系統(tǒng)過程中會同步給出 Rocky Linux / CentOS 等發(fā)行版的差異說明。硬件方面測試環(huán)境建議至少兩個節(jié)點master 2 核 4Gworker 2 核 4G系統(tǒng)盤 40G 以上。如果只是單機學(xué)習(xí)也可以把 master 和 worker 放在同一臺機器但需要處理 master 節(jié)點的 taint這部分我會在功能驗證時提到。下面先從整體能力開始給出一張快速判斷表。1. 核心能力速覽能力項說明集群安裝工具kubeadm、kubelet、kubectl底層容器運行時Docker Engine通過 cri-dockerd 適配 CRI目標(biāo)版本Kubernetes 1.37.x具體以官方軟件倉庫實際提供為準(zhǔn)節(jié)點組成至少 1 個 master 和 1 個 worker單機測試時可合并推薦硬件Master 2C4G 以上Worker 按業(yè)務(wù)負載評估操作系統(tǒng)Ubuntu 22.04/24.04、Rocky Linux 9、CentOS 7/9 等主流 Linux 發(fā)行版網(wǎng)絡(luò)方案Flannel、Calico、Cilium 等 CNI 插件任選一種API 能力kube-apiserver 提供完整 REST APIkubectl 和 HTTP 客戶端都能調(diào)用批量任務(wù)原生支持 Deployment、StatefulSet、Job、CronJob 等工作負載適用場景生產(chǎn)集群搭建、容器化應(yīng)用遷移、Docker 生態(tài)兼容性驗證、K8s 學(xué)習(xí)上表最需要關(guān)注的是“底層容器運行時”這一行。Docker 并不是一個能直接接入 Kubernetes 高版本的 CRI 實現(xiàn)因此一旦你決定“底層走 Docker”就等于在 kubelet 和 Docker Engine 之間增加了一個適配組件 cri-dockerd。這個組件會帶來少量額外管理和資源開銷但能讓你繼續(xù)使用熟悉的 docker ps、docker logs、docker exec 等命令排查集群里的容器這是很多從 Docker 遷移過來的運維團隊比較看重的一點。2. 為什么 K8s 與 Docker 之間多了一層適配在 Kubernetes 的設(shè)計里每個節(jié)點上的 kubelet 只通過 CRIContainer Runtime Interface與容器運行時通信。早期版本內(nèi)置了 dockershim讓 kubelet 可以直接操作 Docker但在 1.24 版本后這個 shim 被徹底移除官方推薦直接使用 containerd 或 CRI-O。很多用戶還想繼續(xù)使用 Docker主要原因是團隊已有的鏡像倉庫里可能全是 Docker 構(gòu)建的鏡像或者從 Docker Compose 遷移到 Kubernetes 的過程中希望底層行為和 Docker 保持一致方便對照排查。cri-dockerd 就是為這個場景準(zhǔn)備的適配器。它實現(xiàn)了 Kubernetes 的 CRI 接口把 kubelet 發(fā)出的請求轉(zhuǎn)換成 Docker API 調(diào)用最終由 Docker Engine 完成容器生命周期管理。數(shù)據(jù)鏈路大致是這樣的kubelet - CRI 調(diào)用 - cri-dockerd - Docker API - dockerd - containerd - runc - 容器進程安裝 cri-dockerd 之后kubelet 通過unix:///var/run/cri-dockerd.sock這個 socket 與它通信而不是默認的unix:///var/run/containerd/containerd.sock。kubeadm init 和 kubeadm join 時需要顯式指定 cri socket這一點非常關(guān)鍵否則 kubeadm 會優(yōu)先去尋找 containerd導(dǎo)致集群雖然裝好了但底層還是 containerd和你預(yù)想的不一致。還有一個必須處理的點是 cgroup 驅(qū)動。Kubernetes 控制面和 kubelet 默認傾向于使用 systemd cgroup driver而 Docker 安裝后默認可能是 cgroupfs。如果兩者不一致節(jié)點會一直處于 NotReady 狀態(tài)或者 Pod 調(diào)度后報錯。下文安裝 Docker 時會直接修改 daemon.json把 Docker 的 cgroup driver 固定為 systemd。這也意味著這套方案并不是“裝完就能跑”需要在配置層面做好對齊。3. 節(jié)點規(guī)劃與環(huán)境準(zhǔn)備3.1 節(jié)點規(guī)劃開始安裝前先確認節(jié)點和網(wǎng)絡(luò)條件。這里給出一個兩節(jié)點測試環(huán)境作為示例生產(chǎn)環(huán)境可根據(jù)業(yè)務(wù)規(guī)模擴展。節(jié)點角色主機名IP 示例配置建議masterk8s-master192.168.1.102C4G 以上workerk8s-worker1192.168.1.112C4G 以上按業(yè)務(wù)評估所有節(jié)點都需要有固定的主機名并且/etc/hosts中最好寫入包含其他節(jié)點的 IP 映射避免 DNS 解析問題。3.2 關(guān)閉 swap 與加載內(nèi)核模塊kubelet 默認不允許節(jié)點使用 swap。測試環(huán)境直接關(guān)掉最省事避免后續(xù)參數(shù)不一致sudo swapoff -a sudo sed -i / swap / s/^/#/ /etc/fstab然后加載 Kubernetes 需要的內(nèi)核模塊并調(diào)整網(wǎng)絡(luò)轉(zhuǎn)發(fā)參數(shù)cat EOF | sudo tee /etc/modules-load.d/k8s.conf overlay br_netfilter EOF sudo modprobe overlay sudo modprobe br_netfilter cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 EOF sudo sysctl --system如果不加載br_netfilter常見的現(xiàn)象是 Flannel 或 Calico 容器啟動后網(wǎng)絡(luò)策略和流量轉(zhuǎn)發(fā)異常節(jié)點狀態(tài)倒是 Ready但跨節(jié)點 Pod 通信不通。所以這步不要跳過。3.3 防火墻與端口規(guī)劃各節(jié)點之間需要放行 Kubernetes 組件通信端口。如果使用云廠商安全組或者本機啟用 firewalld / ufw需要按下面這張表精確放行端口協(xié)議用途6443TCPkube-apiserver所有節(jié)點訪問10250TCPkubelet 指標(biāo)、日志、exec10259TCPkube-scheduler10257TCPkube-controller-manager2379/2380TCPetcd 客戶端和集群通信30000-32767TCP/UDPNodePort 服務(wù)訪問內(nèi)網(wǎng)測試環(huán)境如果節(jié)點彼此信任可以臨時關(guān)閉防火墻來減少變量但生產(chǎn)環(huán)境建議精確放行端口不要直接關(guān)閉防火墻。3.4 設(shè)置主機名在 master 節(jié)點執(zhí)行sudo hostnamectl set-hostname k8s-master在 worker 節(jié)點執(zhí)行sudo hostnamectl set-hostname k8s-worker1同時在所有節(jié)點的/etc/hosts中加入192.168.1.10 k8s-master 192.168.1.11 k8s-worker14. 安裝 Docker 與 cri-dockerd4.1 安裝 Docker Engine以 Ubuntu 22.04 為例安裝 Docker 官方源的常用步驟是sudo apt-get update sudo apt-get install -y ca-certificates curl gnupg sudo install -m 0755 -d /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg sudo chmod ar /etc/apt/keyrings/docker.gpg echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(. /etc/os-release echo $VERSION_CODENAME) stable | \ sudo tee /etc/apt/sources.list.d/docker.list /dev/null sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin安裝完成后創(chuàng)建一個/etc/docker/daemon.json把 cgroup driver 固定為 systemd同時設(shè)置日志輪轉(zhuǎn)避免容器日志無限增長sudo mkdir -p /etc/docker cat EOF | sudo tee /etc/docker/daemon.json { exec-opts: [native.cgroupdriversystemd], log-driver: json-file, log-opts: { max-size: 100m }, storage-driver: overlay2 } EOF sudo systemctl enable docker sudo systemctl restart docker這里必須確認 docker 服務(wù)正常sudo systemctl status docker docker info | grep -i cgroup輸出應(yīng)該能看到Cgroup Driver: systemd。4.2 安裝 cri-dockerdcri-dockerd 是 Mirantis 維護的開源適配器GitHub 倉庫名為Mirantis/cri-dockerd。安裝方式是下載 release 二進制放到/usr/local/bin再注冊 systemd 服務(wù)。版本以官方 Releases 頁面為準(zhǔn)我這里以 v0.3.16 作為示例版本號wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.16/cri-dockerd-0.3.16.amd64.tgz tar -xvf cri-dockerd-0.3.16.amd64.tgz sudo install -o root -g root -m 0755 cri-dockerd /usr/local/bin/cri-dockerd然后創(chuàng)建兩個 systemd 文件。第一個是 cri-docker.socketsudo tee /etc/systemd/system/cri-docker.socket EOF [Unit] DescriptionCRI Docker Socket for the API PartOfcri-docker.service [Socket] ListenStream%t/cri-dockerd.sock SocketMode0660 SocketUserroot SocketGrouproot [Install] WantedBysockets.target EOF第二個是 cri-docker.servicesudo tee /etc/systemd/system/cri-docker.service EOF [Unit] DescriptionCRI Interface for Docker Application Container Engine Documentationhttps://docs.mirantis.com Afterdocker.service Requiresdocker.service [Service] Typenotify ExecStart/usr/local/bin/cri-dockerd --container-runtime-endpoint fd:// Restartalways RestartSec10 StartLimitInterval0 StartLimitBurst5 [Install] WantedBymulti-user.target EOF啟動并設(shè)置開機自啟sudo systemctl daemon-reload sudo systemctl enable cri-docker.socket cri-docker.service sudo systemctl start cri-docker.socket cri-docker.service驗證 socket 是否存在ls -l /var/run/cri-dockerd.sock sudo systemctl status cri-docker.socket cri-docker.service到這里Docker 底層已經(jīng)通過 cri-dockerd 暴露出了 CRI 接口。kubelet 使用這個 socket 就能把 Pod 的創(chuàng)建請求交給 Docker Engine 處理。5. 安裝 kubeadm、kubelet、kubectl安裝 kubeadm、kubelet、kubectl 的方式通常通過官方軟件倉庫。以 Ubuntu/Debian 為例使用 pkgs.k8s.io 的 v1.37 倉庫sudo apt-get update sudo apt-get install -y apt-transport-https ca-certificates curl gpg curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.37/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg echo deb [signed-by/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.37/deb/ / | sudo tee /etc/apt/sources.list.d/kubernetes.list sudo apt-get update sudo apt-get install -y kubelet kubeadm kubectl sudo apt-mark hold kubelet kubeadm kubectl如果你的倉庫里還沒有提供 1.37.x 的完整版本可以用下面的命令查看可安裝的版本列表apt-cache madison kubeadmRHEL/Rocky/CentOS 的倉庫寫法稍有不同cat EOF | sudo tee /etc/yum.repos.d/kubernetes.repo [kubernetes] nameKubernetes baseurlhttps://pkgs.k8s.io/core:/stable:/v1.37/rpm/ enabled1 gpgcheck1 gpgkeyhttps://pkgs.k8s.io/core:/stable:/v1.37/rpm/repodata/repomd.xml.key excludekubelet kubeadm kubectl EOF sudo setenforce 0 sudo sed -i s/^SELINUXenforcing$/SELINUXpermissive/ /etc/selinux/config sudo yum install -y kubelet kubeadm kubectl --disableexcludeskubernetesRHEL 系列需要把 SELinux 設(shè)成 permissive否則 CNI 插件創(chuàng)建 veth 口時會受到限制。安裝完成后三個組件會自動注冊 systemd 服務(wù)但kubelet現(xiàn)在先不要啟動因為集群還沒初始化kubelet 啟動后只會反復(fù)報錯等待配置文件。等 kubeadm init 結(jié)束后再啟動。6. 初始化 Master 節(jié)點6.1 準(zhǔn)備初始化參數(shù)到了最關(guān)鍵的一步。由于我們要讓底層運行時走 Dockerkubeadm init必須帶上--cri-socketunix:///var/run/cri-dockerd.sock否則 kubeadm 自動探測 CRI 時很可能找到 containerd導(dǎo)致后續(xù)集群雖然能用但容器實際由 containerd 管理。下面給出兩種初始化方式。第一種直接用命令行參數(shù)sudo kubeadm init \ --kubernetes-versionv1.37.x \ --apiserver-advertise-address192.168.1.10 \ --pod-network-cidr10.244.0.0/16 \ --cri-socketunix:///var/run/cri-dockerd.sock \ --image-repository registry.aliyuncs.com/google_containers注意v1.37.x要替換成你倉庫里看到的實際版本號比如v1.37.2。如果網(wǎng)絡(luò)能正常訪問 K8s 官方鏡像倉庫可以不加--image-repository如果拉鏡像比較慢或失敗再考慮使用國內(nèi)鏡像倉庫。第二種方式把參數(shù)寫入 kubeadm 配置文件。以 kubeadm.k8s.io/v1beta4 為例部分實際版本字段需要按你的 kubeadm 版本調(diào)整apiVersion: kubeadm.k8s.io/v1beta4 kind: InitConfiguration localAPIEndpoint: advertiseAddress: 192.168.1.10 bindPort: 6443 nodeRegistration: criSocket: unix:///var/run/cri-dockerd.sock name: k8s-master --- apiVersion: kubeadm.k8s.io/v1beta4 kind: ClusterConfiguration kubernetesVersion: 1.37.x networking: podSubnet: 10.244.0.0/16保存為kubeadm-config.yaml后執(zhí)行sudo kubeadm init --configkubeadm-config.yaml6.2 配置 kubectl初始化成功后末尾會輸出一段配置 kubectl 的命令。復(fù)制到 shell 里執(zhí)行mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config然后確認集群組件狀態(tài)kubectl get nodes kubectl get pods -A這里會遇到一個正常的現(xiàn)象Node 可能是 NotReady很多系統(tǒng) PodCoreDNS顯示 Pending。原因不是集群壞了而是還沒有安裝 CNI 網(wǎng)絡(luò)插件。6.3 安裝 CNI 網(wǎng)絡(luò)插件CNI 負責(zé) Pod 網(wǎng)絡(luò)不裝的話節(jié)點無法變成 Ready。這里以 Flannel 為例因為它對 Pod CIDR 的默認配置正好是10.244.0.0/16和上面的初始化參數(shù)匹配kubectl apply -f https://raw.githubusercontent.com/flannel-io/flannel/master/Documentation/kube-flannel.yml如果使用 Calico則把--pod-network-cidr192.168.0.0/16寫入初始化參數(shù)再應(yīng)用 Calico 的 manifest。安裝后等待 1-2 分鐘kubectl get nodes -o wide kubectl get pods -A | grep -E flannel|calico當(dāng) master 節(jié)點狀態(tài)變成 Ready并且 CNI Pod 都處于 Running說明集群控制面已經(jīng)可用。7. 加入 Worker 節(jié)點kubeadm init成功時終端會輸出一條 join 命令類似sudo kubeadm join 192.168.1.10:6443 --token token \ --discovery-token-ca-cert-hash sha256:hash \ --cri-socketunix:///var/run/cri-dockerd.sock這里必須把--cri-socket補上否則 worker 節(jié)點的 kubelet 會去找 containerd和 master 使用的運行時不一致雖然也可能加入成功但后續(xù)排查時會多一層問題。如果當(dāng)時沒復(fù)制 join 命令可以在 master 節(jié)點重新生成 tokensudo kubeadm token create --print-join-command拿到 token 后在 worker 節(jié)點執(zhí)行 join 命令。執(zhí)行完畢后回到 master 節(jié)點查看kubectl get nodes -o wide正常情況下master 和 worker 都應(yīng)該是 Ready 狀態(tài)。如果 worker 一直 NotReady先看 worker 節(jié)點 kubelet 狀態(tài)systemctl status kubelet journalctl -u kubelet -f8. 功能測試與效果驗證8.1 驗證節(jié)點和系統(tǒng) Pod集群搭建完成后第一件事是確認所有節(jié)點 Ready并且所有kube-system命名空間下的 Pod 都處于 Runningkubectl get nodes kubectl get pods -A這個步驟能判斷集群組件是否健康。如果某個 system Pod 反復(fù)重啟優(yōu)先看它的日志kubectl logs -n kube-system pod-name8.2 部署一個測試應(yīng)用為了驗證業(yè)務(wù)調(diào)度和 Service 暴露創(chuàng)建一個簡單的 Nginx DeploymentapiVersion: apps/v1 kind: Deployment metadata: name: nginx-test spec: replicas: 2 selector: matchLabels: app: nginx-test template: metadata: labels: app: nginx-test spec: containers: - name: nginx image: nginx:1.27 ports: - containerPort: 80 --- apiVersion: v1 kind: Service metadata: name: nginx-test-svc spec: type: NodePort selector: app: nginx-test ports: - port: 80 targetPort: 80 nodePort: 30080保存為nginx-test.yaml并應(yīng)用kubectl apply -f nginx-test.yaml kubectl get deployment nginx-test kubectl get pods -o wide kubectl get svc nginx-test-svc然后通過任意節(jié)點的30080端口訪問測試服務(wù)。如果訪問不到先查 Service 和 Endpointskubectl describe svc nginx-test-svc kubectl get endpoints nginx-test-svc8.3 驗證底層確實走 Docker這是本文方案的關(guān)鍵驗證點。在任意節(jié)點上執(zhí)行docker ps --format table {{.Names}}\t{{.Image}}\t{{.Status}} | grep k8s_只要看到容器名帶k8s_前綴就說明這個節(jié)點的 Pod 容器確實由 Docker 創(chuàng)建和管理。再用 crictl 驗證同一個視圖cat EOF | sudo tee /etc/crictl.yaml runtime-endpoint: unix:///var/run/cri-dockerd.sock image-endpoint: unix:///var/run/cri-dockerd.sock EOF sudo crictl pscrictl ps會列出 Kubernetes 視角下的容器列表。如果 Docker 和 crictl 都能看到相同容器說明這層適配鏈路是通的kubelet - cri-dockerd - Docker Engine - 容器如果 crictl 報錯找不到 socket多半是 cri-dockerd 服務(wù)沒起來或者/etc/crictl.yaml的配置沒有生效。8.4 驗證擴容和滾動更新Kubernetes 的日常操作驗證可以先擴容看 Pod 分布kubectl scale deployment nginx-test --replicas5 kubectl get pods -o wide再做一個原地滾動更新鏡像標(biāo)簽kubectl set image deployment/nginx-test nginxnginx:1.27-alpine kubectl rollout status deployment/nginx-test最后看日志是否能正常輸出kubectl logs -l appnginx-test --tail109. 接口 API 與批量任務(wù)示例9.1 通過 kubectl proxy 調(diào)用 APIKubernetes 的 kube-apiserver 暴露了一整套 REST API日??吹降氖?kubectl 封裝。你可以開啟一個本地代理直接用 curl 調(diào)用kubectl proxy --port8080 然后請求 APIcurl http://127.0.0.1:8080/api/v1/namespaces/default/pods返回結(jié)果是 JSON 格式的 Pod 列表。這里可以用一個小腳本提取 Pod 名稱curl -s http://127.0.0.1:8080/api/v1/namespaces/default/pods | \ python3 -c import sys, json; datajson.load(sys.stdin); print(\n.join([item[metadata][name] for item in data[items]]))如果需要更完整的授權(quán)方式推薦使用 ServiceAccount token。這就涉及到 RBAC 配置生產(chǎn)環(huán)境不建議直接使用kubectl proxy給外部系統(tǒng)調(diào)用只適合本地調(diào)試。9.2 用 CronJob 做批量任務(wù)Kubernetes 原生支持 Job 和 CronJob適合批量處理和定時任務(wù)。下面這個示例每天凌晨兩點執(zhí)行一次歸檔操作apiVersion: batch/v1 kind: CronJob metadata: name: batch-archive-job spec: schedule: 0 2 * * * jobTemplate: spec: template: spec: containers: - name: archive image: busybox:1.36 command: [/bin/sh, -c, echo batch job at $(date); ls /data] restartPolicy: OnFailure應(yīng)用并查看執(zhí)行記錄kubectl apply -f cronjob.yaml kubectl get cronjob kubectl get jobs --watch批量任務(wù)的重點是給容器配置足夠的資源限制和超時避免某個異常任務(wù)一直占住節(jié)點資源。生產(chǎn)級批量框架還可以搭配 Argo Workflows 或 Volcano但基礎(chǔ)的 CronJob 對很多運維場景已經(jīng)夠用。10. 資源占用與性能觀察10.1 控制面組件資源占用master 節(jié)點部署了 kube-apiserver、etcd、kube-controller-manager、kube-scheduler再加上 kubelet 和 Docker / cri-dockerd即使不跑業(yè)務(wù)也會占一部分內(nèi)存。從低負載測試集群的經(jīng)驗看空閑狀態(tài)下這些組件常駐內(nèi)存加起來在 1.5GB 到 2.5GB 之間具體數(shù)值與集群規(guī)模、日志量、etcd 數(shù)據(jù)量有關(guān)實際以你的環(huán)境為準(zhǔn)。建議 master 節(jié)點不要低于 4G 內(nèi)存否則初始化過程中容易出現(xiàn)一次拉起多個鏡像失敗的情況。觀察命令如下free -h docker stats --no-stream crictl stats kubectl top node注意kubectl top node需要先安裝 metrics-server。如果是臨時查看節(jié)點資源直接在節(jié)點上執(zhí)行free -h和docker stats更直接。10.2 Docker cri-dockerd 與 containerd 的差異相比直接在節(jié)點上使用 containerd這套方案多了一層 cri-dockerd 適配器因此 CPU 和內(nèi)存占用會略高一些。優(yōu)勢是運維習(xí)慣不變你可以用 docker exec 進入任意容器排查用 docker logs 拉取標(biāo)準(zhǔn)輸出鏡像構(gòu)建和 Docker Compose 遷移也更順暢。劣勢是容器的創(chuàng)建路徑更長大規(guī)模高并發(fā)創(chuàng)建 Pod 時性能會有輕微損耗。如果集群規(guī)模在幾十個節(jié)點以內(nèi)這個差異通常感知不明顯。如果集群會擴展到幾百個節(jié)點或者對 Pod 啟動速度和資源占用有極致要求建議考慮 containerd 作為運行時。選擇哪種運行時本質(zhì)上是運維習(xí)慣和性能效率之間的取舍。10.3 與網(wǎng)絡(luò)插件配合時的資源觀察CNI 組件同樣會占用節(jié)點資源。以 Flannel 為例每個節(jié)點都會運行一個 flanneld 進程負責(zé)維護 vxlan 網(wǎng)絡(luò)。如果節(jié)點數(shù)量很多或者 Pod 流量很大可以觀察 flannel 進程的 CPU 和內(nèi)存ps aux | grep flanneld如果發(fā)現(xiàn) CNI 組件異常消耗內(nèi)存優(yōu)先檢查節(jié)點是否出現(xiàn)了大量 Pod 重建以及網(wǎng)絡(luò)策略是否過于復(fù)雜。11. 常見問題與排查方法問題現(xiàn)象可能原因排查方式解決方案kubeadm init 拉鏡像失敗網(wǎng)絡(luò)無法訪問鏡像倉庫或鏡像倉庫地址不通查看 init 輸出日志確認鏡像名稱使用--image-repository指定可訪問的鏡像倉庫節(jié)點一直 NotReadyCNI 未安裝或 kubelet 與運行時通信異常kubectl get nodesjournalctl -u kubelet -f安裝 Flannel/Calico檢查 cri socket 配置CoreDNS Pod 反復(fù) CrashLoopBackOff網(wǎng)絡(luò)插件未就緒或容器運行時異常kubectl logs -n kube-system coredns-pod等待網(wǎng)絡(luò)插件就緒重啟 CoreDNS DeploymentPod 調(diào)度后容器創(chuàng)建失敗cgroup driver 不一致docker info | grep Cgroupkubelet 配置統(tǒng)一為 systemd修改 daemon.json 后重啟 dockercri-dockerd.sock 不存在cri-dockerd 服務(wù)沒啟動systemctl status cri-docker.socket cri-docker.service啟動服務(wù)檢查 ExecStart 路徑是否正確kubeadm join 找不到 K8s API Servertoken 過期或端口不通在 master 執(zhí)行kubeadm token list檢查 6443 端口重新生成 token或放行防火墻端口NodePort 無法訪問Service 類型不是 NodePort或防火墻未放行 30000-32767kubectl get svcss -lntp | grep 30080修改 Service 類型或在安全組放行 NodePort 段kubectl logs卡住無輸出kubelet 與 apiserver 網(wǎng)絡(luò)異?;蛉萜饕淹顺鰇ubectl describe pod檢查節(jié)點 10250 端口確認節(jié)點間網(wǎng)絡(luò)排查 kubelet 狀態(tài)集群 Pod IP 在不同節(jié)點間不通CNI 插件異?;?bridge-nf-call-iptables 未開啟sysctl net.bridge.bridge-nf-call-iptables查看 CNI 日志重新執(zhí)行 sysctl 配置重啟 CNI Pod業(yè)務(wù)容器重啟頻率很高資源限制過低或健康檢查失敗kubectl describe pod查看 OOMKilled 狀態(tài)調(diào)高資源 limits或調(diào)整 liveness/readiness 探針排查 Kubernetes 問題時最重要的兩個命令是kubectl describe和日志查看。很多表面現(xiàn)象比如 Pod 一直 Pending、Node 狀態(tài) NotReady、Service 不通最后都能在 describe 輸出和系統(tǒng)組件日志里找到直接原因。12. 最佳實踐與使用建議12.1 第一次部署先小參數(shù)驗證不要一上來就鋪幾十個節(jié)點。先在兩個節(jié)點上跑通整套流程確認 Docker、cri-dockerd、kubeadm 的版本匹配關(guān)系再逐步增加節(jié)點。尤其是 cri-dockerd 版本和 Docker 版本之間最好以官方 Release 說明為準(zhǔn)。沒有驗證過的新版本先在小環(huán)境里跑幾天再考慮上生產(chǎn)。12.2 模型文件、鏡像、配置文件分目錄管理集群運維中建議把 kubeadm 配置、CNI manifest、業(yè)務(wù) YAML 分目錄存放。比如/opt/k8s/ └── manifests/ ├── kubeadm-config.yaml ├── cni/ └── apps/這樣升級集群、排查配置差異時能快速找到對應(yīng)文件也方便用 git 做版本管理。12.3 批量任務(wù)要加日志和失敗重試Kubernetes 原生 Job 的重試策略有限。如果是重要批量任務(wù)建議在應(yīng)用層實現(xiàn)失敗重試并把日志寫入持久化存儲。CronJob 也建議設(shè)置startingDeadlineSeconds避免調(diào)度堆積時產(chǎn)生大量并發(fā) Job。12.4 安全與合規(guī)提醒部署 Kubernetes 集群時組件和鏡像應(yīng)該只從官方或可信來源獲取不要使用來路不明的二進制和容器鏡像尤其是涉及生產(chǎn)數(shù)據(jù)和用戶隱私時。集群中如果運行人臉、聲音、版權(quán)素材等敏感數(shù)據(jù)的處理任務(wù)必須先確認數(shù)據(jù)來源合法、已獲得授權(quán)并按照企業(yè)內(nèi)部安全規(guī)范設(shè)置網(wǎng)絡(luò)策略和訪問控制。kube-apiserver 的 6443 端口不要直接暴露到公網(wǎng)建議放在內(nèi)網(wǎng)或通過堡壘機訪問啟用 RBAC 并配置認證插件避免未授權(quán)訪問。12.5 定期備份 etcdetcd 是整個集群狀態(tài)的核心。生產(chǎn)環(huán)境要配置 etcd 的定期快照備份到獨立存儲。備份命令可以直接使用 etcdctlETCDCTL_API3 etcdctl --endpointshttps://127.0.0.1:2379 \ --cacert/etc/kubernetes/pki/etcd/ca.crt \ --cert/etc/kubernetes/pki/etcd/server.crt \ --key/etc/kubernetes/pki/etcd/server.key \ snapshot save /backup/etcd-snapshot.db出現(xiàn)節(jié)點恢復(fù)、集群擴容等場景時這份備份就是最后的兜底。13. 總結(jié)與下一步這套 kubeadm 安裝 K8s 1.37.x 并讓底層走 Docker 的方案最值得嘗試的點在于它保留了 Docker 的運維習(xí)慣同時讓你拿到一個可用的多節(jié)點 Kubernetes 集群。安裝完成后最應(yīng)該先驗證三件事第一節(jié)點是否為 Ready系統(tǒng) Pod 是否 Running第二docker ps 能否看到帶k8s_前綴的容器第三部署一個 Nginx Service 并確認 NodePort 能正常訪問。這三步通過說明 kubelet、cri-dockerd、Docker Engine 整條鏈路是通的。最容易踩的坑有兩個一個是沒有在kubeadm init和kubeadm join中顯式指定 cri socket導(dǎo)致集群底層實際變成 containerd另一個是 Docker 的 cgroup driver 和 Kubernetes 不一致導(dǎo)致節(jié)點狀態(tài)異常。提前把這兩點處理好整個安裝過程會順暢很多。后續(xù)可以繼續(xù)擴展的方向包括接入 Cilium 或 Calico 實現(xiàn)更精細的網(wǎng)絡(luò)策略安裝 metrics-server 或 Prometheus 做監(jiān)控告警通過 Ingress Controller 替代 NodePort 暴露服務(wù)把現(xiàn)有 Docker Compose 服務(wù)逐步改寫成 Deployment 和 StatefulSet。等這一套集群穩(wěn)定運行一段時間后再評估是否需要切換到底層 containerd對比兩者的資源占用和管理成本。建議收藏備用尤其是準(zhǔn)備在多臺機器上復(fù)現(xiàn)這個部署流程的時候。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月天社区| 大地资源色婷婷视频在线| 婷婷婷久久久| 香蕉久操| 五月婷婷黄色视频| 成人做爰黄A片免费看直播室男男| 婷婷五月天大香蕉| 五月天激情小说| www.金莲av| 日韩砖区| AV大香蕉| 婷婷五月精品中文字幕| 操操熟女| 婷婷欧美综合| 日本在线视频www色| 五月丁香淫淫婷婷婷| 亚洲欧美在线观看| 色综合久久88色综合天天| 99综合视频一体| 久久久噜噜噜久久人妻| 日本啪啪天堂| 久久多色| 乱乱av| 激情综合五月激情| 九色成人AV在线| 免费观看的AV| 射琪琪| 日韩99色99| 婷婷综合九色伊人| 亚洲丁香五冃97色| 五月婷婷丁香| 超碰人人操| 婷婷六月综合基地| 亚洲小电影在线观看黄999| 五月激情影院| 九九99视频精品| 九九av在线| 婷婷午夜激情| 日韩精品色| 色八月婷婷| 噜噜在线| 五月婷婷我| 日本的α片xxxwww| 日本在线观看aaa 99| 狠狠干综合网| 亚洲bt丁香五月天婷婷激情小说| 五月激情婷婷开心| 新99思思视频| 天天肏屄夜夜爽| 超碰99在线观看| 99色在线视频| 影音先锋综合网| 五月丁香人妻| 亚洲激情AV| 老妇操B| 九月丁香婷婷基地| 91操人人操| 丁香六月婷婷| 综合色色色| 五月丁香网站| 色涩视频久久| 97婷婷在线视频| 任你爽在线视频| 开心激情网在线| 色五月色综合| 六月婷婷色综合| 天天插天天插天天插天天插| 久热这里只精品| 国产FREESEXVIDEOS性中国| 丁香五月深爱五月婷婷| 丁香婷婷超碰| 午夜美女人啪最红院| 婷婷桃色网| 天天爱天天操| 天天草天天日| 色婷婷五月天激情在线观看| www.婷婷五月天.com| 99热全是精品| 六月丁香激情综合网| 婷婷五月丁香基地在线视频官网| www.99.色| 99久久九九视频| 影音先锋自拍网| 26uuu亚洲欧美另类| 七七九九色色| 26uuu欧美日本| 国产肏屄大片| 激情五月天综合图片小说网站| site:minyis.com| 丁香色啪综合| 九九热中文| 色色激情| 91丨九色丨国产在线| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 99热久草| 久久九九免费大视频| 色频玖玖五月天| 99热6这里只有精品6| 婷婷丁香激情| 五月天激情国产综合婷婷婷就去爱| 大香蕉五月天| 欧美啪啪网| 激情六月丁香| 开心婷婷五月中文字幕组| 丁香六月无码播放| 成 人片 黄 色 大 片| 亚洲熟妇AV乱码在线观看| 丁香五月婷婷香| 激情99| 夜夜人妻五月天| 婷婷丁香五月天在线| 天天干天天爽| 日韩精品一曲二曲三曲四曲五曲| 亚洲激情综合色站| 99在线精品视频| 丁香六月啪啪| 亚洲日韩乱码一区二区三区四区| 婷婷色在线播放| 播五月婷婷开心| 婷婷五月花西瓜| 久久这里只精品| 99热10在线高清播放| 男女免费视频999| 噜综合| 色色aⅤ網| 色综合色色| 轮奸综合网| 丁香五月婷婷综合网| 五月婷婷色色色| 丁香五月婷婷啪啪| 丁香五月婷婷基地| 国产成人在线精品| 操日本三片99| 日韩AAAAAAAAAAA片| 五月天激情小说网| 激情AV| 五月婷婷第四色| 五月婷婷六月丁香| 人人操AV| 國語久久婷| 色五月 婷婷, 大香蕉| 丁香五月激情综合| 五月激情婷婷在线| 青草网在线观看| 丁香婷婷六月男男| 黄久久久| 婷婷大乡焦噜噜| 大香蕉久热| 蒲京久久无码视频| 色五月色五天色情网| 蜜臀AV在线成人| 精品久热69| 久久99草五月婷婷| 六月丁香激情网| 青草青草视频2免费观看| 九九AV| 日本色99| 激情综合五月| 五月婷婷激情网| 99这里有精品视频| 欧美大道不卡| 婷婷九月亚洲| 强伦轩人妻一区二区电影| 亚洲欧美综合7777色亭亭| 亚洲 精品 综合 精品| 青青草原伊人网| 精品日本视频444| 少妇久久诱惑视频| 香蕉视频性爱BB做爱| 日本噜噜色网| 久碰久| 丁香伊人激情| 亚洲一二三网| 可以看的av网站| 色色综合五月| 夜夜躁婷婷AV| 激情网五夜婷婷| www.婷婷六月天| 婷婷久久欧美| 99视频在线9| 日本成人小说婷婷六月| 伊人网啪啪| 久色大| 久草五月婷婷| 精品亚洲国产成AV人片传媒| 夜夜操天天爽| 天堂爱啪啪| 91大神操美女| 丁香婷婷五月激情综合| 久久性爱视频| 五月婷护士| 日本熟女一区二区| 丁香五月手机在线| 国产在线aaa片一区二区99| 三十路磁力链接| 五月婷婷激情在线| 夜夜夜夜夜操| 99成人免费热视频| 97色碰| 乱岳熟女50岁| 夜夜撸日日操| 五月婷婷亚洲综合网| 五月开心婷婷| 成人欧美日韩| 亚洲亚洲人成综合网络| 五月婷婷影院| 初夜av| 久久综合色五月| 99久久网站| 99视频这里只有久久精品 | AV伊人青草丁香六月| 爱久久小说下载网| 婷婷永久在线| 久色婷婷200| 五月婷婷色影院| 欧美经典片免费观看大全| 这里只精品热在线18| 玖玖婷婷五月| 日本天堂网站99| 日韩无码成人电影| 欧美婷婷成人| 九九色99| 99re熱| 99精品综合在线| 97色婷婷成人综合在线观看| 色色色色色色色色网站| 五月天色婷婷av| 97热久久五月婷婷| 小视频aaa久久久| 五月六月丁香婷婷在线观看| 久婷婷五月综合欧美| 色色色色网| 色色色色色网站| 色五月婷婷久久爱| 色欲色天天香综合| 91日韩美女被插视频| 婷婷五月亚洲一本在线丁香| 小视频aaa久久久| www.99热这里精品| 久婷视频| www.五月婷| 任你躁XXXXX麻豆精品| 久久婷婷五月综合色奶水99啪| 激情五月六月丁香| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 欧美大道不卡| 91pornav在线| 婷婷丁香www视频日本韩国| 色色色热| 中字幕视频在线永久在线观看免费| 99操免费视频| 人人综合久| 亚洲另类噜噜| 综合久久人妻| 亚洲热视频在线| 十月丁香婷婷| ss五月天激情| 色五月婷婷少妇人妻| 成人做爰A片免费看网站找不到了| av在线免费网站| 丁香五月婷婷亚洲天堂| 91丨人妻丨国产丨丝袜| 伊人久久大香天蕉亚洲特级| 光棍影院日韩精品| 久久五月天视频| 九九色婷婷Av| 丁香五月天91| 99伊人婷婷在线| 超碰无码老师| A级毛片高清免费不卡播放谢谢谢谢| 久久婷婷五月综合网| www.色五月| 免费无码毛片一区二区A片| www.色五月| 色欲色香综合网| 五月天伊人综合| 超碰猛烈的性猛交| 夜夜爱网站| 99热这里精品| 99精品国产在热久久| 色五月婷婷在线| 日韩啪啪视频| 丁香花综合永久入口| 91碰免费视频| 久久五月天视频| 夜夜爱伊人| 五月婷婷六月丁香首页| www,五月天com| 久久五月天精品视频| 色五月婷婷少妇人妻| 激情婷婷人妻| 综合网五月| 99re免费精品视频| 97超碰,人人舔,人人操,人人摸| 日韩AV在线影片| 久久月天堂| 成人色图情色成人网 www.5b5b5bcom 五月天 | 91人妻视频| 婷婷射丁香| 丁香五月天社区| 99色免费观看全部| 香蕉曰比| 亚洲人妻av| 日日婷婷不卡| 99热激情| 国产精品久久久久久妇女6080| 国产乱人偷精品人妻A片| 99re资源在线视频导航| 大香蕉婷婷丁香视频在线| 综合五月草| 日韩av网址大全| 天天噜| 99热这里只有精品2| 99re6在线视频精品免费| 欧美一级a| 色五月大| 国产精品成人av在线观看春天| 99网| 99天天操夜夜操| 欧美毛卡| 五月天婷a| 婷婷色五月开心五月| 97色色视频| 五月色婷丁香| 国熟女视频| 天天在线XXX| 九九色色| 婷婷色丁香五月| 激情播丁香| 色五月涩涩婷婷| 中文字幕日产A片在线看| 伊人激情网| 国产中文亚洲欧美日韩性交| 天天xxxxxx天天日| 婷婷五月天基地| 2015WWW永久免费观看播放| 26uuu美女三级视频| 在线只有精品| 在线综合啪| 五月丁香综合啪啪啪啪啪| 五月婷婷啪啪啪啪| 激情人妻蜜夜系列区| 久久九色| 五月丁香六月玩女人| 性无码专区无码| 成人一区在线观看| 99热精品免费在线观看| 538在线精品| 色婷婷97| 五月色丁香| 亚洲综合欧美色丁香婷婷888月图片| 精品无码av丁香五月激情| 99热思思| 东北黄色一级| 婷婷色色婷婷| 五月天色站| 天天爽天天摸| 色就色94欧美setu| 99色 色| 午夜精品人妻无码一区二区三区| 色爱99| 中文AV网站| 99热在线网站| 激情五月天色婷婷| 婷婷丁香成人色综合| Se.婷婷五月天| 丁香五月婷婷AV| 久草九九| 狠狠久久婷五月| 综合五月丁香97| 精品久久久久久久人妻| 日韩久久日| 操一操| 日韩成人中文| 婷婷五月天干干| 97啪在线观看视频| 91色情播放| 婷婷五月天天激情| 婷婷色片| 色情综合| 超碰免费人人| 亚洲激情av| 丁香六月婷婷综合| 丁香五月激情综合网激情五月| 五月婷婷激情| 99日韩网站| 六月色婷婷综合影视| 日日撸夜夜操| 天天激情5月天亚洲| 9久热| 色五月成人婷婷| 五月婷婷丁香六月| 日日操日日射| 啪啪操操| 色99网站| 丁香婷婷五月六月天| 成人综合视频网址| 婷婷五月综合网| 另类精品视频在线观看| 性爱视频久久| 五月天综合在线观看| 色色婷婷色色| 99免费视频| 九九久久99| 亚洲欧洲小视频9| 久久久性爱视频| 成人丁香五月婷| 玖玖99免费视频| 五月花综合网| 婷婷五月丁香色播| 最近中文字幕大全免费版在线| 天天干天天干天天干天天干天天| 亚洲有码在线视频| 婷婷色影院| 99热精品一| 色天堂操| 久久综合久色欧美综合狠狠| 六月丁香激情| 在线va网站| 北条麻妃伊人| 中文字幕在线日亚洲9| 五月丁香黄色| 丁香五月婷婷深爱综合激情| 9在线9在线婷婷在线国产| 综合久久97| 亚洲婷婷月丁香五月| 99热久久日本| 国产伦亲子伦亲子视频观看| 亚洲激情综合网| 国内裸舞二区| 中文字幕激情综合| 99在线看视频| 色爱综合网| 婷婷在线综合| 五月丁香激情婷婷| 熟女五月天久久综合| 伊人网碰碰| 潘金莲AAAAAAAAAA| 五月激情综合网| 亚洲情色一区| 丁香六月爱综合| 久久久久9| 热久久这里只有精品20| 九九人人操| 国产精品岛国片在线观看免费| 婷婷五月天基地| 久久久久久人妻久久久久久久久久人妻久久久| 99热久久这里只有精品| 日本色色网| 十区AV| 九九爱激情| 丰满人妻一区二区三区| 六月天婷婷| 视色综合| www.sezonghe| 久久综合伊人综合在线| 婷婷丁香视频在线观看免费| 五月丁香婷中文| 色婷婷人人| 免费看欧美成人A片无码| 九九99免费视频| 色色网站| 婷婷五月亚洲一本在线丁香| 色 丁香婷婷| AV九九| 成人在线网站| 天堂网色色| www色哟哟| 久草丁香婷婷1024| 婷婷字幕在线| 99热97美女| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | av免费人人| 丁香色情五月综合激情| 婷婷四色五月| 五月婷婷色| 亚洲激情视频在线观看| 激情色色| 男人天堂亚洲综合| 五月婷婷六月色| 99久在线精品99re8| 久久激情五月| 五月天激情国产综合婷婷婷| 狠狠CAO日日穞夜夜穞AV| 97人人射| 五月丁香六月婷婷网| 久久婷五月婷| 综合激情在线视频| 99欧美| 九九九九毛片| 激情六月综合| 97在线观视频免费观看| 99国产97在线,| 欧美色色日韩| 99re热在线视频| 五月婷婷色色| 亚州日本欧州韩美高青高潮一| 第六色在线| 色五狠狠| 九九性视频| 久久这里只精品| 99热这里只有精品8| 97色女人在线| 亚洲精品久久久久久久久久吃药| 五月天久久小说| 99日本视频| 大香蕉精品视频| 开心 五月 综合| 久久这里只有精品16| 久久婷婷五月天激情唯美| 日日夜夜久| 99re视频在线播放| 91超碰人人操| 婷婷婷久久| 九热电影av| 97碰在线视频| 99热无码| 99热精品中文字幕| 第四色色六月色综合| 26.uuu丁香五月婷婷| 丁香五月天激情网址| 五月天激情婷婷丁香| 99九九精品| 日本三级日本三级99| 日本不卡一区二区三区| 成人版视频在线观看| 狠狠狠狠免费| 丁香婷婷91在线观看视频| 色婷婷狠狠18禁| 亚洲AV在线免费看| 婷婷色网站| 久久草婷婷丁香网站| 99玖玖在线视频| 国产精品天天狠天天看| 五月丁香激| 91视屏在线观看com.wwwvv| www婷婷| 香蕉婷婷| 丝袜激情网| 天色综合网站| 99热精品免费| 婷婷成人AV| 婷婷五月天影视网址| 常久最新免费的色吊丝| 久久99久久久久久| 亚洲国产另类av| 久久激情综合| 亚洲激情AV| 亚洲啪啪精品| 婷婷色av| 色www久视频| 婷婷的99视频网站| 婷婷欧美| AV大片在线观看| 99这里有精品视频3| 日日综合网| 色一情一乱一乱一区91Av| 丁香久月婷| 99热免费| 亚洲区,视频区,视频区免费| 五月综合丁香婷婷| 日韩免费99| 99r这里| 免费观看大片视频 丁香婷婷 六月欧美| A片试看50分钟做受视频| 97精品综合久久| 婷婷爱五月| 久久艹网| 思思热精品在线视频| 久9热| 色久九| 丁香六月婷婷| 四射综合网| 夜夜操天天爽| 人妻有码乱操| 丁香五月婷婷色播艳门照| 国产亚洲精品久久久久苍井松 | 婷婷丁香人妻天天久久| 亚洲精品第一国产综合亚AV | 青草激情综合| 好色婷婷| 亚洲秘 无码一区二区三区妃光/1| 99热黄| 婷婷激情五月天天天开心| 欧美黄色AA片哗啦啦啦| 中文字幕成人| 成人视频网| 亚洲久久视频| 性欧美大战久久久久久久83| 天天日天天操天天干| 人妻日日日| 五月天激情美女久久| 五月综合人妻| 色色色色av色色色色| 大香蕉丁香婷婷| 五月婷婷精品无在线| 精品热九九| 26uuu欧美亚洲日韩| 桃色五月婷婷| www.五月天婷婷| 亚洲综合一区二区| 丁香久久| 五月丁香综合伦理片| 精品亚洲国产成人A片在线鸭王 | 国产乱妇乱子伦| www.91AV.com| 91色综合| 五月www| 99久久婷婷国产综合精品电影| 色婷婷社区| 日日夜夜爽| 99操网站| 五月丁香啪啪激情| 色五月视频无码播放| 日本天堂网站99| 五月丁香色婷婷色| 婷婷色五月天第7色| 五月天婷婷偷拍| 青草激情在线| 六月婷婷av| 这里只有精品2| 色五月aV| 99伊人性爱在线影院| 超碰人人干| 婷婷天天插天天爱| 97操碰人人| 色色热| 十月丁香九月婷婷综合| 538任你爽视频不一样的| 久久婷婷视频| 久久久久久丁香五月| 婷婷五月丁香91| 欧美成人精品A片免费一区99| 国产成人99久久亚洲综合精品| 日韩性视频| 偷拍九九热| 久久激情五月| 色五月婷婷五月天激情综合| 五月婷婷六月丁香激情深爱| 亚洲 欧洲 国产 伦综合| 丁香六月激情综合| 天天天干夜夜夜操| 狠狠色丁香久久久婷| 亚洲性爱AV| 色色无码| 人人干99| 5月丁香六月婷婷| 色婷五月| 98永久精品| 超碰在线综合| 久久婷婷五月综合色和| 五月丁香啪啪综合| 夜夜撸夜夜骑| 久热这里只有精品99re,久热这里只有精品7| 丁香九月激情在线视频| 亚洲爆乳无码精品AAA片蜜桃| 操骚货在线| 337p午夜影院| 狠狠大香婷婷爱| 九月激情综合婷婷| 先锋影音av色五月天资源站| 激情色色| 俺去也五月| 色综合色综合色综合色综合| 五月丁香婷婷六月天| Www99热| jiujiuxiangjiaowang| 丁香五月婷婷在线| 99性视频| 久久久久这里只有精品| 成人短视频在线| 色色色99| 六月婷婷中文字幕| 婷婷五月天视频亚洲| 婷婷色情小说| 日日日影院| 天天拍夜夜爽日日| 26uuu国产精品| 99爱这里只有精品| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 少妇人妻综合色6699| 97色伦另类图片小说视频 | 丁香婷婷噜噜| 久99热| 国产26uuu| 亚州AV超碰人人操| 成人电影丁香六月天| 婷婷综合激情五月综合| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 操逼毛片国语对白| 99热在线观看精品| 久久精品99久久久久久久久| 涩 五月 婷婷 狠狠| 性爱网六月丁香| 91日精品| 九色视频91疯狂| 久九色| 亚洲性受XXXX五月丁香| 激情婷婷五月女| 婷婷开心青青草| 欧美婷| 亚洲色综合性| 国产精品视频久久99| 五月天激情子轮| 色五月婷婷很很操| 91人人爽狠狠狠| 激情伊人五月天| 97五月天| 91熟妇大香蕉| 99riAV国产精品视频| 精品激情| 国内裸舞二区| 深爱激情av| 人人摸人人搞| 成人精品在线| 无码激情AAAAA片-区区| 婷久久综合| 五月婷精品| 日日色五月天| 色色色色网站| 99热这里只有精品99| 久久精品国产精品| 91久久电影| 大功率国产在线| 丁香婷婷啪啪啪| 色99色| 五月婷久久| 影音先锋美国A| 五月天伊人久久久久| 99婷婷五月天| 久色资源| 欧美色五月| 国产综合丁香五月天| 超碰国产在线观看| 五月丁香WWW| 夜丁香综合| 99热这里只有精品55| 黄色av高清| 激情综合色网| 激情五月开心五月丁香五月| 婷婷亚洲天堂| 9|在线观看视频| 色色吧综合| 99精在线| 欧美搡BBBBB摔BBBBB| 日韩在线成人电影| 五月丁香六月婷婷免费视频| 激情小说五月欧美亚洲丁香| 亚洲亚洲人成综合网络| 4438成人电影| 五月丁香六月婷婷免费| 久99视频在线观看| 大香伊人久色| 天天摸天天舔在线视频| 婷婷刺激综合| 思思热99er| 色VA| 新97人人上人人| 91精品刘玥| 99热九九这里只有精品| 五月婷婷免费在线视频| 嫩草AV久久伊人妇女超级A| 日本婷久久| 婷婷金品综合视频| 操老逼综合网| 综合激情伊人影视在线| 五月天伊人综合| 丁香88AV五月婷婷| 欧美在线骚货| 丁香五月婷婷啪啪啪| 天综合日日夜综合7799| 99这里只有精品在线观看| 色婷婷色99国产综合精品| 亚洲AVwwwwwww| 久久婷婷在线| 97丨九色丨国产丨PORNY| 久久er免费视频| 99九无网码| 九九九九中文字幕| 五月综合影院| 四季8848精品成人免费网站| 天天婷婷天天| 色色99| 欧美在线视频99| 婷婷精品在线| 婷婷五月天网址| 爽天天天天天天天| 激情文学 综合 九月| 日日夜夜小色哥| 久久丁香综合香蕉| 丁香久久五月天视频在线观看| 97五月天| 丁香 婷婷五月| 久久激情五月| 五月丁香婷婷无码A∨| 色婷五月天| 午夜理论片最新午夜理论剧 | 亚洲视频一区| 秋霞簧片| 五月天社区婷婷| 这里只有精品久| 天堂在线观看视频| 五月丁香婷婷开心| 久久综合55| 丁香五月婷综合网| 中文字幕av网站| 淑女丝袜bi操逼123| 色婷在线视频| 亚洲综合网 665566| 91超碰在线观看| 思思re99视频在线观看| 99er国产| 97五月婷| 五月天综合区| av婷婷丁香| 婷婷九月丁香| 日本免费91| 婷婷综合激情| 天天舔天天摸天天射| 99原创自拍视频在线观看| 一级操逼内射在线视频| 狠狠色网| 偷拍91九色| 丁香五月天无码AV| 国产XXXX搡XXXXX搡麻豆| 五月丁香婷婷开心| 色婷婷国产精品综合在线观看| 色吧五月| 久久久久久久久久久久久久人妻视频| 国产偷人爽久久久久久老妇APP | 人妻AV在线观看| 婷婷中文字幕| 四色AVwww| 婷婷综合色| 538在线精品| 色五月婷婷激情| 久久精品视频99| 91九色最新视频| 美欧成人视频| 欧美内射AAAAAAXXXXX| 五月色天情| 婷婷伊人綜合中文字幕| www.99.色| 国产三级秋霞| 色婷婷婷婷成人网| 色玖玖综合| 婷婷成人基地| 99热综合色图| 五月丁香六月婷婷在线小说视频| 成人免费视频一区| 婷婷色网| 婷婷激情五月综合| 人人爱干人人爱草| 婷婷丁香社区| 无码少妇高潮喷水A片免费| 丁香六月婷| 五月婷庭丁香在线| 香蕉久久六月| 色婷婷综合久久| 91日韩在线| 激情伊人五月天| 怕怕av| 日日艹思思热| 天天爽人人综合免费7799| 韩国不卡AC视频| 婷婷五月无码| 伊人五月丁香| 婷婷五月天xxx| 久久婷婷五月综合精品蜜芽| 青青久久五月天丁香婷婷| 激情五月综合亚洲另类| 欧美成人精品A片免费一区99| 狠狠色激情在线| 丁香婷婷色色| 九九九九中文字幕| 激情五月婷婷| 日日干夜夜干| 中文字幕在线不卡| 激情五月小说婷婷| 青青草日本亚洲| 色综合色色| 婷婷九月狠狠色| 91呦呦呦| 成人精品视频99在线观看免费| 激情五月天视频| 丁香五月婷婷骚视屏| 日本本土色网第一区| 99热新网址| 另类图片五月天激情| 国产一区二区av免费| 中文字幕在线不卡| 成人网在线视频| 久久久久丁香婷婷五月天| 99热精国产这里只有精品| 99热国产这里只有| 丁香五月激情六月欧亚激情综合导航| 综合 蜜月 婷婷| 无码AV大香线蕉伊人| 丰满人妻妇伦又伦精品国产| 九九在线精品| 日韩无码成人电影| 色色99| 久热超碰91| 五月丁香六月激情视频| 直接看的AV| 桃色激情网| 日日.c| 婷婷金品综合视频| 五月丁香六月婷婷在线观看| 亚洲日日操| 激情五月,深深爱五月| 人妻爽爽爽久久久久久久久| 6月丁香婷婷| 26UUU| 五月丁香 六月婷婷a| 久久精品4| 五月婷婷丁香| 久久丁香婷婷五月天| 99热在线观看精品| 九九AV| 那里有AV网址| 婷婷五月色播网| 丁香五月婷婷深爱综合激情| 色婷婷五月开心六月综合| 国产中文亚洲欧美日韩性交| www.激情在线| 色婷婷欧美在线| 内射激情在线| 99爱最新免费视频在线观看| 色情丁香五月天| 第六色在线| 亚洲精品色色色| Www,五月天| www.狠狠| 婷婷五月天久久久| 婷婷99狠狠| 中文字幕日本最新乱码视频| 五月丁香花成人社区| 五月做爱| 另类精品视频在线观看| 婷婷色网站| 日本五月婷婷| 天堂成人A片永久免费网站| 99只有精品9| 99色久| 婷婷九月在线| 色就是色婷婷五月亚洲激情| 色播五月丁香综合| 五月婷婷五月天亚洲无码| 婷婷五月天狠狠色| 五月天天综合| 四色永久成人网站| 第四色色六月色综合| 任你擦免费视频| 99久久国产成人精品| 99爱最新免费视频在线观看| 99热精品无码| 超碰九色| 狠狠综合久久综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 丁香激情六月天婷婷| 99爱视频在线播放| 色色五月天婷婷| 狠狠干.com| 久久久.COM| 极品 少妇 内射| 天天综合网站| 国产高潮A片羞羞视频涩涩| 欧美色色日韩| 久久婷婷五月国产色综合激情| 玖玖资源站蜜臀| 大香蕉五月丁香| 91黄色五月天视频| 久热99| se99视频| 六月丁香久久| 日韩久久日| 五月丁香综合啪啪啪啪啪| 婷婷色狠狠| 人妻久久久久久| 五月丁香婷婷综合视频| 欧美视频在线观看噜噜| 91操碰| 激情综合色五月丁香| www九九| 九九热在线视频观看| 亚洲无AV在线中文字幕| 久久久8| 停停五月丁香| 九九色影院| 国产精品国产| 天天操,夜夜骑| 五月天成人小说| av免费在线网站| 婷婷五月天综合中文| 婷婷丁香小说| 婷色综合| 综合色天天| 国产成人网| www.久久久久久| 日夜夜久久| 国产精品扒开腿做爽爽爽A片唱戏| 成人综合AV| 国产26uuu| 99网| 欧美激情 日韩无码 婷婷 五月天 久久婷婷丁香五月一二三 | 丁香五月婷婷在线| 97干网站| site:pnnrt.com| 99九九99九九九视频精品| 美女婷婷六月色| 色婷久久| www999日韩精品| 五月天婷婷综合网| 无码色综合| 中文在线视频久1| 人人干人人操外国| 99国产视频网| Av在线不卡一区| 狠狠插日日干撸| 91在线资源| 激情色情五月天| 岛国AAAV| 日本成人小说婷婷六月| 玖玖在线视频| 欧美激情五月综合| 97色色综合| 亚洲成人在线免费| 91一起操| 色婷婷久久| 91蜜桃婷婷狠狠久久综合9色| 九九热10| 久99热| 丁香五月天激情网址| 丁香五月六月| a在线观看| 五月婷婷激情五月| 91男同| 很很干天天干| 精a品a视a频| 婷婷亚洲综合| 91啪级电影| 久久免费高| 99精品免费欧美小视频| 色婷婷人人| 精品A√| 色网站9| 99久久6| 丁香玖玖| 91碰碰碰| 五月天婷五月天综合网在线观| 激情五月天网| 蜜臀av无码久久久久久久久 | 99伊人性爱在线影院| 丁香六月婷婷开心| 亚洲色激婷| 人人操人人妻| 激情久久久久久久久久| 亚洲国产婷婷色五月| 精品夜夜澡人妻无码AV| 国产色五月| 婷婷爱五月| AAA久久久| 五月婷婷少妇之| 综合久久综合五月天婷婷| 色五月婷婷影院| 色色丁香婷婷综合| 国产精品人成A片一区二区| 九九热这里只有国产精品| 亚洲成人无码片| 色色色综合网| 伊人激情AV一区二区三区| 婷婷成人综合五月| 五月丁香成年黄色| 天天影院色| 久久视频这里99| 五月色色色| 天天揷综合网| 夜夜久久综合网| 丁香五月成人论坛| 激情五月婷婷啪啪| 综合网色| 久久机热这里只有精品| 碰碰91| 婷婷五月丁香第四色超碰在线| 亚洲人成色A777777在线观看| 亚洲小视频免费观看| 亚洲不卡123| 高清无码入口| 99在热线免费视频| 99在线精品视频免费| 久久性都花花世界成人免费视频| 热99在线精品| 啄木鸟黑丝一区二区| 97色色综合| 99热有精品在线观看| 色婷婷综合久久久久| 婷婷五月天电影在线| 激情AV在线| 性爱111111| 免费观看的av| 站长推荐无码播放| 亚州色色色| 五月丁香六月婷婷亚洲激情综合| 激情综合99| 丁香五月天AV在线 | 久久婷婷五月综合色欧美| 91视频一起草| 丁香五月激情鲁| www.av视频xx999.com| 97五月婷婷| 五月天天丁香婷婷| 丁香色五月 97干| 在线观看欧美| 五月丁香婷婷伊人| 丁香五月天激情婷婷丁香六月| 日本97在线| 三日本无码| 中文字幕日产A片在线看| 99热国产精品| 天天日天天舔| 成人婷婷深爱综合网| 影音先锋按摩| 婷婷丁香宗合888| 任你搞在线观看视频| 高清视频一区| 成人va视频| 五月丁香在线婷婷美女| 五月天婷婷青青| 久久五月天综合视频网站| 色停停香蕉视频| 激情五月综合第一页| 欧美大片| 久久婷婷视频| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久色视频| 开心婷婷五月天激情网| 亚洲激情视频网| 激情丁香淫荡婷婷| 亚洲激情丁香五月天色| 亚韩在线视频| 大香蕉久久| www.99在线| 激情五月天丁香| 久久婷婷五月天| 婷婷成人丁香色情基地30| 婷婷9月天| 亚洲深喉aV| AA片在线观看视频在线播放| 疯狂做受XXXX高潮A片动画| 丁香五月天激情| 色婷婷丁香五月| 五月丁香无码| 五月丁香啪啪啪综合网| 国产免费AV网站| 久久性爱视频| 色九九综合| 97色女人在线| 色五月大| 碰碰91| 97超碰综合| 九九国产精视频| 色色五月丁香| 6月丁香婷婷激情| 人妻videos人妻高清| 99视频在线观看视频| 狠狠色婷婷六月激情网| 天天天日天天天干| 韩国天天婷婷| 欧美影院| 九九九热精品| 饮料下药迷倒漂亮女同事强干| 色色色干| 成人在线视频网| 99热免费| 亚洲AV无码成人电影| 性热视频99精品| 免费黄色视频网址| 狠狠操天天操天天操| 久久这里只有国产视频| 婷婷无码视频| 色欧美影院| 超碰九九热| av国产精品| 青青久久五月| 91操在线| 日韩啪啪视频| 激情五月综亚网| 婷婷基地五月色| 噜噜国产| 久久三级视频| .精品久久久麻豆国产精品| 99热热热国产超碰| 五月总合激情网| 思思精品久久艹 | 亚洲AV人人操| 久久在线视频免费观看| 免费V片在线| 五月婷婷性爱| 婷婷丁香激情| 欧美激情综合色综合啪啪五月| 婷婷六月色| 丁香九月综合在线| 大香蕉五月天| 色色色色网色色网色色| 97干视频| 激情五月丁香五月综合| 丁香五月最新网址| 99成人网站| 26uuu国产| 中文成人在线| 91色吧网| 男人天堂伊人五月丁香| 亚洲第一综合| 99热国品| 99人碰碰碰| 亚洲激情婷婷| 婷婷综合| 日韩日比视频| 五月天激情社区| 五月天婷婷视频| A片天天| 色婷婷综合视频| 色综合色综合网| 九九99九九99偷拍视频免费看| 超碰成人公开| 综合色久| 九九色综合视频| 婷婷五月天激情四射| 精品爆操| 99这里只有精品8| 综合色影院| 婷婷久久色五月婷婷久久久| 亚洲婷婷五月| 午夜精品777| 亚洲色在线观看| 久热99狠| wwW天天干| 六月婷婷av| 亚洲成Av人片乱码色第1集| 色久五月| 色色丁香五月天| 成人一区在线观看| 白天AV月月| 丁香六月色婷婷| 久久92| 六月婷婷在线| 超碰精品在线| 极品另类| 婷婷色丁香六月| 一二线视频 另类| 五月天婷婷久久日| 99热老网站| 99色五月| 天天五月天综合网址| 丁香五月久久| 久久婷网| 丁XX 成人| 国产做A爰片毛片A片美国| 极品色丁香| 日本一毛片| 超碰国产AV| 久久九九免费视频| 狠狠色丁香久久综合婷婷亚洲成人福利 | 九九Av| 色婷婷综合久久久久|