欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Docker+K8s+Jenkins云原生DevOps全鏈路實(shí)戰(zhàn)與排障指南

Docker+K8s+Jenkins云原生DevOps全鏈路實(shí)戰(zhàn)與排障指南 我前前后后折騰了大半年踩了無數(shù)坑才把公司那套從“代碼提交到線上發(fā)布全靠手搓”的流程逐步升級(jí)成了以Docker、K8s、Jenkins為核心的云原生DevOps全鏈路體系。這套體系上線后部署效率提升得非常明顯而且因?yàn)榱鞒虡?biāo)準(zhǔn)化了新同事上手也快了很多。這篇文章就結(jié)合我的實(shí)操經(jīng)歷把整個(gè)體系的構(gòu)建思路、關(guān)鍵細(xì)節(jié)、以及那些文檔里不會(huì)寫的坑一次性說清楚。如果你正在打算搞這套東西或者已經(jīng)在這條路上但遇到了瓶頸這篇文章應(yīng)該能給你一些切實(shí)可用的參考。先說清楚這套體系到底解決了什么問題。在傳統(tǒng)方式下開發(fā)把代碼提交到Git倉庫運(yùn)維手動(dòng)去服務(wù)器拉代碼、打包、停服、部署偶爾還要半夜爬起來處理發(fā)布事故。環(huán)境不一致的問題、依賴沖突的問題、回滾困難的問題每一個(gè)都讓人頭疼。而云原生DevOps的核心思路就是把“環(huán)境”和“應(yīng)用”都變成代碼化的、可版本管理的資源通過自動(dòng)化的流水線把構(gòu)建、測試、部署這一整條鏈路串起來。Docker負(fù)責(zé)把應(yīng)用連同它的運(yùn)行環(huán)境一起打包成鏡像解決環(huán)境一致性問題K8s負(fù)責(zé)這些鏡像的編排調(diào)度和生命周期管理解決部署和擴(kuò)縮容問題Jenkins則作為那個(gè)“總控臺(tái)”把代碼拉取、鏡像構(gòu)建、鏡像推送、K8s滾動(dòng)更新這一系列動(dòng)作編排成一條自動(dòng)化的流水線。這篇內(nèi)容我會(huì)從最底層的Docker基礎(chǔ)環(huán)境搭建開始講然后到K8s集群的部署規(guī)劃再到Jenkins流水線的設(shè)計(jì)最后會(huì)重點(diǎn)講一下這套體系跑起來之后最常見的那些故障和排查思路。整個(gè)內(nèi)容都是按照我實(shí)際落地的順序來的你可以把它當(dāng)成一份從0到1的實(shí)戰(zhàn)筆記來看。1. 為什么偏偏是DockerK8sJenkins這三件套很多剛開始接觸云原生的朋友會(huì)問市面上的容器和編排工具那么多為什么組合來組合去最終繞不開這三樣。其實(shí)答案很簡單這三者分別解決的是不同層面的問題而且恰好能嚴(yán)絲合縫地銜接在一起。Docker解決的是環(huán)境一致性和打包標(biāo)準(zhǔn)化的問題。在沒有容器之前最經(jīng)典的一句話就是“在我機(jī)器上是好的啊”。開發(fā)環(huán)境、測試環(huán)境、生產(chǎn)環(huán)境之間的系統(tǒng)版本、依賴庫版本、配置差異導(dǎo)致同一個(gè)應(yīng)用在A機(jī)器上跑得好好的到了B機(jī)器上就各種報(bào)錯(cuò)。Docker把應(yīng)用二進(jìn)制文件和它依賴的所有庫、配置文件、環(huán)境變量打包成了一個(gè)只讀的鏡像然后用這個(gè)鏡像去創(chuàng)建容器運(yùn)行。所有環(huán)境跑的是同一個(gè)鏡像環(huán)境差異這個(gè)老大難問題從根上被解掉了。K8s解決的是大規(guī)模容器的編排調(diào)度和管理的問題。當(dāng)你的容器數(shù)量只有幾個(gè)的時(shí)候手動(dòng)docker run完全夠用。但當(dāng)容器數(shù)量上升到幾十個(gè)上百個(gè)分布在好幾臺(tái)機(jī)器上時(shí)你需要知道容器跑在哪些機(jī)器上、哪些容器掛掉了需要重啟、流量如何在不同副本間分發(fā)、高峰期怎么快速擴(kuò)容。這些都是K8s的看家本領(lǐng)。它把一組機(jī)器抽象成一個(gè)資源池你只需要聲明“我要跑3個(gè)副本”K8s自己會(huì)去找合適的機(jī)器把Pod拉起來。Jenkins解決的是整個(gè)鏈條的自動(dòng)化串聯(lián)的問題。代碼從提交到上線中間經(jīng)歷拉代碼、單元測試、鏡像構(gòu)建、鏡像推送、更新K8s deployment等一系列操作。Jenkins Pipeline把這些操作編排成一段可以版本管理的腳本只要代碼一提交到指定分支Pipeline自動(dòng)觸發(fā)一條龍跑完整個(gè)流程。它相當(dāng)于這條自動(dòng)化生產(chǎn)線的總控臺(tái)。這三者單獨(dú)拿出來各自都有替代品但組合在一起形成了一條從代碼到容器的完整通路。Docker負(fù)責(zé)把代碼變成鏡像K8s負(fù)責(zé)把鏡像變成服務(wù)Jenkins負(fù)責(zé)讓這一切自動(dòng)發(fā)生。理解了這一層依賴關(guān)系你再去看后文的實(shí)操內(nèi)容思路會(huì)清晰很多。2. 從一臺(tái)干凈服務(wù)器開始的Docker基礎(chǔ)環(huán)境搭建不管你是要在生產(chǎn)環(huán)境用還是先搭一套測試環(huán)境練手Docker的基礎(chǔ)環(huán)境都必須搞扎實(shí)。這里我把自己在Linux環(huán)境下的安裝過程和需要注意的點(diǎn)完整列出來。別小看這一步很多人后面出問題追根溯源都是Docker這一層就沒裝干凈。2.1 操作系統(tǒng)準(zhǔn)備與內(nèi)核參數(shù)調(diào)整Docker對宿主機(jī)內(nèi)核有要求官方推薦使用Linux內(nèi)核3.10以上版本。CentOS 7.9、Ubuntu 20.04及以上版本的系統(tǒng)默認(rèn)內(nèi)核都能滿足要求。我建議優(yōu)先選用Ubuntu 20.04以上的版本因?yàn)楹罄m(xù)K8s對內(nèi)核模塊和iptables版本的要求Ubuntu的兼容性明顯比CentOS 7系列省心。當(dāng)然CentOS 7.9也能跑但如果你還沒選型我會(huì)優(yōu)先推薦Ubuntu。裝系統(tǒng)的時(shí)候有一個(gè)細(xì)節(jié)值得注意磁盤分區(qū)時(shí)盡量把 /var 目錄單獨(dú)分一個(gè)大區(qū)。因?yàn)镈ocker默認(rèn)的數(shù)據(jù)目錄就掛在 /var/lib/docker 下面鏡像、容器層、卷數(shù)據(jù)全在這里。如果你把 / 和 /var 放在一起跑一陣子鏡像多了很容易把根分區(qū)撐爆。我見過不少同事的服務(wù)器掛掉不是系統(tǒng)出問題就是Docker數(shù)據(jù)目錄把磁盤塞滿了。安裝docker之前先確認(rèn)一下系統(tǒng)內(nèi)核網(wǎng)絡(luò)轉(zhuǎn)發(fā)功能是開啟的# 永久開啟內(nèi)核轉(zhuǎn)發(fā) cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.ipv4.ip_forward 1 net.bridge.bridge-nf-call-iptables 1 EOF # 立即生效 sudo sysctl -p /etc/sysctl.d/k8s.conf這個(gè)配置非常關(guān)鍵如果不開啟后面容器和容器之間通信、容器訪問外網(wǎng)都會(huì)出現(xiàn)各種莫名其妙的超時(shí)問題。這一步做完再開始正式安裝Docker。2.2 Docker引擎安裝與國內(nèi)鏡像源加速我在Ubuntu上習(xí)慣用官方腳本或者是直接添加官方GPG密鑰來安裝。這里用最穩(wěn)妥的手動(dòng)方式# 卸載可能存在的舊版本 sudo apt-get remove docker docker-engine docker.io containerd runc # 安裝依賴 sudo apt-get update sudo apt-get install -y ca-certificates curl gnupg lsb-release # 添加Docker官方GPG密鑰 sudo mkdir -p /etc/apt/keyrings curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg # 添加軟件源 echo \ deb [arch$(dpkg --print-architecture) signed-by/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu \ $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null sudo apt-get update sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin安裝完成后有一個(gè)國內(nèi)網(wǎng)絡(luò)環(huán)境下必須做的事——配置鏡像加速器。Docker Hub在國內(nèi)的訪問速度很不穩(wěn)定不配置加速器拉一個(gè)幾十MB的鏡像可能要等幾分鐘甚至更久一旦鏡像體積到幾百M(fèi)B基本就沒法用了。sudo mkdir -p /etc/docker sudo tee /etc/docker/daemon.json -EOF { registry-mirrors: [ https://docker.m.daocloud.io ] } EOF sudo systemctl daemon-reload sudo systemctl restart docker關(guān)于鏡像加速地址這個(gè)變化頻率很快你可以在網(wǎng)上搜一下當(dāng)前可用的加速器。不同加速器的穩(wěn)定性和速度差別很大我建議是配置兩三個(gè)萬一某一個(gè)掛了還有備用的。另外提醒一句加速器只影響拉取鏡像不影響你往自己的私有倉庫推送鏡像。配置完成后驗(yàn)證Docker是否正常工作sudo docker run hello-world sudo docker info看到Server Version那行輸出版本號(hào)說明Docker引擎已經(jīng)正常工作了。2.3 Docker常用命令速查與理解容器生命周期Docker的命令很多但對于做DevOps鏈路來說高頻用到的就是鏡像管理和容器生命周期管理這兩類。這里把我平時(shí)最常用的命令整理成一個(gè)速查表命令作用備注docker pull 鏡像名:標(biāo)簽拉取鏡像到本地不寫標(biāo)簽?zāi)J(rèn)latestdocker images查看本地鏡像列表-docker rmi 鏡像ID刪除鏡像有容器引用時(shí)需先刪容器docker ps -a查看所有容器-a參數(shù)能看到退出的容器docker run -d --name 容器名 -p 宿主機(jī)端口:容器端口 鏡像名啟動(dòng)容器-d后臺(tái)運(yùn)行docker exec -it 容器ID bash進(jìn)入容器排障時(shí)常用docker logs -f 容器ID查看容器日志-f表示實(shí)時(shí)跟讀docker stop / docker rm停止/刪除容器-f參數(shù)可強(qiáng)制刪除運(yùn)行中容器docker system prune清理懸空鏡像和停止的容器慎用會(huì)刪除未使用的資源有一個(gè)很容易犯的誤區(qū)就是混淆了鏡像和容器的關(guān)系。打個(gè)比方鏡像是“類”容器是“實(shí)例”。同一個(gè)鏡像可以啟動(dòng)多個(gè)容器每個(gè)容器都是獨(dú)立運(yùn)行的。修改容器里的文件不會(huì)影響鏡像本身。所以當(dāng)你改了容器里的配置來排查問題發(fā)現(xiàn)重啟容器后配置又變回去了別慌這是正常的因?yàn)槿萜魇腔阽R像創(chuàng)建的。2.4 Docker數(shù)據(jù)卷和網(wǎng)絡(luò)的核心配置生產(chǎn)環(huán)境使用Docker有兩個(gè)問題必須有清醒的規(guī)劃數(shù)據(jù)持久化和網(wǎng)絡(luò)模型。數(shù)據(jù)卷用于解決容器刪除后數(shù)據(jù)丟失的問題。Docker容器是無狀態(tài)的容器一刪容器內(nèi)寫入的文件立即消失。對于MySQL、Redis這類需要存數(shù)據(jù)的應(yīng)用數(shù)據(jù)必須掛載到宿主機(jī)目錄或者使用命名卷。啟動(dòng)MySQL容器時(shí)我習(xí)慣這樣docker run -d \ --name mysql8 \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORDyourpassword \ -v /data/mysql:/var/lib/mysql \ mysql:8.0-v參數(shù)把宿主機(jī) /data/mysql 目錄映射到容器內(nèi)的數(shù)據(jù)目錄這樣即使容器損壞刪掉數(shù)據(jù)也還在宿主機(jī)上。在K8s環(huán)境里這個(gè)思想演變成了PersistentVolumePV和PersistentVolumeClaimPVC抽象底層邏輯是相通的。網(wǎng)絡(luò)方面Docker默認(rèn)的bridge網(wǎng)絡(luò)適合單機(jī)容器通信。但K8s集群里容器跨宿主機(jī)通信需要更復(fù)雜的網(wǎng)絡(luò)方案比如Calico、Flannel等。這一塊我們后面講K8s的時(shí)候再展開你在單機(jī)測試階段只要明白同一個(gè)宿主機(jī)上如果多個(gè)容器需要互相訪問可以通過自定義bridge網(wǎng)絡(luò)通信也可以通過宿主機(jī)端口映射訪問。這已經(jīng)是基本夠用的網(wǎng)絡(luò)知識(shí)了。3. K8s集群搭建前的硬件規(guī)劃與架構(gòu)設(shè)計(jì)思路K8s集群和Docker單機(jī)完全是兩個(gè)量級(jí)的復(fù)雜度。常見錯(cuò)誤是直接用一臺(tái)機(jī)器既裝Docker又裝K8s單節(jié)點(diǎn)一開始測試沒問題真正跑業(yè)務(wù)時(shí)才發(fā)現(xiàn)各種調(diào)度上的坑。我在搭建集群之前先把架構(gòu)規(guī)劃講清楚。3.1 生產(chǎn)環(huán)境最小集群的節(jié)點(diǎn)角色劃分K8s集群的基本角色分為Master節(jié)點(diǎn)控制平面和Worker節(jié)點(diǎn)工作節(jié)點(diǎn)。生產(chǎn)環(huán)境為了保證高可用Master節(jié)點(diǎn)至少要3臺(tái)通過高可用組件如keepalived或云廠商的負(fù)載均衡對外提供穩(wěn)定入口。但如果你搭建的是測試環(huán)境或者剛開始學(xué)習(xí)單Master節(jié)點(diǎn)的集群也能跑起來——只要你能接受管理節(jié)點(diǎn)掛了的時(shí)候整個(gè)集群不可調(diào)度這件事。我比較推薦的起步配置是1臺(tái)Master 2臺(tái)Worker或者3臺(tái)Master 3臺(tái)Worker。前者適合學(xué)習(xí)驗(yàn)證后者適合小規(guī)模生產(chǎn)。節(jié)點(diǎn)角色分配如下角色數(shù)量核心組件建議配置Master1~3kube-apiserver, kube-controller-manager, kube-scheduler, etcd4C8GSSDWorker2~3kubelet, kube-proxy, 容器運(yùn)行時(shí)8C16G起步Master節(jié)點(diǎn)的核心是etcd。etcd是K8s的大腦存儲(chǔ)了集群全部狀態(tài)數(shù)據(jù)它的讀寫性能直接決定集群的響應(yīng)速度。有條件的一定要把etcd數(shù)據(jù)目錄放到專門的高性能SSD盤上。我踩過的一個(gè)坑是etcd數(shù)據(jù)目錄和系統(tǒng)盤共用一塊普通機(jī)械硬盤集群一跑起來Pod調(diào)度和狀態(tài)同步慢得像蝸牛爬。3.2 如何規(guī)劃鏡像倉庫和存放鏡像的持久化存儲(chǔ)K8s要拉取鏡像來創(chuàng)建Pod鏡像從哪里來是一個(gè)需要提前想清楚的問題。如果K8s節(jié)點(diǎn)都直接去Docker Hub拉鏡像首先速度很難保證其次生產(chǎn)環(huán)境的鏡像是不能隨便用公共倉庫的。所以搭建K8s之前先把私有鏡像倉庫規(guī)劃好。常見的私有鏡像倉庫方案是Harbor它不僅支持鏡像存儲(chǔ)和權(quán)限控制還自帶漏洞掃描和復(fù)制功能是國內(nèi)使用最廣泛的方案之一。另一種輕量級(jí)的方案是直接使用Docker自帶的Registry鏡像簡單場景夠用但缺少UI界面和權(quán)限管理。構(gòu)建DevOps鏈路時(shí)我強(qiáng)烈建議第一步先把Harbor部署起來讓它成為整個(gè)體系的鏡像中轉(zhuǎn)站# 下載Harbor離線安裝包解壓后修改harbor.yml wget https://github.com/goharbor/harbor/releases/download/v2.9.0/harbor-offline-installer-v2.9.0.tgz tar xvf harbor-offline-installer-v2.9.0.tgz cd harbor cp harbor.yml.tmpl harbor.yml vim harbor.ymlharbor.yml里有幾個(gè)關(guān)鍵配置項(xiàng)hostname: 配置為你給Harbor規(guī)劃的域名或IPharbor_admin_password: 管理員的初始密碼安裝完記得改不要一直用默認(rèn)的Harbor12345data_volume: 鏡像存儲(chǔ)路徑建議單獨(dú)掛一個(gè)大磁盤如果只打算用HTTP訪問記得把https相關(guān)配置注釋掉配置完成后運(yùn)行./install.sh然后通過瀏覽器訪問http://你的服務(wù)器IP就能看到Web界面了。K8s節(jié)點(diǎn)從Harbor拉取私有鏡像有兩種方式。一是在每個(gè)節(jié)點(diǎn)上通過docker login登錄Harbor這樣Docker就會(huì)把憑證緩存到本地K8s經(jīng)由CRI調(diào)用容器運(yùn)行時(shí)拉鏡像時(shí)自然用上了。二是通過K8s的Secret機(jī)制創(chuàng)建鏡像拉取憑證kubectl create secret docker-registry regcred \ --docker-serveryour-harbor-server \ --docker-usernameadmin \ --docker-passwordyourpassword \ --docker-emailyourmailexample.com然后在Deployment的YAML里通過imagePullSecrets字段引用這個(gè)Secret。我后文在Jenkins流水線編排時(shí)應(yīng)用部署這一步會(huì)用到這個(gè)Secret你先把概念理解清楚。3.3 節(jié)點(diǎn)內(nèi)核參數(shù)與kubeadm初始化實(shí)戰(zhàn)K8s集群的搭建我推薦使用kubeadm工具這是官方推薦的標(biāo)準(zhǔn)工具零散手動(dòng)配置的步驟被大大簡化。但從實(shí)踐來看如果你在CentOS 7或者Ubuntu環(huán)境里按kubeadm流程走有幾個(gè)環(huán)節(jié)特別容易出錯(cuò)我專門列出來。首先是關(guān)閉swap分區(qū)。K8s集群節(jié)點(diǎn)要求關(guān)閉swap因?yàn)閗ubelet的cgroup管理默認(rèn)假設(shè)節(jié)點(diǎn)沒有啟用swapsudo swapoff -a sudo sed -i / swap / s/^/#/ /etc/fstab不關(guān)swap的話kubelet會(huì)直接啟動(dòng)失敗錯(cuò)誤日志會(huì)提示你“running with swap on is not supported, please disable swap”。這句話我太熟了當(dāng)初在虛擬機(jī)里折騰的時(shí)候第一次初始化失敗就是這個(gè)原因。然后是加載內(nèi)核模塊和設(shè)置系統(tǒng)參數(shù)cat EOF | sudo tee /etc/modules-load.d/k8s.conf overlay br_netfilter EOF sudo modprobe overlay sudo modprobe br_netfilter cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 EOF sudo sysctl --system這些和Docker安裝時(shí)的內(nèi)核參數(shù)類似但K8s的要求更嚴(yán)格一些br_netfilter模塊必須加載否則iptables規(guī)則無法作用于bridge網(wǎng)絡(luò)流量Service的流量轉(zhuǎn)發(fā)會(huì)出問題。接下來就可以正式安裝kubelet、kubeadm、kubectl這三個(gè)核心組件并初始化集群了。安裝部分略過細(xì)節(jié)直接把初始化命令寫出來sudo kubeadm init \ --apiserver-advertise-address192.168.1.10 \ --image-repository registry.aliyuncs.com/google_containers \ --pod-network-cidr10.244.0.0/16 \ --kubernetes-versionv1.28.2這里有一個(gè)非常關(guān)鍵的參數(shù)--image-repository registry.aliyuncs.com/google_containers。因?yàn)镵8s核心組件鏡像默認(rèn)是從registry.k8s.io拉取的這個(gè)地址在部分網(wǎng)絡(luò)環(huán)境下訪問速度很慢甚至直接失敗。使用阿里云的鏡像倉庫加速可以快速拉取到所有K8s核心組件的鏡像。初始化成功之后按提示執(zhí)行配置kubectl的命令然后安裝Pod網(wǎng)絡(luò)插件。我用的比較多的是Calico它性能好并且支持NetworkPolicykubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.27.0/manifests/calico.yaml等kubectl get pods -n kube-system里所有Pod都變成Running狀態(tài)再將Worker節(jié)點(diǎn)加入集群。Worker節(jié)點(diǎn)上執(zhí)行kubeadm join命令這個(gè)命令在Master初始化時(shí)末尾會(huì)打印出來需要記下來。3.4 K8s的LNMP架構(gòu)部署實(shí)驗(yàn)理解工作負(fù)載和Service的核心邏輯集群搭好之后別急著跑各種復(fù)雜業(yè)務(wù)先用一個(gè)經(jīng)典的LNMP架構(gòu)部署實(shí)驗(yàn)把K8s的核心概念串一遍。這個(gè)實(shí)驗(yàn)特別適合驗(yàn)證集群網(wǎng)絡(luò)、存儲(chǔ)和Pod調(diào)度是否正常工作而且部署過程中能直觀理解K8s的幾個(gè)核心對象Deployment、Service、ConfigMap、PersistentVolumeClaim。LNMP架構(gòu)也就是Linux Nginx MySQL PHP的組合。在K8s里的部署思路是這樣拆分的MySQL作為有狀態(tài)服務(wù)需要持久化存儲(chǔ)用StatefulSet或DeploymentPVC的方式部署并通過ClusterIP Service 對內(nèi)暴露3306端口Nginx和PHP-FPM是典型的Web服務(wù)分別部署成DeploymentNginx通過ConfigMap配置反向代理到PHP-FPM的ServicePHP-FPM的代碼文件需要掛載共享存儲(chǔ)Nginx和PHP-FPM兩個(gè)Pod同時(shí)掛載同一個(gè)PVC這樣才能讓Nginx找到PHP文件這里以部署MySQL為例YAML長這樣apiVersion: v1 kind: PersistentVolumeClaim metadata: name: mysql-pvc spec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi --- apiVersion: apps/v1 kind: Deployment metadata: name: mysql spec: replicas: 1 selector: matchLabels: app: mysql template: metadata: labels: app: mysql spec: containers: - name: mysql image: mysql:8.0 ports: - containerPort: 3306 env: - name: MYSQL_ROOT_PASSWORD valueFrom: secretKeyRef: name: mysql-secret key: password volumeMounts: - name: mysql-data mountPath: /var/lib/mysql volumes: - name: mysql-data persistentVolumeClaim: claimName: mysql-pvc注意兩個(gè)細(xì)節(jié)一個(gè)是通過secretKeyRef從Secret里讀取MySQL的root密碼不要明文寫在YAML里另一個(gè)是通過PVC把MySQL數(shù)據(jù)持久化到集群存儲(chǔ)中Pod被重新調(diào)度到其他節(jié)點(diǎn)后數(shù)據(jù)不丟。我這個(gè)實(shí)驗(yàn)在第一次跑的時(shí)候也遇到了Pod調(diào)度失敗的情況原因是在PV還沒創(chuàng)建好的時(shí)候PVC一直處于Pending狀態(tài)Deployment對應(yīng)的Pod就卡在ContainerCreating。所以說K8s的排障第一步永遠(yuǎn)是看狀態(tài)、看事件kubectl describe pod能告訴你最直接的原因。4. Jenkins編排流水線打通提交代碼到滾動(dòng)上線的最后一公里整套體系中引入Jenkins的價(jià)值在于把所有手動(dòng)操作變成一條可控、可追溯、可重復(fù)執(zhí)行的流水線。你前面通過Docker解決了鏡像的構(gòu)建和交付通過K8s解決了應(yīng)用的部署和運(yùn)維而Jenkins負(fù)責(zé)把“構(gòu)建-推送-部署”這幾個(gè)環(huán)節(jié)串成一個(gè)整體。這一章我來講實(shí)際流水線的設(shè)計(jì)思路以及那些環(huán)境變量和權(quán)限控制的細(xì)節(jié)。4.1 Jenkins的兩種主要安裝方式對比Jenkins的安裝部署方式有幾種我給你分析一下各自的適用場景。傳統(tǒng)的方式是直接在服務(wù)器上安裝一個(gè)獨(dú)立的Java運(yùn)行環(huán)境然后跑Jenkins war包這是最經(jīng)典的玩法。優(yōu)點(diǎn)是排障直觀、符合大多數(shù)人的使用習(xí)慣缺點(diǎn)是和環(huán)境耦合較緊升級(jí)維護(hù)需要花時(shí)間。如果你已經(jīng)折騰過若干次Jenkins部署這套方式應(yīng)該很順手。另一種方式是Docker方式運(yùn)行Jenkins。官方鏡像jenkins/jenkins:lts-jdk17可以直接跑。優(yōu)點(diǎn)是隔離干凈升級(jí)鏡像即可升級(jí)Jenkins缺點(diǎn)是容器內(nèi)外文件權(quán)限、Docker socket掛載這些細(xì)節(jié)需要特別注意。我個(gè)人的建議是如果打算做完整的DevOps鏈路推薦Docker方式運(yùn)行Jenkins但需要把Docker socket掛載給Jenkins容器。什么意思就是讓Jenkins容器能直接調(diào)用宿主機(jī)的Docker守護(hù)進(jìn)程這樣流水線里可以直接執(zhí)行docker build、docker push這些命令而不需要在Jenkins容器內(nèi)再套一層Docker也就是所謂的Docker in Docker這個(gè)方案弊病不少不建議用。Docker方式啟動(dòng)Jenkins的命令大致長這樣docker run -d \ --name jenkins \ -p 8080:8080 \ -p 50000:50000 \ -v /var/jenkins_home:/var/jenkins_home \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /usr/bin/docker:/usr/bin/docker \ jenkins/jenkins:lts-jdk17這中間有兩個(gè)極容易踩的坑。第一個(gè)容器內(nèi)的用戶是jenkinsUID 1000而掛載的宿主機(jī)目錄如果權(quán)限設(shè)置不對Jenkins容器寫不了/var/jenkins_home目錄初始化就會(huì)失敗。解決辦法是宿主機(jī)上先創(chuàng)建好目錄并授權(quán)mkdir -p /var/jenkins_home chown -R 1000:1000 /var/jenkins_home第二個(gè)掛載Docker socket之后Jenkins容器內(nèi)執(zhí)行docker命令實(shí)際上操作的是宿主機(jī)Docker這帶來便利的同時(shí)也意味著——任何能創(chuàng)建Jenkins Job的人都相當(dāng)于擁有了宿主機(jī)的root權(quán)限。權(quán)限分配上必須格外謹(jǐn)慎不能讓每個(gè)普通開發(fā)都隨便創(chuàng)建自由的Pipeline任務(wù)。4.2 第一次跑通流水線必須搞懂的Jenkins Pipeline語法Jenkins Pipeline有兩種寫法一種是Declarative Pipeline聲明式一種是Scripted Pipeline腳本式。我更推薦聲明式因?yàn)樗Y(jié)構(gòu)清晰、強(qiáng)制定義了各個(gè)階段而且配合Blue Ocean界面觀看執(zhí)行過程非常直觀。一個(gè)典型的聲明式Pipeline骨架是這樣的pipeline { agent any environment { DOCKER_REGISTRY your-harbor-server.com DOCKER_CREDENTIALS credentials(harbor-admin) } stages { stage(Checkout) { steps { git branch: main, url: https://your-gitlab.com/your-project.git, credentialsId: gitlab-credentials } } stage(Build Image) { steps { script { docker.withRegistry(https://${DOCKER_REGISTRY}, harbor-admin) { def customImage docker.build(${DOCKER_REGISTRY}/library/myapp:${BUILD_NUMBER}) customImage.push() } } } } stage(Deploy to K8s) { steps { script { sh kubectl set image deployment/myapp \ myapp${DOCKER_REGISTRY}/library/myapp:${BUILD_NUMBER} -n production } } } } }這段代碼里有幾個(gè)關(guān)鍵點(diǎn)需要逐一解釋。第一個(gè)是agent any。它表示這個(gè)Pipeline可以在任何一個(gè)可用的Jenkins執(zhí)行器上運(yùn)行。如果你有多個(gè)不同用途的節(jié)點(diǎn)比如一個(gè)專用于構(gòu)建鏡像的節(jié)點(diǎn)可以替換成agent { label docker-builder }。第二個(gè)是environment塊里的DOCKER_REGISTRY。這個(gè)值建議不要直接寫死在代碼里而是通過Jenkins的配置或者環(huán)境變量統(tǒng)一管理。否則不同環(huán)境的Harbor地址變了你還得回頭改代碼不能忍。第三個(gè)是docker.withRegistry這個(gè)DSL語法。它能自動(dòng)用給定的憑證harbor-admin登錄Harbor完成鏡像構(gòu)建和推送。這里的credentialsId對應(yīng)的是Jenkins里提前配置好的用戶名密碼憑證。在Jenkins管理后臺(tái)的“憑據(jù)”頁面添加一個(gè)“Username with password”的憑據(jù)ID填成harbor-admin即可。第四個(gè)是部署階段的kubectl set image命令。這是最直觀的一種“滾動(dòng)更新”做法直接命令K8s把某個(gè)Deployment的鏡像tag更新K8s會(huì)自動(dòng)觸發(fā)一次滾動(dòng)更新逐步替換舊Pod。相比用kubectl apply -f去apply一個(gè)新的YAML文件set image更輕量適合快速更新。4.3 參數(shù)化構(gòu)建同一個(gè)Job如何同時(shí)支持手動(dòng)選擇模塊和其他觸發(fā)方式實(shí)際工作中你會(huì)遇到一個(gè)很典型的需求同一個(gè)應(yīng)用可能分為多個(gè)模塊日常提交代碼時(shí)只需要構(gòu)建發(fā)生變更的那個(gè)模塊而不是每次把整個(gè)項(xiàng)目重頭構(gòu)建一遍但有時(shí)候測試又希望手動(dòng)指定構(gòu)建哪個(gè)模塊跑完整流程。這個(gè)需求在Jenkins里是通過參數(shù)化構(gòu)建實(shí)現(xiàn)的。在Pipeline里定義一個(gè)Choice參數(shù)讓用戶在點(diǎn)擊“立即構(gòu)建”時(shí)選擇模塊pipeline { agent any parameters { choice(name: MODULE, choices: [all, user-service, order-service, gateway], description: 請選擇要構(gòu)建的模塊) string(name: VERSION, defaultValue: v1.0.0, description: 指定鏡像版本號(hào)) } stages { stage(Checkout) { steps { // 拉取代碼 } } stage(Build Selected Module) { steps { script { switch (params.MODULE) { case all: sh ./build-all.sh break case user-service: sh ./build-module.sh user-service break default: sh ./build-module.sh ${params.MODULE} } } } } } }結(jié)合定時(shí)觸發(fā)如果你希望每天凌晨都跑一遍全量構(gòu)建不需要人工值班盯著就在Pipeline里增加一個(gè)triggers { cron(H 2 * * *) }當(dāng)手動(dòng)參數(shù)化構(gòu)建和定時(shí)觸發(fā)同時(shí)存在時(shí)Jenkins默認(rèn)工作得很好手動(dòng)點(diǎn)構(gòu)建就走手動(dòng)參數(shù)構(gòu)建定時(shí)觸發(fā)時(shí)參數(shù)使用默認(rèn)值對于choice默認(rèn)取第一個(gè)選項(xiàng)“all”。我之前也擔(dān)心過這兩者會(huì)不會(huì)沖突實(shí)測下來是不會(huì)的——定時(shí)觸發(fā)的構(gòu)建和使用默認(rèn)參數(shù)手動(dòng)觸發(fā)構(gòu)建本質(zhì)上等價(jià)它們會(huì)各自生成一次獨(dú)立的Build記錄不會(huì)互相干擾。這里有一個(gè)我實(shí)際踩過的坑想提醒你。當(dāng)初為了圖省事把多個(gè)模塊的全部代碼放在同一個(gè)Git倉庫里Pipeline里執(zhí)行 git checkout 時(shí)拉取的是整個(gè)倉庫。當(dāng)代碼倉庫膨脹到幾個(gè)G的時(shí)候每次構(gòu)建光是拉代碼就花好幾分鐘。對這種情況我后來在Pipeline里加入了sparse checkout的優(yōu)化策略只拉取與本次構(gòu)建模塊相關(guān)的目錄構(gòu)建速度提升非常明顯。4.4 Jenkins憑證管理和權(quán)限控制的細(xì)節(jié)Jenkins涉及Git憑證、Harbor憑證、K8s的kubeconfig憑證、云平臺(tái)AK/SK憑證如果管理不當(dāng)安全性會(huì)成為一個(gè)很大的隱患。我在這里提供一套簡潔但有效的做法。所有憑證統(tǒng)一走Jenkins的“憑據(jù)”管理頁面。Pipeline里通過credentials()或者withCredentials來引用。例如引用一個(gè)SSH私鑰類型的憑證withCredentials([sshPrivateKey(credentialsId: gitlab-ssh-key, keyFileVariable: SSH_KEY)]) { sh GIT_SSH_COMMANDssh -i $SSH_KEY -o StrictHostKeyCheckingno git clone gityour-gitlab:yourproject.git }權(quán)限控制方面重點(diǎn)介紹如何配置只給某個(gè)用戶某個(gè)Job的權(quán)限而不是把所有Jenkins的全部權(quán)限都放開。Jenkins插件Role-based Strategy能實(shí)現(xiàn)精細(xì)化的權(quán)限管控。大致做法是安裝Role-based Authorization Strategy插件在“Manage Jenkins” - “Security”里把授權(quán)策略切換成“Role-Based Strategy”在“Manage and Assign Roles”下創(chuàng)建一個(gè)Project角色并用正則表達(dá)式指定該角色能訪問哪些Job例如/^myapp-.*/表示可以操作所有myapp-前綴的Job把具體用戶分配到這個(gè)角色名下這樣我就能放心地讓前端開發(fā)只擁有構(gòu)建自己前端項(xiàng)目的權(quán)限無法觸達(dá)后端部署任務(wù)而運(yùn)維則持有全量管理權(quán)限。還有一點(diǎn)關(guān)于Jenkins可用環(huán)境變量的說明。在Pipeline里像${BUILD_NUMBER}、${JOB_NAME}、${WORKSPACE}這些內(nèi)置環(huán)境變量非常常用。它們的含義分別是構(gòu)建序號(hào)、任務(wù)名稱、工作區(qū)路徑。其中BUILD_NUMBER我特別常用因?yàn)樗烊皇菃握{(diào)遞增的非常適合作為鏡像的tag。每個(gè)鏡像都用BUILD_NUMBER來標(biāo)記后續(xù)排查問題時(shí)分分鐘能通過鏡像tag反查出是哪次構(gòu)建產(chǎn)生的格外方便。4.5 Jenkins與GitLab同機(jī)部署的兼容性研判有朋友問過我Jenkins和GitLab能不能運(yùn)行在同一臺(tái)主機(jī)的Docker里這個(gè)問題我仔細(xì)驗(yàn)證過直接給結(jié)論可以前提是宿主機(jī)的資源給夠。GitLab本身是一個(gè)比較吃內(nèi)存的應(yīng)用官方建議至少4GB內(nèi)存才能流暢運(yùn)轉(zhuǎn)Jenkins作為持續(xù)集成服務(wù)構(gòu)建任務(wù)多的時(shí)候也非常消耗CPU和內(nèi)存。如果兩臺(tái)服務(wù)共用一臺(tái)8G內(nèi)存的機(jī)器我實(shí)測下來機(jī)器會(huì)比較吃力偶爾會(huì)出現(xiàn)構(gòu)建卡頓或GitLab響應(yīng)變慢。我的建議是測試環(huán)境8G內(nèi)存起步、16G更穩(wěn)生產(chǎn)環(huán)境單獨(dú)部署。如果你只是為了本地體驗(yàn)或小團(tuán)隊(duì)內(nèi)網(wǎng)用同機(jī)Docker部署完全可行分別映射兩個(gè)端口GitLab 80/443Jenkins 8080互不沖突。有一點(diǎn)要注意兩個(gè)容器不要同時(shí)掛在同一個(gè)加速器端口上啟動(dòng)時(shí)用docker run -p指定不同的宿主端口就可以了。5. 從Docker Compose平滑升級(jí)到K8s容器編排的演進(jìn)之路很多團(tuán)隊(duì)早期的容器化方案都是從Docker Compose開始。Compose在單機(jī)上管理多個(gè)容器確實(shí)非常方便用一個(gè)docker-compose.yml文件就能把一組服務(wù)定義清楚然后一條命令docker-compose up -d啟動(dòng)全部服務(wù)。但當(dāng)服務(wù)數(shù)量增長、需要跨多臺(tái)宿主機(jī)部署時(shí)Compose就力不從心了。這需要順理成章地演進(jìn)到K8s。好消息是從Compose到K8s是有平滑過渡路線的。5.1 為什么Compose撐不住而K8s可以Compose的編排模型是“一臺(tái)宿主機(jī)上的多個(gè)容器”它雖然能定義服務(wù)、網(wǎng)絡(luò)、卷但無法解決跨節(jié)點(diǎn)的服務(wù)發(fā)現(xiàn)、自動(dòng)擴(kuò)縮容、故障自愈等分布式場景下的核心問題。而K8s天然把這些能力內(nèi)建了。最直觀的差異表現(xiàn)在擴(kuò)縮容能力上。Compose想擴(kuò)展某個(gè)服務(wù)的副本數(shù)需要手動(dòng)改配置文件再加上--scale參數(shù)擴(kuò)展出來的副本也都在這臺(tái)機(jī)器上無法跨節(jié)點(diǎn)調(diào)度。K8s里只需要kubectl scale deployment myapp --replicas5自動(dòng)在集群中挑選可用節(jié)點(diǎn)去分布這5個(gè)副本遇到有節(jié)點(diǎn)宕機(jī)K8s會(huì)把上面的Pod自動(dòng)遷移到健康節(jié)點(diǎn)重新拉起。這就是云原生架構(gòu)的“不可變基礎(chǔ)設(shè)施”思想的落地副本是一種聲明期望狀態(tài)控制器負(fù)責(zé)去實(shí)現(xiàn)這個(gè)期望狀態(tài)。5.2 讓Compose時(shí)代的鏡像無縫跑進(jìn)K8s好消息是如果你已經(jīng)有了標(biāo)準(zhǔn)的Docker鏡像和Compose配置文件遷移到K8s的成本思想負(fù)擔(dān)比想象中小很多。因?yàn)镃ompose里的服務(wù)定義和K8s里的Deployment、Service、ConfigMap在邏輯上一一對應(yīng)。比如Compose里的一段服務(wù)定義services: web: image: nginx:1.25 ports: - 8080:80 environment: - ENVprod對應(yīng)的K8s Deployment就是apiVersion: apps/v1 kind: Deployment metadata: name: web spec: replicas: 3 selector: matchLabels: app: web template: metadata: labels: app: web spec: containers: - name: web image: nginx:1.25 ports: - containerPort: 80 env: - name: ENV value: prod需要注意的是Compose的ports映射是“宿主機(jī)端口:容器端口”K8s通常不推薦這種宿主機(jī)端口隔離模式而是建議用Service抽象。因?yàn)镵8s集群里的Pod IP是隨時(shí)變化的你不能指望外部直接通過某個(gè)固定IP和端口去訪問它。正確方式是創(chuàng)建一個(gè)Service對象由K8s為Service分配一個(gè)穩(wěn)定的虛擬IPClusterIP并在集群內(nèi)部做負(fù)載均衡和轉(zhuǎn)發(fā)apiVersion: v1 kind: Service metadata: name: web-service spec: selector: app: web ports: - protocol: TCP port: 80 targetPort: 80 type: ClusterIP如果希望從集群外部訪問把type改為NodePortK8s會(huì)在每個(gè)節(jié)點(diǎn)上選擇一個(gè)端口范圍默認(rèn)30000-32767轉(zhuǎn)發(fā)到Service。生產(chǎn)環(huán)境通常再用Ingress如Nginx Ingress Controller或Traefik統(tǒng)一管理外部訪問入口基于域名做路由轉(zhuǎn)發(fā)避免直接暴露一堆NodePort端口。從實(shí)踐來看Compose遷移到K8s最容易出錯(cuò)的不是YAML寫不寫得出來而是你還沒適應(yīng)“Pod是臨時(shí)動(dòng)物”這個(gè)新的世界觀。在Compose時(shí)代你習(xí)慣盯著某個(gè)固定容器看日志到K8s里Pod隨時(shí)可能因?yàn)檎{(diào)度、重啟、故障被銷毀重建你需要盡快習(xí)慣地把注意力放到Deployment、Service、以及各種控制器的期望狀態(tài)上而不是某個(gè)具體Pod本身。6. 這套體系跑起來之后那些高頻故障和完整排查思路講完構(gòu)建鏈路最要緊的還是運(yùn)維階段的真實(shí)故障。這里我把這套體系上線這幾個(gè)月以來遇到頻率最高的幾個(gè)問題以及我的完整排查思路整理出來這部分內(nèi)容價(jià)值比較高建議你先收藏等出了類似問題再翻回來對照看看。6.1 K8s Pod卡在ContainerCreating到底卡在哪一步Pod一直處于ContainerCreating狀態(tài)是新手和高頻碰到最多的現(xiàn)象。排查的第一步不是盯著kubectl get pods干等而是用kubectl describe pod查看詳細(xì)事件kubectl describe pod pod-name -n namespace事件里通常會(huì)出現(xiàn)幾類不同的信息對應(yīng)的原因和處理方式完全不同。一種常見的情況是鏡像拉取失敗事件里會(huì)有Failed to pull image或者ImagePullBackOff。這就要檢查鏡像名寫沒寫錯(cuò)、鏡像是否存在、拉取憑證是否配好。尤其用到私有Harbor時(shí)如果鏡像名里帶了Harbor的地址但Secret沒創(chuàng)建或沒在Deployment里引用事件里會(huì)出現(xiàn)x509: certificate signed by unknown authority或unauthorized: authentication required這就是憑證問題去查Secret的創(chuàng)建和引用是否正確。另一種常見情況是端口占用或硬盤資源不足事件里明確告訴你端口bind失敗或者Failed to create pod sandbox。這種事件通常會(huì)伴隨具體的報(bào)錯(cuò)信息比如no space left on device說明docker數(shù)據(jù)目錄爆了。處理方式建議清理無用的鏡像和容器docker system prune -a --volumes還有一種是PVC一直無法掛載事件里提示FailedMount。這種情況一般是PV沒有綁定成功PVC處于Pending狀態(tài)。用kubectl get pvc查看PVC狀態(tài)如果確實(shí)是Pending再用kubectl describe pvc查看底層卷提供商返回的錯(cuò)誤。排查思路切記一條鐵律先看事件再看日志最后看網(wǎng)絡(luò)。不要一上來就憑感覺重啟所有東西。事件里往往藏著最直接的原因。6.2 Pod反復(fù)重啟的CrashLoopBackOff日志與探針的配合診斷另一個(gè)高頻問題就是Pod能創(chuàng)建成功但一直處于CrashLoopBackOff狀態(tài)意思就是容器啟動(dòng)后立即崩潰被K8s反復(fù)重啟進(jìn)入退避循環(huán)。排查第一件事肯定是看日志kubectl logs pod-name -n namespace如果Pod在啟動(dòng)過程中就崩了日志可能很短只看到類似exec /bin/sh: exec format error之類的啟動(dòng)報(bào)錯(cuò)這說明鏡像的啟動(dòng)腳本跟你聲明的command參數(shù)不匹配或者說鏡像構(gòu)建時(shí)平臺(tái)不對比如構(gòu)建了arm64的鏡像試圖跑在amd64節(jié)點(diǎn)上。另一個(gè)容易被忽略的原因和健康檢查探針有關(guān)。如果你的Deployment配置了livenessProbe存活探針并且探針的路徑、端口配置錯(cuò)誤導(dǎo)致K8s認(rèn)為容器不健康也會(huì)主動(dòng)重啟容器甚至把它當(dāng)成反復(fù)崩潰來重啟。所以看到CrashLoopBackOff不要一心只懷疑應(yīng)用本身要看日志里是否有探針失敗的痕跡。使用kubectl describe pod查看Events列表里有沒有Liveness probe failed或者Readiness probe failed。排查出來之后第一步不是改應(yīng)用而是確認(rèn)探針的路徑是否正確、端口是否對應(yīng)容器內(nèi)的監(jiān)聽端口、超時(shí)時(shí)間是否太短導(dǎo)致誤判。6.3 DNS解析時(shí)好時(shí)壞CoreDNS的配置是重點(diǎn)集群里經(jīng)常有應(yīng)用之間通過Service域名互相訪問比如前端Pod通過http://backend-service訪問后端服務(wù)。如果出現(xiàn)時(shí)好時(shí)壞的連接失敗很大概率就是CoreDNS出了狀況。CoreDNS是K8s集群內(nèi)的DNS服務(wù)負(fù)責(zé)把Service名稱解析成ClusterIP。排查DNS問題的流程是先確認(rèn)CoreDNS Pod本身是否健康kubectl get pods -n kube-system | grep coredns如果CoreDNS的Pod一直處于Restic狀態(tài)或者大量重啟查看它的日志kubectl logs -n kube-system -l k8s-appkube-dns --tail100常用的定位方法是在故障應(yīng)用所在的Pod里直接測試DNS解析kubectl exec -it pod-name -n namespace -- nslookup backend-service如果提示解析不到檢查Service的名稱和命名空間是否寫對。跨命名空間的訪問要用backend-service.production.svc.cluster.local這樣的FQDN。還有一個(gè)小細(xì)節(jié)如果節(jié)點(diǎn)上的/etc/resolv.conf配置了特殊的本地DNS參數(shù)可能會(huì)影響Pod內(nèi)DNS解析。K8s的Pod默認(rèn)dnsPolicy是ClusterFirst意思是優(yōu)先使用集群內(nèi)的CoreDNS。如果你在Pod定義里設(shè)置了hostNetwork: trueDNS策略可能會(huì)繼承宿主機(jī)的配置造成解析不規(guī)則。6.4 鏡像拉取慢的應(yīng)急預(yù)案即使配置了鏡像加速器也難免遇到某些鏡像就是拉不下來或者特別慢的情況。特別是在新節(jié)點(diǎn)加入集群時(shí)需要一次性拉取所有基礎(chǔ)鏡像那速度簡直讓人著急。我的補(bǔ)救思路有兩條第一條提前預(yù)拉鏡像。集群里跑的業(yè)務(wù)相對固定可以做一個(gè)離線鏡像包把常用的基礎(chǔ)鏡像Nginx、MySQL、Redis、自研應(yīng)用鏡像提前在部署節(jié)點(diǎn)上手動(dòng)docker pull一遍后續(xù)Pod調(diào)度到這些節(jié)點(diǎn)時(shí)就不用臨時(shí)拉取。第二條給Containerd或Docker配置鏡像倉庫的代理加速。如果你的私有Harbor是內(nèi)網(wǎng)訪問的可以在K8s節(jié)點(diǎn)上配置HTTP代理讓Docker拉取公共鏡像時(shí)走穩(wěn)定通道。這個(gè)方法配置項(xiàng)比較瑣碎核心是在Docker的daemon.json里增加代理設(shè)置。這里有一個(gè)安全前提代理服務(wù)器的出口必須是合法合規(guī)的不能用任何不合規(guī)方式繞過網(wǎng)絡(luò)管理的要求。6.5 多節(jié)點(diǎn)通信異常時(shí)的網(wǎng)絡(luò)排查鏈路K8s集群節(jié)點(diǎn)間通信出現(xiàn)問題應(yīng)用間的訪問會(huì)大面積失敗這種問題最讓人壓力大。排查通常從Service層面開始kubectl get svc -A kubectl get endpoints -Aendpoints的列表能告訴你Service后面實(shí)際關(guān)聯(lián)的Pod IP。如果endpoints為空說明Service的selector沒匹配到任何Pod檢查Deployment的labels和Service的selector是否對得上。如果endpoints正常應(yīng)用還是訪問不通就要在故障Pod里直接測試ClusterIPkubectl exec -it pod-name -n namespace -- curl http://cluster-ip如果ClusterIP都不通大概率是網(wǎng)絡(luò)插件問題了。Calico的Pod狀態(tài)要先確認(rèn)kubectl get pods -n kube-system | grep calicoCalico正常運(yùn)行時(shí)有種經(jīng)典問題是節(jié)點(diǎn)之間OpenStack或VPC安全組把BGP端口封了導(dǎo)致Calico網(wǎng)絡(luò)建不起來。這種問題排查起來相當(dāng)隱蔽延綿好幾個(gè)小時(shí)。我的建議是任何時(shí)候做跨節(jié)點(diǎn)通信實(shí)驗(yàn)之前先確保自己的基礎(chǔ)設(shè)施安全組和系統(tǒng)防火墻沒有屏蔽節(jié)點(diǎn)之間的通訊端口比如Calico用的BGP 179端口?;A(chǔ)網(wǎng)絡(luò)不通上層K8s怎么折騰都白搭。7. 結(jié)合業(yè)務(wù)規(guī)模做選型時(shí)的常見問題答疑最后這部分我總結(jié)了一些網(wǎng)友和同事問得最多的問題這些問題沒有絕對唯一的答案但我會(huì)給出符合大多數(shù)場景的經(jīng)驗(yàn)判斷希望能幫你少走一些彎路。7.1 云原生AI運(yùn)維優(yōu)化與自動(dòng)化交付項(xiàng)目怎么結(jié)合這套體系最近AI和大模型相關(guān)的項(xiàng)目比較多圍繞K8s的AI運(yùn)維優(yōu)化也常常被問起。如果你做的自動(dòng)化交付項(xiàng)目需要承載AI訓(xùn)練或推理任務(wù)那么這套體系依然可以沿用但需要在幾個(gè)地方做針對性的加強(qiáng)。AI訓(xùn)練任務(wù)通常需要GPU資源。K8s集群需要提前安裝Device Plugin組件如NVIDIA Device Plugin然后在Pod配置里聲明resources.limits: nvidia.com/gpu: 1調(diào)度器才能識(shí)別GPU資源并分配。這部分我測試下來穩(wěn)定性尚可但要注意GPU節(jié)點(diǎn)的驅(qū)動(dòng)和容器運(yùn)行時(shí)兼容性。另一個(gè)與AI更相關(guān)的是模型版本的管理。模型的版本和服務(wù)代碼的版本一樣需要被記錄、被回滾??梢园涯P臀募瑫r(shí)打進(jìn)鏡像做成帶版本號(hào)的純鏡像交付物或者把模型掛在對象存儲(chǔ)中在部署時(shí)通過環(huán)境變量指定版本路徑。這兩種方式前者簡化了部署流程后者更靈活且鏡像更小。如果你傾向于頻繁更新模型但代碼很少改動(dòng)我建議后者。7.2 Docker Desktop和Linux的Docker有什么區(qū)別很多朋友在Windows上學(xué)習(xí)Docker用的是Docker Desktop。這里我覺得有必要明確一個(gè)使用邊界。Docker Desktop在Windows上依賴虛擬化技術(shù)如WSL2或Hyper-V運(yùn)行Linux虛擬機(jī)在開發(fā)聯(lián)調(diào)階段完全可以正常使用。包括安裝Nginx、MySQL、Redis這些開發(fā)依賴Docker Desktop完全勝任。但如果是部署到生產(chǎn)環(huán)境的K8s集群那肯定是以Linux服務(wù)器為主。如果你在Docker Desktop上測試K8s可以直接用它內(nèi)置的Kubernetes功能或者配合kindKubernetes in Docker工具做單機(jī)測試效果和體驗(yàn)都很不錯(cuò)。但和學(xué)習(xí)生產(chǎn)級(jí)部署的區(qū)別要心里有數(shù)Docker Desktop屏蔽了很多網(wǎng)絡(luò)、存儲(chǔ)和系統(tǒng)底層的細(xì)節(jié)動(dòng)手部署時(shí)還是建議在Linux虛擬機(jī)上從零搭建一遍這個(gè)過程才能真正掌握K8s的完整原理。7.3 Docker和K8s的區(qū)別一句話說透有不少剛?cè)腴T的朋友分不清Docker和K8s的區(qū)別。我提供一個(gè)特別直白的類比Docker相當(dāng)于集裝箱制造廠它把貨物打包成一個(gè)個(gè)標(biāo)準(zhǔn)集裝箱容器鏡像K8s相當(dāng)于港口調(diào)度系統(tǒng)它負(fù)責(zé)把成千上萬只集裝箱正確分配到不同的貨船節(jié)點(diǎn)上并且管理它們的啟航、靠泊和冗余。簡單說Docker容器化是基礎(chǔ)K8s編排是平臺(tái)。一個(gè)管打包一個(gè)管調(diào)度。兩者聯(lián)動(dòng)才能構(gòu)成完整的云原生基礎(chǔ)設(shè)施底座。7.4 學(xué)習(xí)路線圖和時(shí)間投入預(yù)期關(guān)于云原生學(xué)習(xí)路線我經(jīng)常被問到“從零到熟練掌握這套體系需要多久”。我根據(jù)自己帶過的新人團(tuán)隊(duì)的實(shí)際節(jié)奏給出一個(gè)保守但現(xiàn)實(shí)的預(yù)期基礎(chǔ)階段2-4周掌握Docker的鏡像、容器、卷、網(wǎng)絡(luò)、Compose的使用。這個(gè)階段去B站等視頻平臺(tái)找?guī)讉€(gè)完整的實(shí)戰(zhàn)教程跟著把LNMP環(huán)境用Docker跑起來基本就入門了。不用貪多但一定要?jiǎng)邮?。進(jìn)階階段4-6周掌握K8s常用對象Pod、Deployment、Service、Ingress、ConfigMap、Secret、PVC的用法獨(dú)立部署一套單Master集群并成功部署一次LNMP架構(gòu)。這個(gè)階段重點(diǎn)理解Pod的調(diào)度邏輯和Service的流量轉(zhuǎn)發(fā)機(jī)制。DevOps串聯(lián)階段2-4周安裝Jenkins把Git代碼提交到觸發(fā)構(gòu)建、推送鏡像、更新K8s Deployment整條Pipeline跑通。體會(huì)參數(shù)化構(gòu)建、憑證管理、多分支流水線這些功能的實(shí)際用途。整體下來兩到三個(gè)月的業(yè)余時(shí)間投入能完成基本功。但如果你在過程中不斷遇到一些奇怪的網(wǎng)絡(luò)、存儲(chǔ)問題那這些“意外”本身就是最寶貴的經(jīng)驗(yàn)踩過的每一個(gè)坑都會(huì)加速你的成長。8. 再聊幾個(gè)我來回折騰多次后沉淀下來的經(jīng)驗(yàn)整套體系跑通到現(xiàn)在有幾個(gè)經(jīng)驗(yàn)是我想特別多強(qiáng)調(diào)幾句的因?yàn)樗鼈儾皇强垂俜轿臋n能直接看出來的而是需要在實(shí)際操作中反復(fù)碰壁才能體會(huì)到。第一件事是關(guān)于鏡像倉庫的規(guī)劃。我見過一些團(tuán)隊(duì)Harbor只要能用就開始用從來沒有做過鏡像清理策略。跑了半年倉庫里堆滿了不同tag的鏡像占用好幾個(gè)T的存儲(chǔ)空間。我建議從第一天就啟用Harbor的鏡像清理規(guī)則保留最近幾個(gè)版本比如每條tag只保留最近10個(gè)過期自動(dòng)回收。存儲(chǔ)省下來了排查版本問題也更清爽。第二件事是Jenkins的插件管理。我強(qiáng)烈建議不要為了圖方便“建議安裝”所有插件。插件太多版本沖突和啟動(dòng)緩慢的問題會(huì)撲面而來。只安裝實(shí)際需要的插件典型的有Blue Ocean、Pipeline、Git、Kubernetes CLI、Role-based Strategy、Docker Pipeline這幾個(gè)就夠了。裝得太多升級(jí)時(shí)維護(hù)成本呈指數(shù)增長。第三件事是日志收集的提前規(guī)劃。K8s里的Pod是隨時(shí)流動(dòng)的容器一旦被銷毀重建日志就隨容器一起消失了。想排障的時(shí)候發(fā)現(xiàn)日志沒了那種無力感我這輩子不想再經(jīng)歷。所以整套體系里一定要有一個(gè)日志接收端最輕量的方案是部署一套LokiPromtail或者ELK全家桶也行。Promtail收集每個(gè)節(jié)點(diǎn)上容器日志Loki存儲(chǔ)和查詢這套東西搭好之后感覺就像給系統(tǒng)加裝了行車記錄儀排查問題心里有底。第四件事是關(guān)于開發(fā)環(huán)境和生產(chǎn)環(huán)境的隔離。有不少小團(tuán)隊(duì)圖省事開發(fā)和測試環(huán)境共用一套K8s集群用Namespace區(qū)分。我可以明確告訴你這會(huì)在資源隔離層面制造麻煩。有一些Pod在開發(fā)環(huán)境里瘋狂吃資源很容易影響生產(chǎn)應(yīng)用。有條件就讓集群全隔離別在同一套集群里混跑不同環(huán)境。這些經(jīng)驗(yàn)對我來說都是真金白銀買來的分享出來希望你能少走幾段彎路。整套DockerK8sJenkins的鏈路單看每一環(huán)都不難理解但把它們捏合成一個(gè)穩(wěn)定的自動(dòng)化體系確實(shí)需要大量實(shí)踐。如果你正在搭建自己的體系遇到具體報(bào)錯(cuò)可以照著文章里的排查鏈路一步不落地走一遍大概率能自己找到答案。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99久在线精品99re8| 密乳Va| 五月丁香啪啪伦理电影| ww久久| 超碰chaompinm| 这里只有精品亚洲| 日本美女97在线视频| 曰日爽日日操| 九九日本视频| 成片免费观看大全| 五月天婷婷在线观看| 亚洲激情 久久| 国精产品一区一区三区免费视频 | 99久免费视频| 成人片在线播放| 婷婷丁香五月噜噜噜| 日韩精品无码AV| 亚洲操逼片| 婷婷五月天视| 婷婷性爱视频在线| 国产精品99久久久久久久女警| 婷婷五月色亚洲| 欧美在线视频免费播放| 天天日中文| 色婷婷综合网| 袁子仪视频观看| 久久精99| 色色色欧美| 婷婷情色激情| 99国产er热视频| 影音先锋美国A| 婷婷六月色开 | 激情久久天天| www.五月婷婷久久.com| seuuu婷婷| 中文字幕AV网址| 天天日天天摸天天| 久久婷婷内射| 五月色情精品| 婷婷五月天成人网| 丁香 久久| 99热日韩这里只有精品| 欧美丁香五月| 丁香五月婷婷社区| 九九性视频| 深爱激情综合网| 久久黄A片| 玖玖九九超碰| 亚洲成人在线播放| 色婷久久| 日日操天天操| 五月天激情开心网| 五月丁香在线视频观看| 久久婷婷五月综合成人d啪| 国自产拍偷拍精品啪啪一区二区| www,久久久| www.人人操人人看人人想人人摸 人人人人操,COM | 国产精品五月天婷婷| 香蕉综合网| 久草狼人| 久久这里只有国产视频| 天天色爽| 激情小说五月天社区丁香| 色婷婷四虎| 色五月av| 夜夜 操无码| 久久人妻在线| 丁香六月激情综合网| 一二区成人电影| 中文字幕丰满孑伦无码专区| 五月丁香色婷婷| 色综合久久五月天| 伊人五月成人| 亚洲综合五月天综合| 精品99在线看| 久久99婷婷| 五月丁六月婷| 中文不卡一二三区| 五月丁香色色综合| 综合久久婷婷| 人人操AV| 色狠狠999综合| 五月天婷婷色综合| 五月天福利影院导航| 激情综合网五月激情| 第五色色色婷婷| 三十路磁力链接| 狠狠搞五月天| 久操人妻| 日韩成人无码人妻| 五月婷婷色播| 综合性爱网| 五月天婷婷无码| 少妇大叫太大太粗太爽了A片| 久久网日本| 五月丁香六月综合激情无码软件亮点 | 啪啪 综合网| 一本久道综合色婷婷五月| 九九热只有精品6| 丁香五月中文字幕| 91ncom.色| 影音先锋偷偷色男人站| 99碰视频| 六月激情婷婷综合| 丁香婷婷综合激情五月色| 久久3级片| 成人视频网| 婷婷金品综合视频| 天天精品视频免费观看| 欧美日韩成人在线| 婷婷成人五月天成人文学| 久久激情网| 婷婷六月激情| 超碰成人电影| 亚洲激情五月天| 婷婷五月天Av| 91九色网| 人妻久久久| 五月天伊人网| 五月天婷婷色| 精品一二三区久久AAA片| 99热6精品| 日韩性视频| 午夜成人综合| 亚洲美女高潮久久久久久69| 久久99精品久久只有精品| 日韩成人av在线| 任你爽精品免费视频6| 九九热在线观看视频| 天天摸天天做天天爱天天爽| 超碰99资源站| 五月天婷婷网站888| 丝袜激情网| 日韩在线观看亚洲| 亭亭丁香久久五月| www.sd-xiangsu.cpm| 丁香六月婷婷综合激情欧美| 久热这里有精品视频| 婷婷丁香色五月天久久88| 婷婷6月综合网| 亚洲精品网站色视频| 色五月天.con| 五月丁香WWW| 激情开心五月婷婷| 婷婷五月天激情亚洲小说| 亚洲九九99精品视频在线播放| 狠狠干激情五月| 五月天综合区| 能直接看的av网站| 操操人人| 五月婷婷激情网| 久草热8精品视频在线观看| 免费看欧美成人A片无码| 欧美大肥婆大肥BBBBB| 被强行糟蹋的女人A片| 九九在线热九九在线热99热| 丁香五月天激情四射网络不好| 超碰免费电影| 91狠狠综合网| 美妞av| 日日操日日撸| 五月婷婷六月丁香在线| 天堂久久久久天堂网| 97自拍视频在线| 91人碰| 啪啪啪综合网| 丁香六月婷婷操逼网| www.色婷婷.com| 狠狠五月丁香色婷| 激情99| 日本精品99网站| 九热久| 五月丁久久| 九九av| 色啦啦视频| 五月天婷婷xxx| 五月丁香六月在线欧美| 99热久| 婷婷五月丁香综合亚洲| 五月婷婷伊人在线| www久久久久久久久久久| 激情婷婷五六月天| 色婷婷亚洲五月天| 五月天另类小说亚洲| 婷婷综合国产| 激情婷婷五月亚洲| 99这里都是精品6| 综合婷婷都市激情| 婷婷狠狠18禁久久| 五月丁香人妻| 人人操人人爱丁香五月| 狠狠干在线| 玖玖资源天天无码| 一本久道综合99| 五月天婷婷色色| 91丨九色丨白浆秘| 天天操综合网| 久久久久人妻精选| 一级AV片| 91人妻人人操人人爽| 99综合视频一体| 色狠狠伊人久久五月丁香| www.99成人视频| 91黄操| 深爱婷婷色| 婷婷六月激情在线视频| 久久国产色| 九日日夜夜69| 掩去也综合五月视频| 天天天添天天操| 狠狠干天天日| 熟女人妻一区二区三区免费看| 久久全色| 人人操Av| www.色综合.com| 亚洲情综合五月天| 九九热黄色| 热99这里只有精品视频| 天天干天干| 亚洲丁香婷婷| 色爱99| 国产婷婷五月色情综合| 伊人无码高清| 欧美精品99| 色色色色色色综合| 91色婷婷综合久久中文字幕二区| 色情开心五月| 久色五月| 天天干天天拍| 激情五月天色网站| 亚洲综合激情五月久久| 五月天开心色色网| 亚洲五月丁香综合网| 久久六月综合| 人人爽网| 激情久久四色| 五月激情五月丁香| 亚洲99在线| 天天躁日日躁狠狠躁日日躁2022年5月9日| 99re久久| 五月天婷婷久久| 99视频| 女婷久久| 丁香婷婷色九月| 激情综合丁香六| 久/久精品99看9| 天天爽夜爽| 成人在线日韩| 五月丁香亚洲综合| 五月开心播播网| www.五月婷婷| 国产精品爽爽久久久久久| 开心五月色婷婷综合开心网| 99久热在线精品| 五月天婷婷在线播放| 黑人糟蹋人妻HD中文字幕| 激情六月婷婷| 高清无码网址| 国产中文字幕在线视频免费观看 | 人妻熟人中文字幕一区二区| 九九熱最新視頻| 五月丁香色婷婷| 九九成人电影婷婷| 丁香五月天婷婷久久| 色999;丁香五月| 91精品国产色猫| 操逼福利视频| 国产成人精品一区二三区熟女在线| 99精品网| 色狠狠五月天| 丁香五月天色婷婷| 97啪啪| 久久久久久久人妻| 最新久久99视频网站| 开心五月天激情| 99精品在线观看| 国产激情AV| 九九色播五月丁香| 99热欧美偷拍| 日本色综合| 亚洲成人av在线观看| 五月丁香六月激情网| 五月在线| 这里只有精品在线视频精品| 99综合视频| 丁香五月天黄色片| 中文字幕在线免费观看视频| WWW久久久| 天天插天天插| 五月久熟女| 啪啪操超碰| 成人在线观看一区| 婷婷激情综合| 天堂在线9| 日日杆天天| 操97在线观看| 色婷婷丁香五月综合| 天天干天天日蜜臀av| AV国产有码| 超碰成人公开| 天天爽天天日天天舔| 婷婷丁香五月天激情四射| 狠狠色丁香婷婷综合久久97AV| 狠狠色丁香| 天天日日人| 婷婷五月激情网| 欧美性二区| 狠狠色成人影片| 婷婷五月天受日本法律保护| 天天做天天爱天天高潮| AV 3P| 欧美成人一区二区三区在线视频 | 噜噜噜精品欧美成人在线观看| 99原创自拍视频在线观看| 亚洲狠狠婷婷综合久久久| 专区无日本视频高清8| 热无码A∨| 五月丁香久久| www 五月天 com| 国产肥白大熟妇BBBB视频| 伊人六月丁香婷婷| 色婷婷精品视频在线播放| 天天做天天爱天天综合| 啪色综合| 久久六月天| 九九99视频精品| 四虎国产精品永久在线国在线| 这里只有国产精品在线| 日韩人人操| 欧美性丁香色色五月天干干| 丁香六月激情四射| 色婷婷小说网| 丁香网五月网| 九九综合图片网| 久色大| 久久综合爱| 九九无码| 涩涩涩.com| 久久九九婷婷| 中文字幕在线日亚州9| 五月天激情综合网站| 亚洲亚洲人成综合网络| 天天色色天天| 99熟女视频| 五月婷婷激情网| 激情综合色五月六月婷婷| 久久性爱网| 婷婷五月色播放| 国产五月天婷婷| 99热这里只有精品免费| 99热这里有精品2| 久久婷婷色综合老司机| 午夜大香蕉| 天天日日天天| 成年视频免费观看| 九九热视频在线观看| 开心五月婷婷在线视频免费观看| 婷婷丁香www视频日本韩国| 日韩精品一区二区亚洲AV观看| 99久久久久| 国产全是老熟女太爽了| 裸体美女丁香五月天。| 丁香五月香蕉在线| 热婷婷av| 狠狠操狠狠爱| 成 人 色 色| 丁香六月婷婷色播| 午夜性做爰电影| 日日.c| Av大香蕉| 色婷婷激情视频| 亚洲网视屏| 岛国资源网| 色色色色色五月| 综合激情视频| 丁香六月激情国产| 色五月涩涩婷婷蜜桃| 一起操最新网址| 婷婷的99视频网站| 婷婷五月精品中文字幕| 超碰成人免费| AV在线二十六页| www.色五月| 婷婷色Av| 快乐激情五月色婷婷| 五月 婷 久| 99久热这里只有精品| 国产熟女日日骚五月丁香爱| 伊人激情综合网| 操操操B| 996er热| 天天摸日日舔狠狠添婷婷婷 | 啄木鸟丝袜美女福利视频| 婷婷综合五月天| 久久久天堂国产精品女人| 操逼视频一区| 精品,99| 丁香五月婷婷啪啪| 国产操逼网站| 天天日天天久久青青| 久久婷婷五月综合色奶水99啪| 成人AV在线网站| 色五婷婷| 97婷婷久久丁香| www.久久爱| 欧美五月婷婷| 久久96热| 思思久久精品视频| 亚洲精品无码久久| 夫妻超碰在线| 极骚大香蕉伊人| 五月丁香六月激情欧美综合| 狠狠干,狠狠操| 五月丁香狠狠爱婷婷综合| 91超级碰在线视频| 婷婷丁香黄色| 成人龟情网丁香五月| 五月婷婷啪啪| www.婷婷| 日本婷婷色日| 第四色婷婷五月| 午夜色婷婷| HD久久精品视频| 丰满老熟妇BBBBB搡BBB| 色丁香久久| 日韩黄色电影| 欧美VA在线| 人妻操逼| 五月色婷婷亚洲 | www.婷婷网| 日韩99视频| 91人人看| 久9久视频精品| 91精品综合久久久久久五月丁香| 另类在线| 91成人品| 大香蕉伊人99| 天天做天天爱天天玩| 色狠狠综合| 五月天亚洲最大成人| 五月天啪啪视频| 日本一级大片| 婷婷五月在线| avh片在线观看| 国产乱子轮XXX农村| 97人人干| 婷婷午夜| 九九精品热| 综合久久高清| 成人在线综合| 97热在线精品| 婷婷五月精品中文字幕| 可以看的av网站| 99热精品免费在线观看| 青青草六月丁香| 这里只有精品99视频| 97操在线视频| 外国碰视频网站97| 98永久精品| 大香蕉人人网| 久久香蕉丁香| 97人妻碰碰碰久久| 超碰人人操| 五月丁香日逼| 色色色色色日韩午夜激情| 亚洲传媒在线观看| 六月丁花香啪啪激情欧美| 日夜夜久久| 五月综亚洲| 久久国产精品乱子伦_靑青草…| 日本女天天爽| 天天狠天天狠| 婷婷免费成人视频| 丁香久久五月天视频在线观看 | 3p日韩网站视频| 精品无码av丁香五月激情| 久久er免费视频| 婷婷五月电影院| 激情六月丁香| 91婷婷丁香五月天免费视频网站| 亚洲夜五月| 久久草人妻| 天天日天天干天天爱| 伊人春天av| 激情五月天综合网站网站网站| 五月婷婷干干干| 玖玖国产视频一区| 天天爱天天天射AV| 丁香五月天成人| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 26uuu视频欧美| 天天性视频| 婷婷五月激情综合| 婷婷欧美偷拍综合| 婷婷瑟五月天久久综合| 蜜臀av在线成人电影| 思思精品久久艹| 99爱在线视频观看| 成年人丁香五月| 亚洲婷婷欧美婷婷| 97色片| 成人在线不卡| 九九热在线视频观看| 亚洲综合激情五月久久| 色综合色色| 亚洲爆乳无码精品AAA片蜜桃| 51精品国自产在线| 任我肏视频精品| 99草在线免费观看视频| 婷五月天六| 五月天久久激情| 色婷婷久久综| 涩五月婷婷| 九九99精品视频在线观看| www.天天色综合| 亚洲综合网激情小说| 五月天玖玖狠狠色色| 深爱激情网五月天| 91久久精品无码一区二区三区| 99综合久久| 色色色热| 国产成人综合网| 97在线观视频免费观看| 九九综合88| 超碰免费观看| 色哟哟精品| 日本a片网址| 五月激情丁香久久综合网| 色高清无码视频| 激情欧美五月丁香| 99日韩| 国产成人精品亚洲线观看| 九九婷婷热| 伊人综合婷婷| 天天做天天爱天天摸| 97色伦另类图片小说视频 | 精品夜夜澡人妻无码AV| 91人无码久久久久久| 三级毛片7979| 激情综合青草| 婷婷五月天激情基地| 婷婷在线综合| 欧美黑人巨大性生话| 婷婷狠狠青青| 中文字幕在线免费观看视频| 五月丁香久久呀| 99激情视频| 九九色精品| 99精品久久久久久| 婷婷六月啪啪| 国产精品蜜臀99| 激情综合五月天| 色婷婷网| 激情AV中文| 免费黄色片子| 99思思| 久99| 九月丁香网婷婷| 一级精品999WWW| 天堂五月婷婷| 夜色综合网| 色婷婷导航| 久久日婷婷| 午夜婷婷| 丁香五月综合AV在线| 天天插综合| 五月婷婷欧洲| 国产伊人五月天| 激情五月婷婷五月丁香五月开心五月| 五月婷婷六月激情| 婷婷丁香五月社区亚洲| 色噜噜狠狠色综合AV兰草影视| 性天天中文网| 五月丁香婷婷成人网| 亚洲色五月| 九九99精品视频在线观看| 国产女人十八水真多1| 五月大香蕉| 久久亚洲激情五码| CHINESE熟女老女人HD视频| 亚洲无码激情| 人妻肉射免费观看| 久久xxxx| 美女xx不卡| 九九这里只这里只有精品| 五月天伊人久久久久| 99视频| 91精品婷婷国产综合 | 老司机伊人| 情色五月天 网站| 六月丁香激情综合网| 五月天天久久香| 国产乱妇乱子在线播视频播放网站| 国产免费av在线| 五月丁香六月婷婷手机无线| 天天做天天爽| 99热亚洲| 丁香五月天婷婷久久综合| 五月丁香好婷婷A片网| 婷婷成人av| 99热精品少| 99亚洲视频| 婷婷酒色网| 在线,国产,色,热视频| 99热日| 超碰cap| 六月婷婷网| 99热97| 97日本在线播放| 激情五月图| 婷婷色情网| 日本wwww在线| 五月天四色房丁香| 最近中文字幕大全免费版在线| 久久大香蕉同僚| 天天操电影院色狼性av| 色婷婷综合久久| 《战争与艾拉》完整版| 天天天天天天操| 激情五月天综合网| 亚洲另类视频| 欧美成人一区二区三区在线视频| 激情小说五月欧美亚洲丁香| 婷婷激情性爱| 久久怡红院| 亚洲国产色色| 五月丁香久| 久久久网站| 五月丁香六月激情综合欧美| 26uuu国产色| 色五月激情五月| 非洲一级AV| 色色网站在线| 丁香五月色色婷| 九九热99免费视频| 婷婷色吧| 五月天激情小说| 欧美视频五区| 丁香五月网| 日韩色色视频| 色九月综合网| 日本VA视频| 丁香五月婷婷综合啪啪| 巴基斯坦粉嫰无码视频| 国产午夜精品AV一区二区麻豆| 人人爽天天莫| 五月天婷婷基地| 久久9视频| 五月色婷婷中文字幕| 午夜爱爱网站| 99热新网址| 九 九九九AV| 色久五月天| 另类亚洲电影| 激情綜合W W W,激情五月天| 亚洲色区17| 欧美爆乳一区二区三区| 97自拍视频网| 激情五月天www| 国产性爱在线| 五月天激情国产综合AV| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 天天 青草 丝袜制服 在线| www。久久久久一b。Cc| 欧美综合在线五月天色婷婷| 久久se 综合网| 精品久久久久久久久久久久人妻| 综合久久五| 婷婷丁香五月天在线| 色综合视频在线| SS丁香五月婷婷| 夜夜嗨一区二区三区直播内容| 99热骚货| 大香蕉视频99| 日本va欧美va国产激情| 视频一二区| 狠狠操天天干| YJLZZJLZZ亚洲乱熟无码| 五月婷亚洲精品AV天堂| 性爱AV天堂| 丁香五月婷婷基地| 五月婷在线色视频| 偷拍九九热| 婷婷色五月在线视频| 亚洲成人网站在线| 色吧五月| 六月婷婷狠狠| 依人大香蕉在钱1| 日韩在线五月天婷婷| 婷婷色综合网日韩国产| 日日操天天操| 色综合久久88色综合天天99| 狠狠色综合网| 天天爽夜夜爽夜爽精品| 另类国产欧美视频| 天天综合久久| 亚洲色五月| 另类图片五月天| 伊人9999| 久久色五月| 99精品久久| 午夜丁香六月婷| 亚洲mm免费| 丁香五月伊人| 色婷婷基地在线| 亚洲乱码日产精品BD| 97色色色视频| 欧洲S级在线观看| 丁香色婷婷五月天| 色婷婷五月婷婷五月婷婷五月| 激情五月丁香五月色| 激情五月天小说| 久草视频一,二三四| 99成人| 五月婷婷激情中心| 91疯狂操操操操| 五月色网| 久久久精品色| 五月丁香婷婷久久| 熟女少妇内射日韩亚洲| 激情综合五月婷婷六月丁香| 久草a片| 色人久久| 婷婷丁香五月在线播放| www。五月天激情| 久久婷青青草原| 色欲天天综合| 色五月天网| 另类视屏| 久热免费视频| 久狠狠狠| 亚洲中文无码成人| 97在线视频 欧美| 在线不卡视频| 99色色最新视频| 九九人人看| 99色在线视频| 婷婷亚洲五月| 五月婷婷与六月丁香图片激情| 丁香六月婷婷激情| 伊人久久婷婷| 五月开心深深爱激情综合 | 亚洲综合五月天婷婷| 六月婷婷亚洲| 97久久久久| 超极99精品| 人妻中文在线| 综合久久综合综合| 色色婷| 亚洲另类日本| 婷婷五月天另类视频| 九九热婷婷| 国自产拍偷拍精品啪啪一区二区| 丁香五月天堂网| 这里只有精品,日韩视频| 五月亭久久无码视频| 狠狠狠狠狠干| 狼人婷婷久久| 天天xxxxxx天天日| 热九九在线| 99久久精品国产色欲| 99色在线视频| www.色婷婷| 综合视频五月| 99免费视频久久| 77777亚洲午夜久久| 九九色精品| 影音先锋91资源站| 五月婷婷亚洲综合网| 色九亚洲| 香蕉影院色| 99色视频在线| 久婷婷色| 狠狠干总合| 狼人婷婷综合| 青草激情在线| 婷婷九月| 亚洲中文字幕AV| 91人妻视频| 能直接看的av网站| 天天综合久久| 婷婷视频在线| 久久er99热精品一区二区| 国产在线中文字幕| 天天日,天天干,天天操| 欧美S码亚洲码精品M码| 婷婷丁香红五月91C| 婷婷的99视频网站| 婷婷狠狠操| 精品99爱免费视频在线观看| 99精品综合视频| 99在线精品免费视频| 91久久婷婷| 婷婷五月丁香五月| 激情五月婷婷视频| 婷婷色情小说| 亚洲激情| 白人荫道BBWBBB大荫道| 色婷五月天| 色色色99| 婷婷五月天激情综合深爱激情| 开心婷婷五月花| 丁香五月性| 激情人妻综合| 中文字幕成人影视| 丁香五月婷婷久久久| 国产真人做爰视频免费| 婷婷丁香六月天| 婷婷色网站| 狼人婷婷综合| 九九热最新| 日本va欧美va欧美va| 精品怡红九九九| 五月婷婷久久综合| 五月丁香色婷婷伊人| Av大香蕉| 99无码超碰| 久婷婷婷| 国产精品A片在线| 90色免费视频| 色五月婷婷777| 国外亚洲成AV人片在线观看| 一起草AV| 国产这里只有精品| 五月婷婷综合在线| 97综合在线| 亚洲综合久| www.色五月.com| 色99热| 激情第四色| 五月婷婷丁香俺日污视频| 99热的无码| 996热re视频精品视频这里| wwccc久久久| 狠狠狠激情网| 一二三区视频韩国| 亚洲男人的天堂婷婷色五月| renre人人操国产超碰在线| 色的色综合| 日本婷婷综合精品| 五月婷婷亚洲综合网| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 96性爱视频| 六月丁香深深爱| 一本久久亚洲五月婷婷 | 综合九色| 久久99精品久| 潮汕成人AV片在线| 日本熟女啪啪| 91丨人妻丨国产丨丝袜| 超色欲天天| 大香蕉大香蕉在线影院| www99在线观看视频| 五月丁香六月婷婷激情四射| 久久丁香九| 91丨九色|PRNY熟妇| 日本九九视频| 中美月韩免费A片| 激情性爱五月天| 欧美色图45678| 久久久色婷婷五月天| 五月婷婷熟女| 婷婷六月色播| 热99在线| 性色婷婷| 色情五月综合婷婷| 夜夜撸日日操| 黄色三级毛片中字| 亚洲精品九九| 国产亚洲99久久| 9+1视频网址| 大香蕉九九| 欧洲电影在线观看免费版英语版 | 呦呦视频无码播放| 日日.c| 婷婷五月草| 99热主页日本| 九九色综合| 色综色网| 欧美啪啪五月天| 在线你懂的亚洲欧| 激情五月天色| 玖操97| 这里只有精品在线视频在线观看| 久久狠狠干| 免费精品99| 久久婷婷综合五月| 丁香五月婷婷亚洲另类| 香蕉婷婷| 激情五月婷婷色综合| 五月婷婷丁香在线| 丁香五月婷婷五月| 九九碰九九爱97超碰| 亚洲精品久久久久久久久久吃药| 欧美日韩成人h| 久大香蕉| 日本在线视频手机播放五月婷| dingxiangtingtingliuyue| 丁香五月欧美| 色婷婷影院| 久久综合五月情| 久久婷婷网| 精品网站99| 婷婷开心激情五月激情网| 99狠狠色| 裸体做A爰片毛片A片免费| 青青操成人福利| 五月丁香啪啪激情| 婷婷五月激情片| 涩婷婷五月天| 91九色中文| 久久久999精品| 99精品国产在热久久| 五月丁香六月婷婷的女人| 婷婷香香五月| 26uuu欧美宗合| 激情另类综合| 成人中文网| 激情宗合 激情宗合| 色综久久AV| 久久久人人人妻丝丝丝| 国产九九一区二区三区| 色99在线| 99色日本| 色婷婷五月基地在线| 亚洲丁香五月天视频| 51国精产品自偷自偷综合 | 99色在线观看| 大香蕉伊人丁香五月| 婷婷午夜精品久久久| 天天日天天操天天干| 99啪啪网| 欧美A级成人婬片免费看理论| 色私五月婷婷| 国产片色| 天天综合色丁香| 极品少妇XXXX精品少妇偷拍| 九九色院| 九九热这里只有精品12| 一级黄色尤物综合视频手机在线观看| 丁香六月情| 国产探花一片区| 中文字幕在线日亚洲9| www.激情五月天| 99天堂网| www.91AV.com| 色婷婷狠狠干| 五月天婷久精视频| 欧洲色区| 久久人人九九| www.开心激情| 99自拍视频在线| 婷婷色五月天色| www.狠狠色.com| 一级黄色影片| 亚洲国产网站| 99色视频在线观看| 狠狠操综合| 黄色91在线观看| 九九精品亚洲| 六月丁香婷婷在线波多 | 26uuu另类亚洲欧美日本一| 丁香五月影院| 日韩在线成人电影| 丁香婷婷六月在线资源观看| 亚洲va综合va国产va中文| 成人在线视频一区| 亚洲精品色色色| 天天插天天射| 99久久99视频| 五月天综合激情网| 中文成人在线| 九月丁香婷婷综合激情| 亭亭玉月丁香| 97超级啪啪在线观看| 开心 五月 综合| 欧美激情综合色综合色| 最近韩国日本免费高清观看| 精品久久9| 色色色成人网| 夜夜嗨一区二区三区直播内容| 色婷婷五月天中文字幕| 人人综合久| 操比激情五月| 五月丁香婷中文字幕| 婷婷五月影院| 九色PORNY自拍成人精彩视频| 99re这里| 激情五月丁香五月综合| 七七九九色色| 俺去也五月天婷婷| 激情啪啪五月天| 99视频精品8| 大香蕉五月天婷婷| 狠狠干综合| 9久久婷婷国产综合精品性色| 色婷九九九| 欧美激情综合色综合| 极品人妻VIDEOSSS人妻| 久久免费精品小视频| 久久这里只精品| 北条麻妃九九九国产精品视频| www.激情五月天.com| 婷婷激情六月综合| 国产婷婷五月| 欧美综合激情五月天| 精品亚洲国产成AV人片传媒| 天干干夜夜操| 婷婷综合在线| 色婷婷狠| 色情五月婷| www激情网站| 欧美va在线观看| 91呦呦呦| 精品草原久久视频| 天堂美国久久| 丁香五月六月激情| 五月丁香花成人社区| 激情丁香婷婷五月天| 天天操婷婷| 欧美婷婷六月丁香综合色| 免费AV播放| 日本熟妇精品99| 亚洲AV中文在线| 99久久www| 久久精品99久久久久久| 丁香五月婷婷偷拍| 99热在线精品播放| 超碰二区| 亚洲成人AV在线观看| 狠狠五月激情丁香六月| 精品丁香五月天在线播放| 久久精品五月| 天天日夜夜爽| 久久91久久91色欲精品| 五月激情综合美女久久| 日本三级第一页| 99国产这里只有精品| 免费观看高清无码| 婷婷久久亚洲| 久青草大香蕉| 26uuu另类| 大香久久综合网| 五月激情婷婷国产精品久久久久久| 婷婷干六月综合旧址| 真实亲子乱子伦高清在线观看| 久久久久久久久久久44| 五月丁香久久| 五月婷婷啪啪啪| 天天狠天天叉| 色香久久| 九九色热| 天天综合亚洲综合网天天αⅴ| 中文字幕成人| 青青草深爱激情网| 熟女强人妻一区二区三区四区无| 婷婷丁香五月天狠狠| 最近中文字幕2019视频1| 熟女五月天久久综合| 狠狠ri| 热99AV网站| 91无码高清| 亚洲另类婷婷综合| 激情小说五月天社区丁香| 色播五月婷婷| 婷婷狠狠五月综合| 午夜伊人大香蕉| 天天综合中文| 国产肏屄大片| 久久九九综合| 五月花成人网| 在线色婷婷| 亚洲一区二区无遮挡A片| 婷婷丁香六月| 国产精产国品一二三在观看| 99热只有精| 丁香五月婷婷高清| 欧美天堂久久| 狠狠色五月激情| 中国操逼99| 婷婷狠狠色| 91好好热日本在线| 狠狠色色| 五月天色婷婷图片| 九九九九九九九九九九九九九国产精品| 久久精品人妻| 五月丁香啪啪啪啪| 在线播放中文字幕| 无码婷婷五月天| 人人看人人97| 在线观看的av| 丁香五月激情六月综合| 国产成人AV不卡| 婷婷五月丁香综合人妻| 六月丁香色色色| 色色色热| 99亚洲大片精品永久在线观看| 99久久婷婷五月| 婷婷激情综合| 五月婷婷久久内射| 爱iii做iiii日日| 人人操插| 婷婷区日本| 久久久91精品| 五月婷婷中文字幕| 久久A热| av一区免费看| 亚洲欧美成人在线| 五月天婷婷六月| 丁香五月玖玖| 五月婷婷|欧美| 色五月天激情| 日本无码专区| 久久久久激情| 99热久久这里只有精品| 久青草大香蕉| 九九伊人网| AAAA网站| 色色五月天激情| 五月天另类小说久久小说网| 色五月综合在线| 中文网AV| 五月婷九九草| 婷婷激情综合| 这里只有精品视频一区| 亚洲AV网址| 一级片操逼视频| 精品人妻久久久久| 婷婷久久综合久| 国产亚洲成人综合| 开心五月深爱五月| 操逼棍操逼| 九九五月天| www.婷婷久久五月天| 欧美精品99久久久| 五月婷婷第四色| 五月天色狠狠| 男人天堂 久久| 男男野外做爰全过程69| 狼人婷婷综合| 开心激情婷婷| 综合色99| 99在线视频喷水| 婷婷五月色播| 色色射| 欧日美女Va| cao久久| 婷婷成人基地| 丁香六月激情| 色性五月天| 五月丁香婷婷爱激情综合网| 热99热久| 五月综合视频| 九九人人精品| 婷婷香五月综合激情| 任你日视频| 成人超碰网| 青青草成人网| 天天干天天色综合| 亚洲第一色色色| 九月婷婷色色| 国产熟妇的荡欲午夜视频| 玖玖99免费视频| 五月丁香欧美在线| 色9色| 99福利导航| 狠狠爱婷婷五月天| 99热这里有精品| 久久99热在线观看| 丁香婷婷人妻综合网| 婷婷色九月| 91丨九色熟女丨首页| 另类少妇人与禽zOZZ0性伦| 欧美日韩123| 噜噜色婷婷| xxx日本东京热| 五月天啪啪| 久久大大香| 色色婷婷五月天| 久久婷婷成人| 丁香五月AV| 久久免费视频62| 色情五月丁香婷婷网| 国产1区2区3区| 久久九久久| 免费观看18视频网站| 99热9| 亚洲激情五月| 五月天成人在线播放丁香| 色99视| 丝袜大香蕉| 婷婷99狠狠躁天天躁中文| 免费播放AV| 无码日本精品XXXXXXXXX | 思思热精品在线视频| 激情综合国产| 五月婷婷片| 79成人网| 天天爽,天天操。| 久久伊人五月天| www.婷婷五月天| 日本久草福利| 综合九九日本| httpwww色com日本| 日本少妇裸体做爰高潮片| 人妻久久久| av在线观看免费| 91久久电影| 色播五月网| 婷婷色五月色| 人人看人人摸人人| 操逼123网| 西瓜美女a片| 午夜 外网 精品 在线| 欧美天天爽| 成人短视频在线观看| 成人 在线 日韩| 日本一级特黄大片AAAAA级| 色婷婷久久视屏| 日本理论久久| 婷婷久久婷婷色五月| 日本wwww在线| 人人摸人人干| 26uuu成人网| 五月综合激情啪啪啪啪啪| 五月丁香六月激情综合| 超碰精品在线| 26uuu欧美| 欧美成人精品A片免费一区99| www,天天干| 日韩无码色色| 中文字幕在线日亚洲9| 五月婷婷激情五月| 亚洲第一第二网站| 亚洲色五月| 婷婷亚洲综合| 丁香五月区| 亚洲成人高清在线| 亚洲无码成人| 99ri在线视频| 六月 丁香 视频| 深爱五月激情| 天天舔天天爽| 成人精品在线| 色色综合网站| 天天日夜夜| 欧美电影在线播放| 艳妇野外情欲放荡HD| 精品欧美性爱超级爽| 亚洲中文AV| 日本丰满久久| 影音先锋男人资源站一区二区| 热99久| 五月丁香激情综合啪啪| 久99久在线观看| 曰曰久久| 九九综合视频在线观看| 丁香五月天天| 四色 爱 婷婷 精品 亚洲 五月天| 538久久| 五月激情网络| 天天干电影| 亚洲综合五月天婷婷丁香| 天天精品视频免费观看| 五月天社区| 九月丁香八月婷婷加勒比|