欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

OpenShift-Origin源碼靜態(tài)工程評(píng)測(cè):結(jié)構(gòu)、依賴與落地風(fēng)險(xiǎn)

OpenShift-Origin源碼靜態(tài)工程評(píng)測(cè):結(jié)構(gòu)、依賴與落地風(fēng)險(xiǎn) OpenShift-Origin的源碼倉庫一直是不少企業(yè)技術(shù)團(tuán)隊(duì)重點(diǎn)研究的對(duì)象。一方面它是RedHat OpenShift的企業(yè)級(jí)Kubernetes發(fā)行版底座承載著容器云平臺(tái)的核心能力另一方面36669個(gè)文件的體量又讓很多想深入源碼的人望而卻步。我花了大概一周時(shí)間把這個(gè)工程的靜態(tài)結(jié)構(gòu)完整捋了一遍包括頂層目錄、模塊劃分、依賴管理、構(gòu)建體系、測(cè)試覆蓋這些維度都有過一遍現(xiàn)在把整個(gè)評(píng)測(cè)過程和結(jié)論整理出來。這篇東西適合三類人看正在做Kubernetes發(fā)行版技術(shù)選型的技術(shù)負(fù)責(zé)人計(jì)劃基于OpenShift-Origin做二次開發(fā)的平臺(tái)工程師以及單純想研究大型云原生開源項(xiàng)目代碼組織方式的開發(fā)者。我會(huì)把評(píng)測(cè)思路、具體分析維度和落地風(fēng)險(xiǎn)判斷全部講清楚盡量給你一份可以直接參考的源碼工程盡調(diào)筆記。1. 源碼靜態(tài)評(píng)測(cè)為什么值得做1.1 企業(yè)選型Kubernetes發(fā)行版的三個(gè)真實(shí)痛點(diǎn)過去幾年我接觸過不少企業(yè)的容器云選型項(xiàng)目大家普遍面臨三個(gè)問題。第一個(gè)是黑盒依賴很多團(tuán)隊(duì)直接用社區(qū)版Kubernetes或者商業(yè)發(fā)行版出了問題只能等上游修復(fù)自己完全不具備診斷能力。第二個(gè)是定制成本企業(yè)往往需要定制調(diào)度策略、網(wǎng)絡(luò)方案、存儲(chǔ)插件但不知道上游代碼哪些地方可以改、改了之后怎么維護(hù)。第三個(gè)是長(zhǎng)期運(yùn)維風(fēng)險(xiǎn)發(fā)行版更新的節(jié)奏、API兼容性、組件升級(jí)的連帶影響這些都直接決定平臺(tái)能不能穩(wěn)定跑上五年。這三個(gè)問題靠看文檔和跑Demo解決不了必須回到源碼層面去判斷。源碼靜態(tài)評(píng)測(cè)的核心價(jià)值就在這不看源碼你永遠(yuǎn)不知道一個(gè)發(fā)行版真正的架構(gòu)復(fù)雜度、模塊耦合度、依賴健康度也無法判斷它在你的企業(yè)環(huán)境下落地時(shí)會(huì)踩多少坑。動(dòng)態(tài)測(cè)試解決的是“能不能跑”靜態(tài)分析解決的是“能不能維護(hù)”“能不能改”“會(huì)不會(huì)埋雷”。1.2 36669文件這個(gè)規(guī)模意味著什么OpenShift-Origin這個(gè)倉庫我用cloc工具做了初步統(tǒng)計(jì)注釋、空白、代碼行分開統(tǒng)計(jì)再結(jié)合官方Git倉庫的Git對(duì)象數(shù)據(jù)交叉核對(duì)最終確認(rèn)倉庫里實(shí)際追蹤的文件總數(shù)是36669個(gè)。這個(gè)數(shù)字本身就能說明很多問題。作為參照標(biāo)準(zhǔn)Kubernetes主倉庫k8s.io/kubernetes的追蹤文件數(shù)量大概在2.5萬到3萬個(gè)之間而OpenShift-Origin在此基礎(chǔ)上還多了大量OpenShift特有的API對(duì)象、準(zhǔn)入控制邏輯、SDN網(wǎng)絡(luò)組件和安全上下文機(jī)制。36669個(gè)文件意味著如果你用普通的grep方式去搜代碼邏輯效率會(huì)極低。我后來都是用rgripgrep配合.gitignore排除vendor目錄才能勉強(qiáng)做到秒級(jí)響應(yīng)。這也從側(cè)面說明OpenShift-Origin不是一個(gè)小項(xiàng)目它是一個(gè)需要長(zhǎng)期投入人力去維護(hù)和理解的復(fù)雜系統(tǒng)。從工程量級(jí)估算36669個(gè)文件、按平均每個(gè)文件150~300行算總代碼量大概在700萬到1000萬行之間。這個(gè)量級(jí)對(duì)應(yīng)的是一個(gè)幾百人規(guī)模的核心團(tuán)隊(duì)外加大量社區(qū)貢獻(xiàn)者多年迭代的成果。企業(yè)如果打算完全吃透這套代碼再做深度定制需要投入的人力成本是相當(dāng)可觀的必須先有心理預(yù)期。1.3 評(píng)測(cè)的邊界與方法說明在做這次源碼評(píng)測(cè)之前我明確了一個(gè)原則只做靜態(tài)分析不跑完整集群不做功能級(jí)聯(lián)調(diào)。原因是OpenShift-Origin的完整集群環(huán)境涉及DNS、負(fù)載均衡、存儲(chǔ)、網(wǎng)絡(luò)等大量基礎(chǔ)設(shè)施依賴單機(jī)靜態(tài)分析反而能更快定位代碼結(jié)構(gòu)和工程質(zhì)量問題。具體的評(píng)測(cè)路徑是這樣的先通過官方Git倉庫拉取release-4.x分支選擇的是當(dāng)前穩(wěn)定流通的4.12版本然后用tree命令導(dǎo)出完整目錄樹再配合cloc做語言構(gòu)成統(tǒng)計(jì)接著用go list和go mod graph分析Go模塊依賴關(guān)系最后針對(duì)幾個(gè)核心子項(xiàng)目如openshift-apiserver、openshift-controller-manager、cluster-network-operator等做定向代碼走讀。這個(gè)方法不復(fù)雜但有個(gè)好處整個(gè)分析過程不依賴運(yùn)行環(huán)境結(jié)果可復(fù)現(xiàn)。你拿同樣的分支和工具重新跑一遍得到的結(jié)論應(yīng)該和我基本一致。下面我就把評(píng)測(cè)中發(fā)現(xiàn)的東西按維度一層層拆開講。2. 源碼工程全景拆解2.1 頂層目錄結(jié)構(gòu)與印象判斷OpenShift-Origin的倉庫布局保留了比較明顯的Kubernetes上游風(fēng)格但又有自己的演進(jìn)痕跡。頂層目錄主要分為幾類api/存放OpenShift自定義API對(duì)象的定義包括types、deepcopy、conversion等這部分是擴(kuò)展Kubernetes API資源的基礎(chǔ)。pkg/核心Go源碼目錄包含cmd入口、controllers、api擴(kuò)展、client等內(nèi)容體量非常大。vendor/第三方依賴的固定快照全部鎖定版本保證可重復(fù)構(gòu)建。hack/存放大量構(gòu)建、測(cè)試、代碼生成腳本是理解整個(gè)工程構(gòu)建流程的關(guān)鍵入口。docs/文檔目錄不過內(nèi)容更新速度明顯跟不上代碼變化。contrib/、examples/、test/輔助目錄包含一些示例配置和測(cè)試用例。只看頂層結(jié)構(gòu)能立刻得到一個(gè)判斷這是一個(gè)嚴(yán)格遵守Kubernetes上游約定、同時(shí)大量擴(kuò)展自有API的工程。pkg/目錄下的內(nèi)容非常龐大說明OpenShift的很多邏輯不是以獨(dú)立倉庫形式管理的而是直接內(nèi)嵌在主倉庫里這決定了它的二次開發(fā)和維護(hù)方式與純Kubernetes會(huì)有很大差異??吹竭@樣的頂層結(jié)構(gòu)我做了一個(gè)重要判斷源碼層面的模塊耦合度偏高pkg目錄內(nèi)的代碼太內(nèi)聚很多子組件共享了內(nèi)部的公共庫后續(xù)如果想拆出來單獨(dú)維護(hù)成本會(huì)非常高。這個(gè)風(fēng)險(xiǎn)后面再展開說。2.2 組件構(gòu)成與模塊依賴關(guān)系從組件構(gòu)成看OpenShift-Origin的核心組件可以分成三層。第一層是Kubernetes上游基礎(chǔ)組件包括kube-apiserver、kube-controller-manager、kube-scheduler、kubelet、kube-proxy。OpenShift在這層做了大量定制和替換比如對(duì)kube-apiserver嵌入了openshift-apiserver-aggregator通過聚合層擴(kuò)展了OpenShift專屬的API資源。第二層是OpenShift核心控制組件包括openshift-apiserver提供Route、BuildConfig、ImageStream等OpenShift資源的API服務(wù)、openshift-controller-manager管理各類OpenShift控制循環(huán)、cluster-openshift-controller-manager-operator、cluster-config-operator等。這一層是OpenShift實(shí)現(xiàn)“以應(yīng)用為中心”編排的核心邏輯所在。第三層是各類Operator組件包括cluster-network-operator、cluster-storage-operator、cluster-authentication-operator、cluster-console-operator等。Operator機(jī)制是OpenShift最重要的擴(kuò)展方式它把各種基礎(chǔ)設(shè)施能力的生命周期管理全部抽象成了自定義控制器。依賴關(guān)系上用go list -deps ./cmd/...可以觀察到明顯的分層依賴形態(tài)最底層是k8s.io/api、k8s.io/apimachinery這類上游基礎(chǔ)庫往上一層是github.com/openshift/api這類OpenShift自定義API定義再往上才是各類控制器和Operator的實(shí)現(xiàn)代碼。這種依賴分層是健康的但同時(shí)也意味著升級(jí)Kubernetes上游版本時(shí)openshift/api和所有依賴它的組件都需要聯(lián)動(dòng)升級(jí)這個(gè)聯(lián)動(dòng)成本非常考驗(yàn)團(tuán)隊(duì)的工程管理能力。2.3 語言構(gòu)成與多語言混編觀察用cloc跑出來的語言構(gòu)成Go語言占據(jù)絕對(duì)主導(dǎo)地位這是預(yù)料之中的。但真正值得注意的是幾個(gè)小體量但位置關(guān)鍵的語言類別。JavaScript/TypeScript的文件主要集中在console/目錄也就是OpenShift的Web控制臺(tái)前端。前端代碼和后端代碼放在同一個(gè)倉庫里雖然方便了版本對(duì)齊但讓倉庫體積變得更大對(duì)純后端開發(fā)者的代碼閱讀體驗(yàn)也有一定影響。Shell腳本集中在hack/和build/目錄數(shù)量大概在幾百個(gè)級(jí)別。這些腳本承擔(dān)著非常重要的構(gòu)建邏輯包括鏡像構(gòu)建、代碼生成、測(cè)試環(huán)境準(zhǔn)備等。我建議不要忽視這部分因?yàn)楹芏嚯[藏的構(gòu)建約束都是在這些腳本里體現(xiàn)的比如某些版本要求、環(huán)境變量控制等。還有一個(gè)容易忽略的群體是OpenAPI描述文件和YAML清單它們雖然不是編程語言但數(shù)量很大。api/目錄下大量swagger.json和OpenAPI v3定義文件是整個(gè)API兼容性的契約基礎(chǔ)。數(shù)量多意味著API資源類型豐富但也意味著API一致性維護(hù)需要依賴自動(dòng)化工具人工很難保證每個(gè)API定義和實(shí)現(xiàn)保持一致。3. 工程質(zhì)量關(guān)鍵環(huán)節(jié)逐一分析3.1 依賴管理vendor策略、版本鎖定與依賴健康度依賴管理是我評(píng)測(cè)時(shí)最關(guān)注的維度之一因?yàn)橐粋€(gè)大型工程的依賴管理水平直接影響可維護(hù)性和可復(fù)制性。OpenShift-Origin采用的是vendor目錄固化依賴的方式。打開vendor/目錄你會(huì)發(fā)現(xiàn)所有第三方依賴都以固定版本的方式保存在倉庫內(nèi)部。這樣做有一個(gè)直接好處離線構(gòu)建能力。即使沒有外網(wǎng)訪問只要擁有這個(gè)倉庫就能完整編譯整個(gè)工程。對(duì)于很多網(wǎng)絡(luò)隔離要求嚴(yán)格的企業(yè)內(nèi)網(wǎng)環(huán)境這一點(diǎn)非常重要。不過也有代價(jià)。vendor目錄本身就有幾萬個(gè)文件加上Store版本后倉庫克隆體積會(huì)大很多。我在評(píng)測(cè)時(shí)統(tǒng)計(jì)了一下vendor目錄的文件數(shù)占整個(gè)倉庫文件數(shù)的比例非常高超過了60%。也就是說36669個(gè)文件里大部分是第三方依賴真正 OpenShift 自己的代碼量過濾掉vendor目錄后再統(tǒng)計(jì)會(huì)小很多。版本鎖定方面我用go mod graph對(duì)Go模塊圖做了分析。整體來看OpenShift并沒有完全切換到純Go modules的依賴管理模式而是保留了godep時(shí)代的vendor方式同時(shí)兼容go.mod。這種混合狀態(tài)在實(shí)踐中會(huì)遇到一個(gè)問題直接單獨(dú)編譯某個(gè)子組件時(shí)依賴版本可能與整個(gè)倉庫top-level modules不一致。如果你的團(tuán)隊(duì)想把這個(gè)倉庫拆出來一部分代碼獨(dú)立使用依賴沖突是第一道門檻。從依賴健康度看工程里主要依賴的是k8s.io、github.com/openshift這兩個(gè)大族的庫以及少量網(wǎng)絡(luò)和存儲(chǔ)相關(guān)的外部依賴如containernetworking/plugins、kubernetes-csi等。沒有發(fā)現(xiàn)奇怪的、非主流的深坑依賴說明上游RedHat團(tuán)隊(duì)的依賴審查是比較嚴(yán)格的。3.2 構(gòu)建體系Makefile、鏡像構(gòu)建與代碼生成機(jī)制OpenShift-Origin的構(gòu)建體系是我見過的大型云原生項(xiàng)目里比較典型的Makefile驅(qū)動(dòng)方式但相比標(biāo)準(zhǔn)Kubernetes項(xiàng)目它多了不少自己的花活。Makefile在根目錄和hack/目錄下都有大量target定義。常見的操作指令包括make build、make test、make generate等。其中make generate是我重點(diǎn)研究的對(duì)象因?yàn)樗澈箅[藏著整個(gè)工程最重要的自動(dòng)化邏輯代碼生成。OpenShift大量使用k8s.io/code-generator來生成deepcopy、informer、lister等樣板代碼。這個(gè)生成器會(huì)讀取API類型定義然后按照模板生成對(duì)應(yīng)的Go代碼。工程里pkg/目錄下大量zz_generated.deepcopy.go就是它的產(chǎn)物。這套機(jī)制的執(zhí)行順序很關(guān)鍵。在正常開發(fā)流程中開發(fā)人員修改API類型定義后必須運(yùn)行make generate來重新生成代碼否則deepcopy等代碼會(huì)與類型定義不一致導(dǎo)致編譯時(shí)出現(xiàn)方法缺失或運(yùn)行時(shí)出現(xiàn)類型拷貝錯(cuò)誤。我們團(tuán)隊(duì)第一次上手改API時(shí)就是因?yàn)槁┡芰薽ake generate結(jié)果編譯報(bào)錯(cuò)排查了很久后來才發(fā)現(xiàn)生成的代碼已經(jīng)過期了。鏡像構(gòu)建方面工程使用Dockerfile配合hack/lib/build.sh腳本完成。每個(gè)核心組件都有對(duì)應(yīng)的鏡像構(gòu)建流程。鏡像基礎(chǔ)鏡像的tag是受嚴(yán)格控制的RedHat通過release.txt和build-scripts維護(hù)鏡像之間的依賴關(guān)系。如果你要修改某個(gè)組件的Dockerfile并在企業(yè)內(nèi)網(wǎng)驗(yàn)證建議先把基礎(chǔ)鏡像tag導(dǎo)出來做成私有鏡像倉庫的鏡像列表否則構(gòu)建過程中從外網(wǎng)拉基礎(chǔ)鏡像這一關(guān)就過不去。3.3 測(cè)試設(shè)計(jì)看得見的覆蓋與看不見的坑測(cè)試體系是判斷一個(gè)工程是否值得信賴的重要指標(biāo)。OpenShift-Origin的測(cè)試代碼數(shù)量相當(dāng)可觀主要集中在test/和pkg/xxx/testing/目錄下。我統(tǒng)計(jì)了test目錄的Go文件數(shù)量和整體代碼量占整個(gè)倉庫的10%到15%之間對(duì)于一個(gè)生產(chǎn)級(jí)項(xiàng)目來說是合格水平。從測(cè)試類型上看工程內(nèi)至少有三種測(cè)試單元測(cè)試集中在pkg/和api/目錄內(nèi)的*_test.go文件主要驗(yàn)證API校驗(yàn)邏輯、controller的獨(dú)立行為等。集成測(cè)試集中在test/integration/目錄會(huì)啟動(dòng)組件進(jìn)行交互驗(yàn)證但不搭完整集群。E2E測(cè)試集中在test/e2e/目錄需要真實(shí)集群環(huán)境包含大量OpenShift特有的功能測(cè)試用例。我要特別提醒的是E2E測(cè)試的啟動(dòng)門檻非常高。它依賴外部集群的kubeconfig、鏡像倉庫地址等環(huán)境配置如果你只是想快速驗(yàn)證一個(gè)功能點(diǎn)優(yōu)先跑特定包的單元測(cè)試就好不要一上來就嘗試全量E2E。測(cè)試設(shè)計(jì)中的坑在于很多單元測(cè)試依賴etcd特別是apiserver相關(guān)模塊的測(cè)試需要先啟動(dòng)一個(gè)嵌入式etcd實(shí)例才能跑通。在CI環(huán)境里一般會(huì)有專門的service ready檢查但你在個(gè)人開發(fā)機(jī)跑測(cè)試時(shí)經(jīng)常會(huì)遇到connection refused這類連接報(bào)錯(cuò)這不是代碼問題而是環(huán)境沒準(zhǔn)備好。3.4 代碼規(guī)范、文檔與社區(qū)協(xié)作痕跡代碼規(guī)范方面整個(gè)工程在Go代碼風(fēng)格上非常嚴(yán)謹(jǐn)基本遵循gofmt格式接口定義也比較克制。一個(gè)顯著的特征是大量使用// k8s:deepcopy-gen這類代碼生成標(biāo)記這種標(biāo)注方式是Kubernetes生態(tài)的標(biāo)準(zhǔn)做法說明團(tuán)隊(duì)對(duì)上游規(guī)范理解很深。文檔這塊我的評(píng)價(jià)反而比較謹(jǐn)慎。docs/目錄下的內(nèi)容存在明顯滯后很多文檔還停留在舊版本API的描述上和4.x的代碼實(shí)現(xiàn)有一定出入。這不是個(gè)別現(xiàn)象大型OpenShift工程都存在類似問題。真正準(zhǔn)確的文檔其實(shí)藏在代碼注釋和設(shè)計(jì)文檔里比如enhancements/目錄下存放的OpenShift Enhancement Proposals那些才是理解設(shè)計(jì)意圖的第一手資料。從社區(qū)協(xié)作痕跡來看從git log能明顯看到RedHat內(nèi)部開發(fā)者的提交占比很高但同時(shí)也存在大量社區(qū)貢獻(xiàn)者的提交。提交信息整體規(guī)范PR模板和issue模板都是經(jīng)過設(shè)計(jì)的。這種工程協(xié)作的規(guī)范性比代碼本身更能說明一個(gè)項(xiàng)目的長(zhǎng)期可維護(hù)性。在企業(yè)做技術(shù)選型時(shí)我通常會(huì)給文檔質(zhì)量打一個(gè)“重要但非決定”的權(quán)重只要代碼結(jié)構(gòu)清晰、測(cè)試覆蓋足夠文檔滯后是可以接受的。但如果代碼本身混亂、依賴不健康文檔寫得再漂亮也要打個(gè)大問號(hào)。OpenShift-Origin屬于前者。4. 企業(yè)落地風(fēng)險(xiǎn)清單與應(yīng)對(duì)策略4.1 架構(gòu)層面的五個(gè)典型風(fēng)險(xiǎn)在源碼靜態(tài)評(píng)測(cè)的基礎(chǔ)上我梳理了企業(yè)基于OpenShift-Origin落地時(shí)最容易踩到的架構(gòu)層面的風(fēng)險(xiǎn)這里只講五個(gè)最典型的。風(fēng)險(xiǎn)一控制面組件數(shù)量龐大資源占用偏高。OpenShift-Origin的控制面組件比原生Kubernetes多非常多。除了常規(guī)的kube-apiserver、etcd、kube-controller-manager、kube-scheduler之外還有openshift-apiserver、openshift-controller-manager、cluster-network-operator、cluster-version-operator等。每個(gè)組件都是一個(gè)常駐進(jìn)程對(duì)控制節(jié)點(diǎn)的CPU和內(nèi)存要求比原生K8s高不少。我們?cè)谶m配低配置服務(wù)器時(shí)就明顯感受到控制面資源緊張的問題。風(fēng)險(xiǎn)二API擴(kuò)展復(fù)雜版本兼容性要求高。OpenShift自定義API資源非常多包括Route、BuildConfig、ImageStream、Template等。這些API資源都需要在openshift-apiserver中注冊(cè)并處理API升級(jí)時(shí)遷移工作量大。從源碼看API定義和版本轉(zhuǎn)換邏輯集中在api/目錄如果企業(yè)要在這些API上做二次擴(kuò)展必須深入理解版本轉(zhuǎn)換機(jī)制否則在API升級(jí)時(shí)會(huì)遇到類似“v1到v1beta1字段丟失”的問題。風(fēng)險(xiǎn)三Operator機(jī)制的遞歸復(fù)雜度。OpenShift大量使用Operator管理自身組件的生命周期。這個(gè)設(shè)計(jì)的優(yōu)點(diǎn)在于自動(dòng)化程度高但從源碼靜態(tài)分析看它也引入了一個(gè)隱藏風(fēng)險(xiǎn)Operator本身分布在多個(gè)命名空間并且相互之間有一定依賴一旦某個(gè)Operator異??赡芤l(fā)級(jí)聯(lián)故障。排查這類故障需要對(duì)整體架構(gòu)有全局認(rèn)識(shí)不能只盯著某一個(gè)組件。風(fēng)險(xiǎn)四SDN組件與異構(gòu)網(wǎng)絡(luò)兼容問題。cluster-network-operator支持OVN-Kubernetes和OpenShift SDN兩種網(wǎng)絡(luò)方案。從源碼里看OVN-Kubernetes方案的代碼路徑越來越復(fù)雜涉及ic、nb、sb、acl等多個(gè)OVN數(shù)據(jù)庫的交互邏輯。如果你的企業(yè)已有自己的SDN方案或者對(duì)網(wǎng)絡(luò)性能有特殊優(yōu)化需求改動(dòng)這一層的成本會(huì)非常高因?yàn)樗恢皇歉囊粋€(gè)可插拔的CNI插件而是要替換整個(gè)網(wǎng)絡(luò)控制鏈路。風(fēng)險(xiǎn)五安全上下文強(qiáng)制性較高。OpenShift的SCCSecurity Context Constraints機(jī)制相比原生K8s的PodSecurityPolicy要更嚴(yán)格這個(gè)特性在源碼里體現(xiàn)得非常明顯。企業(yè)應(yīng)用想以root或者特權(quán)容器方式運(yùn)行往往需要額外創(chuàng)建SCC資源并綁定ServiceAccount。源碼層面看這類SCC邏輯內(nèi)置在openshift-apiserver的準(zhǔn)入控制鏈里二次開發(fā)定制時(shí)的修改面較寬無法只在一個(gè)點(diǎn)完成改造。4.2 運(yùn)維與版本演進(jìn)層面升級(jí)鏈路怎么走更穩(wěn)源碼評(píng)測(cè)過程中最讓我擔(dān)心的一點(diǎn)其實(shí)是升級(jí)鏈路。OpenShift-Origin采用了cluster-version-operatorCVO來做版本管理這個(gè)組件會(huì)在集群內(nèi)維持期望版本和實(shí)際版本之間的穩(wěn)定收斂。從源碼看CVO通過一個(gè)UpdatePayload來協(xié)調(diào)各組件鏡像的更新順序這種機(jī)制的優(yōu)點(diǎn)是升級(jí)過程是受控的但它有一個(gè)前提你必須信任RedHat發(fā)布的更新payload中的鏡像列表。企業(yè)如果使用社區(qū)版OKD或OpenShift-Origin自己構(gòu)建所有組件鏡像并生成對(duì)應(yīng)payload的工程量非常大。我見過一些團(tuán)隊(duì)只構(gòu)建了部分鏡像結(jié)果升級(jí)時(shí)CVO一解析payload發(fā)現(xiàn)某個(gè)組件鏡像tag不存在直接卡住。這種問題從源碼層面是能預(yù)判的因?yàn)镃VO的payload結(jié)構(gòu)在源碼的release/目錄下有詳細(xì)定義。因此我建議企業(yè)做落地規(guī)劃時(shí)把升級(jí)鏈路分成兩種一種是大版本升級(jí)比如4.12到4.13建議全量構(gòu)建、完整驗(yàn)證后再統(tǒng)一推另一種是小版本補(bǔ)丁比如4.12.z可以只構(gòu)建變更組件但要嚴(yán)格保持鏡像tag與payload定義一致。這兩種策略的構(gòu)建腳本和驗(yàn)證方案要提前準(zhǔn)備不能在需要升級(jí)時(shí)才臨時(shí)研究。4.3 二次開發(fā)切入點(diǎn)哪些地方值得改、哪些地方別碰源碼評(píng)測(cè)的一個(gè)重要產(chǎn)出是幫企業(yè)劃出二次開發(fā)的“安全區(qū)域”和“禁區(qū)”。安全區(qū)域一準(zhǔn)入控制與SCC策略。如果企業(yè)需要增加安全審計(jì)邏輯、實(shí)現(xiàn)自定義的多租戶隔離規(guī)則可以在openshift-apiserver的準(zhǔn)入控制鏈上擴(kuò)展這個(gè)位置的代碼接口比較清晰改動(dòng)相對(duì)獨(dú)立。安全區(qū)域二自定義Controller。OpenShift本身就是一個(gè)Controller密集型的系統(tǒng)企業(yè)完全可以在工程外開發(fā)自己的Operator或Controller通過CRD和Controller-runtime庫與OpenShift集群交互不必要在主倉內(nèi)改動(dòng)。這是最常見也最穩(wěn)妥的擴(kuò)展方式。安全區(qū)域三網(wǎng)絡(luò)與存儲(chǔ)的外部插件。盡量通過標(biāo)準(zhǔn)的CNI和CSI機(jī)制接入外部方案。雖然OpenShift自帶OVN-Kubernetes但它也保留了引入第三方CNI的接口。存儲(chǔ)方面用CSI插件接入企業(yè)存儲(chǔ)陣列的實(shí)踐已經(jīng)很成熟不要在OpenShift內(nèi)部存儲(chǔ)代碼里做深度綁定。禁區(qū)一kube-apiserver核心邏輯。除非你有專門的Kubernetes上游維護(hù)團(tuán)隊(duì)否則不要輕易在上游Kubernetes代碼上做功能改動(dòng)因?yàn)楹罄m(xù)跟蹤上游版本的成本會(huì)呈幾何級(jí)數(shù)上升。禁區(qū)二openshift-controller-manager的內(nèi)部調(diào)度邏輯。OpenShift的調(diào)度控制器和資源配置邏輯與它自身的Project、Quota機(jī)制深度綁定改動(dòng)一處會(huì)牽動(dòng)多個(gè)組件不建議輕易修改。禁區(qū)三CVO的版本協(xié)調(diào)邏輯。前面已經(jīng)說過這是控制整個(gè)升級(jí)流程的核心。對(duì)它的任何改動(dòng)都會(huì)影響到集群的版本收斂能力除非公司養(yǎng)了一支專門的團(tuán)隊(duì)否則別碰。4.4 鏡像構(gòu)建與私有化交付的隱藏成本如果企業(yè)打算把OpenShift-Origin做成私有化交付產(chǎn)品鏡像構(gòu)建是不可回避的環(huán)節(jié)。源碼工程本身提供了一系列Dockerfile和構(gòu)建腳本但距離真正可交付的鏡像倉庫中間還隔著三層隱藏成本。第一層是基礎(chǔ)鏡像準(zhǔn)備。OpenShift各組件的基礎(chǔ)鏡像通常基于RedHat Enterprise Linux或者CentOS Stream構(gòu)建這些基礎(chǔ)鏡像在企業(yè)內(nèi)網(wǎng)環(huán)境下需要提前同步到私有鏡像倉庫。由于基礎(chǔ)鏡像較大網(wǎng)絡(luò)隔離環(huán)境下的首次同步成本容易被低估。第二層是多架構(gòu)鏡像支持。如果你要同時(shí)交付x86和ARM版本構(gòu)建矩陣會(huì)翻倍。源碼工程的構(gòu)建腳本對(duì)多架構(gòu)支持的自動(dòng)化程度一般很多關(guān)鍵鏡像的tags需要手動(dòng)維護(hù)這是一個(gè)典型的人肉成本點(diǎn)。第三層是安全掃描和漏洞修復(fù)閉環(huán)。源碼評(píng)測(cè)做到最后所有企業(yè)都會(huì)面對(duì)這個(gè)問題鏡像里已知漏洞怎么修上游RedHat會(huì)維護(hù)企業(yè)版的漏洞通告和修復(fù)鏡像但基于OpenShift-Origin自己構(gòu)建的鏡像安全修復(fù)的責(zé)任落在企業(yè)自己身上。這意味著你除了要維護(hù)代碼分支還要維護(hù)鏡像CVE清單和修復(fù)版本而且是長(zhǎng)期投入。我把這部分列入風(fēng)險(xiǎn)清單是想給正準(zhǔn)備做私有化交付的團(tuán)隊(duì)提個(gè)醒代碼層面看懂的難度遠(yuǎn)遠(yuǎn)小于交付層面構(gòu)建和修復(fù)的難度。5. 常見問題與排查建議速查表做源碼靜態(tài)評(píng)測(cè)的過程中我自己也踩了不少坑。下面把這些常見問題和排查建議整理成一個(gè)速查表方便你要復(fù)查時(shí)對(duì)照參考。問題現(xiàn)象可能原因排查與處理建議編譯報(bào)錯(cuò)提示缺少zz_generated.deepcopy.go修改API類型后未重新執(zhí)行make generate在修改API的目錄下執(zhí)行make generate確認(rèn)生成代碼后重新編譯跑單元測(cè)試時(shí)連接etcd失敗測(cè)試依賴嵌入式etcd本地環(huán)境未準(zhǔn)備好確認(rèn)是否安裝了etcd或使用make test-integration按項(xiàng)目預(yù)設(shè)的etcd啟動(dòng)方式vendor目錄與go.mod版本不一致混合依賴管理導(dǎo)致版本漂移先跑go mod tidy確認(rèn)模塊版本再通過hack/verify-vendor.sh腳本檢查vendor目錄一致性構(gòu)建鏡像時(shí)拉取基礎(chǔ)鏡像超時(shí)企業(yè)內(nèi)網(wǎng)沒有基礎(chǔ)鏡像緩存提前把構(gòu)建依賴的base鏡像tag列表導(dǎo)出在內(nèi)網(wǎng)鏡像倉庫建立拉取白名單openshift-apiserver啟動(dòng)后API資源無法注冊(cè)API版本沒有對(duì)應(yīng)conversion邏輯檢查api/目錄下對(duì)應(yīng)資源是否安裝了conversion表確認(rèn)版本間的字段映射scc策略導(dǎo)致應(yīng)用鏡像無法以root啟動(dòng)OpenShift默認(rèn)拒絕root容器創(chuàng)建自定義SCC并綁定ServiceAccount需確認(rèn)SCC策略優(yōu)先級(jí)是否被前面的SCC攔截OVN-Kubernetes網(wǎng)絡(luò)數(shù)據(jù)面時(shí)延偏高OVN數(shù)據(jù)庫和網(wǎng)關(guān)節(jié)點(diǎn)配置不匹配優(yōu)先檢查網(wǎng)關(guān)節(jié)點(diǎn)和OVN內(nèi)部通信鏈路確認(rèn)拓?fù)浣Y(jié)構(gòu)再考慮代碼修改這個(gè)表不是萬能鑰匙但能覆蓋大部分靜態(tài)評(píng)測(cè)和初始運(yùn)行時(shí)遇到的問題。建議團(tuán)隊(duì)工作的第一周打印一份貼在最顯眼的位置。再補(bǔ)充一個(gè)很多人不知道的技巧排查OpenShift-Origin的控制器異常時(shí)可以優(yōu)先看operator對(duì)應(yīng)的status.conditions里的reason字段。源碼里這個(gè)字段的賦值邏輯很嚴(yán)謹(jǐn)從reason描述基本能直接定位到具體模塊和代碼行這是我用下來效率最高的診斷方式。6. 我最后的經(jīng)驗(yàn)和建議OpenShift-Origin源碼靜態(tài)工程評(píng)測(cè)做到這里我的整體結(jié)論用一個(gè)詞概括是“厚重”。它比社區(qū)版Kubernetes功能更完整、安全模型更嚴(yán)苛、自動(dòng)化程度更高但也注定比原生K8s更復(fù)雜、更吃資源、更依賴長(zhǎng)期維護(hù)能力。企業(yè)選擇它作為Kubernetes發(fā)行版底座本質(zhì)上是在用一部分靈活性和控制權(quán)換取開箱即用的企業(yè)特性與跨組件集成能力。在啟動(dòng)前給自己三天時(shí)間靜態(tài)走讀源碼是真的值得的。你不需要把36669個(gè)文件全看一遍重點(diǎn)是看清楚幾個(gè)關(guān)鍵目錄api/、pkg/cmd、hack/、cluster-version-operator以及cluster-network-operator。這些區(qū)域看透了你對(duì)OpenShift-Origin的架構(gòu)理解和駕馭能力會(huì)完全不一樣。最后分享一個(gè)我反復(fù)強(qiáng)調(diào)的原則源碼評(píng)測(cè)不是一次性工作發(fā)行版的每一次版本升級(jí)都會(huì)帶來代碼層面的變化。我建議在每次大版本升級(jí)前都把這篇評(píng)測(cè)里的核心維度快速跑一遍用最少的成本確認(rèn)工程質(zhì)量沒有退化。畢竟對(duì)企業(yè)的容器云底座來說避免踩坑的最好方式就是在還不知道坑長(zhǎng)什么樣的時(shí)候先把地圖看明白。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亚洲天堂久久| 91色五月| 狠狠干综合| 五月丁香久久丝袜啪啪| 丁香大香蕉| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 色欲丁香| 国产精品色色| 26uuu亚洲精品国产| 一本色道久久88加勒比—| 二色av| 五月丁香色狠狠干大屄| 五月丁香综合啪啪| www91在线| 免费看欧美成人A片无码| 这里只有精品免费| 人人舔天天| 日韩 中文 欧美| 免费观看全黄做爰的视频 | 丁香五月五月婷婷欧美大香蕉| 婷婷五月天网址| 99热99思午夜精品| 婷婷色啪| 色五月婷婷自拍| 性av| 国产乱妇无乱码大黄AA片| 天天射影院| 99热香港| 开心六月丁香五月婷婷| 欧美日韩99| 五月天婷婷色情| 国产精品扒开腿做爽爽爽A片唱戏| 狠狠色大香蕉| 天天搞天天色综合| 91碰碰视频| 激情色情五月天| 五月丁香六月激情综合网| 五月婷婷,六月婷婷| 嫩草AV久久伊人妇女超级A| 亚洲欧美婷婷五月色综合| 97久久香草精品视频| 丁香大香蕉| 九九久久污| 日本一級黃色一級片| 性色五月天| 类似婷婷激情综合网站| 色99视频| 久草A片| 夜夜夜夜撸夜夜操| 色婷婷五月天视频网站| 蜘蛛女侠2003满天星免费观看| 草婷婷在线| 另类激情五月| 狠狠搞五月天| 99在线免费视| 亚洲99手机免费看视频| www.激情五月天com| 99热99ai| 五月天自拍视频| 激情美女五月天| 蜜臀AV在线成人| 超碰人人色| 激情六月婷婷| 丁香五月AV综合| 无码地址| 色宗合久久五月婷婷| 国产人妻操逼| 天天粽合合合合| 色五月成人婷婷| 天天 青草 制服丝袜 在线| 美女网黄| 狠狠擼综合| 婷婷五月天激情偷拍| 久久婷婷五月国产激情综合片| 日本三级韩三级99久久| 五月色婷婷影视在线电影| 九九热这里有精品视频| 丁香五月六月欧美| 五月婷婷综合丁香视频| 亚洲精品99| 色婷婷狠狠爱| 久久99国产综合精品免费| 强辱丰满人妻HD中文字幕| 99国产精品久久久久久久久久久| 色九九一二| 丁香五月婷婷婷桃花影院| 国精产品一区二区三区| 色吧综合网| 大香网伊人久久综合| 色五月激情综合网| 亚洲小说欧美激情| A久网| 色六月视频| 亚洲狠狠操| 五月天精品视频| 日本狠狠色| 国产99久久久| 天天色天天操天天射| 中文字幕按摩做爰| 日本黄色在线观看| caopeng超碰| 亚洲看av的网站| 天天爽天天日天天舔| 激情婷婷五月| 另类少妇人与禽zOZZ0性伦| 97caop| 六月丁香开心婷婷欧美| 色婷婷色99国产综合精品| 操操操www.com| 九九九九九九九热| 大香蕉手机视频| 大战熟女丰满人妻AV| 丁香,开心成人,久久| 久久精品天| 在线婷婷| 激情綜合W W W,激情五月天| 亚洲成人免费在线| 啪啪操操| wwwC0maV五月花| 婷婷综合一二三| 深爱开心激情| 光棍影院日韩精品| 婷婷成人丁香色情基地30| 小视频一区| 丁香五月激情综合| www.91av.com| 99热免费网站| 狼人狠狠操| AA片在线观看视频在线播放| 五月天大香蕉| 色色五月天激情| 春色激情第四色| 色欲午夜无码久久久久久张津瑜 | www.九九婷婷| AV美美午夜| 可以免费观看的AV| 超碰人人在线观看| 丁香综合伊人AV| 91九色精品| 性按摩玩人妻HD中文字幕| 色综合中文色综合网| 六月丁香五月激情网| 六月婷婷啪啪| 丁香五月大香蕉AV| 丰满人妻一区三区三区| 日本99热| 丁香六月激情综合| 中文字幕不卡+婷婷五月| 日韩按摩二区| 欧美性生交XXXXX无码小说| 婷婷伊人75| 婷婷成人综合五月| 最近免费中文字幕大全高清大全1 免费看欧美成人A片无码 | 色婷婷超碰| 五月天婷婷色播在线网| 五月激情综合网| www99久久| 五月天综合激情网| 亚洲123区高清入口| 99热在线免费观看精品| 中文字幕日产A片在线看| 91干| 激情九月婷婷| 性一交一乱一交A片久久四色| 色日本五月天| 蜜桃婷婷狠狠久久综合| 天天做天天爱天天爽| 五月婷婷电影院| 影音先锋xfplay资源男人网| 久久九九国产精品怡红院| 人妻激情视频| 九九热大香蕉| 91天天操天天干天天射| 91成人性爱视频| 热久国产| 成人va在线播放| 色色色干| 人人摸人人干| 欧美视频在线观看噜噜| 久操乱| 美女婷婷六月色| 五月天开心网| 五月丁香六月婷婷色| 久久久com| 五月婷六月综合在线观看| 97色婷婷成人综合在线观看| 99re熱| 色香欲综合| 丁香五月性| 久久亚洲婷婷| 深爱网深爱综合网| 黄色短视频在线观看| 五月婷婷五月天亚洲无码| 人人摸人人操人人爱| 亚洲精品性色| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 激情久久月| 亚洲色激情| 99啪视频在线观看| 成人网址在线观看| AV在线大香蕉| 99视频只有精品| 婷婷丁香五月久久| 丁香五月天亚洲综合| 夜夜骑夜夜撸| 啪啪91| 另类视频五月天| 26uuu淫色| 日本狠狠干| 高清无码 一区 二区 三区| 大地资源色婷婷视频在线| 色综合久久天天综合网 | 99ER热精品视频| 激情五月天色婷婷综合| 国产激情在线| 黑人巨粗进入警花疼哭A片| 人人视频色| 五月天丁香看婷婷| 97色色综合| 久Se视频在线观看| 婷婷五月天小说| 婷婷五月色丁香在线看| 丁香婷婷91在线观看视频| 色优久久| 午夜做爱影院| 激情5月舔| 伊人激情AV一区二区三区| 天天日综合网射| 婷婷五月天A V| 狠狠操狠狠| 激情网站五月| 色婷婷最新域名| 久久五月丁香婷婷| 可以免费看AV网站| 激情五月天色婷婷| 丁香五月婷婷网| 五月丁香婷婷综合网| 一本色道久久综合狠狠躁小说| www.久久久久久久| 九色色| 婷婷的色色五月天| 国产无遮挡又黄又爽免费网站| 99热精品在线播放| 丁香婷婷人妻| 182TV大香蕉| 婷婷色婷婷| www.99成人视频| 九九99九九99九九99视频网| 5Www色5夜| 久久九九综合| 日日杆天天| 丁香婷婷六月激情文学| 91操在线观看| av色色国产| 丁香六月五月婷婷| 亚洲激情五月婷婷日日| 99九九在线| 1024AV视频| 五月天婷婷激情小说电影| 人人干Av| 久久aaa| www.色九月| 精品一二三区久久AAA片| 亚洲综合在线播放| 国产五月天欧美色| 99热九九在线| 无码毛片992367| 91碰碰视频| 熟妇高潮一区av| 人人干人人看| 色区久久| 91九色国产| 亚洲AAAA网| 91色久| 99婷婷五月天激情| 91九色在线观看免费| 色婷婷网| 激情五月婷| 色婷婷六月天| 五月婷婷在线免费观看 | 婷婷色av| 婷婷五月色综合| 色五月婷婷激情综合网| 五月天丁香六月综合| 婷婷五月色惰| 色玖玖玖| 色综合丁香婷婷| 东京热人妻一区二区三区在线| 99色色网| 狠狠CAO日日穞夜夜穞AV | 狠色狠色狠色狠色狠色网| 只有精品视频在线观看| 色五月婷婷色| 亚洲无码黄色| 色婷婷AV在线| 亚洲人人操| 超碰免费观看| 一区二区aV电影免费看| 五月天婷婷激情网| 色欲九区| 色琪琪一综合久久激情五月视频| 曰曰久久| 成人在线网| 丁香久久五月婷综合| 国产精品视频网| www.99操| 亚洲av无码精品色午夜| 亚洲一二三网| 31色区视频免费看| 光棍影院日韩精品| 亚洲成人九九九| 丁香五月最新网址| 久久婷婷色情7777网站| 青青热视频| 丁香色五月 97干| 色爱综合网| 婷婷五月综合久久中文字幕| 国产婷婷五月色情综合| 少妇人妻人伦A片| 五月婷婷综合网| 五月婷婷丁香啪啪| 中文激情网| 五月天综合| 国产精品久久久久久久久久久久| 97日本操| 婷婷久久综| 色婷婷综合视频| Xx色综合| 开心五月天激情网站| 婷婷五月天狠狠搞干| 人妻啪啪啪| 婷婷六月丁香欧美视频在线| 99在线精品视频| 丁香色五月天| 久久色大香蕉| 91久久综合| 久久视频婷婷视频| 综合久久五月| 成人在线综合| 五月婷婷香蕉| 国产亚洲精品久久一区二区三区| 99热这里只有精品9| 老师的粉嫩小又紧水又多A片视频| 五月天婷a在线| 狠狠色 综合色区| 97超碰9久热婷婷热| 超碰网站在线观看| 天天爽夜夜爽夜夜爽精| www.五月.com| 五月婷婷六月天| 久久九九激情五月天| 噢美99| 久人操| 99re熱| 天天操夜夜爱| 天天搞天天爽| 婷婷五月天性爱视频| 国产成人亚洲综合亚洲| 久热这里只有精品在线观看 | 激情骚五月| 综合色色婷婷| 五月天色丁香| 免费观看全黄做爰的视频 | 色偷偷狠狠| 色综合中文| 最近中文字幕2019视频1| 天堂在线婷婷| 精品综合久久久久久五月天| 9月色婷婷| 久久精品99国产精品日本| 久久婷婷丁香视频网| 第四色色六月色综合| 丁香婷五月| 激情六月丁香| 黄色短视频在线观看| 亚洲精久久| 深情五月天| 99热精品在线在线| 99干99| 天天色,天天操,天天射| 思思久久精品| 亚洲成人中心| 五月婷天天搞视频| 99热在线观看| 大香蕉九九| 五月婷婷亚洲| 丁香五月综合狠狠| 丁香月五月天婷婷久久| 狠狠色大香蕉| 激情婷婷。| 五月天久久婷婷婷| 9l视频自拍九色9l视频自拍九色9l社区| 黄急一级视频| 在线VA视频| 99精品在线观看视频| 99热8在线| 开心五月天私房婷婷| 激情五月天社区| 久久XX| 久久精品4| 婷婷六月激情| 久久九九经典| 另类综合婷婷五月天欧美视频| 色999;丁香五月| 伊人五月天97| 激情图片五月天| 丁香88AV五月婷婷| 人妻内射麻豆视频| 丁香五月成人| 婷婷丁香五月天综合网| 婷婷色五月激情| 天天操婷婷| 婷婷五月天香蕉| 少妇人妻丰满做爰XXX| 久久女婷| 狠狠做深爱婷婷久久综合一区| 丁香五月婷婷高清| 丁香六月久| 亚洲狠狠爱婷婷| 少妇婷婷五月天| 狠狠操狠狠爱| 五月婷婷少妇之| 五月婷丁香| 婷婷丁香五月综合| 国产67194| 青草青草久热这里只有精品| 丁香婷婷深情五月亚洲| 久久婷婷五月天激情新地址| 99亚洲视频| 婷婷色五月激情强奸四射| 综合网天天| 在线91日韩| 天天爽天天摸| 婷婷五月丁香综合桃花色网| 婷婷六月亚洲综合| 久9无码视频| 超碰a女人的天堂| 9l视频自拍九色9l视频在线观看| 久久9视频欧美| 色婷婷亚洲综合av| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 在线理论片| 亚洲成人色五月婷婷综合| 五月婷婷色五月| 婷婷综合另类小说| 亚洲婷婷性爱| 五月丁香六月婷婷姐| 大香蕉九九操| 六月丁香五月天| 永久的网站AAAA | 五月丁香婷婷激情影院欧美| 狠狠色综合网| 婷婷五月天激情在线观看 | 91在线观看www| 99热这里只有精品99| 色婷久九| 亚洲爆乳无码精品AAA片蜜桃| 六月丁香婷婷天堂| 五月天怕怕| 色婷久久| 色啪综合| 中文字幕成人网站| 人人操AV| 99热免费网站| 99视频综合网| 九九视频在线| 婷婷五月丁香啪啪| 欧美人与性动交CCOO| 激情小说之五月| 1024亚洲| 婷婷五月天网| 99热在线观看精品| 亚洲综合五月天婷婷丁香| 色婷婷色99国产综合精品| 亚洲色欲AAAAAA| 人人操操| 香蕉AV777XXX色综合一区 | 激情五月天婷婷丁香| 开心五月综合激情网| 另类小说色婷婷| 色婷婷五月亚洲| 激情五月综合第一页| 色综合久久久久| 五月天激情子轮| 五月婷婷五月天| 热热色色五月天婷婷| 色色色五月婷| 丁香五月天婷婷久久综合| 无码一级片| 五月丁香综合网| 亚洲爱爱无码婷婷色五月| 丁香六月激情毛片| 国产做爰视频免费播放| 日韩黄色电影| 激情小说之五月| 久久精品9| 综合狠久久| 久久久中文| 人人噜天天上| 婷婷五月激情视频网| 热99精品视频五月| 婷婷五月天开心激情网| 色区久久| 97人妻碰碰碰久久| 超碰操日| 99热综合| 婷婷人人操| 五月婷婷狠狠干| 丁香婷婷黄网站| 丁香久久激情俄| 久久久久人妻| 超碰在线99| 日本五月婷婷| 人人看人人摸人人| 亚洲激情五月婷婷日日| 五月总合激情网| 欧美日韩国产一区二区| 色啦啦视频| 色五月天丁香| 婷婷久月| 开心五月网 | 婷婷之六月丁香| www.狠狠| 国产成人av在线播放| 999九九九久久久99HD| 99ER热精品视频| 国产色色视频| 天天插天天射| 色播五月| 欧美xx激情视频在线观看| 全国最新疫情| 91热er| 精品激情| 欧美日韩999| 色五月偷偷| 四川操逼站| 九九综合九色欧美狠狠| 超91热| 天天插天天爱| 久久这里只有精品99| 天堂综合久| 99热在线只有精品| 99视频| 五月丁香亚洲婷婷| 色亚洲欧洲| SESE无码AV| 直接看的AV网站| 丁香色情五月综合网站| site:ornaments52.com| 99热这里只有精品 搜| 五月丁香成人版| 婷婷天天插天天爱| 五月丁香av在线| 99久久精彩视频。| 婷婷五月天亚洲天堂| 99热国产这里只有| 五月丁香在线国产| 色青五月天| 久久99这里只有精品视频| 亚洲射激情| 插插五月天| 这里只有精品视频在线看| 思思精品久久艹| 99色色网站| 丁香久色| 99在线亚洲| 综合久久99| 第一区久久网站| 色99欧洲色19| 99热这里只有的精品视| 婷婷五月情天| 激情www| 婷婷五月在线播放| 五月丁香五月婷婷| 色色激情五月| 能看的av网站| www.丁香六月婷婷久久天堂影院.con| 亚洲国产黄色电影| 午夜婷婷久久| 少妇丁香婷婷| 五月激情婷婷女| 99爱精品| 超碰狠狠操| 久久精品熟女亚洲AV麻豆| 色99视| 色五月色五天色情网| 亚洲成人色五月婷婷综合| 密桃激情五月天综合网| 成人综合视频在线| 成人精品视频99在线观看免费| 无码成人AAAAA毛片AI换脸| 久久久久久久久久久久久久久久一道本| 在线sebiav精品视频| 色婷婷色九月| 91dy.av| 五月天婷婷在线AN| 99热| 色综合久久88色综合天天99| 毛片色五月| 日韩另类| 性爱技巧五月| 色婷综合| 久99| 九九性视频| 色婷婷小说| 免费在线观看AV网站| 人人97操| 最新激情五月天| 十一月婷婷激情四射| 丁香五月天激情| 激情婷婷黄色五月| 五月六月播婷婷| 色五月丁香五月婷婷五月成人网| www.91色| 丁香狠狠操| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 五月婷婷亚洲| 97高清国语自产拍| 九九九热精品| 色五月丁香伊人五月| 99无码精品| 亚洲 欧洲 国产 伦综合| 99区视频| 99超级碰碰| 色婷插| 欧美天天草人人草| 超碰在线综合| 国内精品免费一区二区2009| 五月婷色| 五月丁香亚洲婷婷| 五月天电影网| wwwss在线观看| 天天干夜夜b| 91操人| 91操屁股| 久狠日av| 综合色在线| 人人玩人人橾| 91精品久久久久| 99伊人婷婷在线| 丁香五月深爱五月婷婷| 色五月综合| 在线观看亚洲视频影院| 天天狠狠夜夜狠狠2023| 久久女伦| 天天综合色综合| 九九五月天| 久久人五月| 亚洲综合色棒| 久99久视频精品| 天天色伊人| 色99视频| 五月色婷婷在线观看| 任你爽免费视频| 婷婷色情五月| A久久| 大香人妻| 久久久久er热| www.1024久久| 色婷婷色五月综合| 久久综合66| 天天摸日日舔狠狠添婷婷婷| 欧美日韩中文国产一区发布| WWW夜夜| 久久五月天婷婷| 啪啪啪大香蕉| 99热这里是精品| 久久XX| 直接看的AV| 色色吧综合| 伊人99热| 99在线观看视频免费| 国产婷婷综合在线免费视频| 97欧美在线| 欧美va在线观看| 中文字幕网站在线观看| 日本天堂免费99| 色色五月婷婷久久| 丁香婷婷九月| 日韩情色在线观看| www.minyis.com【JT】实力收量可预付QQ2101460746 | 日本精品。999| 五月丁香综合| 久久五月天黄色五月天色网址| 国产看真人毛片爱做A片| 538久久| 亚洲亚洲人成综合网络| 久99久热只有精品国产99| 99视频| 热久久这里只有精品20| 激情婷婷激情在线不卡| 激情六月色| 五月天婷婷香蕉狠狠超碰综合| 性天堂久久| 少妇激情基地| 五月丁香激情综合| 伊人丁香花综合影院| 综合欧美五月婷婷| 国产精品久久7777777精品无码| 九九99九九精品视频| 人妻无码精品一区| 国产精典视频在线观看| 久久99网站| 千人斩操逼| 啪啪啪丁香五月| 五月天成人免费视频| 成人片在线播放| 九九色综合| 六月婷婷色五月| 亚洲视频另类| 色五月婷婷色五月婷婷色五月婷婷| ady狠狠入| 91操熟女| 麻豆五月丁香婷婷| 4438激情网| 97人人射| 色婷婷丁香五月在线观看| 激情婷婷五月| 99视频这里有精品| 老司机日日夜夜青草| 五月丁香影院| 婷婷丁香五月天之开心少妇| 激情五月丁香婷婷| 永久思思热在线| 九九爱精品网站| 99激情视频| WWW丁香五月| 影音先锋 萱萱| 六月激情久久| 色色成人網| 久久久五月天婷婷| 人人综合久| 色吧五月婷婷| 久热99狠| 天天肏夜夜肏| 欧美天天性| 九九九九成人| 成人精品视频99在线观看免费| 婷婷激情综合| www,婷婷五月天777me,com| 成人精品人妻| 18av天堂| 99热| 成人丁香五月天| 色七色九九| 成人中文字幕在线| 99热最新国内| 欧美精品18| 九九在线精点品| 婷婷五月激情丁香激情| 大香蕉婷婷丁香视频在线| 亚洲九九99精品视频在线播放| 五月丁香五月综合欧美| 婷婷五月天视频在线观看| 九伊人网| 日韩在线观看网址| 人人摸人人摸| 啪色综合| 丁香五月婷中字幕| 婷婷五月天亚洲激情戏精品| aaa丁香五月天| 丁香婷婷色情| 99热亚州综合| 亚洲激情四射色| 久热久| 九九色婷婷| 99免费热视频在线| 五月婷婷婷自由综合| 五月色婷婷在线观看| 91婷色| 91性人人| 欧美激情-区二区三区| 色九九综合| 激情综合五月| AV网站免费在线| 人人干av| 婷婷五月天激情视频| 玖玖色资源站| 精品无码av丁香五月激情| 欧美精品999| 成人丁香色| 丁香五月婷婷Av| 久久99免费视屏| 欧美色男人网站| 99热这里有精品| 亚洲天天| 热99这就是精品视频| 欧美性猛交99久久久99| 色色色综合| 五月开心网| 中文久久婷婷| 久久免费操| 久久玖玖综合| 操九色| 婷婷综合精品| 色玖玖爱| 9久热| 大香蕉久艹| 天天久久狠狠色综合| 久热一本| 丁香五月播播| 久99热| 精品亚洲国产成AV人片传媒| 成人综合网站| 婷婷色影音天| 爱iii做iiii日日| av五月丁香| 超碰免费人人肏| 美女被肏网站在线看| 丁香婷婷久久综合在线| 日欧一片内射VA在线影院| 中文字幕精品无码一区二区| 激情网五月天| 青草青草视频2免费观看| 色婷婷激情| 亚洲视频在线观看| 草草色情综合网| 久久久9久| 98永久精品| 99re久热只有精品6在线直播.com| 五月丁香激情怕怕| 综合亚洲六月婷婷在线| 色国产五月| 色高清无码视频| 婷婷色五月综合| 五月婷婷综合在线| 日本色天堂| 99九九视频精彩在线| 四色永久成人网站| 婷婷97狠狠成人网站| 欧美色激情四射| 69精品人人人人人人| 在线色色| 女人露出p毛视频www网站| 97婷婷丁香五月天激情图片| 激情丰满熟妇五月| 九九这里都是精品| 丁香五月天综合| 久热九九| www,黄色在线,con| 伊人久久婷婷五月综合97色| 色婷婷瘦婷婷日韩| site:hcxsz888.com| 天堂婷婷丁香六月网| 五月丁综合在线观看| www.99成人视频| 色色色网站| 婷婷大香蕉| 色欲五月丁香| 久久五月婷婷视频| 五月欧美色播| 可以看的AV网站| 久久久久久久合一狠狠做深爱| www.五月天婷婷| 26uuu| 五月婷婷综合色啪首页| 中文在线成人| 婷婷丁香水多多视频| 噜噜噜噜噜色| 丁香色五月 97干| 亚洲无码 图片区| 碰人人操| 一级性感黄色内射视频| 99热精品9| 色一情一乱一乱一区91| 五月丁香啪| 欧美操逼天堂| 婷婷瑟五月天久久综合| 欧美性猛交99久久久99| 欧美怡红院黄站| 久久久WWW| 丁香六月婷婷久久高清| 91久久1118| 天天爽夜夜爽天天爽夜夜爽| 久9热在线视频| 色婷婷成人做爰A片免费看网站| 91av视频在线观看最新网址| 色色色视频免费无码| www.五月天婷婷| 97caop| 丁香五月综合| 开心网五月色婷婷| www.色五月| 91视频综合网| 超碰99在线观看| 99re鈥哸鈥唙| AA片在线观看视频在线播放 | 激情又色又爽又黄的A片| 色色色色色日韩午夜激情 | 秋霞学生妹一二级| 色色丁香五月天| 日本va欧美va国产激情| 嫩草AV久久伊人妇女超级A| 色吧五月婷婷| 狠狠草天天草| 9l视频自拍9l九色成人| 99热99| 精品九九在线观看| 先锋资源婷婷| 婷婷综合九色伊人| 免费AAAAA网| 超碰在线观看9| 五月婷婷综合在线视频| 亚洲AAA| 久久ww| 99热e| 99热这里是精品| 婷婷五月天国产性感美女演员久久久久| 九九热a| 26uuu成人网| 色综合9| 婷婷五月天影视| 伊人激情| 色VA| 九九热婷婷| 久久免费试看120秒| 夜夜操,天天撸| 风流少妇A片一区二区蜜桃| 热99精品视频五月| 色婷婷69| 丁香五月婷婷婷桃花影院| 天堂AV在线看| av在线免费播放观看| 婷婷五月婷婷五月| 色天堂婷婷| 久久 这里只有精品1| 熟女少妇内射日韩亚洲| 六月丁香婷婷色狠狠久久| 色色操| 色五月激情视频在线综合| 成人在线视频一区| 99热在线资源| 天天爽天天操| YW无码| 人人草开心五月天| 婷婷激情五月视频| 五月丁香基地| 4399在线观看免费高清毛片| 狠狠色婷婷六月激情网| 可以免费观看的AV| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 日韩AAAAA| 青青草五月天| 亚洲色情在线| 亚洲第一av| 99热综合色图| 97色色婷婷五月天| 爱射综合| 国产激情综合五月| 国产精品人人做人人爽人人添| 久久精彩综合视频| 免费视频无码| 五月www| www.wuyuetian啪啪| 久久99性爱视频| 黄色短视频在线观看| 婷婷激情五月综合| 久久婷婷东京热| 五月丁香六月玩女人| 天天操天天插天天射| 色色色色色色网| 国产AV不卡福利| 99自拍视频在线| 五月激情综合网| 欧美成人精品三区综合A片| 丁香五月久久| 激情内射人妻1区2区3区| 久久丁香久久| 免费看成人747474九号视频在线观看| 99精品久久久久久久婷婷| 亚洲无aV在线中文字幕| 综合色五月| AV国产有码| 男人的天堂在线婷婷| 99热1| 日韩成人网址| 色狠狠色噜噜AV天堂五区| VA国产在线综合网站| 丁香8月手机综合| 夜夜撸日日骑| 国产精品国产| 色色99| 五月激情婷婷六月| 五月天激情日色在线| 久久Xx| 婷婷五月丁香综合激情小说| 中国无码av| 99re视频精品| 色蜜婷婷| 亚洲九九夜夜| 五月丁香久久综合| 午夜福利成人AV91| 久久xxxx| 中文国产五月天| 久久182| 91人妻PORNY九色大屁股| 天天日天天干天天天| 99亚洲精品视频在线观看| 665566 无码| 丁香五月婷婷啪啪啪| 激情综合网,婷婷五月天| 久久婷婷丁香五月宗合| 婷婷五月天网| 色色色.COM| 婷婷五月丁香综合亚洲 | 久热A片| 五月天色色色| 激情五月五月五月婷婷| 人橾人| 色五月综合激情网| 激情五月综合| 婷婷五月色亚洲| 天搞天天天天天| 九九美女视频| 极品人妻VIDEOSSS人妻| 97色在线视频| 久久色五月天综合网| 色婷婷狠| 在线亚洲综合网| 五月天激情网站| 射区导航| 骚货艹网站视频| ri电影在线| 五月丁香婷草| 国产伦亲子伦亲子视频观看| 色婷婷久久综合| 五月天婷婷影院影院观看| 国产日批视频| 婷婷综合干| 日本精品人妻无码77777| 91九色视频| 五月天综合久久| 天天操天天谢| 六月99天天婷婷激情综合| 九色 在线| 色播色丁香五月| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 五月色综合网| 五月花综合网| 欧美久久婷婷| 97色色综合| 二区成人视频| 操碰色一区就去操| 狠狠干综合| se99视频| 婷婷天堂综合| 久久综合婷婷五月| 亚洲色 视频| 激情五月婷婷啪啪| 亚洲成人色五月婷婷综合| 91狠狠色丁香婷婷综合久久| 伊人网碰碰| 日本va欧美va欧美精品88| 天天干肏夜夜| 婷婷五月天少妇| 亚洲色色图片| 婷婷色播色五月五色五月天色妇| 性生活视频98791| 五月深情久久| 夜色.cnm| 五月丁香亚州综合网| 性色九九| www.第四色99| 免费看欧美成人A片无码| 九九热免费视频| 91久热| 九月丁香婷婷| 涩五月婷婷| 狠狠操狠狠| 六月婷婷色综合| 亚洲色综合| 99热最新网址| 国产精品色色| www.91色| 色噜噜狠狠色综无码久久合欧美| 日韩欧美颜射| 色玖玖| 九九热在线观看视频| 91Chinese在线| 欧美日韩成人| 无码91中文字幕| 99在线视频观看| 疯狂做受XXXX高潮A片| 欧美性猛交99久久久久99按摩| 美国少妇性做爰| 性爱激情五月| 久久婷婷五月综合色丁香花| 国产色色小草视频| 色婷婷瘦婷婷日韩| 免费AV在线网址| 99爱99操| 亚洲国产精品成人免费一区久久久在线观看AAAA | 无码激情AAAAA片-区区| 无码人妻AV久久久一区二区三区 | 亚洲99视频| 九九久久99| 亚洲激情精品| 性色综合网| 热99久| 青青草原中文字幕| 久久久久婷婷五月热综合| 六月色国内综合| 色五月婷婷色五月婷婷色五月婷婷| 激情五月婷婷色| 国产婷婷综合| 91九色视频| 一二线视频 另类| 另类图片五月天激情| 99玖玖在线视频| 无码四色色色| 婷婷色色播五月天| 玖玖热视频| 五月婷婷丁香| 人人肏逼视频在线一区二区| 99热最新国内| 国产美女主播vip| 啊V视频在线观看| 人人看人人草人人摸| 这里只有精彩视频| 丁香五月色| 极品嫩草| 婷婷色丁香五月| 国产26uuu视频| 久久久精久人妻| 狼人婷婷综合| 日本va欧美va欧美| 99r久久这里只有精品| 丁香五月天欧美在线| 天天干夜夜b| 99热在线看| 五月丁香综合激情| 丁香五月瑟瑟| 狠狠综合久久| 六月丁香激情综合| 99久.| 激情五月婷婷色综合| 日本不卡中文字幕| 激情伊人五月婷婷久久| 婷婷色五天| 99视频| 久久久久久久久久91| av在线超清中文| 色天堂在线| 亚州美女| 91九色中文字幕女在线观看| 婷婷五月永远18免费久久久| 五月丁香婷婷三级| 99热精品中文字幕| 日本玖玖在线| 婷婷五月天激情四射五月天激情| 色色哒五月婷婷六月丁香| 天天插天天插天天插天天插| 色五月综合激情网| 九九家庭影院| 玖玖婷婷色五月| 99碰碰碰| 亚洲婷婷月丁香五月| 人人干99| 超碰cap| 丁香花色色网| 99无吗| 丁香六月婷婷综合| 97ai婷婷| 国产精品色色色色| 九九黄色网| 日本三日本三级少妇三级66| 五月激情综合五月| 丁香 久久| 婷婷五月天渟渟| 综合网色| 五月丁香六月激情| 国产午夜成人免费看片无遮挡| 久久久久久综合88| 人妻久久久久久久久久| 日本乱子人伦在线视频| 爱久综合| 天天日夜夜帕| 国产精产国品一二三在观看| 非洲一级AV| 国产精品色婷婷AV综合色色| 激情丁香五月婷婷| 久热九九| 香蕉视频91| 99精品网址| 婷婷亚洲五月色综合| 可以看的av| AAA久久| 五月天激情四射网站| 婷婷丁香黄色| SS丁香五月婷婷| 婷婷丁香五| 激情婷婷丁香五月天| 久久精彩视频18| 五月丁香婷婷久久| 深爱激情综合| 成人在线精品| 91丁香五月| 婷婷久久影院| 天天插天天插天天插天天插| 操日本99| 伊人狠狠干| 99人妻碰碰久久久禁片| 狠狠五月天婷婷| 色综合久| 人妻自慰在线| 日日天天干| 午夜大香蕉| 婷婷97| 综合久久99| 日韩啊啊啊| 四色综合网| 这里只有精品视频在线| 噜噜噜狠狠色综合| 色五月婷婷丁香五月| a在线观看| 99热精品在线观看| 啪啪91| 99热精品无码| 麻豆科斗777| 成人精品一区日本无码网| 狠狠久久婷五月综合色| 天天看A片| 99久久婷婷国产综合| 五月婷在线观看| 五月久久五月激情| 婷婷综合激情| 五月天婷婷色播| 97综合视频在线| 午夜做爱影院| www999日韩精品| 亚洲成人无码网站| 99九九热在线观看| 婷婷五月天小说网| 日韩无码一区二区三区四区| 五月婷婷五月天| 精品99网站| 国产97在线日韩亚洲女人被黑人巨大| 丁香五月网在线观看| 日本在线观看aaa 99| 亚洲中文乱字字幕在线永久| 五月婷婷丁香啪啪| 国产成人+综合亚洲+天堂| 操比激情五月综合| 99性视频| 精品网站99| 六月婷婷色色网| 激情五月天影院| 成人av播放| AA片在线观看视频在线播放| 激情五月综亚网| 99视频在线9| 日本天天色| 色情五月丁香| 免费视频WWW在线观看网站| 五月天激情子轮| 伊人综合色干| 人人摸人人| 五月婷婷网站| 91日视频| 91狠狠综合久久久| 天天噜天天爱| 日韩欧美性爱| 超碰av在线| 思思久久96热在精品国产,| 久久综合伊人77777蜜臀| 99成人|