欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

Hadoop企業(yè)級實戰(zhàn):集群搭建、HA與Zookeeper整合排障指南

Hadoop企業(yè)級實戰(zhàn):集群搭建、HA與Zookeeper整合排障指南 我?guī)н^不少新人也幫人排查過不少集群問題。有個現(xiàn)象特別普遍很多人把Hadoop偽分布式搭起來、跑通一個WordCount就覺得Hadoop這關(guān)過了。但真到了企業(yè)級項目里面對一個多節(jié)點集群、跟Zookeeper等生態(tài)組件深度整合之后問題根本不是“跑通”兩個字能覆蓋的。格式化失敗、DataNode注冊不上、NameNode莫名其妙掛掉、HA自動切換不生效隨便一個故障都能讓人卡住一整天。這篇東西寫給那些已經(jīng)跨過入門、正準備往進階走的人。不管你是要準備Hadoop面試還是公司里要上一套真正能扛業(yè)務的集群又或者只是被“ambari部署hadoop集群”“hadoop啟動格式化失敗”這種問題折磨到懷疑人生下面的內(nèi)容都應該能幫上忙。我會按企業(yè)級落地時最容易出問題的那幾條線來講部署路線怎么選、HA怎么跟Zookeeper整合、格式化與啟動階段有哪些坑、日常故障怎么一步步查以及最后怎么用一套“故障演練”的方式把知識變成自己的。1. 能跑通Demo和能扛住生產(chǎn)中間隔著什么1.1 偽分布式容易給人“我已經(jīng)會Hadoop”的錯覺很多教程喜歡讓人從偽分布式開始這沒問題但它帶來的最大副作用是偽分布式跑得太順了順到讓人誤以為Hadoop就是“改幾個配置文件啟動幾個進程”的事兒。偽分布式本質(zhì)上是在一臺機器上用多個Java進程模擬分布式。它沒有真實的網(wǎng)絡IO沒有跨節(jié)點通信沒有機架感知也沒有資源競爭。你在偽分布式里看到的日志永遠干干凈凈你在偽分布式里執(zhí)行的格式化永遠一次成功。但所有這些“順利”都是假象恰恰是進階路上最危險的起點。到了真實集群環(huán)境你面對的是完全不同的復雜度網(wǎng)絡成為第一道坎。節(jié)點之間要互相解析主機名防火墻要放行一堆端口機架感知策略會影響副本存放。偽分布式里從來沒有這個概念。資源是有限的。NameNode的內(nèi)存決定了能支撐多少文件元數(shù)據(jù)DataNode的磁盤決定了能存多少數(shù)據(jù)塊YARN的調(diào)度器決定了任務能不能擠進去。偽分布式不關(guān)心這些因為所有東西都在一臺機器上。故障是常態(tài)。一個節(jié)點掉線、一塊磁盤寫滿、一次Full GC導致心跳超時都可能導致整個集群進入降級狀態(tài)。偽分布式里的進程掛了你馬上知道生產(chǎn)環(huán)境里一個節(jié)點無響應你可能要翻半天日志。我見過太多人面試時把HDFS架構(gòu)背得滾瓜爛熟真到了集群上連“DataNode為什么起不來”都無從下手。原因很簡單他們學的是“結(jié)構(gòu)”不是“行為”。企業(yè)級項目實戰(zhàn)要補的恰恰是后一半。1.2 企業(yè)級項目的重心其實在Hadoop之外還有一個更隱蔽的認知偏差很多人以為企業(yè)級項目 把Hadoop集群搭得更大、更快。真不是這樣。企業(yè)級項目的難點一大半在Hadoop之外在生態(tài)整合與運維體系建設上。Hadoop只是一個底座底座之上掛著一堆組件Zookeeper管協(xié)調(diào)、YARN管調(diào)度、Hive管數(shù)倉、HBase管在線查詢、Kafka管數(shù)據(jù)接入。這些組件單獨看都不難難的是它們咬合在一起之后出了問題你很難判斷是哪一環(huán)掉了鏈子。舉個例子一個Hive查詢突然變慢可能的根因包括HDFS某個DataNode磁盤IO異常導致讀取走了慢路徑Y(jié)ARN隊列資源被別的任務占滿你的任務一直在排隊Zookeeper會話超時導致HBase RegionServer在做無謂的自我恢復甚至是NameNode在做checkpoint時搶占了大量IO間接拖慢了整個HDFS。這種問題只懂Hadoop本身是搞不定的。你必須對整個生態(tài)的運行機制有清晰的認知知道哪個組件的數(shù)據(jù)流向哪里、它依賴誰、掛了會有什么表現(xiàn)。這才是“生態(tài)深度整合”這四個字的真正含義也是這篇文章試圖幫你建立的主干思維。2. 集群搭建的三條路線手動、Ambari、容器化怎么選2.1 手動搭建值得走一遍但別在生產(chǎn)環(huán)境硬扛我始終建議每個進階者手動搭一遍Hadoop集群哪怕只是三個節(jié)點。原因很簡單手動搭建能逼著你把每個配置項的含義弄清楚而不是讓工具替你把這些細節(jié)全部藏起來。但手動搭建只適合學習不適合當生產(chǎn)環(huán)境的長期運維方案。你手動搭起來的集群沒有統(tǒng)一的配置管理沒有完善的可視化監(jiān)控沒有組件間的健康檢查。一旦規(guī)模超過十個節(jié)點手動運維會變成一場災難。版本選型是手動搭建的第一步。我這里不想把Apache、CDH、HDP的版本歷史鋪開講就講現(xiàn)狀Cloudera和Hortonworks合并之后CDH成了商業(yè)產(chǎn)品HDP的開源脈絡則由Cloudera的開源發(fā)行版延續(xù)但整體都偏向商用訂閱如果你想要純開源、不涉及商業(yè)授權(quán)煩惱的路線Apache Hadoop社區(qū)版是唯一穩(wěn)妥的選擇。版本號上Hadoop 3.x已經(jīng)是絕對主流3.1.x和3.3.x用得最多。3.3.x修復了不少3.1.x遺留的問題新項目建議直接上3.3.x。手動搭建時有幾個配置項是無論如何都要搞懂的配置文件關(guān)鍵配置項它的作用core-site.xmlfs.defaultFS指定NameNode的RPC地址客戶端和DataNode全靠它找到“老大”hdfs-site.xmldfs.replication數(shù)據(jù)塊副本數(shù)決定了容錯能力與存儲成本的平衡hdfs-site.xmldfs.namenode.name.dirNameNode元數(shù)據(jù)存儲路徑必須放在獨立磁盤上不能跟系統(tǒng)盤混用yarn-site.xmlyarn.nodemanager.resource.memory-mb單個NodeManager可用的物理內(nèi)存上限直接決定容器能開多大mapred-site.xmlmapreduce.framework.name必須設為yarn否則MapReduce任務不會走YARN調(diào)度另外環(huán)境準備這一步千萬別跳所有節(jié)點之間要配置SSH免密登錄系統(tǒng)時間必須用NTP同步差一分鐘都可能引發(fā)Kerberos認證失敗或心跳異常JDK版本必須完全一致最好連JDK的安裝在哪個路徑都保持一致。這一步能給你省掉后面80%的玄學故障。2.2 Ambari部署中大規(guī)模集群的運維入口如果公司要搭一套十幾個節(jié)點以上的集群我建議別掙扎了直接上Ambari這類工具。Ambari的價值不在于“一鍵安裝”——真正裝過的人都知道它也不是完全一鍵。它的核心價值是集中化配置管理所有組件的核心配置項都在Web界面上改改完能統(tǒng)一分發(fā)到所有節(jié)點還能選擇是否滾動重啟服務健康檢查每個組件的存活狀態(tài)、告警規(guī)則、指標趨勢都集中展示省去了逐臺機器翻日志的苦力活擴縮容友好新增一個DataNode節(jié)點界面上填上主機名和SSH憑據(jù)就行了。但Ambari也有幾個典型的坑我踩過身邊的人也踩過Ambari Server自身的內(nèi)存占用比預想的高。默認的2GB堆內(nèi)存在組件多的時候會有明顯壓力我的建議是至少給Ambari Server分配4GB以上。如果你把Ambari和NameNode放在同一臺機器上更要提前調(diào)好內(nèi)存分配。Agent注冊失敗是高頻問題。Ambari Agent向Server注冊時要求兩邊主機名能互相解析。很多人只配了/etc/hosts但沒配好防火墻導致Agent注冊超時。處理方式很粗暴也很有效先確認hostname一致再確認防火墻放行8080和8440/8441端口最后重啟Agent看日志。藍屏問題。這里的“藍屏”是Ambari界面上組件狀態(tài)變藍表示“未安裝”。最常見的原因是你手動在某個節(jié)點上裝了組件之后用Ambari管理時狀態(tài)就錯亂了。記住一條鐵律Ambari管理的集群所有操作都通過Ambari做永遠不要手動去改它管理范圍內(nèi)的配置文件和啟動腳本。2.3 Docker鏡像搭建學習驗證的最優(yōu)解生產(chǎn)的禁區(qū)Docker跑Hadoop這幾年越來越流行因為對學習來說它實在太方便了。不需要準備一堆虛擬機一條命令就能拉起一套集群跑完就刪干凈利落。我自己用Docker方式做過完整的三節(jié)點Hadoop集群體驗是用來驗證配置修改、測試作業(yè)邏輯、準備面試場景效率無敵。但要注意幾個關(guān)鍵細節(jié)網(wǎng)絡模式用host或自定義bridge不要用默認bridge。默認bridge的網(wǎng)絡隔離會讓容器間主機名解析變得很麻煩自定義網(wǎng)絡加上固定的容器名才能模擬出真實集群的主機解析關(guān)系。數(shù)據(jù)目錄務必用volume掛出來。否則容器一刪你辛苦搭的環(huán)境數(shù)據(jù)全沒了下次還得從頭再來。鏡像的Java版本要和Hadoop版本匹配。很多第三方鏡像用的OpenJDK 8對Hadoop 3.3.x也沒問題但如果你拉了一個很老的鏡像配了很新的Hadoop格式化階段就可能報出詭異的NativeIO錯誤。容器化跑Hadoop唯一的限制是它模擬不了真實的資源競爭和網(wǎng)絡故障場景。Docker容器之間雖然是隔離的但底層還是共享同一套內(nèi)核和物理資源。這意味著你用它學“功能”沒問題學“性能調(diào)優(yōu)”和“故障演練”則遠遠不夠。所以我的結(jié)論是容器化是學習環(huán)境的最優(yōu)解盡早上手生產(chǎn)環(huán)境則除非是短期測試環(huán)境否則別碰。順帶提一句Windows開發(fā)環(huán)境的搭建?,F(xiàn)在很多新手想在自己Windows機器上折騰Hadoop也就是熱搜里那個“windows下載hadoop”的需求我的建議是在Windows上直接裝Hadoop很痛苦不只是下載解壓的問題還有一堆原生庫依賴、路徑分隔符、權(quán)限模型的問題等著你。最省力的做法是裝個WSL2或直接上Docker Desktop在Linux內(nèi)核環(huán)境里跑Hadoop體驗和真實集群幾乎一致。“hadoop開發(fā)環(huán)境搭建頭歌”這類實訓平臺我也見過適合當入門練習但如果你想深入理解原理還是要自己搭一套干凈的環(huán)境不要依賴平臺幫你隱藏細節(jié)。3. Hadoop與Zookeeper整合實戰(zhàn)HA集群的心臟3.1 為什么HA不能沒有Zookeeper先回答一個面試必問、也是實際運維中必須理解透徹的問題為什么NameNode的高可用一定要靠ZookeeperNameNode是HDFS的核心它保存了整個文件系統(tǒng)的元數(shù)據(jù)。一旦它掛了整個HDFS都不可用。早期Hadoop的痛點是單點故障NameNode一掛集群就癱瘓只能靠人工恢復。那有人會問用Keepalived這類方案給NameNode掛一個虛擬IP主節(jié)點掛了把IP漂移到備節(jié)點不就行了嗎問題在于HDFS的高可用不只是“IP漂移”這么簡單。NameNode的元數(shù)據(jù)分兩部分內(nèi)存中的鏡像fsimage和磁盤上的編輯日志edits。主備兩個NameNode要保證元數(shù)據(jù)完全一致必須持續(xù)同步編輯日志。如果主節(jié)點已經(jīng)寫了一條edits日志但還沒來得及同步給備節(jié)點就掛了備節(jié)點接管的元數(shù)據(jù)就不完整會造成數(shù)據(jù)丟失或元數(shù)據(jù)錯亂。所以真正的HA方案要解決兩件事元數(shù)據(jù)的實時同步——主NameNode把edits日志實時寫入一個共享存儲備NameNode持續(xù)讀取并應用這些日志保證內(nèi)存里的元數(shù)據(jù)基本一致。Hadoop采用的是JournalNode集群本質(zhì)上是把edits日志分散寫到多臺JournalNode上只要半數(shù)以上節(jié)點存活元數(shù)據(jù)就不丟。故障自動切換——怎么讓集群里所有節(jié)點認同“原來那個Active NameNode已經(jīng)死了現(xiàn)在應該由Standby接替”這個決策必須由所有參與者一致認可否則就可能出現(xiàn)兩個NameNode同時認為自己是Active的情況這就是腦裂。這兩個問題Zookeeper都能解決或者說只有Zookeeper這類強一致協(xié)調(diào)組件能優(yōu)雅地解決。ZK在HDFS HA里有三重角色選主仲裁兩個NameNode啟動時向ZK注冊臨時節(jié)點誰搶到鎖誰就是ActiveZK保證只有一個贏家狀態(tài)存儲ZK保存當前Active節(jié)點的標識以及集群的命名空間信息分布式鎖與腦裂防護Active節(jié)點必須持續(xù)持有ZK上的一個分布式鎖一旦鎖丟了就得立即釋放所有資源并退位防止雙Active同時寫edits日志造成數(shù)據(jù)損壞。理解了這一層你就明白了為什么“hadoop和zookeeper整合實戰(zhàn)”不是單純的“裝兩個軟件然后配置上”而是一套完整的分布式一致性協(xié)作機制。3.2 HA整合配置的落地步驟實戰(zhàn)部分我用兩個NameNode、三臺JournalNode的典型HA拓撲來講。先規(guī)劃角色節(jié)點運行組件node1NameNode, ZKFC, JournalNode, Zookeeper, DataNodenode2NameNode, ZKFC, JournalNode, Zookeeper, DataNodenode3JournalNode, Zookeeper, DataNode第一步確認Zookeeper集群本身正常。每個Zookeeper節(jié)點上配置myid文件內(nèi)容分別是1、2、3然后在zoo.cfg里配置三個節(jié)點的地址和端口。啟動后執(zhí)行zkServer.sh status看到其中一個顯示leader、其他兩個顯示follower說明ZK集群健康。第二步配置core-site.xml。關(guān)鍵項是fs.defaultFS它必須指向一個邏輯名稱而不是某個具體節(jié)點configuration property namefs.defaultFS/name valuehdfs://mycluster/value /property property nameha.zookeeper.quorum/name valuenode1:2181,node2:2181,node3:2181/value /property /configuration這里的mycluster是一個邏輯名稱兩臺NameNode的地址會在下一步的hdfs-site.xml里映射到這個名稱上。第三步配置hdfs-site.xml。這是整合的絕對重點configuration !-- 啟用HA -- property namedfs.nameservices/name valuemycluster/value /property !-- 兩個NameNode的邏輯ID -- property namedfs.ha.namenodes.mycluster/name valuenn1,nn2/value /property !-- 兩個NameNode的RPC地址 -- property namedfs.namenode.rpc-address.mycluster.nn1/name valuenode1:8020/value /property property namedfs.namenode.rpc-address.mycluster.nn2/name valuenode2:8020/value /property !-- 兩個NameNode的HTTP地址 -- property namedfs.namenode.http-address.mycluster.nn1/name valuenode1:9870/value /property property namedfs.namenode.http-address.mycluster.nn2/name valuenode2:9870/value /property !-- JournalNode地址列表 -- property namedfs.namenode.shared.edits.dir/name valueqjournal://node1:8485;node2:8485;node3:8485/mycluster/value /property !-- 故障自動切換實現(xiàn)類 -- property namedfs.client.failover.proxy.provider.mycluster/name valueorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider/value /property !-- ZKFC參數(shù) -- property namedfs.ha.automatic-failover.enabled/name valuetrue/value /property property nameha.zookeeper.quorum/name valuenode1:2181,node2:2181,node3:2181/value /property /configuration這段配置的核心是qjournal地址。它是HA元數(shù)據(jù)同步的通道。所有edits日志都會同步寫入三臺JournalNode只要有兩臺成功落盤事務就算成功了。這就是為什么JournalNode必須奇數(shù)臺且至少三臺的原因——過半寫成功才能保證一致性和可用性。第四步啟動順序與格式化。這里有個非常關(guān)鍵的細節(jié)很多人栽在這里。HA集群的格式化順序必須是先啟動所有Zookeeper節(jié)點在其中一臺NameNode上執(zhí)行hdfs zkfc -formatZK在ZK中初始化HA狀態(tài)在一臺NameNode上執(zhí)行hdfs namenode -format生成初始元數(shù)據(jù)啟動這臺NameNode讓它成為Active在另一臺NameNode上執(zhí)行hdfs namenode -bootstrapStandby從Active同步元數(shù)據(jù)啟動所有JournalNode和DataNode最后啟動Standby的ZKFC進程。順序錯了會怎樣如果ZK還沒就緒就去格式化NameNode格式化雖然可能成功但ZKFC注冊時會報錯如果沒有先formatZK就直接啟動ZKFCZK里沒有對應的HA狀態(tài)鎖自動切換配置不會生效。這些都是我實際排障時見過的高頻問題。第五步驗證failover是否真的生效。這一步極重要因為“配置了HA”和“HA真的能切換”是兩回事。驗證方法如下# 查看當前Active節(jié)點 hdfs haadmin -getAllServiceState # 手動觸發(fā)一次故障轉(zhuǎn)移 hdfs haadmin -failover nn1 nn2 # 再次查看狀態(tài)應該看到nn2變成active hdfs haadmin -getAllServiceState更狠的驗證是直接kill掉Active NameNode進程觀察ZKFC是否在幾秒內(nèi)自動把Standby提升為Active。我在實際項目里都會做一次這個演練因為它能暴露很多配置層面的隱蔽問題。比如fencing機制沒生效時原來那個“假死”的NameNode可能會在網(wǎng)絡恢復后繼續(xù)請求寫edits日志導致數(shù)據(jù)不一致。生產(chǎn)環(huán)境里這種演練很危險必須在維護窗口期做。3.3 整合中最容易翻車的細節(jié)第一個坑ZKFC進程不是NameNode。我發(fā)現(xiàn)很多人SSH到節(jié)點上看HA狀態(tài)時只關(guān)注NameNode進程是否存活忽略了ZKFC。但自動切換的決策者是ZKFC不是NameNode本身。如果ZKFC掛了即使NameNode活著故障自動切換也不會生效。所以監(jiān)控里一定要把ZKFC進程納進來。第二個坑quorum過半機制導致ZK集群自身可用性成為瓶頸。三臺ZK允許掛一臺兩臺掛掉整個ZK就不可用了。而ZK一旦不可用HDFS雖然還能繼續(xù)讀寫因為edits日志寫的是JournalNode不是ZK但故障自動切換會完全失效。這是個很讓人迷惑的現(xiàn)象集群跑著跑著突然發(fā)現(xiàn)永遠無法切換了查了一圈才發(fā)現(xiàn)是ZK集群只剩一臺活著的節(jié)點。第三個坑數(shù)據(jù)目錄權(quán)限問題。JournalNode的數(shù)據(jù)目錄dfs.journalnode.edits.dir和NameNode元數(shù)據(jù)目錄dfs.namenode.name.dir如果權(quán)限不是啟動用戶格式化階段就會直接失敗。這在“數(shù)據(jù)目錄掛載了新磁盤”的場景特別常見——新磁盤掛載點是root用戶格式化時用hdfs用戶去寫直接Permission denied。4. 格式化、啟動與元數(shù)據(jù)第一個大坑在這里4.1 namenode -format到底做了什么“Hadoop啟動格式化失敗”能上熱搜說明遇到這個坑的人不是少數(shù)。要理解格式化為什么會失敗得先知道它做了什么。hdfs namenode -format做的事情本質(zhì)上是對NameNode的元數(shù)據(jù)目錄做初始化創(chuàng)建目錄結(jié)構(gòu)在dfs.namenode.name.dir配置的路徑下創(chuàng)建current目錄、edits目錄等生成VERSION文件里面記錄了namespaceID、clusterID、blockPoolID等標識生成初始的fsimage空集群的元數(shù)據(jù)快照。這些標識太重要了。clusterID標識的是整個HDFS集群namespaceID標識的是命名空間blockPoolID標識的是數(shù)據(jù)塊池。DataNode注冊到NameNode時會帶上自己理解的clusterID。如果DataNode磁盤上保存的clusterID跟NameNode當前的不一致DataNode就會被拒絕注冊?!案袷交 钡母哳l原因總結(jié)起來就這幾類我給新手排障會照著這個表查失敗現(xiàn)象根因解決方式Permission denied元數(shù)據(jù)目錄屬主不對chown到啟動用戶Directory is not empty之前格式化過殘留舊元數(shù)據(jù)確認無價值后清空目錄或指定新目錄啟動進程秒退堆內(nèi)存參數(shù)不合理檢查HADOOP_HEAPSIZE / HADOOP_NAMENODE_OPTSjava.io.IOException: Cannot create directory父目錄不存在手動創(chuàng)建目錄并賦權(quán)格式化和上電后DataNode找不到集群clusterID不一致要么備份后統(tǒng)一清空DataNode數(shù)據(jù)目錄要么手動同步clusterID補充一個很容易忽略的細節(jié)格式化過程會輸出一行Storage directory ... has been successfully formatted但這只是針對這臺NameNode的存儲目錄格式化了。在HA場景下你只格式化了一臺NameNode的元數(shù)據(jù)存儲另一臺必須通過-bootstrapStandby來同步不能直接在第二臺上再執(zhí)行一次-format。如果你在第二臺NameNode上重新格式化了兩臺NameNode會生成不同的clusterID整個集群的DataNode都會因為clusterID對不上而拒絕注冊。這是我在生產(chǎn)環(huán)境見過最慘烈的一次事故大家務必引以為戒。4.2 啟動失敗的三類場景與完整排查鏈路啟動階段是故障高發(fā)區(qū)。下面這三類場景是我在幫人排查時遇到最多的。場景ADataNode起不來日志反復報“Incompatible clusterIDs”。DataNode啟動時會比對本地存儲的clusterID和NameNode廣播的clusterID。為什么會不一致因為你格式化過NameNode多次每次格式化都會生成新的clusterID而DataNode的數(shù)據(jù)目錄里還保留著上一次的clusterID。排查鏈路# 1. 看DataNode日志 tail -100 /opt/hadoop/logs/hadoop-hdfs-datanode-node.log # 日志里會出現(xiàn)類似 # Incompatible clusterIDs in /data/hdfs/datanode: # namenode clusterID CID-xxx # datanode clusterID CID-yyy # 2. 確認兩個clusterID確實不一致 cat /opt/hadoop/logs/../dfs/name/current/VERSION cat /data/hdfs/datanode/current/VERSION # 3. 解決備份數(shù)據(jù)目錄后清空或者手動改clusterID # 清空數(shù)據(jù)目錄注意確認無未備份數(shù)據(jù) rm -rf /data/hdfs/datanode/current/*場景BNameNode進程起來沒幾秒就退出日志無異常。這是最典型的資源問題。NameNode默認堆內(nèi)存是1GB元數(shù)據(jù)一多就OOM。老手一般會在hadoop-env.sh里顯式設置HADOOP_NAMENODE_OPTS-Xmx8g。但這只是第一層你還要確認NameNode所在的機器物理內(nèi)存夠不夠以及是否被其他進程搶占了。我見過一個案例兩臺機器都裝了很多組件NameNode堆內(nèi)存給了8GB但機器總共只有16GB且JVM除了堆還要用堆外內(nèi)存和元空間實際占用超過物理內(nèi)存后系統(tǒng)開始瘋狂swapNameNode的響應越來越慢最終被ZKFC判定為假死觸發(fā)切換。反過來另一臺機器也遇到同樣問題兩個NameNode開始反復互切整個HDFS的讀寫都斷了。場景C節(jié)點間通信失敗最隱蔽的是防火墻。Hadoop集群的節(jié)點間通信端口特別多NameNode RPC 8020、DataNode RPC 9866、ZK 2181/2888/3888、JournalNode 8485……有些企業(yè)安全基線會要求只開放特定端口于是你經(jīng)常遇到這樣一種情況進程都活著服務看起來正常但就是連不上。排查鏈路很標準# 1. 先測基礎連通性 ping node1 telnet node1 8020 # 2. 如果通則看端口監(jiān)聽 netstat -anp | grep 8020 # 3. 如果監(jiān)聽正常但外部不通基本就是防火墻 systemctl status firewalld iptables -L -n # 或者云安全組的入站規(guī)則注意很多云廠商的安全組在控制臺上看起來放行了端口但節(jié)點內(nèi)部自身的iptables規(guī)則沒同步也會出現(xiàn)“控制臺顯示放行但實際不通”的詭異現(xiàn)象。檢查的時候兩邊都要看。4.3 元數(shù)據(jù)保護的經(jīng)驗格式化、啟動只是元數(shù)據(jù)話題的冰山一角。真正到了生產(chǎn)NameNode元數(shù)據(jù)就是你的命根子。HDFS元數(shù)據(jù)由兩部分組成fsimage是元數(shù)據(jù)的持久化快照edits是每次寫操作的增量日志。NameNode每次啟動都會把fsimage加載進內(nèi)存再重放edits里的增量事務。這里有個關(guān)鍵概念checkpoint。舊版Hadoop用SecondaryNameNode定期合并fsimage和edits把合并后的新fsimage傳回NameNode。但在HA架構(gòu)里這個角色已經(jīng)被Standby NameNode替代了。Standby節(jié)點持續(xù)從JournalNode讀取edits日志并應用同時周期性執(zhí)行checkpoint生成新的fsimage。這個機制給運維的啟示是不要對Standby NameNode做任何停機操作它正在承擔checkpoint職責。一停fsimage和edits的合并就會停滯edits會無限增長最終可能把磁盤寫滿fsimage備份必須定期做。最簡單的方式是把fsimage目錄掛到獨立的存儲或者用cron定期打包到一個安全位置數(shù)據(jù)盤和數(shù)據(jù)盤之間要物理隔離。NameNode的元數(shù)據(jù)目錄和DataNode的數(shù)據(jù)目錄放在同一塊磁盤上是災難——DataNode磁盤寫滿會導致整個文件系統(tǒng)讀寫異常間接把NameNode拖掛。5. 生態(tài)整合完成之后日常運維怎么排查問題5.1 先看日志再看監(jiān)控最后才碰配置這是我做運維排查奉行的鐵律順序不能亂。很多人一遇到集群異常第一反應就是懷疑配置錯了開始翻配置文件、改參數(shù)。這個習慣很不好——配置在集群運行期間被外部惡意改動的情況極少更多時候配置沒變是某個運行條件變了。正確的排查順序是先看日志定位現(xiàn)象再對照監(jiān)控找規(guī)律最后才去懷疑配置。Hadoop生態(tài)各組件的日志位置和重點我用一張表整理出來排查的時候照著看組件日志位置排查時重點看的日志NameNode$HADOOP_HOME/logs/hadoop-hdfs-namenode-*.log啟動異常、元數(shù)據(jù)操作、checkpoint過程DataNode$HADOOP_HOME/logs/hadoop-hdfs-datanode-*.log塊上報、數(shù)據(jù)復制、磁盤異常ZKFC$HADOOP_HOME/logs/hadoop-hdfs-zkfc-*.log選主過程、鎖競爭、腦裂防護動作Zookeeper$ZK_HOME/logs/zookeeper-*.out會話超時、選舉日志YARN ResourceManager$HADOOP_HOME/logs/yarn--resourcemanager-.log調(diào)度日志、容器分配、隊列狀態(tài)YARN NodeManager$HADOOP_HOME/logs/yarn--nodemanager-.log容器啟動失敗、本地磁盤管理拿一個我給朋友真實排查過的案例來講。某次集群突然變卡所有作業(yè)都在排隊。我第一反應沒有去改YARN配置而是按順序查看ResourceManager日志發(fā)現(xiàn)隊列里全是ACCEPTED狀態(tài)的任務但CONTAINER一直創(chuàng)建不出來看NodeManager日志發(fā)現(xiàn)大量“Container killed on request”和“Local dir is full”字樣順藤摸瓜查磁盤使用率發(fā)現(xiàn)NodeManager的本地目錄所在分區(qū)使用率到了99%。根因根本不是配置問題是磁盤滿了。YARN在調(diào)度容器時發(fā)現(xiàn)本地目錄寫不進去只能反復殺掉容器導致集群看起來是“卡死”實際上是“磁盤被寫滿后的自我保護”。清理掉日志和臨時文件后集群馬上恢復了。這個案例完美說明了“日志定位現(xiàn)象”的價值。如果你一上來就懷疑隊列配置不對把隊列容量參數(shù)調(diào)來調(diào)去不僅解決不了問題還可能把原來正常的調(diào)度策略搞亂。5.2 資源層面的排查內(nèi)存、磁盤、網(wǎng)絡、連接數(shù)企業(yè)級運維中資源和連接層面的問題占比最高我把高頻問題整理成速查表問題現(xiàn)象直接原因檢查方法作業(yè)提交后一直ACCEPTEDYARN隊列資源被大任務占滿ResourceManager Web UI里看隊列資源容器啟動即失敗NodeManager本地目錄無空間df -h 查看NodeManager日志DataNode進程消失文件句柄數(shù)超過系統(tǒng)限制ulimit -n / /etc/security/limits.conf大量連接進入TIME_WAIT短連接過多端口耗盡ss -s 查看socket統(tǒng)計節(jié)點失聯(lián)NameNode報heartbeat timeout網(wǎng)絡抖動或GC暫停過長查看NameNode和DataNode日志時間線HDFS寫入超時數(shù)據(jù)目錄所在磁盤IO飽和iostat -x 1 觀察await值內(nèi)存這塊再展開一點。很多人只知道YARN有yarn.nodemanager.resource.memory-mb這個參數(shù)卻不知道它還分physical memory和virtual memory兩層限制。默認情況下NM會檢查容器使用的虛擬內(nèi)存超過配置的yarn.nodemanager.vmem-pmem-ratio倍數(shù)后直接殺掉容器。這個比例默認是2.1如果容器內(nèi)用了大量native內(nèi)存比如Python進程、跑JNI的庫很容易觸發(fā)誤殺。日志里你會看到一行Container [pidxxx] is running beyond virtual memory limits遇到這種先別急著調(diào)大比例應確認容器是不是真的內(nèi)存泄漏確認沒泄漏后再顯式調(diào)高yarn.nodemanager.vmem-pmem-ratio或關(guān)閉該檢查yarn.nodemanager.vmem-check-enabledfalse不推薦直接關(guān)。5.3 面試題背后的原理就是排查思路的底層邏輯熱搜詞里有個“hadoop面試題”我多說兩句。大家準備面試時背的那些題表面上是考概念實際上是在考你對系統(tǒng)運行機制的理解。面試題和運維排障是同一套底層的認知模型。舉個例子。面試官問“NameNode掛了怎么辦”你會怎么答背出的答案是“HA自動切換Standby接管”。但這背后至少要有幾層更深的認知如何判斷NameNode“掛了”是進程不存在還是ZKFC判定它心跳丟失如果是網(wǎng)絡分區(qū)導致的假活fencing機制怎么防止雙ActiveStandby接管后之前未提交的事務怎么辦答案在JournalNode的edits日志里客戶端怎么知道該連新的Active靠的是failover proxy provider里配置的邏輯名稱。這些問題每一個都對應真實的故障排查場景。我在4.2節(jié)、5.1節(jié)講的案例本質(zhì)上就是在回答這類面試題。所以我不建議你死背面試題如果你能親手復現(xiàn)一次NameNode failover的全過程很多面試題不用背自然就會了。6. 從學習環(huán)境到企業(yè)環(huán)境的最后一公里6.1 開發(fā)環(huán)境搭建Windows與容器化實踐細節(jié)很多人在“windows下載hadoop”這一步栽過跟頭。Windows上裝Hadoop確實能跑但要改bin目錄下的winutils.exe要處理路徑分隔符、權(quán)限模擬等問題體驗很折騰。我個人的經(jīng)驗是Windows環(huán)境我只用來做三件事——看源碼、跑IDE代碼調(diào)試、連接遠程集群測試客戶端代碼。真正的本地集群驗證一律用Docker Desktop。在Docker里搭Hadoop時我常用這樣的參數(shù)組合docker network create --driver bridge hadoop-net # 啟動一個NameNode節(jié)點 docker run -d --name namenode \ --network hadoop-net \ -p 9870:9870 \ -v /data/hadoop/namenode:/hadoop/dfs/name \ -e CORE_CONF_fs_defaultFShdfs://namenode:8020 \ -e HDFS_CONF_dfs_namenode_http-addressnamenode:9870 \ -e HDFS_CONF_dfs_replication2 \ hadoop-docker-image # 啟動兩個DataNode節(jié)點 docker run -d --name datanode1 \ --network hadoop-net \ -v /data/hadoop/datanode1:/hadoop/dfs/data \ -e CORE_CONF_fs_defaultFShdfs://namenode:8020 \ hadoop-docker-image用環(huán)境變量方式傳配置是容器化部署Hadoop的一個實用技巧。Hadoop官方鏡像和社區(qū)鏡像大多會支持把xxx_yyy格式的環(huán)境變量自動轉(zhuǎn)成配置文件里的屬性不用手動進容器改XML。這樣疊加Docker Compose一套三節(jié)點集群的啟動腳本就非常清爽了。如果是“hadoop開發(fā)環(huán)境搭建頭歌”這類在線實驗平臺我的建議是拿來練練手可以但別依賴。在線平臺幫你把環(huán)境都準備好了你反而缺失了從裸機搭建、遇到問題再解決的過程。而這個過程才是進階的關(guān)鍵。真正區(qū)分“會用”和“懂”的永遠是你能不能從零到一搭出一套跑得起來的、你自己完全理解每一行配置的系統(tǒng)。6.2 用一次完整的故障演練檢驗你是否真的進階了最后分享一個我特別推薦的學習方法主動制造一次故障然后嘗試自己修復。具體做法很簡單。挑一個維護窗口在測試集群上按照下面這個清單一步一步來手動kill掉Active NameNode進程觀察集群行為看ZKFC能否在預期時間內(nèi)完成切換再kill掉一個DataNode進程觀察HDFS的副本復制機制如何工作看剩余節(jié)點能否正常提供讀寫停掉全部ZK節(jié)點觀察HDFS的反應——它不會立刻掛但你會發(fā)現(xiàn)failover功能失效了在YARN上提交一個超內(nèi)存作業(yè)觀察容器被殺的過程理解資源隔離的作用故意寫錯一處配置比如把DataNode的目錄指向不存在路徑觀察啟動失敗日志練習定位問題。這個演練的價值在于它逼著你在“沒有教程指引”的情況下面對真實故障逼著你親手翻開日志、比對狀態(tài)、修改配置。你會經(jīng)歷第一次恐慌然后學會冷靜最后建立一套屬于自己的排查直覺。我在帶人時發(fā)現(xiàn)一個規(guī)律愿意做這種演練的人面試時談吐和對系統(tǒng)的理解能力跟只刷教程的人完全不在一個量級。原因很簡單——你對系統(tǒng)的信任感不會來自看了多少篇文檔而是來自你親手搞壞過它、再親手把它修好的次數(shù)。Hadoop這條路從入門到熟練中間沒有捷徑但也沒有想象中那么艱難。裝一套環(huán)境拆一個組件讀一段日志修一個故障每一步都算數(shù)。希望這篇沉淀下來的實戰(zhàn)經(jīng)驗能讓你少踩幾個我已經(jīng)替你踩過的坑。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
五月婷婷综合网| 婷婷五月a| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 六月丁香网| 视频一二区| AAA久久久| 婷婷基地爱| 国产一区二区三区影院| 国精产品一区二区三区| 天天日天天做天天舔| 久久中文人妻系列| 日韩十国产极品久久| 婷婷五月天堂| www.国产色| 亚洲视频在线观看| 2017人人操| 男女99免费视频| 开心深爱五月天| 国产26uuu视频| 亚洲婷婷免费| 久久99综合| 大香伊人久色| 久久久久久久久久8888| 激情色视频| 九九综合| 亚洲乱码日产精品BD| 婷婷五月丁香人妻无码高清| 五月天婷婷色在线视频免费观看 | 99视频精品在线| 婷色五月天| 久9热插入| 99视频在线播放大全| 丁香5月激情网| 淫荡综合网| 在线观看av网站| 国产日韩欧美性爱| 激情熟女网| 九九热AV| 欧美婷婷综合| 精品亚洲国产成AV人片传媒| 日本97在线视频| 色之综合网| 思思热热久久| 久久久激情| 久久婷婷五月综合色区| 91超碰九色| 丁香五月激情六月综合| 五月天婷婷在线观看| 婷婷五月天综合亚洲| 欧美精品A片一区在线观看| 婷婷五月花免费视频在线| 五月丁香婷婷成人综合网| 五月香婷婷| 91人妻九色大屁股| 成人操呦av| 欧州色色| 天天插综合| 天天做天天爱天天高潮| 五月丁香婷草| 久久人妻伦理| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | yirenjiqingshiping| 国产成人综合网| 五月婷综合网| 五月丁香成人网| 女人天堂久久| 婷婷伊人久久综合| 精品国产乱码久久久久夜深人妻| 亚州精品色情无码A片| 天天做 天天爱| 欧美色五月| 91人人看| 青青草视频福利| 婷婷开心激情| 99热大香蕉| 婷婷色情五月| 久久大大香| 五月婷婷丁香成人网| 99爱精品| 色婷亚洲五月丁香| 狠狠色狠狠操| 丁香五月婷婷亚洲天堂| 这里只有精品视频99| 思思 热 99| 五月激情六月丁香| 五月婷色| 色色丁香| 色热久| 五月六月丁香激情| 五月丁香婷婷色播无码| 99av视频| 丁香婷婷综合影院| 巴基斯坦粉嫩无码视频| 99久久超级| 色国产五月| 九九黄色网| 九九综合网色全集 | 99热6色| 99色在线视频| 七七九九色色| www超碰| 99热在线资源| 天天做天天爱天天玩| 日本乱子人伦在线视频| 狠狠狠狠免费| 五月婷婷深深爱| 亚洲在线综合| 色婷婷综合久久久久| cao久久| A网在线欧洲| 99网| 99热这里只有精品96| 亚洲精品五十一区| 色狠狠色| 五月激情久久综合| 免费黄网不卡AV| 综合激情综合啪啪| 色综合网页| 操一操| 久久五月天激情| 五月社区丁香| 九九XX视频| 天天热夜夜操| 99精品综合| 丁香六月婷婷综合麻豆| 丁香婷婷老熟女综合网| 天天草比天天爽| 丁香五月激情啪啪啪啪| 婷婷成人AV| 91日韩美女被插视频| 久久激情五月| 狠狠操综合| 久久久婷婷五月亚洲97号色| 色色五月丁香| 亚洲亚洲人成综合网络| 激情五月天色婷婷| 丁香五月天天| 亚洲成人网站在线观看| 99国产小视频免费观看| 丁香五月亚洲综合| 五月天婷婷伊人| aaa久久| 97精品综合久久| 国产毛片欧美毛片久久久| 99色6爱9热| 免费AV播放| 79成人网| www.99热这里精品| 激情深爱五月天| 婷婷五月丁香五月丁香| 九九色婷| 99ri精品在线| 亚洲精品五十一区| 色色丁香婷婷五月天| 亚洲成人人人操| 国产免费av在线| 色色狼人综合| 五月亚洲激情| 激情综合在线播放| 五月婷婷婷| 激情综合网丁香| 国产69久久久欧美黑人A片| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 久热免费视频| 免费观看欧美成人AA片爱我多深 | 婷婷国产五月天17c| 五月天激情网站| 天天操婷婷| 久久久人妻| 99视频在线观看欧| 六月色激情| 色五月婷婷丁香五月| 五月天婷婷在线啪啪视频| 五月天伊人网| 天天爽爽日日做做| 亚洲色频| 五月丁香在线观看| 亚洲六月色| 99九九视频精彩在线| 久久久这里有精品| 九九久热| 丁香婷婷六月婷婷六月婷婷六月婷婷| 色都都狠狠色都都色综合色| www.99视频| 99久久成人| 丁香五月婷婷少妇| av在线超清中文| 人人播| 五月色情婷婷| 色色五月天com| 亚洲色婷婷五月天| www.操.com| 五月丁欧美| 国产综合A片| 99热偷拍| 51avj视频大全| 91大神操美女| 猫咪伊人AV| 激情综合网五月丁香| www。88热在线视频免费观看| 亚洲视频码| 五月丁香影视| 欧美久久网| 99久久成人| 婷婷五月色情| 久久婷婷五月天| 亚洲热热视频| 天天爽综合| 97欧美在线| 激情色播| 天天舔天天摸| 色爱终和网| 中文字幕在线免费观看视频| 欧美婷婷精品激| 精品无码久久久久久久久| 亚洲激情网站| 人妻自慰在线| 久久与婷婷| 狠狠色 综合色区| 婷婷五月天激情电影| 色五月开心五月激情五月| 丁香五月网| 99免费超碰在线| 91viP在线看| av中文网站| 欧美群妇大交乱婬网| 九九热91| 91N 一起草| 色婷婷激情| 91日日日| 夜丁香五月婷婷| 97超碰综合| 欧美超碰亚洲| 久久桃花网色婷婷| 第四色色六月色综合| 天堂久久性| 5月丁香六月情| 色五月激情视频在线综合| 九九大香视频| 丁香五月成人av| 五月的丁香六月的婷婷| 丁香五月天色综合| 这里只有精品视频222| 九九av在线| 中国女人内射6XXXXX| 六月 丁香 视频| 99在线精品视频| 久久久久人妻精选| 综合图区激情| 色久免费| 久久视频九九视频| 岛国av网| 熟女激情网| 五月丁香综合在线| 精品人妻在线| 久久久久久久8| 97超级免费无码| 日本人妻伦在线中文字幕| 91啪啪视频| 免费不卡狠操美女视频网| 九九视频在线免费视频| 天天日,夜夜爽| 激情五月综合视频| 狠狠肏综合网| 久久这里只有精品无码| 五月天在线视频尤物视频在线看| 色五月婷激情| 九九久久五月天综合伊人| 婷婷色色综合激情| 东北婷婷五月天| 六月婷婷网| 婷婷激情五月吧| 色99网| 爆乳熟女一区二区三区爆乳| 91好好热日本在线| 一起草无码| 超碰不卡在线| 内射综合网| 日熟女| 婷婷的色色五月天| 影音先锋噜一噜| 99这里有精品视频| 六月99天天婷婷激情综合| 97综合在线| 六月婷婷综合| 大香网伊人久久综合| 91热在线| 91婷婷丁香五月天免费视频网站| 久久婷婷五月国产色综合激情| 五月天婷婷基地丁香| 久热精品视频在线观| ′久久99一| 91互操| 涩九九九九| 97热久久五月婷婷| 久99久视频免费观看| 一本九九色| 人人爽欧美婷婷久久久五月丁香| 99ri视频在线播放| 亚洲综合草草| 精品久色| 色婷婷综合五月| 婷婷五月天深爱| 激情5月婷婷狠狠干| 五月婷婷免费在线观看| 亚洲狠狠干| 五月丁香婷婷网在线在线| 午夜丁香综合婷婷| 99热免费| 色99久草在线| 超碰二区| 婷婷 激情 五月| 婷婷激情啪啪| 丁香五月欧美色综合| 国産精品| 婷婷五月天色播| 中文字幕人成乱码在线观看| 91丨九色丨首页| 婷婷丁香五月天操逼| 91 原创 在线 九色| 亚洲av网站| 久久黄色网扯| 色情五月停停丁香| 五月婷婷中文字幕| 日本综合99| 影音先锋偷偷色男人站| 九九熱最新視頻| 天天插天天干天天舔| 九热视频| 99性爱| 日韩ww| 91久久免费| 成人网站在线观看视频| 成人狠狠成人狠狠成人狠狠成人狠狠 | 五月婷婷在线丁香| 四色AVwww| 97人凄人人操人人爽| 日日干日日| 色婷婷AV在线观看| 亭亭玉立国色天香| www.国产色| 久久99网站| 精品香蕉99久久久久网站| 婷婷激情五月天激情小说| 人人97碰| 日本欧美国产| 狠狠干夜夜干| 91九色无码内射| 色一情一乱一乱一区91Av| 天天舔天天| 999热这里只有精品| 尔尔AV一区| 激情婷婷五月社区| 99色精品视频| 人妻精品一区二区三区| 五月天成人综合| 亚洲视频无| 午夜美女人啪最红院| 26uuu精品一区二区| 五月婷婷五月| 久久人五月| 久久99热这里只有精品23| 思思久久99| 欧美性猛交 XXXX 乱大交| 婷婷五月乱交换| 涩涩涩,com| 五月天婷婷激情综合| 99性视频| 超热久碰.com| 丁香五月天色综合| 色综合九九| 免费碰碰视频久| 超碰AV在线| 色狠狠综合入口| 成人午夜无码视频| 99操免费视频| 99热这里只有在线| 无码AV免费精品一区二区三区 | 91丁香五月| 婷婷舔| 丁香五月Av| 亚洲成人在线播放| 丁香五月婷婷激情中文| 久久视频这里都是精品| 亚洲熟妇无码乱子AV电影| 无码免费人妻A片AAA毛片西瓜| 色色97丁香婷婷五月天| 在线综合婷婷| 五月丁香在线| 在线中文亚洲| 九九免费精品| 99无码黄色视频| 激情五月婷婷色色| 丁香婷婷色五月天| 欧美性生交XXXXX无码小说| 精品99在线看| 亚洲色模骚货| 国产伦亲子伦亲子视频观看| 激情综合啪啪啪| 五月丁香六月欧美综合网站| 亚洲传媒在线观看| 狠狠做五月| 99色 色| 五月婷婷激情| 77799热| 婷婷五月电影院| www.91AV.com| 亚洲人成人五月天| 九九九九热99超碰| 成人五月天在线视频在线观看| 五月成人综合| 9视频在线成人网站| 九九精品片一| 色爱综合网| 超碰免费成人| 无码啪啪| 色碰碰视频| 夜夜爱伊人| 热婷婷av| 天天日,天天插| 任你搞免费视频观看| 亚洲五月天伊人| 色5月婷婷| 久久99这里只有精品| 日本色道视频网站| 五月丁香A片| 淫视馆AV在线| 亚洲乱码在线观看| 日本系列_4页_777FP| 91打屁股视频网站| 久久婷婷丁香| 超碰成人电影| 99成人在线观看| 91日韩在线| 综合五月婷婷| www.狠狠操| 九九九九国产| 人人草人人舔| 久久成人性爱| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 超碰三级片| 啪啪东京热| 日日噜狠狠色| 大香婷婷| 免费播放片大片| AV成人在线播放| 久久伦乱| 日韩欧美颜射| 亚洲另类在线观看| 激情五月婷婷中文字幕| 一区操| 五月婷AV| 婷婷的色色五月天| 色三级色三级| 亚洲精品V天堂中文字幕| 婷婷综合五月激情| 99视频| 五月丁香AV在线| 中文字幕91,综合| 久草五月天| 黄色av网站在线免费播放| 996热re视频精品视频这里| 99婷五月| 狠狠干在线| 婷婷五月色综合| 老司机伊人| 婷婷天天舔| 五月婷婷影视| 激情5月婷婷| www.99riav99| 久热这里| 五月激情五月丁香| 丁香五月天堂婷婷| 五月激情天| 色墦五月丁香| 久久R激情| 久热这里只有精品6| 操人精品| 亚洲色色色| 欧美天天综合网站上去吧| 碰99在线| 久久性操| 亚洲婷婷丁香五月视频| 色www.con| 五月婷婷成人| 五月丁香六月婷婷综合网缴情| 99久精品| 五月婷婷综合在线| 欧美成人网99网| 综合伊人久久| 五月天色丁香| 五月 婷婷 成人| 人人性久久| 欧美在线视频99| 丁香激激情网| 六月丁香啪啪啪| 九九伊人网| 99免费视频网| 激情五月婷黄版| 日韩一级一片内射视频4K| www.com五月天| 天天色月| 精品九九婷婷| 丁香五月影院| 99热国产这里只有精品| ay2区| 丁香六月综合| 夜夜操狠狠操| 色无码| 97色啪| 国产午夜精品一区二区三区嫩草| 五月婷婷九| 婷婷欧美激情综合| 九九婷| 丁香五月婷婷AV| 亚洲综合婷婷| 99色在线观看| 五月丁香 狠狠爱| 大香蕉五月天| 久草xx性爱视频| 91超碰人人操| 大香蕉伊在| 成人综合网站| 色99在线视频| 99re热视频这里只精品5| 久9视频| 激情五月黄色| 99热手机在线精品| 另类小说色婷婷| 五月丁香六月婷婷不卡免费无码| 人妻激情综合| 色五月激情五月| 狼人婷婷久久| 99视频在线精品免费观看2| 99婷婷| 2021日韩无码| 色五月婷婷在线观看第一页舔| 东京热免费视频| 天天摸天天做天天爱天天爽| 五月婷婷免费视频| 99热只有精品在线播放| 黄久久久| 97se在线视频| 国产婷婷婷| 99色免费观看全部| 日本婷久久| 九九视频这里有精品| 丁香婷婷五月天亚洲| 国产成人AV不卡| 久久人妻精品| 超碰成人免费| 狠狠爱激情网| 丁香涩涩爱| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 婷婷五月天av| 久9热视频| 色停停五月天| 久色国产| 婷婷五月婷婷五月天| 国产精品久久99| 色欲天天综合| 久久精品系列| 影音先锋天天日| 亚洲成人在线观看av| 91狠狠色丁香婷婷综合久久| 狠狠干在线| 五月丁香色色| 综合啪啪| 五月停停激情网| 婷婷丁香五月天色区| 九九这里只有精品在线视频| 色噜噜狠狠色综合日日| 九九aV| 中文字幕亚洲-区久久99婷婷| 丁香五月天AV在线| 久久五月婷婷综合网| 国产美女无遮挡裸体毛片A片 | 激情五月色综合国产精品| 亚洲天天免费| 综合激情网| 国产亚洲99久久精品| 久草 天堂| 另类图片激情五月| 九九综合伊人| 久久综合五月天| 激情五月婷| 98永久精品| 亚洲激情Av| 538在线精品| 无码人妻精品一区二区蜜桃色欲| 性做爰1一7伦| 成人在线观看精品| 国产在线网址1| 亚洲精品国产A久久久久久| 五月丁香影院| 亚洲精品久久久久久久久久吃药| 国产精品18久久久| 欧美槡BBBB槡BBB少妇| 五月丁香激情综合网| 丁香九月激情| 9l视频自拍9l九色成人| 这里只有精品视频免费在线观看| 91操人视频| 夜夜躁爽日日| 思思久久99热只有频精品66| 亚洲乱码日产精品BD| 乱乱av| 操逼视频网址| 亭亭丁香97| 婷婷五月日本| 天天综合色99| www.maotanji.com| 思思热久久阴99| 国产夫妻操逼内射视频| 中文字幕 久久9999| 五月播播| 久久伊人9| 丁香五月天堂| 天天插天天插| 人人操超碰| 三级99热| 色婷婷五月综合| 五月天 综合 在线| 激情五月综合网最新 | www.色欲丁香婷婷| www.五月天婷婷| av九九| 婷婷六月天精品| 婷婷五月深爱五月| 96精品久久久久久久久| 大香蕉中文| 色综合丁香| 狠狠五月天| 丁香五月影| 丁香五月综合无码趴趴| 婷婷五月天丁香| 夜夜操少妇| 五月天婷婷视频| www.久久久.com| 天天噜日日噜综合无码| 国产精品VIDEOSSEX久久发布| 久久久91精品| 开心久久网婷婷| 婷婷色影院| 婷婷色日本| 激情五月六月丁香| 婷婷激情在线| 情欲禁地| 婷婷丁香成人五月天| 人妻性爱av网站| 丁香美女主播视频在线观看 | 丁香色影院| 无码色色色色色| 色综合性视频| 91热视频色网站| 俺也去色| www.丁香黄色五月天人与| 九色无码| 婷婷五月天影视| 超碰1999| 色噜噜婷婷| 丁香五月婷婷亚洲激情四射| 怡红院 久久| 五月丁香婷婷激情澎湃四射| 久99热| 婷婷情色开心五月天99| 亚洲成人AV在线| 涩综合在线 | 五月丁香婷婷啪啪网| 狠狠色噜噜狠狠色噜噜噜999| 26uuu亚洲欧美日本| 五月婷婷片| 激情电影五月婷婷| 色综合久久天天综合网| 五月婷婷m| av在线中文| 一区二区三区四日本| 性欧美日本| 中文字幕性爱丰满| 超碰人人射| 狠狠色综合久久久久| 色婷婷a v| 99人人操人人摸| 97九色| 国产首页在线| www.激情五月天.com| 五月开心网| 亚洲宗合激情| 人人草成人视频| 久久久久丁香婷婷五月天| 色综合99| 九九亚洲天堂| 91|九色|动漫| 亚洲 无码 中文字幕 中出| 久99久精品视频| 玖玖婷婷五月天毛片| 久久无码激情视频| Av九九| 玖色色综合| 婷婷色丁香五月| 天天干天天日天天操| 婷婷99视频全集高清| 亚洲日本激情| 九九RE视频在线精品| 欧美三级视频下载| 天天爽夜夜爽天天爽夜夜爽| 婷婷在线视频| 99久久99九九九99九他书对| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 99操久久| 青青草原伊人网| 婷婷夜夜操| 丰满人妻妇伦又伦精品国产 | 超碰永久在线| 色狠狠色| 中文av网| 久久丁香综合香蕉| 五月丁香六月色情网欧美| 色婷五月天| 婷婷丁香五月天影院 | 五月天婷婷色| 99热这里只有精品99| 九九热视频在线观看| 天天色丁香| 99人人操人人操人人精| 播四月婷婷六月丁香| 五月丁香综合啪啪| 91久久久久久久久18| 色色综合色| 少妇高潮呻吟A片免费看软件 | sewuyuejiqingwang| 亚洲色五月| 99久久丝| 六月激情综合| 97亚洲色 torrent magnet| 99精品在线| 中文字幕性爱视频| 99这里| 久久婷婷桃花五月天| 五月色天五月色| 精品久久久久成人码免费动漫| 色婷婷在线综合色播网| 丁香五月色| 99精品九九| 激情五月狠狠| 九九色网| 五月丁香狠狠地噜噜噜噜| 麻豆AV一区二区三区| 99色在线| 99爱在线免费视频| 第四色婷婷日本| 九九热视频在线观看| 俺也去婷婷五月天第五色| 99日本黄站| 99色在线观看视频者| 天干天天干天天天天天| 蜜桃成语时李时珍 免费| 丁香五月在线人妻| 另类在线| 伦乱美欧| 乱精品一区字幕二区| 婷婷五月丁香综合激情小说| 亚洲五月婷婷| 婷婷综合五月天激情| 国产无套精品一区二区| 丁香六月天婷婷色| 丁香五月天堂网| 婷婷色香六月综合激情| 久久性综合| 婷婷色欧美激情| 婷婷五月天丁香久久| 开心五月婷婷婷美女| 五月婷婷六月综合| 婷婷四色成人综合色视| 婷婷六月丁香激情综合| 亚洲视频在线网| AV中文在线| 久久综合丁香| 五月激情另类| 99热九九这里只有精品| 亚洲久久日| 天天射天天射一道本日本社区 | 韩国三级五月天婷婷。| 五月激情天| 噜噜在线| 思思视频精品| 久热这里只有精品3| 99,色| 色色a| 97碰| 亚洲妇女熟BBW| 五月天婷a| 婷婷色综合中心站| 六月99天天婷婷激情综合| 日韩在线一级| 超级碰碰99| 伊人婷婷五月天| 内射综合网| AV成人在线播放| 激情伊人五月天| 男人天堂AV在线一区二区| 婷婷六月丁香五月| 久99久在线| 九九色综合九九色| 激情5月舔| 大香蕉伊人久久| 亚洲欧洲自拍图片专区五月天| 亚洲欧洲美女在线观| 五月丁香六月色| 九九無碼| 五月婷无码| 26uuu欧美| 国产成人+综合亚洲+天堂| 免费视频在线观看的网站| 亚洲最大视频| 久久综合干| 国产在线激情视频| 色综合中文| 99丁香五月婷| 啪啪视频99| 欧美日韩91| 久久亚洲婷婷| 99色视频在线观看最新| 99婷婷精品推荐在线视频| 亚艹艹| 婷婷色婷婷| 免费无码毛片一区二区A片 | 亚洲九区| 五月丁香婷婷综合网| 色情五月丁香婷婷网| 中文AV在线观看| 激情五月天啪啪视频| 淫视馆aV二区一区| 色丁香婷婷| 久久久8| Blackedraw视频一区二区| 婷婷综合在线| 思思热久在线观看视频| 墨西哥毛片内射精| 五月香婷婷| 人人看人人要| 久久玖玖综合| 综合久久综合久久| 丁香婷婷六月天| 亚洲另类婷婷综合| 丁香五月激情啪啪啪| 综合激情婷婷| 婷婷五月天AV在线| 俺去也在线www色官网| 国产精品久久..4399| 热99.com婷婷| 成人国产欧美大片一区| 婷婷97碰碰| 骚货艹网站视频| 五月丁香综合网色欲| 欧美性久| 丁香情色五月| 五月婷婷激情| 99啪啪网| 亚州激情在线视频| 激情视频91| 日本在线观看aaa 99| 97人人草| 天天操无码| 五月深爱婷婷| 日本一级一级一级一级| 日韩综合久| 熟惀91九色在线| 丁香五月天激情综合| 激情综合网激情五月天| 色五月婷婷少妇人妻| 99久在线视频| 超碰成人影视| 男女啪啪做爰高潮无遮挡| 五月天婷婷在线AN| 久久久精品人妻录| 亚洲婷婷在线播放十月| 免费视频1区| 99性爱视频| 狠狠色丁香婷婷久久综合| 五月天婷婷丁香社区| 天天做天天爱天天爽在| 色欲天天综合| 97碰碰人人视频| 90色免费视频| 超碰日韩成人| 一点色成人网| 色色五月婷| AAA久久久| 日本色婷婷| 热久久99热欧美国产亚洲| 五月丁香九九九综合| 综合激情五月四射婷婷| 99爱爱| 国产精典视频在线观看| 九九人人自拍| 97五月天婷婷综合激情网| www五月婷婷88导航| 五月婷婷欧美| 日韩精品999| 九月激情综合| 婷婷五月情| 丁香五月婷婷六月| 久久草婷婷丁香网站| 丁香五月天激情婷婷丁香六月| 亚洲高清在线| 最近中文字幕大全免费版在线 | www.91色| 亚洲操逼片| 狠狠色狠狠| 91精品国产99久久久久久天美| 婷婷五月天堂| 五月天精品综合| 五月天婷婷视频30| 婷婷五月图片小说网| 婷婷六月五月天综合| 激情婷婷网| 狠狠爱婷婷爱| 丁香五月综合| 91精品丝袜久久久久久| 99综合网| 五月天啪啪| 999精品乱码77777| 女同激情久久av久久| 人人摸人人操人人爽| 欧美影院婷婷| 色婷婷综合久久久久| 99热在线爱| 98永久精品| 婷婷综合精品| 天天做天天爱天天搞| 美女va| 久色激情| site:wpjngj.com| 久久久五月婷婷| 色婷婷电影网| 九九婷婷综合| 婷婷五月天免费| 久久丁香婷婷色情综合| 91成人看片| 草做免费在线观看| 色之综合网| 色五月色图| 丁香五月婷婷老师网站| 99综合网| 台湾佬天天日丁香婷婷五月天 | 校花娇喘呻吟校长陈若雪视频 | AV五月丁香| 99综合在线| 丁香五月婷婷99| 最近中文字幕大全免费版在线 | 99视频久久| 色丁香综合影院| 操操碰| 在线视频99| 九九色黄色| 欧美性猛交 XXXX 乱大交| 99日本黄站| 伊人AV五月婷| tingtingjiqingwuyue| 月色色综合婷婷网| 五月天精品| 天天天天天天天操| 热久久思思热思思| 久热伊人| 色色色色色色色色色色色色色五月天| 97人人操人人干| 级情九色| 五月婷婷日| 人人草开心五月天| 狠狠操狠狠干综合| WWW.开心五月天.COM| 天天婷婷天天| 日韩五月婷婷| 色V狠狠的干| 五月天婷婷免费| 日本偷拍九九九| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 丁香六月婷婷综合| 天天色色天天| 丁香六月成人网| 最新激情五月天| 99久久a线观| 久久免费精品小视频| 色婷婷88| 丁香五月婷婷AV| www.色综合.com| 激情视频91| 婷久久高清| 五月丁香婷婷六月| 五月天婷婷免费| 免费婷婷| 99在线热| 婷婷五月综合社区| 色色五月天丁香| 婷婷的99视频网站| 综合色色网| 生活片五区| 色色色热| 五月丁香激情综合啪啪| 性爱视频99| 狠狠草在线观看| 久久久这里有精品| 噜一噜在线| 婷婷色色丁香五月天| 激情久久久久久久久久久| 激情开心五月天| 操操自拍| 亚洲成人av在线播放| 在线中文亚洲| 亚洲五月天激情| 五月天激情网图片| 日本一道久久| 五月天激情婷婷| 99视频只有精品| 九九热在线精品视频| 丁香六月激情| 国产乱子轮XXX农村| 国产肥白大熟妇BBBB视频| 丁香六月婷婷久久综合| 99热 精品在线| 超碰无码老师| 国产性爱一级| 激情综合在线播放| 另类伊人婷婷| 久热只有这里有精品| 丁香五月天激情五月天激情五月天激情网| 99热6这里之有精品| 六月丁香激情最新更新| 99综合99| 97在线视频观看| 久久五月天色婷婷| 99秘 在线| 色婷婷成人| 色情一区二区播放| 日日爽天天| 看全色黄大色大片| 另类激情中文| 狠狠五月天| 99视频综合网| 欧美日本高清视频99| 99亚洲视频| 开心六月丁香五月婷婷| 天天操夜夜玩!| 六九色综合婷婷五月天| 91精品婷婷国产综合久久| 五月婷婷激情综合| 91丁香婷婷综合久久欧美| 丁香五月情| 夜夜骑操AV| 日韩爱操视频| 99亚洲天堂| 香蕉久久国产AV一区二区| 真实的国产乱XXXX在线91| 久热精品免费视频4| …亚洲黄色在线播放日韩、av中文a…| 无码色色色色色| 色播婷婷五月天| 五月丁香婷婷久久| 牛牛热这里只有jingpin| 亚洲操B视频| 婷婷五月av| 五月婷成人网| 五月丁香婷婷综合在线| 99在线观看免费精品视频| 先锋男人99资源| 激情五月色播五月| 九九成人| 香蕉影院色| 丁香五月天黄色片| 天天夜天天色天天| 激情视频网址| 午夜AV网| 思思99热这里只有精品| 美女美女美女三级色天天天天天| 五月婷婷综合激情网| 99A片| 天天做天天爱天天爽夜夜揉| www激情com| 国产午夜一区二区三区| 五月激情综合婷婷| 久久婷婷国产| 久久精彩视频99| 色情五月综合婷婷| 性爱111111| 视频综合网| 亚洲色综久久五月| 丁香五月六月综合激情| 狠狠爱成人综合网| 婷婷五月丁香综合亚洲| 丁香五月天中文字幕| 天天干一干| 99啪啪网| 久久五月网| 天天色宗合| 免费看欧美成人A片无码| 琪琪色五月天| 五月综合婷婷久久在线| 99在线免费观看| 97啪在线观看视频| 久久91久久91色欲精品| 色综合久久88色综合中文字幕| 99性视频| 欧美激情五月天| 七七九色| 亚洲欧美国产高清vA在线播放| 婷婷综合精品| 9色免费网| 日日噜狠狠色综合久久| 婷婷色正月| 久久黄色片| 综合亚洲色色| 午夜激情综合| 亚洲日比视频| 思思热国产视频| 26UUU精品一区二区| 五月婷婷六月激情| 97色色-99久久| 精品五月天| 成人网在线观看视频| 美女天天久久| 丁香婷婷成人网站| 屁股翘好撅高迎合跪趴| 男人的天堂97| 99热这里只有精品在线播放| 亚洲成av人影院| 五月色婷婷在线观看| 91色综合| 99在线观看精品| 综合激情深爱| 1000部毛片A片免费观看| 婷婷99狠狠| 婷婷亚洲综合| 色情五月| 色五月婷婷在线观看| 日本美女97在线视频| 这里只有精品99视频| 五月丁香亭亭| 欧美激情久| 六月丁香激情网| 9色操| 伊人五月成人| 猫咪伊人AV| 狠狠 婷婷| 色播五月婷婷| 五月色丁香综合| 天天肏夜夜肏| 九九99在线观看视频| 99热日韩| 久久99精品久久久久子伦| 九九色色| 五月深情久久| 六月色丁香中文字幕| 久久婷综| 五月丁香婷婷开心| 综合婷婷| 五月色综合| 五月天桃色深爱网| WWW.天天日| 丁香五月综合| www.xtbsty.cn.com蜜乳AV| 涩综合婷婷| 91在线日| 人人干人人看| 深爱五月激情网| 婷婷在线视频| 五月丁花色综合网| 亚洲欧美在线观看| 精品国产va久久久久久久| www久| 精品久久9| 欧美日朝成人| 97碰碰在线看视频免费| 五月天堂婷婷| 色婷婷综合久久久久| 色婷婷导航| 婷婷五月AV| 色色亚卅| 丁香九色不卡aaa| 五月婷激情| 99热| 丁香六月婷婷综合啪啪| 青青草tp| AV堂狠狠干| 国产AV国片偷人妻麻豆| va婷婷在线免费观看| 亚洲日本韩国| 操射国产日本| 婷婷久久五月天中文字幕在线观看| 青青草成人网| 看逼中文字幕| 色欧美影院| 久久婷婷成人视频| av大片在线| 深爱激清网| 97碰碰在线观看视频| 丁香五月激情婷婷| 影音先锋一区二区三区| 日韩操人| 丁香五月aV| 亚洲愉拍99热成人精品| 久久婷婷五月天综合| 麻豆雪千夏| 超碰免费人妻| 天天操天天日天天爱| 无码成人AAAAA毛片AI换脸| 色射婷婷五月天| 97久操视频| 97人人草| 五月天中文网| 五月婷婷碰碰| 亚洲成人在线综合| 中文字幕九九九九| 久热九九| 亚洲六月婷| 婷婷网影院| 婷婷五月色| 毛片新网地| 视频一二区| 欧美在线| 色屌丝中文字幕| 精品九九久久| 99碰网站| 婷婷激情六月中文| 99re免费在线视频| 丁香六月啪啪| 另类综合国产| 伊人婷婷大香蕉| 无码激情AAAAA片-区区| 黄色笑话深爱激情网丁香五月婷婷啪啪啪啪啪 | 99玖玖在线视频| 狼友超碰| 九九无码| 中文人妻主播久久| 丁香综合日产精品久久| 五月婷婷五月天| 日韩黄黄| 激情婷婷五月天| 噜噜干日本| 国产AV一区二区三区日韩| 激情丁香五月天图片| 激情综合自拍五月婷婷色五月| 人操91在线| 99激情| 五月天色官网| 狠狠久久婷| 777色色色| 激情色中文| 黄色片久久| 丁香婷婷久久| 五六月丁香激情视频| 日本精品干| 精品人妻午夜一区二区三区四区| 五月深爱激情网| 国产三级片91| 九九九九综合| 夜夜操激情| 丁香五月 综合| AV六月丁香| 日本精品久久久久中文字幕| 色爽九九| 日韩精品无码99| 再綫Av免费視品| 久久免费操| 婷婷五月丁香综合瑟瑟| 99色在线|