欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

邊緣網(wǎng)關(guān)管理Agent選型與落地:從資源約束到實(shí)戰(zhàn)運(yùn)維

邊緣網(wǎng)關(guān)管理Agent選型與落地:從資源約束到實(shí)戰(zhàn)運(yùn)維 1. 邊緣網(wǎng)關(guān)對(duì)管理Agent的三個(gè)“硬約束”先講一個(gè)我自己的經(jīng)歷。前些年給一家工廠做產(chǎn)線數(shù)據(jù)采集邊緣網(wǎng)關(guān)用的是工控機(jī)改裝的設(shè)備配置不算差4核CPU、8G內(nèi)存、128G固態(tài)。一開始我照搬了機(jī)房服務(wù)器的運(yùn)維思路在上面裝了完整的監(jiān)控Agent全家桶心想這樣中心平臺(tái)就能實(shí)時(shí)看到每臺(tái)網(wǎng)關(guān)的CPU、內(nèi)存、磁盤、進(jìn)程狀態(tài)省心又穩(wěn)妥。結(jié)果設(shè)備才運(yùn)行一個(gè)晚上第二天現(xiàn)場(chǎng)就反饋說有幾個(gè)網(wǎng)關(guān)假死了。登錄一看光是各類Agent進(jìn)程就占掉了將近2G內(nèi)存再加上采集服務(wù)、緩存隊(duì)列、數(shù)據(jù)庫組件內(nèi)存直接頂?shù)?5%以上。更要命的是網(wǎng)關(guān)溫度升高風(fēng)扇狂轉(zhuǎn)磁盤I/O一直很高。那次之后我徹底改了思路邊緣網(wǎng)關(guān)上的管理Agent不是裝得越多越全就越好而是越貼合場(chǎng)景、越知道克制才越靠譜。很多人會(huì)把邊緣網(wǎng)關(guān)當(dāng)成一臺(tái)“縮小版的服務(wù)器”有什么Agent就裝什么反正不過多占點(diǎn)資源。但在真實(shí)項(xiàng)目里這個(gè)想法會(huì)害死人。邊緣網(wǎng)關(guān)的管理和機(jī)房服務(wù)器管理本質(zhì)上面臨的約束完全不同我覺得有三個(gè)方面必須有清醒認(rèn)知。1.1 資源約束網(wǎng)關(guān)的硬件余量比你想象中少得多邊緣網(wǎng)關(guān)通常不是為“多任務(wù)并發(fā)”設(shè)計(jì)的。工業(yè)現(xiàn)場(chǎng)常見的網(wǎng)關(guān)處理器可能是低功耗的x86賽揚(yáng)J4125、N5105甚至ARM架構(gòu)的RK3568、樹莓派CM4這類板子內(nèi)存普遍是2G到8G之間和機(jī)房里動(dòng)不動(dòng)64G、128G內(nèi)存的服務(wù)器完全是兩個(gè)物種。你在這類設(shè)備上每多跑一個(gè)Agent就意味著給核心業(yè)務(wù)比如數(shù)據(jù)采集、協(xié)議解析、邊緣計(jì)算少留了一份資源。我個(gè)人的經(jīng)驗(yàn)是管理類Agent的總內(nèi)存占用最好控制在網(wǎng)關(guān)總內(nèi)存的8%到10%以內(nèi)。比如一臺(tái)4G內(nèi)存的網(wǎng)關(guān)所有Agent加起來占用最好不要超過400M。那些動(dòng)輒幾百兆基線的Java系A(chǔ)gent、自帶全套運(yùn)行時(shí)的商業(yè)采集器第一個(gè)就要排除掉。不要覺得自己用的是8G內(nèi)存就萬事大吉邊緣場(chǎng)景里內(nèi)存余量還要和系統(tǒng)緩存、日志緩沖、采集突發(fā)流量做斗爭(zhēng)留得太死業(yè)務(wù)一波動(dòng)第一個(gè)崩的就是業(yè)務(wù)進(jìn)程。還有磁盤。很多網(wǎng)關(guān)用的是小容量固態(tài)甚至SD卡存儲(chǔ)本來就捉襟見肘。管理Agent如果默認(rèn)開啟Full I/O審計(jì)、全量日志搜集、性能剖析這類功能幾天就能把手里的盤寫滿。所以落地時(shí)第一件事就是把Agent的采集頻率、日志輪轉(zhuǎn)、保留時(shí)長(zhǎng)全部重新定義絕不能用默認(rèn)參數(shù)上線。1.2 網(wǎng)絡(luò)約束斷網(wǎng)是常態(tài)不是異常機(jī)房里的服務(wù)器網(wǎng)絡(luò)是99.99%可靠的Agent連不上中心時(shí)網(wǎng)絡(luò)管理員會(huì)覺得出大事了。但邊緣網(wǎng)關(guān)所在的場(chǎng)景上行鏈路的可靠性和帶寬都非常有限。工廠車間里AP重啟、有線網(wǎng)絡(luò)被施工挖斷、4G/5G信號(hào)不穩(wěn)定這些情況在邊緣側(cè)是家常便飯。這意味著你在選型和設(shè)計(jì)Agent時(shí)必須默認(rèn)一個(gè)前提它大部分時(shí)間也許是健康的但一定會(huì)遇上斷網(wǎng)斷網(wǎng)時(shí)它不能變成一臺(tái)“廢機(jī)”。很多商業(yè)監(jiān)控Agent的架構(gòu)是“數(shù)據(jù)集中到中心規(guī)則中心下發(fā)告警中心判定”一旦斷網(wǎng)本地就既無法采集、也無法告警。這就是把生命線交給了中間那段不穩(wěn)定的網(wǎng)絡(luò)。你在邊緣網(wǎng)關(guān)上裝Agent第一要?jiǎng)?wù)是保證即便和中心斷開三天本地的數(shù)據(jù)采集、狀態(tài)監(jiān)視、基礎(chǔ)告警、日志輪轉(zhuǎn)依舊正常運(yùn)轉(zhuǎn)等網(wǎng)絡(luò)恢復(fù)了再補(bǔ)傳數(shù)據(jù)。1.3 無人值守出問題不能靠“重啟大法”糊弄機(jī)房服務(wù)器出問題有運(yùn)維人員7x24小時(shí)響應(yīng)重啟、回滾、修復(fù)都是分鐘級(jí)的事。但邊緣網(wǎng)關(guān)散落在廠區(qū)、園區(qū)、路邊、樓頂很多部署位置連人都很難到達(dá)你去一次現(xiàn)場(chǎng)的出差成本可能抵得上半年運(yùn)維費(fèi)。這就要求Agent自己具備“自愈能力”。我見過太多邊緣網(wǎng)關(guān)上的Agent進(jìn)程主進(jìn)程掛了systemd居然沒有配自動(dòng)拉起日志文件寫滿了沒有輪轉(zhuǎn)策略直接把磁盤占滿配置改了之后語法錯(cuò)誤Agent靜默退出沒有任何本地日志。這些問題如果是服務(wù)器幾分鐘就能發(fā)現(xiàn)并處理但到了邊緣場(chǎng)景可能要等業(yè)務(wù)方打電話投訴“數(shù)據(jù)怎么不更新了”你才知道。所以“防呆設(shè)計(jì)”不是可選而是必須。每個(gè)Agent都要有獨(dú)立守護(hù)、崩潰自動(dòng)重啟、異常降級(jí)、本地留痕這四個(gè)基本能力。2. 該裝什么邊緣場(chǎng)景的管理Agent選型清單理清了“邊緣網(wǎng)關(guān)不是什么”之后再來看到底該裝什么。我習(xí)慣把邊緣網(wǎng)關(guān)上的管理Agent分成四類資源指標(biāo)采集類、日志采集類、配置與遠(yuǎn)程操作類、規(guī)則告警本地化類。每一類有不同的選型思路和推薦工具下面一個(gè)一個(gè)說。2.1 資源指標(biāo)采集類Telegraf和Node Exporter怎么選資源指標(biāo)采集是Agent里最基礎(chǔ)的一塊包括CPU、內(nèi)存、磁盤、網(wǎng)絡(luò)、溫度這些基礎(chǔ)數(shù)據(jù)。這一類我的首選一般是Telegraf或Node Exporter二選一。Node Exporter是Prometheus生態(tài)的標(biāo)配優(yōu)點(diǎn)是很純粹只做指標(biāo)采集導(dǎo)出的活二進(jìn)制文件小啟動(dòng)占用內(nèi)存很低默認(rèn)大概20M到30M左右。它通過HTTP端口暴露metrics配合Prometheus抓取非常方便。如果你整個(gè)監(jiān)控體系已經(jīng)深度綁定了Prometheus生態(tài)選它是最省事的。Telegraf則是采集器里的“瑞士軍刀”不僅支持資源指標(biāo)采集還支持大量的輸入插件比如直接采集Modbus協(xié)議數(shù)據(jù)、SNMP OID、MQTT消息甚至SQL查詢結(jié)果。它的輸出也非常靈活可以輸出到InfluxDB、Prometheus、Kafka、MQTT等多種下游。在邊緣網(wǎng)關(guān)場(chǎng)景里Telegraf還有一個(gè)特別有價(jià)值的玩法它可以直接作為數(shù)據(jù)匯聚層把網(wǎng)關(guān)采集到的業(yè)務(wù)數(shù)據(jù)和資源指標(biāo)匯總在一起上報(bào)省去再部署一條獨(dú)立鏈路。Telegraf本身的內(nèi)存占用稍高但控制在50M以內(nèi)是合理的。實(shí)際項(xiàng)目里我會(huì)怎么選如果項(xiàng)目已經(jīng)用Prometheus體系做中心監(jiān)控直接Node Exporter保持生態(tài)統(tǒng)一如果中心監(jiān)控體系尚未定型又希望一個(gè)Agent同時(shí)兼顧資源和一部分協(xié)議數(shù)據(jù)采集毫不猶豫選Telegraf。還有一個(gè)小技巧兩個(gè)Agent并非不能共存Telegraf可以通過插件直接拉取Node Exporter暴露的指標(biāo)轉(zhuǎn)存到自己的輸出通道里這樣你可以在網(wǎng)關(guān)內(nèi)部用Telegraf做統(tǒng)一出口同時(shí)保留Node Exporter輕量的采集能力靈活度很高。2.2 日志采集類Filebeat是性價(jià)比最高的選擇日志采集在邊緣場(chǎng)景里容易被忽視因?yàn)榫W(wǎng)關(guān)產(chǎn)生的日志量沒有服務(wù)器大很多人就覺得不值得專門裝一個(gè)Agent。這個(gè)想法是錯(cuò)的。邊緣網(wǎng)關(guān)承載了工業(yè)協(xié)議解析、業(yè)務(wù)數(shù)據(jù)流轉(zhuǎn)等關(guān)鍵任務(wù)一旦出故障日志是唯一能還原現(xiàn)場(chǎng)的證據(jù)。沒有日志你面對(duì)的就是一個(gè)黑盒。日志采集Agent的主流選擇是Filebeat。它的優(yōu)勢(shì)是輕量、穩(wěn)定、默認(rèn)帶背壓控制進(jìn)程占用內(nèi)存大約在30M到50M之間作為Go寫的Agent安裝部署也非常簡(jiǎn)單只有一個(gè)二進(jìn)制加一個(gè)配置文件。Filebeat默認(rèn)的日志讀取策略是“從文件尾部開始讀”配合multiline配置可以正確處理?xiàng)H罩具@類多行業(yè)務(wù)日志的合并問題。輸出去向在邊緣場(chǎng)景常見的是Kafka或者本地的日志存儲(chǔ)也可以直連Elasticsearch但我不建議在網(wǎng)關(guān)本地常駐一個(gè)ES節(jié)點(diǎn)對(duì)資源消耗太大日志應(yīng)當(dāng)轉(zhuǎn)運(yùn)到中心側(cè)再做全文檢索。在邊緣網(wǎng)關(guān)上配置Filebeat要特別注意兩個(gè)點(diǎn)。一是采集路徑別用默認(rèn)的/var/log/*.log這種全局通配盡量精確到業(yè)務(wù)自己的日志目錄避免把系統(tǒng)日志和業(yè)務(wù)日志混在一起。二是必須顯式配置日志輪轉(zhuǎn)策略服務(wù)端的索引生命周期也要和網(wǎng)關(guān)節(jié)點(diǎn)的日志量匹配。我的建議是中心側(cè)日志保留30天網(wǎng)關(guān)本地最多保留7天再久的日志在邊緣小存儲(chǔ)里就是災(zāi)難。2.3 配置與遠(yuǎn)程操作類SSH密鑰是底線批量操作是加分項(xiàng)邊緣網(wǎng)關(guān)數(shù)量少的時(shí)候SSH一臺(tái)一臺(tái)登錄操作沒問題。數(shù)量上了幾十臺(tái)甚至上百臺(tái)之后沒有批量操作工具就是給自己挖坑。在這個(gè)類別里我不是很推薦裝那種“重量級(jí)配置管理客戶端”而是建議用更輕的模型分兩層來做。第一層是基礎(chǔ)連接能力。為每臺(tái)網(wǎng)關(guān)統(tǒng)一配置SSH密鑰登錄禁用密碼登錄這是底線安全操作。密鑰統(tǒng)一由跳板機(jī)或堡壘機(jī)托管網(wǎng)關(guān)本地不需要額外裝Agent。只啟用密鑰登錄不僅安全性提升也能避免密碼泄露后被人批量掃到弱口令的問題在工業(yè)網(wǎng)絡(luò)里這是最容易被忽視的缺口。第二層是批量操作工具。Ansible很適合邊緣網(wǎng)管這種場(chǎng)景它默認(rèn)是無Agent架構(gòu)通過SSH協(xié)議直接執(zhí)行任務(wù)所以網(wǎng)關(guān)側(cè)無需額外安裝Ansible的Agent端只要保證Python環(huán)境和SSH可用即可。你可以用Ansible批量下發(fā)配置文件、更新采集腳本、執(zhí)行診斷命令、批量重啟服務(wù)。因?yàn)闊oAgent所以不存在Agent版本不統(tǒng)一、升級(jí)Agent把網(wǎng)關(guān)搞掛這類連鎖問題。Ansible的playbook還可以用Git管理配合Jenkins或GitLab CI版本可追溯變更可回滾這比手動(dòng)登錄一臺(tái)臺(tái)改配置靠譜得多。2.4 有些Agent堅(jiān)決不要裝重量級(jí)商業(yè)探頭、全量監(jiān)控組件說完該裝什么還要專門講講哪些Agent堅(jiān)決不能上邊緣網(wǎng)關(guān)。第一類是自帶完整運(yùn)行時(shí)的大廠商業(yè)監(jiān)控Agent。這類Agent往往為了適配各種大型系統(tǒng)打包大量的JVM或者.NET運(yùn)行時(shí)啟動(dòng)就要500M以上內(nèi)存運(yùn)行時(shí)還會(huì)默認(rèn)開啟很多遙測(cè)上報(bào)。在服務(wù)器上也許無感在4G內(nèi)存的邊緣網(wǎng)關(guān)上直接是致命的。第二類是“全家桶式”監(jiān)控組件組合。有些運(yùn)維人員習(xí)慣了機(jī)房里的標(biāo)準(zhǔn)套路Prometheus Grafana Loki Alertmanager 各種Exporter全家桶。這套組合在機(jī)房沒問題但如果完整搬到一臺(tái)邊緣網(wǎng)關(guān)上光是常駐進(jìn)程就有十好幾個(gè)內(nèi)存奔著2G去了。邊緣網(wǎng)關(guān)不應(yīng)該跑Grafana這種重型可視化組件也不應(yīng)該在本地跑Loki這類日志存儲(chǔ)。它需要的是采集、緩存、轉(zhuǎn)發(fā)、簡(jiǎn)單規(guī)則判斷真正的可視化和集中存儲(chǔ)應(yīng)該在中心機(jī)房完成。第三類是默認(rèn)開啟全量數(shù)據(jù)上傳的遙測(cè)Agent。很多商業(yè)SDK和監(jiān)控探針為了收集產(chǎn)品運(yùn)行數(shù)據(jù)默認(rèn)會(huì)把各種指標(biāo)、調(diào)用鏈、心跳上報(bào)到廠商的云平臺(tái)這在邊緣工業(yè)場(chǎng)景里既有數(shù)據(jù)合規(guī)風(fēng)險(xiǎn)也占用寶貴的上行帶寬。選型時(shí)一定要問清楚這個(gè)Agent能不能完全關(guān)閉遙測(cè)上傳不能的話即使功能再好也要慎重。3. 落地設(shè)計(jì)的四個(gè)核心決策本地閉環(huán)、守護(hù)、上報(bào)與升級(jí)選好了裝什么之后落地階段才是真正容易翻車的地方。同樣是裝了Agent有人用下來很穩(wěn)定有人三天兩頭出問題差別幾乎都出在“設(shè)計(jì)邏輯”上。我自己做邊緣網(wǎng)關(guān)管理時(shí)會(huì)圍繞四個(gè)核心決策反復(fù)推敲本地閉環(huán)、守護(hù)方式、上報(bào)策略、升級(jí)回滾機(jī)制。這四個(gè)決策定了Agent層面基本就穩(wěn)了。3.1 決策一Agent自身的守護(hù)策略必須獨(dú)立且可自愈每個(gè)運(yùn)行在網(wǎng)關(guān)上的Agent都得有自己的守護(hù)機(jī)制不能依賴另一個(gè)Agent來守護(hù)它。這是個(gè)很反直覺的點(diǎn)因?yàn)楹芏啾O(jiān)控方案里AgentA掛了也會(huì)被AgentB發(fā)現(xiàn)并告警但AgentB掛了誰來守護(hù)你總不能為了守護(hù)Agent再裝一個(gè)AgentC吧。實(shí)際上最合適做守護(hù)的是操作系統(tǒng)級(jí)的service manager在Linux系統(tǒng)上就是systemd。我給每類Agent都寫一個(gè)獨(dú)立的systemd服務(wù)單元配置RestartalwaysRestartSec5WatchdogSec也根據(jù)需要啟用。這樣即便Agent進(jìn)程崩潰5秒后系統(tǒng)自動(dòng)拉起全程不需要人工介入。還有一個(gè)小細(xì)節(jié)要給Agent進(jìn)程設(shè)置合理的內(nèi)存限制和服務(wù)優(yōu)先級(jí)。通過systemd的MemoryMax參數(shù)可以給每個(gè)Agent設(shè)置內(nèi)存上限防止某個(gè)Agent異常增長(zhǎng)時(shí)拖垮整個(gè)網(wǎng)關(guān)。LimitNOFILE這一類文件句柄數(shù)限制也要同步調(diào)大否則長(zhǎng)期運(yùn)行后Agent會(huì)因句柄耗盡而掛掉。守護(hù)策略建好之后一定做一次“殺進(jìn)程測(cè)試”手動(dòng)kill掉Agent主進(jìn)程看它能不能在5秒內(nèi)自動(dòng)恢復(fù)。每次升級(jí)完Agent后這步都要重新做一遍。你在現(xiàn)場(chǎng)遇到“Agent神秘失蹤業(yè)務(wù)看起來正常但指標(biāo)沒了”這種問題多半就是守護(hù)配置沒配好或者升級(jí)后服務(wù)被disable了沒被發(fā)現(xiàn)。3.2 決策二核心告警規(guī)則必須本地化計(jì)算邊緣要能獨(dú)立決策這是一個(gè)很多人沒有仔細(xì)想過的點(diǎn)。邊緣網(wǎng)關(guān)的管理Agent只負(fù)責(zé)把數(shù)據(jù)傳回中心告警判定完全依賴中心平臺(tái)一旦中心平臺(tái)或者網(wǎng)絡(luò)出現(xiàn)問題邊緣側(cè)沒有任何局勢(shì)感知和應(yīng)對(duì)能力現(xiàn)場(chǎng)的隱患就會(huì)在沉默中發(fā)酵。我的做法是在網(wǎng)關(guān)本地部署一個(gè)輕量的規(guī)則引擎把“關(guān)鍵指標(biāo)越界”“關(guān)鍵進(jìn)程掉線”“磁盤接近打滿”這些最核心的告警規(guī)則寫在本地。斷網(wǎng)時(shí)本地規(guī)則照常工作告警先落在本地緩存文件里網(wǎng)絡(luò)恢復(fù)后補(bǔ)傳到中心。這樣做不是要替代中心告警平臺(tái)而是要給關(guān)鍵場(chǎng)景兜底確保網(wǎng)絡(luò)抽風(fēng)的時(shí)刻異常情況至少不會(huì)完全瞞報(bào)。本地規(guī)則一定要精簡(jiǎn)只能覆蓋最關(guān)鍵、最基礎(chǔ)的場(chǎng)景。如果一個(gè)本地告警規(guī)則表有幾十條甚至上百條規(guī)則維護(hù)成本會(huì)變得很高反而容易出問題。我的習(xí)慣是本地最多放5到8條基礎(chǔ)告警規(guī)則比如CPU使用率超過95%、內(nèi)存剩余不足10%、磁盤使用率超過85%、核心Agent進(jìn)程掉線這類。再復(fù)雜的業(yè)務(wù)規(guī)則一律放到中心側(cè)做本地只負(fù)責(zé)保命。3.3 決策三數(shù)據(jù)上報(bào)必須可控先緩存、壓縮再補(bǔ)傳邊緣網(wǎng)關(guān)的Agent上報(bào)數(shù)據(jù)時(shí)默認(rèn)的“實(shí)時(shí)上傳”模式常會(huì)帶來兩個(gè)問題上行帶寬被占滿影響業(yè)務(wù)或者斷網(wǎng)重連后大量積壓數(shù)據(jù)一下子全部涌出瞬間又堵死帶寬。所以我習(xí)慣在每類Agent里都加上一層數(shù)據(jù)緩存機(jī)制。采集到的數(shù)據(jù)先落本地緩存再按照設(shè)定的間隔批量上報(bào)。上報(bào)間隔我一般設(shè)在30秒到60秒具體取決于數(shù)據(jù)的重要程度核心狀態(tài)指標(biāo)30秒日志數(shù)據(jù)60秒。上報(bào)時(shí)啟用壓縮對(duì)于文本日志和JSON指標(biāo)這類可壓縮性很高的數(shù)據(jù)gzip或者zstd壓縮之后體積能縮減70%以上上行帶寬壓力瞬間就小了。斷網(wǎng)期間的數(shù)據(jù)持久化到本地磁盤網(wǎng)絡(luò)恢復(fù)后按既定節(jié)奏補(bǔ)傳不允許一次全量補(bǔ)完。補(bǔ)傳過程也要有帶寬限速比如通過Token bucket限制平均速率防止補(bǔ)傳流量擠占業(yè)務(wù)數(shù)據(jù)的正常傳輸通道。這步配置完成的標(biāo)準(zhǔn)是模擬斷網(wǎng)2小時(shí)恢復(fù)后Agent能在5分鐘內(nèi)無人工干預(yù)完成補(bǔ)傳且不產(chǎn)生數(shù)據(jù)丟失不造成帶寬打滿。3.4 決策四Agent升級(jí)和回滾必須自動(dòng)化且可驗(yàn)證邊緣場(chǎng)景里Agent升級(jí)是個(gè)高危操作。如果你用“手動(dòng)SSH登錄然后下載包解壓覆蓋重啟服務(wù)”的流程在幾十臺(tái)網(wǎng)關(guān)上做一遍不僅累而且極易出現(xiàn)部分成功、部分失敗的狀態(tài)一旦版本不一致后面的排查會(huì)讓你崩潰。我的經(jīng)驗(yàn)是Agent升級(jí)走自動(dòng)化配置管理通道不用手動(dòng)登錄。Ansible在這里繼續(xù)發(fā)揮作用定義好目標(biāo)版本號(hào)先取一部分網(wǎng)關(guān)做灰度確認(rèn)穩(wěn)定后再推剩余設(shè)備。每次升級(jí)前必須備份當(dāng)前Agent的二進(jìn)制、配置文件和目錄結(jié)構(gòu)到指定路徑并留下版本標(biāo)記這樣回滾時(shí)直接指定舊版本就可以一鍵恢復(fù)。升級(jí)后在每臺(tái)網(wǎng)關(guān)上自動(dòng)執(zhí)行一次健康檢查腳本驗(yàn)證Agent進(jìn)程是否正常、API是否響應(yīng)、采集數(shù)據(jù)是否在持續(xù)產(chǎn)生、日志有沒有報(bào)錯(cuò)。只有全部通過的設(shè)備才被標(biāo)記為升級(jí)成功失敗的自動(dòng)觸發(fā)回滾流程。這套邏輯第一次搭建要花點(diǎn)時(shí)間但后面每次Agent升級(jí)都能把人工成本和風(fēng)險(xiǎn)降到最低性價(jià)比很高。4. 實(shí)際落地的分步操作從分組規(guī)劃到驗(yàn)證清單前面的章節(jié)講清楚了“該裝什么”和“核心決策怎么做”這一節(jié)我按實(shí)際操練的節(jié)奏把完整落地過程拆成幾個(gè)階段每個(gè)階段給你可以直接照抄的動(dòng)作。這里我用Telegraf Filebeat Ansible這個(gè)組合作為樣例這也是我在大多數(shù)工業(yè)邊緣項(xiàng)目里的標(biāo)準(zhǔn)選擇。4.1 第1步盤點(diǎn)網(wǎng)關(guān)硬件資源為每臺(tái)設(shè)備寫“資源檔案”有不少人落地Agent之前不做資源盤點(diǎn)憑感覺給所有網(wǎng)關(guān)上一套相同的配置這是踩坑的源頭。邊緣網(wǎng)關(guān)品牌雜、型號(hào)多同樣叫“邊緣網(wǎng)關(guān)”硬件配置差距可以很大。有的設(shè)備是4G內(nèi)存的低功耗ARM板有的是16G內(nèi)存的x86迷你主機(jī)統(tǒng)一配置必然顧此失彼。我的習(xí)慣是先做資源盤點(diǎn)把每臺(tái)網(wǎng)關(guān)的CPU型號(hào)、核心數(shù)、內(nèi)存大小、磁盤剩余空間、系統(tǒng)版本、已部署業(yè)務(wù)組件、開放端口全部記錄成一張清單形成“資源檔案”。然后按配置把網(wǎng)關(guān)分成幾個(gè)檔次比如低配組CPU小于4核或內(nèi)存小于4G、標(biāo)準(zhǔn)組4核8G、高配組8核以上或16G內(nèi)存。不同檔次分別制定Agent的資源配額和采集頻率低配組采集間隔可以放到60秒日志采集只保留業(yè)務(wù)核心目錄標(biāo)準(zhǔn)組用30秒默認(rèn)值高配組則可以增加一些額外的性能指標(biāo)采集。沒有這份資源檔案做基礎(chǔ)后續(xù)所有的安裝配置都是盲人摸象。尤其是當(dāng)網(wǎng)關(guān)數(shù)量超過50臺(tái)時(shí)沒有檔案幾乎沒法做批量規(guī)劃。4.2 第2步統(tǒng)一基礎(chǔ)環(huán)境初始化systemd服務(wù)模板在安裝具體Agent之前先把每臺(tái)網(wǎng)關(guān)的基礎(chǔ)環(huán)境統(tǒng)一好。這一步省掉后面各種環(huán)境依賴問題會(huì)讓你欲哭無淚。主要包含四項(xiàng)統(tǒng)一時(shí)區(qū)并配置時(shí)間同步邊緣網(wǎng)關(guān)如果不方便訪問外網(wǎng)NTP就自建一個(gè)內(nèi)網(wǎng)NTP服務(wù)器避免各設(shè)備時(shí)鐘漂移導(dǎo)致日志時(shí)間對(duì)不上。調(diào)整系統(tǒng)文件句柄限制在/etc/security/limits.conf中為Agent進(jìn)程放開句柄數(shù)否則長(zhǎng)時(shí)間運(yùn)行可能觸發(fā)“too many open files”。創(chuàng)建獨(dú)立的運(yùn)行用戶比如monitor用戶Agent進(jìn)程統(tǒng)一用這個(gè)用戶運(yùn)行避免直接使用root權(quán)限也方便做權(quán)限審計(jì)。檢查systemd版本并確認(rèn)服務(wù)模板語法兼容避免在舊系統(tǒng)上用了新版的systemd參數(shù)導(dǎo)致服務(wù)單元加載失敗。這三項(xiàng)都完成后把寫好的systemd服務(wù)模板比如telegraf.service、filebeat.service的單元文件批量下發(fā)到每臺(tái)網(wǎng)關(guān)。服務(wù)模板要注意先用systemd-analyze verify驗(yàn)證語法再啟動(dòng)服務(wù)。4.3 第3步按“最小夠用”原則安裝Agent安裝Agent本身不復(fù)雜但每臺(tái)網(wǎng)關(guān)裝哪些Agent裝的時(shí)候用什么參數(shù)需要在第1步資源檔案基礎(chǔ)上做差異化選擇。低配組只裝兩個(gè)Agent一個(gè)是Telegraf做資源采集和基礎(chǔ)告警一個(gè)是Filebeat做業(yè)務(wù)日志采集。這兩個(gè)是必須的再多一個(gè)都可能擠占業(yè)務(wù)資源。標(biāo)準(zhǔn)組在低配基礎(chǔ)上增加Node Exporter用于向中心Prometheus單獨(dú)暴露更細(xì)粒度的硬件指標(biāo)。高配組可以按需增加一個(gè)腳本型探活A(yù)gent比如定期檢查關(guān)鍵TCP端口和業(yè)務(wù)進(jìn)程狀態(tài)和Ansible的local執(zhí)行環(huán)境。裝好之后的通用規(guī)則是Agent安裝包統(tǒng)一放在/opt/monitor/agents/目錄下按Agent名稱分文件夾存放每個(gè)目錄下有VERSION文件記錄版本號(hào)。這不僅方便管理升級(jí)回滾時(shí)也一目了然——你永遠(yuǎn)知道每臺(tái)網(wǎng)關(guān)當(dāng)前跑的是哪個(gè)版本。4.4 第4步配置拆分離散杜絕“一個(gè)月前改過什么都查不到”Agent配置管理有一個(gè)反直覺的經(jīng)驗(yàn)不要把全部配置放在一個(gè)配置文件里。以Telegraf為例它的配置文件又長(zhǎng)又繞輸入、輸出、處理器全部混在一起時(shí)改動(dòng)一個(gè)間隔參數(shù)都要小心翼翼生怕影響其他模塊。我習(xí)慣把配置做成層級(jí)結(jié)構(gòu)主配置只負(fù)責(zé)全局參數(shù)如主機(jī)名、采集間隔、輸出地址業(yè)務(wù)相關(guān)的輸入和規(guī)則拆到單獨(dú)的配置片段里通過Telegraf的配置文件目錄機(jī)制自動(dòng)加載。Filebeat同理系統(tǒng)級(jí)配置放在主配置文件里業(yè)務(wù)日志采集路徑拆到單獨(dú)的文件中并且明確標(biāo)注每一段配置的業(yè)務(wù)歸屬和責(zé)任人。這樣每次變更都有據(jù)可查回滾時(shí)也只需要恢復(fù)對(duì)應(yīng)的配置片段不需要整體覆蓋。配置下發(fā)必須走自動(dòng)化通道禁止在網(wǎng)關(guān)本地直接手改配置文件。改了的后果就是下一輪批量下發(fā)把手動(dòng)配置覆蓋掉然后你會(huì)在凌晨?jī)牲c(diǎn)接到“怎么配置又變回去了”的投訴電話。4.5 第5步跑完一份驗(yàn)證清單再放行Agent裝完不是“服務(wù)狀態(tài)是active”就算結(jié)束我一直用一份驗(yàn)證清單做雙人復(fù)核。以下幾點(diǎn)是我每一批網(wǎng)關(guān)上線前都必須逐臺(tái)確認(rèn)的進(jìn)程狀態(tài)檢查所有Agent進(jìn)程狀態(tài)都是active且systemd重啟策略已生效。內(nèi)存占用檢查全部Agent進(jìn)程總內(nèi)存占用符合該網(wǎng)關(guān)檔位的預(yù)設(shè)配額超出立即排查。數(shù)據(jù)鏈路檢查中心平臺(tái)能查到該網(wǎng)關(guān)最近5分鐘內(nèi)的最新指標(biāo)數(shù)據(jù)。日志鏈路檢查日志采集通道中能看到該網(wǎng)關(guān)持續(xù)產(chǎn)生的新日志記錄。斷網(wǎng)模擬檢查斷開上行網(wǎng)絡(luò)30分鐘確認(rèn)Agent不崩潰、本地緩存增長(zhǎng)、規(guī)則告警能觸發(fā)、恢復(fù)后能自動(dòng)補(bǔ)傳。回滾驗(yàn)證檢查執(zhí)行一次Agent回滾演練確認(rèn)所有動(dòng)作可自動(dòng)完成且不影響業(yè)務(wù)數(shù)據(jù)。最后一條特別重要。很多人上線前不做回滾演練真出問題時(shí)才發(fā)現(xiàn)回滾腳本里有各種坑。回滾演練就像消防演習(xí)演習(xí)過一次心里有底沒演習(xí)過就賭運(yùn)氣吧而邊緣場(chǎng)景里賭輸?shù)拇鷥r(jià)可能是一臺(tái)網(wǎng)關(guān)徹底失聯(lián)。5. 上線后最常見的幾個(gè)坑和我的排查思路Agent落地只是開始真正考驗(yàn)功力的是后續(xù)這幾個(gè)月里的“穩(wěn)定運(yùn)行”。我把自己踩過和幫別人排查過的高頻問題集中整理了一下這幾個(gè)坑在邊緣場(chǎng)景里出現(xiàn)概率極高提前排查一遍能幫你省掉大量現(xiàn)場(chǎng)出差。5.1 坑一Agent證書靜默過期數(shù)據(jù)通道突然中斷邊緣網(wǎng)關(guān)上很多Agent和中心平臺(tái)通信都走TLS加密證書通常設(shè)置一年或更久有效期。問題在于Agent很少會(huì)做證書到期檢查到期之后它不會(huì)報(bào)“證書過期”錯(cuò)誤而是通過TLS握手失敗默默退出看起來就像Agent進(jìn)程正常但數(shù)據(jù)就是傳不上去。這個(gè)問題的排查思路是中心平臺(tái)長(zhǎng)時(shí)間收不到某網(wǎng)關(guān)數(shù)據(jù)時(shí)不要只看Agent進(jìn)程狀態(tài)一定要看Agent日志中是否有TLS相關(guān)報(bào)錯(cuò)。預(yù)防方案我強(qiáng)烈建議直接在Ansible里加一個(gè)定時(shí)任務(wù)每月批量檢查每臺(tái)網(wǎng)關(guān)Agent證書的到期時(shí)間提前30天自動(dòng)告警。證書到期前一個(gè)月就完成替換基本不會(huì)被這個(gè)問題肛了措手不及。5.2 坑二網(wǎng)關(guān)時(shí)鐘漂移導(dǎo)致日志時(shí)間線錯(cuò)亂邊緣網(wǎng)關(guān)長(zhǎng)時(shí)間在線但很多沒有接NTP或者NTP源不可達(dá)時(shí)鐘漂移會(huì)越來越明顯輕則日志時(shí)間戳與中心平臺(tái)對(duì)不上重則導(dǎo)致TLS證書的起始時(shí)間校驗(yàn)失敗Agent直接拒絕連接。這屬于那種“平時(shí)感覺不到出了問題半天找不到根源”的隱性問題。排查這類問題的第一步不是懷疑Agent配置而是先看系統(tǒng)時(shí)間是否正確。我在每臺(tái)網(wǎng)關(guān)上部署了時(shí)間同步腳本每5分鐘做一次帶漂移量的時(shí)間檢查漂移超過閾值就自動(dòng)校準(zhǔn)并且把校準(zhǔn)記錄寫入本地日志。All these costs are low但能避免后面很多詭異問題。如果你的網(wǎng)關(guān)數(shù)量比較大又對(duì)時(shí)間精度有硬性要求建議在本地網(wǎng)段自建一個(gè)可靠的NTP時(shí)間源同步延遲做到最低。5.3 坑三Agent依賴互相綁架一個(gè)升級(jí)全盤震蕩邊緣場(chǎng)景最怕的是Agent之間的隱性依賴。比如你的采集Agent依賴某個(gè)版本的Python解釋器配置管理工具又依賴另一個(gè)版本結(jié)果你用Ansible升級(jí)系統(tǒng)包時(shí)順手把Python替換了采集Agent直接所有插件全部加載失敗。這種問題往往不是Agent本身的問題而是環(huán)境被動(dòng)了手腳。我的建議是盡量選用靜態(tài)編譯的Agent二進(jìn)制Go語言寫的Agent天然有優(yōu)勢(shì)不依賴系統(tǒng)動(dòng)態(tài)庫和特定解釋器版本。如果實(shí)在要用Python生態(tài)的Agent務(wù)必為它創(chuàng)建獨(dú)立的虛擬環(huán)境并鎖定依賴版本禁止和系統(tǒng)Python混用。同時(shí)Ansible的playbook里所有包升級(jí)操作都要用tags精確控制范圍絕不能有一行裸的“upgrade all”這種操作出現(xiàn)。5.4 坑四日志小文件刷爆磁盤Agent變成“幫兇”邊緣網(wǎng)關(guān)上的業(yè)務(wù)系統(tǒng)如果是一個(gè)持續(xù)輸出短日志的服務(wù)比如每幾秒寫一條狀態(tài)日志日志文件輪轉(zhuǎn)配置又沒做的話積累幾個(gè)月真的能把128G的固態(tài)盤寫滿。而采集Agent本身不會(huì)幫你清理日志它只負(fù)責(zé)搬運(yùn)垃圾堆積的速度還被它放大——這種情況下Agent不但沒起到管理作用反而加重了存儲(chǔ)壓力。這個(gè)坑的預(yù)防要從兩層入手。第一層是日志產(chǎn)生側(cè)業(yè)務(wù)日志必須配置logrotate按大小和周期雙向輪轉(zhuǎn)保留5個(gè)文件以下寫入的日志級(jí)別也要合理控制。第二層是Agent采集側(cè)Filebeat配置里要設(shè)置harvester超時(shí)和關(guān)閉非活躍文件的句柄。通過ignore_older參數(shù)可以讓Agent不再盯住很久沒更新的舊文件不放釋放句柄資源。現(xiàn)場(chǎng)排查這類問題最快的路徑是先df -h看哪些分區(qū)滿了再du -sh按目錄排查大文件來源。一旦確認(rèn)是日志文件刷盤先清理存量再補(bǔ)輪轉(zhuǎn)配置同時(shí)檢查Agent采集范圍是否把無關(guān)目錄也納入了采集列表。6. 最后一公里上線演進(jìn)中的實(shí)際操作體會(huì)落地之后Agent體系的運(yùn)維不是“一成不變”而是會(huì)隨著業(yè)務(wù)演進(jìn)不斷調(diào)整。這個(gè)過程中有一些很實(shí)操的體會(huì)值得分享。第一Agent配置的梳理要納入日常巡檢內(nèi)容。每季度檢查一次Agent清單凡是連續(xù)30天日志無新增、中心無數(shù)據(jù)上報(bào)的Agent一律先停用再觀察確認(rèn)業(yè)務(wù)無感知后直接下線。邊緣網(wǎng)關(guān)的資源是珍貴的一個(gè)“僵尸Agent”不僅白白消耗資源還會(huì)在故障排查時(shí)干擾你的判斷你以為它還在工作其實(shí)它早就失聯(lián)。第二新增Agent要走“臨時(shí)驗(yàn)證-灰度放開-正式固化”三步流程。不要一上來就全量部署先在隔離網(wǎng)絡(luò)里跑幾天觀察資源占用和日志情況再選一臺(tái)低風(fēng)險(xiǎn)網(wǎng)關(guān)作為灰度穩(wěn)定運(yùn)行一兩周后再通過配置管理通道批量推送。邊緣場(chǎng)景的Agent變更最忌諱“一步到位”出了問題連回退機(jī)會(huì)都沒有。第三每次Agent變更都要同步更新網(wǎng)關(guān)檔案。我在實(shí)際運(yùn)維中發(fā)現(xiàn)真正導(dǎo)致Agent管理混亂的往往不是技術(shù)問題而是記錄沒跟上。今天手動(dòng)改了A網(wǎng)關(guān)的端口明天改了B網(wǎng)關(guān)的采集頻率檔案里沒更新一周后排查問題就得靠猜。把“變更必更新檔案”變成鐵律長(zhǎng)期來看能省下大量排查成本。第四建一條能直達(dá)每一臺(tái)邊緣網(wǎng)關(guān)的安全運(yùn)維通道。我在前面推薦了SSH密鑰加跳板機(jī)的方式實(shí)踐中還要在網(wǎng)關(guān)上再設(shè)置一個(gè)systemd防火墻規(guī)則只允許來自運(yùn)維網(wǎng)段的SSH連接其余一律拒絕。這樣就算網(wǎng)關(guān)暴露在較寬的網(wǎng)絡(luò)上也不至于被隨意訪問。邊緣網(wǎng)關(guān)上的管理Agent說到底是一套“克制”的工程。選型要克制不能什么都往里裝設(shè)計(jì)要克制不能把中心機(jī)房的復(fù)雜度原樣搬到邊緣運(yùn)維也要克制能用自動(dòng)化完成的就不要手動(dòng)碰。按照這套思路落地我已經(jīng)在多個(gè)項(xiàng)目里穩(wěn)定運(yùn)行了近兩年再也沒有出現(xiàn)過開頭那種“一晚上內(nèi)存飆到頂”的窘?jīng)r。如果你正在規(guī)劃邊緣網(wǎng)關(guān)的管理方案希望這些經(jīng)驗(yàn)?zāi)軒湍闵僮邘撞綇澛贰?
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
深爱五月综合网| 伊人久久婷婷五月天激情四射| 久久免片| 日日干天天爽| 久色中文| 伊人春天av| 99九九这里有免费视频| 99免费在线视频| 五月天综合视频网| 99福利视频| 另类 在线| 久久久天堂国产精品女人| 五月丁香婷婷俺| 久9视频| 激情五月婷婷综合网| 综合99久久天天综合| 中文字幕永久在线| 五月激情啪啪啪| 亚洲妇女熟BBW| 97超碰在线免费观看| 深爱婷婷色| 热久国产| 欧美97色| 97干在线视频| 99热在线播放| Av大香蕉| 日本99热| 婷婷伊人綜合中文字幕| 色情综合| 婷婷色激情网| 五月激情精品视频| 九九视频精品视频精品| 天天爱天天做综合| www.思思99热| 婷婷十月丁香| 激情五月综合网最新| 免费国产VA国产免费| 天堂综合久| 婷婷日韩| 欧美久人人| 婷婷九月久久| 亚洲第一av| jiujiuxiangjiaowang| 开心五月激情网| 久久久婷婷婷| 六月丁丁香| 婷婷伊人久久| 激情深爱五月天| 爱射综合| 黄桃AV无码免费一区二区三区| 五月丁香婷中文| 丁香五月成人网| 婷婷五月天在线观看第二页| 直接看的av| 婷婷香五月综合激情| 丁香五月成人论坛| 97干资源在线观看| 成人网在线视频| 一起草aV| 色啪影院| 亚洲性图一区二区| 五月婷婷五月| 激情综合网五月婷婷| 亚洲另类电影| 免费看欧美成人A片无码| 亚洲综合五月天婷婷丁香| 色播播五月天| www.婷婷激情网.com| 亚洲六月综合激情久久下卡| 极品另类| 99噜噜噜在线播放| 99色看| 人妻久久久久久久久妻久久久久| 激情丁香图片| 色欲色香综合网| 伊人99热| 久久九九思思| 操99| 五月天基地| 色亭亭五月天丁香综合AV - 百度 - 百度| www.91九色| 欧美久久婷婷| 欧美97超碰| 人妻操日日| 色9月| 久久狠狠干| 99精品热视频| 五月天婷a| 新伍月婷婷| 婷婷成年人免费视频| 激情综合色图| 97色综合视频| 人人色性网| 激情综合色| 五月丁香婷婷免费视频| 无码少妇高潮喷水A片免费| 日本二级毛片二级毛片| 人妻综合网| 天天上天天爽| 免费婷婷| 二区成人视频| 久久婷婷六月综合资源| 丁香色综合| 熟女人妻视频| AV色五月婷婷| 激情久久久久久久久| 五月丁香人妻| 免费人人操| 色色色欧美| 国产五月婷| 综合色影院| 天天综合精品| 大香蕉520| 影音先锋人妻出差| 欧美成人在线观看| 色五月亚洲五月天| 99无码视频| 婷婷六月天| 婷婷六月丁香开心深深爱| av操一操| 激情涩播| 婷婷激情鹿城五月天| 日本爆乳片手机在线播放| 人人摸人人干| 五夜婷婷| 五月色色色| 超碰免费人人肏| 91久久婷婷| 五月天综合婷婷| 丁香六月婷婷| 青草性爱视频| 99操视频| 清色五月天| 日本久久网| 97五月天婷婷综合激情网| 天天插天天干天天舔| 亚洲免费99| 男人大jjc女人免费视频| 久9视频| 丁香五月婷婷在线观看| 综合99在线| 秋霞网在线观看理论91| 无码AV久久久久久久久| 插少妇综合网| 色欲AVV| 91精品电影18T| 99热精品在线播放| 亚洲性受XXXX五月丁香| 天天插天天干| va婷婷在线免费观看| 婷五月丁香俺| 国产毛片精品一区二区色欲黄A片| 97碰碰视频在线观看免费| 婷婷射丁香| 99热爆在线| www.99热视频在线观看| 97精品人人A片免费看| 狠狠搞五月天| 国产精品99久久久久久久女警| 久久婷婷亚洲| 嫩草AV久久伊人妇女超级A| 九九热黄色| 99热青青草| 日本3级片一区2区| 午夜免费试看| 思思视频这里是精品| 九九热精品在线| 国产超碰在线| 日本黄色一级| 日本爆乳片手机在线播放| 色九九一二| 思思热99热| www.色情五月天.com| 久久天天| 草操网| 麻豆WWWCOM内射软件| www.久久66| 一区=区操屄高清大全av| 国产精品国产| 五月伊人视频在线看| 婷婷亚洲综合| 婷婷五月六月| 国产精品久久久99视频| 精品9l九九九九九77777| 色亚洲激情| 很很色丁香久久停停| 类似婷婷激情综合网站| 六月亚洲婷婷6月中文字幕| 亚洲午夜AV| 欧美97p| 婷婷六月成人| 超碰在线成人| 在线综合网| 色婷婷免费观看| 亚洲综合色网| 综合网啪| 日批在线看| 涩玖玖免费视频| 九九精品99| 日本天天综合| 久9免费视频| 丁香六月婷婷| 婷婷丁香五月激情密臀av| 99免费综合网| 婷婷综合日本| 伊人狼人干| 国产激情在线| 天天看夜夜看| 亚洲婷婷开心五月| 丁香五月色色| 91久久久久久久久久| 天天插天天插天天插天天插 | 激情综合六月| 色情·com| 久久99jiu9| 五月丁香婷婷基地| 99亚洲视频| 丁香五月婷婷啪| 岛国午夜视频| 欧美在线ee日韩| 久99热| 五月丁香欧美在线| 天天色五月| 中文字幕精品在线观看| 奇米四色五月天| 色噜噜狠狠色综合日日| av在线观看网站| 五月天狠狠干| 日韩六六久久电影| 伊人婷婷激情| 五月丁香六月婷婷不卡免费无码| 91操碰| 婷婷五月综合色中文字幕| 免费观看18视频网站| 天天综合五月| AV在线免费网站| 五月色天情| 草美女在线观看视频在线播放| 91人人操| 69久久99精品久久久久婷婷| 91精产一区三区免费观看| av操逼网| 婷婷在线日韩综合| 99热10在线高清播放| 婷婷丁香五月综合| 日日夜夜狠狠| 怎么样可以看免费的一级av| 亚洲V国产V欧美V久久久久久| 婷婷五月色情天| 91se在线观看| 日韩色久| 久久ab| 日本色久| 爽极品色| 26uuu在线观看| 婷婷六月色| 色欲天天综合| 天天日天天舔| 色综合久久之分久久| 全部老头和老太XXXXX| 久99热| 婷婷综合激情| 午夜天堂一区人妻| 91操黄| 国产五月视频| 狠狠色狠狠爱| 色吧综合网| 五月丁香婷婷综合| 深爱五月天 开心网| 欧美色色色| 一级二级香港秋霞欧美欧美秋霞| www.99热这里精品| 五月丁香婷婷色色| 国产亚洲精品久久久久久郑州| 嫩BBB槡BBBB搡BBBB| 亚洲亚洲人成综合网络| 99热很操老逼| 91操人| 亚洲精品五十一区| 婷婷丁香五月高清| 色五月激情综合网| 五月婷婷啪啪啪啪| 亚洲成人网站在线播放| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 久久性都花花世界成人免费视频| 光棍影院日韩精品| 亚洲五月丁香综合网| 色五月久久成人婷婷| 婷婷五月丁香色情| 在线成人网址| 久久99人人| 色色色色色色五月婷婷| 天天弄天天爽| 91精品久久久久久综合五月天| 99热这里只有精品4| www.久久久.com| 激情五月天丁香| 97午夜一区二区| 亚洲XX网| 欧美性色五月天| 丁香色五月婷婷| 亚洲色啪| 伊人综合婷婷| 久久99久久99精品免视看婷婷| 99日这里只有精品| 丁香五月天婷婷激情| 99re欧美精品| 99久久久| 天天综合精品| 激情综合网激情五月婷婷| A1片久久| 九九久久视频| 免费视频无码| 色婷婷久久综合| 熟女五月天久久综合| 深爱激情五月婷婷| 国产精产国品一二三在观看| 91丨九色丨43老版熟女| 亚洲五月天激情| 久久er99热精品一区二区| 91久久九九| 丁香五月婷婷五月天在线| 99亚洲色色| 狠狠色成人影片| 婷婷九九色| 国产1区2区3区在线观| 深情五月天| 九九香蕉网| 亚洲AV第二区国产精品| 婷婷五月美女直播| 色婷婷成人色网| 久久婷婷五月天激情新地址| 日本天堂免费99| 婷婷不干网| 天天做天天爱天天爽夜夜揉| 丁香六月啪啪啪| 久久密臀婷婷| 婷婷开心激情综合五月天| 69精品人人人人| 99干在线| 婷婷婷婷婷开心无码播放| 九九在线精品| 亚洲性图一区二区三区| 五月天激情婷婷| 狠狠人妻色综合| 色五月丁香五月天| 欧美123区免| 久热只有这里精品| 99超级超级超级碰| 婷婷基地爱| 色无婷婷| 婷婷五月天综合小说网| 色级婷婷| 五月天天天天天天天天天天天天天天天婷婷婷| 中文字幕五月久久婷婷| 99热网站| 99热在线资源| 久久亚洲婷婷| 亚洲精品色色| 免费看欧美成人A片无码| 中美日韩成人在线| 天天狠狠夜夜狠狠2023| 美妞av| 99久在线精品99re8热| aa久久| 九色七七| 天天射影| 国产精产国品一二三在观看| 婷婷丁香五月天亚洲| 亚洲深喉aV| 丁香五月瑟瑟| 无码字幕中文| 色五月五月婷婷| 亚洲色图81p| 婷婷五月花| 成人网在线视频| 色色五月婷婷久久| 丁香六月色婷婷欧美| 六月激情婷婷| av在线色五月丁香婷区久| Av中文在线| 婷婷狠狠干| 六月丁香婷婷色狠狠久久| 夜夜躁婷婷AV| WWW丁香五月| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 国产精自产拍久久久久久蜜| 亚洲欧州色情在线观看| 成人网站免费在线播放| 99国产精品久久久久久久久久久| 开心婷婷五月中文字幕组| 久久久精品99| www五月| 五月在在观看| 色色婷婷丁香五月天| 99热在线精品播放| 人妻熟妇六区| 成人网站免费在线播放| 国产精产国品一二三在观看| 婷婷五月天网| 久久er九九| 五月天婷婷网站| 婷婷射图| 亚洲色A| 久大香蕉| 亚洲丁香花五月丁香花| 六月丁香久久| 99热这里有精力| 九九99九九99九九99视频网| 万月丁香狠狠爱| 婷婷五月综合体验看| 性韩日色婷婷五月天激情啪啪XXX| 无码激情AAAAA片-区区| 大香蕉网站,大香蕉综合| 99视频地址| 嫩草哈哈操| AV中文在线| 草做免费在线观看| 少妇丁香婷婷 | 99热综合| 丁香婷婷五月综合色情| 丁香五月亚综合图片| 色婷婷在线播放| 五月丁香综合色婷婷| 超碰二区| 丁香五月婷综合网| 狠狠色狠狠色综合日日91| 无码髙清| 91日综合欧美| 狠狠噪| 九九综合九九| 婷婷干五月综合在线播放| 极品色丁香| 五月婷婷,六月婷婷| 色999亚洲人成色| 性生活久久人妻| 狠狠色丁香五月婷巨| 91N 一起草| 天天干夜夜谢| 超碰人人干| 婷婷丁香五月天在线| 婷婷的99视频网站| 六月婷婷日| 99视频这里有精品| 成人日韩欧美| 亚洲AV免费在线| 五月婷婷丁香婷婷| 五月天婷婷丁香社区| 狠狠色综合网| 中字幕视频在线永久在线观看免费 | 99综合一区| 五月丁香六月综合情在线观看| 91人人人人人人人| 国产精品第一国产精品| 欧美精品XXXXBBBB| 亚洲综合色婷婷| 久色激情| www.99热视频| 婷婷操久久| 天天综合网网欲色| 色 五月俺去也| 久久婷婷五月国产色综合激情| 四季AV综合网| 婷婷综合偷拍| 五月婷婷丁香大陆免费| 99碰视频| 午夜丁香综合婷婷| 99福利导航| 九九热99在线视频| 97成人超碰免| 国产4P视频精品五区| 色婷婷综合丁香五月天| HD久久精品视频| 丁香六月婷婷操逼网| 色色欧美。| 香蕉AV福利精品导航| 激情伊人五月天| 五月丁香亚洲婷婷| 亚洲第一综合| 人人人操| 色丁香久久| 91九色网| 超碰av在线| 日韩aaa| 久久久久9| 色色色99| 亚洲中字AV电影在线网站| 六月成人网| 成熟妇人A片免费看网站| 亚洲色久| 8050一级网| 丁香婷婷激情四射五月| 国产精品人妻在线网址| 五月婷婷六月天| 九九热这里只有精品556| 超碰99在线观看| 久久久人妻人伦| 色情五月天视频网| 婷婷色欧美激情| 丁香六月婷婷一区二区三区| 九九热免费视频| 99热啪啪| 国产毛片欧美毛片久久久| 嫩草AV久久伊人妇女超级A| 六月丁花香啪啪激情欧美| 国产精产国品一二三在观看| 97超美国视频在线观看| 任我鲁这里有精品视频| 丁香伊人激情| 五月久久婷婷成人网| 激情啪啪五月| 91 欧美| 中文字幕高清av| 激情九色| ss99热| 日日干天天爽| 999热这里只有精品| 久久久精品婷婷五月天| www.日韩国产| 美女100%露全身无挡网站| 欧美25p| 五月天色区| 99riav 亚洲| 五月婷六月| 天天色天天爱天天舔| 99热色在线精品| 91久久精品无码一区二区三区| 丁香五月婷婷啪啪| 日韩在线观看亚洲| 呦呦v线| 99九九在线精品热动漫| 久久久婷婷五月天| 亚洲免费99| 色婷婷视频综合| 五月停亭六月,六月停亭的英语| 久久婷婷亚洲| 國語久久婷| 99热这里有精品2| 影音先锋一区二区三区| 第1影院之五月婷婷| 5月婷婷视频网站综合| 激情五月婷婷丁香综合网| 色噜噜狠狠插综合| 午夜少妇在线观看视频| 成人片在线播放| 九九九九九九九热| 国产精品18久久久| 97碰在线视频| 色五月丁香五月天| 久久九九Com| 色色无码日韩| www.黄色片-久久成人国产精品在线播放-999AV | 色婷婷狠| 色婷婷激情四射视频| 日欧一片内射VA在线影院| 开心五月婷婷婷美女| 久久精品视频9| 亭亭五月丁香五月天激情| 99ri国产精品| 天天插,天天射| 免费看欧美成人A片无码 | 五月婷俺去也| 五月丁香操婷逼| 久久一操| 天天干天天爽天天操| 欧美色五月| 亲子乱AV一区二区三区下载| 97碰人人操| 91男人资源站| 五月激激激情综合网| 亚洲日韩一页精品发布| 立川无码av| 五月婷婷大香蕉| 99色在线视频| 一级黄色影片| 久久99激情五月天| 欧美熟女乱又伦| 这里只有精品视频在线| 一夜福利不卡| 久热免费视频| 五月丁香六月欧美综合| 激情婷婷丁香| 婷婷五月天成人网站| 久草热8精品视频在线观看| 秋霞簧片| 91呦呦呦| 五月色色激情网| 亚洲av无码精品色午夜| 色九九九九| 亚洲成av人影院| 亚洲看av的网站| 国产精产国品一二三在观看| 婷婷久久五月| 成人综合网站| www激情网| 手机在线视频观看9| 亚州操人在线视频| 婷婷五月色情| 天天色粽合合合合合合合| 亭亭丁香aV| 国产看真人毛片爱做A片| 亚洲精品性色| 天堂五月婷婷| www99热| 狠色狠色狠色狠色狠色网| 国产精产国品一二三在观看| 亚洲最大五月六月丁香婷婷| 婷婷丁香九月| 五月花婷婷| 天天日夜夜草进麻麻的子宫| 久久国产高清| 这里只有精品视频免费在线观看| 色 丁香婷婷| 99re视频在线| 99热在线只有精品| 激情亚洲婷婷六月| 丁香五月激情啪| 囯产精品久久欠久久久久久九大| 99色在线观看| 99色天堂| 婷婷狠狠综合网入口| 久久综合影院 | 婷婷五月婷婷| 丁香婷婷免费| 免费超碰在线| 婷婷伊人网| 天天操人人干| 人人色婷婷五月天| 黄色AAAAAAA| 丁香五月天啪啪| 热的无码综合视频| 久久黄A片| 亚洲精品第一国产综合亚AV| 久久香蕉影院| 婷婷五月免费视频| 婷婷久久免费看| 狠狠色网| 久热精彩视频98| 9久久精品| 色综合综合色| 亚洲色色爱| 亚洲AV无码成人精品电影| 99精品亚洲| 色区域网站视频| 日本久久99| 99热热热国产超碰| 色狠狠色综合久久久绯色aⅴ影视| 亚洲五月停停| 99综合免费视频| 色婷婷av在线观看| 888久久久| 色六月 婷婷| 级情九色| 五月婷视频| 色色综合视频| 538久久| 五月六月婷婷激情网| 婷婷色色丁香| 五月天丁香色色| 欧美色色色| 婷婷六月啪啪| 国产精品VA在线| 99热这里只有精品最新网址| 色高清无码视频| 婷婷丁香在线| 五月天婷婷綜合院| 99资源在线| 色九九九综合| 九九色婷| 中国无码av| 欧亚成人A片一区二区| 五月婷婷影| 综合久久婷婷| 五月天综合久久| 五月天久久91| 色五月婷婷五月天| 99热这里只有精品9| 99热这里只有精品18| 久久这里只有精品视频1| 婷婷免费成人视频| 综合激情五月丁香| 五月天成人伊人| 99re这里只有精品免费| 久久五月婷综合网| 婷婷激情五月综合基地| www.狠狠狠.com| 九九爱看亚洲| 久久婷婷操| 中国激情网| 日日爱699| 色区域网站视频| 日日操天天| 久久人妻久久| 五月婷婷激情| 五月天婷婷成人网| 欧美日韩91| 日韩成人免费电影| 99热综合| 丁香婷婷欧美综合| 亚洲蜜乳AV| 久久久久久久8| 欧美啪啪9| 人妻性爱av网站| 亚州激情网| 六月丁香婷婷开心综合基地| www.26uuu.com亚洲电影| 这里只有精品免费视频在线观看| 九九热在线视频| 久久总和99| 久碰视频| 热婷婷av| 色99色| 欧美狠狠草| 99成人精品| 狠狠干狠狠干| 天天草天天爽| 九月丁香久久网| 久9免费视频| 天天色天天搡| 婷婷夜夜操| 性天堂久久| 性色五月天| 91干网站| 91成人视频| 99在线视频精品| 欧美五月婷婷| 综合五月婷婷| www.99精品视频| 欧美欧盟性爱网| 色婷婷五月中文字幕在线dvd| 9l视频自拍9l九色9l成人| 99热亚洲| 日韩视频女神99| 婷婷丁香六月五月天| 99re这里| 色色无码| 国产免费一区二区三州老师F1F1……| 日韩一区二区在线播放| 九九热在线视频观看| 午夜大香蕉| 51XX嘿嘿午夜无码| 日本激情ⅩXX免费视频| 天天插天天插| 亚洲色无码A片一区二区麻豆| 日本久久精品18| 99热网站在线观看| 99热这里只有精彩| 专区无日本视频高清8| 激情婷婷五月少妇| 日本 @ va 免费| 五月天六月色| 麻豆雪千夏| www.热99热| 激情五月小说婷婷| 99re热在线观看| 婷婷五月偷拍| 五月激情天| 久久99精品久久久久子伦| 久色中文| 欧美性猛交 XXXX 乱大交| 欧美啪啪9| 婷婷伊人网| 最近中文字幕2019视频1| 深爱激情中文五月天av| 天天爽天天操| 久久婷婷网址| 五月婷婷综合潮喷| 伊人综合网站| 99re久热只有精品6在线直播| 色婷婷丁香香香蕉视频| 午夜天堂一区人妻| 91色久| 色综合综合色| 亚洲黄3级片网站欧美| 在线1青婷| 丁香五月天成人| 婷婷五月天六月综合| 五月婷视频| 超碰猛烈的性猛交| 99熟女啪啪视频| 97精品综合久久内射| 开心色五月天久久久久久久| 九九九激情网| 色色色.COM| 午夜微拍福利| 综合九九| 激情婷婷。| 丁香五月激情无码视频| 丁香五月婷婷综合激情啪啪啪| 五月丁香婷婷激情在线| 日本视频久久| 久热这里只有精品视频6| av免费在线看不卡无毒| 玖玖资源网站最新站| 免费看欧美成人A片无码| 久久奄也去色色网站| 99热这里只有精品8| 婷婷五月丁香基| 免费视频WWW在线观看网站| 婷婷五月综合激情小说| 五月综合激情久久| 这里只有精品视频在线看| 九热av| 久久五月天激情| 色www.con| 99久在线| 深爱五月婷婷开心中文字幕| 欧美在线视频99| 久久久久99精品成人片| 9热超碰| 午夜五月天| 中美月韩免费A片| 丁香九月激情| 麻豆123区| 丁香五月天日韩无码| 女人被男人吃奶到高潮| 九色自拍| 91|疯狂丨高潮丨对白| www.26uuu.com亚洲电影| 天堂网亚洲色图| 五月丁香操婷逼| 天天综合网、天天综合色| 91久久精品国产91性色TV| 五月婷婷亞洲中文| 97操在线视频| 少妇人妻丰满做爰XXX| 99热这里只有精品86| 99噜噜| 99人妻碰碰碰久久久久禁片| 婷婷五月天激情在线观看 | 强壮的公次次弄得我高潮A片日本 | 区区欧美你爱| 亚洲Av成人在线观看| 欧洲色| 五月丁香色婷| 五月丁香婷婷综合久久| 97色色网| 色综合激情| 色婷婷婷av| 狠狠色婷婷综合开心影视| 四虎成人精品永久免费AV九九| 日韩99色| 手机旧版看人妻1025| 97干在线| 超碰99资源站| 99re热| 欧美性久| 色爽干| 色五月亚洲| 五月视频日本免费观看| 十区av| 秋霞少妇AV网站| 超碰国产在线观看| 另类小说五月天激情| 大香蕉五月天婷婷丁香91| 97人妻超级碰碰碰碰碰| 99精品视频偷拍| 天天色激情| 婷婷第六色| www.91婷婷| 久久se 综合网| 79精品视频在线观看,| 五月丁香激情婷婷| 99视频这里只有免费精品| 丁香五月天婷婷91| 国产AV一区二区三区最新精品| 色婷婷成人网| 激情五月天激情综合网| 人妻videos人妻高清| 综激情网| 伊人婷婷色| 婷久久高清| 俺去也五月| 99热最新网址| 色欧美影院| 婷婷五月六月激情| 天天做天天爱天天爽在| 偷拍九九五月丁香婷婷| 国产成人综合电影| 九九激情网| 亚洲综合五月天婷婷丁香| 996日日爱| 蜜臀嫩草| 夜夜天天天天天干天天爽| 久热久色| 激情九月婷婷| 三级三久久线久久99久目本WW| 色月丁| 伊人五月天久久| 久久ri精品| www.com久久久久久久久久久久久久久久久| 色99在线视频| 婷婷婷婷色| 人人操91| 思思热精品在线| 影视av久久久噜噜噜噜噜三级| 亚洲va成人va成人va在线观看| 色婷婷亚洲在线| 26uuu亚洲欧美| 啪啪啪五月天| www.狠狠干com| 天天撸夜夜爽| 丁香五月激情图片| 淫荡综合网| 五月丁香婷婷开心| 天天干天天射综合网| 亚洲色五月天在线| 久这里只有精品| 九九激情视频| WWW色色色COm| 五月婷六月| 99热啪啪| 9九热视频| 免费99情趣网视频| 天天狠狠插| 婷婷之六月丁香| 五月天激情子轮| 激情五月婷婷在线观看| 色综合九九| 日日干天天| 99热婷婷| www.91热久久| 亚洲国产网址| 影音先锋一区| 六月丁香啪啪| 三十路磁力链接| 丁香网五月天激情| www.99热在线| 久久三级视频| 成人美女网| 99精品视频免费观看近期发布| 97超碰99热99| 成人av在线网址| 欧美群妇大交乱婬网| 五婷婷六月合| 五月六月婷| 久久婷丁香五月| 色婷婷影院| 一起操最新网址| 99热爱爱干干日| 久久网站观看免费欧洲国产| 九九综合久久| 久久久ww| 电影91久久久| 日韩无码系列| 五月天六月丁香| www,五月丁,com| 久久免费操| 色婷婷久久| 久久五月天激情婷婷| 色v综合网| 开心五月丁香婷婷| 色播播五月天| 日本欧美成人片AAAA| 综合九色| 天天噜天天爱| 丁香婷婷中文字幕| 涩综合婷婷| 七月丁香婷婷 色色| www.99热在线| 天天插天天干天天舔| 在线观看av网站| 亚洲色就是色色色| 噜噜操操| 玖玖福利视频资源| av久热| 91熟妇大香蕉| 可以免费观看的av网址| 久久金品黃色| www.婷婷六月天| 久久综合婷婷五月| 五月丁香婷婷综合激情基地| 91九色精品女同系列| 亚洲视频综合网| 久久九九99| 亚洲激情免费视频观看| 亚洲日韩乱码一区二区三区四区| 婷婷五月天av小说| 色七色九九| 色噜噜五月天| 国产片XXXXA片国语对白| 亚洲精品99| 黄色AAAAA| 乱乱av| 婷婷伊人綜合中文字幕| 婷婷五月天小说| 亚洲欧洲另类图片| 婷婷基地成人五月天| 久99热在线观看| 婷婷中文字暮| 色婷婷五月天激情综合| 婷婷五月天小说| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 久久婷婷五月综合伊人| 丁香六月亚洲综合| 午夜一区| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 91在线看免费 九九九九| 午夜婷婷六月天| 色综合五月天| 欧美日本VA| 天天爽天天日天天舔| 天天色情站| 天天综合网、天天综合色 | 欧美精品999| 亚洲在线综合| 婷婷五月深深爱| ..真实国产乱子伦对白在线_欧 | 国产av一区二区三区| 天天做天天爱天天摸| 国产精品成人AV在线| www.韩日视频| 婷婷视频在线| 国产精品第一国产精品| 99在线精品视频观看免费下载| 99视频自拍| 日本操碰碰| 九九综合| 五月丁香婷婷AV| 1024久婷| 人人草人| 99亚洲视频| 激情性五月天免费小说视频| 久久婷五月影院| 99久热这里只有精品| 97成人视频| 99热在线观看免费精品| 久久婷婷综合色丁香| 国产26uuu| 人人综合91网| 99九九热在线观看| 92国产福利| 97色碰| 天天干狠狠操| av国产精品| 激情网开心网| 激情图片亚洲| 五月丁香激情婷婷综合| 人人操9| 五月天啪啪啪| 99热99操| 99热手机在线精品| 欧美天天干五月丁香| 午夜69成人做爰视频| 丁香婷婷成人在线播放| 亚洲视频码| 第四色大香蕉| 亚洲综合色色| 天天日夜夜爽| ,99视频久久| 亚洲宗合激情| 婷婷综合五月天| 五月色色网| 99精品国产在热久久| 玖操97| 久久久九九视频精品18| 色五月激情婷婷| 色色色婷婷五月天| 五月天激情四射| 婷婷色五月天综合网| 欧美 日韩 成人| 在线99热| 五月丁香青草综合啪啪| 天天视频精品9| 日本视频99| 第六色在线| 四川操逼站| 91超级碰碰碰| 六月丁香婷啪射| 久婷婷色| 久久九九网| 婷婷深爱五月亚洲综合| 欧美色偷拍| 五月激情综合网| 日本五月天婷婷丁香| 久婷婷婷| 依人大香蕉| 伊人五月天| 五月天第四色开心色播| 丁香六月激情毛片| 婷婷五月天精品| 五月婷婷丁香狠狠撸久久| 天天肏高清在线| 天天性视频| 操比激情五月| 性爱综合网| 五月天婷婷中文字幕在线播放| 色婷婷久久综合久色综| 色亭亭九月| 婷婷金品综合视频| cc精品国产性传播| 深爱 五月天| 丁香五月婷婷亚洲激情四射| 97精品人人A片免费看| 高清视频一区| 天天干狠狠艹| 激情综合婷婷五月| 高清国产AV| chaopengdaxiangjiao| 五月婷婷偷拍| 日日操,天天操| 青草性爱视频| 偷拍91九色| 激情五月天福利| 超碰免费成人网站| 久久久五月天| 五月花在线观看视频| 六月色日韩| 中文字幕视频在线播放| 五月黄色婷婷| 亚洲精品字幕在线观看| 久久综合九九| 99热在线播放| 五月的色婷婷高潮| 色五月综合激情| 丁香五月视频在线观看| 亚洲AV综合网| 色婷婷性爱| 1囯产午夜仑鲁鲁| 国产熟妇乱子伦hd| 狠狠操狠狠| 色色色色色网| 久久这里有| 婷婷五月开心中文字幕在线| 五月丁香天天| www.99在线| 午夜丁香综合婷婷| 五月色亚洲| 大香蕉在线观看9| 大香蕉啪啪网| 开心激情网五月天| 激情五月丁香五月| 五月丁香免费看| 99玖玖免费视频| 色综合区| 丁香五月天电影| 麻豆五月丁香婷婷| 牛牛碰免费| 啪啪啪五月天| 日日爽天天| 五月综合激情综合久| 婷婷五月天六月综合| 天天射影视综合网| 九九精品热| 五月天六月丁香| 婷婷在线操| 五月天开心婷婷久久| 天天拍夜夜撸| 久久精品小视频| 五月天五月色| 99免费视频在线观看爱| 激情5月舔| www.日日日.com| 久久久区区一久久久久久| 热久久66| 亚洲精品午夜国产va久久成人| 色婷婷五月天激情在线观看| www、色色色| 婷婷性爱五月天| 97人人看| 综合色99| 夜夜爱伊人| 超碰99在线观看| 久久er99热精品一区二区| 亚洲狠9| 激情五月天福利| 久操激情| 性婷婷| 99精品在| 情婷婷五月天| 日本美女上人| 996er热| 99福利视频导航| 五月婷婷综合色啪首页| 婷婷五月天AV在| 乱精品一区字幕二区| 伊人五月天婷婷| 性色天| 棕合影院色色| 性做爰1一7伦| 激情五月丁香五月色| 色综合99色| 亚洲av日韩无码| 久久丁香五月综合六月激情红杏视频| 色婷婷伦理| 激情99| 久机视频这只有精品| 丁香五月天啪啪| 国产综合丁香五月天| 99热新网址| 亚洲人人干| 99在线观看精品视频| 成人在线精品| 五月天婷婷婷| 97碰久久| 天堂五月婷婷| 色五月五月婷婷| 亚洲欧洲另类图片| 久久综合色情网站| 在线观看五月婷婷网| 精品乱码久久久久| 青青草激情网| 亚洲国产网站| 六月99天天婷婷激情综合| 亚洲久久婷婷| 激情五月婷婷| 丁香五月停停av| 激情五月丁香社区| 亚洲五月天婷婷在线| 五月丁香色综合| 狠狠狠狠青草| 综合久久婷婷五月丁香| 五月婷婷啪啪综合网| 五月天婷婷小说| 97热精品| 丁香婷五月| AV在线免费播放| 去色色五月天| 九九视频精品视频精品| 日本一级特黄大片AAAAA级| 青吴乐视频| 有码人妻久久| 97碰碰视频| 怎么样可以看免费的一级av| 九热视频| 五月天婷婷在线播放免费| 无码人妻精品一区二区蜜桃色欲| 婷婷五月丁香色综合| 色999五月色| 亚洲激情另类| 日本色天堂| 久久久久人妻中文| 国产成人精品一区二三区熟女在线| 久99久在线| 久久ab| 综合色播| 久热9| 天天日 天天草| 色综合女人99| 五月丁香六月婷婷婷婷| 五月天婷婷基地| 最新色色五月天| 99热精品99| 免费色婷婷| 久久与婷婷| 国产精品电影| 97人人射| 激情综合色图| 日本三级99人妇网站| 天天综合天天做天天综合| 国产成人网| 黄网免费观看| 狠狠丁香| 欧美丁香五月| 99在线精品视频| 玖玖色资源| 五月婷婷二月丁香| 久久久久9999| 久久杏爱视频| 极品少妇高潮啪啪AV无码| 99色热| www.操.com| 99操逼| 婷婷激情社区| 亚洲美女婷婷五月天| 婷婷五月花|