欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

IoT邊緣服務(wù)器:分布式設(shè)備接入與管理架構(gòu)實(shí)踐

IoT邊緣服務(wù)器:分布式設(shè)備接入與管理架構(gòu)實(shí)踐 做 IoT 設(shè)備接入這個(gè)事最開始的坑基本都踩在“設(shè)備太多、離云端太遠(yuǎn)”這兩件事上。我接手過一套分散在十多個(gè)廠區(qū)的工業(yè)設(shè)備系統(tǒng)設(shè)備類型五花八門有 PLC、傳感器、智能電表、還有幾個(gè)陳舊型號的串口采集器。最初方案是讓所有設(shè)備直接往云平臺上報(bào)數(shù)據(jù)結(jié)果上線第四個(gè)月就出問題高峰時(shí)段云端入口帶寬被打滿設(shè)備斷線重連風(fēng)暴直接把接入層拖垮恢復(fù)花了整整六個(gè)小時(shí)。后來改造成“IoT Edge Server 統(tǒng)一接管分布式設(shè)備”的架構(gòu)才算把這些問題從根上按住。這篇東西就是把我在這類項(xiàng)目里的完整拆解思路、實(shí)施步驟、以及踩坑后的復(fù)盤整理出來給正在做同類邊緣接入方案的人做個(gè)參考。這套系統(tǒng)解決的問題很清晰大量設(shè)備分散在不同物理位置、網(wǎng)絡(luò)條件參差不齊、數(shù)據(jù)上報(bào)頻繁且格式不統(tǒng)一云端直連既不穩(wěn)定也不經(jīng)濟(jì)。邊緣服務(wù)器部署在靠近設(shè)備的機(jī)房或者現(xiàn)場側(cè)負(fù)責(zé)設(shè)備接入、協(xié)議解析、數(shù)據(jù)緩存、本地規(guī)則判斷再把處理后的關(guān)鍵數(shù)據(jù)同步到云端平臺。適合正在做工業(yè)物聯(lián)網(wǎng)、智慧園區(qū)、能源監(jiān)控這類項(xiàng)目的朋友參考尤其適合那些設(shè)備規(guī)模不大但數(shù)量多、類型雜、現(xiàn)場網(wǎng)絡(luò)經(jīng)常不靠譜的場景。1. 邊緣服務(wù)器在分布式設(shè)備管理中的定位與核心價(jià)值1.1 為什么不能讓設(shè)備直接連云端很多剛接觸 IoT 的人會有一個(gè)樸素想法設(shè)備端裝個(gè) MQTT 客戶端云平臺開好接入點(diǎn)設(shè)備直接上報(bào)不就行了。小規(guī)模試點(diǎn)完全沒問題二三十臺設(shè)備每臺每秒報(bào)一條數(shù)據(jù)云端隨便接。但當(dāng)設(shè)備真正鋪開問題就會連續(xù)冒出來。第一個(gè)是帶寬成本。一批設(shè)備每小時(shí)產(chǎn)生的原始數(shù)據(jù)量如果在現(xiàn)場側(cè)做一次過濾、聚合、壓縮后再上傳往往能減少 80% 以上的網(wǎng)絡(luò)開銷。工廠里一個(gè)采集點(diǎn)位原始數(shù)據(jù)是每秒一條一天就是 86400 條幾十個(gè)點(diǎn)位就是幾十萬條全量上云既浪費(fèi)帶寬也無必要。第二個(gè)是延遲。云端直連模式下設(shè)備到云端往返耗時(shí)取決于鏈路質(zhì)量跨地域網(wǎng)絡(luò)抖動輕松超過 200 毫秒對需要快速響應(yīng)的控制類指令來說這個(gè)延遲不可接受。第三個(gè)是可靠性。設(shè)備到云端的鏈路一旦中斷如果設(shè)備本身儲存能力有限數(shù)據(jù)就會直接丟失。而邊緣服務(wù)器靠現(xiàn)場網(wǎng)絡(luò)接入設(shè)備本地有存儲斷網(wǎng)后可以把數(shù)據(jù)暫存起來等鏈路恢復(fù)再補(bǔ)傳。第四個(gè)是安全問題工業(yè)設(shè)備很多使用老舊協(xié)議直接暴露在公網(wǎng)風(fēng)險(xiǎn)很高邊緣服務(wù)器做統(tǒng)一接入和協(xié)議轉(zhuǎn)換相當(dāng)于給設(shè)備加了一層隔離。我之前遇到過最典型的場景某個(gè)廠區(qū)網(wǎng)絡(luò)每周都會瞬斷幾次云直連設(shè)備在斷線重連時(shí)會同時(shí)發(fā)起連接服務(wù)端被上百個(gè) TCP 重連請求打滿這就是所謂的重連風(fēng)暴。把邊緣網(wǎng)關(guān)放在現(xiàn)場后設(shè)備只跟局域網(wǎng)內(nèi)的邊緣服務(wù)器通信外網(wǎng)斷了對現(xiàn)場采集完全沒有影響。1.2 邊緣服務(wù)器負(fù)責(zé)哪些具體工作邊緣服務(wù)器在整套體系里做的事可以歸納為四個(gè)方面接入、解析、緩存、轉(zhuǎn)發(fā)。接入是指接受設(shè)備的網(wǎng)絡(luò)連接。不同設(shè)備有不同的通信接口和協(xié)議常見的有 MQTT、Modbus TCP、OPC UA、CoAP老設(shè)備還有走串口轉(zhuǎn)網(wǎng)絡(luò)模塊的。邊緣服務(wù)器要把這些異構(gòu)協(xié)議的連接統(tǒng)一管理起來不管設(shè)備用什么方式接入對上層業(yè)務(wù)都呈現(xiàn)為統(tǒng)一的數(shù)據(jù)模型。解析是指將設(shè)備上報(bào)的原始報(bào)文轉(zhuǎn)換成標(biāo)準(zhǔn)格式。例如一個(gè) Modbus 報(bào)文讀出來的寄存器值可能是原始電壓數(shù)據(jù)需要按變比換算成真實(shí)電壓值再打上設(shè)備 ID、時(shí)間戳和點(diǎn)位編號變成一條標(biāo)準(zhǔn)的 JSON 或時(shí)序數(shù)據(jù)記錄。緩存是指當(dāng)數(shù)據(jù)暫時(shí)無法上云或者云端不可用時(shí)在邊緣側(cè)把數(shù)據(jù)寫到本地存儲中。邊緣服務(wù)器通常配備 SSD 或 TF 卡可以保留數(shù)天乃至數(shù)周的本地?cái)?shù)據(jù)。轉(zhuǎn)發(fā)是指將處理后的數(shù)據(jù)通過 MQTT、HTTP、gRPC 等協(xié)議同步到上層云平臺同時(shí)接收云端下發(fā)的控制指令再反向轉(zhuǎn)發(fā)給對應(yīng)的設(shè)備。2. 邊緣服務(wù)器的架構(gòu)設(shè)計(jì)與關(guān)鍵模塊拆解2.1 硬件選型與部署形態(tài)邊緣服務(wù)器的形態(tài)很靈活。簡單場景下一臺工業(yè)級迷你主機(jī)N5105 或 i3 級別的 CPU8G 內(nèi)存256G SSD就足夠管理數(shù)百臺設(shè)備的數(shù)據(jù)采集。如果點(diǎn)位更多、計(jì)算任務(wù)更重可以上到 i5 甚至 Xeon搭配 GPU 做視覺類的邊緣推理。對一般的數(shù)據(jù)采集類項(xiàng)目沒必要盲目追求高配置邊緣服務(wù)器的瓶頸往往不在 CPU而在設(shè)備連接數(shù)和網(wǎng)絡(luò)帶寬。操作系統(tǒng)方面Linux 發(fā)行版是主流選擇Ubuntu Server 或 Debian 都很好用驅(qū)動兼容性和遠(yuǎn)程管理能力都優(yōu)于桌面系統(tǒng)。有一些場景要求更穩(wěn)定的運(yùn)行環(huán)境和更精簡的系統(tǒng)也可以考慮 Windows IoT Enterprise LTSC尤其當(dāng)上位機(jī)軟件或者設(shè)備 SDK 只提供 Windows 驅(qū)動時(shí)這個(gè)方案反而省事。我之前見過一個(gè)老項(xiàng)目采集設(shè)備用的是某個(gè)國產(chǎn)廠商的串口控件只有 Windows 版本最后邊緣服務(wù)器裝的就是 Win10 IoT Enterprise 2016 LTSB跑三四年沒出過系統(tǒng)級故障。選操作系統(tǒng)不用跟風(fēng)關(guān)鍵是看設(shè)備 SDK 兼容性、遠(yuǎn)程維護(hù)便利性和現(xiàn)場人員的熟悉程度。如果項(xiàng)目以標(biāo)準(zhǔn)協(xié)議如 MQTT、Modbus為主優(yōu)先上 Linux如果依賴特定廠商驅(qū)動就老實(shí)按驅(qū)動要求選 Windows。通訊鏈路也要考慮冗余。現(xiàn)場如果只有一條寬帶線路最好準(zhǔn)備一張 4G 或 5G 流量卡做備份網(wǎng)絡(luò)模塊在邊緣服務(wù)器里做成主備自動切換WAN1 故障自動切到 WAN2避免因?yàn)閱螚l線路故障導(dǎo)致整片設(shè)備失聯(lián)。2.2 軟件層的基礎(chǔ)框架與協(xié)議適配層邊緣服務(wù)器軟件層的第一件大事是選擇一套基礎(chǔ)框架。自研全套的成本很高在成熟項(xiàng)目里通常使用開源組件疊加少量定制開發(fā)。設(shè)備接入層老牌 MQTT Broker 是 EMQX 或者 Mosquitto其中 EMQX 支持海量連接、集群部署、規(guī)則引擎適合規(guī)模比較大的場景。如果設(shè)備的接入?yún)f(xié)議不止 MQTT還有 Modbus TCP、OPC UA、BACnet 這些工業(yè)協(xié)議就需要一個(gè)協(xié)議適配層常用的方案是 Node-RED 或者基于 Java/Go 自研協(xié)議解析模塊。Node-RED 的圖形化編排上手很快適合快速實(shí)現(xiàn)協(xié)議轉(zhuǎn)換、數(shù)據(jù)過濾、觸發(fā)控制邏輯。但節(jié)點(diǎn)多了以后流編排會變得很亂內(nèi)存管理也不太好生產(chǎn)環(huán)境長期跑建議用 Go 或 Java 寫?yīng)毩⒌膮f(xié)議接入服務(wù)。我當(dāng)時(shí)采用的是“EMQX Go 自研協(xié)議適配服務(wù) TDengine 時(shí)序庫”的組合。設(shè)備按照協(xié)議類型分發(fā)到不同的接入服務(wù)例如現(xiàn)場的智能電表走 Modbus TCP溫度傳感器走 MQTT改造后的數(shù)據(jù)統(tǒng)一寫到本地時(shí)序庫同時(shí)通過轉(zhuǎn)發(fā)模塊同步到云平臺。這個(gè)架構(gòu)的好處是每一層職責(zé)單一出問題容易定位。2.3 數(shù)據(jù)模型與設(shè)備影子機(jī)制管理分布式設(shè)備最重要的是建立一套統(tǒng)一的設(shè)備數(shù)據(jù)模型。設(shè)備數(shù)據(jù)模型就是用來描述一臺設(shè)備有哪些屬性、哪些功能的數(shù)據(jù)結(jié)構(gòu)可以理解為給設(shè)備定義一套標(biāo)準(zhǔn)接口。一個(gè)典型的數(shù)據(jù)模型包含三個(gè)維度設(shè)備元信息設(shè)備 ID、設(shè)備類型、所屬站點(diǎn)、固件版本、安裝位置屬性數(shù)據(jù)設(shè)備的實(shí)時(shí)數(shù)據(jù)例如電壓、溫度、累計(jì)電量服務(wù)能力設(shè)備支持的操作例如遠(yuǎn)程重啟、調(diào)整采集頻率、開關(guān)控制實(shí)際實(shí)現(xiàn)時(shí)在邊緣服務(wù)器維護(hù)一份“設(shè)備影子”即云端下發(fā)的期望狀態(tài)和設(shè)備的實(shí)際狀態(tài)。設(shè)備上報(bào)真實(shí)狀態(tài)寫入 reported 區(qū)云端或本地下發(fā)的目標(biāo)狀態(tài)寫入 desired 區(qū)協(xié)調(diào)器對比兩個(gè)區(qū)如果有差異就下發(fā)指令讓設(shè)備趨近目標(biāo)狀態(tài)。這套思路在 AWS IoT、阿里云 IoT 都有對應(yīng)實(shí)現(xiàn)。邊緣服務(wù)器里的設(shè)備影子機(jī)制即使在云端斷網(wǎng)期間也能讓本地應(yīng)用正常操作設(shè)備恢復(fù)連接后再和云端同步狀態(tài)。3. 分布式設(shè)備接入與管理的核心功能實(shí)操3.1 設(shè)備注冊與認(rèn)證流程先講設(shè)備怎么進(jìn)入邊緣服務(wù)器。每臺設(shè)備在正式接入之前必須先完成注冊。注冊過程需要分配一個(gè)全局唯一的設(shè)備 ID建議格式使用站點(diǎn)編碼加設(shè)備類型加序列號例如 SZ-PLANT01-TEMP-0001不要再加無意義的隨機(jī)字符串否則現(xiàn)場排查問題時(shí)根本看不出是哪臺設(shè)備。設(shè)備注冊時(shí)還要錄入設(shè)備密鑰密鑰可以是動態(tài)生成的 Token也可以預(yù)置證書。工業(yè)現(xiàn)場設(shè)備性能差異很大有些 MCU 算力很弱跑不動 TLS 雙向認(rèn)證這種情況下用 Token 認(rèn)證更合適。Token 在網(wǎng)絡(luò)傳輸時(shí)需要加密最穩(wěn)妥的方式是走 TLS 加密通道再疊加 Token 認(rèn)證形成雙重保障。具體流程是邊緣服務(wù)器預(yù)生成一批設(shè)備憑據(jù)批量導(dǎo)入設(shè)備管理系統(tǒng)設(shè)備首次上線時(shí)攜帶憑據(jù)發(fā)起連接接入服務(wù)校驗(yàn)通過后將設(shè)備和連接綁定然后讀取該設(shè)備的最新配置包括采集頻率、上報(bào)周期、點(diǎn)位映射表。如果認(rèn)證失敗接入服務(wù)記錄失敗原因并拒絕連接。我建議把認(rèn)證失敗的日志單獨(dú)存儲一份萬一現(xiàn)場有非法設(shè)備試圖接入排查起來會非常省事。3.2 數(shù)據(jù)上報(bào)的批量策略與格式規(guī)范設(shè)備連接成功之后接著就是數(shù)據(jù)上報(bào)。這里最核心的一個(gè)原則是不要逐條上拋數(shù)據(jù)要批量上報(bào)。邊緣服務(wù)器收到的每一條原始數(shù)據(jù)先打到本地緩沖區(qū)按時(shí)間窗口或條數(shù)窗口聚合后再異步上報(bào)。例如設(shè)備的溫度數(shù)據(jù)每 5 秒采集一次一天產(chǎn)生 17280 條記錄云端并不需要每 5 秒收到一條數(shù)據(jù)只需要每分鐘或者每五分鐘收到一條聚合數(shù)據(jù)。聚合時(shí)可以附帶最大值、最小值、平均值、采樣點(diǎn)數(shù)等統(tǒng)計(jì)字段這樣既減少流量又保留業(yè)務(wù)價(jià)值。數(shù)據(jù)格式方面建議使用統(tǒng)一的 JSON 結(jié)構(gòu)大體如下{ device_id: SZ-PLANT01-TEMP-0001, ts: 1743400000, points: { temp: 35.6, humidity: 48.2 }, quality: 1 }字段里加上 quality 質(zhì)量戳值為 0 表示異常數(shù)據(jù)1 表示正常數(shù)據(jù)。數(shù)據(jù)質(zhì)量標(biāo)記很重要后面做數(shù)據(jù)分析和告警時(shí)可以避免把異常數(shù)據(jù)誤當(dāng)成真實(shí)值。另外每個(gè)設(shè)備上報(bào)的時(shí)間戳必須以設(shè)備本地時(shí)間為準(zhǔn)還是以邊緣服務(wù)器時(shí)間為準(zhǔn)這個(gè)問題必須提前定好。我的經(jīng)驗(yàn)是邊緣服務(wù)器收到數(shù)據(jù)后立即用服務(wù)器時(shí)間覆蓋設(shè)備時(shí)間戳然后保留設(shè)備原始時(shí)間戳到另一個(gè)字段。因?yàn)樵O(shè)備時(shí)鐘漂移太常見了統(tǒng)一用邊緣服務(wù)器時(shí)間可以對所有設(shè)備的數(shù)據(jù)按統(tǒng)一時(shí)間軸存儲和查詢。3.3 指令下發(fā)與命令確認(rèn)機(jī)制管理設(shè)備不只是收數(shù)據(jù)還需要下發(fā)指令。例如遠(yuǎn)程控制一道閘門、調(diào)整空調(diào)設(shè)定溫度、重新校準(zhǔn)儀表。這個(gè)過程比數(shù)據(jù)上報(bào)更容易出問題因?yàn)橹噶钍请p向的邊緣服務(wù)器下發(fā)指令設(shè)備需要回復(fù)確認(rèn)執(zhí)行完畢后還要上報(bào)執(zhí)行結(jié)果。實(shí)現(xiàn)指令下發(fā)時(shí)要特別注意下發(fā)鏈路不能是簡單的“發(fā)出去就不管”。因?yàn)楝F(xiàn)場網(wǎng)絡(luò)經(jīng)常不穩(wěn)定設(shè)備可能離線指令發(fā)不出去或者指令到了設(shè)備設(shè)備執(zhí)行后返回結(jié)果時(shí)鏈路斷了服務(wù)器誤以為設(shè)備沒執(zhí)行。這就需要一套命令狀態(tài)機(jī)指令從創(chuàng)建、下發(fā)、確認(rèn)、執(zhí)行、回執(zhí)每一步都要有狀態(tài)記錄。我在邊緣服務(wù)器里用一張指令表來保存這些狀態(tài)指令I(lǐng)D目標(biāo)設(shè)備指令內(nèi)容狀態(tài)創(chuàng)建時(shí)間超時(shí)時(shí)間CMD-001SZ-PLANT01-0003重啟采集器已確認(rèn)2025-04-01 10:00:002025-04-01 10:00:30CMD-002SZ-PLANT01-0003修改采集周期為30s已執(zhí)行2025-04-01 10:01:002025-04-01 10:01:30指令下發(fā)后如果超過設(shè)定的超時(shí)時(shí)間還沒收到確認(rèn)邊緣服務(wù)器要自動重發(fā)。重試次數(shù)超過限制后把指令標(biāo)記為失敗并通知云端。這個(gè)流程看似簡單卻是分布式設(shè)備管理中最重要的可靠性保障。3.4 斷網(wǎng)容錯(cuò)與離線數(shù)據(jù)緩存現(xiàn)場網(wǎng)絡(luò)中斷是不可避免的。尤其工業(yè)廠區(qū)偶爾停電、光纜被挖斷、交換機(jī)死機(jī)各種情況都遇到過。邊緣服務(wù)器作為靠近設(shè)備的一層最大的價(jià)值就是“天塌下來數(shù)據(jù)也不能丟”。以我的方案為例邊緣服務(wù)器上有一個(gè)本地?cái)?shù)據(jù)緩沖模塊設(shè)備上報(bào)的數(shù)據(jù)先寫到 TDengine 時(shí)序庫然后轉(zhuǎn)發(fā)模塊按時(shí)間順序讀取本地?cái)?shù)據(jù)并同步到云端。云端收到數(shù)據(jù)后回一個(gè)確認(rèn)轉(zhuǎn)發(fā)模塊收到確認(rèn)后才刪除本地記錄。如果云端無響應(yīng)或者本地到云端的鏈路斷開轉(zhuǎn)發(fā)模塊自動暫停并重試數(shù)據(jù)繼續(xù)保存在本地緩沖區(qū)。本地緩沖區(qū)的容量要按最壞情況估算。假設(shè)每臺設(shè)備一天產(chǎn)生 2MB 數(shù)據(jù)現(xiàn)場有 500 臺設(shè)備一天就是 1GB斷網(wǎng) 7 天就需要 7GB 存儲空間。這個(gè)量級在普通 SSD 上完全沒壓力所以不用擔(dān)心斷網(wǎng)時(shí)間長但要每天檢查磁盤用量避免日志或者系統(tǒng)文件把磁盤占滿后緩沖區(qū)寫不進(jìn)去。3.5 OTA 升級與設(shè)備策略管理分布式設(shè)備規(guī)模大了之后遠(yuǎn)程升級就成了剛需。邊緣服務(wù)器可以承擔(dān)設(shè)備升級的“分發(fā)中心”角色。云端把新的固件包推送到邊緣服務(wù)器邊緣服務(wù)器再分批推送給現(xiàn)場設(shè)備。這樣做的好處是云端只需要跟少數(shù)邊緣服務(wù)器通信不需要感知每一臺終端設(shè)備終端設(shè)備即使不在公網(wǎng)環(huán)境只要和邊緣服務(wù)器在同一個(gè)局域網(wǎng)內(nèi)就能完成升級。OTA 升級需要重點(diǎn)考慮三件事斷點(diǎn)續(xù)傳、版本回滾、分批灰度。斷點(diǎn)續(xù)傳解決設(shè)備升級到一半網(wǎng)絡(luò)斷開的問題版本回滾解決新版固件不兼容導(dǎo)致設(shè)備變磚的問題分批灰度解決大批量升級同時(shí)進(jìn)行導(dǎo)致現(xiàn)場網(wǎng)絡(luò)擁堵的問題。邊緣服務(wù)器的升級策略按站點(diǎn)維度去控制每個(gè)站點(diǎn)設(shè)定一個(gè)最大并發(fā)數(shù)。最好在凌晨業(yè)務(wù)低峰期自動執(zhí)行執(zhí)行前自動備份當(dāng)前固件版本。4. 海量數(shù)據(jù)采集場景的 P0 事故復(fù)盤4.1 事故現(xiàn)場還原前面講了很多設(shè)計(jì)方案但真正教會你怎么把系統(tǒng)做穩(wěn)的往往是一次事故。我做這套系統(tǒng)時(shí)就經(jīng)歷過一次典型的 P0 事故背景和過程非常有代表性拿出來復(fù)盤一下。當(dāng)時(shí)邊緣服務(wù)器系統(tǒng)剛上線三個(gè)月前期只接入了一個(gè)站點(diǎn)的 200 臺設(shè)備運(yùn)行挺穩(wěn)定。后來項(xiàng)目擴(kuò)量在兩周內(nèi)陸續(xù)接入了 7 個(gè)新站點(diǎn)設(shè)備總量從 200 臺漲到 5000 臺以上。新的站點(diǎn)接入后數(shù)據(jù)量暴增但我沒有對邊緣服務(wù)器的資源配額做調(diào)整導(dǎo)致一臺邊緣服務(wù)器上接的設(shè)備數(shù)量超出了設(shè)計(jì)上限。事故當(dāng)天上午十點(diǎn)左右監(jiān)控平臺報(bào)警邊緣服務(wù)器的 CPU 使用率持續(xù) 100%內(nèi)存占用率超過 90%大量設(shè)備連接斷開且重連失敗。我登錄服務(wù)器查看時(shí)發(fā)現(xiàn) EMQX 進(jìn)程占了大部分 CPU日志里刷滿了連接超時(shí)的報(bào)錯(cuò)。更嚴(yán)重的是由于邊緣服務(wù)器到云端的同步線程一直無法獲取 CPU 時(shí)間片本地時(shí)序庫的寫入積壓越來越嚴(yán)重最終磁盤 IO 也達(dá)到瓶頸。整個(gè)事故持續(xù)了將近兩個(gè)小時(shí)期間一部分設(shè)備上報(bào)的數(shù)據(jù)丟失現(xiàn)場工控人員無法通過平臺看到實(shí)時(shí)數(shù)據(jù)影響范圍覆蓋了三個(gè)廠區(qū)。4.2 根因定位與修復(fù)過程事故后的排查分為三個(gè)步驟先看資源占用曲線再看日志最后做壓測復(fù)現(xiàn)。從資源曲線可以看出CPU 從上午 9 點(diǎn)開始快速攀升正好對應(yīng)第二個(gè)站點(diǎn)的設(shè)備批量上線時(shí)間。日志里出現(xiàn)大量 MQTT CONNECT 報(bào)文設(shè)備連接建立后連接管理模塊的定時(shí)心跳任務(wù)數(shù)量也同步激增。問題根因是接入服務(wù)的連接管理模塊使用了“每連接一個(gè) goroutine”模型每臺設(shè)備建立連接后都常駐一個(gè)業(yè)務(wù)處理協(xié)程同時(shí)還有一套心跳超時(shí)定時(shí)器。設(shè)備數(shù)量超過 3000 臺后定時(shí)器數(shù)量級增長Go 調(diào)度器開銷飆升最終拖垮整個(gè)進(jìn)程。修復(fù)方案分兩步走。第一步是緊急擴(kuò)容在邊緣服務(wù)器資源允許范圍內(nèi)限制單臺設(shè)備的連接并發(fā)數(shù)把非必要下線的設(shè)備暫時(shí)斷開先恢復(fù)核心采集鏈路。第二步是代碼層面重構(gòu)連接管理模型將“每連接一個(gè) goroutine”改為事件驅(qū)動模型使用連接池統(tǒng)一管理連接讀寫同時(shí)將心跳檢查從每連接一個(gè)定時(shí)器改為統(tǒng)一的時(shí)間輪掃表。重構(gòu)完成后我在測試環(huán)境模擬了 6000 臺設(shè)備同時(shí)連接的場景CPU 占用率從重構(gòu)前的 90% 降到 25% 左右內(nèi)存占用也明顯下降。此后邊緣服務(wù)器又接入了更多設(shè)備再沒出現(xiàn)過同類問題。4.3 生產(chǎn)環(huán)境的血淚教訓(xùn)這個(gè)事故給我留下了幾條非常實(shí)際的教訓(xùn)設(shè)備接入數(shù)量不能拍腦袋定要有測試數(shù)據(jù)支撐。任何邊緣服務(wù)器在正式上線之前都要做一次模擬滿負(fù)荷壓測確認(rèn) CPU、內(nèi)存、文件句柄、連接數(shù)等指標(biāo)的極限在哪里然后設(shè)置告警閾值建議使用連接數(shù)達(dá)到設(shè)計(jì)上限的 70% 就觸發(fā)預(yù)留擴(kuò)容提醒。限流和熔斷機(jī)制必須提前寫進(jìn)系統(tǒng)而不是等到出問題再臨時(shí)加。邊緣服務(wù)器需要對超出處理能力的請求做排隊(duì)或拒絕否則大量并發(fā)連接涌進(jìn)來會把系統(tǒng)直接打死。可以理解成高速收費(fèi)站如果車流量太大必須人工限流否則整個(gè)收費(fèi)系統(tǒng)會癱瘓。設(shè)備規(guī)模增長時(shí)監(jiān)控指標(biāo)也要跟著調(diào)整。之前我只監(jiān)控了 CPU、內(nèi)存、磁盤這些基礎(chǔ)項(xiàng)沒有監(jiān)控連接數(shù)增量、消息積壓量、上下線頻率。這三個(gè)指標(biāo)才是海量設(shè)備接入場景下最需要盯的一旦異常往往就是系統(tǒng)崩潰的前兆。5. 現(xiàn)場運(yùn)維的常見問題與排查技巧5.1 高頻故障排查速查表在日常運(yùn)行維護(hù)中有幾類問題反復(fù)出現(xiàn)我把它們整理成速查表方便現(xiàn)場排查時(shí)對照操作。常見問題可能原因排查思路設(shè)備頻繁掉線重連設(shè)備心跳間隔太短或網(wǎng)絡(luò)抖動查看邊緣服務(wù)器端日志統(tǒng)計(jì)斷連時(shí)間點(diǎn)檢查是否與網(wǎng)絡(luò)設(shè)備重啟時(shí)間重合某型號設(shè)備上報(bào)數(shù)據(jù)亂碼協(xié)議解析字節(jié)序或進(jìn)制轉(zhuǎn)換錯(cuò)誤抓包對比原始報(bào)文字節(jié)流檢查數(shù)據(jù)模型中的點(diǎn)位映射關(guān)系設(shè)備離線但邊緣服務(wù)器未告警心跳超時(shí)時(shí)間配置過長酌情調(diào)小心跳超時(shí)時(shí)間例如從 120 秒調(diào)到 30 秒邊緣服務(wù)器磁盤寫滿日志文件過大或本地緩沖區(qū)未及時(shí)清理檢查日志輪轉(zhuǎn)策略檢查云同步模塊是否阻塞導(dǎo)致本地?cái)?shù)據(jù)積壓云端收不到歷史補(bǔ)傳數(shù)據(jù)云端的消息去重 ID 沖突檢查補(bǔ)傳消息的消息 ID 生成規(guī)則確保每條消息 ID 全局唯一設(shè)備時(shí)間戳跳變設(shè)備端時(shí)鐘漂移或 NTP 失效檢查現(xiàn)場 NTP 服務(wù)改為邊緣服務(wù)器統(tǒng)一校時(shí)數(shù)據(jù)上報(bào)延遲增大網(wǎng)絡(luò)擁塞或邊緣服務(wù)器 IO 瓶頸查看消息隊(duì)列積壓數(shù)據(jù)量檢查磁盤和網(wǎng)絡(luò)帶寬利用率5.2 排查工具的合理使用建議排查物聯(lián)網(wǎng)問題用對工具往往能省一半時(shí)間。設(shè)備接入層問題首選抓包工具。比如設(shè)備通過 Modbus TCP 上報(bào)數(shù)據(jù)邊緣服務(wù)器這邊直接用 tcpdump 或 Wireshark 抓包把設(shè)備發(fā)出來的原始報(bào)文和解析后的數(shù)據(jù)模型對照很快就能定位是設(shè)備側(cè)異常還是轉(zhuǎn)換邏輯異常。這個(gè)習(xí)慣很值得養(yǎng)成我在現(xiàn)場解決過多次類似問題基本都是通過抓包對比一次性定位。服務(wù)端運(yùn)行狀態(tài)排查用 Prometheus Grafana 組合最直觀。我在邊緣服務(wù)器上部署了 node_exporter 和 JMX exporter把 CPU、內(nèi)存、磁盤 IO、網(wǎng)絡(luò)連接數(shù)、MQTT 連接數(shù)、消息積壓量這些指標(biāo)都采集起來做成 dashboard。頁面上一眼就能看出哪一項(xiàng)異常不用等到故障發(fā)生后再登錄服務(wù)器敲命令。日志是另一個(gè)重要突破口。邊緣服務(wù)程序要把日志分級打印info 級記錄正常流程warn 級記錄異常但可恢復(fù)的情況error 級記錄需要人工介入的事件。生產(chǎn)環(huán)境千萬別把調(diào)試日志全部打開日志量過大會嚴(yán)重影響系統(tǒng)性能。建議只有問題復(fù)現(xiàn)時(shí)動態(tài)開啟對應(yīng)模塊的 debug 日志問題定位完立刻關(guān)閉。5.3 日常巡檢與健康檢查清單為運(yùn)維減少麻煩我列一份日常巡檢清單可以做參考也可以按場景裁剪每臺邊緣服務(wù)器的 CPU、內(nèi)存、磁盤使用率是否在合理區(qū)間設(shè)備在線率是否穩(wěn)定波動超過 5% 時(shí)需要關(guān)注云端接收數(shù)據(jù)的延遲是否持續(xù)走高本地緩沖區(qū)的數(shù)據(jù)積壓量是否在下降邊緣服務(wù)器與云端的同步鏈路是否有連接重連記錄定時(shí)檢查設(shè)備認(rèn)證失敗日志防止非法接入嘗試檢查 OTA 升級任務(wù)的完成情況確認(rèn)失敗任務(wù)未卡住隊(duì)列這份清單我建議通過自動化腳本輸出成每日日報(bào)不用人工手動一條條去看??梢栽谶吘壏?wù)器上寫一個(gè)定時(shí)任務(wù)每天凌晨調(diào)用健康檢查腳本把結(jié)果推送到運(yùn)維群。發(fā)現(xiàn)問題再人工介入效率會高很多。6. 系統(tǒng)擴(kuò)展與架構(gòu)演進(jìn)建議6.1 從單邊緣節(jié)點(diǎn)到多邊緣節(jié)點(diǎn)的橫向擴(kuò)展單臺邊緣服務(wù)器的管理能力總是有限的。當(dāng)設(shè)備規(guī)模超過數(shù)千臺或者廠區(qū)之間距離很遠(yuǎn)需要把多臺邊緣服務(wù)器組成一個(gè)分布式管理集群。多邊緣節(jié)點(diǎn)的架構(gòu)里每臺邊緣服務(wù)器負(fù)責(zé)一個(gè)片區(qū)的設(shè)備片區(qū)之間不共享設(shè)備連接。設(shè)備歸屬關(guān)系由云端統(tǒng)一管理云端負(fù)責(zé)下發(fā)全局配置到各邊緣節(jié)點(diǎn)。這樣設(shè)計(jì)的好處是故障隔離一臺邊緣節(jié)點(diǎn)掛了只影響一個(gè)片區(qū)不會影響全局。節(jié)點(diǎn)之間的數(shù)據(jù)同步需要一種輕量級通信機(jī)制。我采用的方式是各邊緣節(jié)點(diǎn)定時(shí)上報(bào)設(shè)備摘要信息到云平臺云平臺匯總后通過存儲轉(zhuǎn)發(fā)的方案下發(fā)全量設(shè)備狀態(tài)視圖。簡單說設(shè)備狀態(tài)的“最終一致性”由云平臺保證各節(jié)點(diǎn)不需要實(shí)時(shí)同步全部數(shù)據(jù)避免網(wǎng)絡(luò)壓力過大。6.2 邊緣服務(wù)器的本地規(guī)則引擎與自治能力邊緣服務(wù)器不應(yīng)該只是一個(gè)數(shù)據(jù)轉(zhuǎn)發(fā)管道它更應(yīng)該具備本地自治能力。當(dāng)云端斷連或者云端響應(yīng)超時(shí)時(shí)邊緣服務(wù)器應(yīng)能獨(dú)立判斷一些簡單的業(yè)務(wù)規(guī)則并執(zhí)行。例如當(dāng)廠區(qū)溫度超過某個(gè)閾值時(shí)本地直接關(guān)閉制冷設(shè)備當(dāng)設(shè)備連續(xù)三次上報(bào)異常數(shù)據(jù)時(shí)本地重啟該設(shè)備的采集模塊。這些操作甚至不需要經(jīng)過云端因?yàn)樵诠I(yè)現(xiàn)場網(wǎng)絡(luò)延遲或斷連是家常便飯等待云端決策會錯(cuò)過最佳處理時(shí)機(jī)。實(shí)現(xiàn)本地規(guī)則引擎時(shí)要特別注意規(guī)則的可配置化。不要把規(guī)則寫死在代碼里最好提供一個(gè)規(guī)則配置界面或者配置文件運(yùn)維人員可以隨時(shí)調(diào)整閾值、動作、生效時(shí)間。我用的是 yaml 格式的規(guī)則文件加自動加載機(jī)制修改規(guī)則文件后服務(wù)自動加載不用重啟進(jìn)程。這種方案簡便有效也便于不同站點(diǎn)的差異化配置。6.3 數(shù)據(jù)治理與時(shí)序數(shù)據(jù)的二次價(jià)值邊緣服務(wù)器不僅是為云端減輕壓力更是現(xiàn)場數(shù)據(jù)的第一道“清洗車間”。在邊緣側(cè)完成設(shè)備級的數(shù)據(jù)質(zhì)量檢查、異常值剔除、單位換算、標(biāo)簽添加能明顯提升后續(xù)數(shù)據(jù)分析的可靠性。數(shù)據(jù)上云后這些經(jīng)過清洗的數(shù)據(jù)可用于預(yù)測性維護(hù)、設(shè)備能耗分析、產(chǎn)線效率評估等場景。很多項(xiàng)目在前期只關(guān)注實(shí)時(shí)監(jiān)控和告警忽略了設(shè)備產(chǎn)生的時(shí)序數(shù)據(jù)本身具有巨大價(jià)值。如果要讓數(shù)據(jù)產(chǎn)生更多價(jià)值建議從一開始就保留原始數(shù)據(jù)的完整采樣軌跡為后續(xù)算法模型積累足夠的歷史數(shù)據(jù)同時(shí)結(jié)合邊緣服務(wù)器本地算力在邊緣側(cè)直接運(yùn)行輕量級預(yù)測算法大幅度降低云端算力開銷。我在實(shí)際項(xiàng)目中加入了軸承振動分析的邊緣推理模塊。在邊緣服務(wù)器上運(yùn)行一個(gè)輕量級故障診斷模型對采集到的振動數(shù)據(jù)進(jìn)行實(shí)時(shí)特征提取和異常分類。當(dāng)模型判斷設(shè)備出現(xiàn)異常時(shí)立刻在本地上報(bào)告警并保存完整振動波形供后續(xù)深度分析。這個(gè)功能投入產(chǎn)出比極高遠(yuǎn)比單純的上報(bào)原始數(shù)據(jù)有業(yè)務(wù)價(jià)值。7. 長期維護(hù)中的幾點(diǎn)個(gè)人體會這套 IoT Edge Server 系統(tǒng)從設(shè)計(jì)、開發(fā)到上線運(yùn)維前后跑了快兩年。中間踩過很多坑也積累了一些不一定寫在官方文檔里的經(jīng)驗(yàn)最后分享幾個(gè)個(gè)人體會。設(shè)備接入層一定要留足可觀測性。我見過不少系統(tǒng)設(shè)備連接失敗時(shí)只打印一條日志沒有任何指標(biāo)上報(bào)。這個(gè)習(xí)慣在天災(zāi)人禍時(shí)非常吃虧設(shè)備批量掉線時(shí)如果連“掉線多少臺、掉線原因是什么”都不知道排查就像大海撈針。給接入層加上連接失敗原因計(jì)數(shù)、設(shè)備在線數(shù)、消息流量等基礎(chǔ)指標(biāo)這些投入不會白費(fèi)。邊緣服務(wù)器的網(wǎng)絡(luò)配置要簡單、可預(yù)測。不要使用動態(tài) IP 或者復(fù)雜路由規(guī)則設(shè)備接入的局域網(wǎng)網(wǎng)段要固定邊緣服務(wù)器到云端的出口走靜態(tài)路由避免重啟后網(wǎng)絡(luò)配置漂移導(dǎo)致設(shè)備失聯(lián)。我遇到過邊緣服務(wù)器重啟后系統(tǒng)自動獲取的 IP 與設(shè)備配置的服務(wù)器地址不一致所有設(shè)備全部離線恢復(fù)起來非常麻煩。OTA 升級流程要嚴(yán)禁“一把梭”。即使只有幾十臺設(shè)備也建議分批次升級。先升級一臺確認(rèn)設(shè)備運(yùn)行正常再放量升級 10%最后再全量。很多固件問題只在某些設(shè)備型號上觸發(fā)小批量灰度才能及時(shí)擋住問題擴(kuò)大。云端下發(fā)升級任務(wù)時(shí)要支持隨時(shí)撤銷未執(zhí)行的升級任務(wù)防止異常版本繼續(xù)擴(kuò)散。最后文檔和網(wǎng)絡(luò)拓?fù)鋱D要同步維護(hù)。分布式設(shè)備管理系統(tǒng)的拓?fù)浣Y(jié)構(gòu)包括設(shè)備-邊緣服務(wù)器-云平臺三層其中任何一個(gè)節(jié)點(diǎn)變化都要及時(shí)更新文檔?,F(xiàn)場排查問題時(shí)有一張準(zhǔn)確的網(wǎng)絡(luò)拓?fù)鋱D能節(jié)省大量時(shí)間。這些工作看起來并不起眼卻是整個(gè)系統(tǒng)長期穩(wěn)定運(yùn)行的基礎(chǔ)保障之一。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.夜夜操| 久久久久久人妻| 久久人妻在线| 五月天六月色| 性色五月天| 狠狠精品干练久久久无码中文字幕| 被强行糟蹋的女人A片| 搡BBBB搡BBB搡五十| 伊人五月婷| 人妻操日日| 日本高清久| 色999五月色| 婷婷丁香色五月天久久88| 激情五月六月丁香| 日本啪啪网| 丁香成人五月天| 日本精品人妻无码77777| 激情综合视频| 久久丁香五月综合六月激情红杏视频| 婷婷五月天综合中文| 欧美大道不卡| 超碰人妻公开在线| 97热这里精品在线视频| www久久久久久久久久久久久久久久久| 91丨九色丨老熟女激情| 婷婷五月天综合久久| 丁香五月天天哦| 婷婷五月天亚洲精品| 极品另类| 久久久精品免费啪啪国| 天天狠狠婷婷在线| 婷婷五月情| 91五月天| 丁香五月婷婷激情完整版| 日本一级| 26uuu亚洲欧美| 超碰二区| 五月丁香 狠狠爱| 九色91视频| 婷婷五月天激情综合| www、色色色| 色婷婷av在线观看| 97色视频网| 国产xxxxx在线观看| 色五开心五月五月深深爱| 亚洲免费婷婷| 99视频这里有精品| 激情婷婷| 极品另类| 97超级碰碰碰久久久| 五月伊人91| 三级大香蕉网| 超碰激情五月| 99热99美国在线观看| 成人网址在线观看| 大香蕉久| 久久 无毛。| 狠狠色激情在线| 久9热视频| 99国产精品久久久久久久久久久| AV在线观看网站| www.五月婷婷久久.com| 丁香九月婷| 97超级啪啪在线观看| 2015好吊操| 真实亲子乱子伦高清在线观看| 国产精品色色| 欧洲综合视频| 狠狠色大香蕉| 操比激情五月| 久久AV电影| 91超级碰| 人人干女人| 夜夜操狠狠操天天操| 色五月丁香网| 91viP在线看| 欧美人妻一区二区| OYIWbGcPu8H| 99 热| 情久久综合五月天| 久在热99| 五月丁香婷中文字幕 | 亚洲成人av在线播放| 色婷婷成人影片| 97人人操人人爽| 人人草碰| 日本色视| 日韩精品无码AV| 五月丁香婷中文| 亚洲精品亚洲人成人网| 思恩热国产视频右线观看| 五月丁香婷婷AV| 亚洲欧洲另类图片| 99精品7| 啪啪啪大香蕉| 99久久婷婷国产综合| 激情五月综合婷婷| 天堂网啪啪| 日韩AV大全| 久久AV无码精品人妻系列试探| 九九日本视频| 久久99网站| 久99| 六月婷婷综合| 五月丁香综合伦理片| 久热这里| 91青娱乐青青草| 婷婷五月天开心网| 91婷婷在线观看| 日日爽日日爽| 婷婷五月激情五月丁香五月| 伊人玖玖精品| 91九九| 婷婷五月AV| 丁香久月婷| 色久激情在线| 韩日AV片| 无码色| 久久婷婷的综合色丁香五月| 五月开心网| 色五月中文字幕| 五月丁香六月婷婷操操操| 丁香五月天日韩无码| 色性日本| 性爱五月婷| 久久视频在线| 激情五月色综合网| 五月天社区| 久久久久久久97| 五月天激情久久| 九九色欲网| 色婷婷激情| 欧美性久| 激情綜合W W W,激情五月天| 思思99热在线| 婷婷五月丁香综合亚洲| av操一操| 在线成人网址| 五月开心网| 激情深爱婷婷网| 久久久激情| 色亭亭五月天网扯| 久久久久九九九九视屏小说88| 丁香五月激情啪啪| 久久婷婷五月综合激情国产| 超碰免费在线| 五月婷婷丁香狠狠撸久久| 日本熟女啪啪| 丁香五月中文字幕| 婷婷五月天激情综合| 亚洲精品V天堂中文字幕| 丁香六月视频| 天天网曰日曰夜夜综合永久免费| 伊人久久大香网| 中日韩狠狠色| 人妻少妇色综合| 色婷婷成人在线| WwW色婷婷| 色女伊人| 婷婷色导航| 欧美激情五月天在线观看| 国产做A爰片毛片A片美国| 99这里只有免费的精品| 日韩成人无码片| 可以看的av| 色啪影院| 波多婷婷久久| 日本一级一片免费视频| 欧美天天综合网站上去吧| 嫩模草| 人人干av| 六月婷婷网| 亚洲电影在线观看| 九月婷婷激情| 丁香伊人综合| 久操综合| 99久久综合狠狠综合久久| 天天久| 五月婷婷激情综合| 五月丁香六月综合图| 国产综合婷婷| 91操操| 天天揷综合网| 九艹在线| 亚洲狠狠操| 人妻激情在线| 激情综合网婷婷五夜| 婷婷五月色惰| AⅤ色区| 久久五月婷婷视频| 97高清国语自产拍| 97操视频| 99热99热不卡| 五月天婷a在线| 91 久热| 五月婷在线观看| 五月五丁香婷婷| 97干婷婷| 色香蕉婷婷| 91碰在线| 夜夜撸天天操| 亚洲婷婷在线播放十月| 久艹伊| 激情五月丁香五月| 丁香婷婷色色| 无码色色| 久久在这里有精品| 1024手机在线观看看片_日韩精品| 免费看欧美成人A片无码| 99热综合色图| WWW.色婷婷.COM| 超碰在线看| 色婷婷亚洲综合天堂| 色婷婷五月在线| 五月丁香六月婷婷亚洲| 精品人妻久久久| AV性爱网| 激情婷婷丁香| 九九热视频免费| 丁香五月影院| 99精品人人| seuuu婷婷| 五月丁香婷婷成人网| 综合一本道| 开心五月天私房婷婷| 操逼国产91| 色狠狠色噜噜AV天堂五区| 人人爽欧美婷婷久久久五月丁香| 黄色99网| 狠色狠色狠狠色综合网| 操逼毛片国语对白| 六月婷婷激情| 亚洲成人超碰| 夜夜撸日日操| 精品人妻一区二区三区四区不卡在| 深爱激情四射| 99re在线观看视频| 亚洲激情亚洲激情 | 99精品亚洲| 色婷婷色五月丁香| 婷婷五月激情六月丁香| 丁香婷婷六月激情文学| 中文无码婷婷| 99久久精品色老| 99热精品网| 婷婷五月天综合亚洲| 色99网站| 五月丁香激情啪啪| 婷婷五月天情色| 激情五月天伊人影院| 99热首页在线30| 天天做天天爱天天日| 婷婷伊人综合中文字幕| 99riAv1国产在线观看| 东京热人妻一区二区三区在线| 96精品成人无码A片观看金桔| 丁香五月天啪啪| 青青草成人网| 五月婷婷丁香五月婷婷丁香| 99性爱视频| 色综合色色色色色| 青青草原福利在线| 深爱五月网| 婷婷五月天性| 日操夜撸| 亭亭玉月丁香| 久99久在线观看| 狠狠操综合| 五月丁香亚洲婷婷| 狠狠搞狠狠操| 99狠狠| 性爱视频99| 五月天五月天成人网亭亭成人色网站| 综合色激情| 欧美激情凹凸丁香网| 婷婷丁香成人网址| 最新亚洲色色网| 插插干干干色| 中文字幕 久久9999| 五月开心六月婷婷在线播放网站| 先锋男人99资源| 五月天另类综合网| 天天操天天爽天天爱| 99热思思在线观看| 婷婷五月天视频在线观看| 日在线V视频在线播放| 襙比视频| 99精品小视频| 色五月超碰| 99热主页日本| 婷婷天天日婷婷| 六月综合婷婷开心伊人| 国产亚洲99久久精品| 婷婷综合久久| 99干免费视频| 国产4P视频精品五区| 亚洲成人另类| 99在线精品视频免费| 亚洲激情无码久久| www,五月天激情| 天天摸夜夜夜| 99在线精品视频| 日本不卡中文字幕| 人人摸人人干| 91啦丨九色丨刺激中文| 香蕉婷婷色五月| 色综合夜夜| 五月天激情网址| 丁香五月成人在线| 婷婷五月天亚洲五码| 色狠狠综合网| 少妇高潮呻吟A片免费看软件| 国产精品久久久久久亚洲毛片| 免费黄网不卡AV| 99超级超级超级碰| 7777激情基地| 欧美一区二区三区不卡影视| 日本婷婷色日| 色色色综合色| 亚洲mm免费| 97热九九| 免费99情趣网视频| 丁香婷婷月| 色五月综合| 国产精品国产成人国产三级| 丁香六月青青草| 亚洲国产成人在线| 玖操97| 五月激情婷婷国产精品久久久久久| 色婷婷综合久久久久| 色偷偷五月天| 狠狠狠狠草草| AA丁香综合激情| 五月天色导航| 久9久9久9久9久9久9| 国产 码在线成人网站| 人人操人人妻| 婷婷五月天久久| 99区视频| 婷婷五月天亚洲五码| 激情五月婷婷| 久热精品在看| 六月香五月婷| 99久久99久久| 免费观看全黄做爰的视频| 91色碰| 久青青久| 婷婷的色色五月天| 国产在线网| 色播五月综合网| 五月丁香怕怕综合| 在线综合网| 狠狠综合网| 婷婷五月激情综合网| 亚洲av网站| 欧美成人网婷婷综合在线| 五月丁香六月婷婷色日| 亚洲精品白浆高清久久久久久 | 丁香五月天堂网| 99久操视频| 五月丁香性爱| 天天操夜夜爽歪歪| 中文字幕欧美日韩VA免费视频| 国产亚洲成AV人片在线| 天天爱天天做天天舔| 色五月av| 久久人人添人人爽添人人片αV| 影音先锋一区| 无码任你操| 色婷婷狠狠| 五月丁香A∨在线| 亚洲小视频免费观看| 美女天天爽| 久久er99热精品一区二区| 踪合专区啪啪| 色播激情五月天| 99热这里| 极品色丁香| 久狠狠| 五月婷A V在线| 99热只有精品综合| 久久久久久97| 综合精品99| 亚洲综合色丁香婷婷六月| 色婷婷丁香| 激情五月天色色色| 色五月丁香六月婷婷| 1024人妻| 99热九九这里只有精品| 婷婷五月激情图片| 91嫩草久久| 五月丁香亚洲综合网| www.五月.com| 久久性视频| 五月婷婷综合视频| 五月丁香婷婷老司机| 丁香久色| 激情婷婷| 欧日韩AV| 色人久久| 婷婷九月丁香| 超碰大香蕉网| a色婷婷| 五月天社区狠狠| 日本精品久久久久中文字幕| 日本激情ⅩXX免费视频| 五月丁香色综合| 综合久久综合| 欧美视频五区| 成人丁香色| 日韩aaa| 九九色黄色| 精品怡红九九九| 婷婷激情四射| 亚洲色爽| www.夜夜| 婷婷六月开心网| 天天摸天天爽| 蜜桃人妻无码AV天堂三区| 激情文学久久| 26uuu在线观看| 91碰视频| 玖玖精品视频| 色狠狠狠干| 天天日天天爽夜夜爽| 五月丁香视频色色| 狠狠操狠狠插| 狼人婷婷综合| av在线免费网站| 色一情一乱一乱一区9| 99热777| 婷婷成人基地| 久久96热| 黄色AAAAAAA| 久久黄色片| 97久久超视频| 99玖玖在线视频| 丁香五月AV| 久久WW| 在线天堂9| 丁香婷婷五月色成人网站| 婷婷天堂视频| 婷婷五月天精品| 26uuu青青| 日韩999| 色色综合日韩| 欧美性做爰大片免费看办公室| 天天在线久久综合 | 天天插天天射| 婷婷丁香五月精品| 色色亚洲99com| 婷婷中文字暮| 伊人玖玖婷婷| 丁香色婷婷| 婷婷丁香熟妇综合网| 天天日,天天插| 激情五月天噢美| 色九月婷婷| 国熟女视频| 综合久久五| 五月色天情| 超级碰碰碰91| 深爱五月激情| 久久人妻少妇嫩草AV| 性小说五月天| 色五月AV| 五月婷婷熟女| 偷偷操九九| 色婷婷69| 99精品这里只有免费视频| 欧美性猛交99久久久久99按摩| 久久久久久丁香五月| 人人操人人看97干| 九九这里都是精品| 婷婷五月丁香伊人网| 人妻在线观看视频| 五月天激情影院| 青青草a在线| 久久探花91swag| 久久久性爱视频| 狠狠操之狠狠操| 色婷婷性爱网| 九九色播五月丁香| WWW丁香五月| 丁香婷婷影院| 激情色色| 五月天另类小说久久小说网| 夜夜大香蕉婷婷丁香| 色99在线观看| 久久欧洲综合网| 亚洲综合另类| 国产精品A成V人在线播放| 婷婷十月激情综合网| 97碰超级人人看| 被强行糟蹋的女人A片| 五月丁香亚洲婷婷| 久久视这里只有精品| 夜色热久| 五月天婷婷色| 热99re| 91AV婷婷| 婷婷中文字幕欧美| 97碰在线视频| 五月花综合视频| 五月丁香影院| 五月天激情日色在线| 色情综合网| 亚洲色vA| 婷婷久久五月天| 啪啪视频99| 天天干天天干天天操| 99亚洲色色| 99热综合在线| 成人AV片播放| 久久久精品人妻| 丁香婷停五月激情综合深爱| 99在线观看视频| 久操香蕉| 天天天干夜夜夜操| 婷婷狠狠操| 色。 日日日| 婷婷五月天久久综合88| 激情内射人妻1区2区3区| 超级碰碰碰97免费| 99色播| 丁香五月香蕉| 丁香五月久久社区| 97在线观视频免费观看| 婷婷五月综合在线| 99视频只有精品| 九月婷婷综合八月丁香在线观看| 99热精品观看| 日韩黄在免| 超碰成人在线观看| 色综合激情| 国产六月婷婷| 久久这里都是精品免费| 午夜av网| 人人妖人人97| 九九热精品| 婷婷五月综合网| 五月深爱激情网| 日韩成人电影AV| 九九精品99久久久| 久久在线视频免费观看| 久久婷婷六月综合| 婷婷丁香激情综合色情| 丁香月六月| 五月色婷婷AV| 日本人妻丁香婷婷久久寝取熟女五月| 九九久久精品| 五月丁香婷婷婷激情爱爱| 成人丁香婷婷| 免费视频WWW在线观看网站| 成人精品在线| 97影院一级片| 激情五月婷婷| 亚洲五月花| 丁香激激情网| 九九久久99| 五月伊人综合| 热99这里只是精品| 久久久久亚洲AV成人无码电影| 激情五月九九九| Aaa久久| 亚洲精品久久久无码| 综合色色色| 香蕉综合在线| 人人操日| 亚洲另类婷婷综合| 涩婷婷五月天在线精品视频| 五月综合激情视频在线| 五月丁香六月婷婷无码| 婷婷久久亚洲| 五月天婷婷中文字幕在线播放| 五月婷婷六月丁香激情综合网| 狠狠艹狠狠艹| 国产xxxxx在线观看| 91操碰| 超碰在线人人| 91久久久久久久| 日韩操逼大片| 午夜色婷婷| 生活片五区| 亚洲黄色精品| 色玖玖爱| 久久婷婷六月综合| 丁香婷婷六月婷婷六月婷婷六月婷婷| 色婷婷XXXXX| 九月色婷婷| 色婷婷黄色网络| 久热无码| 激情丁香婷婷五月天| 九九99在线观看视频| 天天久久66xxx| 俺来也综合网精品一区| www.婷婷网| 狠狠做五月| 思思久久99热| 五月丁香六月日逼| 丁香激情六月天婷婷| 无码天天操| xxx综合在线| 色狠狠色狠狠| 五月婷视屏在线观看| 婷婷五月六| 久久九九蜜| 丁香六月五月天| 五月天激情啪啪| 第四色五月婷婷| www,久久久| 丁香婷婷六月天| 伊人啪啪网| www.色婷婷.com| 偷偷与邻居做爰完整视频| www.色五月| 中文字幕免费高清电视剧| 播丁香五月婷婷欧美| 蜜臀av 粉嫩av 懂色av | 九九在线精品| 六月丁香婷| 99热只有| 亚洲狠狠丁香婷婷香蕉| 婷婷中文字暮| 久久精品4| 中文字幕成人| 99婷婷精品推荐在线视频| 婷婷94s| 久久在线大香蕉| 久九色| 五月婷久久| 丁香六月婷婷姐网| 欧美五月婷婷| 超碰v| 操逼综合激情网| 91色逼| 婷婷五月花| 无码G高清天| 九热视频| 五月色亚洲| 丁香六月在线综合| 国产激情在线| 亚洲婷婷五月草久| 婷婷色色婷婷| 67194国产| 97干干干丁香| 色五月偷偷| 丁香婷婷六月婷婷六月婷婷六月婷婷| 婷婷六月色播| 九九色逼| 狠狠婷婷日韩| 99色天堂| 五月丁香激情在线| 91精品久久久久久久| 亚洲操操| 色色五月天com| 天天干,天天舔| 色婷婷激情五月天在线观看| 色婷婷操逼| 免费无码毛片一区二区A片| www,色综合| 丁香六月婷婷综合色| 99惹精品视频| 色婷久久| 99视频日韩| 五月丁香啪啪| 亚洲第一视频 久久| 色你久久| 亚洲丁香花五月丁香花| 97色婷| 日本九九热| 思思re99视频在线观看| 久久婷婷热| 午夜免费高清AV片| www.狠狠操.con| 99爱免费视频在线观看| 一本大道嫩草AV无码专区| 这里只有精品热| 丁香五月电影| 丁香五月天.com| er99免费视频在线| 热99在线| 欧美69久成人做爰视频| 超碰9| 天天天天爽爽天干| 久99热| 欧美日本另类| 婷婷五月天综合久久日| 高潮毛片又色又爽免费| 狠狠色丁香| 丁香五月欧美色综合| 婷婷色在线| 99久久97久久欧美综合网| 色了色综合| 夜精品无码A片一区二区蜜桃| 综合视频久久| 婷婷色色综合| 久久与婷婷| 五月天激情丁香| 91九色熟女| 九九性爱网| 大香蕉九九操| 性生活久久人妻| 中国无码av| 久久五月网| 九九在线精品| 色婷婷五月天偷拍| 五月丁香婷婷色啪| 天天射综合网天天插| 久久人妻精品| 91chinese在线| 九九AV在线| 色婷婷五月天| 色综合久久88色综合天天99| 精品五月天| 亚洲成人AV高清字幕| 人人草公开操| 亚洲中文av| 无码动漫AV| 日韩成人AV在线播放| av色色国产| 五月丁香综缴情性爱| 婷婷丁香人妻| 日产精品一线二线三线芒果| 99热99网| 久久这里只有精品热在99| www.久久爱.com| 五月婷婷真爱激情网| 伊人狼人干| 日本本土色网第一区| 久久久久久久久久8888| 色99热| 丁香激情五月天| 大香蕉丁香| 精品九九视频| 亚洲国产精品二二三三区| 26uuu欧美日韩| 思思re99视频在线观看| 日本99热| www色五月| 九九99免费视频| 91碰碰视频| 色婷婷偷拍| 九九在线精点品| 99热大| 99热99热不卡| 影音先锋91视频| 情趣视频66| 色婷婷yy久| 婷婷五月天资源| ztEJj| 日日日日操| 91久久久久| 色婷五月天激情| 久热A片| 狠狠狠夜夜夜| 91一道本| 丁香九九九九| 99久久九九| 亚洲综合激情五月久久| 99热精品在线观看| 亚洲中文字幕网| 99在线观看免费精品视频| 久久99网站| 亚洲色欲欧美一区二区三区| 欧美韩国日本| 9这里只有精品| 激情电影五月婷婷| 色婷婷色99国产综合精品| 五月天丁香欧美激情| 色婷婷五月天小说| 无码一级片| 超碰免费大香蕉| 99久热| 天天干天天干天天干| 色婷婷六月开心中文字| 久久综合综合综合| 五月丁香激情综合啪啪| 日韩999| 九九aV| 另类小说婷婷色| 丁香五月婷婷影视先锋| 开心五月网| 成人av观看| 色情婷婷五月天| 亚洲欧洲自拍图片专区五月天| 综合久久十三| 婷婷五月成人| a九九热www| 婷婷在线播放| 五月天婷网| 美女91一起草| 欧美日韩一区二区三区四区| 五月婷婷综合色拍| 欧美毛卡| 五月婷婷影| 狠狠999| 色情五月| 色色com| 一本综合丁香日日狠狠色| 婷婷五月色惰| 色婷婷基地| 亚洲色婷婷视频| 五月丁香亭亭| 超碰资源在线| 丁香六月情| 99热这里只有精品69| 97操男人的天堂| 五月婷婷激情综合| 伊人婷婷色激情丁香| 伊人玖玖婷婷| 天天日夜夜爽| 青青草成人网| 99操久久| 狠狠色丁香乆乆| 色日本综合| 热99视频精品| 欧美日韩国产一区二区| 日本一级一级一级一级| 思思热久久久久思思热| 大香蕉婷婷丁香视频在线| 色狠狠色噜噜AV天堂五区 | 97人人干| 99视频网| 入口五月婷婷六月香| 伊人九九68| 99综合免费视频| 狠狠草综合网| 操一区| 日碰日| 超碰av在线| 深夜A片| 国产片天天爽夜夜爽| 激情国产五月| 99热9| 五月婷婷插一插| 99久扒热| 97日本在线播放| 婷婷久久亚洲| 丁香五月婷婷手机| 超碰碰碰碰| 婷婷日韩| 丁香六月婷婷综合| 狠狠干天天日| 欧美日韩成人一区二区| 99五月香婷婷丁香在线视频| 97综合在线| 激情五月婷婷在线| 久操大香蕉| 亚洲精品无AMM毛片| 伊人婷婷大香蕉| 色婷婷色婷婷五月| 欧美va国产va| 色六月婷婷| 五月婷av| 在线99热| 婷婷午夜丁香| 五月丁香六月婷婷欧美综合| 五月丁香啪啪激情| 亚洲另类电影| 免费看成人747474九号视频在线观看| www.wuyuetian啪啪| 婷婷久久大香蕉| 天天爽夜爽| 激情婷婷另类| xxxx五月激情| 97碰| 婷婷玖玖丁香| 刘玥精品一区| 少妇人妻偷人精品无码视频新浪| 中文资源在线a| www.99热. com这里只有精品| 久久五月视频| 天天色99| 午夜]香婷婷深深爱| 婷婷综合在线| 99re在线观看| 亚洲激情综合| 五月丁香基地| 天天日夜夜草进麻麻的子宫| 丁香综合婷婷开心激情网| 99超碰在线观看| 最新高清无码专区| 久久机热/这里只有精品| 亚洲性视频| 人妻久久久久久久| 色婷婷色五月天| 亚洲行行色色| 这里只有精品99www| 伊人激情| 综合啪啪| 欧美va视频| 婷婷激情四射五月天| 亚洲一二三网| 另类五月激情| 五月丁香本色在线观看| 亚洲最大成人综合网720P| 超碰99在线观看| 九九精品免费| 久久人人妻| 久久久激情| 97色97干| 日本婷久久| 色婷婷A| 婷婷久久免费| 日韩久热| 婷婷五月丁香六月| 天堂色婷婷| 蜘蛛女侠2003满天星免费观看| 深爱五月亚洲| 丁香六月视频| 日本无va视频| 五月丁香六月婷婷色| 看黄的网站18禁| 六月丁香婷婷综合色播| 丁香六月婷婷综合色| 99re最新地址视频| 超碰九色| WWW,色五月| 美女激情综合| 国产激情av| 天天色天天射天天日| 99热国内精品| 熟女激情网| 日本欧美在线| 99热这里在线精品| 9久视频| 婷婷九月| 狠狠夜夜五月丁香| 婷婷五月天天| 热99只有精品| 久热这里只有精品视频免费观看| jiqingliuyuetian| 色天五月天在线观看视频| 综合网啪| 99热这里都是精品| av网址在线| 男女99免费视频| 亚洲va成人va成人va在线观看| 欧美黄色韩日网| 超碰三级片| 免费黄色视频网址| 久久久婷| 国产精品久久久久久久久久久久| 苗黎美女四级成人版一级二级毛片| 嫩模草| 激情婷婷网| 久久久性爱视频| 26uuu青青| 深爱激情四射| 六月综和久久| 思思久久青草热| 丁香婷婷情色五月天| 停婷丁五月在线| 欧美日综合| 国产精品一区在线观看你懂的| 欧洲电影在线观看免费版英语版 | 六月婷婷色| 色色五月天激情| 亚洲综合五月天| 色五月婷婷丁香凹凸| 激情五月份婷婷| 欧美日韩成人在线| 丁香综合伊人AV| www.激情五月天com| 天天摸天天舔| 久久久WWW| 26uuu国产| 婷婷五月丁香国产| 9l视频自拍9l九色9l成人| 久久这里这里有精品免费视频| 丁香五月综合福利视频导航| 亚州色色色| www.99热这里只有精品| AV网在线| 六月婷婷啪啪| 亚洲性爱干干| 亚洲最大激情无码| 思思久久99| yw国产AV| 99在线观看视频| 五月婷婷综合色啪首页| 日本狠狠干| 99热色精品| 91xxxx九色| 色七色九九| 五月天色社区| 深爱婷婷网| 天天视频精品9| 丁香狠狠色婷婷| 激情六月五月婷婷综合网| 99热的无码| 超碰激情网| 精品少妇人妻AV无码专区偷人| 超碰国产av| 国产五月天激情小说| www,色婷婷| 欧洲电影在线观看免费版英语版| 操久久精| 精品无码人妻一区| 大香蕉欧美在线| 亚洲A片成人无码久久精品青桔| 99超级碰碰| 天天天操天天天爰| 婷婷五月天播播| 内射爽无广熟女亚洲| 亚洲操B视频| 天天在线久久综合 | 另类图片五月天| 啪精品| 午夜丁香六月婷| 99九九在线精品热动漫| 欧美成人AAA片一区国产精品| 碰人人97| 丁香五月1页| 色噜噜狠狠狠综合曰曰曰| 久久久com| 91碰操| 99久热这里有精品| 成人综合视频在线| 五月婷婷伊| 色情性爱视频网址| 婷婷丁香五月网| 99热网精品| AV中文在线| 亚洲激情五月| 日本一級黃色一級片| 好好干Av| 怡红院视频| 天天干天天操天天拍| 激情婷婷黄色五月| 婷婷六月激情啪啪| 五月香婷婷| 大胆伊人久久| 欧美色色色| 婷婷人人操| 丁香婷婷综合色五月激情国产基地| 国产夫妻操逼内射视频| 婷婷成年人免费视频| 成人无码精品1区2区3区免费看 | 亚洲精品字幕在线观看| 成人av在线网站| 五月天狠狠网| 玖久久网站| 天天上天天爽| www.超碰| 一片AV片免费播放| 手机AVAV天堂看网| 天天爽夜夜操| 亚洲av综合网| 五月婷婷综合视频| 亚洲9久久精品| 能看的av片| 五月天社区| 婷婷色在线| 久久婷网| 色综合久久综合| 色婷婷狠狠干芒果TV| 国外亚洲成AV人片在线观看| 久久婷婷五月综合97色一本| 婷婷另类小说| 色婷网站| 六月丁香婷婷尤物| 日韩aaa| 91vip在线观看| 日本色爽| 五月婷丁香久久综合| 色综合天天天天做夜夜| 日本操B视频在线观看| 天天摸天天舔天天爽| 亚洲精品大片| 99ri国产在线| www.黄色片-久久成人国产精品在线播放-999AV| 婷婷五月六月丁香| 九九免费视频| 狠狠婷婷日韩| 我要射综合| 色色色色色色综合网| 久久与婷婷| 疯狂做受XXXX高潮A片| 成人天天爽| 一本色道久久综合狠狠躁小说| 久久五月天色婷婷| 五月丁香啪啪综合| 热99国产精品| 五月天另类小说| 狠狠干五月天婷婷网| 婷婷激情五月综合| 91丨九色丨43老版熟女| 亚洲人妻av| 色色激情五月天| 99热都是精品| 婷婷丁香五月天婷婷| 99爱视频在线观看这里只有精品| 中文字幕在线观看视频www| 婷婷亚洲天堂| 91九色首页| 色色色色网| 激情五月天婷婷久久久久久久久久久| 九九这里只有精品| 五月丁香六月婷婷综合免| 极品少妇高潮啪啪AV无码| 亚洲婷婷丁香五月亚洲| 激情五月成年| 思思热性操| 操日本99| 天天爽天天摸天天爱| 日韩美一级毛卡片| www.婷婷五月天| 碰97久久| 九九色色网| 亚洲色色色色色色色色色| 国内外色色色色色成人视频| 好吊丝aV| 99热国产在线| 天天爽夜夜爽| 伊人久热91网| 成人短视频在线免费观看| 五月天婷婷网站888| 激情五月天小说网| 狠狠久久婷五月综合色| 免费看欧美成人A片无码| 欧美性爱特黄一级aaaassss| 丁香啪啪中文字幕| 99热在线观看免费精品| 五月婷啪| 日韩成人综合网| 日日鲁鲁夜夜爽爽| 97超喷视频在线观看| 久婷五月| 亚洲激情综合色站| 亚洲日本韩国| 亚艹艹| 五月天婷婷色色网| 色五月激情综合网| 色综合com| AA片在线观看视频在线播放| 五月婷婷综合色拍| 丁香97综合| 99热超碰在线| 天天操天天操| 色综合久久无码| 婷婷九月综合| 婷婷5月色| 国产av天天插天天操天天爽| 激情五月丁香亭亭| 婷婷色导航| 无人区码一码二码三码医生系列| 99re思思热久久| 国产综合视频婷婷| 精品色色| 五月婷婷天| 91色在线/日韩| 久草热久草在线视频| 婷婷九月丁香久久| 五月天婷婷社区久久综合| 久久五月天婷婷| 亚洲丁香网| 婷婷丁香亚洲色综合91| 啪啪综合网| 另类综合婷婷五月天欧美视频| 熟女激情网| 天天干天天操天天爽| av网站中文| 人五月天婷婷喷水| 操操国产| 久久成人综合五月天| 五月丁了香蕉综合| 色爱综合网| 激情开心五月婷婷| 九九久久偷拍| 丁香五月大香蕉| 色区域网站视频| 97超碰综合| 91大屁股在线| 色婷婷综合视频| 无码人妻一区二区三区免费九色| 天天做天天爱| www.婷婷,com| 久久六月天| 天天色中文字幕女优AV| 九九热re99re6在线精品| 狠狠干2007| 亚洲人妻电影| 中国丰满熟女A片免费观| 天天日天天摸| 久久九九免费大视频| 五月天婷婷亚洲| 欧美成人精品A片免费一区99| 综合噜噜| 婷婷5月色| 九热久| 91色呦哟| 99久久99久久综合| 色99热| 五月六月播婷婷| 97ai婷婷| 偷偷与邻居做爰完整视频| 婷婷六月色开| 亚洲婷婷丁香五月亚洲| 国产色网站| 久热精品9999| 120分钟婬片免费看| 色噜噜狠噜噜视频| 人妻操在线看| 欧美性二区| 99色免费在线观看| 婷婷97狠狠成人网站| 综合久久综合久久| 欧美成人色婷婷| 深爱激情小说五月婷婷| 色色婷婷婷丁香五月天| 五月激情在线| 97干在线播放| 婷婷播播五月天| 九九热10| 丁香五月色色婷| 亚洲欧洲中文日韩久久AV乱码| 天天综合五月天| xx色综合| 久久人人九| 精品视频网| 99精品成人无码A片观看金桔| 九九在线视频| 激情网站综合五月天| 99九九精品视频| 97操| 99视频免费播放| 欧美在线视频99| 99在线观看精品视频| 丁香美女主播视频在线观看| 色婷婷五月丁香在线观看| 五月停亭六月,六月停亭的英语| 午夜福利8055| 成人做爰A片免费看网站找不到了 噼里啪啦在线观看免费完整版视频 | 3DAV亚洲香蕉久久 一区二区| 久久99国产综合精品免费| 亚洲情欲| 另类 在线| 久久99网| 久色五月| 99.色| 色五月婷婷成人视频| 久久丁香五月| 日韩淑女人妻luan伦激情精品一区二| 色色五月天激情| www.99成人视频| 婷婷六月激情丁香| 在线,国产,色,热视频| 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 全高清无码视頻| 九九青草热| 婷婷丁香社区| 热久久这里只有三级视频| 久久久宗合视频88| 91久久日日| 在线看的免费网站| 久久精品人妻| 99精品在线播放| 国产67194| 91碰| 九九干视频| 婷婷午夜精品久久久| 91丨九色丨白浆秘| www.91婷婷| 丁香婷婷激情|