欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

物聯(lián)網(wǎng)溫濕度異常預(yù)警系統(tǒng)實(shí)戰(zhàn):MQTT+機(jī)器學(xué)習(xí)從0到1

物聯(lián)網(wǎng)溫濕度異常預(yù)警系統(tǒng)實(shí)戰(zhàn):MQTT+機(jī)器學(xué)習(xí)從0到1 1. 為什么我勸你別一上來(lái)就搞AI先想清楚這幾個(gè)真實(shí)場(chǎng)景去年年初有個(gè)做冷庫(kù)冷鏈的朋友找上我說(shuō)他們的倉(cāng)庫(kù)溫濕度記錄還得靠人工拿著溫濕度計(jì)每天巡兩趟數(shù)據(jù)記在紙質(zhì)表格上等發(fā)現(xiàn)異常的時(shí)候一批貨早就廢了。他說(shuō)想上物聯(lián)網(wǎng)還要上AI讓系統(tǒng)自己會(huì)報(bào)警。我問(wèn)他“你是想要一個(gè)能看實(shí)時(shí)數(shù)據(jù)的平臺(tái)還是想要一個(gè)能在出事前提醒你的系統(tǒng)”他愣了半天說(shuō)“這不都一樣嗎”這就是絕大多數(shù)人一上來(lái)就踩的坑。把物聯(lián)網(wǎng)和AI混為一談結(jié)果要么做了一個(gè)只有數(shù)據(jù)展示的“大屏駕駛艙”看著很酷但沒(méi)什么決策價(jià)值要么買(mǎi)了一套所謂AI預(yù)警方案閾值寫(xiě)死在代碼里溫度超過(guò)30度就報(bào)警這跟用Excel做個(gè)條件格式有什么區(qū)別后來(lái)我們花了兩周時(shí)間從0到1搭了一套溫濕度異常智能預(yù)警系統(tǒng)硬件成本不到500塊核心鏈路就三個(gè)環(huán)節(jié)用MQTT把傳感器數(shù)據(jù)搬到服務(wù)器用機(jī)器學(xué)習(xí)模型學(xué)習(xí)正常狀態(tài)的范圍再通過(guò)滑動(dòng)窗口機(jī)制判斷異常并推送告警。這篇文章把我完整的落地過(guò)程、踩過(guò)的坑、代碼和參數(shù)選擇邏輯都寫(xiě)出來(lái)。想上手做物聯(lián)網(wǎng)AI方向的同學(xué)或者已經(jīng)在做監(jiān)控系統(tǒng)但覺(jué)得閾值報(bào)警不夠聰明的朋友這篇文章可以直接拿來(lái)抄作業(yè)。先說(shuō)結(jié)論這套系統(tǒng)的本質(zhì)不是“預(yù)測(cè)未來(lái)”而是“識(shí)別偏離正常模式的狀態(tài)”。這個(gè)定位想清楚了后面所有技術(shù)選型都會(huì)順理成章。2. MQTT選型背后的硬邏輯不是因?yàn)樗鸲且驗(yàn)樗傅米?.1 傳感器數(shù)據(jù)上云先搞清楚幾個(gè)方案的分水嶺做物聯(lián)網(wǎng)的數(shù)據(jù)傳輸繞不開(kāi)幾個(gè)候選方案HTTP輪詢(xún)、TCP長(zhǎng)連接、MQTT、CoAP。我用一個(gè)實(shí)際場(chǎng)景來(lái)對(duì)比你就知道為什么最終選MQTT。假設(shè)你的倉(cāng)庫(kù)里有30個(gè)傳感器節(jié)點(diǎn)每10秒上報(bào)一次溫濕度數(shù)據(jù)。用HTTP方案每個(gè)節(jié)點(diǎn)主動(dòng)POST數(shù)據(jù)到服務(wù)器服務(wù)器需要處理30個(gè)并發(fā)連接而且HTTP是短連接每次都要重新握手報(bào)文頭動(dòng)不動(dòng)幾百字節(jié)。更麻煩的是如果服務(wù)器重啟或者網(wǎng)絡(luò)抖動(dòng)客戶(hù)端怎么重連、重連之后數(shù)據(jù)怎么補(bǔ)這些都得自己寫(xiě)。MQTT的做法完全不一樣。它基于發(fā)布/訂閱模型傳感器是發(fā)布者服務(wù)器是訂閱者中間通過(guò)Broker中轉(zhuǎn)。傳感器只負(fù)責(zé)把數(shù)據(jù)扔給Broker根本不關(guān)心誰(shuí)在訂閱、訂閱了幾個(gè)服務(wù)器也只負(fù)責(zé)從Broker拉取自己關(guān)心的主題。兩者完全解耦。用一個(gè)生活化的類(lèi)比HTTP上傳數(shù)據(jù)就像你每次都要親自把快遞送到對(duì)方手里還得敲門(mén)簽收MQTT更像是把包裹投進(jìn)快遞柜快遞柜Broker幫你存著收件人什么時(shí)候來(lái)取都行。2.2 MQTT的三個(gè)核心機(jī)制理解之后配置不會(huì)出錯(cuò)先看QoS服務(wù)質(zhì)量這是新手最容易忽略的。MQTT提供了三個(gè)等級(jí)QoS等級(jí)含義適用場(chǎng)景0最多一次發(fā)完即忘高頻普通數(shù)據(jù)、丟了不心疼的環(huán)境采集1至少一次有ACK確認(rèn)可能重復(fù)需要確認(rèn)但能容忍重復(fù)的控制指令2恰好一次四步握手性能開(kāi)銷(xiāo)大計(jì)費(fèi)、訂單等絕對(duì)不允許重復(fù)的消息溫濕度采集我建議用QoS 0就夠了。原因很簡(jiǎn)單傳感器每10秒上報(bào)一次丟一兩條數(shù)據(jù)根本不影響整體判斷而QoS 1和2握手確認(rèn)的額外開(kāi)銷(xiāo)在小設(shè)備上會(huì)明顯增加功耗和延遲。那什么時(shí)候需要QoS 1比如你的系統(tǒng)里有個(gè)閥門(mén)控制指令這種命令必須確保送達(dá)重復(fù)一次問(wèn)題也不大。QoS 2在物聯(lián)網(wǎng)數(shù)據(jù)采集場(chǎng)景里說(shuō)實(shí)話用得很少除非涉及資金交易或者法律證據(jù)。然后是遺囑消息Last Will and Testament。我上線的第一周就遇到過(guò)一個(gè)問(wèn)題某個(gè)傳感器節(jié)點(diǎn)因?yàn)殡娏亢谋M突然離線服務(wù)器端完全不知道還以為這個(gè)區(qū)域的溫濕度一直正常。直到巡檢才發(fā)現(xiàn)那間庫(kù)房已經(jīng)失溫兩個(gè)小時(shí)了。用了遺囑消息之后每個(gè)傳感器上線時(shí)先給Broker報(bào)一個(gè)遺囑“如果發(fā)現(xiàn)我掉線了請(qǐng)往alert/offline這個(gè)主題發(fā)一條消息”。Broker檢測(cè)不到心跳時(shí)就會(huì)代為發(fā)布這條消息服務(wù)器收到之后就知道哪個(gè)節(jié)點(diǎn)掉線了就能觸發(fā)運(yùn)維提醒。這個(gè)機(jī)制在同類(lèi)方案比如裸TCP心跳檢測(cè)里實(shí)現(xiàn)起來(lái)要麻煩得多。最后是保留消息Retained Message。新訂閱者上線時(shí)Broker會(huì)把指定主題的最后一條保留消息推送給它。這個(gè)在系統(tǒng)重啟的場(chǎng)景下特別好用——服務(wù)器重啟后不用等傳感器下一次上報(bào)就能立刻知道每個(gè)節(jié)點(diǎn)的最新?tīng)顟B(tài)。2.3 Broker怎么選Mosquitto、EMQX還是云上托管Broker是MQTT架構(gòu)里的中轉(zhuǎn)站選型直接決定系統(tǒng)的穩(wěn)定性和開(kāi)發(fā)效率。我分別試過(guò)三種方案說(shuō)說(shuō)真實(shí)體驗(yàn)。本地開(kāi)發(fā)調(diào)試用Mosquitto就夠它是Eclipse基金會(huì)開(kāi)源的輕量級(jí)Broker安裝簡(jiǎn)單、配置不多單機(jī)扛幾千個(gè)連接沒(méi)什么問(wèn)題。我的開(kāi)發(fā)環(huán)境就是在Ubuntu上裝了一個(gè)Mosquitto命令就一行sudo apt install mosquitto mosquitto-clients生產(chǎn)環(huán)境想省心、要可視化管理界面推薦EMQX它自帶Dashboard可以直觀看到連接數(shù)、消息吞吐、訂閱關(guān)系還支持集群擴(kuò)展而且有中文文檔。我正式環(huán)境的Broker就是EMQX。如果團(tuán)隊(duì)成員不多、不想自己運(yùn)維服務(wù)器資源直接用云廠商提供的MQTT托管服務(wù)也行不過(guò)要做好成本評(píng)估——設(shè)備量越大按連接數(shù)和消息量計(jì)費(fèi)就越貴。2.4 主題設(shè)計(jì)看似隨意實(shí)際決定后端的解析復(fù)雜度MQTT主題采用層級(jí)結(jié)構(gòu)用斜杠分隔這個(gè)設(shè)計(jì)直接影響后端的解析邏輯。我自己第一版的主題設(shè)計(jì)得很亂各個(gè)節(jié)點(diǎn)上報(bào)的主題各寫(xiě)各的后面解析代碼寫(xiě)成了意大利面。后來(lái)重構(gòu)成了統(tǒng)一格式factory/area01/device001/env/temperature factory/area01/device001/env/humidity這種設(shè)計(jì)的好處是服務(wù)器和客戶(hù)端都可以用通配符訂閱。比如我想知道1號(hào)區(qū)域所有設(shè)備的溫度數(shù)據(jù)只需要訂閱factory/area01//env/temperature想知道所有設(shè)備的全部數(shù)據(jù)訂閱factory/#就行。主題層級(jí)的設(shè)計(jì)原則是第一層放租戶(hù)或項(xiàng)目第二層放區(qū)域第三層放設(shè)備ID后面放數(shù)據(jù)類(lèi)型。千萬(wàn)別把上報(bào)時(shí)間戳塞進(jìn)主題里那應(yīng)該放到消息體里。3. 數(shù)據(jù)采集鏈路搭建從傳感器到服務(wù)器每一步都有坑3.1 硬件端選型與接線ESP32幾乎是新手最優(yōu)解設(shè)備端我選了ESP32開(kāi)發(fā)板加DHT22溫濕度傳感器。選ESP32的原因很簡(jiǎn)單自帶WiFi模塊不用額外買(mǎi)通信板價(jià)格便宜Arduino生態(tài)成熟寫(xiě)代碼像寫(xiě)Python一樣省心。如果只支持2.4G WiFi的環(huán)境里工作ESP32的穩(wěn)定性足夠滿足這類(lèi)場(chǎng)景。DHT22和DHT11的區(qū)別要說(shuō)明一下DHT11精度只有正負(fù)2度和正負(fù)5%濕度DHT22能做到正負(fù)0.5度和正負(fù)2%濕度價(jià)格也就差幾塊錢(qián)。做異常預(yù)警系統(tǒng)數(shù)據(jù)精度直接影響模型判斷直接上DHT22。接線部分沒(méi)什么好說(shuō)的VCC接3.3VGND接GNDDATA接GPIO4。就三個(gè)引腳照著接就行。3.2 代碼里最容易翻車(chē)的三個(gè)地方第一個(gè)坑是DHT庫(kù)讀數(shù)據(jù)太頻繁會(huì)報(bào)錯(cuò)。DHT22官方手冊(cè)建議采樣間隔至少2秒你如果設(shè)置每500毫秒讀一次大概率拿到NaN。我代碼里設(shè)置了10秒上報(bào)一次每次讀取前判斷一下是否成功失敗就跳過(guò)這一輪等下一輪再試。第二個(gè)坑是WiFi重連邏輯。現(xiàn)實(shí)環(huán)境里路由器隨時(shí)可能重啟或者信號(hào)抖動(dòng)ESP32的WiFi連接一旦斷了不會(huì)自動(dòng)恢復(fù)。必須在loop循環(huán)里增加檢測(cè)if (WiFi.status() ! WL_CONNECTED) { reconnectWiFi(); }第三個(gè)坑是JSON序列化庫(kù)的選擇。ESP32上JSON庫(kù)我用的是ArduinoJson但要注意它的版本API差別很大v5和v6的用法完全不同網(wǎng)上很多老教程用的是v6照著寫(xiě)可能編譯報(bào)錯(cuò)。統(tǒng)一用v7API更簡(jiǎn)潔。3.3 上報(bào)頻率和休眠策略不能既要數(shù)據(jù)密又要續(xù)航長(zhǎng)傳感器上報(bào)頻率是系統(tǒng)設(shè)計(jì)里一個(gè)繞不開(kāi)的權(quán)衡。上報(bào)越頻繁異常發(fā)現(xiàn)越及時(shí)但代價(jià)是設(shè)備功耗上升、Broker和存儲(chǔ)的壓力增大。我實(shí)測(cè)過(guò)一個(gè)場(chǎng)景一個(gè)ESP32節(jié)點(diǎn)用3.7V鋰電池供電如果每5秒上報(bào)一次電流平均在80mA左右一塊1500mAh的電池?fù)尾贿^(guò)20小時(shí)。改成每30秒上報(bào)一次期間進(jìn)入深睡眠模式平均電流降到30mA以下續(xù)航能到3天左右。對(duì)于需要長(zhǎng)期運(yùn)行的溫濕度監(jiān)控場(chǎng)景我的建議是如果設(shè)備插電運(yùn)行10秒上報(bào)一次如果電池供電上報(bào)間隔至少拉到30秒以上并開(kāi)啟深睡眠。你的系統(tǒng)是做預(yù)警不是做實(shí)時(shí)控制30秒的延遲對(duì)倉(cāng)庫(kù)、機(jī)房、農(nóng)業(yè)大棚這些場(chǎng)景來(lái)說(shuō)完全能接受。3.4 服務(wù)端訂閱與數(shù)據(jù)入庫(kù)別用關(guān)系型數(shù)據(jù)庫(kù)硬抗高頻寫(xiě)入服務(wù)端我用Python寫(xiě)了一個(gè)MQTT訂閱進(jìn)程專(zhuān)門(mén)監(jiān)聽(tīng)Broker上的溫濕度主題。核心邏輯很簡(jiǎn)單用paho-mqtt庫(kù)訂閱主題收到消息之后解析JSON寫(xiě)入數(shù)據(jù)庫(kù)。存儲(chǔ)選型要注意如果每10秒一條數(shù)據(jù)30個(gè)節(jié)點(diǎn)一天產(chǎn)生約26萬(wàn)條記錄計(jì)算方式30節(jié)點(diǎn)6條/分鐘60分鐘*24小時(shí)259200條用MySQL直接硬扛高頻寫(xiě)入也能扛住但后期查詢(xún)會(huì)變慢而且存儲(chǔ)成本高。對(duì)這種時(shí)序型數(shù)據(jù)我用的是InfluxDB它對(duì)時(shí)間序列有壓縮和自動(dòng)清理策略存儲(chǔ)效率比MySQL高很多。InfluxDB的基本概念是measurement類(lèi)似關(guān)系庫(kù)的表、tag索引字段、field數(shù)值字段寫(xiě)入數(shù)據(jù)用的是行協(xié)議curl -XPOST http://localhost:8086/write?dbenv_monitor -u user:pass --data-binary env_sensor,sensor_idesp32_001,temperature25.6,humidity63.2如果是代碼里寫(xiě)用influxdb-client-python庫(kù)更規(guī)范。4. 機(jī)器學(xué)習(xí)模型選型為什么我放棄了深度學(xué)習(xí)選了孤立森林4.1 先說(shuō)清楚溫濕度異常檢測(cè)到底是個(gè)什么問(wèn)題很多人一聽(tīng)“機(jī)器學(xué)習(xí)預(yù)警”第一反應(yīng)就是LSTM、時(shí)序預(yù)測(cè)模型。但仔細(xì)想一下業(yè)務(wù)需求我需要模型預(yù)測(cè)未來(lái)半小時(shí)的溫度是多少嗎其實(shí)不需要。我需要的是——當(dāng)前這個(gè)溫濕度組合在正常情況下應(yīng)該出現(xiàn)嗎這就是一個(gè)典型的異常檢測(cè)問(wèn)題而且是無(wú)監(jiān)督的場(chǎng)景。正常情況下溫濕度會(huì)在一個(gè)區(qū)間內(nèi)波動(dòng)但異??赡苁峭话l(fā)的尖刺比如門(mén)沒(méi)關(guān)、空調(diào)壞了也可能是緩慢漂移比如制冷劑泄漏、傳感器老化。深度學(xué)習(xí)時(shí)序模型需要大量標(biāo)注數(shù)據(jù)做訓(xùn)練但異常樣本恰恰是最稀缺的冷庫(kù)可能運(yùn)行半年也不會(huì)出一次故障。用稀疏的異常樣本去訓(xùn)練有監(jiān)督模型效果不可能好。所以我的選型方向確定為無(wú)監(jiān)督或半監(jiān)督異常檢測(cè)算法。4.2 三個(gè)候選算法的對(duì)比只看我實(shí)際跑的結(jié)論第一個(gè)是統(tǒng)計(jì)方法3-Sigma邏輯最簡(jiǎn)單計(jì)算歷史數(shù)據(jù)的均值和標(biāo)準(zhǔn)差超出均值正負(fù)3倍標(biāo)準(zhǔn)差的數(shù)據(jù)點(diǎn)就是異常。這個(gè)方法的優(yōu)點(diǎn)是速度快、可解釋性強(qiáng)但前提是數(shù)據(jù)要符合正態(tài)分布而溫濕度數(shù)據(jù)受晝夜和季節(jié)影響往往有周期性波動(dòng)單靠3-Sigma會(huì)把正常的晝夜溫差誤判成異常。第二個(gè)是隔離森林Isolation Forest核心思路很巧妙它不是描述正常樣本長(zhǎng)什么樣而是直接找那些容易“被孤立”的點(diǎn)。算法隨機(jī)切分樣本空間異常點(diǎn)因?yàn)橹車(chē)芏鹊屯袔椎毒秃蛣e人分開(kāi)正常點(diǎn)則需要很多次切分才能分離。這個(gè)算法對(duì)高維數(shù)據(jù)有效而且不需要假設(shè)數(shù)據(jù)分布形態(tài)實(shí)現(xiàn)也很成熟sklearn里直接能用。第三個(gè)是局部異常因子Local Outlier Factor通過(guò)比較每個(gè)點(diǎn)周?chē)芏群袜従又車(chē)芏鹊牟町悂?lái)判斷異常。它的問(wèn)題是計(jì)算復(fù)雜度偏高對(duì)參數(shù)k鄰居個(gè)數(shù)的選擇很敏感調(diào)參成本高。我最終選了隔離森林原因有三個(gè)對(duì)周期性數(shù)據(jù)的適應(yīng)性強(qiáng)訓(xùn)練不需要大量異常樣本sklearn里可以直接調(diào)用而且實(shí)測(cè)效果和穩(wěn)定性都滿足要求。4.3 特征工程比算法重要十倍一開(kāi)始我直接把溫度數(shù)值丟進(jìn)模型訓(xùn)練效果很差異常檢測(cè)準(zhǔn)確率不到60%。后來(lái)才意識(shí)到單點(diǎn)數(shù)值根本不能反映“異常”的全貌。溫濕度數(shù)據(jù)是有時(shí)間上下文的同一個(gè)溫度在12點(diǎn)和凌晨2點(diǎn)的含義完全不同。所以我在原始數(shù)值之外增加了幾類(lèi)特征這一步直接決定了模型效果時(shí)間特征小時(shí)編碼成環(huán)形特征、星期幾滑動(dòng)窗口統(tǒng)計(jì)特征過(guò)去10分鐘的平均值、標(biāo)準(zhǔn)差、變化率交互特征溫度與濕度的比值或乘積兩者通常呈負(fù)相關(guān)一旦背離很可能是設(shè)備故障例如同一時(shí)刻溫度很高但濕度很低不像正??照{(diào)房的模式溫度不變但濕度驟升可能是加濕器故障或者水管滲漏。這些交互關(guān)系是單維數(shù)值無(wú)法表達(dá)的?;瑒?dòng)窗口的計(jì)算我推薦用Pandas的rolling函數(shù)import pandas as pd df[temp_avg_10min] df[temperature].rolling(window10, min_periods1).mean() df[temp_std_10min] df[temperature].rolling(window10, min_periods1).std() df[temp_derivative] df[temperature].diff()4.4 模型訓(xùn)練與閾值選擇異常評(píng)分到底怎么用隔離森林的輸出不是簡(jiǎn)單的0/1標(biāo)簽而是一個(gè)異常分?jǐn)?shù)分?jǐn)?shù)越高代表異常的可能性越大。實(shí)際使用時(shí)需要設(shè)定一個(gè)閾值超過(guò)閾值才觸發(fā)告警。閾值怎么定我的做法是拿至少兩周的正常歷史數(shù)據(jù)訓(xùn)練模型然后看所有正常樣本的得分分布把閾值設(shè)定在95分位數(shù)。這樣正常情況下最多只有5%的點(diǎn)會(huì)被誤報(bào)為異常。調(diào)節(jié)這個(gè)分位數(shù)就可以控制系統(tǒng)的敏感度——告警太頻繁就調(diào)高漏報(bào)太多就調(diào)低。訓(xùn)練代碼很簡(jiǎn)潔from sklearn.ensemble import IsolationForest # X_train是經(jīng)過(guò)特征工程后的歷史正常數(shù)據(jù) model IsolationForest( n_estimators200, # 決策樹(shù)數(shù)量 contamination0.05, # 預(yù)期異常比例和閾值分位數(shù)對(duì)應(yīng) max_samplesauto, bootstrapFalse, random_state42 ) model.fit(X_train) # 新數(shù)據(jù)到來(lái)時(shí)predict為-1表示異常1表示正常 pred model.predict(X_new) score model.score_samples(X_new) # 分?jǐn)?shù)越低越異常contamination參數(shù)的直覺(jué)理解模型假設(shè)這堆數(shù)據(jù)里有5%的異常點(diǎn)。如果你知道實(shí)際正常數(shù)據(jù)里可能有1%的偶發(fā)波動(dòng)就設(shè)0.01防止模型把正常的尖峰也當(dāng)成異常學(xué)習(xí)進(jìn)去。4.5 模型更新的避坑經(jīng)驗(yàn)溫濕度有季節(jié)性漂移上線初期用夏季數(shù)據(jù)訓(xùn)練出來(lái)的模型到了秋天明顯誤報(bào)率上升。原因很簡(jiǎn)單溫濕度的正常范圍隨季節(jié)變化而模型只認(rèn)訓(xùn)練時(shí)的分布。解決方案有兩種一種是定時(shí)重訓(xùn)練比如每周日凌晨自動(dòng)用過(guò)去一個(gè)月的數(shù)據(jù)重新訓(xùn)練一次另一種是滑動(dòng)窗口訓(xùn)練每次只取最近N天的數(shù)據(jù)。我用的是定時(shí)重訓(xùn)練同時(shí)保留一份初始數(shù)據(jù)作為基準(zhǔn)防止某一段時(shí)間的數(shù)據(jù)整體漂移導(dǎo)致模型“忘記”正常范圍。補(bǔ)充一個(gè)重要的判斷邏輯模型輸出的是“異常評(píng)分”但最終是否告警需要結(jié)合業(yè)務(wù)規(guī)則做多級(jí)聯(lián)動(dòng)。比如模型評(píng)分連續(xù)3次30秒內(nèi)都超過(guò)閾值才觸發(fā)告警避免單次網(wǎng)絡(luò)抖動(dòng)或傳感器偶發(fā)噪聲導(dǎo)致誤報(bào)。5. 告警聯(lián)動(dòng)與可視化系統(tǒng)能不能用最終看這一層5.1 別讓告警變成“狼來(lái)了”技術(shù)再好如果告警設(shè)計(jì)得不合理運(yùn)維人員遲早會(huì)把它關(guān)掉。我見(jiàn)過(guò)很多系統(tǒng)上線之后告警被晾在一邊的案例原因幾乎都一樣告警太頻繁全是無(wú)效告警。我的告警分級(jí)策略是這樣的等級(jí)觸發(fā)條件通知方式提示級(jí)模型評(píng)分剛超閾值單次出現(xiàn)記錄日志不推送預(yù)警級(jí)連續(xù)3次30秒內(nèi)超過(guò)閾值推送企業(yè)微信/釘釘消息嚴(yán)重級(jí)連續(xù)10次超過(guò)閾值 或 溫濕度超過(guò)設(shè)備允許上限電話語(yǔ)音通知告警消息里必須包含關(guān)鍵上下文信息不能只說(shuō)一句“溫度異?!?。我看到過(guò)的優(yōu)秀告警推送會(huì)帶上設(shè)備ID、當(dāng)前溫度、濕度、該節(jié)點(diǎn)的歷史均值、建議操作。運(yùn)維人員收到消息之后不用再自己去查后臺(tái)處理效率能提高一倍。5.2 告警去重同一個(gè)故障不能轟炸一個(gè)小時(shí)節(jié)點(diǎn)掉線這個(gè)問(wèn)題前面說(shuō)過(guò)如果沒(méi)有去重機(jī)制一個(gè)節(jié)點(diǎn)掉線服務(wù)器收到遺囑消息后如果繼續(xù)以固定頻率推送告警運(yùn)維人員的手機(jī)一個(gè)小時(shí)內(nèi)能收到幾百條消息。我實(shí)現(xiàn)的去重邏輯是“狀態(tài)機(jī)轉(zhuǎn)換”只有當(dāng)節(jié)點(diǎn)狀態(tài)從正常變?yōu)楫惓r(shí)才推送告警后續(xù)如果同一個(gè)異常持續(xù)存在則每30分鐘只有一次匯總提醒帶上“已持續(xù)時(shí)長(zhǎng)”直到節(jié)點(diǎn)狀態(tài)恢復(fù)為正常才推送一條“恢復(fù)通知”。這個(gè)設(shè)計(jì)在實(shí)際運(yùn)維中非常重要。5.3 可視化儀表盤(pán)不要過(guò)度追求“大屏炫酷”告警之外還需要一個(gè)可視化的頁(yè)面讓運(yùn)維人員看到整體狀態(tài)。我用的是Grafana它可以直接對(duì)接InfluxDB配置起來(lái)很快。儀表盤(pán)上我放了三個(gè)核心視圖溫度、濕度的時(shí)間序列折線圖曲線顏色跟隨異常狀態(tài)自動(dòng)變化各區(qū)域節(jié)點(diǎn)的離線狀態(tài)面板離線節(jié)點(diǎn)高亮標(biāo)紅最近24小時(shí)告警事件時(shí)間線Grafana里最有價(jià)值的配置是告警規(guī)則直接在圖表上設(shè)置閾值可以和機(jī)器學(xué)習(xí)模型的判斷互為補(bǔ)充——模型負(fù)責(zé)判斷模式異常固定閾值負(fù)責(zé)兜底比如溫度物理上限是60度超過(guò)這個(gè)值無(wú)論模型怎樣判斷都必須告警。6. 全鏈路聯(lián)調(diào)實(shí)測(cè)一次真實(shí)故障的完整生命周期理論說(shuō)得再多不如看一次完整事件在系統(tǒng)里的流轉(zhuǎn)過(guò)程。我在測(cè)試環(huán)境里模擬了一次“制冷故障導(dǎo)致溫度異常緩慢上升”的事件把全鏈路的環(huán)節(jié)逐一列出來(lái)。14:00:00正常的庫(kù)房溫度在4到6度之間波動(dòng)。異常從14:00開(kāi)始溫度以每5分鐘0.2度的速度緩慢上升。這種變化幅度緩慢固定閾值報(bào)警根本不會(huì)觸發(fā)因?yàn)闇囟热栽凇俺R?guī)范圍”內(nèi)這就是為什么選擇機(jī)器學(xué)習(xí)模型的原因。14:23:00溫度上升到6.8度雖然還在空調(diào)可接受范圍但隔離森林模型的異常評(píng)分已經(jīng)連續(xù)3次超過(guò)閾值觸發(fā)了“預(yù)警級(jí)”告警告警消息推送到了運(yùn)維人員的企業(yè)微信。14:23:10系統(tǒng)在Grafana儀表盤(pán)上標(biāo)紅顯示溫度曲線。14:38:00溫度突破8度同時(shí)濕度出現(xiàn)明顯下降制冷故障往往伴隨除濕失效模型評(píng)分持續(xù)走高觸發(fā)了“嚴(yán)重級(jí)”電話語(yǔ)音告警。14:45:00運(yùn)維人員到達(dá)現(xiàn)場(chǎng)發(fā)現(xiàn)冷凍機(jī)皮帶斷裂壓縮機(jī)未停機(jī)但制冷效率大幅下降。15:10:00更換皮帶后溫度開(kāi)始回落系統(tǒng)溫度恢復(fù)至正常范圍模型評(píng)分低于閾值推送恢復(fù)通知。整個(gè)過(guò)程中固定閾值報(bào)警直到14:50左右才會(huì)觸發(fā)因?yàn)榈侥菚r(shí)溫度才超過(guò)8度的硬邊界比機(jī)器學(xué)習(xí)模型晚了將近27分鐘。冷庫(kù)里這個(gè)時(shí)間差可能挽救一整車(chē)貨物。這個(gè)實(shí)測(cè)驗(yàn)證了一個(gè)關(guān)鍵結(jié)論固定閾值適合兜底機(jī)器學(xué)習(xí)模型擅長(zhǎng)捕捉微小緩慢的變化模式兩者結(jié)合才是完整的預(yù)警系統(tǒng)。7. 部署一周后我注意到的幾個(gè)細(xì)節(jié)和優(yōu)化方向系統(tǒng)穩(wěn)定運(yùn)行一周之后我調(diào)整了幾個(gè)細(xì)節(jié)這里一并寫(xiě)出來(lái)。一個(gè)是傳感器時(shí)間同步問(wèn)題。ESP32自身的時(shí)鐘走時(shí)不準(zhǔn)一周可能偏差一兩個(gè)小時(shí)。時(shí)間不準(zhǔn)會(huì)影響小時(shí)特征進(jìn)而影響模型判斷。解決辦法是通過(guò)NTP對(duì)時(shí)ESP32代碼里加上configTime(8 * 3600, 0, ntp.aliyun.com, pool.ntp.org);還有一個(gè)是Broker的認(rèn)證配置。如果Broker不設(shè)賬號(hào)密碼或者密碼使用明文傳輸生產(chǎn)環(huán)境是裸奔的。Mosquitto配置里開(kāi)啟密碼認(rèn)證allow_anonymous false password_file /etc/mosquitto/passwd同時(shí)建議給每個(gè)設(shè)備分配獨(dú)立的用戶(hù)名這樣即使某個(gè)設(shè)備的憑據(jù)泄露只能影響那一個(gè)節(jié)點(diǎn)不至于整個(gè)系統(tǒng)被入侵。再就是數(shù)據(jù)的保留周期。InfluxDB里設(shè)置自動(dòng)清理策略超過(guò)30天的原始數(shù)據(jù)自動(dòng)刪除只保留聚合后的統(tǒng)計(jì)摘要。不然數(shù)據(jù)量增長(zhǎng)起來(lái)查詢(xún)性能和存儲(chǔ)成本都會(huì)快速惡化。后續(xù)的優(yōu)化方向一個(gè)是把規(guī)則引擎加入告警判斷比如結(jié)合日歷信息節(jié)假日與非節(jié)假日的溫控策略不同、生產(chǎn)排班信息做聯(lián)動(dòng)另一個(gè)是邊緣推理把訓(xùn)練好的模型用輕量化方式部署到ESP32上在端側(cè)直接判斷異常只有異常發(fā)生時(shí)數(shù)據(jù)才上報(bào)能大幅降低云端壓力和通信成本。但要注意ESP32的算力有限隔離森林這種樹(shù)模型前端部署還有一段路要走現(xiàn)階段如果設(shè)備數(shù)量不多云端推理的延遲完全可接受。從我自己的體會(huì)來(lái)說(shuō)這套系統(tǒng)最有價(jià)值的地方不在于用上了什么高深的算法而在于把“數(shù)據(jù)采集-傳輸-存儲(chǔ)-分析-告警”這個(gè)閉環(huán)真正跑通了并且通過(guò)特征工程讓一個(gè)很常見(jiàn)的無(wú)監(jiān)督算法在溫濕度監(jiān)控這件事上發(fā)揮出了超出預(yù)期的效果。如果你也想在這個(gè)方向上手不用追逐什么熱門(mén)框架就先從一條傳感器數(shù)據(jù)流開(kāi)始跑通MQTT到機(jī)器學(xué)習(xí)再到告警的完整鏈路再慢慢迭代模型和業(yè)務(wù)的耦合這條路走起來(lái)會(huì)非常扎實(shí)。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
成人短视频在线| 亚洲亚洲人成综合网络| 99色在线观看视频| 香蕉久久国产AV一区二区| 97色婷| 五月天伊人手机在线播放AV| 思思热国产视频| 亚洲av| 久久久性爱视频| 婷婷五月激情片| 九热电影av| 国产在这里只有精品| m色激情网| 国产精品美女| 九九激情视频| 丁香五月成人| 手机旧版看人妻1025| 99热久久这里只有精品| 日韩另类| 婷婷视频在线| 久久久久久久久久8888| 丁香五月91| 先锋男人99资源| 日韩精品99久久| 人妻久久久久久| www,色色色网站| 激情q青青草在线婷婷| 风流少妇A片一区二区蜜桃| 色五月 五月婷婷| 亚洲色小说在线综合| 婷婷色九月| 激情av网| 久久思思99| 超碰在线人妻| 思思热在线| 五月丁香在线| 狠狠色噜噜狠狠狠888| 丁香六月婷婷综合色| 91碰免费视频| 91re色综合视频| 久久九九综合| 99操视频| 99欧美| 久久久精品人妻| 五月婷婷狠狠干| 色五月综合婷婷久久综合婷婷久久综合婷婷久久综合婷婷久久 | 婷婷五月欧美综合| 99色在线| 中文字幕免费高清电视剧| 五月天丁香婷婷社区| 亭亭五月激情亚洲在线| aaa日韩| 97色伦另类图片小说视频 | 9999热在线观看| 麻豆AV一区二区三区| 久久婷婷五月| 最近中文字幕2019视频1| 婷婷五月综合激情| 丁香六月婷婷| 婷婷在线五月综合| 中文字幕丰满孑伦无码专区| 97人人射| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 狼人狠狠操| 色五月成人在线| 色狠狠六月| 激情综合区| 五月天丁香婷婷社区| 人人综合91网| 欧美日本国产欧美日本韩国99| 婷婷丁香五月视频| 五月天停停日日| 大香蕉人人网| www.99热精品| 如何安全看伊人婷婷| 亚洲不卡| 婷五月天在线草| 五月婷婷六月丁香| 婷婷舔| 五月亭亭激情综合| 国产精品香蕉| 91九色中文字幕女在线观看| 99精品热| 性爱技巧五月| 欧美 日韩 成人在线| 超碰在线人妻| 激情五月丁香色婷婷| 99er在线观看| 婷婷五月影院| 五月色综合| 97亚洲视频在线| 色婷青青| 日韩av在线电影| 婷婷色播色五月五色五月天色妇| 99爱精品视频| 色人久久| 97超喷视频在线观看| 综合www色| 伍月婷婷六月丁香| 婷婷久久99| 婷婷亚洲天堂| 婷婷94s| 中文字幕久久婷九女同| 九九这里只有精品在线视频| 五月综合色播播丁香婷婷| 怡红院视频| 国产精品色色| 51精品国自产在线| 97操视频| 五月丁香花婷婷玉莉AV| 99精品无码| 五月天婷婷色色| 99丁香五月| 久久九⑨| 最新激情五月天| 激情五月丁香六月| 白人荫道BBWBBB大荫道| 婷婷射综合| 操一区| 婷婷六月网| 第五色色色婷婷| 综合在线网| 丁香五月亚洲婷婷| 色色色综合网| 玖玖婷婷精品| 久久婷婷五月天综合| 任我肏| 伊人高清无码| 伊人青草成人| 97人人操人人| 日韩无码乱轮| 丁香五月第九色| 五月丁香亭亭| 韩国真做片在线观看| 99人人看| 五月丁香婷婷伊人| 婷婷综合激情| 国产67194| 婷婷五月天高清无码| 伊人久久大香网| 婷婷五月五月丁香| 婷婷五月天色丁香| 九热免费视频| 七月激情六月婷婷综合在线播放| 五月色丁香激情| 99re热视频这里只精品| 26uuu丁香婷婷五月| 678五月丁香亚洲综合| 五月天婷婷AV| 色天堂操| 五月天播播| 亚洲精品V天堂中文字幕| 狼人狠狠操| 99成人免费热视频| 97伦乱| 人妻激情综合| 久久狼人天堂| 日韩在线视频网站| 99九九在线观看免费| 天天综合网站| 9999热精品在线免费播放| 婷婷涩涩五月天| 色五月激情问网站| 亚洲mm色| 久久R激情| 天天开心天天色| 91丨九色丨熟女| 亚洲AV成人精品网站在线播放| 丁香五月天色综合| 五月婷婷六月色| 超碰成人免费| 狠狠狠狠狠狠| 综合久久9| 五月丁香五月婷婷| 婷婷五月综激情| 欧美婷婷成人| 涩涩激情五月婷婷| 婷婷成人五月天成人文学小说| 中文字幕无线久必| 在热视频精品| 五月花激情网| 五月丁香亭亭操逼| 91丨九色丨熟女| 丝袜激情网| 亚洲黄3级片网站欧美| 色情五月停停丁香| 综合亚洲AV| 思思热视频在线观看| 99视频日韩| 婷婷瑟瑟五月天| 丁香六月在线综合| 色久天| 青青操成人福利| 五月婷导航| 天堂无码人妻精品AV一区| 五月天激情播播网| 日韩黄色影院| 色情婷婷五月天| 国产综合丁香五月天| 天天爽天天爽视频| 殴美日比视频| 97五月天| 五月丁香婷爱在线| 九九99九九99偷拍视频免费看| 亚洲天天综合| 成人在线不卡| 无码AV免费精品一区二区三区| 99成人网站| 99年操人人爽| 久久爱婷婷| 日韩久综合| 色色色婷婷五月| 色五月婷婷中文字幕| 人人爱操| 国产va视频| 97狠狠碰| 婷婷激情图片| 国产VA亚洲VA96| 99热综合色图| 九九色婷婷| 婷婷五月天影视| 五月天另类小说久久小说网| 日本91在线| 欧美激情 日韩无码 婷婷 五月天| 99国产精品久久久久久久久久久| 狠狠干夜夜干| 五月婷婷深深爱爱| 亚洲图色五月天| 丁香五月欧美成人| 激情九九综合网| 丁香婷婷五月人体| www.五月婷婷| www.五月天社区| 久99久在线| 国产韩日亚洲美州欧亚综合在线| 日本天堂网站99| 亚洲丁香五月在线观看| 碰97久久| 最近免费中文字幕大全高清大全1| 丁香五月亚洲| 99re热视频这里只有综合亚洲| 精品久热| 婷婷五月激情视频在线| 69堂午夜视频最新地址| 99婷婷五月天激情| 91人久| 婷婷丁香综合成人| 伊人久久婷婷| 五月天怕怕| 精品久久久人妻| 激情五月色综合国产精品| 五月丁香婷婷婷激情爱爱| 久久五月婷| 噜噜网免费视频| 3p久久| 国自产拍偷拍精品啪啪一区二区| 97综合在线| 色婷婷狠狠色| 久久婷婷青草五月天| 疯狂做受XXXX高潮A片| 久久a热| 色视五月天婷婷| 色综合大香蕉| 日韩五月婷婷| 日本久久九| 五月天婷婷久久视频| 婷婷欧美激情| 亚洲狠狠婷婷综合久久久| 操操天堂| 99ri精品在线观看| 激情网 久久| 婷婷大香蕉| 欧美成人五月天| 综合欧美五月婷婷| 依人大香蕉| 婷婷中文字幕网| www,婷婷,com| 三级av在线| 久久9精品| 人人草人| 五月婷激情| 色色婷婷综合网| 丁香五月1页| 中文字幕操比影片| 色色999三级片| 亚洲亚洲人成综合网络| 秋霞免费视频| 成人丁香五月| 99热免费精品| 五月婷婷丁香六月| 涩五月婷婷| 狠狠狠色激情综合适合| 天天操天天操天天操天天操天天操| 翔田千里无码| 激情丁香淫荡婷婷| 色五月 激情婷婷 综合五月天| 美女久久婷婷| 亚洲愉拍99热成人精品| 中文字幕有多少字| 国产免费性爱| 色播激情婷婷| 久久机热探花| 久久性都花花世界成人免费视频| 超碰cap| 五月丁香婷婷欧美色图视频五月丁香777电影 | 婷婷色色网站| 丁香狠狠色婷婷久久无码视频| 午夜成人片400| 北京熟妇搡BBBB搡BBBB| 日本色婷婷| 狠狠色婷婷777| 开心五月婷婷| 欧美精品在线观看| 久久探花91swag| 伊人激情综合| 欧美日韩五月婷婷| 日韩无码91| 1024AV视频| 久久九九思思| 欧美色图天堂网色| site:pzdcoin.com| 色五月五月天| 九九色综合九九色| 婷婷五月天堂| 久久激情五月| 五月天啪啪网| 婷婷六月色开| 97色色网| 大香蕉网 久久| 激情婷婷黄色五月| 六月色播| 久久视频这里都是精品| 色99热| 色噜噜五月天| 国产成人网| 丁香六月综合激情| 热99.com婷婷| 久久人人九| 综合亚洲六月婷婷在线| 草AV9999| 天天干,夜夜爽| 国产亚洲色婷婷久久99精品91| 欧美色婷婷| 午夜天堂一区人妻| 丁香花成人区| 婷婷丁香社区网| 伊人丁香花综合影院| 五月天国产婷婷精品视频在线| 91九色视频在线观看| 天天干天天干天天干天天干天| 丁香五月av| 久草婷| 天堂综合久久| www.日韩艹| 五月天 无码| 综合久久影院| 国产精品成人AV在线观看春天| 欧美激情 日韩无码 婷婷 五月天| 欧美日韩123| 亚洲五月六丁香激情| 一本综合丁香日日狠狠色| 五月花婷婷| av在线资源| 五月丁香六月婷婷手机无线| 成人婷婷| 色吊操色妞| AV无码免费| 天天成人综合| 综合AV在线| 精品久久久久成人码免费动漫| 大香久久伊人网| 开心婷婷五月天综合| 五月天婷婷丁香蜜桃91| 六月婷婷综合激情| 嘿嘿视频免费看9| 激情五月天黄色小说| 激情五月色综合国产精品| 99在线免费视频| 综合天堂AV久久久久久久| 色婷婷激情四射视频| 激情网五夜婷婷| 可以看的AV网站| 欧美日综合| 综合色色综合| 99视频这里有精品免费观看| 婷婷六月丁香五月| 天天操中文字幕| 色婷五月天网站| 99热免费精品| 91在线操| 婷婷情爱五月天6| 风流少妇A片一区二区蜜桃 | 丁香六月成人网| 日韩成人网址| 国产黄色一级片| av在线色五月丁香婷区久| 五月色综合| 91精品国产色猫| 色婷婷五月网| 99热 精品在线| 丁香五月天AV在线| 色色色999| 婷婷99丁香| 3www激情| 丁香六月婷婷激情| 狠狠色丁婷婷日日,伊人激情综合网| 久久婷婷五月天激情四射| 国产毛片操B| 亚洲第一色色色| 九九热AV| 超碰国产在线| 色婷婷黄色网络| AV在线中文| 青青草99热久久精品国| 伊人五月综合网| 久久婷婷五月天激情新地址| 99 频99热国里只有精品| 丁香九月激情| 五月大香蕉| 久久久999精品| 婷婷丁香成人五月天| 噜噜精品| 国产操肏网站| 99精品国产在热久久婷婷| 五月天丁香花婷婷| 久热这里只有精品6| 色婷婷影视99| 大天天伊人| 久婷婷五月综合欧美| 思思热这里只有精品| 婷婷九九色| 五月婷婷精品无在线| 一片AV片免费播放| 色5月婷婷色| 99综合免费视频| 日韩啪啪网| 九九一综合精品| 婷婷五月久久| 欧美日韩AAAA| 91肏| 国产 码在线成人网站| 另类五月婷婷| 99网址在线观看| 婷婷五月天美女视频| 91女人18毛片水多国产| 激情爱爱网站| 五月欧美色播| 五月丁香本色在线观看| 噜一噜在线| WWW免费视频碰碰碰碰| 激情5月婷婷| 亚洲欧州色情在线观看| 99热99精品| 色丁香五月婷婷| 狠狠五月天婷婷激情网。| 天天艹夜夜艹| 亚洲avjiujiur91| 久久3级片| 欧洲一区二区| 天天成人综合视频| 婷婷午夜精品久久久| 九月婷婷久久| 色五月丁香婷婷在线观看| 久久久宗合| 免费观看的av| 婷婷综合在线| 欧美色骚婷婷五月天| 色综合9| 色欲婷婷五月天| 亚洲瑟瑟精品在线| 九九五月天| 狠狠色丁香乆乆| 在线成人网址| 五月丁查人人| 天天网站天天爽| 亚州精品成人片| 日韩aaaaa| 夜夜干天天干| 成人欧美一区二区三区在线观看| 极品另类| 婷婷丁香无码专区| 99色免费观看全部| 五月丁香网站| 久久机热这里只有精品| 丁香六月色香蕉视频| 日韩AV一区二区三区| 九九香蕉网| 五月花婷婷| 婷婷五月天,影院| 婷婷综合亚洲| 激情色情五月天| 国产成人综合网| 播五月,色五月,开心五月播放器 | 亚洲五月婷天天操| 99热99在线| 丁香激情五月少妇| 狠狠色噜噜狠狠狠狠狠色综合久久| 99爱视频在线| 日本一道久久| 操逼六区| 五月天久久综合婷婷| 五月天色导航| 在线VA视频| 99啪啪视频| 99热99| 噢美99| 激情五月婷婷| 色九区| 99热9| 伊人婷婷色| 久久A V无码视频| 丁香六月天婷婷色| 色宗合,宗合网| 超碰chaompinm| 91精品久久久久久久久| 9伊人网| AV片在线观看| 亚洲AV无码电影| 成人免费黄色短视频| 色色五月婷婷| 天天综合精品| 嫩草AV久久伊人妇女超级A | 丁香五月婷婷激情小说| 婷婷久久五月| 色婷视频| 伊人影音无码一区二区三区| 亚洲综人色综网| 五月婷婷狠狠干| 久久婷视频| 久九九热| 99热最新精品| 久操热| 99热这里是精品| YJLZZJLZZ亚洲乱熟无码| 国产婷婷五月天| 丁香五月婷婷偷拍| 婷婷六月啪啪| 538午夜激情| 天天插天天爽| 婷婷五月天综合网| 人妻丰满精品一区二区A片| 色色综合网站| 亚洲黄色网址| 强奸幻女毛片| 日韩在线99| 91美女被操| 国产激情久久| 97婷婷丁香五月天激情图片| 亭亭五月激情亚洲在线| 99热6色| 精品人妻一区| 开心五月婷婷激情| 国自产拍偷拍精品啪啪一区二区| 国产精品91抖高| 亚洲超碰中文字幕| 丁香久月婷| 婷婷五月天久久| 色婷婷五月影视| 狠狠久久婷五月综合色| 欧美日韩AAA| 色噜噜狠噜噜视频| 亚洲六月色| 欧美成人精品A片免费一区99| 国产AV熟妇人震精品一品二区| 日本三级99人妇网站| 激情淫乱男女| 久久五月天激情美女| 狠狠另类视频| 色婷婷狠狠18| 九九久久99| 无码免费人妻A片AAA毛片西瓜| 蒲京久久无码视频| 久青操| 色噜噜狠狠色综合伊人| 天天日日夜夜爽。| 天天色综网| 在线观看免费观看在线9久| 青青草原爱爱网| 新97人人上人人| 婷婷D区| 激情国产五月| 在线色色| 丁香五月六月婷婷综合激情| 91丨九色丨高潮丰满日本| 色99在线| 99碰视频| 26uuuavcom| WWW.桔色成人.COM| 老妇六区| 亚洲欧美成人在线| 色丁香五月婷婷在线| 五月婷婷天堂| 97碰碰久久| 二色AV| 久8色色| 亚洲超碰在线| 日韩AV在线免费| AV激情五月| 婷婷五月天六点丁香五月| 丁香六月婷婷久久综合| 99热一本| 九九热这里只有精品12| 淫视馆aV二区一区| 96色婷婷| 五月四色色| 激情综合无码| 五月天AV大香蕉| 色综合久久88色综合天天人守婷| 日本色图综合| 激情五月天色色色| 五月丁香啪啪激情| 青青草激情网| 夜色综合网| 久草xx性爱视频| 国产这里只有精品| 五月天丁香成人社| 色五月婷婷久久| 538在线精品| 九九99免费视频| 婷婷六月丁| 亚洲国产精品VA在线看黑人| 玖玖在线视频| 亚洲AV日韩无码| 久久久久九九九九视屏小说88| 国产色色在线| 91丨九色丨国产打屁股| 五月天另类图片区99| 91精品国产综合久久密臀| 四色五月婷婷| 97精品欧美91久久久久久久| 婷婷五月在线视频| 91丨人妻丨国产丨丝袜| www.亚洲激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 99热无码| 狠狠色色色| 色久婷婷网| 五月天狠狠| 黄网在线播放| 91久久久久久| 日韩啪啪网| 色综合天堂| 成人视频在线免费播放| 五月激情婷婷播播开心| 久热在线观看视频9| 亚洲丁香五月在线观看| 色99最新网址| 26uuu欧美激情另类| 成人.在线日韩| 五月丁香六月日逼| 久久99国产综合精品免费 | 丁香五月在线| 亭亭五月丁香综合欧美| 99精品免费视频| www.99视频| 九九热超碰| 亭亭色色五月天| 丁香五月天激情| 国产成人+综合亚洲+天堂| 狠狠爱综合| 色五月综合网| 成人电影一区| renre人人操国产超碰在线| 亚洲乱码日产精品BD| 国产热精品| www婷婷色| 丁香五月激情无码视频| AV大片在线观看| www.五月天婷婷| 99热天堂| 另类小说色婷婷| 欧美亚洲999| 搡BBBB搡BBB搡18 | 日屌日日操日日色| 97人操| 欧美日朝成人| 九九综合精品| 婷色影院| 99热这里只有精| 九九re精品视频在线观看| 激情五月综合网| 色五月婷婷少妇人妻| 色婷婷呢狠禁久禁| 五月天激情图片| 五月天婷婷网站888| 五月天啪啪啪| 热久久视频99| 中文在线成人| 五月婷婷丁香五月| 人人人va亚洲视频在线| 婷婷婷久久久| 国产精品美女久久久久AV超清| 这里只有国产精品在线| 99热一本久道| 婷婷九月| 五月天激情网页| 九月婷婷综合网| 久色视频| 深情五月天| 丁香五月欧美成人| 丁香8月手机综合| a久久| 色五月激情问网站| 欧洲区自拍| 色欲色香综合网| 五六月丁香激情视频| 天天色综| 极品人妻VIDEOSSS人妻| 这里有精品| 激情婷婷五月天网址| 丁香伊人五月色婷婷五十路| 色情五月婷婷| 五月丁六月香| 日日日日做夜夜夜夜无码| 1024在线视频| 91狠狠综合久久| 99色亚洲| 婷婷五月天激情在线观看| 热久久色| 操碰色一区就去操| 日韩999| 婷婷五月花西瓜| 色色综合成人网| 欧美月久久| 亚洲妇女熟BBW| 婷婷五月色色| 思思久热| 91艹人| 99在线免费视频| 六月婷综合| 激情五月影院| 欧美激情综合色综合啪啪五月| 天天爱天天做综合| 色久九| 久久综合五月婷婷| www久久久久久久久久久| 久久曰曰| 九九热精品在线| 婷婷四色成人综合色视| 天天人人综合| 丁香婷婷五月六月久久| 色婷婷五月天无码视频| 日韩成人中文| 午夜丁香| 狠狠干综合| pacopacomama 070722_670 素人奥様初撮りドキュメント 103 大久保純子 | 人妻无码精品一区| 狠狠爱五月婷婷| 九九亚洲视频| 一区二区三区四区无码| se色99| 九月婷婷久久久| 五月婷婷婷| 日韩久操婷婷| 99热香港| 日韩AV在线影片| 伊人激情AV一区二区三区| 色情综合网| 丁香五月首页| 综合伊人久久| 婷婷五月激情小说| 亚州色色色| 人人摸人人干人人做| 99热这里有精品24| 五月丁香啪啪激情| 色五月久久成人婷婷| 99噜噜噜在线播放| 99久久综合| www.99在线| 日韩久久视频| 99热99干| 在线五月婷婷小电影| 成人精品在线| 婷婷五月69| j久久性爱视频| 五月天色导航婷婷资源婷婷| 99色在线视频观看| 五月婷婷新网站| 久久99热只有精品| 77799热| 婷婷五月 丁香六月| 操人妻90p| 久久亚洲精品成人无码网站导航| 99免费视频久久| 激情综合自拍五月婷婷色五月| 丁香色五月婷婷17C| 亭亭五月丁香综合欧美| 五月天另类小说亚洲| 99rewww| 五月天婷婷激情干干| 热久久66| 婷婷色狠狠| 性色五月天| 97色天堂| 99热国产精品| 开心五月婷婷激情| 中文字幕在线免费看线人| 丰满少妇乱A片无码| 97日本在线播放| 亚洲AV电影av| 久久91久久91色欲精品| 国产91视频| 深爱五月婷婷开心中文字幕| 中文字幕簧片| 色欲AV导航| 六月婷婷视频| 操操碰| 日本不卡高字幕在线2019| 91919191919久久成人视频| 婷婷干| 9999热在线免费观看| 五月丁香婷婷综合网| 婷婷五月天改成什么了| 五月婷婷婷婷婷婷艺术| 日日.c| 另类专区在线| 国自产拍偷拍精品啪啪一区二区| 久99久视频精品| 激情五月婷婷视频一区二区三区| 日本三级日本三级三级人妇四虎| 91操色| 狠狠激情五月天| 成人av在线网站| 性爱久久| 中文字幕婷婷在线| 99精品在线| 婷婷五月激情欧美大胆视频| 九九热最新视频| 色色色com| 99热亚洲只有色| 91碰在线| 色插综合网| 五月激情影院| 五月丁香网站| 综合色婷婷| 天堂婷婷五月在线| 婷婷色正月| 色优久久| 九九久久玖玖爱| 99自拍视频在线| 开心五月婷婷99| 大香蕉婷婷五月| 亚洲色无码A片一区二区麻豆| 综合九九中文字幕| 亚洲美女婷婷五月天| 久久精品视频在这里有| 婷婷成人五月天成人文学| 亚洲天堂AV综合网| 色婷婷基地在线| 婷婷色五月色| 激情久久久| 97丁香五月| 思思99re这里只有| 久久五月天婷婷| 天天日P天天射P| 99热免费精品热久久66| 婷婷丁香18| A片女女女女女女BBBB| 久久Xx| 婷婷五月天天aV| 99热只有| 国产精品操| 色五月成人在线| av色色国产| 亚洲av午夜精品一区二区| 色五月婷婷五月久久| 成人欧美日韩| 97久操| 天天爽曰日爽| 久青草影院| 99视频网址| 色色色.COM| 少妇人妻人伦A片| 99色看| 操碰97| 国产精品视频网| 思思精品久久艹| 能看的av| 五月丁香六月香香蕉| 欧洲激情精品婷婷| 操人妻AV| 久久国产精品乱子伦_靑青草…| 久久资源网五月婷| 99小视频在线观看| 丁香婷婷五月基地| 风流少妇A片一区二区蜜桃| 99热91| 丁香婷婷五月六月久久| 久久一品区| 婷婷丁香五月亚洲免费| 4438亚洲欧美| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 丁香婷婷色五月| 久久婷婷视频| 午夜激情婷婷| 婷婷五月天网址| 丁香六月婷婷综合缴| 丁香五月桃花在线激情综合| 日韩久久这里只有精品| 韩国婷婷丁香五月| 日韩成人免费电影| 亚洲色精彩| 97色婷| 成人在线精品| 日韩成人av在线| www98日本小时间到了| 欧美影院| 国产精品色婷婷99久久精品| 伊人玖玖婷婷| 人人干女人| 99ri视频在线播放| 91大屁股精品| 超碰猛烈的性猛交| 夜夜躁婷婷AV| 97干欧美| 91久久久久久久久久久| 婷婷色综合| 如何安全看伊人婷婷| 九九这里都是精品| 精品99这里有| 五月激情综合网| 97色五月天| 影音先锋高清无码资源网| 99re这里只有精品首页| 刘玥精品一区| 高清无码视频网址| 精品亚洲日韩99欧美片| 欧美久久网| 色五月综合| 亚洲色五月| 五月丁香婷婷无码A∨| 人妻丰满精品一区二区A片| 日本成人噜噜噜噜噜| 99热8在线| 五月色亚洲| 天天操婷婷| 99性爱视频| 日日想日日夜日日操| 六月婷综合| 99热6精品| www98日本小时间到了| 久久久婷| 五月丁香婷婷激情在线| 伊人激情综合| 97色啪| 激情五月天在线观看婷婷| 99热婷婷| 日韩99精品| 9l视频自拍9l视频自拍九色学生| 开心激情五月天网| 五月的丁香六月的婷婷| 超碰在线播放免费观看| 狠狠香蕉| 99热综合在线观看| 综合超碰熟| 少妇高潮一区二区三区99欧美| 深爱五月激情网| 色色亚洲99com| 天天日天天插| 天天肏屄夜夜爽| 九色成人AV在线| 天堂网啪啪| 国产激情综合五月| 超级碰碰碰久久网站视频| 偷拍91九色| 欧美va国产va| 九九热99在线视频| 九九色综合| 天天舔天天摸天天透| 日本99在线| 粉嫩AV久久一区二区三区| 99热精品中文字幕| 五月丁香六月色婷| cao视频,现在观看| 五月天色丁香| 五月天精品视频| 深爱激情中文五月天av| 五月天婷婷色综合| 日日色综合| 79色色色色| 五月丁香久人妻中文| 嫩草视频。| www.激情五月| 狠狠xx| 操操操av| 在线成人网址| 亚洲综合婷婷| 人妻精品在线| 五月丁香在线观看国产| 91日韩在线| 激情综合网五月激情网| 亚洲视频在线观看99| www.爱婷婷.com| 粉嫩AV久久一区二区三区| 人人爱人人草| 思思热99在线| 五月香婷婷| 9热在线视频精品| 国产精自产拍久久久久久蜜 | 国产日批视频| 香蕉操亚洲| 免费日本aⅴ中文字幕 | 久热这里只有精品视频免费观看| 99小视频在线| 六月激情婷婷综合| 久久九九激情五月天| 亚洲五月天婷婷| 99热官网| 79色色| 日韩婷婷五月天| 97色婷婷| 9久国产| 精品国产a| 久久97久久99久久综合欧美| 思思热这里只有精品| 9热在线观看| 久久这里有精品视频| 开心亚洲久久开心| 欧美色色色| 97资源碰碰在线| 丁香婷婷婷婷十二月在线观看视频| 亚洲妇女熟BBW| 亚洲99热| 色五月91| 日韩成人电影在线播放| 丁香五月婷久久| 天天干天天干天天干天天干天天干天天干天天 | 开心激情网五月天| 99热在线精品播放| 操操操Av| 天天爱夜夜爽| 中文字幕性爱丰满| 婷婷一本和五月丁香| 激情文学 综合 色| 久婷婷| 翔田千里 50岁 无码| 丁香五月综合久久综合| 日本在线wwww| 色约约视频一区二区三区四区五区| 超碰9799| 亚洲欧美日韩VIP| 亚洲国产精品SUV| 国产精品色色| 啪啪一区| 日本乱子人伦在线视频| AAA久久| 久操大香蕉| 综合色播| 亚洲天堂99| 久/久精品99看9| 天天做天天爱天天高潮| 丁香九月婷婷| 色偷偷五月天| www五月| 久久激情视频| 国产日韩欧美| 国产毛片精品一区二区色欲黄A片| 五月丁香六月婷婷不卡免费无码 | 欧美成人A片AAA片在线播放| 色999;丁香五月| 97色色色色色| 亚洲色五月| 五月天婷婷久久| 免费无码毛片一区二区A片| 538在线精品| A片试看120分钟做受图片| 欧美日韩二区在线| 五月天婷婷青青草| 五月丁香婷婷色播无码| 婷婷五月无码| 五月丁香激情婷婷| 99热啪啪| www.夜夜夜| 婷婷五月综合在线视频| 婷婷综合六| 婷婷五月天在线综合| 天天操天天操天天操天天操天天操| 色综合伊人网| 91九色精品女同系列| 开心五月网| 九九在线视频| 猫咪伊人AV| 在线99精品| 色色色干| jiujiu无码五区| 永久地址 色| 久久婷婷五月综合| 99热这里只有精品2| 噼里啪啦在线观看免费完整版视频 | 性爱视频99| 啪啪激情综合| 五月天综合在线| 涩丁香91| 97香蕉久久超级碰碰高清版| 久久婷婷六月| 婷婷五月天美女视频| 婷婷五月综合体验看| 色中色综合| 九九爱激情| 精品99视频| 亚洲色色在线| 婷婷丁香成人五月天| 九热...av| 成人免费120分钟啪啪| 夜夜AVV| 色色激情| 久久免费视频62| PORNY九色9l自拍视频成人| 天天干天天拍| 日本色色影院| 亚洲夜五月| 九九精品网| 狠狠干,狠狠操| 91在线观看九区| 婷婷综合五月天| 久久这里只有精品16| www.99热在线观看| 99国产精品久久久久久久久久久| 日本黄色精品| 日韩成人网站精品久久大全| 99热首页| 天堂成人A片永久免费网站 | 亚洲经典三级| 日韩在线观看亚洲| 色情五月天se| 婷婷综合精品| 久久久高清| 婷婷五月色| 天天综合在线网| 色999亚洲人成色| 婷婷五月色情| 久久机热这里只有| 婷婷久月| 婷婷综合干| 国产夫妻操逼内射视频| 婷婷五月天影视首页| 99久久国产宗和精品1上映| 五月丁香人妻| 久9热插入| 丁香 婷婷五月| 久久婷婷丁香| 久久久全国免费视频| 色很很96| 91大屁股精品| 午夜AV网| 天天做天天爱天天爽在| 亚洲成人AV在线播放| 丁香五月激情五月| 情婷婷五月天在线| www.99久| 五月丁香婷婷激情四射迷人| www.91有码.com| 99热超碰| 六月丁香停| 久久人妻视步| 免费无码毛片一区二区A片| 99在线观看| 久久综合中文字幕| 蜜乳AV成人| 五月婷婷免费在线观看| 五月天激情国产综合婷婷婷| 色五月婷婷影院| 亚洲精品激情| 一区二区三区四日本| 激情婷婷内射| 大香蕉啪啪啪| 五月丁香啪啪综合网| 丁香五月天激情免费在线观看AV777 | 俺去也婷婷| 色色色色色热| 久久狠狠干| 激情婷婷九月| 日韩视频99| 婷婷干| 亚洲一区二区无码蜜乳av| 天天干天天干天天干| 99热99ai| 欧美精品99久久久| 黑人无码一区| AVDV久久| 99天堂网最新| 色婷婷狠狠18| 伊人大香蕉毛片| 夜夜骑福利资源| 狠狠插.com| 青青福利网| 日本二级毛片二级毛片| 国内婷婷丁香社区在线播放| 亚洲视频色婷婷| 26uuu国产| 99热只有精品在线播放| 亚洲中文字幕网| 亚洲成人一区| 天天爽人人综合免费7799| 五月天天堂久久| 日本美女上人| 九九综合九九| 另类天堂| 婷婷五月色播网| 色色亚洲视频| 99久久黄色顶级视频| 日日爽夜夜爽| 天堂五月婷婷| 五月丁香本色在线观看| 五月丁香黄色| 一片AV片免费播放| 婷婷激情小说| 99人人操人人操人人精| 亚洲黄色精品| 中文字幕在线观看视频www| 久久视频这里有精品99| 婷婷五月天成人| 99亚洲精品| 欧美猛片| 超碰操日| av人人干| 影音先锋一区| 日日撸夜夜操| www.色窝| 熟妇天天综合| 丁香五月欧美| 91人人操.COM| 亚洲综合九九| 久久五月婷婷开心网| 免费日本aⅴ中文字幕| 亚洲操B| 成人av中文字幕| 丁香五月婷婷色| 激情五月天婷婷视频| 九九热99精品| 久久视频婷婷视频| 婷婷五六月丁香| 色欲AVV| 色婷婷日本| 中海油常州环保涂料有限公司| 思思99热| 五月天天爽| 香蕉狠狠爱视频| 丁香六月啪啪| 综合激情网激情五月。| 色色色五月婷| 日韩成人电影AV| 五月情涩综合婷婷| 成人网在线视频| 9久久精品| 色情综合网| 欧美久久婷婷| 国产精产国品一二三在观看| 色五月天成人| 久久丝丝热| 婷五月天影院| www.婷婷五月天| 五月丁香天天| 欧美色碰| 99热这里只有精品9| 亚洲精品激情| 五月花综合| 国产精品24r| 狠狠色丁香| 色五月丁香五月婷婷五月成人网| 亚州操逼网| 一本大道伊人AV久久综合| 激情五月婷黄版| 狠狠999| 另类伊人婷婷| 婷婷五月丁香综合网|