欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

RK3588邊緣AI設(shè)備7×24穩(wěn)定性守護:散熱、看門狗與進程自愈

RK3588邊緣AI設(shè)備7×24穩(wěn)定性守護:散熱、看門狗與進程自愈 1. RK3588設(shè)備在邊緣現(xiàn)場死機的三種典型場景做邊緣AI部署做到第三個年頭我越來越確信一件事真正讓RK3588這類設(shè)備在7×24運行中倒下的往往不是某個不可描述的軟硬件Bug而是三個看起來不起眼的工程問題。這三個問題如果沒人管設(shè)備就會在某個凌晨悄無聲息地掉線而現(xiàn)場的人只能坐兩個小時車去手動斷電重啟。先看第一個也是最容易被低估的一個——熱崩潰。RK3588是一顆8核SoC4個Cortex-A76大核加4個Cortex-A55小核還集成了一顆6 TOPS算力的NPU。CPU和NPU同時滿載的時候整板功耗可以拉到15W甚至更高。邊緣設(shè)備的外殼多半是金屬密封或者半密封的裝在室外配電柜、路側(cè)機箱、車頂盒子里夏天的環(huán)境溫度能到45℃以上。散熱設(shè)計稍微不到位SoC結(jié)溫就會頂?shù)?5℃、90℃這時候內(nèi)核的 thermal 框架開始限頻CPU從2.4GHz一路降到1.2GHz。降頻之后推理幀率斷崖式下跌業(yè)務側(cè)任務開始堆積負載反而更高溫度繼續(xù)往上頂最終觸發(fā)硬件熱保護直接斷電。整個過程像多米諾骨牌第一步往往是風扇策略不給力最后一步則是完全掉電。第二個場景是資源漸進式泄漏。做過RK3588上YOLOv8部署的同學應該有體會一個C推理服務如果圖像緩沖、tensor、epoll句柄這些資源有任何一環(huán)沒有釋放干凈跑三到五天內(nèi)存就會悄悄漲出一兩百MB。視頻類業(yè)務更明顯RTSP拉流、硬解碼、推理、結(jié)果上報這個鏈路如果沒做超時保護網(wǎng)絡(luò)一抖動就會卡在某個阻塞調(diào)用里然后句柄越積越多。再有就是日志。系統(tǒng)日志和應用日志如果不控制體積/var/log滿了之后很多服務會因為寫不了日志而直接罷工表現(xiàn)就是設(shè)備假死。這類問題因為不是瞬間發(fā)生的所以最惡心往往在交付驗收完之后的第三周才冒出來。第三個場景是單點故障無法自愈。應用進程崩了沒人拉起業(yè)務就斷了內(nèi)核panic了但系統(tǒng)沒有配置自動重啟機器就一直卡死在串口輸出畫面某個線程死鎖導致整個系統(tǒng)響應不了但沒有外部看門狗把系統(tǒng)打斷。說白了很多設(shè)備的死機本質(zhì)上只是壞了沒人管。我在項目交付中見過太多現(xiàn)場設(shè)備Console口插上屏幕上一堆調(diào)用棧系統(tǒng)是徹底涼了的但沒有任何機制能讓它自己爬起來。這三個場景擺在一起結(jié)論其實很清晰想讓RK3588邊緣AI設(shè)備做到7×24不死機不能只靠某個單一的看門狗或者某個優(yōu)秀的電控設(shè)計而是需要一套從底層硬件到業(yè)務進程的完整守護機制。我習慣把這套機制稱作 Guardian——它不是一個開源軟件也不是某個商業(yè)產(chǎn)品的名字而是我在多個RK3588邊緣智能項目里沉淀下來的一套工程方法論包含散熱閉環(huán)、內(nèi)核參數(shù)、看門狗聯(lián)動、進程守護、存儲保護等一整套能落地、能復制、能驗證的實踐。2. Guardian守護體系的整體設(shè)計三層防線怎么分工Guardian這套體系的思路可以用一句工程上行話概括不要假設(shè)系統(tǒng)不會掛要設(shè)計系統(tǒng)掛了之后能自己爬起來。業(yè)界做高可用設(shè)備原則是相同的快速失敗、自動恢復。邊緣AI設(shè)備和數(shù)據(jù)中心服務器最大的區(qū)別在于它沒有人值守斷了網(wǎng)也沒有運維人員能第一時間介入所以一切恢復動作都必須是自動的、本地的、不依賴外部網(wǎng)絡(luò)的。按照這個原則我把守護體系分成三層。第一層是硬件級防線。內(nèi)核panic、軟鎖死、硬鎖死、任務卡死這些情況操作系統(tǒng)自身已經(jīng)失去了正?;謴偷哪芰Ρ仨氁揽靠撮T狗在毫秒到秒級的時間內(nèi)把整個SoC復位掉。RK3588內(nèi)部有WDT外設(shè)板級dts里一般默認使能Linux內(nèi)核的watchdog驅(qū)動也會把它注冊成/dev/watchdog節(jié)點。這一層要做的核心事情是配置好內(nèi)核出問題就panic、panic之后就重啟的策略并在用戶空間安排一個喂狗進程讓看門狗既能監(jiān)視系統(tǒng)是否卡死又不會誤觸發(fā)復位。第二層是系統(tǒng)軟件層。它負責處理那些硬件看門狗管不了的問題——比如內(nèi)存泄漏、文件系統(tǒng)寫滿、日志無限增長、某些服務假死。這一層的工具主要是systemd、cgroup、logrotate、overlayfs以及一組精心調(diào)過的內(nèi)核sysctl參數(shù)。打個比方硬件看門狗是整機心臟驟停時的電擊器系統(tǒng)軟件層的職責則更像日常體檢在病情惡化之前就把它攔下來。第三層是業(yè)務應用層。AI推理進程、RTSP拉流進程、外設(shè)通信進程這些才是設(shè)備存在的意義。這一層要解決的是某個業(yè)務進程掛了但系統(tǒng)其他部分還活著的情況核心手段是健康檢查加自動重啟。進程不是拉起一次就完了而是要形成一個閉環(huán)定期檢查心跳心跳異常就殺掉重啟重啟次數(shù)過多就告警并降級運行。這三層防線缺一不可。只做硬件看門狗設(shè)備的業(yè)務邏輯爛成一鍋粥也沒人管只做進程守護內(nèi)核一旦panic就只能等人工到場只做監(jiān)控和參數(shù)調(diào)優(yōu)而不做硬件兜底整個系統(tǒng)還是裸奔。我自己踩過不少坑之后才總結(jié)出這個三層架構(gòu)后面幾章我會把每一層的具體做法和參數(shù)細節(jié)都講清楚照著做同類設(shè)備至少不會再因為基礎(chǔ)功課沒做而掉線。這里還要特別強調(diào)一個設(shè)計原則守護進程本身也必須被守護。溫控腳本、喂狗進程、健康檢查服務如果它們自己崩了就失去意義了。所以這些腳本和進程都應該注冊成systemd服務并納入WatchdogSec的監(jiān)督范圍。這一條看著簡單實操中很多人會忽略結(jié)果就是守護機制成了紙糊的盾牌平時看著在跑關(guān)鍵時刻它先躺下了。3. 散熱閉環(huán)控制溫度、風扇轉(zhuǎn)速與PWM調(diào)參的完整鏈路散熱是RK3588邊緣設(shè)備7×24穩(wěn)定性的命門尤其那些主動風冷方案的板卡。我見過太多設(shè)備死機是因為風扇策略寫得太粗糙——要么溫度到了80℃才開始轉(zhuǎn)要么風扇永遠低速轉(zhuǎn)導致積灰卡死。這一章我把散熱閉環(huán)需要做的事拆開講每一步都有實測依據(jù)。3.1 找到正確的溫度數(shù)據(jù)源做溫控的第一步是找到CPU/SoC溫度到底在哪個sysfs節(jié)點。Rockchip平臺在標準內(nèi)核thermal框架下會注冊多個thermal zone每個zone有type和temp兩個重要屬性。我用的排查命令是for z in /sys/class/thermal/thermal_zone*/; do echo -n $z type; cat $z/type echo -n temp; cat $z/temp done實測RK3588的Debian 11系統(tǒng)上soc_thermal通常對應thermal_zone0讀取出來的temp單位是毫攝氏度比如85000代表85℃。某些板卡會在hwmon節(jié)點上也暴露溫度比如/sys/class/hwmon/hwmon1/temp1_input兩者數(shù)值應該一致但以thermal zone為準最靠譜因為內(nèi)核調(diào)頻調(diào)壓用的就是thermal框架的數(shù)據(jù)。需要留意的是RK3588內(nèi)部不止一顆溫度傳感器CPU、GPU、NPU各有各的傳感器節(jié)點。如果只盯著CPU溫度做風扇控制NPU跑推理時溫度可能已經(jīng)爆了而風扇還在低速轉(zhuǎn)。穩(wěn)妥做法是讀完所有zone取最大值作為溫控依據(jù)。我一般寫一個get_temp()函數(shù)遍歷所有zone取最大值超時重試三次保證讀取鏈路本身可靠。3.2 風扇轉(zhuǎn)速讀取PWM Capture與FG脈沖換算rk3588 讀取風扇轉(zhuǎn)速這個訴求很多開發(fā)板玩家都在問。風扇轉(zhuǎn)速信號來自風扇內(nèi)部的FG引腳Frequence Generator它每轉(zhuǎn)一圈會輸出若干個脈沖。RK3588本身沒有專用的RPM計數(shù)器但它的PWM外設(shè)支持capture模式正好可以測量FG引腳上的脈沖頻率再換算成轉(zhuǎn)速這就是很多人提到的rk3588 pwm capture用法。先看板級dts里PWM capture通道怎么配pwm_capture: pwm-capture { compatible rockchip,rk3588-pwm-capture; pwm-names fan-tach; pwms pwm2 0 1000000 0; status okay; };實際引腳和通道以板卡原理圖為準不同開發(fā)板差別很大。配置好后用戶在/sys/class/pwm/pwmchipN/下面export對應通道讀取capture文件echo 0 /sys/class/pwm/pwmchip2/export cat /sys/class/pwm/pwmchip2/pwm0/capture輸出類似period8333333 duty_cycle4166666period是脈沖周期納秒。頻率等于1秒除以周期然后乘上換算系數(shù)得到轉(zhuǎn)速。常規(guī)三線PWM風扇FG信號每轉(zhuǎn)輸出2個脈沖所以RPM (1 / period_seconds) × 60 / 2舉個例子如果讀到period8333333ns也就是頻率120HzRPM 120 × 60 / 2 3600。不過不同廠家風扇的FG脈沖數(shù)可能不一樣有的是每轉(zhuǎn)4脈沖我建議拿到風扇先實測標定一次——把風扇額定轉(zhuǎn)速和頻率對應起來確定好系數(shù)再寫進代碼。3.3 溫控策略與PWM曲線設(shè)計PWM風扇調(diào)速有兩種常見實現(xiàn)方式。一種是走內(nèi)核thermal框架在dts里配pwm-fan節(jié)點和cooling-map讓內(nèi)核根據(jù)溫度自動調(diào)風扇fan: pwm-fan { compatible pwm-fan; #cooling-cells 2; pwms pwm1 0 40000 0; cooling-levels 0 64 128 192 255; status okay; };這種方式省心內(nèi)核自動處理thermal throttling和風扇聯(lián)動的邏輯。但缺點是調(diào)參不直觀而且不好加風扇卡死檢測的邏輯。我實際項目里更多是用用戶空間的守護腳本來直接控制PWM#!/bin/bash # guardian-fan.sh - 溫度采集 風扇轉(zhuǎn)速讀取 PWM 控制 FAN_PWM/sys/class/pwm/pwmchip1/pwm0 TEMP_ZONES/sys/class/thermal CAPTURE/sys/class/pwm/pwmchip2/pwm0 get_temp() { local max0 for z in $TEMP_ZONES/thermal_zone*/; do local t$(cat $z/temp 2/dev/null || echo 0) [ $t -gt $max ] max$t done echo $max } get_rpm() { local cap$(cat $CAPTURE/capture 2/dev/null) local period$(echo $cap | sed -n s/period\([0-9]*\).*/\1/p) [ -z $period ] { echo 0; return; } echo $(( 1000000000 / period * 60 / 2 / 1000 )) } while true; do temp$(get_temp) # 毫攝氏度 temp_deg$((temp / 1000)) rpm$(get_rpm) duty0 if [ $temp_deg -ge 70 ]; then duty255 elif [ $temp_deg -ge 45 ]; then # 45~70度線性映射 duty$(( (temp_deg - 45) * 255 / 25 )) fi echo $duty $FAN_PWM/duty_cycle # 日志記錄方便事后分析 logger -t guardian temp${temp_deg}C rpm${rpm} duty${duty} sleep 2 done我推薦的分段線性溫控策略45℃以下風扇低速或停轉(zhuǎn)45到70℃按線性比例加速70℃以上直接全速。這個策略比溫度高了就全速、溫度低了就停轉(zhuǎn)的死板模式更平順能避免風扇頻繁啟停帶來的噪聲和磨損。如果對噪聲敏感可以把風扇啟動閾值調(diào)到50℃但上限一定要留夠余量——我一般在75℃就強制全速不給熱量累積的機會。3.4 風扇異常降級保護溫控邏輯跑通之后最容易被忽略的是風扇故障檢測。風扇屬于機電產(chǎn)品有壽命會卡灰會缺油會斷線。不要等到SoC熱保護關(guān)機了才反應過來。在上面的腳本基礎(chǔ)上我加了一段異常邏輯當PWM占空比已經(jīng)超過一定閾值但讀取到的轉(zhuǎn)速低于200RPM且持續(xù)30秒就判定風扇故障強制PWM全速輸出同時把故障狀態(tài)寫到監(jiān)控數(shù)據(jù)庫并觸發(fā)本地告警。轉(zhuǎn)速為0還有一種可能就是capture通道本身配置錯了。所以我在項目里特意做了PWM開度與轉(zhuǎn)速聯(lián)動檢查風扇開度從0調(diào)到255如果在設(shè)定時間內(nèi)轉(zhuǎn)速沒有按預期上升就認為測速鏈路有問題同樣要告警。這個檢查在設(shè)備剛啟動的時候跑一次就夠了不用總是做。風扇異常時最怕的是業(yè)務還在繼續(xù)跑熱量還在繼續(xù)累積。所以降級方案不只是全速轉(zhuǎn)風扇還要考慮主動降載檢測到風扇故障后詢問業(yè)務管理系統(tǒng)是否可以降低AI推理頻率或關(guān)閉一路視頻分析優(yōu)先保系統(tǒng)和最核心的業(yè)務。這個策略因項目而異但思路是通用的——散熱異常時先限制發(fā)熱源再等待運維介入。4. 系統(tǒng)級不死保障內(nèi)核參數(shù)、硬件看門狗與systemd聯(lián)動散熱保證的是硬件不死系統(tǒng)級保障要解決的是操作系統(tǒng)本身假死和真死的問題。很多RK3588設(shè)備跑著跑著SSH連不上串口也沒反應但電源燈還亮著這種狀態(tài)最讓人頭疼。Guardian在這層的目標是能恢復的自動恢復不能恢復的快速復位盡量縮短設(shè)備不可用的時間窗口。4.1 內(nèi)核關(guān)鍵參數(shù)與觸發(fā)條件在Debian 11或Ubuntu系統(tǒng)上我建議在/etc/sysctl.d/99-guardian.conf里寫入以下參數(shù)kernel.panic 5 kernel.panic_on_oops 1 kernel.softlockup_panic 1 kernel.hardlockup_panic 1 kernel.hung_task_timeout_secs 60 kernel.hung_task_panic 1 kernel.nmi_watchdog 1 fs.file-max 65536 fs.inotify.max_user_watches 262144逐個說下我為什么這么設(shè)。kernel.panic5是內(nèi)核panic后延遲5秒自動重啟。延遲是為了讓panic信息有時間刷到console方便排查。如果設(shè)為0系統(tǒng)卡在panic界面等人工到場就失去了自愈能力。kernel.panic_on_oops1讓內(nèi)核在處理Oops非致命的內(nèi)核錯誤時升級為panic從而觸發(fā)重啟。為什么要這么做因為Oops說明內(nèi)核已經(jīng)處于不可靠狀態(tài)繼續(xù)跑下去可能產(chǎn)生更嚴重的損壞不如直接重啟。kernel.softlockup_panic1和kernel.hardlockup_panic1讓CPU軟鎖死和硬鎖死也能觸發(fā)panic。軟鎖死通常是中斷上下文里死循環(huán)硬鎖死可能和硬件異常有關(guān)。這兩個參數(shù)在內(nèi)核里默認可能是0不加的話CPU鎖死就永遠鎖死了。kernel.hung_task_timeout_secs60和kernel.hung_task_panic1用于檢測用戶空間任務長時間處于D狀態(tài)不可中斷睡眠。D狀態(tài)任務卡住直接影響業(yè)務同時很可能是IO子系統(tǒng)出了問題的信號。設(shè)成60秒超過就panic重啟。這個時間不能太短否則在高負載IO場景會誤觸發(fā)我試過30秒在日志量大的設(shè)備上出現(xiàn)過誤報調(diào)到60秒就穩(wěn)定了。這些參數(shù)在邊緣AI設(shè)備的套路基本是固定的。大家在做rk3588系統(tǒng)定制的時候拿這套配置基本不會出大問題。4.2 硬件看門狗的接入與喂狗策略RK3588的dts里如果有watchdog節(jié)點Linux內(nèi)核會注冊出/dev/watchdog。我一般先看一眼節(jié)點是否存在ls -l /dev/watchdog* cat /dev/watchdog 21 | head -1喂狗的方式很簡單往設(shè)備寫任意數(shù)據(jù)就會觸發(fā)一次喂狗操作。系統(tǒng)里常見的喂狗工具是wd_keepalive也可以自己寫個循環(huán)腳本#!/bin/bash while true; do echo -n K /dev/watchdog sleep 5 done關(guān)鍵在喂狗間隔和WDT超時時間的匹配。如果看門狗超時是30秒喂狗周期建議控制在5到10秒也就是超時時間的六分之一到三分之一。喂太頻繁系統(tǒng)卡死幾秒就喂不上狗看門狗也能容忍但一卡就超過30秒才能復位業(yè)務中斷時間太長。喂太慢稍微調(diào)度抖動就會誤復位。我在實際項目中習慣設(shè)WDT超時30秒喂狗周期5秒留足余量。如果板子上沒有內(nèi)置WDT或者對可靠性格外敏感可以考慮外接獨立看門狗芯片比如STWD100通過GPIO做喂狗。外置看門狗的好處是即使SoC內(nèi)部時鐘或總線出了問題它依然能可靠復位。普通項目用RK3588內(nèi)置WDT就夠但如果設(shè)備部署在無人區(qū)我建議上外置方案多出來的成本比起一次人工出差的差旅費劃算得多。4.3 systemd WatchdogSec業(yè)務級心跳與硬件復位聯(lián)動系統(tǒng)啟動后systemd作為第一個用戶空間進程它的健康狀態(tài)也應該被監(jiān)督。在/etc/systemd/system.conf里有一個關(guān)鍵參數(shù)RuntimeWatchdogSec30設(shè)置這個參數(shù)后systemd主進程會周期性地喂養(yǎng)內(nèi)核的/dev/watchdog。這樣即使systemd它自己卡死了硬件看門狗也能在30秒內(nèi)復位整個系統(tǒng)。配合前面的kernel.panic5一條完整的復位鏈就通了業(yè)務進程卡死 → systemd殺掉重啟系統(tǒng)內(nèi)核卡死 → 內(nèi)核panic → 自動重啟systemd卡死 → 硬件看門狗復位。在具體服務單元里還可以給關(guān)鍵業(yè)務進程單獨配WatchdogSec[Service] ExecStart/usr/bin/guardian-ai --config /etc/guardian/ai.conf Restartalways RestartSec3 WatchdogSec30 MemoryMax2G MemoryHigh1500M TasksMax256配合WatchdogSec應用進程需要定期調(diào)用sd_notify(0, WATCHDOG1)通知systemd自己還活著。C代碼里是這樣的#include systemd/sd-daemon.h while (1) { /* 業(yè)務邏輯 */ run_inference(); sd_notify(0, WATCHDOG1); sleep(5); }一個容易犯的錯誤是把喂狗放在獨立線程里這樣主業(yè)務線程卡死時systemd仍然能收到心跳看門狗根本發(fā)現(xiàn)不了問題。我要求喂狗必須和業(yè)務心跳綁在同一個執(zhí)行路徑上——每次跑完核心推理循環(huán)就喂一次這樣systemd心跳實際上代表的是業(yè)務側(cè)的健康狀態(tài)而不是某個空轉(zhuǎn)線程的狀態(tài)。4.4 應急恢復兜底recovery和雙系統(tǒng)方案軟件再強也總有把自己搞壞的一天比如誤刷了錯誤的固件。所以Guardian的最底層兜底是硬件恢復通路。瑞芯微平臺的recovery機制大家應該都熟按住recovery/maskrom鍵用USB Type-C數(shù)據(jù)線連到電腦上電然后工具就能識別到設(shè)備進入升級模式。這套機制建議在項目交付文檔里寫清楚現(xiàn)場維護的人必須掌握。比recovery更進一步的是A/B雙系統(tǒng)分區(qū)。系統(tǒng)A啟動失敗時引導程序自動切到系統(tǒng)B系統(tǒng)B再失敗就從recovery引導。這個方案需要存儲空間翻倍但對7×24設(shè)備來說值得考慮。我做一個戶外采集項目時跑過這套方案升級固件再也不用擔心寫一半斷電變磚穩(wěn)定性提升非常明顯。5. AI推理場景的進程守護OOM隔離、心跳上報與自動重啟前兩章保證了系統(tǒng)和硬件層面不會死透但7×24場景里最頻繁出問題的其實是AI推理和視頻流這些業(yè)務進程。RK3588上部署YOLOv8這類模型推理進程一般是用C寫的常駐服務一次模型加載就要幾秒鐘模型文件轉(zhuǎn)成RKNN格式后跑在NPU上。這類服務一旦掛掉設(shè)備看起來還開著機但業(yè)務已經(jīng)完全停了。5.1 用cgroup做內(nèi)存隔離AI推理服務是內(nèi)存消耗大戶模型權(quán)重、中間張量、圖像緩沖疊在一起輕松吃掉1~2GB內(nèi)存。如果系統(tǒng)內(nèi)存被某個業(yè)務進程吃滿內(nèi)核OOM killer可能把SSH服務或者其他核心進程殺掉設(shè)備直接失聯(lián)。解決辦法是用systemd的MemoryMax參數(shù)給每個服務設(shè)置內(nèi)存上限。[Service] MemoryMax2G MemoryHigh1500M OOMScoreAdjust500MemoryHigh是軟限制超過之后內(nèi)核會回收這個進程的可回收內(nèi)存MemoryMax是硬限制一旦超過內(nèi)核就對這個cgroup觸發(fā)OOM。配合OOMScoreAdjust500讓OOM killer優(yōu)先殺這個業(yè)務進程而不是殺掉systemd或sshd。這樣內(nèi)存異常時犧牲的只是一個可以自動重啟的推理進程整個設(shè)備仍然可訪問、可運維。要驗證上限是否生效可以手動往進程里注入一段不斷申請內(nèi)存的測試代碼觀察dmesg里OOM kill的記錄。這一步必須做不然上線后內(nèi)存泄漏爆發(fā)時系統(tǒng)可能直接卡死。5.2 AI推理進程的心跳與自動重啟進程守護需要業(yè)務級心跳不是簡單的進程存活。比如推理服務進程還活著但內(nèi)部某個線程死鎖了外表看著一切正常實際已經(jīng)停止處理新任務。我的做法是讓服務暴露一個本地HTTP健康檢查接口比如/healthz返回最近一次推理處理的幀數(shù)和耗時。守護腳本定期請求這個接口同時驗證兩個條件一是有響應二是最近一次推理耗時沒有超過正常值的3倍。#!/bin/bash # guardian-health-check.sh curl --max-time 5 -s http://127.0.0.1:8090/healthz || { logger -t guardian health check failed, restarting service systemctl restart guardian-ai }把這個健康檢查腳本放到systemd timer里每30秒跑一次或者直接用systemd服務自帶的WatchdogSec機制來實現(xiàn)效果類似。關(guān)鍵點在于心跳要和業(yè)務卡死聯(lián)動而不是空轉(zhuǎn)。比如推理服務內(nèi)部單獨開了個線程每5秒調(diào)用sd_notify主線程卻堵在某個圖像處理函數(shù)里出不來這種心跳就沒有意義。我一般把心跳調(diào)用放在主推理循環(huán)的每個幀處理之后而不是放在獨立線程里這樣只要心跳還在跳動就說明核心業(yè)務還在跑。5.3 視頻流與模型加載的穩(wěn)定性細節(jié)RK3588邊緣AI設(shè)備大量用于視頻監(jiān)控場景RTSP拉流 硬解碼 推理 結(jié)果上報是標準鏈路。這個鏈路里最容易被忽視的是網(wǎng)絡(luò)抖動。RTSP拉流線程如果阻塞在socket讀取上一旦上游攝像頭斷流這個線程可能一直卡著不返回。處理辦法是給所有socket調(diào)用加超時同時在守護腳本里加新幀看門狗實時視頻流如果超過N秒沒有新幀到達判定拉流異常重啟整個視頻處理進程。模型加載方面RKNN推理服務啟動時要把模型加載到NPU這個過程在冷啟動時可能需要幾秒鐘到十幾秒。systemd服務默認的啟動超時是90秒正常情況下足夠用。但要注意一個問題如果系統(tǒng)剛啟動時NPU驅(qū)動還沒初始化完成推理服務啟動就會失敗。我在服務單元里加了Afterrockchip-npu.service和Restartalways保證NPU就緒后再啟動推理服務啟動失敗也能自動重試。內(nèi)存泄漏是AI服務的另一大隱患。我建議對每個推理服務做一次72小時的壓測每隔1小時記錄一次RSS內(nèi)存如果RSS單調(diào)上漲超過10%基本可以斷定有泄漏上線前就要修。實在趕到項目交付節(jié)點來不及修也可以用systemd的MemoryMax做一個定時重啟的折中方案——比如每天凌晨業(yè)務空閑時自動重啟一次推理服務把所有泄漏的內(nèi)存吐回去。這個方案治標不治本但確實能讓設(shè)備先跑起來。6. 存儲與日志的可靠性eMMC壽命、只讀根文件系統(tǒng)與日志輪轉(zhuǎn)邊緣AI設(shè)備絕大多數(shù)用eMMC做存儲。eMMC雖然比SD卡可靠得多但也不是無限寫壽命的。而且系統(tǒng)日志、AI推理日志、視頻片段如果隨意落盤要么把存儲寫穿要么把分區(qū)寫滿兩者都會導致設(shè)備無法正常工作。這一章講存儲和日志的守護手段。6.1 根文件系統(tǒng)只讀化把根文件系統(tǒng)設(shè)成只讀是嵌入式設(shè)備提高可靠性的經(jīng)典做法。好處顯而易見意外斷電不會破壞系統(tǒng)盤日志寫滿也不會影響系統(tǒng)目錄惡意或異常寫入更不會污染二進制文件。在Rockchip平臺的Debian/Ubuntu上通常做法是用overlayfs把根文件系統(tǒng)合并成只讀底層內(nèi)存上層。具體實現(xiàn)可以用Linux內(nèi)核boot參數(shù)配合initramfs腳本或者安裝overlayroot后配置overlayroottmpfs配置之后重啟根文件系統(tǒng)就是tmpfs疊加在只讀的eMMC分區(qū)上了系統(tǒng)運行時對/目錄的寫入都落在內(nèi)存重啟后自動恢復到出廠狀態(tài)。業(yè)務數(shù)據(jù)和日志則寫入單獨的可寫分區(qū)比如/data和/var/log。這樣既保留了系統(tǒng)的靈活性又把系統(tǒng)盤寫損壞的概率降到了最低。需要注意只讀根文件系統(tǒng)會讓某些需要寫/var的包安裝失敗需要提前規(guī)劃好哪些路徑走tmpfs、哪些路徑走獨立可寫分區(qū)。我通常的做法是/etc里需要動態(tài)修改的文件用bind mount映射到/data分區(qū)/var/log直接掛到/data/log/tmp和/run本來就是tmpfs不用管。6.2 日志輪轉(zhuǎn)與落盤策略日志寫滿分區(qū)是邊緣設(shè)備最常見的一種慢死。AI推理服務如果每個檢測幀都打一條日志一天能寫好幾個GBeMMC很快扛不住。我的標準策略是應用日志統(tǒng)一寫到/data/logs配合logrotate做輪轉(zhuǎn)和壓縮。以/etc/logrotate.d/guardian-ai為例/data/logs/ai_service.log { daily rotate 7 compress delaycompress maxsize 50M missingok notifempty copytruncate }copytruncate這個選項很重要它確保日志文件還在被進程打開寫入時也能安全輪轉(zhuǎn)。系統(tǒng)日志方面journald默認會把所有日志寫到/var/log/journal如果根文件系統(tǒng)只讀化了就要把日志轉(zhuǎn)發(fā)到內(nèi)存或者只保留systemd內(nèi)存日志必要時再手動導出。我一般設(shè)置SystemMaxUse200M MaxRetentionSec3dayjournald自己控制體積日志太多時自動丟棄老日志不會把磁盤撐爆。6.3 eMMC磨損保護除了控制寫入量eMMC本身也要做一些保養(yǎng)。最關(guān)鍵的是定期執(zhí)行TRIM讓eMMC內(nèi)部GC有合理的時機整理廢棄塊fstrim -v /data可以放到cron或systemd timer里每周執(zhí)行一次。另外盡量避免在業(yè)務代碼里做高頻率小文件寫入比如每秒鐘寫一個狀態(tài)文件。日志先寫入內(nèi)存緩沖攢夠一定量再批量落盤這樣既能減少寫放大又能避免每次斷電都丟關(guān)鍵日志。如果對存儲可靠性要求更高可以啟用eMMC的硬件寫保護通過MMC工具設(shè)置永久寫保護區(qū)域或者干脆把系統(tǒng)盤做成只讀eMMC業(yè)務數(shù)據(jù)全部走外部USB SSD或者網(wǎng)絡(luò)存儲。不同方案的取舍取決于項目預算和數(shù)據(jù)重要性但思路都是一樣的保護存儲就是保護系統(tǒng)本身的生存能力。7. 一次完整排查實錄散熱失控導致的風扇卡滯與系統(tǒng)關(guān)機前面幾章講的是理論和方法這一章我拿一個實際案例把整個排查鏈路走一遍。這個案例來自一個室外配電柜里的RK3588邊緣AI盒子跑的正是YOLOv8人員識別加RTSP視頻流設(shè)備已經(jīng)穩(wěn)定運行了兩周突然在一個高溫午后自動關(guān)機。7.1 現(xiàn)象與最初的懷疑方向用戶反饋設(shè)備掉線Console口接上沒有輸出ping不通電源指示燈不亮。第一反應是斷電了后來確認供電正常。懷疑軟件死鎖但設(shè)備是完全斷電狀態(tài)不是假死。把設(shè)備取回實驗室上電串口看日志發(fā)現(xiàn)最后幾行是thermal zone的臨界溫度告警然后就是硬件熱保護斷電。所以問題不是軟件是設(shè)備燒過了。我把設(shè)備裝上溫度探頭重新跑壓測同時讓日志系統(tǒng)記錄溫度、風扇PWM、轉(zhuǎn)速三個數(shù)據(jù)。到這里第一個教訓就出現(xiàn)了如果沒有提前做監(jiān)控和日志這種故障排查會像無頭蒼蠅一樣毫無頭緒。所以我在所有RK3588項目里都強制要求記錄溫度軌跡和風扇轉(zhuǎn)速就是為了這種時候能回放現(xiàn)場。7.2 逐層排查風扇轉(zhuǎn)速異常的過程模擬現(xiàn)場高負載跑了大概兩天數(shù)據(jù)庫里的記錄顯示關(guān)機前幾分鐘溫度從75℃一路漲到95℃而PWM duty已經(jīng)是255全速。按理說全速運轉(zhuǎn)下溫度不應該升這么快唯一的解釋是風扇沒有在轉(zhuǎn)。我調(diào)出轉(zhuǎn)速記錄果然PWM全速之前的幾十分鐘轉(zhuǎn)速已經(jīng)從3000RPM快速下降到幾百RPM最后穩(wěn)定在0附近。風扇故障幾乎可以確定了。但為什么會突然轉(zhuǎn)速下降打開盒子檢查發(fā)現(xiàn)風扇葉片上積了一層灰軸承發(fā)澀用手撥動葉片有明顯阻力。長期運行加灰塵卡滯導致風扇軸心阻力變大最終停轉(zhuǎn)。為了確認測速鏈路沒問題而不是誤報我用示波器直接測風扇FG引腳葉片停轉(zhuǎn)后確實沒有任何脈沖輸出。到這里問題定位完成不是PWM capture配置錯不是內(nèi)核讀轉(zhuǎn)速讀錯就是純粹的風扇機電故障。這個案例里的溫控策略也有問題為了靜音風扇在50℃以下長期低速運行低速工況下灰塵更容易附著在葉片和軸承上日積月累就卡死了。這是產(chǎn)品設(shè)計層面的隱患不只是風扇質(zhì)量問題。7.3 根因確認與修復方案最后我給這個項目做了三處改動也推薦給所有類似場景的RK3588設(shè)備。第一溫控策略從低速常轉(zhuǎn)改成按需調(diào)速每周還加了一次30秒的全速自清潔周期利用離心力把葉片上的灰塵甩掉一部分。第二增加風扇故障檢測邏輯PWM開度超過一定閾值而轉(zhuǎn)速異常偏低時立即觸發(fā)告警并主動限制AI推理負載降低發(fā)熱。第三也是最關(guān)鍵的給設(shè)備加上了硬件看門狗和內(nèi)核panic自動重啟。這樣即使故障真正再次發(fā)生導致重啟也只需要45秒左右就能恢復業(yè)務而不是等人工到場。這次排查給我最大的觸動是散熱問題的根源往往不在散熱本身而在監(jiān)測缺失。如果一開始就盯著風扇轉(zhuǎn)速和溫度趨勢故障是可以提前發(fā)現(xiàn)的。后來我在每個項目的設(shè)備驗收清單里都加上了一條必須驗證看門狗能復位系統(tǒng)必須驗證風扇在失速時能告警必須驗證日志能在故障后留痕。做過這套Guardian體系之后我對RK3588邊緣AI設(shè)備的7×24穩(wěn)定性有了新的理解。所謂不死機不是追求設(shè)備永遠不壞而是要讓每次故障都能在最短時間內(nèi)自愈把設(shè)備的不可用時間壓縮到分鐘級以內(nèi)。硬件壞了有看門狗兜底業(yè)務掛了有systemd拉起內(nèi)存泄漏了有cgroup隔離日志滿了有輪轉(zhuǎn)清理。把這些環(huán)節(jié)都打通再回頭看那些死機問題絕大多數(shù)都只是守護體系里的一個待完善節(jié)點。但也不要過度迷信守護機制本身——守護本質(zhì)上是在為系統(tǒng)的脆弱兜底更好的方向永遠是在設(shè)計階段就把散熱、電源、存儲這些基礎(chǔ)功課做扎實讓Guardian從救命稻草變成保險措施。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
日韩999| 美女亚洲五月丁香| 亚洲V国产V欧美V久久久久久| 五月丁香六月婷婷综合伊人| 99久久婷| 9久9久9久女女女九九九一九| 色99色| 成人必爱视| 青青操成人福利| 天天操无码| 五月天色婷婷小说| 五月丁香六月综合情在线观看| 日韩av手机在线观看| 丁香六月狠狠干| 亚洲综合视频天天精品| 色色色国产| 亚洲亚洲人成综合网络| 国产精品电影| 97人人搞| nvrentiantang av| www.色五月.com| 久久久久久欧美精品se一二三四| 99热天堂| 亚洲AV无码影院| 伊人综合网站| 99操逼| 激情五月影院| 婷婷5月九九| 99久久丝| 天天日夜夜高潮| 婷婷欧美激情| 天堂网色色| 777影视理论片大全在线观看 | 国产亚洲精品AAAAAAA片| 亚洲操操操| 天天爱天天做综合| 六月色色综合| 天堂五月婷婷| 五月丁香综合精品| 天插天啪天啪天啪| 人人看人人要| 开心五月综合| 天天日天天干天天天| 婷婷五月天伊人在线| 好叼操在线观看| 120分钟婬片免费看| 婷婷五月丁香色综合| 五月婷六月丁香| 五月婷婷色综图片| www.99热国产| 久久五月天黄色五月天色网址| 丁香五月首页| 日本久久网| 久久婷婷五月综合精品蜜芽| 综合五月婷婷| 99热99ai| 五月激情视频网| 超碰97在线操| 国产熟女日日骚五月丁香爱| 五月视频日本免费观看| 天天艹夜夜爽| 久热只有这里精品| 久久精品人妻| 亚洲另类电影| 可以免费观看的av| 日韩国产在线精品| 无语停婷丁香网| 亚洲经典三级| 日韩小视频在线99| 激情中文在线| 成年人夜夜喷水| 国产操逼网站| 九月丁香婷婷综合| 免费精品66| 丁香六月婷婷高清| 色女伊人| 成人网址在线观看| 91人久| 国产AV一区二区三区日韩| 在线婷婷| 亚洲乱码日产精品BD| 婷婷无码视频| 亚洲超碰在线| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 亚洲图色五月天| 色婷狠狠| 婷婷伊人| 丁香五月在线观看完整版| 五月丁香狠狠爱婷婷综合| 色人五月婷婷| 夜夜干天天操| 五月天大香蕉| 艹色18p| 99精品久久久久| 欧美在线干| 夜夜涩涩涩| 六月婷婷狠狠色在线观看| 五月综合777| 久久深爱激情网| 玖玖热视频| 亚洲欧美婷婷五月色综合| 九九热视频99| 91精品刘玥| 六月婷婷综合激情| 五月天成人手机在线视频| 婷婷色爱| 五月天综合| 成人午夜视频精品一区| 五月 激情视频| 大香蕉婷婷五月天| www.99成人视频| 婷婷月综合| 99九九精品| 亚洲V国产V欧美V久久久久久| 97五月天| 九色PORNY自拍成人精彩视频| 中文字幕丰满乱孑伦无码专区| 丁香五月日本| 久久9精品| 五月天激情网图片| 久久99精品久久久久久噜噜| 天天狠狠色| 色噜噜狠噜噜视频| av中文字幕免费观看| 熟女啪啪视频| 婷婷五月丁香综合人妻| 99激情在线| 日欧一片内射VA在线影院| 99五丁香月| 久久婷婷综| 思思热再线视频| 婷婷五月天AV在线| 性色综合网| 丁香六月啪啪| 五月丁香婷婷色色色| 国产成人精品一区二三区熟女在线| 激情综合婷婷久久| 99久久成人| 91九色精品女同系列| 99精品视频在线观看| 久久综合影院| 无码色色色| 日本色色网| 激情五月份婷婷| 美女100%露全身无挡网站| 成人永久免费视频在线观看| www,久久久人人| 丁香五月婷婷亚洲人| 六月婷婷久久| 亚洲电影中文字幕| 天天做天天爱天天玩夜夜爽| 色狠狠色噜噜AV天堂五区 | 午夜丁香五月天综合| 综合网天天| 婷婷五月天丁香久久| 天堂爱爱| 99精品在线| 日韩狠狠色| 一起草性爱不卡视频| 狠狠操狠狠插| 五月天激情在线视频| 99在线热| 91欧美| 极品另类| 久久99精品久久久久久噜噜| 一区二区乱码视频| 色婷| 色五月综合在线| 六月丁香色色| 在线成人网站| 婷婷成人综合| 色婷婷99| 人人色性网| 久久久激情| 91婷婷色 | 成人欧美一区二区三区在线观看| 无码人妻AV久久久一区二区三区| sewuyuejiqingwang| 八戒青柠影视剧在线观看| 超碰超碰在线| 久久五月天婷婷| 六月婷婷久久| 亚洲欧洲另类| site:jszngf.com| 亚洲操B| 国产67194| 亭亭色网| 99噜噜噜在线播放| 一本色道久久88综合日韩精品| 激情 五月 婷婷 丁香| 激情六月综合| ,99视频久久| 亚洲色网址| 欧洲永久精品| 成人.在线日韩| 色丁香婷婷美女视频网站| 欧美内射AAAAAAXXXXX| 激情网狠狠干| 色色色色色色色五月| 婷婷综合伊人丁香| 99re热在线视频观看| 天天爽天天| 日韩99视频| 久久机热/这里只有精品| 91操在线| 99爱视频在线观看这里只有精品| 一本道综合网| 国产美女主播vip| 天天射影院| 久热黄色| 国外亚洲成AV人片在线观看| 五月成人网站| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 九九热啪啪| 9色在线| 综合网色| 色色射| 欧美操逼天堂| 91碰碰| 人人看人人要| 九九亚洲综合| 人妻第九页| 79色色色色| 日本99视频精品免费播放| 99热资源在线| 加勒比色色| 91九九九九九九| 思思99久久| 色色网站在线免费观看视频| 久99久99精品免| 99热这里只有精品3| 久久五月丁香激情综合| www.99精品在线| 久久久久人妻| 26uuu国产| 久久久思思热| yazhochengrenavwang| 三级黄网站| 九九热99精品| 91超级碰碰| 亚洲春色奇米影视| 91欧美| 五月丁香亭亭天天舔| 99亚洲精美视频在线观看| 夜夜爱网站| 五月激情五月婷婷五月天在线| 婷婷爱爱蜜臀天天操| 亚洲V国产V欧美V久久久久久| 天天摸色吧天天摸色吧| 99色看这里只有精品| 婷婷五月激情综合啪啪| 亚洲最大成人综合网720P| 停婷丁五月在线| 夜夜操夜夜爽| 日本91在线| 色九九中文字幕| 色情综合| 99综合网| 精品无码99| 婷综合| 天天插操| 欧类av怡春院| 九九Av| 狠狠色大香蕉| 99久久玖玖| 天天日天天狠狠操| 一区视频网站| 亚洲自拍天堂| 另类国产欧美视频| av中文网| 久久AAAA片一区二区| 中文AV在线播放| 久久婷婷激情视频| 激情综合网亚洲色图| 国产婷婷色五月| 色色色色区| 在线五月婷| 久久久久久久人妻| 丁香五月婷婷基地| 婷婷深爱五月| 9l视频自拍9l九色9l成人| 婷婷综合在线观看视频| 伊人激情综合| 狠狠干五月| 婷婷六月丁香五月| 久久这里只有精品8| 1024操逼视频| 成人短视频在线免费观看| av性爱在线| 五月天六月天| 色五月aV| AV国产有码| 丁香五月AV综合| 亚洲中文字幕网| 中文字幕AV网址| 九月大香蕉| 亚州欧美黄色电影| 婷婷六月久久| 最熟少妇乱码| 免费看片操逼| 性爱激情小说AV五月丁香花| 免费人人操| aaaa.黄| 久久婷婷五月天蜜桃| 综合久久五月| 色亚洲婷婷| 丁香五月天色综合| 色亚洲中文| 高清不卡一区| 五月婷婷高清| 好好日激情五月天| 不卡影院午夜理论片| 中文字幕日韩无码制服诱或| 色五月婷婷天天操夜夜操| 五月伊人视频在线看| 99热欧| 日日天天天| 婷婷的久久网站| 婷婷五月天激情综合| 99热综合在线| 青青草搞屄视频网站| 亚洲VA欧美VA| 婷婷五月综合在线视频| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 丁香五月婷婷五月天| 六月婷婷激情| 综合久久99| 综合激情五月丁香| 久久丁香网| 色色色9 9 9| 五月激情射| 9久热在线视频精品| 九月婷婷久久久| 婷婷五月播| 夜夜夜天天操| 丁香色五月婷婷91桃色| 日本在线99| 日本婷婷| 草了bav视频在线观看| 丁香五月婷婷欧美性爱| 超碰资源在线| 六月婷婷狠狠色在线观看| 热99视频| 久热一本| 欧美十二区| 五月天婷婷狠狠| 九热免费视频| α久久| 99热99热在线| 丁香色色网| 日B日潘金莲BB| 大伊香蕉玖玖爱| 激情综合网丁香| 26uuu国产精品| 激情5月婷婷| 91啪啪视频| 亚洲精品色| 婷婷丁香五月天激情四射| 激情视频综合| 91婷婷五月天综合视频| 久月婷婷| 久久天堂女人| 久久这里只精品66| 婷婷五月天播播| 激情伊人五月天| 天天干天天av天天射| 超碰a女人的天堂| 午夜美女人啪最红院| 婷婷丁香五月综合激情视频| 99热一区| 久9热视频| 中文字幕日韩无码制服诱或| 亚洲精品无码久久| 亚韩精品视频1区| 丁香激情网| 九九机热| 成熟妇人A片免费看网站| 9久久AV| 亚洲九九九九| 久久538| 亚洲免费在线观看岛国| 思思综合热| 激情视频综合| 九九一区| 婷香五月网在线| av人人干| 97亚洲精品| 狠狠色噜噜狠狠色噜噜噜999| 亚洲欧美一区二区三区爱爱动图 | 无码动漫AV| 九九热只有这里是精品| 97人人草| 五月丁香无码| 色五月涩涩婷婷| 伊人激情AV一区二区三区| 超级黄色片| 丁香网五月天激情| 人妻内射一区二区在线视频| 六月99天天婷婷激情综合| 久久99热这里只有精品| 亚洲精品无码A片一区二区| site:xmssd.com| 狠狠色噜噜狠狠| 超碰人人在线观看| 狠狠狠狠狠操| 午夜天天精品视频| 思思久久96热在精品国产,| 欧美激情综合| 91久久久久久久久| 超碰人人艹| 成人免费高清在线播放| 婷婷五月天综合在线| 亚洲丁香五冃97色| 精品成人无码A片观看香草视频| 91超碰人人操| 超碰在线人妻| 五月丁香综合啪啪| 91男同| 原琪琪色影院| 超碰9| 秋霞AV淫| 另类专区在线观看| 亚洲99热| 婷婷激情五月天网站| 亚洲色99| 日韩人妻无码一区二区| 国产真人做爰视频免费| 五月婷高清视频| 五月婷婷丁香六月| 丁香五月激情澎湃一区| 九久九精品| 久久在线人妻| 4438全国最大视频成人网站在线观看| 色久天| 玖玖热99| 婷婷午夜精品久久久| www.婷婷,com| 老司机伊人| 婷婷久久网| 丁香五月Av| 九九黄色网| 久久婷色| 色色色色色色综合| 97超碰色| 九九热自拍| 91操熟女| 一本大道嫩草AV无码专区| 色亚洲中文| 亚洲亚洲人成综合网络| 狠狠色噜噜色狠狠狠综合久久成人波| 婷婷综合色网| 99热这里只有精品8| 色欲婷婷夜夜| 婷婷中文综合网| 五月婷婷六月丁香在线| 96丁香六月婷婷蜜桃综合久久| 尔尔AV一区| 91久久久久久久| 久久精品99| 99色在线观看免费| www.五月天| 丁香激情婷婷网| 久久久久久婷| 婷婷精品视频| 开心婷婷五月花| 日韩一级| 97碰在线| 操熟女成人网| 91黄址| 极品少妇高潮啪啪AV无码| 婷婷五月天激情五月天网站| 欧美日韩国产伦精品日韩人妻一| 91久久久久久| 五月丁香六月婷婷姐| 九色视频91| 青青草视频免费观看| 色色色免费视频| 99在线视频色版| 免费视频WWW在线观看网站| 激情深爱五月| 97色色-99久久| 骚逼视频一区2区| 日韩在线视频中文字幕| 九九视频精品在线免费| 超碰com| 欧美电影在线观看| 六月撸婷婷| 新激情五月开心五月婷婷五月丁香五月 | 国产一级视频a| 思思久久精品| 五月丁香六月婷综合成人综合| 亚洲深喉AV| 六月丁香中文字幕| 亚洲综合狠狠艹| 久9久9久9久9久9久9| 国外亚洲成AV人片在线观看| 99久久婷| 色五月丁香伊人五月| 六月婷欧美| 曰韩少妇内射免费播放| 欧美成人网99网| 成人AV在线电影| 婷婷字幕在线| 拍真实国产伦偷精品| 夜夜操,天天撸| 第2色五月婷| 一起肏在线视频| 亚洲精品V天堂中文字幕| 五月天啪啪啪| 久久精彩视频99| 久久香蕉影院| 玖玖热99| 五月久久丁香| 最近免费中文字幕大全高清大全1| 91人碰| 青青草原福利在线| 只有精品视频在线观看| 外国碰视频网站97| 性爱人人网| 五月婷婷电影院| 天天色播| 丁香五月天激情综合| 婷婷五月天亚洲五码| 五月婷六月天| 激情五月丁香色婷婷| 婷婷九月亚洲| 99人人操人人操人人精| 青青艹b| 激情五月天。| 国产无套精品一区二区| 丁香六月激情| 色丁香久久| 午夜成人AV在线| 噜噜精品| 天天天天天日| 久久99激情丁香婷婷小说网| 欧美VA在线观看| 99视频精品8 | 色吧婷婷| 色婷婷伊人| 亚洲婷婷婷| 综合色色综合| 97干视频在线| 国产操B视频| www,超碰| 99久久99视频| 天堂色婷婷| 91丨九色丨熟女|老版| 激情性爱网站| 91嫩草久久| 九九久久高清| 成人永久免费视频在线观看| 五月丁香花激情综合网| 99久热在线精品| 亭亭色网| 97人人草| 热的国产,热的综合,热的有码| 另类的婷婷| 丁香五月 综合| 亚洲性爱干干| 五月丁香六月激情综合在线| 99性爱精品| 这里只有精品在线免费视频| 五月丁香亚洲综合网| 日本色噜| 五月天激情Av| xxx.色婷婷| 99色 色| 色综合激情| 久久综合五月天| 狠狠狠色激情综合适合| 中文字幕,综合,91| WWW免费视频碰碰碰碰| 五月天综合激情网| 99热这里只有精品青草| 欧美叉叉叉BBB网站| 久婷婷视平| 六月丁香成人| 婷婷操久久| WWW,激情五月天,COM| 色五月aV| 草做免费在线观看| 五月天婷婷成人网| 色色婷| 五月婷丁香| 疯狂做受XXXX高潮A片| 婷婷激情综合| 伊人婷婷99热精品| 色噜噜五月天| 99视频色在线观看| 婷婷香五月| 婷婷播5月| 天天操加勒比| 欧美三级巜人妻互换| 久热天堂| 丁香五月婷婷久久综合激情网 | 襙比视频| 久久精品夜色噜噜亚洲a∨| 色婷婷五月在线| 五月天色小说| 美女黄频aⅴ视频| 狠狠五月丁香色婷| 色婷婷偷拍| 亚洲欧洲另类| 一本色道久久88加勒比—| 九九热在线观看6| 激情婷婷综合| 超碰不卡在线| 韩国中文字幕91| 久9精品视频| 激情网站综合五月天| 丁香婷婷六月| 丁香五月花| 五月丁香激| 色 丁香婷婷| 激情婷婷五月天| 天天综合精品| 黄色一级影片| 综合五月天婷婷色| 五月婷婷基地| 综合久久综合综合| 婷婷五月天视频小说| 噜噜色五月| www.色色色com| 少妇激情基地| 99热激情| 五月综合激情久久| 五月丁香久人妻中文| 六月丁香社区| 大地资源色婷婷视频在线| 色婷婷丁香社综合| 热99re| 五月天六月色| 丝袜激情网| 女人天堂 AV| 97精品人人A片免费看| 九月丁香欧美综合| 婷婷亚洲丁香五月| 色色五月天婷婷| 丁香九月激情在线视频| 9色在线视频| 激情五月婷婷色| 玖玖色综合| 97热视频| 丁香五月中文字幕| 色色日本欧美| 国产婷婷色综合AV蜜臀AV| 亚洲精品久久久无码| 九九五月天| 五月天婷婷小说| 六六久久黄色| 色了色综合| 99热这里有精品| 狠狠色噜噜狠狠狠狠综合| 亚洲天天| 亚洲精品第一色色色色色色| 一區四區歐美日韓| 婷婷激情五月综合| 丁香五月天啪啪| av在线激情| 色香久久| 2020日日干| 一起草aV| 天天干天天爽天天操| 亚洲最大成人综合网720P| 五月香蕉综合| 久久婷婷亚洲| www.狠狠操.co m| 色五月播五月| 综合欧美五月婷婷| 4399成人黄A片| 五月天五月色婷婷综合| 激情丁香五月婷婷| 五月天婷综合网站| 1000部毛片A片免费观看| 99re熱| 成功精品影院| 思思久久99热| 久久久GOGO无码啪啪艺术 | 综合一区二区三区| 天天久久狠狠色综合| 99热最新精品| 国产99热| 爱爱色五月天| 2018夜夜草| 五月丁香婷婷三级| 91VIP在线观看| 婷婷深爱五月丁香| 五月天婷婷激情四射综合| A色色| 亚洲V国产V欧美V久久久久久| 永久的网站AAAA | 安息电影在线观看完整版| 国产av天堂| 91人妻视频| 亚洲天堂玖玖| 亚洲综合另类| 日韩综合天堂| 欧美成人精品三区综合A片| 五月的丁香六月的婷婷| 九久热| 精品99视频| 欧美色图天堂网| 九九99精品视频在线观看| 亚洲色域网| 热久91| 久99综合婷婷| 五月丁香天天| 超碰中文字幕在线| 97自拍视频在线| 亚洲熟妇AV综合网五月丁香伊人| 5月丁香美女影院| 五月天激情视频| 五月玖玖| 激情婷婷丁香五月| 人人摸人人| 开心五月婷婷五月| 伊人喵咪a V| 亚洲天堂啪啪| 啄木鸟黑丝一区二区| 少妇AB又爽又紧无码网站| 99热这里只有精品国产首页| 妇激情基地| 亚洲亚洲人成综合网络| 橾逼网| 91狠狠综合久久久| 久草九一| 九九免费视频| 色丁香六月| 97天堂| 中文字幕人妻一区二区| 超碰在线人妻| 激情综合九| 久久99综合网| 婷婷五月天亚洲综合网| 九月婷婷久久久| 色色色网站| 亚洲婷婷五月天激情| 综合激情五月四射婷婷| 99热精品超碰| 国产成人一区二区三区在线观看 | 99操| 激情四射婷婷| 婷婷五月天男人影院色色网| 大香蕉手机视频| 91碰碰视频在线观看| 激情99| 色婷婷六月激情| 久久五月婷婷丁香| www,setingting| 五月天激情婷婷| 5月丁香婷婷激情网| 激情五月天在线| 色婷婷五月天成人网| 在线成人va| 俺去也综合| 99色在线视频| 五月丁香欧美在线| 婷婷五月激情基地| 婷婷色色网| 色五月色开心开心五月| 成人在线网| 777.色色| 色三级色三级| 嫩草视频。| 涩涩五月天| 激情综合网址| 99综合视频| 俺去啦综合网| 翔田千里无码| 色婷婷五月基地在线| 六月婷婷激情| www.maotanji.com| 亚洲成Av人片乱码色第1集| 国产一级片色色| 色五月婷婷五月天| 婷婷色六月| 狠狠色噜噜狠狠狠狠综合| 色五月在线播放| 五月丁香花开综合网| 色播五月丁香婷婷| 99热热九九| 亚洲五月天,激情视频| 激情五月婷| 另类在线观看视频| 91岛国片| 无码A片一区二区免费| 久久小片| 婷婷色正月| 99热在线观看亚洲区| 狠狠干狠狠干狠狠干狠狠干| 婷婷开心青青草| 色色色在线免费视频| 免费国产VA国产免费| 狠狠大香婷婷爱| 日韩无码成人电影| 9 99免费视频| 99热九九在线| 久久婷婷五| 五月婷视频| 青青草激情网| 久久激情五月| 99精品在线观看| 久久久久久久综合狠狠综合| 无码se| 天堂AV三级| 97色色色视屏| 伊人日日干| 九九爱看亚洲| 欧美日韩aaaa| 五月婷婷六月综合| 色色a| xx久久| 伊人久久大香网| 五月婷婷无码| 六月婷婷综合| 久久精品A片777777| W色综合| 欲求不满的人妻| 五月丿香啪啪| 色综合大香蕉| 五月婷婷黄色| 五月人妻婷婷| 日日爽天天| 婷婷狠狠操| 五月婷婷五月天| 激情综合五月天| 婷婷九月丁香| 嫩BBB槡BBBB搡BBBB| 伊人热在线大香蕉| 海外网站专业操老外| 五月丁香婷婷综合久久| 久久久久久天天日天天爱| 伊人婷婷激情| 五月丁香六月综合激情无码软件亮点 | 日韩国产在线精品| 激情av网| 超碰九色| 色青五月天| 婷婷五月激情丁香| 激情五月综合| 99热99艹在线观看| 青青久久大香蕉| 色 免费网站视频| 五月丁香 啪啪啪| 色婷婷丁香九月| 丁香五月婷婷六月婷婷| 99免费视频精品| 亚洲VA口| 99色综合| 日韩无码乱轮| 五月六月播婷婷| 久久婷婷操| 色色色com| 免费黄色片子| 五月香蕉网| 五月天婷婷日日爱| 五月天婷婷婷| 免费亚洲婷婷| 久久五月天精品视频| 国产亚洲色婷婷久久99精品91| 五月丁香六月婷婷免费视频| 丁香五月欧美色综合| 国产精品国产成人国产三级| 99精品视频推荐| 国产精品噜噜在线视频| 激情五月婷婷| 97精品人人A片免费看| 丁乡久久| 亚洲色色色色| 开心激情网在线| 久久久久九九九九视屏小说88| 婷婷色亚洲| 日撸夜撸日操| 99久视频| 9精品国产在热久久| 天天综合情| 五月婷婷之婷婷| 国产AV一区二区三区最新精品| 性色婷婷| 六月久久狠狠| 午夜少妇在线观看视频| xxxx久| 狠狠色噜噜色狠狠狠综合久久成人波| 人妻AV在线| 中文字幕性爱视频| 色五月开心开心五月激情五月| 五月婷婷熟女| 午夜福利8055| 五月丁香六月色婷婷| 91久久久久久| 日本99视频精品免费播放| 蜜臀九九九九| 久久激情视频| 色婷| 久久人妻视频| 婷婷五月欧美AA片免费| 天天干夜夜b| www.夜夜操.com| 99色日本| xxx.色婷婷| 亚洲午夜在线视频| 深爱五月激情网| 亚洲AV成人片无码网站| 欧美久人人| 久久久色情| 亚洲色婷婷99一9|| 99操碰| 9l视频自拍9l九色成人| 亚洲乱码w在线观看| 97碰 在线视频观看| 99aese| 中字幕视频在线永久在线观看免费 | 国产在这里只有精品| 91碰碰视频在线观看| 色播五月丁香综合| 久久思思热| 亚洲精品色色| 天天天天天日| 久热九九| 婷婷五月丁香久久| 日韩啪| 六月婷久久| 欧美色色色色色色色色色色| 天天做天天爽| 五月天激情日色在线| 99综合激情久久精品久久| 91久久婷婷| www.婷婷网| 日本九九九九| 这里只有在线精品| 色情婷婷| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | www.97干视频| 亚洲熟妇无码乱子AV电影| a片在线免费观看一区| 另类小说激情五月天| 激情国产五月| 性生活久久朋友人妻| 99情色五月天| 欧美色色网| 亚洲爱婷婷| 五月综合激情网| 99久久99视频| 中文字幕激情综合| 中文资源在线a | 婷婷六月综合激情| 99亚洲精美视频在线观看| 久久98热re| 日韩九区| 人妻人人操| ji'qing'luan'ren'lun| 色五月婷婷777| 亚洲激情精品| 欧美精品A片一区在线观看| 丁香激情五月| 337p大胆噜噜噜噜噜91Av| 丁香五月自拍| 五月丁香日本片| 中字幕视频在线永久在线观看免费 | 五月综合激情综合久| 九九成人电影婷婷| www.com五月天| 婷婷综合色图| 91久久99久久91熟女精品| wwccc久久久| 天天久久婷婷| 99在线免费视频| 国产精品色婷婷99久久精品| 欧美婷婷五月丁香| 深爱激情九九五月天| 亚洲AV无码电影| 欧美影院| 琪琪理论片| 色色9 9| 久久亚洲无码| wuyuedingxiang99| 国内精品99| 日韩在线99| 九九热九九| 31色区视频免费看| 成人精品人妻| 午夜丁香六月婷| 五月激情婷婷四射| 人妻AV在线| 五月丁香六月综合激情网| 久热伊人9| A久久| 日日舔夜夜操| 日韩成人中文字幕| 五月日韩中文字幕| 激情九色| 五月的婷婷六月丁香| 97人妻碰碰碰久久久久-最近国语高清| 丁香五月激情啪| 天天插轮理| 婷婷色五月激情强奸四射| 久青草影院| 久久性爱视频网站| av在线超清中文| 日本一级大片| 五月天婷婷小说| 2025天天日爽| 99热国产在| 日本黄色在线观看| 中文字幕丰满孑伦无码专区| 97色天堂| http://www.lingjunshare.com/| 激情中文在线| 久久人妻少妇嫩草AV| 伊人五月婷婷| 五月天婷婷丁香六月| 五月天丁香六月综合| 99丝袜精品视频网站| 激情综合网五月婷婷| 五月天播播中文字幕| 五月丁香综合精品| 成人短视频免费观看| 九九在线视频| 粉嫩av懂色av蜜臀av熟妇| 色五月亚洲开心网| 久久66er久久| 色色色在线观看| 天堂久久丁香| 五月婷婷啪啪| 天天干,夜夜爽| 99久久er| 一夜福利不卡| 色五月婷婷AV| 久久婷婷老| 色婷婷综合网站| 久久综合九九| 色色色色色五月| 一区二区成人电影免费播放| 五月婷婷开心网| 婷婷丁香五月激情密臀av| 五月丁香婷婷婷婷综合网| 超碰av在线| 超碰无码318604| 色色色色色日韩午夜激情| 777精品久无码人妻蜜桃| 大香蕉520| 色亭亭五月天丁香综合AV - 百度 - 百度| 五月天成人在线精品| 日本老女人黄页在线播放| 99啪啪网| www.com任你艹| 欧美精品狠狠色丁香婷婷| 午夜成人片400| 狠狠干综合| 亚洲六月色| 婷婷丁香花五月天| 婷婷激情图片| 婷婷五月天激情免费在线观看| 婷婷五月丁香婷婷| 热99热| 888精品福利地址| 久久99久久久久久| 九月影院義母在线播放| 91狠狠色丁香| 丁香五月先锋| 欧美人人超级碰| 久久久色情| 五月婷婷先锋| 永久天堂日本| 色婷婷亚洲综合天堂| 久99婷婷色综合| 久久人妻超碰一区| 免费超碰在线观看| 91se精品国产| 香蕉曰比| 91 影音先锋| CHINESE熟女老女人HD视频| 日韩成人网址| 五月天婷婷基地| 日本猛少妇色XXXXX猛叫| 99热这里只有精品99| 九九香蕉网| 五月丁香啪| 国精产品一区一区三区免费视频| 亚洲情综合五月天| 亚洲三级无码| av操B网站| 日本欧美999久久久三级片| 丁香香蕉婷婷| 久久精品婷婷五月丁香| 日本色99| 婷婷成人综合| 视色网在线播放| 婷婷丁香基地在线| 开心日韩丁香婷婷五月| 亚洲性爱日韩无码| 人人噜天天上| 六月丁丁香| 日本婷婷| 亚洲欧美成人在线| 91九色精品熟女内射| 国产熟妇的荡欲午夜视频| 亚洲第一成人无码A片| 91精品刘玥| 五月婷婷色啪| 91超级碰碰| 深爱激情九九五月天 | 丁香五月婷婷av| 99热这里只有精品2| 91蜜桃婷婷狠狠久久综合9色| 伊人综合网站| 韩日AV片| 日本在线视频www色| 成人深爱丁香五月| 26uuuu精品一区二区| 亚洲激情五月| 97碰碰视频在线观看| 天天色一道本综合婷婷| 就爱射中文字幕资源网| 天天色视频| 国产成人99久久亚洲综合精品| 亚洲视频一区| 天天操天天插天天射| 丁香五月综合无码趴趴| 久久久com| 这里只有免费的精品| 无码色色色| 狠狠狠狠狠干| 色五月婷婷丁香凹凸| 色呦呦美女| 激情婷婷丁香色五月综合| 天天摸天天高潮天天爽| 99这里只有精品| 九九碰九九爱97| 久久婷婷五月综合色天| 婷婷五月成人| 伊人午夜综合色啪| 五月天激情图片| 99久久九九视频| 极品九九九九九九| 六月丁香基地| 婷婷天天日婷婷| 丁香五月天堂网| 成人精品网站在线观看| 九九自拍网| 婷婷婷五月天最新综合你懂的| 能看的AV| 国产69久久久欧美黑人A片| 婷婷 丁香 久久| 天天草天天爱| WWW,五月| 综合久久十三| 激情五婷精品网在线观看网址| 五月色综合| 九日日夜夜69| 色亚洲视频| 丁香九月婷| 成人啪啪色婷婷久| 狠狠狠狠狠操| 五月丁香影视| 伊人久久99| 天天插天天插| 婷婷丁香久久网| 天天 日综合| 五月色影院| www五月天com| 亚洲小说欧美激情| 99色在线观看| 久久婷婷综合色丁香| 六月伊人婷婷| 91黄操| 天堂在线婷婷| 五月丁香六月婷婷中文版| 亚洲AV网址| 久久久久久9热不雅视频| 婷婷五月成年人| 9久久久久久久久久久| 99热97美女| 婷婷丁香人妻| 婷婷色综合| 99精品国产在热久久婷婷| www狠狠| 97色色视频| 天天肏在线观看| 色五月天在线观看| 色一色综合| 天天爽—爽| 五月丁香六月激情在线| 五月丁香色婷基地综合久久| 99免费视频网| 韩日另类| 99这里只有免费的小视频在线观看| 天天摸天天肏| 丁香婷婷综合喷| 免费在线a| 久久婷婷色| 99色在线观看视频| 国产操B| 婷五月丁香| 人妻22p| 99久热在线精品| 婷婷的99视频网站| 色综合久久中文| 丁香五月Av| 99在线看片| 欧美VA在线观看| 激情综合网激情五月婷婷| 密臀久久| 夜精品无码A片一区二区蜜桃| 五月丁香爱婷婷深深| 亚洲五月花| 亚洲色色色色色色色色色| 99精品久久久久久久婷婷| 九九色区| 五月丁香成年黄色| 九九 激情 网| 丰满老熟妇BBBBB搡BBB| 日日操夜夜爽天天天| 婷婷色情 | 丁香五月婷婷骚视屏| 天天久久九九| 日本婷色| 9久久久久久久久久久| 草草视频91| 久婷婷五月激情| 高潮毛片又色又爽免费| 午夜婷婷六月天| 9热久久| 任你爽精品免费视频6| 婷婷五月天av| 国产精品久久久久久久久久| 好好干av| 久久码久久无清| 五月丁香色| 久久人妻乱子伦| 婷婷丁香成人色综合| 婷婷五月丁香综合激情| 色婷婷a v| 超碰精品在线| 国产精品久久久久久五月天加勒比| 色婷婷aV四虎| 丁香九九九九| 男人天堂亚洲综合| 亚洲成人丁香花| 久久超视频| 激情综合4月| 婷婷五月综合中文字幕| 九月激情综合| 蜘蛛女免费观看完整版高清电影| 丁香五月天堂婷婷| 天天插天天干| 5月婷婷综合| 激情综合九| 9l视频自拍9l九色成人| 六月婷五月丁香| 无码一级片| 国产欧洲欧洲精品久久| 影音先锋人妻出差| 成人Av在线大片| 国产乱妇无乱码大黄AA片| 五月激情六月宗合| 激情AV| 激情5月婷婷| 五月天丁香网站| 日本噜噜色网| WWW.久久久久久久| 亚洲亚洲人成综合网络| 激情亭亭五月| 色五月视频无码播放| 14色综合婷婷|