欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

RK3588邊緣AI設(shè)備不死機(jī)實戰(zhàn):看門狗、NPU守護(hù)與系統(tǒng)自愈機(jī)制

RK3588邊緣AI設(shè)備不死機(jī)實戰(zhàn):看門狗、NPU守護(hù)與系統(tǒng)自愈機(jī)制 先說一個我自己的真實經(jīng)歷。前兩年給客戶做一臺基于 RK3588 的邊緣 AI 盒子部署在園區(qū)配電房做 YOLOv8 安全帽檢測設(shè)備放在弱電井里7×24 跑推理。頭一個月一切正常第二個月凌晨三點(diǎn)值班電話打過來——畫面全黑設(shè)備失聯(lián)。我驅(qū)車來回兩小時結(jié)果到現(xiàn)場一看機(jī)器沒死是 NPU 卡死了推理線程阻塞系統(tǒng)負(fù)載飆到 20 多網(wǎng)絡(luò)假死。按一下復(fù)位好了。但這個場景發(fā)生在偏遠(yuǎn)站端呢來回一次的成本夠買三臺設(shè)備。從那以后我開始認(rèn)真研究 RK3588 平臺的“不死機(jī)”問題陸陸續(xù)續(xù)做了三版方案后來慢慢沉淀成一套完整的守護(hù)機(jī)制我管它叫 Guardian。今天把整套思路、配置、踩過的坑全部攤開講希望能幫到正在做邊緣 AI 設(shè)備的朋友。適合誰看如果你正在做基于 RK3588 的AI盒子、邊緣計算終端、工業(yè)視覺設(shè)備或者已經(jīng)遇到了設(shè)備長時間運(yùn)行后死機(jī)、NPU 卡死、SSH 假死這類問題這篇文章應(yīng)該能幫你省掉至少兩個月的試錯時間。1. 先說結(jié)論RK3588 邊緣設(shè)備為什么需要“守護(hù)”而不是“運(yùn)維”很多做產(chǎn)品的朋友一上來就討論散熱、電源、看門狗方向?qū)Φ窬中×?。RK3588 這塊芯片本身是非常成熟的8nm 工藝、四核 A76 四核 A55、6 TOPS NPU算力在邊緣側(cè)完全夠用。7×24 不死機(jī)的難點(diǎn)從來不在芯片而在芯片之外的整個“系統(tǒng)生態(tài)”。1.1 三個真實場景告訴你“不死機(jī)”有多難第一個場景工業(yè)檢測。設(shè)備掛在產(chǎn)線旁邊環(huán)境溫度 40℃ 以上旁邊還有電焊機(jī)、變頻器這類強(qiáng)干擾源。RK3588 的 NPU 滿載跑 YOLOv8整板功耗能摸到 15W 以上散熱稍跟不上芯片溫度直奔 85℃。溫度一高CPU 降頻推理幀率掉一半客戶以為你算法不行其實你已經(jīng)快死機(jī)了。第二個場景無人店 / 自助終端。這種場景往往是市電不穩(wěn)晚上電壓波動大設(shè)備用著用著突然斷電或者“半斷電”——電壓忽高忽低導(dǎo)致 eMMC 寫入出錯。第二天開機(jī)系統(tǒng)起不來卡在 kernel panic只能派工單上門刷機(jī)。第三個場景車路協(xié)同邊緣站。設(shè)備放在戶外機(jī)柜網(wǎng)絡(luò)是 5G CPE偶爾斷網(wǎng)是常態(tài)。斷網(wǎng)期間軟件里的網(wǎng)絡(luò)重連邏輯如果寫得不好線程會不斷堆積內(nèi)存慢慢漲幾天后 OOM系統(tǒng)自動殺掉關(guān)鍵進(jìn)程然后整機(jī)進(jìn)入假死狀態(tài)。這三個場景說明一個問題邊緣 AI 設(shè)備的不死機(jī)不是靠某一個看門狗芯片就能解決的而是一整套從硬件到內(nèi)核再到應(yīng)用的分層兜底機(jī)制。單純靠遠(yuǎn)程運(yùn)維去“救火”成本高、時效差用戶根本等不起。1.2 死機(jī)是表象根因都在這些位置我統(tǒng)計了自己手上 RK3588 設(shè)備的故障記錄大概 80% 的“死機(jī)”其實不是真正意義上的硬件死機(jī)而是下面這幾種情況NPU 卡死RKNN 推理進(jìn)程在調(diào)用rknn_run時長時間不返回或者返回了錯誤的錯誤碼但應(yīng)用層沒處理導(dǎo)致進(jìn)程不死不活。內(nèi)核鎖死常見于某些外設(shè)驅(qū)動異常比如 USB 攝像頭掉線后內(nèi)核在等待 USB 枚舉超時或者 MIPI-CSI 信號異常導(dǎo)致 dmesg 刷屏把系統(tǒng) IO 拖垮。OOM 被殺Python 推理進(jìn)程內(nèi)存泄漏跑幾天后 RSS 漲到幾個 GB觸發(fā)內(nèi)核 OOM killer關(guān)鍵進(jìn)程被殺。文件系統(tǒng)寫滿或損壞日志沒做輪轉(zhuǎn)eMMC 被寫滿或者異常掉電導(dǎo)致 overlayfs/ext4 元數(shù)據(jù)損壞。有意思的是這些根因在實驗室里都很難復(fù)現(xiàn)因為實驗室環(huán)境太“干凈”了。真正到了現(xiàn)場電網(wǎng)波動、高溫、電磁干擾、斷網(wǎng)、人為誤操作各種因素疊加才會暴露問題。1.3 Guardian 守護(hù)的設(shè)計目標(biāo)與分層思路我定義 Guardian 的目標(biāo)很簡單即使應(yīng)用層已經(jīng)“感知”不到系統(tǒng)了設(shè)備也必須能在無人干預(yù)的情況下自動恢復(fù)而且恢復(fù)時間越短越好。理想狀態(tài)下最壞情況是 3 分鐘內(nèi)重啟恢復(fù)期間如果用戶詢問運(yùn)維人員只需要說一句“設(shè)備自愈了”就行。為了實現(xiàn)這個目標(biāo)我采取的是分層兜底架構(gòu)層級守護(hù)手段解決的問題L0 硬件層硬件看門狗、電源保護(hù)、溫控系統(tǒng)崩潰、電池/電源異常L1 內(nèi)核層內(nèi)核 panic 自動重啟、EDAC 內(nèi)存錯誤內(nèi)核級死鎖、硬件錯誤L2 系統(tǒng)層systemd 服務(wù)健康檢查、日志兜底關(guān)鍵服務(wù)異常退出L3 應(yīng)用層進(jìn)程守護(hù)、心跳上報、RKNN 超時恢復(fù)推理進(jìn)程卡死、內(nèi)存泄漏核心思路是每一層都只兜住自己下面的那一層不要把寶押在單一機(jī)制上。比如你寫了很好的應(yīng)用層守護(hù)但內(nèi)核已經(jīng) panic 了應(yīng)用層代碼再漂亮也沒用必須靠硬件看門狗把系統(tǒng)拉起來。反過來你不能只靠硬件看門狗因為它能做的只是“重啟”重啟之后應(yīng)用層問題依舊存在設(shè)備會陷入反復(fù)重啟的死循環(huán)。下面我把每一層的具體做法拆開講能貼配置貼配置能貼代碼貼代碼都是實測驗證過的。2. 硬件看門狗 軟件看門狗把底兜住看門狗是整套 Guardian 的地基。如果地基打不好上面蓋什么樓都沒用。RK3588 內(nèi)部自帶硬件看門狗DW_wdtIP在 Linux 下對應(yīng)dw_wdt驅(qū)動設(shè)備節(jié)點(diǎn)是/dev/watchdog。這個看門狗一旦啟動系統(tǒng)就必須周期性去“喂狗”否則硬件強(qiáng)制復(fù)位。2.1 devicetree 里開啟硬件看門狗很多 RK3588 開發(fā)板出廠默認(rèn) watchdog 是 disabled 的因為默認(rèn)固件不啟用喂狗服務(wù)開了不喂會一直重啟。所以第一步是在內(nèi)核 devicetree 里把它打開。以 RK3588 的 dtsi 節(jié)點(diǎn)為例wdt { status okay; timeout-sec 16; };timeout-sec我建議設(shè)置在 10~16 秒之間。太短了系統(tǒng)高負(fù)載時喂狗線程本身被調(diào)度延遲容易誤觸發(fā)重啟太長了真死機(jī)時要等半天才復(fù)位業(yè)務(wù)中斷時間太長。16 秒是我測試下來比較穩(wěn)的值。然后是 Linux 內(nèi)核配置需要確保這幾個 config 打開了CONFIG_WATCHDOGy CONFIG_DW_WATCHDOGy CONFIG_WATCHDOG_COREy如果用的是 Rockchip 的 SDK默認(rèn)一般都有。但如果你是自己 build 的 mainline 內(nèi)核務(wù)必檢查一下缺了這兩個 config后面的所有看門狗配置都是白搭。2.2 systemd 軟件看門狗怎么配合硬件看門狗只是最后一道保險正常運(yùn)行時我們更希望用 systemd 的軟硬結(jié)合機(jī)制來提前發(fā)現(xiàn)異常。systemd 本身內(nèi)置了 watchdog 支持可以讓 PID 1 周期性去喂硬件看門狗。只要 systemd 還活著系統(tǒng)就被認(rèn)為是健康的。配置在/etc/systemd/system.confRuntimeWatchdogSec10 ShutdownWatchdogSec60RuntimeWatchdogSec10的意思是 systemd 每 10 秒向/dev/watchdog喂一次狗。這個值必須小于 devicetree 里的timeout-sec16 秒否則喂狗間隔比硬件超時還長系統(tǒng)會被誤殺。ShutdownWatchdogSec60是關(guān)機(jī)和重啟階段給系統(tǒng)更多時間去卸載文件系統(tǒng)、停服務(wù)避免關(guān)個機(jī)還被看門狗打斷。配置完重啟 systemd 或者整機(jī)重啟后可以用下面命令確認(rèn)喂狗生效cat /dev/watchdog正常情況下這條命令會打開設(shè)備節(jié)點(diǎn)并觸發(fā)一次喂狗然后會報錯退出這反而說明驅(qū)動正常。更靠譜的驗證方式是watch -n 1 cat /sys/devices/platform/watchdog/watchdog0/state也可以直接禁掉喂狗服務(wù)手動觀察設(shè)備會不會在 16 秒后自動重啟。我建議每一批板子出廠前都做一次這個測試確保硬件看門狗是真實可用的而不是 devicetree 里寫了“okay”但實際沒生效。2.3 看門狗喂狗的正確姿勢這里有個關(guān)鍵細(xì)節(jié)喂狗不是在應(yīng)用層隨便寫個死循環(huán)就行的必須設(shè)計成“健康檢查通過才喂”。我見過太多團(tuán)隊寫一個while(1) { write(fd, w, 1); sleep(5); }的線程一直喂等于自己把看門狗廢了——任何應(yīng)用層故障都不會觸發(fā)重啟因為你的喂狗線程還活著。我之前在一套方案里做的是分級喂狗喂狗線程每 10 秒讀取一次系統(tǒng)健康狀態(tài)關(guān)鍵進(jìn)程是否存活、內(nèi)存是否夠用、最近的 dmesg 里有沒有驅(qū)動報錯。只有所有檢查項都通過才寫入/dev/watchdog。任一檢查項失敗停止喂狗等硬件看門狗超時自動復(fù)位。偽代碼大致長這樣import fcntl import os import time WATCHDOG_FD os.open(/dev/watchdog, os.O_WRONLY) def system_healthy(): # 1. 關(guān)鍵進(jìn)程存活檢查 if not check_process(rknn_infer): return False # 2. 內(nèi)存檢查可用內(nèi)存低于 200MB 判定為異常 if available_memory_mb() 200: return False # 3. 最近 60 秒 dmesg 是否出現(xiàn)連續(xù)驅(qū)動錯誤 if recent_dmesg_has_errors(): return False return True while True: if system_healthy(): os.write(WATCHDOG_FD, bw) time.sleep(10)注意這里我刻意把這個喂狗邏輯做成了獨(dú)立進(jìn)程而不是放在主業(yè)務(wù)進(jìn)程里。為什么因為主業(yè)務(wù)進(jìn)程是最容易卡死的如果喂狗邏輯跟著它跑卡死就一起卡死守護(hù)就失去了意義。用 systemd 把喂狗進(jìn)程拉起來加Restartalways即便這個進(jìn)程本身崩了systemd 也會把它重新拉起來繼續(xù)喂——當(dāng)然如果 systemd 都崩了還有硬件層兜底這是雙保險。3. 應(yīng)用層守護(hù)與 RKNN 推理異常自恢復(fù)看門狗解決的是“系統(tǒng)級死機(jī)”但實際項目里更常見的是“應(yīng)用級卡死”。系統(tǒng)沒死SSH 能連top 能看到進(jìn)程還在但 NPU 推理線程卡住不動了畫面一直停在那。這種問題靠看門狗是發(fā)現(xiàn)不了的必須靠應(yīng)用層自己的健康檢查機(jī)制。3.1 進(jìn)程守護(hù)與心跳我在方案里給每一個關(guān)鍵業(yè)務(wù)進(jìn)程都配了 systemd service統(tǒng)一加了Restartalways和健康檢查。以推理服務(wù)為例[Unit] DescriptionRKNN Inference Service Afternetwork-online.target rknn.service [Service] Typesimple ExecStart/usr/bin/rknn_infer --config /etc/guardian/rknn_infer.yaml Restartalways RestartSec5 WatchdogSec30 StartLimitIntervalSec60 StartLimitBurst5 [Install] WantedBymulti-user.targetRestartalways保證進(jìn)程退出后 5 秒內(nèi)被拉起來。但光這樣不夠因為前面說的“卡死”不是進(jìn)程退出而是進(jìn)程還活著但無響應(yīng)。所以這里又用了WatchdogSec30——systemd 會要求服務(wù)每 30 秒調(diào)用一次sd_notify(WATCHDOG)如果超時systemd 會認(rèn)為這個服務(wù)已經(jīng)“僵死”殺掉并重新拉起。服務(wù)內(nèi)部需要周期性地維護(hù)看門狗通知。C 里用sd_notifyPython 里用systemd庫或者直接往/run/systemd/notify寫消息import socket import time NOTIFY_SOCKET_PATH /run/systemd/notify def notify(): sock socket.socket(socket.AF_UNIX, socket.SOCK_DGRAM) sock.connect(NOTIFY_SOCKET_PATH) sock.send(bWATCHDOG1) sock.close() while True: # 執(zhí)行一幀推理 result rknn_run() if result is not None: notify() time.sleep(1)這個機(jī)制的意義在于只要推理主循環(huán)還能跑完一幀我們才認(rèn)為服務(wù)健康如果一幀推理超過 30 秒沒完成即使進(jìn)程還在systemd 也直接把它干掉重來。實測下來這套機(jī)制對“NPU 卡死但進(jìn)程還活著”的場景特別有效。3.2 RKNN 運(yùn)行時的超時檢測與自動重初始化RKNN 的rknn_run默認(rèn)是同步阻塞調(diào)用的如果 NPU 內(nèi)部出現(xiàn)了異常這個調(diào)用可能永遠(yuǎn)不返回。你寫再多的心跳代碼也走不到心跳那里。所以我在封裝 RKNN 推理時會把推理放到獨(dú)立線程里用帶超時的 join 去檢測一旦超時就認(rèn)為 NPU 已卡死進(jìn)入恢復(fù)流程std::futurecv::Mat future std::async(std::launch::async, [this] { return infer(frame); // 內(nèi)部調(diào)用 rknn_run }); if (future.wait_for(std::chrono::seconds(5)) std::future_status::timeout) { // 推理超時判定 NPU 卡死 recover_from_npu_hang(); return; } cv::Mat result future.get();恢復(fù)流程recover_from_npu_hang()做幾件事先把舊的推理進(jìn)程退出調(diào)用rknn_destroy釋放 NPU 上下文如果還能調(diào)用的話實在不行就直接exit(0)讓 systemd 重啟整個服務(wù)。然后把/dev/rknpu設(shè)備節(jié)點(diǎn)重新 bind/unbind 一次把 NPU 驅(qū)動復(fù)位echo 0 /sys/class/misc/rknpu/device/remove echo 1 /sys/class/misc/rknpu/device/remove注意/dev/rknpu設(shè)備節(jié)點(diǎn)的路徑在不同 SDK 版本里可能不一樣有的叫rknpu有的叫mpp_service需要先確認(rèn)一下你們板子的實際情況。復(fù)位 NPU 驅(qū)動后再重新rknn_init加載模型繼續(xù)推理。這個過程最好能自動完成不需要重啟整機(jī)恢復(fù)正常的時間控制在 10 秒以內(nèi)業(yè)務(wù)中斷的感知就很小了。3.3 進(jìn)程崩潰后的現(xiàn)場保留進(jìn)程崩潰后第一件事不是急著拉起來而是把現(xiàn)場保護(hù)好。我只說一個點(diǎn)coredump 一定要開但要寫到內(nèi)存盤上不能寫 eMMC。否則每次崩潰都往 eMMC 寫幾百 MB core 文件寫幾次 eMMC 就廢了。我的做法是# /etc/systemd/coredump.conf [Coredump] Storageexternal Compressyes # 把 coredump 臨時保存到 /tmptmpfs重啟后自動清空配合掛載一個 tmpfs 到/var/log/coredumptmpfs /var/log/coredump tmpfs defaults,size256m,mode0755 0 0這樣崩潰時 core 文件先落內(nèi)存盤不影響 eMMC如果現(xiàn)場非常重要再通過網(wǎng)絡(luò)把 core 傳到遠(yuǎn)端。很多團(tuán)隊的設(shè)備一到現(xiàn)場就頻繁崩潰但 Log 里什么都沒有就是因為 coredump 沒開或者開了直接寫壞存儲。4. 散熱與供電防止“慢性死亡”講完了看門狗和應(yīng)用層守護(hù)可能有人覺得夠了。但我的經(jīng)驗是真正的“不死機(jī)”有一半功夫要花在散熱和供電上。白天 NPU 滿載還好到了滿載幾個小時后如果沒有合理的溫控策略RK3588 會熱到降頻甚至直接高溫關(guān)機(jī)。這種問題不是突發(fā)性的而是“溫水煮青蛙”——系統(tǒng)越來越慢最后悄悄死給你看。4.1 PWM 風(fēng)扇控制與轉(zhuǎn)速讀取RK3588 開發(fā)板一般都有 PWM 風(fēng)扇接口內(nèi)核驅(qū)動是pwm-fan。我在設(shè)備樹里是這樣配的pwm13 { status okay; pinctrl-names active; pinctrl-0 pwm13m1_pins; }; fan: pwm-fan { compatible pwm-fan; #cooling-cells 2; pwms pwm13 0 50000 0; /* 50kHz 頻率 */ cooling-min-state 0; cooling-max-state 255; };這里的核心參數(shù)是pwms里的 period也就是 PWM 頻率。不同風(fēng)扇對頻率的要求不同但我測過的大部分 4 線 12V 風(fēng)扇在 25kHz~50kHz 之間都能正常工作。太低的頻率比如 1kHz會有明顯噪音太高的頻率100kHz 以上風(fēng)扇驅(qū)動芯片可能跟不上。然后是讀取風(fēng)扇轉(zhuǎn)速。很多 4 線風(fēng)扇的轉(zhuǎn)速反饋引腳FG可以直接接 RK3588 的 GPIO用pwm-capture或者 GPIO 中斷的方式測量。但我更推薦用hwmon的方式RK3588 的 SDK 里通常已經(jīng)支持了風(fēng)扇轉(zhuǎn)速的 hwmon 節(jié)點(diǎn)cat /sys/class/hwmon/hwmon0/fan1_input如果輸出一個 RPM 數(shù)值說明測速功能正常。如果沒有這個節(jié)點(diǎn)就需要檢查一下風(fēng)扇的 FG 引腳是否接到了正確的 GPIO 上以及內(nèi)核有沒有開CONFIG_SENSORS_PWM_FAN或者你們需要的gpio-fan驅(qū)動。轉(zhuǎn)速讀取的價值不只是讓你知道風(fēng)扇轉(zhuǎn)沒轉(zhuǎn)更關(guān)鍵的是可以做風(fēng)扇失效檢測。當(dāng) PWM 輸出已經(jīng) 100% 但轉(zhuǎn)速始終為 0說明風(fēng)扇卡住了或者掉線了必須立即告警否則芯片溫度會直線飆升。4.2 溫控策略別讓芯片扛到最后RK3588 芯片的結(jié)溫上限一般是 105℃ 左右但長期跑在 85℃ 以上不僅加速器件老化還有可能觸發(fā)內(nèi)部熱保護(hù)直接斷電。我的溫控策略是在用戶空間寫一個守護(hù)線程直接讀 SoC 溫度做分級控制import os import time def read_temp(): with open(/sys/class/thermal/thermal_zone0/temp) as f: return int(f.read().strip()) / 1000.0 def set_fan_duty(duty): # 通過 pwm-fan 的 cooling device 或者 sysfs 設(shè)置占空比 with open(/sys/class/hwmon/hwmon0/pwm1, w) as f: f.write(str(duty)) while True: temp read_temp() if temp 45: set_fan_duty(0) # 停轉(zhuǎn)安靜省電 elif temp 60: set_fan_duty(80) # 低轉(zhuǎn)速 elif temp 75: set_fan_duty(160) # 中轉(zhuǎn)速 else: set_fan_duty(255) # 全速壓溫度 time.sleep(5)閾值可以根據(jù)實際機(jī)型微調(diào)但思路是留出冗余在 75℃ 就已經(jīng)全速散熱不要等到 90℃ 才慌。另外如果你的設(shè)備是靜音優(yōu)先的場景可以考慮把 45℃ 這個停轉(zhuǎn)閾值調(diào)高到 50℃但一定要配合風(fēng)扇失效檢測否則夏天必出事。還有一點(diǎn)RK3588 有thermal-zones的被動降頻策略建議在 devicetree 里打開讓內(nèi)核在溫度過高時主動給 CPU/GPU 降頻而不是硬扛thermal_zones { soc_thermal { trips { cpu_cooling: cpu_cooling { temperature 75000; hysteresis 5000; type passive; }; }; cooling-maps { map0 { trip cpu_cooling; cooling-device cpu0 THERMAL_NO_LIMIT THERMAL_NO_LIMIT; }; }; }; };4.3 供電與硬件防護(hù)軟件做再好供電不行全白搭。RK3588 在滿負(fù)載時核心電壓對電源紋波極其敏感我碰到過一個案例設(shè)備白天跑得好好的一到晚上就隨機(jī)重啟查了半天最后發(fā)現(xiàn)是客戶配的劣質(zhì) DC 適配器紋波超標(biāo)電壓一波動芯片就復(fù)位。所以硬件選型上電源部分至少要滿足三個要求輸入電壓要留足余量標(biāo)稱 12V 供電實際要能扛住 9V~16V 的波動。很多開發(fā)板用的 DC-DC 方案輸入范圍就是 9~24V但有些精簡方案只在 12V 附近能穩(wěn)住。輸出紋波要小CPU 核心供電VDD_CPU的紋波最好控制在 50mV 以內(nèi)否則高頻負(fù)載變化時系統(tǒng)會隨機(jī)復(fù)位。要有過壓/反接保護(hù)鄉(xiāng)村、工控現(xiàn)場的市電環(huán)境很差插錯電源是常事硬防護(hù)必須做。如果成本允許建議加一個簡單的電源監(jiān)控芯片比如 INA226在應(yīng)用層定期讀電壓電流一旦發(fā)現(xiàn)輸入電壓異常波動就主動告警把問題暴露在“死機(jī)之前”。5. 存儲保護(hù)與日志策略延長 eMMC 壽命防止日志寫爆很多 RK3588 設(shè)備出廠配的是 eMMCTLC 顆粒擦寫壽命大概在 3000~5000 次 P/E 之間。如果系統(tǒng)跑一些頻繁寫日志的軟件每天寫幾十 GBeMMC 很快就廢了然后就是各種詭異故障文件系統(tǒng)只讀、應(yīng)用啟動報錯、系統(tǒng)隨機(jī)重啟。這些都是慢性病等到你發(fā)現(xiàn)的時候往往只能返廠換板了。5.1 根文件系統(tǒng)只讀化能讀就不寫我的設(shè)計原則是能只讀的絕對不讀寫。根文件系統(tǒng)掛載為只讀/var、/tmp、/run這些動態(tài)目錄掛到 tmpfs所有需要持久化的數(shù)據(jù)集中到/data分區(qū)。具體做法是把根文件系統(tǒng)做成 squashfs 或者 ext4 只讀分區(qū)然后用 overlayfs 提供一個小規(guī)模的可寫層mount -t squashfs -o loop /dev/mtdblock0 /mnt/ro # 或者 ext4 ro mount -t tmpfs tmpfs /mnt/rw mount -t overlay overlay -o lowerdir/mnt/ro,upperdir/mnt/rw/upper,workdir/mnt/rw/work /這樣程序只能往內(nèi)存里寫重啟后所有修改自動丟棄從源頭上杜絕了“日志寫滿磁盤”的可能。需要持久化的配置和數(shù)據(jù)明確寫到/data分區(qū)并且做好掉電保護(hù)。這個方案唯一的副作用是現(xiàn)場臨時改配置變得有點(diǎn)麻煩。但換個角度想這也倒逼你把配置項通過 web 界面或者遠(yuǎn)程統(tǒng)一管理而不是每次都用 SSH 上去 vi 一通改。5.2 日志輪轉(zhuǎn)與內(nèi)存緩沖如果因為業(yè)務(wù)原因必須寫日志到磁盤至少做到兩點(diǎn)限制大小、及時輪轉(zhuǎn)。我通常用logrotatesystemd-journald配合journald 本身已經(jīng)有大小限制功能# /etc/systemd/journald.conf SystemMaxUse128M RuntimeMaxUse32M SystemMaxFileSize32M MaxRetentionSec3day ForwardToSyslogno這個配置把 journald 的總量控制在 128MB 以內(nèi)避免它無限膨脹。業(yè)務(wù)日志如果走syslog或者直接寫文件也要在應(yīng)用層做好 max size 控制超過就滾動。還有一個很實用的做法日志先寫內(nèi)存盤定期同步到遠(yuǎn)端。把/var/log掛成 tmpfs應(yīng)用和方法和之前的 coredump 一樣。然后寫一個腳本每 5 分鐘檢查一次日志目錄有需要?dú)w檔的內(nèi)容就通過 MQTT 或者 HTTP 上報到運(yùn)維平臺上報完把這個文件刪掉。這樣日志既不會丟遠(yuǎn)端有也不會傷 eMMC。5.3 異常掉電防護(hù)工業(yè)現(xiàn)場最怕的其實是“寫一半斷電”。文件系統(tǒng)層最穩(wěn)妥的方案還是 ext4 開 journaltune2fs -O journal_data_ordered /dev/mmcblk0p6如果用的是 overlayfs 的可寫層tmpfs斷電其實無所謂內(nèi)存直接清空。但data分區(qū)如果直寫 ext4掉電后有可能損壞。所以我建議 data 分區(qū)采用“先寫臨時文件fsync再 rename 覆蓋”的方式保存配置避免原地修改主文件時掉電導(dǎo)致文件損壞FILE *tmp fopen(/data/config.yaml.tmp, w); fprintf(tmp, key: value\n); fclose(tmp); sync(); rename(/data/config.yaml.tmp, /data/config.yaml); sync();這算是嵌入式 Linux 上最實用、最可靠的掉電安全寫文件方式了簡單但極其有效。6. 常見問題排查與避坑速查看完前面的內(nèi)容按部就班把這些機(jī)制搭起來設(shè)備大概率已經(jīng)比較穩(wěn)了。但調(diào)試過程中一定會踩到各種奇奇怪怪的坑。我把常見的幾個寫下來省得大家再走一遍彎路。6.1 開機(jī)報 “cant find suitable delayline” 是什么問題這個錯誤在 RK3588 上很常見很多人一搜出來就慌了以為板子壞了。其實這是 RK3588 的rockchip_drm驅(qū)動在初始化時嘗試去查找某個顯示接口的 delayline 校準(zhǔn)參數(shù)失敗。多數(shù)情況下是 devicetree 里沒有包含對應(yīng)的board.dtsi參數(shù)或者是顯示時序配置里缺了delayline相關(guān)字段。如果設(shè)備不接顯示屏、不跑 HDMI這些報錯通常不影響正常運(yùn)行可以直接忽略。但如果你的設(shè)備需要 HDMI 輸出就要去 devicetree 里補(bǔ)齊對應(yīng)端口的參數(shù)hdmi0_in_vp0 { status okay; }; hdmi0 { pinctrl-names default; pinctrl-0 hdmim0_tx0_cec hdmim0_tx0_sda hdmim0_tx0_scl; };注意不同開發(fā)板的 pinmux 可能不同這個要根據(jù)你的板子原理圖來確認(rèn)。遇到這類問題我的建議是先確認(rèn)功能是否受影響不受影響就不用管。6.2 網(wǎng)絡(luò)連接受限 / 網(wǎng)絡(luò)假死RK3588 設(shè)備跑著跑著 SSH 連不上了、Ping 不通但設(shè)備的串口界面還有響應(yīng)這是邊緣設(shè)備最常見的“假死”現(xiàn)象。排查思路按順序來先看dmesg里有沒有網(wǎng)卡驅(qū)動報錯比如 RTL8211F 這種 PHY 芯片在弱電環(huán)境下偶爾會掛掉。檢查是不是省電策略把網(wǎng)卡休眠了。很多 SDK 默認(rèn)開了ethtool的節(jié)能特性現(xiàn)場環(huán)境下網(wǎng)絡(luò)稍有波動就觸發(fā)網(wǎng)卡掛起。直接關(guān)掉ethtool -s eth0 autoneg on duplex full speed 1000 ethtool -K eth0 tx-checksum-ip-generic off如果還是不定期斷網(wǎng)建議在應(yīng)用層加網(wǎng)絡(luò)質(zhì)量巡檢每 30 秒 Ping 一次網(wǎng)關(guān)連續(xù) 3 次超時就把網(wǎng)卡 down 掉再 up 一遍。ifconfig eth0 down sleep 2 ifconfig eth0 up這個土辦法治“網(wǎng)卡假死”特別有用實際效果立竿見影。6.3 啟動進(jìn) recovery / maskrom 后怎么辦RK3588 的刷機(jī)模式有兩種Recovery 模式和 MaskROM 模式。Recovery 模式按住 recovery 鍵再上電用于日常固件升級MaskROM 模式一般出現(xiàn)在 loader 損壞、固件刷壞的情況下。如果你的設(shè)備啟動進(jìn)不了系統(tǒng)而是被識別為 MaskROM 設(shè)備別慌先用 USB Type-C 線連電腦打開 RKDevTool重新燒錄完整的 Loader 和固件。從我踩過的坑來看最容易導(dǎo)致進(jìn) MaskROM 的情況是燒錄過程中突然斷電、或者用了和板子不匹配的 Loader/miniloader。所以我強(qiáng)烈建議量產(chǎn)前把 loader 文件和固件打包鎖定不要讓現(xiàn)場人員隨意用新版工具去刷否則很容易出現(xiàn)兼容性問題。6.4 miniloader.bin 版本不匹配如果你用的是自己編譯的 U-Boot 或者從網(wǎng)上拉的新版工具鏈燒錄時經(jīng)常遇到miniloader.bin報錯或者燒完起不來。原因通常是 SDK 版本和燒錄工具版本不匹配。處理辦法很簡單——用什么 SDK 編出來的 loader就用那個 SDK 配套的燒錄工具不要交叉使用。Rockchip 官方的工具版本很多但每個版本的 miniloader 和 ddrbin 都跟具體芯片和系統(tǒng)版本強(qiáng)相關(guān)混用很容易翻車。6.5 問題排查速查表現(xiàn)象可能原因優(yōu)先排查方向運(yùn)行幾小時后整機(jī)無響應(yīng)內(nèi)存泄漏 / 內(nèi)核鎖死檢查OOM日志、dmesg尾部、top內(nèi)存占用NPU 推理越跑越慢散熱不足導(dǎo)致降頻查看thermal_zone0溫度、風(fēng)扇轉(zhuǎn)速斷電后起不來eMMC 分區(qū)損壞進(jìn)入 MaskROM 重刷固件風(fēng)扇不轉(zhuǎn)但機(jī)器沒死風(fēng)扇控制失效 / 溫控策略未生效手動寫pwm1測試日志刷屏導(dǎo)致系統(tǒng)卡頓驅(qū)動反復(fù)報錯檢查dmesg關(guān)掉或降級出問題的外設(shè)驅(qū)動WiFi/以太網(wǎng)頻繁斷開省電策略 / 供電不足關(guān)節(jié)能ethtool -K、檢查電源功率這套表是我整理給自己團(tuán)隊線上排障用的基本可以覆蓋現(xiàn)場 90% 的難題。做邊緣 AI 設(shè)備拼的從來不是誰算法刷榜高而是誰能讓設(shè)備在無人看守的角落里安安穩(wěn)穩(wěn)跑上一年。RK3588 本身底子很好用好了它能成為非??煽康倪吘壦懔ζ脚_希望這些經(jīng)驗?zāi)軒湍闵僮咭恍澛贰W詈笤賳乱痪淙魏问刈o(hù)機(jī)制都要先做故障注入測試——手動 kill 進(jìn)程、拔掉風(fēng)扇、斷電、寫滿內(nèi)存——確認(rèn)設(shè)備都能自愈才算真正的“守護(hù)”。祝大家的設(shè)備都能安穩(wěn)運(yùn)行。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久精品AV| 激情AV| 专区无日本视频高清8| 国产成人AV在线播放| 激情婷婷丁香色情五月天| 亚洲精品国产setv| 欧美成人日韩| 婷婷五月天免费视频| 99热最新| 99操视频| 99久超碰| 91婷婷五月丁香碰| 亚洲视频伍月婷婷| 五月婷婷影视| 综合在线丁香五月| 五月丁香影院| 丁香五月婷婷狠狠色| 99热这里只有精彩| 婷婷五月激情基地| 丁香五月网| 日日夜夜天天综合| 97超碰人人操| 六月婷婷av| 色色色五月天激情资源| 久久99免费视频| 99国产精品久久久久久久久久久| 亚洲五月天第一综合干| av九九| 中文字幕久久婷九女同| 999热在线视频| 午夜精品久久久久久久爽| 久久久人妻人伦| 色你久久| 天天肏高清在线| 99热这里只有精品无码| 婷婷综合中文字幕| 五月丁六月婷| 琪琪布丁香社区激情五月天| 欧美综合在线五月天色婷婷| 热91久| 色婷丁香五月| 亚洲激情四射| 久久er九九| 婷婷爱五月天| 丁香亭亭久久| 色五月婷婷在线| www.婷婷| 中文字幕在线免费观看视频| 六月亚洲婷婷6月中文字幕| 婷婷五月天av| 99色综合| 成人在线99| 婷婷五月色情天| 91九色欧美| 九九色天堂| 天天日天天爽夜夜爽| 亚洲va久久久噜噜噜久久天堂| 亚洲丁香五月美女| 五月婷婷啪啪啪啪| 久久激情五月网| 中文字幕无线久必| 亚洲综合婷婷六月丁香五月| 1024在线视频| 日日操夜夜骑| 人人操人| 天天澡天天狠天天天做| 日韩高清久久| 在线成人网站| 成人av在线网站| 成人一级片| 99re久热只有精品6在线直播.com| 色五月丁香婷婷| 9色免费网| 婷婷久久综合久色| 五月开心久久| 欧美日韩99| 夜夜 操无码| 激情五月天视频| 激情五月天色色网| 九九色精品| 思思视频精品| 男人大jjc女人免费视频| 热热久久久久久久久| 亚洲精品久久久久久久久久飞鱼| 操一操插一插| 五月婷婷综合性爱噜噜| 99自拍视频网站| 色射影院| 性做久久久久久久免费看| 丁香五月另类小说在线阅读| 久综合4| 丁香婷婷十月| 婷婷色五月开心五月| 色欲五月婷婷| 色狠狠狠干| 三级三久久线久久99久目本WW| 成人天天爽| 91操操| 五月婷婷co.m| 久色大香蕉| 日韩aaa| 久久9久久| 久久精品99| 爱之国产色情综合| 抽插特写| 97碰久久| 五月天成人网婷婷| 超碰色人妾| 五月天婷婷操逼视频| 超碰91在线| 久久草大香蕉| 天天操综合网站| 久久青青日本视频| 综合色五月| 99视频地址| 五月综合激情久久| 激情久久久久久久久久| 九九99视频精品| 热99在线| 亚洲五月天色| 超碰在线caop| 99热都是精品| eeuss人妻| 无遮羞AV| 99九无网码| 久久精彩综合视频| 丁香五月婷婷天激情| 99精品视频网站| 91大神操美女| 国色天香成人网| 五月丁香婷婷潮喷中文字幕| 激情综合无码| 99色热| 丁香五月瑟瑟| 丁香花色色网| 玖玖精品资源| 香蕉久久国产AV一区二区| 激情网婷婷婷| 亚洲综合婷婷五月| 色五月激情五月| 五月婷在线视频免费看| 99精品在线观看| 国产精品色情AAAAA片软件| www.久久av.com| 婷婷涩五月| 公的粗大挺进了我的密道| 色久激情在线| 99re6热在线精品视频播放速度| 欧美日韩中文国产一区发布| 99久久6| 九九综合色综合| 久久婷婷亚洲| www.天天日| 天天爽在线视频| AV网在线| 久操婷婷| 亚洲五月色| 热九九精品| 色婷婷8| 亚洲婷婷基地| 99色播| 婷婷色操| 亚洲成人影视在线| 婷婷丁香成人| se99视频| 色99视| 婷婷丁香色性爱| 99色视频| 丁香六月激情综合| 婷婷久久六月天| 99热碰碰| 五月婷婷丁香日韩在线| 丁香五月婷久久| 精品皮股午夜AV| 激情文学久久| 欧美激情 日韩无码 婷婷 五月天| 91丨九色丨大屁股| 狠狠草狠狠草| 伊人丁香五月| 成人在线网址| bukadeavzaixian| 婷婷久久五月| 六月婷婷综合激情| 精品无码99| 99久久99九九99九九九| 97精品综合久久内射| 天天日天天舔| 婷婷五月丁香色综合| 5月婷婷六月丁香| 亚洲天99| 九月婷婷在线观看| 人妻丰满精品一区二区A片| 丁香婷婷色色| 国产婷婷色综合AV蜜臀AV| 色视频2025| 亚洲免费电影2| 99热在线播放| 日本99久久| 色5月婷婷| 九九成人精品免费视频| 超碰在线综合| 色婷婷狠狠18yy| 激情5月天天天| 久久9久| 99啪啪骑| 九九九九精品精| 五月婷婷基地| 亚洲色五月天| 丁香婷婷综合激情五月色| 中文字幕在线免费观看视频| 小骚穴电影| 69凹凸成人综合网| 五月丁香六月激情| 亚洲色网络| 九九热在线精品视频| 操逼在线视频| 蜜臀av无码久久久久久久久 | 亚洲第二AV| 青柠影视免费高清电视剧| 欧美久久婷婷| 一月婷婷色色| 激情综合网五月| 六月丁香婷婷开心综合基地| 婷婷成人综合免费视频| 国在线激情网| 色99视频| 欧美日韩123| 色综合女人99| 丁香五月天久久| 色色色无码| 超碰网站在线观看| 天天骑天天操| 夜丁香综合| 婷婷色五月偷拍| 色综合综合色| 久热91精品| 色欧美日| 欧美碰碰碰| 99国产精品白浆在线观看免费| 九九婷婷网五月天| 日韩成人精品中文字幕| 丁香五月综合| 99免费视频精品| 色V狠狠的干| 操比激情五月综合| 99色日本| 中文在线成人| 丁香五月大香蕉AV| 丁香五月婷婷高清| 久久天堂女人| 亚洲网综合在线| 亚洲无码99| 婷婷金品综合视频| 大香蕉伊人久久| 亚州操操| 色色五月天丁香| www.狠狠操| 五月丁香青草综合啪啪| 六月丁香五月激情婷婷| 激情综合亚洲色婷婷五月| 亚洲开心激情网| 丁香五月六月久久综合| AV堂狠狠干| 狠狠综合网| 成人av在线网站| www.综合久久.com| 激情丁香九九五月综合网| 久久 无毛。| 激情婷| 五月丁香亭亭A片| 成人AV片播放| av婷婷丁香| 色情终和网| 天海翼中文字幕高| 久久婷婷五月综合色丁香花| 婷婷五月另类网站| 激情av网| 久Se视频在线观看| 伊人久久大香网| 丁香五月日韩| 丁香五月情色| 五月激情婷婷开心五月| 操逼福利视频| 色婷婷六月天在线| 99久久性爱| 五月丁香六月综合基地| 99这里有精品视频| 欧美婷婷丁香五月社区| 伊人在线视频| 少妇熟女视频一区二区三区| 色色色色丁香| 亭亭丁香97| 五月亭亭色| 99久久久久久久| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 91热在线| 色色99色色| 亚洲色婷婷99一9|| 99成人免费视频| 婷婷五月图片小说网| 丁香婷婷色情社区成人小说| 狠狠操狠狠| 五月天伊人网| 丁香婷婷性爱| 裸睡玩奶头(高H)| 风流少妇A片一区二区蜜桃| 香蕉久久国产AV一区二区| 九久久婷婷| 久草 tingting| 婷婷激情四射五月天| 9久操| 日亚二欧美| 天天射综合网站| 久思思热视频在线观看| 亚洲视频丁香网va| 九九热经典视频在线观看| 丁香婷婷噜噜| 9精品在线| 超碰av在线| 久色网| 黄急一级视频| 五月婷婷,六月婷婷| 色婷婷天堂| 六月色婷婷色| 五月激情基地| 国产精品视频免费看| 九九AV| 中文字幕日产A片在线看| 伊人热在线大香蕉| 夜色综合网| 五月婷婷啪啪啪| 婷婷久久五月| 91精品久久久久久综合五月天| 五月婷婷五月天| 亚洲欧洲另类| W色综合| 一区二区三区XXXXXX| 日韩操人| 天天做天天干天天综合网| 久久精品亚洲热| 99热丁香| 亚洲精品V天堂中文字幕| 热婷婷av| 婷婷99狠狠| 色五月婷婷大| 色色色综合| 久久这里只有精品热在99| 日本女色人人| 成人版视频在线观看| 九玖视频这里只有精品| 九九爱激情| 亚洲综合1024| 九九热123| 久久精品系列| 色综合色欲综合天天免费| 婷婷五月天小说网| 亚洲操操操| 色综合色香蕉网| 9l视频自拍9l九色9l成人| 九九视频这里只有精品在线播放| 丁香五月电影| 五月婷婷综合网| 久久91久久精品久久| 久久婷婷内射| 三十路磁力链接| 丁香五月欧美| 久久在线视频免费观看| 色综合视频| 青草性爱视频| 久久久无码精品成人A片小说| 久久9视频| www.激情五月天.com| 深夜男女福利刺激影院一区完整| 丁香婷婷综合激情五月色| 亚洲激情婷婷| 男女av免费看| 婷婷月五天在线在线看| 国产26uuu| 色婷婷久久| 日韩AV在线免费| 色色精品色| 日韩精品二三区| www激情| 五月天色欧美| www.99热视频在线观看| 一月婷婷色色| 97精品人人A片免费看| 日本99在线视频| 丁香五月婷婷激情123| 黄色成人网站在线播放| 色呦呦在线| 青青.com| 成人短视频在线免费观看| 欧洲电影在线观看免费版英语版 | 婷婷狠狠操| 五月天伊人久久| 777久久综合视频| 人人射人人高潮| 丁香久久| 色婷婷a| 五月丁香六月综合激情网| 东京热免费视频| 色五月色五天色情网址| 久热这里有精品视频| 久久国产色| 色婷婷成人做爰A片免费看网站 | 超碰在线人人| 99热精品中文字幕| 国产av天堂| 26uuu丁香婷婷五月| 久香草视频在线观看| 久久婷婷热| www.婷婷五月.com| 天天色综合色| 五月激情小说网| 九九精品re免费视频| henhencao国产在线| 久久婷婷丁香| 欧美精品狠狠色丁香婷婷| 亚洲视99| 人妻av在线| 美女91一起草| 思思热国产在线| 欧美日韩99| 丝袜激情网| 狠狠操狠狠做| 性欧美大战久久久久久久83| 成人天天爽| 99A级片| 99视频日韩| 天天成人综合| 九九精品热| 啪啪操超碰| 91啪啪| 第四色五月天| 影音先锋91在线资源站| 欧美婷婷六月丁香综合色连续高潮抽搐| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 97人人操人人干| 五月激情在线| 丁香熟女乱| 婷婷丁香基地在线| 国产精品久久久久久久久久久久| 青青草原中文字幕| 91狠狠综合久久久久久| 五月丁香激情怕怕| 五月婷婷导航| 1囯产午夜仑鲁鲁| 丁香五月综合亚洲| 丁香五月五月婷婷欧美大香蕉| 丁香五月影院| 91性高潮久久久久久久久| 久久日九九| 五月婷婷视频ab| 亚洲无码色色| 碰久久精品w| 1995年关宝慧版蜘蛛女| 亚洲V国产V欧美V久久久久久| 五月亭亭六月色| 啪啪色区| 人妻操日日| 韩国三级五月天婷婷。| 丁香六月婷婷激情| 久久婷婷在线| 五月丁香六月激情网站| 色色婷婷综合网| 在线观看国产高清视频免费网站 | 激情五月天影院| 五月激情啪啪啪| www.色婷婷.com| 九九精品系列| 丁香六月婷婷综合欧美| 丁香五月婷婷少妇| 成人开心五月天| 超碰永久在线| 天天日,天天干,天天操| 国产成人AV| 日日色五月天| 国产AV一区二区三区最新精品 | 91日视频| 婷婷激情在线| 99九九在线观看免费| 丁香五月欧美色综合| 伊人九九热| 色五月婷婷小说亚洲中文字幕组| 69精品人人人人人人| 天天日综合| 狠狠综合区| 五月婷婷深深爱| 久久9热综合| 婷婷午夜天| 夜夜爱爱亚洲| 丁香五月先锋| 久草大| 99ri在线视频| ay2区| 亚洲丁香花色| 婷婷精品在线| 午夜丁香久久久久久| 色五月成人在线| 99re8热精品免费视频| 欧美成人精品老美女噜噜噜| 丁香八月综合激情| 久久丁香五月天| 91精品久久久久久久久| 狠狠色婷婷7777久| 综合五月天亚洲婷婷| 五月天伊人| 婷婷成人五月天一区| 亚洲无码影音| 婷婷五月丁香六月| 婷婷五月天奸女| 色婷婷视频在线| 五月天色婷伊人| 夜夜爽77777妓女免费下载 | 99精彩视频| 久热黄色| www.狠狠| 天天干天天干天天干天天干天天| 五月婷婷综合成人| 狠狠操狠狠| 91九色欧美| 亚洲综合五月天婷婷丁香| 97人人干| 国产毛片精品一区二区色欲黄A片| 亚州日本欧州韩美高青高潮一| 91碰免费视频| 激情六月婷婷| 五月丁欧美| 色五月情| 婷婷五月天激情网站| 九色无码| 五月天另类激情在线| 成人五月天在线视频在线观看| 丁香婷婷九月在线| 丁香五月天堂网| 午夜激情婷婷| 亚洲精品V天堂中文字幕| 综合激情深爱| 任你搞网站| www.色综合| 国产精品久久久久久五月天加勒比| 91精品视频男人的天堂| 久色| 激情婷婷内射| 国内久久婷婷| av在线资源| 五月天播播综合| 久久婷婷五月综合色和| 五月丁香婷婷综合久久| 综合五月丁香久久| #NAME?| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 久久人妻久久| 99精品久久| 91中文狠狠综合| 少妇综合网| 五月婷在线影院| 99性爱视频| 99热九九在线| 大香蕉99| 久99999热视频在线观看免费| 激情五月天婷婷五月天| 婷婷激情丁香五月天综合| 久久久aaa| 久久五月激情综合| 26UUU亚洲欧美| WWW久| 六月丁香久久| 婷婷激情五月天激情| 色色五月丁香| 丁香婷婷五月综合欧美另类| 婷婷九九| 天天摸天天高潮天天爽| 久草 天堂| 亚洲经典三级| 丁香五月人妻| 婷婷亚洲五月丁香综合在线| 五月开心久久| 无码少妇高潮喷水A片免费| 色综合久久五月天| 狠狠久久婷五月综合色| 久久加勒比| 五月天激情小说网| www.色九月| site:pzdcoin.com| 五月丁香最新| 久草热久草在线视频| 五月天亚洲综合网| 国产伊人五月天| www.激情五月天.con| AV中文在线| 狠狠激情五月天| 99ri在线播放| 成人做爰A片免费看视频| 色五月丁香婷婷| 欧美va视频不用播放器的va视频网| 丁香婷婷久| 天天日天天色| 九九免费视频| 婷婷五月免费观看| 丁香五婷婷| 中文字幕视频色婷婷| 性生活视频98791| 翔田千里无码| 99er日韩| 久re热视频| 国产伦亲子伦亲子视频观看| 97人人超| 五月六月伦理| 6080av| 97干在线观看视频| 久月久在线视频| 婷婷丁香在线| 99久热这里只有精品| 五月婷婷伦理| 97五月天婷婷综合激情网| 中文字幕人成乱码在线观看| 97性视频| 丁香五月激情鲁| 丁香婷最新动态| av成人在线播放| 五月丁香婷婷色啪| 色噜噜狠狠色综无码久久合欧美| 亚洲成人网站在线播放| 99热久草| 天天婷婷天天| av九九| 综合色色综合| 婷婷五月性感| 91久久久久久久| 九九在线视频| 337午夜福利| 天天爽—爽| 色色色地址| 97干在线视频精品店| 另类天堂| 99久热| 婷婷亚洲五月| 淫荡工a| 狠狠人人| 538午夜激情| 日本人人干| 99热黄| 成人做爰高潮A片免费视频 | 综合色色婷婷| 久色大| 人人爽亚洲| 色综合久久伊伊婷婷五月| 久久黄A片| 99精品一二三四视频| 丁香五夜激情四射夜夜夜| 影音先锋日本三级资源| 婷婷久久综合| 色色激情五月天| 98色花堂98t.R| 婷婷伊人网| 丁香婷婷六月在线资源观看| 九九在线免费观看| 九月婷婷综合八月丁香在线观看 | 婷婷激情小说网| www.婷婷六月天| 婷婷欧美激情| 人妻操日日| 欧美人人草草| 在线播放 精品| 人妻无码视频网| 99热在线观看| 亚洲精品色| 深爱激情综合网| 婷婷亚洲影院| 91黄址| 久久婷婷五月综合激情国产 | 五月天激情啪啪| 天天草天天日| 综合狠狠五月婷婷| 日日噜噜久久婷婷五月天 | 五月丁香影视| 色屌丝中文字幕| 欧美色欲色欲天天天www| 五月丁香天堂网婷婷| 日本婷婷丁香五月| 开心四月婷婷在线色播播| 婷婷色五月综合丁香| 婷婷丁香色五月亚洲| 级情九色| 97av在线视频| 婷婷激情四射| 丁香婷婷六月激情文学| 黄网免费看| 亚洲六月婷婷| 六月丁香大香蕉| 99日在线视频| 国产激情视频在线观看| 啪啪啪大香蕉| 思思99热热热99| 婷婷五月天成人| 成人五月天综合网| 九九激情网| 电影《战争与艾拉》免费观看| 五月开心婷婷网| 看婷婷五月天网| 激情五月开心五月在线视频| 狠狠舔| 五月丁香久久精品在线观看| 激情五月黄色小说| 大波美女VA网站| 婷婷五月丁香基| 婷婷五月天熟妇| 五月婷婷激清网| 亚洲第一精品成人999久久精品| 婷婷激情丁香六月| 天天久| 九九精品热播| 黄色片区子| 欧美色婷婷| 五月丁香综合| 免费看欧美成人A片无码 | 伊人婷婷五月天av| 日本色色色| 免费观看的av| ww久久| 五月婷激情| 五月丁香影院| 亚洲丁香花五月丁香花| 色原狠狠综合| 國語久久婷| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 九九热视频99| WWW.五月天9999| 日日夜夜噜噜爽爽| 天天色噜| 久久综合五月| 99热在线观看| 天啪色| 色情五月丁香| 美女婷婷六月色| 国产片色| 五月婷婷天天| 另类小说五月天| 婷婷五月天成人网| 99re8热精品免费视频| 亚州婷婷五月激情综合| 欧洲不卡视频| 六月丁香婷婷亚洲中文玖玖| 丁香婷婷视频一区二区| 色婷另类| 婷婷五月天狠狠| 欧美丁香五月| 色五月婷婷老师| 色和综合网| 日韩久综合| 中文字幕成人| 日韩六六久久电影| 激情五月五月婷婷| 九九热只有精品| 香蕉久久国产AV一区二区| 久青草大香蕉| 无码色色色色色| 九九爱看亚洲| 另类视频五月天| 五月丁香六月香香蕉| 风流少妇A片一区二区蜜桃| 91VIP在线观看| 五月婷婷丁香综合| 97色伦另类图片小说视频| 99视频久久| 五月激情婷婷在线| 五月天久久婷| 激情久久 婷婷| 欧美成性色| 五月激情婷婷开心| 综合久久97| 99性爱| 色婷婷aV四虎| 69精品人人人人| www.夜夜騎夜夜狠| 国产97色在线| 少妇人妻丰满做爰XXX| 免费啪啪啪网站| 怕怕視頻| 亚州精品久久久久AV无码| 婷婷丁香五月婷婷| 五月丁香影院| 大香AV| 怕怕av| 思思热视频| 激情丁香五月婷婷| 九月婷婷综合在线| www,8050,午夜三级| 日日插日日干| 日日操日日撸| 久9热视频在线| 久99久在线| 狠狠狠狠狠草| 婷婷在线精品| 婷婷情色五月| 网色99| 久色国产| 久久久这里有精品| 日噜噜色| 久久五月天激情婷婷| 亭亭五月丁香五月天激情| EEUSS鲁片一区二区三区| 激情綜合網址| 996热re视频精品视频这里| 三级黄网站| 色五月激情综合网站| 色婷婷丁香六月| 丁香 久久| 国产毛片操B| 性爱先锋AV| 婷婷五月丁香五月| 超碰av在| 性爱网久久| 色播播五月天| 久久99人人| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 99天堂网| 九九九午夜视频| 久久五月婷婷开心网| 色吧五月婷婷| 亚洲操B视频| 色天天综合成人网| 综合网色| 九九热自拍| 婷婷五月天激情免费在线观看| 高清一区二区三区日本久| 在线另类视频| 97色色综合| 91男同视频| 丁香五月婷婷深五月| 新激情五月天天在线网| 99爱操| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 精品久色| 丁香久久综合| 97狠狠碰| 婷婷开心激情综合五月天| 日韩婷婷| 99热99干| 9热在线观看| 久久ri精品视频| 激情五月天之五月婷婷| 偷拍五月丁香| AV操逼网| 婷婷成人视频| 久久99久久99www| 操逼福利视频| 九九综合色| 97中文在线| 婷婷色五月开心五月| 99久久婷婷五月| 色五月色综合| 成人精品一区日本无码网| 五月综合久久| 超碰在线免费| 2015超碰| 五月丁香婷婷AV| 亚洲丁香婷婷| 婷婷开心综合人妻小说网址| 99热这里只有精品8| 99熟女| 婷婷五月激情欧美| www热久久yy9| 99精品视频网站| 久热99中文字幕| 色婷婷六月综合| 色久综合| 日日操夜夜爽白洁| 丁香五月手机在线| 91chinese在线| 影音先锋一区二区三区| 另类激情码| 婷婷五月天在线视频网站| 日韩操啪| 五月婷婷在线播放| 国产首页在线| www.俺去也com| 91打屁股免费看| 五月亭亭六月激情| 午夜性做爰电影| 99视频久久免费视频| 色五月五月婷婷| 日本老女人黄页在线播放| 五月停亭六月,六月停亭的英语 | 日本欧美成人片AAAA | 婷婷激情欧美| 在线成人va| 丁香五月网| 9久热精品在线视频| 婷婷激情五月天色| 久久在线视频免费观看| 天天草婷婷五月| 国产在线aaa片一区二区99| 久久亚洲色导航| 婷婷丁香六月天| 七七九九色色| 能看的av| 就爱操www com| 中文字幕无码人妻少妇免费视频 | 丁香色色网| 超碰成人免费| 天天玩夜夜操| 99国产小视频2013| a在线观看| 婷婷丁香77777| 五月激情在线| 丁香五月六月婷婷自拍| 狠狠精品干练久久久无码中文字幕| 亚洲 在线 性爱| 久久性爱网| 婷婷伊人五月| 婷婷丁香精品视频在线观看| 五月婷六月婷婷| 操操熟女| 九九热视频在线观看| 另类激情四射| 亚洲综合九九| 去干网av| 亚洲精品V天堂中文字幕| 天天干夜夜b| 99丁香五月| 99热在线精品观看| 91丨九色丨老农村| 五月色丁香| 丝袜大香蕉| 婷婷五月综合激情| 5月婷婷激情6月| 亚洲AV久久久久久久久久久久久久久久| 深夜A片| 1234操逼网| 九九re精品视频在线观看| 久操大香蕉| 婷婷久久五月天| 丁香伊人激情| 99色在线观看视频者| 99无码黄色视频| 综合99视频| 久久综合丁香激情五月| 成人必爱视| 婷婷激情五月呦呦| 婷婷午夜天| 激情久久久久久久久久| 97色在线| 激情五月六月婷婷综合啪啪| 久久婷婷原创视频| 能看的av网站| 天天肏视频| 五月婷婷色色| www狠狠| 日本97久久久精品| 99久久久久| 这里只有精品99视频| 丁香五月之久操视频| 日本熟女二区| 超碰成人在线观看| 99这里有精品视频| 九九综合久久| 超碰在线免费9| 婷婷爱五月| 人人看人人要| 久久jiuwww| 婷婷五月天AV| 天天透天天摸天天舔| 日本123区日韩欧美不卡在线看| 五月婷婷五月天| 99热久只有精品首页| 91在线视频观看午夜福利| 天天干一干| 天天色天天搡| 人妻激情久久| 神马欧美精| 美女天天艹人人爽| AV亚洲在线| 亚洲在线资源| www.日日日.com| 伊人久热91网| 91操碰| 色色亚卅| jiujiujiuwuyuetian| 涩五月婷婷| 激情小说视频图片| 亚洲天堂热| 精品久久久中文字幕大豆网推荐理由| 日本婷婷| 五月婷婷丁香深深爱| 五月婷婷婷色| 五月丁香色色网| 天天干天天 亚洲| 六月丁香婷婷色狠狠久久| 九月婷婷久久| 婷婷五月综合视频免费播放| 久久五月丁香| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 六月婷色| 疯狂做受XXXX高潮A片| 婷婷五月天激情电影小说| 欧美A级网站| 亚洲传媒在线观看| 色~性~乱~伦~噜| 精品九九视频| 久久99精品久久久久子伦| 熟女人妻一区二区三区免费看| 免费在线观看欧美激情xx小视频| 色10月婷婷视频| 日韩国产AV播放| 九九99在线免费在线观看视频| 第一区久久网站| 嫩模aV在线| 久久精品无码一区| 性欧美日本| 深爱激情久久| 丁香五月日韩| 九九九激情网| 丁香五月大香蕉| 丁香五月综合在线观看| 色色五月天婷婷| 91熟妇大香蕉| 五月丁香六月婷综合成人综合| 综合激情五月天六月婷免费视频| 天搞天天天天天| 超碰丁香五月| 色5月婷婷| 性综合网| 丁香五月综合图片在线观看| 综合网天天| A1片久久久| 激情四射五月天| 综合五月丁香久久| www.五月天| 久久婷婷色五月| 婷婷综合av| 丁香五月手机在线| 狠狠做五月| 无码成人AAAAA毛片AI换脸| 婷婷开心激情综合五月天| 嫩草免费视频| 好好干av| 亚洲传媒在线观看| 这里只有精品视频在线| 久久婷婷亚洲| 日日做A爰片久久毛片A片英语| 久久机热这里只有 | 久久久月丁香| 丁香五月天AV在线 | 天天婷婷天天| 97伦色婷婷| 天天干,夜夜爽| 五月天婷婷色在线视频免费观看 | 爱狠射| 91九色国产| 无码中文一区二区三区| www日本熟妇99在线视频| 26uuu国产| j久久性爱视频| 婷婷五月天奸女| 五月丁香婷婷激情在线视频| 婷婷色色色| www.夜夜操| www.主妇. com| 婷婷丁香五月社区亚洲| 超碰免费99| 欧美激情丁香五月天久久婷婷一区| 无码碰碰| 婷婷精品| 色婷婷色五月综合| 色你久久| www,婷婷,com| 9热在线观看| 五月天色婷婷小说| 欧美激情中文字幕| www.yw尤物| 婷婷激情六月| www.sd-xiangsu.cpm| 丁香婷婷浪潮AV久久综合| 色色吧综合| ww超碰在线| 99在线免费视频| 人人摸人人澡人人| 欧美成人精品A片免费一区99| 天天综合五月天| 亚洲av网站| 99热精品在线观看| 婷婷久久草| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | WWW,婷婷,COM| 婷婷五月美女直播| 日日噜噜夜夜狠狠久久丁香五月| 五月丁香成人网| 97色视频网| 丁香色五月婷婷17C| 欧洲亚洲免费视频区| 九九九午夜影院成人| 五月婷婷丁香狠狠撸久久| 色色网站在线| 五月天综合网| 91精品综合久久久五月天| 99热国产婷婷| 婷婷五月中文在线| 久久人妻www| 色六月 婷婷| 99这里只有免费的精品| 丁香五月91| www激情网站| 九九RE视频在线精品| 综合五月亭亭9| 桔色成人在线| 精a品a| 丁香五月婷婷老师网站| 热无码A∨| www.99日本| 人人操碰| 欧美色色色| 麻豆AV一区二区三区| 五月婷婷影院| 91九色视频在线观看| 婷婷久久精品| 丁香五月天堂亚洲社区| 色婷婷综合亚洲| 开心婷婷五月花| 五月综合婷婷五月| 五月婷婷丁香日韩在线| 色婷婷影视| 99re6久热只有精品6在线直播| 人人干人人操外国| 九九久久网| 国产 亚洲 在线| 亚洲色五月天| jiujiujiuwuyuetian| 成人版视频在线观看| yw.av| 色五月激情综合| 天天色99| 婷婷成人视频| 婷婷六月综合基地| 天堂草在线看www| 九月婷婷激情久久| 天天成人丁香美女AV| 99久久.www| 99热日| 天天草天天舔| 91人人妻人人操人人爽| 丁香色综合| 婷婷伊人中文字幕| 天天草天天爽| 欧美激情五月| 婷婷丁香婷婷97| 婷婷五月av| 婷婷丁香水多多视频| 99热热热国产超碰| 九月婷婷色色| 久久成人天| 色综合九九| 国产色色小草视频| 激情五月婷婷开心网| 丁香六月啪啪啪| 九九激情| 99热成人在线观看| 五月天基地| 亚洲丁香五冃97色| 激情五月婷婷五月丁香五月开心五月| 欧美VA视频| 丁香六月婷| 五月天亭亭俺也| 97婷婷狠狠| 国产44页| www.99热| 99免费在线视频| 色色婷婷五月天| 久热伊人在91| 少妇人妻偷人精品无码视频新浪| 久久六月天| 婷婷91| 91偷拍视频| 五月婷婷激情网| 日本色图综合| 操一操干一干| 能看的av| 婷婷五月天在线观看| 99热都是精品| 日韩艹比| 婷婷丁香视频| 色娸娸综合网| 99在线观看视频免费| 五月婷婷色播视频| 久久99久久99精品免观看软件| 国产三级秋霞| 这里只有精品视频| 九九成人| 久久您您综合网| 五月天久久www| 久久综合99| 热99这里只有精品视频| 九九性爱网| 99ri精品| 任你干嘛免费视频播放| 亚洲av成人一区二区电影在线| 色情婷婷。| 婷婷五月天激情视频| 色婷婷成人| 日本狠狠干| 日韩久久欧亚| 亚州激情在线视频| 婷婷六月综合基地| 五月激情综合网| 婷婷五月天激情电影| 五月亭亭六月色| 久草热在线视频| 亚洲字幕AV一区二区三区四区| 密臀av无码人妻精品| 色婷婷最爱五月| 婷婷播5月| 久久综合九色综合97婷婷| 成人 在线 日韩| 五月花综合视频| 亚洲综合网在线| 天天综合.com| 欧美操人| 人妻狠狠操| 日本视频99| 亚洲婷婷五月| 五月天色丁香| 狠狠爱深色婷婷综合| 日韩99色| 五月丁香成人网| 伊人婷婷五月天| 久色网| 2017狠狠干| 亚洲天堂爱爱| 自拍偷窥99热| 婷婷操久久| 日韩精品999| 99碰超| 99精品久久久| 在线日韩视频| 色情五月丁香婷婷网| 开心激情婷婷| 激情丁香淫荡婷婷| 熟妇人妻中文字幕无码老熟妇 | 万月丁香狠狠爱| 五月六月丁香激情| 色色日本欧美| 九九 激情 网| www.久久爱| 成熟妇人A片免费看网站| 亚洲婷婷月丁香五月| 97在线观视频免费观看| 亚洲激情97五月天| 91九色无码内射| 99热伊人| 99视频这里只有免费精品| 久久丁香五月天| 免费观看欧美成人AA片爱我多深| 激情婷婷激情在线不卡| 先锋资源91| 五月丁香六月激情狠狠| 亚州男人天堂婷婷五月| 伊人玖玖网| 色婷婷色五月丁香| 成人精品网站在线观看| 婷婷丁香六月| 丁香 婷婷 亚洲 熟女| 久99热在线观看| 五月日韩中文字幕| 色色色地址|