欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

鐵路加固雙Xeon系統(tǒng)設(shè)計(jì):寬溫振動(dòng)與冗余切換的實(shí)戰(zhàn)解析

鐵路加固雙Xeon系統(tǒng)設(shè)計(jì):寬溫振動(dòng)與冗余切換的實(shí)戰(zhàn)解析 干鐵路現(xiàn)場(chǎng)這一行的人應(yīng)該都有體會(huì)信號(hào)機(jī)房、軌旁控制柜、車廂電氣柜里那些計(jì)算機(jī)看著不起眼卻是整條線路能不能正常跑起來(lái)的“大腦”。這幾年我做過(guò)的加固計(jì)算平臺(tái)里有一類需求特別典型——客戶點(diǎn)名要“一對(duì)”基于第10代Xeon的加固系統(tǒng)專門為鐵路環(huán)境設(shè)計(jì)。這種項(xiàng)目不是攢臺(tái)工控機(jī)那么簡(jiǎn)單它背后牽扯到寬溫、振動(dòng)、電磁兼容、電源瞬斷、冗余切換這一整套邏輯。這篇文章我就以這套面向鐵路需求的加固型雙Xeon系統(tǒng)為例把從需求拆解、硬件選型、結(jié)構(gòu)設(shè)計(jì)到雙機(jī)切換和現(xiàn)場(chǎng)驗(yàn)收的完整鏈路梳理一遍。如果你正在做軌道交通、礦山、船舶或者任何“惡劣環(huán)境邊緣計(jì)算”方向的設(shè)備選型或方案設(shè)計(jì)這篇內(nèi)容應(yīng)該能幫你少踩不少坑。1. 項(xiàng)目整體設(shè)計(jì)與需求拆解1.1 鐵路現(xiàn)場(chǎng)對(duì)計(jì)算設(shè)備的“硬約束”先說(shuō)環(huán)境。鐵路行業(yè)最坑人的地方在于它的環(huán)境參數(shù)不是靠想象出來(lái)的而是有明確標(biāo)準(zhǔn)卡著的。軌道交通設(shè)備通常要參考EN 50155鐵路用電子設(shè)備和EN 61373車輛設(shè)備的振動(dòng)沖擊試驗(yàn)來(lái)設(shè)計(jì)。很多人一聽(tīng)“加固”就以為是加個(gè)厚鐵殼子真不是這么回事。溫度這一項(xiàng)就夠喝一壺。常規(guī)商用服務(wù)器的正常工作溫度在10℃到35℃之間而鐵路設(shè)備要求的是寬溫常見(jiàn)等級(jí)分T1-25℃到55℃和TX-40℃到70℃。軌旁機(jī)柜夏天被太陽(yáng)直射內(nèi)部溫度能輕松沖破60℃北方冬季夜間又能壓到零下三四十度。這種溫差跨度下普通消費(fèi)級(jí)主板上的電解電容、晶振、DC-DC電源模塊都會(huì)出問(wèn)題。所以這套系統(tǒng)的第一設(shè)計(jì)原則就是整機(jī)必須支持-40℃到70℃的寬溫工作而且是滿載工作不是“能開機(jī)”那種勉強(qiáng)狀態(tài)。振動(dòng)沖擊同樣讓通用服務(wù)器崩潰。列車過(guò)軌縫、道岔、制動(dòng)的時(shí)候車體振動(dòng)加速度不是鬧著玩的。如果你把設(shè)備直接安裝在轉(zhuǎn)向架附近那就得按Bogie-mounted等級(jí)來(lái)考核隨機(jī)振動(dòng)和沖擊的烈度比普通車載設(shè)備高一個(gè)數(shù)量級(jí)。即便裝在車廂內(nèi)或設(shè)備柜里長(zhǎng)期的低頻振動(dòng)也會(huì)讓內(nèi)存條松動(dòng)、SATA接口接觸不良、螺絲退扣。所以鐵路加固系統(tǒng)的內(nèi)部幾乎見(jiàn)不到大型散熱器和獨(dú)立顯卡這種“懸臂”結(jié)構(gòu)所有板卡都要通過(guò)加固支架壓緊連接器必須選用帶鎖扣或螺紋鎖緊的類型。供電環(huán)境也得單獨(dú)說(shuō)。列車上的直流母線電壓不是穩(wěn)定的直流而是伴隨大量紋波、浪涌和瞬斷。EN 50155里明確規(guī)定了電源中斷、電壓跌落、上電沖擊等測(cè)試要求。比如110V DC母線在機(jī)車過(guò)分相區(qū)時(shí)可能出現(xiàn)毫秒級(jí)的電壓跌落如果設(shè)備的電源模塊沒(méi)有足夠的保持時(shí)間系統(tǒng)就會(huì)無(wú)故重啟這在運(yùn)行中的列車上是非常嚴(yán)重的事故。所以鐵路用計(jì)算機(jī)的電源輸入部分必須做寬壓輸入、浪涌抑制、反接保護(hù)和足夠的儲(chǔ)能電容。1.2 為什么是“一對(duì)”而不是一臺(tái)更強(qiáng)的很多甲方提需求時(shí)都會(huì)問(wèn)能不能用一臺(tái)性能翻倍的高端服務(wù)器代替兩臺(tái)加固機(jī)答案是在鐵路場(chǎng)景里不行。原因不是性能不夠而是冗余架構(gòu)必須存在。軌道交通的信號(hào)、通信、監(jiān)控類業(yè)務(wù)對(duì)可用性要求極高核心系統(tǒng)需要有故障切換能力。單機(jī)方案無(wú)論做得多可靠都存在單點(diǎn)故障風(fēng)險(xiǎn)電源燒了、主板掛了、系統(tǒng)死機(jī)了整條鏈路就斷了。而一套雙機(jī)系統(tǒng)A機(jī)和B機(jī)同時(shí)運(yùn)行同樣的業(yè)務(wù)一臺(tái)故障時(shí)另一臺(tái)無(wú)縫接管業(yè)務(wù)中斷時(shí)間控制在秒級(jí)甚至毫秒級(jí)這在行業(yè)里是硬性要求。這里的“一對(duì)”可以做兩種部署形態(tài)。一種是把兩臺(tái)獨(dú)立的加固計(jì)算機(jī)放在同一個(gè)4U或6U機(jī)箱內(nèi)共享電源模塊和背板物理上成為一個(gè)整體單元便于柜內(nèi)集成。另一種是兩臺(tái)完全獨(dú)立的加固終端盒各自帶獨(dú)立電源和對(duì)外接口只在網(wǎng)絡(luò)層做冗余。我們這次做的項(xiàng)目更接近前一種——一個(gè)機(jī)箱內(nèi)裝兩個(gè)計(jì)算節(jié)點(diǎn)每個(gè)節(jié)點(diǎn)都能單獨(dú)拆裝和維護(hù)背后通過(guò)冗余網(wǎng)絡(luò)互聯(lián)再配合心跳線判斷彼此狀態(tài)。選“一對(duì)”還有一個(gè)現(xiàn)實(shí)原因維護(hù)窗口極短。鐵路線路上的設(shè)備通常運(yùn)行周期很長(zhǎng)出了問(wèn)題需要在不中斷業(yè)務(wù)的情況下更換故障節(jié)點(diǎn)。雙機(jī)熱備架構(gòu)天然支持故障節(jié)點(diǎn)在線更換一塊節(jié)點(diǎn)抽出、另一塊繼續(xù)頂著業(yè)務(wù)跑這在單機(jī)方案里根本做不到。1.3 選型在第10代Xeon上做文章選處理器是整個(gè)項(xiàng)目里爭(zhēng)執(zhí)最多的地方。客戶最初的傾向是用當(dāng)時(shí)主流的嵌入式Atom或者低功耗酷睿理由是功耗低、散熱壓力小。但我堅(jiān)持用第10代Xeon平臺(tái)原因很直接鐵路邊緣計(jì)算這幾年的負(fù)載已經(jīng)不再是簡(jiǎn)單的串口采集和IO控制越來(lái)越多的場(chǎng)景要跑視頻分析、AI推理、大數(shù)據(jù)特征提取低功耗處理器在算力上真的頂不住。第10代XeonComet Lake架構(gòu)LGA1200平臺(tái)放在今天來(lái)看單核性能和指令集支持依然是工業(yè)邊緣設(shè)備里的穩(wěn)妥選擇。和消費(fèi)級(jí)酷睿相比Xeon最大的優(yōu)勢(shì)是支持ECC內(nèi)存。鐵路設(shè)備通常7×24小時(shí)長(zhǎng)年運(yùn)行內(nèi)存一枚比特翻轉(zhuǎn)在消費(fèi)級(jí)平臺(tái)上可能就是一個(gè)隨機(jī)崩潰、一次數(shù)據(jù)損壞而在鐵路信號(hào)或安全監(jiān)控系統(tǒng)里這可能導(dǎo)致無(wú)法預(yù)估的連鎖反應(yīng)。ECC內(nèi)存能在硬件層面糾正單比特錯(cuò)誤并檢測(cè)雙比特錯(cuò)誤這種可靠性等級(jí)是普通DDR4沒(méi)法提供的。另外Xeon的PCIe通道數(shù)、VPro遠(yuǎn)程管理、長(zhǎng)周期供貨承諾通常是7到10年也是鐵路項(xiàng)目特別看重的點(diǎn)。一條線路從設(shè)計(jì)到開通再到維護(hù)可能超過(guò)十年中途換CPU平臺(tái)意味著整套底層軟件要重新適配這種隱性成本沒(méi)人愿意承擔(dān)。2. 硬件核心細(xì)節(jié)解析2.1 CPU與主板配置性能、壽命與ECC具體配置上這套系統(tǒng)選擇了第10代Xeon W系列以Xeon W-1290這類10核20線程的處理器為參考基準(zhǔn)TDP控制在80W左右搭配Intel C246芯片組支持128GB DDR4 ECC內(nèi)存。為什么不用更高主頻的型號(hào)因?yàn)榧庸虣C(jī)箱的散熱能力有限高主頻帶來(lái)的功耗和熱量增長(zhǎng)會(huì)讓你在散熱設(shè)計(jì)上付出成倍的代價(jià)。鐵路應(yīng)用尤其看重“平均故障間隔時(shí)間”MTBF芯片長(zhǎng)期在高溫高負(fù)載下運(yùn)行壽命會(huì)明顯縮短。所以寧可選擇核心數(shù)足夠、主頻適中、TDP可控的型號(hào)也不追求極端性能。主板選型有幾個(gè)關(guān)鍵點(diǎn)需要單獨(dú)說(shuō)生命周期一定要選支持7年以上長(zhǎng)期供貨的工業(yè)級(jí)主板不能用工控市場(chǎng)上東拼西湊的公板。鐵路項(xiàng)目的驗(yàn)收周期長(zhǎng)一個(gè)批次出了問(wèn)題后面全得跟著返工。BIOS定制能力需要支持關(guān)閉不必要的PCIe設(shè)備、調(diào)整風(fēng)扇策略如果有風(fēng)扇的話、開啟看門狗定時(shí)器。這些功能在鐵路現(xiàn)場(chǎng)維護(hù)時(shí)能救命。板載接口除了常規(guī)的千兆網(wǎng)口還要考慮板載串口、DIO、CAN等工業(yè)接口減少外接轉(zhuǎn)接卡的依賴。外接卡在振動(dòng)環(huán)境下就是隱患來(lái)源。為了讓大家有個(gè)直觀概念我用一個(gè)表格列出這套系統(tǒng)中單個(gè)節(jié)點(diǎn)的核心配置項(xiàng)目配置說(shuō)明處理器Intel Xeon W-129010核20線程TDP約80W芯片組Intel C246內(nèi)存最高128GB DDR4 ECC UDIMM支持4條存儲(chǔ)1個(gè)M.2 NVMe系統(tǒng)盤 2個(gè)2.5寸SATA SSD數(shù)據(jù)盤網(wǎng)絡(luò)4路千兆電口其中2路支持網(wǎng)卡綁定支持M12鎖緊接頭擴(kuò)展接口4路RS-232/422/485、8路DI/DO、2路CAN電源輸入24V/48V/72V/110V DC寬壓輸入帶浪涌抑制與反接保護(hù)工作溫度-40℃到70℃滿載防護(hù)等級(jí)整機(jī)IP54機(jī)箱內(nèi)部板卡區(qū)域IP65認(rèn)證參考EN 50155、EN 61373、EN 61000-6-2這套配置放在今天看性能不是最頂?shù)牡膬r(jià)值在于“穩(wěn)定”和“夠用”。鐵路邊緣側(cè)的視頻流分析、協(xié)議轉(zhuǎn)換、數(shù)據(jù)匯聚這套配置能從容扛住同時(shí)還有余量跑容器化應(yīng)用。2.2 加固結(jié)構(gòu)散熱、減振、連接器無(wú)風(fēng)扇設(shè)計(jì)是這類系統(tǒng)最讓機(jī)械工程師頭疼的部分。要在完全不使用風(fēng)扇的前提下把兩個(gè)Xeon節(jié)點(diǎn)的熱量帶出去通常的做法是讓整機(jī)外殼變成一塊巨大的散熱器鋁合金銑削的機(jī)箱鰭片、貼合CPU和芯片組的導(dǎo)熱銅管或均熱板、內(nèi)外空氣隔離的封閉式結(jié)構(gòu)。整機(jī)從外觀上看就是一塊帶鰭片的金屬疙瘩沒(méi)有通風(fēng)孔里面的板卡被完全密封起來(lái)。這個(gè)設(shè)計(jì)的優(yōu)勢(shì)很明顯沒(méi)有活動(dòng)部件不會(huì)積灰MTBF顯著提升。但代價(jià)是熱設(shè)計(jì)必須在選型階段就完成不能等樣機(jī)出來(lái)再補(bǔ)救。我們?cè)谠O(shè)計(jì)初期用熱仿真軟件跑過(guò)整機(jī)模型確定了散熱器鰭片的厚度、間距以及熱管數(shù)量。單純把CPU散熱片加大是不夠的內(nèi)存、SSD、電源模塊同樣會(huì)發(fā)熱整個(gè)機(jī)箱內(nèi)部的空氣流動(dòng)路徑都要在結(jié)構(gòu)設(shè)計(jì)階段規(guī)劃好。這里特別提醒一句如果你沒(méi)有熱仿真和實(shí)際環(huán)境試驗(yàn)的條件不要輕易嘗試“全密封無(wú)風(fēng)扇”方案很多項(xiàng)目就是在這一步翻車的——機(jī)器在家里跑得好好的上了現(xiàn)場(chǎng)連續(xù)高溫運(yùn)行幾天就開始降頻甚至重啟。連接器在鐵路場(chǎng)景里的重要性被很多人低估。普通RJ45網(wǎng)口在振動(dòng)環(huán)境下太容易松了插頭一抖就接觸不良。我們?nèi)繐Q成M12鎖緊式連接器網(wǎng)口、串口、電源口都是這樣。M12的螺紋鎖緊結(jié)構(gòu)一旦擰到位不刻意松脫基本不會(huì)掉而且它本身就是防水的對(duì)IP防護(hù)等級(jí)是加分項(xiàng)。內(nèi)部板卡之間的連接全部采用板對(duì)板連接器加鎖緊支架線纜能不用就不用必須用線纜的地方全部點(diǎn)膠固定接頭處用熱縮管加固。這些細(xì)節(jié)你從外面看不出來(lái)但到現(xiàn)場(chǎng)跑一年之后它們就是系統(tǒng)能不能穩(wěn)定運(yùn)行的勝負(fù)手。2.3 電源與信號(hào)防護(hù)鐵路供電環(huán)境的“隱形殺手”鐵路直流供電表面上看是110V DC實(shí)際上波形臟得嚇人。列車上大功率牽引電機(jī)啟停、空調(diào)壓縮機(jī)切入、車門電機(jī)動(dòng)作都會(huì)在母線上制造大量毛刺和浪涌。電源模塊如果扛不住這些系統(tǒng)就會(huì)出現(xiàn)各種莫名其妙的故障。這套系統(tǒng)的電源模塊我們選的是自帶浪涌抑制和EMC濾波的鐵路專用電源輸入范圍覆蓋從16.8V到137.5V DC這是EN 50155要求的各檔電壓范圍同時(shí)支持反接保護(hù)、過(guò)流保護(hù)、過(guò)壓保護(hù)。存儲(chǔ)數(shù)據(jù)的完整性也必須專門處理。突然斷電或電壓跌落時(shí)如果SSD正在寫入數(shù)據(jù)輕則文件損壞重則文件系統(tǒng)崩潰。我們的方案是在系統(tǒng)層面做兩層防護(hù)第一層SSD選擇帶斷電保護(hù)Power Loss Protection的型號(hào)硬件層面保證掉電時(shí)不丟數(shù)據(jù)第二層系統(tǒng)軟件上配置只讀文件系統(tǒng)或高可靠性文件系統(tǒng)把關(guān)鍵分區(qū)設(shè)為只讀掛載減少非預(yù)期寫入。這兩層配合才敢說(shuō)“列車斷一下電不會(huì)讓系統(tǒng)起不來(lái)”。3. 雙機(jī)系統(tǒng)裝配與軟件實(shí)現(xiàn)3.1 系統(tǒng)引導(dǎo)與固件配置硬件平臺(tái)定下來(lái)之后第一個(gè)要過(guò)的坎是BIOS配置。加固系統(tǒng)不像個(gè)人電腦裝好系統(tǒng)就完事很多底層設(shè)置必須提前鎖死否則到了現(xiàn)場(chǎng)一個(gè)參數(shù)被改動(dòng)排查起來(lái)非常痛苦。BIOS里我通常會(huì)按這樣一套邏輯配置開啟看門狗定時(shí)器系統(tǒng)死機(jī)后自動(dòng)重啟這是無(wú)人值守設(shè)備的第一道防線??撮T狗超時(shí)時(shí)間我們?cè)O(shè)的是180秒太短容易誤重啟太長(zhǎng)又起不到保護(hù)作用。關(guān)閉無(wú)關(guān)設(shè)備板載聲卡、未用到的SATA口、未用到的USB控制器全部在BIOS層面禁用減少驅(qū)動(dòng)沖突和被非法操作的可能。設(shè)置上電自動(dòng)開機(jī)鐵路設(shè)備掉電再恢復(fù)后必須自動(dòng)開機(jī)不能等人去按電源鍵。同時(shí)設(shè)置AC Power Loss為“Power On”。固定PCIe鏈路速度對(duì)PCIe插槽鎖定Gen3速率防止鏈路的自動(dòng)協(xié)商在惡劣環(huán)境下反復(fù)重訓(xùn)練導(dǎo)致設(shè)備離線。CPU功耗設(shè)置把Turbo Boost策略設(shè)置為“按需啟用但不激進(jìn)”既保持有限時(shí)間的峰值性能又控制長(zhǎng)時(shí)間運(yùn)行的整體發(fā)熱。裝系統(tǒng)這塊我們使用的是精簡(jiǎn)版的Linux發(fā)行版內(nèi)核開啟PREEMPT_RT實(shí)時(shí)補(bǔ)丁。為什么用實(shí)時(shí)內(nèi)核因?yàn)殍F路綜合監(jiān)控系統(tǒng)里有不少硬實(shí)時(shí)任務(wù)比如信號(hào)采集周期要求精確到毫秒級(jí)普通內(nèi)核的調(diào)度延遲有可能讓采集時(shí)序抖動(dòng)超標(biāo)。不過(guò)這里也要提醒一句實(shí)時(shí)內(nèi)核不是萬(wàn)能的如果你上層的應(yīng)用寫得一團(tuán)糟再怎么打?qū)崟r(shí)補(bǔ)丁也沒(méi)用。我見(jiàn)過(guò)不少項(xiàng)目把延遲問(wèn)題全甩給內(nèi)核其實(shí)源頭是應(yīng)用層用了不可中斷的鎖、日志同步寫盤這種操作。3.2 雙機(jī)冗余切換機(jī)制雙機(jī)系統(tǒng)的靈魂不在硬件而在切換機(jī)制。我們常見(jiàn)的做法是“主備熱備 心跳檢測(cè) 自動(dòng)仲裁”。A機(jī)和B機(jī)之間通過(guò)兩條心跳通道互聯(lián)一條專用網(wǎng)線一條串口心跳應(yīng)用層業(yè)務(wù)通過(guò)冗余網(wǎng)口對(duì)外提供服務(wù)。心跳檢測(cè)的策略很關(guān)鍵。最怕的是“假故障”——A機(jī)心跳線斷了B機(jī)立刻接管業(yè)務(wù)結(jié)果A機(jī)其實(shí)活得好好的兩臺(tái)機(jī)器同時(shí)對(duì)外發(fā)數(shù)據(jù)這在工業(yè)現(xiàn)場(chǎng)會(huì)造成嚴(yán)重的數(shù)據(jù)沖突。我們的做法是采用“多數(shù)派仲裁 業(yè)務(wù)層故障確認(rèn)”只有在心跳丟失且無(wú)法通過(guò)業(yè)務(wù)網(wǎng)口ping通對(duì)方、同時(shí)自身業(yè)務(wù)正常運(yùn)行的情況下才允許執(zhí)行主備切換。簡(jiǎn)單來(lái)說(shuō)不能因?yàn)橐粭l線斷了就輕舉妄動(dòng)。切換時(shí)間的指標(biāo)上這個(gè)項(xiàng)目要求的是從故障發(fā)生到備用機(jī)接管業(yè)務(wù)不超過(guò)2秒。這個(gè)目標(biāo)靠腳本輪詢是實(shí)現(xiàn)不了的必須用獨(dú)立的心跳檢測(cè)守護(hù)進(jìn)程配合內(nèi)核級(jí)網(wǎng)絡(luò)綁定和ARP通告。當(dāng)B機(jī)切換為主機(jī)時(shí)主動(dòng)向交換網(wǎng)絡(luò)發(fā)送免費(fèi)ARP把虛擬IP的流量引導(dǎo)到自身這樣終端用戶根本無(wú)感知。整個(gè)雙機(jī)系統(tǒng)的驗(yàn)證不是測(cè)一次就完事的。我們整理了一整套故障注入測(cè)試列表覆蓋的場(chǎng)景包括單節(jié)點(diǎn)斷電、單節(jié)點(diǎn)網(wǎng)口故障、心跳線斷開、CPU過(guò)載假死、應(yīng)用進(jìn)程崩潰、內(nèi)存壓力測(cè)試等。每次故障注入后觀察業(yè)務(wù)中斷時(shí)間、數(shù)據(jù)完整性、恢復(fù)過(guò)程是否自動(dòng)完成。下面是我們測(cè)試記錄中的一個(gè)片段故障場(chǎng)景注入方式業(yè)務(wù)中斷時(shí)間恢復(fù)結(jié)果A機(jī)斷電直接斷開A機(jī)電源約1.2秒B機(jī)接管數(shù)據(jù)無(wú)丟失A機(jī)主網(wǎng)口斷開拔掉業(yè)務(wù)網(wǎng)線約0.8秒B機(jī)接管虛擬IP流量自動(dòng)切換心跳線單側(cè)斷開拔掉A-B心跳線不切換系統(tǒng)報(bào)警維持A機(jī)主用A機(jī)應(yīng)用進(jìn)程掛死kill -9核心進(jìn)程約1.5秒檢測(cè)到業(yè)務(wù)異常B機(jī)接管測(cè)試?yán)镒钣袃r(jià)值的發(fā)現(xiàn)是如果心跳線只斷了一邊絕對(duì)不能立刻做主備切換必須靠業(yè)務(wù)層面再確認(rèn)一次。這是我們?cè)诙啻维F(xiàn)場(chǎng)故障復(fù)盤后總結(jié)出來(lái)的鐵律。3.3 現(xiàn)場(chǎng)整機(jī)驗(yàn)收流程樣機(jī)做完只是開始真正決定項(xiàng)目生死的是整機(jī)驗(yàn)收。鐵路設(shè)備的驗(yàn)收不是通電跑幾天就行的要按標(biāo)準(zhǔn)逐項(xiàng)過(guò)。我們的驗(yàn)收流程基本分四步第一步是高溫老化。整機(jī)滿負(fù)荷運(yùn)行在70℃環(huán)境下連續(xù)跑72小時(shí)同時(shí)監(jiān)控CPU核心溫度、機(jī)箱外殼溫度、SSD溫度、有無(wú)熱降頻現(xiàn)象。這一步能淘汰掉絕大部分散熱設(shè)計(jì)不過(guò)關(guān)的機(jī)器。我們?cè)诘谝淮胃邷乩匣瘯r(shí)發(fā)現(xiàn)過(guò)問(wèn)題雖然整機(jī)能開機(jī)但兩塊SSD在持續(xù)寫入時(shí)溫度飆升觸發(fā)了SSD自身的過(guò)熱保護(hù)性能掉到原來(lái)的一半。后來(lái)給SSD位置加了導(dǎo)熱墊讓熱量通過(guò)機(jī)箱殼體導(dǎo)出問(wèn)題才解決。第二步是低溫啟動(dòng)測(cè)試。整機(jī)在-40℃冷箱里冷凍12小時(shí)然后在低溫狀態(tài)下直接上電啟動(dòng)檢查各接口是否能正常識(shí)別。低溫啟動(dòng)失敗在成本敏感的項(xiàng)目里非常常見(jiàn)因?yàn)榈蜏叵码娙萑葜迪陆怠㈦娫磫?dòng)電流不足、晶振起振困難。我們這次選用的電源模塊和主板都經(jīng)過(guò)-40℃驗(yàn)證所以一次通過(guò)。如果你的物料沒(méi)有低溫規(guī)格千萬(wàn)別賭運(yùn)氣。第三步是振動(dòng)與沖擊測(cè)試。按EN 61373的標(biāo)準(zhǔn)做隨機(jī)振動(dòng)和沖擊試驗(yàn)重點(diǎn)關(guān)注設(shè)備是否出現(xiàn)重啟、網(wǎng)口是否斷連、存儲(chǔ)是否出現(xiàn)壞塊。振動(dòng)測(cè)試前所有外露螺釘要打上防松膠所有板卡插槽要檢查鎖緊機(jī)構(gòu)。我們?cè)?jīng)在振動(dòng)測(cè)試中遇到過(guò)內(nèi)存條因未壓緊導(dǎo)致系統(tǒng)隨機(jī)重啟的故障當(dāng)時(shí)排查了很久最后發(fā)現(xiàn)就是一根內(nèi)存沒(méi)卡到位。這種問(wèn)題在普通機(jī)房環(huán)境很難暴露但在鐵路振動(dòng)環(huán)境下會(huì)放大得特別明顯。第四步是EMC測(cè)試。鐵路電子設(shè)備要通過(guò)EN 50121-3-2的電磁兼容測(cè)試包括輻射發(fā)射、傳導(dǎo)發(fā)射、ESD、浪涌、射頻場(chǎng)感應(yīng)等。很多人不知道EMC不光是硬件設(shè)計(jì)的事系統(tǒng)軟件的配置也會(huì)影響測(cè)試結(jié)果。比如網(wǎng)口速率協(xié)商成百兆還是千兆輻射特性完全不一樣CPU是否開啟節(jié)能模式也會(huì)影響電源線上的噪聲。所以EMC測(cè)試階段一定要用最終的BIOS配置和軟件鏡像否則測(cè)試通過(guò)不了。4. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄4.1 高溫環(huán)境下的隱性降頻不少人在加固系統(tǒng)上會(huì)犯同一個(gè)錯(cuò)誤只看CPU標(biāo)稱的TDP不看散熱系統(tǒng)的實(shí)際散熱能力。我們這套整機(jī)雖然是無(wú)風(fēng)扇散熱但在極端高溫下CPU為了自我保護(hù)會(huì)自動(dòng)降頻。降頻本身不可怕可怕的是你不知道它什么時(shí)候降了、降了多少。如果應(yīng)用層的實(shí)時(shí)性要求高降頻帶來(lái)的性能波動(dòng)會(huì)讓任務(wù)超時(shí)。對(duì)策是在軟件層做兩層監(jiān)控一是通過(guò)讀取CPU MSR寄存器監(jiān)控實(shí)時(shí)頻率和溫度記錄到系統(tǒng)日志二是對(duì)核心業(yè)務(wù)線程做CPU核心綁核配合cpuset隔離把實(shí)時(shí)任務(wù)釘在指定核心上避免和其他進(jìn)程爭(zhēng)搶資源。這樣即便遇到極端高溫導(dǎo)致整體降頻核心業(yè)務(wù)線程的影響也能控制在可接受范圍內(nèi)。4.2 振動(dòng)測(cè)試后“找不到網(wǎng)卡”的真相項(xiàng)目測(cè)試中遇到過(guò)一次很詭異的情況振動(dòng)測(cè)試做完上電之后系統(tǒng)提示“network interface not found”。反復(fù)重啟幾次又好了。一開始以為是驅(qū)動(dòng)問(wèn)題后來(lái)發(fā)現(xiàn)根本不是——PCIe插槽上板卡因?yàn)檎駝?dòng)出現(xiàn)了輕微移位導(dǎo)致金手指接觸不良系統(tǒng)在啟動(dòng)時(shí)沒(méi)能枚舉到PCIe設(shè)備。重新插拔、壓緊加固支架后問(wèn)題消失。這類故障在隨機(jī)振動(dòng)下最容易復(fù)現(xiàn)。排查思路是先看dmesg里有沒(méi)有PCIe枚舉失敗的記錄再檢查板卡是否有物理位移的痕跡。預(yù)防手段只有一個(gè)就是前面反復(fù)強(qiáng)調(diào)的——所有可插拔部件都要有獨(dú)立的機(jī)械鎖緊結(jié)構(gòu)不能只靠摩擦力和卡扣。4.3 雙機(jī)誤切換的“乒乓效應(yīng)”雙機(jī)系統(tǒng)的經(jīng)典詭異故障是“乒乓切換”。意思是A機(jī)和B機(jī)因?yàn)槟撤N不明原因反復(fù)搶占主用狀態(tài)業(yè)務(wù)在兩者之間來(lái)回切每次切換都是一次短暫中斷整個(gè)系統(tǒng)看起來(lái)就像在“打擺子”。我們?cè)跍y(cè)試中模擬過(guò)這個(gè)場(chǎng)景觸發(fā)原因是心跳鏈路和業(yè)務(wù)鏈路是同一根物理線纜連接的交換機(jī)交換機(jī)某個(gè)端口出現(xiàn)閃斷導(dǎo)致兩臺(tái)機(jī)器同時(shí)檢測(cè)到對(duì)方“失聯(lián)”各自以為對(duì)方故障于是都搶著升主。解決乒乓效應(yīng)的標(biāo)準(zhǔn)答案是引入“防翻轉(zhuǎn)”機(jī)制系統(tǒng)切換后在短時(shí)間內(nèi)不允許再次切換稱為“翻轉(zhuǎn)抑制時(shí)間”。我們?cè)诖a里把這個(gè)時(shí)間設(shè)為10秒同時(shí)要求發(fā)起切換的節(jié)點(diǎn)必須經(jīng)過(guò)至少連續(xù)3次失敗檢測(cè)確認(rèn)才能進(jìn)入切換流程。自那以后乒乓切換再?zèng)]出現(xiàn)過(guò)。4.4 常見(jiàn)問(wèn)題速查表為了方便維護(hù)人員現(xiàn)場(chǎng)排查我整理了一份故障速查表。這里說(shuō)三個(gè)最值得記錄的故障現(xiàn)象可能原因檢查與處理建議系統(tǒng)低溫?zé)o法上電電源模塊低溫啟動(dòng)能力不足電池/電容容量下降確認(rèn)電源模塊支持-40℃檢查是否有加熱模塊手動(dòng)預(yù)加熱后再上電網(wǎng)絡(luò)偶發(fā)斷連丟包嚴(yán)重網(wǎng)口接觸不良電磁干擾網(wǎng)卡驅(qū)動(dòng)老化優(yōu)先更換M12鎖緊式連接器檢查網(wǎng)口變壓器和共模電感更新網(wǎng)卡固件雙機(jī)頻繁切換心跳檢測(cè)邏輯過(guò)于敏感網(wǎng)絡(luò)閃斷檢查心跳線及交換機(jī)端口增加故障確認(rèn)次數(shù)啟用翻轉(zhuǎn)抑制時(shí)間排查現(xiàn)場(chǎng)問(wèn)題時(shí)我的習(xí)慣永遠(yuǎn)是“先懷疑硬件再懷疑軟件最后懷疑配置”。很多工程師一上來(lái)就翻代碼日志結(jié)果查了半天發(fā)現(xiàn)是螺絲松了。這行當(dāng)干久了你就會(huì)明白加固系統(tǒng)里那些不起眼的“小問(wèn)題”才是真正的老大難。最后再分享一個(gè)體會(huì)做這種面向鐵路的加固設(shè)備最大的敵人往往不是技術(shù)難度而是“差不多”的心態(tài)。散熱差不多、接口差不多、可靠性差不多到了現(xiàn)場(chǎng)就會(huì)變成差很多。如果你也在做類似的項(xiàng)目建議從第一天起就把環(huán)境試驗(yàn)的標(biāo)準(zhǔn)定到上限設(shè)備選型多留余量別等上線了再追悔莫及。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情久久久| 五月天com| 丁香五月激情五月| 欧美人妻一区二区| 亚洲色综合色网| 99久久久国产精品免费蜜乳tv| 亚洲AV免费在线| 色婷五月| 欧美大肥婆大肥BBBBB| 欧美va亚洲va| 影音先锋日本三级资源| 26uuu亚洲精品国产| www.com在线操视频免费观看| 婷色视频| 日本va欧美va欧美va| 五月丁香综合激情| 黄久久久| 亚洲99手机免费看视频| 婷婷激情小说| 久久婷狠狠色| 婷婷伊人綜合中文字幕| 国产精品色情AAAAA片软件| 婷婷5月开心6月| 五月丁香六月婷婷视频| 99色| www.com五月天| 五月丁香影视| 玖玖婷婷五月| 99这里只有精品| 亚洲AV人人操| 婷婷成人五月天成人文学| 亚洲AV免费国产电影| 深爱婷婷丁香五月激情| 五月色婷婷中文字幕| 91久久婷婷| 伊人干综合| 色五月五月婷婷| 婷婷99视频精品| 婷婷中文字幕| 激情婷婷五六月天| 超碰国产在线观看| 天天天天操| 五月天激情播播网| 密着浓厚中出乚交尾GvG935| 婷婷中文字幕| 亚洲激情校园| 天天干天天操天天拍| 婷婷丁香五月久久| 五月丁香 啪啪| 色欲九区| 婷婷五月天VI| 99热这里精品| 久久视频这里99| 94干大香蕉| 五月天.com| 97久久视频| 日本三级成人秘书精品片| 五月婷婷视频在线观看| 狠狠色丁婷婷日日,伊人激情综合网 | 色婷婷超碰| 99热这里只有精品首页| 久久久人人人妻丝丝丝| 激情五月天视频| 99∨VTV| 无码人妻电影| 婷婷国产综合| 大香蕉啪啪| 91碰| 综合97五月| 丁香五月婷婷网| 五月婷网| 五月丁香亚洲校园欧美| 精品国产va久久久| 操碰91| 婷婷五月天成人综合网| www.色九月| 色婷婷五月天在线观看| 婷婷六月开心网| 婷婷五月欧美| 亚洲丁香五月| 大香蕉久| 99爱视频精品在线观看| 91精品啪| 91打屁股免费看| 色五月婷婷亚洲| 97色在线观看视频| 色色免费网战视频| 久久6这里只有精品| 久久网婷婷| 久久久18| 色综合天天综合成人网| 一本色道久久综合狠狠躁小说| 丁香五月天无码AV| 婷婷激情九月| 狠狠色五月| 丁香婷婷狠狠97| 99精品免费| 内射激情在线| 激情综合五月色在线| 亚州操操| 久久婷婷五月国产激情综合片| 六月婷婷综合| 99热在线播放| 色啪综合| 五月丁香婷婷在线| 天堂色婷婷| 天天碰夜夜爽| 五月激情婷婷开心| 天天操天天日天天操| 婷婷丁香五月天综合AV| 日本三级色| 亚洲成人网站在线观看| 婷婷97| 超碰99久久| 国产va视频| 99er6热在线观看精品6| 天天射天天射一道本日本社区 | 五月天婷婷一起草| 九九黄色网| 乱乱av| 99热这里有精力| Xx色综合| 久久九九思思| 五月婷婷啪啪网| 天天五月情| 国产精产国品一二三在观看| 丁香色五月天| 婷婷五月丁香综合桃花色网| 综合久久丁丁香婷| 婷婷丁香五月激情| 激情5月婷婷| 色婷婷色五月天| 99无码视频| 甈你aaaaa| 日本天堂免费99| 蜜桃婷婷狠狠久久| 级人人91| 五月丁香花激情啪啪网| 日韩av手机在线观看| 欧美日综合| 夜夜躁婷婷AV| 久久99久久99精品免观看粉嫩| 丁香五月六月综合欧美| 在线天堂9| 五月天开心婷婷激情网站| 夜夜综合色| 丁香五月婷在线观看| 99热日本| 天天色综网| 17.c黄色| 亚洲成人av在线播放| 婷婷五月激情小说| 超碰在线国产| 九九综合| 91蝌蚪窝视频在线| 亚洲成片在线观看| 91精产一区三区免费观看| 大香蕉人人网| www.99热| 成人精品一区二区三区四区五区 | 伊人丁香婷婷东京| 99色色色色| 色色色色网站| 色吧五月婷婷| 久久久高清| 久久38视频| 在线成人av播放| 第四色五月婷婷| 综合久久综合久久| 99热久久这里只有精品| 久久婷婷五月天激情唯美| 襙逼网| renrencaoav| 99视频网| 婷婷五月天激情网| 国产黄色在线观看| 国产无人区大片| 五月婷色| 伊人久久五月天综合| 综合久久99| 成人视屏在线观看| 伊久大香蕉| 98热精品| 婷五月丁香俺| 婷丁香久综合| 久久9久久| 色婷婷五月天激情| 日日爽日日| 婷婷五月在线视频| 无码人妻少妇色欲AV一区二区| 亚洲色无码A片一区二区麻豆| 九九人人操| 五月亭亭性| 婷婷热婷婷色| 久久婷婷六月综合| 久操热线| 无码动漫AV| 97色干| 国产日日夜夜操| 丁香五月Av| 色五月91| 色婷婷中文| 99日精品视频| 色五月色五天色情网| www.日韩国产| 久99久视频精品| 婷婷欧美激情| 婷婷日日天天| 五月激情婷婷综合| 99视频| 狠狠色丁香婷婷久久综合| 亚洲综合丁香五月| 婷婷久热| 三级99热| www激情网| 色色操| 亚洲视频99| 婷综合| 超极99精品| 久久久18| 噜噜视频| 91综合视频丁香| 狼人久草| 激情综合国产| av免费在线观看0| 九九五月天| 99热这里只有精品69| 精品在线网站| 99视频91| 天天做天天爱天天综合网| 夜夜操狠狠操| 91九色国产| 日本天天色| 六月丁香啪啪啪| 亚洲人成网亚洲欧洲无码久久| 九九精品热| 9久精品视频| 激情视频网址| 色综合激情| 婷婷深爱五月丁香| 性爱激情五月| 亚洲欧美一区二区三区四区爱爱动图| 婷婷之玖玖| 丁香五月六月婷婷殴美综合| 丁香久久久| 激情五月婷婷综合色播小说| 97色色色色色| 天天日夜夜B久久| 99偷拍视频在线日本| 99狠狠操一| 丁香婷婷色情社区成人小说| 久久五月婷综合网| 午夜爱爱爱成人| 色情久久久| 日本44久久在线| 色婷婷丁香中文在线播放| 欧美性做爰大片免费看办公室| 亚洲综合久| 久久婷婷草| 亚州性爱99| 99热免费| 成人小说 五月天 婷婷| 亚洲最大成人综合网720P| 天天操B| 天天爱综合网| 91精产一区三区免费观看| 婷婷深爱五月| 操逼六区| 九九黄色网| 久婷婷| 久久婷婷激情| 91精品国产99久久久久久天美| 丁香综合婷婷五月天| 九九中文色色| 这里只有精品视频在线| 色色丁香婷婷综合| 色99在线观看| 天天婷婷天天| 3p九色在线| 激情网五月婷婷| 在线中文字幕免费视频| 日本熟女二区| 91碰碰视频| 噜噜色com| 婷婷色综合网日韩国产| 欧美中文五月天| 正宗黄色毛片| 欧美久久婷婷| 九九热在线观看6| 五月永久激情| av不卡网站| 第四色婷婷最爱| 色色色激情| 国产亚洲精品AAAA片APP| 五月开心色| 久热这里只有精品性色AV| 99在线观看视频精品| 亚洲综合五月| 激情黄色小说五月天| 久久受www免费人成| 激情婷婷色五月| 日本精品九九九| 三级黄网站| 思思热思在线精品视频| 婷婷丁香六月天激情四射网| 天天做天天爱天天高潮| 日韩成人中文字幕| 国产精品18久久久| 操一操| 9999综合99综合人| 天天干夜夜想| 91久久18| 色99在线视频| 强伦轩人妻一区二区电影| 天天插天天| 五月婷婷五月天| 丁香五月停停av| 爱操人妻| 丁香五月亚洲婷婷| 人妻激情视频| 九九Av| 久久婷婷五月草视频在线播放| 丁香五月婷婷欧美性爱| 九九综合| 五月丁香婷婷激情在线| 五月丁香色婷婷色| 亚洲日韩成人三级av| 强伦轩人妻一区二区电影| 色九月婷婷综合| 少妇性按摩无码中文A片| 狠狠操狠狠干综合| site:901-07.com| 久久人妻超碰一区| 九九色图| 99视频这里有精品免费观看| 日韩婷婷五月| 综合激情在线视频| 精品人妻伦一二三区久久| 天天爽夜夜操| 99热热热天天人人人超超碰| 五月丁香综合伦理片| 婷婷色狠狠| 碰超99| 一点色成人网| 日韩无码色色| 大香蕉五月天婷婷丁香91| 26UUU欧美| 女力报到正好爱上你| 黄色一级影片| 玖玖婷婷精品| 91操人人操| 91超碰九色| 色五月成人网| 看婷婷五月天网| 影院久久久| 丁香五月偷拍| 色婷婷久综合久久一本国产AV| 97碰碰人人| 亚洲一二三网| 午夜精品777| 久久日九九| 人妻少妇色综合| 五月丁香六月婷婷色日| 五月丁香六月婷婷在线播放| 秋霞黄色一级久久| w婷婷五月婷婷w| 五月天丁香婷婷久久九| 色吧五月| 五月丁香啪啪综合| 婷婷五月综合色拍| 九九热在线精品视频| 亚洲日韩人妻操逼| 99视频这里只有免费精品| 天天婬色综合| 婷婷激情五月综合| 国产亚洲精品AAAAAAA片| 成人短视频在线| 欧美叉叉叉BBB网站| 五月婷婷婷综合网| 色色综合成人网| 99丁香五月婷婷在线| 日韩成人无码| 国内外色色色色色成人视频| 九月婷婷在线视频| 国产毛片精品一区二区色欲黄A片| www一起操在线观看| 爱爱色五月天| 女人天堂AV| 天天操天天国产三级片处女学生妹| 777丁香六月青青草婷婷综合久月| 色婷婷五月综合| 婷婷的色色五月天| 亚洲五月天婷婷综合| 97AV在线视频| 婷色天堂| 五月激情综合网| 色婷婷精品小视频| 五月婷婷激情综合| 久久女婷| 成人五月天视频播放| 色婷婷综合在线| 9|在线观看视频| 琪琪色网址| 五月婷婷开心综合| 激情婷婷五月天日本系列| 婷婷五月综合色中文字幕| 99综合成人视频在线观看| 99视频超级精品| 亚洲99热| 9精品一区| 日日噜狠狠色综合久久| 69热91天堂| 无码AV免费精品一区二区三区| 天天干天天日天天操| 97人人操人人干| 狼人狠狠操| 成人免费视频一区| 大香蕉免费9| 五月婷婷综合影院| 狠狠色97| 婷婷激情五月吧| 国庆精品久久| 99r这里| 久久久人人操A V| 91 九色 熟女| 久久伊人大香蕉| 铁牛TV人妻| 79精品视频在线观看,| 六月色婷婷| 天天肏天天插| 来吧亚洲综合网| 色色色综合网| 亚洲综合色色| 人人肏逼视频在线一区二区| 激情深爱五月天| wWW九九在线播放| 日韩黄色电影| 五月天激情国产综合婷婷婷就去爱| 五月天婷婷婷| 99在线精品免费视频| 日韩久久日| 丁香激情五月| 狠狠综合网| 99热在线观看| 五月丁香六月激情综合| 大香蕉婷婷丁香视频在线| 色色性爱视频| 99热在线观看精品| 亚洲无码另类| 亚洲成人网站在线播放| 激情床戏| 亚洲色婷婷激情| 五月婷人妻| 丁香五月激情无码视频| 99在线精品视频| 国产精品成人AV在线| 99久视频| WWW.五月com| 中文字幕av在线| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 婷婷伊人综合| 九九热在这里只有精品| 婷婷丁香人妻天天| 久久婷婷激情四射五月天| 色五月激情综合网| 久久5 9视频免费观看| 激情五月天开心总和网| 色你久久| 国产91资源在线| 婷婷综合玖玖五月| 国产激情久久久| 思思re视频在线| 狠狠色噜噜狠狠狠狠综合| 激情五月天电影| 欧美激情综合五月色丁香| 免费AV在线网址| 日韩免费乱轮网站| 亚洲色网络| 婷婷成人综合| 超碰人人插| 色五月激情综合| 激情综合五月色在线| 狠狠色噜噜| 五月天婷婷在线播放| 伊人香大香蕉视频| 婷婷五月综激情| 超碰九色| 涩综合网| 91综合在线观看| 精品国产AV色一区二区深夜久久| 超碰无码318604| 六月成人网| 婷婷五月天激情电影| 九九成人高清视频| 2017狠狠干| 天天碰天天插天天操| 五月婷婷六月丁香| 99免费在线| 性无码专区无码| 久在线88综合| 人人干女人| 激情五月婷婷丁香综合网| 琪琪色五月天| 在线不卡AC| 第四色婷婷日本| 99免费| 色综合五月天| 色五月综合网| 婷婷丁香亚洲色综合91| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 中文av网站| 久草热8精品视频在线观看| 99久久超级| 99色色| 五月丁香六月激情在线| 丁香五月AV| 开心五月丁香综合久久| 丁香五月婷婷视频| 激情精品久久| 五月网站| AAA级久久久精品| 日韩成人中文| 青青久久五月天丁香婷婷| 狠狠色婷婷| 99玖玖视频| tingtingseav| 六月婷欧美丁香综合| 天天爱天天操| 99热久久这里只有精品| 五月综合激情婷婷六月色窝| 久人操| 99热9| 99精品亚洲| 婷婷五月激情五月丁香五月| 色狠狠激情五月| 六月婷婷在线视频| 五月婷婷色播网| 五月天六月婷| 五月婷婷丁香| 色综合久久88色综合天天| 婷婷五月天成人五月天| h在线看免费版在线看| 五月丁香影院| 日本视频不卡123区| 婷婷丁香花五月天| www夜夜| 思思热在线视频99| 日日日日日| www.99操.com| 丁香六月色婷婷| 亚洲成人AV高清字幕| 99热热九九| 日本综合久久| 九九九九这里只有精品| 久久精品99久久久久久| 国产亚洲在线观看| 99精品视频在线观看| 九月停停| 天天综合天综合| 亚洲性爱区无码区| 无码 av电影| 婷婷丁香水多多视频| 国产69久久久欧美黑人A片| 色播五月婷婷综合| www.99热国产| 99热骚货| 墨西哥毛片内射精| 这里只有精品视频一区| 国产在线视频1234| 九九色大香蕉| 九九熱最新視頻| 婷婷丁香六月天| 99亚洲欧洲| 99色嘟嘟精品网站| 狠狠色丁香久久婷婷综合五月| 极品另类| 精品久色| 粉嫩AV久久一区二区三区| 深情六月婷婷综合久久| 1024操逼| 人人爽天天爽| 国产99久久久| 久久99热只有精品| 国产日韩欧美性爱| 五月天激情美女久久| 五月天综合久久| 深爱五月网| 天天日天天爽| 国内精品免费一区二区2009| 五月丁香成人视频| 99精品久久久| 国产亚洲精品AAAAAAA片| 色婷婷a三区麻| 亚洲 欧洲 国产 伦综合| 激情久久肏屄视频| 色综合色综合色综合高潮| 五月停视频天堂| 五月婷婷啪啪| 91精品国产99久久久久久天美| 丁香六月五月天| 五月丁香婷婷婷婷综合网| 丁香8月手机综合| 丁香美女五月天婷婷| 成人综合AV| 久久激情五月婷婷| 婷婷五月天xxx| av一区免费看| 一起草性爱不卡视频| 婷婷六月色情| 亚洲视频二区| 99干日日干| 丁香五月婷婷五月天| 激情综合网丁香| 中文成人在线| 在线观看婷婷5月| 91丨九色丨东北熟女| 色色九九五月天 | 操逼巨乳91| 婷婷五月天播播| 六月婷婷天堂| 成人va在线播放| 中国女人做爰A片| 九九视频免费| 欧美日韩中文国产一区发布| 婷婷激情五月天在线| 久久se 综合网| 120分钟婬片免费看| 婷婷五月天成人视频| 欧美婷婷色五月| 伊人丁香五月婷婷潮吹| 五月亭亭六月激情| www.久热| 亚洲操操操| 五月天色色网站| 色八戒操婷婷| 亚洲超碰在线| 午夜无码精品色综合久久| 五月丁香六月激情在线| 五月天婷婷激情综合| 夜夜躁狠狠| 任你日热视频| 五月色婷婷AV| 丁香五月www| 991国产精选视频在线播放下载| 大地9中文在线观看免费高清| 丁香婷婷色五月天| 激情久久五月天| 色综合九九色综合88| 色www久视频| 久久久久久久久久8888| 五月丁香六月玩女人| 五月丁香亚洲校园欧美| 久久久免费图片视频| 国产精品色色| 色区久久| 色老久久| 婷婷五月av| 婷婷激情综合网| 九九视频免费| 久久久99婷婷久久久久久| 天堂网亚洲色图| 一本道在线电影| 天天色综网| 人妻精品一区二区三区| 人妻丰满精品一区二区A片| 色综合色色色色色| 另类专区在线观看| 五月天色色色色色| 丁香网五月天| 激情四射五月天| 婷婷狠狠综合网入口| 色综合综合色| 色色AV色色色东莞| 秋霞网在线观看理论91| 91九色无码内射| 美女久久天堂| 99热香港| 色婷婷很很丝袜| 欧美日韩精品人妻狠狠躁免费视频 | 综合五月婷婷| 久综合4| 天天狠狠综合精区| 国产日产亚洲系列最新| 无码成人AAAAA毛片AI换脸| 丁香五月色情| 9久热| 九热视频| 亚洲精品久久久久久久久久吃药 | 色中色综合| 中文字幕黄色片| 综合另类视频| 日本久久高清| 日韩欧美一道四区中文字幕| 亚洲视频综合网| 强辱丰满人妻HD中文字幕| 日日爽日日| 色五月大| 久热91精品| 五月丁香亚州综合网| 色婷婷六月开心中文字| 5月婷婷激情6月| 五月婷久久久久综合| 开心激情站| 日本99久久| 五月成人网站| 精品久久久999| 欧美性爱中文字幕| www.色婷婷| 久久久精品人妻录| 欧美色小说婷婷| 九色视频这里只有精品| 香蕉99网| 色天堂A| 丁香五月天婷婷久久| 玖玖综合玖玖| av在线免费播放观看| 九八Av| 97色伦另类图片小说视频 | 射琪琪| 91婷婷五月天综合视频| 欧美一黄一色一乱一伦| 亚洲另类AV| 97干在线免费| ai97re99一本| 五月丁香趴趴| 伊人网啪啪| 播四月婷婷六月丁香| 五月丁香六月婷婷久久久综合| 久久久人妻人伦| 婷婷爱综合| 久热只有这里精品| 丁香六月综合| 久久久精品色| 乱乱av| 色都都狠狠色都都色综合色| 激情文学 综合 九月| 99riAV国产精品视频| 久久性爱视频免费| 婷婷六月丁| 久久xxxx| 韩国中文字幕91| 日本色色网站| 五月丁香亚洲校园欧美| 激情婷婷五月天在线观看| 99热这里只有精品23| 欧美α√| 97碰在线视频| 天天爱夜夜爽| 99热首页| 五月天激情网站| 色色色五月天激情资源| 97精品综合久久| 色五月综合网| 99九九精品| 香蕉久久国产AV一区二区| 久久久五月天婷婷| www99热| 色五月婷婷少妇人妻| 五月 婷婷 成人| 黄色AV日韩| 99精品丁香五月| 久草视频一,二三四| 五月天亚洲最大成人| 无码区婷婷五月花开| 午夜色婷婷| 亚洲免费在线观看岛国| 男人天堂亚洲综合| www.色综合.com| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 深爱激情综合网| 国产看真人毛片爱做A片| 天天射影院| 99色色网| 精品九九网| 九九视频这里是精品五月| 久久婷婷五月综合| 婷婷香草网| 丁香五月激情婷婷| 五月婷婷香| 无码少妇高潮喷水A片免费| 9l视频自拍9l九色9l成人| 五月噜噜| 91超碰在线观看| 婷婷五月欧美综合| 99精品在线观看| 色婷婷激情五月天| EEUSS鲁片一区二区三区| 99视频在线播放大全| 八戒青柠影视剧在线观看| 日韩亚洲视频| 成人视频在线免费播放| 操比激情五月综合| 日韩aaaaa| AVV黄| 国内裸舞二区| 婷婷五月天激情小说| 欧美婷婷丁香五月社区| 五月婷婷丁香网| 久99婷婷色综合| 五月色激情综合网| 99操视频| 一级操逼内射在线视频| 4399无码视频| 婷婷淫淫狠狠六月| 天天日天天草| 色青青电影色五月| 五月色婷婷亚洲 | www.国产色| 人妻激情视频| 嫩草视频在线观看| 草美女在线观看视频在线播放| 五月综合久久| 日日天天操| 久久久精品人妻| 97碰碰在线观看视频| 久久思思精品| 精品婷婷丁香五| 五月天婷婷黄色| 婷婷丁香成人五月天| 婷婷五月天激情综合| 欧洲亚洲免费视频区| 亚洲第一精品网站| 开心五月婷婷伊人| 久久性爱视频网站| 色天使色婷婷| 综合AV在线| 91色久| 天天精品视频免费观看| 色婷婷久久| 丁香五月电影| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 99热自拍| 国产乱子轮XXX农村| 夜夜综合色| 久久久性爱视频| 久久激情五月婷婷| 亚洲精品五月| 99ri精品在线| 国产av天天插天天操天天爽| 五月丁香久久| 五月天激情Av| 高潮毛片遮挡费高一百度| 26uuu欧美| 伊人99热| 99热精品免费| 丁香婷婷六月天| 亚洲人妻Av| 欧美成人在线观看| 日本美女上人| 丁香婷婷六月天| 啪啪色激情五月天| 大鸡巴伊人网| 久久99美女精彩视频| 成人亚洲精品久久久久| 婷婷五月天性| 色八月婷婷| 成人VAV视频在线观看| 日本99久久| 激情五月丁香六月综合AVXXXX| 激情com| 丁香五月之久操视频| 草草操操| 色婷婷五月色| 五月丁香天堂网| 丁香五月在线观看综合| 五月天婷婷青青| 操人精品| 噜噜国产| 激情综合网婷婷久久| 国产第99页| 黄色成人网站在线播放| 五月丁香六月婷婷中文版| 亚洲视频一区| 色深爱五月| 色综合中文| 日日插日日干| 99riAV国产精品视频| 丁婷婷五月天在线播放| 日本色婷婷五月天成人电影| 婷婷亚洲天堂| 丁香九月婷婷综合| 99精品久久久久久久| 99ri视频在线观看| 超碰在线观看成人视| 91九色在线| 热婷婷在线视频| 99riAv1国产在线观看| 人妻久久久久久久久妻久久久久久久久 | 久久全意婷婷| 色播五月| 国产激情久久| 久久精品熟女亚洲AV麻豆| 99免费在线视频| 99免费成人网| 丁香六月婷婷激情| 免费观看亚洲AV片| 森林影视大全,最好看的2019年视频 | 激情都市另类| 国产精品电影网| 一本久道综合99| 97碰碰碰免费公开在线视频| 成人精品99| 91婷婷搞| 99无码精品| 狠狠草狠狠草| 任你爽视频| 九九色网专区| 99精品自拍| 激情小说之五月| 9久国产精品| 五月J香蕉婷婷| 综合久久97| 综合在线丁香五月| 91丨九色丨熟女丰满| 中国丰满熟女A片免费观| 久久久五月婷婷| 91精品综合久久婷婷九色| 精品人妻伦九区久久AAA片| 人妻啪啪啪| 99爱免费在线观看| 丁香五月婷婷综合91| 涩涩五月天| 亚州操操| 五月婷婷成人网首页| 色色色色色色色色色色色色色97| 亚洲亚洲人成综合网络| 婷婷五月天电影网| 婷五月天天| 婷婷五月天性爱视频| 激情五月综合| 五月丁香六月婷婷欧美综合| www.五月婷婷| 97碰 在线视频观看| 操操啪| 天堂综合久久| 精品99只有。| 五月天久久综合| 9久热视频| 激情综合色网| 深爱五月激情| 国产噜一噜天天噜| 狠狠99| 精品人妻在线免费观看| 色综合激情| 91久久色| 色婷綜合网| 色情五月天视频网| 久操干| 亚洲电影中文字幕| 国产肥白大熟妇BBBB视频| 成人精品在线| 日日操天天操| 婷婷五月天综合色| www.婷婷网| 精品久久9| 色九九丁香九月色九九色| 中文字幕丰满孑伦无码专区| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 欧美啪啪网| 五月婷婷影视| 亚洲精品久久久无码| 淫视馆aV二区一区| 大香蕉久久久| 久久久无码精品成人A片小说| 五月激情五月婷婷五月天在线| 婷婷丁香高潮了| 亚洲精品视频电影| 色99视| 狠狠色狠狠色综合日日91| 亚洲妇女熟BBW| www.99精品在线| 99热在线播放| 九九热在线精品视频| 婷婷色基地| 欧洲亚洲精品| 婷婷.com| 99成人精品| 婷婷热婷婷色| 激情五月天开心网丁香无码| 国产欧美婷婷| 五月激情四射婷婷丁香| www,99色| 丁香五月成人自拍| 天天操天天插天天射| 嫩草AV久久伊人妇女超级A| 九九碰九九爱97超碰| 婷婷的色色五月天| 五月综合视频| 人人摸人人| AVDV久久| 99九九视频精彩在线| 天天天在线观看| 久久久久久人妻| 五月天丁香综合在线| 婷婷五月精品中文| 99久久新视频| 亚洲AV另类| 久久加勒比| 久久人人九| 丁香花五月天激情| 久久HD| 国产xxxxx在线观看| 亚洲丁香五月综合| 久久久月丁香| 色噜噜在线| 久热这里只有精品在线观看 | 婷色天堂| 五月婷婷自拍| 操B无码视频国语| 精a品a| 成人版视频在线观看| 五月婷婷激情| 丁香婷婷丁香五月欧美人| 婷婷91视频| 天天爱综合网| 久久激情综合| 开心五月婷婷激情| 久久五月婷婷开心网| 激情内射人妻1区2区3区| 色狠狠综合| 成人版视频在线观看| 99这里是精品| 五月婷婷亚洲| 婷婷操超碰| 超级碰 久久9| 婷婷五月六月丁香综合| 在线观看国产高清视频免费网站 | 天天日天天干天天操| 国产欧美熟妇另类久久久| 久久五月激情综合| 婷婷五月丁香综合| 色婷婷丁香五月| 最近中文字幕在线中文视频| 五月丁香久久综合91| 欧美成人日韩| 午夜婷婷丁香| 久久视这里只有精品| 人人妻人人澡人人爽| 色五月激情综合网| 99综合激情久久精品久久| 婷婷色亚洲| 五月天婷婷激情四射综合| 99色综合网| 精品国产va久久久久久久| 香蕉97碰碰碰欧美| 色玖玖玖| 激情综合亚洲| 97色精品视频 | site:hcxsz888.com| 婷婷五月天com| 亚洲操操操| 五月丁香六月婷婷在线播放| 亚洲人人操| 午夜丁香婷婷| 五月丁香综合网| 欧美色久| 天天爱天天做天天爽| 国产综合色婷婷精品久久| 国产精品人成A片一区二区| AV中文字幕夜夜操b天天摸bb| 九九精品热播| 午夜美女人啪最红院| 亚洲综合激情五月久久| 五月天另类小说| 成人AV播放| 99操99| 日韩久久这里只有精品| www.婷婷六月天| 国产欧洲欧洲精品久久| 色婷婷婷婷| 丁香五月先锋| 狼人久草| 99精品久| 99久久精彩视频。| 激情五月婷婷六月丁香| 丁香久久AV| 99热精品中文字幕| 久久久久久久人妻| 91无码色色| 五月丁香六月婷综合成人综合| 亚洲 小说 欧美 激情 另类| 人人操91| 婷婷五月天天激情| 久久综合激情五月天| 五月婷婷丁香瑟瑟视频| 婷婷激情五月| 超级碰碰碰97免费| 国产精品五月丁香| 99热在线中文字幕| 日本天堂网站99| 开心激情色婷婷五月天| 色婷婷AV久久久久久久| 99自拍视频在线| 免费97碰碰| 99热99re6国产在线播放| 久热这里只有精品6| 99热一本久道| 色五月在线| 日本色色网| 99伊人婷婷在线| 天天 青草 丝袜制服 在线| 欧美99| 人人搡人人| 天天射影视综合网| 超碰熟女拍拍| 激情综合视频| 天天做天天爱天天爽在| 久久婷婷六月综合综合色| 99国产精品白浆在线观看免费 | 欧美色色色色色色色色色色| 99热18| …亚洲黄色在线播放日韩、av中文a…| 狠狠狠狠狠狠草| 亚洲综合婷婷| 97色色综合| 婷婷激情欧美| www.91久久| 91综合国免费久入| www.狠狠艹| 97操碰98| 久久五月天合网| 久操操| 五月天天堂久久| 亚洲国产色色| 三十熟女| 九色激情网| 色五月天成人| 在线观看av网站| 综合色色网| 狠爱婷色| www色五月天| 大香蕉久热| 五月综合视频| 色涩影院六月丁香| 色播五月丁香| 五月天另类小说| 国产裸舞表演WWWW| 久9视频| 99精彩视频在线观看| 丁香五月婷老师| 9l视频自拍九色9l黑人| 黄色99视频| 五月丁香亚洲综合| 久久久久9| 六月婷婷综合| 大香蕉婷婷色| 婷婷97碰碰| 天天肏天天肏天天肏| 五月婷婷深深爱| 中文在线成人| 五月天狠狠色| 五月婷婷国产| 亚洲综合干| 五月天色社区| 有码一区二区三区| 97色婷婷五月天| 99精日本久久| 夜夜操激情| 婷婷五月丁香青青草在线| 天天干天天操天天爱| 北条麻妃伊人| 亚洲a色| 激情综合婷婷久久| 五月婷伊人| 国产真实乱了老女人视频| 激情婷婷丁香五月| 琪琪色网在线| 丁香五月婷婷色播艳门照| 日本黄色三级片内射| 五月色俺婷婷| 91九色成人原创视频| 五月天婷婷综合免费| 国产成人在线不卡AV| 色色网站免费观看| 欧美大肥婆大肥BBBBB| 青青草护士中出内射-欧美电影在线天堂新版 | 色情婷婷| 五月天婷婷视频| 色综合久久综合中文综合网| AV九九| 日韩成人五月天| 久久婷婷五月综合色欧美| 99热久久这里只有精品2010| 色五月婷婷青娱乐| 色婷婷www| 六月丁香久久| 九九色逼| 五月婷婷深爱六月| 可以看的av| 五月婷婷视频28| 99久久.www| 五月色综合| 婷婷热婷婷色| 丁香五月激情啪啪啪| 香蕉婷婷色五月| 日日天天天| 久久加勤综合| 综激情网| 综合色色综合| 综合色久| 成人短视频在线| 婷婷激情社区| 九九热视频思思| 天天肏天天肏天天肏| 五月天成人免费视频| 最新av在线观看| 99熟女| 五月天色婷婷基地| 丁香五月婷婷AV| 婷婷香蕉| 五月丁香啪啪啪啪| 丁香五月停停av| 99爱这里只有精品免费视频| 成人短视频在线| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | http:色情日本com| 激情五月天偷拍综合网| 天天色综合天天| 丁香色婷婷| 99精在线| 超碰在线人人| 99ER热精品视频| 超碰不卡在线| 激情五月丁香激情综合网 | 婷婷色色丁香| 99色色网| 天天操婷婷| 九九这里只有精品在线视频| 亚州第一黄网| 玖玖婷婷五月天| 五月婷婷影| 色综合色色| 天天日天天久久青青| 亚洲中文乱字字幕线在永久| 一级二级色大片| 国产成人精品一区二三区熟女在线| 九九久久五月天综合伊人| 久热91精品| 婷婷丁香熟女| 午夜成人AV在线| 五月天激情小说电影| 99久久婷婷五月| 丁香五月综合| 激情五月天色播| 襙逼网| 美日韩成人| 色五月激情综合网站| 婷婷丁香18| 欧美人人草| 99热日韩这里只有精品| 狠狠色综合无线观看| 另类 在线| 五月丁香久久呀| 天天激情5月天亚洲| 伊人喵咪a V| 色五月天电影| 色婷婷久久| 色五月之第四色| 国产婷婷久久| 91丨九色丨熟女| www.五月婷婷久久.com| 亚洲啪啪啪啪| 91九九九九九九| 欧美性丁香色色五月天干干| 婷婷五月天小说| 五月综合缴情网|