欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存錯(cuò)誤排查:從內(nèi)核日志到MBIST測(cè)試的完整指南

ECC內(nèi)存錯(cuò)誤排查:從內(nèi)核日志到MBIST測(cè)試的完整指南 兩周前調(diào)一臺(tái)跑了快一年的嵌入式服務(wù)器日志系統(tǒng)里開始反復(fù)出現(xiàn)同一類記錄EDAC MC0: 1 CE on ...當(dāng)時(shí)我第一反應(yīng)不是急著關(guān)機(jī)換內(nèi)存而是先去看這個(gè)CE是真實(shí)發(fā)生的單比特翻轉(zhuǎn)還是某個(gè)測(cè)試流程或ECC控制器自己造成的誤報(bào)。真正讓我緊張的是另外一臺(tái)機(jī)器日志里一共就兩行類似uncorr. ecc 顯示2的記錄緊接著就是一次完整的machine check panic。很多第一次接觸這類日志的人要么被嚇到要么干脆忽略。但ECC錯(cuò)誤信息從來不是有或沒有這么簡(jiǎn)單尤其當(dāng)你既要處理線上運(yùn)行時(shí)的內(nèi)核報(bào)錯(cuò)又要在產(chǎn)線階段面對(duì)MBIST測(cè)試時(shí)你得能分清哪些錯(cuò)誤可以被糾正、哪些會(huì)直接導(dǎo)致數(shù)據(jù)損壞以及內(nèi)存控制器究竟是在哪個(gè)環(huán)節(jié)把錯(cuò)誤分類的。這篇文章我就沿著一條真實(shí)的排查鏈路說起按照?qǐng)?bào)錯(cuò)怎么讀、ECC怎么糾錯(cuò)、怎么定位壞內(nèi)存、怎么用MBIST提前發(fā)現(xiàn)隱患的順序把我在項(xiàng)目里踩過的坑、花時(shí)間驗(yàn)證過的做法一次性攤開講清楚。1. 日志里的 uncorr. ecc 顯示2 到底在說什么1.1 一條典型的ECC報(bào)錯(cuò)日志長(zhǎng)什么樣很多運(yùn)維同事第一次看到類似uncorr. ecc 顯示2這樣的描述都會(huì)有個(gè)共同疑問這個(gè)2是什么意思是錯(cuò)誤等級(jí)是DIMM編號(hào)還是錯(cuò)誤計(jì)數(shù)就我接觸過的實(shí)際日志來說它多半是監(jiān)控工具從內(nèi)核EDAC子系統(tǒng)、MCEMachine Check Exception模塊或者帶外管理接口比如SEL日志、IPMI sensor讀取出來的累計(jì)計(jì)數(shù)含義通常是不可糾正ECC錯(cuò)誤已經(jīng)發(fā)生過2次。換句話說這不是某一條內(nèi)存顆粒壞了才出現(xiàn)的信息而是系統(tǒng)已經(jīng)把兩次不可恢復(fù)的內(nèi)存錯(cuò)誤記錄在案。典型的Linux內(nèi)核日志長(zhǎng)這樣[ 5326.885023] EDAC sbridge MC0: UE row 2, channel 0, label CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 [ 5326.885033] mce: [Hardware Error]: Machine check events logged [ 5326.895103] Memory failure: 0x2a5b1c0: recovery action for dirty LRU page: Recovered如果是通過mcelog的JSON輸出也有類似結(jié)構(gòu){ type: memory, mc: 0, csrow: 2, channel: 0, dimm: CPU_SrcID#0_Ha#0_Chan#0_DIMM#1, ue_count: 2 }這里的ue_count: 2就是我說的累計(jì)計(jì)數(shù)。相比之下uncorr. ecc 顯示2是某些帶外管理界面或腳本里的縮寫描述并不標(biāo)準(zhǔn)但指向同一個(gè)東西這個(gè)內(nèi)存模塊下已經(jīng)累計(jì)了2次不可糾正ECC錯(cuò)誤。1.2 Corrected Error 與 Uncorrected Error 的工程差異ECC日志里最基礎(chǔ)的兩個(gè)詞是CECorrected Error可糾正錯(cuò)誤和UEUncorrected Error不可糾正錯(cuò)誤。網(wǎng)上很多文章只說CE沒關(guān)系UE要換內(nèi)存但在實(shí)際項(xiàng)目里這種二分法會(huì)害死人。CE意味著內(nèi)存陣列中的某一位發(fā)生了翻轉(zhuǎn)ECC電路通過校驗(yàn)位把它恢復(fù)到了正確值系統(tǒng)可以繼續(xù)跑。表面上看起來無害但CE出現(xiàn)頻率是有意義的信號(hào)。假設(shè)一條內(nèi)存條的CE計(jì)數(shù)在一個(gè)月內(nèi)從0漲到幾百說明該區(qū)域可能存在物理損壞、顆粒老化或者觸發(fā)了行錘擊Row Hammer效應(yīng)再不處理后續(xù)大概率會(huì)演化成UE。UE則意味著錯(cuò)誤已經(jīng)超出了ECC的糾錯(cuò)能力比如雙比特翻轉(zhuǎn)、同一緩存行里出現(xiàn)兩個(gè)單比特錯(cuò)誤或者內(nèi)存顆粒的某個(gè)位完全失效。這種情況下ECC只能檢測(cè)到錯(cuò)誤但拿不出正確的數(shù)據(jù)系統(tǒng)只能上報(bào)MCE。如果發(fā)生UE的區(qū)域恰好是正在運(yùn)行的代碼頁或關(guān)鍵數(shù)據(jù)結(jié)構(gòu)結(jié)果通常是進(jìn)程被kill、系統(tǒng)panic最難受的是沒有任何報(bào)錯(cuò)只是數(shù)據(jù)悄悄被寫壞等發(fā)現(xiàn)時(shí)已經(jīng)晚了。我見過不少同學(xué)直接把UE日志無視掉理由是機(jī)器還能跑。對(duì)當(dāng)時(shí)是能跑但你不知道哪塊數(shù)據(jù)已經(jīng)變成錯(cuò)的這是最可怕的。只要出現(xiàn)一次UE就應(yīng)該進(jìn)入排查流程而不是等下次再報(bào)。1.3 一次只有2次UE的故障場(chǎng)景復(fù)盤今年年初處理過一臺(tái)設(shè)備日志里ue_count從1變成2中間間隔了三周系統(tǒng)沒有panic所有業(yè)務(wù)看起來都正常。但仔細(xì)翻內(nèi)核日志后發(fā)現(xiàn)第一次UE發(fā)生時(shí)有幾頁用戶空間內(nèi)存被標(biāo)記為損壞對(duì)應(yīng)的進(jìn)程收到了SIGBUS某個(gè)老舊的服務(wù)進(jìn)程直接退出只不過因?yàn)榕渲昧诉M(jìn)程守護(hù)自動(dòng)重啟了所以業(yè)務(wù)沒有中斷。第二次UE發(fā)生時(shí)平臺(tái)已經(jīng)進(jìn)入了帶病運(yùn)行狀態(tài)。用ras-mc-ctl --summary查看再結(jié)合dmesg | grep EDAC確認(rèn)了UE發(fā)生的物理地址范圍最終鎖定了某個(gè)通道上的內(nèi)存條替換后問題消失。這個(gè)過程讓我形成了一條判斷習(xí)慣UE計(jì)數(shù)哪怕只有1也要當(dāng)成重大故障對(duì)待而不是等它自我恢復(fù)。內(nèi)存錯(cuò)誤是硬件故障靠重啟軟件是永遠(yuǎn)修不好的。2. ECC糾錯(cuò)原理為什么64位數(shù)據(jù)要配72位物理通道2.1 漢明碼與SEC-DED的數(shù)學(xué)基礎(chǔ)ECC之所以能糾錯(cuò)核心在漢明碼。漢明碼的基本思路是給數(shù)據(jù)位額外增加若干個(gè)校驗(yàn)位讓整個(gè)碼字滿足特定的奇偶校驗(yàn)關(guān)系。經(jīng)典漢明碼可以糾正任意單比特錯(cuò)誤但檢測(cè)不了雙比特錯(cuò)誤。為了兼顧糾正單比特和檢測(cè)雙比特實(shí)際內(nèi)存ECC幾乎都使用SEC-DEDSingle Error Correction, Double Error Detection編碼也就是在漢明碼基礎(chǔ)上再增加一個(gè)全校驗(yàn)位使碼字的最小漢明距離從3增大到4。最小距離為3時(shí)只能糾正1位錯(cuò)誤距離為4時(shí)可以糾正1位錯(cuò)誤、檢測(cè)2位錯(cuò)誤。校驗(yàn)位數(shù)量怎么算對(duì)于64位數(shù)據(jù)需要滿足2^r m r 1其中m是數(shù)據(jù)位寬度64r是校驗(yàn)位數(shù)量。代入計(jì)算2^7 128 64 7 1 72 成立所以7個(gè)校驗(yàn)位理論上就能實(shí)現(xiàn)SEC但加上SEC-DED需要的額外校驗(yàn)位后實(shí)際是8個(gè)。64位數(shù)據(jù)加8位校驗(yàn)正好拼成72位。這就是為什么標(biāo)準(zhǔn)ECC UDIMM/RDIMM的數(shù)據(jù)位寬是72位而不是普通內(nèi)存的64位。順帶一提很多DDR5支持On-die ECC那是顆粒內(nèi)部額外存儲(chǔ)區(qū)做的保護(hù)和系統(tǒng)級(jí)ECC是兩回事。系統(tǒng)級(jí)ECC走的是72位總線DDR5的On-die ECC通常不參與系統(tǒng)內(nèi)存的糾錯(cuò)流程只覆蓋內(nèi)部陣列的讀取這一點(diǎn)在選型時(shí)特別容易混淆。2.2 為什么選SEC-DED而不是更強(qiáng)的糾錯(cuò)編碼理論上還可以設(shè)計(jì)出能糾正2位甚至更多位錯(cuò)誤的編碼比如BCH碼或Reed-Solomon碼。那內(nèi)存為什么不用三個(gè)字性價(jià)比。DRAM單比特錯(cuò)誤的占比遠(yuǎn)高于多比特錯(cuò)誤。粒子撞擊引起的軟錯(cuò)誤、電壓瞬變、溫度漂移絕大多數(shù)表現(xiàn)為單個(gè)存儲(chǔ)單元翻轉(zhuǎn)。芯片級(jí)物理損壞初期也通常是從一個(gè)位開始失效。SEC-DED已經(jīng)覆蓋了99%以上的實(shí)際錯(cuò)誤場(chǎng)景再多一位糾錯(cuò)能力校驗(yàn)位寬度會(huì)大幅增加總線帶寬、內(nèi)存控制器復(fù)雜度、延遲和成本全都惡化。在一些高端服務(wù)器平臺(tái)上有Chipkill或SDDC技術(shù)它的思路是用多個(gè)內(nèi)存顆粒分別承載不同數(shù)據(jù)塊配合更寬的ECC編碼讓單個(gè)顆粒完全失效時(shí)仍然可以恢復(fù)數(shù)據(jù)。這種能力本質(zhì)上是通過更寬的扇出和更強(qiáng)的編碼實(shí)現(xiàn)代價(jià)是內(nèi)存子系統(tǒng)設(shè)計(jì)更復(fù)雜通常只出現(xiàn)在關(guān)鍵業(yè)務(wù)服務(wù)器的RDIMM/LRDIMM方案里。2.3 ECC覆蓋不到的物理錯(cuò)誤ECC不是萬能的有幾類錯(cuò)誤它一點(diǎn)忙都幫不上。地址線或控制線上的錯(cuò)誤。如果內(nèi)存控制器要訪問的物理地址在傳輸過程中被干擾最終訪問到的是錯(cuò)誤地址上的數(shù)據(jù)這個(gè)數(shù)據(jù)本身可能是合法的ECC校驗(yàn)自然通過但你拿到的根本不是想要的數(shù)據(jù)。這種場(chǎng)景下ECC報(bào)告不了任何錯(cuò)誤數(shù)據(jù)卻已經(jīng)錯(cuò)了。讀改寫粒度的限制。某些平臺(tái)對(duì)ECC內(nèi)存做部分寫入時(shí)需要先把整塊數(shù)據(jù)讀出來修改目標(biāo)字節(jié)后再寫回這個(gè)讀-改-寫窗口如果同時(shí)遭遇另一個(gè)單比特錯(cuò)誤可能產(chǎn)生疊加效應(yīng)最終表現(xiàn)為無法糾正的UE。行錘擊攻擊造成的比特翻轉(zhuǎn)。高頻訪問某一行內(nèi)存導(dǎo)致相鄰行的電容電荷泄漏加速可能在正常讀寫過程中引發(fā)多處比特翻轉(zhuǎn)形成多比特錯(cuò)誤。ECC只能事后檢測(cè)無法預(yù)防。理解了這些邊界你就明白為什么在關(guān)鍵系統(tǒng)里光靠ECC不夠還需要內(nèi)存鏡像、故障預(yù)測(cè)、定期巡檢這些更上層的機(jī)制來兜底。3. 從內(nèi)核日志到定位壞內(nèi)存一次完整排查復(fù)盤3.1 第一步確認(rèn)錯(cuò)誤來源是內(nèi)存還是緩存排查開始前最重要的事是確認(rèn)這個(gè)MCE/EDAC錯(cuò)誤到底來自DRAM、CPU緩存還是總線。不少人一看日志里有ECC就默認(rèn)是內(nèi)存條然后直接替換替換完了問題依舊最后才發(fā)現(xiàn)是CPU的L2緩存出問題。怎么區(qū)分看dmesg里MCE日志的MCG_STATUS和MCACOD兩個(gè)字段。MCACOD低幾位會(huì)編碼錯(cuò)誤類型常見的有MCACOD部分值典型含義0x0134 / 0x0135內(nèi)存控制器報(bào)告的錯(cuò)誤通常關(guān)聯(lián)DIMM0x0150 / 0x0151緩存層次報(bào)告的錯(cuò)誤0x0000 / 0x0001通用總線/互連錯(cuò)誤同時(shí)查看EDAC的mc0目錄如果日志里出現(xiàn)EDAC MC0: UE基本可以確定是內(nèi)存控制器視角的錯(cuò)誤。如果只有MCE事件而沒有EDAC事件且MCACOD指向緩存那就要往CPU方向排查。3.2 第二步通過EDAC和MCE互相印證確認(rèn)是內(nèi)存錯(cuò)誤之后要快速鎖定是哪根DIMM?,F(xiàn)代平臺(tái)通過edac-util --report可以給出非常具體的位置edac-util --report mc0: 0 Uncorrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 1 Corrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1這個(gè)label字段結(jié)合dmidecode -t memory里的Locator可以直接對(duì)應(yīng)到物理插槽dmidecode -t memory | grep -E Locator|Error Correction|Size比如看到Locator: DIMM_A1再對(duì)照主板上絲印編號(hào)就能確定是哪個(gè)物理槽位。如果平臺(tái)比較老沒有l(wèi)abel信息可以讀/sys/devices/system/edac/mc/mc0/csrowX/下的ue_count和ce_count配合內(nèi)存控制器的channel映射關(guān)系推斷。這里有個(gè)很容易踩的坑某些虛擬化環(huán)境或云主機(jī)里/sys下的EDAC信息可能是宿主機(jī)的客戶機(jī)里的EDAC路徑要么不存在要么不完整。所以排查之前先確認(rèn)自己是在物理機(jī)還是虛擬機(jī)里別在虛擬機(jī)里折騰半天物理內(nèi)存條。3.3 第三步壓力測(cè)試與替換驗(yàn)證鎖定嫌疑DIMM后不要急著拆機(jī)先把錯(cuò)誤復(fù)現(xiàn)做一下。常用的工具是memtester和stressapptest。stressapptest的經(jīng)典用法stressapptest -M 64 -s 3600 -i 4 -C 8-M 64表示分配64GB內(nèi)存-s 3600是測(cè)試時(shí)長(zhǎng)3600秒-i 4是迭代次數(shù)-C 8是使用8個(gè)CPU線程。注意測(cè)試內(nèi)存容量不要超過系統(tǒng)可用物理內(nèi)存的85%否則大量swap會(huì)干擾結(jié)果。跑完一輪后觀察EDAC計(jì)數(shù)是否增長(zhǎng)。如果ue_count或ce_count明顯增加并且關(guān)聯(lián)的label還是同一根DIMM基本石錘。接下來做替換驗(yàn)證。方法是換位不換條把嫌疑內(nèi)存條插到另一個(gè)已知正常的槽位同時(shí)把正常內(nèi)存條插到嫌疑槽位再跑一輪壓力測(cè)試。如果錯(cuò)誤跟著內(nèi)存條走說明是內(nèi)存條本身問題如果錯(cuò)誤留在原槽位說明是主板內(nèi)存通道或CPU內(nèi)存控制器的問題。這一步極其重要我遇到過不止一次最終變成換主板的案例。3.4 換內(nèi)存之后的驗(yàn)證換完內(nèi)存條不要以為事情就結(jié)束了還要做三項(xiàng)確認(rèn)第一dmesg里舊的EDAC錯(cuò)誤記錄還在要用edac-ctl --reset或重啟來清空計(jì)數(shù)器避免把歷史錯(cuò)誤當(dāng)成新錯(cuò)誤。第二重新跑至少一小時(shí)的stressapptest確認(rèn)新增CE/UE數(shù)量為0。第三觀察后續(xù)一周的日志確認(rèn)沒有間歇性錯(cuò)誤。很多朋友只做第一步就宣布故障解決結(jié)果下一周又收到報(bào)警歷史日志和新日志混在一起排查起來非常痛苦。4. MBIST與ECC聯(lián)合驗(yàn)證量產(chǎn)與板級(jí)調(diào)試的關(guān)鍵一環(huán)4.1 MBIST能發(fā)現(xiàn)什么、發(fā)現(xiàn)不了什么MBISTMemory Built-In Self-Test是內(nèi)建內(nèi)存自測(cè)試廣泛應(yīng)用在芯片測(cè)試和板級(jí)產(chǎn)線測(cè)試中。它通過在內(nèi)存控制器內(nèi)部集成測(cè)試邏輯對(duì)存儲(chǔ)陣列施加一系列測(cè)試圖形比如March C、March SS、棋盤格Checkerboard、走查Walking 1/0來檢測(cè)陣列里是否存在stuck-at fault固定為0或1、transition fault翻轉(zhuǎn)失敗、coupling fault單元間耦合干擾。MBIST的強(qiáng)項(xiàng)是直接面向存儲(chǔ)單元陣列做無損遍歷不需要操作系統(tǒng)也不需要CPU參與復(fù)雜的數(shù)據(jù)搬移。在產(chǎn)線階段MCU/SoC上電后先跑一段MBIST幾百毫秒就能覆蓋整個(gè)內(nèi)存顆粒陣列。但MBIST有它的盲區(qū)它對(duì)ECC邏輯本身的校驗(yàn)?zāi)芰苋?。因?yàn)镸BIST通常繞過了ECC編碼/解碼電路直接訪問物理存儲(chǔ)陣列校驗(yàn)位存儲(chǔ)區(qū)雖然也會(huì)被測(cè)試到但ECC的syndrome計(jì)算邏輯、錯(cuò)誤注入上報(bào)鏈路、單比特糾正流程在純MBIST流程里根本不會(huì)被觸發(fā)。4.2 兩類容易漏掉的錯(cuò)誤校驗(yàn)位陣列故障與錯(cuò)報(bào)EDC邏輯實(shí)際項(xiàng)目中我踩過兩個(gè)坑。第一個(gè)坑是校驗(yàn)位存儲(chǔ)單元故障。MBIST測(cè)試主數(shù)據(jù)區(qū)時(shí)校驗(yàn)位區(qū)域通常是一起測(cè)的但如果MBIST配置只在固定地址段做全0/全1寫入有些顆粒的校驗(yàn)位單元stuck-at故障就測(cè)不出來。比如校驗(yàn)位某一位恒為0數(shù)據(jù)區(qū)全部寫1時(shí)校驗(yàn)位本來就應(yīng)該是特定的混合序列可能恰好和恒為0很接近測(cè)試就這么糊弄過去了。正確的做法是讓MBIST針對(duì)校驗(yàn)位區(qū)域也跑March SS或棋盤格或者利用ECC控制器的測(cè)試模式對(duì)校驗(yàn)位做獨(dú)立的0/1翻轉(zhuǎn)測(cè)試。第二個(gè)坑是錯(cuò)誤上報(bào)鏈路斷了。有次板卡量產(chǎn)測(cè)試MBIST跑完一切正常但產(chǎn)品到客戶現(xiàn)場(chǎng)之后系統(tǒng)不停上報(bào)可糾正ECC錯(cuò)誤CE計(jì)數(shù)漲得飛快。排查后發(fā)現(xiàn)是固件里ECC中斷處理函數(shù)配置有問題錯(cuò)誤已經(jīng)發(fā)生了但中斷沒觸發(fā)EDAC在錯(cuò)誤達(dá)到門限前都不會(huì)報(bào)。換句話說內(nèi)存顆粒本身沒有故障是ECC的錯(cuò)誤上報(bào)鏈路沒有閉環(huán)。這讓我養(yǎng)成一個(gè)習(xí)慣量產(chǎn)測(cè)試?yán)锍薓BIST跑內(nèi)存顆粒必須單獨(dú)做一次ECC鏈路測(cè)試驗(yàn)證從數(shù)據(jù)錯(cuò)誤產(chǎn)生、到ECC模塊糾正/檢測(cè)、再到中斷上拋、最終EDC日志記錄這條完整路徑是通的。4.3 用MBIST驗(yàn)證ECC邏輯的實(shí)操做法怎么在一個(gè)產(chǎn)品化的測(cè)試流程里把MBIST和ECC串起來我分享一套驗(yàn)證過的做法。第一步裸機(jī)階段靠MBIST排掉陣列級(jí)故障。上電初始化后正常進(jìn)入所以MBIST全陣列遍歷模式用March C和反走查pattern各跑一遍。任何一顆顆粒有物理故障這一步會(huì)直接報(bào)錯(cuò)并給出失效地址固件把它記錄到壞塊管理表里。第二步進(jìn)入ECC模式后做故障注入測(cè)試fault injection。大部分內(nèi)存控制器的測(cè)試模式里都有寄存器可以強(qiáng)制翻轉(zhuǎn)數(shù)據(jù)線或校驗(yàn)位可以模擬單比特錯(cuò)誤和雙比特錯(cuò)誤。對(duì)單比特注入確認(rèn)數(shù)據(jù)仍然能正確讀回同時(shí)CE計(jì)數(shù)增加對(duì)雙比特注入確認(rèn)系統(tǒng)產(chǎn)生UE事件并觸發(fā)MCE或者對(duì)應(yīng)中斷。示例偽代碼流程// 進(jìn)入ECC測(cè)試模式 ecc_test_enable(ECC_TEST_INJECT_SINGLE_BIT); // 寫入已知pattern write_data(0x5A5A5A5A5A5A5A5A); // 讀取并比較 read_data(val); if (val 0x5A5A5A5A5A5A5A5A) { // 單比特錯(cuò)誤被糾正CE計(jì)數(shù)應(yīng)增加 check_ce_counter(1); } // 切換為雙比特注入 ecc_test_enable(ECC_TEST_INJECT_DOUBLE_BIT); read_data(val); // 此時(shí)不應(yīng)返回正確數(shù)據(jù)而應(yīng)產(chǎn)生UE中斷/事件 check_ue_event();第三步確認(rèn)系統(tǒng)層面的EDAC/MCE通道能正確記錄。板上固件測(cè)試模式下產(chǎn)生的UE事件要和Linux EDAC層對(duì)上。比如測(cè)試注入一次UE后進(jìn)入Linux讀/sys/devices/system/edac/mc/mc0/ue_count確認(rèn)計(jì)數(shù)增加了。以前我遇到過測(cè)試模式下能觸發(fā)中斷但Linux驅(qū)動(dòng)沒正確解析寄存器導(dǎo)致日志里什么都看不到的情況這一步就是為了堵住這種漏洞。4.4 產(chǎn)線測(cè)試中遇到的一個(gè)假UE案例順便分享一個(gè)很有意思的排查過程。某批次板卡MBIST全過但在客戶機(jī)器上運(yùn)行一個(gè)月后多塊板卡同一天報(bào)UE而且都是錯(cuò)誤地址集中在同一片區(qū)域。當(dāng)時(shí)第一反應(yīng)是顆粒批次問題準(zhǔn)備整批退貨。后來把退回板卡放在實(shí)驗(yàn)室復(fù)測(cè)壓力測(cè)試跑了兩天都測(cè)不出來再用原來客戶日志里的錯(cuò)誤地址和行錘擊工具專門打那片地址錯(cuò)誤立刻復(fù)現(xiàn)。結(jié)論是這批次顆粒的行錘擊閾值偏高正常工作負(fù)載下沒問題但客戶業(yè)務(wù)里恰好有大量訪問同一內(nèi)存行的場(chǎng)景觸發(fā)了相鄰行的比特翻轉(zhuǎn)。問題不在MBIST覆蓋率而在系統(tǒng)級(jí)行錘擊防護(hù)策略沒配置好。后來通過調(diào)整內(nèi)存控制器的RFMRefresh Management參數(shù)解決了。這個(gè)案例說明MBIST和ECC測(cè)試做得再完整也不能替代對(duì)實(shí)際使用場(chǎng)景的理解。量產(chǎn)前的可靠性測(cè)試一定要結(jié)合目標(biāo)部署場(chǎng)景設(shè)計(jì)用例。5. 項(xiàng)目選型與日常監(jiān)控的實(shí)操建議5.1 什么時(shí)候必須上ECC不是所有設(shè)備都需要ECC內(nèi)存但下面幾類場(chǎng)景我的建議是ECC沒有妥協(xié)余地。長(zhǎng)期無人維護(hù)的邊緣設(shè)備。比如部署在偏遠(yuǎn)站點(diǎn)的工業(yè)控制器、網(wǎng)關(guān)設(shè)備沒人會(huì)定期巡檢一旦內(nèi)存故障錯(cuò)誤被悄悄寫入文件系統(tǒng)過幾個(gè)月數(shù)據(jù)損壞才發(fā)現(xiàn)損失遠(yuǎn)大于內(nèi)存條的那點(diǎn)差價(jià)。跑數(shù)據(jù)庫或文件系統(tǒng)的機(jī)器。數(shù)據(jù)庫頁緩存、文件系統(tǒng)元數(shù)據(jù)對(duì)bit翻轉(zhuǎn)極度敏感一個(gè)bit錯(cuò)誤可能導(dǎo)致一條記錄損壞或者文件系統(tǒng)目錄結(jié)構(gòu)崩潰。沒有ECC的機(jī)器出現(xiàn)這種錯(cuò)誤時(shí)連日志都不會(huì)有。高密度計(jì)算和AI訓(xùn)練節(jié)點(diǎn)。長(zhǎng)時(shí)訓(xùn)練任務(wù)如果因內(nèi)存錯(cuò)誤導(dǎo)致數(shù)據(jù)損壞可能跑幾天才發(fā)現(xiàn)loss異常重跑一遍的代價(jià)遠(yuǎn)超ECC的成本。5.2 軟ECC與硬ECC怎么選現(xiàn)在很多消費(fèi)級(jí)SSD、嵌入式eMMC/UFS控制器內(nèi)部都帶LDPC或BCH軟糾錯(cuò)這是軟ECC的概念指的是主控固件層面的糾錯(cuò)。它和我們說的內(nèi)存ECC是兩碼事。系統(tǒng)級(jí)內(nèi)存ECC要求內(nèi)存控制器和內(nèi)存顆粒都支持ECC即72位總線。消費(fèi)級(jí)CPU和普通UDIMM不支持這個(gè)模式只有工作站/服務(wù)器CPU加ECC UDIMM/RDIMM才能組合出完整方案。有些嵌入式SoC支持的是內(nèi)嵌ECC模式數(shù)據(jù)總線上沒有額外校驗(yàn)位但控制器內(nèi)部利用預(yù)留存儲(chǔ)區(qū)存放校驗(yàn)數(shù)據(jù)外部看來還是64位總線。這種方案的糾錯(cuò)能力受限于內(nèi)部帶寬和訪問粒度通常只能覆蓋部分錯(cuò)誤場(chǎng)景。選型時(shí)要確認(rèn)清楚是哪種ECC別看到支持ECC就算數(shù)。5.3 開啟正確的監(jiān)控與告警硬件選對(duì)只是第一步運(yùn)行期的監(jiān)控同樣不能少。Linux內(nèi)核需要確認(rèn)開啟了以下配置CONFIG_EDACy CONFIG_EDAC_LEGACY_SYSFSy CONFIG_EDAC_DEBUGy CONFIG_MCE_LOGy監(jiān)控層面建議至少做三件事定期檢查/sys/devices/system/edac/mc/mc*/csrow*/ce_count和ue_count并寫入巡檢腳本。配合rasdaemon做持久化方便回溯錯(cuò)誤歷史。設(shè)置告警閾值比如任意DIMM的CE計(jì)數(shù)在24小時(shí)內(nèi)超過100或者UE計(jì)數(shù)從0變成1都屬于需要立即人工介入的級(jí)別。rasdaemon --record ras-mc-ctl --summary還有一個(gè)容易被忽略的點(diǎn)日志輪轉(zhuǎn)和持久化。很多系統(tǒng)默認(rèn)不開pstore或RAS日志重啟后錯(cuò)誤記錄就丟了。我建議配置pstore/ramoops確保內(nèi)核panic前的MCE日志能保存在不掉電的區(qū)域方便崩潰后分析。5.4 最后分享幾條實(shí)實(shí)在在的經(jīng)驗(yàn)做內(nèi)存可靠性相關(guān)項(xiàng)目這么多年真正影響項(xiàng)目成敗的往往不是技術(shù)方案本身而是以下幾點(diǎn)。不要過度解讀單次UE。硬件錯(cuò)誤分為持續(xù)性和偶發(fā)性。持續(xù)性錯(cuò)誤通常定位明確替換即可。偶發(fā)性錯(cuò)誤可能和溫度、電壓、訪問模式耦合需要長(zhǎng)期觀察。一兩次CE不一定是壞條CE計(jì)數(shù)持續(xù)上漲才是危險(xiǎn)信號(hào)。更換內(nèi)存時(shí)注意批次一致性。不同批次、不同封裝廠商的內(nèi)存混插電氣特性可能存在細(xì)微差異在高溫高壓場(chǎng)景下容易觸碰臨界點(diǎn)。尤其是數(shù)據(jù)中心級(jí)別部署盡量統(tǒng)一批次和型號(hào)。ECC只是可靠性架構(gòu)的一環(huán)不是全部。我見過不少項(xiàng)目硬件全是頂配ECC、RAS、熱備都做了但軟件層面對(duì)硬件錯(cuò)誤沒有處理策略進(jìn)程收到SIGBUS直接崩潰沒有任何優(yōu)雅降級(jí)或重試機(jī)制。錯(cuò)誤處理鏈路是軟的和硬件同樣重要。最大的一次教訓(xùn)是有臺(tái)設(shè)備日志里反復(fù)出現(xiàn)CE但大家都沒當(dāng)回事覺得反正ECC能糾正。最后一次內(nèi)存條徹底失效文件系統(tǒng)緩存里的關(guān)鍵數(shù)據(jù)塊被靜默寫壞備份也受到影響恢復(fù)數(shù)據(jù)花了兩周時(shí)間。從那以后我在任何項(xiàng)目里都把CE趨勢(shì)監(jiān)控當(dāng)成基礎(chǔ)配置絕不等到最后再處理。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
aaa日韩| A1片久久久| 永久无码色| 久99视频在线观看| 思恩热国产视频右线观看| 超碰成人在线观看| 99ri精品在线| AV性爱在线| 五月天色色网站| 99久热在线精品| 五月丁香六月婷婷久久肏| 激情五月天啪啪| 久久婷婷五月天蜜桃| 桃色激情网| 91九色超碰| 亭亭五月天成人| 九九Y精品热播| 成人五月天视频| 久久久久久久久久久月丁| 亚洲成人黄色网| 亚洲精色| 色999五月色| 激情网 久久| 四月婷婷丁香| 啪啪色激情五月天| 天天日综合| 99热全是精品| 99综合| 天天婷婷操| 伊人香大香蕉视频| 日本啪啪天堂| 九九热这里只有精品12| 亚洲AV无码成人精品电影| 五月天婷婷操逼视频| 超碰99在线观看| 久久久97| 99人妻碰碰碰久久久久视| 色五月婷激情| 超碰在线网站9| 婷婷成人网五月天| 丁香六月啪啪| 天天久久狠狠色综合| 99精品综合视频| 一本道综合网| 97婷婷狠狠久久综合9色| 婷婷五月天激情综合| 色欲丁香| 丁香五月 性爱| 99精品在线观看| 亚洲精品电影| 91丨九色丨国产打屁股网站| 99久久久| 91在线视频观看午夜福利| 欧美日韩二区在线| 亚洲精品乱码久久久久久综合| 五月丁香色婷婷| 色婷婷综合视频| 亚洲蜜桃精久久久久久久久久久久| 九九久久五月天综合伊人| 丁香狠狠色婷婷久久无码视频| 99热这里只有精品99| 婷婷丁香五月麻豆| 激情超碰网| 91碰碰碰| 欧美丁香五月97色| 婷婷导航| 日韩专区五月天婷婷丁香| 2025天天爽天天摸| 99热精品在线播放| 国产欧美日韩性爱| 99免费| 婷婷精品在线| 影音先锋天天日| 婷婷五月激情中文字幕| 日日操天天操| 久久婷婷五月天激情唯美| 色色色五月婷| 99视频日韩| 操九色| 天天做天天爰天天爽天天无遮挡| 色狠狠综合网| 精品国产AV色一区二区深夜久久 | 操比激情五月| 99re在线视频| 99热色精品| 五月丁香va| 中文字幕五月久久婷| 婷婷五月天在线观看| 丁香激惜男女| 99视频超级精品| www久久久久| 亚洲精品无码一区二区| 九九热视频这里只有精品| www,婷婷| 婷婷色基地| 欧美激情 日韩无码 婷婷 五月天| 色99无码| 91碰九色| 色色综合五月| 丁香五月婷婷影视先锋| 狠狠一日| 国产AV一区二区三区最新精品| 婷婷 丁香 精品| 婷婷丁香激情| 丁香五月激情性色郤| 九九人妻福利| 久色网| 9伊人网| 五月丁香六月激情| 精品无码久久久久久久久| 日韩久久视频| www久久99| 丁香久久久| 天天情色综合网| 管管補管管紱| 五月份婷婷| 综合久久久| 狠狠综合色网| 久re热视频| 色五月在线综合| 色婷婷成人做爰A片免费看网站| 97干在线| 五月天桃色深爱网| 欧美在线视频99| www.久久久.com| 狠狠综合网| 懂色av蜜臀av粉嫩av永陈冠希| 青青草伊人婷婷| 少妇高潮呻吟A片免费看软件| 亚洲99热| 五月婷婷激情综合| 桃色五月天| 思思热视频| a网站免费观看| 狠狠操狠狠插| 狠狠色狠狠| 91久久九久久九久久九久久九久久| 一级黄色尤物综合视频手机在线观看| 成人视频婷婷| 女人被男人吃奶到高潮| 九月激情网| 在线观看中文字幕亚洲| 婷婷激情综合| 成人超碰网| 日本V在线观看不卡视频网站| 亚洲亚洲人成综合网络| 97婷婷丁香五月综合| 五月丁香狠狠爱婷婷综合| 久热re视频在线观看网站| 欧美熟女视频 色婷婷| 天天激情站| 爆乳熟妇一区二区三区四区| www99xxxx五月丁| 色综合久久88色综合天天| 欧美操综合| 99久操| 大香AV| 人人操人人干AV| 五月婷婷人人人操| 日本熟女三区| 色五月丁香伊人五月| 久久人妻伦理| 亚洲欧美成人在线| .青娱乐天天操B| 日本精品人妻无码77777| 婷婷五月花.97| 婷婷五月天 丁香五月天 裸体| 97操碰人免费| 超碰99久久| 啪啪激情网| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 久久探花91swag| 久久免费干| 91久久综合亚洲噜噜成人在线| 色99在线视频| 俺去啦综合网| 国产精品久久..4399| 激情www| 国产亚洲精品久久久久苍井松| 超碰成人黄色网| 亚洲图色五月天| 丁香五月www| 伊人色综合影院视频| 国产日批视频免费播放| 五月天停停基地| www.99热这里精品| 伊人久久婷婷| 综合色婷婷| 思思热这里只有精品视频666| 婷婷丁香五月天色区| 五月天中文网| 99久久综合网| 五月婷婷久久网| 99久在线视频| 狠色色狠网| 亚洲啪啪啪啪| 久久密臀婷婷| 色就是色婷婷五月亚洲激情| 蜜臀嫩草| 天天干天天干天天干天天干天| 日本一级黄色片。| 日韩欧洲亚洲| 超碰1999| 国产日产亚系列精品版优势| 91热久久| 天天色视频| 色色激情五月天| 色九月综合网| 丁香六月av| 天天狠天天叉| www.91av.com| 深情六月婷婷综合久久| 婷婷99热| 九九99热| 免费一区二区三区| 久久婷婷五月综合色播| 天天日综合| 婷婷五月a| 色亚洲视频| 91超级碰在线| 九九在线精品| 婷婷五月激情欧美| 五月丁香六月玩女人| 中文字幕在线免费看线人| 久婷婷五月天影院| 色播激情五月天| 五月婷婷六月激情| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 99爱在线| 激情婷婷六月天| 蜜臀99久久精品久久久久| 性爱在线播放av| 艾小青av| 中字幕视频在线永久在线观看免费| 五月开心久久| 色婷婷五月中文字幕在线dvd| 婷婷五月激情网| 激情久久婷婷| av中文网站| 久久激情视频| 久久综合爱| 激情色色色| WW婷婷五月天com| 99小视频| 亚洲综合激情五月久久| 九九九九国产| www.五月婷婷| 婷婷中文在线| 婷婷色在线| 亚洲精品网址| 五月丁香综合| 六月激情丁香一道本7777| 日日肏天天操| 丁香五月 性爱| 99色丁香婷婷综合网| 五月婷婷深深爱| 九九精品99| 色色五月天婷婷丁香| Aα在线免费观看| 五月婷婷久久综合| 五月天激情网开心网| 五月激情综合网| 久久久人妻不卡| 无码啪啪| 人妻性爱av网站| 国产日比| 色热久资源| 中文无码婷婷| 99久热| 色色色色色色色色五月先| 人人操操| 五月天色影院| 久青操| 影视av久久久噜噜噜噜噜三级| 亚洲九九婷婷| 亚洲第一综合| 成人丁香五月婷| 99精品视频网| 色情五月天丁香社区| 另类小说激情五月天| 北条麻妃伊人 | 五月丁香婷婷色| 久久五月丁香| 精品香蕉99久久久久网站| 色欲香综合网| 色丁香五月婷婷综合久久| 激情婷婷啪啪| 超级碰碰碰97免费| 这里只有精彩视频| WwW天天干| 97一区二区| 丁香五月综合亚洲| Av免费网站在线| 99热精品在这里| 永久免费一区二区三区| 亚洲无线视频| 啊v视频在线观看| 天天日综合| 99九九热在线观看| 另类少妇人与禽zOZZ0性伦| 色欲香综合网| 久久精品日| 五月婷婷,六月丁香| 日都一级A片| 五月天播播中文字幕| 99re视频在线| 开心激情网在线| 91狠狠综合久久久久久| 亚洲狠狠操| A短视频免费在线观看| 六月丁香婷婷六月激情综合| 另类 在线| 婷婷五月成人| oVV4WIB3vFi8D| 91干99| 丁香六月天婷婷开心综合| 久操香蕉| 九九aV| 欧美激情五月天婷婷| 丁香久久综合| 奸逼视频| 色婷婷丁香综合中文字幕| 久久激情五月婷婷| 久久精品66| 婷婷五月天中文字幕| 丁香五月欧美| 激情五月天婷婷丁香| 久久丁香五月婷婷| 色吧网综合| 婷婷五月天黄色| 成人五月天在线观看| 婷婷综合中文字幕| 99色综合| 久久狠狠干| 日本久久婷婷| 色操综合| 五月丁香综合啪啪| 婷婷五月天情色| 插插插丁香五月婷婷| 九月丁香很很色| 狠狠色狠狠| 亚洲综合色丁香婷婷六月| 久久加勒比| 色五月婷婷丁香五月| 九月色婷婷综合| 大香蕉丁香婷婷| www.婷婷| 九九色综合视频| 婷婷操逼| 色婷婷影音| 婷婷五月色| 丁香六月无码播放| 九九热这里都是精品6| 亚洲欧洲一二| 日本乱子人伦在线视频| 久久婷婷视频| 伊人婷婷色激情丁香| 91综合网| 91夫妻视频| 婷婷九月丁香| 色五月婷婷五月| 五月亭亭六月激情| 五月婷婷色影院| 五月丁香久久激情综合| 欧美性色A片免费免费观看的 | 夜夜 操无码| 99免费热视频| 五月激情精品视频| 久久五月婷婷视频| 久久九九热38| 亚洲超碰在线| 69精品人人人人| 性色99| 美女天天艹人人爽| 久久人人看| 激情AV中文| 玩熟女五十AV一二三区| 伊人91| 东京热免费视频| 性爱久久| 婷婷综合在线| 丁香色五月天| 天天爽天天做| 99热这里只有精品在线播放| 欧美激情xxxXX| 九九久久综合| 久热9| 97丁香五月| 五月婷婷综合色啪首页| 99在线视频网址在线观看| 性爱久久| 欧美在线干| 综合啪啪| 99热精品无码| 天天射影院| 欧美色五月| 丁香婷婷色色| www.激情五月| 欧美色频| 日韩欧美成人片| 久热这里| 99狠狠色| 97久久超碰| 九九这里是免费的视频5| 99网99热| 激情床戏| 99色在线| 激情第四色| 五月亭亭开心网| 天天色色天天| 欧美激情综合| 一起草AV入口| 婷婷成人基地| 五月婷婷av在线| 五月伊人91| 色婷婷网大全在线| 91熟妇大香蕉| 91视频久久久| 啪啪综合| 久99视频| 激情内射人妻1区2区3区| 国产熟妇的荡欲午夜视频| 99热这里只有精品8| 中文成人在线| 婷婷成人av| 综久久久| 91干视频| 婷婷综合激情五月中文字幕| 五月天婷婷色小说| 五月丁香婷婷成人综合网| 激情五月色在线播放| 亚洲婷婷成人五月天| 99这里只有精品99| 丁香婷婷色九月| 色婷婷操逼| 99色精品| A片天天| 超碰99成人在线| 日本人人干| 99热九九这里只有精品| 五月天色婷婷图片| 激情五月天婷婷在线网址发给我| 热九九精品| 久久香蕉网| 婷婷亚洲在线| 丁香婷婷91在线观看视频| 97色色婷婷| 色。 日日日| 夜夜骑天天玩天天日| 九九热精品视频| A在线观看| 天天爽夜夜操| 91制片厂久久久国产电影| 狠狠色九月| 亚洲精品无码久久| 色情五月天视频网| 五月色丁香激情| 婷婷色婷婷| 91欧美| 丰满人妻妇伦又伦精品国产| 色婷久| 精热在线综合网| 五月丁香婷婷中文网| 五月开心久久| 亚洲最大成人综合网720P| 激情网色五月| 激情深愛五月視頻| 五月丁香成人视频| 五月丁香啪| 久久婷婷五月综合网| 亚洲久久日| 丁香五月天天日| 99热66| 色色五月天婷婷| 激情五月天偷拍综合网| 五月天伊人| 五月丁香色色色| 婷婷午夜精品久久久| 五月婷婷和六月| jiZZdr| 国产精品人人做人人爽人人添| 亚洲 成人 电影av在线观看| 成人精品一区二区三区四区五区 | 97超碰在线免费观看| 久久久久久欧美精品se一二三四| 日日操天天| 色婷婷久久| 97色精品视频| 伊九九三级区| 亚洲日日日| 中文字幕 码精品视频网站| 色99免费视频中文| 第四色五月激情网| 大香蕉五月婷婷| 中国女人做爰A片| 99日精品视频| 五月婷婷综合精品| 国产黄大片在线观看画质优化| 久久天堂婷婷五月| 色婷婷丁香中文在线播放| 狠狠色综合网| 99人人操| 999影院成人在线影院| 久久精品人妻| 成人av在线网站| 婷婷五月天免费视频在线观看| 开心激情网五月天| 99热免费精品| 久久婷婷五月| 色婷婷AV久久| 婷婷在线午夜| 五月丁香网站| 超级碰 久久9| 色色色色色色综合| 成人免费120分钟啪啪| 五月丁香色| 欧美五月婷婷| 99久久久精品| 丁香六月天婷婷开心综合| 色五月综合| 五月丁香综合在线| 99热官网| 丁香色五月AV在线| 婷婷五月天在线综合| 99在线精品免费视频| 国产亚洲99久久精品| 日本99色| 激情五月天情色| 五月激情久久综合| 国产精品人成A片一区二区| 亚洲午夜AV| 激情小说之五月| 操操啪| 色九月| 啪啪综合| 色约约视频一区二区三区四区五区| 天天操天天操天天操| 六月色婷婷| 涩五月婷婷| 九九操操| 99热99色| 色99视频| 天天开心天天色| 久久婷婷五月综合| 啪啪91| 亚洲色99| 激情5月舔| 五月色综合| 国产欧美婷婷| 国自产拍偷拍精品啪啪一区二区| 97色色婷婷| 国产一级片| 99九九精品| 丁香婷婷色五月| 在线99色| 欧美激情综合色综合啪啪五月| 91日日日| 五月天另类小说| 色婷婷久久综合| 色香久久| 91人妻色色网| 中文字幕无码人妻少妇免费视频| 丁香无五月网| 激情婷婷六月天| 激情丁香久久| 成人在线二区| 天天撸夜夜爽| 婷婷六月色情| 丁香情色五月| 玖玖资源站蜜臀| 婷婷五月六月丁香| 91精品国产91久久久久青草| 久久99网站| 久久性爱视频| 婷婷五月综合啪| 久久丁香网| 99精品视频网站| 在线观看av网站| 日本三级中国三级99人妇网站| 午夜丁香丁香婷婷| A片试看120分钟做受图片| 天天xxxxxx天天日| 99.N在线视频| 久久久久人妻网址| 丁香五月在线观看综合| 97日韩无套内| 人人爱摸视频| 美女va| 五月综合激情啪啪啪啪啪| 99在线精品免费视频| 丁香六月婷婷综合欧美| 天天干天天插| 五月婷婷丁香狠狠撸久久| 9久热精品在线视频| 色偷偷色婷婷| 久久五月丁香婷婷| 噼里啪啦完整版中文在线观看 | 五月香婷婷| 亚洲五月丁| 色综合9| 五月婷婷丁香综合| 久久99热这里只有精品23| 99国产在线精品视频| 亚洲欧美一区二区三区四区爱爱动图| 桃色激情五月天| 99无码精品| 色99网| 91操熟女| 91丨九色丨首页| 超碰成人在线观看| 婷婷丁香五月欧美人| 欧美色色色色色色| 99精品视频在线观看| 久久精品人妻| 五月丁香网站在线播放| 五月丁香六月色| 久操大香蕉| 天天狠狠干| 激情婷婷| 六月激情丁香一道本7777| A久久| 99爱视频在线播放| 久久99最新| 丁香天堂夜| 婷婷六月色| 久久99热免费最新版| 日本在线免费中文com.| 色婷婷激情| 欧美婷婷色| 日韩无码专区| 四月丁香五月婷婷久久| 男人综合网| 8区视频在线| 婷婷色导航| 天天日天天舔| 这里只有精品69| 996er热| 狠狠色婷| 五月丁香综合| 日本婷婷五月天| 五五月五月| 玖玖婷婷五月天| 色色色色色色五月婷婷| 香蕉久久国产AV一区二区| 日本九九视频| 五月婷婷丁香网| 六月丁香射婷婷欧美色图片| 婷婷色中文| 丁香五月伊人| 午夜不卡久久精品无码免费| 久久婷婷五月| www.精品99| 99热99色| 婷婷五月中文字幕国产| 99热精品10| 婷婷的99视频网站| 99热加勒比| 色色97丁香婷婷五月天| 综合色、色综合| 人妻人人操| 久久9精品| 思思热99在线视频| 99热99免费| 婷婷五月综合婷婷| 亚洲综合99| 九九热在线99| 亚洲综合成人网站| 97亚洲精品| 热91久| 黄桃AV无码免费一区二区三区| av九九| 亚洲天堂啪啪| 五月丁香另类图片| 99re思思热久久| 婷婷五月骚厕所| 99视频精品8| 美臀自射自家人妻| 99精品视频在线免费观看| 97视频91| 97色啪| 免费超碰在线| 色色色色色五月| 97AV人人插人人操| 99情色五月天| 奇米影视在线视频| 婷婷五月欧美AA片免费| 婷婷视频在线碰| 亚洲激情四谢| 亚洲正能量欧美| 天天干人人奸97| 免费在线观看AV网站| 欧洲电影在线观看免费版英语版 | 国产激情综合| 99免费在线| 丁香五月天综合| 午夜一区| 无码激情AAAAA片-区区| A片女女女女女女BBBB| 亚洲熟妇AV乱码在线观看| 国自产拍偷拍精品啪啪一区二区| 欧美三级巜人妻互换| 人人爱操| 亚洲黄色网址| AV中文字幕夜夜操b天天摸bb | 99在线精品免费视频| 国产成人精品亚洲线观看| 欧美内射AAAAAAXXXXX| 国产一区二区av免费| 999热视频精品99免费在线| 亚洲殴洲精品Av在线| 亚洲四色五月| 婷婷五月花| 色色婷婷丁香| 六月色婷婷欧美| 婷婷五月天com| 天天爱天天做综合| 天天插夜夜爽| 五月天激情小说欧美激情| 丁香六月激情综合| 99色综合| 俺去也五月| 91久久18| 欧美熟女99| 五月色亭丁香| 丁香五月婷在线| 丁香五月成人婷婷| 国产激情综合五月久久| 亚洲精品久久久久久久久久吃药| 久久99精品久| 在线看片av| 色婷婷五月天激情久久| 国产色99| 久久9热| 色999五月色| 97色 五月天丁香| 大香蕉福利导航| 黄色片精品| 婷婷激情五月天网站| 日日日影院| 国产精品电影网| 丁香五月天婷婷激情| 大地资源色婷婷视频在线| 久久亚洲婷婷| www.99热这里只有精品| 91Chinese在线| 六月婷婷最新网址| 99热在这里只有免费精品| 久久九九在线视频| 思思热在线精品视频| 婷婷五月天丁香久久| 亚洲色图五月丁香| 战争与艾拉电影免费观看| 亚洲综合久| 久草婷| 丁香六月天婷婷在线| 色五月AV| 9色91视频| 深夜男女福利刺激影院一区完整| 天天爽天天摸| 做爰丰满少妇1313| 综合激情五月天| 天天爱天天做天天操| 亚洲V国产V欧美V久久久久久| 在线你懂的亚洲欧| 开心激情五月天网| 森林影视大全,最好看的2019年视频| 色婷婷小说网| 国产精品久久欧美久久一区| 天天肏夜夜肏| 思思99久久| 五月深情久久| 日日狠狠久久偷偷四色综合免费 | 超碰色热| 五月丁香激情五月天| 亚洲激情婷婷| 伦99热| 就爱操www com| 97色碰| 欧美激情伊人| 久热这里只有精品视频免费观看| 色婷婷香蕉| 色五月大香蕉| 久久久大香蕉| 色婷婷五月综合在线| 直接看的AV| 丁香五月色情av| 思思re视频在线| 少妇AB又爽又紧无码网站 | 丁香五月在线| 日韩成人精品中文字幕| 亚洲激情婷婷| 色婷婷亚洲综合av| 久热播这里只有精品| 成人五月丁香花| 国产片色| 99re这里只有精品视频了| 丁香色五月婷婷17C| 直接看的av| yjzz亚洲国产| 好吊丝aV| 婷婷丁香六月| 日韩精品一品二区三区的使用体验| 婷婷五月伦理| 久久久天堂国产精品女人| 五月大香蕉| 91视频五月丁香| 9热久久在线| 91a片爽| 五月激情另类| 99精品热| 日本熟女视频一区二区| 色婷婷色99国产综合精品| 99在线视频观看| 伊人成人宗合网| 色婷婷影视| 五月综合亚洲色| 99日本在线| 极品色丁香| 国产精品人人妻人人爽| 啪啪操网| 激情五月婷婷色| 91在线资源| 99视频精品全部免费观看| 亚洲日本韩国| 日日天天操| 99精品偷自拍| 天天天天天天天干| 色婷婷综合视频| 久婷视频| 狠狠五月综合在线| av第一二区| 日韩视频99| 中国丰满熟女A片免费观| 五月综合婷婷开心网| 91丨九色丨东北熟女| 婷婷五月天美女| 天天日夜夜| 99热这是里只有精品| 99色在线观看| 狠狠舔| 五月丁香婷婷色| 久热九九| 婷婷色色网| 丁香五月瑟瑟| 色色网站毛片| 五月天五月婷五月激情网| 国产精产国品一二三在观看| 人人爽人人爽人人爽人人爽| 日逼AV影音先锋男人资源站| 亚洲色涩视频| 亚洲视频一区| 丁香婷五月| 欧美大片| 夜夜天天天天天干天天爽| 综合色、色综合| 五月丁香淫淫婷婷婷| 99丁香五月婷婷在线| 六月婷婷国产| 97丁香视频| 成人在线视频一区| 久九色| 色99在线| 成年人99热| 丁香五月五月婷婷欧美大香蕉| 就爱射中文字幕资源网| 99久久97| 国产成人AV在线播放| 亚洲av网站| 中文人妻AV久久人妻18| 五月丁香激情六月| www,超碰| www.久久99热地址发布| 天天久久66xxx| 国产精品A成V人在线播放| 99er6热在线观看精品6| 日韩美女羞羞网站在线观看| 免费黄色AV| 第2色五月婷| 99九九这里有免费视频| 色五月婷婷影院| 天天操无码| 五月婷婷综合网| 婷婷色av| 久久停停超碰| 国产日产亚洲系列最新| 天天摸天天透天天舔| 99色综合网| 丁香五月综合| WWW.婷婷| 婷婷五月天受日本法律保护| 9视频在线成人网站| 99热这里只有精品4| 99热综合网| 51精品国自产在线| 五月人妻婷婷视频| 色婷婷基地在线| 人人操人人妻| 激情av| 天天操夜夜肏| 丁香激情四射| 三级片AAA久久久AAA久久久AAA| 噜噜色婷婷| 丁香六月婷婷激情综合| 三日本无码| 色综合久| 色丁香影院| 久久刺激网| 激情婷婷丁香| 成人网站在线观看视频| 天天干天天操天天爱| 97色色综合| 少妇伦子伦精品无吗| 91|疯狂丨高潮丨对白| 天天综合亚洲综合网天天αⅴ| 婷婷丁香六月| 激情九九这里只有精品| 美欧日韩国产成人在战| 国精产品一区一区三区免费视频| 国产婷婷五月天| 丁香五月在线人妻| 婷婷WWW久久| 成人AV在线电影| 人人草人人看| 人人爽天天莫| 东北熟女视频99| 丁香六月婷| 免费视频99| 日本五月丁香| 色综合色五月| 任我肏视频精品| 91精品综合久久久久久五月丁香| 99久热| 人人干人人操人人摸人人做| 九月婷婷色色| 麻豆科斗777| 91在线操| 黄色AAAA韩国guochansanji| 色丁香五月| 婷婷九月丁香| 色情五月丁香婷婷网| 色色日本欧美| 九九色婷| 色五月婷婷久久| 久久久性爱视频| 九九精品在线网| 亚洲亚洲激情| 大香蕉网站,大香蕉综合| 青青草99re| 久热在线中文字幕色999舞 | 色婷综合| 99超超碰| 免费看欧美成人A片无码| 综合激情视频| 丁香五月23111| 激情涩涩网| 九九激情综合| 玖玖婷婷五月| 性色综合网| 久久久天堂国产精品女人| 色综合九九| 五月激情小说| 婷婷九月丁香| 婷婷五月色播放| 丁香婷婷婷五月| 激情综合网亚洲色图| 五月婷婷伦理| 玖玖国产视频一区| 成人短视频在线| 九九AV在线| 啪啪黄页网| 亚洲婷婷五月| 伊人久热91| 五月婷婷 自拍| 婷婷五月天久草在线| 98国产精品综合一区二区三区| 蜜臀AV在线观看| 少妇性按摩无码中文A片| 99激情视频| 丁香五月婷婷基地| 婷婷综合久久| 亚洲激情四射| 9l视频自拍9l视频自拍九色学生| 开心婷婷丁香五月| 日韩视频99| 六月丁丁香| 99精品大片| 婷婷五月天激情网站| 日本激情五月天‘| 五月激情开心婷婷| 五月丁香婷婷久久| 青青草护士中出内射-欧美电影在线天堂新版| 色婷婷五月影视| 九九99免费视频| 日本三级中国三级99人妇网站| 午夜色婷婷| 丁香五月激情婷婷视频| 五月丁香婷婷爱激情综合网| 永久的网站AAAA | 五月丁香欧美综合| 五月丁香六月婷婷无码| 激情五月天 婷婷| 五月丁香婷婷综合| 天天干狠狠| 激情丁香九九五月综合网| 亚洲AV网址| 很很干天天干| 开心五月婷婷| 狠狠色综合图片| 9 1 A v久久久| 99热资源在线| www九九| 丁香五月社区| 国产看真人毛片爱做A片| 免费看欧美成人A片无码| 丁香五月婷婷图片综合| 激情婷婷激情在线不卡| 91久久久久久久久久| 五月婷婷六月天| 婷婷五月情| 综合激情开心五月| 这里只有精品在线播放| 99在线亚洲| 少妇人妻人伦A片| 啪啪一区| 五月丁香网站| 一级片操逼视频| 亚洲丁香花五月丁香花| 亚洲欧洲午夜成人精品av| 国产成人网站在线观看| 另类五月婷婷| 俺去也在线视频| 日本色五月婷婷| 99自拍视频| 久久综合久色欧美综合狠狠| 99热99日天天干| 婷婷五月综合色拍| 天天爽天天爽天天爽天天爽天天爽| 五月天色综合服务平台| 激情五月天小说| 91精品久久久久久77777| 日本欧美成人片AAAA| ww超碰在线| 涩综合网| AV 3P| 99热在线免费| 情色婷婷五月天| 99色色网| 91热久| 欧美婷婷六月丁香综合色| 五月天婷婷成人资源站| 色丁香五月| 五月天丁香| 六月激情网| 激情宗合哪里能看| 99热在线免费| 激情五月综合网| 亚洲综合五月天婷婷| 九九热99熟女| 国产va在线视频| 国产成人亚洲综合A∨婷婷| 99热在线播放| 丁香婷婷久| 日韩成人精品中文字幕| 超碰狠狠色| 久久人操| 无码日本精品XXXXXXXXX | 国产成人AV在线播放| 婷婷在线操| 日本高清久| 欧美69久成人做爰视频| 日韩影院三级| 人人人人人人人草| 九九成人| 婷婷久久五月天中文字幕在线观看| 天天爱天天做天天舔| 色播五月天激情| www久视频com| 婷婷五月情| 亚洲色网络| 国产精品久久久久久久久久久久| 婷婷月综合| 热99精品视频| 色婷婷五月综合| 久久综合首页| 五月开行婷婷色五月| 精品人妻伦一二三区久| 五月天久久网站| 五月天久久www| 色婷婷六月| 国产视频福利| 激情五月狠狠| AA丁香综合激情| 91人妻人人做人碰人人爽九色| 91久久婷婷人人澡草| 五月天综合网| 丁香五月影视| 丁香六月婷婷综合缴| 777精品久无码人妻蜜桃| 91久久综合亚洲鲁鲁五月天| 婷婷涩五月天综合| 五月丁香六月婷| 成人片在线免费看| 俺去也在线视频| 日本婷婷| 五月天激情网图片| 97碰碰电影| 婷婷五月精品中文字幕| 五月丁香色综合| 色情五月婷| 九九热99热| 五月婷婷日| 激情婷婷丁香| 五月天婷婷基地丁香| 99久久6| 开心五月婷婷| www.婷婷六月天| 99色色视频| 青青日韩| 亚洲激情精品| 99热这里都是精品| 国产91视频| 五月婷婷亚洲色视频| 99热官网精品在线| 久久九九@| 五月天国产婷婷精品视频在线| 丁香五月激情五月| 丝雨一区二区| 激情九色| 丁香五月av在线| 天天天在线观看| 在线中文AV| 超碰成人在线观看| 丁香五月天成人网站| 五月丁香婷婷综合网| 成人 在线 日韩| 九月丁香| 97香蕉碰碰人妻国产欧美| 丁香久久五月天视频在线观看| 伊人婷婷五月天| 色婷青青| 激情婷婷丁香五月天小说| 婷婷丁香五月亚洲免费| 丁香婷婷五月人体| 男人操女人高潮91视频| 精品国产va久| 99性视频| 成人五月天在线观看| www.99热这里只有精品| 九九色影视| 91激情五月开心| 天天综合 99久久婷婷| 人人干99| 五月天久久综合| 99日本精品视频热| 色欲婷婷五月天| 狠狠干在线| 九九热这里只有精品首页| 丁香五月电影| 国产Va视频| 国产全是老熟女太爽了| 丁香五月骚喷水视频| 中字幕视频在线永久在线观看免费| 六月丁香婷婷尤物| 五月婷婷av在线| 五月婷婷AV| 人人叉久| 91碰| 欧美综合123区| 天天日,天天干,天天操| 天天日天天插天天操| 国产亚洲精品AAAAAAA片| 激情五月综合色婷婷| 91性交在线播放| 九九99一区| 久久婷综合网| 啪啪综合网| 少妇丁香婷婷 | 国产精品色婷婷久久久精品| 182TV大香蕉| www,久久久| 操人91| 五月丁香伊人网| 99草在线免费观看视频| 五月天丁香成人| 五月天婷婷綜合院| 五月婷婷丁香| 日韩激情人伦人| 老司机伊人| 久久九九@| 99热这里只有精品9| 色的色综合| 婷婷五月丁香四射| 色99色| 五月天色色网站| 久久AAAA片一区二区| 天天日天天日天天搞| 超碰在线94| 久久99久久久久久| 97涩婷婷| 99热99免费| AV中文字幕夜夜操b天天摸bb | 五月丁香日本一抹本| 少妇人妻偷人精品无码视频新浪| 五月天色婷婷基地| 亚洲无码AV片| 91免费看片| 婷婷基地成人五月天| 1级欧美日韩| 欧美日韩123| 日韩狠狠色婷婷| 色综合女人99| 日本高清久| 天天综合久久| 99久久五月婷婷| 色色色99| 99精彩视频在线观看| 日本97久久久精品| 噜噜噜久久| 五月亚洲| 狠狠搞五月天| 67194线路二在线观看| 久久婷.com| 婷婷免费无视频| 9久9久| 五月天激情国产综合婷婷婷| 亚洲人人操| 色五月婷婷少妇人妻| 久久婷婷六月综合综合| 亚洲第一综合| 成人免费va| 国产夫妻操逼内射视频| 一级性感毛片| 综合五月婷婷| 丁香婷婷成人网站| 九九免费视频在线| 婷婷五月天激情电影| 亚洲无码99| 丁香六月婷| 五月深爱婷婷| 色色五月天丁香婷婷| 久久婷婷青青| 丁香婷婷九月| 操丝袜视频影院导航| 日本三级日本三级三级人妇四虎| 九九婷婷五月天| 久久久久激情| 日本在线噜噜| site:hcxsz888.com| 欧美婷婷丁香五月| 亚洲国产无线乱码在线观看| WWW.99视频| 午夜性爱影视一区77| 97人人搞| 天天色凹凸| 久久婷婷五月| 亚洲AV成人在线| 综合一本道| 欧美丁香六月在线观看视频| 啪啪黄页网| 伊人激情综合| 久久精品99国产精品日本| 色呦呦美女| 日韩爱操视频| 安息电影在线观看完整版| 久久久久婷| 月丁香久久久|