欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ECC內(nèi)存糾錯與UE排障:從“顯示2”到MBIST驗證實戰(zhàn)解析

ECC內(nèi)存糾錯與UE排障:從“顯示2”到MBIST驗證實戰(zhàn)解析 寫這一段內(nèi)容時我心里其實先想到的是兩年前半夜處理一臺存儲節(jié)點告警的場景帶外管理頁面里那段Uncorrected ECC Error Count: 2以及第二塊DIMM槽位上那根看似全新、實際已經(jīng)悄悄壞掉的內(nèi)存條。也就是從那個顯示2開始我把ECC相關(guān)的日志解析、寄存器和MBIST測試鏈路整個翻了一遍才慢慢把這個領(lǐng)域里容易被忽略的細(xì)節(jié)串成體系。這篇東西不是教科書是我把ECC從原理到排障、再到芯片驗證側(cè)與MBIST交互踩過的所有坑一次性整理出來給同樣被這個2困擾過的運維和驗證工程師省點時間。1. 項目整體思路拆解ECC到底在解決什么問題1.1 從顯示2說起ECC不是玄學(xué)是一個現(xiàn)實交換打開服務(wù)器日志最讓人心頭一緊的不是CECorrectable Error而是UEUncorrectable Error尤其當(dāng)帶外管理面板上赫然寫著uncorr. ecc 顯示2。很多人第一反應(yīng)是完了內(nèi)存要炸其實這個2代表的是在這臺機(jī)器運行周期內(nèi)EEC引擎檢測到了兩次它自己也無法糾正的、發(fā)生在內(nèi)存讀路徑上的錯誤。ECC的全稱是Error Correcting Code糾錯碼。它和防錯完全是兩回事。DRAM存儲單元本質(zhì)是一個電容加一個晶體管電容漏電導(dǎo)致bit翻轉(zhuǎn)是它的物理宿命。ECC能做的是當(dāng)數(shù)據(jù)從內(nèi)存讀出來時通過一組額外的校驗位和數(shù)學(xué)運算判斷這一拍讀出來的數(shù)據(jù)有沒有錯以及如果只錯了一個bit能不能反推出原來的值。因此ECC并不是阻止錯誤發(fā)生而是在錯誤發(fā)生的那一刻把它兜住避免錯誤數(shù)據(jù)落入CPU的計算管線。有代價就有取舍。ECC需要額外的DRAM顆粒來存放校驗位典型DDR4 ECC方案下72位物理位寬中只有64位是數(shù)據(jù)位剩下的8位全部用于校驗。這意味著內(nèi)存控制器要處理更寬的內(nèi)部總線、更復(fù)雜的時序以及每一次讀寫都要多走一套編解碼電路。1.2 ECC的三大落地場景ECC其實不是內(nèi)存的專屬詞。從消費級到企業(yè)級從CPU內(nèi)部緩存到SSD主控再到PCIe鏈路到處都有它的身影。梳理下來核心場景可以分成三類內(nèi)存ECC最經(jīng)典也最被人熟知。用于糾正DRAM顆粒內(nèi)部的隨機(jī)bit翻轉(zhuǎn)。根據(jù)能力不同分為單bit糾錯SEC和單bit糾錯加雙bit檢錯SEC-DED這是服務(wù)器內(nèi)存的基本盤。存儲介質(zhì)ECCSSD里的NAND Flash、機(jī)械硬盤里的扇區(qū)數(shù)據(jù)都會用LDPC或BCH這類更有攻擊性的糾錯碼。它們面對的錯誤形態(tài)更復(fù)雜比如NAND的電荷泄漏、寫干擾引起的連續(xù)多位錯誤。傳輸鏈路ECCPCIe、DDR總線上傳輸?shù)臄?shù)據(jù)也帶CRC或ECC類型的保護(hù)用來對抗信號完整性問題導(dǎo)致的位錯誤。這三個場景往往是聯(lián)動出現(xiàn)的內(nèi)存ECC掛了報出來的錯誤可能會被上層存儲的ECC再次兜住也可能直接流到CPU觸發(fā)Machine Check。理解這一點對后續(xù)排查那條uncorr. ecc 顯示2會很有幫助。1.3 誰需要把這篇文章看完如果你是服務(wù)器運維、存儲管理員或者正在做芯片級存儲控制器驗證這篇文章能幫你徹底搞清楚三件事ECC是如何在底層工作的為什么顯示2了系統(tǒng)還沒癱以及當(dāng)MBIST測試遇上ECC邏輯時那些繞不開的設(shè)計交互。尤其是最后一點很多做驗證的同事容易忽略但它往往是芯片回片后最難查的bug之一。2. ECC糾錯原理拆解從bit翻轉(zhuǎn)到糾錯引擎2.1 DRAM單元為什么會翻轉(zhuǎn)DRAM的最小存儲單元是一個晶體管加一個電容電荷存不存在由電容上的電壓決定。邏輯1對應(yīng)高電壓邏輯0對應(yīng)低電壓。電容會漏電所以DRAM必須周期性刷新這就是它名字里Dynamic的由來。如果一次刷新間隔內(nèi)有高能粒子擊穿電容介質(zhì)或者鄰近單元讀寫在位線上耦合出足夠大的噪聲干擾單元里的電荷狀態(tài)就會改變這就是我們說的bit翻轉(zhuǎn)bit flip。在芯片工藝還在90nm甚至更高的年代alpha粒子封裝材料中的微量放射性元素衰變產(chǎn)生是主要元兇。工藝到28nm以下后中子引發(fā)的單粒子效應(yīng)SEE比重開始上升。這些微觀層面的物理過程無法徹底消除ECC的意義就在于與其祈禱粒子不砸中存儲單元不如設(shè)計一套機(jī)制讓砸中之后系統(tǒng)還能繼續(xù)正確運行。2.2 SEC-DED的數(shù)學(xué)底牌ECC內(nèi)存最常用的方案是SEC-DEDSingle Error Correction, Double Error Detection也就是單bit糾錯、雙bit檢錯。這里有一個被很多人問爛了的問題64位數(shù)據(jù)為什么需要8位校驗位這要用漢明碼的編碼原理來解釋。假設(shè)我們需要給64位數(shù)據(jù)附加r位校驗位那么這r位校驗位需要有足夠多的組合狀態(tài)來同時完成兩件事一是定位出哪一位出錯如果沒錯也作為一種狀態(tài)二是保證任意一個bit翻轉(zhuǎn)都能被圈出來修正。對于單bit糾錯校驗位需要滿足一個不等式2^r m r 1其中m是數(shù)據(jù)位寬r是校驗位寬。m64時r6可以算出2^664而64617164不滿足大于等于71不夠r7時2^7128128647172滿足。所以理論上有7位校驗位就夠了。但這是純漢明碼的SEC能力它無法可靠區(qū)分單個數(shù)據(jù)位翻轉(zhuǎn)和兩個數(shù)據(jù)位同時翻轉(zhuǎn)。為了做到雙bit檢錯DED要在漢明碼的基礎(chǔ)上額外加上一位奇偶校驗位覆蓋整體碼字的所有位這樣如果發(fā)生了雙bit翻轉(zhuǎn)糾正邏輯會因為校驗方程矛盾而放棄糾錯并上報一個不可糾正錯誤UE。這就是為什么我們看到的內(nèi)存ECC物理位寬是64872位。還有一個算起來很直觀的對比如果只做奇偶校驗parity1位錯誤的檢測率是100%但沒有任何糾錯能力一旦檢測到錯誤只能panic重啟。ECC則把檢測到錯誤和糾正錯誤之間的鴻溝填上了一半。2.3 編解碼流程和延遲代價ECC編碼和解碼發(fā)生在內(nèi)存控制器的數(shù)據(jù)通路上。寫入路徑上控制器把64位數(shù)據(jù)送進(jìn)編碼器算出8位校驗位連同數(shù)據(jù)一起寫入DRAM讀取路徑上控制器把72位數(shù)據(jù)數(shù)據(jù)校驗一起讀回送進(jìn)解碼器。解碼器內(nèi)部會重新對64位數(shù)據(jù)做一次編碼得到新的8位校驗位然后用新的校驗位與存儲的8位校驗位做XOR運算得到一個8位綜合征syndrome。綜合征全0讀取過程沒有出錯。綜合征非0說明數(shù)據(jù)或校驗位產(chǎn)生了變化。通過綜合征與碼字中每位的對應(yīng)關(guān)系可以定位出哪一位翻轉(zhuǎn)然后直接把它求反完成糾正。如果綜合征表明翻轉(zhuǎn)位置與奇偶校驗方程沖突說明至少兩個bit同時出錯無法定位上報UE。這里需要補(bǔ)充一個容易被誤解的點SEC-DED能糾正的錯誤前提是同一個碼字64位數(shù)據(jù)8位校驗內(nèi)只發(fā)生一位翻轉(zhuǎn)。如果某個故障導(dǎo)致同一個碼字內(nèi)部有兩位翻轉(zhuǎn)ECC就只能報UE。這也是DDR4時代的Row Hammer攻擊高頻激活同一行的多個相鄰行導(dǎo)致鄰行存儲單元電荷泄漏讓安全界聞風(fēng)喪膽的原因——攻擊者可以刻意構(gòu)造雙bit翻轉(zhuǎn)讓ECC失效。延遲方面編解碼器雖然在內(nèi)存控制器內(nèi)部但每筆讀寫都要過一遍邏輯門DDR4時代實測下來對內(nèi)存帶寬的損耗在2%-3%左右延遲增加大約一到兩個時鐘周期。和系統(tǒng)因UE直接崩潰相比這個代價完全值得。3. 解密uncorr. ecc 顯示2日志、寄存器與應(yīng)急處理3.1 那條告警究竟代表什么如果你用的是x86平臺無論是Intel還是AMD內(nèi)存UE最終都會觸發(fā)Machine Check ArchitectureMCA機(jī)制。CPU內(nèi)部有專門的異常處理單元檢測到無法糾正的ECC錯誤后會記錄一組錯誤狀態(tài)到MSR寄存器Model Specific Register并可能觸發(fā)MCEMachine Check Exception。在Linux下這部分信息會通過mcelog或rasdaemon收集最終顯示在dmesg里。uncorr. ecc 顯示2字面上的意思在這臺機(jī)器歷史上內(nèi)存子系統(tǒng)上報的UE次數(shù)累計為2。別小看這個數(shù)字它并不代表系統(tǒng)已經(jīng)臨近崩潰而是代表在某兩次訪問中ECC引擎遇到了它不能修正的錯誤。這兩次錯誤是否讓系統(tǒng)實際不可用取決于錯誤發(fā)生在未被操作系統(tǒng)分配的物理頁還是已被應(yīng)用程序使用的頁錯誤是否命中了CPU緩存未覆蓋的內(nèi)存行平臺固件是否將MCE配置為接管并終止該進(jìn)程還是直接panic。所以你會發(fā)現(xiàn)一個很有意思的現(xiàn)象有的機(jī)器ue_count顯示幾十次系統(tǒng)還好好跑著有的機(jī)器只顯示1次下一秒就panic了。這個差異在于錯誤落點而不是錯誤次數(shù)本身。3.2 Linux下怎么精確追蹤UE拿到顯示2之后第一件事不是拔內(nèi)存而是把日志的源頭搞清楚。主流手段有三個rasdaemon現(xiàn)代Linux發(fā)行版尤其RHEL/CentOS 8以上默認(rèn)用rasdaemon把MCA事件記入ras-mc-ctl。執(zhí)行ras-mc-ctl --summary可以快速看到ce_count和ue_count的匯總ras-mc-ctl --errors可以看到每次錯誤的詳細(xì)信息包括Physical Address、DIMM槽位、內(nèi)存控制器和信道編號。mcelog老牌工具更多面向Intel平臺會把MCE事件解碼成可讀文本適合在舊系統(tǒng)上排查。EDAC/sysfs接口/sys/devices/system/edac/mc/mc0/ue_count這個文件里實時保存著不可糾正錯誤計數(shù)。有些平臺每個mcX目錄對應(yīng)一個內(nèi)存控制器里面的ce_countcorrectable errors和ue_countuncorrectable errors可以直接cat出來。我曾經(jīng)在一臺雙路服務(wù)器上遇到過排查陷阱ue_count顯示2但ras-mc-ctl --errors里只列了一條記錄。后來發(fā)現(xiàn)是因為ue_count在EDAC層把下一次讀取時又遇到同樣的物理壞地址合并處理了第二個錯誤實際上是對同一個壞DIMM的重復(fù)訪問并未產(chǎn)生新的MCA事件。所以看計數(shù)之前一定要結(jié)合錯誤日志里的物理地址和DIMM槽位來綜合判斷。3.3 一份完整的UE應(yīng)急行動清單當(dāng)告警出現(xiàn)在監(jiān)控屏上按下面的順序做能最大程度避免業(yè)務(wù)受損拍照留檔記錄當(dāng)前所有日志輸出包括dmesg、ras-mc-ctl --errors、帶外管理界面截圖重點記錄錯誤物理地址和DIMM編號。確認(rèn)錯誤是否持續(xù)增長。如果undiected地址只出現(xiàn)過一次則暫時不恐慌觀察下一段時間看是否同一根內(nèi)存條反復(fù)出現(xiàn)新地址。定位物理DIMM槽位。根據(jù)rasdaemon或帶外管理控制器報告的信息將邏輯信道/內(nèi)存控制器編號映射到主板上的具體DIMM位置。大多數(shù)服務(wù)器主板在BIOS的Memory Ranks信息中會給出CPU、Channel、Slot編號的對應(yīng)關(guān)系。這一步做錯了后面拔錯內(nèi)存條會導(dǎo)致整機(jī)直接重啟很傷。安排可維護(hù)窗口進(jìn)行內(nèi)存替換。UE意味著存在不可糾正的硬錯誤哪怕是一次性事件也說明該內(nèi)存顆粒已經(jīng)處于不可靠狀態(tài)最好的處理方式就是更換。更新固件與微碼。有時UE是內(nèi)存控制器或時序訓(xùn)練固件的bug導(dǎo)致的針對特定型號顆粒主板廠商會發(fā)布新的BIOS或BMC固件修復(fù)對某些內(nèi)存條時序參數(shù)的識別錯誤。執(zhí)行加壓測試。換完內(nèi)存后不要立刻上生產(chǎn)用memtest86跑一整輪完整測試確認(rèn)所有bank、所有地址模式都沒有報錯再重新啟用設(shè)備。這里有一個從實戰(zhàn)里磨出來的經(jīng)驗永遠(yuǎn)不要只根據(jù)ue_count數(shù)字決定要不要換件要看物理地址是否可復(fù)現(xiàn)。因為UE一旦觸發(fā)系統(tǒng)固件很可能會屏蔽相關(guān)物理頁面后續(xù)訪問同一地址會繼續(xù)產(chǎn)生同樣錯誤導(dǎo)致計數(shù)疊加。這種情況下?lián)Q一塊CPU、甚至只是重新插拔一次內(nèi)存條讓固件重新做內(nèi)存初始化都可能讓計數(shù)停住。4. MBIST與ECC的相愛相殺芯片驗證視角4.1 什么是MBIST為什么它不能取代ECCMBISTMemory Built-In Self Test是在芯片內(nèi)部、直接掛在存儲器端口上的自測試電路。它的目的是在制造測試或上電自檢階段快速覆蓋整片SRAM/DRAM的所有地址單元檢測stuck-at fault固定為0或1、transition fault翻轉(zhuǎn)慢、coupling fault單元間相互干擾等物理缺陷。有人會問既然MBIST能把壞內(nèi)存顆粒測出來為什么還需要ECC答案是MBIST在出廠測試時可以找出已死的單元但物理器件的可靠性是隨時間變化的。一顆顆??赡茉诔鰪S時所有單元都是好的運行半年后因為某個defect慢慢電遷移、氧化物擊穿開始出現(xiàn)單bit翻轉(zhuǎn)。ECC存在的目的就是應(yīng)對這種后天變壞把這位翻轉(zhuǎn)在業(yè)務(wù)無感的情況下糾正掉。反過來如果一個壞單元恰恰在MBIST測試時表現(xiàn)為可以讀寫但在某種特定的鄰近單元數(shù)據(jù)組合下才失效ECC可以兜住這種邊界錯誤但長期可靠性仍有風(fēng)險。所以在成熟的SoC驗證策略里MBIST和ECC不是替代關(guān)系而是互為補(bǔ)充——MBIST負(fù)責(zé)篩選出固定的物理缺陷ECC負(fù)責(zé)在生命周期內(nèi)吸收隨機(jī)錯誤。驗證工程師面臨的問題則是如何讓這兩套機(jī)制在同一塊芯片上協(xié)同工作而不互相干擾。4.2 MBIST寫PatternECC在旁邊搗亂這是芯片驗證里最容易翻車的一個環(huán)節(jié)。MBIST引擎為了測出存儲陣列的故障會用特定的算法March C-、GALPAT、Checkerboard等向目標(biāo)地址寫入特定的數(shù)據(jù)pattern再讀回比對。但如果存儲控制器的數(shù)據(jù)通路上有ECC編碼器問題就來了MBIST寫入pattern的地址數(shù)據(jù)會先經(jīng)過ECC編碼器自動生成校驗位然后完整地一起寫入存儲體。這看起來沒有問題真正的問題在于某些故障模型需要直接對存儲陣列內(nèi)的原始數(shù)據(jù)做操作或者需要注入故障來驗證ECC邏輯本身——MBIST的pattern經(jīng)編碼器扭曲后測試人員無法精確控制存儲體里存儲的位模式。舉一個實際場景version 1的MBIST控制器在設(shè)計時直接復(fù)用了內(nèi)存ECC的寫通道路徑。跑March C-測試時MBIST生成數(shù)據(jù)0x00000000_00000000經(jīng)ECC編碼后實際寫入存儲體的是72位的碼字64個數(shù)據(jù)位全08個校驗位全0。接下來MBIST寫0xFFFFFFFF_FFFFFFFF實際寫入的碼字里有一部分校驗位不是全1。由于MBIST希望驗證的正是寫0讀0、寫1讀1的物理單元行為而ECC編碼后的數(shù)據(jù)對這種期望值做了二次變換一旦ECC邏輯本身有bug比如校驗位計算錯誤測試結(jié)果會直接判Fail但這個Fail是來自存儲單元還是來自ECC邏輯很難從結(jié)果里分離出來。正確的做法是在MBIST模式下通過一個獨有的旁路信號把ECC編碼器從數(shù)據(jù)通路上隔離出去。MBIST直接向存儲陣列寫入原始pattern不經(jīng)過任何編解碼。ECC邏輯在MBIST模式下就必須處于完全靜默的狀態(tài)。這個旁路信號需要和業(yè)務(wù)模式的開關(guān)互鎖防止跑到一半被誤觸發(fā)。你要是問為什么很多設(shè)計死都死在這里答案往往就是這個旁路的互鎖邏輯沒有做干凈。4.3 ECC錯誤注入驗證ECC邏輯的關(guān)鍵場景驗證ECC邏輯本身只在MBIST中測試正常讀寫是不夠的因為ECC的糾錯和檢錯路徑只有在真實發(fā)生位翻轉(zhuǎn)時才會被觸發(fā)。而芯片內(nèi)部并不會平白無故產(chǎn)生位翻轉(zhuǎn)所以驗證階段要人為注入錯誤。業(yè)界通用做法是在MBIST控制器或ECC引擎內(nèi)部加一套錯誤注入邏輯Error Injection, EI。通常提供幾種注入模式注入到寫入路徑在數(shù)據(jù)從總線進(jìn)入存儲體之前把某一位或多位進(jìn)行翻轉(zhuǎn)。這樣存儲體里存的數(shù)據(jù)本身就是錯的讀取時會觸發(fā)ECC的糾正流程。這種注入方式最貼近真實的位翻轉(zhuǎn)場景。注入到讀取路徑數(shù)據(jù)從存儲體讀出之后、進(jìn)入ECC解碼器之前做翻轉(zhuǎn)。這種方式模擬的是讀路徑數(shù)據(jù)總線上的信號完整性問題而不是存儲單元的故障。注入到地址總線把讀或?qū)懖僮鞯哪繕?biāo)地址指到另一個位置用于驗證地址譯碼器和ECC邏輯的交互這種場景比較少見但對排查數(shù)據(jù)寫不進(jìn)正確地址的bug非常有效。無論哪種注入最關(guān)鍵的一點是注入窗口的控制。必須精確定義從哪個cycle開始注入、持續(xù)多少cycle、在哪個bank/row/column位生效。如果注入窗口不精確錯誤可能落在ECC解碼器無感區(qū)比如剛剛寫完、數(shù)據(jù)還在緩沖里導(dǎo)致測試結(jié)果不穩(wěn)定。我見過不少驗證團(tuán)隊在最初跑ECC error injection的時候前后跑了十幾個小時每次注入的結(jié)果都不一樣最終發(fā)現(xiàn)是注入使能信號沒有和存儲器的寫完成響應(yīng)做同步導(dǎo)致有時錯誤數(shù)據(jù)沒進(jìn)存儲體就結(jié)束了。4.4 MBIST與ECC狀態(tài)清理的連鎖反應(yīng)MBIST測試結(jié)束之后存儲體里殘留了大量測試pattern其中包括一些經(jīng)過錯誤注入的、不可糾正的碼字。如果此時直接退出MBIST模式把系統(tǒng)切到業(yè)務(wù)模式并讓ECC引擎接管存儲器的訪問會發(fā)生什么答案很刺激ECC引擎在首次訪問到某個殘留的錯誤碼字時會立即上報一個UE。如果這個UE的控制邏輯沒有做好與系統(tǒng)上電流程的握手可能直接觸發(fā)MCE或系統(tǒng)啟動自檢失敗。所以在真機(jī)驗證階段MBIST模式下跑完所有故障注入用例之后必須有一個專門的存儲體清理序列要么重新寫一遍所有地址的已知數(shù)據(jù)要么直接對相關(guān)內(nèi)存段做一次性ECC重計算和重寫。同時還要將ECC狀態(tài)寄存器里的CE/UE計數(shù)清零防止殘留的歷史錯誤干擾后續(xù)正式業(yè)務(wù)的數(shù)據(jù)記錄。這是一個很容易被測試用例規(guī)劃遺漏的細(xì)節(jié)。很多工程師在RTL仿真階段看不到這個問題因為仿真環(huán)境通常不會模擬MBIST和ECC同時上電的場景只有到了系統(tǒng)級驗證或回片測試階段這個問題才會以各種詭異的啟動失敗形式冒出來。5. 常見問題速查從日志到硬件的排障手冊把這些年遇到的典型問題整理成一張速查表希望能幫你少走點彎路?,F(xiàn)象可能原因優(yōu)先排查動作dmesg看到Uncorrected ECC Detected系統(tǒng)沒掛UE落在未使用的物理頁或被固件屏蔽記錄物理地址觀察計數(shù)是否持續(xù)安排內(nèi)存替換ras-mc-ctl --errors記錄的地址一直不變固件對壞頁做了屏蔽每次訪問同一地址重復(fù)報錯確認(rèn)是不是同一DIMM同一rank換件即可/sys里的ue_count和rasdaemon顯示不一致兩套工具統(tǒng)計口徑不同或EDAC驅(qū)動未完全加載以帶外管理日志為準(zhǔn)同時檢查edac模塊是否加載MEMTEST86報錯但系統(tǒng)日志無ECC記錄BIOS中ECC開關(guān)未開啟或內(nèi)存運行在非ECC模式進(jìn)BIOS確認(rèn)Memory ECC選項為Enabled重啟后重新測試DIMM Status顯示OK但ce_count持續(xù)增長單bit可糾正錯誤持續(xù)出現(xiàn)單元存在潛在故障重視CE增長趨勢盡早安排替換避免演進(jìn)為UE更換內(nèi)存條后ue_count仍然存在日志順序未徹底清理或報錯來自另一根內(nèi)存清理日志和BMC計數(shù)后重新加壓測試觀察是否新增MBIST失敗但實際存儲單元完好ECC編碼器在MBIST模式下未旁路pattern被改寫確認(rèn)MBIST旁路信號是否有效在驗證平臺中打印校檢修標(biāo)志MBIST錯誤注入結(jié)果不穩(wěn)定注入窗口與讀寫時序未對齊檢查注入使能信號是否與有效數(shù)據(jù)同步縮小注入窗口5.1 關(guān)于CE增長但UE為0要不要動很多運維在ce_count不斷增長的情況下因為ue_count還是0就判定內(nèi)存沒問題。這其實是個危險的誤解。CECorrectable Error說明發(fā)生了什么說明ECC引擎確實糾錯成功了——它糾正了不代表此后的每次讀都對。當(dāng)一個存儲單元開始頻繁出現(xiàn)CE時它的故障率正在指數(shù)上升之后那一次UE出現(xiàn)往往就是壓垮駱駝的最后一根稻草。我個人的經(jīng)驗法則是如果一塊DIMM的ce_count在兩周內(nèi)持續(xù)增長超過一個量級即使沒有UE也應(yīng)該進(jìn)入更換流程并優(yōu)先考慮把這塊DIMM上的業(yè)務(wù)負(fù)載遷移走。很多廠商的RAS策略里也會把同一DIMM的CE到達(dá)閾值設(shè)為主動預(yù)警條件。5.2 關(guān)于內(nèi)存條混插ECC內(nèi)存對顆粒一致性要求比普通人以為的更高。不同廠商、不同批次、甚至同一廠商不同周期的顆粒在時序培訓(xùn)時的表現(xiàn)會有細(xì)微差異?;觳蹇赡軐?dǎo)致內(nèi)存控制器只能按最差的時序參數(shù)運行表面上看兼容性沒毛病但在長時間高負(fù)載下讀寫裕量大幅下降CE/UE數(shù)量會明顯上升。盡量保持同一個DIMM槽位組內(nèi)的顆粒規(guī)格一致至少保證同一個Channel下的DIMM來自同一批次。你沒看錯不是只要同容量同頻率就行連緩存行都細(xì)到顆粒級別的匹配才能讓時序訓(xùn)練結(jié)果更優(yōu)。5.3 服務(wù)端替換內(nèi)存后必做的三個核對核對槽位映射替換前拍照、畫圖記錄好哪根DIMM對應(yīng)哪個Channel/Rank。若插錯槽位可能觸發(fā)內(nèi)存鏡像模式的寫入數(shù)據(jù)不一致問題。核對BIOS內(nèi)存配置確認(rèn)ECC Mode、Mirror Mode、NUMA相關(guān)開關(guān)與替換前一致否則性能可能莫名掉一截。核對日志時間軸新的物理內(nèi)存安裝好后記得清理BMC和rasdaemon的歷史日志避免舊的UE計數(shù)與新事件混淆。6. 一點額外的體會說回開頭那個顯示2。在處理完那臺機(jī)器、換掉壞DIMM之后我特意把整個排查過程整理成了一套標(biāo)準(zhǔn)腳本包含自動抓取rasdaemon錯誤摘要、定位錯誤物理地址和DIMM槽位以及替換后自動清零統(tǒng)計的步驟。后來團(tuán)隊每次處理類似告警都按照這套腳本來走最直接的影響是沒人再因為顯示2這種數(shù)字而慌亂拔內(nèi)存了。ECC這個領(lǐng)域給我的感覺是它表面上是內(nèi)存控制器里的一段邏輯實際上牽扯到物理失效、體系結(jié)構(gòu)、固件策略和芯片驗證四個維度。任何一個維度沒打通遇到問題時都會感覺像隔著一層霧。如果你也正在被某個數(shù)字2困擾先把日志和物理地址對上再做任何硬件動作這是我能給出的最實在的建議。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久XX| 能看的AV| 好好干av| 97综合在线| 五月婷在线| 婷婷色网站| 久久总和99| 五月综合无码| 五月天伊人久久久久| 婷婷 久综合| 东北熟女高潮99综合99| 亚洲欧洲中文日韩久久AV乱码| 丁香五月激情图片| 五月天婷婷色播| 亚洲欧洲小视频9| 思思99久久| 综合欧美五月婷婷| 九九自拍网| 91精品国产综合久久久不卡电影| 久热黄色| 丁香六月婷婷色播| 日本大逼91| 五月天成人综合| 99热精品在线播放| 日本 @ va 免费| 97在线视频人妻九色| 丁香婷婷深情五月亚洲| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 五月天激情四射| 婷婷五月天首页| 香蕉久久国产AV一区二区| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 亚洲色无码| 99在线69| 99精品视频推荐| 人人操插| 婷婷激情人妻| 五月婷激情| 婷婷五月天亚洲激情戏精品| 26uuu国产精品| 国产婷婷婷| 久热久| 久月久在线视频| 五月天色婷婷综合| 91操人视频| 91.com男女操| 97超碰在线免费观看| 丁香婷婷六月在线资源观看| 丁香五月综合网亚洲综合欧美狠狠| 噜噜狠狠| 五月天色播网| 五月丁香少妇A| 五月天亚洲图片婷婷| 久久婷婷五月综合啪| 中文字幕丰满乱孑伦无码专区| 五月丁香成人日| www.刺激色网站www.| 日韩亚洲视频| 99激情视频| 夜夜嗨一区二区三区直播内容| 久久怡红院| 国产VA亚洲VA96| 青青热视频| av最新在线| 狠狠狠狠狠狠狠狠草| www网站在线观看| 九九色综合| 日日干夜夜撸夜夜骑| 五月激情丁香久久综合网| 丝袜激情网| 九九热视频网站| 六月婷婷九月丁香| 色色日韩| 日日操,夜夜撸| 亚洲中文乱字字幕线在永久| 另类综合婷婷五月天欧美视频| 五月天亚洲最大成人| 亚洲旡码| 丁香 婷婷 激情 综合 五月| 大香蕉伊人久久| 97热精品| 久久国产精品乱子伦_靑青草…| 五月天激情综合在线| 色狠狠综合| 狠狠干五月天| 欧美五月停| 三级毛片视频| 伊人www22综合色| 久久hd| 另类视在线| 丁香婷婷五月色成人网站| 丁香婷婷五月色成人网站| 婷婷五月激情图片| 亚洲VA在线| 日本久久爱| 色婷婷综合视频| 色婷婷久久| 亚洲啪啪视频| 成人国产欧美大片一区| 久久sp免费视频| 无码yw| 狼友视频在线观看18| 三级三久久线久久99久目本WW| 婷婷另类小说| 97碰人人操| 99热这里只有精品13| 可以免费看AV网站| 日韩成人电影AV| 久色| 大香蕉在线观看9| 婷婷午夜精品久久久| 丁香六月婷婷五月天| www.思思99热| 日韩一级网站| 亚洲XX日本| 五月天色婷婷伊人网| 另类激情网| 婷婷久久五月天| 激情五月天婷婷丁香| 另类少妇人与禽zOZZ0性伦| 免费看成人AA片无码视频吃奶| 婷婷黄色网| 影视av久久久噜噜噜噜噜三级| 色婷婷XXXXX| 玖操97| 丁香五月婷婷网| 91性高潮久久久久久久久| 中文字幕一色哟哟哟哟| 五月丁香久久| 婷婷成人AV| 婷婷久久五月| 婷婷四色五月| www.激情五月| 九九综合九色欧美狠狠| 99在线爽| 色五月综合网| 久激情| 五月婷婷六月丁香激情综合网| 五月天综合视频网| 午夜丁香久久久久久| 九九RE视频在线精品| 五月天婷婷丁香社区| 特级西西4444www无码| 97色五月丁香婷婷| 无码一区二区日韩| 色色色热| 丁香六月婷婷色XXXXX| 色综合色五月| 精品一区二区三区三区| 五月丁香六月婷综合成人综合| 色综合激情| 六月婷婷日| 五月丁香六月激情综合网| 射久久丁香五月| 婷婷久久五月| 精品久久99| 五月综合六月婷婷| 日日噜噜夜夜狠狠久久丁香六月| 岛国av电影网站| 成人国产欧美大片一区| 五月丁香色综合| 婷婷爱五月| 99久超碰| 久久免费操| 91久女| 亚洲小视频| 5月丁香啪啪啪| 成人中文网| 五月婷婷av| 天天干,夜夜爽| 中文字幕av在线| 丁香五月六月| 五月天社区婷婷丁香社区| 久99热| 天天久综合网永久入口18| 青青草性爱视频| 91人人爽狠狠狠| 婷婷丁香成人五月天| 日日爱激情| 碰99在线| 综合久久久| 亚洲视频码| 五月草影视| 五月天伊人久久| 乱抡小BB| 91精品久| 99热| 丁香久月婷| 天天干com| 99ER热精品视频| 亚洲视99| 丁香六月在线综合| 老司机伊人| 九九色婷婷Av| 婷婷五月天AV| 日本欧美在线| 无码日本精品XXXXXXXXX| 91操在线视频| 色婷婷五月天| 婷婷五月六月丁香综合| 狠狠综合色网| 91色逼| 伊人玖玖精品| 99久久久久| 安息电影在线观看完整版| 国产 码在线成人网站| 超黄亚洲瑟瑟网站| 丁香五月婷婷操逼| 天天五月天综合网址| 狠狠色婷婷丁香五月| 亚洲色五月天| 99视频自拍| 丁香五月性| 婷婷伊人| 97色综合| 五月花激情| 五月香蕉综合| 久99久视频精选| 成人永久免费视频在线观看| 婷婷,五月天,丁香,第一| 伊人www22综合色| 五月丁香婷婷爱激情综合网| 97色天堂| 色狠狠999综合| 日日干综合| yellow视频在线观看91| 久久99热免费| 国产精品汇聚精彩第二页 - 高清完整版在线 - 青蛙AV | 激情五月婷婷丁香| 99热成人在线观看| 丁香五月情色| 久久狠婷婷| 九九Av| 精品九九视频| 玖玖爱综合网| 国产一级黄色影片,| 国产97色在线| 色综合久久久久久久久五月| 亚洲AV无码影院| 久操大香蕉| 丁香五月狠狠在线观看| 亚洲视频国产一区| 五月婷婷色欲| 大香蕉九九| 深爱婷婷色| 色婷成人狠干| 久久精品国产精品| 色99在线| 五月天偷拍| 久久五月丁香婷婷| www,超碰| 婷婷五月天激情丁香| 欧美久久网| 荫道BBWBBB高潮潮喷| 久久五月天综合| 91要啪| 青青草免费公开视频| 国内外色色色色色成人视频| 六月丁香激情综合网| 男人的天堂五月丁香| 国内精品免费一区二区2009| a免费在线| 丁香九月婷| 色五月AV| 99热大香蕉| 丁香六月久久| 日本不卡一区二区三区| 婷婷狠狠操| 丁香婷五月天| 天天日,天天射,天天插| 成人做爰A片免费看网站找不到了| 九九99九九精品视频| 99无码视频| 99热精品综合| 精品51XX| 黄色一级影片| 婷婷五月天小说网| 激情又色又爽又黄的A片| 色婷婷激情| 婷婷色网| 亚洲精品久久久久久久久久吃药| 人与禽A片啪啪| 九九AV在线| 色五月婷婷丁香五月| 亚洲五月色| 六月婷婷久久| 91青娱乐青青草| 97色女人在线| 99这里只有精品|v| 五月婷婷激情| 丁香五月婷婷高清| www,超碰| 久久色五月天| 五月丁六月香| 国产亚洲在线| 无遮羞AV| 七七色色综合| 五月丁香拍拍激情综合| 深爱婷婷丁香五月激情| 日日操夜夜爽天天天| 日韩99色| 色色色色综合| 久久婷婷伊人| 91丁香色| 97啪啪| 丁香久色| 激情人妻综合| 青草视频在线观看视频| 97久久久免费福利网址| 婷婷五月天天天日日夜夜| 亚洲色婷婷99一9|| 激情久久久久久久久久久| 九九热99热| 青青草国产亚洲精品久久| 亚洲精品V天堂中文字幕| 成人无码髙潮喷水A片| 白人荫道BBWBBB大荫道| 97久久超级| 五月亭久久无码视频| 六月丁香婷| 五月天婷婷黄色| 99爱精品| 99欧美精品99日本精品| 丁香六月色香蕉视频| 五月深爱网| 91精品久久久久久| 亚洲欧美日韩另类| 色热久资源| 激情网开心网| 五月天色区| 国产精品黑丝| 天天婷婷天天| 婷婷香五月天| 六月婷婷综合久久| 五月停停激情网| 无码字幕中文| 婷婷9月天| 久久九九re热| 第四色色六月色综合| 亚洲综合网激情小说| 三十路磁力链接| 99热这里只有是亚洲国产| 泰州成人视频| 看片视频在线免费日产在线看| 五月花婷婷| www.99精品日操伊人乱碰在线| 综合 蜜月 婷婷| 2013AV天堂| 色综合色五月| 五月丁香基地| 婷婷99狠狠| 婷婷成人五月天| 色五月美女| 琪琪色五月天| 丁香色情五月综合网站| 另类专区在线观看| 欧美A片在线视频免费观看| 野外99热| se色99| 五月丁香啪啪综合| 一起草av| 97热精品| 综合伊人狠狠| 日日夜夜天天| 黄色五月婷| 久久五月综合| 99热这里只有精品免费| 五月天伊人| 欧美搡BBBBB摔BBBBB| 综合激情婷婷| 激情色播| 激情纯色婷婷五月天在线不卡视频| 四色五月婷婷在线观看| 在线色色| 美女婷婷激情亚洲| 婷婷久久18| 热的国产,热的综合,热的有码| 亚洲亚洲永久无码777777| 婷婷精品免费久久| 久久久噜噜噜操操操| 色愛综合网| 色五月丁香伊人五月| 久操婷婷| 99人人操人人爱久久久| 天天插天天插天天插| 五月天成人在线视频网站| 99热超碰人| 天天日日夜夜爽| 五月婷婷欧美激情| 国产精品18久久久| 九九激情网| 色欲婷婷五月天丁香| 少妇性按摩无码中文A片| 棕合影院色色| 直接看的AV| 99热国品| 色综合爱综合| 玖玖热视频| ai97re99一本| 久久久久99精品成人片| 欧美成人精品A片免费一区99| 婷婷五月天丁香久久| 丁香六月婷婷高清| 欧美交换配乱吟粗大25P| 国产超碰人人| 停停五月色宗合| 五月激情综合网婷婷| 黄色aaaaa| 另类激情五月| 欧美性爱丁香五月| 五月天婷婷色播在线网| 精品成人无码A片观看香草视频| 久久精品五月天| 丁香婷婷色五月| 国产AV一区二区三区最新精品 | 国产成人在线不卡AV| 亚洲综合狠狠艹| 成人国产欧美大片一区| 天天色伊人| 色5月婷婷| 婷婷丁香五月天影院 | 丁香五婷婷| 五月丁香六月婷婷国产视频| 婷婷综合在线网| 在线不卡视频| 激情av| 99热只有精品综合| 婷婷丁香五月激情| 色婷婷久久综合久色| 青青草五月天| 综合久色五月| 玖玖婷婷色欲| 玖玖精品视频| 26UUU欧美激情一区二区| 综合啪啪| 五月丁香久久久久| 婷婷五月激情小说| 亚洲婷婷丁香五月天激情小说| 五月婷婷婷婷| 色啪影院| 久久久香| a色色色色色| 婷婷丁香五月综合| 天天综合五月| 亚洲欧美日韩另类| 久久电影4399| 色婷婷色五月另类综合| 激情都市另类| 月婷婷婷婷五月| 任你搞网站| 久久久中文| 丁香六月色婷婷欧美| 久久99久久99久久99人受| 丁香久色| 激情五月天99色| 五月激情综合网| 综合天天综合| 欧美三级巜人妻互换| 婷婷中文字幕版| 色婷婷在线电影| jiqingliuyuetian| 五月丁香花视频| 99热这里只有精品免费| 69激情小说| 人人97操| 大香网伊人久久综合| 99自拍视频在线观看| 色中色综合| 99久久国产成人精品| 亚洲精品a成人在线播放| 99视频这里只有精品10| 99热国产| 热久免费视频9| 色婷婷六月天在线| 开心五月丁香啪| 另类视频一区| 五月天久久www| 91九色中文| 国产成人网站在线观看| 色色色在线播放| 成片免费观看大全| 丁香五月影院| 欧美婷婷精品激情| 激情99。| 中文在线视频久9| 精品久久99码| 99热6色| 五月婷婷AV| 99婷五月| 色色色地址| 亚洲色色在线| 天天日日爽| 这里只有在线精品| 丁香 婷婷 亚洲 熟女| 色亚洲无码| 欧洲婷婷五月天| 91碰碰| 九九热在线精品视频| 精品久久久人妻| 欧美激情 日韩无码 婷婷 五月天| 天天干,夜夜爽| 美国十月色婷婷在线观看| 婷婷五日b| 久操福利| 久久99免费视屏| www.五月天| 五月天伊人久久久久| 亚洲综合婷婷| 精品99久久久久成人网站免费| 影音先锋 一区| 久久久久久久人妻| 强辱丰满人妻HD中文字幕| 99热思思| 久久久9久| 五月婷婷丁香六月| tingting五月天亚洲| 99热久久这里只有精品2010| 亚洲AV成人精品日韩在线播放| 婷婷五月天影院| 超碰av在| 美女激情综合| 亚洲视频色色| 五月天天爱| 成人在线日韩| 婷久久久| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 大香蕉久操| 伊人婷婷色激情丁香| 99re这里只有| 色狠狠色噜噜AV天堂五区| 久久久五月天婷婷| 亚洲激情丁香五月天色| 亚洲人人操| 年轻的妺妺伦理HD中文| 久久久婷婷五月亚洲97号色| 久久网站免费亚洲| 99精品视频在线观看| 九九久久精品| 久久久jd| 国产五月天欧美色| 天天插天天日| 狠狠色噜噜狠狠| 五月天婷婷开心| 99丁香五月婷| 最新高清无码专区| 一区二区三区视频| 婷婷五月天影院| 免费视频在线观看的网站| 97久人人| 播四月婷婷六月丁香| 婷婷中文字幕| 色色五月丁香| 色综合天堂| 狠狠操狠狠插| 日韩在线视频中文字幕| 天天插天天爱| 91N 一起草| 噜噜噜噜噜日本视频| 亚洲精品色| 日本五月天网站| 色青五月天| 九9九9无码| 伊人久久大香蕉网| 黄网免费观看| 玖玖伦理电影| 人人人操97| 99热中文字幕久久| 激情六月天| 久久综合中文| www.婷婷五月| http:色情日本com| 丁香五月婷婷激情蜜桃| 永久天堂日本| 国产老熟妇亲子乱对白| 欧美成性色| 亚洲 小说 欧美 激情 另类| 99在线精品视频在线观看| 天天色综网| 五月婷婷色播| 婷色五月天| 激情五月天天| 很很色丁香久久停停| 激情综合网址| 色青青视频| 日韩无码色色| 婷婷深爱五月| 国产AV一区二区三区最新精品| 综合色在线| 七七久久综合| 开心五月激情网| 五月天欧美 另类小说| 婷婷丁香激情综合色情| 亚洲综合成人网| 日本欧美成人片AAAA| 成人免费120分钟啪啪| 99ri6在线视频| 操人久久| 9999色色色色| 久久五月丁香婷婷| 最新高清无码专区| 丁香影院五月综合| 色婷丁香| 99爱无码| 成人va在线观看视频| 俺去也在线官网| 婷婷五月色惰| 五月婷婷激情网| 99综合成人视频在线观看| 九九Av| 国产在线中文字幕| 五月天激情子轮| 香蕉婷婷色五月| 国产真实乱了老女人视频| 99久热精品在线| 人妻系列久久久久久久久久久| VfJxEwPH| 公的粗大挺进了我的密道| 淫视馆av三区| 99精品在线| 4438国产免费看| 欧美婷婷五月激情| 色噜噜狠狠色综合成人99| 伊人在线视频| 国在线激情网| www.狠狠| 色婷青青| 蜘蛛女免费观看完整版高清电影 | 2015WWW永久免费观看播放| 99啪啪视频| 丁香五月婷婷六月| 荫道BBWBBB高潮潮喷| 婷婷激情人妻| 深爱激情综合网| 精品欧美一区二区三区久久久| 婷婷婷久久久| 欧美成人五月天| 色五月婷婷综合| 大香蕉丁香婷婷| VA婷婷| 狼人婷婷久久| 色五月婷婷影视| www.狠狠色.com| 五月丁香免费看| 激情婷婷五月综合| 五月婷婷免费视频| 日本人妻伦在线中文字幕 | 五月天色综合| 99热只有精品在线播放| 色婷婷9| 一级无码作爱片| 午夜不卡成人一区二区| 亚洲激情综合| 丁香五月婷婷激情四射| 狠狠五月天| 9热超碰| 操逼福利视频| 国产国产乱老熟女视频网站97| 9久精品| 色噜噜五月天| 色婷婷激情五月天| 色99在线视频| 激情五月天福利| 2025天天操| 亚洲AV日韩在线观看| 色五月激情五月丁香五月婷婷啪啪综合 | 五月丁激情| 婷婷成人五月天| 99开心五月五月丁香激情| 婷婷四色五月| www.五月婷婷| 伊人久久婷婷| 97五月久久丁香婷婷| 人人人操B超碰| 久爱综合| 五月天激情啪啪| 91丨九色丨老熟女激情| 天天爽天天干天天| 色综合久网| 天天做天天摸| 婷婷丁香www视频日本韩国| 成人开心五月天| 一区二区三区四区牛| 色五月激情五月天| 婷婷网影院| 色情丁香五月婷婷精品| 91精品国产91久久久久青草| 五月亭亭六月天| 这里只有精彩小视频视频网站| 五月丁香六月激情综合| 激情五月天综合图片小说网站| 26uuu| 狠狠人人| 日本久久九| 99日韩网站| 九九超日本| 精品人妻伦一二三区久久| 嫩草AV久久伊人妇女超级A| 婷婷五月综合在线| 丁香婷婷精品视频| 亚洲性爱AV在线| 亚洲国产色色| 久99热在线观看| 99网| 99热这里精| 丁香社92视频| 五月天色色网站| 草草视频91| 国产精产国品一二三在观看| 秋霞三及片| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷丁香五月亚洲免费| 久青操| 欧美色频| 九色色| 久久久性爱视频| 色色色综合网| 五月丁香婷婷激情视频| 五月婷婷深深爱| 色婷婷五月天| 五月丁香婷婷综合视频| 五月丁香| 亚洲成人AV一区在线观看| 26uuu丁香婷婷五月| 丁香五月综合激情久久潮喷| 亚洲 成人 电影av在线观看| 五月丁香色色| 国产伊人五月天| 久久激情视频| 精品人妻一区二区三区四区不卡在| 91性高潮久久久久久久久| 超碰免费人| 综合另类视频| 婷婷丁香五月天综合网| 免费人人操| 少妇做爰免费视看片| 色五月婷婷在线| 婷婷五月天成人动漫 | 9久国产精品| 五月丁香成人版| se99热久久一本| 国产精品色色| 婷婷午夜天| 国产阿姨日皮艹逼内射视频| 美女91一起草| 免费观看全黄做爰的视频| 五月天婷婷色| 激情5月天天天| 99re久久| 亚洲AV无码成人精品区电影网| 天天干天天插| 亚洲综合1024| 婷婷综合精品视频97| 99热 在线观看| 狠狠五月激情丁香六月| 久久月天堂| 91碰| 亚洲成人黄色网| 丁香激惜男女| 亚洲啪啪啪啪| 男人的天堂97| 久久激情四射| 九九热在线观看视频| www,色色色网站| 色五月五月天| 男人的天堂999| 偷拍91九色| 成人久碰| Av大香蕉| 九九热99熟女| 噜噜吧天天爱| 六月丁香色婷婷| 99视频在线观看视频| 五月天激情图片| 9999热在线免费观看| 国内9l视频自拍老熟女九色| 五月天婷婷色小说| 中美日韩成人在线| 中文字幕黄色电影网址| 在线观看欧美3区| 色色欧美色色色| 天天干,天天日| 久久 天天| 综合五月丁香六月婷婷| 五月丁香激情六月| 激情综合网 激情五月天| 久久五月综合| 久久综合九九| 狠狠色婷婷7777久| 久久久18| 91久久婷婷| 国产精品久久..4399| 精品五月花| 亚洲一二三网| 一级韩国产精品毛| 色综合网页| 91午夜婷婷狠狠久久综合9色| www.yw尤物| 亚洲免费看片| 日本狠狠干| 成人综合网站| 免费黄色片子| 国产精品99久久久久久久女警| 色香蕉影院| 五月婷婷丁香六月| 激情五月天综合网| 天天狠狠夜夜狠狠2023| 婷婷丁香人妻天天爽| 五月天色不卡| 97精品人人A片免费看| 欧美久久婷婷| 色播五月网| 激情色色| 变态 另类 在线 | 综合网激情五月天| 99在线国| 深爱激情五月婷婷| 五月婷婷开心丁香| 五月天婷婷人妻| 五月婷婷中文字幕AV| 人人九色| 九九無妻| 三男玩一女三A片| 婷婷99视频在线| 日日操无码| 天堂综合久| 五月丁香啪啪网| 日韩啪啪视频| 色综合播放| 天天天添天天操| 激情五月五月五月婷婷| 九九久久综合网站| 来吧亚洲综合网| 天天日,天天插| www.99视频| 男人的天堂婷婷色五月| 无码字幕中文| 久碰婷婷视频| 5月婷婷综合| 五月天婷婷永久免费视频| 久久网思思| www.激情五月| 五月天淫乱视频| 97色色婷婷| 国产XXXX搡XXXXX搡麻豆| www99精品亚| 热99精品视频五月| 婷婷精品在线| 色偷偷色婷婷| 色综合久久久久| 波多野结衣不卡AV| 9热视频在线观看| 婷婷六月色丁香视频在线观看| 五月婷婷激情四月| 九九精品视频在线6| 五月丁香综合| 欧美性生交A片免费看| 久久精品五月| 伊人超碰| 夜夜操激情| 超碰久热| 亚洲123区高清入口| 337p大胆噜噜噜噜噜91Av| 色婷婷五月天成人网| 亚洲精品色| 精品亚洲国产成人A片在线鸭王| 色综合色综合色综合| 五月婷婷AV| 五月婷婷六月开心| 狠狠色综合网| 这里只有精品96| 亚洲激情综| 天天xxxxxx天天日| 欧洲色| 婷婷福利影院| 色哟哟精品| www.丁香五月| 亚洲av网站在线观看| 日本女色人人| 亚洲色啪| 九九热在线观看视频| 人与禽A片啪啪| 六月丁香综合| 婷婷六月激情综合| 色综合久| 91色九| 五月天国产婷婷精品视频在线| 亚洲天堂热| 激情九月天天天天婷婷| 色久综合天天做视频| 99热免费| 情色五月天 网站| 婷婷丁香色五月天久久88| 亚洲婷婷丁香| 99久久終合| 99久久国产成人精品| 色播婷婷五月天| 激情骚五月| 丰满人妻一区三区三区| 国产性爱一级| 97久久精品视频| 大狠狠在线| 九九人人操| 欧洲亚洲免费视频9| 久久精品这里只有精品免费首页| 日韩av变天就操逼不卡区| 91一起艹| 婷婷天天婷婷天天澡| 在线免费视频caop| 婷久看人爽| 亚洲激情网| 婷婷欧美综合| 成人视频在线免费播放| 久久婷婷电影| 狠狠干伊人| 最近免费中文字幕大全高清大全1| 久久九九网| 超碰9| 五月丁香婷婷99| 婷婷中文字暮| 99久久国产综合精品五月天喷水\| 亚洲色色图片| 免费观看大片视频 丁香婷婷 六月欧美| 日本三级日本黄色| 婷婷五月天综合色| 久久婷婷免费| 天天爽夜夜爽| 久久桃花网色婷婷| 婷婷AV丁香| 三男玩一女三A片| 婷婷激情丁香五月婷婷激情丁香五月婷婷 | 九九热最新地址| 色啪影院| 天天干 夜夜爽| 欧美综合五月丁香六月婷| 婷婷色色丁香五月天| 欧美日韩精品一区二区三区钱| 第四色婷婷五月| A片试看50分钟做受视频| 成人婷婷色五月天| 内射爽无广熟女亚洲| 国产va在线视频| 五月开心播播网| 操一操插一插| 久久97久久99久久综合欧美| 99爱最新免费视频在线观看| 秋霞少妇AV网站| 五月婷婷m| 一级视频网址| 色色色色色色网站| 久综合九| 亚洲精品国产setv| 9久久久久久久久久久| 人人色婷婷| 99久久精品色老| 欧美性丁香色色五月天干干| 2025中文在线视频字幕免费观看| 日日夜夜干| 丁香色播五月天| 999热在线观看视频| 五月丁香六月婷婷久久| 天天色99| 五月婷婷五月| 欧美性爱五月天| 欧美经典片免费观看大全| 天天爽成人综合网站| 国精产品一区一区三区免费视频| 色婷婷激情五月天在线观看| 五月天激情综合网| 九月丁香| 婷婷成人丁香色情基地30| 强壮公让我夜夜高潮A片视频| 大伊久久| 丁香六月| 婷婷色色五月| 另类五月婷婷| 欧美性生交XXXXX无码小说 | 99热欲| 夜夜夜夜撸夜夜操| 91九色小视频| 激情开心五月天| 中文aV网| 久久综合色五月| 久久久久er热| 久久欧洲综合网| 亚洲天堂啪啪| 99久热| 色综合射婷婷| 激情伊人| 性按摩玩人妻HD中文字幕| 欧美婷婷成人| 人人澡天天色天天做| 婷婷六月成人| 五月天激情久久| 电影蜘蛛女| 丁香六月激情毛片| 人妻AV在线| 色五月天电影| AAAA亚洲| 久久婷婷网址| 久久五月视频| 毛片毛片毛片毛片| 超碰人人艹| 密着浓厚中出乚交尾GvG935| 色色色地址| 欧美天天性| 99re视频在线播放| 99国产99| 日日干日日| 丁香五月六月综合激情| 色婷婷欧美在线| 色婷婷AV在线| 超碰操日| 五月婷婷开心网| 天天综合亚洲综合网天天αⅴ| 久久色吧| 久久婷婷网站| 天天综合社区| 婷香五月网在线| 九九综合网色全集| 99热综合| 99这里热| 深爱五月日韩| 五月天激情网图片 - 百度| 五月婷婷影| 91狼友视频在线观看| 超碰在线人人| 丁婷婷五月天在线播放| 国产又黄又爽又激情不遮挡视频在线观看| 丁香激情五月少妇| 97在线观看| 激情丁香五月| 色婷婷视频综合| 欧美性二区| 日本高清久| 怡红院成人AV| 精品一二三区久久AAA片| 欧美一级色| 丰满熟女人妻一区二区三| 六月婷婷天天操夜夜爽视频| 久久人视频| 精品国产AV色一区二区深夜久久 | 天天成人综合视频| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 色色日本欧美| 婷婷五月丁香久久| 婷婷在线视频| 91免费看片| 成人免费网站免费看| 欧美一级a | 五月天激情国产综合AV| www,五月天com| 99热在线爱| 亭亭丁香aV| 99综合| 热99国产精品| 欧美欧盟性爱网| 婷香五月网在线| 色999;丁香五月| 激情五月天久久丁香| 色九月婷婷丁香| 婷婷综合亚洲| 久久99久久99精品免视看婷| 丁香九月综合激情| www.99久| 久久99网站| 狠狠色婷婷7| 五月天色婷婷小说| 天天模,夜夜模夜夜爽| 深爱激情五月天婷婷网| 综合五月亭亭9| 亚洲精品性色| 久草热视频在线观看| 99热九九热| 一区二区乱码视频| 99在线视频精品| 老司机伊人| 婷婷五月天色| 99热这里只有精品8| 五月天婷婷久久| 国自产拍偷拍精品啪啪一区二区| www.婷婷六月天| 9色91视频| 五月婷护士| 五月婷久草| 天天综合五月| 六月婷婷之青青草| 2020夜夜操天天爽| 婷婷六月丁| 久9视频| 热久久这里只有精品| A片试看120分钟做受图片| 91av成人| 97香蕉久久超级碰碰高清版| 久久婷婷六月| 色婷婷五月综合在线| 丁香五月天啪啪| 日本色图综合| 色五月激情五月| ww超碰在线| AV动漫不卡无码免费| 激情综合五月激情17| 激情网开心网| 久久五月婷婷丁香| 婷婷丁香六月| 婷婷碰碰| 91九色国产在线| 六月丁香综合999| 开心激情网在线| 夜夜干夜夜操| 91久久日日| 9精品视频在线观看| 五月开心六月婷婷在线播放网站| 久久久久久丁香五月| 精品久久9| 成人超碰网| 综合激情肏逼网| 激情五月婷婷网在线观看| 久久视频这里99| 99热免费在线| 婷婷94s| 91色久| VfJxEwPH| 五月丁香激情综合| 91丁香婷婷综合久久欧美| www.色婷婷| 欧美激情-区二区三区| 色情婷婷| 久久五月天丁香花| 这里只有精品视频222| 色女伊人| 亚洲激情综合| 加勒比久热| 久热这里这里有精品| 天天色综合网1| 色激情五月| 五月丁香趴趴| 激情婷婷内射| 91婷婷色 | 色婷婷无吗| 电影《战争与艾拉》免费观看| 久久久久丁香婷婷五月天| 开心五月深爱五月| 日亚二欧美| www,欧美干干干干干干| av在线免费播放| 97成人在线视频| 亚洲综合网区| 成人版视频在线观看| 91女人18毛片水多国产| 欧美日本VA| 日本3级片一区2区| 亚洲一区二区色图-亚洲精品国产精品乱码-成人AV | 天天天干夜夜夜操| 99在线看片| 久久婷婷激情| 五月丁香偷拍| 婷婷五月天a| 狠狠色噜噜狠狠狠888| 色色色激情网| 99区视频| 五月婷婷六月丁香| 97超碰9久热婷婷热| 天天日夜夜夜操操操操| 超碰人人操人人干| 99内射视频| 天天婷婷色六月| 色五月激情五月| 国产亚洲99| 婷婷精品免费久久| 五月天伊人久久| 久热这里只有精品在线| 亚洲国产精品VA在线看黑人| 在线婷婷| 婷婷97碰碰| 97碰在线免费观看| 色五月婷激情| 91 九色大美女| 袁子仪视频观看| 人妻操逼视频| 久婷五月| 久久久www| 欧美操逼天堂| 婷婷五月天AV| 91丨九色熟女丨首页| 五月丁香激情婷婷综合| 丰满少妇猛烈A片免费看观看| 最新日本A片| 午夜免费试看| 天天操无码| 狠狠久久婷五月| 射区导航| A1片久久久| 99热99精品| 亚洲丁香婷婷丁香五月天激情| Caoub青青超碰| 九热视频| 91人无码久久久久久| 四色AVwww| 九九Y精品热播| 男女久久婷婷五月天| 欧美色激情四射| 伊人网色婷婷五月天| 亚洲色图欧美色图日本视频| 人妻久久久久久久久妻久久久久| 无码少妇高潮喷水A片免费| 激情婷婷五月女| 久久在线视频免费观看| 99久久成人| 成人国产网站在线免费看| 婷婷五月天免费| 欧美五月婷婷综合| 欧美啄木乌丝袜人妻系列| 色都都狠狠色都都色综合色| 五月天六月婷婷| 天天网曰日曰夜夜综合永久免费| 丁香五月色| 99啪| 中文字幕av在线| 激情五月丁香五月| 天天插天天射| 丁香狠狠| 国产午夜伦鲁鲁| 中文字幕色色| 4399在线观看免费高清黄色视频| 色婷另类| 六月 丁香 视频| 九九免费精品在线视频| 欧美性做爰大片免费看办公室| 国产精品噜噜在线视频| www...com黄在线观看| 99热亚洲精品| 色婷婷激情| 大香蕉伊人久久| 青青草护士中出内射-欧美电影在线天堂新版 | www.国产亚洲69ty.久久久久久久久久久久 | 欧洲亚洲免费视频9| 日日躁夜夜躁狠狠久久AV| 色婷婷五月天不卡| 国产操B视频| 婷婷综合网站| 永久99免费视频网站| 日本婷婷激情四射中文字幕在线观看| 深爱激情综合网| 五月停停色色丁香| 五月天色综合| 久久ab| 狼友视频在线观看18| AA片在线观看视频在线播放| 婷婷五月天欧美图片在线播放电驴| 超碰精品国产首页| 五月婷亚洲精品AV天堂| 人人天堂操| 金品在线视频99| 色日本五月天| 婷婷丁香五月综合激情小说| 4399人妻无码久久久| 五月丁香六月婷综合成人综合 | 伊九九三级区| 日本强伦片中文字幕免费看| 欧美这里只有精品| 狠狠香婷婷五月| 五月婷婷综合天天操| 综合色色婷婷| 婷婷五月丁香六月天亚洲综合| 高清不卡一区| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 |