欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

ECC內(nèi)存故障排查指南:從Uncorrectable錯(cuò)誤到MBIST自檢

ECC內(nèi)存故障排查指南:從Uncorrectable錯(cuò)誤到MBIST自檢 半夜兩點(diǎn)手機(jī)彈出一條戴爾OpenManage的告警郵件標(biāo)題寫著“Uncorrectable ECC Error Detected on Memory Slot 2”??吹健癠ncorrectable”這個(gè)詞相信不少運(yùn)維心態(tài)跟我第一次一樣完了內(nèi)存掛了系統(tǒng)怕是要重啟。結(jié)果我登上iDRAC一看系統(tǒng)還好好的SQL Server還跑著硬件健康頁里顯示那次錯(cuò)誤就記錄了一次之后計(jì)數(shù)值一直沒動(dòng)。那一晚上我基本沒睡把這臺(tái)機(jī)器的內(nèi)存日志、SMBIOS信息、內(nèi)核EDAC計(jì)數(shù)、MBIST自檢日志翻了個(gè)底朝天。第二天白天確認(rèn)這只是一根內(nèi)存條上某個(gè)bank的介質(zhì)老化ECC機(jī)制把一次本可能致命的“多比特錯(cuò)誤”攔在了系統(tǒng)之外系統(tǒng)沒宕機(jī)數(shù)據(jù)沒丟。這就是ECC內(nèi)存有意思的地方它既能幫你“擋災(zāi)”又會(huì)用一堆“uncorrectable”“CE”“UE”“MBIST”這種術(shù)語把你嚇得不輕。這篇就寫一寫我對(duì)ECC內(nèi)存糾錯(cuò)機(jī)制、日志解讀、MBIST自測和實(shí)際排查經(jīng)驗(yàn)的一些沉淀適合剛接觸服務(wù)器運(yùn)維的人、自己在組NAS且打算買ECC內(nèi)存的玩家、以及被內(nèi)存日志折磨過的同行參考。1. 從奇偶校驗(yàn)到漢明碼ECC糾錯(cuò)的底層邏輯1.1 內(nèi)存為什么會(huì)出錯(cuò)內(nèi)存芯片看起來很穩(wěn)定實(shí)際上是很脆弱的半導(dǎo)體結(jié)構(gòu)。從故障來源看內(nèi)存錯(cuò)誤一般可以分成三類第一類是瞬時(shí)軟錯(cuò)誤宇宙射線或者封裝材料中的微量放射性粒子打到存儲(chǔ)單元的電容上導(dǎo)致電荷翻轉(zhuǎn)典型表現(xiàn)是“單比特翻轉(zhuǎn)”。這類錯(cuò)誤是瞬時(shí)的、可恢復(fù)的也是服務(wù)器里最常見的錯(cuò)誤來源。第二類是熱噪聲與電壓波動(dòng)內(nèi)存顆粒工作在納米級(jí)的電荷量上溫度升高、電壓跌落都可能讓某一位變得不穩(wěn)定。第三類是物理損耗通電時(shí)間長了、頻繁熱脹冷縮焊點(diǎn)和內(nèi)部走線出現(xiàn)異常最終形成固定的壞塊、壞bank。普通內(nèi)存沒有任何校驗(yàn)?zāi)芰θ魏我粋€(gè)位出錯(cuò)都是災(zāi)難性的。你平時(shí)用消費(fèi)級(jí)電腦偶爾遇到藍(lán)屏很多情況下就是這種瞬時(shí)錯(cuò)誤沒有被發(fā)現(xiàn)程序讀到了錯(cuò)誤的數(shù)值然后當(dāng)場崩潰。服務(wù)器要7x24小時(shí)跑關(guān)鍵業(yè)務(wù)內(nèi)存容量又是消費(fèi)級(jí)的幾十倍錯(cuò)誤概率自然更高。如果每一處錯(cuò)誤都不加處理數(shù)據(jù)庫跑到一半讀出一個(gè)錯(cuò)誤的余額那才是真正的大事故。所以服務(wù)器迫不得已要帶一個(gè)“校驗(yàn)員”這就是ECC存在的意義。1.2 從“知道錯(cuò)了”到“知道錯(cuò)在哪”如果只想給內(nèi)存加錯(cuò)誤檢測機(jī)制最原始的想法是奇偶校驗(yàn)每8個(gè)數(shù)據(jù)位額外存1位記錄這一組里1的個(gè)數(shù)是奇數(shù)還是偶數(shù)。讀取時(shí)重新算一遍對(duì)不上就知道出錯(cuò)了但只能知道“出錯(cuò)了”不知道是哪一位更沒法自動(dòng)恢復(fù)。所以這種方案很快被漢明碼取代。漢明碼的巧妙之處在于它給數(shù)據(jù)增加的不是一個(gè)籠統(tǒng)的校驗(yàn)位而是一組按不同組合方式計(jì)算的校驗(yàn)位每個(gè)校驗(yàn)位覆蓋數(shù)據(jù)位的一個(gè)特定子集。當(dāng)某個(gè)數(shù)據(jù)位出錯(cuò)時(shí)會(huì)導(dǎo)致多個(gè)校驗(yàn)位檢查失敗而這些校驗(yàn)位的“失敗編號(hào)”恰好就是出錯(cuò)位的索引。這樣一來系統(tǒng)不僅能知道內(nèi)存里確實(shí)有錯(cuò)還能唯一定位到是哪一位然后直接把它翻轉(zhuǎn)回去。這就是“單比特糾正、雙比特檢測”SEC-DED的含義單個(gè)位出錯(cuò)能自動(dòng)修好兩個(gè)位以上出錯(cuò)檢測機(jī)制能發(fā)現(xiàn)“出大事了”但沒法定位并修復(fù)只能拋出uncorrectable錯(cuò)誤。為了讓這個(gè)過程落到硬件上ECC內(nèi)存條比普通內(nèi)存多出一部分存儲(chǔ)芯片。普通DDR內(nèi)存是64位數(shù)據(jù)位寬ECC內(nèi)存是72位相當(dāng)于多了8位這8位用來存儲(chǔ)校驗(yàn)信息。CPU訪問內(nèi)存時(shí)內(nèi)存控制器自動(dòng)計(jì)算校驗(yàn)值讀出來時(shí)自動(dòng)校驗(yàn)整個(gè)過程的時(shí)延開銷被硬件吃掉了。壞消息是多出來的校驗(yàn)位會(huì)占用一部分帶寬所以如果純粹比峰值讀寫性能ECC內(nèi)存會(huì)稍有折損。但好消息是可靠性提升了一個(gè)數(shù)量級(jí)。對(duì)服務(wù)器來說這個(gè)交換極其劃算。1.3 “可糾正”和“不可糾正”的分水嶺每次發(fā)生錯(cuò)誤時(shí)內(nèi)存控制器會(huì)根據(jù)校驗(yàn)結(jié)果給事件分類Correctable ECC errorCE系統(tǒng)成功定位并修復(fù)了錯(cuò)誤但硬件會(huì)把這個(gè)事件記錄在日志里這就是“CE計(jì)數(shù)”的來源。CE計(jì)數(shù)可以很高因?yàn)槊恳淮嗡矔r(shí)錯(cuò)誤都算一次。Uncorrectable ECC errorUE錯(cuò)誤超出了糾正能力比如一個(gè)校驗(yàn)組里兩個(gè)位同時(shí)翻轉(zhuǎn)系統(tǒng)無法恢復(fù)。如果出錯(cuò)的數(shù)據(jù)正在被CPU使用通常會(huì)引起Machine Check Exception直接導(dǎo)致系統(tǒng)停機(jī)或進(jìn)程被殺。注意uncorrectable并不等于“內(nèi)存徹底報(bào)廢”。一次有多個(gè)位同時(shí)翻轉(zhuǎn)的瞬時(shí)沖擊也會(huì)觸發(fā)UE而物理壞塊導(dǎo)致的UE則意味著該區(qū)域不可信。所以在日志里看到UE時(shí)可能對(duì)應(yīng)完全不同的結(jié)論一種是要繼續(xù)觀察的軟錯(cuò)誤另一種是必須立刻換條硬故障。區(qū)分它們的方法就是接下來要講的日志解讀和MBIST自檢。2. “uncorr. ecc 顯示2”背后的日志讀法2.1 不同日志系統(tǒng)對(duì)同一錯(cuò)誤的不同記賬方式能搜到“uncorr. ecc 顯示2”這種詞的人多半是在某臺(tái)服務(wù)器的帶外管理界面看到內(nèi)存錯(cuò)誤計(jì)數(shù)顯示2或者在日志導(dǎo)出文件里看到“uncorrectable error count 2”的字樣。我見過不少同事看到數(shù)字2就緊張覺得壞了兩次其實(shí)這里有個(gè)很大的誤解同一個(gè)硬件事件在帶外日志、內(nèi)核日志、BIOS日志里往往會(huì)被記錄成不同的計(jì)數(shù)。比如同一時(shí)刻DIMM A2發(fā)生了一次UE帶外控制器Dell iDRAC、HPE iLO等可能會(huì)記錄為一條獨(dú)立的“Uncorrectable ECC Error on DIMM A2”事件同時(shí)BMC的系統(tǒng)事件日志中會(huì)遞增一個(gè)“Total Uncorrectable Error Count”字段而Linux內(nèi)核的EDAC模塊可能只記錄一條“EDAC MC0: 1 UE”。不同日志系統(tǒng)對(duì)同一事件的編碼方式不一樣數(shù)字自然對(duì)不上。如果你用RACADM導(dǎo)出的日志里看到“uncorr. ecc 顯示2”最可能的解釋有兩個(gè)一是內(nèi)存控制器下有兩個(gè)bank的UE計(jì)數(shù)被分開累計(jì)日志里顯示的是“某個(gè)控制器總共檢測到兩次不可糾正錯(cuò)誤事件”二是帶外日志把同一個(gè)根源事件重復(fù)存儲(chǔ)成兩條記錄——比如一條是錯(cuò)誤本身另一條是錯(cuò)誤狀態(tài)寄存器達(dá)到告警閾值的事件。判斷的關(guān)鍵是看時(shí)間戳和具體位置如果兩次錯(cuò)誤的時(shí)間戳幾乎相同、DIMM位置也一樣基本可以斷定是同一事件的多級(jí)上報(bào)如果時(shí)間戳相差很遠(yuǎn)、位置也不同那才是兩次獨(dú)立事故。2.2 用EDAC和mcelog看內(nèi)核側(cè)的真實(shí)計(jì)數(shù)在Linux下看真實(shí)的內(nèi)存糾錯(cuò)計(jì)數(shù)最直接的是查看EDAC子系統(tǒng)暴露的計(jì)數(shù)器。以下是我常用的命令組合# 查看內(nèi)存控制器的CE/UE總計(jì)數(shù) cat /sys/devices/system/edac/mc/mc0/ce_count cat /sys/devices/system/edac/mc/mc0/ue_count # 查看每個(gè)csrow的計(jì)數(shù) cat /sys/devices/system/edac/mc/mc0/csrow0/ue_count cat /sys/devices/system/edac/mc/mc0/csrow0/ch0_ce_count # 實(shí)時(shí)看dmesg里新增的EDAC記錄 dmesg -w | grep EDAC MCue_count為0、ce_count很大這是非常常見的狀態(tài)。CE計(jì)數(shù)高說明這個(gè)通道的環(huán)境或顆粒不太穩(wěn)定但還在內(nèi)存控制器的處理能力之內(nèi)。如果ue_count從0變成1就要提高警惕。配合mcelog可以解析硬件層記錄的Machine Check信息cat /var/log/mcelog journalctl -k | grep -i mce很多發(fā)行版默認(rèn)裝了mcelog但不一定開啟了守護(hù)進(jìn)程建議先檢查服務(wù)狀態(tài)。它能給出CPU、內(nèi)存控制器的詳細(xì)信息并區(qū)分“可糾正”和“不可糾正”。如果系統(tǒng)里同時(shí)裝了edac-utils也可以用edac-util -v看更詳細(xì)的錯(cuò)誤分布那個(gè)更容易定位到具體通道和插槽。2.3 看到計(jì)數(shù)增加后先別急著換內(nèi)存很多剛?cè)胄械呐笥岩豢吹絻?nèi)存錯(cuò)誤計(jì)數(shù)漲了就馬上去機(jī)房拔內(nèi)存條其實(shí)這反而可能會(huì)把簡單問題復(fù)雜化。我建議至少按這個(gè)順序做一遍判斷看是不是“舊賬”。很多機(jī)器長時(shí)間沒清過日志BMC里累積了歷史錯(cuò)誤和當(dāng)前運(yùn)行無關(guān)。先看系統(tǒng)uptime和最后一次錯(cuò)誤記錄時(shí)間如果時(shí)間戳很久以前優(yōu)先考慮清空日志后繼續(xù)觀察??村e(cuò)誤位置和系統(tǒng)負(fù)載的關(guān)系。我遇到過一臺(tái)機(jī)器每次跑內(nèi)存密集型編譯任務(wù)時(shí)CE計(jì)數(shù)就開始漲業(yè)務(wù)空閑時(shí)完全不漲。后來鎖定到溫度問題把風(fēng)扇策略調(diào)高后計(jì)數(shù)就停了。這種“負(fù)載相關(guān)”的錯(cuò)誤方向往往是散熱或供電而不是顆粒本身。確認(rèn)是不是插槽或主板接觸問題。臟污氧化會(huì)導(dǎo)致接觸電阻變大出現(xiàn)間歇性UE。這種情況下直接換內(nèi)存條不一定解決問題先做金手指清潔、重新插拔很多“幽靈錯(cuò)誤”會(huì)直接消失。如果確實(shí)是反復(fù)新增的UE且手上沒有備用條可以暫時(shí)通過BIOS把出問題的內(nèi)存通道或bank屏蔽掉應(yīng)急但長期必須安排更換。3. MBIST ECC自檢把內(nèi)存逼到極限再放行3.1 MBIST到底是什么Memory Built-In Self-Test也就是內(nèi)存內(nèi)建自檢。現(xiàn)代服務(wù)器主板的內(nèi)存控制器里內(nèi)置了專門的測試邏輯不依賴操作系統(tǒng)也不完全依賴CPU主頻。MBIST引擎會(huì)按照預(yù)設(shè)的算法序列向存儲(chǔ)單元寫入、讀取、翻轉(zhuǎn)特定圖案檢查是否存在“卡死在0”“卡死在1”、地址線短路、存儲(chǔ)單元相互干擾等結(jié)構(gòu)性問題。這個(gè)過程和操作系統(tǒng)里跑memtest86類似但MBIST更偏向硬件底層的結(jié)構(gòu)測試也更加嚴(yán)格。MBIST最厲害的一點(diǎn)是它能繞開操作系統(tǒng)的干擾直接在硬件層面對(duì)整個(gè)存儲(chǔ)陣列進(jìn)行暴力讀寫。所以當(dāng)運(yùn)行時(shí)出現(xiàn)的ECC錯(cuò)誤可能是環(huán)境干擾時(shí)MBIST報(bào)錯(cuò)的指向性要明確得多。如果MBIST在某個(gè)bank報(bào)了fail那基本可以認(rèn)定為物理顆粒的問題直接對(duì)應(yīng)到DIMM甚至具體rank而不是“運(yùn)氣不好碰到的瞬時(shí)錯(cuò)誤”。3.2 怎么觸發(fā)一次MBIST服務(wù)器一般有幾個(gè)入口可以觸發(fā)POST階段自動(dòng)運(yùn)行很多服務(wù)器的BIOS默認(rèn)在開機(jī)自檢時(shí)做一輪“Enhanced Memory Test”如果上次關(guān)機(jī)不干凈或檢測到異常會(huì)自動(dòng)擴(kuò)展成完整的MBIST。帶外管理界面手動(dòng)觸發(fā)Dell iDRAC里有“Memory Test”功能HPE iLO里有“Run Memory Test”觸發(fā)后機(jī)器會(huì)重啟在開機(jī)階段跑一輪測試。BIOS里的內(nèi)嵌測試AMI等主板的BIOS里一般有“Memory Test”或“MemTest”頁面可以手動(dòng)開啟。手動(dòng)跑之前務(wù)必注意MBIST極其耗時(shí)。一條16GB內(nèi)存跑一輪完整的March C-大概要幾分鐘到十幾分鐘整機(jī)內(nèi)存如果堆到幾百GB甚至TB級(jí)別完整測試可能跑幾個(gè)小時(shí)。測試期間機(jī)器必須停機(jī)業(yè)務(wù)要提前切換或安排窗口。我在生產(chǎn)環(huán)境里跑過一臺(tái)512GB內(nèi)存的數(shù)據(jù)庫機(jī)器完整測試跑了將近三個(gè)小時(shí)期間那臺(tái)機(jī)器完全離線。3.3 怎么看MBIST結(jié)果并與ECC日志對(duì)應(yīng)跑完之后MBIST的結(jié)果通常會(huì)在POST日志、iDRAC/ILO的系統(tǒng)事件日志中顯示為“Memory BIST Test Passed/Failed”或者給出類似“Single-bit correction error in DIMM A2”的信息。這里有個(gè)很容易踩的坑MBIST測試結(jié)果“passed”并不代表內(nèi)存絕對(duì)健康只能說明在那一輪測試的算法序列和溫度環(huán)境下沒有測出致命的固有問題。有些存在微妙時(shí)序問題的內(nèi)存條要跑到高溫高負(fù)載時(shí)才會(huì)暴露MBIST不一定抓得住。反過來如果MBIST報(bào)出fail甚至具體到“bank 4, wordline xxxxx”那就別猶豫了問題定位很明確。我自己的習(xí)慣是運(yùn)行時(shí)日志看到CE新增、UE偶發(fā)先不慌安排一個(gè)內(nèi)存測試窗口測試通過但計(jì)數(shù)還繼續(xù)漲就檢查散熱和供電測試失敗直接按位置換條。這樣一套流程下來絕大多數(shù)內(nèi)存問題都能在業(yè)務(wù)不中斷的前提下處理干凈。3.4 跑MBIST前的準(zhǔn)備工作清單想在窗口內(nèi)高效跑完MBIST建議提前做這幾件事備份數(shù)據(jù)并切換業(yè)務(wù)確認(rèn)測試期間這臺(tái)機(jī)器完全離線也不會(huì)影響核心服務(wù)。導(dǎo)出當(dāng)前的內(nèi)存錯(cuò)誤日志作為基線測試前后用同一套命令對(duì)比計(jì)數(shù)。在帶外管理界面開啟告警屏蔽防止測試期間的噪音告警把值班手機(jī)震爛。記錄測試開始時(shí)間和預(yù)計(jì)時(shí)長測試過程中安排一次人工確認(rèn)看有沒有中途報(bào)錯(cuò)。有條件的話記錄機(jī)箱溫度和系統(tǒng)功耗。測試過程會(huì)拉高內(nèi)存負(fù)載溫度數(shù)據(jù)可以一并用來判斷散熱是否異常。4. 一次真實(shí)ECC故障的完整排查鏈路4.1 告警點(diǎn)名DIMM A2但系統(tǒng)看起來沒事前段時(shí)間處理過一臺(tái)客戶數(shù)據(jù)庫服務(wù)器Dell R75064GB RDIMM插了8條跑了快兩年。某天客戶的郵件轉(zhuǎn)發(fā)過來說iDRAC昨晚報(bào)了一次“Uncorrectable ECC Error Detected on DIMM A2”問是不是要換內(nèi)存。我登錄后先看iDRAC面板內(nèi)存健康一欄是黃色警告但系統(tǒng)狀態(tài)顯示正常操作系統(tǒng)也沒重啟過。再看BMC日志除了那條UE外前一天還有幾條“Corrected ECC Error”事件并且日志里顯示“uncorr. ecc 顯示2”的感覺就是這么來的——帶外管理界面把內(nèi)存控制器上報(bào)的錯(cuò)誤次數(shù)統(tǒng)計(jì)成了2。按前面的方法先查內(nèi)核側(cè)dmesg | grep -i EDAC MC | tail -20結(jié)果只有一條類似這樣的記錄EDAC MC0: 1 UE on DIMM A2 (channel:0 slot:2 page:0x12345)時(shí)間戳和iDRAC里的那條能對(duì)上。到這里基本可以判斷所謂“顯示2”是帶外日志把同一件事記成了兩條事件——一條是錯(cuò)誤本身另一條是錯(cuò)誤閾值達(dá)到告警的事件內(nèi)核側(cè)實(shí)際只認(rèn)一次。4.2 業(yè)務(wù)切換后如何把根因釘死接下來安排窗口把數(shù)據(jù)庫切換到備機(jī)然后按順序走了一遍完整流程先做完整日志快照dmidecode -t memory # 查看內(nèi)存條信息、序列號(hào)、插槽、速度 edac-util -v # 查看EDAC所有控制器的詳細(xì)計(jì)數(shù) dmesg | grep -i -E EDAC|MC | tail -30在iDRAC里手動(dòng)觸發(fā)“Memory Test”跑完整MBIST。結(jié)果出來后確認(rèn)fail位置正是DIMM A2上的bank 4。執(zhí)行更換。這里有幾個(gè)細(xì)節(jié)值得注意先把機(jī)器完全下電做好防靜電措施。拆下嫌疑條后觀察金手指如果表面有氧化痕跡或插槽內(nèi)有灰先用無塵布加酒精清潔插槽和內(nèi)存條金手指再插回去跑一輪測試。替換用同型號(hào)、同頻率、盡量同一批次的內(nèi)存條避免不同顆粒方案的條子混插引發(fā)新的不穩(wěn)定。更換后開機(jī)進(jìn)BIOS跑一輪快速內(nèi)存測試確認(rèn)通過。然后進(jìn)系統(tǒng)查看EDAC計(jì)數(shù)是否歸零如果沒有歸零但內(nèi)核支持可以手動(dòng)重置echo 0 /sys/devices/system/edac/mc/mc0/ce_count echo 0 /sys/devices/system/edac/mc/mc0/ue_count如果內(nèi)核不支持寫入重啟后計(jì)數(shù)一般也會(huì)清零。觀察72小時(shí)包括CE計(jì)數(shù)是否反彈、有沒有新增UE事件、系統(tǒng)日志是否干凈。觀察期間業(yè)務(wù)可以先切回來但要把監(jiān)控盯緊。4.3 換上備用條后日志還在報(bào)我踩過的坑有次排查一臺(tái)機(jī)器換了兩次所謂“新條”后CE計(jì)數(shù)依然在漲。后來拆下來用放大鏡看金手指發(fā)現(xiàn)新條其實(shí)是翻新條表面有細(xì)微的劃痕和氧化。于是我把原來的嫌疑條清干凈后重新插回去跑一輪MBIST竟然全過之后計(jì)數(shù)也穩(wěn)定了。這說明很多時(shí)候問題不在顆粒本身而在電氣接觸面。另一個(gè)坑是槽位編號(hào)問題。服務(wù)器內(nèi)存槽位不是按A1、A2、B1、B2的順序與日志里的channel/slot直接對(duì)應(yīng)的。有的板子A通道的槽位和B通道交錯(cuò)排列日志里說DIMM A2物理上可能是中間那根。換條前一定要先看服務(wù)手冊(cè)搞清楚物理插槽和通道的映射關(guān)系別拔錯(cuò)了。第三個(gè)坑是固件。有次排查一臺(tái)跑了大半年的機(jī)器內(nèi)存錯(cuò)誤計(jì)數(shù)持續(xù)增加MBIST卻一直通過。后來更新了BIOS和BMC固件更新說明里明確寫著“fixed false positive memory error logging on some DIMMs”更新完計(jì)數(shù)就停了。不是所有錯(cuò)誤日志都是硬件真相固件層面的誤報(bào)也是真實(shí)存在的。5. 選內(nèi)存與固件策略把ECC的價(jià)值用到位5.1 不同ECC內(nèi)存類型的適用場景想上ECC先搞清楚類型。下表是常見內(nèi)存類型的核心區(qū)別類型是否帶ECC緩沖方式常見場景普通UDIMM部分帶無緩沖桌面平臺(tái)、入門NASECC UDIMM帶無緩沖入門級(jí)服務(wù)器部分消費(fèi)級(jí)平臺(tái)支持RDIMM帶寄存器緩沖絕大多數(shù)企業(yè)級(jí)服務(wù)器LRDIMM帶數(shù)據(jù)緩沖與寄存器大容量內(nèi)存場景降低總線負(fù)載RDIMM必須搭配支持Reg ECC的CPU和主板Xeon、EPYC這類基本都支持。消費(fèi)級(jí)平臺(tái)雖然也有“支持ECC”的說法但不一定默認(rèn)開啟很多模式下面向消費(fèi)級(jí)的內(nèi)存控制器策略會(huì)直接忽略ECC功能。自己組NAS時(shí)想上ECC最穩(wěn)的辦法是選明確標(biāo)注支持ECC的主板BIOS里把Memory ECC打開再驗(yàn)證而不是買回來才發(fā)現(xiàn)功能被鎖。5.2 BIOS里那些與內(nèi)存可靠性相關(guān)的設(shè)置BIOS里關(guān)于內(nèi)存可靠性的選項(xiàng)名稱各家不太一樣但核心邏輯是這幾項(xiàng)選項(xiàng)大致作用注意點(diǎn)ECC Mode / ECC Enable總開關(guān)必須打開關(guān)掉后ECC完全失效Memory Sparing留一部分內(nèi)存做熱備塊檢測到損壞自動(dòng)切換可用容量下降A(chǔ)DDDC / DDDC更高級(jí)的多設(shè)備錯(cuò)誤糾正能力有內(nèi)存容量和性能開銷Memory Training開機(jī)時(shí)重新訓(xùn)練內(nèi)存時(shí)序換條或升級(jí)固件后不穩(wěn)定時(shí)可主動(dòng)做一次Memory Test就是MBIST入口Quick/Full模式耗時(shí)差異巨大這些選項(xiàng)不是“開了就萬事大吉”。比如Memory Sparing啟用后系統(tǒng)實(shí)際可用容量會(huì)減少因?yàn)镺S根本看不到備份塊ADDDC也會(huì)引入少量地址解析開銷。選的時(shí)候要結(jié)合業(yè)務(wù)負(fù)載數(shù)據(jù)庫或金融交易系統(tǒng)可靠性優(yōu)先HPC高性能計(jì)算可以偏向性能模式。5.3 固件升級(jí)與內(nèi)存“玄學(xué)”在服務(wù)器上內(nèi)存訓(xùn)練、錯(cuò)誤上報(bào)、ECC糾正策略都依賴固件。固件更新常常解決“某個(gè)型號(hào)內(nèi)存條誤報(bào)錯(cuò)誤”“某個(gè)通道不穩(wěn)定”這類問題。我在生產(chǎn)環(huán)境里踩過一個(gè)坑新采購了一批內(nèi)存條不在服務(wù)器制造商兼容性列表里結(jié)果使用一個(gè)月后某個(gè)槽位出現(xiàn)間歇性CE。查遍硬件都沒找到毛病最后發(fā)現(xiàn)平臺(tái)發(fā)布了新BIOS說明里明確寫著“更新內(nèi)存參考代碼修復(fù)部分內(nèi)存條的錯(cuò)誤上報(bào)問題”。更新到支持的BIOS版本后CE計(jì)數(shù)慢慢清零問題再也沒有復(fù)現(xiàn)。所以遇到說不清的內(nèi)存問題先查固件版本更新說明這往往比拔插內(nèi)存條快得多。5.4 采購與備件策略內(nèi)存的采購和備件我比較堅(jiān)持幾個(gè)原則選服務(wù)器制造商兼容性列表里的內(nèi)存不要迷信“代工同款”這種說法。兩個(gè)看起來一模一樣的顆粒固件訓(xùn)練曲線可能完全不同。備件保持兩到四根最好與機(jī)器里在用的條子同型號(hào)。真正出問題的時(shí)候沒有時(shí)間去調(diào)頻率、調(diào)時(shí)序。對(duì)關(guān)鍵業(yè)務(wù)部署內(nèi)存健康監(jiān)控定期采集EDAC計(jì)數(shù)、關(guān)注BMC告警閾值別等宕機(jī)才翻日志。過保機(jī)器盡早補(bǔ)備件倉位內(nèi)存老化是慢過程最怕壞在半路卡了采購流程。最后聊幾句個(gè)人經(jīng)驗(yàn)。我看了這么多年服務(wù)器的內(nèi)存日志最大的感受是ECC內(nèi)存這個(gè)機(jī)制99%的時(shí)候都在默默干活但一旦它開始頻繁上報(bào)往往意味著你已經(jīng)進(jìn)入了“修復(fù)倒計(jì)時(shí)”。與其糾結(jié)“這個(gè)錯(cuò)誤顯示2是不是真的壞了兩次”不如盡早把這些日志讀懂把MBIST流程跑熟。等哪天真需要救火時(shí)你會(huì)感謝當(dāng)年認(rèn)真研究過這些概念的自己。要是你手里正好也有內(nèi)存報(bào)錯(cuò)的機(jī)器不妨按文里的順序先抓一遍日志結(jié)果往往會(huì)在第一頁就說話。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热免费在线| 五月熟妇婷婷久久| 日本色色网站| 99久在线视频| 91日韩在线| 日韩三级片一区二区| 五月天婷婷av| 久久亚洲色导航| 丁香六月激情| 26UUU亚洲欧美| 国产成人AV| 亚洲AV激情五月综合网| 精品热九九| 久久这里只| 偷偷操九九| 欧美中文五月天| 国产色香蕉精品五夜婷| 久热91| 97超碰人人操| 日本精品人妻无码77777| 五月99久久| 日本91在线播放| 色五月婷婷丁香婷婷| av免费在线看不卡无毒| 丁香六月激情综合| 久Se视频在线观看| 亚洲五月天激情| 天天日天天摸天天| 大香蕉娱乐| 丰满人妻一区二区三区| 久久草人妻| 午夜天堂一区人妻| www.婷婷五月天.com| 日本人人干| 国产免费AV网站| 噜噜狠狠| www.99操.com| 婷婷丁香五月亚洲| 中文字幕乱轮| 日木狠狠干| 超碰免费99| 免费观看大片视频 丁香婷婷 六月欧美| 久草视频一,二三四| 这里只有精品视频在线| 色色综合网络| 丁香婷婷五月激情| 99热午夜精品| 色播丁香| 五月丁香六月婷婷手机无线| 五月丁香激情怕怕| 伊人久久婷婷五月综合97色| 六月丁香啪啪啪| 色婷婷六月性| 99色.com| 色天堂婷婷| 日日操日日撸| 天天操夜夜夜拍拍拍| 墨西哥毛片内射精| 色情综合网| 这里只有精品网站| 亚洲色精彩| 色婷婷综合久久| 色婷婷五月天在线观看| 91大屁股| 97色在线| 亚洲色夜| 国产av天天插天天操天天爽| 香蕉色色网| 男人的天堂五月丁香| 婷婷五月丁香花综合| 少妇大叫太大太粗太爽了A片| 九九99一区| 五月丁香婷婷网网网网| 97人人搞| 欧美月久久| 五月综合视频| 亚洲综合另类| 日日狠狠久久偷偷四色综合免费 | 久热黄色| 丁香五月精品| 丁香伊人综合| 午夜理论片最新午夜理论剧| 五月天丁香综合| 欧美精品999| 激情五月婷婷综合| 五月激情网络| www.狠狠色.com| 久久丁香五月婷婷| 99在线观看视频| 亚洲婷婷性爱| 欧美性色A片免费免费观看的| 婷婷五月天在线观看| 亚洲热综合网在线观看| 五月丁香六月婷婷啪啪综合| 午夜亚洲国产精品av一区二区| 久久丁香五月天| 婷婷成人五月天成人文学| 亚洲婷婷开心五月| 久热精品视频在线观| 人人操人| 99热99精品在线观看| 五月丁香激情四射| 亚洲美女网Va| 久久五月综合| 女人天堂 AV| 5月婷婷视频网站综合| 超碰成人av| 国产91资源在线| 丁香婷婷深情五月亚洲| 91 九色 入口| 男同91| 婷婷五月激情中文字幕| 99这里只有| 五月天丁香成人社| 狼人婷婷久久| 丁香婷婷久久综合在线| 天堂网色色| 蜜臀av 粉嫩av 懂色av| 久热精彩视频98| 欧美日韩二区在线| 综合久久十三| 91操黄| 少妇AB又爽又紧无码网站| 啊v视频在线观看| 99爱视频免费| 天天干电影| 九九热精品6| 五月天久久www| 亚洲综合新99视频| xxx综合在线| 另类图片激情五月天| 79色色色色| 激情婷婷五月天。| 99re66热这里只有精品| 免费视频舔| 天天搡日日搡aaaaⅩ| 日本九九视频| 99玖玖在线视频| 97碰碰视频| 婷婷五月,偷窥偷拍网| 操婷婷久久| 第1影院之五月婷婷| 99热免费18| 97超级碰| 色九九一二| 麻豆精品| 亚洲天堂99| 色色99| 婷婷色激情网| 襙逼网| 婷婷丁香五月天亚洲| 五月天色婷婷图片| 五月丁香六月婷婷啪啪| 婷婷九月激情| 香蕉久久国产AV一区二区| 99热这里都是精品| 粉嫩AV久久一区二区三区| 五月婷婷六月天| 国产99久久久国产精品免费看| 国产亚洲精品AAAAAAA片| 99热在线观看| 99热99思午夜精品| 啪啪91| 精品网站99| 五月丁香综合伦理片| 色天天综合色| 青草五月天| 午夜婷婷久久 | 九艹在线| 婷婷五月蜜桃成人桃色丁香| 99九九精品视频| 日韩aaa| 精品久久9| 色欲色香综合网站| 亚洲午夜电影| 天天草婷婷五月| 第四色26uuu| 99性色| 国产成人+综合亚洲+天堂| 亚洲精品色| 久久九九思思| 九月婷婷久久久| 久久激情综合| 五月天激情网站| AV性爱在线| 无码 av电影| 大香蕉在线观看9| 久久看婷婷| Av狠狠色丁香婷| 天天舔日日肏夜夜爽| 99色在线观看视频| 精品人妻午夜一区二区三区四区 | 五月婷婷丁香| 最近中文字幕2019视频1| 抽插特写| 色婷婷六月天在线| 五月婷中文字幕| 婷婷五月丁香五月| 欧美三级黄色片久久| 五五月丁香花激情综合网| 丁香五月综合网亚洲综合欧美狠狠| 玖玖午夜视频| 不卡成人免费| 九九精品片一| 久9免费视频| 亚洲国产精品VA在线看黑人| 九色91视频| 人人射av| 99久久网站| 久色大香蕉| 天天爱天天日| 97久久草草超级碰碰碰| av一区免费看| 99热99精品在线观看| 超碰猛烈的性猛交| AV操一操| 久热这里精品免费| 免费成人网在线观看| 97干免费视频| 婷婷色正月| 热九九精品| 婷婷五月天AV在| 开心婷婷五月天电影院| 婷婷中文无码| 9久久AV| 综合综合网| 亚洲六月色| 婷婷色综合中心站| 丁香五月色五月婷婷宗合| 六月婷婷色综合| a毛片二逼wwwwwwwwww| 婷婷五月综合色中文字幕| 六月丁香网| chaopengdaxiangjiao| 久久多色| 成人在线综合| 欧美久久久久久久久中文字幕| 午夜婷婷丁香| 九九五月天| 日本天堂网站99| 婷婷五月综合欧美在线播放| ww超碰在线| 久99久热| 欧美日韩成人在线网站| 中文在线成人| 激情五月天激情小说| 被强行糟蹋的女人A片| 人妻激情综合| 激情丁香六月| 色狠狠999综合| 久久人妻www| 亚洲第一成人无码A片| 日本人妻A片成人免费看片| 久久五月天综合| 激情AV综合| 人人色性网| 开心激情网在线| 操碰久| 亚洲欧洲中文日韩久久AV乱码| 婷婷中合| 亭亭五月天黑人2014| 国产精品国产成人国产三级| 五月丁香六月婷婷亚洲天堂网站| 日日综合网| 色综合久久天天综合网| 开心激情婷婷| www.国产亚洲69ty.久久久久久久久久久久| 亚洲操逼片| 五月丁香久久呀| 99精品热| 大香蕉五月婷婷| 91.com男女操| 天天色天天射天天日| 五月婷婷激情久久| 91欧美日韩综合| 黄色成人网站在线播放| 亚洲婷婷在线播放十月| 99ER热精品视频| 久久老码第一| 天天日日夜夜| 五月天激情国产综合AV| www.99.色| 天天操天天日天天操| 国产成人综合亚洲| 丁香五月六月婷婷怡红院| 99在线小视频| 成人综合视频在线| 成人片在线播放| 中文av在线观看| 久色中文| 久久久香港| 狠狠插狠狠操| 国产激情AV| 夜夜爱网站| 欧美欧盟性爱网| 色五月天在线观看| 人妻在线中文字幕久久| 精品视频网| 久久狠狠干| 精品人妻在线| 激情综合网激情五月天| 日韩色情亚洲五月天婷婷| 91呦呦呦| 久热中文字幕| www.五月激情.com| 大香蕉在线观看9| 啪啪色区| 这里只有精品99视频| 国产全是老熟女太爽了| www.五月天婷婷| 任你擦免费视频| 91九色网| 97香蕉碰碰人妻国产欧美| 婷婷五月色| 女人高潮内射99精品| 开心五月婷| 久久的爱大香蕉| 久草五月| 亚州AV超碰人人操| 色婷婷狠狠爱| 五月刺激丁香月综合| 日韩aaaaa| av大香蕉| 色 噜噜 九月 婷婷| 中文无码婷婷| 成人色五月天| 99热线观看9| 热久久这里只有精品| 五月婷婷九| www.sebowuyue| 亚洲a色| 九九爱看亚洲| 五月丁香六月婷婷综合| 丁香五月色情| 欧洲色色| 婷婷五月开心中文字幕在线| 91热在线| 亚洲色涩视频| 激情操逼婷婷| 激情综合亚洲| 久热免费| 久久精品小视频| 人人操人人干AV| 五月天开心网| 日本高清久| 色综合久久天天综合网| 日韩另类| 激情久久丁香| 色婷婷在线视频观看| 久99热在线观看| 色狠狠伊人久久五月丁香| 超碰高清在线| 色色色色丁香| 无码99| 天天激情欧美美女| 丁香五月综合在线播放| 四月婷婷五月色综合| 亚洲无码猫咪| 丰满少妇乱A片无码| 六月婷婷久久| 九九99久久| 五月丁香六月婷婷中合网| 超碰97久久| 婷婷五月色| 色婷婷成人做爰A片免费看网站 | 久久久18| 久久久无码精品成人A片小说| 天天更新天天亚洲| 丁香五月天欧洲在线| 69综合在线| 黄桃AV无码免费一区二区三区| 玖玖色综合网| 日本99色| 色播激情五月天| 婷婷六月天精品| 婷婷五月av| 五月婷婷日| 色五月综合激情网| 四川女人毛多水多A片| 国产 码在线成人网站| 99热综合网| 。久久久久久久久久久久久久人妻| 性五月激情| 中文字幕精品在线观看| 日本丁香久在线| 丁香五月天日韩无码| 亚洲日韩乱码一区二区三区四区| 五月天丁香综合在线| 96丁香六月婷婷蜜桃综合久久| 先锋资源婷婷| 殴美日韩成人| 黄色一级影片| 99爱爱网| 超碰色色综合| 久久五月视频| 色99在线| 爱射综合| 五月丁香综合在线| 26uuu成人网| AV在线免费播放| 操逼巨乳91| 婷婷六月天激情| 99综合一区| 四色女婷婷| 激情婷婷色小说| 婷婷综合网站| 色色色777| 婷婷丁香五月综合| 日本a片网址| 欧美日韩91| 99精品久久久久久久婷婷| 久久伦乱| 99热最新网址| 精品一二三区视频立| 精品综合五月| 九九视频这里只有精品在线播放| 色99亚洲| 天天日夜夜操五月| 激情婷婷网| 五月综合色播播丁香婷婷| 伊人狠狠干| 岛国av电影网站| 激情综合五月色丁香婷婷 | 日本的α片xxxwww| wwwxxx五月婷婷小说| 色色网站免费观看| 色五月综合在线| 色婷婷激情| 九九 激情 网| 五月丁香六月激情欧美综合| 99久热| caop视频| 免费成人中文字幕| 99九九在线| 色色综合色视频| 在线五月婷婷小电影| 天天色一道本综合婷婷| 久久久五月婷婷| 99色色色色| 婷婷激情五月| 五月天色婷婷视频| 夜夜骑夜夜撸| 日本色色色| 天天干天天拍| 人操人| 丁香五月色网| 6月丁香婷婷激情| 婷婷丁香五月,狠狠综合| 丁香婷婷婷五月| 久久婷婷五月综合啪| 色色婷婷丁香| 农村熟妇高潮精品A片| 97超级碰| 婷婷的99视频网站| 日批在线看| 五月天最新网| 久久99热这里只频精品6学生| 人与禽A片啪啪| 变态另类色图| 婷婷丁香社区网| 久久人人人人妻| 五月天婷婷综合免费| 91欧美| 欧美婷婷色| 天堂综合久| 色频玖玖五月天| 情婷婷五月天| 五月五丁香婷婷| 五月天婷婷在线AN| 99热精品在线观看| 大香久久伊人网| 五月丁香美女视频| 五月丁香青草综合啪啪| 激情丁香婷婷| 99热九九九九| 九九国产精视频| 99热精品免费在线观看| 丁香婷婷影院| 综合精品啪啪| 加勒比色色| 狠狠人人婷婷| 逼特逼在线免费播放| 任你操精品免费| 婷婷久久免费看| 国产密乳av一区二区三区四区| 婷婷色导航| 免费碰碰视频久| 97av在线视频| 久久婷婷五月天蜜桃| 日日夜夜天天| 综合激情五月婷婷| 五月婷婷丁香色播网| 九九av| 五月天丁香啪啪啪啪| av 一区三区四区| A久久| 五月天激情综合10p| 亚洲综合久| 熟妇国产| 婷婷激情六月中文| 欧美日韩一区二区三区四区| 五月色亚洲| 五月开心婷婷| 久久婷婷精品| 91ncom.色| 日日夜夜爽| 裸体做A爰片毛片A片免费| 9久久AV| 激情综合亚洲色婷婷五月| 337p大胆噜噜噜噜噜91Av| 九九色黄色| 婷婷五月永远18免费久久久| 亚洲va成人va成人va在线观看| 97自拍99| 色情五月停停丁香| 热热色色五月天婷婷| 在线va网站| 中文AV网站| 国产黄色在线观看| 在线VA视频| 日良久久| 色色激情五月| www.色婷婷| 欧美久久久中文字幕| 五月色 亚洲| 婷婷五月婷婷| 精品亚洲国产成AV人片传媒| 婷婷五月综合婷婷| 五月婷婷丁香在线| 色99热| 99热在线播放| 99碰碰碰| 激情五月深爱婷婷| H亚洲| 六月婷婷色宗合| 五月丁香综合网| 天天操天天日天天爱| 97超碰人人操| 东京热伊人| 4399在线日本A片| 六月色激情| 激情五月丁香亭亭| 玖玖婷婷婷丁香五月| 99热在线只有精品| 亚州色综合| 丁香婷婷五月| av线电影| 强伦轩人妻一区二区电影| 噜噜狠狠色综合久| 五月丁香激情婷婷| 天堂A∨在线| 婷婷五月成人| www.五月天婷婷.com| 26uuu成人网| 秋霞电影一级黄| 99热这里有精品| 欧美婷婷丁香社区在线播放| 婷婷五月色亚洲| 久久婷婷超碰| 五月天网站亭亭| 五月天久久激情| 成功精品影院| 99在线精品视频| 色五月激情综合网| 激情深爱婷婷网| 极品人妻VIDEOSSS人妻| 五月丁香六月婷婷免费视频| 婷婷桃色网| 这里只有精品免费视频| 丝袜激情网| 99色视频| 久久五月婷综合网| 9精品久久999| 久久精品只有这| 日本3级片一区2区| 色爱亚洲| 色婷婷色情| 久操乱| 色婷狠狠| 亚洲AV网站| 久久婷婷六月综合综合| 婷婷五月天成人影片| 五月丁香日逼| 殴美日比视频| 婷婷深爱五月亚洲综合| 97干在线免费| 久久女婷| 第一区久久网站| 六月丁香成人| 五月天色区| 26uuu国产精品| 9999综合99综合人| 婷婷色五月丁香六月欧美啪| 操逼福利视频| 欧美日韩成人在线网| 91九色国产| 婷婷瑟五月天久久综合| av在线观看网址| 色综合久久天天综合网| 五月天影院婷婷在线观看| 五月婷婷丁香综合,亚洲天堂| 婷婷成人视频| 99视频久久免费视频| 月婷婷婷婷五月| 日韩亚洲视频| 久热A片| 色玖玖导航| 色爱99| 婷婷色基地在线看| 中文字幕在线免费观看视频| 午夜九九电影| 色99色| 色婷婷亚洲婷婷| 五月天综合在线观看| 久er免费视频| 丁香熟女乱| www.激情| 日日操夜夜撸| 国产26uuu视频| 亚洲秘 无码一区二区三区妃光/1| 五月天综合久久| 日日爽日日爽| 免费色色色| 久久图色4| 大地9中文在线观看免费高清| 婷婷五月天天天| 千人斩操逼| 欧美日韩成人在线观看| 中文字幕日产A片在线看| 久草大| 日本无va视频| 丁香伊人网| 色99最新网址| 婷婷五月天小说| 天天摸天天透天天舔| 婷婷在线五月天观看| 小色小蛇伊人婷婷色香五月| 日本色色影片| 六月婷婷色综合| 97色色色| 九九色色色| 丁香五月婷婷图片综合| 五月丁香色综合| 无码色| 五月天激情婷婷小说| 开心婷婷中文字慕| 九九99香蕉在线视频播放| 欧美性生交XXXXX无码小说| 色情丁香五月婷婷精品| 可以看的AV网站| 五月激情婷婷色| 亚洲另类在线观看| 欧美三日本三级少妇三99| http:色情日本com| 久久久久久久人妻| 九九aV| 婷婷五月天欧美图片在线播放电驴| 久久婷婷色| 海外网站专业操老外| 欧洲激情网站| 激情综合国产| 超碰成人在线观看| 天天做天天爽| 激情www| 日本激情91| 激情五月天影院| 久久激情五月网| 婷婷激情六月中文| 婷婷五月丁香五月天| 开心 五月 综合| 日韩999| 99九九综合久久九九| 天天综合91入口| 狠狠色狠狠色综合日日91| 亚洲天堂婷婷| 青青草原伊人网| 99A片| 成年人看Va免费视频| 26UUU精品一区二区c〇m| 色婷婷在线视频久| 99区视频| 久热这里只有精品6官网亚洲| 99ri在线视频| 91久久| www.99在线| 91se在线视频| 久久婷综合| 九九综合精品| 色很很96| 成人日韩欧美| 五月丁香网站在线播放| 九六五月天婷婷| 天天色官网| 亚艹艹| 精品久久久人妻| 99热在线只有精品| 色5月丁香婷婷| 丁香婷婷情色五月天| 丁香五月在线播放| 超碰在线综合| 五月婷婷啪| 五月婷婷婷| 99亚洲天堂| 国产看真人毛片爱做A片 | 99热精品中文字幕| 激情丁香五月| 色丁香五月婷婷| 国产成人亚洲综合A∨婷婷| 久热婷婷| 五月丁香成人网| 国产欧美日韩综合精品一区二区| 久777| 婷婷综合色图| 99热在线观看| www.婷婷六月天| 777影视理论片大全在线观看| 欧美日韩成卜| ..真实国产乱子伦对白在线_欧 | 天天天天操| 中文字幕 中文字幕明步| 狠狠色噜噜狠狠狠777奇米| 丁香五月天堂网AV| 超碰人人操在线| 五月丁香激情综合啪| 开心日韩丁香婷婷五月| 婷婷五月天激情诱惑| 思思热久久久久思思热| 色色色色网| 综合啪啪| 成人综合网站| 九九色天堂| 激情综合五月丁香| 成人欧美Va| 月婷婷婷婷五月| 91九色丨国产丨爆乳| 狠狠操狠狠爱| 久草婷婷视频| 天天日天天舔天天摸| 九九亚洲小视频| 五月丁香龟婷婷| 生活片五区| 精品国产乱码久久久久久免费| 波多野结衣不卡AV| 久久资源网五月婷| 五月丁香婷婷婷婷综合网| 久久这里只有精品8| 91成人性爱视频| 桃色五月婷婷| 五月丁香婷婷综合| 色色草97| 无码四色色色| 天天综合天天玩夜夜玩天天玩夜夜玩| 日本成人噜噜噜| 丁香五月欧美| 在线91日韩| 五月丁香久久网| 婷婷五月天免费视频| 丁香桃色网| 97婷婷五月丁香| 97操操| 色五月在线视频观看| 九九视频这里只有精品| 开心五月婷婷伊人| 激情深爱五月婷婷| 五月丁香婷婷AV| 欧美美女视频| 国产精品日日躁夜夜躁| 99re热视频| 色婷婷五月在线| 色色色九九九五月婷婷| 大香蕉婷婷| 久久久久丁香婷婷五月天| 久久综合激情| 色情开心五月| 色五月婷婷成人视频| 五月丁香综合影院| 天天干人人奸97| 亚洲AV免费在线| 日韩色五月| 欧美韩国日本| 亚州色婷婷| 五月丁香六月综合激情无码软件亮点| 五月综合久久| 久久综合影院| 日本成人小说婷婷六月| 综合五月天| 丁香五月天.com| 夜丁香五月婷婷| 婷婷五月天久久| 亚洲黄3级片网站欧美| 精品九九视频| 国产激情视频在线观看| 99热在线精品播放| 色婷婷亚洲五月天| 色九四色| 婷婷六月丁香久| 色欲丁香| A级毛片高清免费不卡播放谢谢谢谢| 亚洲五月婷天天操| 99色色视频| 9热视频在线观看| 黄色激情五月天| 五月天婷婷综合色| www。狠狠干。com| www99热| 日本色久| 26uuu国产| 婷婷五月天丁香综合网| 亚洲女婷婷五月基地综合久久久| AVDV久久| 超碰在线看| 黄网免费观看| 国产精品丝| 激情综合色播| 精品国婬伦V无码久久久| 丁香六月高清视频| 五月综合久久| 深爱五月激情网| av狠狠操| 亚洲天堂久久| 欧美婷婷五月丁香| 九九色婷婷| 丁香婷婷六月天| 色伊人啪| 男人天堂99| 国产av影片| 婷婷丁香激情综合色情| 色偷偷色婷婷| 伊人婷婷综合| 99re在线精品视频| 玖玖无码中文| 色婷婷综合久久久久| 婷婷九九| 国产成人高清| 久久9视频欧美| 黄网网站在线播放| 香蕉久久国产AV一区二区| 996er热| 五月天婷婷久久| 中文字幕在线免费观看视频| 久久99网站| 六月99天天婷婷激情综合| 综合五月婷婷| 五月天日日操夜夜操| 热久精品| 2025最新亚洲激情在线| 亚洲婷婷五月天| 熟女重口味αV| 高清一区二区三区日本久| 亚洲激情五月婷婷日日| 国产黄色在线| 深爱激情av| 免费观看高清无码| 丁香五月成人社区| 色9月| 91人人操人人| 思思久久网| 黄桃AV无码免费一区二区三区| 26uuuu精品一区二区| 99九九精品视频推荐| 色五月婷婷色五月| 成人在线日韩欧美| 大香蕉五月丁香| 久热这里只有精品3| 激情五月综合| 婷婷丁香五月精品| 色婷婷av综合网| 操骚货在线| 九九99精品视频| 天天爱天天操| 五月久久亚洲| 日韩大片艹艹| 超碰在线99| 日韩一区二区三区无码| 丁香婷婷五月综合欧美另类| 天天插天天射| 婷婷在线播放av| 亚洲妇女熟BBW| 欧美成人性爱网| 99男人天堂| 可以免费观看的AV| 五月天婷a| enecarbon-materials.com污K127封锁请涟系@wip1688 | 久99久视频精选| 翔田千里 50岁 无码| 天天搽天天射| 久久丁香婷婷色情综合| 爆乳熟妇一区二区三区爆乳照片| sS丁香五月婷婷| 狠狠色婷| 影音先锋91| 99re思思精品视频在线观看| 亚洲无码免费看| 色五月综合网| 色综合网综合| 91精品综合久久婷婷九色| 婷婷丁香六月| 五月天婷婷无码视频| 欧美婷婷丁香五月社区| 九七色色六月丁香| 伊人五月婷婷| 五月社区婷婷激情| 大香伊人婷婷影院| 婷婷综合激情| 嫩草AV久久伊人妇女超级a| 色五月色图| 国产午夜精品一区二区三区四区| 婷婷五月天狠狠色| 激情婷婷综合| 9月色婷婷| 欧美成人一区二区三区在线视频| 九九热婷婷| 五月花成人网| 五月婷婷影| 亚洲午夜成人av电影网| 婷婷六月丁香五月| 日本天天综合| 久久精品日| 九九色影院| 色婷婷五月综合| 五月激情网五月综合网| 久久精品99久久久久久| av一级棒av| 久99久在线| 激情五月色综合| 深爱五月激情综合| 九九色之九九色之88| 精品人妻伦九区久久AAA片| 97色色网| 色噜综| 播五月婷婷开心| 激情五月婷婷啪啪| 精品人妻午夜一区二区三区四区 | 日本情色一区二区| 92久久精品一区二区| 热久久91| 一区二区三区四区无码| 亚洲成人av在线| 婷婷六月成人| 国产精品色色| 色色操| 久久视频在线| 丁香五月aV| 丁香九月婷婷| 91精产一区三区免费观看| 久久性爱99国产| 亚洲日日日| 五月婷婷深深爱| 日日狠狠久久偷偷四色综合免费| 美臀自射自家人妻| 五月天激情图片| 婷婷五月综合色中文字幕| 丁香五月婷婷天激情| 亚洲色久| 丁香五月成人社区| 久久婷婷成人| 亚洲综合五月天| 99久久精品视频女神1| 婷婷五月情色| 丁香五月天堂网| 丁香五月开心亚洲| 色九月综合网| 久久九九热re6这里有精品| 国产精品久久久久久久久久| 五月天婷婷视频| 六月婷婷综合激情| 性爱视频久久| 五月综合激情视频在线| 色婷五月天亚洲| 久久色在线视频| 激情九月婷婷| 91在线日本| 午夜福利8055| 99在线一区| 婷婷黄色网| www.99riav99| 色婷婷激情五月天丁香| 大伊香蕉精品视频在线| 九九视频在线观看视频6 | 综合五月天| 九热免费视频| 成人 视频免费观看网站| 五月丁香成年黄色| 夜色综合网| 天天综合五月天| 五月婷婷五月色| 天天日天天草| 亚洲狠狠干| 色色COm| 色婷婷社区| 婷婷丁香激情综合色情| 五月天,激情四射,婷婷频道| 天天日日夜夜爽。| 丁香六月伊人| 亚洲婷婷免费| 丁香五月天激情综合| 波多野结衣AV无码Porn| 超碰在线9| 色色综合激情| 日韩黄色电影| 色色免费网站| 五月天婷婷在线播放| 激情五月天综合网| 少妇人妻人伦A片| 亚洲乱码日产精品BD| 麻豆观看夏晴子| 91色性感五月婷婷丁香| 久久99久久99www| 激情婷| 99a级片| 欧美精品99| 91性高潮久久久久久久久| 激情深爱五月婷婷| 五月天婷婷色紫薇阁| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 影音先锋91| 激情九月婷婷| 色色色网站| 伊人久久丁香狠狠婷婷综合香蕉 | 五月丁香激情综合网官网| 日本黄色在线观看| 六月色色| 丁香婷五月| 丁香五月天综合| 亚洲国产成人综合| 欧美搡BBBBB摔BBBBB| 丁香八月综合激情| 日本人人干| 青青草性爱视频| 丁香五月激情六月| 99热最新| 99色五月| 亚洲AV成人在线| 99热超碰人| 六月丁香停| 久久无码激情视频| 亚洲综合视频一下| 综合噜噜| 丁香五月天激情视频| 一本大道嫩草AV无码专区| 丁香五月伊人| 日韩狠狠色| 婷婷综合网在线| 色99网| www夜夜操| 五月美女婷婷风骚| 亚洲 视频 导航 一区| 色色影院aaaav| 五月深爱网| 综合99综合久久久久久久| 日日爽夜夜爽| 激情婷婷激情在线不卡| 激情视频91| 婷婷色5月天在线。| www.minyis.com【JT】实力收量可预付QQ2101460746 | www色五月| 免费看成人AA片无码视频吃奶| 91九色白丝| 91一起艹| 麻豆五月丁香婷婷| 丁香五月天社区| 久久婷婷五月天| av成人在线播放| 色99亚洲| 五月天婷婷成人网| 少妇AB又爽又紧无码网站| 五月天基地| 韩日在线熟女| WWW.婷婷| 色色婷婷丁香| 国产99久9在线| 婷婷区日本| 免费黄色AV| 激情涩播| A在线观看| 色婷婷色五月综合| 99热这里只有精彩| 丁香九色不卡aaa| 99热在线观看精品| 五月丁综合在线观看| 涩综合网| 大香蕉视频婷婷| 色情婷婷| 婷婷五月天国产| 成人亚洲精品久久久久| 影音先锋一区二区三区| 99视频只有这里精品| 五月丁香六月婷婷久久| 五月天大香蕉视频| 色五月成人婷婷| 亚洲无码11| 婷婷在线日韩综合| 久久视频66| 99丁香五月婷| 99爱在线| 无码中文一区二区三区| 激情久久久久久| 2021日韩无码| 五月婷在线色视频| 激情五月丁香婷婷| 亚洲视频无| 我爱va亚洲va52| 日本欧美成人片AAAA| 五月天丁香啪啪啪啪| 亚洲综合丁香五月| 91精品综合久久久久久五月丁香| 色噜噜五月丁香婷婷| 激情美女五月天激情在线| 涩涩五月天| xxxx久| 婷婷天天婷婷天天澡| 超碰只有精品在线| 九九热只有精品6| 亚洲 日韩色色| 婷婷色九月| 大香蕉伊在| www.激情五月天| 国产精品美女久久久久AV超清| 超碰在线91| 色色丁香婷婷综合| 亚洲操B视频| 五月婷婷性| www久久久久久久久久久久久久久久久| 狠狠色噜噜狠狠色噜噜噜999| 97干欧美| 丁香五月综合激情性爱| www.成人婷婷综合| 激情五月丁香五月综合| 激情五月天婷婷免费观看| 超碰在线免费9| 97婷婷五月激情六月丁香伊人| 人人干AV| 乱岳熟女50岁| 99综合色色色| 色爱五月天| 四虎成人精品永久免费AV九九| 欧美日韩成人在线网| 欧美啪啪网| 美女主播野战视步页| 欧美成人精品三区综合A片| 99久久久国产大片区| 天天婷婷综合亚洲亚洲| 五月婷婷|欧美| 99热99日…..| 丁香五月在线观看| 成人在线高清| 五月天激情久久| 五月丁香综合成人社区| 日本WWW九九九| 色吊丝永久访问网址| aa久久| 啪啪啪大香蕉| 婷婷五月婷婷| 5月丁香婷婷| 91丁香综合| 天天草天天日| Www.久久| 五月天婷婷久久| AV动漫不卡无码免费| 婷婷色网站| 婷婷八月激情| 亚洲精品又粗又大又爽A片| 婷婷久久夜| 少妇达人正片在线播放_ikun_福利吧| 91视频久久久| 色久女| 五月激情五月丁香| 日本视频久久| 永久地址 色| 五月天婷婷激情网| 日韩啪啪视频| 欧美va亚洲va| 综合色五月亭亭| 亚洲成人婷婷| 绿色小导航AV| 日本综合久久| 日本精品。999| 欧美色必爱| 天天爱天天操| 五月天丁香六月综合| 国产古装妇女野外A片| 亚洲午夜AV| 97人人看一| 婷婷色播婷婷| 深爱激情九九五月天 | 99热精品在线在线| 亚洲AV人人操| 国产精品a无线| www,99热| 91啪啪视频| 精品亚洲国产成AV人片传媒| 色丁香影院| 久久99婷婷| 人妻久久久| www.99热这里只有精品| 9l视频自拍9l九色成人| 婷婷情色开心五月天99| 2025色婷婷| 91碰碰| 婷婷亚洲在线| 综合网啪| 天天激情视频| www.色色com| 久久9视频欧美| 丁香六月av| sewuyuetingtingiii| 天天天天天天操| 99热精国产这里只有精品| 五月婷婷成人| 激情又色又爽又黄的A片| 欧洲综合色| 91操片| 色色色九九九五月婷婷| www.婷婷六月天| 五月丁香天天| 日本色久| 国产高清av黄色看片| 神马欧美精| 丁香五月婷婷姐| 九月激情综合婷婷| 亚洲成av人影院| 伊人激情影院| 日韩一区二区三区无码| 性色av大香综合| 欧美性生交XXXXX无码小说| 五月丁香成人视频| 日本精品。999| 久久精品99久久久久久| 做爰丰满少妇1313| 97碰碰视频在线观看免费| 思思re视频在线| 99在线观看| 1024久婷| 国产精品涩涩涩视频网站| 色婷婷AV在线| 色欲资源网| 成人片在线播放| 狠狠色婷婷丁香五月| 久久99热这里只频精品6学生| 日本色五月婷婷| 伊人婷婷色激情丁香| 亚洲激情在线| 激情久久婷婷| 成人国产欧美大片一区| 亚洲99综合| 婷婷99狠狠躁| 婷婷五月永远18免费久久久| 日韩在线观看亚洲| 天天射天天操天天干| 亚洲午夜AV| 婷婷色九月| 深爱激情丁香五月| 激情五月综合色婷婷| 亚洲成人影视在线观看| 欧美婷婷综合| 欧美S码亚洲码精品M码| 久久xxxx| 五月激情影院| 五月开行婷婷色五月| 激情久久四色| 91综合国免费久入| 99视频在线啪| 色色999三级片| 拍真实国产伦偷精品| 99在线精品视频在线观看| 婷婷五月丁香超碰|