兩周前調(diào)一臺(tái)跑了快一年的嵌入式服務(wù)器日志系統(tǒng)里開始反復(fù)出現(xiàn)同一類記錄EDAC MC0: 1 CE on ...當(dāng)時(shí)我第一反應(yīng)不是急著關(guān)機(jī)換內(nèi)存而是先去看這個(gè)CE是真實(shí)發(fā)生的單比特翻轉(zhuǎn)還是某個(gè)測(cè)試流程或ECC控制器自己造成的誤報(bào)。真正讓我緊張的是另外一臺(tái)機(jī)器日志里一共就兩行類似uncorr. ecc 顯示2的記錄緊接著就是一次完整的machine check panic。很多第一次接觸這類日志的人要么被嚇到要么干脆忽略。但ECC錯(cuò)誤信息從來不是有或沒有這么簡(jiǎn)單尤其當(dāng)你既要處理線上運(yùn)行時(shí)的內(nèi)核報(bào)錯(cuò)又要在產(chǎn)線階段面對(duì)MBIST測(cè)試時(shí)你得能分清哪些錯(cuò)誤可以被糾正、哪些會(huì)直接導(dǎo)致數(shù)據(jù)損壞以及內(nèi)存控制器究竟是在哪個(gè)環(huán)節(jié)把錯(cuò)誤分類的。這篇文章我就沿著一條真實(shí)的排查鏈路說起按照?qǐng)?bào)錯(cuò)怎么讀、ECC怎么糾錯(cuò)、怎么定位壞內(nèi)存、怎么用MBIST提前發(fā)現(xiàn)隱患的順序把我在項(xiàng)目里踩過的坑、花時(shí)間驗(yàn)證過的做法一次性攤開講清楚。1. 日志里的 uncorr. ecc 顯示2 到底在說什么1.1 一條典型的ECC報(bào)錯(cuò)日志長(zhǎng)什么樣很多運(yùn)維同事第一次看到類似uncorr. ecc 顯示2這樣的描述都會(huì)有個(gè)共同疑問這個(gè)2是什么意思是錯(cuò)誤等級(jí)是DIMM編號(hào)還是錯(cuò)誤計(jì)數(shù)就我接觸過的實(shí)際日志來說它多半是監(jiān)控工具從內(nèi)核EDAC子系統(tǒng)、MCEMachine Check Exception模塊或者帶外管理接口比如SEL日志、IPMI sensor讀取出來的累計(jì)計(jì)數(shù)含義通常是不可糾正ECC錯(cuò)誤已經(jīng)發(fā)生過2次。換句話說這不是某一條內(nèi)存顆粒壞了才出現(xiàn)的信息而是系統(tǒng)已經(jīng)把兩次不可恢復(fù)的內(nèi)存錯(cuò)誤記錄在案。典型的Linux內(nèi)核日志長(zhǎng)這樣[ 5326.885023] EDAC sbridge MC0: UE row 2, channel 0, label CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 [ 5326.885033] mce: [Hardware Error]: Machine check events logged [ 5326.895103] Memory failure: 0x2a5b1c0: recovery action for dirty LRU page: Recovered如果是通過mcelog的JSON輸出也有類似結(jié)構(gòu){ type: memory, mc: 0, csrow: 2, channel: 0, dimm: CPU_SrcID#0_Ha#0_Chan#0_DIMM#1, ue_count: 2 }這里的ue_count: 2就是我說的累計(jì)計(jì)數(shù)。相比之下uncorr. ecc 顯示2是某些帶外管理界面或腳本里的縮寫描述并不標(biāo)準(zhǔn)但指向同一個(gè)東西這個(gè)內(nèi)存模塊下已經(jīng)累計(jì)了2次不可糾正ECC錯(cuò)誤。1.2 Corrected Error 與 Uncorrected Error 的工程差異ECC日志里最基礎(chǔ)的兩個(gè)詞是CECorrected Error可糾正錯(cuò)誤和UEUncorrected Error不可糾正錯(cuò)誤。網(wǎng)上很多文章只說CE沒關(guān)系UE要換內(nèi)存但在實(shí)際項(xiàng)目里這種二分法會(huì)害死人。CE意味著內(nèi)存陣列中的某一位發(fā)生了翻轉(zhuǎn)ECC電路通過校驗(yàn)位把它恢復(fù)到了正確值系統(tǒng)可以繼續(xù)跑。表面上看起來無害但CE出現(xiàn)頻率是有意義的信號(hào)。假設(shè)一條內(nèi)存條的CE計(jì)數(shù)在一個(gè)月內(nèi)從0漲到幾百說明該區(qū)域可能存在物理損壞、顆粒老化或者觸發(fā)了行錘擊Row Hammer效應(yīng)再不處理后續(xù)大概率會(huì)演化成UE。UE則意味著錯(cuò)誤已經(jīng)超出了ECC的糾錯(cuò)能力比如雙比特翻轉(zhuǎn)、同一緩存行里出現(xiàn)兩個(gè)單比特錯(cuò)誤或者內(nèi)存顆粒的某個(gè)位完全失效。這種情況下ECC只能檢測(cè)到錯(cuò)誤但拿不出正確的數(shù)據(jù)系統(tǒng)只能上報(bào)MCE。如果發(fā)生UE的區(qū)域恰好是正在運(yùn)行的代碼頁或關(guān)鍵數(shù)據(jù)結(jié)構(gòu)結(jié)果通常是進(jìn)程被kill、系統(tǒng)panic最難受的是沒有任何報(bào)錯(cuò)只是數(shù)據(jù)悄悄被寫壞等發(fā)現(xiàn)時(shí)已經(jīng)晚了。我見過不少同學(xué)直接把UE日志無視掉理由是機(jī)器還能跑。對(duì)當(dāng)時(shí)是能跑但你不知道哪塊數(shù)據(jù)已經(jīng)變成錯(cuò)的這是最可怕的。只要出現(xiàn)一次UE就應(yīng)該進(jìn)入排查流程而不是等下次再報(bào)。1.3 一次只有2次UE的故障場(chǎng)景復(fù)盤今年年初處理過一臺(tái)設(shè)備日志里ue_count從1變成2中間間隔了三周系統(tǒng)沒有panic所有業(yè)務(wù)看起來都正常。但仔細(xì)翻內(nèi)核日志后發(fā)現(xiàn)第一次UE發(fā)生時(shí)有幾頁用戶空間內(nèi)存被標(biāo)記為損壞對(duì)應(yīng)的進(jìn)程收到了SIGBUS某個(gè)老舊的服務(wù)進(jìn)程直接退出只不過因?yàn)榕渲昧诉M(jìn)程守護(hù)自動(dòng)重啟了所以業(yè)務(wù)沒有中斷。第二次UE發(fā)生時(shí)平臺(tái)已經(jīng)進(jìn)入了帶病運(yùn)行狀態(tài)。用ras-mc-ctl --summary查看再結(jié)合dmesg | grep EDAC確認(rèn)了UE發(fā)生的物理地址范圍最終鎖定了某個(gè)通道上的內(nèi)存條替換后問題消失。這個(gè)過程讓我形成了一條判斷習(xí)慣UE計(jì)數(shù)哪怕只有1也要當(dāng)成重大故障對(duì)待而不是等它自我恢復(fù)。內(nèi)存錯(cuò)誤是硬件故障靠重啟軟件是永遠(yuǎn)修不好的。2. ECC糾錯(cuò)原理為什么64位數(shù)據(jù)要配72位物理通道2.1 漢明碼與SEC-DED的數(shù)學(xué)基礎(chǔ)ECC之所以能糾錯(cuò)核心在漢明碼。漢明碼的基本思路是給數(shù)據(jù)位額外增加若干個(gè)校驗(yàn)位讓整個(gè)碼字滿足特定的奇偶校驗(yàn)關(guān)系。經(jīng)典漢明碼可以糾正任意單比特錯(cuò)誤但檢測(cè)不了雙比特錯(cuò)誤。為了兼顧糾正單比特和檢測(cè)雙比特實(shí)際內(nèi)存ECC幾乎都使用SEC-DEDSingle Error Correction, Double Error Detection編碼也就是在漢明碼基礎(chǔ)上再增加一個(gè)全校驗(yàn)位使碼字的最小漢明距離從3增大到4。最小距離為3時(shí)只能糾正1位錯(cuò)誤距離為4時(shí)可以糾正1位錯(cuò)誤、檢測(cè)2位錯(cuò)誤。校驗(yàn)位數(shù)量怎么算對(duì)于64位數(shù)據(jù)需要滿足2^r m r 1其中m是數(shù)據(jù)位寬度64r是校驗(yàn)位數(shù)量。代入計(jì)算2^7 128 64 7 1 72 成立所以7個(gè)校驗(yàn)位理論上就能實(shí)現(xiàn)SEC但加上SEC-DED需要的額外校驗(yàn)位后實(shí)際是8個(gè)。64位數(shù)據(jù)加8位校驗(yàn)正好拼成72位。這就是為什么標(biāo)準(zhǔn)ECC UDIMM/RDIMM的數(shù)據(jù)位寬是72位而不是普通內(nèi)存的64位。順帶一提很多DDR5支持On-die ECC那是顆粒內(nèi)部額外存儲(chǔ)區(qū)做的保護(hù)和系統(tǒng)級(jí)ECC是兩回事。系統(tǒng)級(jí)ECC走的是72位總線DDR5的On-die ECC通常不參與系統(tǒng)內(nèi)存的糾錯(cuò)流程只覆蓋內(nèi)部陣列的讀取這一點(diǎn)在選型時(shí)特別容易混淆。2.2 為什么選SEC-DED而不是更強(qiáng)的糾錯(cuò)編碼理論上還可以設(shè)計(jì)出能糾正2位甚至更多位錯(cuò)誤的編碼比如BCH碼或Reed-Solomon碼。那內(nèi)存為什么不用三個(gè)字性價(jià)比。DRAM單比特錯(cuò)誤的占比遠(yuǎn)高于多比特錯(cuò)誤。粒子撞擊引起的軟錯(cuò)誤、電壓瞬變、溫度漂移絕大多數(shù)表現(xiàn)為單個(gè)存儲(chǔ)單元翻轉(zhuǎn)。芯片級(jí)物理損壞初期也通常是從一個(gè)位開始失效。SEC-DED已經(jīng)覆蓋了99%以上的實(shí)際錯(cuò)誤場(chǎng)景再多一位糾錯(cuò)能力校驗(yàn)位寬度會(huì)大幅增加總線帶寬、內(nèi)存控制器復(fù)雜度、延遲和成本全都惡化。在一些高端服務(wù)器平臺(tái)上有Chipkill或SDDC技術(shù)它的思路是用多個(gè)內(nèi)存顆粒分別承載不同數(shù)據(jù)塊配合更寬的ECC編碼讓單個(gè)顆粒完全失效時(shí)仍然可以恢復(fù)數(shù)據(jù)。這種能力本質(zhì)上是通過更寬的扇出和更強(qiáng)的編碼實(shí)現(xiàn)代價(jià)是內(nèi)存子系統(tǒng)設(shè)計(jì)更復(fù)雜通常只出現(xiàn)在關(guān)鍵業(yè)務(wù)服務(wù)器的RDIMM/LRDIMM方案里。2.3 ECC覆蓋不到的物理錯(cuò)誤ECC不是萬能的有幾類錯(cuò)誤它一點(diǎn)忙都幫不上。地址線或控制線上的錯(cuò)誤。如果內(nèi)存控制器要訪問的物理地址在傳輸過程中被干擾最終訪問到的是錯(cuò)誤地址上的數(shù)據(jù)這個(gè)數(shù)據(jù)本身可能是合法的ECC校驗(yàn)自然通過但你拿到的根本不是想要的數(shù)據(jù)。這種場(chǎng)景下ECC報(bào)告不了任何錯(cuò)誤數(shù)據(jù)卻已經(jīng)錯(cuò)了。讀改寫粒度的限制。某些平臺(tái)對(duì)ECC內(nèi)存做部分寫入時(shí)需要先把整塊數(shù)據(jù)讀出來修改目標(biāo)字節(jié)后再寫回這個(gè)讀-改-寫窗口如果同時(shí)遭遇另一個(gè)單比特錯(cuò)誤可能產(chǎn)生疊加效應(yīng)最終表現(xiàn)為無法糾正的UE。行錘擊攻擊造成的比特翻轉(zhuǎn)。高頻訪問某一行內(nèi)存導(dǎo)致相鄰行的電容電荷泄漏加速可能在正常讀寫過程中引發(fā)多處比特翻轉(zhuǎn)形成多比特錯(cuò)誤。ECC只能事后檢測(cè)無法預(yù)防。理解了這些邊界你就明白為什么在關(guān)鍵系統(tǒng)里光靠ECC不夠還需要內(nèi)存鏡像、故障預(yù)測(cè)、定期巡檢這些更上層的機(jī)制來兜底。3. 從內(nèi)核日志到定位壞內(nèi)存一次完整排查復(fù)盤3.1 第一步確認(rèn)錯(cuò)誤來源是內(nèi)存還是緩存排查開始前最重要的事是確認(rèn)這個(gè)MCE/EDAC錯(cuò)誤到底來自DRAM、CPU緩存還是總線。不少人一看日志里有ECC就默認(rèn)是內(nèi)存條然后直接替換替換完了問題依舊最后才發(fā)現(xiàn)是CPU的L2緩存出問題。怎么區(qū)分看dmesg里MCE日志的MCG_STATUS和MCACOD兩個(gè)字段。MCACOD低幾位會(huì)編碼錯(cuò)誤類型常見的有MCACOD部分值典型含義0x0134 / 0x0135內(nèi)存控制器報(bào)告的錯(cuò)誤通常關(guān)聯(lián)DIMM0x0150 / 0x0151緩存層次報(bào)告的錯(cuò)誤0x0000 / 0x0001通用總線/互連錯(cuò)誤同時(shí)查看EDAC的mc0目錄如果日志里出現(xiàn)EDAC MC0: UE基本可以確定是內(nèi)存控制器視角的錯(cuò)誤。如果只有MCE事件而沒有EDAC事件且MCACOD指向緩存那就要往CPU方向排查。3.2 第二步通過EDAC和MCE互相印證確認(rèn)是內(nèi)存錯(cuò)誤之后要快速鎖定是哪根DIMM?，F(xiàn)代平臺(tái)通過edac-util --report可以給出非常具體的位置edac-util --report mc0: 0 Uncorrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1 1 Corrected Errors with DIMM CPU_SrcID#0_Ha#0_Chan#0_DIMM#1這個(gè)label字段結(jié)合dmidecode -t memory里的Locator可以直接對(duì)應(yīng)到物理插槽dmidecode -t memory | grep -E Locator|Error Correction|Size比如看到Locator: DIMM_A1再對(duì)照主板上絲印編號(hào)就能確定是哪個(gè)物理槽位。如果平臺(tái)比較老沒有l(wèi)abel信息可以讀/sys/devices/system/edac/mc/mc0/csrowX/下的ue_count和ce_count配合內(nèi)存控制器的channel映射關(guān)系推斷。這里有個(gè)很容易踩的坑某些虛擬化環(huán)境或云主機(jī)里/sys下的EDAC信息可能是宿主機(jī)的客戶機(jī)里的EDAC路徑要么不存在要么不完整。所以排查之前先確認(rèn)自己是在物理機(jī)還是虛擬機(jī)里別在虛擬機(jī)里折騰半天物理內(nèi)存條。3.3 第三步壓力測(cè)試與替換驗(yàn)證鎖定嫌疑DIMM后不要急著拆機(jī)先把錯(cuò)誤復(fù)現(xiàn)做一下。常用的工具是memtester和stressapptest。stressapptest的經(jīng)典用法stressapptest -M 64 -s 3600 -i 4 -C 8-M 64表示分配64GB內(nèi)存-s 3600是測(cè)試時(shí)長(zhǎng)3600秒-i 4是迭代次數(shù)-C 8是使用8個(gè)CPU線程。注意測(cè)試內(nèi)存容量不要超過系統(tǒng)可用物理內(nèi)存的85%否則大量swap會(huì)干擾結(jié)果。跑完一輪后觀察EDAC計(jì)數(shù)是否增長(zhǎng)。如果ue_count或ce_count明顯增加并且關(guān)聯(lián)的label還是同一根DIMM基本石錘。接下來做替換驗(yàn)證。方法是換位不換條把嫌疑內(nèi)存條插到另一個(gè)已知正常的槽位同時(shí)把正常內(nèi)存條插到嫌疑槽位再跑一輪壓力測(cè)試。如果錯(cuò)誤跟著內(nèi)存條走說明是內(nèi)存條本身問題如果錯(cuò)誤留在原槽位說明是主板內(nèi)存通道或CPU內(nèi)存控制器的問題。這一步極其重要我遇到過不止一次最終變成換主板的案例。3.4 換內(nèi)存之后的驗(yàn)證換完內(nèi)存條不要以為事情就結(jié)束了還要做三項(xiàng)確認(rèn)第一dmesg里舊的EDAC錯(cuò)誤記錄還在要用edac-ctl --reset或重啟來清空計(jì)數(shù)器避免把歷史錯(cuò)誤當(dāng)成新錯(cuò)誤。第二重新跑至少一小時(shí)的stressapptest確認(rèn)新增CE/UE數(shù)量為0。第三觀察后續(xù)一周的日志確認(rèn)沒有間歇性錯(cuò)誤。很多朋友只做第一步就宣布故障解決結(jié)果下一周又收到報(bào)警歷史日志和新日志混在一起排查起來非常痛苦。4. MBIST與ECC聯(lián)合驗(yàn)證量產(chǎn)與板級(jí)調(diào)試的關(guān)鍵一環(huán)4.1 MBIST能發(fā)現(xiàn)什么、發(fā)現(xiàn)不了什么MBISTMemory Built-In Self-Test是內(nèi)建內(nèi)存自測(cè)試廣泛應(yīng)用在芯片測(cè)試和板級(jí)產(chǎn)線測(cè)試中。它通過在內(nèi)存控制器內(nèi)部集成測(cè)試邏輯對(duì)存儲(chǔ)陣列施加一系列測(cè)試圖形比如March C、March SS、棋盤格Checkerboard、走查Walking 1/0來檢測(cè)陣列里是否存在stuck-at fault固定為0或1、transition fault翻轉(zhuǎn)失敗、coupling fault單元間耦合干擾。MBIST的強(qiáng)項(xiàng)是直接面向存儲(chǔ)單元陣列做無損遍歷不需要操作系統(tǒng)也不需要CPU參與復(fù)雜的數(shù)據(jù)搬移。在產(chǎn)線階段MCU/SoC上電后先跑一段MBIST幾百毫秒就能覆蓋整個(gè)內(nèi)存顆粒陣列。但MBIST有它的盲區(qū)它對(duì)ECC邏輯本身的校驗(yàn)?zāi)芰苋?。因?yàn)镸BIST通常繞過了ECC編碼/解碼電路直接訪問物理存儲(chǔ)陣列校驗(yàn)位存儲(chǔ)區(qū)雖然也會(huì)被測(cè)試到但ECC的syndrome計(jì)算邏輯、錯(cuò)誤注入上報(bào)鏈路、單比特糾正流程在純MBIST流程里根本不會(huì)被觸發(fā)。4.2 兩類容易漏掉的錯(cuò)誤校驗(yàn)位陣列故障與錯(cuò)報(bào)EDC邏輯實(shí)際項(xiàng)目中我踩過兩個(gè)坑。第一個(gè)坑是校驗(yàn)位存儲(chǔ)單元故障。MBIST測(cè)試主數(shù)據(jù)區(qū)時(shí)校驗(yàn)位區(qū)域通常是一起測(cè)的但如果MBIST配置只在固定地址段做全0/全1寫入有些顆粒的校驗(yàn)位單元stuck-at故障就測(cè)不出來。比如校驗(yàn)位某一位恒為0數(shù)據(jù)區(qū)全部寫1時(shí)校驗(yàn)位本來就應(yīng)該是特定的混合序列可能恰好和恒為0很接近測(cè)試就這么糊弄過去了。正確的做法是讓MBIST針對(duì)校驗(yàn)位區(qū)域也跑March SS或棋盤格或者利用ECC控制器的測(cè)試模式對(duì)校驗(yàn)位做獨(dú)立的0/1翻轉(zhuǎn)測(cè)試。第二個(gè)坑是錯(cuò)誤上報(bào)鏈路斷了。有次板卡量產(chǎn)測(cè)試MBIST跑完一切正常但產(chǎn)品到客戶現(xiàn)場(chǎng)之后系統(tǒng)不停上報(bào)可糾正ECC錯(cuò)誤CE計(jì)數(shù)漲得飛快。排查后發(fā)現(xiàn)是固件里ECC中斷處理函數(shù)配置有問題錯(cuò)誤已經(jīng)發(fā)生了但中斷沒觸發(fā)EDAC在錯(cuò)誤達(dá)到門限前都不會(huì)報(bào)。換句話說內(nèi)存顆粒本身沒有故障是ECC的錯(cuò)誤上報(bào)鏈路沒有閉環(huán)。這讓我養(yǎng)成一個(gè)習(xí)慣量產(chǎn)測(cè)試?yán)锍薓BIST跑內(nèi)存顆粒必須單獨(dú)做一次ECC鏈路測(cè)試驗(yàn)證從數(shù)據(jù)錯(cuò)誤產(chǎn)生、到ECC模塊糾正/檢測(cè)、再到中斷上拋、最終EDC日志記錄這條完整路徑是通的。4.3 用MBIST驗(yàn)證ECC邏輯的實(shí)操做法怎么在一個(gè)產(chǎn)品化的測(cè)試流程里把MBIST和ECC串起來我分享一套驗(yàn)證過的做法。第一步裸機(jī)階段靠MBIST排掉陣列級(jí)故障。上電初始化后正常進(jìn)入所以MBIST全陣列遍歷模式用March C和反走查pattern各跑一遍。任何一顆顆粒有物理故障這一步會(huì)直接報(bào)錯(cuò)并給出失效地址固件把它記錄到壞塊管理表里。第二步進(jìn)入ECC模式后做故障注入測(cè)試fault injection。大部分內(nèi)存控制器的測(cè)試模式里都有寄存器可以強(qiáng)制翻轉(zhuǎn)數(shù)據(jù)線或校驗(yàn)位可以模擬單比特錯(cuò)誤和雙比特錯(cuò)誤。對(duì)單比特注入確認(rèn)數(shù)據(jù)仍然能正確讀回同時(shí)CE計(jì)數(shù)增加對(duì)雙比特注入確認(rèn)系統(tǒng)產(chǎn)生UE事件并觸發(fā)MCE或者對(duì)應(yīng)中斷。示例偽代碼流程// 進(jìn)入ECC測(cè)試模式 ecc_test_enable(ECC_TEST_INJECT_SINGLE_BIT); // 寫入已知pattern write_data(0x5A5A5A5A5A5A5A5A); // 讀取并比較 read_data(val); if (val 0x5A5A5A5A5A5A5A5A) { // 單比特錯(cuò)誤被糾正CE計(jì)數(shù)應(yīng)增加 check_ce_counter(1); } // 切換為雙比特注入 ecc_test_enable(ECC_TEST_INJECT_DOUBLE_BIT); read_data(val); // 此時(shí)不應(yīng)返回正確數(shù)據(jù)而應(yīng)產(chǎn)生UE中斷/事件 check_ue_event();第三步確認(rèn)系統(tǒng)層面的EDAC/MCE通道能正確記錄。板上固件測(cè)試模式下產(chǎn)生的UE事件要和Linux EDAC層對(duì)上。比如測(cè)試注入一次UE后進(jìn)入Linux讀/sys/devices/system/edac/mc/mc0/ue_count確認(rèn)計(jì)數(shù)增加了。以前我遇到過測(cè)試模式下能觸發(fā)中斷但Linux驅(qū)動(dòng)沒正確解析寄存器導(dǎo)致日志里什么都看不到的情況這一步就是為了堵住這種漏洞。4.4 產(chǎn)線測(cè)試中遇到的一個(gè)假UE案例順便分享一個(gè)很有意思的排查過程。某批次板卡MBIST全過但在客戶機(jī)器上運(yùn)行一個(gè)月后多塊板卡同一天報(bào)UE而且都是錯(cuò)誤地址集中在同一片區(qū)域。當(dāng)時(shí)第一反應(yīng)是顆粒批次問題準(zhǔn)備整批退貨。后來把退回板卡放在實(shí)驗(yàn)室復(fù)測(cè)壓力測(cè)試跑了兩天都測(cè)不出來再用原來客戶日志里的錯(cuò)誤地址和行錘擊工具專門打那片地址錯(cuò)誤立刻復(fù)現(xiàn)。結(jié)論是這批次顆粒的行錘擊閾值偏高正常工作負(fù)載下沒問題但客戶業(yè)務(wù)里恰好有大量訪問同一內(nèi)存行的場(chǎng)景觸發(fā)了相鄰行的比特翻轉(zhuǎn)。問題不在MBIST覆蓋率而在系統(tǒng)級(jí)行錘擊防護(hù)策略沒配置好。后來通過調(diào)整內(nèi)存控制器的RFMRefresh Management參數(shù)解決了。這個(gè)案例說明MBIST和ECC測(cè)試做得再完整也不能替代對(duì)實(shí)際使用場(chǎng)景的理解。量產(chǎn)前的可靠性測(cè)試一定要結(jié)合目標(biāo)部署場(chǎng)景設(shè)計(jì)用例。5. 項(xiàng)目選型與日常監(jiān)控的實(shí)操建議5.1 什么時(shí)候必須上ECC不是所有設(shè)備都需要ECC內(nèi)存但下面幾類場(chǎng)景我的建議是ECC沒有妥協(xié)余地。長(zhǎng)期無人維護(hù)的邊緣設(shè)備。比如部署在偏遠(yuǎn)站點(diǎn)的工業(yè)控制器、網(wǎng)關(guān)設(shè)備沒人會(huì)定期巡檢一旦內(nèi)存故障錯(cuò)誤被悄悄寫入文件系統(tǒng)過幾個(gè)月數(shù)據(jù)損壞才發(fā)現(xiàn)損失遠(yuǎn)大于內(nèi)存條的那點(diǎn)差價(jià)。跑數(shù)據(jù)庫或文件系統(tǒng)的機(jī)器。數(shù)據(jù)庫頁緩存、文件系統(tǒng)元數(shù)據(jù)對(duì)bit翻轉(zhuǎn)極度敏感一個(gè)bit錯(cuò)誤可能導(dǎo)致一條記錄損壞或者文件系統(tǒng)目錄結(jié)構(gòu)崩潰。沒有ECC的機(jī)器出現(xiàn)這種錯(cuò)誤時(shí)連日志都不會(huì)有。高密度計(jì)算和AI訓(xùn)練節(jié)點(diǎn)。長(zhǎng)時(shí)訓(xùn)練任務(wù)如果因內(nèi)存錯(cuò)誤導(dǎo)致數(shù)據(jù)損壞可能跑幾天才發(fā)現(xiàn)loss異常重跑一遍的代價(jià)遠(yuǎn)超ECC的成本。5.2 軟ECC與硬ECC怎么選現(xiàn)在很多消費(fèi)級(jí)SSD、嵌入式eMMC/UFS控制器內(nèi)部都帶LDPC或BCH軟糾錯(cuò)這是軟ECC的概念指的是主控固件層面的糾錯(cuò)。它和我們說的內(nèi)存ECC是兩碼事。系統(tǒng)級(jí)內(nèi)存ECC要求內(nèi)存控制器和內(nèi)存顆粒都支持ECC即72位總線。消費(fèi)級(jí)CPU和普通UDIMM不支持這個(gè)模式只有工作站/服務(wù)器CPU加ECC UDIMM/RDIMM才能組合出完整方案。有些嵌入式SoC支持的是內(nèi)嵌ECC模式數(shù)據(jù)總線上沒有額外校驗(yàn)位但控制器內(nèi)部利用預(yù)留存儲(chǔ)區(qū)存放校驗(yàn)數(shù)據(jù)外部看來還是64位總線。這種方案的糾錯(cuò)能力受限于內(nèi)部帶寬和訪問粒度通常只能覆蓋部分錯(cuò)誤場(chǎng)景。選型時(shí)要確認(rèn)清楚是哪種ECC別看到支持ECC就算數(shù)。5.3 開啟正確的監(jiān)控與告警硬件選對(duì)只是第一步運(yùn)行期的監(jiān)控同樣不能少。Linux內(nèi)核需要確認(rèn)開啟了以下配置CONFIG_EDACy CONFIG_EDAC_LEGACY_SYSFSy CONFIG_EDAC_DEBUGy CONFIG_MCE_LOGy監(jiān)控層面建議至少做三件事定期檢查/sys/devices/system/edac/mc/mc*/csrow*/ce_count和ue_count并寫入巡檢腳本。配合rasdaemon做持久化方便回溯錯(cuò)誤歷史。設(shè)置告警閾值比如任意DIMM的CE計(jì)數(shù)在24小時(shí)內(nèi)超過100或者UE計(jì)數(shù)從0變成1都屬于需要立即人工介入的級(jí)別。rasdaemon --record ras-mc-ctl --summary還有一個(gè)容易被忽略的點(diǎn)日志輪轉(zhuǎn)和持久化。很多系統(tǒng)默認(rèn)不開pstore或RAS日志重啟后錯(cuò)誤記錄就丟了。我建議配置pstore/ramoops確保內(nèi)核panic前的MCE日志能保存在不掉電的區(qū)域方便崩潰后分析。5.4 最后分享幾條實(shí)實(shí)在在的經(jīng)驗(yàn)做內(nèi)存可靠性相關(guān)項(xiàng)目這么多年真正影響項(xiàng)目成敗的往往不是技術(shù)方案本身而是以下幾點(diǎn)。不要過度解讀單次UE。硬件錯(cuò)誤分為持續(xù)性和偶發(fā)性。持續(xù)性錯(cuò)誤通常定位明確替換即可。偶發(fā)性錯(cuò)誤可能和溫度、電壓、訪問模式耦合需要長(zhǎng)期觀察。一兩次CE不一定是壞條CE計(jì)數(shù)持續(xù)上漲才是危險(xiǎn)信號(hào)。更換內(nèi)存時(shí)注意批次一致性。不同批次、不同封裝廠商的內(nèi)存混插電氣特性可能存在細(xì)微差異在高溫高壓場(chǎng)景下容易觸碰臨界點(diǎn)。尤其是數(shù)據(jù)中心級(jí)別部署盡量統(tǒng)一批次和型號(hào)。ECC只是可靠性架構(gòu)的一環(huán)不是全部。我見過不少項(xiàng)目硬件全是頂配ECC、RAS、熱備都做了但軟件層面對(duì)硬件錯(cuò)誤沒有處理策略進(jìn)程收到SIGBUS直接崩潰沒有任何優(yōu)雅降級(jí)或重試機(jī)制。錯(cuò)誤處理鏈路是軟的和硬件同樣重要。最大的一次教訓(xùn)是有臺(tái)設(shè)備日志里反復(fù)出現(xiàn)CE但大家都沒當(dāng)回事覺得反正ECC能糾正。最后一次內(nèi)存條徹底失效文件系統(tǒng)緩存里的關(guān)鍵數(shù)據(jù)塊被靜默寫壞備份也受到影響恢復(fù)數(shù)據(jù)花了兩周時(shí)間。從那以后我在任何項(xiàng)目里都把CE趨勢(shì)監(jiān)控當(dāng)成基礎(chǔ)配置絕不等到最后再處理。