欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ECC多面解析:內(nèi)存糾錯、MBIST測試與SAP年結(jié)實戰(zhàn)指南

ECC多面解析:內(nèi)存糾錯、MBIST測試與SAP年結(jié)實戰(zhàn)指南 ECC這個詞在圈子里絕對是個多義詞。搞硬件的看到它第一反應(yīng)是內(nèi)存糾錯碼Error Correction Code做芯片測試的腦子里冒出來的是MBIST里的ECC校驗邏輯而搞企業(yè)信息化的老哥第一時間想到的卻是SAP ECC那套ERP系統(tǒng)的年度結(jié)賬流程。同一個縮寫三種完全不同的技術(shù)棧但底層都離不開“查錯”和“糾錯”這兩個核心動作。這篇文章我想把這三個維度的ECC串起來聊一聊從糾錯碼的原理開始講到服務(wù)器內(nèi)存里常見的ECC和 uncorrected ECC error 顯示2 這種告警怎么排查再聊到芯片設(shè)計里MBIST怎么借助ECC機制做存儲器測試最后說說SAP ECC年結(jié)到底在結(jié)什么、為什么每年都有人在這上面翻車。無論你是管服務(wù)器的運維、寫RTL的芯片工程師、做測試的還是被財務(wù)追著問“年結(jié)怎么還沒跑完”的IT支持這篇文章里應(yīng)該都能找到對你有用的東西。1. ECC的核心邏輯糾錯碼到底在糾什么1.1 為什么需要糾錯數(shù)據(jù)翻轉(zhuǎn)這個“小概率大事故”糾錯碼這個概念的誕生本質(zhì)上是因為一個很樸素的問題數(shù)據(jù)在存儲和傳輸?shù)倪^程中可能出錯。這個概率在大多數(shù)普通人看來可以忽略不計但在大規(guī)模數(shù)據(jù)系統(tǒng)里它是個必須正視的現(xiàn)實。拿DRAM內(nèi)存舉例內(nèi)存里的每個bit本質(zhì)上是靠電容存儲電荷來區(qū)分0和1的電容會漏電需要定期刷新。一旦某個電容的電荷量因為某種原因發(fā)生異常衰減或者受到外部粒子轟擊導(dǎo)致電荷突變這個bit就翻了1變00變1。這就是我們常說的“位翻轉(zhuǎn)”bit flip。引發(fā)位翻轉(zhuǎn)的因素有很多。一是高能粒子比如宇宙射線轟擊芯片封裝材料產(chǎn)生次級粒子擊中存儲單元二是芯片本身的老化和電壓波動制程越先進存儲單元就越小電荷量越少遇到干擾時翻車的概率就越高三是鄰近單元之間的耦合干擾這也是制程微縮后越來越頭疼的問題。一個bit翻轉(zhuǎn)如果發(fā)生在普通的圖片、視頻數(shù)據(jù)里頂多花屏或者出現(xiàn)一個壞像素。但如果發(fā)生在操作系統(tǒng)的內(nèi)核代碼、數(shù)據(jù)庫的事務(wù)日志、科學(xué)計算的關(guān)鍵中間結(jié)果里后果就是系統(tǒng)崩潰、計算錯誤、甚至數(shù)據(jù)永久損毀。這時候就需要一種機制讓計算機能自己發(fā)現(xiàn)錯誤、糾正錯誤這就是ECC糾錯碼存在的意義。1.2 ECC如何工作漢明碼的思路與SEC-DED我們把“糾錯碼”拆開看核心就兩件事加冗余、算校驗。最簡單的方案是奇偶校驗Parity給一組數(shù)據(jù)加1個bit讓整個組里1的個數(shù)是奇數(shù)還是偶數(shù)這樣能發(fā)現(xiàn)奇數(shù)個bit的錯誤但發(fā)現(xiàn)不了錯誤在哪兒也糾不了錯只能報“你壞了”。這就像快遞外包裝上貼了個“是否破損”的標(biāo)簽?zāi)苤老渥涌赡軌牧说恢览锩婺募浳锼榱?。真正讓ECC在內(nèi)存領(lǐng)域普及起來的是Richard Hamming提出的漢明碼。漢明碼的思路極其聰明不是給整組數(shù)據(jù)加一個校驗位而是把數(shù)據(jù)按不同的位置規(guī)則分組給每組分別計算校驗位這樣這些校驗位之間就有了一種“交叉印證”的關(guān)系。當(dāng)某一位出錯時多組校驗結(jié)果會同時異常通過比對各組異常的組合模式就能精確算出是哪一bit翻了從而把它再翻轉(zhuǎn)回來。以經(jīng)典的漢明碼(7,4)為例4個數(shù)據(jù)位3個校驗位。校驗位分別落在第1、2、4位它們各自覆蓋不同的數(shù)據(jù)位組合。接收端重新計算校驗位并與發(fā)送來的校驗位比對會得到一個叫“校正子”Syndrome的二進制值這個值在二進制里代表的數(shù)字就是出錯bit的位置。Syndrome為0表示沒錯非0就可以直接對相應(yīng)位置做取反操作完成糾錯。這種只糾正單bit錯誤的能力叫SECSingle Error Correction。如果再增加一個全局偶校驗位就能實現(xiàn)檢測雙bit錯誤即SEC-DEDSingle Error Correction, Double Error Detection這也是現(xiàn)代內(nèi)存ECC最主流的能力基準(zhǔn)。1.3 糾錯不是萬能的覆蓋范圍與代價說句實在話ECC并不是魔法它的糾錯能力是有邊界的。單bit錯誤可以糾正雙bit錯誤只能檢測不能糾正一旦檢測到不可糾正的錯誤系統(tǒng)能做的只是報錯或者直接halt防止錯誤數(shù)據(jù)擴散。而且糾錯能力的強弱和開銷是成正比的。校驗位越多能糾的錯誤越多但存儲開銷、編碼延遲、帶寬損耗也會跟著漲。在存儲系統(tǒng)里如果用復(fù)雜的Reed-Solomon碼或BCH碼可以在NAND Flash等場景下糾正多bit連續(xù)錯誤但控制器里的計算復(fù)雜度遠高于漢明碼。在DDR內(nèi)存控制器里ECC校驗計算消耗的是訪存延遲在SSD里L(fēng)DPC糾錯消耗的是主控的處理能力和前端讀取延遲。所以沒有哪套機制是“最好”的只有“在成本、延遲、可靠性之間取得平衡”的方案。理解了這一層后面對內(nèi)存ECC告警、MBIST ECC測試邏輯、甚至SAP年結(jié)里的“對賬”思路就都有了通感的抓手——所有糾錯/校驗機制本質(zhì)上都是在冗余成本和錯誤風(fēng)險之間做博弈。2. 內(nèi)存ECC服務(wù)器穩(wěn)定性的第一道防線2.1 Registered ECC與Unbuffered ECC的區(qū)別在服務(wù)器和高端工作站里ECC內(nèi)存幾乎是標(biāo)配。但同樣是ECC內(nèi)存還分Registered ECC簡稱RDIMM和Unbuffered ECC又稱UDIMM。這兩者最大的區(qū)別在于RDIMM的地址和控制信號經(jīng)過寄存器Register緩沖后再進入內(nèi)存顆粒數(shù)據(jù)線不受影響所以在同一通道上可以多插幾條內(nèi)存容量能做很大高負載穩(wěn)定性也更好。UDIMM沒有寄存器緩沖地址線直接連到內(nèi)存顆粒延遲略低一點點但電氣負載更大一個通道能插的條數(shù)很有限一般就2條。從外觀上看RDIMM和UDIMM最明顯的差異是內(nèi)存條中間位置有沒有額外的寄存器芯片——RDIMM通常會有幾顆較小的芯片做信號中繼。兩者的物理防呆缺口位置也不同不能混插。選擇上家用平臺或入門級單路服務(wù)器常見UDIMM ECC雙路及以上的服務(wù)器幾乎清一色RDIMM。還有LRDIMM通過Rank緩沖技術(shù)進一步降低負載適合需要超大規(guī)模內(nèi)存容量的場景價格也更高。2.2 如何確認內(nèi)存是否開啟ECC很多買了“支持ECC的主板”的新手以為只要插上ECC內(nèi)存就自動開啟了ECC其實并不是。內(nèi)存控制器需要顯式啟用ECC模式并且要和CPU、主板BIOS配合。在服務(wù)器上通常可以在BIOS的Memory Configuration里確認ECC Mode是否為Enabled。有些主板里如果同時開啟了Memory Encryption或部分內(nèi)存鏡像功能和ECC可能會組合出不同的容錯策略。進了Linux系統(tǒng)后可以用dmidecode查看內(nèi)存條的類型信息。重點關(guān)注兩個字段Total Width和Data Width。如果Total Width比Data Width多8位比如72位 vs 64位說明這根內(nèi)存帶ECC如果兩者一樣都是64位那就是普通非ECC內(nèi)存。dmidecode --type memory | grep -E Total Width|Data Width|Size|Speed|Manufacturer|Part Number如果Total Width顯示72 bitsData Width顯示64 bits那8位的差距就是ECC校驗位。Bit 0-63是數(shù)據(jù)位Bit 64-71是校驗位。UC和SEC-DED的校驗開銷不同但72648是業(yè)界最普遍的DDR ECC配置。2.3 uncorrected ECC error 顯示2 是怎么來的在服務(wù)器帶外管理系統(tǒng)比如IPMI/BMC管理界面或者Linux的EDAC驅(qū)動日志里經(jīng)常會看到類似“uncorrected ECC error count: 2”的信息。這里的關(guān)鍵詞是Uncorrected也就是不可糾正錯誤。要理解這條告警先要明確ECC對錯誤的處理路徑。當(dāng)內(nèi)存控制器發(fā)現(xiàn)某個bit錯了并且能算出它是哪個位置它會直接在硬件層面修正然后把修正結(jié)果寫回同時遞增一個Corrected ECC錯誤計數(shù)。這種錯誤對系統(tǒng)是無感的業(yè)務(wù)不會中斷但記多了說明內(nèi)存條所在的DIMM可能正在漸進性老化。而Uncorrected錯誤則是錯誤程度超過了ECC的糾正能力比如一個數(shù)據(jù)字里同時出現(xiàn)了兩個bit的錯誤ECC只能檢測到有錯但不知道具體錯在哪兩個位置無法修補。一旦發(fā)生不可糾正錯誤內(nèi)存控制器會生成一個機器檢查異常MCE。在Intel平臺上這個MCE可能記錄在Bank 0的MCE日志里同時通過IPMI向BMC上報SEL事件顯示“Uncorrected ECC Error”。那個“顯示2”通常代表這個事件已經(jīng)被記錄并且累計了2次。看到“uncorr. ecc 顯示2”第一反應(yīng)不應(yīng)該是“繼續(xù)用吧反正沒崩”而是立刻按下面流程處理先確認錯誤地址和關(guān)聯(lián)的DIMM槽位。通過IPMI SDR記錄、Linux的ras-mc-ctl --summary或者直接看 /sys/devices/system/edac/mc/mc*/csrow*/dimm_label。如果機器還在運行盡快規(guī)劃維護窗口。因為每一次Uncorrected錯誤都是一次數(shù)據(jù)完整性事故下次可能直接造成文件系統(tǒng)損壞或進程core dump。定位到具體DIMM后優(yōu)先做內(nèi)存條交叉驗證把疑似故障條換到另一個槽位跑MemTest86壓力測試確認是槽位問題還是條子問題。檢查散熱和供電。我遇到過一臺機器頻繁報uncorrected ECC換了內(nèi)存也沒用最后發(fā)現(xiàn)是CPU散熱器沒裝好內(nèi)存控制器過熱導(dǎo)致存取時序漂移。提示不要忽視單個Uncorrected ECC錯誤。很多服務(wù)器里內(nèi)存故障的典型路徑就是“開始報corrected - 錯誤頻率上升 - 某天報uncorrected - 系統(tǒng)直接hang死”。從第一個Uncorrected事件開始就已經(jīng)進入故障處理流程了。3. 芯片設(shè)計中的MBIST ECC還沒出廠就把錯誤揪出來3.1 為什么要做MBIST芯片內(nèi)部集成越來越多的SRAM用于緩存、FIFO、寄存器堆。到了先進制程時代一顆SoC里SRAM的面積占比可以超過50%甚至到70%。這些片上存儲分布在芯片的各個角落數(shù)量多、密度大、頻率高但芯片封裝之后沒有那么多測試引腳可以直接訪問每一塊SRAM。于是就有了MBISTMemory Built-In Self-Test把測試邏輯直接做進芯片內(nèi)部。MBIST控制器和被測SRAM之間通過專用的測試端口連接測試時由控制器自己產(chǎn)生地址、數(shù)據(jù)、控制信號遍歷整個存儲陣列把讀回的數(shù)據(jù)和預(yù)期值比對一旦不一致就記錄失敗信息。MBIST的好處在于它不需要外部測試機去精確驅(qū)動每個內(nèi)部信號只需要外部通過JTAG或IEEE 1500接口發(fā)送一條“開始測試”的指令然后等結(jié)果。這樣測試成本大幅降低而且能在系統(tǒng)級測試、老化測試、甚至現(xiàn)場上電自檢時反復(fù)使用。3.2 MBIST如何與ECC配合MBIST和ECC其實是兩個不同層面的事MBIST是“測試手段”ECC是“防護機制”。但兩者在現(xiàn)代芯片設(shè)計里緊密配合。MBIST測試時通常并不依賴ECC去糾正錯誤反而要繞過或禁用ECC這樣才能暴露出存儲單元最真實的物理缺陷。如果讓ECC在旁邊“幫忙”糾錯MBIST可能測不出那些已經(jīng)存在但被掩蓋的故障單元生產(chǎn)測試就失去了意義。所以標(biāo)準(zhǔn)做法是MBIST模式下通過測試模式控制信號把ECC路徑旁路掉直接讀寫原始的數(shù)據(jù)和校驗位。某些更高級的MBIST設(shè)計會把ECC校驗邏輯作為被測對象的一部分來測試。因為ECC的編碼、解碼、校正邏輯本身也是復(fù)雜邏輯電路萬一編碼器有問題即使存儲單元沒壞也會檢測出錯。所以測試序列里會專門安排一組驗證步驟往特定地址寫入可控數(shù)據(jù)讀取時插入一位邏輯錯誤然后檢查ECC校正電路能否正確糾正。MBIST在診斷方面的能力也很強。通過失敗日志可以記錄每一個發(fā)生故障的邏輯地址、數(shù)據(jù)模式和預(yù)期數(shù)據(jù)模式。把這些數(shù)據(jù)導(dǎo)出來做bitmap分析工程師能精確判斷是哪一根字線、位線、sense amplifier出了問題。這對于新品調(diào)試和良率提升至關(guān)重要產(chǎn)線分析出來的故障模式直接反饋給工藝部門改進。3.3 可測試性設(shè)計要點真正做芯片測試規(guī)劃時有幾點經(jīng)常被忽視我在這里提一下MBIST控制器要在低功耗模式下也能運行。很多車規(guī)、IoT芯片需要在生產(chǎn)老化測試和板級測試時進入低功耗自檢狀態(tài)這時候如果MBIST把整個SRAM功耗拉滿會導(dǎo)致測試芯片超過溫度規(guī)格觸發(fā)誤翻。在SoC集成多個SRAM時要合理分組成多個MBIST域BIST Domain并行測試不同域可以縮短整體測試時間但會帶來瞬時功耗沖擊。每個域的規(guī)模和控制策略需要仔細權(quán)衡。Repair機制是MBIST產(chǎn)線的自然延伸。檢測到故障后會通過內(nèi)建自修復(fù)BISR把前述故障行/列替換成冗余行/列修復(fù)結(jié)果記錄到eFuse。所以很多芯片標(biāo)稱“有MBIST”實際量產(chǎn)時跑的是“MBIST - 分析失效地址 - 冗余替換 - 重測驗證”的完整閉環(huán)。用來輔助MBIST的ECC必須和產(chǎn)品正常模式用的ECC策略一致。如果產(chǎn)品宣稱具備SEC-DED能力那么MBIST對校驗位區(qū)域的測試也要覆蓋不然校驗存儲器本身有缺陷運行時會直接生產(chǎn)錯誤。4. SAP ECC年結(jié)ERP老系統(tǒng)的年度關(guān)賬4.1 SAP ECC是什么為什么還有人說起它如果把話題切換到企業(yè)信息系統(tǒng)SAP ECC全稱是SAP ERP Central Component是SAP上一代旗艦ERP套件的核心組件。雖然SAP現(xiàn)在主推S/4HANA但現(xiàn)實中還有大量企業(yè)在繼續(xù)運行SAP ECC系統(tǒng)尤其制造業(yè)、醫(yī)藥、能源行業(yè)系統(tǒng)里積累了幾十年的主數(shù)據(jù)、定制化增強代碼和復(fù)雜接口遷移成本極高?!癝AP ECC年結(jié)”在財務(wù)顧問和IT運維的口中就是財務(wù)年度結(jié)賬Year-End Closing。ERP系統(tǒng)不像普通財務(wù)軟件季度關(guān)了季度年終結(jié)轉(zhuǎn)賬很麻煩。它涉及資產(chǎn)折舊、總賬余額結(jié)轉(zhuǎn)、利潤中心結(jié)轉(zhuǎn)、物料賬結(jié)算等一系列模塊之間的聯(lián)動A步驟沒跑完B步驟就是跑不過去。每年12月底到次年1月初都是一批財務(wù)顧問和IT支持守在機房蹲年結(jié)的日子。4.2 年結(jié)的關(guān)鍵步驟與實操要點年結(jié)在SAP里并不是單一事務(wù)代碼能搞定的而是一連串的順序操作。以最常見的資產(chǎn)會計FI-AA年結(jié)為例核心步驟分兩塊一是資產(chǎn)公司年末結(jié)賬。先用事務(wù)代碼AJRW運行“資產(chǎn)年度余額結(jié)轉(zhuǎn)”或叫“余額結(jié)轉(zhuǎn)”把本年度資產(chǎn)的購置值、累計折舊、賬面凈值結(jié)轉(zhuǎn)到新會計年度。然后事務(wù)代碼AJAB執(zhí)行資產(chǎn)會計年度最終關(guān)賬。很多公司遇到的“結(jié)不了賬”問題都卡在AJAB這一步因為系統(tǒng)會檢查是否存在未折舊的資產(chǎn)、未過賬的采購訂單、未結(jié)清的資產(chǎn)主數(shù)據(jù)等等任何一個校驗沒過AJAB都會報錯。二是總賬余額結(jié)轉(zhuǎn)。事務(wù)代碼FAGLGVTRSAP ECC 6.0或F.56把總賬科目的余額結(jié)轉(zhuǎn)到下一年度。執(zhí)行時要注意必須先把所有12月的會計憑證全部過賬完成把應(yīng)收應(yīng)付、存貨、損益類科目余額都結(jié)轉(zhuǎn)到對應(yīng)科目之后才能跑這一步否則結(jié)轉(zhuǎn)出來的余額就是錯的。實操里我看到過幾個典型的翻車點過賬期間沒開。年度切換后OB52里新年度過賬期間沒有及時打開所有跑到新年的憑證都會報“期間未打開”的錯誤。資產(chǎn)年結(jié)前忘了跑折舊。資產(chǎn)折舊沒跑完AJAB會提示資產(chǎn)存在未折舊的情況讓你先回上月折舊期間跑AFAB。把測試數(shù)據(jù)和正式數(shù)據(jù)混了。年結(jié)前一定要用測試環(huán)境完整跑一遍年結(jié)腳本拿測試結(jié)果給財務(wù)確認科目余額是否正確再在正式系統(tǒng)里操作。我見過有人跳過了測試直接在PRD里跑AJRW結(jié)果資產(chǎn)余額出現(xiàn)巨大差異只能做沖銷再來。4.3 一個成熟的年結(jié)檢查清單下面是我總結(jié)的年結(jié)前檢查清單分享給正在準(zhǔn)備年度結(jié)賬的同行每條背后都有踩坑的代價確認所有12月期間的外幣評估、應(yīng)收應(yīng)付重分類、GR/IR清賬等周期性任務(wù)已經(jīng)完成。檢查AJAB運行日志里的每一個錯誤提示紅色報錯全部處理后重新跑黃色警告要逐條評估是否影響結(jié)賬結(jié)果。總賬余額結(jié)轉(zhuǎn)前導(dǎo)出各科目的期末余額表和財務(wù)手工編制的科目余額表對照一致后再運行。結(jié)轉(zhuǎn)后抽查幾個關(guān)鍵科目在新年度里是否已有期初余額尤其往來科目和存貨科目。注意物料賬ML的年度結(jié)賬流程CKM3N在年結(jié)時容易報“物料賬期未關(guān)閉”需要在后臺物料賬期間控制里同步調(diào)整。提示SAP ECC年結(jié)最怕的是“趕時間”。財務(wù)說月底必須跑完但你一定不能省流程。先備份再測試最后動生產(chǎn)。任何時候都要留出一到兩天的緩沖窗口用于處理意外問題。5. 排障實戰(zhàn)從“uncorr. ecc 顯示2”開始捋一套思路5.1 一次真實的內(nèi)存ECC錯誤排查流程有一天客戶報一臺數(shù)據(jù)庫服務(wù)器IPMI里有Uncorrected ECC Error事件計數(shù)顯示2。登錄系統(tǒng)后我先確認了操作系統(tǒng)是否信任ECC邏輯# 查看EDAC設(shè)備 ls /sys/devices/system/edac/mc/ cat /sys/devices/system/edac/mc/mc0/ue_count cat /sys/devices/system/edac/mc/mc0/ce_count結(jié)果顯示mc0的ue_count確實為2ce_count反而不高只有幾十說明這顆DIMM有突發(fā)性、不可糾正錯誤的風(fēng)險已經(jīng)比較高了。我隨后用ras-mc-ctl --error-count獲取更詳細的地址映射ras-mc-ctl --error-count輸出里會列出哪個內(nèi)存控制器mc、哪個csrow和dimm標(biāo)記對應(yīng)具體物理DIMM位置。服務(wù)器BMC也會在SEL里記下DIMM槽位號。處理策略是先和業(yè)務(wù)確認可以中斷的時間然后給服務(wù)器安排一次內(nèi)存壓力測試。用MemTest86完整跑兩遍如果連MemTest都報錯那這內(nèi)存條基本可以判定為物理故障。之后聯(lián)系供應(yīng)商按保修流程更換。有個細節(jié)換完內(nèi)存后不要急著讓系統(tǒng)恢復(fù)正常運行。我建議保留EDAC的ue_count清零確認一下有些系統(tǒng)需要重啟后reload edac模塊計數(shù)才會清零。重啟后如果ue_count繼續(xù)快速增長說明可能是內(nèi)存控制器或者主板布線有問題也可能是內(nèi)存條插槽的觸點臟了建議把CPU重新安裝一遍內(nèi)存條換個插槽再測試。5.2 MBIST fail怎么追作為芯片測試工程師處理MBIST FAIL的方法論更依賴數(shù)據(jù)。拿到fail log之后先看失敗地址的分布分析是行分布、列分布還是塊分布。單點失效大概率是粒子缺陷或介質(zhì)擊穿整行失效往往是字線驅(qū)動電路損壞整列失效多為位線read/write通路問題。這時候把物理地址映射到邏輯地址很關(guān)鍵。芯片內(nèi)部SRAM通常經(jīng)過行列地址重映射需要通過地址展開腳本對照網(wǎng)表確認對應(yīng)的物理單元。之后再結(jié)合bitmap和電鏡分析做缺陷定位判斷是光刻、刻蝕、還是金屬殘留導(dǎo)致。如果是量產(chǎn)階段的MBIST fail還要做良率相關(guān)性分析同一批次wafer里fail die的坐標(biāo)是否存在分布聚集某臺光刻機處理的區(qū)域是不是故障率偏高把這些數(shù)據(jù)反饋到工廠往往能快速定位工藝窗口漂移。ECC在這時候的作用是輔助分析比如修復(fù)后的die重測仍掛在ECC校驗位區(qū)域就需要檢查eFuse冗余行的熔斷是否異常。5.3 年結(jié)報錯如何快速定位SAP年結(jié)報錯分成兩類配置類錯誤和業(yè)務(wù)數(shù)據(jù)類錯誤。配置錯誤通常是年度變式、期間變式、屏幕變式?jīng)]有為新年度創(chuàng)建數(shù)據(jù)錯誤則是某些陳舊的主數(shù)據(jù)或未清憑證卡住了流程。定位思路無非三步看消息號、查OSS noteSAP官方知識庫、做數(shù)據(jù)檢查。比如FIN_AA_YEAR_CLOSE里報“存在未過賬的折舊”先到AFAB里確認所有折舊運行是否都成功再檢查資產(chǎn)過賬期間有沒有錯誤關(guān)閉。如果是OB52期間錯誤直接修改相應(yīng)公司代碼的過賬期間即可如果是折舊范圍配置缺失可能要在AO11里補充折舊范圍。關(guān)鍵原則是在SAP里“強制關(guān)賬”永遠是最下策。很多年結(jié)問題不是靠強行解鎖跑過去的而是底層數(shù)據(jù)本身存在錯漏該回去改憑證就改憑證該清未清項就清未清項。不要只盯著那個紅叉告警數(shù)據(jù)正確才是最終目標(biāo)。5.4 排查方法論關(guān)鍵詞到根因的三層定位這幾類問題看著風(fēng)馬牛不相及但排障思路其實是相通的。我把常見做法整理成三層定位法基本通用第一層收斂關(guān)鍵詞?!皍ncorr. ecc 顯示2”里的核心詞是“不可糾正”和“計數(shù)為2”MBIST fail的“fail address”SAP年結(jié)報錯里的“消息號”。先明確現(xiàn)象關(guān)鍵詞和相關(guān)模塊。第二層做組件歸因。內(nèi)存到DIMM、MBIST到SRAM陣列、SAP報錯到后臺配置或數(shù)據(jù)表這一步是把問題從“系統(tǒng)層面”縮小到“組件層面”。第三層隔離驗證。換內(nèi)存、重測、跑仿真、重新執(zhí)行年結(jié)事務(wù)代碼確認根因假設(shè)。到了這一步大部分問題已經(jīng)能定性。這套方法用來對付日常的服務(wù)器監(jiān)控、芯片量產(chǎn)異常、ERP年結(jié)運維都夠用了。如果拿不準(zhǔn)寧可多花一小時收集數(shù)據(jù)也不要憑感覺拍腦袋下結(jié)論——這個經(jīng)驗在我多年工作里被反復(fù)驗證。結(jié)尾ECC這幾個字母從內(nèi)存到芯片再到大企業(yè)系統(tǒng)貫穿的其實是同一種工程思想用冗余換取可靠用校驗換取信心。我這些年在服務(wù)器、芯片驗證和企業(yè)系統(tǒng)運維里來回穿梭最大的體會是遇到任何“錯誤”“告警”“異?!鳖惖南⒌谝环磻?yīng)都應(yīng)該是記錄現(xiàn)場信息第二反應(yīng)才是動手修。很多運維同事一看到uncorrected ECC就嚇得直接重啟機器結(jié)果漏掉了現(xiàn)場日志反而失去了判斷根因的唯一線索很多芯片工程師在MBIST失敗之后不先看bitmap就開始盲改測試流程最后只能靠撞運氣解決問題浪費大量工時。最后分享一個小習(xí)慣無論管理多少臺服務(wù)器都應(yīng)該在監(jiān)控系統(tǒng)里給EDAC的ce_count和ue_count單獨建一條趨勢曲線。ECC錯誤的增長速率比單次錯誤值更能反映硬件的健康走向——緩慢增長大概率是正常老化指數(shù)級暴增多半是設(shè)備正在走向崩潰。提前發(fā)現(xiàn)趨勢既能避開業(yè)務(wù)中斷也能讓保修流程走得從容許多。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
北条麻妃伊人 | 99婷婷综合| 色欲久久久久| 五月丁香婷婷爱激情综合网| 色99婷婷五月天| 丁香激情久久| 亚洲狠狠干| 亚洲精品亚洲人成人网| 91九九热| 五月婷婷激情| 9久久精品| 色亭亭五月天网扯| 九九热在线观看6| 婷婷99综合| 久草狼人| 欧美一级操逼视频| 丁香婷婷成人在线播放| 小视频aaa久久久| 99综合成人视频在线观看| 丁香五月天激情| 婷婷色Av| 丁香五月婷婷丫| 五月丁香色综合| 国产一区二区三区影院| 99热在线看| 日韩激情人伦人| 久久久性爱视频| 婷婷六月天国产综合| 日韩999| 天天射综合网天天插| 国产综合婷婷| 色情婷| 免费日本aⅴ中文字幕 | 五月亭亭直播| 91九色国产| 六月合五月婷| 五月婷婷综合在线视频小说| 五月丁香六月婷综合成人综合| 综合久久婷婷| 日本九九九九| 久久综合九九| 91蜜桃婷婷狠狠久久综合9色| 久久资源综合| 啪啪五月综合| 99精品偷拍视频| 白人荫道BBWBBB大荫道| 欧美私人家庭影院| 九九视频在线观看视频6| 开心五月综合激情网| 色色色色色网站| 狠狠 婷婷| 久婷婷| 久久中国毛毛片爱久久| 九九精品婷| 色综色网| 岛囯综合激情网| 熟女人妻一区二区三区免费看| www.五月天婷婷| 激情五月天在线视频| 巴基斯坦粉嫰无码视频| 亚洲天堂AV免费片| 日日操日日射| 天天天久久人人人合| 人人草人人爱手机视频看看| 婷婷丁香色情五月天| 五月噜噜| 亚洲99热| 九九热精品99| 色婷婷色99国产综合精品| 五月丁香激情综合| 丁香五月色| 精品一区二区三区四区五区六区| 久99在线| 伊人久久综合| 这里只有精彩小视频视频网站| 武则天精品久久| 97久久久久| 91热久久| xxxx五月| 亚洲激情97五月天| www.五月婷婷久久.com| 99久热| 97人人草| 亚洲情欲久久| 日本啪啪天堂| 亚洲狠狠狠色婷婷综合激情久久久| 婷婷五六日| 呦呦视频无码播放| pom538精品视频| 99操免费视频| 五月天激情综合网| 亚洲有码在线视频| 丁香综合伊人| 日韩无码色色| 天天影院色| 日本人妻伦在线中文字幕| 无码少妇高潮喷水A片免费| 男女啪啪做爰高潮无遮挡| 男同91 | 成人丁香色| 久久综合九九| 东北熟女高潮99综合99| 性韩日色婷婷五月天激情啪啪XXX| 99热这是里只有精品| 天天激情夜夜干| 久久人妻系列| 综合激情在线| 色亭亭影园| 五月婷婷国产| site:jszngf.com| 久久久久久五月天| 日本色婷婷| 亚洲中文字幕AV在线| 久久无意婷婷| 草草视频91| 国产va在线视频| 2025天天操| 97人人操人人| 色婷婷色丁香色欲av| 天堂成人久久| 狠狠操狠狠干综合| 99久久6| 丰满人妻妇伦又伦精品国产| 中文字幕在线免费| 五月天天爽| 亚洲1区| 伊人五月婷| 亚州操操| 夜夜综合色| 97久久人人操| 久久思思99| 99综合婷婷五月| 深爱婷婷丁香五月激情| 日本欧美成人片AAAA| 综合久久久婷| 五月天六月婷婷电影| 91精品在线看| 激情九九六月激情免费视频| 天天影视色综合网| 国自产拍偷拍精品啪啪一区二区| 99热99干| 无套内射极品大美女| 涩涩五月天| 婷婷五月天午夜激情影院| 狠狠五月天婷婷| 九九这里只有精品| 婷婷色色丁香五月天| 天天日,天天插| 精品久9| 另类天堂| 操碰99| 人碰人人人玩91| 成人做爰A片免费看网站找不到了| 五月丁香亚洲婷婷| 97很鲁在线视频| 五月丁香另类图片| 97色热| 丁香五月婷婷综合激情哟哟哟| 国产日批视频免费播放| 婷婷午夜激情| 色色色在线观看| 久久这里只有精品1| 天天玩夜夜操| 久热精品视频在线观| 综合色色婷婷| 91精产一区三区免费观看| 我爱婷婷五月天综合88| 国产FREESEXVIDEOS性中国| 99九九精品| 99热精品在线| 久久99综合网| www.久久久久久久| 成人永久免费视频在线观看| www.九九婷婷| 久久这里只精品| 婷婷99综合| 久热这里这里有精品| 久久久18| 婷婷丁香69精华| 另类图片色五月| 影音先锋男人资源站一区二区| 婷婷瑟瑟五月天| 99亚洲精品综合在线| 中文字幕日韩无码制服诱或| 日韩AV中文在线观看| 涩涩五月天综合| www.久久| 五月丁香六月婷婷不卡免费无码| 亚洲V国产V欧美V久久久久久| 丁香五月天在线视频| 亚洲无码色色| 婷婷大美在线| 男女啪啪视频久 9| 亚洲精品99| 99综合熟女| 亚州操操| 天天干天天做| 婷婷五月天人妻| 激情五月成年| 99这里只有精品| 成年视频免费观看| 婷婷久月| 婷婷五月天六月综合| av亚洲国产小电影| 丁香六月亭亭久久综合| 成人版视频在线观看| 色爱综合网| 婷婷五月天激情电影| 丁香五月婷婷色情综合| 夜夜骑日日操| 亚洲第二AV| 五月婷婷丁香俺日污视频| 91久草五月天婷婷| 婷婷综合五月| 久久人人人人妻| 在线超碰免费| ww久久| 九七色色六月丁香| 婷婷色爱| 日本九九九九| 亚洲激情四谢| 六月婷婷av| 99国产er热视频| 精品一二三区久久AAA片| 久久婷婷丁香六月天| 婷婷基地成人五月天| 亚洲综合在线播放| 五月天欧美激情| 亚洲视频另类| 啪啪综合网| 热99只有里视频| 色婷婷91| 欧亚成人A片一区二区| 99综合一区| 久久婷婷人人| 久久综合久色欧美综合狠狠| 五月丁香色综合| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 综合一区二区三区| 激情综合五月色在线| 超碰成人影视| 色噜噜狠狠色综无码久久合欧美| 久久婷婷六月综合| 婷婷六月丁香在线| 婷婷综合偷拍| 亚洲无AV在线中文字幕| 9 1超碰九色| 色婷婷五月天天天做| 色综合av超碰| 91丁香综合| 色99在线观看| 天天免费日日夜夜夜夜| 日日噜人人人做人| 亚洲精品在线视频| 久久五月热| 极品人妻VideOssS人妻| 天天爱综合网| 狠狠五月天婷婷激情网。| 色婷婷五月综合在线| 久久精品99国产精品日本| 九九99香蕉在线视频播放| 五月综合色| 色99网| 九九热九九热精品| 色色色综合网| 思思99久久| 超碰九热| 无码激情AAAAA片-区区| WWW.婷婷| 97AV在线视频| 操逼六区| 九九精品热| 91精品熟女| 91凹凸在线| 国产性爱大片久久| AA片在线观看视频在线播放| 激情婷婷丁香| 激情爱爱网站| 五月丁香网站| 丁香婷婷月| 6080av| 九月丁香| 色吧综合网| 五月99久久| 久久丁香综合精品综合| 婷婷色五月在线视频| 激情伍月 欧美| 久久新地址| CAOBIBI| 丁香五月久久| 丁香五月电影| 91精品久久久久久综合五月天| 婷婷五月花| 91凹凸在线| 五月婷婷综合丁香视频| 丁香婷婷影院| 狠狠搞狠狠操| 国产毛片精品一区二区色欲黄A片| 六月丁香五月激情婷婷| 激情五月婷婷在线| 婷婷丁香成人五月天| 五月激情综合婷婷| 夜夜夜叫天天天做| 丁香五月综合亚洲| 夜夜操激情| 四五月婷婷| 久草久青福利| 五月婷无码| 欧美日韩大黄| 激情五月综合色婷婷| 色综合色综合婷婷热| 九九色精品| 色色色色色色色色五月先| 色玖玖玖| 99综合| 九热视频| 日日操夜夜爽天天天| 日日日,com| 丁香六月婷婷一区| 97婷婷丁香五月| 国产日批视频免费播放| 伊人在线婷婷草| 五月丁香五月激情综合色综合| 99区视频| 丁香五月开心婷婷| 九九性爱网| 激情亚洲婷婷| 夜夜撸日日操| 伊人高清无码| 五月婷婷色白丝| 婷婷久久内射| 五月天六月丁香| 9999热精品在线免费播放| 婷婷五月开心中文字幕色| 五月丁香综合伦理片| 能看的av片| 婷婷五月丁香综合人妻| 91凹凸在线| 思思热精品在线| 亚洲精品视频在线| www.玖玖婷婷在线| 久9视频| 少妇日麻屄| 内射激情在线| 99久久玖玖| 五月激情啪啪| 91午夜婷婷狠狠久久综合9色| 一级韩国产精品毛| 色综合九九| 天天摸天天舔天天爽| 伊人色欲五月天| 五月婷婷激情五月| site:pnnrt.com| 色五月婷婷在线观看第一页舔| 亚洲色图五月丁香五月婷婷| 在线看片av| 丁香五月色播中文在线播放| 婷婷五月激情六月| 国产精品美女久久久久AV超清| 婷婷五月天99综合网站| 97资源碰碰| 色五月丁香激情| 综合色色色色色色| 婷婷五月综合激情| 五月丁香色综合| 五月丁香六月婷婷综合免| 开心婷婷五月天激情网| 婷婷丁香成人| 婷婷婷久久久| 丁香五月天成人| 五月丁香婷婷久久| 激情婷婷22月间| 色五月婷婷中文字幕在线观看| 激情都市五月天| 久99视频在线观看| 亚洲情欲久久| 狠狠va| 婷香五月激情视频| 99色综合久久| 五月婷高清视频| 婷婷综合成人| 欧美,日韩成人在线| 91丨九色丨国产打屁股| 久热这里| 91狼友视频在线观看| 中文字幕成人| 六月丁香啪啪啪| 婷婷五月天淫荡| 亚洲色精彩| 国产精品色色| 天花AV无码| 五月六月激情婷婷| 色噜噜狠狠色综合日日| 色综合中文| 这里精品| 一区二区三区四日本| 综合色五月天| 亚洲乱码在线观看| 丁香婷婷五月综合| 精品久久久人妻| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 99热免费网站| 香蕉综合网| 任你干嘛免费视频播放| 九九精品网| 日韩成人精品中文字幕电影| 天天更新天天亚洲| 精品色色| 五月激情丁香六月狠狠干| 九九色综合网| 99视频在线观看网址| 99国产小视频| 亚洲AV成人在线观看| 亚洲丁香五月深爱五月| 蜜桃人妻无码AV天堂三区| 99福利导航| 99热费观看| 婷婷综合中文| 五月综合亚洲婷婷| 日本黄色三级片内射| 思思网站| 欧美成人AAA片一区国产精品| 五月丁香婷婷综合在线| 欧美性做爰大片免费看办公室| www.激情.com.| 丁香五月影院| 婷婷五月天AV在线| 色婷婷操逼| 婷婷丁香五月天影院| 99A片| 日韩美一级毛卡片| 日本色五月婷婷| 色原狠狠综合| 日91高清无玛| 超碰99在线观看| 亭亭色色五月天| 色久九| 九九精品热| 只有精品视频在线观看| 国产精产国品一二三在观看| 热99这里只有精品视频| 玖玖99婷婷| 五月丁香激情婷婷综合| 九九精品re免费视频| www久热com| 五月激情婷婷在线| 国内一级精品| 丁香五月社区| 激情影院免费视频婷婷五月天| 超碰成人黄色网| 九九机热| 久久色五月| 九九久久精品| 亚洲狠狠婷婷综合久久久| 色无婷婷| 天天干,天天日| 任我肏| 99精品在线观看视频| 丁香六月婷月91婷月| 91超级碰| 色欲AV导航| 色九月婷婷丁香| 91操操| 深爱激情九九五月天 | 激情AV网| 婷婷 丁香 精品| 久9久9久9久9久9久9| 狠狠色噜噜狠狠狠狠综合| 五月熟妇婷婷久久| 色情五月天导航| 激情综合网五月丁香| 热的五码久久精品| 婷婷五月丁香四射| 91婷婷| 久久久思思热| 91seAV| 伊人激情啪啪| 亚洲精品性色| 五月婷六月| 情婷婷五月天在线| 人人操 色| 六月婷婷综合| 婷婷五月激情小说| 色婷婷视频| 碰人人97| 色色激情五月天| 婷婷六月久久| 91一起艹| 五月激情久久| 婷婷五月天激情小说| www,天天干| 婷婷色婷婷亚洲成人| 丁香婷婷久久五月天| 狠狠插狠狠插| 久久九九激情五月天 | 国产原创视频91九色| 久久久久9| 九九草热在线观看| 亚洲成人免费在线| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 操日视频| 五月刺激丁香月综合| 亚洲美女高潮久久久久久69| w婷婷五月婷婷w| 亚洲视频二区| 久久婷婷综合拍| 日韩丰满少妇无码内射| 大香网伊人久久综合| 99热在线免费| 五月在在观看| 97操碰| 夜色爱爱亚洲| 91紱請| 五月婷综合| 精品久久人妻| 九九精品在线观看视频6| 综合网色| 激情五月丁香社区| 日本WWW九九九| 四川BBB搡BBB爽爽视频| 狠狠干天天日| 日本久久综合| 婷婷五月色色| 婷婷五月色天| 亚洲va在线∨a天堂va欧美va| 26uuuu精品一区二区| 色综合99| 97超碰综合| 69色婷婷| 五月婷婷9| 婷婷五月天天| 99精品视频免费观看近期发布| 日日夜夜狠狠| 丁香五月色| 综合在线色婷婷| 爱婷婷久久视频| 五月丁香啪啪激情| 精品无码久久久久久久久| 九九色99| 九九99精品视频| 久久久精品人妻| se99视频| 狠狠色综合精品视频在线| 99人人操人人摸| 久久只这里有精品| 五月婷婷六月基地| 九九热精品6| 国模淫穴色图| 久久激情五月天| 9久热这里只有精品| 色婷婷丁香中文在线播放| 9久热这里只有精品视频| 99在线观看精彩视频| 五月丁香美女| 国产在线中文字幕| 97综合在线| www99精品| 婷婷久久五月丁香| 婷婷六月激情小说网| 亚洲综合字幕色色| 3pAV| 九九在线免费观看| 丁香婷婷中文字幕| 激情五月天激情五月天| 婷婷五月天网址| 丁香九月综合| 色五月婷婷老师| 婷婷五月丁香五月| 狠狠综合网| 一本道在线电影| 香蕉婷婷五月| 亚洲精品成人片在线播| 中文字幕成人| 五月天伊人| 熟女人妻视频| 天天艹| 欧洲一区二区| 人妻射精AV| 亚洲Av入口| 有哪些A片网站| 色五婷婷在线视频| 亚洲激情五月| 日韩熟女啪啪视频| 国产婷婷五月| 亚洲激情AV| 久久亚洲网| 欧美激情丁香五月天久久婷婷一区| 综合在线丁香五月| www五月天com| 色色色色色色色色五月先| 婷婷五月天在线观看| AA片在线观看视频在线播放| 人妻激情网| 99自拍视频网站| 人妻系列久久久久久久久久久| 五月婷婷综合色啪首页| 综合XX网| 99ER热精品视频| 婷婷五月丁香A∨| 天天爽在线视频| 天天肏天天爽夜夜爽| 久久99热这里只频精品6学生| 日日干天天爽| 日日操夜夜操中国无码| 99热精品99| 熟女人妻视频| 超碰国产av| 亚洲色情免费网| 丁香五月天激情视频| 五月色网| 熟妇国产| 免费成人va| 中文资源在线a| 丁香五月最新网址| 久久五月激情综合| 免费观看欧美成人AA片爱我多深| 大香蕉五月丁香| 亚洲天堂色| 综合图片色色| 五月天激情小说婷婷基地| 9九色首页| EEUSS鲁片一区二区三区| 日本少妇AA一级特黄大片| 丁香五月花婷婷开心| 密桃激情五月天综合网| av九九| 九九九九九999999| 99视频内射三四| 日日综合网| 99精品视频在线观看| 五月婷婷亚洲色图| 久久综合伊人综合在线| 九九热九九| 96色婷婷| 婷婷丁香成人色综合| 另类A片| 在线可以看的av网址| 亚洲激情婷婷| 日韩 中文 欧美| 丁香五月天网友自拍啪啪啪视频| 1024人妻| 久久激情网| 激情五月综合| 97超级碰碰碰久久久| 综合久久丁香婷婷,五月婷婷六月丁香,开心激情综合网,六月丁香在线观看,婷婷丁 | 99噜噜噜在线播放| 色色综合成人网| 五月丁香色| 久久久久久久久久久-久五月天婷婷| 色婷网| 婷婷色片| 色五月婷婷五月天激情综合| 天天日,天天射,天天舔| 精品成人在线| 天天综合图片| 99久久国产宗和精品1上映| 99色婷婷视频| 99免费热视频在线| 九九色大香蕉| 欧美啪啪9| 色色色婷婷| 五月婷av| 久久亭亭电影| 丁香五月天啪啪a日本| 久久人人添人人爽添人人片αV| 成人做爰黄A片免费看直播室男男| 8区视频在线| 婷婷玖玖五月天| 怡红院91a√| 国产午夜一区二区三区| 变态另类色图 | 4399精品一区二区| 99综合免费视频| 亚洲狠狠丁香婷婷香蕉| 婷婷激情五月天小说| 日韩ww| 翔田千里无码| 91人人爱| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 色婷另类| 天天看A片| WWW.天天日| 伊人五月天| 快乐激情五月色婷婷| 夜夜干夜夜操| 婷婷丁香77777| 五月丁香色婷婷| 97婷婷丁香五月天激情图片| 九九日伊人| 婷婷五月天亚洲综合网| 亚洲欧美日韩另类| 99色视频| 国产操碰| 丁香五月影院| 人妻五月天激情开心网| 天天看夜夜看| 天堂网亚洲色图| 五月婷婷开心网| 欧美综合123区| 五月婷婷久久综合| 久久综合网免费视频| 性av| 玖玖资源站蜜臀| 五月婷婷六月丁香首页| 人妻少妇色综合| 久久免费9| 丁香五月婷婷五月| 亚洲99热| 日本色婷婷| 91一起操| 日日舔夜夜操| www.99婷婷| 国产真人做爰视频免费| 色色婷婷综合网| 狠狠色网| 五月天激情小说网| 99热成人在线观看| 超碰色婷婷| 六月丁香五月婷婷| 女高怪谈在线观看| 亚洲婷婷在线播放十月| 久久性爱99国产| 激情综合丁香五月| 玖热精品综合视频| 丁香五月玖玖| 玖玖婷婷五月天| 精品少妇蜜臀91| 色 五月 天 婷婷 丁香 九月| 婷婷色在线| 婷婷五月噜噜| 7777激情基地| 黄色激情五月天| 91日本在线观看| 伊人久久婷婷五月综合97色| 色噜噜狠狠色综合网| 五月天婷婷久色| 99玖玖视频| 99热在线播放| 人人干人人看| 五月色情婷婷开心五月色情| 婷婷五月天亚洲综合网| 五月丁香六月婷婷网| 丁香五月六月婷婷怡红院| 99久久婷婷| 久久9热综合| 亚洲另类在线观看| 五月丁香六月欧美综合网站| 五六月婷婷| 欧美日本高清视频99| 202丰满熟女妇大| 色五月AV| 国产精品久久久60086| 亚洲精品成人| 99久久亚洲国产| 国产婷婷色综合AV蜜臀AV| 五月婷婷六月丁香在线视频免费在线观看| 综合久色五月| 免费黄色片子| 嫩草国产| 久久婷婷网址| 亚洲V国产V欧美V久久久久久| 97碰| 99热地址| 天天干天天射综合网| 伊人91| 久久九九99桃花视频| 激情人妻蜜夜系列区| 天天噜噜| 亚洲激情综合网| 五月激情婷婷国产精品久久久久久| 五月永久激情| 人人爱干人人爱草| 色综合久久综合中文综合网| 久艹伊| www.99.色| 中国女人做爰A片| 丁香五月Av| 丁香五月天堂网| 天堂草在线观看| 99热这里只有精品50| 蜘蛛女免费观看完整版高清电影| 无码激情| 97超级碰碰碰| 亚洲啪啪精品| 色级婷婷| 香蕉99网| 九九色中文| 内射 无码 伊人| 激情内射人妻1区2区3区| 激情婷婷五月天| www.五月天婷婷| 九九热99热| 91碰碰| 欧美va在线| 丁香婷婷91在线观看视频| 色五月亚洲| 久久婷婷五月天蜜桃| 久久激情五月天| 色99欧洲色19| 婷婷婷婷色| 久久人妻乱| 婷婷欧美| 性热视频99精品| 天天综合久久| 亚洲综合久| 亚洲高清在线| 99热这里只有精品在线观看| 9热精品| 97精品欧美91久久久久久久| 色情五月综合婷婷| 欧美色婷婷| 久青草影院| 草了bav视频在线观看| 婷婷五月天天| 97sese婷婷| 99人人操| 色五月琪琪| 99 热| www.色婷婷。com| 亚洲激情五月丁香久久久久| 狠色色狠网| 激情五月天小说网| 99福利导航| 色色色色色综合| 99热这里只有精品9| 色婷婷丁香A片区毛片区女人区| 少妇高潮呻吟A片免费看软件| 99re6在线视频精品免费| 五月天婷婷色播综合在线| 永久天堂日本| 久久女人九九| 大香蕉婷婷久久| 六月丁香婷婷拍拍| 天天爱天天做天天爽| 色色色色色色色色综合网| www.日本91| 五月丁香六月在线| 日韩在线观看网址| 色五婷婷开心缴| 人妻22p| 久久精品一区二区三区四区| 色色色色丁香| 五月天综合久久丁香91| 丁香六月婷婷综合激情欧美| 午夜理论片最新午夜理论剧| 这里只有精彩视| 色婷婷精品视频| 香蕉综合网| 国内久久婷婷| 91操熟女| 我要看激情五月天| 日本一级| 色色欧美。| 成人av观看| 日日干综合| 五日激情综合| 五月婷婷激情综合| 丁香五月婷婷亚洲另类| 丁香六月婷婷五月天| 丁香五月婷婷激情中文| 婷婷综合五月| 在线色婷婷| 大香蕉九九| 六月婷婷国产| 99精品久久久久久久婷婷| 香蕉AV777XXX色综合一区| 亚洲欧洲午夜成人精品av| 日本美女天天日天天爽| 中文字幕 中文字幕明步| 丁香五月天激情| 99精品偷拍视频| 亚洲五月六丁香激情| 五月婷婷,狠狠操| 色呦精品| 九九色综合| 国产精品久久久久久五月天加勒比 | 五月天婷婷基地| 婷婷五月美女直播| 丁香五月天啪啪| 久久婷婷人人| 久久综合激情五月天| 丁香五月天堂网| 国产精品天天狠天天看| 婷婷中文在线| 色色色图| 青青草视频免费观看| www激情| 久久九九热38| wuyuedingxiang99| 国产视频婷婷| 99久久国产宗和精品1上映| www九九| 另类激情首页| 婷婷在线五月综合| 蜜桃婷婷五月| 五月婷婷九| 五月丁香婷婷伊人日韩| 五月天激日本色情在线| 91AV婷婷| www.久久9| 草婷婷在线| 五月天婷婷色色| 97久久精品| 色婷婷亚洲婷婷在线观看| 亚洲成人在线观看av| 凹凸7777操操操| 免费黄色视频网址| 丁香五月欧美色综合| 国产婷婷色综合AV蜜臀AV| 热91久| 国产成人VA| 在线播放中文字幕| 人人操人人看97干| 婷婷五月天激情丁香| 国产亚洲精品久久久久久久久动漫| 深爱婷婷基地| 91人妻PORNY九色大屁股| 色色色在线观看| 国产成人亚洲综合A∨婷婷| 久久日婷婷| 久热只有这里精品| 熟惀91九色在线| 欧美婷婷五月激情| 99精品在线观看| 最新日本A片| 色五月 五月婷婷| 91狠狠色| 丁香五月香蕉| www.激情五月天。com| 97色碰| 1024日韩| 狠狠搞狠狠操| 激情影院内射| 狠狠干,狠狠操| 婷婷五月亚洲激情| 97自拍视频在线| 国产日批视频| 欧美性生交XXXXX无码小说| 丁香六月中文| 在线看的免费网站| 伊人婷婷色激情丁香| 激情五月婷婷丁香综合网| 五月天婷婷Av| 五月婷亚洲精品| 婷婷第一页| 五月婷婷综合在线| 九九综舍久久| 色婷婷欧美| 激情五月综合色| 综合网色| 开心日韩丁香婷婷五月| 丁香六月天婷婷色| VfJxEwPH| 色99在线看| 思思热久久艹| 乱女乱妇熟女熟妇综合网站| 无码AV免费精品一区二区三区| 五月丁香狠狠| 97操| 99热这里是精品| 夜夜www| 丁香五月色色婷| 久久五月天色婷婷| 久思思热视频在线观看| 熟女少妇内射日韩亚洲| 天天天天爽爽天干| 五月天综合久久丁香91| 婷婷五月天小说网| 色婷婷色五月色丁香| 日韩在线观看网址| 激情综合网五月激情网| 丁香色综合| 99精品视频在线观看| 色综合色综合色综合| AV动漫不卡无码免费| 天天操婷婷| 色小说婷婷五月天天天| 色婷婷影视99| 色婷操逼| 丁香婷停五月激情综合深爱| 97sese婷婷| 色综合婷婷| 婷婷色五月久久| 中文在线成人| 1024人妻| 日本va视频| 五月婷婷影| 乱岳熟女50岁| 丁香婷婷月| AV九九| 99色爱| 成人在线综合| 香蕉婷婷| 日韩不卡123| 丁香五月欧美色综合| 五月天婷婷基地| 精a品a| 九九热这里只有精品556| 婷婷五月综合丁香久久| 淫视馆aV二区一区| 欧美成人精品一区二区 | 天天肏天天肏| 丁香婷婷激情| 91热网址| 丁香激惜男女| 色九亚洲| YW无码| 9久热| 91色操| 久久九九在线视频| wuyuedingxiang99| 丁香五月天婷婷91| 日韩熟女啪啪视频| 五月婷婷激情五月| 色婷婷免费视频| 亚洲色色精品| Av性爱网| 久久人五月| se色婷婷视频| 亚洲中文字幕在线观看| 亚洲无码成人| 五月天狠狠| 这里只有精品99www| 丁香五月色情| 色婷婷五月天成人网| 97在线日韩| 国产AV一区二区三区日韩| 91丨九色丨熟女高潮| 婷婷五月六月丁香| 日日狠狠久久偷偷四色综合免费| 欧美婷婷五月激情| 97干在线视频| 99九无网码| 五月天婷婷激情四射综合| 超碰成人黄色网| 五月天开心网| 丁香午夜天| 天天操天天操天天操天天操天天操天天操| 成人va在线观看视频| 五月丁香啪啪网| 六月激情婷婷综合| 色色日本欧美| 白人荫道BBWBBB大荫道| www.色五月| 五月天色区| 激情九月综合| 久婷| 五月天操逼网| 另类图片天天影视在线观看| 九九热99精品| 五月天婷婷色色首页| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 日日鲁鲁夜夜爽爽| 99亚色色色| 综合亚洲六月婷婷在线| 888久久久| www.综合久久| 亚洲色色五月天| 久久九⑨| 热99在线精品| 天天综合网~91| 五月天停停日日| 婷婷丁香综合| 日韩 中文 欧美| 91碰视频| www.超碰在线| 婷婷五月天成人在线视频| 91色久| 深爱五月婷婷开心中文字幕| AV伊人青草丁香六月| 97丁香花五月天激情小说| 婷婷 激情 五月| 成人五月天在线视频在线观看| 日操五月婷| 亚洲射激情| 色五月丁香六月婷婷| 操啊操av| 六月婷婷中文字幕| 色欧美影院| 4399在线日本A片| 色五月在线观看| 久久精品人妻| 综合激情五月天| 极品人妻VIDEOSSS人妻 | 婷婷五月 丁香六月| 亚洲熟妇AV综合网五月丁香伊人 | 天堂成人久久| 91一起艹| 只有精品视频在线观看| 精品99爱免费视频在线观看| 欧美Va在线| 久久激情五月| 91chinese在线| 九九热免费视频| 天天综合社区| 九九这里有精品| 久久综合激情| 色五月av| 少妇搡BBBB搡BBB搡毛茸茸| 日本偷拍九九九| 丁香五婷| 久热只有这里有精品| 色婷婷狠狠干| 五月丁香六月婷婷开心网| 日韩在线视频网站| 99热综合| 啪啪视频99| 色婷婷偷拍| 亚洲成人色五月天| 五月婷婷六月丁香在线视频| 99视频激情四射| 99啪啪| 欧美五月婷婷综合| 激情性爱五月天| 伊人婷婷色激情丁香| 丁香婷婷视频在线| 婷婷视频网| 8050一级网| www.99久| 亚洲色vA| 人妻久久婷婷| 性无码专区无码| 在线一起草av| 色婷婷丁香网| 热久久99热欧美国产亚洲| 热久久91| 91聚色综合网| 色噜噜狠狠色综合成人99| 五月婷婷中文网| 久操大| 色婷婷呢狠禁久禁| 操人91| 女力报到正好爱上你| 五月丁香天堂网| 综合激情九月婷婷,激情综合婷婷中文字| 色婷婷狠| 日本五月视频| 五月天网站免费欧美| 无码人妻少妇色欲AV一区二区 | 婷婷五月色激情欧美激情| 在线播放中文字幕| 婷婷久久精品| 综合网五月天123| 97色在线视频| 亚洲123区高清入口| 婷婷偷拍网| www.色婷婷.com| 激情综合网激情五月俺也去| 日本久久婷| 婷婷性爱五月天| 无码操B| 伊人综合色干| 婷婷综合六| 超碰在线91| 99久久五月丁香野外| 五月丁香亚洲综合网| 国产精品久久..4399| 色优久久| 色婷婷久久综合中文久久一本| 日日操夜夜操中国无码| 无码地址| 69色婷婷| 色综合天天| 五月激情网站| 色婷婷激情五月天在线观看| 九九热黄色| 无码一级片| 综合五月激情网| 五月婷婷色| 五月婷精品| 26uuu欧美| 熟女人妻视频| ww亚洲ww在线观看| 97干欧美| www.91AV.COM| 婷婷五月天在婷| 双性美人被调教到喷水A片| 97人人操人人干| 激情爱爱网站超大免费| 日韩AV一区二区三区| 五月丁香久久激情网| 五月天偷拍| 久久九九综合| 色色丁香婷婷| 五月丁香六月综合基地| 黄色AAAAA| 抽插特写| 六月丁香激情综合| CHINESE熟女老女人HD视频| 偷偷狠狠久久婷婷五月天| 91操片| 毛v一区二区视频| 99热免费看| 亚洲乱码日产精品BD| 婷婷五月综合欧美在线播放| 99操碰| 香蕉综合网| 婷婷五月色| 久久精彩综合视频| 亚洲av网站在线观看| 婷婷色色丁香五月天| 69久久99精品久久久久婷婷| 丁香综合久久| 丁香桃色网| 欧美人人女女精品综合五月天| 婷婷久久亚洲| 九月av在线| 96丁香六月婷婷蜜桃综合久久| 色综合久久8| 操操操Av| 亚洲色图五月丁香| 丁香五月开心亚洲| 在线网黄| 久草五月天| 色色精品色| 久热超碰| 人人爽人人爽人人爽人人爽| 97精品人人A片免费看| 99热这里只是精品| 激情综合九| 亭亭五月色男人| sewuyuetingtingiii| 五月天婷婷綜合院| 色五月婷婷影院| 欧美精品999| 婷婷综合久久| 九九热九九热精品| 欧美槡BBBB槡BBB少妇| 五月丁香六月婷综合成人综合| ztEJj| 日日夜夜天天| 超碰在线成人| 激情九月婷婷| 91精品国产综合久久密臀 | 69色婷婷| 九月色婷婷| av在线资源| 久久这里只有精品16| 五月婷婷狠狠久久| 97丁香五月| 五月激情四射婷婷丁香 | 永久的网站AAAA | 日婷婷久久开心| 黄色五月婷婷| 精品乱码久久久久| 综合激情综合啪啪| 午夜色丁香| 五月天婷婷爱| 天搞天天天天天| www.色多多婷| 玖玖婷婷色五月| 九九国产视频| 九月丁香八月婷婷加勒比| 久久精彩视频| 9色在线| 婷婷五月久久| 婷婷丁香亚洲色综合91| 性五月激情| a级毛片一区二区免费视频| 日本久久精品18| 日本久久天堂| 六月五月天婷婷涩播在线| AV成人在线播放| 夜夜操夜夜姧| 国内久久久精品99| 天天天天干|