欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

WinDbg藍(lán)屏分析實(shí)戰(zhàn):從DMP文件到錯(cuò)誤碼解讀

WinDbg藍(lán)屏分析實(shí)戰(zhàn):從DMP文件到錯(cuò)誤碼解讀 有一次幫朋友排查筆記本藍(lán)屏事件查看器里只有一個(gè)Kernel-Power 41設(shè)備管理器看著一切正常內(nèi)存跑了幾輪也沒(méi)報(bào)錯(cuò)。后來(lái)我用WinDbg打開(kāi)崩潰時(shí)生成的DMP文件兩分鐘就定位到了問(wèn)題某型號(hào)無(wú)線網(wǎng)卡的舊驅(qū)動(dòng)在DMA寫(xiě)入時(shí)訪問(wèn)了無(wú)效地址更新固件之后再?zèng)]出現(xiàn)過(guò)。藍(lán)屏分析這件事繞不開(kāi)WinDbg——它是微軟官方調(diào)試器能把系統(tǒng)崩潰那一刻的現(xiàn)場(chǎng)完整還原出來(lái)。這篇是這個(gè)系列的第一篇不談玄學(xué)只講落地的實(shí)用技巧從環(huán)境準(zhǔn)備到第一份DMP的完整分析流程再到高頻錯(cuò)誤碼的解讀套路和常見(jiàn)誤判。如果你是第一次接觸藍(lán)屏分析或者之前只會(huì)用事件查看器和BlueScreenView這類(lèi)工具這篇正好適合你。后面我會(huì)盡量用“拿到問(wèn)題→怎么查→怎么確認(rèn)”的順序來(lái)寫(xiě)把我實(shí)際分析過(guò)程中的經(jīng)驗(yàn)和踩過(guò)的坑都攤開(kāi)講。1. 為什么事件查看器不夠用藍(lán)屏分析為什么要死磕WinDbg1.1 藍(lán)屏其實(shí)是一次“內(nèi)核級(jí)的停機(jī)報(bào)告”Windows藍(lán)屏的正式名字叫BugCheck本質(zhì)上是內(nèi)核檢測(cè)到系統(tǒng)已經(jīng)無(wú)法安全繼續(xù)運(yùn)行調(diào)用了KeBugCheckEx主動(dòng)停機(jī)。停機(jī)之前系統(tǒng)會(huì)把當(dāng)前內(nèi)存中的關(guān)鍵信息寫(xiě)入轉(zhuǎn)儲(chǔ)文件也就是我們常說(shuō)的DMP文件。這里要糾正一個(gè)很常見(jiàn)的誤解事件查看器里那條Kernel-Power 41并不是藍(lán)屏的原因它只是“上一次關(guān)機(jī)不正?!钡慕Y(jié)果。真正有價(jià)值的信息在BugCheck事件里也就是Event ID 1001它會(huì)記錄藍(lán)屏的代碼和四個(gè)參數(shù)比如0x000000D1這一類(lèi)。但光看這串?dāng)?shù)字你很難知道問(wèn)題出在哪個(gè)驅(qū)動(dòng)、哪個(gè)操作上。這就像一輛車(chē)突然熄火儀表盤(pán)只告訴你“發(fā)動(dòng)機(jī)故障”但你是想查火花塞、油路還是傳感器必須把行車(chē)電腦的數(shù)據(jù)導(dǎo)出來(lái)逐條看。DMP文件就是那臺(tái)行車(chē)電腦的數(shù)據(jù)WinDbg就是讀取這個(gè)數(shù)據(jù)的設(shè)備。1.2 事件查看器和第三方工具的局限性市面上確實(shí)有一堆號(hào)稱(chēng)一鍵分析藍(lán)屏的工具比如BlueScreenView、WhoCrashed我也用過(guò)它們能幫你快速看到錯(cuò)誤代碼、崩潰模塊、堆棧摘要應(yīng)急夠用。但它們的短板也很明顯只能展示W(wǎng)inDbg分析結(jié)果中很小的一部分尤其在多驅(qū)動(dòng)協(xié)同崩潰、內(nèi)存池?fù)p壞這類(lèi)復(fù)雜場(chǎng)景下幾乎幫不上忙。對(duì)比一下就知道工具能做什么局限事件查看器顯示BugCheck代碼和四個(gè)參數(shù)不解釋參數(shù)含義看不到調(diào)用棧BlueScreenView讀取DMP的摘要信息顯示崩潰模塊沒(méi)有符號(hào)解析能力無(wú)法交叉驗(yàn)證WhoCrashed自動(dòng)給出可能原因誤判率高經(jīng)常把系統(tǒng)驅(qū)動(dòng)當(dāng)元兇WinDbg符號(hào)化調(diào)用棧、完整模塊列表、參數(shù)解釋、內(nèi)存池分析有學(xué)習(xí)成本但是可追溯的完整證據(jù)鏈我用WinDbg分析DMP核心是它能給我一條完整的證據(jù)鏈不僅是“哪個(gè)模塊崩潰了”還包括它在什么IRQL下、訪問(wèn)了什么地址、調(diào)用了什么函數(shù)、當(dāng)前進(jìn)程是什么、驅(qū)動(dòng)文件的版本和時(shí)間戳是多少。把這些拼起來(lái)才能判斷是驅(qū)動(dòng)bug、硬件故障還是內(nèi)存被踩踏的連鎖反應(yīng)。2. 第一次動(dòng)手前選對(duì)工具、配好符號(hào)、確認(rèn)轉(zhuǎn)儲(chǔ)文件2.1 WinDbg版本怎么選經(jīng)典版、Preview還是最新版現(xiàn)在WinDbg實(shí)際上有三個(gè)常見(jiàn)形態(tài)很多人一搜“windbg下載”就懵了。簡(jiǎn)單說(shuō)經(jīng)典WinDbg包含在Windows SDK里界面經(jīng)典命令兼容性最好在老舊系統(tǒng)調(diào)試場(chǎng)景下仍然能打。WinDbg Preview微軟商店里上架的新版現(xiàn)在直接叫WinDbg界面現(xiàn)代化了一點(diǎn)支持暗色主題底部的Command窗口仍是主戰(zhàn)場(chǎng)。官方最新WinDbg繼續(xù)以商店方式更新分析性能更好支持更多擴(kuò)展命令。我的建議是直接用新版WinDbg從微軟商店裝一個(gè)就行。命令基本兼容偶爾有擴(kuò)展命令差異網(wǎng)上資料大多數(shù)都能對(duì)上。經(jīng)典版可以留著萬(wàn)一遇到老系統(tǒng)的轉(zhuǎn)儲(chǔ)兩邊對(duì)照著用。有人會(huì)糾結(jié)漢化包的問(wèn)題。我個(gè)人建議是不要用漢化——藍(lán)屏分析真正高頻操作的還是那幾十條命令菜單就那么幾個(gè)漢化了反而對(duì)不上社區(qū)資料里的術(shù)語(yǔ)。2.2 符號(hào)路徑?jīng)]有符號(hào)的WinDbg等于廢了一半符號(hào)文件.pdb是WinDbg的靈魂。DMP文件里記錄的是一堆虛擬地址沒(méi)有符號(hào)的話WinDbg只能告訴你“某個(gè)模塊調(diào)用了另一個(gè)模塊”卻無(wú)法顯示函數(shù)名調(diào)用棧全是問(wèn)號(hào)。這相當(dāng)于你拿到一份地址列表但沒(méi)有門(mén)牌簿根本不知道每扇門(mén)背后是誰(shuí)。正確做法是配置微軟公共符號(hào)服務(wù)器讓W(xué)inDbg按需自動(dòng)下載。標(biāo)準(zhǔn)符號(hào)路徑是SRV*C:\Symbols*https://msdl.microsoft.com/download/symbols在WinDbg里按CtrlS打開(kāi)符號(hào)路徑設(shè)置或者在命令窗口直接輸入.sympath SRV*C:\Symbols*https://msdl.microsoft.com/download/symbols也可以設(shè)置環(huán)境變量_NT_SYMBOL_PATH這樣對(duì)后續(xù)所有調(diào)試會(huì)話都生效。首次分析時(shí)符號(hào)下載會(huì)慢一些尤其碰到系統(tǒng)大模塊耐心等就行。如果你在公司內(nèi)網(wǎng)或離線環(huán)境符號(hào)下載不了就找一個(gè)有網(wǎng)的機(jī)器把符號(hào)緩存整個(gè)C:\Symbols目錄復(fù)制過(guò)去也能用。更穩(wěn)妥的方式是用symchk預(yù)先拉取目標(biāo)模塊的符號(hào)。2.3 轉(zhuǎn)儲(chǔ)文件從哪里來(lái)Minidump、MEMORY.DMP與轉(zhuǎn)儲(chǔ)參數(shù)DMP文件一般有兩個(gè)位置C:\Windows\Minidump小內(nèi)存轉(zhuǎn)儲(chǔ)通常幾百KB到幾MB包含崩潰時(shí)的關(guān)鍵內(nèi)存和調(diào)用棧日常分析最快。C:\Windows\MEMORY.DMP完整或內(nèi)核內(nèi)存轉(zhuǎn)儲(chǔ)可能有幾個(gè)GB信息最全但分析起來(lái)也慢。如果你想系統(tǒng)在藍(lán)屏?xí)r穩(wěn)定生成轉(zhuǎn)儲(chǔ)去“系統(tǒng)屬性→高級(jí)→啟動(dòng)和故障恢復(fù)→設(shè)置”里檢查一下。建議把“寫(xiě)入調(diào)試信息”留成“自動(dòng)內(nèi)存轉(zhuǎn)儲(chǔ)”或者按需改成“小內(nèi)存轉(zhuǎn)儲(chǔ)(256KB)”。還有兩個(gè)細(xì)節(jié)建議關(guān)掉“自動(dòng)重新啟動(dòng)”否則藍(lán)屏一閃就重啟現(xiàn)場(chǎng)信息丟失來(lái)不及拍照記錄錯(cuò)誤碼。轉(zhuǎn)儲(chǔ)寫(xiě)入依賴(lài)頁(yè)面文件頁(yè)面文件太小會(huì)導(dǎo)致轉(zhuǎn)儲(chǔ)生成失敗。想讓藍(lán)屏分析可靠系統(tǒng)盤(pán)頁(yè)面文件至少留2GB以上最好是“系統(tǒng)管理的大小”。如果你發(fā)現(xiàn)Minidump目錄是空的先別急著懷疑“沒(méi)藍(lán)屏過(guò)”。去系統(tǒng)盤(pán)根目錄看有沒(méi)有MEMORY.DMP那個(gè)同樣能分析。還有可能是之前的轉(zhuǎn)儲(chǔ)被清理工具刪了或者是Windows在快速啟動(dòng)機(jī)制下沒(méi)有完成轉(zhuǎn)儲(chǔ)寫(xiě)入。2.4 先對(duì)齊時(shí)間用事件日志給DMP文件“洗底”很多人拿到DMP就急著拖進(jìn)WinDbg我建議你先做一個(gè)60秒的準(zhǔn)備工作打開(kāi)事件查看器找到“Windows日志→系統(tǒng)”篩選Event ID 1001可以看到每次BugCheck的時(shí)間和錯(cuò)誤代碼。然后把C:\Windows\Minidump里的文件按修改時(shí)間排序挑出對(duì)應(yīng)時(shí)間的那個(gè)。這一步看著簡(jiǎn)單其實(shí)作用很大。它能避免你分析了一份過(guò)期的轉(zhuǎn)儲(chǔ)——尤其是那種“一年前藍(lán)屏過(guò)一次今天又藍(lán)屏”的情況兩個(gè)DMP可能指向完全不同的原因。先對(duì)齊時(shí)間再?zèng)Q定分析哪份文件分析結(jié)論才靠譜。如果你發(fā)現(xiàn)Minidump里有十幾個(gè)文件而用戶只描述“最近經(jīng)常藍(lán)屏”那就先看最新的一份。但不要只看一份后面我會(huì)講到多份轉(zhuǎn)儲(chǔ)之間的橫向?qū)Ρ韧葐畏萆钔诟菀妆┞缎判摹?. 拿到DMP后的五個(gè)核心步驟從!analyze -v到證據(jù)鏈閉合3.1 第一步打開(kāi)轉(zhuǎn)儲(chǔ)文件先看系統(tǒng)版本摘要在WinDbg里打開(kāi)DMP文件菜單路徑是File → Start debugging → Open dump file最新版叫Open Dump File直接選中.dmp文件即可。也可以用命令行windbg -z C:\Windows\Minidump\081318-23451-01.dmp打開(kāi)之后WinDbg會(huì)自動(dòng)加載符號(hào)輸出窗口會(huì)先顯示目標(biāo)系統(tǒng)的版本、構(gòu)建號(hào)、CPU數(shù)量。別直接跳過(guò)這一段因?yàn)槟闶紫纫_認(rèn)的是這份轉(zhuǎn)儲(chǔ)來(lái)自哪個(gè)Windows版本是不是這臺(tái)機(jī)器的有些轉(zhuǎn)儲(chǔ)可能是別的機(jī)器拷貝來(lái)的構(gòu)建號(hào)對(duì)不上后續(xù)分析會(huì)出現(xiàn)誤導(dǎo)。比如輸出里出現(xiàn)Windows 10 Kernel Version 19041說(shuō)明這是2004版或之后的系統(tǒng)。構(gòu)建號(hào)對(duì)分析有參考價(jià)值——某些BugCheck只在特定構(gòu)建號(hào)上出現(xiàn)你可以在社區(qū)搜“構(gòu)建號(hào)錯(cuò)誤碼”往往能直接找到已知問(wèn)題。3.2 第二步執(zhí)行!analyze -v先看它怎么說(shuō)假設(shè)你已經(jīng)看到了熟悉的BugCheck字樣下一步就是在命令窗口輸入!analyze -v這是WinDbg最核心的自動(dòng)分析命令。它會(huì)解析DMP中的關(guān)鍵信息輸出這樣一段內(nèi)容BugCheck D1, {fffff8800a112340, 0000000000000002, 0000000000000008, fffff8800a10f510} DRIVER_IRQL_NOT_LESS_OR_EQUAL Probably caused by : Netwtw04.sys這里有三塊信息要先看BugCheck行錯(cuò)誤代碼和四個(gè)參數(shù)。參數(shù)的解釋在后面細(xì)講。Probably caused byWinDbg給出的推測(cè)模塊。注意“probably”這個(gè)詞它不是結(jié)論是線索。下面的STACK_TEXT崩潰時(shí)的調(diào)用棧這是后續(xù)人工確認(rèn)的重點(diǎn)。!analyze -v還會(huì)輸出IMAGE_NAME、MODULE_NAME、FAILURE_BUCKET_ID等字段。新手最容易犯的錯(cuò)誤是把MODULE_NAME當(dāng)作最終結(jié)論直接寫(xiě)在報(bào)告里但我的經(jīng)驗(yàn)是它至少有30%的概率會(huì)把你的注意力帶偏尤其遇到符號(hào)不全或?;厮荼唤?cái)嗟那闆r。3.3 第三步參數(shù)和?;厮菰趺唇徊骝?yàn)證如果!analyze -v的輸出已經(jīng)很明顯比如?;厮堇镞B續(xù)出現(xiàn)同一個(gè)第三方驅(qū)動(dòng)那基本可以下判斷。但更常見(jiàn)的情況是“似乎指向A驅(qū)動(dòng)又有點(diǎn)牽扯B驅(qū)動(dòng)”這時(shí)候必須做交叉驗(yàn)證。執(zhí)行.ecxr kb.ecxr會(huì)把調(diào)試上下文切換到異常發(fā)生的那個(gè)線程kb顯示它的調(diào)用棧。這一步很關(guān)鍵因?yàn)?analyze -v給出的棧回溯有時(shí)是自動(dòng)判斷的不一定是最完整的現(xiàn)場(chǎng)。切換上下文之后再展開(kāi)往往能多看幾層看到崩潰前到底調(diào)用了什么。如果棧回溯里出現(xiàn)大量系統(tǒng)模塊比如nt!KeBugCheckEx、nt!KiBugCheckDispatch別緊張那是藍(lán)屏的固定路徑真正要盯的是棧里靠下的位置——那個(gè)觸發(fā)異常的具體模塊。再配合lmvm Netwtw04lmvm會(huì)顯示該模塊的詳細(xì)信息包括文件版本、時(shí)間戳、符號(hào)加載狀態(tài)。驅(qū)動(dòng)的時(shí)間戳尤其重要如果崩潰模塊是個(gè)兩年前的舊驅(qū)動(dòng)而它又指向了一個(gè)已知的硬件bug那結(jié)論就非常扎實(shí)。3.4 第四步查錯(cuò)誤碼的參數(shù)含義區(qū)分根因類(lèi)型BugCheck代碼底下的四個(gè)參數(shù)不是擺設(shè)它們是區(qū)分根因的關(guān)鍵。以0x000000D1為例常見(jiàn)含義是參數(shù)1被訪問(wèn)的內(nèi)存地址參數(shù)2中斷請(qǐng)求級(jí)別IRQL參數(shù)3操作類(lèi)型0表示讀1表示寫(xiě)8表示執(zhí)行參數(shù)4引用該內(nèi)存的指令地址如果你發(fā)現(xiàn)參數(shù)1是個(gè)低地址比如0x00000005之類(lèi)的大概率是空指針解引用如果參數(shù)3是1寫(xiě)操作說(shuō)明驅(qū)動(dòng)在往一個(gè)不該寫(xiě)的地方寫(xiě)數(shù)據(jù)如果參數(shù)2非常高比如IRQL等于2以上那就要關(guān)注驅(qū)動(dòng)是否在錯(cuò)誤的IRQL上執(zhí)行了分頁(yè)內(nèi)存訪問(wèn)。這里要提醒一下不同Windows版本的參數(shù)含義可能有細(xì)微差別。拿不準(zhǔn)的時(shí)候去微軟文檔里搜“Bug Check 0xD1”或者“Bug Check 0x50”查對(duì)應(yīng)頁(yè)面比盲目猜要靠譜得多。3.5 第五步用模塊列表和驅(qū)動(dòng)時(shí)間戳補(bǔ)全證據(jù)鏈?;厮堇镏傅侥硞€(gè)驅(qū)動(dòng)這只是“最后一步踩空”。真正重要的是搞清楚“為什么它會(huì)踩空”。這時(shí)候要看整個(gè)系統(tǒng)的驅(qū)動(dòng)加載情況lm t n這條命令會(huì)列出所有已加載的內(nèi)核模塊和驅(qū)動(dòng)。重點(diǎn)看第三方驅(qū)動(dòng)比如網(wǎng)卡、顯卡、虛擬化軟件、安全軟件的驅(qū)動(dòng)。很多時(shí)候崩潰棧里看到的驅(qū)動(dòng)并不是問(wèn)題的源頭——源頭可能是另一個(gè)驅(qū)動(dòng)破壞了內(nèi)存池然后崩潰正好發(fā)生在第三個(gè)驅(qū)動(dòng)里。我的判斷順序是這樣的先用!analyze -v拿到候選模塊再用lmvm確認(rèn)候選模塊的版本和時(shí)間戳?xí)r間戳太舊是重大嫌疑然后用.ecxrkb看完整調(diào)用棧確認(rèn)崩潰路徑最后lm t n檢查全局驅(qū)動(dòng)列表看有沒(méi)有其他老版本驅(qū)動(dòng)或已知問(wèn)題驅(qū)動(dòng)存在。這一套走完結(jié)論通常就比較穩(wěn)了比單看一行Probably caused by可靠得多。4. 高頻藍(lán)屏代碼實(shí)戰(zhàn)五個(gè)錯(cuò)誤碼的分析套路4.1 0x0000000A / 0xD1 這類(lèi)驅(qū)動(dòng)內(nèi)存訪問(wèn)違規(guī)怎么處理0x0000000AIRQL_NOT_LESS_OR_EQUAL和0x000000D1DRIVER_IRQL_NOT_LESS_OR_EQUAL本質(zhì)上是一家人都是在過(guò)高的IRQL下訪問(wèn)了可分頁(yè)內(nèi)存導(dǎo)致內(nèi)核無(wú)法繼續(xù)。區(qū)別是0x0A可以發(fā)生在任意內(nèi)核代碼里0xD1則明確指向驅(qū)動(dòng)。遇到這類(lèi)錯(cuò)誤碼我的套路是先看參數(shù)3如果操作類(lèi)型是寫(xiě)1重點(diǎn)查驅(qū)動(dòng)釋放內(nèi)存后是否仍在寫(xiě)也就是懸垂指針再看參數(shù)2的IRQL值如果大于PASSIVE_LEVEL0而?;卣{(diào)用到了分頁(yè)內(nèi)存那就是驅(qū)動(dòng)在錯(cuò)誤的時(shí)間做了錯(cuò)誤的事最后把崩潰棧里的模塊和時(shí)間戳記錄下來(lái)去網(wǎng)上搜“模塊名錯(cuò)誤碼”看是否已知問(wèn)題。這條排查鏈路特別適合網(wǎng)卡、聲卡驅(qū)動(dòng)的藍(lán)屏。很多人遇到0xD1第一時(shí)間懷疑內(nèi)存硬件但我經(jīng)手的案例里相當(dāng)大比例是驅(qū)動(dòng)bug。4.2 0x00000050 PAGE_FAULT_IN_NONPAGED_AREA的問(wèn)題別急著換內(nèi)存0x50的意思是系統(tǒng)訪問(wèn)了一個(gè)無(wú)效物理地址比如引用了已被釋放的頁(yè)面、訪問(wèn)了不存在的物理內(nèi)存或者對(duì)不可分頁(yè)區(qū)域執(zhí)行了分頁(yè)操作。錯(cuò)誤信息里經(jīng)??吹揭欢裯t!Mi開(kāi)頭的函數(shù)很容易讓人以為是內(nèi)存條壞了。但這里有個(gè)經(jīng)典誤判0x50也可能是驅(qū)動(dòng)“釋放內(nèi)存后繼續(xù)使用”造成的。判斷方式有兩個(gè)看崩潰棧中是否有第三方驅(qū)動(dòng)在ExFreePool之后又訪問(wèn)了同一個(gè)地址看參數(shù)1錯(cuò)誤的內(nèi)存地址是否接近驅(qū)動(dòng)常用的池地址范圍。如果?;厮堇镏挥衝t內(nèi)核函數(shù)沒(méi)有任何第三方模塊那硬件嫌疑才上升。這種情況下我會(huì)建議先跑MemTest86再檢查CPU的IMC內(nèi)存控制器和BIOS里的XMP設(shè)置最后才是換內(nèi)存。4.3 0x0000003B SYSTEM_SERVICE_EXCEPTION異常代碼是關(guān)鍵0x3B表示在執(zhí)行系統(tǒng)服務(wù)時(shí)發(fā)生了未處理的異常。這類(lèi)藍(lán)屏經(jīng)常和顯卡驅(qū)動(dòng)、存儲(chǔ)驅(qū)動(dòng)、安全軟件驅(qū)動(dòng)有關(guān)。它的四參數(shù)里第一個(gè)就是異常代碼比如0xc0000005訪問(wèn)沖突、0xc000000d非法指令后面是異常發(fā)生的指令地址。我的分析重點(diǎn)是看?;厮葜谐霈F(xiàn)的是哪個(gè)模塊。如果指向dxgkrnl.sys、nvlddmkm.sys、athwb.sys這類(lèi)圖形或網(wǎng)絡(luò)驅(qū)動(dòng)大概率是驅(qū)動(dòng)在處理請(qǐng)求時(shí)越界。如果?;厮堇锶窍到y(tǒng)模塊那可能是系統(tǒng)服務(wù)出現(xiàn)了堆損壞需要進(jìn)一步檢查是否有其他驅(qū)動(dòng)破壞了堆。補(bǔ)充一條經(jīng)驗(yàn)0x3B的崩潰現(xiàn)場(chǎng)經(jīng)常發(fā)生在系統(tǒng)負(fù)載高、USB設(shè)備插拔頻繁的時(shí)間點(diǎn)排查時(shí)不妨問(wèn)問(wèn)用戶“藍(lán)屏前在做什么”往往能幫你快速縮小范圍。4.4 0x0000001A MEMORY_MANAGEMENT內(nèi)存池?fù)p壞的排查方向0x1A是內(nèi)存管理器檢查到內(nèi)部狀態(tài)不一致比如頁(yè)表項(xiàng)被寫(xiě)壞、PFN列表被破壞。這類(lèi)錯(cuò)誤一出很多人直接判定“內(nèi)存條壞了”但我更愿意先把它當(dāng)“內(nèi)存被驅(qū)動(dòng)踩了”來(lái)查。!analyze -v輸出里會(huì)有一個(gè)子錯(cuò)誤碼Arg1不同子碼對(duì)應(yīng)不同的內(nèi)存損壞場(chǎng)景??吹?x1A時(shí)我會(huì)額外執(zhí)行!memanalysis或者用!pool這兩個(gè)命令會(huì)掃描內(nèi)存池的標(biāo)記和潛在損壞。如果某個(gè)驅(qū)動(dòng)名的池標(biāo)記反復(fù)出現(xiàn)那基本可以斷定是這個(gè)驅(qū)動(dòng)在池上亂寫(xiě)導(dǎo)致內(nèi)存管理結(jié)構(gòu)錯(cuò)亂。這時(shí)候換內(nèi)存條解決不了問(wèn)題該更新驅(qū)動(dòng)、卸載沖突軟件才對(duì)。4.5 0x000000EF CRITICAL_PROCESS_DIED先查系統(tǒng)再查驅(qū)動(dòng)0xEF表示系統(tǒng)關(guān)鍵進(jìn)程意外退出比如wininit.exe、csrss.exe、services.exe。這類(lèi)問(wèn)題要分兩步看第一步確認(rèn)是哪個(gè)進(jìn)程死了、退出碼多少第二步看這個(gè)進(jìn)程死前在跑什么是不是某個(gè)驅(qū)動(dòng)引發(fā)的。參數(shù)1通常指向進(jìn)程對(duì)象參數(shù)2是退出碼。比如退出碼是0xc0000409棧緩沖區(qū)溢出那就要重點(diǎn)查是否有安全軟件或反作弊軟件在注入該進(jìn)程。0xEF還有一個(gè)常見(jiàn)背景是系統(tǒng)文件被破壞或系統(tǒng)盤(pán)故障我一般會(huì)先建議跑sfc /scannow和chkdsk /f再回來(lái)分析驅(qū)動(dòng)因素。0xEF比較麻煩的一點(diǎn)是進(jìn)程死了的現(xiàn)場(chǎng)往往很干凈?;厮堇锊灰欢芸吹皆獌茨K。這時(shí)候我會(huì)直接對(duì)比前后多份轉(zhuǎn)儲(chǔ)看是否有同一個(gè)驅(qū)動(dòng)反復(fù)出現(xiàn)在崩潰線程的模塊列表里。5. 踩坑記錄符號(hào)加載失敗、誤報(bào)驅(qū)動(dòng)與轉(zhuǎn)儲(chǔ)缺失的排查鏈路5.1 符號(hào)加載失敗別再被“問(wèn)號(hào)堆?!睅业谝淮斡肳inDbg分析DMP時(shí)打開(kāi)文件后?;厮萑???還以為轉(zhuǎn)儲(chǔ)文件壞了。實(shí)際上就是符號(hào)沒(méi)配好。排查鏈路是這樣的先輸入.sympath確認(rèn)當(dāng)前符號(hào)路徑看緩存目錄寫(xiě)沒(méi)寫(xiě)對(duì)檢查C:\Symbols目錄是否正在增長(zhǎng)如果文件數(shù)在漲說(shuō)明符號(hào)在下載確認(rèn)網(wǎng)絡(luò)能訪問(wèn)符號(hào)服務(wù)器公司內(nèi)網(wǎng)或防火墻經(jīng)常會(huì)攔如果路徑?jīng)]問(wèn)題但個(gè)別模塊還是問(wèn)號(hào)執(zhí)行.reload /f強(qiáng)制重載一次仍不行就人工檢查目標(biāo)模塊的符號(hào)包去微軟符號(hào)服務(wù)器對(duì)應(yīng)頁(yè)面手動(dòng)下載。符號(hào)加載失敗時(shí)!analyze -v的輸出質(zhì)量會(huì)直線下降可能連Probably caused by都打不出來(lái)。所以遇到問(wèn)號(hào)堆棧第一件事不是懷疑DMP損壞而是查符號(hào)。5.2 懷疑驅(qū)動(dòng)A卻崩在驅(qū)動(dòng)Bprobable cause的“偽證”時(shí)刻有一次一份0x50轉(zhuǎn)儲(chǔ)!analyze -v明確指向某安全軟件的監(jiān)控驅(qū)動(dòng)時(shí)間戳也合理?xiàng);厮堇镆泊_實(shí)有它。我當(dāng)時(shí)差點(diǎn)直接下結(jié)論讓用戶卸載。后來(lái)多看了兩眼發(fā)現(xiàn)真正引發(fā)崩潰的是一個(gè)磁盤(pán)過(guò)濾驅(qū)動(dòng)它釋放了一塊池內(nèi)存之后沒(méi)有把指針置空另一個(gè)模塊在用同一個(gè)指針時(shí)踩到了被釋放的區(qū)域最終崩在了安全軟件驅(qū)動(dòng)的地盤(pán)上。這個(gè)案例給我最大的教訓(xùn)是Probably caused by是“崩潰時(shí)正好在這”不代表“根因一定在這”?,F(xiàn)在我的習(xí)慣是每次得出結(jié)論前至少驗(yàn)證三處lmvm的時(shí)間戳、.ecxrkb的完整棧、全局驅(qū)動(dòng)列表里是否有異常驅(qū)動(dòng)。三者指向同一模塊才敢寫(xiě)最終判斷。5.3 轉(zhuǎn)儲(chǔ)文件缺失或打不開(kāi)先檢查這兩種常見(jiàn)原因打不開(kāi)DMP最常見(jiàn)的原因是架構(gòu)不匹配。比如你用64位WinDbg去打開(kāi)32位系統(tǒng)生成的內(nèi)核轉(zhuǎn)儲(chǔ)會(huì)報(bào)錯(cuò)或者顯示一堆亂碼。解決辦法是明確轉(zhuǎn)儲(chǔ)來(lái)源系統(tǒng)的架構(gòu)下載對(duì)應(yīng)x64或x86的調(diào)試器。轉(zhuǎn)儲(chǔ)文件缺失則要回系統(tǒng)設(shè)置里查重點(diǎn)看“啟動(dòng)和故障恢復(fù)”中的“寫(xiě)入調(diào)試信息”選項(xiàng)。還有一個(gè)容易忽略的點(diǎn)系統(tǒng)盤(pán)的頁(yè)面文件必須足夠大否則藍(lán)屏瞬間寫(xiě)轉(zhuǎn)儲(chǔ)失敗。有些優(yōu)化軟件為了省磁盤(pán)空間會(huì)把頁(yè)面文件設(shè)置得特別小這會(huì)導(dǎo)致藍(lán)屏了卻什么也沒(méi)留下。如果你在做批量電腦維護(hù)記得把這個(gè)選項(xiàng)單獨(dú)檢查一遍別等藍(lán)屏了才發(fā)現(xiàn)根本沒(méi)轉(zhuǎn)儲(chǔ)文件可分析。5.4 硬件問(wèn)題濾鏡判斷內(nèi)存故障前先排除驅(qū)動(dòng)踩踏很多藍(lán)屏代碼尤其是0x1A、0x50、0x0A這一類(lèi)表面看起來(lái)都像內(nèi)存問(wèn)題。我看過(guò)太多的排查報(bào)告上來(lái)就寫(xiě)“內(nèi)存故障請(qǐng)更換內(nèi)存條”。但如果你往深挖一層會(huì)發(fā)現(xiàn)不少案子里驅(qū)動(dòng)踩內(nèi)存才是根源。我的個(gè)人判斷順序是這樣先用!analyze -v和?;厮菖懦?qū)動(dòng)因素如果確認(rèn)棧里全是系統(tǒng)模塊再考慮運(yùn)行!memanalysis看內(nèi)存池標(biāo)記內(nèi)存池也干凈才輪到硬件方向這時(shí)候建議先跑MemTest86和CPU壓力測(cè)試再做替換法。反過(guò)來(lái)也有一種情況?;厮堇锎_實(shí)指向某個(gè)驅(qū)動(dòng)模塊但這個(gè)模塊的行為異常是硬件錯(cuò)誤引發(fā)的比如CPU緩存或內(nèi)存控制器出錯(cuò)導(dǎo)致驅(qū)動(dòng)讀到錯(cuò)誤數(shù)據(jù)。這種場(chǎng)景l(fā)mvm時(shí)間戳再新也說(shuō)不清。這時(shí)需要結(jié)合系統(tǒng)事件日志里有沒(méi)有WHEA硬件錯(cuò)誤記錄來(lái)判斷如果同時(shí)出現(xiàn)Event 18、Event 19這類(lèi)WHEA事件那硬件因素就得優(yōu)先考慮。5.5 命令拆彈內(nèi)核轉(zhuǎn)儲(chǔ)大、分析慢時(shí)的高效技巧如果只拿到了幾個(gè)GB的MEMORY.DMP打開(kāi)和波動(dòng)都很痛苦。我的建議是先用小內(nèi)存轉(zhuǎn)儲(chǔ)Minidump做快速定位絕大多數(shù)場(chǎng)景小轉(zhuǎn)儲(chǔ)的信息足夠如果一定要用完整轉(zhuǎn)儲(chǔ)打開(kāi)后先輸!analyze -v別急著展開(kāi)其他命令讓它慢慢跑完分析過(guò)程中可以用.logopen把輸出重定向到文件避免窗口滾動(dòng)丟失內(nèi)容遇到反復(fù)崩潰的機(jī)器別滿足于分析最新的那份把最近三五個(gè)DMP都過(guò)一遍看看崩潰模塊是否一致。如果每次都指向同一個(gè)驅(qū)動(dòng)這個(gè)證據(jù)比任何單次現(xiàn)場(chǎng)都更有說(shuō)服力。另外微軟文檔里很多BugCheck頁(yè)面下面有!analyze -show的用法它可以重新顯示自動(dòng)分析結(jié)果。如果你在分析過(guò)程中把輸出刷掉了不用重新跑一遍自動(dòng)分析直接執(zhí)行這個(gè)命令就能把結(jié)論調(diào)回來(lái)。我自己還有一個(gè)習(xí)慣分析完成之后把!analyze -v、lmvm和相關(guān)棧回溯的文本都保存到日志里文件名命名成“日期_BugCheck代碼_核心模塊.txt”。這樣后續(xù)再藍(lán)屏直接翻舊檔對(duì)比能省不少時(shí)間。這個(gè)系列下一篇我打算重點(diǎn)講怎么在一堆DMP里做橫向?qū)Ρ纫约叭绾螐谋罎⒓?xì)節(jié)反推“是驅(qū)動(dòng)更新問(wèn)題還是硬件退化問(wèn)題”。先把這一篇里的流程用熟練遇到藍(lán)屏就不會(huì)再像個(gè)無(wú)頭蒼蠅一樣亂猜了。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久久天堂国产精品女人| 日日噜狠狠色综合久久| 欧美成人猛片AAAAAAA| 色综合色综合色综合高潮| 五月婷婷激情综合| 亚洲激情淫网| www.久久爱.c n| 五月婷婷av| 久久hd| 99热青青草| 激情欧美婷五月| 狠狠干,狠狠操| 99热在线看| 婷婷香香五月| 久久婷丁香五月| 伊人综合网站| 丁香六月色香蕉视频| 九九激情| 色播综合| 日韩一级网站| 久热这里只有精品6| 丁香五月情色| 九九久久五月天综合伊人| 激情综合色婷婷啪啪五月天| 这里只有精品视频| av在线观看免费| 激情网五月婷婷| 婷婷八月激情| 婷婷五月丁香av网站| 六月丁花香啪啪激情欧美| 伊人99热| 久久精品性爱| 99热这里只有精品2| 中文不卡一二区| 久9热| 99成人小视频| 午夜成人综合| 色婷婷亚洲婷婷在线观看| 五月激情五月丁香| 人人爽人人射-美女久久久久久久久久-成人AV| 大香蕉天堂| 五月综合激情视频| 日本色色网| 99内射视频| 亚洲人操亚洲人| 专区无日本视频高清8| 99热这里只有精品8| 九九热这里只有国产精品| 日本高清久久| 久久久思思热| 亚洲视频色色| 午夜婷婷五月天在线| 色婷婷五月天中文字幕| 日韩在线观看亚洲| 99日本黄站| 欧美日韩国产一区| 五月丁香婷婷综合久久| 538午夜激情| 五月色网| 色色色在线播放| 99碰网站| www.色九月| 国产特黄色精品一区二区三区精品无广告 | 婷婷六月激情小说网| 香蕉伊人综合| 亚洲av网站| 五月丁香好婷婷A片网| 色色网91| 男人天堂99| 激情婷婷色色| 99小精品| 婷婷五月天开心激情网| 超碰资源在线| 99色在线视频| 久久性爱网站| ss视频xx91| 另类综合国产| 色综合九九| 激情图片99| 超碰在线观看成人视| 狠狠色噜噜狠狠亚洲A∨| 狠狠狠狠草草| 成人版视频在线观看| 六月婷婷九月丁香| 色亚洲无码| 啪啪91| 五月婷啪啪| 丁香五月色色| 久久成人天| 五月婷六月天| www.五月婷婷.com| 成人做爰A片免费看视频| 日本精品人妻无码77777| 色色射| 九热视频| 狠狠色丁香久久婷婷综合五月| 91婷婷在线观看| 91男同| 免费国产VA国产免费| 成人精品人妻| 六月丁香五月激情婷婷| 九九这里是免费的视频5| 久热只有精品| 久久久精品99| 色播五月丁香婷婷| 五月丁香色婷婷久久| 激情五月天色播| 五月婷婷激情性爱| 黄色网址五月婷婷| 久久激情视频| www夜夜| 另类A片| 99噜噜噜在线播放| 91 原创 在线 九色| 99婷婷国产最新视频| 9久久久久| 丁香五月影院| 久婷婷视平| 日本一级一片免费视频| 99在线er热| wwccc久久久| 五月天婷婷视频| 九九亚洲视频| 五月天久久激情| 色婷婷婷av| 久热播这里只有精品| 大香蕉五月天婷婷| 另类图片五月天婷婷| 五月婷网| 色偷偷五月天| 丁香六月激情综合| 五月丁香精品| 超碰在线综合| 国产精品A片在线| 五月天啪啪| 无码人妻一区二区三区免费九色| 天天插天天干| 激情伊人| 五月婷婷久久大香蕉| 精品亚洲国产成AV人片传媒| 丁香色情五月综合激情| 99热在线精品播放| 9热在线视频| 四五月婷婷| 亚洲情色一区| 婷婷丁香91| 色婷婷手机在线| 丁香六月天堂| 丁香综合日产精品久久| 五月婷婷影院| 最熟少妇乱码| 婷婷五月天天| 久久99久久久久久| WWW.五月com| 五月婷在线| 99无码黄色视频| 亚洲精品一区中文字幕乱码| 久久婷网| 色婷婷a三区麻| 91人人爽狠狠狠| 丁香五月欧美婷婷| 99视频网| 在线综合91| 99热精国产这里只有精品| 九九热99热| 99精品一二三四视频| 色色 9| 99久久9| 丁香婷婷视频一区二区| 99色爱| 超碰狠狠干99| 99久久综合| 色色色五月婷| 五月丁香欧美综合| 91日本在线观看| www.综合久久| www.久久爱.com| 婷婷激情五月天小说| 五月丁香六月婷婷亚洲| WWW.五月com| 日逼免费视频| 91av色色乱视频| 色激情五月| 日本97久久久精品| 99爱在线免费视频| 九九99视频精品| 国产精产国品一二三在观看| 丁香五月婷婷丫| 热99热久| 日日夜夜爽| 就爱日五月天| 丁香激情五月| 99色婷婷视频| 综合福利网| 激情宗合哪里能看| 国产精产国品一二三在观看| 丁香五月激情无码视频| 久久久久五月丁香| 婷婷亚洲激情在线观看视频| 久久婷婷五月综合色播| 在线中文字幕免费视频| 天天操婷婷| 久碰久| 九九综合久久| 99热99| 在线观看婷婷5月| 大香蕉 伊人夜| 婷婷五月色丁香在线看| 久久久久久久91| 大香蕉伊人99| 五月婷婷综合在线视频小说| 9久久久久久久久久久| 97碰人人操| 5五月综合网亚洲| 五月婷婷激情综合av| 99碰视频| 天天肏视频| 七七色色综合| 国产亚洲精品AAAAAAA片| 午夜九九电影| 婷婷新网址| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 色色五月天婷婷| 五月婷婷五月天| 色婷婷综合久久久久| 在线中文av| 六月婷久久| 丁香五月成人自拍| 91久久99久久91熟女精品| 九九热99精品| 六月婷婷AV| 久久99热这里只频精品6学生| 97人人搞| 久草婷婷在线| 99视频在线精品免费观看2| 亚洲丁香五月深爱五月| 久久久99视频| 91av成人| 天天日天天色| 亚洲综合草草| 色五月成人在线| 九九人人操| 丁香色情五月天| 极品人妻VideOssS人妻| 狠狠肏综合网| 亚洲精品第一国产综合亚AV | 99爱在线观看视频| AAAA亚洲| 夜夜大香蕉婷婷丁香| 天天噜噜| 99热只有| 丁香六月婷婷高清| 九月婷婷久久久| 曰韩五月丁香色婷婷无码| 午夜成人网站在线观看| 999影院成人在线影院| 大香蕉婷婷丁香天堂AV| 久久久全国免费视频| 99久久久久| 快乐婷婷五月天| 一起草aV| 激情五月婷婷综合秋霞| 色婷婷丁香五月| 人人操人人看97干| 蜜桃成语时李时珍 免费| 99无码视频| 婷婷激情五月天色| 婷婷色五月婷婷姐妹| 婷婷伊人五月丁香天堂网| 亚洲综合五月天婷婷丁香| 真实亲子乱子伦高清在线观看| 成人噜噜网| 岛国操B不卡在线| 亚洲字幕AV一区二区三区四区| 亚洲性爱电影| 热99只有里视频| 婷婷六月丁香在线| 丁香五月天啪啪| 久久婷婷综合色丁香| 成人做爰黄A片免费看直播室男男| 另类 在线| 丁香五月冃欧美| www久久99com| 99热这里只有精品在线免费| 九九久久99精品免费观看www| 三日本无码| 9热网站| 天天操,夜夜骑| 欧美色骚婷婷五月天| 亚洲av成人在线| 欧美啪啪网| 99色免费观看全部| 久久九网| 97碰91| 久久五月婷天天干| 久久全意婷婷| 1024成人免费看| 美国少妇性做爰| 婷婷五月天色色| 中文av网站| 五月综亚洲| 五月激情婷婷图片基地| 26uuu四色| 成人视频在线免费播放| 色婷婷a v| 色综合九九色综合88| 99玖玖人人| 人人干人人操外国| 九九人人自拍| 996er热| 丁香婷婷九月| 他改变了拜占庭| 97久久超碰| 男女av免费看| 国外亚洲成AV人片在线观看| 激情内射人妻1区2区3区| 婷婷成人五月天成人文学| www婷婷| 五月天桃色深爱网| 亚洲三A| 天天色播| 九九色色| 婷婷在线五月综合| 久色激情| 九九热精品6| 亚艹艹| 国产亚洲精久久久久| 久久A热| 就爱射中文字幕资源网| 天天檫天天爽| 五月天激情网站| 九九色综合九九色| 四月丁香五月婷婷久久| 色色色综合色| 久久九九热38| 国产在线视频1234| 91在线日| 精品99这里有| 精品国产va久久久| 超碰亚洲天堂| 久久精品凹凸分类| www:99热视频| 色五月成人婷婷| 亚洲狠狠婷婷综合久久久| 婷婷五月天美女视频| 99爱免费在线视频| 五月天激情视频| 综合激情婷婷| 九九99精品视频在线观看| 激情又色又爽又黄的A片| 人妻内射一区二区在线视频| 97婷婷狠狠久久综合9色| 九色视频91疯狂| 丁香五月婷婷动漫视频| 99只有这里有精品在线视频| h在线看免费版在线看| 久久婷婷青青| 91狠狠综合久久久久久| 婷婷色av| av大香蕉| 丁香色综合| 激情五月无码| 婷婷久久亚洲| 日韩AV在线免费| 日韩不卡DvD| 亚洲五月综合色播| 久久伊人大香蕉| VA国产在线综合网站| 婷婷开心青青草| 97碰人人操| 99婷婷| 狠狠色丁香婷婷五月| 另类色视频| 综合一本道| 九九这里有精品| 九九色黄色| 丁香色六月| 九九视频这里只有精品| JAPANRCEP老熟妇乱子伦视频 | 久久与婷婷| 欧美性生交XXXXX无码小说| 九九色天堂| 婷婷美女精品视频| 色99色| 五月婷婷综合激情| 国产成人在线精品| 五月天亚洲综合网| 天天射天天操天天干| 色五月激情网| 五月婷婷|欧美| 播丁香五月婷婷欧美| 六月激情婷婷| www.五月天。com| 99色免费观看全部| 91婷婷色五月| 色爱99| www.com久久久久久久久久久久久久久久久| 色欲丁香| 久热91精品| 激情婷婷五月在线合集| 婷婷五月天激情综合深爱| 亚洲1区| 男人的天堂97| 99aese| 久久五月天婷婷| 九九九九综合| 日日操夜夜爽| 久久99三级在线视频| 五月丁香婷中文字幕| 日日夜夜天天| jiujiu热在线视频| 亚洲愉拍99热成人精品| 久久久久网站| 激情图片婷婷| 99热精品中文字幕| 就去色色五月丁香婷婷久久久| 婷婷综合五月天激情| 天天操天天曰| 亚洲 综合中文| av在线观看免费| 五月香蕉婷婷| 九九五月天| 欧美色色干| 久久精品人妻| 香焦网五月天| 婷婷色丁香五月| 久久婷视频| 婷婷日欧美在线观看| 狠狠干狠狠操狠狠爱| 99精品大片| 成人va在线| 五月丁香龟婷婷| 九九爱精品网站| 五月激情网五月综合网| 色婷婷性爱网| 五月天色婷婷成人| 偷拍九九五月丁香婷婷| 九九色人| 六月丁香基地| 婷婷丁香18| 五月天激情社区| 91精品刘玥| 99热这里只有国产精品| 一区二区传媒视频| 人人草开心五月天| 久久婷婷五月综合精品蜜芽| 丁香成人五月天| 97人人干人人操| 亚洲综合五月天| 中文字幕在线资源| 亚洲妇女熟BBW| 激情黄色五月天| 伊人久久大香天蕉亚洲特级| 亚洲色夜| www.久久爱.com| 99riAv1国产在线观看| 91大神操美女| 99久久99九九99九九九| 中文字幕精品无码一区二区| 激情五月综合网丁| 超碰国产AV| 激情综合丁香六| 久久精品性爱| 深爱婷婷基地| 天天日天天操心| 免费视频这里只有精品| 97五月久久丁香婷婷| 热99这就是精品视频| 热99精品视频观看| 色yeye色综合| 久久丁香综合| 久久五月天合网| 伊久大香蕉| 亚洲欧美日韩另类| 久久网站免费亚洲| 91色性感五月婷婷丁香| 九九自拍网| 五月婷婷开心色伊人| 免费91久久精品| 丁香婷婷婷五月| 久久在线视频免费观看| 永久地址 色| 婷婷五月天六点丁香五月| 农村熟妇高潮精品A片| 免费观看的婷婷五月视频在线| 色色色色综合网| 成人亚洲精品久久久久| 九九大香蕉黄色影院| 亚洲综合久| 久久婷婷五月丁香蜜桃网| 麻豆雪千夏| 六月丁香婷婷色综合| 丁香五月九九| 成人国产欧美大片一区| 久久综合中文| 日本色狠狠| 九九热视频网站| 久久大国产香蕉| 五月丁香婷婷基地| 玖玖热视频| 99热日韩这里只有精品| 日韩av在线免费观看| 一本大道熟女人妻中文字幕在线 | 国产精品美女| 超碰资源在线| www,99热| 激情伊人五月婷婷久久| 欧美A级网站| 中文字幕无码AV| 色婷操逼| 综合色影院| 激情综合五月色丁香婷婷 | 久草热久草在线视频| 天天综合五月| 亚洲六月色| 五月亭亭激情综合| 激情六月丁香| 九月激情综合婷婷| 狠狠色婷婷丁香五月| 成人综合网站| 可以免费观看的AV| 丁香五月婷婷色| 99热都是精品| 婷婷五月天激情网站| 色婷婷深爱五月| 日本综合久| 国产熟女大叫受不了| 五月丁香狠狠爱婷婷综合| 成人做爰高潮A片免费视频| 9色在线| 色婷婷丁香五月天| 欧美综合婷婷欧美综| 五月婷丁香| 激情五月色婷婷| 大香伊人婷婷| 婷婷五月天性爱视频| 操97在线观看| 少妇2做爰HD韩国电影| 五月婷婷五月天| 日本超碰在线| 91超碰人人操| 伊人久久婷婷| 色色色无码| 日日夜夜狠狠| 欧美性猛交99久久久99| 狠狠色97| 激情五月婷婷网| 开心四月婷婷在线色播播| 色之综合网| 久久久妻人人人| 99re熱| 色五月婷婷五月丁香五月激情五月视频| 丁香五月婷婷AV| 九色啦蜜臀| 狠狠穞A片一區二區三區| 精品亚洲VA网站| 五月天亭亭俺也| 亚洲丁香婷婷丁香五月天激情| 久久婷婷五月综合伊人| 思思热视频在线观看| 97色色视频| 性99网站| 狠狠狠狠狠狠| 97亚洲婷婷| 成人短视频在线| 婷婷五月激情图片| 五月丁香另类网| 五月丁香六月婷婷的女人| 婷婷六月花| 亚洲色婷婷五月| 丁香五月婷婷俺也要去| 久久久久久五月天| 天天爽—爽| 色综合网上班开心婷婷久久| 天天综合天天做天天综合| 性爱AV天堂| 婷婷五月天激情在线观看 | 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 亚洲VA欧美VA| 日日操日日爽| 大香蕉婷婷五月| 99九九视频| 欧美电影在线观看| 欧美日韩91| 国产一区二区av免费| 久久精品日| www99在线观看视频| 99干日本| 天堂久久性| 久久婷婷青草五月天| 99九九玖玖| 夜夜人妻五月天| 亚洲中文字幕AV在线| 久久九九激情五月天 | www.激情| 日本熟妇乱妇熟色A片蜜桃| www99精品在线观看| 超碰国产AV| 黄色aaaaa| 婷婷十月丁香| 色色亚洲视频| 四川女人毛多水多A片| 色99视频| 婷婷五月天成人视频| 热婷婷在线视频| 丁香五月六月综合激情| 亚洲五月丁香综合网| 五月婷婷丁香色吧网| 亚洲乱码w在线观看| 中文字幕日产A片在线看| 久久日曰| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 婷婷五月婷婷| 四川女人毛多水多A片| 99精品女人天堂| 婷婷欧美色| 五月天婷爱综合| av在线免费播放| 九九婷婷激情综合网| 大香蕉久久久久| 亚洲激情精品| 综合激情五月天| 精品99在线观看| 五月天堂婷婷| 五月丁香999| 婷婷激情97| 丁香六月婷婷综情欧美| 狠狠色噜噜狠狠| www,黄色在线,con| 欧美日韩国产一区二区| 日日噜狠狠色综合久久| 五月婷婷丁香六月| 激情六月天婷婷| 五月丁香基地| 性色做爰片在线观看WW| 9色在线| 婷婷激情小说| 亚洲精品第一国产综合亚AV | 五月丁香拍拍激情综合| 亚洲欧美婷婷五月色综合| 婷婷亚州综合| 婷婷十月丁香| 国产午夜精品一区二区三区四区| 99色色爰| WWW久久久| 激情五月天色色色| 日韩在线五月天婷婷| 丰满老熟妇BBBBB搡BBB| 日韩操人| 天天日天天色| 亚洲色五月婷婷| 婷婷五月天亚洲综合| 99A片| 婷婷五月丁香综合桃花色网| 婷婷五月骚厕所| 婷婷啪啪| 五月激情丁香六月狠狠干| 色五月婷婷久久| 国产精品成人AV在线| 玖玖婷婷色欲| 五月伊人91| 桃色伊人在线| 久久这里有精品| 狠狠综合久久| 五月婷婷丁香在线| 99色视频| 婷婷日日夜夜| 国产午夜精品一区二区三区四区| 亚洲狠狠终合停停终合| 99视频综合| 可以直接看的av| 五月婷婷五月| 色和综合网| 91丨九色丨熟女丰满| 中文字幕综合网| 天天插天天插天天日| 久久婷婷五月综合97色一本| 狠狠操.COM| 丁香五月开心五月激情| www天天色天天射| 五月丁香好婷婷A片网| 亚洲视频码| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 白人荫道BBWBBB大荫道| 秋霞三级影视资源| 99在线精品视频| 99re这里只有精品国产99| 婷婷五月丁香综合激情| 九伊人网| 婷婷久久五月丁香| 五月丁香大相交| 婷婷金品综合视频| 国产视频久色| 五月丁香亚州综合网| 婷婷丁香五月在线播放| www.久久99热地址发布| 色99热| 九月婷婷久久| 欧美三级巜人妻互换| 久8色色| 懂色av蜜臀av粉嫩av永陈冠希| 桃色激情网| 日本九九视频| 99热综合| 99热这里只有精品86| 九九人人自拍| 色色99| 丁香婷婷五月基地| 91婷婷伊人牛牛| 99re久久| 五月天天爱| 久操大香蕉| 国产精品久久久久久妇女6080| 天天爽,天天操。| 国产乱人偷精品人妻A片| 日日日天天干| 色婷婷影院| 激情六月天| 色久激情在线| 99熟女视频| 久久久这里有精品| 欧美激情综合色综合| 大香蕉人人网| 伊人激情AV一区二区三区| 一起草性爱不卡视频| 五月婷婷六月丁香首页| 噜噜在线| 久久精彩视频| 国产热精品| 久久香蕉福利| 丁香六月丁香婷婷激情| 欧美三级欧美一级| 五月天成人在线播放丁香| 99熟女视频| 丁香五月激情啪啪综合| 婷婷导航| 综合五月婷婷| 色欲香综合网| 碰人人97| 影音先锋女人AA鲁色资源| 欧美黄色韩日网| www.91在线观看| 做爰丰满少妇1313| 激情丁香网| www.五月婷| AA片在线观看视频在线播放| 九色91国产| 天天舔天天摸视频| 怡红院99| 亚洲av免费在线| www.九九婷婷| 思思热在线观看| 五月婷婷草| 五月丁香狠狠| 久er7久热| 97精品在线| 丁香五月 性爱| 狠狠狠狠狠狠| 激情五月天婷婷| 国产欧美va| 开心综合激情综合| 久久综合热17c| 91人人操人人| 九九99在线视频| www.金莲av| 五月天激情婷婷| 欧美日韩91| 人人摸人人搞| 日日干日日s| 色婷婷亚洲| 激情综合色| 免费观看欧美成人AA片爱我多深| 99re热在线视频| 亭亭玉月丁香| 两性婷婷丁香五月| 俺去也婷婷| 99碰超| 另类视在线| 色婷婷亚洲六月婷婷中文字幕| 亚洲精品性色| 激情综合激情五月| 91艹人| 美女五月激情| 成人操呦av| 色婷婷88| 大香蕉人人网| 五月天激情图片网| 夜夜躁爽日日| 欧美大道不卡| 99亚洲无码| 婷婷五月伦理| 开心五月婷婷99| 亚洲综合网激情五月天| 久操人妻| 婷婷五月四狠狠| 国产中文亚洲欧美日韩性交| 第四色婷婷日本| 五月色综合网欧美网| 色99视频| 久久视频66| 六月色日韩| www色婷婷久久综合久色 | 秋霞网在线免费基地五月婷婷丁香| 人人操9| 五月色亭丁香| 97超碰在线观看免费| 六月丁香婷婷大香蕉| 国产亚洲精品AAAAAAA片| 婷婷伊人綜合中文字幕| 五月天开心网| 国产精品久久久久久久久久久久 | 婷婷激情四射| 国产67194| 久久久久这里只有精品| 9999久久久久| 琪琪色综合网站| 国内精品免费一区二区2009| 婷婷伊人五月丁香天堂网| 久re热视频| 大香蕉五月丁香| 色六月天天激情综合网| www.五月天性.com| 99热这里只有99| 777米奇影视第四色| www婷婷色| 99色视| 久久精品4| 日韩 欧美 国产 一区 二区| 午夜精品777| 午夜做爱影院| 五月激情婷婷综合| 五月丁香久久| 婷婷中合| 超碰不卡在线| 91精品电影18T| 不卡影院午夜理论片| 婷婷五月天com| 国产激情婷婷| 激情五月天色色| 成人无码髙潮喷水A片| 色色色五月| 日本丁香五月| 人妻在线观看视频| 久热一本| 丁香五月视频在线观看| 夜夜骑夜夜撸| 狠狠干在线| 六月色色| 玖色色综合| 色婷婷色九月| 九九视频精品这里只有| 99免费热视频在线| 天天玩夜夜操| 伊人综合网站| 欧美日韩成人在线免费| 色五月婷婷久久爱| 99热99热| 色亚洲激情| 伊人五月天| 丁香五月另类色婷婷麻豆| 人妻丰满精品一区二区A片| 噼里啪啦完整版中文在线观看 | 丁香色情五月综合激情| 国产精品久久久99视频| 久久这里有精品视频| 狠狠干五码| 色丁香五月婷婷| 欧洲色| 成人视频网| 9福利性视频欧美| 婷婷 亚洲图片 丁香| AV成人在线播放| 国产婷婷婷| 婷婷在线免费| 欧美色骚婷婷五月天| 色五月欧美| 大香蕉五月婷婷丁香| 色噜久| 开心五月深爱五月婷| 婷婷五月天堂| 色色综合五月| 猫咪伊人久久| cc精品国产性传播| 桃色五月天| 丁香五月之久操视频| 免费AAAAA网| 五月丁香六月玩女人| 国产肥白大熟妇BBBB视频| 色五月婷婷青娱乐| 天天操夜夜玩!| 激情五月丁香五月| 日本3级片一区2区| 色综合色综合网| 天堂综合久久 | 国产精品色色色色| 久久人妻精品| 日韩久热| 伊人丁香花综合影院| 婷婷五月丁香久久| 中文字幕无码人妻少妇免费视频| 五月婷精品| 五月天婷婷久久| 丁香婷婷五月综合欧美另类| 九九成人精品| 五月丁香色婷婷| 日韩AV在线免费观看| 亚洲色模骚货| 婷婷五月五月丁香| 久久伊人日日夜夜| 国产肥白大熟妇BBBB视频| 超碰一区二区| 操逼棍操逼| 精品国产乱码久久久久久免费| 五月天婷五月天综合网小说首页-五月天激激婷婷大综合,婷婷亚洲综合五月天小说 | 美女激情综合| 五月天婷婷丁香社区| 性欧美大战久久久久久久83| 激情五月天色| 成人短视频在线免费观看| 99热这里只有精品3| www.五月天激情| 思思热久久婷婷五月天| AA片在线观看视频在线播放| 偷偷狠狠久久婷婷五月天| 人妻中文在线| 大香蕉九操| 99ri精品| 人妻人人操| 婷婷在线视频| 久久 中文 日本| 99综合色| 九月丁香很很色| 五月激情综合网| 久久精品99| 青青.com| www.狠狠操| 精品一二三区视频立| 综合色图区| 97啪啪| 五月丁香综合激情网| 噜噜噜噜婷婷五月天| 久久五月天婷婷| 五月天婷基地| 色播激情五月天| 欧美男女婷婷| 丁香六月综合激情| 99久在线视频| 色99视频| 丁香婷婷五月六月天| 97色射| 99热这里只有精品13| 综合久久五| www.minyis.com【JT】实力收量可预付QQ2101460746 | 天天 青草 丝袜制服 在线| 操97在线观看| 亚州激情九月| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 激情五月婷| 丁香花五月天| 六月丁香AV| 成人免费在线电影| Av大香蕉| 人妻熟人中文字幕一区二区| 狠狠操性爱av| 丁香婷婷激情四射五月| 五月婷婷免费看| 亚洲精品白浆高清久久久久久| 激情五月第四色| 涩丁香| 99性爱| 噜综合| www...com黄在线观看| 欧美这里只有精品| 丁香五月激情婷婷视频| 538在线精品| 五月天综合色| 久久性爱视频| 黄色三级日本| 五月丁香天堂网婷婷| 一级黄色操B| 停停五月色宗合| 成人精品一区二区三区四区五区 | 色婷婷综合亚洲| 丁香五月天AV在线| 婷婷色色欧美综合网| 麻豆雪千夏| 人人舔人人色人人高潮| 亚洲四色五月| 成片免费播放| 国产热精品| 久久丁香五月| wwwav大香蕉| 日韩久热| 互月天综合| 色999;丁香五月| 四色五月婷婷| 色色亚洲五月天| 99r这里只有精品在线观看| 久99精品视频| 五月婷婷色综图片| 色情免费视频播放| 性欧美日本| 丁香六月婷婷基地| 亚洲人成色A777777在线观看| 亚洲色色在线| 国产精品人妻在线网址| 亚洲亚洲人成综合网络| 深爱激情综合网| 日韩砖区| 亚洲一区二区无遮挡A片| 狠狠狠狠狠狠| 天天久综合| 丁香五月天人体| 丁香五月情| 99爱精品| 九九精品在线观看视频6| 97人妻碰碰碰碰碰久久久久久| 久久激情网| 久久视频婷婷| 战争与艾拉电影免费观看| 婷婷爱爱蜜臀天天操| 久久久精品婷婷五月天| 六月色婷婷| 人人操人av| 综合性爱网| 天天操天天插天天射| 大地9中文在线观看免费高清| 人人干女人| 99视频在线观看欧| 99久久婷婷国产综合| 99精品网址| 五月Huangsewang| 亚洲天堂99| 色欲久久综合| 日日夜夜天天| 99热在线这里| 激情黄色小说五月天| 色婷婷操逼| 婷婷色色欧美| 色五月婷婷久久| 免费97碰碰| 99热热九九| 亚洲无码成人网| 亚洲殴洲精品Av在线| 大香蕉久久青青| 五月天色图| 99性视频| 五月天久久综合婷婷| 色丁香影院| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 噼里啪啦完整版中文在线观看 | 天天干天天操天天爱| 婷婷丁香五另类网站| 午夜理论片最新午夜理论剧| 五月色综合| 99自拍视频| www.色九月| 丁香婷婷欧美综合| 电影91久久久| 99视频| 人与禽A片啪啪| 国产精品18久久久| 欧美日韩999| 97色碰| 久久六月综合| 开心激情婷婷| 九九在线视频| 欧美乱码国产一级A片| 亚洲最大五月六月丁香婷婷| 免费播放99性爱视频| 婷婷伊人激情婷婷| 五月天欧美 另类小说| 五月丁香六月婷婷免费| 成人欧美一区二区三区在线观看| 99爱免费在线观看| 丁香五月性爱| 亚洲视频a| 蜜臀AV在线成人| 五月天久久网站| 色综合九九色综合88| 久久婷中文字幕| wwww.色婷婷| www.刺激色网站www.| 亚洲av无码精品色午夜| 91精品婷婷国产综合| 99无码超碰| 久久网站免费亚洲| 久操人妻| 丁香五月婷婷无码AV| 99热主页日本| 99国产小视频2013| 亚洲五月天天| 丁香久久五月天视频在线观看| 五月丁香久| 亚洲小视频免费看| 天天综合网91| 99九九在线观看免费| 色婷婷五月在线| 丁香五月区| 另类五月婷婷| 久热这里只有精品66| 天天爽天天摸天天爱| 国产婷婷五月中文字幕高清 | 久久精品在线| 婷婷丁香五月亚洲免费| 五月天综合婷婷| 五月天婷婷网站888| 久久五月综合| 狠狠色婷| 精品婷婷| 国产激情久久| 天插天啪天啪天啪| 狠狠色丁香婷婷久久综合| 丁香婷婷五月| 五月天另类小说久久小说网| 狠狠干五月| 人妻aV在线| 乱女乱妇熟女熟妇综合网站| 99热99热| 五月天影院| 99人碰碰碰| 中文字幕有多少字| 182TV亚洲| av网址在线| 开心五月综合| 亚洲成人影视在线观看| 少妇人妻人伦A片| 99噜噜噜| av在线激情| 色欲香综合网| 色色色在线观看| 激情深爱五月天| 中文字幕av久久爽一区| 五月天色小说| 丁香五月婷婷综合激情哟哟哟| 啪啪六月婷婷| 丁香色六月| 五月婷成人网| 亚洲va综合va国产va中文| WWW.桔色成人.COM| 婷婷九月丁香天堂丁香天堂| 久久婷婷成人视频| 婷婷五月天男人影院色色网| 情色婷婷五月天| 久久艹 五月天| 激情久久五月天| 99热只有这里才是精品| 色综合区| 97操碰视频| 婷婷爱综合| 婷婷五月天com| 成人婷婷| 丁香五月婷婷天激情| 97碰碰在线看视频免费| 五月丁香另类网| 99成人免费热视频| 99视频内射三四| 精品网站:999WWW| 婷婷爱爱蜜臀天天操| 久久婷婷激情五月天一区二区| cc精品国产性传播| 激情五月天激情综合网| 丁香六月啪啪啪| 91精品综合久久久久久五月丁香| 男人的天堂99| 99久久99久久综合| 亚洲另类日本| www.91av.com| 六月丁香婷婷视频综合在线观看| 天天透天天爱| 一级AV片| 婷婷六月丁香在线| 色五月丁香激情| 婷婷五月天激情在线| 国产精产国品一二三在观看| 噜噜干日本| 激情五月综合婷婷| 亚洲人操亚洲人| 热99视频精品| 亚洲激情网| 色九月综合| 色婷五月| 亚洲国产精品二二三三区| 五月丁香综合啪啪| 成人免费高清在线播放| 综合五月激情| 无码地址| 91色色色| av国产精品偷| 深爱五月天| 玖玖婷婷精品| 五月停停直播| 91久久久久久久久18| 九九99免费视频| 中文av网站| 亚洲成av人影院| 丁香激惜男女| 五月婷婷综合在线| 日韩三级片一区二区| 涩综合网| 91肏| 99在这里有精品| 综合aV在线| 99久久综合网| 激情四射五月天| 久久五月天丁香花| 热思思| 国产99久久久国产精品免费看| 久久这里只精品66| 婷婷综合五月| 六月婷久久| 9|无码久久久久久| 激情久久久久久| 丁香婷婷基地| 久9热视频| 97色色色色色| 五月丁了香蕉综合| 久久伦乱| 色五月天丁香| 79精品视频在线观看,| 亚洲精品国产熟女久久久| 五月色情婷婷开心五月色情| 韩日另类| 日韩高清久久| 99久久99九九99九九九| 国产肏屄大片| 综合激情在线| 九九热AV| 婷婷五月天激情四射| 综合网激情五月天| 极品精品一区二区三区在线| 秋霞三及片| 九九精品婷| 99热热这里只精品996小说| 丁香成人五月天| 99热18| 思思热在线精品视频网站| 欧美日韩成人综合9| 丁香狠狠色婷婷久久无码视频| 亚洲第一av| 色五月欧美| 色情五月综合婷婷| 91婷婷| 天天爱天天做天天舔| 五月丁香综合| www.激情五月天com| www狠狠爱com| 日韩AV色色色| 日比网免费国产| 久久视频婷婷视频| 亚洲av| A网在线欧洲| 操操碰| 婷婷五月丁综合| 亚洲精级| 性色视频| 亚洲天堂爱爱| 无码激情AAAAA片-区区| 五月丁香五月激情综合色综合| 色九九九综合| 国产成人av在线播放| 热热久久精品视频| 婷婷五月丁香成人网| 激情综合色播| 东京热免费视频| 天天色中文字幕女优AV|