欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

AXI總線死鎖之AW-W依賴:成因、定位與RTL防護(hù)

AXI總線死鎖之AW-W依賴:成因、定位與RTL防護(hù) 1. 先搞清楚死鎖AXI總線不是數(shù)據(jù)庫(kù)也會(huì)卡死干驗(yàn)證或者做SoC集成的朋友應(yīng)該都經(jīng)歷過這種畫面仿真跑到某個(gè)點(diǎn)時(shí)鐘還在翻波形里的valid全部高懸ready全部紋絲不動(dòng)整條總線像被人按了暫停鍵。抓下來一看AWVALID、WVALID、AWREADY、WREADY這幾根信號(hào)排列組合出一個(gè)死局最常見的元兇之一就是AXI總線死鎖里的AW-W依賴。這篇文章就把這個(gè)場(chǎng)景掰開揉碎講清楚它怎么產(chǎn)生、怎么復(fù)現(xiàn)、怎么定位以及RTL里怎么防、驗(yàn)證里怎么查。AXI總線死鎖聽起來像是個(gè)“協(xié)議小概率事件”但只要系統(tǒng)里有多個(gè)Master、多個(gè)Outstanding事務(wù)、或者經(jīng)過一層帶內(nèi)部FIFO的橋接邏輯它就會(huì)從理論變成現(xiàn)實(shí)。最容易踩到的坑是大家把“AXI允許outstanding”理解成“隨便發(fā)多少個(gè)都不會(huì)卡”結(jié)果忽略了一個(gè)事實(shí)從設(shè)備和互連邏輯里的FIFO深度、地址槽數(shù)量、狀態(tài)機(jī)處理能力都是有限的。當(dāng)這些有限資源遇上AW通道和W通道之間的依賴死鎖的四個(gè)條件就湊齊了。1.1 死鎖四定律在AXI里長(zhǎng)什么樣死鎖不是數(shù)據(jù)庫(kù)和線程并發(fā)編程的專利。操作系統(tǒng)課上講的那四個(gè)必要條件放在AXI總線上照樣成立互斥、持有并等待、不可搶占、循環(huán)等待。在AXI場(chǎng)景里“資源”可以是一個(gè)地址槽、一條寫數(shù)據(jù)FIFO、一個(gè)內(nèi)部事務(wù)表項(xiàng)甚至是一段W通道的調(diào)度權(quán)。互斥的意思是這些資源同一時(shí)刻只能被一個(gè)事務(wù)占用持有并等待是一個(gè)Master已經(jīng)占住了AW地址槽但還在等W通道讓出不可搶占是AXI的valid/ready握手一旦沒有完成誰(shuí)也沒法強(qiáng)行把數(shù)據(jù)塞進(jìn)從設(shè)備循環(huán)等待就是A事務(wù)在等B事務(wù)占的資源B事務(wù)又在等A事務(wù)占的資源。只要這四個(gè)條件同時(shí)成立總線就必然變成一潭死水。很多工程師第一次接觸死鎖是在數(shù)據(jù)庫(kù)或者多線程編程里覺得鎖表、互斥量這些東西離硬件很遠(yuǎn)。其實(shí)從系統(tǒng)角度看去AXI總線上的死鎖和數(shù)據(jù)庫(kù)行鎖死鎖是同一套模型資源被多個(gè)請(qǐng)求方競(jìng)爭(zhēng)每個(gè)請(qǐng)求方都攥著自己已經(jīng)拿到的資源不肯放最后誰(shuí)也推進(jìn)不下去。理解了這層共性后面看波形和畫等待圖的時(shí)候就會(huì)順手很多。1.2 寫通道里的“AW-W依賴”到底指什么AXI寫操作有三條通道AW發(fā)地址W發(fā)數(shù)據(jù)B回響應(yīng)。從架構(gòu)上看這三條通道是獨(dú)立握手的所以Master可以先發(fā)AW再發(fā)W也可以在特定實(shí)現(xiàn)下把W數(shù)據(jù)和AW相對(duì)獨(dú)立地推進(jìn)。協(xié)議的靈活性給性能帶來了好處也給死鎖埋了引線。所謂AW-W依賴指的是寫地址通道是否能夠繼續(xù)推進(jìn)取決于寫數(shù)據(jù)通道上某個(gè)事務(wù)的數(shù)據(jù)是否已經(jīng)被接收。最常見的實(shí)現(xiàn)是從設(shè)備內(nèi)部只有一個(gè)寫事務(wù)地址槽或者一個(gè)事務(wù)表項(xiàng)AW進(jìn)來之后從設(shè)備把它記錄在案然后必須等對(duì)應(yīng)的W數(shù)據(jù)全部到齊內(nèi)部寫狀態(tài)機(jī)才能把這個(gè)事務(wù)清空空出來的地址槽才能接收下一個(gè)AW。換句話說AW通道能不能向前走本質(zhì)上被W通道的完成情況鎖住了。這種設(shè)計(jì)從單筆事務(wù)看沒什么問題先有地址再有數(shù)據(jù)順序合理。但一旦系統(tǒng)里有多個(gè)Master、多個(gè)Outstanding事務(wù)W通道又不是專門給同一筆事務(wù)服務(wù)的就可能出現(xiàn)“AW在等WW又在等另一個(gè)事務(wù)的AW”的閉環(huán)。這就是我們把這類死鎖統(tǒng)稱為AW-W依賴型死鎖的原因。2. AW-W依賴型死鎖的完整推演光說定義不夠直觀我直接搭一個(gè)最小復(fù)現(xiàn)模型。這個(gè)模型我至少在兩個(gè)真實(shí)項(xiàng)目里見過等價(jià)版本每次根因都一樣從設(shè)備把地址槽的釋放條件和W數(shù)據(jù)的接收綁死而W通道又被另一個(gè)Master的突發(fā)數(shù)據(jù)長(zhǎng)期占據(jù)。2.1 一個(gè)最小復(fù)現(xiàn)模型兩個(gè)Master、一個(gè)從設(shè)備、一個(gè)地址槽假設(shè)系統(tǒng)里有兩個(gè)MasterM0和M1它們都向同一個(gè)從設(shè)備S發(fā)寫事務(wù)。從設(shè)備S的寫通道內(nèi)部資源如下只有一個(gè)寫事務(wù)地址槽地址槽被占住后AWREADY不會(huì)再為新的AW拉高地址槽要等當(dāng)前事務(wù)的W數(shù)據(jù)被接收、內(nèi)部狀態(tài)機(jī)清空后才釋放W通道仲裁采用嚴(yán)格優(yōu)先級(jí)M1優(yōu)先級(jí)高于M0從設(shè)備內(nèi)的寫數(shù)據(jù)FIFO非常淺只能暫存少量數(shù)據(jù)且必須拿到對(duì)應(yīng)AW才能決定數(shù)據(jù)往哪個(gè)目標(biāo)去。第一眼看上去這不過是一個(gè)“outstanding能力為1”的從設(shè)備。問題是M0和M1并不知道這個(gè)限制它們都認(rèn)為AXI協(xié)議允許自己同時(shí)發(fā)多筆寫。于是總線就按照下面的節(jié)奏一步步走進(jìn)死鎖。2.2 一步一步進(jìn)入死鎖我用一個(gè)表格記錄這個(gè)死鎖過程的每一步方便你在調(diào)試時(shí)對(duì)著波形找步驟M0 行為M1 行為從設(shè)備/互連狀態(tài)1發(fā)出AW0握手成功還沒動(dòng)作地址槽被AW0占用等待W02準(zhǔn)備好W0等待W通道授權(quán)發(fā)出AW1但AWREADY拉低AW1停在總線上地址槽不釋放AW1無法進(jìn)入3W0一直等W通道W1突發(fā)被W通道仲裁選中開始傳輸W通道被W1占用從設(shè)備數(shù)據(jù)FIFO開始接收W14W0繼續(xù)等W1繼續(xù)傳直到從設(shè)備數(shù)據(jù)FIFO寫滿數(shù)據(jù)FIFO滿WREADY拉低W1也無法前進(jìn)5等WREADY變高等從設(shè)備消費(fèi)W1而消費(fèi)W1需要AW1從設(shè)備等W0完成釋放地址槽W0又被W通道擋住走到第5步總線實(shí)際上已經(jīng)凍住了。從表面上看起來每一方都在等一個(gè)“很正常”的條件但所有條件互相咬死誰(shuí)都不會(huì)先松手。2.3 循環(huán)等待的拆解把上面的等待關(guān)系畫成一張圖會(huì)更清楚M0.W0 -- 等待 W 通道 W 通道 -- 被 M1.W1 占用 M1.W1 -- 等待 從設(shè)備 WREADY 從設(shè)備 WREADY -- 等待 數(shù)據(jù) FIFO 空位 數(shù)據(jù) FIFO 空位 -- 等待 AW1 AW1 -- 等待 地址槽釋放 地址槽釋放 -- 等待 W0 完成這個(gè)依賴鏈正好是一個(gè)環(huán)W0等通道通道被W1占著W1又從設(shè)備數(shù)據(jù)FIFO滿被卡住數(shù)據(jù)FIFO要等AW1來消費(fèi)AW1要等地址槽釋放地址槽要等W0完成W0又回到了等待通道。這就是教科書意義上的循環(huán)等待只不過資源從數(shù)據(jù)庫(kù)鎖變成了AXI的通道和FIFO。同樣的道理也適用于另一個(gè)方向的依賴也就是W先到、從設(shè)備必須先等AW才能接收數(shù)據(jù)。如果AW通道因?yàn)閯e的事務(wù)的W卡住而W通道又在等AWREADY最后也會(huì)形成等價(jià)的死鎖環(huán)。所以說AW-W依賴不是單指某一種狀態(tài)機(jī)寫法而是指地址通道和數(shù)據(jù)通道之間互相鉗制的這一類問題。3. 實(shí)際調(diào)試中怎么把這種死鎖揪出來偉哥說得好遇到死鎖別慌先抓波形。AXI死鎖的特征其實(shí)非常明顯時(shí)鐘還在跑所有通道都處于valid和ready僵持的狀態(tài)而且這個(gè)狀態(tài)能持續(xù)幾百甚至幾千個(gè)周期不動(dòng)。只要看到這種情況十有八九是死鎖而不是單純性能問題。3.1 從波形里認(rèn)出“僵硬”的握手拿到波形后先把關(guān)鍵的寫通道信號(hào)拉出來AWVALID、AWREADY、WVALID、WREADY、BVALID、BREADY。一個(gè)典型的AW-W依賴死鎖快照長(zhǎng)這樣一個(gè)Master的AWVALID為1AWREADY為0它的AW已經(jīng)被從設(shè)備拒之門外很長(zhǎng)時(shí)間另一個(gè)Master的WVALID為1WREADY為0它的W數(shù)據(jù)被從設(shè)備的WREADY卡住再往前翻能看到最早一個(gè)AW已經(jīng)握手成功但對(duì)應(yīng)的W數(shù)據(jù)遲遲沒有完成所有Master的write outstanding計(jì)數(shù)都停在某個(gè)值既不變多也不變少。這種狀態(tài)和普通擁塞最大的區(qū)別是“完全沒有周期級(jí)的抖動(dòng)”。正常擁塞下即使整體吞吐低總會(huì)有某個(gè)通道偶爾握手成功而死鎖狀態(tài)下所有相關(guān)握手信號(hào)像焊死了一樣一個(gè)周期都不動(dòng)??吹竭@種畫面基本就可以進(jìn)入根因定位了。3.2 畫一張等待圖別靠猜定位死鎖最忌諱上來就改代碼或者隨便調(diào)仲裁優(yōu)先級(jí)。正確做法是把當(dāng)前系統(tǒng)里所有寫事務(wù)的狀態(tài)列出來畫一張等待圖。具體操作分四步第一步列出每個(gè)Master當(dāng)前還沒收到B響應(yīng)的寫事務(wù)記錄每筆事務(wù)的AW是否已握手、W是否已開始、W是否已結(jié)束第二步去從設(shè)備側(cè)看內(nèi)部資源占用情況比如地址槽被哪個(gè)事務(wù)占著數(shù)據(jù)FIFO里存的是哪個(gè)事務(wù)的數(shù)據(jù)第三步看互連邏輯的仲裁狀態(tài)W通道當(dāng)前在服務(wù)哪個(gè)Master的哪筆事務(wù)第四步把這些信息整理成“誰(shuí)在等誰(shuí)”的依賴邊。等你把依賴圖畫完如果發(fā)現(xiàn)它能繞成一個(gè)環(huán)死鎖結(jié)論就成立了。這個(gè)方法看著笨但在復(fù)雜SoC里特別管用。很多死鎖問題看起來像“某個(gè)Master卡住了”其實(shí)問題根本不在那個(gè)Master身上而在另一個(gè)Master的W突發(fā)把整個(gè)通道占死了。3.3 數(shù)據(jù)庫(kù)死鎖、線程死鎖同樣的模型不同的馬甲AXI總線死鎖、數(shù)據(jù)庫(kù)死鎖、線程死鎖本質(zhì)上都是資源分配不當(dāng)導(dǎo)致的循環(huán)等待。我在調(diào)試AXI死鎖的時(shí)候經(jīng)常直接借用并發(fā)編程里的術(shù)語(yǔ)只不過把“鎖”換成“地址槽”和“W通道授權(quán)”。類型典型資源持有者等待對(duì)象常見解法數(shù)據(jù)庫(kù)死鎖行鎖、表鎖事務(wù)另一個(gè)事務(wù)持有的鎖鎖順序、超時(shí)回滾、死鎖檢測(cè)線程死鎖互斥量、條件變量線程另一個(gè)線程持有的鎖鎖順序、trylock、層級(jí)鎖AXI總線死鎖地址槽、數(shù)據(jù)FIFO、W通道授權(quán)Master/從設(shè)備狀態(tài)機(jī)另一個(gè)事務(wù)占用的通道資源限制outstanding、解耦A(yù)W/W釋放條件、公平仲裁這張表不是生搬硬套。數(shù)據(jù)庫(kù)里兩個(gè)事務(wù)互相等鎖和AXI里兩個(gè)Master互相等通道資源從檢測(cè)思路上完全一致找到環(huán)打破環(huán)。數(shù)據(jù)庫(kù)死鎖有超時(shí)回滾硬件死鎖沒有“回滾”這個(gè)選項(xiàng)一旦總線凍住整個(gè)系統(tǒng)只能復(fù)位重啟。所以硬件上更依賴在設(shè)計(jì)階段就把死鎖條件拆掉。4. 堵住AW-W依賴從協(xié)議、RTL到驗(yàn)證的完整打法知道了死鎖怎么形成預(yù)防思路就清晰了要么讓AW和W不互相等要么保證在資源有限的情況下不會(huì)形成循環(huán)等待。下面從不同層面講我實(shí)際用過的做法。4.1 協(xié)議與架構(gòu)層面的約束架構(gòu)上最容易犯的錯(cuò)誤是覺得AXI協(xié)議允許outstanding就無腦讓Master往死里發(fā)。實(shí)際做系統(tǒng)集成的時(shí)候一定要先確認(rèn)從設(shè)備和互連到底支持多少個(gè)outstanding寫事務(wù)。如果某個(gè)從設(shè)備的地址槽必須等W數(shù)據(jù)完成才能釋放那么這個(gè)從設(shè)備實(shí)際outstanding能力就是1所有OS看不到這一層的Master都會(huì)踩雷。我在項(xiàng)目里定過一個(gè)規(guī)矩凡是內(nèi)部有“AW接收依賴W完成”的模塊對(duì)外必須把這個(gè)限制暴露出來要么通過outstanding count配置限制主端要么在互連的QoS/調(diào)度層面保證前一筆W數(shù)據(jù)能優(yōu)先占用W通道。不能一邊只給一個(gè)地址槽一邊要求多個(gè)Master并發(fā)寫還指望不出事。另外還要注意W數(shù)據(jù)和AW的順序約束。如果從設(shè)備不支持W先到Master就不能把W數(shù)據(jù)提前推到通道上反之如果從設(shè)備必須先收AW再等W那么Master在發(fā)出AW之后必須保證W數(shù)據(jù)能很快跟上不能發(fā)出AW就晾在那里去等別的通道。很多死鎖其實(shí)是Master的調(diào)度器“只發(fā)AW不發(fā)W”造成的跟從設(shè)備關(guān)系不大。4.2 RTL設(shè)計(jì)里的關(guān)鍵取舍RTL設(shè)計(jì)上最直接的解耦辦法是把“地址槽釋放條件”從“W數(shù)據(jù)完全接收”改成“W數(shù)據(jù)已經(jīng)進(jìn)入一個(gè)足夠深的數(shù)據(jù)緩沖”。比如AXI-to-AHB橋里AW進(jìn)來后先把地址轉(zhuǎn)換成AHB總線事務(wù)W數(shù)據(jù)進(jìn)FIFO只要FIFO沒滿就允許下一個(gè)AW進(jìn)來。這樣AW通道的推進(jìn)不再被W通道的即時(shí)完成狀態(tài)綁死循環(huán)等待的一個(gè)關(guān)鍵邊就被切斷了。如果確實(shí)因?yàn)楹蠖舜鎯?chǔ)或數(shù)據(jù)通路限制必須等W數(shù)據(jù)到齊才能接受下一個(gè)AW那就要從資源數(shù)量下手。把地址槽深度從1加到2或者把寫數(shù)據(jù)FIFO加深到能容納一筆完整突發(fā)都能打破死鎖環(huán)。注意這里不是隨便加一個(gè)深度就完事而是要結(jié)合最長(zhǎng)突發(fā)長(zhǎng)度和outstanding事務(wù)數(shù)計(jì)算W數(shù)據(jù)緩沖深度至少應(yīng)該能容納可能被堵在中間的所有突發(fā)數(shù)據(jù)。仲裁器設(shè)計(jì)同樣重要。W通道仲裁如果采用嚴(yán)格優(yōu)先級(jí)高優(yōu)先級(jí)Master一直有數(shù)據(jù)低優(yōu)先級(jí)Master可能永遠(yuǎn)拿不到W通道就為循環(huán)等待創(chuàng)造了條件。至少要做到公平輪轉(zhuǎn)最好還能配合“等待超時(shí)提升優(yōu)先級(jí)”的機(jī)制。我在前面那個(gè)最小模型里特意設(shè)置了嚴(yán)格優(yōu)先級(jí)就是因?yàn)閷?shí)際項(xiàng)目里這種配置非常常見而且最容易出事。4.3 驗(yàn)證與斷言讓死鎖在回歸前現(xiàn)形驗(yàn)證層面除了跑隨機(jī)壓力用例一定要加liveness檢查。協(xié)議檢查通常只查handshake規(guī)則比如valid不能在沒有ready時(shí)亂拉低但這類檢查查不出“雙方都合法但誰(shuí)都不往前走”的死鎖。我常用的一個(gè)簡(jiǎn)單斷言是只要AW完成握手最終必須看到對(duì)應(yīng)的WLAST和B響應(yīng)。property p_write_txn_complete(slave_if s); (posedge s.aclk) disable iff (!s.aresetn) (s.awvalid s.awready) |- ##[1:$] (s.wvalid s.wready s.wlast); endproperty property p_write_response_after_wlast(slave_if s); (posedge s.aclk) disable iff (!s.aresetn) (s.wvalid s.wready s.wlast) |- ##[1:$] (s.bvalid s.bready); endproperty這種屬性只會(huì)在死鎖出現(xiàn)后超時(shí)觸發(fā)定位時(shí)作用有限但能在回歸階段第一時(shí)間把問題炸出來。除了斷言還可以在testbench里加一個(gè)deadlock watchdog設(shè)定一個(gè)最大等待周期數(shù)某個(gè)通道的握手如果超過該周期數(shù)還沒有完成就dump當(dāng)前所有Master和從設(shè)備的狀態(tài)到日志并打印等待圖。實(shí)測(cè)下來這種監(jiān)視器比事后拿waveform翻幾百周期要快得多。5. 復(fù)盤一次真實(shí)的AXI寫通道死鎖講完方法論分享一個(gè)我印象很深的案例。這個(gè)案例不是虛構(gòu)是在一個(gè)帶CPU和DMA的子系統(tǒng)驗(yàn)證里遇到的現(xiàn)象、定位和修復(fù)都非常典型。5.1 現(xiàn)場(chǎng)現(xiàn)象與第一印象當(dāng)時(shí)測(cè)的是一個(gè)SoC子系統(tǒng)CPU核和DMA會(huì)同時(shí)訪問掛在AXI-to-APB橋后面的外設(shè)寄存器區(qū)。隨機(jī)壓力測(cè)試跑了幾千個(gè)事務(wù)后仿真永遠(yuǎn)停在同一個(gè)地方不是報(bào)錯(cuò)也不是超時(shí)就是整條總線卡死。第一眼看到波形時(shí)CPU側(cè)已經(jīng)發(fā)出了AW正在等W通道DMA側(cè)則在做一個(gè)大塊數(shù)據(jù)搬運(yùn)WVALID一直為高但WREADY長(zhǎng)期為低。橋接模塊內(nèi)部的地址FIFO顯示只有一項(xiàng)而且這項(xiàng)被CPU的AW占著。第一印象是“DMA把總線擠爆了”因?yàn)镈MA的數(shù)據(jù)量確實(shí)很大。但如果只是擁塞總線至少會(huì)在某些周期讓一個(gè)握手成功。實(shí)際情況是AWREADY和WREADY都紋絲不動(dòng)說明這不是性能問題而是死鎖。5.2 根因定位一個(gè)“看起來沒問題”的狀態(tài)機(jī)把等待圖畫出來后發(fā)現(xiàn)根因和模型里的場(chǎng)景幾乎一樣橋接模塊的狀態(tài)機(jī)為了省事設(shè)計(jì)成“收到AW幀后必須等當(dāng)前寫事務(wù)的W數(shù)據(jù)全部到達(dá)才允許接收下一個(gè)AW”。也就是說地址FIFO雖然只有一項(xiàng)但在這一項(xiàng)被占住后橋不會(huì)回收它除非W通道把數(shù)據(jù)送完。與此同時(shí)DMA的W突發(fā)被仲裁器判定為高優(yōu)先級(jí)持續(xù)占據(jù)W通道CPU的W0根本無法進(jìn)入。DMA的W數(shù)據(jù)不斷地往橋的數(shù)據(jù)FIFO里灌但橋的消費(fèi)邏輯又需要拿到DMA的AW1才能知道數(shù)據(jù)該寫到哪個(gè)外設(shè)地址而AW1被地址FIFO擋住。依賴環(huán)就此形成CPU等W通道W通道被DMA占住DMA等AW1AW1等地址FIFO釋放地址FIFO釋放又等CPU的W0完成。這里最坑的地方在于每一個(gè)模塊單獨(dú)看都“符合協(xié)議”橋的狀態(tài)機(jī)沒有違反AXI握手規(guī)則DMA也只是在發(fā)正常的寫突發(fā)仲裁器嚴(yán)格按優(yōu)先級(jí)調(diào)度也不違反AXI規(guī)范。但把它們組合在一起就湊齊了死鎖的全部條件。5.3 修復(fù)與回歸一行代碼的代價(jià)和兩個(gè)驗(yàn)證點(diǎn)修復(fù)方案不是把DMA優(yōu)先級(jí)調(diào)低也不是讓CPU多等一會(huì)而是直接把地址FIFO深度從1改成2同時(shí)把地址槽的釋放條件從“W數(shù)據(jù)全部接收”改成“W數(shù)據(jù)進(jìn)入數(shù)據(jù)FIFO即可”。改完之后即使CPU的W0還堵在路上DMA的AW1也能進(jìn)入地址FIFO橋的消費(fèi)邏輯拿到AW1后就能消費(fèi)DMA的W數(shù)據(jù)W通道一旦釋放CPU的W0自然跟著走了。代碼改動(dòng)其實(shí)很小但回歸驗(yàn)證需要補(bǔ)兩個(gè)點(diǎn)第一加一條斷言保證橋的地址FIFO只要還有空位AWREADY就必須在有限周期內(nèi)拉高第二隨機(jī)測(cè)試?yán)锇袰PU和DMA的寫優(yōu)先級(jí)、突發(fā)長(zhǎng)度、outstanding數(shù)量都設(shè)成不同組合連續(xù)跑了幾百個(gè)種子。修改后這些用例全部通過之后類似的死鎖沒再?gòu)?fù)現(xiàn)過。這個(gè)案例給我最大的教訓(xùn)是協(xié)議上“合法”不代表系統(tǒng)里“安全”AXI死鎖從來不是某一條通道自己的問題而是通道間依賴關(guān)系的問題。6. 常見問題速查表與最后幾點(diǎn)心得調(diào)試AXI死鎖是個(gè)熟練活很多問題看一眼現(xiàn)象就能猜到大概方向。這里整理了一張速查表也是我平時(shí)給人排查死鎖時(shí)的第一份checklist。現(xiàn)象可能原因排查方向AWVALID為1且長(zhǎng)時(shí)間不握手從設(shè)備地址槽滿或地址槽被某筆未完成事務(wù)占住查從設(shè)備內(nèi)部事務(wù)表項(xiàng)、地址FIFO占用WVALID為1且WREADY長(zhǎng)時(shí)間為0從設(shè)備數(shù)據(jù)FIFO滿或W通道被更高優(yōu)先級(jí)突發(fā)占用查數(shù)據(jù)FIFO深度、W通道仲裁狀態(tài)AW和W各卡在不同Master上基本就是AW-W依賴型循環(huán)等待畫等待圖找“AW等W、W等AW”的環(huán)改變一個(gè)Master優(yōu)先級(jí)后死鎖消失仲裁問題掩蓋了資源不足不要只調(diào)優(yōu)先級(jí)要查資源深度和釋放條件斷言只報(bào)超時(shí)不報(bào)位置Liveness檢查缺少狀態(tài)dump增加deadlock watchdog和等待圖打印6.1 最后幾點(diǎn)心得我在實(shí)際項(xiàng)目中處理完這類死鎖后最深的體會(huì)是AXI死鎖問題很難靠“看一眼代碼”發(fā)現(xiàn)因?yàn)樗l(fā)生在多個(gè)模塊的交互邊界上。習(xí)慣性做三件事能省很多時(shí)間一是所有寫通道都加liveness斷言不要只做handshake協(xié)議檢查二是設(shè)計(jì)評(píng)審時(shí)重點(diǎn)審“地址槽釋放條件”和“數(shù)據(jù)FIFO消費(fèi)條件”凡是兩者形成依賴的都要標(biāo)黃三是出現(xiàn)卡死先畫等待圖不要急著改仲裁優(yōu)先級(jí)優(yōu)先級(jí)很可能只是壓死駱駝的最后一根稻草。另一個(gè)小技巧是在testbench里專門做一個(gè)“事務(wù)超時(shí)監(jiān)控器”按Master分別統(tǒng)計(jì)所有outstanding寫事務(wù)的年齡。年齡超過閾值的Master把它當(dāng)前AW、W、B三個(gè)通道的狀態(tài)全部打印出來。這個(gè)監(jiān)視器寫起來不復(fù)雜但每次都能在死鎖產(chǎn)生后立刻給出第一手的現(xiàn)場(chǎng)證據(jù)比事后翻波形高效太多。最后想強(qiáng)調(diào)的是AW-W依賴不是某一種從設(shè)備實(shí)現(xiàn)獨(dú)有的bug它是通道獨(dú)立性帶來的固有風(fēng)險(xiǎn)。只要系統(tǒng)里存在多個(gè)Master、多筆outstanding寫事務(wù)、以及有限深度的內(nèi)部緩沖就有可能出現(xiàn)這種環(huán)。理解了模型之后再回去看那些“偶爾卡死但復(fù)現(xiàn)不出來”的老問題往往會(huì)有一種豁然開朗的感覺。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
亭亭玉月丁香| 日韩av干| 天天狠狠综合精区| 激情五月丁香婷婷| 九九精品在线视频观看| 色婷婷中文| 成人丁香五月天| 99在线免费视频| 天堂A∨在线| 99re这里只有精品免费| www,色综合| 91人操| 五月天色色激情综合| 国产AV一区二区三区最新精品| 五月丁香六月激情综合在线| 欧美日韩成人免费在线| 国产露脸150部国语对白| av性爱在线| 成人在线视频一区| 大香蕉伊人久久| 久久精彩视频99| 第1影院之五月婷婷| 日韩啪啪视频| 1010日日无码| Av大香蕉| 激情人妻蜜夜系列区| 色亚洲激情| 91精品久久久久久| 超碰成人影视| 色欲一区二区三区精品A片| 色婷婷丁香特级性爱视频| 日韩AV一区二区三区| 亚洲av免费在线| 天天做天天干天天综合网| 超碰免费观看| 亚洲精品成人| 五月婷婷综合在线| 丁香五月人妻熟女| 色区久久| 91丨九色丨国产打屁股网站| 天天日天天舔| 亚洲精品99| 婷婷色五月噜噜| 久久99草五月婷婷| 国产67194| 婷婷五月综合激情免费视频| 色之综合网| 人人操婷婷| 婷婷五月天堂| 婷婷五月天激情小说| 夜夜涩涩涩| 天花AV无码| 婷婷五月av| 夜夜骑天天操| 久久这里只有精品无码| 综合久久高清| 丁香婷婷婷| 九月婷婷综合| 亚洲成人av在线播放| 色五月婷婷少妇人妻| aV欲望人妻中文字幕| 色五月婷婷网| 大香蕉九九| 涩五月色婷婷| 夜夜骑日日夜夜| 亚州操操| 亚洲成Av人片乱码色第1集| 99综合视频一体| 婷婷激情综合| 色五月婷婷内射| 人妻爽爽爽久久久久久久久| 激情综合国产| 婷婷综合在线视频| 婷婷五月花.97| 97精品综合久久| 狠狠干综合网| 婷婷五月天激情五月天| 色婷婷丁香五月天在线视频 | 亚洲综合五月天婷婷| www.99在线| 久久五月婷天天干| 人人干天天操五月丁香| 激情综合5月| 丁香五月婷婷激情完整版| 欧美搡BBBBB摔BBBBB| 久久婷婷丁香| 夜夜爱网站| 婷婷五月激情片| 99久久久久| 六月丁香成人| 91/九色黑人| 亚洲精品视频在线| 六月婷婷综合| 99re思思热久久| 天天摸天天舔天天天天爽| 日日干日日s| 综合久久影院| 六月婷基地| 玖玖婷婷色欲| 亚洲欧美综合7777色亭亭| 日韩av干| 天天日天天狠狠操| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 中文字幕AV在线| 77777亚洲午夜久久| www.色色色com| 超碰人人色| 色播婷婷大香蕉| 丁香五月婷婷六月丁香| 五月丁香婷婷综合| 色婷婷亚洲六月婷婷中文字幕| 国产寻花在线| 五月综合激情久久| 九九综合精品| 亚洲 精品 综合 精品| 亚洲天堂热| AV无码免费| www综合久久| 久久ri精品视频| 婷婷五月丁香综合网| 青青久在线视频免费观看| www.激情五月| 亚洲色五月| 性色婷婷| 中文字幕永久免费| www.99热| 99re6久热只有精品6在线直播| 色色色婷婷五月天| 色九九综合| 人人人操| 五月婷在线观看| 久久在这里99| 激情五月小说婷婷| 丁香色色网| 人妻无码精品一区| 五月婷婷五月天| 久久久激情| 五月伊人网| 久久婷婷五月丁香网| www.日本91| www.婷婷| 久久九九99| 思思久久99| 婷婷丁香色五月| 无码激情| 激情综合五月| a性生活久久无| 久久婷婷老| 人五月天婷婷喷水| 99婷婷五月天激情| 色五月综合激情| 91久久婷婷| 99色视| 婷婷丁香77777| 色婷婷丁香五月| 婷婷射丁香| 色色色999| 婷婷欧美激情综合| 丁香五月天啪啪激情综和网 | 99热这里只有精品9| 国产成人精品亚洲线观看| 婷婷六月激情综合| 国产精品色色| 色五月在线观看| 五月天综合| 激情五月婷婷| 人妻久久婷婷| 电影蜘蛛女| 丁香玖玖| 色很很96| 色狠狠六月| 淫荡综合网| 色色色色色网站| 无码激情AAAAA片-区区| 嫩草视频| 婷婷五月天黄色| 亚洲欧洲99| 激情五月丁香在线观看直播| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 久久九九一區| 成人在线视频网| 成年AAAA色情| 五月婷亚洲精品| 色婷婷狠| 91.www综合| 狠狠色噜噜色狠狠狠综合色| 亚洲天堂久久| 久久性爱视频久久性爱视频| 变态另类9| 六月丁香五月婷婷| 婷婷九月丁香天堂丁香天堂| 色五月婷婷中文字幕| 这里只有精品日韩精品| 久操婷婷| 天天操无码| 婷婷激情四射五月天| 国产午夜成人免费看片无遮挡| 五月丁香777| 丁香婷婷六月天| 丁香五月23111| 无码激情AAAAA片-区区| 日韩三级高清无码| AV色婷婷| 91麻豆国产三级精品福利在线观看| 激情五月天色播| 99热免费在线| 香蕉五月婷婷| 亚洲激情淫网| 99精品无码| 婷婷深爱五月亚洲综合| 婷婷五月色激情欧美激情| 色五月天电影| 色射7856五月天激情四射| 欧美色五月| 久久亚洲婷婷综合色五月| 亚洲综合色棒| 丁香五月激情网| 亚洲成人av在线观看| 99 re视频一区| 色婷婷伦理| 开心婷婷中文字幕| AV片一区在线观看| 五月天激情四射| 色色色色色爱| 丁香五月激情综合| 殴美日韩成人| 丁香五月综合在线播放 | 橾逼网| 欧美影院婷婷| av五月丁香婷婷网| 五月色情婷婷开心五月色情| 婷婷午夜精品久久久| 久热在线中文字幕色999舞| 久久九九99.www| 激情综合自拍五月婷婷色五月| 五月婷婷影| 色综合激情| 久久九九一區| 99惹精品视频| 亚洲成人在线播放| 欧洲一区二区| 丁香五月天在线| 色色国产| 日本91在线| 一本综合丁香日日狠狠色| 97超碰在线免费观看| 99热免费| 日本久久婷| 六月丁AV| 黄色国久久| www.婷婷| 久久天天| 婷婷六月久久| 欧美激情-区二区三区| 久久精彩视频| 久久99婷婷| 色区域网站视频| 五月丁香啪| 国产视频福利| se99视频| 日本久久九| 电影蜘蛛女| 99在线观看视频| 激情五月婷婷色色| 久久五月婷婷开心网| 九九99精品| 午夜色丁香| 99热青青草原| 国色天香成人网| 久久伊人大香蕉| 九九無妻| 狠狠色噜噜色狠狠狠综合色| 丁香五月激情综合啪啪| 野战J办公桌椅H| 99ri在线| 91九色视频| 99碰在线视频| 99精品视频免费| 97夫妻超碰| 婷婷精品在线| 天堂A∨在线| 六月丁香停| 色丁香六月| 97亚洲视频在线| 这里只有精品99视频| 五月丁香久久网| 成人在线视频一区| 香蕉人在线香蕉人在线 | 日本97人人| 激情二色月| 超碰国产在线| 五月婷免费视频久久久| 三男玩一女三A片| 激情小说五月天| 激情床戏| 丁香六月婷婷综合| 91精品在线看| www99精品| 91大屁股精品| 操久久精| 婷婷少妇激情| 操99| 色综合天天综合成人网| 日日操夜夜爽白洁| 六月丁香网| 深爱 五月天| 婷婷丁香十月| 噜噜噜狠狠色综| 久久伊人婷婷| 无码se| 99色在线| 久久综合网免费视频| 欧洲色| 六月亚洲婷婷6月中文字幕| 五月天开心网| 六月丁香激情最新更新| 51精品国自产在线| 天天色域综合网| www色哟哟| 综合五月天完整| 狠狠一日| 久久少妇视频| 99人人操人人操人人精| 欧美99热| 人妻操逼| 百度一下国产精品A| 丁香五月激情鲁| 丁香五月激情久久麻豆| 婷婷五月六| www激情网站| 五月丁香色婷婷色| 免费AAAAA网| 成片免费播放| 国产美女精品| 五月婷婷,六月婷婷| 久久婷婷成人综合色怡春院| 人人操97| 91中文在线| 亚洲日韩26uuu| 国产真实乱了老女人视频 | 99在线精品视频| 五月婷婷成人w| 久久精彩视频18| 人人干人人操人人摸| 二级黄色毛片| 色情婷婷五月天| 婷婷激情五月天在线视频| 91精品国产综合久久久不卡电影| 熟女激情五月天| 国产综合婷婷| 狠狠综合网| 亚洲综合色丁香五月天| 狠狠综合区| 婷婷香五月天| 五月婷视频久久| 久久AAAA片一区二区| 热99热9| 99五月婷| 99色综合| 26uuu亚洲| 色五月开心久久网| 五月天激情小说网| 亚洲午夜精品久久久久久人妖| 三十熟女| 日亚二欧美| 玖玖资源站国产| 激情小说色五月| 久久99网| 26uuu国产色| 综合久久婷婷99| 日日干日日| 色五月xxx| 专区无日本视频高清8| 毛片色五月| 亚洲av成人在线| 国产XXXX搡XXXXX搡麻豆| 色五月婷婷亚洲| 色吧综合网| 丰满少妇猛烈A片免费看观看| 婷婷五月激情丁香| 久久在这里有精品| av第一二区| 99re在线观看| 天天天天天天天操| 婷婷久久网| 国产毛片欧美毛片久久久| 色婷婷色五月天| 久久婷综合| 日韩丁香涩| 五月婷婷五月| 婷婷六月插屄激情| www.久久久.com| 五月综合激情| 五月天激情啪啪| 99色看这里只有精品| 超碰97色| 亚洲日本韩国| 色综合久久88色综合天天看| www.婷婷,com| 久久香蕉网| 强奸幻女毛片| 国产精品久久久久久久久久免费| 性天堂久久| 99re这里只有精品首页| 青青草原中文字幕| 午夜婷婷久久 | 久热99热| 天天色2017| 久久xx| 狠狠插日日干撸| 激情五月深爱五月观看| 激情综合在线播放| 嫩草极品| 五月丁香777| 国内精品玖玖| 玖玖资源部在线播放| 丁香社92视频| 蜜桃人妻无码AV天堂三区| 少妇人妻人伦A片| 99aese| 五月丁香| 日韩99视频| 婷婷影院A成人| 五月天激情四射| www99热| 狠狠另类视频| 另类图片天天影视在线观看| 在线伦子99热| 五月丁香六月停停停| 99视频精品在线| 五月天婷婷小说| 开心激情久久久久久久| 天天搽天天射| 天天操无码| 操碰99在线视频观看| 色婷婷丁香五月| 91婷色| 婷婷五月激情五月激情| 亚洲久久婷婷| 婷婷伊人激情婷婷| www.夜夜操.con| AV成人在线播放| 黄色高清无码| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | Www.se.久久| 99ER热精品视频| 激情伊人| 五月丁香激情综合网| 美女100%露全身无挡网站| 六月丁香六月婷婷欧美| 久久99日本精品视频免费观看| 91精品久久久久久综合五月天| 五月天成人免费视频| 欧美日本一区二区三区| 激情99热| 亚洲色婷婷色| 丁香六月色婷婷欧美| 久久婷婷伊人| 色婷婷电影网| 五月婷婷啪啪| www.zbzhongsen.com| 国产免费一区二区三区三州老师F1F1.CC | 成人网页在线观看| 色爱综合五月| av网站免费在线| 99在线精品免费视频| 五月天激情婷婷| 99自拍视频在线| 色呦呦美女| 丁香五月天激情综合| 五月色丁香视频精品| 色小说五月婷婷| 五月天色婷婷视频| 色色99色色| 天天拍夜夜撸| 天天噜天天爱| 老司机午夜福利视频金瓶梅| 亚洲第一色网站| 精品久久婷婷五月天| 熟女色专区| 婷婷免费精品视频| 丁香五月色综合色播五月| 亚洲 25P| 内射丰满人妻| 丁香激激情网| 久热这里只有精品99re| 79精品视频在线观看,| 野战毛片三一3| 丁香婷婷激情五月天无毒不卡蜜桃| 五月婷婷六月综合| 五月丁香六月婷| 无码动漫av| 久99久在线观看| 91黄址| 婷婷午夜| 欧美三级A做爰在线观看| 96精品成人无码A片观看金桔| 免费观看全黄做爰的视频| 91.www综合| 在线综合亚洲欧美65| 久操福利| 五月婷婷深深爱| 九九综合| av不卡网站| 4438全国最大视频成人网站在线观看| 五月天久久网站| 99热碰碰热| 人人爽天天莫| 色综合五月在线| 亚洲人人操BD| 五月丁香六月激情综合| 激情亚洲网| 国产99久久久国产精品免费看| 日本不卡一区二区三区| 97人人操人人操人人操人人| 9久久AV| 五月丁香婷中文| 亚洲国产精品成人免费一区久久久在线观看AAAA | 丁香六月婷婷| 1024久婷| 久久婷婷色色| 亚洲五月六丁香激情| 日日操,天天操| 丁香五月五月婷婷| 丁香婷婷性爱| 亚洲视频在线观看| 91综合在线观看| 日本久久婷婷| 丁香五月六月久久综合 | 中文字幕丰满孑伦无码专区| 爱狠射| 99久久精品色老| 激情丁香久久| 久久性爱视频这里只有精品| www.精品99| 天天日天天爽| wwww.色婷婷| 婷婷色婷婷| 99re26视频| 五月婷婷在线免费观看 | 丁香五月中文字幕| 国产精品久久久久久久久久免费 | WWW.久久.COM| 高清成人综合| 欧美日韓成人亚洲精品另类| 热99在线| 五月丁香六月激情综合| 久久九九99.www| 久激情网| 日本va欧美va欧美| 97操操操| 九九婷婷热| 九九热精品99| 五月激情综合激情五月| 天天人人人人人人人人人人人| 五月婷婷影院| 91av视频在线观看最新网址| 日韩五月婷婷| 狠狠插狠狠插| 五月婷视频| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 亚洲 成人 电影av在线观看| 6月丁香婷婷| 深爱1激情网| 人人操99| 九九中文色色| 色婷丁香五月| 99热日| 丰满老熟妇BBBBB搡BBB| 九九综舍久久| 丁香五月激情澎湃一区| 色婷婷久久久| 亚洲超碰中文字幕| 欧美五月丁香啪啪响视频| 丁香五月婷婷色偷偷| 这里只有精品1| 五月婷婷之综合激情在线| 俺也去婷婷五月天第五色| 日韩欧美一级大黄网站| 婷婷精品视频| 9月色婷婷| 天天舔天天插天天干| 91热在线| 色五月婷婷91在线| 开心婷婷五月天电影院| 狠狠色噜噜狠狠狠狠综合| 日本波多野结衣视频| 五月天丁香六月综合| 婷婷六月花| 天天做天天爱天天爽| 91丨九色丨老农村| 天天草天天日| 欧美精品18| 91xxxx九色| 日本特黄aaaaa| 成人网站在线观看视频| 五月丁香花激情啪啪网| 亚洲激情色色| 九九人人操| a九九热www| 色五月激情婷婷| 超碰v| 9|无码久久久久久| 99视频只有精品| 婷色影院| 丁香综合伊人| 九九热最新地址| 四月婷婷五月丁香| 99视频这里只有精品10| 激情五月婷婷老师| 色爱综合视频| 玖玖精品视频| 午夜免费试看| 99riAv1国产在线观看| 亚洲成人av在线观看 | 婷婷狠狠干| 99热精品网| 日本99久久| 1024成人在线观看| 色色射| 欧美色图片88| 这里只有视频精品| 五月丁香六月激情在线| 激情九月婷婷| 综合久久97| 大伊香蕉玖玖爱| 夜夜干天天干| 高清免费在线视频| 这里只有免费的精品| 狠狠穞A片一區二區三區| 五月丁香91| 五月色婷婷影院| 99五月婷| 丁香六月激情综合| 久久久久久久久久久久63| 欧美婷婷五月天综合| 成人做爰A片免费看视频| 欧美群妇大交乱婬网| 欧美日韩99| 538任你爽视频不一样的| 99热在线观看免费精品| 日韩有码久久| 26uuu日韩| 激情综合婷婷久久| 可以看的AV| 在线成人国产| 色久天| 伊人青涩网| 九九久热| 99热大| 色 色 色综合com| 毛片九九九九九九| 人人视频人人干人人做| 婷婷丁香综合| 欧美日韩成人在线网| 97综合色片| 人妻久热| 亚洲精品国产成人AV在线| 日韩成人网址| 开心六月婷| 99色天堂| 丁香五月激情综合在线观看| 成人.在线日韩| 日韩欧美骚货| 五月天婷婷丁香人人操91| 激情五月色播五月| 婷婷五月中文字幕| 久久婷婷成人| 性日本激情| 激情五月天色色网| 五月色情网| 韩日另类| 天天插AV丝袜中| 牛牛色av| 五月天婷婷基地综合网| 91久久久久久久久18| 天天色天天日| 天天操天天爽天天爱| 蜜乳av一级av| 五月六月激情| 五月婷婷丁香六月| 激情丁香婷婷| 六月婷婷狠狠| 九色在线五月婷婷网址| 五月天婷婷在线播放| 五月婷久久草| 五月丁香成人网| 婷婷综合五月天激情| 婷婷综合性爱网| 无码 色| 蜜臀av粉嫩av懂色av| 91一起操| 婷婷五月情色| 夜色.cnm| 久99久视频| 久久小视频免费| 日本在线观看99| 欧美性色视频| 天天射影| 伊人大综合| 五月婷婷亚洲色视频| 久久婷五月天| 少妇出轨做爰高潮A片| 精品A√| 婷婷狠狠18禁久久| 久色激情| 天天色综合综合| 国产精品国产| www色婷婷| 丁香五月激情无码视频| 婷婷涩涩五月天| 99国产精品久久久久久久久久久 | 丁香五月婷婷综合视频| 久久综合55| 996er热| 管管補管管紱| 五月丁香婷婷成人网| 五月丁香直播| 99人人操| 亚洲成人在线播放| 久久五月天色| 亚洲成人一区| 疯狂做受XXXX高潮A片| 五月丁香六月情| 久久丁香五月综合六月激情红杏视频| 婷婷亚洲在线| 丁香婷婷性爱| 色色色欧美色色| 99热亚洲精品| 99色爱| 91成人看片| 色五月开心婷婷| 97ai婷婷| 婷婷综合网| 天天狠狠六月婷丁香影院| 久久这里只有国产| 去色色五月天| 激情综合久久| 欧美黄色AA片哗啦啦啦| 天天爽在线视频| 五月婷婷欧洲| 色五月婷婷五月天| 99久热这里只有精品| 色婷婷91激情小说| 日本黄色精品| 夫妇交换刺激做爰| 中文字幕在线不卡| 午夜电影网VA内射| 久9视频| 淫视馆av三区| 人人播| 亚洲丁香五月天视频| 丁香五月综合色婷婷| 啪色综合| 婷婷五月激情欧美大胆视频| 天天色色天天| 日本狠狠网| 开心四月婷婷在线色播播| …亚洲黄色在线播放日韩、av中文a…| 日本人人超碰| 日韩无码色色| 五月丁香六月激情视频| 激情网开心网| 婷婷色激情网| 美欧成人视频| 99在线视频。| 九月丁香婷婷| 超碰色综合| 九九激情视频| 丁香桃色综合网| 婷婷五月丁香六月| www.久久婷婷| 久久99久久99久久99| 婷婷爱五月天| 久久99激情| 天天舔天天摸视频| 激情五月婷婷网在线观看| 无码人妻少妇色欲AV一区二区| 日日干日日| 婷婷四色成人综合色视| bbwcuckold精品熟妇| www.99热在线观看| 99在线综合视频| 色五月综合激情网| 六月丁香婷| 99色干| 99精品视频免费| 五月天自拍视频| wWwCom夜操wwW| 人人人操| 五月天社区婷婷丁香社区| 91大屁股在线| 538在线精品| 9l视频自拍9l九色成人| 日本欧美成人片AAAA| 天天摸夜夜夜| 激情婷婷另类| 婷婷六月爽| 开心婷婷中文字慕| 激情黄色小说色五月| 五月婷婷色啪| 99热一本| 99九九99九九九视频精品| 97色婷婷| 少妇大叫太大太粗太爽了A片 | 久热一本| 激情五月综合亚洲另类| 99热精品中文字幕| 婷婷亚洲色| 99re这里有精品手机在线| 五月人人丁香婷婷五月人人丁香| 色五月丁香总合网| 99re热精品视频国| 婷婷丁香五月天哟啪| www.99热视频| 91视频精品99| 亚卅毛片| 99久久久久久| 色碰干| 婷婷五月天AV在线| 情一色一乱一伦一91A| 婷婷丁香黄色| 啪啪操网| 亚洲色区17| 精品视频网| 亚洲9久久精品| 99色嘟嘟精品网站| 久草免费福利视频| 五月天社区婷婷| 五月婷婷啪啪啪啪| 亚洲午夜在线视频| 五月天久久婷| 人妻激情久久| 欧美97超碰| 日操熟女| 激情婷婷五月在线合集| 玖玖婷婷色欲| 抽插特写| 六月丁香啪| 婷婷久久在线| 久久九九国产| 玖玖爱综合网| 婷婷丁香熟妇综合网| 99re热在线视频| 99在线视频播放| 丁香激情久久| 久久五月天激情美女| 99热这里只有精品26| 色婷婷婷av| 秋霞三级影视资源| 丁香五月综合高清在线| 九九热这里只有精品首页| 看黄的网站18禁| 丁香五月丐人妻| 丁香五月成人论坛| 狠狠色丁婷婷日日,伊人激情综合网 | 天天色综合综合| www.色色色色| 色停停五月,在线观看| 另类图片五月天| 精品人妻一区| 色碰碰| 夜夜 操无码| 泰州成人视频| 亚洲操操| 中日韩美欧成人一区二区精品在线| 亚洲字幕AV一区二区三区四区| 一本色道久久综合狠狠躁一二三| 91色综合网站在线| 狠狠色婷婷色| 夜色综合网| 91爱操| 综合久色五月| 五月丁香啪啪综合网| 日韩五月丁香| 六月婷婷av| 另类天堂| 91 影音先锋| 日韩婷久| 久久五月网| 99 频99热国里只有精品| 热的无码综合视频| 丁香六月无码播放| 丁香婷婷色九月| 精品人妻伦一二三区久| 色爽干| 超碰伊人碰婷婷五月| 九九aV| 五月丁香亭亭成人电影| 天天爽日日爽夜夜爽| www.天天干| 91精品综合久久久久久五月丁香| 日本欧美成人片AAAA| 91干99| av色婷婷| 五月天婷婷激情干干| 99热精品在线免费观看| 99在线精品观看99| 夜夜操加勒比| 久久综合色情网站| www久久五月com| 五月婷婷综合潮喷| 日韩黄黄| 欧美色图片88| 丁香六月婷| 成人精品一区二区三区四区五区 | 日韩av干| 五月婷婷丁香婷婷| 天天操天天干天天日| 九色在线五月婷婷网址| 操九色| 日日噜狠狠色综| 欧美日韩AAA| 日韩啪啪视频| 色五月丁香A欧美com| 国产激情在线| 婷婷六月插屄激情| 五月天伊人网| 日韩成人网址| 五月激情四射网站| 婷婷五月天六点丁香五月| 五月色欧洲| 九色无码| 亚洲最大成人综合网720P| 欧美一级a | 色色色9| 狠狠爱成人综合网| 日韩狠狠色| 天天综合永久| 五月丁香啪啪激情| 成人综合视频网址| 久久久性爱视频| 久久性爱网站| 综合久久综合久久| 九九色婷| 五月婷在线| 五月婷婷在线综合| 婷婷五月天激情网| 婷婷五月丁香A∨| 人妻系列久久久久久久久久久| 999热这里只有精品| 99精品视频在线观看| 草草影院爱爱| 影音先锋 91工厂| 97干欧美| 99精品久| 国产成人AV人人爽人人澡Va| 日亚二欧美| 国产成人AV不卡| 色播五月天婷婷老师| 免费日韩99| 超碰爱爱爱| 丁香五月激情图片婷婷| 日本三级大片| 丁香五月天啪啪激情综和网 | 五月婷丁香| 99热第一页| 可以直接看的av网站| 九九色图| 色都都狠狠色都都色综合色| 日本www五月婷婷| 久久久.COM| 婷婷无五月无码视频| 伊人网欧美在线男人天堂五月丁香 | 俺去也五月| 国产一区18| 五月丁香六月综合激情网| 婷婷五月天色播| A级毛片高清免费不卡播放谢谢谢谢| www.思思99热| 亚洲国产99| 久久香蕉丁香| 婷婷五月天激情丁香| 丁香五月六月| 日本97在线| 五月之婷婷| 97精品人人A片免费看| 久久刺激网| 五月成人天| 中国女人做爰A片| 亚洲免费看片| 国产激情在线| 九九精品re免费视频| 九九精品片一| 在线另类| 婷婷综合97| 亭亭五月丁香五月天激情| 男人大jjc女人免费视频| 激情深愛五月視頻| 婷婷色五月激情| 九九人人自拍| www.99热视频| 91re色综合视频| 丁香婷婷偷拍| 狠狠操天天干| 中文字幕在线日亚洲9| 91久久电影| 丁香五月很很肏| 五月天伊人手机在线播放AV| www.9操| 五月天婷婷自拍图片在线观看| 99热婷婷| 婷婷久久五月丁香| 丁香桃色网| 丁香亭亭激情四射| A A色色| 青柠影视免费高清电视剧| 日日干五月天婷婷| 色婷五月| aa久久| 久久久五月五丁香| 色色综合激情| 99久在线精品99re5热视频| 91在线观看www| 99久久久| av在线免费播放观看| 丁香五月婷婷激情123| 天天操无码| 六月婷久久| XX久久| 色五月婷婷影视| 丁香五月亚综合图片| 婷婷色狠狠| 5月婷婷五月天| 婷婷五月天大香蕉在线视频观看| 五月婷婷精品无在线| 丁香五月狠狠在线观看| 午夜无码精品色综合久久| 精品亚洲国产成AV人片传媒| 五月综合777| 无码少妇高潮喷水A片免费| 99re热精品视频国| 狠狠色婷婷| 婷婷情色五月天| 26UUU欧美激情一区二区| 97热精品| 丁香色色色| 亚洲免费看片| 99视频只有精品| 丁香五月婷婷啪| 久久性爱视频网站| 丁香蜜臀黄色婷婷五月天| 色爱亚洲| 五月婷六月综合在线观看| 色九月婷婷| 狠狠人妻久久久久久综合丁香| 亚洲第一成人无码A片| 青青草婷婷综合五月| 国产乱人偷精品人妻A片| www,五月天激情| 色婷婷四虎| 婷婷九月丁香| 色色五月婷婷久久| 九九九九国产| 久久这里只有精品5| 五月婷婷六月色| 色婷婷五月婷婷五月婷婷五月| 内射在线CHINESE| 五月综合激情视频| 香蕉色色网| 99人妻碰碰碰久久久久视| 中文AV在线播放| 色色操| 成人必爱视| Aaa久久| 久久久久丁香婷婷五月天| 九色 在线| 九热...av| 婷婷八月激情| 少妇AB又爽又紧无码网站| 人人人操97| 国产探花一片区| 国产精品色色| 日本在线视频www色| 丁香六月综合| 五月婷婷色情| 综合色视频| WWW.99热| 久久er九九| 99在线视频网址在线观看| 青青草成人网| 中文字幕,综合,91| 99热这里只有精品9| 婷婷六月久久| 丁香五月花影院| 狠狠色综合网| 婷婷丁香五月天综合AV| 欧美日本免费一道免费视频| 欧美日本va| 欧美在线97| 五月综合色| www.亭亭五月天| 九月综合| 无码激情AAAAA片-区区| 六月丁香久久| 日本操碰碰| 99热超碰在线| 婷婷色狠狠| 日韩影院三级| 日本少妇裸体做爰高潮片| 日本狠狠色| 99噜噜噜在线播放| 超碰cap| 色婷婷久久综合| 婷婷综合成人五月天| 91窝窝| 日本三级日本三级99| 亚洲婷婷丁香五月亚洲| 五月香蕉网| 99re8在这里只有精品| 婷婷深爱网| 啪啪 综合网| 欧美三级A做爰在线观看| 五月丁香| 丁香婷婷综合影院| 久久99精品九九久久久婷婷| 9999热精品在线免费播放| 操日本色| 色色色com| 欧美日韩AAA| 97干在线观看视频| 亚州在线中文字幕| 婷婷久久五月天丁香| 亚洲五月天伊人| 激情五月天99色| 任你爽视频| 久久99热这里只有精品| 日本va欧美va精品发布视频| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 婷婷成人视频| 婷婷瑟瑟五月天| 丁香五月自拍| 超碰在线播放免费观看| 中文字幕在线日亚州9| 九九久久网| 丁香婷婷精品视频| 婷婷综合在线视频| 狠狠干天天日| 五月天婷婷乱论小说| 综合玖玖性爱免费视频| 色约约视频一区二区三区四区五区| 日韩aaaaa| 四色五月婷婷| 丁香五月色播中文在线播放| 久久久ww| 五月婷婷 婷婷五月 一区二区 久久久| 婷婷久久五月丁香| 激情五月少妇| 99久热在线精品| 超级97碰碰| 色色色热| 丁香五月综合激情性爱| 五月丁香六月合| 午夜激情婷婷| 欧美日本99| 日韩精品AV一区二区三区| 五月婷婷丁香五月| 亚洲综合狠狠艹| 久久久WWW| 亚洲AV电影av| 国产露脸150部国语对白| 久操热线| 综合激情视频| 日撸夜撸日操| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 丁香五月伊人| 91久久久久久| 九九热视频99| 激情五月,激情综合网| 99热无码精品| 99在线观看视频| 婷婷丁香五月综合网| 午夜大香蕉| 激情五月婷| 天天热夜夜操| 777久久精品| 婷婷五月情| A级毛片高清免费不卡播放谢谢谢谢| 丁香五月天久久| 99热国产| 国产性爱一级| 色婷婷五月天不卡| 色情·com| 91人人爽狠狠狠| 丁香六月激情综合网| 欧美69久成人做爰视频| 九九热最新地址| 色色五月天丁香婷婷| 婷婷六月五月天综合| 丁香五月婷婷呀| 性日本激情| 久久精品91视频| 一区=区操屄高清大全av| 婷婷最新地址| 免费观看的婷婷五月视频在线| 丁香五月婷婷亚洲综合精品在线| 国产韩日亚洲美州欧亚综合在线| 婷婷中文网站| 97碰 在线视频观看| 爽tv | 激情綜合W W W,激情五月天| 色99视频| 五月久久婷婷天堂视频| 色狠狠综合| 五月婷婷co.m| 九九色区| 任我肏视频精品| 日本成人内射| 五月激香蕉网| 男同91| 午夜天堂一区人妻| www99热| 婷婷久久综合| 婷婷五月色| 91性高潮久久久久久久久| 九月激情网| 亚洲AV人人操| 性高潮久久久久久-九九九九九九九九九九热-成人AV| 亚洲综合激情五月| 狠狠五月综合在线| 99 这里只有精品| 激情五月激情综合网一级丸片| 婷婷第六色| 五月香蕉综合| 韩日在线熟女| 超碰99在线| 99热99网| 六月婷婷成人| 婷婷激情五月天综合| 99惹在线精品免费观看| 操碰97| 这里只有精品视频222| 色色婷婷五月| 俺来也综合网精品一区| 色愛综合网| 色婷婷狠狠| 婷婷99| 婷婷综合| 欧美一级色| 激情小说五月天社区丁香| 五月丁香六月综合情在线观看| 欧日美女Va| 综合欧美五月婷婷| 国产乱子轮XXX农村| 福利视频在线播放| 粉嫩AV久久一区二区三区| 少妇人妻人伦A片| 在线播放人妻| 激情内射人妻1区2区3区| 99综合色色色| 91精选国| 黄色五月婷| 国产激情在线| 久久婷婷网| 99久久婷婷国产综合精品草原| 六月99天天婷婷激情综合| 免费黄色视频网址| 26UUU| 这里只有精品热| 天天草天天舔| 婷婷五月综合激情小说| 女力报到正好爱上你| 亚洲视色| 色碰碰视频| 欧美成人va| 亚洲乱码精品久久久久..|