欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

ARMv8/v9 Generic Timer虛擬化深度解析:從硬件到KVM實現(xiàn)

ARMv8/v9 Generic Timer虛擬化深度解析:從硬件到KVM實現(xiàn) ARMv8/v9 Generic Timer虛擬化架構(gòu)拆解做虛擬化平臺的老哥們應該都有同感時間不對一切白給。無論是虛擬機的時鐘漂移、線程調(diào)度延遲還是容器網(wǎng)絡的超時重傳底層都是定時器在撐著。而ARM平臺上這個定時器地基就是Generic Timer。今天這篇不聊泛泛的架構(gòu)概念直接進到ARMv8/v9 Generic Timer在虛擬化場景下的內(nèi)部機制從硬件視圖、軟件分層到KVM落地實現(xiàn)一整套拆開揉碎講清楚。先說清楚這文章解決什么問題如果你正在做KVM虛擬化開發(fā)、BSP適配、或者排查虛擬機時鐘異常類問題這篇文章能幫你建立起從硬件定時器到KVM虛擬中斷的完整鏈路認知。如果你只是聽說過Generic Timer想入門跟著走一遍也能搞清楚它的核心機制后面遇到問題至少知道去哪一層排查。標題里V-15和A-40是我們內(nèi)部項目對虛擬化和架構(gòu)兩塊內(nèi)容的編號不必糾結(jié)具體含義下面直接進正題。1. 定時器虛擬化的三個核心難題1.1 時間在虛擬化世界里為什么這么難虛擬化最容易被低估的復雜度就是時間。CPU、內(nèi)存、設備都可以通過硬件虛擬化擴展來加速唯獨時間這個東西它的設備是每顆CPU核心自帶的而且它的讀取頻率極高——操作系統(tǒng)的時鐘節(jié)拍、調(diào)度器的tick、協(xié)議棧的超時計算全都在高頻讀時間。想象一下你有一個物理鬧鐘現(xiàn)在要把它分給10個人用每個人都想在自己的時間線上設置鬧鈴、讀取當前時間而且互相不能干擾。更麻煩的是每個人虛擬機還希望自己可以隨意撥快撥慢手表修改系統(tǒng)時間但不能影響別人。這就是定時器虛擬化的本質(zhì)難題。具體拆解成三個問題來看時間來源一致性所有虛擬機看到的當前時間必須有一個統(tǒng)一的基準不能每顆CPU各說各話否則遷移和多核場景直接崩。虛擬時間隔離每臺虛擬機需要自己的時間線這個時間線的起點可以不同比如虛擬機剛啟動時時間是2010年宿主機已經(jīng)是2024年而且虛擬機修改自己的時間不能影響宿主機和其他虛擬機。定時中斷路由每臺虛擬機要能設置自己的鬧鐘時間到了要正確觸發(fā)對應的虛擬中斷并且要精確到微秒級別不能靠軟件輪詢。這三個問題ARM Generic Timer的虛擬化架構(gòu)就是專門為它們設計的。1.2 ARM沒有給定時器單獨開一條虛擬化捷徑這里要說一個容易誤解的點。ARM在虛擬化上做了很多硬件加速比如GIC (Generic Interrupt Controller) 對虛擬中斷的直接注入MMU有Stage-2地址轉(zhuǎn)換。但定時器這個模塊ARM并沒有提供一個虛擬定時器設備讓你直接操作。它采用的方式是提供一組精心設計的硬件機制讓Hypervisor用trap-and-emulate的方式來實現(xiàn)虛擬定時器但是把這個過程的開銷壓縮到極低。為什么不像PCIe直通那樣直接把定時器直通給虛擬機因為定時器不是獨立設備它是CPU核心的一部分而且多個虛擬機共享同一顆物理CPU。直通等于讓一個虛擬機霸占硬件資源其他虛擬機就沒法用定時器了。所以說ARM Generic Timer的虛擬化架構(gòu)本質(zhì)上是一個硬件輔助的軟件虛擬化方案。理解這一點后面看KVM的代碼邏輯就會順很多。2. Generic Timer硬件機制全景拆解2.1 系統(tǒng)計數(shù)器整個時間世界的基準ARM Generic Timer的頂層是一套系統(tǒng)級的計數(shù)器叫System Counter。這個計數(shù)器是唯一的、全局的、單調(diào)遞增的整個SoC上所有核心看到的值都是一樣的。它通常由主板上的晶振驅(qū)動頻率一般在1MHz到50MHz之間。System Counter在軟件側(cè)體現(xiàn)為兩個寄存器視圖CNTPCT物理計數(shù)器和CNTVCT虛擬計數(shù)器。這兩個寄存器都是64位的單位是tick。但是注意ARM的spec規(guī)定軟件不能直接讀System Counter本身必須通過每個核心上的CNTPCT/CNTVCT寄存器來讀。為什么要區(qū)分物理和虛擬兩套計數(shù)器視圖答案很簡單物理計數(shù)器給宿主機用虛擬計數(shù)器給虛擬機用。虛擬計數(shù)器 物理計數(shù)器 - Offset這個Offset由Hypervisor設置。這就是前面說的虛擬時間線的實現(xiàn)基礎。2.2 每個核心上的定時器組件結(jié)構(gòu)每個ARM核心上有兩組重要的定時器組件一組是給非安全世界的一組是給安全世界的。我們做虛擬化主要關注非安全世界也就是EL1和EL2這兩層下面的結(jié)構(gòu)以這套為主。每個核心上有四種定時器物理定時器 (Physical Timer)通常用于EL1/EL0非安全世界中斷號是PPI 13。虛擬定時器 (Virtual Timer)通常用于給虛擬機提供定時中斷中斷號是PPI 14。EL2物理定時器 (EL2 Physical Timer)給Hypervisor自己用的定時器中斷是PPI 26。安全物理定時器 (Secure Physical Timer)給TrustZone安全世界用的虛擬化場景一般用不到。每一種定時器都有自己的一組寄存器CompareValue比較值、Control控制、Status狀態(tài)。定時器的原理很簡單當前計數(shù)值 CompareValue 的時候觸發(fā)一次中斷。2.3 關鍵寄存器與作用域劃分把寄存器按訪問權(quán)限和虛擬化角色拆開看落實到代碼和調(diào)試上會更有操作性寄存器訪問層級虛擬化角色CNTPCT_EL0EL0/EL1可讀物理計數(shù)器Hypervisor讀物理時間用CNTVCT_EL0EL0/EL1可讀虛擬計數(shù)器虛擬機讀當前時間CNTVOFF_EL2僅EL2可寫虛擬計數(shù)器偏移量虛擬機時間線原點CNTP_TVAL_EL0EL0/EL1可寫物理定時器的遞減計數(shù)值CNTP_CTL_EL0EL0/EL1可寫物理定時器控制使能、屏蔽、狀態(tài)CNTP_CVAL_EL0EL0/EL1可寫物理定時器比較值CNTV_TVAL_EL0EL0/EL1可寫虛擬定時器的遞減計數(shù)值CNTV_CTL_EL0EL0/EL1可寫虛擬定時器控制CNTV_CVAL_EL0EL0/EL1可寫虛擬定時器比較值CNTHP_TVAL_EL2僅EL2EL2物理定時器CNTHP_CTL_EL2僅EL2EL2物理定時器控制CNTHP_CVAL_EL2僅EL2EL2物理定時器比較值CNTHCTL_EL2僅EL2控制EL0對計數(shù)器和定時器的訪問權(quán)限CNTKCTL_EL1EL1可寫控制EL0對內(nèi)核定時器寄存器的訪問這張表建議存一下排問題的時候會反復用到。特別是CNTVOFF_EL2和CNTHCTL_EL2這兩個是整個虛擬化的樞紐。2.4 計數(shù)器讀路徑為什么虛擬機讀時間也要被攔截這里有一個很多初學者沒注意到的設計點虛擬機執(zhí)行CNTVCT_EL0讀取時間在KVM的默認配置下是不需要trap到EL2的。ARM通過硬件機制讓CNTVCT_EL0直接讀出來一個已經(jīng)減去了CNTVOFF_EL2的值整個過程發(fā)生在硬件層面虛擬機根本不知道偏移的存在。但是有一個例外當虛擬機運行在32位模式而Hypervisor需要讀取CNTPCT的時候情況就變得復雜了。32位guest訪問CNTPCT會拆成兩次32位load高32位和低32位這中間可能發(fā)生高低位不一致的問題。KVM內(nèi)核對這個問題有專門的patch處理路徑后面在常見問題部分會講到。3. KVM定時器虛擬化架構(gòu)設計3.1 分層模型Host Timer和Guest TimerKVM在arch/arm64/kvm/arch_timer.c中實現(xiàn)了完整的定時器虛擬化邏輯。整套設計圍繞兩條時間線展開Host時間線基于CNTPCT物理計數(shù)器KVM用它來調(diào)度vCPU的執(zhí)行、計算虛擬機的運行時間。Guest時間線基于CNTVCT虛擬計數(shù)器虛擬機里的操作系統(tǒng)看到的時間。兩條時間線之間的橋梁就是CNTVOFF_EL2。KVM在加載vCPU到物理CPU上的時候?qū)懭脒@個寄存器vCPU切走的時候不需要恢復因為下個vCPU加載時會重新寫這個操作在關鍵路徑上只有一次MSR寫開銷極低。定時器的虛擬化用到的核心結(jié)構(gòu)體在KVM中分成兩層struct arch_timer_cpu { struct arch_timer_context timers[NR_KTIMERS]; struct hrtimer hrtimer; bool is_timer_running; }; struct arch_timer_context { struct kvm_vcpu *vcpu; enum kvm_arch_timers timer; u64 cnt_cval; u64 cnt_ctl; bool loaded; bool ready; };第一層是per-CPU結(jié)構(gòu)的每個vCPU一組第二層是具體的物理定時器和虛擬定時器各自獨立的上下文。從結(jié)構(gòu)體上就能看出設計意圖物理和虛擬兩個定時器分別模擬各自維護比較值和控制位kvm根據(jù)guest的配置決定用哪個。3.2 Virtual Timer和Physical Timer的分工策略這是KVM定時器虛擬化設計里最精彩的部分。為什么要有兩套定時器給guest用表面上看有虛擬定時器就夠了guest設鬧鐘就用CNTV_CVAL_EL0時間到了觸發(fā)PPI 14中斷不就行了嗎真實原因是某些guest操作系統(tǒng)會直接操作物理定時器而不是虛擬定時器。比如Linux內(nèi)核早期的arch timer驅(qū)動它在某些配置下直接使用物理timer。還有32位的ARM guest內(nèi)核某些版本的代碼路徑上會讀取CNTPCT來校準時間。如果guest運行在EL1虛擬機里它訪問CNTP_TVAL_EL0和CNTP_CTL_EL0是會直接透過到硬件物理定時器的在trap沒有配置的情況下它會在沒有Hypervisor掌控的情況下直接產(chǎn)生物理中斷這個中斷會直接送進guest卻沒有任何虛擬化層的管理成為一顆無法關閉的定時炸彈。所以KVM的做法是分兩層guest的物理定時器和虛擬定時器操作都必須經(jīng)過KVM的接管和控制。它最終映射到Host側(cè)的實現(xiàn)是用Host的一個真正的物理定時器來backing guest的某個定時器再通過vGIC把中斷以虛擬中斷的形式注入回guest。具體到實現(xiàn)上KVM的策略是虛擬定時器用虛擬計數(shù)器CNTVCT作為時間基準backing hrtimer基于host的CLOCK_MONOTONIC實際讀取cntpct換算中斷走PPI 14通過vgic注入。物理定時器用物理計數(shù)器CNTPCT作為時間基準backing hrtimer同樣基于host時間中斷走PPI 13通過vgic注入。兩個timer的backing hrtimer在host上共用同一個hrtimer實體arch_timer_cpu-hrtimer通過hrtimer_start重新指定到期時間來實現(xiàn)兩個timer的切換和共享。3.3 中斷的虛擬化路徑從硬件中斷到Guest IRQ定時器中斷是整個虛擬化鏈路里最長的路徑之一值得完整走一遍Host物理定時器超時觸發(fā)host的timer中斷handler。KVM的timer handlerkvm_timer_irq_handler被調(diào)用。這個handler識別中斷來源是backing timer到期。KVM檢查對應的arch_timer_context確認是否應該向guest注入中斷。如果要注入調(diào)用kvm_timer_update_irq通過irqchipvgic設置對應的虛擬中斷為pending狀態(tài)。vCPU在下一次進入guest模式時vgic會把pending中斷通過list register注入guest在EL1收到中斷。這里面有一個容易被忽略的關鍵細節(jié)KVM在判斷是否應該向guest注入中斷的時候不是簡單看hrtimer到期就注入而是要對比當前的虛擬計數(shù)器值和guest設置的定時器比較值。因為hrtimer的精度和實際timer的精度存在微小偏差KVM需要做一次校準static bool kvm_timer_irq_can_fire(struct arch_timer_context *timer_ctx) { u64 cnt; u64 cval, ctl; cval timer_ctx-cnt_cval; ctl timer_ctx-cnt_ctl; if (kvm_timer_should_fire(timer_ctx)) return false; cnt kvm_phys_timer_read(); if (cnt cval) return false; return (ctl ARCH_TIMER_CTRL_ENABLE) !(ctl ARCH_TIMER_CTRL_IT_MASK); }注意最后兩個條件ENABLE位和IT_MASK位。這說明KVM嚴格遵循ARM定時器的硬件語義即使hrtimer到點了如果guest屏蔽了中斷或者禁用了定時器也不能硬注入。3.4 KVM如何處理Guest屏蔽定時器中斷這個場景在真實運行中經(jīng)常出現(xiàn)而且坑特別多。Guest的Linux內(nèi)核在處理定時器中斷時會先屏蔽中斷設置IMASK位清掉pending狀態(tài)處理完再重新使能。如果KVM在guest屏蔽中斷期間直接把hrtimer停了guest重新使能時會發(fā)現(xiàn)定時器已經(jīng)沒有在走時間直接卡住。KVM的處理方式是即使guest屏蔽了中斷hrtimer也要繼續(xù)跑因為hrtimer的到期只是一個信號真正的是否注入中斷還要看guest的屏蔽狀態(tài)。而且KVM在hrtimer到期時如果發(fā)現(xiàn)guest屏蔽了中斷會通過編程硬件定時器的比較值讓它在下一個預期的到期點再次觸發(fā)形成輪詢等待的效果。這個繼續(xù)跑、不注入的策略保證了guest重新使能定時器后馬上就能收到一個pending的中斷時間線不會斷。但是代價是host側(cè)會多次觸發(fā)定時器中斷增加一定的CPU開銷。這塊在性能敏感場景值得做profile看看是不是有大量的spurious wakeup。4. 定時器的生命周期管理與vCPU調(diào)度聯(lián)動4.1 vCPU加載與卸載時定時器狀態(tài)保存KVM在vCPU切入和切出時對定時器有明確的狀態(tài)管理。切出的場景是vCPU被搶占、運行時間片到期或者需要退出到用戶空間處理IO。切入的時候KVM做這么幾件事void kvm_timer_vcpu_load(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); struct arch_timer_context *ptimer vcpu_ptimer(vcpu); kvm_timer_update_state(vcpu); if (timer-is_timer_running) return; timer-is_timer_running true; /* Set the offset for the virtual timer */ timer_set_voffset(vcpu-kvm, vcpu-arch.timer_irq.offset); kvm_timer_vcpu_load_nogic(vcpu); kvm_timer_unblock(vcpu); }關鍵在于寫入CNTVOFF_EL2把這條vCPU的虛擬時間線切到自己的坐標。更新vtimer和ptimer的硬件寄存器讓guest看到的定時器狀態(tài)連續(xù)。如果backing hrtimer已經(jīng)啟動過切回來時不需要重新啟動hrtimer它一直在跑只是到期事件可能因為vCPU不在而錯過了。這里有一個補課機制后面講。切出的時候邏輯對稱但要額外注意void kvm_timer_vcpu_put(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); /* If the timer has expired, inject the interrupt */ if (kvm_timer_should_fire(vtimer)) kvm_timer_update_irq(vcpu, true, vtimer); if (!timer-is_timer_running) return; timer-is_timer_running false; timer_save_state(vcpu); timer-hrtimer.cancel(cancel_phys_timer); }這里有一個設計亮點即使vCPU被切出hrtimer也不是被cancel掉取消而是保留。如果guest設置的定時器到期時間還沒到hrtimer留在host的timer wheel里到期時照樣觸發(fā)如果guest設置的到期時間已經(jīng)過了那么在切出的時候KVM會立刻把虛擬中斷的pending狀態(tài)置上等vCPU下一次進入時直接處理。這就是為什么虛擬機的定時器即使在高負載宿主上也不會出現(xiàn)明顯漂移——因為KVM用的是host的硬件定時器來保證到期精度而不是依賴vCPU的調(diào)度。4.2 補課機制Guest錯過定時器中斷怎么辦展開講一下上面提到的補課機制。場景是這樣的guest的定時器在10ms后到期但是host負載很高vCPU在8ms的時候被切出了物理CPU直到20ms后才重新被調(diào)度回來。如果沒有補課機制這10ms的定時器事件就丟了guest醒來后發(fā)現(xiàn)時間已經(jīng)過去了20ms但它的定時器中斷一個都沒收到所有依賴定時器的邏輯全都錯亂。KVM的補課邏輯在kvm_timer_vcpu_load里static void kvm_timer_update_state(struct kvm_vcpu *vcpu) { struct arch_timer_cpu *timer vcpu_to_timer(vcpu); struct arch_timer_context *vtimer vcpu_vtimer(vcpu); struct arch_timer_context *ptimer vcpu_ptimer(vcpu); if (kvm_timer_should_fire(vtimer) ! vtimer-irq.level) kvm_timer_update_irq(vcpu, !vtimer-irq.level, vtimer); if (kvm_timer_should_fire(ptimer) ! ptimer-irq.level) kvm_timer_update_irq(vcpu, !ptimer-irq.level, ptimer); timer-hrtimer_active false; }kvm_timer_should_fire會做一次當前虛擬計數(shù)器和比較值的大小判斷。如果vCPU回來時發(fā)現(xiàn)當前時間已經(jīng)超過了guest設置的值就把中斷狀態(tài)更新為pending。因為這段時間guest的定時器中斷本質(zhì)上一直在pendingKVM通過這此判斷來模擬這個狀態(tài)。這個機制背后反映的設計哲學是定時器中斷本質(zhì)上是一個事件攜帶的機制只要最終狀態(tài)正確中間的丟失可以用狀態(tài)同步來彌補不需要逐個事件追溯。這與中斷控制器虛擬化中l(wèi)evel trigger的處理思路一脈相承。4.3 32位Guest的特殊處理與CNTPCT陷阱談32位guest之前先解釋一下為什么會有trap問題。當虛擬機運行在32位模式AArch32ARM架構(gòu)規(guī)定訪問某些64位寄存器的行為會primary變化。比如32位guest訪問CNTPCT_EL0會被trap到EL2。為什么因為32位guest無法一次完成64位load只能拆成兩次32位load兩次之間的高32位值可能已經(jīng)變了。如果不做trap處理guest會讀到撕裂的時間值。KVM的處理是接受這個trap然后模擬讀取用一次原子的64位讀拿到CNTPCT再拆成高32位和低32位返回給guest。所以這里多出來的開銷是必然的不是KVM實現(xiàn)的問題。但這里有一個嚴重的性能隱患如果guest的Linux內(nèi)核在時鐘校準里頻繁讀CNTPCT每次都會有trap整個系統(tǒng)時間校準路徑會變得特別慢。實際的KVM在arch/arm64/kvm/hyp/hyp-entry.S中有對應的handlertableel0_32_pc: ... el0_32_cntpct: ...它做了這樣的處理在hyp階段直接讀出CNTPCT拆成兩個32位值設置好返回寄存器后直接eret回guest全程不退出到host kernel。這個路徑把多次trap的開銷降到了單次trap一次內(nèi)存讀算是在架構(gòu)限制下的最優(yōu)解。我記得還有一處是CNTVCT的訪問在ARMv8.0的某個勘誤表里有提到32位guest讀CNTVCT_EL0也可能產(chǎn)生詭異的撕裂值個別內(nèi)核版本會在head.S里做一次重讀校準這里就不再展開了。5. KVM定時器實驗復現(xiàn)搭建一個最小觀測環(huán)境5.1 環(huán)境準備與內(nèi)核配置要點紙上談兵沒用。我自己的調(diào)試環(huán)境是QEMU KVM跑ARM64 guesthost是樹莓派的Ubuntu Server內(nèi)核5.15和另外一臺鯤鵬920服務器兩邊邏輯一致只是性能差很多。要復現(xiàn)本文講的定時器虛擬化行為需要確認以下配置項CONFIG_KVMyCONFIG_KVM_ARM_HOSTy這個不用多說。CONFIG_ARM_ARCH_TIMERyARM的arch timer驅(qū)動。CONFIG_ARM_GIC_V3y中斷控制器的v3版本。CONFIG_HZ_250或者CONFIG_HZ_1000guest里配置的時鐘頻率會影響定時器中斷頻率方便觀察差異。調(diào)試輸出方面建議打開tracefs的timer相關事件mount -t tracefs tracefs /sys/kernel/tracing echo 1 /sys/kernel/tracing/events/kvm/kvm_timer_update_irq/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_hrtimer_start/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_hrtimer_cancel/enable cat /sys/kernel/tracing/trace_pipe這三個trace event能完整還原KVM定時器的生命周期全貌從hrtimer啟動到中斷注入全鏈路可見。實測里面kvm_timer_update_irq的觸發(fā)頻率和guest的HZ配置強相關可以直觀看到虛擬定時器的tick節(jié)奏。5.2 一個觀測腳本確認CNTVOFF在不同VM間隔離要驗證CNTVOFF_EL2確實起到了虛擬機時間隔離的作用可以這樣操作在宿主機寫一個內(nèi)核模塊讀取CNTVCT_EL0和CNTPCT_EL0的差值不過這需要root權(quán)限和內(nèi)核模塊不是每個環(huán)境都方便更輕量的方式是跑一個只讀虛擬計數(shù)器的小程序#include stdint.h #include stdio.h #include time.h static inline uint64_t cntvct_read(void) { uint64_t val; asm volatile(mrs %0, cntvct_el0 : r (val)); return val; } static inline uint64_t cntpct_read(void) { uint64_t val; asm volatile(mrs %0, cntpct_el0 : r (val)); return val; } int main(void) { struct timespec ts; clock_gettime(CLOCK_MONOTONIC, ts); uint64_t v cntvct_read(); uint64_t p cntpct_read(); printf(CNTVCT%lu CNTPCT%lu diff%ld tick\n, v, p, p - v); return 0; }在宿主機上編譯運行diff會是一個固定值0或者某個常數(shù)取決于kernel啟動時是否設置了CNTVOFF為0在虛擬機里編譯運行同一個程序diff就是KVM設置的CNTVOFF_EL2值。兩個VM看到的diff不同這就能非常直觀地驗證虛擬時間線的隔離。實測中diff值通常是一個非常大的隨機偏移這就是KVM為每個VM分配的獨立時間原點。5.3 用ftrace驗證hrtimer與注入的因果關系更深入地驗證中斷注入路徑可以同時打開kvm和timer的trace事件echo 1 /sys/kernel/tracing/events/kvm/enable echo 1 /sys/kernel/tracing/events/timer/enable cat /sys/kernel/tracing/trace在guest里跑一個高頻率的定時器程序比如nanosleep 1msguest產(chǎn)生的定時器中斷會導致host側(cè)對應的backing hrtimer反復到期。trace里可以看到hrtimer_expire_entry到kvm_timer_update_irq之間通常只有幾微秒的延遲這說明中斷注入路徑是硬實時鏈路沒有經(jīng)過workqueue之類的延遲機制。如果發(fā)現(xiàn)hrtimer到期到中斷注入之間出現(xiàn)了超過100微秒的間隔那就要懷疑是不是host上有其他高優(yōu)先級中斷搶占了CPU或者vCPU沒有在物理CPU上運行導致hrtimer回調(diào)無法及時執(zhí)行。這個時候要改成per-cpu的hrtimerHRTIMER_MODE_ABS_HARD來保證硬中斷上下文中處理后面調(diào)優(yōu)部分會講怎么改。6. 高頻問題排查與性能調(diào)優(yōu)實錄6.1 虛擬機時鐘漂移最快排查清單虛擬機上最常被人吐槽的問題就是時鐘漂移本來以為是網(wǎng)絡問題查半天發(fā)現(xiàn)是時間不對導致TCP時間戳錯亂。遇到時鐘漂移按以下順序排查現(xiàn)象可能原因排查方法guest時間比host慢CNTVOFF配置異常host讀CNTVCT與guest讀CNTVCT對比guest時間跳變遷移后CNTVOFF未正確恢復檢查migration代碼路徑確認寫入CNTVOFF_EL2guest時間完全不動CNTFRQ未設置或異常dmesg看arch_timer驅(qū)動初始化日志定時中斷抖動大hrtimer模式不是HARD查/sys/kernel/debug/tracing看hrtimer回調(diào)上下文32位guest時間異常CNTPCT trap路徑問題strace guest內(nèi)讀時間函數(shù)看是否有頻繁trap最坑的一次經(jīng)歷是某個guest內(nèi)核版本里CNTKCTL_EL1的配置有bug導致guest無法在EL0訪問CNTVCT_EL0結(jié)果guest的vDSO里的時鐘讀取全部走了系統(tǒng)調(diào)用性能掉了一個量級。這種問題靠監(jiān)測是看不出來的要學會用perf trace去看guest內(nèi)時間系統(tǒng)調(diào)用的頻率是否異常。6.2 中斷風暴問題hrtimer空轉(zhuǎn)與RESCHED經(jīng)常有老哥反饋宿主機負載不高但CPU0的中斷占用率很高irqtop里看arch_timer中斷每秒觸發(fā)幾萬次。大概率是guest里的定時器配置了過高的頻率比如1000Hz而且guest處于idle狀態(tài)不斷進入WFI。KVM對guest的WFI處理會直接退出到host讓vCPU線程睡在hrtimer上等到下次虛擬定時器到期再喚醒。如果guest設置了非常短的定時器間隔vCPU就會不停地醒來再睡每次醒來都要走一遍完整的vCPU加載流程開銷非常大。調(diào)優(yōu)方向有兩個在guest里調(diào)低HZ從1000降到250能減少3/4的中斷觸發(fā)頻率絕大多數(shù)服務器場景完全夠用。在host側(cè)確認hrtimer的HRTIMER_MODE_ABS_HARD配置是否正確。KVM默認對timer hrtimer用的是hard模式在硬中斷上下文執(zhí)行hrtimer回調(diào)如果降級成了soft模式回調(diào)會進softirq延遲會明顯增加。同時要檢查KVM是否開啟了irqchip in-kernel模式。如果使用userspace irqchip比如老的kvmtool或者某些嵌入式場景虛擬中斷要通過eventfd通知到用戶空間再寫回每次注入都是兩次ioctl的開銷性能會差幾十倍。6.3 遷移場景下的定時器連續(xù)性保障vCPU熱遷移時定時器狀態(tài)遷移是一塊特別容易出bug的地方。KVM的遷移相關代碼在arch/arm64/kvm/arch_timer.c里有如下關鍵函數(shù)int kvm_timer_get_state(struct kvm_vcpu *vcpu) int kvm_timer_set_state(struct kvm_vcpu *vcpu)這兩個函數(shù)負責把當前vCPU的定時器狀態(tài)比較值、控制位保存到kvm_timer_context里然后在目標機上恢復。正常情況下遷移流程是源端暫停vCPU。kvm_timer_get_state保存vtimer和ptimer的cnt_cval、cnt_ctl。用戶空間QEMU/kvmtool把這些狀態(tài)傳給目標端。目標端kvm_timer_set_state恢復這些狀態(tài)。目標端vCPU啟動后在kvm_timer_vcpu_load時把cval寫入硬件寄存器。這里的坑在于目標機的CNTVCT值和源機的CNTVCT值不一樣因為兩臺機器的CNTVOFF_EL2不同?;謴蜖顟B(tài)時必須把源機的cval換算成目標機的cval換算公式是new_cval old_cval (new_vo - old_vo)。KVM在kvm_timer_set_state里會調(diào)用timer_set_voffset重新設置新VM的偏移然后根據(jù)偏移差調(diào)整cval。如果這一步做錯了guest遷移后定時器要么立即觸發(fā)一次虛假中斷要么延后好久才觸發(fā)。調(diào)試這個問題的辦法是在遷移前后各打印一下kvm_timer_get_state和kvm_timer_set_state出的cval和offsetecho 1 /sys/kernel/tracing/events/kvm/kvm_timer_get_state/enable echo 1 /sys/kernel/tracing/events/kvm/kvm_timer_set_state/enable對比兩份日志里的cnt_cval差值應該和兩邊的CNTVOFF差值完全一致如果不一致就是換算邏輯出了問題。6.4 從KVM向pKVM/槍口式虛擬化演進的影響ARMv9開始力推的CCAConfidential Compute Architecture和pKVMprotected KVM對定時器虛擬化的架構(gòu)影響值得提前關注。pKVM里Hypervisor本身被拆成了兩個世界root world高特權(quán)控制所有硬件和protected world受限的VMM運行環(huán)境。這意味著原來運行在EL2的KVM代碼被一分為二其中一部分降級到EL1。定時器虛擬化里最重要的CNTVOFF_EL2寫入操作在pKVM下由root world完成protected world的VMM不能再直接操作這個寄存器。整個中斷注入路徑也變了定時器中斷需要經(jīng)過root world的中轉(zhuǎn)才能到達protected world的VMM再到guest。這對系統(tǒng)軟件開發(fā)者意味著什么以前在KVM里直接操作timer寄存器做優(yōu)化的代碼路徑需要重新審視。比如原來用戶態(tài)通過KVM_CAP_ARM_TIMER控制定時器行為的方式在pKVM里可能不再可用因為那個狀態(tài)不在protected world的掌控范圍內(nèi)。好在ARM在硬件層面考慮了這一點EL2物理定時器PPI 26就是給hypervisor自己用的它不參與guest的定時器虛擬化所以hypervisor可以在不干擾guest虛擬定時器的情況下做自己的調(diào)度計時。pKVM也延續(xù)了這套設計用EL2物理定時器做自己的時間基準不和guest的時間線混在一起。7. 寫在最后的個人經(jīng)驗定時器虛擬化這塊看起來只是虛擬化體系里的一小塊但它牽扯到硬件架構(gòu)、中斷子系統(tǒng)、調(diào)度器、遷移等多個方向的交叉知識。串起來理解之后再去看其他設備的虛擬化比如vgic中斷虛擬化、PMU虛擬化很多設計思路都是相通的。我個人在做這套東西的過程中的幾個體會第一別上來就看KVM源碼先把ARM ARMARM Architecture Reference Manual里Generic Timer那章過一遍。很多KVM代碼里的常量和不直觀的位操作都是直接從寄存器語義翻譯過來的。第二排查時間相關問題的時候建立時間線世界觀特別有用。時刻問自己我現(xiàn)在看的是host時間線還是guest時間線CNTVOFF在中間扮演了什么角色一旦把坐標系分清楚至少70%的問題都能定位到正確方向。第三性能調(diào)優(yōu)不要憑空想。裝好ftrace和perf實測幾組數(shù)據(jù)再動代碼。很多時候你以為瓶頸在中斷注入的路徑上實際測出來的結(jié)果可能完全相反。沒有測量就沒有優(yōu)化。最后說一個調(diào)試小技巧如果你需要快速確認一個guest當前用的是vtimer還是ptimer只需要在guest里執(zhí)行cat /proc/interrupts | grep -E arch_timer|timer看中斷號。如果你看到的是一個外設中斷號非13/14說明guest代碼里做了自定義處理這時候就要懷疑它是不是在EL1直接操作物理定時器繞過KVM的虛擬化了。這種情況在改裝過內(nèi)核的安卓環(huán)境里尤其常見值得多留個心眼。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
香蕉久久国产AV一区二区 | 久久久婷丁香五月| 国产成人精品一区二三区熟女在线| 内射 无码 伊人| 综合色天天| 99视频精品视频| 精品激情| 五月激情综合激情五月| 玖玖婷婷五月天毛片| 校园激情 亚洲| 欧美性生交XXXXX无码小说| 人人干天天操五月丁香| 超碰无码老师| 色五月激情综合| 婷婷射图| 极品少妇高潮啪啪AV无码| 亚洲激情电影五月天色婷婷丁香一起草| 婷婷五月天美女21p| 亚洲色五月婷婷| 九九热免费视频| 亚洲成人网站在线| 天天综合色| 99热思思在线观看| 99热香港| 9 1超碰九色| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 婷婷激情综合网| 激情综合啪啪| 久久se 综合网| 九九亚洲视频| 伊人五月婷婷| 国产精品久久久久久久久久| www.五月天| 五月丁香婷婷爱| 欧美色色干| 丁香婷婷基地| 人人人人人人人草| 91久久久久久久久久久| 国产av天天插天天操天天爽| 玖玖在线| 婷婷五月天人妻| 色开心五月婷婷丁香HD| 久久久精品人妻| 五月激情偷拍婷婷| 色婷婷久久综合久色综| 99久久九九视频| 五月在线| 天天摸天天舔天天爽| 五月婷婷啪啪啪啪| 91美女被操| 天天做天天爱天天爽在| 丁香五月天激情四射网| 成熟妇人A片免费看网站| 五月激情丁香| 久久视屏这里只有久久| 日本欧特黄色刺激一区影视久精品无码| 丁香五月婷婷色| 99热国内精品| 日本波多野结衣视频| 噜噜操操| 欧美人人草| 人人操99| 成年人丁香五月| 天天色播| 丁香六月婷婷开心婷婷网| 久久ab| 中文字幕簧片| 婷婷丁香人妻天久久| 三级毛片视频| www色五月| 婷婷欧美激情| 亚洲Av入口| 国产免费av在线| AA丁香综合激情| 直接看的av| 人人爱干人人爱草| a九九热www| 色婷婷丁香花五月天| 婷婷婷久久久| 五月天婷婷无码| 十月丁香婷婷| 日日天天天| 欧美性交一区二区三区| 被男人添B超爽视频| 天天插天天爽| 丁香婷婷伊人| eeuss人妻| 久婷婷色| 婷婷五月色花丁香社区| 天堂二区| 久久A极片| 激情色播| 99碰网站| 色综合久久88| 婷婷色五月天色| 九八Av| 日韩啪啪视频| 99在线69| 天天操B| 色婷婷丁香五月综合| 五月丁香六月婷婷啪啪综合| 九九色影视| 婷婷色一二三区波多野结衣| www.99免费视频| 欧美亚洲色色色色| 大伊香蕉精品视频在线| 色色婷婷丁香| 91九色首页| 91九色首页| 五月婷婷激情中文字幕| 怡红院视频| 天天插夜夜爽| 综合激情五月综合激情五月激情1| 五月激情综合婷婷| 婷婷五月丁香五月基地| 97碰碰久久| 裸睡玩奶头(高H)| 99啪啪视频| 亚洲综合五月天| 99久久久| 欧美激情综合五月色丁香| 久爱综合| 国产无套精品一区二区| 综合欧美五月婷婷| 国产真实乱了老女人视频| 激情婷婷五月天| 激情综合久久| 天天天天操| 99综合视频一体| 成人婷99最新| WWW,五月| 丁香六月综合激情| 激情98色婷婷五| 激情玖玖sh| http:色情日本com| 久9热视频在线| 五月婷婷影视| 午夜色丁香| 久热爱大香蕉在线蜜臀悦色 | 久久999久久999久久999久久| 国产精品99久久久久久久女警| 色在线99| 五月婷视频| 色无码| 99热这里只有精品9| 色播六月| 俺去也婷婷| 色综合久久久久| 思思热在线观看| 精品色色| 深爱婷婷丁香五月激情| av人人干| 婷婷五月av| 亚洲综合色色色| 久久婷婷视频| 久久久精品免费啪啪国| 国产九九一区二区三区| 久久综合婷婷| 天天爽曰日爽| 色婷婷综合网| 五月丁香综合激情| 4438全国最大视频成人网站在线观看| 色色色色欧美| 色婷视频| 99久久国产成人精品| 玖月婷婷爱丁香| 很很操很很操| 五月丁香综合在线| 99久久网站| 欧美大片| 97超碰色| 色婷婷丁香五月天| 五月天成人在线播放丁香| 99热网站| 99re这里只有| 丁香婷婷五月份| 丁香色影院| 7777激情基地| 久久色五月天综合网| 亚洲va国产va天堂va综合va| 久久五月丁香| 色色九区| 天堂婷婷五月色| www一区二区三区| 99热都是精品| 疯狂做受XXXX高潮A片动画| 激情综合网激情五月婷婷| 亚洲第二AV| 色天堂在线| 婷婷丁香五月av| 久热中文字幕在线线观看| 99热这里只有精品22| 一起草Av| 九九热这里只有精品9| 久久婷婷激情四射五月天| AV中文在线| 色五月色综合| 亚洲激情网| 亚洲亚洲人成综合网络| 激情综合色网| 激情网五月| 五月丁香六月情| 婷婷狠狠综合网入口| 熟女啪啪视频| 色综合日日| 大香蕉婷婷丁香天堂AV| 色婷婷色综合| 这里只有精品日韩精品| 五月天综合久久| 婷婷在线中文字幕| 亚洲va日| 亚洲午夜电影| 亚洲精品另类| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 中文字幕在线免费看线人| 亚洲精品444久久久久久| 97人人操人人爽| 婷婷视频在线| 成人视频网| 色欲久久久久久综合网综合网| 久久作爱| 五月婷激情| 欧美色图天堂网| 色yeye欧美| 激情涩涩网| 天天爱天天做天天| 婷婷五月综合丁香久久| 亚洲婷婷在线播放十月| 婷久久| 五月婷无码| 狠狠香婷婷五月| 五月婷婷六月丁香在线| 国产在线网址1| 2014天天爽| 99热官网| 99日本视频| 婷婷丁香五月视频| 97人人干人人操| 日本免费91| 人人人va亚洲视频在线| 狠狠干最新地址| 亚洲性天天| 99热一区| 日韩成人综合| 日韩欧美一级大黄网站| 五月花婷婷丁香| 日本va欧美va国产激情| 五月天激情四射| 色色色免费视频| 天天射影院| 久久99热这里只有精品首| 丁香五月综合激情性爱| 久久婷婷夜| 激情五月婷婷色播网| 天天做天天爽| 啪啪五月天啪啪| 色色com| 超碰成人在线观看| 九九99精品| 久婷久婷| 亚洲无码另类| 五月天色色色| 日日噜噜夜夜狠狠久久丁香五月| 综合色吧| 丁香五月欧美成人| 熟女色专区| 久久9精品| 五月综合丁香婷婷| 97干网站| 国产伦理精品高清在线观看网站一区二区 | 欧美A级成人婬片免费看理论| 五月丁香网站| 久热 91| 噜噜色五月| 成人短视频在线免费观看| AV免费在线网站| 亚洲热视频在线| 久久99免费视频网站| 五月停视频天堂| 开心激情色婷婷五月天| AⅤ网站在线看| 九月婷婷丁香| 爱狠射| 色综合色综合色综合色综合| 婷婷玖玖五月天| 九月色婷婷综合| 神马欧美精| 内射综合网| 婷婷久久五月丁香| a网站免费观看| 97色伦另类图片小说视频| 中文字幕丰满孑伦无码专区| 久热A| 日韩成人影片在线观看| 亚洲碰碰碰| 五月丁香好婷婷A片网| 久久久香| 天天在线久久综合| 色五月婷婷天堂| www热久久yy9| 成人五月天在线观看| 亚洲妇女熟BBW| 5月丁香六月情| 五月天婷婷网站| 人人干人人看| 天搞天天天天天| 国产又爽又猛又粗的视频A片| 性爱动图国产麻豆一区二区三区 | 欧日韩成人| 六月丁香啪啪| 丁香五月婷婷成人网| 欧美日综合| www.五月婷婷久久.com| 色综合色五月| 五月丁香六月激情综合啪啪| 97超碰在线观看免费| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 青草视频在线播放| 九九热精品| 久月婷婷| 久久久天堂国产精品女人| 婷婷色基地| 久久久久网站| 超碰人人摸人人操| 9l视频自拍九色9l视频自拍九色9l社区| 狠狠爱婷婷色| www超碰| 开心激情播播五月天| 中文色婷婷| 依人大香蕉| 91人人爽久久涩噜噜噜| 99热这里在线精品| 99热观看| 天天日天天操心| 婷婷丁香在线播放| 综合色99| 婷婷性爱综合| 强辱丰满人妻HD中文字幕| 狠狠做深爱婷婷久久综合一区| 婷婷伊人綜合中文| 日本天天操| 丁香桃色网| 91精品久久久久久77777| 另类少妇人与禽zOZZ0性伦| 色99网站| 五月天色婷婷小说| 丁香六月久久| 激情网五月婷婷| www.yw色| a免费在线| 色综合久| 婷婷色色婷婷| 99热99这里有免费的精品| 棕合影院色色| 九九九九无码| 亚洲三级无码| 97精品综合| 色九九九九| 天天檫天天爽| 亚洲日韩人妻操逼| 综合色五月天| 亚洲狠狠婷婷| 97在线天堂| 亚洲第一综合| 热九九精品| 天天情色综合网| 人人澡天天色天天做| 婷五月天丁香婷五月| 激情婷婷| 婷婷五月丁综合| 亚洲国产婷婷色五月| 丁香五月婷婷av影院| 丁香五月婷婷影院| 色99日韩| 色婷另类| 五月婷婷色播| 狠狠狠狠狠狠狠狠草| 色蜜婷婷| 婷婷久久伊人| 一级无码作爱片| 深夜婷婷 丁香| 亭亭玉月丁香| 操91| 色一情一乱一乱一区91Av| 百度4399有码精品V在线观看| 99在线观看精品视频| 视频综合网| 五月丁香精品| 日本婷久久| avv在线| 色五月色开心开心五月| 爽tv | 色综合99| 婷婷五月影院| 国产高潮A片羞羞视频涩涩| 91爱啪啪| 夜夜操夜夜操| 婷婷激情图片| 色婷婷五月天在线观看| 日日干天天| 99久久综合网| 天天狠天天叉| 狠狠综合网| 综合AV在线| 日本五月婷婷| 亚洲美女网Va| 丁香五月婷婷基地| 日本欧美成人片AAAA| 96五月丁香熟女| 伊人五月成人| 五月色丁香| 久久久精品人妻| 天天操天天曰| 99热99美国在线观看| www.色婷婷.com| 狠狠色噜噜狠狠狠888| 日韩无码色色| 久久精品系列| 婷婷五月天色播| 五月婷婷亚洲色视频| 99热这里只| 亚洲另类噜噜| 99热这里只有精品55| 舔色婷婷| 九九操操| 国外亚洲成AV人片在线观看| 色综合99无码 | 蜜臀AV在线观看| 99色综合| 99色免费观看全部| 2013AV天堂| 五月丁香婷婷成人版| 久久久久网站| 国产乱码久久| 蜜臀av在线成人电影| 九九热免费观看视频| 色五月aV| 黄色91在线观看| 五月精品| 玖玖热视频| 欧美大片| 欧美久久久久久久久中文字幕| 中文字幕在线aⅴ免费观看| 丁香五月影| 激情国产五月| 日本色图综合| 色婷婷五月基地在线| 伊人五月人妻精品| 激情婷婷五月| www.色婷婷.com| 五月丁香婷婷欧美色图视频五月丁香777电影| 亚洲操逼网| 精品二区| 丁香六月婷婷综合欧美| 五月丁香六月婷婷综合免| 五月婷婷网站| 女婷久久| 丁香五月天天久久综合小说| 超碰97干| 久久性爱网站| 久青操| 五月丁香在线| 97人妻碰碰碰久久| 五月婷婷伦理| 99亚洲视频| 亚洲色频| 最新无毒无码AV| 大香蕉操操| 丁香香五月激情免费视频| www.俺去也com| 六月撸婷婷| 欧美内射AAAAAAXXXXX| 禁片二区| 狠狠夜夜五月丁香| 五月天激情图片| 五月天激情婷婷| 无码一级片| 五月婷婷新网站| 可以看的AV网站| 欧美日韩成人| 久久久久99精品成人网站| mmm1717.6dbm人人爱人人操| 五月婷婷偷拍| 五月婷婷九月婷婷九月婷婷| 色六月婷婷| 亚洲丁香五冃97色| 99色在线| 色色色色色色色色色色色色色97| 综合激情五月丁香| 91av无码| 无码毛片992367| 97人妻碰碰碰久久香蕉| 激情玖玖综合网| 99视频这里只有免费精品| 美国色五月天婷婷资源站| 色9999日韩国产| 久操97| 五月天婷婷影院影院| 超碰精品在线| 色综合偷拍| 人人干AV| 另类小说五月天| 91啪啪啪啪| 米奇影视资源婷婷狠狠色激情欧美五月丁香| 色99热| 婷婷五月天成人网| 97人人超| 色5月婷婷色| 在线免费观看激情视频| 天天射综合网天天插| 久久99久久久久久| 婷婷射综合| cc精品国产性传播| 久久中文网| 色婷婷色五月另类综合| 日狠狠| 99男人的天堂| 色婷婷激情| 亚洲av综合在线| 五月丁激情| 丁香婷婷六月| www.久久99| 九九干视频| 丁香五月123| 五月天激情av| 久久综合五月情| 狠狠肏综合网| 夜精品无码A片一区二区蜜桃| 婷婷五月综合免费在线| 色亭亭九月| 亚洲综合网激情五月天| 亚洲国产精品SUV| 在线观看五月婷婷网| 九九色影视| 丁香六月婷婷久久高清| AV在线观看网站| 九九av在线| 色色色色色色网| bukadeavzaixian| 欧美色五月天| 婷婷六月丁综合| 天天干天天操| 久久婷婷东京热大香樵| 99热官网| 性生活视频98791| 99色在线观看视频| 99五月婷| 久久狼人天堂| 91婷婷丁香| 五月丁香激情啪啪| 久久机热这里只有精品免费视频| 五月婷丁香| 99内射视频| 秋霞AV淫| 色婷婷操逼| 色99网| 婷婷91| 99久久极情精品一区| 五月丁香激情综合网| 色婷婷丁香五月| 亚洲婷婷五月天综合| 激情综合五月天| 777久久精品| 熟妇人妻中文字幕无码老熟妇| 99久久精彩视频。| 国产69久久久欧美黑人A片| 国产日日夜夜操| 综合久久十三| 久久精品人妻| 99热最新网址| 午夜成人片400| 婷婷五月天亚洲图片| 欧美激情-区二区三区| www.婷婷,com| 丁香婷婷久久| 先锋av性爱成人电影| 91免费试看| 久热99热| 日本的α片xxxwww| 香蕉99网| 色综合久久888| 婷婷丁香成人在线视频| 丁香影院五月综合| 久久伊人五月天| 丁香激情网| 99热官网| 亚洲va欧洲va国产va不卡| 午夜爱爱网站| 亚洲另类电影| 久久人妻伊人| 99九九免费精品| 久9热| 天天色,天天操,天天射| 国产免费一区二区三州老师F1F1……| 99亚洲视频| 性一交一乱一交A片久久四色| 九月激情综合| 五月天婷婷色紫薇阁| 99热黄| 狠狠香蕉| 亚洲婷婷五月天激情综合| 久久婷视频| 99热成人| 青青草成人网| 狠狠夜夜五月丁香| 香蕉大综综综合久久| 日韩成人综合网| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 天天射天天插天天干| 色五月激情五月天| 这里只有精品日韩精品| 99热 在线播放| 一本色道久久综合狠狠躁小说| 五月天丁香六月综合| 99久久超级| 26UUU欧美激情一区二区| 丁香六月天AV| 九九色色色| 嫩草极品| 日本99热| 看片视频在线免费日产在线看| 2020日日干| 中文字幕日产A片在线看| 99热一本久道| 99精品偷自拍| 亚洲操精品| 色狠狠图片| 色婷婷色99国产综合精品| 色天使久久综合| 97福利视频| 丁香五月天婷婷久久| 美女网黄| 九月婷婷在线观看| 欧美成人AAA片一区国产精品 | 天天插天天射天天干| 超碰成人公开| 激情久久久| 天天干电影| 五月丁香婷婷六月天| www.91九色| 热久久这里只有三级视频| 色婷五月天| 九九99热久久精品66中文字幕| 91碰碰| av无码电影| 久9精品视频在线| 91一起操| 中文av网站| 99热这里只有精品首页| 亚洲性色XXXXX| 激情综合网之激情五月| 丁香婷婷五月天激情四射| 婷婷丁香五月基地| 五月激香蕉网| 中文字幕一色哟哟哟哟| 99热18| 99热这里都是精品| 婷婷五月天激情小说| 五月丁香六月欧美| 天天粽合合合合| 激情视频婷婷五月花| 婷婷六月综合| 五月综合丁| 中文字幕在线视频播放| 99色爱| 91日韩在线| 开心五月深爱五月| 久久九九99| 激情婷婷五月| 99亚洲视频| 天天综合在线网| 五月丁六月婷| 五月天停停基地| 五月婷婷丁香色吧网| 丁香五月天在线直播观看| 开心五月天激情网| 婷婷俺去也| 午夜成人网站在线观看| 第四色五月婷婷| 开心婷婷五月| 五月丁香综合| 激情av在线| 操日视频| 性色婷婷| 久久婷婷综| 性生活视频98791| 婷婷五月丁香综合激情| 亚洲另类婷婷综合| 棕合影院色色| 综合网五月| 一本色道久久综合狠狠躁小说| 几激情五月婷婷色五月色天堂| VA国产在线综合网站| 丁香激情五月综合网| 丁香五月AV在线| 九九综合久久| 日日干综合| 伊人五月久久| www开心激情网| 激情综合网 激情五月天| 亚洲久热无码| 99色网站| 91人妻PORNY九色大屁股| 久热无码| 免费看欧美成人A片无码| 免费视频WWW在线观看网站| 成人AV在线电影| 99精品偷自拍| 久久婷婷综合五月| 午夜九九九九九九| 亚洲性爱电影| 久这里只有精品| 日在线V视频在线播放| 婷婷五月深深爱| 天天插天天爽| 99re在线观看| 国产午夜成人AV在线播放| 色婷婷在线视频观看| 日韩av网站在线观看| 翔田千里 50岁 无码| 一区二区中文字幕| 五月天基地| 日本婷婷五月天| 狠狠干婷婷| 亚洲成av人影院| 99视频日韩| 超碰成人电影| 激情亚洲婷婷六月| 五月亭亭开心网| 丁香成人五月天| www.色五月| 一级黄色操B| 亚洲综合在线伊人婷| 国产五月视频| 狠狠操狠狠色| 97久人人| 插插插丁香五月婷婷| 五月WWW| 91九色无码日韩| 99爱视频| 亚洲AV无码成人精品区电影网| 婷婷五月天大香蕉| 亚洲午夜精品久久久久久人妖| 亚洲性受XXXX五月丁香| 九九九九九九九热| 色综合丁香婷婷| 最近免费中文字幕大全高清大全1| 五月婷婷久久大片| 99在线视频精品| 开心五月激情站| 少妇性按摩无码中文A片| 五月天色色网站| 丁香情色五月| 丁香五月婷婷av| 婷婷深爱色五月| 99无码视频| 99ER热精品视频| 九九人人精品| 狠狠va| 91精品久久久久、久五月天| 亚州美女| 手机在线日韩视频中文字幕| www.丁香黄色五月天人与| 亚洲综合视频网| 亚洲mm免费| 看婷婷五月天网| 久色资源网| 丁香五月av| 综合激情在线观看| 亚洲综合色丁香五月天| 久久婷婷色| 亚洲视频另类| 五月婷婷播| 99噜噜| 99热8在线| 色玖玖玖| 六月婷婷影院| 性色五月天| 亚洲秘 无码一区二区三区妃光/1| 婷婷精品视频| 亚洲色无码| 色色色综合网| 日韩色久| 五月丁香777| 丰满少妇乱A片无码| 婷婷激情五月| 婷婷刺激综合| 大鸡巴伊人网| 丁香婷婷五月天色播| 另类色视频| 婷婷色操| 黄色网址五月婷婷| 秋霞免费三级片| 国产色网站| 一区=区操屄高清大全av| 第四色婷婷色五月| 欧美色婷婷| 99精品热视频| 婷婷五月天天爽| 丁香婷婷婷| 五月丁香六月激情狠狠| 激情综合网激情五月天| 成人片在线播放| 久久五月网| 中日韩狠狠色| 五月天婷婷爱| #NAME?| 色噜噜在线| 最近中文字幕在线中文视频| 九九成人高清视频| www五月| 久热精品视频在线观| 亚洲综合色色| 999激情视频| 美国十月色婷婷在线观看| 九九九AAA热视频| 色五月天网| 成人在线观看国产| wwccc久久久| 丁香六月天| 干亚洲天堂| 狠狠综合网| 五月天天天综合| 丁香色婷婷| 激情五月丁香五月| 色综合久久888| 丁香五月影视| 亚洲色综合| 婷婷五月激情综合| 婷婷综合激情| 色婷婷五月天中文字幕| av大香蕉| 99久久66| 少妇人妻人伦A片| 久久99激情| 无码人妻丰满熟妇奶水区码| 天天综合图片| 黄色AAAA韩国guochansanji| 操操操AV| 色综合久久综合| 99在线热视频| 丁香五月欧美激情| 五月天激情亚洲| 最新日本A片| 五月天综合在线| 亚洲狠狠狠色婷婷综合激情久久久| 丁香婷婷网| 日韩久久视频| 久久网站观看免费欧洲国产 | 日本人妻操| 激情五月开心五月丁香五月| 在线观看996精品| 成人网站在线观看视频| 综合亚洲六月婷婷在线| 开心激情站| 热99re| 久久性爱激情| 欧美色色色色色色色色色色| 日本色婷婷| 免费观看18视频网站| www.夜夜騎夜夜狠| 五月天另类图片区99| 天天摸天天肏| 香蕉婷婷色五月| 欧美经典片免费观看大全| 天天成人丁香美女AV| 99热99天堂| 91Chinese在线| 国语对白性爱视频播放| 超碰婷婷五月| 婷婷五月免费视频| 亚洲高清在线| 思思久久99热只有频精品66| 五月草影视| 69久久99精品久久久久婷婷| 另类激情中文| 五月婷婷精品无在线| 久久天堂加勒比| 丁香五月天视频| 天天成人综合视频| 激情伊人网| 五月天婷婷色| 噜噜色com| 久碰视频| 91久女| 色色五月天丁香| 婷婷五月免费观看| 成人AV综合在线| 精品久久久人妻| 五月激情婷婷播播网| 99偷拍视频在线日本| 亚洲热视频在线| 午夜激情五月| 国产免费AV在线| 亚洲无AV在线中文字幕| 这里只有精彩视频| 99在线观看亚洲| 久草五月丁香婷婷综合| 久久久久久久97| 99色热视频| 91色色色18| 综合五月天| 成人免费高清在线播放| 性小说五月天| 婷婷丁香黄色| 91九色精品熟女内射| 噜噜色婷婷| 五月色婷婷综合色| 久艹久| 五月丁香婷婷色| 五月天色视频| 婷婷五月综合婷婷| 日韩成人电影Av| 桔色成人官方网站| 久久九九国产| 免费黄网不卡AV| 中文字幕黄色片| 99成人精品视频| 色情·com| 91无码高清| av高清无码| 激情五月天啪啪| 91小黄书网址在线观看| 大香蕉久久伊人婷婷五月丁香| 六月丁香五月婷婷| 五月综合激情| 91精品国产综合久久密臀| 六月婷婷综合| 99色.com| 欧美大片免费观看| 91人人网| 婷婷五月天免费视频| 狠狠搞综合色| 色五月婷婷色| 热99一二三| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 夜夜干 夜夜操| 色五月开心五月激情五月| 九九精品综合| www.久99| 国产亚洲精品久久久久久郑州| 五月综亚洲| 婷婷四色五月| 丁香五月天堂网AV| 丁香五月激情图片婷婷| 久久久com| 人人澡玖玖一| 99热这里只有精品55| 狠狠色综合五月| 天天在线久久综合 | 91丨九色丨白浆秘| 99热这里只有精品3| 久久这里99| 激情六月丁香综合| 婷婷色激情网| 97干视频| 五月丁香色婷婷色| 久久九九re热| 91干99| 综合久久婷婷99| 中文幕无线码中文字蜜桃| 爱射综合| 综合色色婷婷| 婷婷五月天堂| 婷婷八月丁香激情综合| 亚洲AV色婷婷人禽五月天| 丁香五月婷婷天激情| sS丁香五月婷婷| 婷五月丁香俺| 丁香五月影视| www99在线观看视频| 色婷婷在线影院| 久久亭亭电影| 五月丁香综合精品欧美| 99ER热精品视频| 国产乱妇无乱码大黄AA片| 色婷婷综合网站| 99热这里只有精彩| 色五月婷婷综合| 91狠狠色色丁香婷婷综合久久| 九九在线视频| 99热碰碰热| 成人一级片| 色婷婷亚洲婷婷| 亚洲永久免费| 综合激情视频| 狠狠色噜噜狠狠狠888| 开心激情五月天网| 五月天婷婷丁香| 五月综合色| 丁香五月天婷婷激情| 激情综合网五月婷婷| 天天综合网在线| 丁香五月婷婷基地| 操一区| 欧美电影在线播放| 色和综合网| 亚洲午夜国产成人电影VA国产欧…| AV九九| 欧美私人家庭影院| 亚洲六月综合激情久久下卡| 香蕉人妻AV久久久久天天| 1024在线一区| 北条麻妃伊人| 丁香五月WWW| 激情文学第四色婷婷丁香五月| 丁香五月婷婷老师网站| 久久亭亭电影| 97影院一级片| 99精品国产在热久久| 久久视频婷婷视频| 1995年关宝慧版蜘蛛女| 中文在线视频久1| 色欲午夜无码久久久久久张津瑜| 激情五月丁香六月综合AVXXXX| 26UUU亚洲欧美| 欧美激情凹凸丁香网| 五月天婷婷在线AN| 91精品国产91久久久久青草| A久久| 内射在线CHINESE| 97午夜一区二区| 亚洲熟女乱色综合亚洲网站| 婷婷无码视频| 日 日干 日日做| 五月丁香六月婷婷的女人| 国产亚洲色婷婷久久99精品91| 欧美啄木乌丝袜人妻系列| 激情5月婷婷| 91性高潮久久久久久久久| 久久久97| 色色图五月天| 亚洲六月色婷婷| 五月天综合缴情网网站0| 在线观看玖玖资源免费观看| 开心五月深爱五月| 丁香六月婷婷色XXXXX| 99超超碰| 久久九九re热| 激情深爱综合| 国产色五月| 人人人操| 中国女人做爰A片| 五月天另类小说久久小说网| 99亚洲视频| 丁香五月婷婷丫| 色婷婷成人| 五月婷婷综合网| 91人妻人人操| 97碰久久| 四虎婷婷五月天| 亚洲激情网| 99综合| 婷婷五月激情五月丁香五月| 色色色色欧洲| 婷婷五月亚洲一本在线丁香| 成人看片网站| 噢美99| 99热综合在线| 97操碰日本女人| 翔田千里 50岁 无码| 婷婷五月天视频小说| 婷婷五月天亚洲五码| 婷婷久久综合| 色欲婷婷五月天丁香| 五月停停直播| 99热国内精品| 综合av在线| 九色91视频| 天天天日天天天干| 婷婷在线精品| 91丨九色丨老熟女激情| 天天激情综合| 久久久久久久人妻| 黄色国久久| 91热久久| 丁香五月亚洲| 五月婷婷综合网| 狠狠色噜噜狠狠| 99热这里只有精品23| 激情五月综合| 7777国产盗摄农村女人| 99啪啪| va婷婷| 99色综合| 日韩亚洲视频| 色婷婷成人| 欧美顶级少妇做爰HD| 丁香五月综合激情啪啪| 五月丁香六月婷婷综合| 五月天婷婷基地| 九九99九九99偷拍视频免费看| 色婷婷成人丁香| 成人网在线视频| 99欧美精品99日本精品| 丁香五月婷婷婷婷欧美综合| 亚洲婷婷激情综合激情999精品| 日本片日本片祼观看网站在线看中文版网页在线看 | 日日噜噜久久婷婷五月天| 国产 A片 自拍| 97人人做| 午夜色丁香| 亚洲色a| 99热9| 另类在线| 激情 婷婷| 9热久久在线| 九九视频精品在线免费 | 秋霞九九无码| 99高级会所久久| 久久九九综合| 日本99在线| 99热在这里只有精品| 果冻传媒A片一二三区| 婷婷五月 丁香六月| 五月天婷婷基地| 懂色av蜜臀av粉嫩av永陈冠希| 五月天天丁香婷婷在线中| www99在线观看视频| 激情碰碰碰| 99热在线观看精品免费| 中文字幕视频色婷婷| 狠狠狠狠狠狠狠狠狠狠狠色宗合图片| 色九月婷婷丁香| 天啪色| 开心激情网五月| 伊人大香蕉毛片| 天天插天天草人人玩| 日韩人妻无码专区| 九九热超碰| 婷婷九月激情| 97色婷婷成人综合在线观看| 99ri精品在线| 亚洲人妻电影| 色色色色色色色色综合网| 伊人九九九久| 九九综合久久| 五月丁香六月激情| 密桃激情五月天综合网| 高潮毛片又色又爽免费| 五月天婷婷色小说| 农村熟妇高潮精品A片| 99爱在线| 五月婷婷色色| 99热在线里有精品| 丁香五月色| 激情文学天天| http:色情日本com| 99激情视频热| 无人区码一码二码三码医生系列| 成人资源在线| 99热99| 亚洲熟妇无码乱子AV电影| 伦99热| 99精彩视频| 婷婷综合网性| 91热在线| 欧美精品99久久久| 婷色五月天| 日韩xx在线| 9有码中文| 99热日| 成人精品人妻| 亚洲天堂热| 丁香五月影院| 精品久热| 丁香五月激情欧欧美| 337p大胆噜噜噜噜噜91Av| 亚洲色婷婷色| 亚洲精品国产熟女久久久| 久久成人综合五月天| 色九九九综合| 国产性爱亚洲是图| 91九色中文| 色色色五月天婷婷| 伍月婷婷六月丁香| 97在线/日本| AV在线免费播放| 99热99干| 国产亚洲精品久久久久久郑州| 激情五月综合网最新| 五月丁香777| 五月六月丁香婷婷在线观看| 99久久婷婷国产综合精品| 亚洲激情五月| 久久东京热婷婷五月| 色婷婷99| 五月丁香另类网| 99国产欧美视频| 日本九九九九| 五月丁香六月婷婷不卡免费无码| 色五月在线播放| 日本婷婷综合精品| 色婷婷精| 色噜噜狠狠色综合成人网| 性日本激情| 六月五月天婷婷涩播在线| 99在线精品在线视频| 激情综合国产| 九九色综合| 夜夜操天天爽| 五月婷久久草| 丁香五月天色婷婷| 中文国产五月天| 久草五月婷婷| 少妇人妻人伦A片| 99热只有这里有精品| 五月天久久婷婷| www.色婷婷.com| 丁香六月情| 97操碰| 久色大香蕉| 五月天综合婷婷| 五月丁香无码视频| 97中文在线| 丁香久久在线| 日韩99视频| 婷婷黄色五月天在线视频| www.精品久9| 日韩成人综合网| 99热在线精品观看| 久操b网| 丁香婷婷婷五月综合色情| AAA久久| 亚洲操操操| 婷婷六月丁香综合| 毛片九九九九九九| 婷婷五月成人| 免费五月婷婷网| 第四色色六月色综合| 99热官网精品在线| 天天日天天舔| 丁香五月天堂网| 五月亚洲激情| 色五月激情综合| 大香伊人久色| 久久久999精品| 91wwmm导航| 婷婷五月中文在线| 成人人操| 色爆五月| 久久精品人妻| 26uuu国产精品| 五月婷婷影院| 丁香五月婷婷激情97| 综合激情婷婷| 五月亭亭直播| 日操五月婷| 超碰在线99| 久婷视频| 开心五月婷婷| 激情五月天色色网| 九九热视| 丁香月五月天婷婷久久| 97操操操| 五月天最新网| 婷婷五月天六月综合| 色欲色天天香综合| 婷婷久久女人| 51精品国自产在线| 色中色综合| 五月精品| 天天日天天日天天搞| 国产欧美婷婷五月| 俺也去婷婷五月天第五色| 久re热视频|