欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線(xiàn)實(shí)戰(zhàn)洞察。

分布式計(jì)算如何將芯片電源簽核周期從幾周縮短到幾天

分布式計(jì)算如何將芯片電源簽核周期從幾周縮短到幾天 在芯片后端設(shè)計(jì)流程中電源簽核Power Signoff是流片Tapeout前最耗時(shí)的環(huán)節(jié)之一。一顆復(fù)雜 SoC 的全芯片電源網(wǎng)絡(luò)分析往往要跑好幾周才能出結(jié)果一旦 IR Drop 或 EM 違反要求修改后又要重新來(lái)一輪整個(gè)項(xiàng)目排期被拖得很緊。本文想結(jié)合這類(lèi)真實(shí)痛點(diǎn)拆解一套自研高性能分布式解決方案的技術(shù)思路為什么電源簽核這么慢分布式架構(gòu)如何把幾周的周期壓縮到幾天以及落地時(shí)需要注意哪些工程問(wèn)題。內(nèi)容適合芯片后端工程師、EDA 工具開(kāi)發(fā)人員以及對(duì)高性能計(jì)算和分布式系統(tǒng)感興趣的開(kāi)發(fā)者。1. 電源簽核為什么需要分布式計(jì)算1.1 什么是芯片電源簽核芯片內(nèi)部有成千上萬(wàn)個(gè)標(biāo)準(zhǔn)單元和宏單元它們需要依靠電源網(wǎng)絡(luò)把外部電壓送到每一個(gè)供電引腳。當(dāng)芯片工作在特定頻率和負(fù)載條件下電流在電源網(wǎng)絡(luò)中流動(dòng)會(huì)產(chǎn)生電壓降IR Drop長(zhǎng)期大電流還會(huì)引發(fā)金屬連線(xiàn)的電遷移EM問(wèn)題。電源簽核要做的事情就是在流片之前驗(yàn)證所有單元在最高功耗場(chǎng)景下收到的電壓是否仍然滿(mǎn)足時(shí)序要求電源網(wǎng)絡(luò)走線(xiàn)是否能在產(chǎn)品生命周期內(nèi)穩(wěn)定工作。從專(zhuān)業(yè)角度拆開(kāi)看電源簽核通常包括三大部分IR Drop 分析、EM 分析、功耗與熱分析。IR Drop 關(guān)注靜態(tài)和動(dòng)態(tài)電壓降EM 關(guān)注金屬連線(xiàn)上的電流密度是否超過(guò)安全上限功耗分析則用來(lái)評(píng)估峰值功耗、平均功耗幫助選擇封裝和散熱方案。一次完整的全芯片電源簽核往往需要對(duì)多個(gè)電壓域、多個(gè)功能模式、多個(gè)工藝角corner做組合遍歷計(jì)算量非常驚人。1.2 傳統(tǒng)電源簽核慢在哪里傳統(tǒng)簽核流程的第一個(gè)瓶頸是數(shù)據(jù)規(guī)模。進(jìn)入 7nm、5nm 甚至更先進(jìn)工藝之后全芯片電源網(wǎng)格的節(jié)點(diǎn)數(shù)量往往以?xún)|為單位。對(duì)這些節(jié)點(diǎn)建立矩陣方程并求解單臺(tái)服務(wù)器的內(nèi)存很容易觸頂內(nèi)存一旦不夠計(jì)算只能回退到磁盤(pán)交換速度會(huì)驟降幾個(gè)數(shù)量級(jí)。第二個(gè)瓶頸是迭代流程。傳統(tǒng)的簽核流程通常是串行的先整理數(shù)據(jù)再做功耗分析然后跑 IR/EM 仿真最后看報(bào)告。如果某一項(xiàng)不滿(mǎn)足就要修改電源網(wǎng)格或單元布局再重新跑一遍。一次完整簽核需要兩到三周一個(gè)項(xiàng)目往往要經(jīng)歷多輪迭代流片窗口很容易被錯(cuò)過(guò)。第三個(gè)瓶頸來(lái)自工具本身的擴(kuò)展性。很多商業(yè) EDA 工具的分布式能力依賴(lài)額外的 license 和內(nèi)置調(diào)度機(jī)制擴(kuò)展性有限。團(tuán)隊(duì)如果同時(shí)起多個(gè)任務(wù)license 數(shù)量不夠時(shí)就會(huì)排隊(duì)排隊(duì)時(shí)間甚至比計(jì)算時(shí)間還長(zhǎng)。這也是不少團(tuán)隊(duì)開(kāi)始考慮自研分布式方案的根本原因。1.3 分布式方案如何壓縮簽核周期分布式方案的基本出發(fā)點(diǎn)可以概括為“分而治之”。把全芯片的電源網(wǎng)絡(luò)分析按照物理區(qū)域、電壓域或驗(yàn)證場(chǎng)景拆分成多個(gè)子任務(wù)由多臺(tái)計(jì)算節(jié)點(diǎn)并行處理再把各子任務(wù)的結(jié)果合并為全芯片報(bào)告。假設(shè)單機(jī)需要兩周的計(jì)算時(shí)間拆成 4 個(gè)子任務(wù)后理想情況下可以壓縮到幾天。根據(jù)行業(yè)實(shí)踐芯曉科技通過(guò)自研高性能分布式解決方案把芯片電源簽核周期從幾周縮短到幾天。這背后并不是簡(jiǎn)單地把工具“多開(kāi)幾個(gè)窗口”而是要解決三個(gè)核心工程問(wèn)題任務(wù)怎么拆、任務(wù)怎么調(diào)度、結(jié)果怎么合并。本文后面的章節(jié)會(huì)圍繞這三個(gè)問(wèn)題展開(kāi)并給出一個(gè)可運(yùn)行的調(diào)度原型方便你理解整套流程的落地細(xì)節(jié)。2. 分布式電源簽核的整體架構(gòu)與選型2.1 硬件與軟件環(huán)境分布式電源簽核的計(jì)算環(huán)境一般是一個(gè)小規(guī)模的 Linux 集群。計(jì)算節(jié)點(diǎn)之間通過(guò)萬(wàn)兆以太網(wǎng)或 InfiniBand 互聯(lián)共享存儲(chǔ)用于讀寫(xiě)版圖數(shù)據(jù)、工藝庫(kù)、中間結(jié)果和最終報(bào)告。共享文件系統(tǒng)可以選擇 NFS、Lustre、BeeGFS 等方案具體選型取決于團(tuán)隊(duì)已有基礎(chǔ)設(shè)施。這里特別要提醒的是存儲(chǔ)子系統(tǒng)往往是容易被忽略的瓶頸因?yàn)殡娫春灪松婕按罅堪鎴D文件和波形文件I/O 壓力并不比 CPU 壓力小。軟件層面通常需要一套任務(wù)調(diào)度系統(tǒng)調(diào)度系統(tǒng)之下每個(gè)計(jì)算節(jié)點(diǎn)調(diào)用真實(shí)的 EDA 簽核工具執(zhí)行 IR/EM 分析。操作系統(tǒng)以 Linux 為主版本需要根據(jù) EDA 工具的認(rèn)證版本選擇。不同工具對(duì)操作系統(tǒng)的認(rèn)證環(huán)境有差異因此環(huán)境版本要按項(xiàng)目實(shí)際情況調(diào)整不要盲目追求最新系統(tǒng)版本穩(wěn)定性?xún)?yōu)先。2.2 架構(gòu)組件與數(shù)據(jù)流整體架構(gòu)可以分成三層控制層、計(jì)算層、存儲(chǔ)層。控制層負(fù)責(zé)任務(wù)拆分、調(diào)度、監(jiān)控和結(jié)果匯總計(jì)算層由多臺(tái) Worker 節(jié)點(diǎn)組成每個(gè) Worker 消費(fèi)一個(gè)子任務(wù)存儲(chǔ)層保存全芯片數(shù)據(jù)、分區(qū)數(shù)據(jù)、日志和最終報(bào)告。一次完整的數(shù)據(jù)流大致是下面這樣數(shù)據(jù)準(zhǔn)備輸入全芯片版圖數(shù)據(jù)、電源網(wǎng)格數(shù)據(jù)、工藝庫(kù)和約束文件。任務(wù)下發(fā)控制節(jié)點(diǎn)按照拆分策略生成多個(gè)分區(qū)任務(wù)并提交到調(diào)度隊(duì)列。并行計(jì)算各計(jì)算節(jié)點(diǎn)從共享存儲(chǔ)讀取各自的分區(qū)數(shù)據(jù)調(diào)用簽核工具執(zhí)行分析輸出分區(qū)結(jié)果。合并驗(yàn)證控制節(jié)點(diǎn)收集所有分區(qū)結(jié)果執(zhí)行合并與一致性校驗(yàn)生成全芯片簽核報(bào)告。這套流程中控制節(jié)點(diǎn)是“大腦”Worker 是“四肢”共享存儲(chǔ)是“記憶”。任何一個(gè)環(huán)節(jié)設(shè)計(jì)不合理都可能讓分布式方案的優(yōu)勢(shì)大打折扣。2.3 技術(shù)選型自研調(diào)度器還是開(kāi)源框架很多團(tuán)隊(duì)會(huì)問(wèn)直接用開(kāi)源分布式調(diào)度框架不行嗎當(dāng)然可以。但電源簽核場(chǎng)景有一些特殊性單個(gè)任務(wù)可能運(yùn)行幾小時(shí)甚至一天任務(wù)之間存在依賴(lài)關(guān)系比如必須先做功耗分析再做 IR/EM 分析而且調(diào)度系統(tǒng)需要和 EDA 工具鏈深度集成。通用流式框架雖然生態(tài)成熟但面對(duì)長(zhǎng)時(shí)間任務(wù)、斷點(diǎn)續(xù)跑、結(jié)果血緣記錄這些需求時(shí)往往需要做大量定制。因此不少團(tuán)隊(duì)選擇自研輕量調(diào)度器只保留自己需要的調(diào)度語(yǔ)義配合消息隊(duì)列實(shí)現(xiàn)任務(wù)分發(fā)和狀態(tài)同步。自研的初期成本確實(shí)更高但調(diào)度語(yǔ)義可以完全自定義后續(xù)擴(kuò)展也更靈活。如果團(tuán)隊(duì)已經(jīng)有消息中間件和監(jiān)控基礎(chǔ)設(shè)施建議在第一版就搭好任務(wù)狀態(tài)表和監(jiān)控大盤(pán)這對(duì)后續(xù)排查問(wèn)題非常有幫助。3. 核心原理拆解任務(wù)拆分、調(diào)度與結(jié)果合并3.1 任務(wù)拆分從物理區(qū)域到計(jì)算單元任務(wù)拆分是分布式電源簽核的關(guān)鍵常用策略有三種按物理區(qū)域劃分、按電源域劃分、按場(chǎng)景劃分。按物理區(qū)域劃分最直觀把芯片版圖按坐標(biāo)切成多個(gè)矩形分區(qū)每個(gè)分區(qū)交給一臺(tái)機(jī)器分析。但這種切法會(huì)切斷電源網(wǎng)格導(dǎo)致邊界區(qū)域的電流路徑不完整。解決辦法是在邊界處做重疊overlap讓相鄰分區(qū)有一部分計(jì)算區(qū)域是重復(fù)的合并時(shí)再統(tǒng)一裁決。按電源域劃分適合多電壓域芯片。不同電壓域之間本身有隔離結(jié)構(gòu)相互作用相對(duì)較小天然適合并行。按場(chǎng)景劃分則適合多 corner、多 mode 組合一個(gè)場(chǎng)景一個(gè)任務(wù)并行度最高但對(duì)存儲(chǔ)和 license 的消耗也更大。實(shí)際項(xiàng)目中通常混合使用先按場(chǎng)景分再按區(qū)域分最終形成一張任務(wù)樹(shù)。拆分粒度對(duì)性能影響很大。分區(qū)數(shù)量越多單個(gè)任務(wù)計(jì)算時(shí)間越短但邊界合并和校驗(yàn)的成本越高還可能帶來(lái)精度損失。分區(qū)粒度需要根據(jù)芯片面積、機(jī)器內(nèi)存和可用節(jié)點(diǎn)數(shù)做幾輪實(shí)驗(yàn)才能確定。3.2 任務(wù)調(diào)度狀態(tài)機(jī)與容錯(cuò)任務(wù)調(diào)度核心是一個(gè)狀態(tài)機(jī)。一個(gè)任務(wù)至少經(jīng)歷 pending、running、completed、failed 四種狀態(tài)。調(diào)度器負(fù)責(zé)任務(wù)分發(fā)、狀態(tài)更新、失敗重試。考慮容錯(cuò)時(shí)Worker 節(jié)點(diǎn)可能在任務(wù)執(zhí)行期間宕機(jī)調(diào)度器需要有心跳機(jī)制檢測(cè)節(jié)點(diǎn)健康超時(shí)未上報(bào)的任務(wù)要重新調(diào)度。調(diào)度策略上首先要做拓?fù)渑判驖M(mǎn)足依賴(lài)關(guān)系的任務(wù)才能進(jìn)入待調(diào)度隊(duì)列。資源分配方面調(diào)度器要記錄每個(gè) Worker 的 CPU、內(nèi)存、license 占用情況可以采用最簡(jiǎn)單的“最少負(fù)載優(yōu)先”或“先來(lái)先服務(wù)”策略。對(duì)電源簽核場(chǎng)景來(lái)說(shuō)優(yōu)先級(jí)應(yīng)該支持人工調(diào)整比如某個(gè)分區(qū)發(fā)現(xiàn)問(wèn)題后相關(guān)的后續(xù)任務(wù)可以?xún)?yōu)先執(zhí)行。為了避免單點(diǎn)故障調(diào)度器本身建議做高可用。至少要做到調(diào)度記錄和任務(wù)狀態(tài)寫(xiě)入持久化存儲(chǔ)調(diào)度進(jìn)程重啟后可以恢復(fù)而不是把狀態(tài)全部放在內(nèi)存里。3.3 結(jié)果合并與一致性校驗(yàn)合并階段要處理分區(qū)結(jié)果的重疊區(qū)域。以 IR Drop 為例兩個(gè)相鄰分區(qū)會(huì)各自給出邊界節(jié)點(diǎn)的電壓值合并時(shí)需要統(tǒng)一到同一個(gè)節(jié)點(diǎn)坐標(biāo)上并以更保守的值或仿真精度更高的值作為最終結(jié)果。對(duì)于 EM 違反只需要把各個(gè)分區(qū)的違反點(diǎn)匯總?cè)ブ?。一致性校?yàn)同樣重要。系統(tǒng)要對(duì)比重疊區(qū)域的結(jié)果設(shè)置容差閾值比如電壓差超過(guò) 1mV 就報(bào)告警告。如果相鄰分區(qū)邊界數(shù)據(jù)差值過(guò)大說(shuō)明拆分或仿真設(shè)置存在不一致需要重新檢查邊界條件和工藝庫(kù)參數(shù)。這個(gè)步驟在自動(dòng)化流水線(xiàn)中必須顯式標(biāo)記為校驗(yàn)失敗不能直接放行。另外每個(gè)子任務(wù)對(duì)應(yīng)的輸入數(shù)據(jù)和版本信息都要記錄保存確保結(jié)果可追溯。簽核報(bào)告最終要能追溯到使用的是哪一版版圖、哪一版工藝庫(kù)、哪個(gè)分區(qū)腳本這在流片前的評(píng)審和審計(jì)中非常關(guān)鍵。4. 實(shí)戰(zhàn)案例用 Python 實(shí)現(xiàn)一個(gè)分布式簽核調(diào)度原型下面我們用一個(gè) Python 原型來(lái)演示整體流程。需要說(shuō)明的是真實(shí)的電源簽核工具通常通過(guò)命令行方式調(diào)用本文用模擬函數(shù)代替重點(diǎn)演示任務(wù)拆分、調(diào)度和合并的工程思路。你可以把核心流程遷移到自己實(shí)際的調(diào)度系統(tǒng)中。4.1 項(xiàng)目結(jié)構(gòu)與準(zhǔn)備項(xiàng)目目錄結(jié)構(gòu)如下power_signoff_distributed/ ├── task_model.py ├── worker.py ├── scheduler.py ├── merger.py └── run_example.py各文件職責(zé)如下task_model.py定義任務(wù)和結(jié)果的數(shù)據(jù)結(jié)構(gòu)。worker.py模擬單個(gè)分區(qū)上的電源簽核計(jì)算。scheduler.py實(shí)現(xiàn)簡(jiǎn)單的分布式任務(wù)調(diào)度。merger.py實(shí)現(xiàn)分區(qū)結(jié)果合并與邊界一致性檢查。run_example.py組裝整個(gè)流程并運(yùn)行示例。環(huán)境要求是 Python 3.8 及以上示例只使用標(biāo)準(zhǔn)庫(kù)不依賴(lài)第三方包。4.2 定義任務(wù)數(shù)據(jù)模型創(chuàng)建task_model.py定義分區(qū)任務(wù)和任務(wù)結(jié)果# task_model.py from dataclasses import dataclass, field from typing import List, Optional dataclass class PartitionTask: task_id: str region_name: str mode: str corner: str x_start: int x_end: int y_start: int y_end: int status: str pending # pending / running / completed / failed retry_count: int 0 dataclass class TaskResult: task_id: str max_ir_drop_mv: Optional[float] None em_violation_count: int 0 em_violation_points: List[tuple] field(default_factorylist) error_message: str PartitionTask中記錄了任務(wù)所屬的區(qū)域坐標(biāo)、工作模式、工藝角等信息。status字段用來(lái)支持調(diào)度的狀態(tài)流轉(zhuǎn)。TaskResult保存該分區(qū)計(jì)算出的最大 IR Drop、EM 違反點(diǎn)列表以及可選的錯(cuò)誤信息。4.3 實(shí)現(xiàn) Worker 與調(diào)度器創(chuàng)建worker.py模擬單個(gè)分區(qū)上的簽核計(jì)算。實(shí)際項(xiàng)目中這個(gè)函數(shù)內(nèi)部應(yīng)該通過(guò)命令行調(diào)用真實(shí)的 EDA 簽核工具# worker.py import random import time from task_model import PartitionTask, TaskResult def run_power_signoff(task: PartitionTask) - TaskResult: # 模擬耗時(shí)操作實(shí)際場(chǎng)景中這里調(diào)用 EDA 簽核工具 seconds random.randint(1, 3) time.sleep(seconds) # 模擬該分區(qū)的分析結(jié)果 result TaskResult( task_idtask.task_id, max_ir_drop_mvround(random.uniform(10.0, 50.0), 2), em_violation_countrandom.randint(0, 5), ) for _ in range(result.em_violation_count): x random.randint(task.x_start, task.x_end) y random.randint(task.y_start, task.y_end) result.em_violation_points.append((x, y)) return result創(chuàng)建scheduler.py實(shí)現(xiàn)一個(gè)簡(jiǎn)單的線(xiàn)程池調(diào)度器# scheduler.py from concurrent.futures import ThreadPoolExecutor from typing import List from task_model import PartitionTask, TaskResult from worker import run_power_signoff class PowerSignoffScheduler: def __init__(self, max_workers: int 4): self.executor ThreadPoolExecutor(max_workersmax_workers) self.futures {} def submit(self, task: PartitionTask): task.status running future self.executor.submit(run_power_signoff, task) self.futures[future] task return future def collect(self) - List[TaskResult]: results [] for future, task in self.futures.items(): try: result future.result() task.status completed results.append(result) except Exception as e: task.status failed results.append(TaskResult(task_idtask.task_id, error_messagestr(e))) return results這里用ThreadPoolExecutor是為了演示方便。如果任務(wù)是 CPU 密集型的真實(shí)簽核計(jì)算更推薦使用ProcessPoolExecutor或真正的多機(jī)調(diào)度避免 Python GIL 限制并行效率。實(shí)際生產(chǎn)系統(tǒng)還需要狀態(tài)持久化、失敗重試和心跳檢測(cè)這些都可以在PowerSignoffScheduler基礎(chǔ)上擴(kuò)展。4.4 實(shí)現(xiàn)結(jié)果合并模塊創(chuàng)建merger.py把各分區(qū)的結(jié)果合并為全芯片級(jí)報(bào)告# merger.py from typing import List from task_model import TaskResult class ReportMerger: def __init__(self, tolerance_mv: float 1.0): self.tolerance_mv tolerance_mv def merge(self, results: List[TaskResult]) - dict: if not results: return { max_ir_drop_mv: 0.0, em_violation_points: [], overlap_warnings: [], } all_ir [r.max_ir_drop_mv for r in results if r.max_ir_drop_mv is not None] max_ir_drop_mv max(all_ir) all_points [] for r in results: all_points.extend(r.em_violation_points) # 模擬重疊區(qū)域一致性檢查 overlap_warnings [] if len(all_ir) 2 and (max(all_ir) - min(all_ir)) self.tolerance_mv: overlap_warnings.append(分區(qū)最大IR Drop差異超過(guò)容差需要人工復(fù)核) return { max_ir_drop_mv: max_ir_drop_mv, em_violation_points: all_points, overlap_warnings: overlap_warnings, }合并模塊在真實(shí)場(chǎng)景中會(huì)更復(fù)雜需要讀取每個(gè)分區(qū)的詳細(xì)節(jié)點(diǎn)電壓文件比較相鄰分區(qū)重疊區(qū)域的數(shù)值差異。這里的tolerance_mv就是一致性校驗(yàn)的閾值實(shí)際工程中應(yīng)該開(kāi)放配置。4.5 運(yùn)行與驗(yàn)證創(chuàng)建run_example.py把整個(gè)流程串起來(lái)# run_example.py from task_model import PartitionTask from scheduler import PowerSignoffScheduler from merger import ReportMerger def build_tasks(): tasks [] # 假設(shè)將芯片平面劃分為 3x2 共 6 個(gè)分區(qū) regions [ (0, 100, 0, 100), (100, 200, 0, 100), (0, 100, 100, 200), (100, 200, 100, 200), (0, 100, 200, 300), (100, 200, 200, 300), ] for idx, (x0, x1, y0, y1) in enumerate(regions): tasks.append( PartitionTask( task_idftask_{idx}, region_namefregion_{idx}, modefunc, cornerss_0p90v_125c, x_startx0, x_endx1, y_starty0, y_endy1, ) ) return tasks def main(): tasks build_tasks() print(f共生成 {len(tasks)} 個(gè)分區(qū)任務(wù)) scheduler PowerSignoffScheduler(max_workers3) for task in tasks: scheduler.submit(task) results scheduler.collect() print(f任務(wù)完成 {len(results)} 個(gè)) merger ReportMerger() report merger.merge(results) print( 全芯片簽核匯總 ) print(f最大IR Drop: {report[max_ir_drop_mv]} mV) print(fEM違反點(diǎn)數(shù)量: {len(report[em_violation_points])}) if report[overlap_warnings]: print(警告:, report[overlap_warnings]) else: print(邊界一致性檢查通過(guò)) if __name__ __main__: main()運(yùn)行命令cd power_signoff_distributed python run_example.py由于示例中使用了隨機(jī)數(shù)每次運(yùn)行的輸出會(huì)略有不同但整體結(jié)構(gòu)類(lèi)似共生成 6 個(gè)分區(qū)任務(wù) 任務(wù)完成 6 個(gè) 全芯片簽核匯總 最大IR Drop: 42.17 mV EM違反點(diǎn)數(shù)量: 13 邊界一致性檢查通過(guò)這個(gè)原型雖然簡(jiǎn)單但已經(jīng)覆蓋了任務(wù)拆分、并行調(diào)度、結(jié)果匯總和一致性校驗(yàn)四個(gè)關(guān)鍵步驟。你可以在此基礎(chǔ)上把run_power_signoff替換為真實(shí) EDA 工具調(diào)用把線(xiàn)程池替換為多機(jī)調(diào)度中間件就是一個(gè)可用的分布式電源簽核調(diào)度框架雛形。5. 常見(jiàn)問(wèn)題與排查思路分布式電源簽核系統(tǒng)在落地過(guò)程中會(huì)遇到不少問(wèn)題下面匯總幾類(lèi)高頻問(wèn)題問(wèn)題現(xiàn)象常見(jiàn)原因解決思路任務(wù)一直處于 pending 狀態(tài)調(diào)度隊(duì)列阻塞或等待依賴(lài)任務(wù)完成檢查依賴(lài)關(guān)系拓?fù)洳榭搓?duì)列積壓情況某個(gè)節(jié)點(diǎn)任務(wù)運(yùn)行特別慢存儲(chǔ) I/O 爭(zhēng)用或節(jié)點(diǎn) CPU 被其他任務(wù)占滿(mǎn)拆分存儲(chǔ)目錄監(jiān)控節(jié)點(diǎn)資源占用限制單節(jié)點(diǎn)并發(fā)合并結(jié)果中邊界電壓不連續(xù)分區(qū) overlap 設(shè)置不合理或邊界條件不一致增大重疊區(qū)域統(tǒng)一邊界約束文件分布式結(jié)果與單機(jī)全芯片結(jié)果差異較大拆分導(dǎo)致精度損失或仿真相網(wǎng)設(shè)置不一致對(duì)比單機(jī)結(jié)果標(biāo)定誤差調(diào)整分區(qū)粒度Worker 節(jié)點(diǎn)宕機(jī)后任務(wù)丟失缺少心跳和狀態(tài)持久化引入心跳檢測(cè)任務(wù)狀態(tài)寫(xiě)入數(shù)據(jù)庫(kù)超時(shí)自動(dòng)重調(diào)度并行度提升后總時(shí)間反而變長(zhǎng)拆分粒度過(guò)細(xì)通信和合并開(kāi)銷(xiāo)超過(guò)計(jì)算收益增大每個(gè)任務(wù)的計(jì)算量減少分區(qū)數(shù)量license 不足導(dǎo)致排隊(duì)工具 license 數(shù)量限制引入 license 資源統(tǒng)計(jì)按 license 可用量調(diào)度排查這類(lèi)問(wèn)題建議先看日志再看監(jiān)控最后看數(shù)據(jù)。日志要記錄每個(gè)任務(wù)的開(kāi)始時(shí)間、結(jié)束時(shí)間、狀態(tài)轉(zhuǎn)換和錯(cuò)誤信息監(jiān)控要覆蓋 CPU、內(nèi)存、磁盤(pán) I/O、網(wǎng)絡(luò)吞吐和 license 占用數(shù)據(jù)層面要能快速定位某個(gè)分區(qū)的輸入文件版本和輸出結(jié)果。6. 最佳實(shí)踐與工程建議在真正落地分布式電源簽核方案時(shí)下面幾條工程建議值得重點(diǎn)關(guān)注。第一點(diǎn)是“先正確、后快速”。分布式方案上線(xiàn)前一定要先選一塊中等規(guī)模的芯片用同一版數(shù)據(jù)分別跑單機(jī)全芯片分析和分布式分析對(duì)比最大 IR Drop、違反點(diǎn)位置和數(shù)量。只有誤差控制在可接受范圍內(nèi)才能繼續(xù)放大規(guī)模。不要一上來(lái)就追求速度正確性出問(wèn)題會(huì)導(dǎo)致流片風(fēng)險(xiǎn)。第二點(diǎn)是拆分粒度要?jiǎng)討B(tài)調(diào)整。靜態(tài)固定的拆分策略往往不是最優(yōu)的??梢愿鶕?jù)每個(gè)分區(qū)的實(shí)際計(jì)算耗時(shí)反饋動(dòng)態(tài)調(diào)整下一次的劃分方式。比如某些區(qū)域單元密度高計(jì)算量大就應(yīng)該切成更小的分區(qū)單元稀疏區(qū)域則可以合并成大分區(qū)。第三點(diǎn)是日志和血緣必須完整。分布式系統(tǒng)排查問(wèn)題的難度與節(jié)點(diǎn)數(shù)量成正比。每個(gè)任務(wù)至少要記錄輸入版圖文件路徑、工藝庫(kù)版本、配置參數(shù)、工具版本、輸出文件列表、執(zhí)行節(jié)點(diǎn)、開(kāi)始結(jié)束時(shí)間。這樣才能保證簽核報(bào)告可追溯、可復(fù)現(xiàn)。第四點(diǎn)是存儲(chǔ)和網(wǎng)絡(luò)不能省。很多人把精力放在調(diào)度器上最后發(fā)現(xiàn)瓶頸在共享存儲(chǔ)。建議把輸入數(shù)據(jù)、中間結(jié)果、最終報(bào)告分別放在不同目錄甚至不同存儲(chǔ)池避免大規(guī)模并行讀寫(xiě)互相干擾。網(wǎng)絡(luò)方面如果分區(qū)之間的中間文件交換頻繁建議優(yōu)先升級(jí)網(wǎng)絡(luò)而不是增加 CPU。第五點(diǎn)是監(jiān)控和告警要前置。分布式系統(tǒng)不是搭好就能穩(wěn)定運(yùn)行。任務(wù)失敗率、節(jié)點(diǎn)存活率、隊(duì)列積壓數(shù)、平均任務(wù)耗時(shí)這幾個(gè)指標(biāo)應(yīng)該從一開(kāi)始就接入監(jiān)控大盤(pán)設(shè)置合理告警閾值避免半夜任務(wù)掛掉第二天才發(fā)現(xiàn)。第六點(diǎn)是權(quán)限和安全邊界。EDA 數(shù)據(jù)是芯片公司核心資產(chǎn)集群訪(fǎng)問(wèn)要基于最小權(quán)限原則任務(wù)執(zhí)行賬號(hào)不應(yīng)有刪除其他團(tuán)隊(duì)數(shù)據(jù)的權(quán)限。涉及生產(chǎn)環(huán)境變更時(shí)先在小范圍驗(yàn)證再逐步擴(kuò)大任何批量操作前都要確認(rèn)備份策略。最后一點(diǎn)是要做好和現(xiàn)有流程的兼容。分布式簽核并不是要完全替代原有單機(jī)流程而是為大規(guī)模、多迭代場(chǎng)景提供加速通道。建議保留原有的單機(jī)流程作為對(duì)照分布式流程用作快速迭代和回歸驗(yàn)證兩邊結(jié)果定期對(duì)比確保長(zhǎng)期穩(wěn)定。7. 結(jié)語(yǔ)電源簽核從幾周縮短到幾天本質(zhì)上是把“等一個(gè)結(jié)果”變成了“集一批結(jié)果”。任務(wù)拆分、調(diào)度容錯(cuò)、結(jié)果合并這三件事做好分布式方案才能真正跑起來(lái)。本文用一個(gè)小型 Python 原型演示了核心流程實(shí)際項(xiàng)目中你還需要接入真實(shí) EDA 工具、補(bǔ)齊狀態(tài)持久化和監(jiān)控告警并且通過(guò)多輪對(duì)比實(shí)驗(yàn)標(biāo)定拆分精度。分布式計(jì)算并不是銀彈但它確實(shí)是當(dāng)前芯片簽核提速最務(wù)實(shí)的路徑之一。如果你正在做類(lèi)似的后端簽核平臺(tái)或高性能計(jì)算改造可以從本文的調(diào)度原型入手先搭一個(gè)小規(guī)模閉環(huán)再逐步擴(kuò)展到全芯片級(jí)規(guī)模。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九九99九九99偷拍视频免费看| 午夜成人综合| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 丁香大香蕉| 另类 在线| 大香蕉婷婷婷| 中文AV在线观看| 婷婷 丁香 久久| 丁香婷婷影院| 丁香五月天社区婷婷| 久热播这里只有精品| 大香蕉色婷婷伊人在线| 99综合| 九热视频精品| 成人av在线电影| 成人五月天丁香| 五月之婷婷| 国产乱轮一区二区三区| 伊人五月综合网| 日韩啪| 五月天大香蕉| 草婷婷在线| 日韩一级一片内射视频4K| 日本99久久| 五月天另类视频| 色五月大香蕉| 玖玖婷婷色欲| 婷婷五月综激情| 久热 91| 777色色色| 婷香五月网在线| 日本片日本片祼观看网站在线看中文版网页在线看 | 欧美99热| 天天爽—爽| 人人操av| www.henhengan| 色婷婷超碰| 99综合视频一体| 色综合久| 久久久全国免费视频| 伊人AV五月婷| 久久最新色色色| 少妇被下春药玩弄A片| 巴基斯坦粉嫰无码视频| 婷婷激情人妻| 国产精品天天狠天天看| 射区导航| 免费AV播放| 五月天啪啪啪| 99极品视频| 欧美丰满熟妇BBB久久久| 婷婷丁香五月,狠狠综合| 色天堂操| 最近免费中文字幕大全高清大全1| 五月丁香六月欧美| 色婷婷丁香五月天| 久久大大香| 色激情五月| 色综合久| 九九www| 久久久久9| 激情五月天黄色小说| 无码少妇高潮喷水A片免费| 天天做天天爱天天爽综合网| 久久婷婷五月草视频在线播放| 亚洲无码九九九| 婷婷五月天久久久| 天天做天天爽| 99热久草| 久久机热这里只有精品免费视频| 欲求不满的人妻| 99热99色| 色丁香五月婷婷| 激情综合5月| 网站免费一站二站| 人人看人人要| 五月丁香综合网色欲| 亚洲精品字幕在线观看| 无码区婷婷五月花开| 69五月天视频| 大香蕉大香蕉在线影院| 亚洲岛国电影| 国产美女无遮挡裸体毛片A片| 五月丁香成人网| 婷婷五月天无码视频| 色色色婷婷| 国产在线黄色| 久久最新色| 天天插轮理| 丁香九月激情| 日本 欧美在线| 99五月香婷婷丁香在线视频| 国产精品视频免费看| 5月丁香六月情| 怡红院 久久| 五月丁香九九| 丁香五月天91| 99热在线播放| 99视频自拍| 婷婷丁香六月天| 欧美综合丁香网| 另类天堂| 综合啪啪| 色色激情五月天| 色开心五月丁香| 亚洲天堂热| 五月婷婷影院| 综合99久久| 色区域网站视频| eeuus五月婷| 久久婷婷色色| 色色色国产| 77777亚洲午夜久久| AV在线免费观看不卡| 开心婷婷五月| 久久与婷婷| 99在这里有精品| 亚洲成人色五月婷婷综合| 色综合综合色| 九九色综合| 黄色片精品| 久久婷婷激情四射五月天| 婷婷六月成人| 亚洲婷婷综合视频| 日hao1区| 99亚洲视频| 丁香六月激情综合网| 丰满少妇猛烈A片免费看观看| 99热这里只有精品3| 日韩精品一区二区亚洲AV观看| 可以直接看的AV| 99re视频精品| 久色资源网| 激情五月天www| 亚洲丁香五月| 五月丁香婷婷AV| 可似看的AV| 五月花丁香婷婷| 热99精品视频| 国产美女视频久| 婷婷欧美| 日本超碰在线| 99色综合网| 国产成人高清| 欧美熟女99| 色五月天激情| 91精品91久久久中77777| 99热99极品观看| 五月丁香激情综合啪啪| 五月天激情小说| 熟女激情网| 久热AA| 婷婷五月天综合在线| 5月丁香婷婷激情网| 欧美成人精品A片免费一区99| 五月婷婷五月天激情网| 男人天堂99| 五月色丁香| 色噜噜婷婷| 色啪影院| 国产SUV精品一区二区883| 亚洲成人免费在线| 亚洲精品国产A久久久久久| 一本色综合色| 97婷婷狠狠久久综合9色| 热久久色| 成人片久久网站| 亚洲色欲欧美一区二区三区| 无码网站视频| 五月激情偷拍| 五月婷婷碰碰| 99在线观看视频| 99热大全在线观看| 激情网综合| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 久久婷婷青青草| 99精品视频播放| 久久五月婷婷视频| 99噜噜噜在线播放| 五月综合色播播丁香婷婷| 热99在线| 1000部毛片A片免费观看| 成人无码髙潮喷水A片| 八戒青柠影视剧在线观看| 97日本在线播放| 欧美婷婷精品激| 久99视频| 亚洲综合丁香五月| 玖玖五月| 五月天福利影院导航| 在线一起草av| 26UUU| 五月丁香六月合| 五月丁香龟婷婷| 激情五月综合网最新| 九九热精品| 婷婷五月天成人视频| 色婷婷狠| 天天操电影院色狼性av| 丁香六月五月天| 五月日韩中文字幕| 久热91| 色狠狠色狠狠| 天天激情站| 99热爆在线| 91凹凸在线| 婷婷激情性爱| 午夜婷婷五月天| 开心婷婷五月| 色偷偷五月天| 亚洲在线成人| 色五月在线| 噜噜五月天综合| 色欲天天综合网| 亚洲电影在线观看| 丁香综合婷婷开心激情网| 有哪些A片网站| 99热这里只有精品2| www五月婷婷| 五月婷婷中文字幕| 日韩AAAAA| 激情深爱五月天| 亚洲视频另类| 色五月五月丁香| 任你爽精品免费视频6| 牛色色碰| 青青夜夜狠狠夜夜狠狠| 久久久99久久| 激情图片99| 蜜臀嫩草| 日本精品人妻无码77777| 热99精品视频五月| 久久五月丁香| 偷偷操九九| AV五月丁香| 六月婷婷综合| 色丁香五月婷婷综合久久| 九九精品片一| 激情久久综合| 国产激情在线| 噜噜噜久久| 无码人妻精品一区二区蜜桃色欲| 色色五月天婷婷| 五月天激情久久| 色www久视频| 色久播播| 国产在这里只有精品| 玖玖综合玖玖| 五月丁香六月婷婷在线| 91在线观看九区| 大香蕉人妻| 精品久久这里热66| 九九99视频精品| 婷婷五月天日逼| 色五月婷婷av| 日本久久婷| 婷婷五月色激情欧美激情| www久久久久久久久久久| 色欲av伊人久久大香线蕉影院| 丁香婷婷基地| 99热久97| 殴美综合激情五月天免费视频| 丁香婷婷九月在线| 偷拍视频五月天| 五月综合久久| 婷婷六月爽| 五月天色五月| 色五月婷婷成人视频| 色99在线视频| 97色色色视屏| 久久99国产综合精品免费| 九九人人操| 国产精品久久..4399| 欧美日本黄色| 超碰在线看| 色五月婷婷基地| 九九无码| 超碰人人草| 丝袜人妻| 人人色人人摸人人看| 六月天婷婷| 亚洲99综合| 色噜噜狠狠色综合日日| 五月丁香怕啪啪| 亚洲激情久久| 色六月丁香婷婷狠狠干| 久久这里只有精品视频15 | 91在线就要啪| 深情五月天| 婷婷五月花| 性爱在线播放av| 99久久国产宗和精品1上映| 九九热再线九九视频免费在线观看| 激情综合五月天| 色5月婷婷| 色综合久| A网在线欧洲| 熟女激情网| 婷婷九月激情| 成人精品在线观看| 噜色精品| 欧美婷婷丁香五月| 99热国产免费| 久久香蕉网| 五月婷婷基地| 久久成人天| 99视频啪啪| 99热免费观看| 熟女激情网| 色视频色综合91| 五月丁香在线综合| 天天色图| 久久久av久av久片一区二区| 五月丁香婷婷激情澎湃四射| 久久婷婷夜| 91精品久久久久| renrencaoni| 国产成人精品一区二三区熟女在线| 成人婷婷五月天| 欧美性猛交99久久久久99按摩| 激情综合网,五月| 偷偷与邻居做爰完整视频| 九九热视频免费的| 日本三级中国三级99| 99热国产免费| 99国产小视频| 99婷婷| 国产精产国品一二三在观看| 五月亭亭直播| 色婷婷五月天av在线| 婷婷久久五月天| 色噜噜婷婷| 人人干99| 成人免费在线电影| www.99色| 成人五月天视频| av网址在线| 日本欧美成人片AAAA| 激情色视频| 婷婷五月天综合网| 婷婷色五月91啪啪| 丁香五月性爱| 开心激情网五月| 99色视频| 中文在线成人| 丁香综合日产精品久久| 91玖玖| 最新五月天婷婷影| 久久色五月| 激情五月综合网| 99热这里只有精| 丁香香五月激情免费视频| 日本97在线看片| 26uuu亚洲| 国产日韩欧美性生活| 久久宗合影| 荫道BBWBBB高潮潮喷| 思思久久99| 激情婷婷五月天网址| 久久婷婷草| 人妻久久久| 色婷婷五月在线| 欧美激情五月天在线观看| 日亚二欧美| 国产人妻777人伦精品HD| 色婷婷五月天成人网| 伊人婷婷激情| 国产成人高清| 色99超碰| 色婷丁香91| 91人人操.COM| 久久欧洲综合网| 91操网| 91九色在线观看免费| 久草热久草在线视频| 丁香六月色婷婷| 精品久久久人妻| 婷婷五月天激情综合| 丁香婷婷基地| 五月丁香花视频| 操草草草| 久久91久久精品久久| 日日干天天| 九九这里有精品| 五月天色在线| 五月天激情小说婷婷| 婷婷丁香花五月天| 五月丁香在线观看99| av免费在线观看0| 疯狂做受XXXX高潮A片| 91碰碰视频| 97色色色色色| 亚洲99精品欧美一区| 婷婷操逼网| 激情五月伊人婷婷| 99免费热在线精品| 激情五月天在线观看婷婷| 激情婷婷久久| 天堂中文国产| 九月激情网| 婷婷丁香婷婷97| 日日操夜夜操不卡| av操逼网| 欧美A片在线视频免费观看| 久热无码| 天天综合网站| 人妻丰满精品一区二区A片| 色情成人五月天| 色欲婷婷五月天| 日韩 中文 欧美| 女人被男人吃奶到高潮| 日日噜噜夜夜狠狠久久丁香六月| 五月婷婷无码| 综合噜噜| 久久婷婷五月天激情四射| 91精品久久久久、久五月天| 色婷婷小说网| 久久大香蕉同僚| 丁香激情五月| 久久综合干| 狠狠色综合网| 亚洲高清在线| 51精品国自产在线| 日韩野外 无套| 91九色 熟| 在线一起草av| 丁香五月天婷婷91| 无码激情| 成人色五月天| 九九色热视频| 无码色| 色婷婷狠| 成人片在线播放| 综合久久99| 美国少妇性做爰| 日韩人妻AV在线| 久久XX日本综合| 婷婷伊人綜合| 婷婷激情四射| 天天操夜夜夜拍拍拍| 欧美日本一区二区三区| 欧美α√| 日韩成人网址| 丰满少妇乱A片无码| 亚洲色图欧美色图日本视频| 9精品一区| 久久WW| 丁香五月激情宗合网| 亚洲激情五月婷婷日日| 激情小说之五月| 五月婷婷婷婷婷婷艺术| 九九视频在线| 97色色色| 碰久久精品w| 丁香婷婷综合激情五月色| 久久久激情视频| 热这里只有精| 久久人妻人人| 久久婷婷五月天| 成人做爰高潮A片免费视频| 丁香婷婷激情网站| 狼人狠狠操| 亚洲激情免费久久| 婷婷六月丁香欧美视频在线| 色5月婷婷| 强辱丰满人妻HD中文字幕| 色九九九综合| 丁香六月婷婷综情欧美| 成人五月天在线视频在线观看| 五月丁香花激情综合网| 婷婷久久综合久| 这里只有九九精品| 4438激情网| 婷婷激情四射| 丁香六月婷婷色播| 五月天天天开心激情网| 新激情五月天天在线网| 99热这里有精品| 91久久九色| 五月丁香六月婷婷啪啪综合| 综合五月婷婷| 五月天婷婷激情| 国产伊人大香蕉| 久青青久| 久色婷婷200| 丁香五月六月| 光棍影院日韩精品| 欧美综合婷婷欧美综| 五月婷婷丁香俺日污视频| 亭亭玉月丁香| 99久久97久久欧美综合网| www色婷婷久久综合久色| 五月婷婷丁香在线视频| 天天日天天摸| 久久 无毛。| 天天日天天舔天天摸| 开心婷婷五月中文字幕组| 婷婷亚洲色| 91亚洲视频| 婷婷久久久久久久| 97在线刺激| 五月婷婷av在线| 五月婷视频久久| 亚洲视频色婷婷| 202丰满熟女妇大| 夜夜躁婷婷AV| 日本VA视频| 丁香六月婷婷| 在线播放成人网站| 婷婷丁香18| 久久人妻熟女一区二区| 99视频色在线观看| 婷婷欧美综合| av操一操| 色播五月婷婷五月| 怎么样可以看免费的一级av| 99热18| 99亚洲精品| 婷婷丁香久久网| 六月婷婷天天操夜夜爽视频| www.91九色| 婷婷五月欧美AA片免费| 亚洲色欲AAAAAA| 深爱五月天| 久久婷婷老| 26uuu.| 天天爽人人综合免费7799| 婷婷性爱视频在线| 色婷婷综合网站| 午夜成人片400| 色八月婷婷| 九九色综合网| 久久 婷婷 五月天| 狼人婷婷久久| 久久婷婷五月综合成人d啪| 激情小说视频图片| 日本一区二区三区精品视频| 丁香五月天的网址。| 日逼影音先锋男人AV资源站| 亚洲综合婷婷| 五月天综合在线网| 俺也去综合| 成人综合网站| 五月丁香婷婷激情久久| 日本精品久久久久中文字幕| 五月婷婷久久激情| 激情久久久| 人妻久久久久久久久妻久久久久久久久| AV在线免费网站| 婷婷影院欧美| 色情综合网| 久久久这里都是精品| 中文成人在线| 五月丁香大相交| 五月婷婷偷拍| ww久久| 香蕉综合在线| 婷婷色五月激情| 久久久com| 久碰视频| 国产亚洲精品久久久久久郑州| 另类图片激情五月天| 九九黄色网| 久久五月丁香六月婷| 内射在线CHINESE| 六月天六月婷| 激情婷婷五月丁香啪啪啪| 99在线国| 日韩成人电影av| 日本激情综合| A级毛片高清免费不卡播放谢谢谢谢| 日韩啊啊啊| 久婷自拍视频| 色婷| 影音先锋女人av鲁色资源网小说免费| 亚洲情综合五月天| 五月天激情视频五月天| 日本天堂网站99| 华人在线免费| 9l视频自拍9l视频自拍九色学生| 久久免片| 另类小说五月天激情| 超级久久久| 性爱久久| 色色免费网站| 办公室少妇激情呻吟A片在线观看| 精品九九视频| 婷婷五月欧美| 99热色精品| 九九aV| 无码AV久久久久久久久| 丁香六月婷婷综合啪啪| 97在线精品视频| 国产激情久久久| 婷五月天在线草| 国产精品A片在线| 九九re精品视频在线观看| 五月激情日本在线| 在线不卡AC| 91色涩| 婷婷伊人激情婷婷| 夜夜爱爱亚洲| 色婷婷激情| 99热99热| 日韩成人电影AV| 丁香五月婷婷综合啪啪| 开心五月婷婷| 怡红院院在线导航网| 伊人九九九久| 婷婷五月天福利| av网站中文| 久热综合| 97色五月丁香婷婷| 综合激情五月天| 色色色色av777| 91色逼| 人人摸人人操人人爱| 91日视频| 婷婷丁香五月欧美人| www99在线观看视频| 精品一区二区三区四区五区六区| 天天干天天干天天干天天干天天干| 五月丁香婷婷啪啪| 色婷婷AV在线观看| 99色在线视频| 激情五月婷| 日日噜噜久久婷婷五月天| 色色婷婷丁香五月天| 男女啪啪做爰高潮无遮挡| 五月婷婷五月色| 色婷婷4| 六月丁香停| 7EzOBIhNq85TO| 久久色天堂| 五月激情丁香| 日日天天天| 色九月国产| 黄桃AV无码免费一区二区三区| 五月丁香网站| 久久久人妻门| 婷婷丁香久久五月综合| 玖玖综合网| 91在线观看www| 情欲禁地| 俺去也婷婷| 99精彩视频| www.狠狠狠.com| 五月婷婷中文字幕| 激情五月九九九| 国产人妻人伦精品一区二区| 久热综合| 丁香婷婷九月| 日韩九九| 久久综合天天综合| 亚洲天堂亚洲色色色| 丁香 亚洲 久久| 综合在线观看99| 色爱综合网| 欧美综合激情丁香五月六月婷| 玖玖在线资源视频| 怡红院 久久| 五月婷婷丁香综合,亚洲天堂| 日本欧美成人片AAAA| 在线播放中文字幕| www.91在线观看| 婷婷性色| 深爱激清网| 激情综合婷婷| 国产26uuu视频| www.99视频| 五月婷在线影院| www,色综合| 日本玖玖在线| 五月丁香婷久久| 久婷婷视平| 人与禽A片啪啪| 日日干夜夜干| 五月丁香久久| 亚洲操操| 国产精产国品一二三在观看| 99热这里只有精品9| 99热这里只有精品22| av网址在线| www.精品99| 亚洲AV日韩无码| 91久久精品无码一区二区三区| 色五月激情五月开心五月| 色婷婷色五月天| 婷婷久久亚洲| 日本五月天婷婷丁香| 一起草性爱不卡视频| 婷婷干五月综合在线播放| 五月婷婷精品无在线| 五月天色婷婷基地| 日本操逼九九九九58日本操逼| 久婷婷久草| 能看的AV网站| 婷婷五月天另类网站| 俺去也在线www色官网| 亚洲激情综合五月婷婷啪啪| 五月久久亚洲| 丁香五月婷在线观看| 丁香五月激情婷婷| 婷婷五月天欧美图片在线播放电驴| 五月天伊人手机在线播放AV| 欧美VA在线| 九九热这里只有精品6| 中文在线成人| 九九色逼| 婷婷在线视频| 精品二区| 青青草原爱爱网| 婷婷丁香五月91| 国产 亚洲 在线| 综合激情伊人影视在线| 激情婷婷五月天伊人在线观看| 丁香婷婷五色月| 丁香五月综合网亚洲综合欧美狠狠| 久久人妻伦理| 激情亚洲婷婷| 五月天激情图片| 成人做爰A片免费看视频| 欧美情色一区| 五月丁香久久色| 激情久久五月天| 亚洲精品欧洲精品| 久热视频这里只有精品| 影音先锋91资源站| 成人国产综合| 亚洲妇女熟BBW| 色婷婷精| 99操中文视频| 天天操夜夜夜拍拍拍| 婷婷深爱五月丁香网| 亚洲色婷婷五月天| 99网| 亚洲丁香婷婷| 99热亚洲| 伊人六月无码视频| 五月婷婷在线视频| 天天干,夜夜爽| 国产午夜精品一区二区三区嫩草| 婷婷六月丁综合| 五月天久久婷婷| 丁香色啪综合| 五月综合色| 丁香五月婷婷色| 美女爆乳18禁www久久久久久| 久久与婷婷| 天天干天天日日| 99热这里只有精品5| 五月天色区| av婷婷丁香| 色99网| 天天狠狠色| 亚洲VA口| 成人无码髙潮喷水A片| 五月天激情图片网| 天天色爽| AV成人在线播放| 亚洲V国产V欧美V久久久久久| 加勒比日本一区二区三区| 国产VA播放| www.99热这里精品| 五月天开心网| 丁香久久激情俄| 第四色色六月色综合| 综合五月丁香六月婷婷| 伊人在线视频| 97人人妻人人艹| 无码se| 五月婷六月| 色色五月婷| 91精品国产色猫| 五月丁香六月婷婷,婷| 五月丁香婷婷AV| 性做爰1一7伦| 婷婷爱爱蜜臀天天操| 黄页大全十八禁| 婷婷五月天精品| 色色婷婷婷丁香五月天| 婷婷激情蜜桃玖玖丁香| 黄网免费看| 色婷综合| 麻豆123区| 伊人五月天在线| 东北黄色一级| www.伊人天堂偷偷婷婷| 九九综合色| 丁香婷婷婷五月综合色情| 色五月丁香激情视频| 超碰操网| se99热久久一本| www.夜夜騎夜夜狠| 丁香六月啪啪| 午夜丁香| 久热99热| 人人看人人97| 26uuu国产精品| 超碰在线视屏| 99热69| 婷婷五月天激情小说网站| www.激情五月| 五月婷婷丁香啪啪| 深爱激情婷| 丁香啪啪中文字幕| 久久色五月天综合网| www五月婷婷| 五月婷在线色视频| 99免费超碰在线| 五月在在观看| 国产精产国品一二三在观看| 丁香狠狠| 婷婷亚洲天堂| 激情五月天在线观看婷婷| 婷婷99狠狠躁天天躁中| 色婷婷色综合激情91| 狠狠色婷婷六月激情网| 国产69久久久欧美黑人A片| 久久精品爱爱| 深爱激情综合网| 婷婷五月天黄色| 另类视在线| 久久久久久久久久久97| 久久婷婷五月免费视频| 高清 码 免费看片短视频| 色狠狠色噜噜噜a天堂一区| 亚洲电影在线观看| 五月激情偷拍婷婷| 这里只有精品视频| 天天摸天天舔在线视频| 日韩啪啪视频| 丁香五月久久| 99无码黄色视频| 婷婷五月天色色| 欧美婷婷| 五月婷丁香花| 久99热| 大香蕉久久久久| 久久婷婷五月综合色奶水99啪| 99久久久久久www| 五月天激情四射网站| 亚洲XX网| 99热亚洲| 欧美日韩成人在线| 色婷婷基地| 婷婷综合久久| 色欲av伊人久久大香线蕉影院 | 久久精品9| 99精品自拍视频| 激情久久久| 久热九九| 六月丁香五月激情网| 丁香五月综合狠狠| 青草青青草| 超碰97久久| 激情九月综合| 激情五月天色色| 婷婷五月天激情网| 99色视频在线观看| 久久探花91swag| 激情六月丁| 人妻九九九九| 久久精彩视频| 婷婷丁香五月天在线| www.一起草av| 狠狠色色| 九九爱看亚洲| 久久182| 色色操| 色噜噜伊人| 伊人大香蕉爱聚| 激情六月婷婷| 成人必爱视| 91无码色色| 五月综合无码| 入口五月婷婷六月香| 亚洲视频一区| 五月丁香综合影院| 《诡秘之主》在线观看| 91九色PORNY肉丝在线| 久久性爱视频久久性爱视频| 欧美综合123区| 亚洲情综合五月天| 99久在线精品99re8热| 婷婷综合| 182无码| 99日韩| 99热99ai| 九九超碰人人| 99热在线观看| 可以免费观看的av| 桃色激情婷婷伊人网| 俺去婷婷 丁香| 丁香激情五月| 久久婷婷五月| 伊人青草成人| 99人人精品| 婷婷五月成人| 99热碰碰| 婷婷五月天激情影片| 六月丁香婷婷色狠狠久久| 丁香五月色| 五月天久久91| 玖玖99福利| 综合色色综合| 国产成人精品一区二区三区视频 | 欧美123区免| 丁香六月综合激情| 五月久久婷婷成人网| 成人小说 五月天 婷婷| 大香蕉九九操| 五月天丁香久久综合| 九九AV| av性爱在线| 91丨熟女丨首页| 99在线视频女女视频| 欧美叉叉叉BBB网站| 久久婷婷六月综合| 婷婷 激情 五月| 日韩欧美一级大黄网站| 日韩不卡123| 色999亚洲人成色| 另类小说激情五月天| 丁香五月骚喷水视频| 五月丁香免费视频| 2013AV天堂| 色青青电影色五月| 亚洲另类在线观看| 婷婷玖玖五月天| 九九热这里只有精品在线观看| 伊人久久激情图区五月| 亚洲AV第二区国产精品| 婷婷五月天最新网址| 大香蕉五月天| 亚洲色综合| 影音先锋偷偷色男人站| 淫水导航| 热久久66| 色综合色综合婷婷热| 亚洲第一黄网| 操日视频| 91丨九色丨老熟女激情| 超碰日韩成人| 五月婷婷综合在线| www久| 亚洲情色一区| 天天操天天曰| 天天操夜夜爽歪歪| 激情5月天天天| 99热在线里有精品| 五月婷婷色播视频| 一起草Av| 久久久99久久| 大香蕉五月婷婷| 丁香六月婷婷色播| 黄色91在线观看| 久久性都花花世界成人免费视频 | 六月丁香婷婷尤物| 六月丁香基地| 婷婷五月天天天日日夜夜| 丁香九月综合激情| 91成人看片| 人人九色| 六月婷婷啪啪| 激情亚洲婷婷| 丁香激情五月| 久久在线大香蕉| 婷婷久久精品| 日韩久综合| 欧美在线视频免费播放| 色yeye色综合| 丁香五月婷婷久久久| 91精品久| 最熟少妇乱码| 日本三级色| www.激情com| 大香伊人婷婷| 丁香久月婷| 人妻久热| www98日本小时间到了| 99热青青草| 亚洲视频二区| 青青草性爱视频| 久久亚洲婷婷综合色五月| 性五月激情| 美女婷婷六月色| 久热这里精品免费| 婷婷五月天com| 色综合久久久久久久久五月| 97激情五月天| 天天舔天天摸天天透| 另类小说激情五月天| 天堂草在线观看| 亭亭玉月丁香| 丁香六月色婷婷| 成人视屏在线观看| 久久综合激情| 狠狠狠狠狠狠| 91|疯狂丨高潮丨对白| 免费日本aⅴ中文字幕| yw.av| 99在线视频女女视频| 中文字幕成| 97色色色| 99色区| 97色五月天| 丁香五月激情婷婷激情| 99精品无码网站| jiqingliuyuetian| 久热免费视频| 99久久久久| 粉嫩AV久久一区二区三区| 在线播放 精品| 91oumei| 欧美色色色| 五月丁香婷婷激情| 五月天激情子轮| 亚洲免费观看高清完整版AV线| 亚州色色色| 欧美性色A片免费免费观看的 | 五月开心婷婷极品激情| 天天色,天天操,天天射| 夜夜撸日日骑| 99在线免费视频| 伊人色综合网| 操逼电影免费看| 婷婷丁香宗合888| A一级操| 丁香五月亚洲天堂| 五月丁香久| 强辱丰满人妻HD中文字幕| 日本三级第一页| 欧美综合五月丁香六月婷| 丁香婷婷综合五月天| 人妻精品久久久久久久| 色五月激情| 免费看欧美成人A片无码| 99久久五月婷婷| 91超级碰| 五月天婷网| 久操激情| 成人无码免费一区二区中文| 超碰成人av| 777久久精品| 日日噜噜夜夜狠狠久久丁香五月| 色色色色综合网| 超碰国产一区| 五月婷婷激情刺激| 丁香成人视频| 六月丁香啪啪| 久久久噜噜噜操操操| 免费九九热| 99热在线观看这里只有精品| 五月色网| 丁香av网| 久久xxxx| 怡红院一二三| 色色色欧美| 人妻在线网站| 成人羞羞啪啪 全 视频| 性色天| 亚洲精品色| 91丨九色丨熟女丰满| 亚洲精品性色| 成人 在线 日韩| 超级碰碰碰久久网站视频| 伊人久久激情图区五月| 直接看的AV| 蜜桃成语时李时珍 免费| 热五月婷婷| 五月婷在线色视频| 五月婷av| 久久亚洲天堂| 激情合网婷婷| 久热这里只有精品99re| 性爱网六月丁香| 婷婷另类开心| 色五月婷婷中文字幕| 激情碰碰碰| 日日干日日色| 丁香花五月天激情| 久久久久五月丁香| 激情五月激情综合网一级丸片| 猫咪伊人久久| 九九99偷拍视频| www.五月天婷婷.com| 97久久精品| 婷香狠狠爱五月| 天天色综合色| 狠狠操狠狠操| 9人人操人人看| 五月开心深深爱激情综合| 欧美性猛交 XXXX 乱大交| 黄色AV日韩| 亚洲色A| 久久小说网| 色五月天天在线观看资源站| 操操天堂| 天堂在线婷婷| 国产精品A片| 校花娇喘呻吟校长陈若雪视频 | 婷婷99狠狠躁天天躁中| www99精品亚| 五月久久亚洲| 久久99国产综合精品免费| 五月婷视频久久| 天天肏高清在线| 日日噜噜久久婷婷五月天| 色5月婷婷| 全部老头和老太XXXXX| 五月婷俺去也| 五月丁香天堂网| 亚洲综合一区二区| AV操操操| 婷婷五月欧美| 丁香五月婷婷亚洲另类| 无码免费人妻A片AAA毛片西瓜| 六月婷婷深深爱| 久久婷婷成人综合色怡春院| 婷婷终合色图| 在线只有精品| 五月天婷婷狠狠| 日本社区五月天激情| 色爱爱综合网| 色丁香六月| 欧美色激情四射| 五月天激情久色| 婷婷五月欧美综合| 99色婷婷视频| 日日爽日日| 婷婷五月四狠狠| 六月丁香网| 天天色播| 996er热| www。狠狠干。com| 激情五月婷婷五月| 天天噜天天插| 九九成人| 6080av| 免费视频WWW在线观看网站| 六月婷婷日| 5月丁香美女影院| 亚洲激情色色| 丁香99| 日本狠狠网| 先锋资源91| 99热1| 久久五月综合| 伊人五月天| www色婷婷久久综合久色 | 国产女18毛片多18精品| 99热这里只有在线| 国产综合A片| 五月丁香婷婷爱| 99啪| 丁香五月天啪啪| av婷婷丁香 六月| 无遮挡国产高潮视频免费观看| xfplayav在线| 国产AV成人精品| 天天操婷婷| 99碰超| 亚洲中文字幕在线观看| 啪啪干伊人婷婷| 色五月婷婷丁香凹凸| 丁香五月欧美午夜视频| 综合激情五月婷婷| 六月婷婷开心| 成人网站免费sxj| 婷婷五月欧美| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月丁香婷婷福利| 国产又色又爽又黄又免费| 欧美啄木乌丝袜人妻系列| 五月婷性爱| 日本99在线| 涩综合在线| 九九精品大香蕉| 婷婷五月丁香香蕉| 大香蕉天堂| 色99色| 99这里只有精品|v| 99人妻碰碰碰久久久久视| 四色99久久| 激情五月天婷婷视频| 亚洲午夜Av| 99综合视频一体| 成人狠狠成人狠狠成人狠狠成人狠狠| 97婷婷久久丁香| 91久久精品无码一区二区三区| 超级碰碰碰碰视频| 色五婷婷开心缴| 婷婷操逼| 狠狠婷婷综合| 噜噜狠狠色综无码久久合欧美| 婷婷丁香久久| 久777| 色婷婷丁香| 色99在线| 操逼电影免费看| 91色综合| 五月丁香激情综合欧美| 91色碰| 人人草人人舔| 色色色色av色色色色| 婷婷综合亚洲| 91人久| yellow视频在线观看91| 五月婷婷co.m| 丁香婷婷婷五月综合色情| 99久在线精品99re8热| 国产婷婷五月色情综合| 99在线观看亚洲| 无码AV大香线蕉伊人| 大香蕉精品视频| 久久机热这里只有精品| 丁香五月性| 五月丁香综合色婷婷| 色欲天天综合网| 亚洲欧州色情在线观看| 色综合99| 黄色av网站在线免费播放| 99视频内射三四| 久久精品无码一区| 97碰免费视频在线| 亚洲、热| 色五月首页| 日本欧美999久久久三级片| 99re在线观看| 人人摸人人摸| 人妻videos人妻高清| 日韩综合天堂| 激情色情五月天| 日韩成人电影AV| 色婷婷偷拍| 色婷婷色人人射| 丁香六月婷婷缴情欧美| 国产亚洲av片| 亚洲乱码日产精品BD| 色情综合| 成年人丁香五月| 丁香五月另类小说在线阅读| 日本色99| 大香蕉啪啪啪啪啪啪| 嫩草AV久久伊人妇女超级A| 一级二级色大片| 久久久人人人妻丝丝丝| 高清无码.com| 美欧日韩国产成人在战| 31色区视频免费看| av九九| 婷婷亚洲综合| 五月丁香综合网| 五月天婷婷五月| 最新日本A片| 97人人操人人| 日韩五月婷婷| 国产av网| 九九精品免费| 亚洲愉拍99热成人精品| 综合网五月| 久久久精品人妻录| 久久精品小视频| 天天性视频| 97狠狠色|