欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu):從環(huán)境配置到性能優(yōu)化實(shí)戰(zhàn)

昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu):從環(huán)境配置到性能優(yōu)化實(shí)戰(zhàn) 很多做AI訓(xùn)練的朋友第一次拿到昇騰機(jī)器時(shí)第一反應(yīng)是“這不就是個(gè)NPU嘛代碼改改就能跑?!钡日嬲鲜植虐l(fā)現(xiàn)從PyTorch代碼遷移、數(shù)據(jù)管線適配到集群通信調(diào)優(yōu)、訓(xùn)練穩(wěn)定性排查整套流程盤(pán)下來(lái)需要踩的坑比想象中多得多。這篇文章我就圍繞“昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu)”這條主線把模型訓(xùn)練全流程里的關(guān)鍵環(huán)節(jié)、實(shí)操方法和排查經(jīng)驗(yàn)一次性說(shuō)透希望能幫準(zhǔn)備上手昇騰的朋友少走幾個(gè)彎路。本文既不是官方文檔的復(fù)制也不是純理論分析而是基于真實(shí)的工程實(shí)踐經(jīng)驗(yàn)。內(nèi)容適合這幾類讀者一是剛拿到昇騰算力、想把手頭模型跑起來(lái)的算法工程師二是已經(jīng)在跑訓(xùn)練但經(jīng)常遇到“卡住、掉卡、Loss不降”等問(wèn)題的同學(xué)三是準(zhǔn)備做集群規(guī)模訓(xùn)練、正在做技術(shù)選型的架構(gòu)師。我會(huì)按實(shí)際操作的先后順序展開(kāi)從環(huán)境準(zhǔn)備、數(shù)據(jù)加載、模型遷移到訓(xùn)練啟動(dòng)、性能調(diào)優(yōu)和故障排查每一段都會(huì)給出可直接落地的建議。1. 環(huán)境準(zhǔn)備與框架選型第一步就決定后續(xù)效率很多人以為昇騰訓(xùn)練就是裝上驅(qū)動(dòng)就能跑其實(shí)最關(guān)鍵的在于CANN版本、PyTorch版本、torch_npu版本三者之間的對(duì)齊關(guān)系。這三者就像齒輪組版本不匹配時(shí)輕則報(bào)一堆詭異的算子錯(cuò)誤重則設(shè)備直接掉線。1.1 版本匹配是頭號(hào)大事昇騰的訓(xùn)練軟件棧底層是CANNCompute Architecture for Neural Networks往上依次是PyTorch框架、torch_npu插件再往上才是用戶的訓(xùn)練代碼。CANN版本決定了NPU驅(qū)動(dòng)和運(yùn)行時(shí)環(huán)境而torch_npu則負(fù)責(zé)把PyTorch的算子調(diào)用翻譯成CANN能理解的指令。這個(gè)鏈路里的任何一環(huán)版本不對(duì)齊都會(huì)讓訓(xùn)練進(jìn)程崩潰。我實(shí)測(cè)下來(lái)比較穩(wěn)妥的選型思路是先確定CANN版本再反推torch_npu和PyTorch的對(duì)應(yīng)關(guān)系。比如CANN 7.0.RC1通常搭配torch_npu 2.1.0.post6和PyTorch 2.1.0而更新一些的CANN 8.0.RC1版本則支持PyTorch 2.3.1或更新版本。具體組合建議直接看官方發(fā)布的版本配套表不要自己隨意組合。注意昇騰生態(tài)里很多坑都源于“默認(rèn)安裝最新版”這個(gè)習(xí)慣。不要圖新鮮裝最新CANN優(yōu)先選已經(jīng)在生產(chǎn)環(huán)境被驗(yàn)證過(guò)的穩(wěn)定組合。1.2 兩種開(kāi)發(fā)模式的取舍現(xiàn)在昇騰上跑大模型訓(xùn)練主流有兩條路線一條是基于torch_npu做PyTorch代碼最小改造保留原有代碼結(jié)構(gòu)本質(zhì)上是把昇騰當(dāng)成一個(gè)“加速卡”來(lái)用另一條是用MindSpore MindFormers全家桶從框架層適配昇騰能更充分地發(fā)揮硬件特性。這兩條路線怎么選取決于你手頭的代碼現(xiàn)狀。如果你有成熟的PyTorch代碼庫(kù)團(tuán)隊(duì)也熟悉PyTorch生態(tài)那走torch_npu路線成本最低。改造量通常相對(duì)可控但遇到不支持的算子時(shí)還是得手動(dòng)適配如果是從零開(kāi)始訓(xùn)新模型或者團(tuán)隊(duì)本來(lái)就打算深度定制訓(xùn)練邏輯那用MindFormers自帶的并行策略、混合精度控制、斷點(diǎn)續(xù)訓(xùn)功能會(huì)更順手底層優(yōu)化也更省心。我自己做模型訓(xùn)練時(shí)前期用torch_npu快速驗(yàn)證思路中期穩(wěn)定后部分場(chǎng)景切到MindFormers做長(zhǎng)穩(wěn)訓(xùn)練這樣兩頭的好處都能占到。2. 數(shù)據(jù)準(zhǔn)備與加載優(yōu)化訓(xùn)練瓶頸往往不在計(jì)算大模型訓(xùn)練的瓶頸經(jīng)常被人忽略很多人都盯著計(jì)算卡上的算子耗時(shí)卻忘了數(shù)據(jù)加載可能正拖著整個(gè)訓(xùn)練后退。昇騰訓(xùn)練場(chǎng)景下數(shù)據(jù)管線的表現(xiàn)和GPU生態(tài)有明顯差異如果沿用GPU上的數(shù)據(jù)加載寫(xiě)法很容易出現(xiàn)NPU在等數(shù)據(jù)的情況。2.1 數(shù)據(jù)管線的常見(jiàn)“隱形殺手”最常遇到的問(wèn)題有三個(gè)。一是用普通的文件讀取配合Pillow等庫(kù)做在線解碼CPU端解碼速度跟不上NPU的消費(fèi)速度二是DataLoader的num_workers設(shè)置不合理過(guò)多或過(guò)少都會(huì)影響吞吐三是缺少預(yù)取機(jī)制每一步訓(xùn)練都要等數(shù)據(jù)從磁盤(pán)換上來(lái)。解決思路是把數(shù)據(jù)預(yù)處理盡量“離線化”也就是把清洗、解碼、Token化等操作在訓(xùn)練前批量完成訓(xùn)練時(shí)直接讀取已經(jīng)處理好的數(shù)據(jù)。對(duì)NLP模型來(lái)說(shuō)可以預(yù)先將文本轉(zhuǎn)成Token ID并緩存為二進(jìn)制格式對(duì)CV模型來(lái)說(shuō)可以提前做Resize、歸一化等操作。這樣訓(xùn)練時(shí)只需做最簡(jiǎn)單的讀取和搬移CPU壓力會(huì)大幅下降。2.2 MindRecord與昇騰數(shù)據(jù)加速方案如果用MindSpore框架推薦用MindRecord格式來(lái)存儲(chǔ)訓(xùn)練數(shù)據(jù)。這種格式的讀取效率比通用文件格式高不少原因在于它按樣本做了索引、支持隨機(jī)讀取和分布式分片避免了大量小文件隨機(jī)讀帶來(lái)的IO開(kāi)銷。在torch_npu場(chǎng)景下雖然還用PyTorch的DataLoader但建議關(guān)注自定義Dataset的耗時(shí)占空比。一個(gè)很實(shí)用的排查方法訓(xùn)練啟動(dòng)后在日志里打印每個(gè)Step的時(shí)間如果Step耗時(shí)出現(xiàn)明顯波動(dòng)先檢查Host側(cè)數(shù)據(jù)加載耗時(shí)是否過(guò)高。我遇到過(guò)一次訓(xùn)練速度突然下降的問(wèn)題排查到最后發(fā)現(xiàn)是數(shù)據(jù)加載時(shí)做了一次多余的復(fù)制操作。處理方法是直接把數(shù)據(jù)加載的Tensor改為非阻塞拷貝并保證數(shù)據(jù)在Host上預(yù)處理完再拷到NPU減少重復(fù)內(nèi)存搬運(yùn)。這里想強(qiáng)調(diào)的是數(shù)據(jù)管線是否優(yōu)化到位直接影響大規(guī)模訓(xùn)練的整體吞吐不能只盯著算子在算。3. 模型遷移適配從GPU到昇騰的完整轉(zhuǎn)換模型遷移是昇騰大模型訓(xùn)練最核心的一步也是問(wèn)題最密集的一環(huán)。PyTorch模型遷移到昇騰核心目標(biāo)是用最小改動(dòng)讓模型能在NPU上正常跑通訓(xùn)練并保持?jǐn)?shù)值精度與收斂效果。3.1 最小改造基于torch_npu的適配路徑如果你的代碼是標(biāo)準(zhǔn)的PyTorch實(shí)現(xiàn)那么遷移的第一步通常是替換設(shè)備標(biāo)識(shí)。最簡(jiǎn)單的方法是定義全局device變量然后通過(guò)model.to(device)把模型和Tensor放到昇騰設(shè)備上。import torch import torch_npu # 在代碼初始化階段指定設(shè)備 device torch.device(npu:0) model model.to(device) data data.to(device) # 原有的訓(xùn)練邏輯基本不用改 output model(input_tensor) loss loss_fn(output, target) loss.backward() optimizer.step()這段代碼看起來(lái)很簡(jiǎn)單但實(shí)際項(xiàng)目中的問(wèn)題很少出在設(shè)備遷移本身更多出在算子兼容性上。PyTorch里某些算子尤其是一些高級(jí)索引、自定義Op在昇騰上可能沒(méi)有對(duì)應(yīng)的原生實(shí)現(xiàn)torch_npu會(huì)自動(dòng)走CPU回退或報(bào)錯(cuò)。遇到這種情況優(yōu)先做法是改寫(xiě)模型代碼用昇騰原生支持的算子組合替代不支持的算子。3.2 用MindSpore做重寫(xiě)遷移的時(shí)機(jī)如果你的模型有很多自定義結(jié)構(gòu)或者需要高性能并行策略直接遷移到MindSpore可能更劃算。MindSpore提供了模型遷移工具可以輔助轉(zhuǎn)換PyTorch模型結(jié)構(gòu)但仍需要手工校驗(yàn)算子的數(shù)值一致性。重寫(xiě)遷移的優(yōu)勢(shì)在于后續(xù)訓(xùn)練可以直接使用MindSpore的自動(dòng)并行、內(nèi)存復(fù)用、圖模式編譯等能力對(duì)大規(guī)模訓(xùn)練來(lái)說(shuō)性價(jià)比更高。舉個(gè)例子PyTorch的nn.Module在MindSpore里要對(duì)應(yīng)改寫(xiě)成nn.Cell前向計(jì)算寫(xiě)在construct方法里import mindspore import mindspore.nn as nn from mindspore import Tensor class MyModel(nn.Cell): def __init__(self): super().__init__() self.fc nn.Dense(768, 1024) self.act nn.GeLU() def construct(self, x): x self.fc(x) x self.act(x) return x這種改寫(xiě)雖然是“重復(fù)造輪子”但換來(lái)的是后續(xù)訓(xùn)練腳本的極大簡(jiǎn)化。MindSpore提供了一系列高階API比如TrainOneStepCell、Model.train可以直接接管混合精度、梯度累積、分布式并行等細(xì)節(jié)。3.3 算子適配時(shí)的三個(gè)重要檢查點(diǎn)算子適配是整個(gè)遷移過(guò)程中最磨人的階段但核心檢查點(diǎn)也不復(fù)雜一是檢查模型里有沒(méi)有類似index_put_、scatter這類高級(jí)索引算子這類算子很容易出問(wèn)題。建議改成masked_fill或循環(huán)加切片賦值等價(jià)的邏輯拿到昇騰上跑得更順二是檢查L(zhǎng)oss計(jì)算中是否混用了FP32和FP16計(jì)算這會(huì)導(dǎo)致梯度數(shù)值異常。建議把Loss計(jì)算整體統(tǒng)一到FP32只在模型前向部分啟用混合精度三是檢查是否用到了自定義autograd.Function這類代碼往往基于CUDA實(shí)現(xiàn)昇騰無(wú)法直接運(yùn)行需要改寫(xiě)為昇騰兼容的算子或在CPU上做回退。我踩過(guò)一次最深的坑是模型里用了某個(gè)第三方庫(kù)做位置編碼內(nèi)部實(shí)現(xiàn)了一個(gè)自定義CUDA算子。遷移到昇騰后代碼沒(méi)有報(bào)錯(cuò)但Loss始終不下降。后來(lái)用Profiling工具定位才發(fā)現(xiàn)這個(gè)自定義算子被靜默回退到了CPU執(zhí)行數(shù)據(jù)往返拷貝導(dǎo)致梯度計(jì)算完全錯(cuò)亂。實(shí)操建議遷移完成后先跑一次固定隨機(jī)種子的短Step訓(xùn)練對(duì)比GPU和NPU上的Loss曲線。Loss曲線趨勢(shì)一致且差距在可接受范圍才說(shuō)明遷移正確。這一步別省。4. 訓(xùn)練腳本編寫(xiě)與全流程調(diào)試從單機(jī)到集群模型遷移完成只是開(kāi)始真正把訓(xùn)練腳本寫(xiě)好并調(diào)通才是全流程調(diào)試的重頭戲。整個(gè)訓(xùn)練腳本里分布式初始化、混合精度控制、梯度累積、Loss縮放這幾個(gè)環(huán)節(jié)每一個(gè)都值得認(rèn)真對(duì)待。4.1 分布式訓(xùn)練的初始化細(xì)節(jié)昇騰上做分布式訓(xùn)練通信依賴HCCLHuawei Collective Communication Library。與NCCL類似HCCL也需要初始化一個(gè)全局通信域。如果是通過(guò)torch_npu路徑走PyTorch分布式初始化代碼基本是import torch.distributed as dist import torch_npu dist.init_process_group(backendhccl, init_methodenv://)單機(jī)多卡或集群場(chǎng)景下通過(guò)環(huán)境變量傳入MASTER_ADDR、MASTER_PORT、WORLD_SIZE和RANK。有一點(diǎn)特別容易踩坑WORLD_SIZE必須和實(shí)際參與訓(xùn)練的NPU數(shù)量一致否則HCCL初始化會(huì)一直卡在等待對(duì)端上。有一次我在多機(jī)場(chǎng)景下忘了同步各節(jié)點(diǎn)的RANK編號(hào)導(dǎo)致HCCL建鏈直接失敗排查了很久才發(fā)現(xiàn)是rank分配錯(cuò)誤。集群環(huán)境下依賴rank_table文件來(lái)管理設(shè)備信息也可以通過(guò)環(huán)境變量ASCEND_RT_VISIBLE_DEVICES來(lái)指定每臺(tái)機(jī)器上參與訓(xùn)練的NPU編號(hào)。建議訓(xùn)練腳本里加一段啟動(dòng)自檢邏輯先遍歷所有npu:0到npu:7用簡(jiǎn)單的AllReduce測(cè)試通信建鏈再做正式訓(xùn)練。4.2 混合精度、梯度累積與Loss縮放大模型訓(xùn)練幾乎都會(huì)開(kāi)啟混合精度將FP32計(jì)算替換為FP16/BF16以提升計(jì)算速度和顯存利用率。昇騰對(duì)FP16和BF16的支持都很成熟但用戶需要自行管理Loss Scaling防止梯度下溢。在torch_npu路徑下可以使用torch.cuda.amp的替代實(shí)現(xiàn)昇騰提供了對(duì)應(yīng)的混合精度接口。一個(gè)可行的實(shí)現(xiàn)是from torch_npu.amp import GradScaler, autocast scaler GradScaler() with autocast(): output model(input_tensor) loss loss_fn(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()梯度累積則是把小Batch的梯度累加起來(lái)再更新參數(shù)效果上近似大Batch能在不增加顯存的情況下提升訓(xùn)練穩(wěn)定性。實(shí)現(xiàn)時(shí)要特別注意累積梯度前要用optimizer.zero_grad()清零累積過(guò)程中不要執(zhí)行optimizer.step()直到累積Step數(shù)達(dá)到設(shè)定值再更新并重新清零。結(jié)合混合精度時(shí)梯度縮放涉及動(dòng)態(tài)范圍變化容易踩坑。我的習(xí)慣是啟動(dòng)時(shí)設(shè)置固定Scale值并開(kāi)啟動(dòng)態(tài)調(diào)整前幾個(gè)Step觀察溢出情況穩(wěn)定后再切換到動(dòng)態(tài)模式。4.3 斷點(diǎn)續(xù)訓(xùn)與訓(xùn)練穩(wěn)定性大模型訓(xùn)練動(dòng)輒幾天甚至幾周斷點(diǎn)續(xù)訓(xùn)不是“加分項(xiàng)”而是“必選項(xiàng)”。昇騰場(chǎng)景下斷點(diǎn)保存的核心是保存三樣?xùn)|西模型權(quán)重、優(yōu)化器狀態(tài)、隨機(jī)數(shù)生成器狀態(tài)。如果漏掉隨機(jī)數(shù)狀態(tài)恢復(fù)訓(xùn)練后數(shù)據(jù)順序會(huì)變化雖然不一定讓訓(xùn)練失敗但會(huì)造成結(jié)果不可復(fù)現(xiàn)。保存優(yōu)化器狀態(tài)時(shí)要注意優(yōu)化器里可能包含指數(shù)移動(dòng)平均、動(dòng)態(tài)學(xué)習(xí)率等輔助狀態(tài)這些都要一并保存?;謴?fù)訓(xùn)練時(shí)還需要重新初始化HCCL通信域某些情況下如果斷點(diǎn)保存了通信域的拓?fù)湫畔⒒謴?fù)時(shí)也要一并恢復(fù)。實(shí)測(cè)下來(lái)最可靠的斷點(diǎn)保存方式是每N個(gè)Step保存一次到本地磁盤(pán)同時(shí)定期同步到共享存儲(chǔ)避免單點(diǎn)故障導(dǎo)致整個(gè)訓(xùn)練白跑。另外恢復(fù)訓(xùn)練后建議先跑幾個(gè)Step驗(yàn)證Loss正常再全速跑別一恢復(fù)就直接進(jìn)入長(zhǎng)穩(wěn)階段。5. 性能調(diào)優(yōu)實(shí)戰(zhàn)從“能跑通”到“跑得快”模型能正常跑起來(lái)、Loss也在正常下降這是第一階段的勝利。但一旦進(jìn)入大規(guī)模訓(xùn)練階段“跑得快”就比“跑得通”更重要。昇騰性能調(diào)優(yōu)的核心思路是先定位瓶頸在計(jì)算還是通信再針對(duì)性地做優(yōu)化不盲目調(diào)參數(shù)。5.1 用Profiling工具定位瓶頸昇騰提供了Profiling工具可以采集訓(xùn)練過(guò)程中的算子耗時(shí)、通信耗時(shí)、Host側(cè)耗時(shí)等信息。具體有兩種路徑一種是MindSpore Profiler適合MindSpore框架另一種是msprof工具適合整體系統(tǒng)層面的性能分析。拿到Profiling報(bào)告后我一般按照以下順序去看先看Step 耗時(shí)如果Step之間波動(dòng)較大優(yōu)先排查數(shù)據(jù)加載和Host側(cè)邏輯再看通信耗時(shí)占比如果通信占比超過(guò)30%說(shuō)明同步開(kāi)銷太大需要調(diào)整并行策略或使用通信壓縮最后看算子耗時(shí)分布找出耗時(shí)Top 10的算子逐一判斷能否被融合或替換。有一次我優(yōu)化一個(gè)千億參數(shù)模型的訓(xùn)練發(fā)現(xiàn)AllReduce占了整個(gè)Step耗時(shí)的40%多。后來(lái)把純數(shù)據(jù)并行改成張量并行加流水線并行混合模式情況才明顯好轉(zhuǎn)。通信和計(jì)算的重疊也很重要HCCL允許通信和計(jì)算并行執(zhí)行但要通過(guò)合適的Stream配置實(shí)現(xiàn)。簡(jiǎn)單來(lái)說(shuō)就是要確保數(shù)據(jù)搬運(yùn)計(jì)算和通信的過(guò)程盡量重疊不要讓NPU在等通信也不要在通信時(shí)讓NPU閑著。5.2 通信優(yōu)化減少數(shù)據(jù)搬運(yùn)次數(shù)通信優(yōu)化的核心原則是“減少數(shù)據(jù)搬運(yùn)次數(shù)、提高單次搬運(yùn)效率”。具體手段包括梯度壓縮對(duì)大梯度做量化或稀疏化處理后再通信減少通信數(shù)據(jù)量梯度分組AllReduce將梯度按層分組小梯度先通信、大梯度后通信錯(cuò)開(kāi)通信峰值更合理的并行策略將數(shù)據(jù)并行與模型并行結(jié)合純數(shù)據(jù)并行下每Step都要同步全量梯度通信量最大。在昇騰平臺(tái)上HCCL的效率與拓?fù)浣Y(jié)構(gòu)密切相關(guān)。單機(jī)8卡的Ring AllReduce性能通常好于跨機(jī)通信所以設(shè)計(jì)模型并行時(shí)盡量把通信量大的Tensor放在同一臺(tái)機(jī)器上??鐧C(jī)通信時(shí)網(wǎng)卡和交換機(jī)的帶寬也要提前確認(rèn)避免因?yàn)榫W(wǎng)絡(luò)帶寬有限導(dǎo)致大規(guī)模加速比不理想。5.3 顯存優(yōu)化與計(jì)算優(yōu)化顯存是另一個(gè)瓶頸尤其在大模型訓(xùn)練場(chǎng)景。昇騰上顯存優(yōu)化手段包括重計(jì)算Recompute把前向激活值只保存一部分反向需要時(shí)重新計(jì)算換取顯存節(jié)省混合精度把不需要高精度的Tensor切到FP16/BF16存儲(chǔ)顯存碎片整理調(diào)整分配策略減少碎片化提高顯存利用率流水線并行把模型切分成多個(gè)Stage放在不同設(shè)備上每臺(tái)設(shè)備只保存一部分參數(shù)和激活值。計(jì)算優(yōu)化層面算子融合是最直接的方式。昇騰提供了一個(gè)算子融合能力可以把多個(gè)連續(xù)的小算子融合成一個(gè)大的融合算子顯著減少內(nèi)核調(diào)度開(kāi)銷。常見(jiàn)做法是把LayerNorm、Residual Add、Activation融合成一個(gè)算子或者把QKV運(yùn)算合并成一個(gè)大的矩陣乘減少內(nèi)核啟動(dòng)次數(shù)。同時(shí)矩陣乘的Shape對(duì)性能影響也很大建議把張量的形狀盡量對(duì)齊到昇騰的矩陣計(jì)算單元偏好。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄大模型訓(xùn)練調(diào)試是一場(chǎng)持久戰(zhàn)我把自己實(shí)際操作中遇到頻率最高的四類問(wèn)題整理成速查表方便你直接對(duì)照排查。問(wèn)題現(xiàn)象可能原因排查思路訓(xùn)練剛開(kāi)始就報(bào)算子不存在模型里有昇騰不支持的算子查看報(bào)錯(cuò)信息中的算子名稱改寫(xiě)或替換Loss曲線異常不收斂、NaN混合精度Loss Scaling設(shè)置不當(dāng)學(xué)習(xí)率過(guò)大梯度計(jì)算錯(cuò)亂先關(guān)閉混合精度試跑幾個(gè)Step再逐步打開(kāi)檢查L(zhǎng)oss計(jì)算是否統(tǒng)一在FP32訓(xùn)練到某一步突然卡住HCCL通信超時(shí)數(shù)據(jù)加載線程死鎖顯存溢出查看日志中的通信超時(shí)信息用Profiling看卡的Step位置多卡訓(xùn)練加速比很低通信占比過(guò)高負(fù)載不均數(shù)據(jù)加載成了瓶頸用Profiling確認(rèn)通信和計(jì)算耗時(shí)優(yōu)化并行策略6.1 訓(xùn)練卡住的定位方法訓(xùn)練“卡住”是全流程調(diào)試?yán)镒钭屓祟^疼的問(wèn)題。表面上看進(jìn)程沒(méi)有退出但Step數(shù)不再往前走。遇到這種情況我一般按這個(gè)順序排查先看NPU的利用率如果利用率很低而CPU很高大概率是數(shù)據(jù)加載卡住了檢查DataLoader和文件系統(tǒng)IO如果CPU和NPU利用率都很低大概率是卡在通信環(huán)節(jié)看看是不是有的卡掉線或通信組網(wǎng)異常如果只有某一張卡利用率異常檢查是不是模型并行不均某個(gè)Stage的計(jì)算量特別大拖慢了整體。這里要特別提一下HCCL建鏈問(wèn)題。多機(jī)訓(xùn)練時(shí)不同節(jié)點(diǎn)的設(shè)備互相通信需要走網(wǎng)卡而HCCL默認(rèn)會(huì)使用某個(gè)網(wǎng)卡進(jìn)行建鏈。如果這個(gè)網(wǎng)卡不通通信就會(huì)一直卡住。排查方法是在訓(xùn)練啟動(dòng)前用簡(jiǎn)單的hccl_tools.py測(cè)試腳本驗(yàn)證節(jié)點(diǎn)間的通信連通性確認(rèn)沒(méi)問(wèn)題再啟動(dòng)正式訓(xùn)練。6.2 梯度異常的定位方法梯度異常通常表現(xiàn)為兩種情況梯度爆炸導(dǎo)致Loss變成NaN或者梯度消失導(dǎo)致Loss長(zhǎng)時(shí)間不下降。排查的第一步是逐層打印梯度數(shù)值找到異常梯度的位置。實(shí)操上可以在模型注冊(cè)一些Hook來(lái)打印各層梯度的范數(shù)值for name, param in model.named_parameters(): if param.grad is not None: grad_norm param.grad.norm().item() if grad_norm 1e4: print(fLarge grad: {name}, norm {grad_norm})這個(gè)方法雖然簡(jiǎn)陋但能迅速縮小問(wèn)題范圍。如果是某些層梯度持續(xù)異常優(yōu)先檢查這些層有沒(méi)有被混合精度影響如果是全層梯度異常則優(yōu)先檢查L(zhǎng)oss計(jì)算和梯度累積邏輯。還有一個(gè)容易被忽略的問(wèn)題權(quán)重初始化。如果某些層的初始化方差過(guò)大一開(kāi)始梯度就容易爆炸尤其是在深層Transformer結(jié)構(gòu)里。所以遇到訓(xùn)練初期就出NaN的情況除了檢查混合精度也要確認(rèn)初始化方式是否合理。6.3 日志分析與定位調(diào)試昇騰訓(xùn)練日志分析能力是基本功。建議訓(xùn)練腳本統(tǒng)一用logging模塊輸出帶時(shí)間戳的日志打印每個(gè)Step的耗時(shí)和Loss。如果出現(xiàn)Step耗時(shí)突然上升需要結(jié)合日志時(shí)間線回溯當(dāng)時(shí)的數(shù)據(jù)加載和通信狀態(tài)。另外昇騰的運(yùn)行時(shí)日志默認(rèn)帶級(jí)別可以通過(guò)環(huán)境變量調(diào)整日志級(jí)別比如把部分調(diào)試信息打開(kāi)便于觀察算子執(zhí)行順序和耗時(shí)。日志量會(huì)顯著增加建議只在定位問(wèn)題時(shí)臨時(shí)打開(kāi)平時(shí)保持默認(rèn)級(jí)別。7. 大模型訓(xùn)練全流程的經(jīng)驗(yàn)沉淀整套昇騰大模型訓(xùn)練調(diào)試調(diào)優(yōu)走下來(lái)我的體感是昇騰已經(jīng)是一套成熟度頗高的訓(xùn)練平臺(tái)不再是需要“硬啃文檔”的試驗(yàn)品但它和GPU生態(tài)的差異是客觀存在的關(guān)鍵要掌握它的規(guī)律。給我留下最深的幾個(gè)經(jīng)驗(yàn)第一版本對(duì)齊是“地基工程”不要在環(huán)境配置上求快一步錯(cuò)后面全是連鎖反應(yīng)。拿到新機(jī)器后第一件事就是確認(rèn)CANN、框架和插件的版本配套關(guān)系并保留環(huán)境配置文件方便后續(xù)復(fù)現(xiàn)。第二算子遷移是最需要耐心的環(huán)節(jié)建議把模型里所有自定義算子、第三方CUDA算子統(tǒng)一梳理出來(lái)逐個(gè)驗(yàn)證昇騰兼容性。把這個(gè)工作前置到訓(xùn)練啟動(dòng)前能省下大量試錯(cuò)時(shí)間。第三性能調(diào)優(yōu)要有數(shù)據(jù)支撐別憑感覺(jué)調(diào)參。Profiling工具一定要學(xué)會(huì)用讓數(shù)據(jù)告訴你瓶頸在哪。很多時(shí)候我們以為的計(jì)算瓶頸實(shí)際是通信或數(shù)據(jù)加載瓶頸。第四訓(xùn)練穩(wěn)定性比訓(xùn)練速度更重要。大模型訓(xùn)練動(dòng)輒數(shù)天一次掉卡造成的損失遠(yuǎn)大于優(yōu)化帶來(lái)的收益。把斷點(diǎn)續(xù)訓(xùn)、日志監(jiān)控、健康檢查這些“保命”功能做好優(yōu)先級(jí)高于一切花哨的優(yōu)化技巧。最后再分享一個(gè)我個(gè)人的習(xí)慣每輪全流程調(diào)試后把遇到的問(wèn)題、根因、解決方案整理成一份內(nèi)部文檔形成團(tuán)隊(duì)自己的“避坑手冊(cè)”。昇騰生態(tài)迭代很快這些一手經(jīng)驗(yàn)往往比官方文檔更貼近實(shí)戰(zhàn)也能幫助下一次訓(xùn)練啟動(dòng)時(shí)少走彎路。這套“調(diào)試—沉淀—復(fù)用”的方法才是訓(xùn)練全流程經(jīng)驗(yàn)真正復(fù)利的地方。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
激情五月丁香社区| 深爱五月激情五月| 九九综舍久久| 欧美日韩AAAAA| 免费视频无码| 天天爽综合网| 玖月婷婷爱丁香| 天天插操| 久操热| 丁香五月婷婷亚洲综合精品在线| 国产97色在线 | 日韩| 九九热av| 狠狠操狠狠插| 青青草婷婷综合五月| 啪啪啪丁香五月| 类似婷婷激情综合网站| 开心五月丁香综合久久| 色婷婷综合网站| 婷婷六月久久| 九九综合久久| 五月丁香少妇| 精品九九婷婷| 岛国AAAV| 亚洲宗合激情| 日本久久高清| 婷婷综合视频| 婷婷婷婷婷婷婷婷| 天天色综网| 青青.com| 玖玖婷婷五月天| 在线播放成人| 九九色插| 久久综合五月情| 色综合久| 超碰免费成人| 成人在线综合| 国产亚洲色婷婷久久99精品91| 婷婷五月天视| 色综合丁香婷婷| 亚洲V国产V欧美V久久久久久| 五月综合久久| 热久精品| 亚洲色五月天| 噜噜精品| 欧美婷婷五月天| 伊人在线婷婷草| 99在线播放视频| 狠狠综合网| 欧美综合五月丁香六月婷| www.日韩艹| 激情综合五月天| 亚洲激情六月| 91怕怕网| 日韩在线一级| 五月婷啪| 五月天五月色婷婷综合| 99无码免费视频| 九九色99| 久热A片| 狠狠五月激情在线| 午夜成人综合| 色色色综合| 五月丁香激情综合六月涩涩爱| 五月丁香激情四射综合| 丁香九月激情| 丁香五月婷婷婷婷欧美综合| 婷婷五月丁香在线观看| 人人人人人人人草| 五月天综合久久| 丁香婷婷五月基地| 99激情视频| 99九九视频| 99爱视频在线播放| 九九亚洲综合| 色偷偷五月天| 我淫我色婷婷五月天激情四射| 亚洲无AV在线中文字幕| 日本97在线观看| 五月婷婷av在线| 婷婷五月色综合香五月| 丁香五月综合久久| 成人va在线观看视频| 97资源碰碰| 五月丁香 啪啪| 丁香五月婷婷婷桃花影院| 丁香五月婷婷社区| 五月婷婷激情久久| 色插综合网| 丁香五月婷婷88在线| 2020久久婷婷五月| 五月天偷拍| 欧洲亚洲免费视频9| 七七九色| 99爱免费在线观看| 五月激情婷婷在线| 97碰在线视频| 国产三级在线播放| 99热这里只有精品亚洲| 任你搞网站| 婷婷五月色| 色五月丁香五月| 五月丁香六月激情| 五月天伊人综合| 99啪啪视频| 深爱婷婷色| 亚洲热久久| 婷婷综合五月天| 影音先锋一区二区三区| 精品二区| 五月色婷婷亚洲| 亚洲综合网激情五月天| 97超碰在线免费观看| 丁香色婷婷五月天| 色婷成人狠干| 五月丁香成人| 五月天综合久久| 玖玖爱伊人网| 多精窝99在线视频| 另类图片色五月| 丁香五月偷拍| 91丨九色丨白浆秘| 五月婷婷中文| 色婷婷yy久| 久久多色| 免费看成人747474九号视频在线观看| 色狠狠色综合久久久绯色aⅴ影视| 色婷婷色| 欧美色欲色欲天天天www| 91青娱乐青青草| 综合色色网| 9久久久| 色婷婷99| 六月婷婷综合激情| 99啪在线| 五月丁婷婷| 成人免费在线电影| 丁香五月熟女| 俺去也在线www色官网| 五月丁香色综合| 97在线观视频免费观看| 欧美激情Va| 类似婷婷激情综合网站| 日本人妻操| 热久久99视频| 在线另类| 色五月婷婷激情综合网| 九九精品免费| 九九AV在线| 久久66成人网站| 天天色播| 开心五月婷婷六月丁香| 韩国真做片在线观看| 日本成人综合| 丁香伊人网| 成人免费超碰| 亚洲天天| 国产精品色婷婷久久久精品| 日本狠狠干| 久久丁香网| 五月人人丁香婷婷五月人人丁香| 91色久| 噜噜噜噜噜色| 中日韩美欧成人一区二区精品在线| 欧美久热| 婷婷色影院| 超碰免费人妻| 婷婷五月天综合在线| 色吧五月婷婷| 天天狠狠夜夜狠狠2023| 狠狠色噜噜狠狠色噜噜噜999| 99ri精品视频在线观看| 99热这里是精品| 婷婷激情在线| 99色激| 久久草大香蕉| site:wpjngj.com| 天天射影院| 久久婷婷激情五月天一区二区| 天天操天天曰| 丁香五月婷婷亚洲另类| 久久丁香五月天| 影音 五月 婷婷 久久| 六月婷婷激情| 人。妻久久| 婷婷综合九月| 婷婷色五月开心五月| 激情文学 综合 九月| 亚洲婷婷开心五月| 超碰在线网站| 日日撸夜夜操| WWW.99热| 婷婷97| 99久视频| 五月婷婷综合精品| 色婷婷狠狠| 99热超碰| 色久五月天| 丁香五月天BBw| 精品色色| 色情成人五月天| 日本久久人人| 97超碰免费超级在线观看| 色高清无码视频| 丁香五月熟女| 午夜一区| 99九九热视频| 五月社区婷婷激情| 91色噜噜狠狠狠狠色综合| 色五月婷婷亚洲| 五月天激情网址| 日本97在线看片| 99超级碰碰| 欧洲不卡视频| 天天综合网色欲香| 日韩成人电影AV| 狠狠色噜噜狠狠狠888了| 五月丁香六月婷婷综合| 中文字幕丰满孑伦无码专区| 精品乱码久久久久| 九九草热在线观看| 日韩九九视频| 久久婷婷丁香视频网| 色婷婷久久| 丁香 婷婷 亚洲 熟女| 婷婷五月丁香91| 情欲禁地| 天天日天天摸| 人人操97| 婷婷成人AV| 激情开心五月婷婷| 91婷婷在线| 蜜臀av无码久久久久久久久 | 色丁香久久久| 久久99热这里| 久热久色| 日本三级黄色大片| 肏屄色播伊人97婷婷| 99色嘟嘟精品网站| 做爰丰满少妇1313| www色色com| 亚洲色网址| 一夜福利不卡| 天天综合情| 免费成人中文字幕| 成人精品网站在线观看| 亚洲色无码A片一区二区麻豆| 五月天婷婷影院| 婷婷色系婷色| 啄木鸟黑丝一区二区| 亚洲AV无码成人精品电影| 激情五月天婷婷| 五月婷六月| www久热com| 久久婷婷五月国产激情综合片| 亚州第一A片| 亚洲最大成人综合网720P| 超碰三级片| 激情五月色综合国产精品| 伊人激情| 五月丁香美女| 狠狠 婷婷| 99综合视频在线| 91操网| 五月天婷婷涩涩| www.色色色com| 丁香六月综合激情| 国产精自产拍久久久久久蜜 | 色五月色五天色情网| 欧美人人超级碰| 色婷婷婷婷成人网| 亚洲性爱干干| 激情五月五月五月婷婷| 婷婷六月激情丁香| 激情九九这里只有精品| 日本社区五月天激情| 26uuu激情五月天| 激情五月黄色小说| 五月情婷婷五月| 日韩一66精品| 俺去也在线www色官网| 很很干在线视频| 婷婷九月激情| 夜夜骑福利资源| 久久机热思思热| 天天干肏夜夜| 丁香五月在线播放| 色三级色三级| 久热91| 婷婷九月色| 五月婷婷综合网| 综合久| 五月激情在线| 九月婷婷综合色干| 日本色色网站| 九九Av| 激情综合自拍五月婷婷色五月| 性爱先锋AV| 久久五月天黄色五月天色网址| 综合性视频99| 天天激情站| 狠狠综合网| 超碰成人在线观看| 性做久久久久久久免费看| 蜜乳人妻一区二区三区| 婷婷伊人綜合中文字幕| 日日做天天操夜夜爽| 99热12| 在线视频激情网站| 极品少妇XXXX精品少妇偷拍| 欧美碰碰碰| 91婷色| 久久国产性爱A V| 99er免费在线观看| 婷婷激情综合| 色五月激情五月| ww超碰在线| 丁香婷婷六月天| 丁香五月大片| 激情五月婷| 婷婷激情六月| 99碰| 五月天激情图| 亚洲这里只有精品| 懂色av蜜臀av粉嫩av永陈冠希| 色五月综合激情| 色高清无码视频| 欧美日韩成人在线观看| 操碰97| 丁香激情五月少妇| 120分钟婬片免费看| 婷婷五月天av小说| 激情综合五月色在线| 国产午夜一区二区三区| 久热九九| 98热精品| 国际国外精品欧洲南美洲专区无码不卡| 五月婷视频在线| 色婷婷丁香A片区毛片区女人区| 久热9热| xxxx五月激情| 加勒比日本一区二区三区| 激情AV| 丁香五月激情图片| 99在线精品免费视频| 欧美五月婷婷综合| 激情五月综合色婷婷| 俺去也五月天| 狠狠色婷| 欧美婷| 亚洲a色| 亚洲国产网站| 日本欧美国产| 亚洲视频综合网| 91九色视频在线观看| 99精品一二三四视频| 婷婷久久五月天亚洲欧美国产日韩在线观看 | 五月丁香六月激情网站| 婷婷五月中文在线| 五月丁香婷婷啪啪| AV堂狠狠干| 久久久久久人妻| 伊大人久久| 色婷婷成人在线| 丁香久久| 五月婷婷激情刺激| 欧美日韩99| 97在线精品| 久热亚洲| 99综合自拍| 五月婷综合性中心| 99re欧美精品| 久久丁香五月婷婷| 丁香五月天亚洲综合| 啪啪激情网站| 国产九月婷婷| 激情五月天com| 人妻中文字幕精品| 综合色色婷婷| 色色五月丁香婷婷| 99免费在线视频| 丁香五月天在线观看视频| 色99婷婷五月天| 五月婷综合性中心| 人妻免费网站| 婷婷色在线播放| 国产激情在线| 五月丁欧美| 天天操婷婷| 五月色情婷婷| 色99综合色88| 狠狠人妻久久久久久综合丁香| 中字幕视频在线永久在线观看免费| 99色综合| 国产做爰视频免费播放| 婷婷色五月综合| 97超碰99热99| 激情中文在线| 丁香五月六月久久综合| 91男人操女人视频| 丁香五月婷婷视频| 五月婷丁香花| 91久女| 婷婷五月色播放| 铁牛TV人妻| 91精品国产91久久久久青草| 99综合婷婷五月| 色级停停| 色情五月天丁香社区| 女婷久久| 无码色| 婷婷亚洲色| 大香蕉人人人| 26uuu国产| 丁香五月婷婷乱| 无码一级片| 另类图片天天影视在线观看| 囯产精品一品二区三区| 激情影院69| 97人妻碰碰碰久久香蕉| 干婷婷五月天| 狠狠99| 一起草Av| 99热99这里有免费的精品| 高清国产AV| 久久亚洲婷婷| 久久色五月天激情小说| 五月天婷婷色在线视频免费观看 | 色五月涩涩婷婷蜜桃| 欧美交换配乱吟粗大25P| 丁香五月激情鲁| 久久99综合网| 亚洲人妻AV| 人人操人av| 成人短视频在线| 九九色网专区| 午夜五月天| 五月天婷婷无码视频| 色婷婷基地| 婷婷五月综合基地| av中文在线| 丁香五月婷婷激情中文| 日本狠狠爽| 日本天堂免费99| 超碰在线50| 天天日天天操天天干| 激情综合国产| 亚洲成人影视在线| 婷婷五月天社区| dingxiangtingtingliuyue| 国产成人网| 婷婷六月天| 五月亭亭狠狠| 亚洲免费av观看| www色婷婷| 91九色欧美| 艾小青av| 婷婷丁香六月激情综合| 久热这里只有精品3| 操逼巨乳91| 成人无码髙潮喷水A片| www,色婷婷| 婷婷5月九九| 日韩综合天堂| 亚洲精品又粗又大又爽A片 | 秋霞网在线观看理论91| 人人色人人摸人人看| 4438国产免费看| 久久婷婷网址| 丁香五月天91| 婷婷五月丁香青青草在线| 99热91| 99精品九九| 九月婷婷久久久| 99操逼| www.激情五月天com| 欧美激情五月天婷婷| 91热久久| 亚洲 综合中文| 狠狠干狠狠色| 九月丁香| 久久这里只有精彩| 欧美va精品va老师va| 欧美久热| 玖玖在线资源视频| 丁香五月六月欧美| 久久只有18视频| 亚洲色婷婷视频| 色婷婷深爱五月| 天天舔夜夜操www com| 九九狠狠干| 久99久精品视频| 99大香蕉| 五月天第四色开心色播| 色欲婷婷夜夜| 色色色欧美色色| 夜夜爽日日躁| 国产三级秋霞| 久久久久久激情| 大香蕉天堂| 色色婷婷五月| 日韩久久成人| 婷婷五月天丁香成人社区| 91视频久久久| 色五月琪琪| 六月婷婷五月丁香首页| 99热久草| 日日爽日日| 免费播放片大片| 亚洲综合婷婷| 六月成人网| 97久久超视频| 99色这里| 无码少妇高潮喷水A片免费| 天天插天天插| 五月婷婷六月综合| 噜噜噜噜噜日本视频| 色五月婷婷婷婷| 97热这里只有精品| 色五月婷婷网| 91熟妇大香蕉| 九九人妻福利| 婷婷五月丁香综合激情| 91在线日| 午夜天天精品视频| 色婷婷丁香综合中文字幕| 丁香色情五月天| 99日这里只有精品| 丁香五月在线观看| 婷婷五月天性爱视频| 99熟女| 色综合播放| 色狠狠婷婷| 97久久视频| 玖玖@三月天天丁香婷婷| 五月婷婷中文字幕| 99re在线这里只有精品视频首页| 成人av在线电影| 香蕉久久av一区二区三区| 欧美毛卡| 五月婷婷之激情五月| 91成人电影| 99riav 亚洲| 九九99热| 婷婷色丁香六月| 丁香五月婷婷基地| 亚洲人人操| 秋霞簧片| 中文字幕日产A片在线看| 久草a片| 五月婷深深爱激情网| 99色视频在线| 激情五月,激情综合网| 六月丁香五月激情网| 色色五月天婷婷| 五月丁香花激情综合网| 99色在线| 婷婷激情五月视频| 很很干天天干| 婷婷五月综合社区在线| 五月深爱婷婷| 开心五月色婷婷综合开心网| 九九伊人网| 亚洲色五月婷婷| 五月婷护士| 久久五月天激情婷婷| 超碰在线观看9| 久久久久五月丁香| 九九爱激情| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 丁香五月开心亚洲| 五月天大香蕉AV| 极品五月天| 99精品偷自拍| 欧美久久五月婷婷| 国产精自产拍久久久久久蜜| 五月在线婷色| 色色激情| 美女婷婷六月色| 五月天丁香综合| 久久玖玖综合| 伊人婷婷综合| 五月天婷婷基地综合网| 色伊人婷婷| 丁香九月综合| 久99热| 丁香五月亚洲激情婷婷射| 久久多色| 色婷婷综合久久久久| 超碰熟女拍拍| 激情婷婷九月| 91碰超| 草草色情综合网| 欧美精品熟女一区二区| 深爱婷婷丁香五月激情| 激情婷婷五月天| 五月婷婷就去色| 亚洲欧洲中文日韩久久AV乱码| 精品婷婷五| 99热网精品| 色综合综合色| 久久aaaaa| 色婷婷小说网| 91啪啪| 色综合五月天| 丁香五月天婷婷中文| 激情婷婷狠狠干综合| 色情久久久| 无码一区二区三区四区五区91c| 婷婷婷婷婷婷婷五月丁香| 亚洲第二AV| 五月婷婷激情中文字幕| 99re这里只有精品99| 久久香蕉网| 婷丁香五月天| 超碰中文字幕在线| 99精品在线| 欧美丁香六月在线观看视频| 狠狠狠狠狠狠草| 66色在线日韩| 五月天亚洲最大成人| 情色五月天 网站| 99操免费视频| 97色五月天| 久久婷婷五月综合色天| 99成人| 丁香五月婷婷综合视频| 久久99精品久| jiZZdr| 成人精品99| 停停五月色宗合| 免费啪啪亚州视频| 婷婷性爱无码视频| 在线观看av网站| 五月天久久色| 色五月天丁香| 五月综合缴情网| 色婷婷久久视屏| 日本天天色| 天天看夜夜看| 激情图片婷婷丁香五月| 伍月婷丁香婷| 99久在线精品99re5热视频| 99无码视频| 亚洲另类视频| 啪啪干伊人婷婷| 97婷婷丁香| 夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂夂亚洲亚洲亚洲亚洲亚洲亚洲亚洲亚洲色 | 五月天天爱| 婷婷五月综合色中文字幕| av一区免费看| 五月天激情婷婷| 亚洲成人中心| 激情丁香五月婷婷啪啪| www.激情.com.| www:99热视频| 一本大道伊人AV久久综合| 五月婷婷人人人操| 99视频在线精品免费观看2| 色情·com| 精品99在线| 婷婷伊人综合| 日本熟妇乱妇熟色A片蜜桃| 久草A片| 久久这里只有欧美| 六月丁香深深爱| 另类视频一区| 91大神操美女| 91色逼| 色婷青青| 激情文学综合婷婷五月天丁香花| 五月天色色网站| 丁香五月天堂网| 人人草人人看| 五月天激情无码| 色婷婷综合五月| 五月丁香亚洲校园欧美| 大香蕉久久草| 影视av久久久噜噜噜噜噜三级| 婷婷丁香综合在线| 五月婷婷性爱网| 婷婷丁香中文字幕| 六月婷婷毛片| caop视频| 色婷婷AV五月天| 99久久丝| 天天干夜夜b| 丁香六月激情综合网| 五月丁香花视频| 久久婷婷综| 手机在线日韩视频中文字幕| 3DAV亚洲香蕉久久 一区二区| 丁香五月激动深爱欧美| 超碰日韩成人| 久久免费精彩视频| 人妻体体内射精一区二区 | 日曰躁夜夜躁2026| 在线视频婷婷| 国产亚洲成人综合| 5五月综合网亚洲| 丁香婷婷五月人体| 99色干| 天天色播| 免费精品66| 六月婷婷色宗合| www.色擼擼.com| 久久婷婷六月综合| 操人久久| AV九九| 五月天激情小说| 日韩AV无码影片| 另类图片五月激情| 26.uuu丁香五月婷婷| 九九99精品视频在线观看| 99噜噜噜在线播放| 五月天婷婷深深爱| 五月天丁香婷婷社区| 91精品久久久久久| 全部老头和老太XXXXX| 99福利视频导航| 五月丁香久久婷| 天天综合五月| 亚洲精品操一操、噜一噜、摸一摸、爽| 逼逼AV| 五月婷婷中文字幕| 日本久久99| 亚洲精品久久久无码| 日本色色视频| 97精品欧美91久久久久久久| 五月婷婷久久激情 | 九九热只有精品| 久久婷婷激情| 五月激情久久| 色婷婷婷av | 国产精产国品一二三在观看| 色综合久久8| 久久婷婷激情| 天天激情| 蜜桃人妻无码AV天堂三区| 婷婷爱五月| 丁香六月视频| 香蕉操亚洲| 国产毛片操B| 黄网免费看| 开心色播色五月婷婷| 欧美视频五区| WWW嗯嗯啊啊啊啊| 色99在线| 国产精品色色| 激情综合色婷婷啪啪五月天| 久9久9热久热| 吉澤明步Av一區二區| 久色视频| 色综合视频| 先锋资源996| 久久三级视频| 五月婷综合| 色婷婷久久综合久色| 丁五月激情视频免费| 风流少妇A片一区二区蜜桃| 99日在线观看视频| 米奇影视资源婷婷狠狠色激情欧美五月丁香 | 激情丁香久久久久久| www.五月天性.com| 亚洲热视频在线| 97香蕉人人在线观看| 天天摸夜夜爽天天做| AA丁香综合激情| 国产日韩精品SUV| 五月天激情综合在线| 超碰网站在线观看| 激情综合九| 激情五月婷婷在线区| 色色丁香| 任你草| 色爽九九| 99久久精彩视频| 五月天,激情四射,婷婷频道| 开心激情婷婷| 色五月丁香六月资源站| 丁香激情网| 五月丁香婷婷啪啪综合| 天天拍久久| 91操碰| 久久九九网| 9l视频自拍9l视频自拍九色学生| 性爱五月婷婷| 思思热视频在线| 99久久五月婷婷| 草逼大片| 久久人操-久草婷婷-成人AV| 亚洲成人在线五月天| 久久受www免费人成| 激情综合网,婷婷五月天| 天天干,夜夜爽| 永久思思热在线| 26uuu精品国产| 欧美成人AAA片一区国产精品| 免费操超碰| 婷婷九月丁香| 久久久人人操A V| 精品久久久人妻| 成人在线视频男人的天堂4399| 黄色激情五月天| 丁香九色不卡aaa| 六月综合婷婷开心伊人| 亚洲AV无码影院| 深爱激情丁香五月| 91丁香| 另类图片五月天| 免费黄色AV| 大香蕉婷婷| 综合网啪| 71在线精品视频一区| 丁香影院五月综合| 久久国产高清| 另类精品视频在线观看| 伊人干综合| 成人深爱丁香五月| 五月婷婷丁香av| 国产色色色色| 第四色大香蕉| 天天天天天日| 久草热久草在线视频| 亚洲黄网在线| 怡春院久操| 久久色频| 九九热这里只有精品31| 九九性爱网| 99精品久久| CHINESE熟女老女人HD视频| 偷拍丁香九月激情| 丁香花五月天婷婷成人社区 | 五月天婷综合| 丁香五月婷婷婷婷欧美综合| 米奇激情婷婷| 五月天综合视频| 大香蕉五月天婷婷| 国产成人片| 就爱日五月天| 亚洲成人网在线观看| 综合99在线| 一级操逼内射在线视频| 99在线免费视频| 色五月综合| www.9色色色| 久热婷婷在线视频| 99热免费精品热久久66| 五月丁香激情婷婷综合| 激情人妻综合| 欧美成人AAA片一区国产精品| 影音先锋男人站,影音先锋男人色资源网,影音先锋AV最新资源站,影音先锋AV资源 | 丁香六月 人妻| 天天干天天操天天拍| 91久久婷婷| 婷婷六月天国产综合| 99狠狠色| 激情五月天免费视频| 在线看片av| 中文字幕婷婷9月天| 97色片| 我爱va亚洲va52| 免费精品99| 欧美成人AAA片一区国产精品| 丁香五月天婷婷大香蕉| 婷婷免费成人视频| 五月丁香六月婷婷成人电影| 精品亚洲国产成AV人片传媒| 97极品在线| 色久综合天天做视频| 99久久6| 欧美精品狠狠色丁香婷婷| 久久综合干| 婷婷五月天BBw| 97色婷婷| 天堂久久婷婷| 五月丁香操亭亭网| 九九热超碰| 五月婷婷久久大香蕉| 99爱免费视频在线观看| 色五月天在线观看| 超碰人人操人人9| 久久久久综合激动五月天| 久久hd| 精品香蕉99久久久久网站| 大香蕉啪啪网| 五月婷婷综合丁香视频| 日韩黄色中文字幕| 天天做天天爱天天爽夜夜揉| 第四色五月天| www.99精品日操伊人乱碰在线| 色婷婷黄色网络| 91色吧网| 91刘玥视频在线观看| 丁香五月天色综合| 婷婷五月丁香五月| 日韩AC在线免费观看| 丁香婷婷五月天色综合| 99操碰| 九月久久婷婷| 深爱激情婷| 成人五月丁香花| 久久久久婷婷五月热综合| 人人草人人看| 91成人看| 天天日日爽| 夜夜嗨一区二区三区直播内容 | 另类少妇人与禽zOZZ0性伦| 大香蕉婷婷丁香视频在线| 91九色欧美| 九热视频免费观看| 热99AV网站| 久9久视频精品| 色五月色综合| 日韩艹比| 五月丁香六月婷婷综合伊人| 亚洲综合色网| 99惹在线精品免费观看| 伊人久久艹| 色婷婷久久综合久色综| 欧美激情五月天| 国产小网站| 九九久久网| 色色丁香色五月| 五月天婷婷在线AN| 99热免费18| 丁香五月天天高清在线| 偷拍九九热| 99热这里只有精品50| 色爆五月| 久久96热| 日日夜夜亚洲一区| 婷婷综合网伊人| 久久久国产精品黄毛片 | 91色在线 | 日韩| 六月色激情| 亚欧州精品视频| 丁香五月激情网| 丁香六月色婷婷| 国产精品久久..4399| 九九久久综合| 影音先锋色色色资源色资源色| 99热这里只有精品9| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 丁香五月激情月| 成人免费120分钟啪啪| 婷婷六月丁香色| 国产古装妇女野外A片| 婷婷六月中文字幕| 超碰色热| 五月丁香成人视频| 激情久久月| 色欲av伊人久久大香线蕉影院| 爱操人妻| 亚洲综合激情五月久久| 精品人妻久久久| 日本三级日本黄色| 开心激情五月天网| 丁香五月婷婷色情综合| 色色无码| 99热这里只有精品96| 五月天婷婷Av| 丰满熟女人妻一区二区三| 亚洲在线操| 亚洲操人| 九九精品网| 超碰二区| 国产又爽又猛又粗的视频A片| 秋霞三及片| 超碰免费99| 日日夜夜天天| 五月天婷婷在线播放| 狼人狠狠操| 99精品偷自拍| 岛国av网站| 人人爽人人射-美女久久久久久久久久-成人AV| 性做爰1一7伦| 亚洲色网址| 67194国产| 综合久久激情久久| 五月丁香成人小说| 日本美女天天日天天爽| 东京热人妻一区二区三区在线| 大香蕉九九| 婷婷五月丁香五月天| 色婷婷偷拍| 99精品热| 久99久99精品免| 91丨九色丨高潮丰满日本| 国自产拍偷拍精品啪啪一区二区 | 日本丁香五月| 亚洲第一视频 久久| www.99热在线观看| 亚洲性爱AV在线| 色婷婷AV在线| 狠狠色情婷婷| 午夜成人综合| 99国产精品白浆在线观看免费| 天天插天天插天天插天天插| 狠狠人妻色综合| 色婷婷8| 狠狠做深爱婷婷久久综合一区| 草AV9999| 五月婷视频久久| 殴美97色| 国产成人精品亚洲线观看| 色噜噜狠狠色综合日日| 青青草深爱激情网| 五月丁香成人| AV操一操| 丁香五月婷婷基地| 久艹大香蕉| 婷婷激情五月天亚洲综合| 丁香五月首页| 热久久999| 婷婷五月天激情四射| 99热在线观看免费精品| 精品综合久久久久久五月天| 色婷婷中文在线| 中文字幕人妻一区二区| 五月天开心网| 色婷婷激情四射视频| 五月天激情婷婷丁香| 思思热天天看| 丁香五月婷婷99| 九九综合九| 99久视频| 99热精品在线| 五月丁香婷婷俺| 欧美影院婷婷| 婷婷色五月天色色| 超碰69天堂| 亚洲成人在线播放| 婷婷在线激情| 五月婷婷欧美激情| 婷婷永久在线| 天天操天天日天天爱| A1片久久久| 色爱综合五月| 在线观看视频1区| 欧亚成人A片一区二区| 天干夜夜操| 久久综合激情| 狠狠五月激情丁香六月| 激情噜噜噜| 色色网五月激情| 婷婷五月丁香综合人妻| www·五月天| 黄涩毛片| 99热精品网| 人妻射精AV| 九色视频91疯狂| 一级二级色大片| 中文字幕天天干| 五月丁香狠狠爱婷婷综合| 2018国产大陆天天弄| 亚洲天天操| 九九伊人网| 婷婷五月色情| 欧美五月婷婷| 九九色综合九九色| 久久婷婷五月综合色和| 情婷婷五月天| 天天免费日日夜夜夜夜| 婷婷五月视频| 婷婷色av| 五月天综合久久| 狠狠五月天婷婷激情网。| www.五月天。com| 99色一| 99色在线观看视频| 丁香丝袜五月| 亚洲行行色色| 国产高清精品色| 婷婷丁香五月视频| 激情综合女人网五月播播| 色色五月婷| 色婷婷黄色网络| 丁香六月色婷婷欧美| 五月亚洲激情| 男人综合网| 久热中文字幕在线线观看| 婷婷色情五月| 第四色五月天| 久久婷婷亚洲| 99成人| 色色网站毛片| 少妇人妻丰满做爰XXX| 少妇出轨做爰高潮A片| 国内精品免费一区二区2009| 日本丰满久久| 91.com男女操| av大香蕉| 婷婷五月天亚洲综合网| 这里只有精品视频99| 第四色五月婷婷| 99热国产精品| 日韩啪啪视频| 九月婷婷人人操人人舔人人爱| 色综合久网| 伊人狠狠丁香婷婷综合尤物| 婷婷激情伍月网| 桃色伊人在线| 国产亚洲精久久久久| 欧美激情综合五月色丁香| 久久9热| 人妻AV在线| 性爱激情综合网| 亚洲成人av在线播放| 97碰啪啪| 激情www.98com| 日日综合网| 91成人品| 精品婷婷| 国产人妻人伦精品一区二区| 五月婷婷黄色毛片| 色色色999| 五月婷婷丁香av| 99热这里只有精彩| www久| 色五月婷婷777| 日韩肏屄网| 99re这里只有精品免费| 夜夜综合色| 亚洲精品视频在线| 久久丁香综合精品综合| 丁香久久综合| 天天干天天干天天干天天干天天干天天干天天| 婷婷五月天电影区小说区| 啊v视频在线观看| 99热个人在线| 丁香五月天.com| 亚洲国产精品成人va在线观看| 99免费在线视频| 久青草影院| 久久日九九| 五月丁香 啪啪| 五月丁香六月婷婷不卡免费无码| 超碰爱爱爱| 成人精品视频99在线观看免费 | www.日日夜夜.com| 99久99久| 伊人久久激情图区五月| 涩涩涩.com| 五月激情视频| 五月婷婷丁香综合,亚洲天堂| 伊人五月天综合网| 色五月AV| 成人国产欧美大片一区| 激情综合网五月丁香| 丁香六月婷婷基地| 中文成人在线| 婷婷五月天奸女| 美女要搞搞天天搞搞搞网站| 婷婷五月天成人| 在线观看免费视频| 九九人人精品| 久久视频九九视频| 日本婷婷| 五月天激情网址| 婷婷六月久久| 婷婷色导航| 国产人人操| 人人干Av| 五月丁香六月激情| 九九九午夜视频| www.丁香五月| 超碰v| 五月婷婷黄色| 亚洲欧美999| 亚洲va综合va国产va中文| 激情五月天视频| 天天日,天天插| 超碰69天堂| 九九热在线视频,| 亚洲另类在线观看| 超碰色综合| 婷婷五月色综合| 色综合中文综合网| AV国产有码| 亚洲另类电影| 99视频久久| 超碰在线精品| 色色色天堂网| 激情丁香五月天图片| 精品久久99码| 色色五月天网站| 五月婷婷|欧美| 欧美激情 日韩无码 婷婷 五月天| 97色伦另类图片小说视频| 国产精品18久久久| 日本综合久| 亚洲操人| 丁香久久综合| 亚洲欧州色情在线观看| 噢美99| 天插天啪天啪天啪| 天天综合精品| 中文字幕av在线| 九九热黄色| 亚洲成人高清在线| 中文AV在线观看| 色婷婷AV在线| 五月天成人免费视频| 激情婷婷视频在线| 天天色天天日| 综合久久五| 五月丁香色婷婷基地| 亚洲精品一二三| 思思热热久久| 婷婷5月久久综合网站| 中文字幕色色| 91av色色乱视频| 狠狠干,狠狠操| 五月天综合激情网| 中文字幕AV网址| 久久性视频| 夜夜撸日日操| 99色综合网| 狠狠操狠狠| 精品少妇蜜臀91| 亚洲日比视频| 天天日天天干天天爽| 人妻中文字幕精品| 亚洲激情网| 婷婷天堂综合| 99热免费在线| 888精品福利地址| se色婷婷视频| 99热这里只有精品在线播放| AV网址大全在| 欧美日韩成人免费在线| 丁香婷婷五月六月久久| 亚洲欧美成人在线| 五月天 综合 在线| 99国产精品久久久久久久久久久| 亚洲激情丁香五月基地| 九九九激情综合| 99re在线这里只有精品视频首页| 丁香啪啪中文字幕| 97色色综合| 操久久网| 99久热| 天天爽夜夜爽夜爽精品| 九伊人网| 99在线视频精品| 狠狠舔| 久久受www免费人成| 超碰国产AV| 色婷视频| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 97精品人人A片免费看| 婷婷深爱五月丁香| 亚洲天堂99| A片试看50分钟做受视频| 婷婷五月天堂| 99色6爱9热| 免费看欧美成人A片无码| 99久久激情视频| 亚洲色久| 五月婷婷香蕉| 99网99热| 99热欧| 91窝窝| 五月天色区| 色色色成人网| 久久伊人婷婷|