欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

PyTorch優(yōu)化器全解析:從SGD到AdamW的原理、參數(shù)與實戰(zhàn)調(diào)參指南

PyTorch優(yōu)化器全解析:從SGD到AdamW的原理、參數(shù)與實戰(zhàn)調(diào)參指南 優(yōu)化器是 PyTorch 訓(xùn)練流程里最容易被“抄作業(yè)”抄錯的部分。很多人跑模型的時候直接照搬別人代碼里的optim.Adam(model.parameters(), lr3e-4)換了個任務(wù)就發(fā)現(xiàn) loss 不降、梯度爆炸、收斂慢半拍問題往往就出在優(yōu)化器選型和參數(shù)配置上。這幾個月我在各種實驗里反復(fù)折騰torch.optim從最基礎(chǔ)的 SGD 到 AdamW、從學(xué)習(xí)率調(diào)度到梯度裁剪踩了不少坑也把相關(guān)論文翻了底朝天。這篇就從一個實戰(zhàn)者的角度把 PyTorch 優(yōu)化器的底細、論文出處、參數(shù)含義和實操踩坑經(jīng)驗一次性講清楚。無論你是剛把 PyTorch 裝好、準備跑第一個模型的入門選手還是已經(jīng)在調(diào)參路上掙扎了一段時間的煉丹學(xué)徒這篇文章應(yīng)該都能幫你少走很多彎路。1. torch.optim 到底是什么先搞清楚優(yōu)化器在訓(xùn)練中的位置1.1 優(yōu)化器解決的是哪一步問題很多人一上來就學(xué)各種網(wǎng)絡(luò)的代碼反而忽略了最基礎(chǔ)的問題優(yōu)化器在整個訓(xùn)練流程里到底干了什么。一句話概括優(yōu)化器負責(zé)回答“參數(shù)往哪個方向走、走多遠”這個問題。神經(jīng)網(wǎng)絡(luò)訓(xùn)練的本質(zhì)是讓損失函數(shù)的值盡可能小而損失函數(shù)是模型參數(shù)的函數(shù)。我們通過反向傳播算出每個參數(shù)對損失的梯度梯度告訴你的是“在這個點上往上走還是往下走才能讓損失變小”。優(yōu)化器拿到這個梯度之后按照某種策略更新模型參數(shù)讓損失一步步下降。這個行為特別像下山損失函數(shù)是連綿起伏的山地模型參數(shù)是你的坐標梯度是腳下山坡的傾斜方向。你要做的就是一步步往低處走。但具體每一步邁多大、怎么避開坑、怎么從局部小坑里爬出來這就是優(yōu)化器策略的學(xué)問。PyTorch 把這一整套邏輯封裝在torch.optim里。你不需要手寫參數(shù)更新公式只需要告訴它“你要優(yōu)化哪些參數(shù)、用什么算法、學(xué)習(xí)率設(shè)多少”。剩下的事情——梯度更新、動量累積、自適應(yīng)學(xué)習(xí)率計算——它全部幫你做了。1.2 torch.optim 的設(shè)計哲學(xué)把優(yōu)化策略做成可插拔模塊我最早用 PyTorch 的時候有一個感受特別深換優(yōu)化器太方便了。從 SGD 切到 Adam只需要改一行代碼訓(xùn)練邏輯、反向傳播、模型結(jié)構(gòu)完全不用動。這個便利性不是巧合而是 PyTorch 把優(yōu)化器規(guī)范化成了統(tǒng)一的接口。torch.optim的核心抽象是Optimizer基類。任何一個優(yōu)化器做的事情都可以拆成兩步根據(jù)當(dāng)前梯度計算出參數(shù)更新量然后把更新量作用到參數(shù)上。PyTorch 把這個過程封裝成optimizer.step()訓(xùn)練循環(huán)里每輪迭代調(diào)用一次即可。這個設(shè)計帶來的好處非常實際實驗管理變得極其輕松。我在做對比實驗的時候經(jīng)常在同一份代碼里用argparse傳一個--optim參數(shù)直接切換 SGD、Adam、AdamW、RMSprop完全不需要改動模型代碼。對于需要大規(guī)模調(diào)參的研究項目或工業(yè)項目來說這種可替換性節(jié)省的時間非??捎^。1.3 一個優(yōu)化器只有三樣?xùn)|西狀態(tài)、參數(shù)、更新規(guī)則別看torch.optim里面優(yōu)化器種類很多拆開來看每個優(yōu)化器其實就包含三個部分。第一是參數(shù)組。優(yōu)化器存的不是模型本身而是模型參數(shù)的引用。你可以選擇優(yōu)化全部參數(shù)也可以只優(yōu)化部分參數(shù)比如凍結(jié)backbone只微調(diào)分類頭。PyTorch 用param_groups這個概念來管理每個參數(shù)組可以有不同的學(xué)習(xí)率、動量等超參數(shù)。第二是狀態(tài)。像 SGD 的動量項、Adam 的一階矩和二階矩估計這些東西是跨 step 累積的中間量PyTorch 把它們存在優(yōu)化器的state字典里。這也是為什么你保存模型權(quán)重之后還要單獨保存優(yōu)化器狀態(tài)才能精確恢復(fù)訓(xùn)練現(xiàn)場。第三是更新規(guī)則。不同的優(yōu)化器本質(zhì)上就是梯度更新公式不同。SGD 直接用梯度乘學(xué)習(xí)率Adam 在梯度基礎(chǔ)上做了指數(shù)滑動平均和自適應(yīng)縮放。這部分就是各個優(yōu)化器源碼里step()方法的核心邏輯。理解這三樣?xùn)|西你再看優(yōu)化器源碼就不會覺得頭暈。我之前為了搞清楚 Adam 的state里到底存了什么直接打印過optimizer.state_dict()看到里面每個參數(shù)的exp_avg和exp_avg_sq就全明白了。2. 主流優(yōu)化器逐一拆解從 SGD 到 AdamW2.1 SGD最樸素的基線但永遠不要小看它隨機梯度下降Stochastic Gradient DescentSGD是深度學(xué)習(xí)的基石。它的更新規(guī)則極其簡單參數(shù)減去學(xué)習(xí)率乘以梯度。用 PyTorch 實現(xiàn)就是一行optimizer torch.optim.SGD(model.parameters(), lr0.01)樸素 SGD 的優(yōu)點是內(nèi)存占用極低、計算開銷極小、每步更新只依賴當(dāng)前梯度。但它有一個致命弱點收斂慢而且容易在 loss 地形中“震蕩”。這個震蕩怎么理解想象你在山谷里往下走如果這個山谷的橫截面是個狹長的陡溝那么下山的最優(yōu)路徑應(yīng)該順著溝的長軸方向走。但樸素 SGD 只看當(dāng)前點的梯度方向這個方向在溝壁兩側(cè)來回擺動導(dǎo)致你不斷橫跳前進速度極慢。這就是病態(tài)曲率問題。所以實際工程里大家用的 SGD 幾乎都是帶動量Momentum的 SGD。動量項相當(dāng)于給更新過程加了“慣性”讓參數(shù)更新方向不只由當(dāng)前梯度決定還參考歷史梯度的累計方向這樣在溝槽地形里就能有效抑制震蕩、加速收斂。optimizer torch.optim.SGD(model.parameters(), lr0.01, momentum0.9)momentum0.9是經(jīng)驗上最常用的默認值。它表示新的更新方向有 90% 的比例來自歷史動量、10% 來自當(dāng)前梯度。這個參數(shù)調(diào)得越高更新越平滑但可能反應(yīng)越遲鈍。PyTorch 里還支持nesterovTrue開啟 Nesterov 動量這是動量的改進版在計算梯度時先“往前看一步”收斂速度通常更快一些。2.2 Adam自適應(yīng)學(xué)習(xí)率的集大成者如果說 SGD 是手動擋那 Adam 就是自動擋。Adam 全稱 Adaptive Moment Estimation它在 2014 年由 Kingma 和 Ba 提出可以說是深度學(xué)習(xí)訓(xùn)練里使用頻率最高的優(yōu)化器。Adam 核心的創(chuàng)新在于為每個參數(shù)單獨維護一個自適應(yīng)學(xué)習(xí)率。具體來說它維護了兩個量一階矩估計梯度的均值相當(dāng)于動量和二階矩估計梯度平方的均值反映了梯度的振幅。二階矩大的參數(shù)說明這個方向梯度波動劇烈更新步子就小一點二階矩小的參數(shù)更新步子可以大一點。PyTorch 里最常用的寫法是optimizer torch.optim.Adam(model.parameters(), lr1e-3, betas(0.9, 0.999), eps1e-8)這套默認參數(shù)是原論文里給出的經(jīng)受住了大量實驗驗證。lr1e-3是我見過的絕大多數(shù)任務(wù)里 Adam 收斂效果不錯的起點。betas是兩個滑動平均的衰減系數(shù)0.9對應(yīng)動量0.999對應(yīng)梯度平方的滑動平均。eps是一個極小的數(shù)用來防止分母除零。Adam 最大的優(yōu)點是不太需要精細調(diào)學(xué)習(xí)率。同樣是lr1e-3在 ResNet、Transformer、GAN 等不同架構(gòu)上通常都能得到一個還能接受的訓(xùn)練結(jié)果。這對初學(xué)者極其友好也解釋了為什么網(wǎng)上大量代碼里默認就是Adam(lr1e-3)。但 Adam 也有自己的毛病。其中最常見的是“極端不收斂”或后期泛化能力差的問題。一些研究表明Adam 使用指數(shù)滑動平均來估計梯度統(tǒng)計量在訓(xùn)練后期這些估計值可能存在偏差導(dǎo)致模型的泛化性能不如精細調(diào)過的 SGD帶動量。這在圖像分類等任務(wù)上表現(xiàn)特別明顯SGD 最終的測試精度往往比 Adam 高一點。2.3 AdamW權(quán)重衰減的正確打開方式AdamW 是我這幾年來最常使用的優(yōu)化器尤其是做 Transformer、BERT 這類模型的時候。它的全稱是 Adam with Decoupled Weight Decay由 Ilya Loshchilov 和 Frank Hutter 在 2019 年提出。要理解 AdamW先要理解什么是權(quán)重衰減。L2 正則化是給損失函數(shù)加上所有權(quán)重的平方和讓權(quán)重不要長得太大。傳統(tǒng)的 Adam 在實現(xiàn) L2 正則化時是把權(quán)重衰減項直接加到梯度里然后再做自適應(yīng)學(xué)習(xí)率計算。但這樣有一個被證實的缺陷自適應(yīng)學(xué)習(xí)率會“扭曲”權(quán)重衰減的效果使得不同權(quán)重被衰減的程度不一致從而削弱正則化的效果。AdamW 的做法是把權(quán)重衰減從梯度計算中解耦出來。在 Adam 計算出更新量之后直接對參數(shù)做一次額外的小幅縮減這個縮減不受自適應(yīng)學(xué)習(xí)率影響。聽起來只是一個小改動但實際效果非常明顯。我在訓(xùn)練一些大規(guī)模模型時從 Adam 換成 AdamW驗證集表現(xiàn)經(jīng)常有可見提升而且更容易訓(xùn)練出泛化性能更好的模型。用法同樣很簡單optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay0.01)weight_decay0.01是我在 HuggingFace 生態(tài)里看到的最常見配置。如果是 fine-tune 預(yù)訓(xùn)練模型很多人也會用weight_decay0.05或0.1。這個值不是越大越好太大會讓模型欠擬合太小則起不到正則化作用。需要根據(jù)任務(wù)規(guī)模做實驗。2.4 RMSprop、Adagrad、Adadelta各有各的看家本領(lǐng)除了 SGD 和 AdamPyTorch 還提供了好幾個優(yōu)化器雖然日常使用頻率不高但在特定場景里依然有一席之地。Adagrad 是最早的自適應(yīng)學(xué)習(xí)率方法之一。它的特點是對低頻出現(xiàn)的參數(shù)給予更大的更新步長很適合處理稀疏特征比如推薦系統(tǒng)里的用戶/物品 ID 嵌入。但它的缺點是累積梯度平方會越來越大導(dǎo)致學(xué)習(xí)率被壓得過小最終訓(xùn)練提前停滯。RMSprop 是 Hinton 在課程中提出的一種優(yōu)化方法它通過指數(shù)滑動平均來估計梯度平方解決了 Adagrad 學(xué)習(xí)率單調(diào)遞減的問題。在強化學(xué)習(xí)里RMSprop 曾經(jīng)是標配優(yōu)化器之一。PyTorch 中的實現(xiàn)提供alpha參數(shù)控制滑動平均的衰減默認0.99。Adadelta 可以看作是 RMSprop 的一個變體它不需要手動設(shè)置學(xué)習(xí)率更新量會自適應(yīng)地縮放。不過實際使用中它的通用性不如 Adam我很少在主流框架里看到它作為首選。這幾個優(yōu)化器的 PyTorch 用法都是同一套optimizer torch.optim.Adagrad(model.parameters(), lr0.01) optimizer torch.optim.RMSprop(model.parameters(), lr0.01, alpha0.99) optimizer torch.optim.Adadelta(model.parameters(), rho0.9)2.5 優(yōu)化器對比一張表看透區(qū)別我一直覺得選優(yōu)化器之前先看一張對比表比自己瞎試高效得多。這里把我常用的幾個優(yōu)化器的關(guān)鍵特性整理出來優(yōu)化器核心機制適用場景默認學(xué)習(xí)率主要缺點SGD直接沿梯度方向更新CNN圖像分類、大規(guī)模數(shù)據(jù)0.01~0.1收斂慢、需精細調(diào)參SGDMomentum梯度歷史動量大部分CNN任務(wù)0.01~0.1仍依賴學(xué)習(xí)率調(diào)度Adam一階矩二階矩自適應(yīng)大多數(shù)場景通用3e-4~1e-3泛化性能有時不如SGDAdamWAdam解耦權(quán)重衰減Transformer、預(yù)訓(xùn)練模型1e-4~1e-3需要設(shè)置weight_decayRMSprop梯度平方滑動平均強化學(xué)習(xí)、RNN1e-3通用性不如AdamAdagrad梯度平方累積稀疏特征場景1e-2學(xué)習(xí)率衰減過快我的經(jīng)驗是如果做圖像分類這種比較“正統(tǒng)”的監(jiān)督學(xué)習(xí)我會優(yōu)先考慮帶動量的 SGD配合余弦學(xué)習(xí)率衰減最終精度通常不錯如果做 NLP、Transformer、GAN 這類對調(diào)參敏感的任務(wù)直接用 AdamW省心且效果好快速驗證某個想法能不能跑通就上 Adam拿默認參數(shù)先跑通再說。3. 優(yōu)化器參數(shù)精細解讀別再亂調(diào)了3.1 learning rate整個訓(xùn)練里最重要的超參數(shù)學(xué)習(xí)率是優(yōu)化器里最核心、也最需要謹慎調(diào)整的參數(shù)。它直接決定每一步更新跨多大步。學(xué)習(xí)率設(shè)得太大參數(shù)會在最優(yōu)解附近來回震蕩甚至發(fā)散設(shè)得太小訓(xùn)練過程極其緩慢且容易陷入局部最優(yōu)出不來。一個我常用的經(jīng)驗判斷訓(xùn)練開始時如果 loss 在下降但非常慢可以試著增大學(xué)習(xí)率如果 loss 出現(xiàn)劇烈波動甚至變成 NaN立刻減小學(xué)習(xí)率。更系統(tǒng)的做法是用學(xué)習(xí)率預(yù)熱和掃描比如在訓(xùn)練最初幾十個 step 里讓學(xué)習(xí)率從 0 線性增長到預(yù)設(shè)值觀察 loss 的下降曲線找到能穩(wěn)定訓(xùn)練的最大學(xué)習(xí)率。PyTorch 里設(shè)置學(xué)習(xí)率最常見的方式就是優(yōu)化器初始化時傳入optimizer torch.optim.SGD(model.parameters(), lr0.1)后續(xù)想動態(tài)調(diào)整學(xué)習(xí)率可以直接修改optimizer.param_groups[0][lr]不過更標準的方式是掛一個學(xué)習(xí)率調(diào)度器scheduler后面會詳細講。3.2 betasAdam 家族的“記憶長度”betas是 Adam 和 AdamW 里特有的參數(shù)是一個二元組。第一個值控制一階矩即動量的滑動平均衰減速度默認 0.9意思是每步更新時歷史動量的占比是 90%。第二個值控制二階矩的滑動平均衰減速度默認 0.999。你可以把 betas 理解為“記憶的窗口長度”。一階矩的窗口大約在1/(1-beta1)步即1/(1-0.9)10步二階矩的窗口大約是1/(1-0.999)1000步。這意味著 Adam 在估計梯度振幅時看的是過去大約 1000 步的梯度平方情況。什么情況下需要調(diào) betas常見的一種是訓(xùn)練 GAN 時有些人會把beta1調(diào)低到 0.5因為 GAN 的對抗訓(xùn)練需要更短的歷史記憶讓更新更激進一些。而beta2很少需要動除非你發(fā)現(xiàn)訓(xùn)練后期數(shù)值不穩(wěn)定可以嘗試把beta2調(diào)低到 0.99 或 0.995讓二階矩估計對近期梯度變化更敏感。optimizer torch.optim.Adam(model.parameters(), lr1e-3, betas(0.5, 0.999))3.3 weight_decay正則化與過擬合的博弈weight_decay在 PyTorch 里幾乎是所有優(yōu)化器都有的參數(shù)。它的作用是在每次參數(shù)更新后對所有權(quán)重乘一個略微小于 1 的系數(shù)從而抑制權(quán)重過大。這個操作等價于在損失函數(shù)中加入 L2 正則項但實現(xiàn)方式更直接。在 SGD 中weight_decay 與 L2 正則化是等價的。但在 Adam 里正如前面講的直接把 weight_decay 加進梯度會有問題所以 AdamW 才把它解耦出來。這也是我推薦大家用 AdamW 的原因之一。具體的 weight_decay 數(shù)值要看任務(wù)。常見范圍是0.0001到0.1之間。做圖像分類時1e-4是常見的起點做預(yù)訓(xùn)練語言模型微調(diào)時0.01甚至0.1都有使用。我在做 Transformer 模型時通常會從0.01起步如果驗證集過擬合明顯就往上調(diào)。3.4 eps一個容易被忽略卻保命的參數(shù)eps的作用是在計算分母時加一個極小值避免除零或極端數(shù)值導(dǎo)致的 NaN。它看似無關(guān)緊要但我確實碰到過因為eps問題導(dǎo)致訓(xùn)練崩潰的情況。默認eps1e-8對大部分模型都沒問題但在使用混合精度訓(xùn)練AMP時梯度幅值可能會被壓縮到很小1e-8這個量級的分母相對過高會影響自適應(yīng)學(xué)習(xí)率的精度。一些混合精度訓(xùn)練框架會把eps調(diào)整到1e-6或1e-7。如果你在 AMP 訓(xùn)練中碰到 loss 突然變成 NaN又排除了學(xué)習(xí)率太大的原因可以檢查一下eps是否合適。3.5 其他值得了解的參數(shù)amsgrad是 Adam 的一個小變體它保存了歷史上最大的二階矩估計從而避免學(xué)習(xí)率在某些情況下被人為增大。PyTorch 里通過amsgradTrue開啟。我在訓(xùn)練不穩(wěn)定的小批量任務(wù)時用過它有時能帶來穩(wěn)定性的提升但大多數(shù)情況下默認關(guān)閉即可。foreach是 PyTorch 2.x 新引入的性能優(yōu)化參數(shù)。設(shè)置為True時優(yōu)化器會使用更高效的遍歷方式更新參數(shù)在參數(shù)數(shù)量多、GPU 支持的情況下可以顯著提升速度。PyTorch 新版本里往往已經(jīng)默認開啟或自動選擇不需要特意管它。maximize參數(shù)用于做梯度上升而不是下降。某些對抗攻擊場景或者強化學(xué)習(xí)里需要最大化某個獎勵時可以把maximizeTrue這樣優(yōu)化器自動執(zhí)行梯度上升而不是下降。這個參數(shù)很多人不知道但用到的時候能省很多事。4. 優(yōu)化器論文里的干貨原理、缺陷與改進動機4.1 必讀的幾篇原文從 SGD 到 AdamW優(yōu)化器的論文大多是 2010 年代中期的經(jīng)典之作篇幅不長、公式清晰花一個下午讀原文比看十篇博客都有用。SGD 加動量的思想可以追溯到 Polyak 在 1964 年的工作但深度學(xué)習(xí)語境下更常引用的是 Sutskever 等人在 2013 年的論文《On the importance of initialization and momentum in deep learning》。這篇論文詳細分析了動量項如何加速收斂以及 Nesterov 動量的優(yōu)勢。Adam 的原文是 Kingma 和 Ba 的《Adam: A Method for Stochastic Optimization》2015 年發(fā)表。這篇論文里不僅有算法偽代碼還解答了一個關(guān)鍵問題為什么需要對一階矩和二階矩做偏差校正。因為指數(shù)滑動平均在初始時刻會偏向零偏差校正讓前幾步的估計更準確。PyTorch 的 Adam 實現(xiàn)里就包含了這個偏差校正邏輯。AdamW 對應(yīng)的論文是 Loshchilov 和 Hutter 的《Decoupled Weight Decay Regularization》。這篇論文理清了 L2 正則化與權(quán)重衰減在自適應(yīng)優(yōu)化器中的差別并通過大量實驗證明解耦權(quán)重衰減能取得更好的泛化性能。如果你想知道為什么現(xiàn)在大家都在用 AdamW這篇論文是最好的答案。還有一篇值得讀的是《On the Convergence of Adam and Beyond》它就是amsgrad的來源。這篇論文指出了 Adam 在某些情況下可能不收斂的問題并提出了一種修正策略。雖然 Amsgrad 在實際使用中提升有限但論文里對 Adam 收斂性的分析很能幫助你理解 Adam 的工作原理。4.2 論文里怎么報優(yōu)化器參數(shù)復(fù)現(xiàn)實驗必看我經(jīng)常需要復(fù)現(xiàn)別人論文里的實驗最頭疼的事情之一就是論文里優(yōu)化器配置交代得不清不楚。有些論文只寫了“我們使用 Adam學(xué)習(xí)率 1e-3”完全沒有提及 batch size、weight decay、學(xué)習(xí)率調(diào)度策略。而實際上這些細節(jié)往往嚴重影響結(jié)果。那些做得好的論文一般會在實驗設(shè)置部分明確寫出優(yōu)化器名稱、初始學(xué)習(xí)率、weight decay、總訓(xùn)練輪數(shù)和學(xué)習(xí)率衰減策略。比如經(jīng)典的 SwAV 自監(jiān)督學(xué)習(xí)論文里就會寫清楚使用了 LARS 優(yōu)化器、學(xué)習(xí)率怎么隨 batch size 線性縮放、cosine schedule 的細節(jié)。復(fù)現(xiàn)時要特別注意一個坑不同代碼庫對weight_decay的默認值不同。PyTorch 里SGD默認weight_decay0但有些論文的代碼實現(xiàn)里默認weight_decay5e-4。如果你照著論文里寫的超參數(shù)復(fù)現(xiàn)卻沒有注意到代碼庫的默認值差異訓(xùn)練結(jié)果可能天差地別。我一般復(fù)現(xiàn)時都會先打印一遍優(yōu)化器的param_groups把所有參數(shù)顯式寫出來避免默認值陷阱。4.3 從論文年代看優(yōu)化器的發(fā)展脈絡(luò)把優(yōu)化器論文按時間線排一下能看出深度學(xué)習(xí)訓(xùn)練方法論的演進。早期2012-2015是 SGD 和動量的天下。AlexNet、VGG、ResNet 這些經(jīng)典 CNN 模型的訓(xùn)練都是靠 SGD 加動量配合手動設(shè)計的學(xué)習(xí)率衰減策略。那個時代訓(xùn)練一個模型需要非常細致的調(diào)參經(jīng)驗學(xué)習(xí)率什么時候衰減、衰減多少倍都靠人對 loss 曲線的觀察判斷。中期2015-2018是自適應(yīng)方法爆發(fā)。Adagrad、RMSprop、Adam 相繼出現(xiàn)尤其是 Adam 以“開箱即用”的特性迅速成為主流。但很快研究者發(fā)現(xiàn) Adam 在泛化性能上不如 SGD于是開始深入分析原因推動了 AdamW 的誕生。近五年2019 至今的趨勢是“大模型 AdamW 固定學(xué)習(xí)率調(diào)度”。BERT、GPT、ViT 這些大規(guī)模 Transformer 模型的訓(xùn)練幾乎都是由 AdamW 主導(dǎo)的。究其原因Transformer 結(jié)構(gòu)對學(xué)習(xí)率極其敏感自適應(yīng)優(yōu)化器能夠更好地處理不同層之間的梯度尺度差異而解耦權(quán)重衰減又提供了更好的正則化效果。加上 warmup cosine decay 的調(diào)度策略形成了一整套相對成熟的訓(xùn)練范式。5. 實操PyTorch 優(yōu)化器的完整使用姿勢5.1 基礎(chǔ)訓(xùn)練循環(huán)從定義到 step這里給一個標準的 PyTorch 訓(xùn)練循環(huán)模板涵蓋優(yōu)化器、損失函數(shù)、反向傳播和參數(shù)更新。import torch import torch.nn as nn model nn.Linear(10, 2) optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay0.01) criterion nn.CrossEntropyLoss() for epoch in range(num_epochs): for batch_x, batch_y in dataloader: optimizer.zero_grad() output model(batch_x) loss criterion(output, batch_y) loss.backward() optimizer.step()有幾個細節(jié)值得強調(diào)。optimizer.zero_grad()必須放在每次backward()之前因為 PyTorch 默認是累積梯度的。如果忘記清零上一個 batch 的梯度會累加到當(dāng)前 batch導(dǎo)致參數(shù)更新方向完全錯誤。很多人第一次寫訓(xùn)練循環(huán)就栽在這里。loss.backward()計算梯度optimizer.step()用梯度更新參數(shù)。這個順序千萬別反。有些新手會把optimizer.step()放在loss.backward()前梯度都還沒算出來就更新了參數(shù)自然一動不動。還有個習(xí)慣我要特別推薦在訓(xùn)練早期打印一次optimizer.state_dict()。這一下就能看到優(yōu)化器到底接收了哪些參數(shù)、每個參數(shù)組的學(xué)習(xí)率是多少、狀態(tài)是否為空。排查配置問題的時候非常高效。5.2 參數(shù)分組凍結(jié)與差異化學(xué)習(xí)率實際項目中很少會無腦優(yōu)化所有參數(shù)。最常見的情況是遷移學(xué)習(xí)用預(yù)訓(xùn)練模型做 backbone微調(diào)后面的分類頭。此時我們希望 backbone 參數(shù)變化幅度小分類頭參數(shù)從頭訓(xùn)起。PyTorch 的參數(shù)分組就是用param_groups實現(xiàn)差異化配置optimizer torch.optim.SGD([ {params: backbone.parameters(), lr: 1e-4}, {params: head.parameters(), lr: 1e-3}, ], lr1e-3, momentum0.9)注意這里的用法傳入的是一個字典列表每個字典表示一個參數(shù)組。默認lr寫在第二個參數(shù)位置被第一個參數(shù)組里的lr: 1e-4覆蓋。也就是說backbone 參數(shù)實際學(xué)習(xí)率是 1e-4head 參數(shù)使用默認的 1e-3其他未在字典里指定的參數(shù)組使用全局默認值。另一個常見需求是凍結(jié)某些層的參數(shù)。最簡單的辦法是設(shè)置param.requires_grad False但注意如果這些參數(shù)已經(jīng)被傳入優(yōu)化器優(yōu)化器里仍然會維護它們只是梯度為零、不更新。更高效的做法是把凍結(jié)參數(shù)從優(yōu)化器中剔除只傳入需要訓(xùn)練的參數(shù)。trainable_params [p for p in model.parameters() if p.requires_grad] optimizer torch.optim.Adam(trainable_params, lr1e-3)這樣參數(shù)少了很多優(yōu)化器每次 step 的計算開銷也會降低。5.3 學(xué)習(xí)率調(diào)度別讓學(xué)習(xí)率一成不變固定學(xué)習(xí)率訓(xùn)練到底層模型通常不是最優(yōu)選擇。經(jīng)驗上訓(xùn)練初期學(xué)習(xí)率要大一些快速下降后期學(xué)習(xí)率要小一些精細微調(diào)。PyTorch 的torch.optim.lr_scheduler提供了多種調(diào)度策略。最常用的是StepLR和CosineAnnealingLR。StepLR是每隔固定輪數(shù)把學(xué)習(xí)率乘一個衰減系數(shù)CosineAnnealingLR則讓學(xué)習(xí)率按照余弦曲線從初始值降到最小值。我現(xiàn)在做視覺模型偏愛 cosine因為它的下降曲線更平滑不需要手動設(shè)定衰減節(jié)點。scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxnum_epochs, eta_min1e-6 ) for epoch in range(num_epochs): train_one_epoch() scheduler.step()還有一個極其重要的策略是 warmup尤其在訓(xùn)練 Transformer 類模型時幾乎是必需項。warmup 的思想是訓(xùn)練最開始讓學(xué)習(xí)率從極小值線性增長到預(yù)設(shè)值避免模型初始化不穩(wěn)定時直接用大學(xué)習(xí)率導(dǎo)致震蕩。PyTorch 里可以用LambdaLR手寫def warmup_lambda(step): if step warmup_steps: return step / warmup_steps return 1.0 scheduler torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambdawarmup_lambda)5.4 梯度裁剪、AMP 與優(yōu)化器的配合梯度裁剪是防止梯度爆炸的常用手段在 RNN、Transformer、GAN 訓(xùn)練里尤其重要。PyTorch 提供了torch.nn.utils.clip_grad_norm_和clip_grad_value_兩個函數(shù)。區(qū)別是前者把梯度的范數(shù)限制在給定閾值內(nèi)后者把每個梯度值裁剪到給定范圍。loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step()順序有講究裁剪必須在backward()之后、optimizer.step()之前。因為這個操作修改的是參數(shù)梯度而 step 恰好要用到它。混合精度訓(xùn)練AMP如今在大模型訓(xùn)練中幾乎是標配。PyTorch 1.6 之后提供torch.cuda.amp接口。使用 AMP 時優(yōu)化器本身不需要大改但需要特別注意如果某些參數(shù)是float64或整數(shù)類型AMP 可能會報類型不匹配的錯誤。通常浮點參數(shù)用float32就沒問題。scaler torch.cuda.amp.GradScaler() for batch_x, batch_y in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): output model(batch_x) loss criterion(output, batch_y) scaler.scale(loss).backward() scaler.unscale_(optimizer) torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0) scaler.step(optimizer) scaler.update()注意 AMP 訓(xùn)練時 grad clip 存在一個順序問題scaler.unscale_(optimizer)之前梯度是被放大過的直接用 clip 會導(dǎo)致閾值失真。上面的寫法先 unscale 再 clip 才是正確的。5.5 狀態(tài)保存與恢復(fù)斷點續(xù)訓(xùn)的完整姿勢訓(xùn)練大模型耗時動輒幾十個小時一旦中途中斷就得從頭開始這是不能接受的。好在 PyTorch 提供了優(yōu)化器狀態(tài)保存機制。torch.save({ model_state_dict: model.state_dict(), optimizer_state_dict: optimizer.state_dict(), epoch: epoch, best_acc: best_acc, }, checkpoint.pt) # 恢復(fù) checkpoint torch.load(checkpoint.pt) model.load_state_dict(checkpoint[model_state_dict]) optimizer.load_state_dict(checkpoint[optimizer_state_dict]) epoch checkpoint[epoch]恢復(fù)優(yōu)化器狀態(tài)時有一點要特別注意必須在加載模型權(quán)重、并且在優(yōu)化器初始化之后才能調(diào)load_state_dict。而且如果模型結(jié)構(gòu)變了比如改了分類頭的維度優(yōu)化器里對應(yīng)的參數(shù)狀態(tài)會不匹配此時不能直接恢復(fù)。我一般會在結(jié)構(gòu)改動后重建優(yōu)化器不恢復(fù)優(yōu)化器狀態(tài)只是從斷點輪次重訓(xùn)。6. 常見問題與排查技巧實錄6.1 loss 不降反升到底是誰的鍋訓(xùn)練時最讓人崩潰的現(xiàn)象就是 loss 不但不降反而一路上漲。遇到這種情況我有一套固定的排查順序。先檢查學(xué)習(xí)率是不是太大。最簡單的驗證方法把學(xué)習(xí)率直接減小 10 倍如果 loss 曲線變得穩(wěn)定下降那問題基本就是學(xué)習(xí)率過高。再檢查輸入數(shù)據(jù)有沒有歸一化。不少新手直接拿原始像素 0-255 的圖片喂給模型梯度幅值巨大優(yōu)化器再強也很難穩(wěn)住。這時候損失函數(shù)干瞪眼不一定是優(yōu)化器的錯。最后檢查梯度是否出現(xiàn) NaN??梢栽趏ptimizer.step()前打印torch.isnan(model.weight.grad).any()。如果有 NaN說明反向傳播里出了問題跟優(yōu)化器關(guān)系不大了。6.2 模型不收斂試試這些調(diào)參順序我調(diào)優(yōu)化器參數(shù)有個固定的優(yōu)先級順序。第一優(yōu)先看學(xué)習(xí)率因為它的影響最大。從論文或類似任務(wù)的默認值出發(fā)如果 loss 不降就降低學(xué)習(xí)率如果下降過慢就試著調(diào)高。第二是檢查 batch size 與學(xué)習(xí)率的匹配關(guān)系。batch size 翻倍學(xué)習(xí)率通常也該翻倍線性縮放原則。第三才是調(diào) weight_decay、momentum 這些細節(jié)。還有一個我特別推薦的做法先跑幾十個 step畫 loss 曲線觀察它是下降、震蕩還是發(fā)散。很多問題在早期就暴露了。沒必要一開始就跑完整訓(xùn)練流程。調(diào)參有一個反向直覺如果模型一直不收斂有時候不是優(yōu)化器調(diào)得不夠好而是模型結(jié)構(gòu)或數(shù)據(jù)預(yù)處理有問題。優(yōu)化器只能讓模型在損失面上運動如果損失面本身設(shè)計得不好再好的優(yōu)化器也白搭。6.3 優(yōu)化器相關(guān)報錯速查表報錯信息或現(xiàn)象常見原因解決方法ValueError: could not broadcast input array優(yōu)化器參數(shù)與模型參數(shù)維度不匹配檢查模型是否有參數(shù)被修改或新增重建優(yōu)化器RuntimeError: element 0 of tensors does not require grad傳入優(yōu)化器的參數(shù)沒有梯度設(shè)置requires_gradTrue或檢查模型是否在torch.no_grad內(nèi)Optimizer got an empty parameter list參數(shù)序列里沒有任何requires_gradTrue的參數(shù)檢查requires_grad設(shè)置或trainable_params篩選邏輯AMP 訓(xùn)練時GradScaler報錯優(yōu)化器與梯度縮放器配合次序錯誤按官方文檔順序scale(loss) - backward - unscale - stepload_state_dict時 size mismatch模型結(jié)構(gòu)改動導(dǎo)致優(yōu)化器狀態(tài)無法對齊不恢復(fù)優(yōu)化器狀態(tài)重新創(chuàng)建優(yōu)化器訓(xùn)練中途 loss 變成 NaN學(xué)習(xí)率過大、eps 過小、梯度爆炸先降學(xué)習(xí)率再檢查梯度范數(shù)必要時開 grad clip6.4 我的一個排查實例AdamW 微調(diào)模型驗證集掉點最后分享一個真實案例。我前段時間在拿一個預(yù)訓(xùn)練模型做下游任務(wù)微調(diào)一開始用 Adam、學(xué)習(xí)率 1e-4、無 weight decay驗證集分數(shù)一直上不去。后來我把優(yōu)化器換成 AdamW、weight_decay 設(shè)為 0.01、學(xué)習(xí)率調(diào)到 5e-5再配合 warmup驗證集分數(shù)明顯上升。整個過程優(yōu)化器參數(shù)只改了幾個數(shù)模型結(jié)構(gòu)完全沒動。這個例子很有代表性。它說明一個常被忽略的道理當(dāng)你覺得模型效果不好時不要只盯著網(wǎng)絡(luò)結(jié)構(gòu)改先回過頭檢查優(yōu)化器和學(xué)習(xí)率調(diào)度是否合理。很多時候優(yōu)化器配置的改變帶來的提升比換一個更大模型還要明顯。尤其是微調(diào)預(yù)訓(xùn)練模型學(xué)習(xí)率太大容易災(zāi)難性遺忘太小又學(xué)不到任務(wù)特有信息這個平衡點全靠優(yōu)化器配合調(diào)度策略來把握。在 PyTorch 里優(yōu)化器不是一個需要花很多時間去“學(xué)習(xí)”的模塊但絕對是一個值得花時間去“理解”的模塊。把torch.optim里每個常用優(yōu)化器的原理、參數(shù)、適用場景都摸清你在訓(xùn)練任何模型時都會更有底氣。剩下的就是不斷試錯、積累自己的調(diào)參感覺這本身就是深度學(xué)習(xí)實踐里最有趣的修煉過程。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
欧美VA在线| 丁香五月色五月| 五月天偷拍| 99视频只有这里精品| av第一二区| 日本va欧美va欧美va精品| 国产精品久久久久9999小说| 亭亭玉立国色天香| 亚洲亚洲人成综合网络| 婷婷五月天日本无码| 屁股翘好撅高迎合跪趴| 色色色免费视频| 欧美精品狠狠色丁香婷婷| 国产精品色一哟哟| www.婷婷,com| 九九热最新| 国产寻花在线| 中国操逼99| 色五月激情五月丁香五月婷婷啪啪综合| 丁香五月大香蕉| 色综合爽| Www.Av网9| 99爱这里只有精品免费视频| 丁香五月婷婷激情小说| 欧美日韩二区在线| 99热只有| 丁香五月网络网络| 99婷婷色| 九九热精品视频在线观看| 五月天婷婷综合久久| 99这里有精品视频| 狠狠人人婷婷| 五月丁香婷婷无码A∨| 噼里啪啦完整版中文在线观看| 欧洲婷婷五月天| 成人国产欧美大片一区| 99精品在线观看视频| 婷婷99| 婷婷久久五月| 五月综合激情视频在线| 精品国产人人爱人人| 免费无码毛片一区二区A片| 色五月丁香六月婷婷| 97婷婷狠狠久久综合9色| 九九热10| 五月天六月婷婷电影| 午夜日日| 影音先锋美国A| 中文av网| 五月婷婷无码专区| 五月色情婷婷| 欧美操综合| 99re热在线视频| 91热er| 婷婷五月天首页激情| 成人AV免费观看| 新99思思视频| 五月天婷婷丁香人人操91| 婷婷久久丁香五月| 婷婷丁香激情综合色情| 五月丁香六月激情综合网| 日本黄色一级| 色偷偷五月天| 国产午夜精品一区二区| 天天肏天天爽夜夜爽| 欧美天天搞| 人妻丰满精品一区二区A片| 这里只有精品69| 五月天婷婷基地综合网| 色综合婷婷99| 亚洲亚洲人成综合网络| 在线只有精品| 六月婷婷av| 天天艹夜夜爽| 亚洲小说五月婷婷| 草一草avb| 婷婷丁香六月天| 婷香五月| 91美女被操| 天天噪夜夜爽| 开心深爱五月天| 九九av在线| 懂色av粉嫩av蜜臀av| 成人电影AV在线观看| 五月亭亭六月激情| 久久五月天合网| 丁香五月婷婷激情完整版| 日本不卡一区二区三区| 国外亚洲成AV人片在线观看| 亭亭玉月丁香| 色五月丁香五月| 亭亭五月激情亚洲在线| 先锋资源 996| 色婷婷五月天堂资源| 色五月琪琪| 久久亭亭电影| 99欧美三级视频| 影音先锋男人女人| 久99999热视频在线观看免费| 超碰男人色| 亚洲色情网站| 婷婷丁香激情综合色情| 久久人妻www| 五月综合亚洲| 色情一区二区播放| 欧美色小说婷婷| 噜噜噜噜噜在线| 激情婷婷视频在线| 婷婷天堂综合网| 97色色网| 精品99在线| 综合激情五月丁香| 影音先锋 91工厂| 色婷婷综合久久久久| 色噜噜丁香| 极品人妻VIDEOSSS人妻| 久久国产色| 久久狼人天堂| 六月婷婷色| www.五月天婷婷| 天天日 天天草| 能直接看的av网站| 亚洲成人中心| 五月天成人综合| 色五月综合| 色婷婷成人| 五月丁香六月婷| 996er热| 五月婷啪| 大地9中文在线观看免费高清 | 久久久色情| 国产精品成人网址| 9一精品视频观看| 1024亚洲无码| 丁香五月最新网址| 99热自拍| 激情的五月| 深爱五月天天| 噜噜国产| 中文字幕婷婷| 亚洲亚洲人成综合网络| 日本nghangse中文字幕| 美女网黄| 欧洲激情五月天| 色色色色色爱| 九九re精品视频在线观看| 欧美综合五月丁香六月婷| 色综合婷婷| 五月丁香亚洲综合| 182.t午在线观看| 亚洲中文字幕翔田千里| 激情综合久久| 丁香六月激情蜜桃| 激情久久久久| 九九精品免费视频99| 婷婷六久久| 欧美婷婷丁香五月| 大香蕉久久| 人妻在线中文字幕久久| 99热| 男妓跪趴把舌头伸进我的嘴巴| 丁香色婷婷色手机免费在线| w婷婷五月婷婷w| 丁香六月色香蕉视频| 激情五月天色爱| 热久久这里只有精品| 淫视馆aV二区一区| 亭亭丁香97| 另类A片| 五月丁香婷婷在线综合蜜桃| 这里只有精品视频在线看| 婷婷激情综合| 日本精品久久久久中文字幕| 成人毛片在线免费观看| 成人狠狠成人狠狠成人狠狠成人狠狠 | 五月天伊人久久久久| 99人碰碰碰| 日日干四虎| 91九色偷拍| 日本视频99| 99热日本| 俺去也五月天婷婷| 六月丁香啪| 草操AV在线| 色婷五月天综合网| 久久人妻视频| 五月婷精品| 日日肏夜夜干| 99热免费| 日本精品99网站| 99热只有国产在线精品| 久久激情综合| 色情五月丁香| 婷婷久久色| 99re热视频这里只精品| 久久五月激情| 五月丁香六月欧美综合网站| 色婷婷激情五月天丁香| www.五月天性.com| www.婷婷五月天| 欧美日本韩国亚洲| 26UUU| 青青草日本亚洲| 国产成人网站在线观看| 丁香婷婷色色| 五月亭亭性| 日本久久精品| www.婷婷| 五月丁香婷中文| 婷婷中文字幕网站| 丁香5月啪啪| 九九综合九九| 九九热re99re6在线精品| 综合五月激情| 无码激情AAAAA片-区区| 五月丁香综合伦理片| 在线视频另类| 免费国产视频| 91九色熟女| 色色色五月| 五月丁花色综合网| 777影视理论片大全在线观看| 中文无码婷婷| 91热99| 欧美超碰人人| 五月伊人网| 97日日碰碰| 五月婷婷黄色视频| 天天揷综合网| 色噜综| 九月丁香婷婷| 色噜噜狠狠色综合伊人| 99在线观看视频蜜臀| 丁香五月婷婷影院| 开心婷婷五月激情网小说| 亚洲成人影视在线观看| 久久女婷| 婷婷五月天社区| 国产伦理精品高清在线观看网站一区二区 | 97人妻碰碰碰久久久久-最近国语高清| 5月丁香六月情| 久久香蕉影院| 99热在线中文字幕| 91re色综合视频| 日夜夜久久| 日韩啪啪视品| 人人草人人看| 啪啪激情综合| 五月色影院| 丁香婷最新动态| 激情深爱五月天| 成人精品在线观看| 国产成人综合亚洲| www99热| 超级碰 久久9| 丁香六月啪啪啪| 婷婷五月天综合网| 亚洲国产精品二二三三区| 婷婷激情另类| 亭亭丁香97| 色屌丝中文字幕| 激情宗合 激情宗合| 噜噜在线| 99久久99热| 琪琪色综合网站| 久久人妻伊人| 99a级片| 亚洲热热视频| 99久久九九| 岛国操B不卡在线| 久久看婷婷| 婷婷久久综合| 在线sebiav精品视频| 网站免费一站二站| 狠狠人人| 中文字幕成人影视| 少妇被下春药玩弄A片| 。久久久久久久久久久久久久人妻| 一片AV片免费播放| 狠狠色丁香| 五月天色婷婷视频| 99爽视频| 超碰天堂网| 五月丁香综合网| 99热婷婷| 激情网色五月| 可以免费观看的AV| 色屌丝中文字幕| 丁香婷婷基地| 十二区无码| 婷婷五月影院| 99热首页在线30| 丁香五月婷婷天堂大香蕉| 久久99综合| 五月丁香六月婷婷亚洲| 欧洲亚洲免费视频9| 精品人妻伦一二三区久久| 亚洲bt丁香五月天婷婷激情小说| 色综合久久综合中文综合网| 成人精品免费在线观看| 玖玖色综合| 五月丁香婷婷三级| 樱花99视频| 综合激情sV| 久久精品这里只有精品免费首页| 深爱五月激情| 天天cha成人综合网| 夜色综合网| 中国丰满熟女A片免费观| 五月天亚洲综合网| 五月花亭亭| 色停停香蕉视频| 伊人综合网站| 大香蕉婷婷丁香天堂AV| 激情六月色| 久久五月人人摸| 都市激情亚洲| 变态另类色图 | www.五月丁香| 伊人日日干| 九九99九九99偷拍视频免费看| 国内一级片| 精品久久99| 五月婷婷激情久久| 久久婷婷亚洲五月天| 欧美一级色| 一区三区视频有限公司| 超级碰碰一区| 五月丁香色停停啪啪啪| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 人人爽天天爽| 狠狠综合| 4399成人黄A片| 婷婷国产成人| 色色性爱视频| 欧美美美女性色视频| 亚洲精品操一操、噜一噜、摸一摸、爽 | 99热加勒比| 夜精品无码A片一区二区蜜桃| 91日本在线观看| 五月激情站| 激情九九综合网| 五月丁香怕怕综合| 亚洲婷婷视频| 99久久66| 亚洲精品va| WWW免费视频碰碰碰碰| 丁香五月伊人| 久久五月天影院| 99久久人妻精品无码二区| 久热9| www.婷婷,com| 婷婷九月在线| 色综合久久44| 五月激情啪啪| 色爱综合网| 大香蕉伊人久久| 91色久| 九九色热| 六月五月天婷婷涩播在线| 亚洲色久| 色狠狠色噜噜AV天堂五区| 农村熟妇高潮精品A片| 亚洲av成人在线| 婷婷视频网| 99熟女视频| 9久精品视频| 成人AV在线电影| 丁香婷婷久久 | www.lingjunshare.com| 99视频精品全部观看10| 日夜操B| 99热99色| 日本天堂网站99| 丁香五月婷婷亚洲另类| 开心婷婷五月天综合| www.99热最新视频8| 丁香六月婷婷综合麻豆| 丁香五月激情在线| AV九九| 国产FREESEXVIDEOS性中国| 99久久户外勾搭| 香港九九六区八区99| 18久久| 综合色图区| 侠女刀之记忆电影在线看免费| 新激情五月开心五月婷婷五月丁香五月| 色综合日日| 色播六月| AA片在线观看视频在线播放| 国产精品99久久久久久久女警| 日日操夜夜擼| 98色花堂98t.R| 亚洲人成网亚洲欧洲无码久久| 婷婷六月丁香1| 99在线精品免费视频| 8区视频在线| 五月丁香综合啪啪| 狠狠久久婷婷| 开心四月婷婷在线色播播| 五月天婷婷丁香六月| 亚洲碰碰碰| www激情| 偷拍99在线视频观看| 大香蕉中文| 熟女乱论网| 五月天天爽| 色婷婷视频| 婷婷五月激情黄色| 色婷婷基地| 五月丁香六月花| 99日本在线| 欧美精品中文字幕亚洲专区| 成人五月丁香社区| 中文乱子伦视频| 六月婷婷五月丁香| WWW,五月| 日日爽天天| 操一操干一干| 色天使色婷婷| 丁香五月激情鲁| 日本三级大片| 欧美日韩国产一区| 五月丁香在线综合| 9色91视频| 丁香色色色| 天天狠狠干| 色婷婷电影网| 日韩人妻无码专区| 丝袜激情网| 99亚洲精品综合在线| 99色色网| 婷婷午夜激情| 五月丁香少妇| 九九热99热| 99国产精品久久久久久久久久久| 亚洲一个色| 开心五月天激情网| 成人免费网站免费看| 97色五月天| 伊人啪啪网| 丁香五月婷婷综合91| 91dy.av| 九九热99热| 任你搞网站| 色婷婷久久综合久色综| 91婷婷丁香五月亚洲| 激情的五月| 五月婷婷AV| 玖玖五月| 99精品视频在线观看| 99久久99九九99九九九| 99色在线| 五月丁香啪啪啪| 丁香六月婷婷综合啪啪| 国产这里只有精品| 婷婷五月天综合AV| 99性爱视频| 1级欧美日韩| 人人干天天操五月丁香| 专区无日本视频高清8| 色综合网址| 五月婷婷激情中文字幕| 欧美、日韩、中文、制服、人妻| 精品无吗va视频免费观看| 成人免费超碰| 天天爽夜夜爽天天爽夜夜爽| 色www99| 五月婷婷狠狠干| 色五月亚洲| 亚洲欧洲自拍图片专区五月天| 九九热AV| 手机AVAV天堂看网| 色九四色| 久久这里只有精品热在99| 久草五月丁香婷婷综合| 天天插综合网| AV在线大香蕉| 丁香六月啪| 操操操www.com| 97人人操人人干| 人妻久久久久久久久妻久久久久久久久| 色五月天丁香| www.sd-xiangsu.cpm| 午夜精品人妻无码一区二区三区| 色婷婷丁香特级性爱视频| 国产99视频永久免费| 中文人妻AV久久人妻18| 婷婷五月色综合| 色色色色色色色五月| 九九免费精品| 人人性久久| 婷婷九月亚洲| 天天爽成人综合网站| 99色视频| 激情五月婷婷老师| 激情av在线| 亚洲啪啪啪啪| 五月丁香婷婷五月色| 国产婷伊人| 中文字幕色色| 欧美视频五区| 婷婷色婷婷| 欧美韩日AAA网站| 色婷婷91激情小说| 午夜色婷婷| sisi热国产| 综合色图婷婷| 丁香五月欧美激情| 26uuu国产精品| 免费观看日韩成人av| 五月丁香色婷婷久久| 五月婷丁香花| 日本操B片| 色五月色五天色情网| 电影《战争与艾拉》免费观看| 九九成人电影婷婷| 狠狠色狠狠| 综合激情五月丁香9999久久精| 激情五月婷婷综合秋霞| 婷婷月综合| 少妇激情五月婷婷| 亚洲另类av| 欧美成人精品A片免费一区99| 亚洲欧美一区二区三区四区爱爱动图| 色婷婷久久| 《亚洲操B久久免费在线观看,亚洲操B久久在线播放》在线播放 - 高清资源 - 97 | 日韩九区| 最近免费中文字幕大全高清大全1| 亚洲 五月 婷婷 成人| 九色 在线| 国产日韩精品SUV| 婷婷狠狠操| 丁香五月天天日| 一级二级色大片| 性一交一乱一交A片久| 99热最新| 亚洲尤物在线| 久思思热视频在线观看| 婷婷五月天大香蕉| 亚洲精品白浆高清久久久久久| 91无码高清| 五月天小说激情| 中文字幕av在线播放| 欧美性生交XXXXX无码小说| 区美毛片子| 激情 婷婷 丁香五月天| 五月丁香六月综合情在线观看| 婷婷五月激情小说| 草草夜夜操| AV九九| 激情五月婷婷综合| 都市激情五月婷婷亚洲| 欧美精品久久久久久视频观看| 精品亚洲国产成AV人片传媒 | 99热精品99| 亚洲婷婷成人五月天| 黄色大片又大粗又爽| 97热久久| 色五月色五天色情网址| 九九爱激情| 啪啪一区| 超碰九色| 深爱婷婷网| 日本色图综合| 五月天婷婷丁香导航| 婷婷激情综合网| 九九99九九99偷拍视频免费看| 五月激情四射网站| www.97视频| 狠狠干在线| 激情五月丁香五月| 色综合久久88色综合天天| 天天日狠狠| 激情五月综合色| www.日韩国产| 婷五月天六| 97成人在线视频| 少妇高潮呻吟A片免费看软件| 伊人婷婷大香蕉| 丁香婷婷色五月激情综合| 99爱免费在线视频| 伊人五月人妻精品| 天天干夜夜b| 激情婷婷五月亚洲| 五月丁香六月婷婷精品| www.色婷婷| 色婷婷激情| 丁香五月123| 婷婷色偷拍| 成人片在线免费看| 国产精品久久久久久久久久| 婷婷色在线| 亚洲激情五月天| 日韩啪| 婷婷五月丁香91| 日日操天天操| 99久久婷| 五月丁香六月婷综合成人综合| 激情爱爱网站| 九九久久综合| 99亚洲精品视频| 五月天色社区| 国产精产国品一二三在观看| 成人无码髙潮喷水A片| 丁香五月激情网| 成人日韩欧美| 欧美性猛交99久久久久99按摩| 国产成人一区二区三区在线观看| 操逼五月婷婷| www.91AV.com| 4399在线观看免费毛片| 午夜一区| 丁香五月 综合| 久久这里只有精品无码| 五月开心深深爱激情综合| 狠狠插日日干撸| 婷婷综合在线| 丁香六月久久| 九九综合久久| 中文AV网站| 月丁香久久久| 狼友超碰| 99er精品| 亚洲 无码 中文字幕 中出| 五月婷婷开心丁香| 草五月| 丁香五月在线自慰| 色婷婷XXXXX| 婷婷五月 丁香六月| 婷婷五月天影视| 五月丁香亚洲婷婷| 久久婷婷五月综合伊人| 99超级碰免费视频| 666555。COm毛片| 99啪视频在线观看| 亚洲精久久| 国产婷婷五月中文字幕高清| 五月丁香激情六月| 操日视频| 五月激情综合网| 激情影院69| 婷婷丁香熟妇综合网| 激情99热| 开心五月色婷婷综合开心网| 超碰在线国产| 久久99人人| 九九热99视频在线| 五月丁香色五月| 婷婷狠狠干| 五月婷婷六月丁香| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 五月婷婷|欧美| 99在线观看| 免费看欧美成人A片无码| 在线日韩av| www激情| 天天操,夜夜骑| 嫩草视频在线观看| 4438亚洲欧美| 五月天激情小说| 99色视频免费在线规看| 大香蕉久| 中文字幕高清av| 激情小说五月天社区丁香| 激情六月婷| 色噜噜婷婷| 亚州男人天堂婷婷五月| 天天爽天天爽天天爽天天爽天天爽天天爽天天| 婷婷五月花西瓜| 91丨九色丨东北熟女| 日本英国美国欧美亚洲国产精亚洲日韩精品在线观看 | 成久综合视频| 网站免费一站二站| 99精品久久| 五月天婷婷操逼视频| 精品九九视频| 欧美一级色| 亚洲第二AV| 天天爽天天弄| 91色色色| 国产免费av在线| 99精品久久久久久久婷婷久久| 日日操天天操| 99久久www| 激情综合丁| 色99视频| 丁香五月123| 天天狠天天狠| 亚洲成人网在线观看| 99天天操夜夜操| 久久九九综合| 91大屁股精品| 99热观看| 六月丁香婷婷五月| 欧美午夜乱妇午夜福利| 婷婷激情丁香五月天综合| 99精品在线观看视频| 国产91在线视频| 激情五月视频| 天堂成人A片永久免费网站| 五月色综合| 99九九热在线观看| 五月天婷婷狠狠| 激情綜合W W W,激情五月天| 九色成人AV在线| 丁香六月爱综合| 五月天婷婷综合网| www.jiujiujiu| 久婷五月| 天天射色五月天| 丁香婷婷啪啪啪| 99精品在线| 五月色网| 色99视频| www.91九色| www.99热视频| 伊人大香蕉毛片| 五月婷婷视频ab| 九热网站| 成人综合伍月天| 色婷婷久久9.com| 99热这里只有精品50| 最近中文字幕大全免费版在线 | 6月丁香婷婷激情| 极品人妻VIDEOSSS人妻| 蜜乳9188| 秋霞学生妹一二级| 五月天开心网| 国产日日夜夜操| 亚洲成av人影院| wwwxxx五月婷婷小说| 国精产品一区一区三区免费视频| 婷婷五月天激情在线观看| 日韩黄色中文字幕| 天天摸人人摸| 色婷婷四色| 成人丁香色| Av大香蕉| 国产精品第一国产精品| 丁香五月激情六月| 俺去婷婷 丁香| 婷婷八月丁香激情综合| 欧美天堂久久| 激情六月天| 色狠狠综合网| 五月丁香日逼| 91超碰在线观看| 五月色婷婷亚洲| 极品精品一区二区三区在线| 青草少妇激情| 99综合在线| 久久精品99国产精品日本| site:xmssd.com| 日本在线播放97| 丁香六月婷婷色XXXXX| 97在线综合| 激情丁香五月| 99精品在线观看视频| 久久伊人五月天| 亚洲精品一区无码A片| 伊人五月成人| 六月婷色| 人妻丰满精品一区二区A片| 亚洲激情免费视频| 久久久婷婷婷| 九九爱激情| 少妇人妻人伦A片| 免費亭亭成人| 综合玖玖偷拍| 另类小说五月天| 国产精品人人妻人人爽| 天天插综合在线| 丁香9月婷婷| 色婷婷综合网| 99色色色色| 婷婷色婷婷亚洲成人| 丁香八月综合激情| 色五月激情| 激情五月天无人视频在线| 五月婷婷欧美| 日日操夜夜操不卡| 色屌丝中文字幕| av五月天婷婷丁香| 99热这里只有99| 亚洲情欲久久| 国产毛片精品一区二区色欲黄A片| 婷婷五月激情天| 嫩草AV久久伊人妇女超级A| 综合日本婷婷| 五月婷婷综合网| 亚洲啪啪网| 日本在线噜噜| 婷婷久久五月| 五月婷婷婷综合网| 8050一级网| 日本丁香五月| 天天爽天天| 我要射综合| 色色日韩网| 九九99热| 久9草在线观看视频| 青青青在线视频国产| 久久婷五月综合| 精品9久| 狠狠五月天| 五月天激情小说| 五月天基地| 激情综合网五月天天| 91操片| 性爱五月婷婷| 国产亚洲精品久久久久久郑州 | 十二区无码| www.久久99| 久久丁香五月婷婷| 综合网视频| 色情久久久| 98毛片| 亚洲婷婷视频| 婷婷激情视频| 9久操| 岛国AAAV| 99在线精品免费视频| 东京热免费视频| 99A级片| 五月丁香六月婷婷激情视频在线观看免费 | 欧美日韩成人免费在线| 五月激情综合性爱| 九色视频入口91| 色九九中文字幕| 风流少妇A片一区二区蜜桃| 天天肏在线观看| 色婷婷久久综合久色综| 色婷婷五月天天天干天天操天天爽| 综合网激情五月天| 国产夫妻操逼内射视频| 亚洲性爱干干| 丁香婷婷六月激情文学| 大香蕉AV在线| 狠狠爱综合网| 99re这里只有精品99| 97久久久久| 五月激情网站| 成人 在线 日韩| 亚洲无线视频| 久久99婷婷| 九九色图| 亚洲综合激情五月天婷婷| 婷婷色中文字幕| 亚洲操人| 欧美噜噜免费观看| 国产99久久久| 蜜臀丁香黄色婷婷五月天| 六月丁香久久| 第二色AⅤ| 久久久久综合激动五月天| 翔田千里无码| 99视频一区| 开心网五月色婷婷| 婷婷日欧美在线观看| www.五月婷婷| 五月婷中文字幕| 九九色video| 神马久久五月天| 色婷婷另类| 国产伊人大香蕉| 五月婷狠狠| 99婷婷五月天激情| 国产免费一区二区三区三州老师F1F1.CC | 91综合国免费久入| 色五月婷婷综合| 99无码| 久久五月婷天天干| 香蕉中文在线| 五月丁香无码| 丁香五月天欧美成人| 久去色色| 五月亭亭六月激情| 丁香狠狠色婷婷久久无码视频| 思思热在线播放| 久久综合丁香| 色色色欧美| 在线超碰免费| 婷婷五月天综合AV| 99热乎| 人人爽人人爽人人爽人人爽| 六月婷婷五月天| 99久在线精品| 亚洲综合在线视频| A片试看50分钟做受视频| 人人妖人人97| 9 9 9色色| 噜噜干日本| 久久aaa| 26uuu成人网| 久久9久| 91中文狠狠综合| 人人97操| 激情综合青草| 天天做天天爱天天综合网| 人妻熟妇国产精品| 精品一二三区久久AAA片| 久热久操久热久草国产91| 婷婷综合色色| 久久视频九九视频| 婷婷五月丁香六月综合网| 亚洲va成人va成人va在线观看| 欧美黄色一级录像| 变态另类9| 精品一区二区三区木瓜| 碰超99| 麻豆AV一区二区三区| 久久婷婷人人| 五月天婷婷色播| 99色| 亚洲愉拍99热成人精品| 生活片五区| 欧洲高清免费久久| 婷婷伊人| 96精品国产综合久久久久久| 五月色丁香综合| 婷婷激情六月| 九九99久久精品| 噜噜噜狠狠色综| 婷婷五月天天aV| 六月丁香综合| 91人人人人人| 久久视频婷婷视频| 色丁香影院| 香蕉久久国产AV一区二区| 日本少妇裸体做爰高潮片 | 五月色网| 九九热狼人| 五月婷婷六月丁香| 婷婷亚洲欧美丁香五月| 国产精品色色| 欧美精品999| 天天日夜夜拍| 亚洲xx在线| 成人五月天在线观看| 亚洲中文乱字字幕在线永久| 白人荫道BBWBBB大荫道| 色综合色综合网| 丁香五月婷婷在线观看| 九九九激情综合| 五月婷婷深深的爱| 影音先锋一区| 9热在线视频精品| 色五婷婷| 少妇出轨做爰高潮A片| 99热欧美在线观看| 成人婷婷| 国产午夜精品一区二区| 五月婷婷久草在线视频综合| 91男同视频| 激情com| 看片视频在线免费日产在线看| 午夜丁香综合婷婷| 丁香六月激情综合| 久久久亚洲成人无码A片| 六月色五月天天婷婷| 日韩999| 九九热a| 97精品欧美91久久久久久久| 99视频网址| 久久人妻乱| 97操在线资源| 五月婷婷激情69| 色五月婷婷777| 99色看这里只有精品| 五月天社区| 99操视频| 99在线精品观看99| 97色碰| 色婷婷影院| 婷婷五月天丁香花| 色欲久久综合| 婷婷五月天激情网| 国产日比| 日韩色色色色色| 久久五月天婷婷| 9999久久久久| 狠狠色综合网站久久久久| 日本久久网| 色色色成人网| 色五月丁香A欧美com| 日韩成人精品中文字幕| 亚洲性爱干干| www.婷婷| 呦呦视频无码播放| 狠狠狠狠狠狠草| 女人天堂 AV| 久婷自拍视频| 操逼巨乳91| 久久五月丁香婷婷| 五月天开心激情综合网| 日韩欧美一区二区三区四区| 婷婷操逼| 中出内射的人妻视频| 色五月天婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷婷 | 色婷婷狠狠18禁| 亚洲色精彩| 中字幕视频在线永久在线观看免费 | 亚州AV超碰人人操| 国产亚洲色婷婷久久99精品9j| 五月亭亭狠狠| 亚洲无码播放| 99在线精品观看99| WWW.99热| 九月综合| 狠狠干综合| ji'qing'luan'ren'lun| 99综合色色色| 色五月大| 异能之下短剧免费观看全集| 国产又爽又猛又粗的视频A片| 久久九九99亚洲国产久精综合| www.com在线操视频免费观看| 人人爱人人草| 色婷婷五月天中文字幕| 国产国产乱老熟女视频网站97| 久热网站| 九九热AV| 成人婷婷五月天| 人妻六月天| 成人欧美日韩| 免费精品66| 免费V片在线| 婷婷99狠狠| 五月丁香伊人网| 国产婷婷综合| 99re免费精品视频| www.minyis.com【JT】国内CDN落地页保证转化QQ2101460746 | 丁香花五月天社区| 婷婷97碰碰| 五月丁香综合伦理片| 亚洲 成人 电影av在线观看| 丁香六月啪啪啪| 狠狠擼综合| 99啪啪网| 99热这里只有精品8| 五月开心啪啪| 五月天激情图片| 免费无码毛片一区二区A片| 99色综合| 丁香五月日啪| 色色色地址| 国产精品一区在线观看你懂的| 99在线观看精品视频| 丁香六月啪啪啪| 丁香五月激情图片婷婷| 97久久久久| 五月丁香激情婷婷综合| 九九亚洲视频| 日本熟女啪啪| 九九热在线精品视频| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 综合色色婷婷| 五月亭亭综合五码| 五月天婷婷综合久久| 97干资源在线观看| 久热这里| 香蕉狠狠爱视频| 婷婷香五月| 99久久国产成人精品| 色婷婷色综合激情91| 婷婷丁香18| 久碰视频| 久久大香蕉同僚| 丁香五月综合在线观看| 天天插天天插天天日| 精品99在线| 日本色99网站| 99精品偷自拍| 欧美色婷婷| 欧美久久网| 久色婷婷200| 伊人丁香婷婷东京| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 99cao婷婷| 色综合伊人网| 九九人人精品| 久色中文| 五月香婷婷| 日本丁香久在线| 久久亭亭电影| 大香蕉伊人丁香五月| 丁香婷婷久久 | 五月丁香六月婷婷亚洲视频| 丁香久色| 激情网站五月| 99热最新网址| 92国产福利| 亚洲性视频| 91色吧网| 亚洲AVwwwwwww| 婷婷丁香五月基地| 黄网在线免费| 99热国品| 99久热| 99精品性爱| 久久机热/这里只有精品| 丁香六月成人| 99色色色色| 色色综合视频| 色婷婷色婷婷五月| 日日日天天干| 婷婷五月图片小说网| 日本欧美国产| 欧美综合丁香网| 操逼在线视频| 色99综合视频| 99精品视频在线| 婷婷六月天激情影院| 人人干天天操五月丁香| 九九草热在线观看| 五月婷婷丁香大陆免费| 伊人五月天男人的天堂在线| 婷婷色色狠狠| 五月丁香久久久| 97色婷婷五月天| 激情久久天天| www.色窝| 97韩国久久电影院| 狠狠五月天婷婷激情网。| 天天爽综合| 婷婷激情啪啪| 久久亚洲婷婷| 99热在线只有精品| 午夜丁香婷婷| 大香蕉五月婷婷| 五月丁香大香蕉| 人妻无码精品一区| 久久这里只有精品热在99| 网站免费一站二站| 大香蕉九九| 99re6在线视频精品免费| 精品国产AV色一区二区深夜久久 | 颜射 精品性爱av| www.六月丁香看AV| 五月天婷婷影院影院| AV79| 亚洲激情网| 人人草人人爱| www.日本91| 五月丁香免费看| 色播五月婷婷| 国产黄色在线观看| 无码成人播放器| 一级七香蕉| 日本成人综合| 激情五月天色| 亚州精品久久久久AV无码| 夜丁香综合| 婷婷婷久久久| 激情AV| 影音先锋日本三级资源| 九色激情| 色婷婷丁香| 99爱在线| 6080av| 日韩色色视频www| 天天操婷婷| 99热这里有精品| 国产一二区爆乳_1国产日韩一区二区三-成人AV | 99日逼视频| 亚洲第一色网站| 亚洲bt丁香五月天婷婷激情小说| 97色色视频| 久久99综合| av五月天婷婷丁香| 国产av影片| 婷婷五月天Av| 亚洲丁香五月天视频| 综合网亚洲| 久久精品凹凸分类| 玖玖爱资源站| 五月丁香亭亭天天舔| 天天干天天插| 思思热在线| 久久久精品婷婷五月天| 五月婷亚洲精品AV天堂| 色婷五月天网站| 激情五月天开心| 搡BBBB搡BBB搡18 | 久久免费试看120秒| 六月丁香婷婷色狠狠久久| 婷婷 月 丁香| www.精品99| 黄网在线免费| 色播五月丁香| 99热这里只有国产精品| 五月天激情四射网站| 电影91久久久| 99九九99九九九视频精彩| 五月丁香欧美综合免费视频| 伊人网碰碰| 天天日天天久久青青| 99操视频| 79精品视频| 色色色综合| 午夜爱爱网站| 开心五月天私房婷婷| 丁香婷婷噜噜| 亚洲亚洲人成综合网络| 亚洲婷婷基地| 亚洲色色精品| 色5月婷婷| 五月丁香在线观看99| 久久欧洲综合网| 激情五月婷婷视频一区二区三区| 99热伊人综合| 五月色丁香国产在线视频| 久色网| 国产在线视频1234| 亚洲久久婷婷| 亚洲中文字幕在线观看| 色综合视频| 色婷婷五月天综合网| 久操婷婷| 丁香五月开心亚洲| 这里只有精品在线看| 被男人添B超爽视频| 99热这里都是精品| 丁香五月偷拍| 久久久99精品免费观看| 丁香五月天婷婷在线视频| 亚洲AV网址| 性做爰A片免费视频A片直播| 啪啪91| 99re视频在线播放| 激情碰碰碰| 日夜夜天天| 午夜不卡久久精品无码免费 | 99爱在线精品视频免费观看| 成人午夜天| 婷婷五月综合婷婷| 日韩无码成人电影| 五月丁香好婷婷A片网| 五月天 另类图片| 久99久视频精品| 激情综合网亚洲色图| 综合久久婷婷| 亚洲第一黄网| 亚洲五月婷婷| 美欧日韩国产成人在战| 五月天天综合| 色色婷婷色色| 五月天啪啪| 久久44| 99色最新在线视频网站| 老美AA片| 五月婷婷丁香伦理网| 成人综合网站| www.操逼comm| 99在线精品免费视频| 五月花成人网| 中文字幕在线免费看线人| 色噜噜狠狠色综合伊人| 激情色色色| 就要去操亚洲成人精品五月天丁香婷婷| 91成人品| 看婷婷五月天网| 538在线精品| 九九热a| 嫩BBB槡BBBB搡BBBB|