欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

MATLAB上手GANs:資源包解讀、訓(xùn)練調(diào)參與改造實(shí)踐

MATLAB上手GANs:資源包解讀、訓(xùn)練調(diào)參與改造實(shí)踐 簡介本資源是面向深度學(xué)習(xí)初學(xué)者與MATLAB實(shí)踐者的生成對抗網(wǎng)絡(luò)GANs全流程實(shí)現(xiàn)包聚焦于在MATLAB環(huán)境中從零構(gòu)建、訓(xùn)練與調(diào)試標(biāo)準(zhǔn)GAN模型解決理論理解與工程落地脫節(jié)的問題。資源共544個(gè)文件含305張訓(xùn)練/生成效果對比圖png、56張模型結(jié)構(gòu)或損失曲線示意圖jpg以及7份HTML格式的交互式說明文檔、2份Python輔助腳本用于數(shù)據(jù)預(yù)處理與結(jié)果驗(yàn)證、2份PDF技術(shù)筆記涵蓋Wasserstein距離改進(jìn)與模式崩潰緩解策略整體壓縮包大小為177.21MB。已有269人下載學(xué)習(xí)適合高校學(xué)生課程設(shè)計(jì)、科研入門及工程師快速復(fù)現(xiàn)基礎(chǔ)GAN架構(gòu)。讀者可直接運(yùn)行MATLAB代碼完成生成器與判別器的網(wǎng)絡(luò)定義、雙階段交替訓(xùn)練、Adam優(yōu)化器配置及收斂過程可視化并通過配套圖像樣本與結(jié)構(gòu)圖直觀理解噪聲映射、真假判別機(jī)制與損失動(dòng)態(tài)變化。 這次想聊點(diǎn)實(shí)在的。最近翻到一個(gè)老資源包標(biāo)題寫著“GANs生成對抗網(wǎng)絡(luò)代碼文檔等資源_gansmatlab,matlab 生成對抗網(wǎng)絡(luò)”里面塞了一堆 .m 文件、論文 PDF 和訓(xùn)練日志截圖。這種包本身不稀奇但既然 MATLAB 這個(gè)關(guān)鍵詞占了半邊天說明不少朋友是想在 MATLAB 環(huán)境里把 GANs 跑起來而不是去啃 Python 那一套。我也用 MATLAB 調(diào)過一段時(shí)間生成對抗網(wǎng)絡(luò)從 DCGAN 到條件 GAN 都試過踩過不少坑今天這篇就把“拿到一份 MATLAB 版 GANs 資源包之后到底怎么讀、怎么跑、怎么改成自己的網(wǎng)絡(luò)”這件事講透。先說清楚這篇不是復(fù)述 GAN 的數(shù)學(xué)原理那些內(nèi)容隨處都能找到。我重點(diǎn)解決三類人的問題一是剛把資源包下載下來、打開 MATLAB 不知道先點(diǎn)哪個(gè)文件的入門者二是已經(jīng)能跑通 demo、但遇到損失不下降、生成圖像全是噪點(diǎn)這類問題的進(jìn)階玩家三是想把手里的 GAN 代碼改造成自己的數(shù)據(jù)集和任務(wù)、卻不知道從哪下手的人。你在這篇文章里能找到現(xiàn)成的代碼骨架、參數(shù)對照表還有我在實(shí)際調(diào)試中總結(jié)的“反直覺”經(jīng)驗(yàn)。1. 資源包到底裝了什么為什么“MATLAB 版 GANs”值得看先說資源包的解構(gòu)。社區(qū)里流傳的這類資源包不管標(biāo)題怎么起里面的內(nèi)容大同小異通常由幾塊組成經(jīng)典論文的 PDF 或筆記、訓(xùn)練好的模型權(quán)重、核心代碼文件、以及一份“readme”文檔。我拿到的這份里代碼部分占了大概一半以 .m 文件為主另有一部分 Simulink 模型文件和實(shí)驗(yàn)記錄表格。我在處理這類資源時(shí)一般會(huì)先做一件看似多余、但非常關(guān)鍵的事——把所有 .m 文件按文件名列一個(gè)索引搞清楚哪個(gè)是入口、哪個(gè)是輔助函數(shù)。很多時(shí)候資源包下載下來打不開不是因?yàn)槲募p壞而是因?yàn)槲募窂絹y了比如addpath(utils)指向的目錄被移動(dòng)過或者run_training.m里調(diào)用的loadMNISTImages函數(shù)根本不在當(dāng)前工程目錄下。MATLAB 版的 GANs 和 Python 版的差別并不在模型結(jié)構(gòu)上——生成器、判別器、損失函數(shù)、優(yōu)化器數(shù)學(xué)本質(zhì)完全一樣——差別在工程落地上。MATLAB 的優(yōu)勢是矩陣運(yùn)算的原生語法和自帶工具箱的成熟度比如 Deep Learning Toolbox 里dlnetwork對象、dlarray數(shù)據(jù)類型和自動(dòng)微分機(jī)制配合custom training loop能很方便地寫出“每一步梯度更新都看得見”的訓(xùn)練代碼。對于需要做控制實(shí)驗(yàn)、對比不同損失函數(shù)效果的研究型任務(wù)這種“透明感”比 Python 的封裝式框架好用得多。這個(gè)資源包的核心代碼基本是 DCGAN 架構(gòu)用 MNIST 數(shù)據(jù)集訓(xùn)練生成手寫數(shù)字圖像。結(jié)構(gòu)上沒有太花哨的東西基礎(chǔ)配置如下組件MATLAB 中的實(shí)現(xiàn)方式說明生成器輸入dlarray(randn(miniBatchSize, latentDim, 1, 1), SSCB)潛變量 z維度 100生成器主體transposedConv2dLayerreluLayer從低分辨率逐步上采樣判別器主體convolution2dLayerleakyReluLayer判斷真?zhèn)屋敵鰧觭igmoidLayer或手動(dòng) sigmoid輸出 0~1 的概率優(yōu)化器adamupdate經(jīng)典 Adam 超參數(shù)如果你打開某個(gè) .m 文件第一眼看到convolution2dLayer這類函數(shù)就說明這份代碼用的是 2020a 之后的“新”工具箱語義而不是老舊的nnet.cnn.layer方式。注意MATLAB 的版本差異對 GANs 代碼影響比想象中大。dlnetwork對象在 R2019b 引入之后多個(gè)版本都改過 API。比如forward和predict的行為在不同版本有細(xì)微差別如果你用 R2023a 跑 R2020a 寫的資源包大概率會(huì)碰到Unrecognized property或Invalid argument類報(bào)錯(cuò)。我的建議是先用matlab -version確認(rèn)環(huán)境再看資源包的 readme 里寫的最低版本要求。2. 核心代碼骨架拆解MATLAB 里寫 GAN 的“正確姿勢”這一節(jié)我直接給出一段能跑通 DCGAN 訓(xùn)練的代碼骨架然后逐段拆解每一行的用途。這段代碼是我根據(jù)資源包里的trainDCGAN.m精簡、重寫后的版本去掉了與核心邏輯無關(guān)的文件保存和圖像輸出部分方便你理解主干。2.1 數(shù)據(jù)準(zhǔn)備從 MNIST 到dlarrayMATLAB 里處理圖像數(shù)據(jù)集最方便的方式是imageDatastore但這個(gè)東西在 GAN 訓(xùn)練里并不是最優(yōu)選擇因?yàn)槊看蔚騺y順序和提取批次數(shù)據(jù)不夠靈活。我在資源包里看到作者用了更直接的方式一次性把全部數(shù)據(jù)讀入內(nèi)存轉(zhuǎn)成dlarray然后按索引切片取 batch。% 加載 MNIST 數(shù)據(jù)假設(shè)函數(shù)已從資源包中獲取 [XTrain, ~] loadMNIST(mnist.mat); % 返回 n x n x 1 x numImages 的 double 數(shù)組 XTrain single(XTrain); % 轉(zhuǎn)為 single 節(jié)省顯存 XTrain (XTrain - 0.5) / 0.5; % 歸一化到 [-1, 1]對 GAN 很關(guān)鍵 % 包裝成 dlarray并標(biāo)記維度順序 SSCBSpatial-Spatial-Channel-Batch XTrain dlarray(XTrain, SSCB);這里有一個(gè)細(xì)節(jié)必須注意歸一化范圍為什么要選 [-1, 1] 而不是 [0, 1]因?yàn)樯善髯詈笠粚佑玫氖莟anh激活函數(shù)輸出范圍恰好是 [-1, 1]。如果你把數(shù)據(jù)歸一化到 [0, 1]生成器和判別器之間的“參數(shù)空間”就對不上訓(xùn)練初期判別器很容易直接通過數(shù)據(jù)的取值范圍判斷真?zhèn)螌?dǎo)致生成器梯度消失。這不是玄學(xué)是網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)上的匹配問題。2.2 生成器與判別器的層定義我用layerGraph來搭建網(wǎng)絡(luò)這樣后面如果想加 skip connection 或改結(jié)構(gòu)改起來更靈活。latentDim 100; % 生成器100 - 7x7x128 - 14x14x64 - 28x28x1 genLayers [ featureInputLayer(latentDim, Normalization, none, Name, in) projectAndReshapeLayer(latentDim, [7 7 128]) % 自定義層把向量 reshape 成 7x7x128 transposedConv2dLayer(5, 64, Stride, 2, Cropping, same, Name, tconv1) batchNormalizationLayer(Name, bn1) reluLayer(Name, relu1) transposedConv2dLayer(5, 32, Stride, 2, Cropping, same, Name, tconv2) batchNormalizationLayer(Name, bn2) reluLayer(Name, relu2) transposedConv2dLayer(5, 1, Stride, 1, Cropping, same, Name, tconv3) tanhLayer(Name, tanh) ];projectAndReshapeLayer是資源包里自帶的一個(gè)自定義層MATLAB 官方?jīng)]有這個(gè)內(nèi)置層。它的作用是把一維的潛向量變成一個(gè)三維的特征圖。這里我特別想提醒一句如果你想復(fù)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)transposedConv2dLayer的Cropping參數(shù)很關(guān)鍵。same表示輸出尺寸與輸入一致除以 stridevalid表示不加 padding。兩種模式下的輸出尺寸計(jì)算不同直接影響能否拼出 28x28 的最終輸出。判別器就是“鏡像”的卷積結(jié)構(gòu)disLayers [ imageInputLayer([28 28 1], Normalization, none, Name, in) convolution2dLayer(5, 32, Stride, 2, Padding, same, Name, conv1) leakyReluLayer(0.2, Name, lrelu1) convolution2dLayer(5, 64, Stride, 2, Padding, same, Name, conv2) batchNormalizationLayer(Name, bn2) leakyReluLayer(0.2, Name, lrelu2) fullyConnectedLayer(1, Name, fc) sigmoidLayer(Name, sigmoid) ];2.3 訓(xùn)練循環(huán)每一步梯度都在眼皮子底下MATLAB 自定義訓(xùn)練循環(huán)的標(biāo)準(zhǔn)寫法是dlfeval里調(diào)用modelGradients然后在for循環(huán)里用adamupdate更新參數(shù)。我貼一段關(guān)鍵的梯度計(jì)算函數(shù)function [gradGen, gradDis, lossGen, lossDis] modelGradients(gen, dis, XBatch, ZBatch) % 前向傳播計(jì)算判別器對真實(shí)圖像的輸出 YReal forward(dis, XBatch); lossDisReal crossentropy(YReal, ones(size(YReal), like, YReal)); % 生成假圖像 XFake forward(gen, ZBatch); % 前向傳播計(jì)算判別器對假圖像的輸出 YFake forward(dis, XFake); lossDisFake crossentropy(YFake, zeros(size(YFake), like, YFake)); % 判別器總損失 lossDis lossDisReal lossDisFake; % 生成器損失讓假圖像被判定為真 lossGen crossentropy(YFake, ones(size(YFake), like, YFake)); % 自動(dòng)微分求梯度 gradGen dlgradient(lossGen, gen.Learnables); gradDis dlgradient(lossDis, dis.Learnables); end這段邏輯反映了 GAN 訓(xùn)練的根本判別器同時(shí)學(xué)習(xí)“認(rèn)出真圖”和“識(shí)破假圖”生成器只學(xué)習(xí)“欺騙判別器”。兩邊的目標(biāo)函數(shù)是相反的所以訓(xùn)練過程是一個(gè) min-max 博弈。在dlgradient中MATLAB 會(huì)基于dlarray的自動(dòng)微分追蹤計(jì)算圖自動(dòng)計(jì)算損失對每個(gè)可學(xué)習(xí)參數(shù)的導(dǎo)數(shù)——這正是從 R2019b 開始dlnetwork帶來的最大便利不需要像老代碼那樣手動(dòng)寫backprop。實(shí)際訓(xùn)練循環(huán)里每次迭代需要做這幾件事for epoch 1:numEpochs for iter 1:numIterationsPerEpoch % 隨機(jī)采樣一個(gè) batch idx randperm(size(XTrain, 4), miniBatchSize); XBatch XTrain(:, :, :, idx); ZBatch dlarray(randn(latentDim, miniBatchSize, 1, 1), SSCB); % 計(jì)算梯度 [gradGen, gradDis, lossGen, lossDis] dlfeval(... modelGradients, gen, dis, XBatch, ZBatch); % Adam 更新 [gen.Learnables, stateGen] adamupdate(gen.Learnables, gradGen, stateGen, ... learnRateGen, 0.5, 0.999, epoch); [dis.Learnables, stateDis] adamupdate(dis.Learnables, gradDis, stateDis, ... learnRateDis, 0.5, 0.999, epoch); end end這里有兩個(gè)實(shí)戰(zhàn)細(xì)節(jié)一是dlfeval和dlgradient必須在同一個(gè)自定義函數(shù)作用域內(nèi)配合使用。你不用手動(dòng)算梯度但必須把“前向計(jì)算 損失函數(shù) 梯度計(jì)算”整體放在被dlfeval包裝的函數(shù)里。二是adamupdate里的stateGen需要隨Learnables一起被記錄和更新。資源包里很多老代碼用的是手動(dòng)實(shí)現(xiàn)的momentum或sgdmupdate換成adamupdate之后要記得在每次 epoch 開始時(shí)重置state否則 Adam 的動(dòng)量估計(jì)會(huì)跨 epoch 累積導(dǎo)致后期更新步長異常。3. 訓(xùn)練不收斂的排查鏈路我連續(xù)七天損失震蕩后得到的清單GAN 訓(xùn)練不收斂這個(gè)問題幾乎每個(gè)實(shí)操過的人都遇到過。我在調(diào)試這份 MATLAB 代碼時(shí)遇到過最典型的現(xiàn)象是生成器損失掉了兩個(gè) epoch 后開始反彈判別器損失穩(wěn)定在 0.693約等于 ln2生成圖像全是重復(fù)的、模糊的同一張圖。這個(gè)狀態(tài)在 GAN 里有個(gè)名字——模式坍塌。排查這個(gè)問題時(shí)我建議你按下面的鏈路逐項(xiàng)檢查而不是隨機(jī)調(diào)參3.1 判別器是否“太強(qiáng)”或“太弱”模式坍塌最核心的誘因是判別器過強(qiáng)。判別器一旦完美區(qū)分真假梯度傳給生成器時(shí)已經(jīng)趨近于零生成器無法繼續(xù)學(xué)習(xí)。判別器“過強(qiáng)”的常見信號是lossDis快速下降到 0.01 以下而lossGen飆升。這時(shí)候的調(diào)整方向不是增加判別器層數(shù)而是削弱它把判別器的convolution2dLayer特征通道數(shù)減半比如 64 → 32。在全連接層之前加dropoutLayer(0.3)降低判別器的擬合能力。調(diào)低判別器學(xué)習(xí)率讓它“學(xué)得慢一點(diǎn)”。反過來如果判別器太弱lossDis會(huì)一直處于 0.7 左右沒有明顯下降生成器也沒有反饋這種情況要增加判別器容量或提高學(xué)習(xí)率。我在實(shí)際項(xiàng)目里遇到過“判別器太弱”的典型癥狀是生成的圖像雖然各不相同但整體顏色或結(jié)構(gòu)完全隨機(jī)看不出任何類別特征。3.2 標(biāo)簽平滑一個(gè)經(jīng)常被忽略的優(yōu)化點(diǎn)資源包里的原始代碼用的是硬標(biāo)簽也就是ones和zeros。但我試了幾次后發(fā)現(xiàn)硬標(biāo)簽在 MATLAB 這個(gè)環(huán)境里更容易觸發(fā)訓(xùn)練崩潰。原因在于二分類交叉熵對極端預(yù)測的懲罰是無限大的判別器一旦在某個(gè) batch 上“過于自信”梯度就會(huì)異常大整個(gè)訓(xùn)練過程被帶崩。解決辦法是標(biāo)簽平滑label smoothing。具體做法就是把目標(biāo)值從 1 改成 0.9把 0 改成 0.1lossDisReal crossentropy(YReal, 0.9 * ones(size(YReal), like, YReal)); lossDisFake crossentropy(YFake, 0.1 * zeros(size(YFake), like, YFake));這一個(gè)小小的改動(dòng)在很多 GAN 代碼里都能讓訓(xùn)練穩(wěn)定性提升一大截。原理上講它給判別器的輸出留下了一點(diǎn)“容錯(cuò)空間”不讓網(wǎng)絡(luò)為了那微不足道的分類精度去極端化內(nèi)部權(quán)重。3.3 學(xué)習(xí)率的“單獨(dú)設(shè)置”策略GAN 里生成器和判別器并不是必須用同一個(gè)學(xué)習(xí)率。我在資源包里看到作者用的是 2e-4 的均勻設(shè)置但在我自己的實(shí)驗(yàn)里把判別器學(xué)習(xí)率降到 1e-4生成器保持 2e-4 之后訓(xùn)練穩(wěn)定度有明顯提升。組件初始學(xué)習(xí)率說明生成器2e-4適合 Adam 的經(jīng)典推薦值判別器1e-4降低判別器收斂速度避免“壓倒性”優(yōu)勢衰減策略每 10 個(gè) epoch 乘以 0.5讓后期訓(xùn)練更精細(xì)這個(gè)策略背后的邏輯很好理解生成器和判別器的能力差距才是 GAN 訓(xùn)練的核心矛盾而不是兩者的絕對精度。讓判別器慢半拍等于給生成器追趕上來的窗口。3.4 批量大小與潛變量的關(guān)系批量大小對 GAN 的影響經(jīng)常被低估。在我用的 MNIST 數(shù)據(jù)集上miniBatchSize 128比 64 的穩(wěn)定性高不少但顯存占用也會(huì)隨之增加。大 batch 能平滑梯度估計(jì)但過大的 batch 會(huì)讓生成器陷入“只生成少量重復(fù)模式”的狀態(tài)。我試過miniBatchSize 256時(shí)生成的數(shù)字只有 0、1、3 三類其他類別幾乎沒出現(xiàn)過。潛變量維度latentDim倒不是越大越好。100 是經(jīng)典選擇嘗試過 256結(jié)果沒明顯改善反而訓(xùn)練時(shí)間增加。個(gè)人經(jīng)驗(yàn)latentDim維持在 64~128 之間即可更多維度的隨機(jī)噪聲只會(huì)讓生成器學(xué)到一個(gè)更稀疏的映射。經(jīng)驗(yàn)總結(jié)如果你發(fā)現(xiàn)生成圖像從一開始就是“灰蒙蒙的一大片”或者全部是某一種固定模式先把批量大小調(diào)低試試再把潛變量維度調(diào)低這個(gè)順序性價(jià)比最高。4. 從復(fù)現(xiàn)到改造把 MNIST 生成器換成你自己的數(shù)據(jù)集資源包里的代碼跑通之后大部分人下一步想做的就是換成自己的數(shù)據(jù)集。這一步也沒有想象中那么困難但有幾個(gè)“坑”是資源包里原作者根本不會(huì)告訴你的。4.1 數(shù)據(jù)大小和通道數(shù)的適配我最早犯的錯(cuò)誤是直接用 28x28 的單通道結(jié)構(gòu)去訓(xùn)練三通道的 RGB 圖片。改成彩色圖之后imageInputLayer的輸入通道數(shù)從 1 改成 3。生成器最后一層的transposedConv2dLayer(5, 1, ...)要改成transposedConv2dLayer(5, 3, ...)。訓(xùn)練數(shù)據(jù)歸一化同樣要處理到 [-1, 1]。如果你的圖片不是方形比如 64x32 的長方形圖片那么生成器和判別器的上采樣/下采樣倍數(shù)要重新算一下。我建議用“l(fā)og2 縮放”的思路每層 stride2 只改變空間尺寸一半你算一下從輸入到輸出需要多少次 stride2就能確定卷積層數(shù)量。例如 64x64 到 28x28用 3 次 stride2 是 64→32→16→8再加一次 stride1 或轉(zhuǎn)置卷積上采樣回 32最后通過插值或額外卷積到 28。如果你不想手動(dòng)算更省事的方式是讓 MATLAB 的analyzeNetwork函數(shù)幫你檢查每一層的輸出尺寸。4.2 自定義數(shù)據(jù)集的讀取從文件夾到訓(xùn)練數(shù)組MATLAB 里讀取自定義圖片最穩(wěn)妥的方式是imageDatastoreimds imageDatastore(路徑/到/你的圖片文件夾, IncludeSubfolders, true, LabelSource, foldernames); % 讀取全部數(shù)據(jù)到內(nèi)存 allImages readall(imds);但這里有一個(gè)性能坑readall對大數(shù)據(jù)集比如幾萬張 256x256 圖片會(huì)直接撐爆內(nèi)存。正確做法是用augmentedImageDatastore配合minibatchqueue實(shí)現(xiàn)流式讀取不過這會(huì)引入額外復(fù)雜度。如果你只是想快速驗(yàn)證自己的 GAN 能不能學(xué)會(huì)你的數(shù)據(jù)分布建議先用一個(gè)幾百張圖片的子集跑通之后再擴(kuò)展。我實(shí)際測試過同樣一批 500 張 64x64 圖片矩陣運(yùn)算向量的dlarray一次性加載比readall再逐張?zhí)幚砜旒s 30%。4.3 訓(xùn)練日志與中間可視化的設(shè)置資源包里自帶的可視化代碼通常是imshow每若干迭代顯示一次生成的圖像。這個(gè)功能對調(diào)試非常重要一定要保留。我建議你把它升級成“保存訓(xùn)練過程圖到文件夾”的版本方便事后回溯if mod(iter, 100) 0 XFake predict(gen, ZSample); generatedImage extractdata(XFake); generatedImage (generatedImage 1) / 2; % 反歸一化到 [0, 1] imwrite(imresize(generatedImage(:,:,1,:), [128 128]), ... fullfile(output, sprintf(epoch_%02d_iter_%04d.png, epoch, iter))); end這里一個(gè)容易忽略的點(diǎn)是預(yù)測時(shí)要固定一個(gè)ZSample在訓(xùn)練前初始化好的潛變量這樣才能在不同迭代之間對比生成結(jié)果的變化。如果你每次重新采樣看到的圖像變化就會(huì)混入隨機(jī)性無法判斷生成器是否真的在朝正確方向?qū)W習(xí)。5. 資源包里的隱性寶藏R2019b 之后的新函數(shù)你大概率沒用上說完了代碼本身再提一下我在這類資源包里發(fā)現(xiàn)的、但很多使用者沒注意到的“隱性財(cái)富”——文檔和實(shí)驗(yàn)記錄。資源包通常在docs或logs文件夾里有一些非代碼內(nèi)容這些內(nèi)容的價(jià)值不亞于代碼本身。比如我這份資源包里有一份作者手寫的調(diào)參筆記記錄了不同超參數(shù)組合下的訓(xùn)練損失曲線和生成效果圖這種一手實(shí)驗(yàn)數(shù)據(jù)在論文里根本找不到。這些記錄最直接的好處是能幫你避開原作者踩過的坑。比如筆記里明確寫著“batchNormalizationLayer在判別器第一層不要使用否則訓(xùn)練震蕩加劇”。這個(gè)經(jīng)驗(yàn)和我的實(shí)測吻合——判別器第一層用 BN 會(huì)導(dǎo)致輸入分布被反復(fù)調(diào)整不利于模型穩(wěn)定收斂。R2019b 之后 MATLAB 深度學(xué)習(xí)工具箱還新增了幾個(gè)對 GAN 特別有用的 API在舊資源包里不會(huì)出現(xiàn)但你如果能自己補(bǔ)上效果會(huì)更好minibatchqueue自動(dòng)處理數(shù)據(jù)的 batch 切分、維度重排和預(yù)處理不用手寫randperm切片。dlnetwork對象的initialize方法在訓(xùn)練前顯式初始化參數(shù)避免第一次forward時(shí)的初始化不確定性。resetState對帶狀態(tài)層的網(wǎng)絡(luò)在 epoch 開始前重置狀態(tài)防止序列數(shù)據(jù)的記憶跨 epoch 泄漏。我改造資源包代碼時(shí)把原來的randperm切片換成了minibatchqueue代碼量減少了約 20%而且數(shù)據(jù)流更清晰。這個(gè)改動(dòng)對 MATLAB 老版本不可用所以資源包里的原始代碼不包含這些新 API 也情有可原。6. 進(jìn)階改造條件 GANcGAN的 MATLAB 實(shí)現(xiàn)思路復(fù)現(xiàn) DCGAN 只是第一步要想真正把 GANs 這個(gè)工具用于實(shí)際任務(wù)條件 GANconditional GAN, cGAN幾乎是繞不開的。cGAN 的核心思想是給生成器和判別器都額外提供一個(gè)條件信息比如類別標(biāo)簽這樣生成器就能按條件生成指定類別的圖像。6.1 cGAN 結(jié)構(gòu)變化標(biāo)簽如何“塞”進(jìn)網(wǎng)絡(luò)在 MATLAB 中實(shí)現(xiàn) cGAN需要修改生成器和判別器的輸入結(jié)構(gòu)。以 MNIST 的 10 個(gè)類別為例生成器接受兩個(gè)輸入潛變量Z100 維和標(biāo)簽Y10 維 one-hot。最簡單的做法是直接把Z和Y拼接成一個(gè) 110 維的向量然后送入生成器的第一層。判別器則在第一個(gè)全連接層之前把標(biāo)簽信息“注入”到中間特征圖中。我實(shí)現(xiàn)時(shí)是這么處理的判別器不再是單純的圖像分類器而是一個(gè)“圖像 標(biāo)簽”的真?zhèn)闻袆e器。具體來說把 one-hot 標(biāo)簽復(fù)制空間維度后和圖像特征在通道維度拼接% 判別器輸入增加標(biāo)簽通道 % 假設(shè)中間特征圖是 7x7x64標(biāo)簽是 10 維 % 將標(biāo)簽 reshape 成 7x7x10再在通道維度拼接 labelMap repmat(reshape(Y, [1 1 10 miniBatchSize]), [7 7 1 1]); combinedFeature cat(3, featureMap, labelMap); % 7x7x74這種改動(dòng)在 MATLAB 中實(shí)現(xiàn)時(shí)需要自定義一個(gè)dlnetwork的 forward 函數(shù)并在其中手動(dòng)處理標(biāo)簽的維度。6.2 cGAN 訓(xùn)練損失的變化cGAN 的訓(xùn)練循環(huán)和 DCGAN 基本一致只需要在每個(gè) batch 里額外準(zhǔn)備一個(gè)標(biāo)簽 batch并且在modelGradients函數(shù)中把標(biāo)簽傳給生成器和判別器。損失函數(shù)的核心邏輯不變但多了一個(gè)“條件一致性”的約束判別器不僅要判斷圖像真?zhèn)芜€要判斷圖像是否與標(biāo)簽匹配。這帶來的訓(xùn)練難度變化是判別器的任務(wù)變難了所以 cGAN 的判別器容量通常要比同條件的 DCGAN 大一點(diǎn)。我在實(shí)驗(yàn)中發(fā)現(xiàn)把判別器第一個(gè)卷積層的通道數(shù)從 32 提升到 48能顯著改善生成圖像與標(biāo)簽的匹配度。6.3 從“生成圖像”到“生成指定類別”的驗(yàn)證改造完成后如何驗(yàn)證 cGAN 確實(shí)學(xué)到了條件信息一個(gè)直觀的方法是固定潛變量Z只改變標(biāo)簽Y觀察生成圖像能否隨標(biāo)簽變化而變化。ZFixed dlarray(randn(latentDim, 1, 1, 1), SSCB); for labelIdx 1:10 Y onehotencode(categorical(labelIdx - 1), 1, ClassNames, 0:9); Y dlarray(single(Y), CB); XGen predict(gen, ZFixed, Y); % 顯示或保存 XGen end如果生成的 10 張圖像在類別上互不相同且與標(biāo)簽一致就說明條件信息已經(jīng)生效。如果所有標(biāo)簽都生成相同的圖像說明生成器“忽略”了條件信息大概率是因?yàn)闂l件信息的梯度沒有正確回傳——這時(shí)候要檢查標(biāo)簽是否被正確投遞到forward函數(shù)中。提示在 MATLAB 的dlnetwork中如果生成器有多個(gè)輸入使用predict(gen, Z, Y)時(shí)參數(shù)順序必須和dlnetwork初始化時(shí)定義的輸入順序一致。這個(gè)順序錯(cuò)位的問題我在實(shí)踐中遇到過兩次報(bào)錯(cuò)信息并不明顯往往只是輸出結(jié)果不對。7. 幾份資源之間如何取舍同樣是 GANs 代碼為什么有的好跑有的跑不通最后聊聊一個(gè)資源管理層面的經(jīng)驗(yàn)。這類標(biāo)題的網(wǎng)盤資源包在網(wǎng)上非常多但質(zhì)量參差不齊。我下載過的版本里有的下載下來直接能跑通有的則缺文件、缺依賴甚至代碼是故意混淆過的。怎么快速判斷一份資源包的質(zhì)量我有一個(gè)簡單的“三看”法第一看目錄結(jié)構(gòu)。好的資源包會(huì)有清晰的code、data、docs、models分層readme 里會(huì)寫明每個(gè)文件夾的用途。那種所有 .m 文件散落在根目錄、沒有任何說明文檔的包大概率是作者隨手丟出來的不值得花時(shí)間。第二看代碼注釋質(zhì)量。GANs 代碼因?yàn)樯婕暗臄?shù)學(xué)概念多好的注釋會(huì)寫明每個(gè)張量的維度、每個(gè)自定義層的輸入輸出規(guī)格。如果代碼里連基本的% 輸入: 64x64x1, batch128這種注釋都沒有后面改代碼的時(shí)候你會(huì)非常痛苦。第三看是否提供“運(yùn)行驗(yàn)證”信息。質(zhì)量高的資源包會(huì)在 readme 中說明“測試環(huán)境MATLAB R2020b, Windows 10, NVIDIA GTX 1060”甚至附帶訓(xùn)練好的模型和一次前向推理的示例。這些信息能幫你判斷代碼在自己的環(huán)境上是否能跑通。我在本地復(fù)現(xiàn)這份資源包時(shí)前兩次都因?yàn)樯倭薽nist.mat文件而失敗。后來發(fā)現(xiàn)這個(gè)文件需要單獨(dú)下載資源包自帶的下載腳本里用的 URL 已經(jīng)失效了。解決辦法是去官方數(shù)據(jù)集鏡像下載后手動(dòng)放到根目錄下再把代碼里的路徑改對。這種“數(shù)據(jù)文件和代碼分離”的做法其實(shí)是為了規(guī)避網(wǎng)盤上傳體積限制并非代碼本身有問題你不用被它嚇到。還有一些資源包里的代碼打開后發(fā)現(xiàn)是 Python 轉(zhuǎn) MATLAB 的半成品——變量名用的是np開頭或下劃線命名法注釋里還留著import numpy as np。這類代碼通常不值得花時(shí)間去修正因?yàn)轱L(fēng)格差異會(huì)導(dǎo)致你后期維護(hù)成本過高。我的建議是從一份“結(jié)構(gòu)清晰、注釋完整、能復(fù)現(xiàn)結(jié)果”的包開始理解其核心邏輯再自己動(dòng)手重寫不適合的部分。這份資源包的價(jià)值不在于“拿來就能用”而在于它的整體框架和實(shí)驗(yàn)記錄可以當(dāng)作參照系幫你驗(yàn)證自己的實(shí)現(xiàn)是否正確。我自己處理這類資源包時(shí)一直采用的一個(gè)流程是先把所有 .m 文件通讀一遍弄懂網(wǎng)絡(luò)的輸入輸出規(guī)格然后畫一張簡單的數(shù)據(jù)流圖不一定是專業(yè)繪圖工具手寫或用思維導(dǎo)圖就行。把Z的維度、每層輸出的特征圖尺寸、損失函數(shù)的流向標(biāo)清楚后面無論是換數(shù)據(jù)集、改網(wǎng)絡(luò)結(jié)構(gòu)還是加新的損失項(xiàng)都有據(jù)可依。這個(gè)習(xí)慣幫我省下了大量反復(fù)試錯(cuò)的時(shí)間也推薦給你。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www婷婷亚洲| 婷婷五月综激情| 国产精品99久久久久久久女警| 91丨九色丨东北熟女| 九九久久精品| 精品国产va久| 26uuuuuuuu国产| A片试看120分钟做受视频红杏| 日日噜噜久久婷婷五月天 | av在线观看免费| 五月天激情久久| 国产免费一区二区在线A片视频| 97人人射| 婷婷五月天国产传媒| 伊人成人宗合网| 91919191919久久成人视频| 性色99| 久久99jiu9| 色爱综合网| 操B五月天| 99热综合网| 精品国产va久| 久久大香免费| 91精品久久久久久77777| 国产阿姨日皮艹逼内射视频| 日韩美女在线视频19| 日本色久| 26UUU亚洲欧美| 98热精品| 激情五月综合网| 日日做夜夜爱| 操久久网| 六月婷欧美丁香综合| 婷婷五月天无码| 情色婷婷五月天| 精品国产AV色一区二区深夜久久| 五月丁香婷婷成人网| 婷婷九月在线| 久久er99热精品一区二区| 色婷婷激情视频| 99热精品网| 色色99| 亚洲一区二区无码蜜乳av| 久热天堂| 91精品国产综合久久久不卡电影| 色99日韩| 婷婷王月天影院| 日本婷久久| 五月天啪啪| 国产五月天欧美色| 婷婷五月丁香狠狠| 五月综合激情| 97色一二三| 91久久综合亚洲鲁鲁五月天| 99er6热在线观看精品6| 久久这里这里有精品免费视频| 一本色综合色| 欧美人妻一区二区| 97干婷婷| 婷婷射丁香| 91操人| 午夜]香婷婷深深爱| 婷婷九月色| 五月婷婷在线观看| 色色综合日韩| 色综合激情| 久久44| 激情五月婷婷综合| 婷婷五月天基地| 狠狠操天天操综合| 五月开心啪啪| 五月婷婷色色爱| 欧美久久网| 日韩av干| 99色在线观看免费| 日本久久视频| 成人va在线| 99热综合| 久久婷婷伊人| 狠狠狠狠狠狠色| 九九热区一区二区三区| 亚洲AV免费在线| 五月天婷婷网站| 99热这里只有精品免费| 婷婷狠狠18禁久久| 性综合网| 亚洲另类久久| 翔田千里无码| 99热99热在线观看| 色播丁香| 亚洲久热| 99精品热| 无码啪啪| 婷婷伊人久久| 综合色网站| 2050人人操免费工开爱| 亚洲精品久久久久久久久久飞鱼| 99精品在线观看视频| 欧美25p| 深爱开心激情网| 五月丁香激情婷婷| enecarbon-materials.com污K127封锁请涟系@wip1688 | 五月综合婷婷网| 激情婷婷在线中文字幕| 日韩情色在线观看| 蜜乳人妻一区二区三区| 久久天堂色| 国产精品美女久久久久AV超清| 99热精品在线观看| 九九av| 久久这里只有精品热在99| Va另类视频| 只有精品在线观看| 最新午夜理论片| 99ri精品| 亚洲欧洲99| 99热亚洲| 色爽九九| 五月天婷婷社区久久综合| 中文字幕综合色| 精品香蕉99久久久久网站| 五月天婷婷基地| 亚洲操操| 婷婷综合五月| 香蕉AV福利精品导航| 另类激情中文| 国产乱子轮XXX农村| 狠狠五月天| 99热爱爱干干日| 久久婷婷五月综合| aaa久久| 色色亚洲视频| 99ri在线观看视频| 天天爱天天操| 国产高清av黄色看片| 色色色综合网| 激情小说色五月| 亚洲九N| 97福利视频| 五月天精品| 99这里只有精品| 99爱在线精品视频免费观看| 欧美在线视频99| 婷婷丁香六月| 99燥99日| 五月天婷婷涩涩| 97艹| 97综合在线| 97人人干人人操| 国产成人网址| 丁香五月激情六月综合| 99爱视频在线播放| 亚洲啪视频| 五月色婷| 伦乱天堂| 五月婷婷在线网站| 99热都是精品| 五月天婷婷在线播放| 五月婷婷婷婷| 碰99在线| 亚洲小电影在线观看黄999| 伊人网碰碰| 久久色情| 五月婷婷激情69| 这里只有精品在线播放| 色五月激情五月开心五月| 超碰免费大香蕉| 日韩成人精品中文字幕| 夜夜嗨一区二区三区直播内容 | 九久久婷婷| 亚洲9久久精品| 五月天社区婷婷丁香社区| 99人碰碰碰| 高清视频一区| 欧美97p| 色女伊人| 婷婷六月综合激情| 久久99免费视频网站| 九月激情综合| 色婷婷五月综合在线| 五月丁香六月激情综合欧美| WWW,五月| 五月丁香花成人社区| 秋霞少妇AV网站| 狠干综合| 天天在线久久综合 | 五月深情久久| 色八月婷婷| 丁香五月婷婷亚洲另类| 色热久| 亚洲亚洲人成综合网络| 久9热视频| 99色综合网| 99热只有这里才是精品| 99色视频| 99热在线爱| 婷婷六月激情| 五月丁香婷爱在线| 丁香五月天之婷婷影院| 在线sebiav精品视频| 色婷婷免费观看| 欧美综合激情五月| 久草五月天| 99热综合在线观看| 五月丁香六月婷婷精品| 五月天综合网| 无码人妻AV久久久一区二区三区| 五月天丁香网站| 秋霞电影理论| 色色色网站| www.1024久久| 婷婷五月天AV激情| 91色综合| 五月天婷婷色色网| 国产精品色婷婷AV综合色色| 亚洲精品久久久久久久久久吃药 | 色五月婷婷7777| 中美日韩成人在线| 欧美成人五月天| 日韩一区二区三区无码| 婷婷伊人综合中文字幕| 青青草网武则天| 伊人五月婷婷| 亚洲中文字幕AV| 九九成年视频| 97五月天婷婷| 色五月播五月| 97色五月婷婷在线| 九九色中文| 五月天色社区| 色五月色开心开心五月| 婷婷丁香六月影视| 另类图片五月天| 九九av在线| 色五月婷婷啪啪五月| 天天插综合| 人橾人| 日夜夜久久| 国产精品扒开腿做爽爽爽A片唱戏| 翔田千里 50岁 无码| WWW激情五月天| 丁香五月色情| 美日韩成人| 成人在线日韩欧美| 99小视频在线观看| 天天日,天天干,天天操| 一本色道久久综合狠狠躁一二三| 五月六月丁香激情视频| 亚洲色色色| 51XX午夜影福利| 天天天天天天操| 丁香婷婷五月份| 色六月天天激情综合网| 久久99热这里只有精品| 婷婷 伊人 久久| 五月婷婷丁香色播网| 四色永久成人网站| 亚洲视频a| 狠狠丁香| 九热视频| 五月香婷婷| 色色婷婷丁香五月天| 久久免费视频62| 亚洲妇女熟BBW| 亚洲 综合中文| 99色天堂| 久久五月丁香| 五月婷婷啪啪| 五月婷成人网| 99@久久@99精品视频| 伊人五月人妻精品| 色99久草在线| 天天婷婷| 亚洲一区国产传媒| 99re这里只有| 五月丁香六月婷婷免费| 香蕉久久国产AV一区二区| 丁香婷婷五月天亚洲| 色久综合| 久久av电影| 99久在线精品99re8热| 久久女婷| 大地9中文在线观看免费高清| 久久色情| 免费看欧美成人A片无码| 这里只有精9| 国产成人精品亚洲线观看| 久久久思思热| 色欲色欲久久宗合网| 九九久久这里只有精品XB| 51精品国自产在线| 色五月丁香五月天| 五月丁香婷婷综合久久| 人妻久久久| 日韩影院三级| 强辱丰满人妻HD中文字幕| tingtingzonghewang| 色狠狠色噜噜AV天堂五区| 丁香婷婷久久老熟女综合网| 青青草原爱爱网| 五月婷婷视频在线观看| 综合久久久| 99热在线精品观看| 欧美丁香六月激情视频| 99精品偷拍视频| 亚州操操| 欧美丁香五月97色| 久久性爱视频| 色色日本| 5月激情天| 在线理论片| 涩婷婷五月天| 日韩999| 色999亚洲人成色| 天天摸天天爽| 国产精品视频网| 九九99免费理论| 欧美婷婷六月丁香综合色| 被男人添B超爽视频| 人妻精品久久久久久| 5五月综合网亚洲| 综合啪啪| 六月婷婷狠狠色在线观看| 青青草99re| 九热...av| 婷婷中文字幕| 天天色中文字幕女优AV| 超碰99热| 日日操,夜夜撸| 五月丁香色婷基地综合久久| 99久久国产宗和精品1上映| 久狠日av| 美女天天久久| 六月丁香狠狠爱| 996er热| 日韩按摩二区| 色五月综合网| 久久玖玖99| 亚洲超碰在线| 丁香激情六月天婷婷| 色五月婷婷五月天激情综合| 免费观看全黄做爰的视频| 婷婷五月天小说网| 久久aaa| 久激情| 五月丁香大香蕉| 婷婷狠狠操| 久久99热免费| 色天堂A| 成人做爰黄A片免费看直播室男男| 色小说五月天| 色婷婷丁香五月丁香| 操日本三片99| 啪啪日热| 熟妇无码乱子成人精品| 五月丁香六月综合基地| 五月丁香综合伦理片| 激情九色| 国产精品成人网址| 亚洲乱码日产精品BD| 97精品在线| 五月天激情婷婷丁香| 亚洲人妻Av| 亚洲综合五月天婷婷| 丁香五月天堂| 色色五月婷婷久久| 日婷婷久久开心| 亚洲 激情 中文| 日韩99视频| H亚洲| 久久综合干| 丁香婷婷色| 五月婷婷就去色| 最新久久网址| www.99热在线| 五月丁香最新| 东北熟女高潮99综合99| 亚洲亚洲人成综合网络| 婷婷五月天成人网| 开心激情五月天网| 五月婷婷啪| 网站免费一站二站| 五月天.com| 日韩精品无码99| 丁香五月天欧美成人| 欧美五月婷婷| 五月天婷婷爱| 色久影院| 1024操逼视频| 性热视频99精品| 美女视频图片久久91| 91丨九色丨东北熟女| 黄色AV日韩| 这里只有精品1| 夜夜爽天操| 欧美性色五月天| 日操五月婷| 五月天丁香啪啪综合| 激情丁香五月AV| 日韩有码一区| 91丨九色丨国产在线| 沈娜娜av| 婷婷五月天渟渟| 色综啪啪| 中文在线视频久9| 97婷婷五月丁香| 久久99人人| 五月天操逼激情| 丁香婷婷综合激情五月色| 99久久黄色顶级视频| 婷婷五月综合激情| 六月婷婷五月丁香首页| 激情小说五月丁香在线视频观看视频| 包操45分钟网站| 激情婷婷丁香五月天| 99在线精品视频| 欧美天堂久久| 99re免费精品视频| 高清无码.com| 中文字幕丰满乱孑伦无码专区| 丁香五月在线人妻| 五月丁香va| 五月激情开心婷婷| 五月婷婷丁香色播网| 亚洲小视频| 色五婷婷| 久9热视频| 91久久综合亚洲鲁鲁五月天| 99久久网站| 婷婷五月成人| 精品九九九久| 精品一区二区三区三区| 婷婷五月色惰| 97资源碰碰| 综合色图区| 中文无码婷婷| 亚洲第一色网站| 99久久成人| 热热久久99| 一起草性爱不卡视频| 天天操天天插| 精品人妻一区二区| 337久久| av五月丁香婷婷网| 色婷婷网| 九月婷婷丁香| 婷婷激情五月色综合| 激情五月天偷拍综合网| 激情五月婷| 婷婷色影音天| 任你搞网站| 另类的婷婷| 天天干天天爽天天爽| 色色色99| 久久五月天综合| 久久人妻熟女一区二区| 亚洲av成人电影在线观看| 毛片新网地| 久久婷婷丁香五月一二三| 中文字幕 久久9999| 五月婷婷之综合激情| 狠狠香蕉| 五月婷婷香蕉视频| 亚洲婷婷91丁香| 99视频久久免费视频| 深爱五月婷| 日韩黄色电影| 日99网站| 91操片| 五月丁香在线国产 | 国产超碰人人| 99在线观看免费精品视频| 五月天 另类图片| 五月婷婷丁香色播网| 91丨九色丨熟女丰满| 99色视频| 97色图片中文字幕视频在线观看 | 久久99热久久99精品| 久久99大全| 91丨九色丨熟女|老版| 99re在线播放| 日韩超碰在线| 五月婷久久在线| 色色五月丁香| 精品无码久久久久久久久| 九九色天堂| 怡红院院在线导航网| 久久九九热视频| 99色色视频| 婷婷丁香六月天| 女婷久久| 亚洲va欧洲va国产va不卡| 亚洲六月婷婷| 91日综合欧美| 亚洲综合五月天综合| 五月婷婷激情| a免费在线| 天天做天天要天天爱| 99色视频免费在线规看| 色婷婷9| 丁香婷婷老熟女综合网| 天天爽成人综合网站| 99视频在线精品| 国产又色又爽又黄又免费| 日韩精品一品二区三区的使用体验| 国产精品-第3页-91JQ就要激情网91JQ5.JQJQ926.XYZ | 婷婷亚洲五月| 琪琪色网在线| 激情亚洲五月| 九月色婷婷| 人妻操日日| 在线色五月婷婷| 亚洲免费看片| 大香蕉免费9| 九九九九九九九热| 少妇熟女视频一区二区三区| 久久久激情| 天天综合色| 爱穴久久| 亚洲婷婷丁香五月视频| 99爱视频在线观看| 亚洲高清在线| 五月婷婷99热| 在线伦子99热| 九九这里都是精品| 一区二区你懂的| 热99久久这里只有精品| 成人精品视频99在线观看免费| 国产ava| 大香蕉欧美在线| 日韩AV成人电影| 米奇影视资源777狠狠色婷婷五月天激情网| 欧美性爱五月天| 日韩操逼大片| 五月婷婷在线免费观看| 91九色白丝| 丁香五月婷婷亚洲另类| 久久久亚洲精品一区二区三区浴池 | 五月婷三级片| 激情丁香五月激情婷婷| 情欲禁地| 很很干在线视频| 日本色婷婷| 高清无码.com| 五月天激情小说网| 国产成人VA| 99热精品在线观看| 色欲婷婷夜夜| 俺也去色| 激情播丁香| 五月天婷婷成人网| 色的色综合| 久久99热这里只频精品6学生| 大香蕉久久伊人婷婷五月丁香| 色五月天丁香| 五月婷色| 亚洲九区| www.日日日.com| 亚洲日韩一页精品发布| 呦呦v线| 中字幕视频在线永久在线观看免费| 五月婷婷狠天天色综合| 久久性爱网| 狠狠操狠狠做| 91九色白丝| 色婷婷丁香五月综合| 九月性爱网| 综合噜噜| 色婷婷综合久久久久| 激情五月婷婷综合| 777色婷婷爱五月| 亚洲超碰在线| 99热精国产这里只有精品| 丁香五月婷婷社区| 色五月婷婷小说亚洲中文字幕组| 91啪啪网| 五月天激情久久| 97干在线| 国产精品美女久久久久AV超清| 六月丁香婷婷天堂| 丁香婷婷婷婷十二月在线观看视频| 色五月色五天免费视频| 亚洲乱码在线观看| 乱岳熟女50岁| 五月丁香中文字幕| 亚洲区视频| 中文字幕无码人妻少妇免费视频 | 婷婷无五月无码视频| 79精品视频| 激情久久久久久久久久久| 亚洲这里只有精品| 五月天色网站| 成人网站免费在线播放| 五月婷婷激情综合| 五月 婷婷 成人| 午夜日韩久久久网站| 操久久网| 久久这里只有精品16| 欧美婷婷九月| 久久久18| 丁香五月激情婷婷婷婷在线观看| 丁香婷婷啪啪| 99热最新国内| 亚洲无码播放| 26UUU精品一区二区Com| 吊色AV男人的天堂| av亚洲国产小电影| 天天日天天操心| 日操| 国产在线自| 五月婷婷六月激情| 激情小说视频图片| 性爱先锋AV| 99cao婷婷| 五月天综合激情网| 五月丁香六月情婷婷久久| 九九九九大香蕉| 91久久久久久| 色色色综合网| 五月色欧美| www.色婷婷.com| 无码激情AAAAA片-区区| 狠狠干夜夜干| 伊人干练久| 99毛片| 精品视频二级九九| 青青草激情网| 天天综合网在线| 日日爱678| 婷婷丁香综合在线| 拍真实国产伦偷精品| 五月婷婷六月综合| 九九热AV| 91一道本| 婷婷丁香熟女| 欧美成人精品A片免费一区99| 日日爽天天| 精品视频这里只有精品| 中日韩狠狠色| 香蕉曰比| 综合色色色| 99热综合网| 五月丁香六月婷婷中合网| 亚洲AV网站在线观看| 香蕉影院色| 丁香五月天激情| 色婷婷88| 天天天干夜夜夜操| 思思w99| 亚洲AV网址| 91人无码久久久久久| 九九综合| 综合激情在线视频| 九九免费视频| 思思久久思思| 开心深爱五月天| 色久女| 人操人人| 九九99偷拍视频| 成人国产欧美大片一区| 久热99| 丁香综合婷婷五月天| 能直接看的AV网站| 婷婷五月精品在线| 久久五月天激情美女| 丁香久久五月婷综合| 国产亚洲成AV人片在线| 综合五月激情| 婷婷丁香红五月91C| 精品一区二区三区四区五区六区| 五月婷婷久久久| 久热免费视频| 久久丁香五月天| 五月天电影网| 五月激情基地| 五月天色网站| 狠狠草综合网| 手机AVAV天堂看网| 天天艹天天色| 99精品视频免费观看,| 干亚洲天堂| 久久这里只有精品5| 日本久久婷婷| 亚洲在线资源| 97精品综合久久| 中文字幕在线免费观看视频| 超碰亚洲天堂| 六月婷婷色综合| XX久久| 久久五月天色婷婷| 婷婷久久99| 五月玖玖| 天天综合情| 亚洲综合激情五月久久| 九九人人操| 婷婷五月大| 久久HD| 大香蕉五月天婷婷| 五月丁香色色网| 97操碰| 婷激情五月天视频导航| 六月激情婷婷色| 中文久久久人妻| 日本激情ⅩXX免费视频| 另类图片五月天婷婷| 六月亚洲婷婷6月中文字幕| 五月丁香六月婷婷啪啪综合| 性色播| 欧美婷婷五月激情| 五月天激情小说婷婷基地| 国产日日操夜夜操的肉棒视频| 婷婷色av| 色色色在线观看| 99精品国产热久久91色欲| 久热这里只有精品6| 丁香啪啪| 99精品丁香五月| 超碰京东热av男人的天堂| 日韩无码人妻一区二区| 色吊丝永久访问网址| 婷婷五月丁香综合| 婷婷丁香第一页| 婷婷香五月综合激情| 久久这里有精品视频| 国产毛片精品一区二区色欲黄A片| 婷婷六月激情| 天天做天天爱| 久久99免费视频网站| 99久精品视频| 色婷婷成人| 丁香五月婷婷成人色区| 九九激情视频| 久色网址| 成人做爰A片免费看网站找不到了| 果冻传媒A片一二三区| 婷婷99丁香| 99爱爱网| 99这里只有精品国产| www.夜夜騎夜夜狠| www.久久99热地址发布| 国产乱人偷精品人妻A片| 婷婷五月欧美AA片免费| 亚洲成人网站在线观看| 色婷婷丁香五月丁香| 深爱1激情网| 五月丁香综合激情网| 久久久久人妻| 色综合网页| 亭亭色色五月天| WWW.夜夜| 久久伊人五月天| 色网五月婷婷| 色五月天丁香| 9久热这里只有精品| 综激情网| 密着浓厚中出乚交尾GvG935| 毛片新网地| 草AV9999| 欧美五月婷婷| 久久婷婷原创视频| 九九色精品| 久久99色色| 亚洲AV人人操| 亚洲综合色婷婷文学| 色婷婷综合视频| 久久免费婷婷视频| 99精品无码| 91日在线视频| 99热综合在线| 欧洲色| 国产欧美精品AAAAAA片| 色婷久九| 丁香五月婷婷综合网| 在线观看中文字幕| 色色网91| 激情五月婷婷伊人| 丁香五月天网站| 99热91| 激情爱爱网站超大免费| www.minyis.com【JT】币址百万U预算可预付QQ2101460746 | 天天开心AV色综合婷婷五月天| 久久婷婷五月天激情四射| 激情都市另类| 久久精彩综合视频| 99热色精品| 被男人添B超爽视频| 激情亚洲婷婷| 色99热| 激情网五月天| 日本啪啪天堂| 99秘 在线| 亚洲精品大片| 26uuu日韩| 成人午夜视频精品一区| 色狠狠色| 九九99精品视频| 东京热人妻一区二区三区在线| 久久ER视频com| 九九热大香蕉| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | 五月婷婷五月天天| 五月丁香六月激情在线| 久久久久久97| 伊人五月综合网| 桃色五月婷婷| 五月熟妇婷婷久久| 狠狠干婷婷| 97伦色婷婷| 99亚洲大片精品永久在线观看| 色99色| 色丁香五月婷婷| 丁香五月欧美| 九九热99精品| 丁香六月伊人| 婷婷五月天综合久久日美女| 久色中文| 国产看真人毛片爱做A片| 99这里有精品视频3| 综合AV在线| 九九色大香蕉| 激情99| 91九色无码内射| 欧美激情综合色综合色| 中文字幕精品无码一区二区| 色五月之第四色| 五月激情综合网| 日韩黄色电影| 深爱五月天| 亚洲国产成人AV在线| 中文字幕久久一区二区三区| 精品久久穴| 思思99re这里只有| 99原创自拍视频在线观看| 五月天婷五月天综合网在线观| 丁香五月六月综合激情| 99ri国产在线| 九九五月天| 综合AV在线| 伊人色综合久久久| 亚洲久久日| www.99热在线| 五月丁香人妻| 亚洲精品国产精品乱码视99| 97人人操com| 日本激情91| 久久成人亚洲欧美电影| 综合久久8| 99r这里| 91主播在线| 婷婷香五月天| 神马欧美精| 久9久成人精品视频| 九九热这里有精品23| 丁香婷婷91在线观看视频| 狠狠爱深色婷婷综合| 99综合网| 天天日 天天草| 精品综合久久久久久五月天| 午夜成人天堂久久无码日韩久久| 99综合五月免费视频色婷婷| 天天日天天舔| 天天摸天天舔| 婷婷五月天激情影片| 9久久精品| 日本久久99久久| 99视频免费播放| 极品少妇XXXX精品少妇偷拍| 99天堂网| 色婷另类| 自拍盗摄 另类| 国语对白性爱视频播放| 午夜丁香 婷婷| 九九九九操逼| 另类小说五月天| 99九九在线视频| 婷婷五月天男人影院色色网| 婷婷五月天激情偷拍| 激情九月综合| 日韩精品无码AV| 婷婷五月丁香图片人人操| 色五月婷婷网| 久热九九| 99精品久久久| 91人碰| 激情文学五月丁香六月婷婷| 天天干天天爽天天操| 成人久久天天x资源站| 五月天色色激情综合| 丁乡久久| 成人一区在线观看| 色婷婷亚洲综合网站| 97亚洲视频在线| 五月丁香色综合| 激情深爱五月天| 亚州操人在线视频| 亚洲另类日本| 在线观看中文字幕| 怡红院视频| 亚洲欧州色情在线观看| 色婷婷色五月色丁香| 五月婷婷偷| www.97碰碰com| 色色色五月婷| 一本色道久久88加勒比—| 五月丁香趴趴| 久久XX日本综合| 夜色五月天| 国产av天天插天天操天天爽| 五月婷婷影视| 91热视频| 99精品丰满| 中文字幕久久婷九女同| 成人五月丁香花| 丁香婷婷狠狠97| 99热超碰人| 久久九九热视频| 五月开心久久| 97福利视频| VA色婷婷| 99爱在线精品视频免费观看| 亚洲热综合| 五月玖玖| 啪啪啪综合网| 无码色| 激情网五月天| 中文字幕无码人妻少妇免费视频| 大香蕉520| AV人人操| 九九成人视频| 国产亚洲精品久久久久久久久动漫| 99热99艹在线观看| 超碰妻人人| 免费成人网在线观看| 五月丁香久久呀| 国产成人综合在线| 丁香丁婷五月激情| 日日噜噜久久婷婷五月天| 五月婷婷九月婷婷九月婷婷| 五月成人天| 91se在线观看| 成人av在线网址| 第四色激情网| 99热思思| 婷婷伊人网| 激情内射人妻1区2区3区| 丁香五月亚洲综合丝袜| 琪琪狠狠干| 婷婷五月天丁香综合网| 久久五月天网| 国产精品久久..4399| 午夜色色色极品视频| 777精品成人a v久久| 五月天久久婷婷婷| 国产色五月婷婷| 婷婷六月丁香五月| 午夜激情综合| 成人无码精品1区2区3区免费看| 人人人操 超碰| 久热伊人在91| 五月婷色色| 国产日批视频| 色狠狠色综合| 天天噜| 大香蕉婷婷五月天| 婷婷五月天网| 香蕉99网| 五月婷婷六月天| 丁香五月激情天AV无码| 五月综合影院| 久大香蕉| 成人综合网站| 六月婷婷最新网址| aaaaa不卡| 欧美婷婷五月| www.91.com黄| 少妇性BBB搡BBB爽爽爽视頻| 99视频在线看| 日日骑夜夜撸| 久久这里只有欧美| 91九色丨国产丨爆乳| 无码AV免费精品一区二区三区| 色啪久 | 丁香久久久| 久久伊人婷婷| 色婷青青| 色色五月天网站| 激情综合婷婷| 激情綜合網址| 婷婷六月丁| 日本婷婷色| 97综合在线| 色丁香影院| 五月天精品视频| 欧美怡红院黄站| 伊人久久大香线蕉av一区| 都市激情五月婷婷综合| 伊人婷婷五月天| 天天干天天干天天干| 任你搞在线观看视频| 狠狠五月激情在线| 99er久久| 久久久免费精彩视频| 91久久人人操| 狠狠色婷婷在线| 情婷婷五月天| 婷婷五月综合激情| 色吊操色妞| 都市激情久久| 久久丁香五月天| 亚洲日本韩国| 亚洲AV综合网| 五月草影视| 天天拍天天操| 五月婷中文娱乐综合| 伍月婷丁香婷| 丁香婷婷五月综合| 荫道BBWBBB高潮潮喷| 任你搞在线观看视频| 思思99精品视频在线观看| 丁香五月六月婷婷殴美综合| 99ri精品| 亚洲乱码w在线观看| 色五月婷婷av| 九热视频| 亚洲情综合五月天| 激情综合久久| 99在线精品视频在线观看| 九九热最新| 色五月婷婷在线| 丁香网五月天激情| 99色色网| 大香蕉天堂| 天干夜夜操| 成人午夜视频精品一区| 国产99久久久| 国产激情综合五月久久| 人妻第九页| 97av在线视频| 亚洲色婷婷五月天| 国产精品人成A片一区二区| www.久久久久久久| 这里只有精品免费| 欧美性生交XXXXX无码小说| 六月丁香色色| 五月婷婷丁香俺日污视频| 天天狠狠综合精区| 狠色狠色狠狠色综合网| 亚洲免费观看高清完整版AV线| 五月婷九月| 能看的AV网站| 久久久97| 久久9精品| 久久九九热视频| 亚洲成人在线在线| 久久婷婷丁香五月一二三| 日本久久婷| 2016日日夜夜操| 综合激情网激情五月。| 国产真实乱了老女人视频| 开心婷婷中文字慕| 婷婷五月婷婷| 九九在线91| 久热中文字幕在线线观看 | AV美美午夜| 大香蕉久操| 亚洲热久| 五月婷婷激情久久| 99热香港| 广东99色在线| 五月天色婷婷综合| 91九色国产| 影音先锋一区二区三区| 一起操最新网址| 丁香色播五月天| 大学生高潮无套内谢视频| 亚洲国产精品成人免费一区久久久在线观看AAAA| 婷婷娌伦网| 婷婷五月丁香色播| 激情丁香五月天图片| 色婷婷yy久| 伊人狠狠狠综合| 成人午夜无码视频| 五月丁香六月综合情在线观看| 五月婷婷五月天| 日韩在线视频网站| 六月丁香中文字幕| 91综合在线视频| 七七色色综合| 久9视频免费播放| xx久久| 91九色熟女| 五月丁香久久久久| 丁香婷婷五月综合影院| WWW.桔色成人.COM| 3p久久| 丁香婷婷情色五月天| 九九中文色色| 亚洲热久久| 超碰97色| 婷婷五月天AV| AV动漫不卡无码免费| 五月丁香亭亭操逼| 丁香伊人网| 91久久1118| 五月天国产成人| 久久婷婷五月天| 亚洲婷婷开心五月| 婷婷D区| 色播婷婷五月天| 91干99| 色五月婷婷九月| 色99自拍| 99精品在线播放| 人人操插| 最新va在线播放| 婷婷综合色图| 色噜噜狠狠色综合成人网| 色一情一乱一乱一区91| 99熟女视频| 久久久久久久丁香五月天婷婷| 亚洲另类电影| 色亚洲色宗合| 久久激情四射| 色99在线观看| ww久久| 96丁香六月婷婷蜜桃综合久久| 天天看片日日夜夜| 欧美婷婷色| 偷拍五月丁香| 玖玖综合色| 久久怕怕视频| 影音先锋 91工厂| 国产精品黑丝| 啪啪黄页网| 四色综合网| 欧美叉叉叉BBB网站| 九九热经典视频在线观看| 丁香五月www| 婷婷五月丁香综合| 这里只精品| 久久久久久婷| 婷婷激情人妻| VA五月激情在线| 激情色五月天| 99这里有精品视频| 久久九九爽| 免费无码毛片一区二区A片| 婷婷综合色播网| 六月丁香婷婷综合狠狠爱夜夜爱| 99热自拍| 久8色色| 五月婷激情影院| 丁香色婷婷| 婷婷五月丁香六月天亚洲综合| 色天堂97| 99热精品在线观看| 日日.c| 色婷婷88| 免费视频无码| 欧洲第一久色| 亚洲六月色婷婷| 五月激情综合网| 99热99热在线| 久久98| 狠狠婷婷色| 亚洲六月色婷婷| 亚洲日韩人妻操逼| 国内在线99视频| 国产精品色婷婷99久久精品| 色五月xxx| 五月丁香综合网| www.色99| 丁香六月天婷婷开心综合| 青青草色在线视频观看| 江苏少妇性BBB搡BBB爽爽爽| 狼友超碰| 婷婷成人丁香色情基地30| 激情图片久久| 校花娇喘呻吟校长陈若雪视频| 开心五月深爱婷婷| 五月婷婷免费在线| 五月婷婷综合色啪首页| 噜噜狠狠色综合久| 五月天婷婷爱丁香中文字幕| 久久日曰| 久久五月综合| 激情六月婷婷| 亚洲丁香五月美女| 久9精品视频| 男人的天堂婷婷色五月| 欧美婷婷六月丁香综合色连续高潮抽搐| 成年人丁香五月| 丁香五月五月婷婷五月天激情四射| 97人人干人人操| 97人人操人人拍| 亚洲激情在线| 激情五月深爱婷婷| 人人草成人视频| 禁片二区| 婷婷精品| 色婷婷88| 99这里只有精品在线| 97在线视频人妻九色| 97婷婷五月丁香| 99色| 色情五月天婷婷| 婷婷色网站| 日韩精品一区二区三区,四区,五区视频| 五月色综合网| 五月婷庭丁香在线| www.99婷婷| 精品国产a| 无码人妻少妇色欲AV一区二区| 日本视频99| cc精品国产性传播| 亚洲久久视频| 综合久久9| 九九精品re免费视频| 白人荫道BBWBBB大荫道| 五月天婷婷激情在线色图| 丁香五月婷婷亚洲综合精品在线| 午夜成人AV在线| 激情综合婷婷久久| 97日本操| 欧美肉大捧一进一出免费视频| 色婷婷电影网| 久久精彩免费视频| 婷婷香五月综合激情| 婷婷丁香色五月亚洲| 五月婷婷|欧美| 婷婷五月天久| 操人妻AV| 五月色综合| 成人在线不卡| 五月天婷婷基地| 九月色婷婷综合| 3pAV| 久久久久久xxxxx| AV在线免费播放| 香蕉久久六月| 久久久久久久五月| 日本V在线观看不卡视频网站| 久久人妻久久| 亚洲婷婷91丁香| 欧美va欧美va差| 99在线看片| 婷婷色色综合激情| 亚洲成人免费在线| 色情五月婷| 99色久| 丁香婷婷婷婷十二月在线观看视频| 610018岁成人视频| 99国产精品久久久久久久久久久| 99视频精品| 第五色婷婷| 五月天啪啪啪| 秋霞成人毛片一级A片| 噜噜在线| 婷婷丁香五月在线播放| 热久久66| 91久久久久久久| 99这里有精品视频| 丁香五月婷婷大香蕉| 色婷婷在线视频观看| www.99色在线| 超碰人人在线观看|