欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實戰(zhàn)洞察。

MATLAB實現(xiàn)CNN圖像去噪:從數(shù)據(jù)準(zhǔn)備到訓(xùn)練調(diào)參的完整指南

MATLAB實現(xiàn)CNN圖像去噪:從數(shù)據(jù)準(zhǔn)備到訓(xùn)練調(diào)參的完整指南 簡介本資源是一套面向高校學(xué)生、圖像處理初學(xué)者及深度學(xué)習(xí)入門者的MATLAB實踐教程聚焦CNN在圖像去噪任務(wù)中的原理理解與代碼實現(xiàn)。資源包共6個文件8.35MB包含核心MATLAB腳本Runme.m、預(yù)訓(xùn)練CNN模型BdCNN.mat、3張典型去噪效果對比圖png、1段全流程操作錄屏視頻mp4以及配套圖文教程覆蓋數(shù)據(jù)預(yù)處理、U-Net/自編碼器結(jié)構(gòu)搭建、模型訓(xùn)練與PSNR/SSIM定量評估等關(guān)鍵環(huán)節(jié)。已有239人學(xué)習(xí)下載內(nèi)容由淺入深從CNN基礎(chǔ)理論切入結(jié)合MATLAB深度學(xué)習(xí)工具箱實操提供可直接運(yùn)行的完整仿真流程與可視化結(jié)果分析顯著降低算法復(fù)現(xiàn)門檻。讀者不僅能掌握圖像去噪建模方法還可遷移應(yīng)用于醫(yī)學(xué)影像增強(qiáng)、遙感圖像修復(fù)等實際場景。 前陣子幫實驗室做了一版基于CNN的圖像去噪算法仿真環(huán)境是MATLAB從數(shù)據(jù)準(zhǔn)備、網(wǎng)絡(luò)搭建到訓(xùn)練評估完整走了一遍。說實話網(wǎng)上CNN去噪的教程大多是基于Python生態(tài)的MATLAB版本的完整案例不算多尤其是一套能直接在本地跑起來、還能看到清晰對比效果的流程很多新手在第一步就卡住了。這篇就按我實際跑通的方案把整個項目拆開講清楚從為什么用CNN做去噪、網(wǎng)絡(luò)結(jié)構(gòu)怎么選到訓(xùn)練數(shù)據(jù)怎么準(zhǔn)備、參數(shù)怎么調(diào)、測試指標(biāo)怎么看最后附上我踩過的坑和排查思路。這個項目適合三類人看一是課程作業(yè)或畢業(yè)設(shè)計需要實現(xiàn)圖像去噪算法的學(xué)生二是已經(jīng)把MATLAB當(dāng)日常工具、但沒接觸過深度學(xué)習(xí)工具箱的工程師三是想快速跑通一個CNN基線、驗證后續(xù)改進(jìn)想法比如加注意力機(jī)制、換損失函數(shù)的研究人員。文章里的代碼都是我在MATLAB R2022b上實測過的老版本的話注意把深度學(xué)習(xí)工具箱升級到較新版本個別API寫法會有差異。1. 項目背景與目標(biāo)拆解1.1 為什么要用CNN做圖像去噪圖像去噪是個老問題。傳統(tǒng)的BM3D、NLM、小波閾值這類方法本質(zhì)上都是利用圖像自身的結(jié)構(gòu)先驗——要么是塊之間的相似性要么是變換域的稀疏性。它們在噪聲水平不高、圖像紋理不太復(fù)雜的時候表現(xiàn)不錯但一旦遇到光照變化復(fù)雜、細(xì)節(jié)紋理密集的場景去噪結(jié)果往往會丟失邊緣細(xì)節(jié)或者產(chǎn)生塊狀偽影。CNN做去噪的核心思路不是人工設(shè)計先驗而是從大量“干凈圖帶噪圖”配對樣本里自動學(xué)一個映射關(guān)系。網(wǎng)絡(luò)看到足夠多的樣本之后能隱式學(xué)到圖像的自然先驗比手工特征表達(dá)能力強(qiáng)得多。這項工作的經(jīng)典代表就是DnCNN把殘差學(xué)習(xí)、批量歸一化、深層網(wǎng)絡(luò)三個東西結(jié)合起來在速度和效果上同時超過了傳統(tǒng)方法。用MATLAB做這件事還有個額外的好處整個流程里圖像預(yù)處理、評價指標(biāo)計算這些環(huán)節(jié)可以全部在同一個環(huán)境里完成不需要像Python方案那樣在OpenCV、PyTorch和NumPy之間來回切換。對已經(jīng)把MATLAB當(dāng)作主力工具的人來說學(xué)習(xí)成本低很多。1.2 這個項目要解決什么問題從工程角度看這個項目要打通的核心鏈路是原始圖像 → 加噪 → 構(gòu)造訓(xùn)練數(shù)據(jù)集 → 定義CNN網(wǎng)絡(luò) → 訓(xùn)練 → 測試 → 評價指標(biāo)對比。目標(biāo)很明確讓網(wǎng)絡(luò)在給定高斯噪聲σ25這個水平的輸入上輸出盡可能接近干凈圖像的重建結(jié)果。評價指標(biāo)用兩個最普遍的PSNR峰值信噪比和SSIM結(jié)構(gòu)相似性。PSNR反映像素級別的誤差大小SSIM反映人眼感知上的結(jié)構(gòu)保持程度兩個一起看才不會被單一指標(biāo)帶偏。比較合理的技術(shù)目標(biāo)在BSD測試集上當(dāng)σ25時PSNR跑到29dB以上SSIM跑到0.87以上就算這條鏈路基本通了。DnCNN原文在BSD68上σ25能達(dá)到29.23dB我們復(fù)現(xiàn)時能逼近這個數(shù)字就沒問題。注意去噪不是一個“把指標(biāo)刷到極致”的任務(wù)。如果追求完美復(fù)現(xiàn)DnCNN原論文的數(shù)字需要完全一致的訓(xùn)練數(shù)據(jù)集、patch采樣方式和超參數(shù)設(shè)置。作為仿真項目指標(biāo)接近論文水平即可重點是整個流程的正確性和可復(fù)現(xiàn)性。2. 關(guān)鍵技術(shù)選型與方案設(shè)計2.1 網(wǎng)絡(luò)結(jié)構(gòu)的選擇殘差學(xué)習(xí)為什么好用這個項目選用的結(jié)構(gòu)是DnCNN的簡化復(fù)現(xiàn)。核心思想是把網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)從“輸出干凈圖像”改成“輸出噪聲圖”。也就是說網(wǎng)絡(luò)輸入帶噪圖y學(xué)習(xí)一個殘差映射R(y)讓R(y)盡量接近噪聲n最終干凈圖x y - R(y)。這個“預(yù)測噪聲”的思路非常巧妙。因為天然圖像x本身結(jié)構(gòu)復(fù)雜、方差大直接回歸x讓網(wǎng)絡(luò)壓力很大。而噪聲n是隨機(jī)、零均值、近似均勻分布在各個位置的學(xué)習(xí)難度比學(xué)圖像結(jié)構(gòu)低得多。實際訓(xùn)練時在相同條件下做實驗帶殘差學(xué)習(xí)的網(wǎng)絡(luò)收斂速度明顯快于直接預(yù)測干凈圖的網(wǎng)絡(luò)最終PSNR也高約0.3~0.5dB。這個差距在淺層網(wǎng)絡(luò)下更明顯。整個網(wǎng)絡(luò)的結(jié)構(gòu)分成三段第一層3×3卷積 ReLU激活64個特征圖中間層共15層3×3卷積 批量歸一化BatchNorm ReLU激活保持64個特征圖padding用same保證特征圖尺寸不變最后一層3×3卷積輸出通道為1負(fù)責(zé)重建殘差整體深度17層感受野大小約35×35這個深度和感受野范圍對去除σ25~50的高斯噪聲是足夠的。加深到20層以上對提升效果有幫助但訓(xùn)練時間會明顯增加在MATLAB里的顯存占用也比較大作為基線項目17層是性價比最高的選擇。2.2 MATLAB深度學(xué)習(xí)工具箱的能力邊界MATLAB從R2019b開始深度學(xué)習(xí)工具箱已經(jīng)能完成構(gòu)建、訓(xùn)練、驗證CNN的完整流程。對圖像去噪這個任務(wù)來說下面這些功能是我們會用到的imageInputLayer、convolution2dLayer、batchNormalizationLayer、reluLayer、regressionLayer等網(wǎng)絡(luò)層trainingOptions函數(shù)配置訓(xùn)練超參數(shù)優(yōu)化器、學(xué)習(xí)率、批大小、學(xué)習(xí)率衰減策略trainNetwork執(zhí)行訓(xùn)練activations提取中間層特征trainNetwork訓(xùn)練過程中自動記錄loss曲線這里要說一個容易踩的坑MATLAB的trainNetwork做分類任務(wù)大家用得多但圖像去噪是回歸任務(wù)最后一層不能是classificationLayer必須用regressionLayer。訓(xùn)練目標(biāo)也不是標(biāo)簽類別而是我們構(gòu)造的噪聲殘差圖或者干凈圖取決于你的殘差結(jié)構(gòu)設(shè)計。另外如果你用的是R2023a之后的版本MATLAB提供了更靈活的trainnet函數(shù)支持自定義訓(xùn)練循環(huán)。但自定訓(xùn)練循環(huán)對新手不太友好需要手動管理梯度更新、寫dlgradient和dlupdate除非要做特殊優(yōu)化比如自定義損失函數(shù)否則用trainNetwork就夠了。2.3 數(shù)據(jù)集怎么選訓(xùn)練數(shù)據(jù)我用的是BSD400這是Berkeley分割數(shù)據(jù)集里選出來的400張灰度訓(xùn)練圖也是DnCNN原作者預(yù)訓(xùn)練時用過的數(shù)據(jù)。如果你不方便下載BSD400用一個折中方案從ImageNet里隨機(jī)抽幾百張圖轉(zhuǎn)灰度也行或者直接用MATLAB自帶的一些測試圖反復(fù)裁剪生成patch效果會略差但作為教學(xué)演示完全夠用。測試集用BSD68這是去噪領(lǐng)域最常用的基準(zhǔn)數(shù)據(jù)集由68張灰度圖組成。MATLAB里沒有直接內(nèi)置BSD68需要自己下載放在工程目錄下。如果實在找不到資源也可以從CBSD68彩色版轉(zhuǎn)灰度或者Set12這類數(shù)據(jù)集替代。數(shù)據(jù)集的使用方式要注意訓(xùn)練集的patch是從大圖上隨機(jī)剪裁出來的小方塊而不是把整張圖扔進(jìn)網(wǎng)絡(luò)。原因有兩個一是小patch能極大地擴(kuò)充訓(xùn)練樣本數(shù)量400張圖剪裁出幾萬個小patch后網(wǎng)絡(luò)見到的樣本量級別完全不同二是patch小了訓(xùn)練時的顯存占用和計算量都可控。常用設(shè)置是patch尺寸40×40每張圖隨機(jī)剪裁若干patch默認(rèn)每張圖128個。數(shù)據(jù)增強(qiáng)我建議做而且成本很低隨機(jī)水平翻轉(zhuǎn)、隨機(jī)垂直翻轉(zhuǎn)、隨機(jī)旋轉(zhuǎn)90度的倍數(shù)三個操作隨機(jī)組合。這一步能顯著增強(qiáng)模型對不同方向紋理的適應(yīng)能力。實測發(fā)現(xiàn)做了數(shù)據(jù)增強(qiáng)之后SSIM大約能提升0.005~0.01PSNR提升約0.1dB白給的好處。3. 實操過程與核心環(huán)節(jié)實現(xiàn)3.1 訓(xùn)練數(shù)據(jù)準(zhǔn)備的MATLAB實現(xiàn)訓(xùn)練數(shù)據(jù)準(zhǔn)備的完整流程是讀取圖片 → 轉(zhuǎn)灰度 → 轉(zhuǎn)換數(shù)據(jù)類型 → 隨機(jī)裁剪patch → 加噪聲 → 保存成mat文件或者直接以datastore形式供訓(xùn)練使用。轉(zhuǎn)換成single類型是必須的深度學(xué)習(xí)工具箱內(nèi)部計算都基于single精度如果你用double輸入MATLAB會報類型錯誤或者自動轉(zhuǎn)換導(dǎo)致內(nèi)存翻倍。下面是patch提取的核心代碼我直接貼我調(diào)試過的版本function patches extractPatchesFromImage(img, patchSize, numPatches) % img: 輸入的灰度圖像double或者single類型范圍[0,1] % patchSize: patch的邊長本項目取40 % numPatches: 從該圖提取的patch數(shù)量 % 保證輸入是灰度圖且在[0,1]區(qū)間 if size(img, 3) 3 img rgb2gray(img); end img im2double(img); [h, w] size(img); % 如果圖像尺寸比patch還小先放大 if h patchSize || w patchSize img imresize(img, [max(h, patchSize), max(w, patchSize)]); [h, w] size(img); end patches zeros(patchSize, patchSize, 1, numPatches, single); for i 1:numPatches r randi([1, h - patchSize 1]); c randi([1, w - patchSize 1]); patch img(r:rpatchSize-1, c:cpatchSize-1); % 數(shù)據(jù)增強(qiáng)隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn) if rand 0.5 patch fliplr(patch); end if rand 0.5 patch flipud(patch); end k randi([0, 3]); patch rot90(patch, k); patches(:, :, 1, i) patch; end end提取完干凈patch之后加噪聲生成輸入數(shù)據(jù)。這里要用MATLAB的randn函數(shù)不要用randrand生成的是均勻分布不是高斯白噪聲。加噪的時候注意類型一致性防止數(shù)值溢出。sigma 25 / 255; % 訓(xùn)練時固定噪聲水平歸一化到[0,1]范圍 noisy_patches clean_patches sigma * randn(size(clean_patches), single);3.2 網(wǎng)絡(luò)定義與訓(xùn)練配置網(wǎng)絡(luò)定義代碼要把DnCNN的“第一層、中間層、最后一層”三段結(jié)構(gòu)搭出來。我直接在腳本里用循環(huán)生成中間層靈活調(diào)整層數(shù)imageSize [40 40 1]; numMiddleLayers 15; numFilters 64; layers [ imageInputLayer(imageSize, Name, input) convolution2dLayer(3, numFilters, Padding, same, Name, conv1) reluLayer(Name, relu1) ]; for i 1:numMiddleLayers-1 layerName [mid_conv_ num2str(i)]; bnName [mid_bn_ num2str(i)]; reluName [mid_relu_ num2str(i)]; layers [ layers convolution2dLayer(3, numFilters, Padding, same, Name, layerName) batchNormalizationLayer(Name, bnName) reluLayer(Name, reluName) ]; end % 這里中間層循環(huán)實際生成了15組“卷積BNReLU” % 加上第一層的conv1-relu1再加上最后一層剛好17層。 layers [ layers convolution2dLayer(3, 1, Padding, same, Name, conv_last) regressionLayer(Name, output) ];訓(xùn)練配置是全程最影響結(jié)果的部分直接決定網(wǎng)絡(luò)是收斂還是發(fā)散。這里是你最需要仔細(xì)理解的地方。options trainingOptions(adam, ... InitialLearnRate, 0.001, ... LearnRateSchedule, piecewise, ... LearnRateDropFactor, 0.1, ... LearnRateDropPeriod, 30, ... MiniBatchSize, 64, ... MaxEpochs, 80, ... Shuffle, every-epoch, ... Verbose, true, ... Plots, training-progress, ... ExecutionEnvironment, gpu);優(yōu)化器選Adam而不是SGD是因為Adam對初始學(xué)習(xí)率的敏感度低在自動調(diào)節(jié)學(xué)習(xí)率方面比較省心。SGD想跑出好效果除了學(xué)習(xí)率還需要精心調(diào)Momentum和權(quán)重衰減這對新手不友好。但Adam不是沒有代價它的泛化性在某些任務(wù)上不如SGD不過這是去噪回歸任務(wù)對泛化性的要求沒有分類那么苛刻訓(xùn)練到最后PSNR是穩(wěn)的。學(xué)習(xí)率方面初始學(xué)習(xí)率設(shè)置0.001是經(jīng)驗值這個值在大多數(shù)圖像回歸任務(wù)上都可以作為起點。直接給0.01的話第一輪loss經(jīng)常會出現(xiàn)NaN原因在后面的第5章詳述。如果發(fā)現(xiàn)loss下降得很慢可以試試把學(xué)習(xí)率調(diào)到0.002但不要超過0.002太多。學(xué)習(xí)率衰減策略用了piecewise每30輪衰減為原來的0.1倍也就是第30輪從0.001變?yōu)?.0001第60輪變?yōu)?.00001。這個策略思路是訓(xùn)練前期快速靠近最優(yōu)區(qū)域訓(xùn)練后期用小學(xué)習(xí)率細(xì)調(diào)。如果訓(xùn)練輪數(shù)改為100輪衰減周期也需要相應(yīng)調(diào)整到40輪左右。BatchSize設(shè)64這是在常見顯存容量下能穩(wěn)定跑的值。如果你顯存是8GB以下建議改成32否則容易報CUDA out of memory。解釋一下為什么batch size選64而不是4或者8batch size太小梯度估計的噪聲就越大訓(xùn)練過程不穩(wěn)定batch size大每輪迭代次數(shù)少且顯存占用大。業(yè)界對這個規(guī)模的網(wǎng)絡(luò)32~128都是合理區(qū)間。3.3 訓(xùn)練過程中的關(guān)鍵選擇建議把驗證集從訓(xùn)練集里單獨分出來比如400張訓(xùn)練圖里留出20張做驗證集。使用trainingOptions里的ValidationData參數(shù)在訓(xùn)練過程中實時觀察驗證集上的loss變化防止trainNetwork直接給你輸出一個“看起來訓(xùn)練很好但泛化差”的模型。MATLAB的trainNetwork有一個很方便的選項OutputNetwork可以在best-validation和last-iteration之間選。建議選best-validation這會在驗證集loss最低的點保存模型而不是在最后一輪保存。實際項目中最后一輪往往不一定是最優(yōu)的訓(xùn)練后期驗證loss經(jīng)常會輕微回升保存best-validation能自動幫你規(guī)避這個問題。訓(xùn)練過程中會實時畫出loss曲線。我訓(xùn)練時的曲線大致是這個走勢初始loss約0.02前5輪快速下降到0.005左右10輪之后下降變慢30輪學(xué)習(xí)率衰減后進(jìn)一步下降到0.0015以下80輪結(jié)束時訓(xùn)練集loss約0.0008驗證集loss約0.0012。訓(xùn)練過程中如果loss完全不動大概率是網(wǎng)絡(luò)結(jié)構(gòu)有bug或者數(shù)據(jù)集構(gòu)造有問題不要盲目等它自己好起來。我在第一次跑的時候把訓(xùn)練數(shù)據(jù)集構(gòu)造成了“4D數(shù)組一次性加載進(jìn)內(nèi)存”。400張圖×每張128個patch每個patch40×40×1最終數(shù)組大小約40×40×1×51200。這個數(shù)組在MATLAB里占了約300MB內(nèi)存加載沒問題。但如果數(shù)據(jù)集擴(kuò)到幾千張圖一次性加載就會內(nèi)存溢出。更穩(wěn)妥的方案是用imageDatastore結(jié)合transform函數(shù)在訓(xùn)練時動態(tài)讀取和增強(qiáng)不占用大量內(nèi)存。3.4 訓(xùn)練完成后的測試流程保存模型后測試流程分四步讀測試圖 → 加噪聲 → 預(yù)測 → 計算指標(biāo)。% 加載訓(xùn)練好的網(wǎng)絡(luò) load(trained_dncnn.mat, net); img im2double(imread(test_image.png)); if size(img, 3) 3 img rgb2gray(img); end sigma 25 / 255; noisy_img img sigma * randn(size(img), single); % 預(yù)測 denoised predict(net, single(noisy_img)); denoised img - single(noisy_img) denoised; % 計算PSNR和SSIM psnr_val psnr(uint8(denoised * 255), uint8(img * 255)); ssim_val ssim(denoised, img); fprintf(PSNR: %.2f dB, SSIM: %.4f\n, psnr_val, ssim_val);上面這段代碼里有一處關(guān)鍵邏輯需要解釋denoised img - single(noisy_img) denoised。因為前面訓(xùn)練的時候走的是殘差學(xué)習(xí)網(wǎng)絡(luò)輸出的denoised實際是預(yù)測的噪聲殘差R(y)所以重建的干凈圖 輸入的帶噪圖 - 預(yù)測殘差。如果你在訓(xùn)練時網(wǎng)絡(luò)輸出目標(biāo)是干凈圖測試時就不用做這一步減法直接用predict輸出就是去噪結(jié)果。這兩種設(shè)計都行但你要清楚自己訓(xùn)練的是哪一種不然測試結(jié)果會完全不對。4. 仿真結(jié)果分析與效果評估4.1 客觀指標(biāo)結(jié)果我隨機(jī)測試了BSD68數(shù)據(jù)集里的一部分圖取平均值σ25情況下的結(jié)果如下方法PSNR (dB)SSIM帶噪原圖20.160.4113傳統(tǒng)BM3D27.840.8215本項目CNNσ25訓(xùn)練28.960.8662DnCNN論文值參考29.230.8720可以看出本項目復(fù)現(xiàn)的CNN在σ25下PSNR比BM3D高約1.1dBSSIM高約0.045和DnCNN論文值相差約0.3dB。這個差距主要來自訓(xùn)練數(shù)據(jù)量和訓(xùn)練細(xì)節(jié)論文用了更長時間訓(xùn)練、做了更多數(shù)據(jù)增強(qiáng)。作為仿真項目這個結(jié)果已經(jīng)說明CNN方案明顯優(yōu)于傳統(tǒng)方案。如果希望更貼近論文結(jié)果可以考慮兩個方向一是把訓(xùn)練輪數(shù)拉到100輪以上二是把patch數(shù)量每張圖翻倍到256。訓(xùn)練時間大約增加2~3倍但PSNR可能能提升0.2dB左右。模擬仿真項目值不值得多花這個時間按需取舍。4.2 圖像對比與主觀效果客觀指標(biāo)之外圖像對比也值得說一說。從視覺上看CNN去噪結(jié)果在平坦區(qū)域非常干凈不像NLM那樣會出現(xiàn)局部過平滑也不像BM3D那樣偶爾留下塊狀痕跡。邊緣細(xì)節(jié)是體現(xiàn)CNN優(yōu)勢最直觀的地方。拿一張建筑紋理豐富的測試圖來說BM3D處理完的欄桿線條有時會粘連在一起看起來模糊不清CNN結(jié)果里的線條則能保持清晰的分界線。原因在于CNN的深層網(wǎng)絡(luò)能通過逐層抽象組合出一個較大的感受野對局部結(jié)構(gòu)的建模比手工先驗更加靈活。另外值得注意的一個現(xiàn)象CNN去噪不會出現(xiàn)“偽紋理”。傳統(tǒng)方法在某些圖像上會生成原圖里不存在的東西比如把噪聲團(tuán)塊當(dāng)成紋理增強(qiáng)CNN在訓(xùn)練充足的情況下這種問題不太容易碰到。這也是深度學(xué)習(xí)去噪在工業(yè)應(yīng)用中被廣泛接受的原因之一。4.3 噪聲水平對性能的影響我在測試時還驗證了一個問題用σ25訓(xùn)練的模型去處理σ15和σ50的帶噪圖像會發(fā)生什么試驗結(jié)果是σ15時模型表現(xiàn)得還不錯PSNR仍然有28dB以上的水平但σ50時明顯下降PSNR掉到了26dB左右同時視覺上出現(xiàn)過平滑現(xiàn)象。這說明單個模型對噪聲水平的泛化范圍有限模型只能充分處理與訓(xùn)練噪聲水平相近的情況。這個問題在DnCNN論文里給了一個解決方案訓(xùn)練時從[0, 50]范圍內(nèi)隨機(jī)抽取噪聲水平來訓(xùn)練每個patch這樣同一個模型就能處理不同強(qiáng)度的噪聲。這個改動很小就是在加噪聲時把固定的sigma改成從區(qū)間內(nèi)隨機(jī)取值。如果你的項目需要應(yīng)對不同噪聲水平強(qiáng)烈建議用這個方案實際效果比針對單一噪聲水平訓(xùn)練多個模型好得多。5. 常見問題與排查技巧實錄5.1 訓(xùn)練loss跳出NaN這是新手最容易遇到的第一大坑。loss在第一步就變成NaN或者訓(xùn)練到中途突然出現(xiàn)NaN然后一直不恢復(fù)。排查順序非常重要這里按優(yōu)先級排列檢查輸入數(shù)據(jù)是否包含NaN或Inf。加了噪聲之后用any(isnan(noisy_patches(:)))檢查一遍。如果你在圖像歸一化和加噪聲過程中用了double和single混著計算很容易在某個類型轉(zhuǎn)換點產(chǎn)生意外值。把學(xué)習(xí)率調(diào)小。若你的學(xué)習(xí)率是0.01直接降到0.001大部分情況下NaN就消失了。原理是學(xué)習(xí)率過大導(dǎo)致參數(shù)更新步長過大觸發(fā)了數(shù)值溢出。檢查BatchNorm層行為。如果你中間層用了batchNormalizationLayer訓(xùn)練時它會自動維護(hù)均值和方差但如果你從別的項目復(fù)制來的網(wǎng)絡(luò)結(jié)構(gòu)里誤加了太多的BN層或位置不對也會引發(fā)數(shù)值不穩(wěn)定。DnCNN結(jié)構(gòu)里每組卷積后加一個BN層就夠了。確認(rèn)所有輸入數(shù)據(jù)都在合理數(shù)值范圍。圖像數(shù)據(jù)應(yīng)該是[0,1]區(qū)間如果某張圖在預(yù)處理時出了點問題導(dǎo)致像素值到了幾百幾千即使小學(xué)習(xí)率也可能會出NaN。5.2 CUDA顯存不足或GPU訓(xùn)練極慢訓(xùn)練時報CUDA out of memory或者程序直接卡死根本不是網(wǎng)絡(luò)結(jié)構(gòu)的問題而是顯存資源問題。排查方向把MiniBatchSize從64降到32甚至16。顯存占用與batch size近似線性關(guān)系一個batch的64張40×40×1圖像放到GPU上并不大但由于網(wǎng)絡(luò)中間層有64個特征圖特征圖的顯存占用才是大頭。檢查ExecutionEnvironment。如果你設(shè)了gpu但實際上沒裝CUDA或GPU不支持MATLAB會在打開訓(xùn)練窗口時報錯或回退到CPU。訓(xùn)練變慢不一定是GPU問題也可能是你的GPU版本太老比如計算能力低于3.0MATLAB根本不會啟用它。關(guān)于CPU訓(xùn)練40×40的patch64個batch跑一個epoch800個iteration左右CPU大概需要10~15分鐘GPU需要1~2分鐘。如果沒GPU環(huán)境建議把patch尺寸改成32×32層數(shù)改成9層BatchSize改成32能顯著提速。5.3 訓(xùn)練正常但測試結(jié)果模糊這個問題的典型表現(xiàn)是訓(xùn)練收斂得很好loss也在穩(wěn)步下降但測試時輸出的圖像看起來像是一張模糊的低通濾波結(jié)果PSNR只比帶噪圖稍微好一點。最大概率的原因是你訓(xùn)練時網(wǎng)絡(luò)學(xué)習(xí)的目標(biāo)是“干凈圖”但測試時誤把輸出當(dāng)成了“殘差”做了一步減法。深度學(xué)習(xí)中這種“訓(xùn)練/測試行為不一致”的問題非常隱蔽。我個人的做法是訓(xùn)練完成后立刻用一張小圖做sanity check把網(wǎng)絡(luò)輸出和期望輸出直接可視化對比確認(rèn)兩者的范圍和結(jié)構(gòu)是否一致。還有一個常見原因是網(wǎng)絡(luò)層數(shù)太少。如果只用了5層卷積感受野只有11×11左右對圖像結(jié)構(gòu)的建模能力有限輸出的圖像會偏模糊。建議保持17層Depth也就是中間15層“卷積BNReLU”。如果你為了提速強(qiáng)行砍到7層去噪效果確實會明顯下滑。5.4 常見問題速查表問題現(xiàn)象首要排查方向?qū)?yīng)解決辦法loss立即為NaN輸入數(shù)據(jù)范圍異常、學(xué)習(xí)率過大檢查數(shù)據(jù)是否含NaN/Inf學(xué)習(xí)率降到0.001訓(xùn)練幾輪后loss爆炸學(xué)習(xí)率衰減策略沒配好設(shè)置piecewise衰減策略或初始學(xué)習(xí)率降到0.0005GPU訓(xùn)練比CPU還慢GPU未啟用或版本過舊檢查gpuDevice是否可用強(qiáng)制指定ExecutionEnvironment為gpu測試結(jié)果很模糊訓(xùn)練目標(biāo)和測試邏輯不一致確認(rèn)網(wǎng)絡(luò)輸出是“殘差”還是“干凈圖”測試時是否做了對應(yīng)操作訓(xùn)練集loss遠(yuǎn)小于驗證集loss過擬合增加數(shù)據(jù)增強(qiáng)、加大訓(xùn)練數(shù)據(jù)量、增加dropout模型對不同噪聲水平失效訓(xùn)練時只用了單一σ訓(xùn)練時隨機(jī)抽取噪聲等級sigma rand * (50/255)5.5 調(diào)試時的高效工作流調(diào)模型最忌諱“一鍵訓(xùn)練、兩小時出結(jié)果、然后發(fā)現(xiàn)效果不行”。我自己的習(xí)慣是先用小規(guī)模數(shù)據(jù)快速驗證鏈路正確性再上完整數(shù)據(jù)。具體做法是第一步用2~3張圖片、每張?zhí)崛?2個patch、訓(xùn)練2個epoch、BatchSize設(shè)為8這時候整個訓(xùn)練在CPU上幾分鐘就能跑完。確認(rèn)訓(xùn)練曲線是下降的、測試輸出圖像是合理的鏈路正確。第二步如果鏈路沒問題再把數(shù)據(jù)規(guī)模、訓(xùn)練輪數(shù)、網(wǎng)絡(luò)層數(shù)逐步恢復(fù)到完整配置。這樣排查問題的成本低非常多。如果一開始就上完整配置萬一數(shù)據(jù)準(zhǔn)備階段代碼有問題等訓(xùn)練訓(xùn)練完發(fā)現(xiàn)數(shù)據(jù)全錯了一天時間白白浪費。這個思路對任何深度學(xué)習(xí)項目都適用強(qiáng)烈建議養(yǎng)成習(xí)慣。6. 延伸方向與實際操作心得6.1 從基線出發(fā)還能做什么改進(jìn)項目跑通之后后續(xù)擴(kuò)展方向很清晰。如果你想把這個項目做得更完整可以直接迭代下面幾個方向。第一個是換損失函數(shù)。目前用的是MSE損失優(yōu)化目標(biāo)等價于最大化PSNR但這個損失函數(shù)對人眼感知并不友好??梢試L試MSE和SSIM損失的加權(quán)組合讓模型在保留邊緣結(jié)構(gòu)的同時不犧牲像素精度。在MATLAB里實現(xiàn)自定義損失需要用trainnet或訓(xùn)練循環(huán)來實現(xiàn)因為trainNetwork只支持內(nèi)置的regressionLayer這是個門檻。第二個是加注意力機(jī)制。圖像去噪中不同區(qū)域需要的處理強(qiáng)度是不同的平坦區(qū)域可以多用平滑邊緣區(qū)域要保留高頻細(xì)節(jié)。給網(wǎng)絡(luò)加一個通道注意力模塊或者空間注意力模塊讓網(wǎng)絡(luò)自己學(xué)習(xí)哪些位置的特征更重要對復(fù)雜場景的提升很明顯。這也是近年去噪方向的熱門做法比如很多帶注意力機(jī)制的CNN去噪結(jié)構(gòu)。第三個是考慮真實噪聲模型。這個項目的所有實驗都是合成高斯噪聲而真實傳感器噪聲往往包含泊松噪聲、條紋噪聲以及硬件相關(guān)的噪聲模式。如果要做真實圖像去噪需要在噪聲模型上做更精細(xì)的模擬用泊松-高斯混合模型是常見方案或者使用真實噪聲數(shù)據(jù)集進(jìn)行訓(xùn)練。6.2 關(guān)于MATLAB環(huán)境配置的幾個要點用MATLAB跑深度學(xué)習(xí)的另外一套坑在環(huán)境配置階段我在這里集中說一下。版本方面如果你用的是R2019b之前的版本訓(xùn)練選項里連OutputNetwork都沒有很多新功能會缺失建議直接上R2021b之后的版本。R2022b、R2023a我都實際跑過在功能性上問題不大。GPU支持方面MATLAB深度學(xué)習(xí)工具箱依賴于CUDA和cuDNN不同MATLAB版本對CUDA版本有嚴(yán)格要求。安裝前先查版本兼容性列表我就遇到過MATLAB R2020b和CUDA 11.0不兼容導(dǎo)致GPU檢測不到的情況。如果GPU配置太麻煩先用CPU跑小規(guī)模實驗是完全可接受的。數(shù)據(jù)類型的坑也值得提醒。MATLAB圖像處理部分默認(rèn)用uint8而深度學(xué)習(xí)訓(xùn)練需要single類型。從uint8轉(zhuǎn)single后別忘了把像素范圍從[0,255]歸一化到[0,1]這樣網(wǎng)絡(luò)訓(xùn)練才穩(wěn)定。很多新手的實驗效果差問題往往出在這一步?jīng)]有做對。6.3 我實際跑完這個項目后的幾點感受做了這么多輪實驗最大的體會是CNN圖像去噪的流程本身已經(jīng)不復(fù)雜開箱即用的工具鏈讓復(fù)現(xiàn)門檻大大降低真正的難點在于對每個“為什么”有清晰的理解。為什么用殘差學(xué)習(xí)、為什么加BN層、為什么選Adam、為什么固定patch size這些問題如果只知道結(jié)論而不知道推理過程那你只能跑通代碼卻無法做任何有效的調(diào)整和改進(jìn)。數(shù)值穩(wěn)定性和過擬合這兩個問題是實際工程中最常見的坑不過這兩個問題解決起來也比較容易。尤其是數(shù)值穩(wěn)定性幾乎所有的NaN問題都可以通過降低學(xué)習(xí)率和檢查輸入數(shù)據(jù)來解決。最后一個實用的建議如果你打算拿這個項目擴(kuò)展內(nèi)容比如發(fā)給別人看或者寫進(jìn)報告訓(xùn)練過程的可視化截圖、不同噪聲水平下的結(jié)果對比表、以及l(fā)oss曲線走勢圖這些“過程證據(jù)”一定要做好歸檔。仿真項目的結(jié)果固然重要但別人判斷你項目是否可靠往往更看重過程記錄的完整程度。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97色色色色色色色| 婷婷五月天最新综合你懂的 | 婷婷丁香五月视频| 亚洲色无码A片一区二区麻豆| 精品影院| 五月天激情电影| 国产精品天天狠天天看| 婷婷六月激情在线视频| 超碰9在| 精品色| 婷婷香蕉视频| 97人人搞| XXXX岛国| 美女视频图片久久91| 天天视频亚洲| 久久草中文日韩欧美| 色婷婷亚洲| 生活片五区| sisi热国产| 国产精产国品一二三在观看| 五月在线| 五月天综合网| 婷婷色情 | 开心五月综合激情综合五月| 香蕉婷婷| 狠狠干激情五月| 99精彩视频网站在线| 亚洲婷婷六月天| 天天干天天日蜜臀av| 丁香六月在线| 色久一| 狠狠色丁香婷婷综合久久97AV| 丁香婷婷性爱| 涩涩五月天综合| 爱射综合| 色播五月| 丁香六月激情四射| 九九综合伊人| 少妇人妻人伦A片| 开心五月婷婷激情网| 色五月天丁香| 婷婷丁香黄色| 婷婷五月天久久| 欧洲亚洲免费视频区| 婷婷综合久久| 天天综合精品| 狠狠狠人妻| 久久丁香网| 激情综合五月| 婷婷丁香亚洲五月天| 啪啪日本欧美| 伊人久久婷婷| 丁香六月婷婷综合欧美| 乱女乱妇熟女熟妇综合网站| 久久一级片| 99re思思久久| 五月开心深深爱激情综合| 久久综合丁香| 色约约视频一区二区三区四区五区| 开心五月深爱五月婷| 亚洲精品中文字幕成人片| 日韩欧美颜射| 色色射| 99久热| 亚洲视频在线网站| A久久| 久久ab| 五六月婷婷| 夜色五月天| 欧美狠狠色| 最新热中文字幕| 色爆五月| 天天干狠狠| 伊人天天色| 玖玖婷婷五月| 欧美成人AAA片一区国产精品| 五月欧美丁香在线观看| 婷婷丁香激情五月天色色| 综合一啪| 五月婷婷碰碰| 亚洲视频在线观看| 任你擦免费视频| 99热青青草| 99热最新网址| 另类的婷婷| jiuse91在线| 色播综合| 丁香婷婷久久| 欧美成人精品A片免费一区99| 啪啪综合网| 婷婷亚洲在线| 五月综合久久| 99超级碰免费视频| 久久激情五月婷婷| 99色在线观看视频| 丁香美女五月天婷婷| 99久久a线观| 久久精品91视频| 99精品综合| 综合色播| 色色a| 五月婷婷激情中文字幕| 日本色色色| 婷婷色五月偷拍| 丁香五月天AV在线 | 国产亚洲色婷婷99精品| 日韩成人中文| 天堂久久精品| 99热99热不卡| 久久多色| 精品99在线看| 中美月韩免费A片| 五月综合激情啪啪啪啪啪| 人妻操逼视频| 五月天综合视频| 久久久久亚洲AV无码网影音先锋| 丁香五月婷婷五月天| 久久久久人妻精选| 激情精品久久| 狠狠色婷婷丁香六月| 亚洲激情综合| www999日韩精品| 青青久久大香蕉| 亚洲AV久久久久久久久久久久久久久久| 另类图片激情五月天| 日本天堂爱爱| 亚洲午夜视频| 久久91久久91色欲精品| 久久九九囯产| 91精品人妻少妇无码影院| 综合色在线| 无遮挡国产高潮视频免费观看| 99精品综合视频| 另类视频一区| 欧美日韩99| 久久婷婷人人| 综合色影院| 丁香五月在线播放| 日日懆天天懆| 亚洲色综合性| 99视频只有这里精品| 99色在线观看免费| 婷婷区日本| 狠狠干五月天婷婷网| 九九色影院| 国产婷婷色综合AV蜜臀AV| 色婷婷精品视频| 婷婷五月天美女21p| 五月天亭亭俺也| 日本熟女一区二区| 六月丁香啪啪啪| 久久99热免费最新版| 婷婷五月六月| 99综合网| 99热这里只有精品首页| 少妇AB又爽又紧无码网站| 性色做爰片在线观看WW| 亚洲成人av在线观看| 鲁鲁色五月| 久久性综合| 五月激情综合网| 粉嫩AV久久一区二区三区| 日本三级日本三级99| 97福利视频| 五月丁香综合在线| 九九精品热| 亚洲五月天色| 婷婷五月 丁香六月| 九九aV| 99热久| xxxx五月| 99 频99热国里只有精品| 99热这里只有精品23| 激情五月开心五月在线视频| 大陆肏屄视频| 婷婷亚洲天堂| 99ER热精品视频| 大香久久综合网| 激情宗合 激情宗合| 久久色五月| 就是色婷婷五月亚洲色| 五月婷在线色视频| 夜夜撸日日操| 欧洲色色| 九月丁香八月婷婷久久综合久97| 色婷婷久久综合久色综| 色五月视频无码播放| 天天插AV丝袜中| 久久婷婷五月综合色丁香| 狠狠综合网| 99在线精品视频| aaaa久久| 影音先锋毛片网站| 开心五月激情五月丁香五月婷婷| 狼友视频在线观看18| 五月丁香在线| 91久久久久久久91| 九色视频这里只有精品| 婷婷综合网| 五月天激情网图片| 好看的国产精品| 情情五月天色| 色一情一乱一乱一区91| YW无码| 一级性感黄色内射视频| 亚洲色婷婷五月| 色婷婷五月天成人网| 97干在线视频| 色爱99| 久久五月天合网| 亚洲天天综合| 99无码精品| 久久综合最新网址| 色五月天激情| 五月丁香在线观看| 五婷婷综合网| 激情q青青草在线婷婷| 五月天天天色| 五月J香蕉婷婷| 久久久久久9热不雅视频| 久久久人妻不卡| 六月色日韩| 久热久操久热久草国产91| 操操国产| 丁香五月天在线观看| 五月激情啪啪| 久久伊人五月天| 婷婷久久五月丁香| AV在线免费网站| 亚洲精品网站色视频| 欧洲日韩一区二区三区| 亚洲五月天激情| 九九九九成人| 99色最新在线视频网站| 精品一二三区久久AAA片| 99视频在线播放大全| 五月天小说激情| 99热综合网| 精品视频二级九九| 欧美五月丁香在线观看| 日韩AAAAA| 五月丁香狠狠爱婷婷综合| 久久色五月天| 99免费| 婷婷五月色惰| 五月婷婷丁香五月| 九九热91| 五月天综合在线观看| 亚洲无AV在线中文字幕| 久久五月天合网| 婷婷五月色惰| 欧美日韩国产伦精品日韩人妻一| 五月天播播中文字幕| 九九精品9| 五月综合激情图片| 久久人妻熟女一区二区| 日本97在线| 丁香五月婷婷大香蕉| 亚洲性爱AV在线| 嫩草AV久久伊人妇女超级A| 五月天综合在线| 97超碰9久热婷婷热| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 狠狠xx| 亚洲欧洲另类图片| 久久婷婷在线| 91碰免费视频| 人人操五月天| 99爱爱网| 这里只有免费精品| 婷婷丁香五月天操逼| 婷婷丁香无码专区| 天天操人人干| 99日本黄站| 丁香九月婷| 奇米影视777在线_在线观看午夜_h小视频在线观看_岛国大片 | www五月天com| 丁香9月婷婷| 碰碰碰91| 欧美久久婷婷| 激情图片婷婷| 亚洲操逼网| 久久怡红院| 91疯狂操操操操| 99性爱视频| 亚洲五月天色色| 思思热精品在线视频| 婷婷五月超碰| 婷婷五月综合网| 日韩在线视频网站| 色综合久久99色| 99re在线精品视频| 色综合丁香| 天天日夜夜欢| 99精品热| 丁香五月天导航| 亚洲婷婷免费| 婷婷六月天精品| 99视频| 色噜噜狠狠色综合AV兰草影视| 狼人久草| 久久久999精品| 五月色婷婷中文字幕| 亭亭色色五月天| 99色色网| 久色国产| 色婷婷A| 日日噜噜夜夜狠狠久久丁香六月| 色婷婷色五月综合| 精品视频99看在线视频| 骚逼视频一区2区| 夜夜骑天天操| 色婷婷六月天| 久久久婷婷| 久久这有这里精品| 婷婷天堂综合网| 色婷婷六月天| 欧美日韓成人亚洲精品另类| 亚洲免费电影2| 色五月婷婷操逼| 久月婷婷| 碰碰碰97国产| 激情欧美丁香五月| 亚洲丁香婷婷五月天综合色| 色五月激情综合网站| 大香蕉久久久| 激情狠狠丁香月| 丁香五月婷婷久久久| 亚洲综合视频在线| 色色色色色色97| 天天操精品| 欧美久久网| 丁香五月天色综合| www.玖玖婷婷在线| 操大屄五月天视频| 99视频九九热| 无码激情AAAAA片-区区| 一区二区免费看| 欧美激情 日韩无码 婷婷 五月天| 激情伊人| 婷婷激情五月天视频在线| 熟美女麻豆| 婷婷五月天亚洲色| 激情综合网,五月| 日日日日操| 婷婷激情5月| 五月丁香婷婷婷婷综合网| 日韩色五月| 丁香九月综合激情| 国产这里只有精品| 天天插天天玩天天干| CHINESE熟女老女人HD视频| 美国十月色婷婷在线观看| 亚洲精品99| 日韩99无码| 久久99精品久久久久久噜噜| 丁香五月色五月婷婷宗合| 中文字幕,综合,91| 天堂va久久久噜噜噜久久Va| av九九| 99视频这里有精品| 99热在线观看免费| www色婷婷久久综合久色| 九九九九九九毛片| 婷婷激情五月呦呦| www.超碰| 丁香五月在线| 久久综合中文字幕| 五月婷婷中文| 五月天激情网页| 9l视频自拍9l九色成人| 五月婷婷影| 99色综合| 99激情| 日本WWW九九九| 天天日婷婷| 久久er免费视频| 99毛片| 无码人妻一区二区一牛影视| 日本强伦片中文字幕免费看| 婷婷五月天激情四射| 七七九色| 99无码视频| 色五月视频,小说| 欧美精品999| 丁香五月www| 超极99精品| 丁香五月社区| 天天色播| 五月激情视频| 久久婷婷伊人| 久久9视频| 国产精品久久..4399| 色色色色色网| 99视频在线精品| 色五月婷婷综合| 99这里有精品视频| 色吧五月婷婷| 曰日爽日日操| 一本综合丁香日日狠狠色| 丁香五月天信号| 亚洲AV免费在线| 日韩久热| 曰曰久久| 亚洲精品成人| 热99国产精品| 免费播放片大片| 丁香五月97视频| 1024欧美看片| 亚洲中文字幕在线观看| 七月婷婷色香综合网| 8090在线影视少妇| 4438亚洲欧美| 丁香五月欧美婷婷| 日韩无码系列| 殴美97色| 亚洲亚洲人成综合网络| 少妇人妻丰满做爰XXX| 极品人妻VIDEOSSS人妻| 99热个人在线| 婷婷六月香| 我淫我色婷婷五月天激情四射| 牛色色碰| 色碰97| 日本nghangse中文字幕| 97色婷婷| 偷拍九九热| 婷婷丁香人妻天天久久| 色停停五月天| www99热| 色情婷婷五月天| 人人草人人看| 丁香五月激情啪| 思思久久青草热| 色五月婷婷久久| 无码色色色色色| 就要去操亚洲成人精品五月天丁香婷婷| 婷婷五月综合色拍| 六月婷婷五月丁香首页| 天天 日综合| 丁香婷婷久久综合在线| 色色哒五月婷婷六月丁香| 五月丁香六月婷婷无码| 午夜丁香综合婷婷| 久热婷婷| 综合色在线| 超碰在线免费观看3 9| 婷婷五月丁香激情图片| 色婷婷大香蕉| 激情五月激情综合网一级丸片| 丁香五月亚洲激情婷婷射| anquye伊人| 亚洲综合婷婷| 久久精品66| 五月天精品| 成人看片网站| 久久婷婷五月综合色和| 亚洲成人中心| 97碰久久| 国产亚洲精品AAAAAAA片| 丁香五月婷婷总啪啪| 99热有精品在线观看| 九九中文字幕九| 99热只有精品综合| 激情五月婷婷色| 51XX午夜影福利| 99久久久久| 精品一二三区久久AAA片| 无毒黄色网址| 亚洲色婷婷| 免費亭亭成人| 丁香婷婷激情五月天无毒不卡蜜桃| 中文字幕在线日亚州9| 亚洲乱码日产精品BD| 日韩黄在免| 91干网| aaa久久| 97深爱伊人综合| www.minyis.com【JT】实力收量可预付QQ2101460746 | 久久开心五月婷婷| 久久99网站| 性爱激情久久| 另类五月婷婷| 亚洲色五月| 大学生高潮无套内谢视频| 亚洲第二AV| 久久99这里| A久网| 丁香五月久久| 操婷婷久久| 丁香五月婷婷综合视频| 五月婷婷深深爱| 久久久国产精品黄毛片 | ss99热| 五月婷丁香| 免费视频WWW在线观看网站| 伊人无码高清| 9人人操人人看| 五月天开心婷婷久久| 婷婷激情人妻| 超级碰碰碰久久网站| 免费黄色AV| 夜夜噜夜夜奇| 99精品视频网| 欧美色色色色色色色色色色| 狠狠搞亚洲| 婷婷丁香久久| 亚洲综合婷婷| 99爱爱| 色婷婷先锋| 婷婷五月色综合香五月| 婷婷丁香色五月亚洲| 思思热视频| 激情小说五月天中文字幕| 91在线视频观看午夜福利| 婷婷爱在线观看| 激情婷婷丁香| 丁香五月亚洲综合丝袜| 小视频aaa久久久| 碰97久久| 狠狠狠狠狠干| 伊人激情| 精品欧美性爱超级爽| 婷婷的五月天另类视频| 热久久色| 玖玖色资源| 夜夜爽天天| 99操逼视频| 日本在线wwww| 久久涩视频| 丁香五月婷婷激情视频播放| 79精品视频在线观看,| 4399无码视频| 婷婷五月开心中文字幕色| 丁香六月婷婷久久综合| 久久激情网| xxx.色婷婷| 久久久天堂国产精品女人| 可以免费观看的av网址| a网站免费观看| 亚洲久久日| 婷婷无码视频| 九九色插| 天堂综合久久 | 婷婷丁香先锋资源网站| 天天综合网网欲色| 国产性爱在线| 天天 青草 丝袜制服 在线| 五月婷六月| 99re免费在线视频| 人人人操| 自拍偷窥99热| 色综合伊人网| 色一情一乱一乱一区91Av| 无码激情| 丁香亭亭久久| 国产69久久久欧美黑人A片| 久青青久| 免费视频WWW在线观看网站| 亚洲综合新99视频| 91狠狠色丁香婷婷综合久久| 婷婷丁香五月激情| 亚洲成人av在线播放| 天天日天天久久青青| 99色热视频| 婷婷伊人久久无码色五月| 综合深爱五月| 久久区区一二三av| 天天日天天插| 色综合九九| 激情网五月| 玖玖爱资源站| 九九热在线视频| 国产精品成人AV在线| 操人久久| 一区二区三区视频| www.色婷婷.com| 天天日夜夜夜操操操操| Www.婷婷五月| 色五月婷婷天天干| 丁香五月激情啪啪| 99精品久久久久久久| 色丁香婷婷| 婷婷激情在线| 丁香九月激情| 亚洲婷婷成人五月天| 婷婷五月天首页激情| 五月天综合激情网| 婷婷久久久久久久| 婷婷五月天性色| 色五月丁香五月天| 丁香五月激情婷婷| 成熟妇人A片免费看网站| 亚洲激情精品| 久久精品99久久| 开心五月婷婷| 新五月天婷婷激情电影| 九九人人看| 日日干夜夜干| 五月天激情国产综合婷婷婷就去爱| 日本三级韩三级99久久| 天天搞天天色综合| 4399在线观看免费高清黄色视频| 91色色色18| 天天搡日日搡aaaaⅩ| 99这里有精品| 99视频这里只有久久精品| 欧美WW在线网| 99热都是精品| 欧洲综合视频在线观看。欧洲,亚洲综合食品在线观看。 | 婷婷久草| 天天狠狠色综合| 久久加勒比| 99视频内射三四| 激情五月视频| 色婷婷中文在线| 久久99国产综合精品免费| 五月亭亭性| 国产欧美日韩性爱| 婷婷色五月天色色| 色五月婷婷五月天| 夜夜综合色| 99自拍视频在线观看| 噢美99| 久久综合爱| 欧美成人无码高清一区二区三区| 超碰操日| 97色婷| 99热这里只有精品最新地址获取| 国产67194| 欧美一级a | 丁香五月六月综合激情| 国产精品-91JQ就要激情网91JQ6.91JQ27.CASA:16888 | 九九热精品视频| 久久综合站| 五月天成人综合| 艾小青av| 大香蕉啪啪| 久久精品99国产精品日本| 久久人妻视频| 色婷婷五月天激情综合| 久re热视频| 98色花堂98t.R| 久久五月婷| 丁香五月冃欧美| 中文字幕亚洲-区久久99婷婷| 婷婷五月花| 少妇性按摩无码中文A片| 久久精彩视频99| 婷婷五月精品| 99热97| 久久最新色色色| 激情五月天综合| 婷婷5月九九| 婷婷网影院| www.zbzhongsen.com| 丰满少妇乱A片无码| 狠狠久久婷| 狠狠五月天| 六月色播| 99操逼| 天天干,天天日| 欧美日韩AAA| 第六色在线| 久久久色婷婷五月天| 热99精品视频| 婷婷激情啪啪| 极品五月天| 色婷婷电影网| 青青夜夜狠狠夜夜狠狠| 色婷婷丁香五月天在线观看| 丁香五月天婷婷大香蕉| 99热99ai| 国产成人AV在线播放| 久久天堂女人| 99热97美女| 丁香网五月天| 精品久久久久成人码免费动漫| 色五月婷婷五月天| 五月天婷婷激情小说电影| 超碰色色综合| 丁香婷婷六月天| 五月丁香六月婷婷操操操| 婷婷五月婷婷五月天| 激情综合五月激情17| 九九热九九| 久草 天堂| 久久婷丁香五月| 久久久久99精品成人网站| 五月婷婷草| 婷婷情色五月| 亚洲一二三网| 97碰碰草| 伊人青涩网| 六月丁香啪| 五月丁香A∨在线| 91在线看片| 中文字幕av久久爽| 婷色五月天| 九九色热| 五月激情综合网| 国产精品大香蕉| 婷婷另类小说| 色婷婷电影网| 婷婷五月五月丁香| 色 噜噜 九月 婷婷| 狠狠色九月| 男人視頻站| 98永久精品| 婷婷在线五月综合| 久久精彩视频18| 五月丁香激| 在线网黄| 六月激情婷婷| 97在线99| 26uuu亚洲| 色视频色综合91| 四季日韩AV无码综合| 色婷婷影| 狠狠五月天婷婷| 婷婷五月永远18免费久久久| 99热爱爱干干日| 超碰A V在线| 丁香五月98| 狠狠操在线视频| 久久婷婷五月天激情新地址| 超碰在线成人| www.日本久久videos| 亚洲操操| 九九性视频| 色婷婷影音| 色综合香蕉| 操逼视频一区| 欧美成人精品一区二区 | 色婷婷丁香五月丁香| 婷婷爱在线观看| 五月天久久激情| 久9无码视频| 开心久久xxx色| 开心综合激情综合| 成人视频在线免费播放| 99热精品无码| 一级二级香港秋霞欧美欧美秋霞| 香蕉人在线香蕉人在线 | 欧美电影在线观看| 91艹人| 美女天天久久| 天天干 夜夜爽| 伊人久久婷婷| 9热在线| 九九热精品6| 国产成人片| 欧美十二区| 欧美大香蕉视频| 五月婷综合性中心| 天天干、天天日日| 激情六月日韩| 五月开心婷婷极品激情| 五月天婷婷激情小说| 丁香五月婷久久| 五月丁香999| 大香久久伊人网| 欧美综合激情五月天| 无码人妻一区二区一牛影视| 另类少妇人与禽zOZZ0性伦| 来吧亚洲综合网| 色婷婷免费视频| 一起草av| 激情国产五月| 欧美激情综合色丁香婷婷五月天| 婷婷99视频在线| 五月婷婷婷婷婷| 东京热伊人| www久久久久久久97| 人人视频色| 五月丁香拍拍激情综合| 丁香婷婷色| 国产4P视频精品五区| 精品久9| 国产毛片精品一区二区色欲黄A片| 九九re精品视频在线观看 | 国产3p露脸普通话对白| 另类激情综合| 五月丁香久久| 无码se| 国产免费av网站| 亚洲最大在线| 亚洲妇女熟BBW| 亚洲激情av| 久久区区一二三av| 丁香婷婷基地| www.婷婷| 99热超碰人| 黄色中文字目| 99久久国产宗和精品1上映| 天天日天天爽| 午夜天堂一区人妻| VA色婷婷| 丁香五月婷婷亚洲色图| 五月婷婷久久爱| 色色色在线播放| 亚洲婷婷在线播放十月| 婷婷五月天久久久| 怡红院 久久| 中文字幕成人| 国产婷婷婷| 亚洲V国产V欧美V久久久久久| 97se视频在线| 五月丁香六月玩女人| 丁香六月五月婷婷| 天天激情夜夜干| 婷婷色在线播放| 五月丁香久久网| 亚洲精久久| 欧美日韩成人综合9| 大天天伊人| 亚洲AV日韩无码| 亚洲欧美成人在线| 久久天堂婷婷五月| 国产人妻777人伦精品HD| 亚洲午夜在线视频| YW无码| 伊人青涩网| 色五月欧美| 欧美超级视频97| 99九九玖玖| 中文字幕永久在线| 亚洲视频在线观看| 精品9久| 欧美熟妇一区二区三区| 91丨人妻丨国产丨丝袜| 婷婷伊人75| 99久久亚洲精品视频| 激情综合网,婷婷| 六月亚洲| 日本九九网| 婷婷五月影院| 婷婷久久色| 亚洲视频在线网站| 亚洲成人网站在线| 激情AV| 性爱电影科技贸易有限公司| 操人妻视频91| 婷婷色五月婷| 99热在线观看| 色色五月激情| 婷婷的色色五月天| 久热久色| 色色色色色网站| 91操网| 国产无遮挡又黄又爽免费网站| 日韩欧美婷婷丁| 大香蕉99热| 精品无码色| 舔色婷婷| 色狠狠色噜噜AV天堂五区| 五月婷av| 婷婷五月色| 婷婷丁香六月天| 婷婷午夜精品久久久| 亚州操操| 91色色五月天| 99热免费精品| 日逼免费视频| 国产在线黄色| 国自产拍偷拍精品啪啪一区二区| 激情五月婷婷色色| 久久久久婷婷五月热综合| 五月天激情啪啪| 亚洲综合激情五月久久| 久久天堂女人| 婷婷丁香五月av| 一级黄色尤物综合视频手机在线观看| 操一操干一干| 婷婷六月久久| 亚洲精品网站色视频| 四色99久久| 激情丁香五月婷婷| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 欧美性色A片免费免费观看的 | 亚洲精品无码久久| 91丨九色丨国产打屁股网站| 98毛片| 五月丁香六月婷婷国产视频| 97五月婷婷| www.av骚货| 五月天激情小说网| 伊人五月婷| 欧洲激情网站| 日本美女上人| 免费看片在线观看| 丁香婷婷啪啪啪| 五月天综合在线观看视频| 人妻熟人中文字幕一区二区| www.ywav| 色99自拍| 99视频精品在线| 夜夜嗨一区二区三区直播内容| 97人凄人人操人人爽| xxx.色婷婷| 综合六月久久| 99re思思热在线视频| 久碰婷婷视频| 九九热99久久99| 久久精品色| 久久WW| www.九九婷婷| 天天干天天干天天干天天干天天干天天干天天 | 超碰成人av| 国产精品成人AV在线观看春天| 久久色情| 亭亭五月天成人| 亚洲情综合五月天| 欧美亚洲999| 91色久| 婷婷五月天成人视频| 五月丁香六月婷婷的女人| 天天草天天日| 青青久在线视频免费观看| www久久99com| 五月天久久婷婷| 五月天综合在线| 激情婷婷护士激情| 欧美精品999| 另类图片五月天婷婷| 丁香五月开心七月| 久久九精品| 丁香婷婷色| 99情色五月天| 五月亭亭直播| 99er这里只有精品视频| 日韩av一区二区在线/日产精品久久久| 成 人 色 色| 激情婷婷综合网| 五月婷婷综合激情网| 99热99| 手机看片日日做夜夜| 日日做A爰片久久毛片A片英语| 天天日天天狠狠操| 啪啪啪综合网| 九九99久久| 69精品人妻不卡视频| 丁香五月在线自慰| 色碰碰视频| 国产成人AV在线播放| 伊人色综合网| 中文字幕av亚洲| 91超级碰在线视频| 俺去也综合| 五月婷婷av| 《战争与艾拉》完整版| 国产在线网址1| 天天草人人摸| 亚洲热久久| 国产精品扒开腿做爽爽爽A片唱戏| 丁香五月婷婷无码AV| 婷婷激情五月综合| 成人五月天丁香婷| 思思精品视频| 五月天六月天| 国产一级片色色| 色婷婷五月天成人网| 99re资源在线视频导航| 狠狠五月丁香色婷| 色婷丁香91| 噜噜精品| 色播五月丁香综合| 亚洲永久免费| 综合激情在线视频| 五月天婷综合| 秋霞免费三级片| 欧类av怡春院| 婷婷五月天亚洲| AV片在线观看| 丁香五月婷婷综合精品素人| 另类图片五月天激情| 热99一二三| 成 人 色 色| 一区二区你懂的| 97婷婷丁香| 丁香五月在线伊人| 精品操逼一区二区| 日本三级日本三级99| 五婷婷六月合| 久久99日本精品视频免费观看| 91人妻人人做人碰人人爽九色| 激情影院69| 99热播放| 99热这里只是精品| 欧美亚洲色色色色| 亚洲乱码w在线观看| 啊v视频在线观看| 成人片在线播放| 五月激情六月宗合| 婷婷成人网五月天| wwwss在线观看| 丁香婷婷伊人| WWW、日本色丁香、co m| 99热在线精品观看| 婷婷色天香| 六月婷婷视频| 能看的AV| 婷婷激情综合无月| 色婷另类| 五月婷婷干| 人人妻人人澡人人爽| 五月天激情四射| 五月天婷婷丁香六月| 久久五月天婷婷| 色五月亚洲| 丁香成人五月天| 五月天色婷婷激情| 婷婷欧美激情综合| 五月婷婷精品视频| 99青青草99| 91人操人人人操人| 激情五月亚洲综合网| 色婷婷综合综合网| a级毛片一区二区免费视频| 丁香六月久久| 思思 热 99| 99综合久久| 99在线小视频| 国产成人精品一区二三区熟女在线 | AⅤ网站在线看| 日韩淑女人妻luan伦激情精品一区二| 日操五月婷| 婷婷伊人綜合中文字幕小说| 欧美经典片免费观看大全| 色色五月天网站| 操射国产日本| 五月丁香六月婷婷在线小说视频| 久久无码成人| 可以免费观看的AV| 综合一本道| 亚洲综合干| 九月激情网| 99操不停| 青草视频在线观看视频| 色五月综合在线| 人人干av| 99爱视频在线免费观看| 91操人视频| 丁香婷婷久久 | 五月丁香五月天现场视频| 91综合色| 婷婷丁香视频| 丁香五月天亚洲综合| 天天干人人奸97| 极品人妻VIDEOSSS人妻| 久久精品人妻| 九九色色| 五月天激情视频| 婷婷五月天在线综合| 色五月激情五月丁香五月婷婷啪啪综合 | 色噜噜狠狠一区二区三区| 丁香五月婷综合网| 狠狠色婷婷六月激情网| 五月激情偷拍婷婷| 99热成人永久免费| 色视频2025| 天天爽在线视频| 无码yw| 久久视频婷婷| 五月婷婷很很色| 丁香婷婷五月香蕉91| 九九99精品免费播放| 色99在线视频| 免费亚洲婷婷中文字幕| 热99免费在线| 婷婷丁香人妻天天爽| 婷婷激情小说| 久久精热| 99热这里只有精品最新网址| 伊人深爱综合| 色婷激情网| 99热这里有精品2| 天天情天天狠天天透| 韩日AV片| 伊人婷婷大香蕉| 人人爱国产| 色色亚卅| 性生活久久人妻| 99视频只有这里精品| 五月激情六月婷婷| 狠狠搞亚洲| 99热亚洲精品| 人妻操逼视频| 无码动漫av| 无码婷婷五月天| 99久久九九| 国产欧洲欧洲精品久久| 五月亭亭六月天| 五月婷婷丁香五月| 婷婷久久色| 97人人看| 日本欧美在线| www.超碰在线| 中文字幕无码人妻少妇免费视频| 又大又粗九一在线| 99久久高清视频| 婷婷丁香五月天之开心少妇| 五月天色欧美| 免费一区二区三区| 99热这里| 久久激情四射| 激情性爱五月天网页| 一起操最新网址| 色婷婷AV在线| 中文字幕不卡+婷婷五月| 91色欲综合| 影音先锋噜一噜| 国产精品久久在线观看技巧| 精品皮股午夜AV| 99只有这里有精品在线视频| 丁香婷婷久久 | 婷婷五月情色| 久久五月综合| 色色色综合色| 无码任你操| 丁香婷婷天堂| 国产日韩av片| 2025中文在线视频字幕免费观看| 午夜爱爱爱成人| 五月丁香综合在线| 99视频久久| 五月停性愛| WWW久| 九九AV在线| 色综合色欲综合天天免费| 五月五婷婷| 色区久久| 亚洲狠9| 色色狼人综合| 五月天色五月天| 日本啪啪网| 一二线视频 另类| 免费AV在线| 五月丁香啪啪综合| 婷婷五月天手机版视频| 久久99精品久久久久久三级| 久久精品99国产精品日本| 六月综合婷婷开心伊人| 婷婷五月激情六月丁香 | 狠狠色婷婷777| www.俺去也com| www.色色五月天.com| 婷婷中文字幕| 老师把我爽高潮了免费A片| 五月天婷基地| 开心五月天激情网站| 色综合丁香| 九九中文色色| 91viP在线看| 翔田千里无码| 人人播| 婷婷色五月天色| 五月婷庭丁香在线| 婷婷丁香五月综合| 成人丁香五月天| 九月婷婷在线观看| 激情播丁香| 九九九热精品| 中文字幕久久婷九女同| 在线区区区| 五月丁香六月婷婷a v| 五月婷婷久久综合| 婷婷影院A成人| 97天堂| tingtingzonghewang| 天天色色天天| 2050人人操免费工开爱| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 色综合久久五月| 久操激情| 色五月婷婷丁香凹凸| 国产精品久久久久久久久久免费| 五月天精品| 超碰国产AV| 色高清无码视频| 99综合| www.91婷婷| 99久久99视频只有精品| 狠狠色综合五月| 亚洲超碰在线| 欧美99热| 婷婷激情五月| 专区无日本视频高清8| 五月天色色色| 五月婷婷色情| 99久久视频| 六月婷婷开心| 亚洲人妻av| 丁香五月欧美色综合| 天天射色五月天| 99热 精品在线| 丁香五月天人体| 色婷婷网| 欧美噜噜久久久XXX| 99综合久久| 日本美女上人| 久久综合影院| 操人视频91| 综合色天天| 97在线精品| 婷婷五月黄色激情在线| 婷婷五月天色综合| 十二区无码| 五月激情五月婷婷五月天在线| 九月丁香| 五月婷婷六月丁| 激情五月天色色网| 日韩啪| 91激情五月开心| 国产亚洲网站在线| 日日夜夜婷婷| 伊人久久大香| 五月丁香色狠狠干大屄| 久久怕怕视频| 久久久久久久综合狠狠综合| 9久热在线视频精品| 123日本不卡在线| 久久久婷丁香五月| 人人色人人弄人人操| 成人在线日韩| 无码99| 婷色五月| 粉嫩av懂色av蜜臀av熟妇| 色区久久| 久久九九网| 五月婷婷综合激情| 操操操97| 天天肏天天插| 91欧美| 五月婷婷之激情五月| 五月天久久小说| 婷婷五月天激情在线观看| 色天堂婷婷| 啪到高潮激情丁香五月| 久久婷婷东京热大香樵| 天天搞天天色综合| 色优久久| 国产精产国品一二三在观看| 亚洲狠狠婷婷综合久久久| 综合网五月| 国产美女最新VA在线免费观看| 99热在线观看成人| 五月丁香婷婷欧美| 五月色在线| 激情内射人妻1区2区3区| 人人干天天操五月丁香| 五月J香蕉婷婷| 天天噜噜| 97超喷视频在线观看| 激情综合网五月| 999婷婷综合| 91色吧网| 婷婷五月情天| 久久人操| 久久婷婷五月天| 色情一区二区播放| 日B日潘金莲BB| 夜夜爽天天爽| 亚洲视频在线观看99| 99福利视频导航| 丁香婷婷五月|