欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

從零搭建手寫數(shù)字識別工程:MNIST與PyTorch實戰(zhàn)全解析

從零搭建手寫數(shù)字識別工程:MNIST與PyTorch實戰(zhàn)全解析 簡介圖像分類是機(jī)器學(xué)習(xí)中最基礎(chǔ)也最具代表性的任務(wù)之一手寫數(shù)字識別作為入門經(jīng)典能夠直觀展示從數(shù)據(jù)預(yù)處理、模型構(gòu)建到訓(xùn)練推理的完整流程。MNIST數(shù)據(jù)集是這一領(lǐng)域的基準(zhǔn)其28x28灰度圖像和標(biāo)準(zhǔn)的訓(xùn)練測試劃分讓研究者可以快速驗證算法效果。本文以PyTorch工程實踐為主線介紹如何將原始二進(jìn)制數(shù)據(jù)解析、歸一化處理、全連接網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)的選型對比、訓(xùn)練調(diào)參與模型部署等環(huán)節(jié)串聯(lián)成一套可復(fù)用的工程框架。此外通過分析驗證集loss曲線與準(zhǔn)確率波動讀者能理解過擬合與欠擬合的典型形態(tài)并掌握模型保存、單張圖片推理和打包發(fā)布的工程化技巧。在此基礎(chǔ)上這套方案可輕松遷移到Fashion-MNIST或更復(fù)雜的圖像分類任務(wù)從而理解深度學(xué)習(xí)工程的通用范式。1. 拿到工程文件后先搞明白這套代碼到底在做什么先說個我經(jīng)常在帶新人時遇到的場景很多人下了一堆“手寫數(shù)字識別”的代碼解壓之后直接雙擊train.py看到屏幕上滾出幾個epoch、打出一行accuracy就覺得“跑通了”。但你要是讓他說清楚這套工程的文件結(jié)構(gòu)為什么這么拆、模型輸入為什么是784維、訓(xùn)練集為什么要除以255他大概率答不上來。這套Python手寫數(shù)字識別項目本質(zhì)上是一套完整的圖像分類工程。它的業(yè)務(wù)目標(biāo)很樸素給定一張包含手寫數(shù)字的圖片讓程序判斷它到底是0到9中的哪一個。但“工程化”這三個字意味著代碼不只是能跑通而是要覆蓋從數(shù)據(jù)預(yù)處理、模型構(gòu)建、訓(xùn)練驗證到推理部署的全鏈路并且每一條路徑都有清晰的輸入輸出約定。整個工程的核心鏈路可以拆成四段數(shù)據(jù)管線手寫數(shù)字圖片 - Numpy數(shù)組 - 歸一化 - 張量模型主體一個接收784維輸入、輸出10類概率的分類器訓(xùn)練引擎通過交叉熵?fù)p失和梯度下降不斷修正權(quán)重推理服務(wù)加載訓(xùn)練好的權(quán)重對新圖片做預(yù)測并輸出可視化結(jié)果。我見過很多初學(xué)者的誤區(qū)是把“訓(xùn)練”和“工程”畫等號其實訓(xùn)練只是其中一環(huán)。真正決定這套代碼能不能被別人復(fù)現(xiàn)、能不能遷移到別的任務(wù)上取決于文件組織是否合理、配置項是否獨立、數(shù)據(jù)路徑是否可配置。判斷一套工程文件優(yōu)劣最簡單的方法把你電腦上的絕對路徑全部換成相對路徑看代碼還能不能跑起來。能跑說明工程底子合格不能跑說明這只是個腳本合集不是工程。2. MNIST數(shù)據(jù)集的獲取與預(yù)處理實操別讓數(shù)據(jù)拖了后腿手寫數(shù)字識別最經(jīng)典的數(shù)據(jù)集就是MNIST。它包含60000張訓(xùn)練圖片和10000張測試圖片每張圖片是28x28像素的灰度圖。這里有個很多教程沒強(qiáng)調(diào)的細(xì)節(jié)MNIST原始文件不是圖片格式而是特定的二進(jìn)制文件格式。你下載下來會看到四個文件分別是train-images-idx3-ubyte.gz、train-labels-idx1-ubyte.gz、t10k-images-idx3-ubyte.gz和t10k-labels-idx1-ubyte.gz雖然網(wǎng)友整理版可能已經(jīng)幫你解壓并轉(zhuǎn)換成了圖片但工程中更推薦直接處理原始二進(jìn)制。2.1 為什么工程里要保留原始二進(jìn)制文件的解析邏輯因為二進(jìn)制的讀取速度遠(yuǎn)遠(yuǎn)快于逐張讀取圖片文件。圖片格式意味著系統(tǒng)要調(diào)用圖像解碼庫把JPEG或PNG的數(shù)據(jù)解碼成像素矩陣這個I/O開銷在批量訓(xùn)練時是很可觀的。而二進(jìn)制文件本身已經(jīng)是按固定字節(jié)結(jié)構(gòu)排列的像素值你只需要按偏移量切片再用Numpy的frombuffer轉(zhuǎn)成數(shù)組速度會快一個量級。工程文件里通常會在data_loader.py中封裝這樣一個函數(shù)import numpy as np import struct def load_mnist_images(filepath): with open(filepath, rb) as f: magic, num, rows, cols struct.unpack(IIII, f.read(16)) data np.frombuffer(f.read(), dtypenp.uint8).reshape(num, rows * cols) return data def load_mnist_labels(filepath): with open(filepath, rb) as f: magic, num struct.unpack(II, f.read(8)) labels np.frombuffer(f.read(), dtypenp.uint8) return labels這里有個比較隱蔽的坑文件頭部的magic number是按大端序存儲的所以解包必須用IIII。我見過不少人的代碼在這里用IIII解包結(jié)果第一個數(shù)字讀出來是個異常值整個數(shù)據(jù)集的shape都亂了。還有一點labels文件只有兩個頭部字段不像images有rows和cols多讀一個字段就會導(dǎo)致buf偏移錯誤。2.2 像素歸一化到底在做什么MNIST原始像素值的范圍是0到255。如果直接喂給神經(jīng)網(wǎng)絡(luò)有兩個問題數(shù)值量級太大會讓初始化權(quán)重對應(yīng)的梯度更新變得不穩(wěn)定不同維度的輸入范圍不一致會讓模型收斂變慢。所以工程里幾乎無例外都會做歸一化把像素值壓到0到1之間。做法很簡單X_train X_train.astype(np.float32) / 255.0 X_test X_test.astype(np.float32) / 255.0如果你用PyTorch還需要再做一步把Numpy數(shù)組轉(zhuǎn)成Tensor并且把標(biāo)簽也轉(zhuǎn)成LongTensor。這里有個和后續(xù)模型匹配的概念必須講清楚標(biāo)簽是0到9的標(biāo)量不是one-hot向量。模型最后一層輸出的是10個類別的logitsPyTorch的CrossEntropyLoss函數(shù)會內(nèi)部幫你組合LogSoftmax和NLLLoss所以直接喂標(biāo)簽索引就行如果你自己把標(biāo)簽轉(zhuǎn)成one-hot向量再和Softmax輸出算損失就要自己實現(xiàn)對應(yīng)的損失函數(shù)容易出錯。2.3 數(shù)據(jù)維度怎么確認(rèn)接數(shù)據(jù)的時候最好打印一次數(shù)據(jù)的shape和dtype不要憑記憶。我調(diào)試過不少次問題最后都出在某個環(huán)節(jié)維度對不上圖片load出來是(60000, 784)標(biāo)簽是(60000,)網(wǎng)絡(luò)前向傳播需要的輸入是(batch_size, 784)如果batch_size為32那么一個batch的tensor shape就是(32, 784)。如果維度對不上會直接報矩陣乘法錯誤。工程文件里一般會在主訓(xùn)練腳本開頭加一行斷言assert X_train.shape[0] y_train.shape[0] assert X_train.shape[1] 28 * 283. 模型選型與訓(xùn)練細(xì)節(jié)從全連接網(wǎng)絡(luò)到卷積網(wǎng)絡(luò)的實測差異很多手寫數(shù)字識別工程會從多層感知機(jī)開始。這個選擇是有道理的數(shù)字識別是入門任務(wù)用全連接網(wǎng)絡(luò)可以清晰理解網(wǎng)絡(luò)的前向過程、反向傳播和參數(shù)更新不會一開始就被卷積、池化等概念淹沒。但如果你想在MNIST上拿到比較好看的準(zhǔn)確率純?nèi)B接網(wǎng)絡(luò)和簡單CNN的差距還是存在的。3.1 多層感知機(jī)怎么設(shè)計最穩(wěn)一個典型的MLP結(jié)構(gòu)可以設(shè)計成三層輸入層784個神經(jīng)元、隱藏層128個神經(jīng)元、輸出層10個神經(jīng)元。中間加ReLU激活函數(shù)和Dropout正則化。在PyTorch里寫出來是這樣import torch.nn as nn class MLP(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(784, 128) self.relu nn.ReLU() self.dropout nn.Dropout(0.2) self.fc2 nn.Linear(128, 10) def forward(self, x): x x.view(x.size(0), -1) x self.fc1(x) x self.relu(x) x self.dropout(x) x self.fc2(x) return x很多人拿到工程文件后最關(guān)心的一個問題是為什么第一層要view因為訓(xùn)練時輸入進(jìn)來的tensor形狀可能是(batch_size, 1, 28, 28)如果直接丟給Linear層會報錯必須把它壓平成(batch_size, 784)。這個view操作其實就是把28x28的矩陣?yán)梢粭l784維的向量。MLP在MNIST上做到97%左右的準(zhǔn)確率沒有問題我當(dāng)時實測大概在97.2%。但再往上就比較費勁了因為它丟失了圖像的空間結(jié)構(gòu)信息每個像素位置都是獨立特征無法捕捉相鄰像素之間的空間相關(guān)性。3.2 什么時候該上CNN如果你想在MNIST上沖擊99%以上的準(zhǔn)確率就得換CNN。一個經(jīng)典的LeNet-5結(jié)構(gòu)可以很好地完成任務(wù)。它的核心思想是用卷積核在圖像上滑動提取局部特征。對于28x28的MNIST圖片第一層卷積可以輸出多個特征圖每個特征圖捕捉一種模式比如橫線、豎線、圓角等。我自己的工程里用的是LeNet-5的變體class LeNet5(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Conv2d(1, 6, kernel_size5, padding2) self.pool1 nn.MaxPool2d(2) self.conv2 nn.Conv2d(6, 16, kernel_size5) self.pool2 nn.MaxPool2d(2) self.fc1 nn.Linear(16 * 5 * 5, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) def forward(self, x): x self.pool1(torch.relu(self.conv1(x))) x self.pool2(torch.relu(self.conv2(x))) x x.view(x.size(0), -1) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) x self.fc3(x) return x注意這里x.view(x.size(0), -1)是在全連接層之前展平特征圖。初始輸入是(1, 28, 28)經(jīng)過一次卷積和池化變成(6, 14, 14)經(jīng)過第二次卷積和池化變成(16, 5, 5)展平后是1655400維。后接120、84、10的三層全連接。這個結(jié)構(gòu)在MNIST上輕輕松松就能達(dá)到99%以上。CNN和MLP的差異用一句話概括MLP是把整個圖像揉成一團(tuán)丟掉空間關(guān)系CNN是通過滑動窗口保留“哪里有什么形狀”的信息。對書寫數(shù)字這種高度依賴形態(tài)特征的任務(wù)CNN優(yōu)勢非常明顯。3.3 訓(xùn)練輪次、損失函數(shù)、優(yōu)化器怎么配超參數(shù)配置在工程里通常是單獨抽出來的。為什么單獨抽因為你不會只想跑一次你需要反復(fù)調(diào)整把配置集中到一個文件或一段常量區(qū)域調(diào)整成本會低很多。我常用的配置是這樣的參數(shù)取值說明batch_size64顯存占用適中梯度的隨機(jī)性合適learning_rate0.001Adam優(yōu)化器下比較穩(wěn)epochs10數(shù)據(jù)集不大10輪足夠收斂optimizerAdam自帶動量收斂速度快loss_fnCrossEntropyLoss多分類標(biāo)準(zhǔn)損失訓(xùn)練循環(huán)需要注意的細(xì)節(jié)是每一輪epoch結(jié)束時要區(qū)分訓(xùn)練集和驗證集的loss。不能只看訓(xùn)練集準(zhǔn)確率因為模型可能已經(jīng)過擬合了。工程里一般會在每個epoch后把模型切到eval模式關(guān)閉dropout用驗證集算一次準(zhǔn)確率然后存下best_model。這里有個用PyTorch的常見細(xì)節(jié)訓(xùn)練時要調(diào)用model.train()eval時要調(diào)用model.eval()否則Dropout和BatchNorm的行為會不一致導(dǎo)致結(jié)果偏高。另外學(xué)習(xí)率衰減也很重要。前期用0.001快速收斂后期降到0.0001精細(xì)微調(diào)能再拉高一點準(zhǔn)確率。實現(xiàn)上用PyTorch的torch.optim.lr_scheduler.StepLR每3個epoch乘以0.1即可。4. 訓(xùn)練過程的完整調(diào)參與評估從loss曲線到準(zhǔn)確率波動的解讀訓(xùn)練代碼能跑不代表訓(xùn)練過程健康這是很多初學(xué)者的一個認(rèn)知死角。工程文件里通常提供訓(xùn)練過程的可視化腳本輸出loss曲線和準(zhǔn)確率曲線但更重要的是你要會看這些曲線理解梯度和過擬合的跡象。4.1 loss曲線的三種典型形態(tài)訓(xùn)練過程結(jié)束之后我們把每個epoch的loss值和驗證準(zhǔn)確率畫出來。這里我總結(jié)三種常見的曲線形態(tài)你在自己的訓(xùn)練中也會碰到相同的模式理想形態(tài)訓(xùn)練loss和驗證loss同步下降最后都收斂到較低水平驗證準(zhǔn)確率穩(wěn)定在99%上下。這說明模型容量、數(shù)據(jù)量、學(xué)習(xí)率三者匹配得很好不需要做額外調(diào)整。過擬合形態(tài)訓(xùn)練loss持續(xù)下降但驗證loss下降到某個點后開始反彈。這個轉(zhuǎn)折點提示你模型開始“記”訓(xùn)練數(shù)據(jù)而不是“學(xué)”規(guī)律。應(yīng)對方案是增加Dropout強(qiáng)度、增加數(shù)據(jù)增強(qiáng)或者減少隱藏層神經(jīng)元數(shù)量。欠擬合形態(tài)訓(xùn)練loss和驗證loss都居高不下驗證準(zhǔn)確率一直在97%以下徘徊。這說明模型容量不夠或者學(xué)習(xí)率太小、收斂太慢。此時優(yōu)先增加網(wǎng)絡(luò)層數(shù)或每層的神經(jīng)元數(shù)量。4.2 為什么驗證集準(zhǔn)確率比訓(xùn)練集重要工程里看模型好壞標(biāo)準(zhǔn)不是訓(xùn)練集上的表現(xiàn)而是驗證集上的表現(xiàn)因為模型未來遇到的是沒有見過的數(shù)據(jù)。MNIST數(shù)據(jù)集本身已經(jīng)劃分好了train和test但很多工程還會再從train中切一個validation出來。如果你不想額外切直接用test集做驗證也是可以的但嚴(yán)格來說測試集應(yīng)該只用于最終評估不能進(jìn)訓(xùn)練循環(huán)否則你在根據(jù)測試結(jié)果調(diào)參的過程中其實已經(jīng)發(fā)生了信息泄漏。我當(dāng)時在自己的工程里是按照6:1的比例從訓(xùn)練集中切分驗證集保留的10000條數(shù)據(jù)作為測試集。這樣每輪epoch都能直觀看到驗證準(zhǔn)確率最后再用測試集跑一次得到的是模型真實的泛化能力。4.3 訓(xùn)練過程中的穩(wěn)定性和收斂性觀測除了準(zhǔn)確率還要看一下訓(xùn)練過程中的數(shù)值穩(wěn)定性。比如loss如果出現(xiàn)NaN基本是學(xué)習(xí)率過大或者數(shù)據(jù)預(yù)處理出了問題要立即停止排查。數(shù)值穩(wěn)定性的另一個常見問題是梯度爆炸或梯度消失全連接網(wǎng)絡(luò)在層數(shù)較深時更容易出現(xiàn)但在MNIST這種淺層模型中比較少見到。我在工程里還加了一行邏輯在測試集上評估準(zhǔn)確率時最好設(shè)置一個閾值比如0.98如果低于這個值則打印警告。這個不是給機(jī)器看的是給人看的提醒你是不是該調(diào)參了。工程化的意義就在于此它不替你判斷但它把判斷依據(jù)信息以清晰方式暴露給你。5. 模型保存與單張圖片推理的工程化處理訓(xùn)練完成只是上半場模型要能給別人用必須解決兩個問題權(quán)重文件怎么存、別人拿一張新圖片怎么預(yù)測。很多工程文件在這里的代碼比較亂我重點說一下合理的做法。5.1 保存PyTorch模型時別只保存state_dictPyTorch有幾種保存方式常見的是torch.save(model.state_dict(), mnist_cnn.pt)只保存權(quán)重torch.save(model, mnist_cnn.pth)保存整個模型結(jié)構(gòu)加權(quán)重onnx.export(model, dummy_input, mnist_cnn.onnx)導(dǎo)出成跨框架的ONNX格式。我強(qiáng)烈建議在工程里使用state_dict因為它和模型結(jié)構(gòu)解耦加載時必須先創(chuàng)建相同結(jié)構(gòu)的模型實例再load。雖然比直接保存整個模型多一步但它在版本遷移、結(jié)構(gòu)修改的時候更靈活。你在每個最佳epoch保存best_model.pt之外最好同時保存一份final_model.pt以免中途訓(xùn)練中斷丟了最佳結(jié)果。5.2 單張手寫數(shù)字圖片的預(yù)處理流程推理階段最容易翻車的點不是模型代碼而是圖片預(yù)處理。用戶傳過來的圖片不可能是標(biāo)準(zhǔn)的MNIST格式它可能是手機(jī)拍的、用畫圖工具畫的、或者從PDF截圖的。所以工程里推理部分的預(yù)處理器必須做下面這幾件事順序也不可隨意調(diào)換讀取圖片轉(zhuǎn)為灰度圖反色處理如果背景是白色、筆跡是黑色但MNIST是黑底白字需要顛倒縮放到28x28二值化或保持灰度值歸一化到0到1加一個batch維度(1, 1, 28, 28)。這里最容易被忽略的是反色。我剛開始做推理Demo的時候用畫圖工具寫了個“7”預(yù)測出來是“1”排查半天發(fā)現(xiàn)白色背景255直接變成了高亮值模型看到的是“白字黑底”輸入分布完全顛倒。加一步cv2.bitwise_not()或者在歸一化時用1 - img/255.0就能解決。這屬于那種不踩一次坑就不知道的細(xì)節(jié)。完整的推理代碼大致長這樣import cv2 import torch import numpy as np def preprocess_image(image_path): img cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) img cv2.bitwise_not(img) # 反色 img cv2.resize(img, (28, 28), interpolationcv2.INTER_AREA) img img.astype(np.float32) / 255.0 img torch.from_numpy(img).unsqueeze(0).unsqueeze(0) return img model LeNet5() model.load_state_dict(torch.load(mnist_cnn.pt, map_locationcpu)) model.eval() with torch.no_grad(): img preprocess_image(test_7.png) output model(img) pred torch.argmax(output, dim1).item() print(f預(yù)測結(jié)果: {pred})訓(xùn)練時的model.eval()同樣適用在推理階段。這里如果漏了torch.no_grad()模型還是會正常給出結(jié)果但會記錄梯度圖白白消耗內(nèi)存推理時間也會變長。5.3 用OpenCV畫圖板實時測試模型圖片文件推理只是工程的一部分實際應(yīng)用里還有實時輸入的需求。我當(dāng)時又做了一層簡單的GUI用OpenCV創(chuàng)建一個窗口鼠標(biāo)按住畫數(shù)字松開后按Enter鍵進(jìn)行識別結(jié)果實時顯示在窗口標(biāo)題上。雖然不能和TensorFlow的Playground對比但代碼量很少、依賴很少非常適合作為工程演示的一部分。實現(xiàn)思路也不復(fù)雜先標(biāo)記鼠標(biāo)按下時在Canvas上畫圓結(jié)束后把Canvas區(qū)域作為輸入圖片傳給同一套預(yù)處理流程。這個改進(jìn)讓你不用每次都準(zhǔn)備圖片文件調(diào)試手感提升非常明顯。6. 工程文件的目錄組織、依賴管理與打包發(fā)布既然標(biāo)題寫的是“工程文件”那這章必須認(rèn)真講。一個合格的手寫數(shù)字識別工程目錄不能是一堆.py文件堆在根目錄。我推薦的結(jié)構(gòu)是這樣的mnist_project/ ├── checkpoints/ # 保存訓(xùn)練好的模型權(quán)重 ├── data/ # MNIST原始數(shù)據(jù)或下載腳本 ├── models/ # 網(wǎng)絡(luò)結(jié)構(gòu)定義 │ └── lenet5.py ├── utils/ # 數(shù)據(jù)處理、可視化工具 │ ├── data_loader.py │ └── visualizer.py ├── config.py # 超參數(shù)集中管理 ├── train.py # 訓(xùn)練入口 ├── predict.py # 單張圖片推理入口 ├── requirements.txt └── README.md這套結(jié)構(gòu)的好處是職責(zé)清晰網(wǎng)絡(luò)結(jié)構(gòu)、數(shù)據(jù)處理、訓(xùn)練流程、推理流程各自獨立換網(wǎng)絡(luò)結(jié)構(gòu)時不用動數(shù)據(jù)代碼換數(shù)據(jù)時不用動模型代碼。很多教程代碼喜歡把所有函數(shù)都放進(jìn)一個文件跑通是快但后續(xù)擴(kuò)展和維護(hù)的代價很大。如果它是一個給別人下載的工程那更要注意這一點。requirements.txt的內(nèi)容至少要包含torch numpy opencv-python matplotlib這幾樣是缺一不可的。建議在文件里固定版本號避免不同用戶環(huán)境差異導(dǎo)致的問題。我自己一般會寫torch2.0,2.3這樣的范圍既兼容新版又不會因為某個大版本API變化直接報錯。關(guān)于打包發(fā)布如果你想讓沒有Python環(huán)境的用戶也能直接運行可以嘗試用PyInstaller把inference腳本打包成exe。這里有個和資源路徑有關(guān)的坑PyTorch的模型文件在打包時不會自動包含進(jìn)去需要在spec文件里把checkpoint作為data文件加進(jìn)去運行時通過sys._MEIPASS獲取臨時解壓路徑。如果忘記這一步別人雙擊exe時會報“文件不存在”的錯誤。打包命令大概是這樣pyinstaller -F predict.py --add-data checkpoints/mnist_cnn.pt;checkpoints --hidden-importtorch --hidden-importcv2注意Windows下--add-data的文件分隔符是分號Linux和macOS是冒號。這個細(xì)節(jié)卡了我差不多一個下午你不遇到真的不會想到。7. 推理結(jié)果的可視化與交互讓工程看起來更完整一套工程如果只有命令行輸出總感覺差點意思。當(dāng)時我把可視化部分補(bǔ)上之后整個項目的完整度明顯提升了。用Matplotlib把待預(yù)測圖片顯示出來同時把10個類別的預(yù)測概率用條形圖展示能直觀看出模型對某個數(shù)字的置信度。特別是當(dāng)模型預(yù)測錯誤時看概率分布能立刻定位問題。我在工程里實現(xiàn)了一個predict_multiple.py腳本支持傳入一個文件夾批量識別所有外部圖片并生成一張匯總圖。匯總圖左邊是原始圖片右邊是預(yù)測概率分布如果某個數(shù)字的置信度低于70%就把預(yù)測結(jié)果標(biāo)紅。這個做法在文檔演示和教學(xué)場景里都很有用能直觀體現(xiàn)模型的可靠邊界。如果后續(xù)想更進(jìn)一步可以用Flask做一個簡單的Web服務(wù)。前端頁面上放一個Canvas鼠標(biāo)手寫數(shù)字點擊識別按鈕后通過POST請求把圖片base64編碼發(fā)給后端后端把圖片解碼、預(yù)處理、推理返回預(yù)測結(jié)果。核心服務(wù)代碼和本地推理幾乎一致只是加了一層HTTP封裝。這樣做的好處是演示的時候不用裝Python環(huán)境打開瀏覽器就能用。不過在工程里引入Web層時要留意請求體大小限制和并發(fā)處理。手寫數(shù)字圖片很小一般不會出問題但如果你把這個架構(gòu)遷移到更大圖片的分類任務(wù)上就需要在服務(wù)端做圖片壓縮和隊列化處理了。8. 實測踩坑記錄數(shù)據(jù)、訓(xùn)練、打包三層里的常見問題寫到最后把我在整個工程實施過程中遇到過的幾個真實問題整理一下希望能幫你少走彎路。8.1 數(shù)據(jù)集加載的坑訓(xùn)練時如果發(fā)現(xiàn)loss完全不下降第一件事檢查數(shù)據(jù)有沒有喂對。我之前遇到過一次圖片讀進(jìn)來之后忘記除以255網(wǎng)絡(luò)訓(xùn)練前幾步loss在2.3左右訓(xùn)到最后只降到1.2準(zhǔn)確率卡在85%。就是因為像素值范圍不對梯度方向被大數(shù)值主導(dǎo)了收斂極慢。還有一種更隱蔽的情況是標(biāo)簽和圖片錯位通常發(fā)生在你手動從網(wǎng)上找數(shù)據(jù)集、目錄文件名和標(biāo)簽映射錯的時候。判斷方法是打印前20張圖片的標(biāo)簽并同時輸出數(shù)組第一個像素的平均值肉眼對應(yīng)一下。8.2 推理結(jié)果不準(zhǔn)的坑模型在測試集上準(zhǔn)確率99%但識別自己手寫的數(shù)字卻總出錯。這大概率是預(yù)處理不夠規(guī)范。手寫輸入和MNIST原始訓(xùn)練集的差異包括字體粗細(xì)、位置偏移、筆畫噪聲。其中位置偏移影響最大MNIST訓(xùn)練集里數(shù)字是居中顯示的如果畫圖時數(shù)字偏上或偏下識別準(zhǔn)確率就會下降。緩解辦法之一是在預(yù)處理時做一次質(zhì)心平移計算出前景像素的均值坐標(biāo)把質(zhì)心移到圖像中心。代碼非常簡單coords cv2.findNonZero(img) x, y, w, h cv2.boundingRect(coords) img img[y:yh, x:xw] img cv2.resize(img, (20, 20)) canvas np.zeros((28, 28), dtypenp.uint8) canvas[4:24, 4:24] img這個操作的本質(zhì)是模擬MNIST的預(yù)處理方式。加了這個步驟后識別率會明顯提升。8.3 打包exe的坑除了前面提到的--add-data路徑分隔符問題還有一個常見坑是打包出來的exe體積異常大動輒幾百MB。這是因為PyTorch和OpenCV依賴庫本身體積很大PyInstaller默認(rèn)把它們?nèi)看蜻M(jìn)去。如果只是給內(nèi)部演示用其實無所謂如果真的很在意體積可以考慮用ONNX Runtime替代PyTorch做推理把模型導(dǎo)出成ONNX格式這樣依賴庫會小很多。我把模型用torch.onnx.export導(dǎo)出后用onnxruntime推理打包體積從440MB降到了80MB左右。8.4 隨機(jī)種子固定問題工程復(fù)現(xiàn)的另一個隱藏要求是固定隨機(jī)種子。如果不加torch.manual_seed(42)每次運行結(jié)果會有細(xì)微差異雖然準(zhǔn)確率都差不多但別人復(fù)現(xiàn)時看到的曲線可能不一致容易被誤以為是代碼bug。在train.py開頭固定種子是個好習(xí)慣import random import numpy as np import torch random.seed(42) np.random.seed(42) torch.manual_seed(42)9. 從數(shù)字識別到其它分類任務(wù)這套工程能怎么擴(kuò)展手寫數(shù)字識別是一個基準(zhǔn)項目但它完全可以作為模板擴(kuò)展到其他分類任務(wù)這也是這套工程文件真正的延伸價值。最簡單的擴(kuò)展是換數(shù)據(jù)集。比如把MNIST的數(shù)據(jù)加載換成Fashion-MNIST只需要調(diào)整類別名模型結(jié)構(gòu)基本不用變就能識別衣服、鞋子、包等10類物品。因為Fashion-MNIST的圖片尺寸和通道數(shù)和MNIST完全一致。這個遷移成本非常低非常適合驗證你的工程結(jié)構(gòu)是否足夠通用。如果想識別中文字符問題會復(fù)雜一些。中文字符類別數(shù)多動輒上千類且筆畫結(jié)構(gòu)復(fù)雜28x28的分辨率可能不夠需要把輸入尺寸擴(kuò)大到64x64或者更大同時模型也要加深。此時卷積層的kernel size、池化層的步長都可能需要調(diào)整。但整體工程的骨架依然是通用的你只需要改數(shù)據(jù)管線和模型結(jié)構(gòu)訓(xùn)練流程、驗證邏輯、推理框架都能復(fù)用。更進(jìn)一步如果輸入不是灰度圖而是彩色圖片比如識別水果種類就需要在第一層卷積前把輸入通道從1改成3同時數(shù)據(jù)預(yù)處理階段要保留RGB三個通道。這個改動也不復(fù)雜但要注意歸一化方式RGB圖像的均值和標(biāo)準(zhǔn)差和灰度圖不一樣工程里一般會提前計算訓(xùn)練集的通道均值后再歸一化??傊ㄓ霉こ涛募恼軐W(xué)是把不同任務(wù)里相同的那部分抽出來把差異化的那部分通過配置暴露出來。你訓(xùn)練的是手寫數(shù)字但復(fù)用的是工程框架。在這個基礎(chǔ)上每當(dāng)你要接一個新任務(wù)要改的只有數(shù)據(jù)和模型定義訓(xùn)練、評估、保存、推理那套鏈路幾乎不用動。這才是我理解的“完整工程文件”的意義。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
www.五月天色色.com| 久久九九@| 丁香五月在线观看| 天天看A片| 色色五月天丁香| 国产在这里只有精品| 67194国产| 风流少妇A片一区二区蜜桃| 99精品视频播放| 九九99热精品| 五月丁香综合啪啪| 国产资源91在线| 久久久免费精彩视频| 久久99大全| ww久久| 色色色99| 色色999三级片| 丁香六月婷婷综合啪啪| 99热视| 久久久久人妻中文| 欧美色图天堂网| 色色五月婷婷| 伊人热婷婷| 九九九九国产| 天天综合色综合| 欧美色色网| 激情六月下句是什么| 婷婷5月开心6月| 久久99网| 成人美女网| 无码一级片| 六月婷婷七月丁香| 亚洲婷婷激情888精品久| 天天操综合网| 97五月婷| 97色干| 亚洲综合视频一下| 久99热| 丁香性爱在线视频| 婷婷丁香在线| AV操操操| 青青草伊人婷婷| 色婷婷色综合激情91| 六月丁香婷婷视频综合在线观看| 色欲天天综合| 91大屁股| 亚洲午夜av| 97caop| 日韩精品超碰在线观看| 九九热这里只有精品31| 在线另类| 爱操人妻| 丁香五月色| 开心五月深爱五月| 日本啪啪天堂| 欧美丁香五月夫妻天| 激情五月天色播| www.久久色.com| 一本久道综合色婷婷五月| 五月丁香久久丝袜啪啪| 91蜜桃婷婷狠狠久久综合9色| 国产操逼网站| 激情五月综合色婷婷| 成人网站免费在线播放| 五月色激情综合网| 天天色官网| 天天婷婷综合亚洲亚洲| 99热99精品| 日日夜夜噜噜爽爽| 无码成人AAAAA毛片AI换脸| 九九人人自拍| 久久爱婷婷| 亚洲精品无码一区二区| 久久激情视频99| 乱色色色| 七月丁香五月婷婷在线| 激情5月婷婷狠狠干| 日韩综合久久| 五月天婷婷色情| 亭亭五月天黑人2014| 天天干电影| 色爱综合五月| 亚洲第一精品网站| 五月丁香激情综合网| 天天日中文| 人妻自慰在线| 婷婷欧美| 久久丁香五月综合六月激情红杏视频 | 99久在线精品99re8热| 狠狠色噜噜色狠狠狠综合久久成人波 | 俺也去婷婷五月天第五色| 五月婷婷在线播放| 91碰操| 亚洲综合五月天综合| 伊人五月综合网| 在线99色| 色五月天丁香婷婷| 精品牛仔裤超碰| xxx.色婷婷| 丁香五月婷婷啪啪视频| 怡红院院久久| 日韩精品呦呦va| 久久这里只有精品网| 婷婷五月在线视频| 色婷婷中文字母五月丁香| www婷婷| 黄久久久| 99精品一二三四视频| 久久丁香婷婷色情综合| 丁香五月播播| 在线看黄色| www激情com| 99热午夜精品| 涩综合婷婷| 区啪精品| www.99日本| 五月天婷婷激情四射综合| www,五月天激情| 伊久大香蕉| 九九操综合网| 国产高清视频91九九九久久久| 婷婷丁香五月欧美人| 成人精品视频99在线观看免费| 五月花婷婷在线精品视频| 色色色无码| 亚洲欧美成人在线| 北京熟妇搡BBBB搡BBBB| 韩国久久少妇视屏| 国产99久9在线| 婷婷在线视频| 五月丁香久久| 无码激情AAAAA片-区区| 性生活久久朋友人妻| 伊人天堂婷婷| 91成人电影| 日韩色五月| 日本色99| 日韩草草草草草草草草草草草草| 国产在线aaa片一区二区99| http://www.lingjunshare.com/| 日韩三级视频一区二区| 久久艹99| 丁香香五月激情免费视频| 99热精品在线观看| 婷婷丁香在线播放| 91九色熟女| 日韩啪啪网| 五月久久五月激情| 色色9 9| 操人妻视频91| 久久伊人五月天| 久热免费视频| 丁香婷婷中文字幕| 久久狼人天堂| 丰满少妇乱A片无码| α久久| 久久免费高| 五月第四色| 婷婷成人AV| 99热精品在线播放| 综合六月激情婷婷| 五月停停999| 人人播| 激情综合网激情五月网| 婷色视频| 五月天激情婷婷| 日本无va视频| 9热久久| 色五月首页| 久久这里只有精品07 | www.久操| 日韩AV片| 成年人99热| 91丨九色丨老农村| 99热这里有精品| 日撸夜撸日操| 99热只有精品综合| 99久久婷婷五月| 91综合国免费久入| 99免费视频精品| 一区二区三区XXXXXX| 色色射| 久久这里有精品99| 亚洲高清在线| 香蕉99网| www.五月天| 99re最新地址| 五月色情婷婷| 成人网页在线观看| 性色做爰片在线观看WW| 深爱激情五月天| 91丨九色丨43老版熟女| 超级碰碰99| 欧美黄色AA片哗啦啦啦| 26uuu精品国产| 99热国产| 丁香五月婷婷色偷偷| 激情五月天影院| 成人精品99| 天天操无码| 欧美特大片黄| 丁香六月色婷婷| 婷婷色Av| 色婷婷丁香网| 人人性久久| 一本色道久久88综合日韩精品| 五月婷婷丁香六月| 色婷婷五月天天天干天天操天天爽| 成人在线不卡| 色婷婷最新域名| 天天狠天天叉| 天天综合色综合| √天堂资源在线人妻熟女| 亚洲狠狠色丁香婷婷综合久久| 婷婷五月激情中文字幕| 99久久婷婷五月| 天天干电影| 五月婷婷香| 色丁香综合影院| 亚洲AV网址| 蜜臀av 粉嫩av 懂色av| 熟女人妻一区二区三区免费看| 色丁香五月| 日韩乱玛久久| 综合五月亭亭9| 免费啪啪亚州视频| 性爱人人网| 激情操逼婷婷| 99色| 婷婷激情四射| 99re视频在线播放| 五月丁香激情综合| 99久在线精品99re8| 先锋资源996| 九九色逼| 伊人婷婷综合| 超碰93在线观看| www.韩日视频| 丁香激情综合| 一级操逼大片| 香蕉久久国产AV一区二区| 黄网在线免费观看| 久久五月激情综合| 色婷婷五月综合在线| 婷婷五月天成人影片| 色综久久AV| 9l视频自拍九色9l视频自拍九色9l社区| 丁香五月天日韩无码| 五月丁香综合| 国产亚洲精品AAAAAAA片| 91久久久久久久| 91丨九色丨熟女丰满| 丁香六月激情综合啪啪| 丁香六月婷婷综合在线| 日日撸日日操| 99综合激情久久精品久久| 国产精品噜噜在线视频| 九九99视频精品| 91碰碰碰| 五月欧美色播| 五月天婷婷一起草| 六月丁香婷婷视频综合在线观看| 九九九九综合| 91蜜桃婷婷狠狠久久综合9色| 好看的国产精品| 玖玖婷婷色五月| 丁香激情五月天| 任我干视频在线观看| 国产无套精品一区二区| 天天色综网| 国产精品久久久久久妇女6080| 激情四射五月天| 开心五月综合激情网| 超碰99热精品| 欧美精品99| 久久五月天视频| 五月天丁香成人| 亚洲一区二区无遮挡A片| 五月开心激情| 99热精品观看| 欧美激情综合| 亚洲妇女熟BBW| 国产成人精品一区二三区熟女在线| 婷婷导航| 荡乳尤物3HP1V5| 午夜不卡久久精品无码免费| 激情图片亚洲| 婷婷五月超碰| 99黄色在线视频精品熟女| 91大神操美女| 天天肏屄夜夜爽| 狠狠久久婷五月综合色| 六月婷婷九月丁香亚洲综合| 夜夜综合色| www夜夜操com| 曰曰久久| 激情丁香五月| 超碰在线免费观看3 9| 99热免费18| 亚州色综合| 综合色网站| 狠狠综合久久| 五月激情另类| 色色色.COM| 人人操AV| 播播网色播播| 99热每日| 色欲九区| 激情五月综合六月丁香婷婷狠狠干| 中文无码精品一区二区三区| www,色色色网站| 色综合久久88色综合天天看| 网站免费一站二站| 九月丁香婷婷基地| 99久精品视频| 欧美激情五月天在线观看| 91人妻视频| 五月丁香婷婷综合网| 伊人久久婷| 性做爰1一7伦| 99久久黄色顶级视频| 五月天婷婷色小说| 日亚二欧美| 深爱激情六月天| 国产精品久久久久9999小说| 五月花激情网| 色五月xxx| 五月天激情日色在线| 五月激情六月婷婷| 色色丁香| 中文AⅤ大全| www.sebowuyue| 包操45分钟网站| 久久人妻伊人| 深爱五月激情五月| 婷婷五月综合免费在线| 少妇激情基地| 婷婷五月天电影区小说区| 欧美色色色色色色色| 99热66| 亚洲成人av在线观看| 影音先锋色婷婷| 色婷婷色五月色丁香| 99这里只有精品|v| 色婷婷成人做爰A片免费看网站| 91久女| 久操热线| 亚洲AV色婷婷人禽五月天| www.五月婷婷.com| 99A片| 热久久91| 嫩草乱码一区三区四区| 激情视频网址| 久9免费视频| ...婷婷国产成人亚洲日韩| 色导航色婷婷五月天在线观看| 久久激情视频| 玖玖综合玖玖| 天天做天天干天天综合网| 五月久久婷婷成人网| 9l视频自拍9l九色成人| 啪啪操超碰| 色欲日日躁| 香蕉狠狠爱视频| 国内一级片| 激情综合国产| 国产精品视频久久99| 99热这里都是精品| 婷婷中文综合网| 无码一区二区三区四区五区91c| 99热在线播放| 99这里有精品视频视频| 99热这里有精品| 五月婷婷色综图片| 五月婷天天搞视频| 九九9久九9国产视频| 变态另类9| 丁香五月综合在线视频| 狠狠精品干练久久久无码中文字幕 | 国内熟女黄色系列| 九九视频精品这里只有| 99超级碰免费视频| 久久亚洲无码| 99精品在这里| 婷婷五月成人社区| 五月天色婷婷小说| 五月丁香六月激情在线| 色色色综合色| 日日操天天操| 超碰人人操人人9| 色综合五月在线| 丁香五月天激情小说| 久久九九爽| 久婷视频| 色色哒五月婷婷六月丁香| 九九热在线视频| 婷婷丁香熟妇综合网| 三区激情四射av| 久久网日本| 九九热99久久99| 人人爽人人爽人人爽人人爽| 99在线免费观看| 丝袜人妻| 九九热视频99| 色色激情五月| 97色女人在线| 婷婷久久婷婷| 91婷婷五月天嫩女| 丁香五月 无码| 爱婷婷五月| 少妇人妻丰满做爰XXX| 亚洲色9| 婷婷射丁香| 狠狠爱夜夜| 日日爱699| aV直接看| 久久成人天| 图片区 小说区 区 亚洲五月| 日本va欧美va欧美va精品| 操操自拍| 婷婷色情网| 激情性爱五月| 99福利导航| 激情图片婷婷丁香五月| 97人人搞| 婷婷五月天色色| 九色PORNY自拍成人精彩视频| 天天日天天插| 久久狠狠干| 狠狠爱五月婷婷| 亚洲AV第二区国产精品| 狠狠久久婷五月| 亚洲无线视频| 99久久99久久综合| 99视频超级精品| 色色色色网站| 综合久久婷婷五月丁香| 婷婷五月天成人网| 国产精品色色666| 热久久这里只有精品| 丁香五月中文字幕| 亚洲成人一区| 丁香五月天色综合| 国产偷人爽久久久久久老妇APP| 停停色综合伊人| 一级AV片| 99精在线| 久久久精品AV| 99色| 丁香五月亚洲综合| 91精品综合久久久久久五月天| 色婷婷狠狠| av无码电影| 色五月天激情| 婷婷五月天无码熟女| 熟女人妻视频| 激情五月天小说| 五月丁香啪。| 五月天啪啪| 26uuu色噜噜精品一区| 欧美顶级少妇做爰HD| 99精品无码网站| 97亚洲精品| 久久激情网| 99ri久久| 被强行糟蹋的女人A片| 亚洲 综合中文| 99精品成人无码A片观看金桔| 激情婷婷五月天网址| 8050一级网| 国产精品VA在线| 久久婷婷综合基地| 久久久婷| 婷婷五月天激情免费在线观看| 人人叉久| 狠狠的日| 99久久精品视频女神1| 超爽内射| 色色色综合色| 丁香婷婷色五月天| 99热综合| 久久机只有这里精品| 六月婷婷AV| 男女99免费视频| 婷婷五月天va| 丁香色五月AV在线| 欧美精品999| 99性爱精品| 亚洲天堂九九九| 狠狠干狠狠色| 亚洲色情网站| wWwCom夜操wwW| 久久五月天影院| 激情丁香九九五月综合网| 丁香六月啪啪| 亚洲国产精品VA在线看黑人| 91婷婷丁香五月| 五月激情五月丁香| 久久超级碰视频| 啪啪啪综合网| 亚洲第一综合| 色亭亭五月天网扯| 91性人人| A片试看50分钟做受视频| 天天草比天天爽| 婷婷五月天久久| 伊人五月婷| 丁香六月婷婷综合激情欧美| 五月天婷婷永久免费视频| 91人操人人人操人| 精品无码久久久久久久久| 免费观看大片视频 丁香婷婷 六月欧美| 久久66er久久| 亚洲自拍天堂| 日本熟妇乱妇熟色A片蜜桃| 五月婷婷六月丁香五月| 小视频一区| 久久资源网五月婷| 五月色情婷婷| 少妇高潮呻吟A片免费看软件| 日本天天操| 五月激情久久综合| 中文字幕成人| 碰人人97| 国产肥白大熟妇BBBB视频| 五月天伊人综合| 色婷婷丁香五月天激情综合网| 超碰9| 就爱日五月天| 激情五月婷婷| 精品久久99码| www激情| va婷婷在线| 人妻激情在线| 亚洲激情| 久久精彩视频18| 精品久久99| 婷婷月综合| 天天橾夜夜爽| 九九热99精品| 五月天婷婷三级黄| 色婷婷偷拍| 久久婷婷七月丁香| 色99在线| 九九aV| 色婷婷成人| 这里只有精品99www| 丁香久久| 色婷婷婷婷| 大胆伊人久久| 99精品久| 99色热综合| 丁香五月成人| 日韩中文欧美| 丁香六月啪啪啪| 丁香五月成人网| 丁香五月欧美激情| 天天拍久久| 26uuu四色| 丁香五月婷婷啪啪| 99在线播放视频| 丁香五月123| 久9热插入| 久久六月婷婷| 韩国中文字幕91| 欧美色五月| 久久久性爱视频| 91欧美日韩综合| 国产激情在线| 色五月大| 色综合久久中文| jiZZdr| 婷婷丁香人妻天天爽| www.婷婷五月天| enecarbon-materials.com污K127封锁请涟系@wip1688 | 婷婷午夜激情| 久婷婷婷| 色婷婷在线播放| 九九九午夜视频| 人人操91色| 色停停影院五月天| 亚州第一黄网| 97超碰9久热婷婷热| 婷婷丁香中文字幕| 最新无毒无码AV| 久久综合99综合| 9久热精品在线视频| 噼里啪啦完整版中文在线观看 | 天天做天天爱天天爽夜夜揉| 五月婷婷高清| 色婷婷丁香五月天在线视频 | 婷婷五月天激情综合网| 99热这里只有精品一区| 五月天色在线| 婷婷五亚洲| 五月婷视屏在线观看| 久久综合丁香激情五月| 欧美综合激情丁香五月六月婷| 色屌丝中文字幕| 精品亚洲VA网站| 99热这里只有是亚洲国产| 五月婷网站| 26uuu欧美日本| 99视频在线观看网址| 欧美日韩成人在线网| 97人人操| 激情开心五月天| 五月丁香六月激情| 久久曰9| 丁香五夜激情四射夜夜夜| 丁香五月成人丝袜| 婷婷五月丁香六月| 综合激情五月丁香9999久久精| 婷婷九月激情| 淫荡工a| 五月天婷婷综合免费| 日本九九网| 另类小说五月天| 99激情| 久久婷婷五月综合色区| 777久久久| 婷婷久久久久| 天天肏屄夜夜爽| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 丁香五月天堂网AV| 婷婷六月色开| 五月丁香 久久久| 3www激情| 成人版视频在线观看| 99热在线观看免费精品| 国产AV一区二区三区最新精品| 第九色区AV在线| 99九九热视频免费| 日木狠狠干| A A色色| 五月丁香婷婷综合久久| 五月天另类小说亚洲| 婷婷播播五月天| 丁香婷婷深情五月亚洲| 亚洲色网络| 97亚洲视频在线| 综合色婷婷| 99色综合网| 久久亚洲婷婷| 五月丁香婷婷在线| 无码视频国内精品久久久| 丁香九月激情久久| 小视频在线亚洲| 久热这里只有精品视频免费观看| 久久久激情视频| 六月丁香婷| 久久久天堂国产精品女人| 人妻操日日| 日本熟女视频一区二区| 五月婷婷性| 久久综合婷婷| 色婷婷色丁香色欲av| 狠狠色噜噜狠狠狠狠综合| 狠狠色综合777| 99热思思| www久久久久久久久久久| 99五月婷| 亚洲 在线 性爱 | 天天做天天摸| 99热这里都是精品| 伊人久热91| 99热99网| 欧美综合激情丁香五月六月婷| 亚洲综合激情五月久久| 婷婷五月综合网激情| 五月丁香六月色婷婷综合五月天| 俺去也五月天婷婷| 色播五月丁香| 91精品婷婷国产综合| 内射激情在线| 五月婷婷久久大香蕉| 日本精品人妻无码77777| 五月天丁香综合久久国产| 激情综合色五月六月婷婷| 97干婷婷| 超碰2021| 激情综合网五月天天| 久久99热这里只频精品6学生| 精品一二三区久久AAA片| 色婷婷伊人激情在线观看| 欧美成人日韩| 啪啪啪五月天| 99热97| 九九九九九九综合| 天天干天天玩天天夜天天射天天操天天日蜜臀少妇 | 91欧美| 婷婷五月天香蕉| 丁香五月色情| 五月丁香啪啪啪啪| 天天操天天操天天操天天操天天操| 丁香六月激情| 久久久激情视频| 天天干天天操天天拍| 青柠影视免费高清电视剧| 色色色婷婷五月天| 亚洲最大激情无码| 99精品视频播放| 五月丁香婷婷基地| 色五月婷婷亚洲最大| 婷婷五月天天| 六月婷婷俺也去| 国产成人高清| 亚洲免费电影2| 玖玖精品资源| 精品一二三区久久AAA片| 99超级碰免费视频| 综合伊人久久| 97超级碰碰碰久久久| 国产六月婷婷| 色色国产| 婷婷激情四射| 久99视频| 婷婷色九月| 久热亚洲| 丁香 亚洲 久久| xxx.色婷婷| 玖玖婷婷五月天毛片| 思思久久96热在精品国产,| 在线99热| 人人亚洲| 婷婷中文字幕| 九九综合九九| 日本三级韩三级99久久| WWW.99视频| 丁香五月激情五月| www.色色com| 亚洲另类噜噜| 五月婷婷婷色| 色色网五月激情| 天天干天天av天天射| 五月婷丁香亚洲| 影音先锋男人女人| 色婷婷影音| 国产,欧美,学生妹,视频| 91热er| 天天色粽合合合合合合合| 538在线精品| 婷婷五月激情网站| 婷婷五月天小说| 色情性爱视频网址| 天天综合精品| 有码人妻久久| 人妻丰满精品一区二区A片| 蜜乳.comcom| 在线观看国产高清视频免费网站| 婷婷久久国产视频| 91精品久久久久久久久久| 日韩按摩二区| 亚洲AV成人无码精品| 亚洲欧美另类在线23p| 色五月激情问网站| 婷婷深爱五月天| 成人片在线免费看| 五月天婷婷AV| 婷婷成人综合| 久久久久人妻| 丁香五月激情月| 色色色香蕉五月婷| 中文在线视频久1| 日韩国产在线免费观看| 亚洲天堂爱爱| 丁香六月婷婷综合色| 开心激情站| 激情综合网,婷婷| 狠狠爱深色婷婷综合| 婷婷五月天干干| www.综合久久| 4399成人黄A片| 综合激情伊人影视在线| 日本人妻伦在线中文字幕| AV天堂婷婷五月天| 五月天之色情综合网| 另类精品视频在线观看| 丁香五月婷婷色| 无码AV免费精品一区二区三区| 爱婷婷久久视频| 色婷婷最新域名| 操碰99| 操笔无码| 久久看九九90| 五月天婷婷AV| 亚洲五月天综合色| 免费无码毛片一区二区A片| 久久精品亚洲一级牲爱综合| 精品女人九九九| 天天爱天天爽| 综合激情深爱| 五月丁香啪综合| 任你爽视频| 久久性爱视频久久性爱视频| 久草热在线视频| 亚洲五月婷天天操| 成人啪啪色婷婷久| AV操操操| 色综合色欲综合天天免费 | 亚洲成人一区| 久久性爱99国产| 婷婷五月色播| 亚洲性爱干干| 99ri视频在线观看| 人人爱国产| 五月丁香婷婷激激激综合网色播| 99资源在线视频| 亚洲人妻av伦理| 色色色色色综合| 全亚洲最大的婷婷五月天网站COM| AA丁香综合激情| 亚洲成人在线五月天| 激情av| 99热在线观看| 丁香婷婷91在线观看视频| 久久国产性爱A V| 9久操| 六月激情网| 欧美色爱五月天| 66精品国产成人| 操逼综合激情网| 久久久久er热| 天堂草在线看www| 丁香五月天导航| 久草丁香婷婷1024| 九热免费视频| 久久这里有精品99| 三级三久久线久久99久目本WW| 538在线精品| 超碰不卡在线| 久久九九99亚洲国产久精综合| 婷婷射图| 欧美97超碰| 五月婷婷,六月丁香| 天天插AV丝袜中| 国产精品久久久99视频| 超碰人人操人人9| 99精品视频在线观看| 五月丁香六月激情视频| 丁香桃色综合网| 欧美激情综合色综合啪啪五月| 久久caop| 99热这里只有精品66| 五月天激情小说欧美激情| 99这里是99在线视频| 久久久A级视频| 国产精品人成A片一区二区| A1片久久久| 热99精品视频| 成人在线日韩| 婷婷五月无码| 色色色色色色综合网| 99这里只有精品|v| 深爱激情五月婷婷| 六月丁香啪| www.99色| 97碰碰视频在线观看| 99热在线这里| 天天狠狠色噜噜| www.激情.com.| 99热天堂| 日韩一级| 99久久人妻精品无码二区| 午夜丁香| 可以看的av| 99热99干| 色 五月俺去也| 久思思热视频在线观看| 99热久草| se.久久视频在线观看| 91色综合网站在线| 乱岳熟女50岁| 婷婷少妇激情| 色五月婷婷五月天激情综合| 久久五月丁香伊人青草| 97在线精品| 激情视频91| 色欧美日| 综合激情四射一theav| 岛国在线观看91| 99久久国产宗和精品1上映| 色五月激情五月天| 天天操加勒比| 超碰网站在线观看| 六月婷婷在线视频| 五月天激情av| 97干婷婷五月天| 男人的天堂999| 久久九九爽| 久久五月激情综合| 久久婷婷久久| 1024成人在线观看| 五月天婷婷丁香花| 色婷婷五月成人网| 99久高清视频| 亚州精品成人片| 人操91在线| 亚洲狠狠色丁香婷婷综合久久| 国产69久久久欧美黑人A片| 色婷婷五月天| 五月综合久久| 精品色色| 亚洲乱码精品久久久久..| 欧美日韩91| 亚洲黄色影视| 欧美丁香婷婷五月| 开心深爱激情网| 91精品综合久久久久久五月丁香| 五月天婷婷久久| 色天堂A| 九九在线精点品| 五月天国产| 婷婷丁香人妻天天爽| 五月激情综合美女久久| 五月天色社区| 欧美成人色婷婷| 色综合久久88色综合天天99| 九九热10| 国产成人网址| 久久99久久久久久| 五月丁香怕怕综合| 色月视频| 五月天色婷婷基地| 人人舔人人| 五月婷婷开心五月| 亚洲欧美婷婷五月色综合| 91九色视频在线观看| 色综合久久88色综合天天99| 超碰人人干| 色综合色色| 国产67194| 国产精品久久久久久久久久| 欧美亚洲色色色色| 五月天操逼激情| 操逼视频网址| se99热久久一本| 99 re视频一区| 亚洲色婷婷| 色婷婷五月天激情在线播放| 97色婷婷| 丁香五月婷婷激情小说| 激情婷婷五六月天| 欧洲亚洲免费视频区| 久久婷婷五月激情网站| http://www.sd-xiangsu.com/| 久久久这里有精品| 丁香五月六月| 丁香六月婷婷综合激情欧美| 亚洲激情AV| 综合五月婷婷| 婷婷五月天av| www.婷婷com| 九九色天堂| 久99久视频| VA国产在线综合网站| 五月花亭亭| 九九热精品在线| 六月丁香啪啪| 日本人妻伦在线中文字幕| 九热视频在线伦| 亚洲色图啪啪| 另类视频综合| 午夜九九电影| 色天天综合| 天堂网啪啪| 日韩九区| 色色色九九九五月婷婷| 婷婷玖玖五月天| 精品国产va久久久久| 色色色色色色色色色999| 99这里只有| 日本一级一级一级一级| 精品亚洲国产成AV人片传媒| 99视频在线观看视频| 色五月大香蕉| 99热这里只有精品50| 五月婷婷丁香| 天天日天天色| 天啪色| 激情深爱五月婷婷| 丁香五月天啪啪激情综和网| 99热99精品| 精品国产乱码久久久久夜深人妻 | 色播jjjj| 丁香六月激情四射| 丁香婷婷五月天色播| 婷婷综合在线| 大香蕉啪啪啪| 丁香久久九九99| 色婷婷五月天天天天天| 99色最新在线视频网站| 九九热av| 色色综合网www| 久久久8| 视色综合| 99久久性爱| 五月婷婷综合色啪首页| 九色视频91| 天天舔天天摸视频| 五月丁香色情| 久久99久久99www| 五月天激情黄色小说在线观看| 天天色天天色天天色天天色天天色| 99激情网| 1024成人免费看| 婷婷综合| 五月天婷婷综合免费| 亚洲欧美成人在线| 最新AV在线观看| 天天摸天天舔天天爽| 九九亚洲| 国产性av| 99操99| 色小说五月天| 性做久久久久久久免费看| 免费成人网在线观看| 色天天久婷婷| 99区视频| 天天日天天摸| 婷婷色情 | 五月天啪啪视频| 噜噜色com| 丁香五月社区| 黄色成人网站在线播放| 色性日本| 五月婷婷深深爱| 免费97碰碰| 日本五月视频| 国产成人AV在线播放| 激情五月天婷婷播播久久综合91| 99re最新地址视频| 五月婷婷激情综合| 人妻激情久久| Av狠狠色丁香婷| 亚洲AV中文在线| 91干99| 五月丁香激情婷婷综合字幕| 国产成人av在线| 永久天堂日本| 六月婷婷私欲| 久草婷婷| 日日操夜夜操无码免费| 六月天丁婷婷| 性做久久久久久久免费看| 碰碰91| 26uuu成人网| 青吴乐视频| 在线色五月婷婷| 色婷婷狠狠| 九九99九九99偷拍视频免费看| www.国产色| 69凹凸成人综合网| 国产激情综合五月| 色色五月天激情| 超级碰碰碰91| 五月丁香六月综合基地| 日韩限制级大尺度黑料泄密大尺度视频一区二区在线观看 | 久久久人妻门| 99啪啪| 婷婷五月综合激情| 激情五月婷| Y11111111111少妇电影院| 插插五月天| 色五月激情五月| 激情综合五月婷| 91精品久久久久久| 久超超碰| 激情图片久久| 超碰色女| 久久精品人妻| 九月av在线| 亚洲六月色| 亚洲五月六月婷婷| 色五月视频无码播放| 五月婷婷六月丁香| 六月丁香五月婷婷首页| 激情五月天影院| 日本高清久| 99超级碰碰| 九九色院| 色爱综合网| 五月丁香成年黄色| 日日夜夜狠狠| 97自拍99| 五月婷婷五月天| 99热欧美偷拍| 六月婷婷综合| 无码髙清| 色婷婷AV在线| 欧美啪啪五月天| 亚洲国产精品VA在线看黑人| 伊人久久大香线蕉AV最新午夜| 五月宗合激情网| 91九色无码内射| 五月亭亭狠狠| www,色综合| 久久综合首页| 99热在线中文字幕| 久久综合九九| 那里有AV网址| 国产成人网| 五月婷婷丁香伦理网| 亚洲乱码日产精品BD| 先锋资源996| 综合久久十三| 思思热久热| 婷婷五月激情综合啪啪| 噜噜噜久久| 国产精品99久久久久久猫咪| 亚州色婷婷| 色五月丁香六月资源站| 99热精品在线观看| 成人网站免费sxj| 日本三级99人妇网站| 狠狠狠狠狠狠狠狠| 97碰碰碰| 在线视频另类| 婷婷五月综合色中文字幕| 婷婷在线视频| 婷婷五月天激情综合深爱| www.色欲丁香婷婷| se影音资源在线观看| 九九色区| 另类激情五月| 五月份婷婷| 婷婷丁香社区| 5月婷婷激情6月| 碰人人97| 啪啪99| 人妻射精AV| 日欧一片内射VA在线影院| 这里只有精品视频一区| 色五月色情| 亚洲综合1024| 99热香港| 色色色色色色色五月| 色噜噜五月天| 婷婷91| 97久久视频| WWW,婷婷,COM| 婷婷99视频精品| 9999久久久久| 俺去也在线视频| 日亚二欧美| 开心五月婷婷| 激情婷婷五月天在线观看| 狠狠色丁香久久综合婷婷亚洲成人福利 | 青青艹b| 另类视频综合| 婷婷丁香五月激情图片| 97人人操com| 操一区| 丁香色情五月综合网站| 久久婷视频| 久99热| 亚洲热久久| 久久停停超碰| 丁香五月天在线观看视频| 婷婷色婷婷| 国产精品噜噜在线视频| 青青草婷婷五月天| 日本久久人人| 777久久精品| 涩婷婷视频快播人妻| av在线资源| 热99这里只有精品视频| 操日视频| 95精品区一区二| 六月色播| 天天日天天操心| 色综合色色| 99这里| 天天综合干| 91久久五月天| 欧美丰满熟妇BBB久久久| 婷婷狠狠干| 国产精品久久久99视频| 色色草97| 欧美色五月| 色导航色婷婷五月天在线观看| 超碰av在线| 亚洲永远av在线播放| 91人妻PORNY九色大屁股| 日本熟女一区二区| 99久久久国产大片区| 99热伊人综合| 国产成人av在线| 天天综合图片| 另类图片色五月| 伊人大香久久| 亚洲久热| 大香蕉啪啪| 综合五月激情网| 99久久婷婷国产综合精品草原| 懂色av粉嫩AV蜜臀AV| xxx.色婷婷| 亚洲五月天婷婷| 亚洲不卡| www.五月婷婷久久.com| 日本123区日韩欧美不卡在线看| 99爱免费视频| 97操在线| 日本激情五月| 九月婷婷在线视频| 色播五月天天| 中文字幕精品无码一区二区| 五月天·www·com| 丁香婷婷大香蕉| 狠狠色婷婷7| 五月丁香激情综合网| 婷婷99中文字幕| 99riAV国产精品视频| 免费观看日韩成人av| xx色综合| 白人荫道BBWBBB大荫道| 五月丁香va| 日日做A爰片久久毛片A片英语| 丁香激情五月综合网| 久热9| 亚洲开心激情网| 香蕉AV777XXX色综合一区| 丁香六月av| 爽tv | 天天舔日日肏夜夜爽| 婷婷五月天大香蕉在线视频观看| 婷婷5月天激情综合| 综合色、色综合| 色操b| 九九热99久久99| 久久在线大香蕉| 涩九九九九| 九九aV| 熟女激情网| 国产3p露脸普通话对白| 六月婷婷之青青草| 熟女人妻视频| 色五开心五月五月深深爱| 91久久九色| 久久五月综合| 琪琪色五月天| 天天舔天天爽| 99热日本| 婷婷五月综合性爱| 天天综合色丁香| 日本综合久久| 内射爽无广熟女亚洲| 色婷婷六月综合| www.久久9| 亚洲欧美婷婷五月色综合| 久久久久久天天日天天爱| 国产肥白大熟妇BBBB视频| 天天综合网亚洲网站| 伊人网啪啪| 久久激情五月| 亚洲综合丁香五月天| 精品99在线| 日日操天天操| 色综合网综合| 色婷婷狠| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 亚州激情网站无码| tingtingseav| 天天操B| 五月综合激情视频| 久久免费操|