欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

基于深度學(xué)習(xí)的自然場景中文OCR識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

基于深度學(xué)習(xí)的自然場景中文OCR識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 簡介本資源是一套完整的基于Python深度學(xué)習(xí)的自然場景中文OCR識(shí)別系統(tǒng)面向本科畢設(shè)、科研入門及輕量級(jí)項(xiàng)目落地開發(fā)者解決復(fù)雜背景下中文字含豎排、繁體的端到端識(shí)別難題。壓縮包共715個(gè)文件涵蓋23個(gè)核心Python腳本含model.py、utils.py、config.py等模塊化代碼、35張PNG/17張JPG測試圖像、3個(gè)ONNX/MNN模型文件、135個(gè)XML標(biāo)注數(shù)據(jù)及Linux/C推理程序.cpp/.sh/.bat另有Web前端HTML/CSS/JS文件與仿宋_GB2312.ttf字體支持中文渲染整體大小48.08MB。已有64人學(xué)習(xí)下載。用戶可直接運(yùn)行Web界面上傳圖片識(shí)別復(fù)現(xiàn)CRNN模型訓(xùn)練與推理全流程配套詳細(xì)運(yùn)行說明文檔覆蓋環(huán)境配置、模型加載、前后端聯(lián)調(diào)及邊緣設(shè)備移植要點(diǎn)目錄結(jié)構(gòu)分層清晰含data、model、web、cpp、linux等獨(dú)立模塊便于理解系統(tǒng)架構(gòu)與二次開發(fā)。 自然場景下的中文OCR和掃描件識(shí)別完全是兩碼事。我最早拿手機(jī)拍了一塊店鋪招牌丟給傳統(tǒng)OCR引擎結(jié)果識(shí)別出來的內(nèi)容基本沒法看——光照不均勻、透視畸變、藝術(shù)字體、豎排牌匾傳統(tǒng)方案面對(duì)這些情況幾乎毫無招架之力。后來轉(zhuǎn)向深度學(xué)習(xí)方案把檢測和識(shí)別拆成兩個(gè)模型才真正把準(zhǔn)確率拉到了可用水平。這篇文章就從這個(gè)實(shí)際項(xiàng)目展開一個(gè)基于Python深度學(xué)習(xí)實(shí)現(xiàn)的自然場景中文文字OCR識(shí)別系統(tǒng)帶前端Web界面支持橫版和豎版文字。完整源碼、運(yùn)行說明和預(yù)訓(xùn)練模型都在包里拿到就能跑。這套系統(tǒng)解決的是真實(shí)世界的文字識(shí)別需求手機(jī)隨手拍的照片、街邊招牌、路牌、海報(bào)、書籍封面、漫畫對(duì)話框、豎排古建筑牌匾。它能做的事概括起來就一句話——輸入一張圖片輸出圖片里所有文字內(nèi)容以及對(duì)應(yīng)的位置坐標(biāo)。適合正在入門OCR方向的開發(fā)者、需要在自有產(chǎn)品里集成文字識(shí)別能力的工程師以及準(zhǔn)備做圖像處理方向課程設(shè)計(jì)的同學(xué)參考。下面我把整個(gè)系統(tǒng)的設(shè)計(jì)思路、核心實(shí)現(xiàn)、訓(xùn)練過程和踩坑經(jīng)歷完整梳理一遍。1. 系統(tǒng)整體設(shè)計(jì)與技術(shù)選型1.1 為什么用Python加深度學(xué)習(xí)做場景文字識(shí)別先聊聊技術(shù)選型背后的邏輯。傳統(tǒng)OCR方案比如Tesseract處理規(guī)整的印刷體文檔掃描件時(shí)效果確實(shí)還行但放到自然場景里就直接暴露短板。自然場景的文字有幾個(gè)顯著特點(diǎn)背景復(fù)雜文字經(jīng)常跟招牌紋理、墻面圖案混在一起光照條件不可控有陰影、反光、暗部字體千變?nèi)f化楷書、行書、藝術(shù)字、帶描邊的字版面不規(guī)整文字是斜的、彎的甚至一整列豎排下來圖片分辨率也參差不齊手機(jī)拍的、監(jiān)控截圖的都有。傳統(tǒng)方法依賴閾值分割、連通域分析、模板匹配這些手段面對(duì)上述情況很難穩(wěn)定工作。一副邊緣被遮擋的招牌連通域直接斷成好幾塊陰影落在字面上閾值分割出來的文字殘缺不全。這些問題不是調(diào)調(diào)參數(shù)就能解決的是特征表達(dá)能力的上限問題。深度學(xué)習(xí)方案的優(yōu)勢在于整個(gè)流程端到端可訓(xùn)練檢測模塊通過卷積神經(jīng)網(wǎng)絡(luò)直接回歸文本區(qū)域的位置識(shí)別模塊對(duì)裁剪出來的文字圖像做特征提取和序列解碼。網(wǎng)絡(luò)在大量真實(shí)場景數(shù)據(jù)上學(xué)到的特征表達(dá)對(duì)光照變化、字體差異、復(fù)雜背景的魯棒性遠(yuǎn)優(yōu)于人工設(shè)計(jì)的特征。這也是為什么近幾年的OCR技術(shù)基本都被深度學(xué)習(xí)方法統(tǒng)治了。Python在這個(gè)領(lǐng)域的生態(tài)優(yōu)勢無法忽略。PyTorch、TensorFlow、OpenCV、PaddleOCR這些工具鏈都圍繞Python展開實(shí)驗(yàn)迭代、模型調(diào)試、快速部署都很方便。做OCR研究的公開代碼、預(yù)訓(xùn)練模型、數(shù)據(jù)集絕大多數(shù)都是Python生態(tài)的用Python能最快站在前人的肩膀上做工程落地。1.2 整體架構(gòu)檢測加識(shí)別兩階段方案目前自然場景OCR的主流方案是兩階段管線先用文本檢測模型從整圖中定位出文字區(qū)域再把每個(gè)文字區(qū)域裁切出來送入識(shí)別模型得到字符序列。這套系統(tǒng)也沿用了這個(gè)架構(gòu)。為什么不用端到端的單模型方案端到端文本識(shí)別比如把檢測和識(shí)別融合進(jìn)一個(gè)網(wǎng)絡(luò)雖然看起來更簡潔但實(shí)現(xiàn)復(fù)雜度高訓(xùn)練數(shù)據(jù)要求更嚴(yán)格而且解耦性差——檢測模塊想單獨(dú)調(diào)優(yōu)或者替換的時(shí)候會(huì)很被動(dòng)。兩階段方案的好處是每一段都可以獨(dú)立優(yōu)化檢測不準(zhǔn)就換更強(qiáng)的檢測模型識(shí)別不準(zhǔn)就單獨(dú)迭代識(shí)別模型互不干擾。工程上維護(hù)起來也更舒服。檢測階段用的是DBNet全稱Differentiable Binarization。它對(duì)輸入圖像生成一個(gè)文字區(qū)域概率圖再通過可微二值化操作把概率圖轉(zhuǎn)成分割掩碼最后用輪廓提取拿到文本框。DBNet能在復(fù)雜背景下比較準(zhǔn)確地框出文字區(qū)域而且對(duì)有向文本和豎排文本都有不錯(cuò)的支持這正好契合本項(xiàng)目要處理自然場景的需求。識(shí)別階段采用CRNN加CTC的結(jié)構(gòu)。CRNN是經(jīng)典三件套卷積層從輸入圖像中提取特征序列雙向LSTM對(duì)特征序列建模上下文依賴CTC損失函數(shù)解決輸入序列和輸出序列長度不一致的時(shí)序?qū)R問題。CTC最大的優(yōu)勢是不需要逐字符的位置標(biāo)注只要提供最終的文本內(nèi)容就能訓(xùn)練極大降低了數(shù)據(jù)標(biāo)注成本。為什么不選基于Transformer的方案CRNN結(jié)構(gòu)更簡單訓(xùn)練穩(wěn)定性好對(duì)中文場景下數(shù)據(jù)量要求沒那么苛刻。Transformer雖然在大規(guī)模數(shù)據(jù)上表現(xiàn)更強(qiáng)但中文識(shí)別任務(wù)字符集大常用漢字就有三千多個(gè)數(shù)據(jù)量不夠時(shí)Transformer很容易過擬合。CRNN配合CTC在中等規(guī)模數(shù)據(jù)集上就能達(dá)到不錯(cuò)的精度推理速度也快CPU上也能實(shí)時(shí)跑。對(duì)于工程落地來說穩(wěn)定省事比什么都重要。1.3 豎版文字支持的設(shè)計(jì)思路豎版文字是自然場景OCR中特別容易被忽略但實(shí)際又經(jīng)常遇到的需求。古建筑牌匾、店鋪豎招牌、書脊標(biāo)題、海報(bào)裝幀、漫畫對(duì)話氣泡到處都有豎排中文。國內(nèi)外很多OCR系統(tǒng)第一版都沒有考慮豎排場景遇到豎排文字就束手無策。豎版識(shí)別的難點(diǎn)在于檢測模型如果只按水平方向回歸文本區(qū)域豎排文字就會(huì)被壓縮成一條特別窄長的小圖。這種圖正??s放到識(shí)別模型的輸入尺寸后每個(gè)字符都被水平擠壓變形識(shí)別模型基本猜不出是什么字。這個(gè)系統(tǒng)的做法分三步檢測階段輸出帶旋轉(zhuǎn)角度的文本框用四頂點(diǎn)坐標(biāo)表示不做強(qiáng)制水平矯正根據(jù)文本框的寬高比判斷文字方向高度明顯大于寬度時(shí)判定為豎排文本對(duì)豎排文本框做90度旋轉(zhuǎn)后再送入識(shí)別模型把豎排問題轉(zhuǎn)化成橫排問題處理識(shí)別結(jié)果再映射回原圖坐標(biāo)輸出關(guān)鍵收益在于識(shí)別模型不需要單獨(dú)訓(xùn)練一套豎排權(quán)重一套橫排識(shí)別模型就能覆蓋豎排場景工程量節(jié)省一大截。這個(gè)思路本質(zhì)上就是問題轉(zhuǎn)換把不擅長的輸入形態(tài)轉(zhuǎn)成擅長處理的形態(tài)。2. 環(huán)境搭建與運(yùn)行準(zhǔn)備2.1 Python深度學(xué)習(xí)環(huán)境配置項(xiàng)目使用的基礎(chǔ)環(huán)境是Python 3.8加PyTorch 1.10訓(xùn)練用的顯卡是RTX 306012G顯存。說實(shí)話這個(gè)配置在深度學(xué)習(xí)里算入門級(jí)但跑這個(gè)項(xiàng)目的訓(xùn)練和推理完全夠用。如果沒有GPU純CPU也能跑就是單張圖推理時(shí)間會(huì)長一些后面會(huì)具體聊部署優(yōu)化的方式。關(guān)鍵依賴庫清單如下torch、torchvision深度學(xué)習(xí)框架模型訓(xùn)練和推理的核心opencv-python圖像讀取、縮放、輪廓查找、透視變換等圖像處理操作numpy數(shù)組運(yùn)算坐標(biāo)變換和概率圖后處理依賴它Pillow前端上傳圖片的讀取和處理Flask提供Web后端服務(wù)pyclipper、shapelyDBNet后處理中多邊形裁剪和IOU計(jì)算用到的幾何工具庫安裝環(huán)節(jié)有幾個(gè)容易踩的坑先給大家提個(gè)醒。PyTorch的CUDA版本必須和顯卡驅(qū)動(dòng)匹配安裝前先查清楚自己機(jī)器的CUDA版本用nvidia-smi看一眼。opencv-python和shapely在某些Python版本下沒有預(yù)編譯的wheel包直接pip安裝可能報(bào)錯(cuò)建議鎖定版本安裝。國內(nèi)網(wǎng)絡(luò)環(huán)境下pip默認(rèn)源下載速度經(jīng)常讓人崩潰建議一開始就把鏡像源換成清華或阿里云的。另外不要忘記安裝gunicornFlask自帶的開發(fā)服務(wù)器并發(fā)能力太弱后面部署時(shí)會(huì)用到。2.2 源碼結(jié)構(gòu)和模型文件說明項(xiàng)目壓縮包解壓后的目錄結(jié)構(gòu)大致如下ocr_system/ ├── app.py # Flask Web服務(wù)入口 ├── predictor.py # OCR推理封裝類 ├── models/ │ ├── det/ │ │ └── dbnet_resnet50.pth # 文本檢測模型 │ ├── rec/ │ │ ├── crnn_resnet34.pth # 文本識(shí)別模型 │ │ └── charset.txt # 字符集文件 ├── templates/ │ └── index.html # 前端頁面 ├── static/ │ ├── css/ │ └── js/ ├── requirements.txt # 依賴清單 └── README.md # 運(yùn)行說明檢測模型參數(shù)文件大約80MB識(shí)別模型約40MB。這兩個(gè)模型都是在公開數(shù)據(jù)集基礎(chǔ)上額外加了一批自己標(biāo)注的真實(shí)場景數(shù)據(jù)微調(diào)得到的。檢測模型能覆蓋自然場景中的招牌、路牌、海報(bào)、電子屏幕等常見文字區(qū)域識(shí)別模型支持簡體中文字符集約3000個(gè)常用字加上數(shù)字、英文大小寫和常用標(biāo)點(diǎn)。charset.txt這個(gè)文件很容易被忽略但極其重要。識(shí)別模型的輸出維度就是字符集的大小如果實(shí)際使用場景里包含字符集以外的生僻字或特殊符號(hào)識(shí)別結(jié)果會(huì)是空或者錯(cuò)字。遇到這種情況需要把新字符加進(jìn)字符集文件對(duì)應(yīng)調(diào)整模型輸出層維度并重新訓(xùn)練識(shí)別模型的最后一層。3. 核心實(shí)現(xiàn)細(xì)節(jié)與關(guān)鍵代碼解析3.1 文本檢測模塊的推理實(shí)現(xiàn)檢測模塊的核心流程是讀圖、縮放、網(wǎng)絡(luò)前向傳播、后處理、輸出文本框列表。圖像縮放這個(gè)環(huán)節(jié)有個(gè)細(xì)節(jié)必須注意。DBNet訓(xùn)練時(shí)通常把圖像短邊縮放到640像素長邊限制在2560以內(nèi)。推理的時(shí)候縮放的配置要和訓(xùn)練時(shí)保持一致否則檢測尺度不一致會(huì)導(dǎo)致小字漏檢或者大字被切成多塊這個(gè)偏差在自然場景圖片上尤其明顯因?yàn)樵瓐D分辨率往往差異很大。后處理部分包含概率圖二值化、輪廓查找和文本框構(gòu)建。DBNet的可微二值化是訓(xùn)練時(shí)用的技巧推理階段直接用固定閾值對(duì)概率圖做二值化閾值取0.3能獲得比較均衡的檢測效果低于這個(gè)值容易把背景也框進(jìn)來高于這個(gè)值則可能漏掉邊緣比較模糊的文字。輪廓查找使用的是cv2.findContours函數(shù)找到的是多邊形點(diǎn)集還需要用最小外接矩形把它轉(zhuǎn)成帶角度的文本框。這里對(duì)面積過小或者寬高比過于離譜的候選框要過濾掉不然一張照片里會(huì)跑出大量噪聲框。我習(xí)慣把面積閾值設(shè)成50像素同時(shí)加入了一個(gè)限制條件檢測框面積小于圖像面積萬分之三的直接丟棄這樣能有效減少背景痕跡帶來的誤檢。import cv2 import numpy as np import torch def detect_text(image, det_model, device): # 預(yù)處理歸一化 resize h, w image.shape[:2] # 短邊縮放保持長寬比 target_h 640 if h w else 1280 scale target_h / max(h, w) new_w, new_h int(w * scale), int(h * scale) img_resized cv2.resize(image, (new_w, new_h)) # BGR轉(zhuǎn)RGBHWC轉(zhuǎn)CHW歸一化 tensor torch.from_numpy( cv2.cvtColor(img_resized, cv2.COLOR_BGR2RGB).transpose(2, 0, 1) ).float().div(255).unsqueeze(0).to(device) with torch.no_grad(): prob_map det_model(tensor)[0, 0].cpu().numpy() # 二值化 輪廓提取 binary (prob_map 0.3).astype(np.uint8) * 255 contours, _ cv2.findContours(binary, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) boxes [] for cnt in contours: area cv2.contourArea(cnt) if area 50: continue # 最小外接矩形保留旋轉(zhuǎn)信息 rect cv2.minAreaRect(cnt) box cv2.boxPoints(rect) boxes.append(box / scale) # 坐標(biāo)映射回原圖 # 合并重疊框 if boxes: boxes nms(boxes, threshold0.5) return boxes這段代碼有三個(gè)地方值得展開說。第一NMS非極大值抑制不能省一張復(fù)雜場景圖上檢測模型經(jīng)常會(huì)對(duì)同一行文字輸出多個(gè)重疊框不做NMS會(huì)導(dǎo)致同一行文字被識(shí)別好幾次輸出結(jié)果會(huì)有明顯的重復(fù)噪聲。第二檢測框坐標(biāo)一定要除以縮放比映射回原圖坐標(biāo)不然前端在展示檢測框疊加效果時(shí)會(huì)發(fā)現(xiàn)框的位置完全對(duì)不上。第三cv2.findContours在不同版本的OpenCV中返回值形式不一樣新版OpenCV返回兩個(gè)值而舊版返回三個(gè)值寫代碼的時(shí)候要留意自己環(huán)境里裝的OpenCV版本。3.2 豎版文字判斷與旋轉(zhuǎn)處理拿到檢測框之后下一步是判斷每個(gè)框里文字的排列方向。最直接的方法是看最小外接矩形返回的寬和高取其中較大的作為文本方向。自然場景下文本行一般是長條形橫排文本的寬度明顯大于高度豎排文本則反過來。判斷邏輯可以按寬高比來def is_vertical(box): # box: 四頂點(diǎn)坐標(biāo)按順序排列 (x1, y1), (x2, y2), (x3, y3), (x4, y4) box width np.hypot(x2 - x1, y2 - y1) height np.hypot(x4 - x1, y4 - y1) return height width * 1.2閾值系數(shù)1.2是靠實(shí)測調(diào)出來的。設(shè)得太靈敏會(huì)把略微傾斜的橫排文字誤判成豎排導(dǎo)致旋轉(zhuǎn)后反而識(shí)別錯(cuò)亂設(shè)得太遲鈍則真正豎排的窄長框識(shí)別不了。實(shí)際調(diào)節(jié)時(shí)建議在測試集上同時(shí)看誤檢率和漏檢率找到一個(gè)平衡點(diǎn)。判定豎排之后處理流程是先把帶角度的文本框矯正成水平矩形然后再順時(shí)針旋轉(zhuǎn)90度。這里有個(gè)細(xì)節(jié)容易出錯(cuò)旋轉(zhuǎn)方向必須統(tǒng)一。如果橫排識(shí)別模型是基于從左到右的文字順序訓(xùn)練的豎排文字旋轉(zhuǎn)后也必須保持從左到右閱讀的方向否則識(shí)別模型輸出的文字序列會(huì)是反的。為了保證旋轉(zhuǎn)方向正確我寫了一個(gè)輔助函數(shù)先通過透視變換把檢測框內(nèi)的圖像矯正為正矩形再判斷矯正后的高和寬決定旋轉(zhuǎn)方向。矯正時(shí)用cv2.getPerspectiveTransform加cv2.warpPerspective實(shí)現(xiàn)這樣即使檢測框帶角度也能得到相對(duì)工整的文字圖像。def crop_rotate_text(image, box): # 矯正帶角度的文本框 h int(np.hypot(box[3][1] - box[0][1], box[3][0] - box[0][0])) w int(np.hypot(box[1][1] - box[0][1], box[1][0] - box[0][0])) src box.astype(np.float32) dst np.array([[0, 0], [w - 1, 0], [w - 1, h - 1], [0, h - 1]], dtypenp.float32) M cv2.getPerspectiveTransform(src, dst) crop cv2.warpPerspective(image, M, (w, h)) if h w: # 豎排旋轉(zhuǎn)90度轉(zhuǎn)成橫排 crop cv2.rotate(crop, cv2.ROTATE_90_CLOCKWISE) return crop3.3 識(shí)別模型與CTC解碼識(shí)別模型的輸入是一張高度固定為32像素、寬度按原圖比例縮放的灰度圖。之所以固定高度而不是固定寬度是因?yàn)槲谋拘械拈L度差異很大卷積網(wǎng)絡(luò)對(duì)不同寬度輸入有一定容忍度但高度固定可以讓特征圖的高維信息對(duì)齊。識(shí)別模型輸出的是一串按時(shí)間步排列的字符概率分布需要經(jīng)過解碼才能得到最終文本。CTC解碼的核心思路是去除重復(fù)字符和空白分隔符。最常見的解碼方式是貪婪搜索每個(gè)時(shí)間步直接取概率最大的字符然后合并連續(xù)重復(fù)字符、去掉空白字符。這樣做簡單高效大多數(shù)場景下效果已經(jīng)夠用。但中文識(shí)別任務(wù)有個(gè)特殊難點(diǎn)常見字里有很多結(jié)構(gòu)相似的字符比如“未”和“末”、“日”和“曰”、“己”和“已”。這些字在概率分布中得分往往非常接近單靠視覺特征很難區(qū)分貪婪搜索很容易翻車。如果對(duì)準(zhǔn)確率要求更高可以在解碼時(shí)引入語言模型或者常用詞先驗(yàn)。更穩(wěn)妥的做法是用beam search保持多個(gè)候選序列在最后打分時(shí)把相鄰字符的共現(xiàn)概率考慮進(jìn)去。這個(gè)系統(tǒng)默認(rèn)使用貪婪搜索保證速度同時(shí)在接口層預(yù)留了一個(gè)use_beam_search參數(shù)部署時(shí)可以根據(jù)場景開關(guān)。3.4 前端Web界面與接口設(shè)計(jì)模型部分搞定了最后要落到能用的工程層。系統(tǒng)使用Flask提供Web服務(wù)前端頁面支持兩種玩法上傳圖片識(shí)別、粘貼圖片URL識(shí)別。后端接口設(shè)計(jì)得很簡潔就一個(gè)核心接口接口地址POST /api/ocr請求參數(shù)圖片文件字段名是image支持jpg、png、bmp格式返回結(jié)果JSON包一個(gè)items數(shù)組每個(gè)元素包含文本框坐標(biāo)、識(shí)別文字、置信度返回結(jié)果和前端展示是解耦的接口不關(guān)心前端怎么渲染。前端拿到坐標(biāo)數(shù)據(jù)后用Canvas在圖片上畫出檢測框和識(shí)別文字方便你直觀地檢查識(shí)別效果有沒有問題。{ items: [ { bbox: [[120, 80], [320, 80], [320, 120], [120, 120]], text: 人民路, confidence: 0.96 } ] }前端頁面用原生HTML加一點(diǎn)JavaScript實(shí)現(xiàn)沒有引入Vue、React這類大框架好處是零構(gòu)建、打開即用也方便按照自己的需求改界面樣式。這里必須提一個(gè)部署層面的坑Flask自帶的開發(fā)服務(wù)器是單進(jìn)程單線程的多個(gè)用戶同時(shí)上傳圖片時(shí)會(huì)出現(xiàn)排隊(duì)阻塞拖慢整個(gè)系統(tǒng)的響應(yīng)。生產(chǎn)環(huán)境部署時(shí)建議用gunicorn啟動(dòng)服務(wù)或者至少加上線程池。實(shí)測單張圖片在GPU上的推理耗時(shí)約150到300毫秒CPU上約1到2秒如果并發(fā)量上來了Flask自帶服務(wù)器是扛不住的。4. 數(shù)據(jù)準(zhǔn)備與模型訓(xùn)練過程4.1 訓(xùn)練數(shù)據(jù)來源與預(yù)處理策略做自然場景OCR數(shù)據(jù)永遠(yuǎn)是決定效果上限的因素。這個(gè)項(xiàng)目的訓(xùn)練數(shù)據(jù)主要由三部分構(gòu)成公開數(shù)據(jù)集、網(wǎng)絡(luò)圖片爬取、自己拍攝標(biāo)注。公開數(shù)據(jù)集用的是ICDAR系列的場景文字檢測和識(shí)別數(shù)據(jù)還有中文場景文字識(shí)別常用的合成數(shù)據(jù)集。合成數(shù)據(jù)是用文本渲染引擎在真實(shí)背景圖上隨機(jī)生成文字圖片這個(gè)方法特別實(shí)用因?yàn)闃?biāo)注是自動(dòng)生成的大量可控。網(wǎng)絡(luò)圖片抓取部分抓了一些街景圖、商鋪照片、海報(bào)圖片然后人工篩選出包含清晰文字的圖片。文字檢測數(shù)據(jù)用多邊形標(biāo)注工具逐張標(biāo)注位置識(shí)別數(shù)據(jù)則以行為單位標(biāo)注文字內(nèi)容。最終的數(shù)據(jù)規(guī)??刂圃跈z測部分約8萬張圖像識(shí)別部分約30萬張文字行圖像。數(shù)據(jù)規(guī)模不是越大越好關(guān)鍵是覆蓋場景要多樣化——光照條件、拍攝角度、字體類型、文字方向都要有足夠的樣本。豎排文字的樣本量刻意補(bǔ)到了總量的10%左右沒有這部分?jǐn)?shù)據(jù)豎排模塊的效果是出不來的。預(yù)處理階段做了幾件固定的事統(tǒng)一圖像尺寸、歸一化像素值到0到1范圍、隨機(jī)做亮度對(duì)比度擾動(dòng)、隨機(jī)裁剪和旋轉(zhuǎn)。數(shù)據(jù)增強(qiáng)是提升自然場景泛化能力的最佳武器尤其是光照擾動(dòng)和透視變換模擬了手機(jī)拍攝的真實(shí)情況。4.2 模型訓(xùn)練的詳細(xì)配置檢測模型DBNet的訓(xùn)練配置輸入尺寸統(tǒng)一為640乘640批量大小設(shè)成8優(yōu)化器用Adam初始學(xué)習(xí)率0.001訓(xùn)練80個(gè)epoch學(xué)習(xí)率在第40和第60個(gè)epoch分別衰減十倍。損失函數(shù)用的是DBNet原論文的組合損失包含二值化交叉熵?fù)p失、可微二值化損失和文本框形狀損失。識(shí)別模型CRNN的訓(xùn)練配置輸入高度固定32像素寬度按比例調(diào)整但不超過320像素批量大小64優(yōu)化器用Adadelta初始學(xué)習(xí)率1.0訓(xùn)練50個(gè)epoch。CTC loss作為損失函數(shù)這里不需要計(jì)算每個(gè)字符的對(duì)齊位置直接拿模型輸出序列和真實(shí)文本序列做對(duì)比就可以。訓(xùn)練過程中監(jiān)控的指標(biāo)不只是整體準(zhǔn)確率還重點(diǎn)觀察了幾個(gè)子集的準(zhǔn)確率——豎排樣本、低光照樣本、藝術(shù)字體樣本。如果某個(gè)子集的準(zhǔn)確率明顯低于平均水平說明在這一類場景上訓(xùn)練數(shù)據(jù)還不夠需要回去補(bǔ)數(shù)據(jù)或者加強(qiáng)數(shù)據(jù)增強(qiáng)。這種做法比只盯一個(gè)整體指標(biāo)要有效得多。4.3 推理加速與模型輕量化訓(xùn)練完成之后要考慮推理效率。完整的模型在CPU上跑一張圖需要1到2秒對(duì)Web服務(wù)來說有點(diǎn)慢。我先給識(shí)別模型做了輸入尺寸的優(yōu)化原圖高度32固定不變但寬度上限從320降到了240。大部分中文文本行的寬度都在這個(gè)范圍以內(nèi)超過上限的按比例壓縮。這么一改推理速度提升了30%準(zhǔn)確率幾乎沒有損失。另一個(gè)優(yōu)化是把模型導(dǎo)出為TorchScript格式操作方法是det_model.eval() scripted_det torch.jit.trace(det_model, example_input) scripted_det.save(dbnet_resnet50_scripted.pth)TorchScript導(dǎo)出后可以不依賴原始的Python模型類定義部署時(shí)更干凈同時(shí)推理速度也有小幅提升。如果追求極致加速還可以在GPU上用TensorRT做進(jìn)一步的量化。這個(gè)項(xiàng)目沒有上TensorRT但在環(huán)境說明里提到了這個(gè)方向方便有需要的同學(xué)繼續(xù)深挖。測試環(huán)境下CPU推理一張1280像素寬的照片大約需要0.8秒GPU上約150毫秒。這個(gè)速度對(duì)大多數(shù)Web應(yīng)用來說是可以接受的。5. 常見問題與排查技巧實(shí)錄5.1 環(huán)境與啟動(dòng)問題速查項(xiàng)目跑起來之前最容易卡殼的就是環(huán)境問題。這里把我在實(shí)際部署中遇到過的問題整理成了一張表方便大家對(duì)照排查。問題現(xiàn)象根本原因解決辦法torch.cuda.is_available()返回FalseCUDA版本和PyTorch不匹配用pip安裝對(duì)應(yīng)CUDA版本的torch或降級(jí)PyTorch到匹配的版本import cv2報(bào)錯(cuò)提示找不到cv2模塊opencv-python未安裝或版本沖突重新執(zhí)行pip install opencv-python注意清理舊版本啟動(dòng)Flask時(shí)報(bào)Address already in use端口被占用換一個(gè)端口啟動(dòng)或者殺掉占用端口的進(jìn)程上傳圖片后報(bào)錯(cuò)文件無法獲取前端和后端字段名不一致檢查前端FormData的字段名是否為image大小寫要一致檢測框坐標(biāo)顯示錯(cuò)位縮放后的坐標(biāo)沒有映射回原圖在detect_text函數(shù)末尾對(duì)檢測框坐標(biāo)除以縮放比識(shí)別結(jié)果為空白字符集文件與模型不匹配確認(rèn)charset.txt內(nèi)容和識(shí)別模型的輸出層維度一致內(nèi)存占用持續(xù)上漲推理時(shí)沒有及時(shí)釋放GPU顯存設(shè)置torch.cuda.empty_cache()避免保留中間變量引用端口占用這個(gè)問題在服務(wù)器上特別常見。我之前部署到一臺(tái)服務(wù)器時(shí)發(fā)現(xiàn)8000端口被一個(gè)舊服務(wù)占著Flask啟動(dòng)直接報(bào)錯(cuò)。解決辦法很簡單換一個(gè)不常用的端口比如8090。如果不想改代碼也可以在啟動(dòng)命令里指定app.run(port8090)。5.2 識(shí)別效果的調(diào)優(yōu)經(jīng)驗(yàn)?zāi)P团芡诵Ч粷M意怎么辦這是大家問得最多的問題。我按排查優(yōu)先級(jí)整理了思路從硬件資源到算法參數(shù)一層層往下調(diào)。第一排查光照問題。自然場景圖的光照差異極大暗光環(huán)境下的識(shí)別準(zhǔn)確率會(huì)明顯下跌。如果應(yīng)用場景以暗光為主可以在識(shí)別前加一個(gè)圖像增強(qiáng)的預(yù)處理步驟最簡單的做法是用灰度圖的CLAHE自適應(yīng)直方圖均衡化。實(shí)測在暗光測試集上加了這個(gè)預(yù)處理的準(zhǔn)確率能提升3到5個(gè)百分點(diǎn)。第二排查檢測框的完整性。如果檢測出來的文本框把文字截?cái)嗔俗R(shí)別模型看到的就是殘缺的字符必定識(shí)別錯(cuò)誤。這時(shí)需要把概率圖的二值化閾值調(diào)低一點(diǎn)比如從0.3降到0.25讓檢測框更寬松一些寧可稍微包含一點(diǎn)背景也不要截?cái)辔淖?。第三排查字符集覆蓋范圍。這個(gè)項(xiàng)目默認(rèn)字符集是3000個(gè)常用漢字如果圖片里包含生僻字或者特殊符號(hào)識(shí)別結(jié)果基本是錯(cuò)的。解決辦法是把字符加進(jìn)charset.txt重新訓(xùn)練識(shí)別模型。如果不想重新訓(xùn)練至少可以把字符集文件里的字換成本領(lǐng)域常用的高頻字集合犧牲覆蓋面換取更精準(zhǔn)的領(lǐng)域效果。第四排查輸入圖像的清晰度。圖片里的文字如果本身就模糊或者分辨率過低任何模型都救不回來。建議在系統(tǒng)入口處加一個(gè)圖像質(zhì)量檢查檢測到圖片過小時(shí)提示用戶重新上傳更清晰的圖片。5.3 豎版文字識(shí)別的專項(xiàng)調(diào)參記錄豎版文字是這套系統(tǒng)花了不少心思優(yōu)化的一部分單獨(dú)拿出來聊聊調(diào)參心得。豎排判斷的閾值系數(shù)1.2是一個(gè)比較敏感的參數(shù)。如果場景里有一種特殊排版比如古建筑牌匾上從右往左豎排的文字判斷邏輯還要額外考慮閱讀順序。我從實(shí)際測試中發(fā)現(xiàn)豎排文本的檢測框往往比橫排文本更窄長這種情況下檢測模型有時(shí)會(huì)把一個(gè)完整的豎排文本行切成多個(gè)小框每個(gè)小框里只有一個(gè)字符。這種碎片化會(huì)導(dǎo)致識(shí)別結(jié)果完全不連貫。解決的辦法是在檢測后處理里加一個(gè)框合并邏輯如果兩個(gè)文本框的中心點(diǎn)x坐標(biāo)接近、且上下位置有重疊就把它們合并成一個(gè)豎排大框。這個(gè)合并邏輯其實(shí)就是一個(gè)按空間關(guān)系聚類的過程不需要復(fù)雜算法簡單的距離比較就可以實(shí)現(xiàn)。豎排文字旋轉(zhuǎn)之后送入識(shí)別模型時(shí)有個(gè)細(xì)節(jié)也需要注意。旋轉(zhuǎn)后的圖像寬度很多時(shí)候只有20到40像素這個(gè)寬度在識(shí)別模型的感受野里偏小特征提取不夠充分。為了改善這個(gè)問題我把這類窄圖在送入模型前做了水平方向的重復(fù)拼接補(bǔ)充把寬度補(bǔ)到至少64像素效果確實(shí)有提升這個(gè)技巧實(shí)際工程中很有用。6. 系統(tǒng)擴(kuò)展方向與后續(xù)改進(jìn)建議6.1 從單張圖片到視頻流的識(shí)別目前系統(tǒng)接收的是單張圖片但很多實(shí)際場景需要連續(xù)的視頻流識(shí)別比如監(jiān)控畫面里的文字提取、車載攝像頭拍到的路牌識(shí)別、直播畫面里的字幕提取。改造思路是在現(xiàn)有OCR管線前后加上視頻幀處理層。視頻幀處理層做兩件事一是抽幀每隔N幀識(shí)別一次避免逐幀識(shí)別的算力浪費(fèi)二是結(jié)果融合對(duì)同一個(gè)文字目標(biāo)在連續(xù)多幀中的識(shí)別結(jié)果做投票整合能夠有效消除單幀識(shí)別錯(cuò)誤和閃爍。我在實(shí)驗(yàn)中發(fā)現(xiàn)視頻流OCR的關(guān)鍵不在于OCR模型本身而在于節(jié)奏控制。抽幀太頻繁GPU占用高且識(shí)別結(jié)果重復(fù)抽幀太少快速移動(dòng)的文字會(huì)漏檢。針對(duì)常規(guī)監(jiān)控場景每秒3到5幀的抽幀率性價(jià)比最高。6.2 引入注意力機(jī)制進(jìn)一步提高識(shí)別準(zhǔn)確率CRNN加CTC的結(jié)構(gòu)在速度和穩(wěn)定性上很優(yōu)秀但在處理長文本行和形近字時(shí)純CTC解碼缺少全局語義信息的輔助。如果項(xiàng)目對(duì)準(zhǔn)確率的要求極高可以嘗試在識(shí)別模塊引入注意力機(jī)制也就是經(jīng)典的編碼器解碼器架構(gòu)替換為CTC head。注意力方案在訓(xùn)練時(shí)需要一個(gè)額外步驟就是生成每個(gè)字符的輸出位置標(biāo)注成本比CTC方案高不少。但好處也很明顯帶注意力的解碼器能利用全局上下文信息在長文本行上通常比CTC穩(wěn)得多形近字的區(qū)分能力也更強(qiáng)。如果手頭的數(shù)據(jù)標(biāo)注資源充足這值得一試。6.3 壓縮模型體積以便邊緣設(shè)備部署項(xiàng)目打包里的模型總大小約120MB在服務(wù)器上跑沒問題但部署到邊緣設(shè)備比如嵌入式網(wǎng)關(guān)、智能攝像頭、樹莓派這類設(shè)備上就偏大了。模型壓縮的兩個(gè)主要方向量化和蒸餾。量化方面可以使用PyTorch的靜態(tài)量化工具把模型權(quán)重從FP32壓到INT8體積縮小到原來的四分之一推理速度能提升2到3倍代價(jià)是準(zhǔn)確率會(huì)損失1到2個(gè)百分點(diǎn)。蒸餾的思路是讓一個(gè)大模型當(dāng)老師教一個(gè)小模型優(yōu)化自己的權(quán)重在保持較小模型體積的同時(shí)盡量保留大模型的精度。我實(shí)際測過把檢測和識(shí)別模型都量化到INT8在RK3588這類邊緣設(shè)備上單幀圖片的完整OCR推理耗時(shí)可以控制在500毫秒以內(nèi)基本達(dá)到了實(shí)時(shí)可用級(jí)別。系統(tǒng)后續(xù)還可以擴(kuò)展的方向挺多比如多語言混排識(shí)別、表格結(jié)構(gòu)還原、印章文字檢測都是真實(shí)業(yè)務(wù)中高頻出現(xiàn)的需求。有一點(diǎn)我在這套系統(tǒng)的開發(fā)過程中體會(huì)特別深OCR系統(tǒng)的工程落地難點(diǎn)往往不在模型本身而在對(duì)實(shí)際場景的充分理解和對(duì)各種邊界條件的處理。把所有能用規(guī)則解決的細(xì)節(jié)都處理干凈模型的壓力就會(huì)小很多整套系統(tǒng)的上限自然就上來了。如果各位在部署或改造這套系統(tǒng)的過程中有更好的想法歡迎一起交流。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
99热 在线播放| 91免费试看| 强壮公让我夜夜高潮A片视频| 热99视频| 26uuu欧美| 色色五月天丁香| 色婷婷五月综合| 婷婷五月天亚洲综合网| 成人AV中文字幕| 丁香五月婷婷激情中文| 欧美激情久| -91九色大屁股| 丁香五月婷婷亚洲综合精品在线| 中文字幕av网站| 天堂色婷婷| 丁香 久久| 综合亚洲六月婷婷在线| 九九热只有精品| 在线网黄| 97伦色婷婷| 色狠狠综合网| 激情五月少妇| www.超碰在线| 久久超级碰碰| 六月丁香激情综合| 亚洲久久激情| 99热只有精品在线| 第四色婷婷色五月| 在线播放中文字幕| 五月天伊人久久| 天天日天天添| 超碰爱爱爱| 超碰国产在线播放| 超碰高清在线| 99免费视频精品| 综合激情在线| 丁香伊人五月色婷婷五十路| 婷婷黄色五月天在线视频| 开心五月婷婷婷美女| 玖玖资源在线视频| 婷婷五月色综合| 丁香婷婷人妻综合网| 成人va视频| 韩国真做片在线观看| 日韩在线一级| 日本 @ va 免费| 五月天综合色| 91人人网| 五月天婷婷综合免费| 来吧亚洲综合网| 丁香五月色色婷| 女人天堂av| 九九人人精品| 色99无码| 成人色图情色成人网 www.5b5b5bcom 五月天| www.激情.com.| 天天插天天操| 九九色情网站| 日本婷婷丁香五月| 婷婷久久久| 偷偷操99| 俺去也综合| 欧美三级巜人妻互换| 91丨九色丨熟女| 丁香五月天成人| www.99热| 色色色欧美| 开心深爱激情网| 九九九激情综合| 丁香五月天导航| 久久丁香综合| 99免费青青蜜臀| 色狠狠综合网| 丁香五月五月婷婷欧美大香蕉| 99亚洲精品视频在线观看| 婷婷五月丁香在线视频| 久久久色情| 五月天激情中文字幕| 色色射| 九月婷婷综合网| 亚洲人人操BD| AV在线免费观看不卡| 激情六月五月婷婷综合网| 九九碰九九爱97超| 99ri精品视频在线观看| 久久久97| 久99热| 激情综合网址| 久久9精品| 丁香五月情| 九月av在线| 婷婷五月天婷婷| 影音先锋女人AA鲁色资源| 九九热av| 五月丁香啪| 婷婷视频网| 国产精品国产| 日本一道久久| 这里只有精品视频免费在线观看| 伍月婷丁香婷| 国产做爰视频免费播放| 丁香六月爱综合| WWW.桔色成人.COM| 五月开心激情网| 熟女人妻一区二区三区免费看| 人人色婷婷五月天| 99精品视频在线观看| 激情六| 婷婷综合网| 综激情网| 五月天婷婷基地| 都市激情久久| 日本黄色三级片内射| 五月婷婷就去色| 99激情| 天天操夜夜夜夜爽| 婷婷五月花.97| 日本五月视频| 五月叮香啪| 五月天婷婷基地| 九九精品热播| 久久这里有精品| 丁香六月婷婷缴情欧美| 日日综合网| 亚洲影院婷婷色| 色五婷婷开心缴| 久99精品视频| 婷婷五月丁香香蕉| 四色 爱 婷婷 精品 亚洲 五月天| 国产亚洲精品久久久久久牛牛| 日韩一区二区在线播放| 色色色九九九五月婷婷| 天天干天天插| 久久天天天| 五月天成人综合| 天天拍天天做视频| 韩国97天堂| 五月丁香综合激情网| 色婷婷情片| 婷婷午夜精品久久久| 日韩欧洲亚洲| 中文字幕 中文字幕明步| 亚洲尤物在线| 99人人精品| 五月婷婷色色色| 人人亚洲| 91传媒无码人妻精| 丁香五月电影| 丁香五月激情图片| 91seav| www.狠狠| 激情丁香五月天| 99ri在线观看视频| 亚洲愉拍99热成人精品| 丁香五月天激情综合| 大香蕉久| 9999热免费视频视频| 99热这里| 伊人六月无码视频| AV动漫不卡无码免费| 狠狠色成人影片| 久久码久久无清| 91操片| 久1色色| 久热伊人91| 免费亚洲婷婷| 内射激情在线| 色三级色三级| 67194线路二在线观看| 99亚洲视频| 99色婷婷视频| 婷婷综合另类| 国产精品18久久久| 天天爱天天狠天天透| 秋霞性爱AV| 综合色色五月| 久久9视频| 色婷婷色五月色丁香| 久久99三级在线视频| 色色色免费视频| 人妻Av在线| 99热这里只有99| 97色干在线观看| 激情综合色播| 性爱综合网| 日韩乱轮AV| 五月丁香六月激情在线| 欧洲亚洲免费视频区| 老师的粉嫩小又紧水又多A片视频| 亚洲AV色婷婷人禽五月天| 亚洲99热| 久久艹 五月天| 五月丁香婷婷六月| 欧美日韩AAAAA| 天天肏天天肏| 91久久久久久久| 五月深爱激情网| 内射综合网| 国产乱人偷精品人妻A片| 色五婷婷在线视频| 天天影视色综合网| 可以免费观看的av网址| 免费成人网在线观看| 综合网色| 婷婷五月丁香久久| 九九这里都是精品| 色欲丁香久久| 亚洲九区| 91好好热日本在线| 久草x色在线观看99| 热九九精品| 天天做天天爱天天玩夜夜爽| 都市激情五月婷婷综合| 欧美熟女99| 中文字幕丰满乱孑伦无码专区| 久热九九| 婷婷综合视频| 丁香五月综合网亚洲综合欧美狠狠 | 丁香五月av| 第五色婷婷| 五月丁六月香av| 91在线日| 色色色色色五月丁香| 国产午夜成人免费看片无遮挡| 婷婷久久大香蕉| 99热精品在线播放| 婷婷五月天激情AV影院| 色综合xx| 婷婷五月亚洲激情| 99久久九九| 久久精品日| 国外亚洲成AV人片在线观看| 久久婷婷视频| 亚洲成人一区| 五月丁香激情四射| 高清无码入口| 天天爱夜夜爽| 婷婷开心久久| 婷婷五月久久| 色婷婷4| 日韩成人免费电影| 97视频91| 色狠狠色综合久久久绯色AⅤ影视 大香蕉五月天婷婷丁香91 | 狠狠色噜噜狠狠狠狠综合| 香蕉人在线香蕉人在线 | 天天天摸夜夜夜玩| 成人网丁香五月| 欧洲婷婷五月天| 久久婷婷啪啪视频| 欧美精品99| 91大神在线免费看视频全集男男一起操| 亚洲无AV在线中文字幕| www.婷婷六月天| 草草视频91| 另类A片| 久久色9| 婷婷色五月在线视频| 色5月婷婷| 天天在线久久综合 | 亚洲AV成人在线| 九九热最新| 色婷婷裸体色性在线| 深爱开心激情网| 丁香五月自拍| 五月天激情网图片 - 百度| 婷婷色网| 思思热闹这里只有精品| 永久思思热在线| 激情色色| 久久五月视频| 亚洲五月丁| 欧美日韓成人亚洲精品另类| 伊人综合网4| 26uuu.| 五月色婷婷亚洲 | 夜色爱爱亚洲| 综合一啪| 色v综合网| 思思99久久| 超碰97干| 色六月丁香婷婷啪啪啪| 色网站99| 青青草日本亚洲| 五月五丁香婷婷| 求可以看的AV网址| 天天情色综合网| 五月婷六月丁香| 激情五月丁香激情综合网 | 婷婷五月天论坛| 亚洲色色色色| 久久人妻视步| 天天爱天天做天天操| 99爱视频| 精品久久久人妻| 久99视频| 婷婷五月丁香青青草在线| 五月婷A V在线| 岛囯综合激情网| 色99超碰| 久er免费视频| 婷婷玉月丁香五月在线视频| 色狠久| 色婷婷丁香五月| 999精品乱码77777| 婷婷在线播放| 亚洲天堂婷婷| 91人人爽人人操| 1区2区视频| 天天肏视频| 天天草人人摸| 丁香婷婷在线| 丁香五月欧美色综合| 99久在线视频| 青草青草视频2免费观看| 97超级啪啪在线观看| 毛v一区二区视频| 五月天激情图片| 天天爽成人综合网站| 色久五月| 久久色五月天| 99热91| 五月激情四射网站| 91九色小视频| 精品色色网| 深爱激情六月天| 欧美 日韩 成人在线| 久久五月天婷婷| 国产精品久久久久久喷浆| 亚洲天堂九九九| 天天操B| www.五月激情红色| 成人综合AV| 五月丁香色情| 色色色9 9 9| 午夜婷婷五月天| 激情五月色婷婷| 26UUU一区二区| www,婷婷五月天,com| 五月丁香六月婷婷激情网| 婷婷色五月天在线观看| 婷久久久| 亚洲丁香花色| 五月开心深爱激情网| 97操碰碰无码视频| 成人.在线日韩| xxxx久| 五月激情综合婷婷| 久操97| 狠狠穞A片一區二區三區| 9色免费网| 青草网在线观看| 中文字幕色色| 国产精品第一国产精品| 丁香狠狠色婷婷| www.日日日.com| 97干综合网| 欧美色综合天天久久综合精品| 97人妻碰碰碰碰碰久久久久久| 五月综合久久| 99热99美国在线观看| 熟妇无码乱子成人精品| 久久天堂网| 思思热性操| 99碰碰视频| 丁香六月在线综合| 99色6爱9热| 夜夜骑天天操| 91av传媒高清在线视频网| 婷婷九月亚洲| 亚洲va欧洲va国产va不卡| 精品色色| 欧美在线97| 久久五月丁香综合17C| 99热这里只有免费精品| 曰曰久久| 涩婷婷五月天| WWW.国产| 亚洲五月天,激情视频| 精品无码人妻一区| 99热一区| www.97碰碰com| 蜜臀av在线成人电影| 激情五月婷婷综合| 91在线日本| 丁香婷婷九月| 日日天天干| 搡BBBB搡BBB搡18| 全高清无码视頻| 色情婷| 5月婷婷六月丁香| 大香网伊人久久综合| 艹色18p| 无码人妻一区二区三区四区| 久久婷婷视频| 丁香五婷婷| 激情五月天激情小说| 99国产精品久久久久久久久久久| 婷婷五月激情的图片| 天天做天天爱天天爽综合网| 任你爽在线视频| 欧美综合婷婷欧美综| 九九操操| 色月九九| 激情五月综合网最新| 在线成人国产| www.五月天社区| 国产熟妇乱子伦hd| 亚洲激情五月婷婷日日| 欧洲色区| 最新五月天婷婷影| 国产日产亚系列精品版优势| 欧美久久五月婷婷| 国产亚洲精品AAAAAAA片| 婷婷综合网| 五月婷婷中文字幕| 二色av| 久久丝袜婷婷| 欧美在线视频免费播放| 五月婷婷色| 亚洲成Av人片乱码色第1集| 免费视频这里只有精品| 久久婷婷超碰| 欧美激情综合色综合色| 超碰操日| 久久久久久人妻久久久久久久久久人妻久久久 | 日本久久婷婷| 婷婷中文无码| 久久五月视频| 婷婷五月小说色综合| 91色久| 男人天堂99| 五月丁香六月婷婷久久肏| 国产亚洲网站在线| 碰碰女| AA久久| 亚洲黄色精品| 另类天堂| 丁香六月婷婷久久综合| 伊人色欲五月天| 97搞在线| 思思久久99| 色色九九五月天 | 色激情五月| 免费黄色片子| 成人片在线播放| 色插综合网| 国产又色又爽又黄又免费| 97激情五月天| 色色草97| 国产性爱一级| 五月天激情影院| 色五月综合网| 色婷婷丁香五月色综合网| 99riAV成人在线视频| 天天色激情| 欧亚中文A V| 第四色五月婷婷| 色玖玖爱| 亚洲熟妇AV乱码在线观看| 婷婷六月插屄激情| a毛片二逼wwwwwwwwww| 国产美女视频久| 九九综合色综合| 九九人人操| 婷婷六月综合在线| 夜色爱爱亚洲| 综合网啪啪| 久久综合激情五月天| 疯狂做受XXXX高潮A片| 九九机热| 2017狠狠干| 天天爽天天日| 伊人婷婷五月天av| 97久久草草超级碰碰碰| 无码激情AAAAA片-区区| 天天激情| 日本色道视频网站| 无码一区精品一区视频| 色五月AV| 丁香五月天欧美成人| 婷婷中合| 婷婷久久丁香五月| www.五月天婷婷姐姐| 色婷婷啪啪综合网| 狠狠干夜夜干| 国模淫穴色图| 成人av中文字幕| 成人国产欧美大片一区| 99无码精品| 五月六月婷婷激情网| 国产91资源在线| 俺去也五月天| 亚洲性爱干干| 超碰99热精品| 午夜少妇在线观看视频| 九九热在线观看视频| 婷婷丁香色五月亚洲| 日韩丁香涩| 五月丁香啪啪综合| 久久婷婷五月综合色丁香| 久久刺激网| 国产又爽又猛又粗的视频A片| 色噜噜五月天| 欧美激情五月天在线观看| www.色情五月天.com| 九九这里都是精品| 婷婷色激情五月天| 久久天天天| 久久丁香网| WWW,五月| 国产亚洲色婷婷久久99精品91| 99热这里只有精品26| 亚洲成人av中文| 成人 在线 日韩| 天天夜天天色天天| 五月婷婷激情综合在线| 97干视频在线| 99久久超级| 五月婷婷丁香在线| 五月婷婷av| 99热99日…..| 色色日本欧美| 级人人91| 一起草av| 中文字幕人妻在线| 婷婷五月深爱五月| 少妇熟女视频一区二区三区| 久久久久9| 中文字幕日韩无码制服诱或| 综合图区激情| 国产精品国产| 久久久久久久久久久久久久久久一道本| 99久久五月婷婷| 操91| 亚洲Av成人在线观看| 激情五月天网| 天天射影院| 婷婷五月天成人综合网| 蜜桃婷婷丁香五月天狠狠久久综合| 啪啪黄页网| 97久久久久久久久久久| 婷婷色婷婷| 色婷婷免费观看| 婷婷五月天欧美| 99热在线免费观看精品| 91超级碰碰碰| 超碰97免费在线| 综合久久8| 欧美成人AAA片一区国产精品| 九九伊人网| 五月婷婷六月色| 亚洲国产色色| 天天影视色综合网| 五月天成人网婷婷| WWW丁香五月| 丁香五月婷婷黑人妻黄色电影院| 日本丁香久在线| 丁香五月色| 五月丁香六月成人| 亚洲综合色网| 婷婷开心激情| 丁香六月伊人| 婷婷丁香色情| 毛片毛片毛片毛片| 五月色俺婷婷| 九九久久五月天综合伊人| 开心久久五月天| 欧美日韩国产伦精品日韩人妻一| 婷婷精品综合| 久久色五月天| 天天综合色丁香| 婷婷色基地在线看 | 开心五月色婷婷综合开心网| 97 A I色色| 毛片新网地| 激情噜噜噜| 五月丁香色六月激情干大屄| 色婷五月天激情| 五月丁香六月花| 黄涩毛片| 亚洲、热| 婷婷五月骚厕所| 久久这里只有国产视频| 国产色五月婷婷| 乱色色色| 亭亭五月色男人| 成人丁香婷婷| 可以免费观看的av| 99热亚洲精品| 国产一级片| 五月丁香人妻| 大香蕉久操| 丁香五月婷婷五月| 嫩草AV久久伊人妇女超级A| 国产国产乱老熟女视频网站97| EEUSS鲁片一区二区三区| 婷婷久久综合久| 激情99| 欧美性生交XXXXX无码小说| 九九九九精品精| 播五月开心婷婷欧美综合| 久久久精品色色色| 影音先锋偷偷色男人站| 久久婷婷五月综合伊人| 99热成人| 久草热8精品视频在线观看| 五月婷婷色在线| 婷婷五月综合基地| 久久这里只有精品视频15| 久久精品一区二区三区四区| WWW.五月com| 免费成人中文字幕| 婷婷五月综合网| 久草大| 狠狠色狠狠干| 五月六月激情| 波多野结衣AV无码Porn| 色五月激情五月天| 欧美顶级少妇做爰HD| 九九精品9| 成人资源在线| 久久伊人大香蕉| 五月天色婷伊人| 五月婷六月丁香| 丁香五月偷拍| 久久综合人妻| 成人在线二区| 97超级操操| 精品亚洲国产成AV人片传媒| 丁香婷婷五月天网站| 日本噜噜色网| 亚洲九九视频| 色噜噜狠狠色综合日日| 国产精品电| 色九月国产| 天天情天天狠天天透| 丁香五月婷婷成人色区| 丁香五月播播| 五月丁香成人网| 天天干天天av天天射| 大香蕉操操| 婷婷月五天在线在线看| 日日夜夜综合| 99色综合网| 大战熟女丰满人妻AV| 99久久天堂婷婷| 综合久久综合| 五月天中文网| 五月婷婷九九热| 色播五月| 伊人超碰在线| 青草青草久热这里只有精品| 9久热这里只有精品视频| 69色婷婷| 色婷婷基地 | 九九99在线| 五月伊人综合| 天天操夜夜操| 一本大道伊人AV久久综合| 91chinese 在线| 色99视| 久9免费视频| 老师的粉嫩小又紧水又多A片视频| 在线伦子99热| 亚洲色婷婷99一9|| 激情综合一| 免看黄大片AA | 美女精品一级不卡视频| 成人狠狠成人狠狠成人狠狠成人狠狠| 久99热在线观看| 熟女强人妻一区二区三区四区无| 92久久| www.ppypp| 夜夜谢天天干| 五月丁香综合久久夜夜| 亚洲精品乱码久久久久99| 99热国产免费| 风流少妇A片一区二区蜜桃| 人妻视频在线| 婷婷在线免费| www五月| 色九九九综合| 免费日韩99| AV在线免费播放| 亚洲AV成人无码精品| 五月天婷婷色在线视频免费观看| 婷婷丁香五月激情| 天天干天天日蜜臀av| 天天爱天天做天天日| www.minyis.com【JT】实力收量可预付QQ2101460746 | 婷婷丁香一月| 亚洲操人| 色玖玖玖| 五月深爱网| 亚洲爆乳无码精品AAA片蜜桃| 超碰91人人操| 日韩五月丁香| 影音先锋91网站在线观看| 婷婷成人网五月天| 色婷婷9| 欧美久久久中文字幕| 美妞av| 99热这里只有精品4| 影音先锋91网站在线观看| 久久这里只有精品久久| 九九99热| 99在线视频操999| 婷婷五月天xxx| 五月激情婷婷在线| 日本99在线视频| 99热网站| 大香蕉伊然在亚洲90| www,欧美干干干干干干| 99无码精品| 青青草原亚洲天堂| 夜夜大香蕉婷婷丁香| 婷五月天| 日日日天天干| 91蝌蚪窝视频在线| 99视频精品8 | 99亚洲综合| 久久综合五月天| 色五月天堂| 玖玖99免费视频| 91久久久久久久久久| 79精品视频在线观看,| 久久9情免费| 新五月天婷婷激情电影| 久久xx| 久草久青福利| 婷婷操逼| 亚洲丁香五月综合| 婷婷色网| 色必久悠悠影院| 欧美日韩91| 天天做天天爱天天摸| 五月天综合| 五月丁香久久精品在线观看| 九九精品热| 思思热天天看| 五月婷婷久久综合| 激情深爱综合| 五月天激情网站| 国产阿姨日皮艹逼内射视频| A片试看50分钟做受视频| 天天拍夜夜撸| 全部老头和老太XXXXX| 激情5月婷婷狠狠干| 超pen个人视频97| 夜夜骑日日夜夜| 激情久久伊人| 狠狠色综合五月| 日韩啪啪自拍| 九九在线精点品| 成人av观看| 五月天成人小说| 丁香六月婷| 91偷拍视频| 99久久婷婷| 五月天婷婷综合网| 九九热99精品| 精品自拍99| 思思热精品在线| 香蕉操亚洲| 99亚州综合精品成人网| 色色网站免费在线视频| 欧洲电影在线观看免费版英语版| 人妻操在线看| 91刘玥视频在线观看| 日本va欧美va国产激情| 8区视频在线| 五月婷婷片| 第二色AⅤ| 婷婷五月丁香基| 九九这里都是精品| 五月丁香激| www99热| 色综合色欲综合天天免费| 大香蕉久久青青| 人人爽欧美婷婷久久久五月丁香| 丁香五月婷婷99| 丁香六月在线| 五月婷婷香蕉| 久久婷婷五月天激情| 人妻性爱av网站| 能看的av| 天天天天爽爽天干| 小骚穴电影| 色婷婷亚洲婷婷| 日日射天天射| 1024欧美日韩精品久久久| 国産精品| 五月天五月色| 99天堂网最新| 综合久久婷婷| 婷婷色色播五月天| 18久久| 99色性爰网络| 久久这里99| 日韩精品超碰在线观看| 欧美日韩99| 欧美VA在线观看| 色玖玖综合网| 国产精品美女久久久久AV超清 | 久9久成人精品视频| 人妻爽爽爽久久久久久久久| 激情综合视频| 成人 视频免费观看网站| 丁香五月瑟瑟| 亚洲午夜Av| 天天做天天爱天天爽| 五月天婷婷永久免费视频| 狠狠情色| 八戒青柠影视剧在线观看| 丁香久久综合| 色区域网站视频| 久99在线视频| 欧美性色A片免费免费观看的| 激情丁香五月天| 99色在线视频观看| 31色区视频免费看| 婷婷综合五月天| 俺去也在线官网| 九洲一级A片| 国产午夜精品一区二区三区四区| 色情久久久| 五月四色色| 午夜爱插插| 亚洲美女裸体被操在线观看| 色欲婷婷五月天| 亚洲99手机免费看视频| 色噜噜狠狠色综合网| 九九婷| 综合网色| 日本社区五月天激情| 丁香五月六月久久综合 | 99色色视频| 99久久www| 国产黄色在线| 成人AV在线网站| 天天干天天操天天爱| 99er6免费视频热播| 激情文学 综合 九月| 91久操| 性爱久久| 天天爽天天草| 再次出发二| 九九热99免费视频| 五月婷婷综合成人| 激情五月天婷婷| 日韩一级网站| 久久这里有精品视频| 五月网激情| 九九99热| 日本欧美成人片AAAA| 婷婷色色五月| 六月婷婷色综合| 五月婷在线色视频| www久久五月com| 久久久久98| 日本三级第一页| 伊人综合网站| 91精品久久久久| 26uuu精品一区二区| 天天影视色综合网| 婷婷五月成人有| 91丨九色丨丰满人妖| httpwww色com日本| 国产FREESEXVIDEOS性中国| 五月天色色网站| 色色色色色网| 丁香五月五月婷婷五月天激情四射| 亚洲激情 久久| 无码人妻丰满熟妇奶水区码| 99热这里只有精品22| 婷婷色综合| 色婷婷久久综合丁香五月| 伊人在线婷婷草| 五月丁香在线视频观看| 色三级色三级| 人人操人人干AV| 婷五月天| 人妻有码乱操| 极品人妻VIDEOSSS人妻| 久久综合九九| 色色色色网站| 国产免费一区二区三州老师F1F1| 五月婷婷啪啪| 色停停五月天| 久久久人妻门| 伊人久久丁香婷婷六月五月综合| 婷婷五月欧美综合| 久久这里只有精彩| 97色婷婷| 人人操99| 激情图片婷婷丁香五月| 97人人干。| 日本韩国视频在线观看社区免费的9| 99在线精品视频| 丁香五月欧美| 九九激情| www婷婷| 夜夜夜夜夜操| 99精品综合| 久久丁香| 五月丁香啪| 色综合天天综合成人网| 亚洲天天| 色五月五月婷婷| 性爱久久| 久久婷婷亚洲| 亚洲成人综合在线| 99热这里有精品| 99网| 婷婷五月花| 热热色色五月天婷婷| 人人色人人弄人人操| www.色五月| 91久女| 日本天堂网站99| 日本97在线看片| 91久久九色| 婷婷五月天中文字幕| 日韩综合久| 99视频35精品视频在线观看| 五月停停色色丁香| 男女99免费视频| 丁香五月天天哦| 五月天开心婷婷久久| 天天操天天操| 色婷婷丁香五月综合| 婷婷五月另类网站| 播五月开心婷婷欧美综合| 精品久久久999| 欧美一级色| 色日本五月天| 国产婷婷色综合AV蜜臀AV| 国产性爱在线| 人人操9| 精品九九婷婷| 久久99综合网| 色热久资源| 色播五月丁香婷婷| 五月色丁香激情| 五月丁香六月婷婷色日| 精品在线网站| 精品人妻一区二区| 五月Huangsewang| 另类亚洲电影| 99久久久久久www| 热99这里只是精品| 丁香狠狠| 99热精国产这里只有精品| 婷婷深爱五月丁香| 啪啪婷婷五月天激情| 国产精品久久..4399| 另类小说色婷婷| 中文字幕有多少字| 狠狠爱婷婷色| 97久久超碰| 天干天天干天天天天天| 亚洲视频图片婷婷五月| 色你久久| 一区二区三区视频| 六月婷欧美丁香综合| 天天操天天曰天天射| 成人av免费观看| 丁香婷婷五月六月天| 激情丁香五月天图片| 五月天开心色情网| 少妇高潮呻吟A片免费看软件| 色婷婷色综合| 九九精品综合| 亚洲AAA| 五月天伊人| 国产精品大香蕉| 一区=区操屄高清大全av| 九九色欲网| 天天操夜夜玩!| 九九视频在线| 久久ww| 欧美久久久久久久久中文字幕| 超碰chaompinm| 日日操,天天操| 中文字幕AV网址| 99免费视频| 影音先锋 一区| 久热2025无码| 五月婷婷中文字幕| 丁香五月天堂| 婷婷五月欧美| 六月激情婷婷色| 婷婷综合精品视频97| 五月天啪啪| 日本A片一区| 六月丁香婷婷色狠狠久久| 狠狠色婷婷六月激情网| 操操啪| 伊人大香蕉毛片| 九九热这里只有精品556| 色色色色色色97| 超碰97人人操| 99久99久| 五月天另类小说亚洲| 色婷婷丁香| www.91久久| 久久精品五月| 99色啊| 亚洲成人高清在线| 精品一区二区三区免费毛片爱| 婷婷色六月| 天天想夜夜爽天天爽| 五月丁香777| JAPANRCEP老熟妇乱子伦视频 | 亚洲操操操| 色婷婷久久综| 五月丁香六月停停| 六月天婷婷| 玖玖爱导航| 婷婷五月天伦理| 99精品在线播放| AV大片在线观看| 久久中文人妻系列| 国产日韩欧美性爱| 亚洲视频综合网| 久久无码激情视频| 可以免费观看的AV| 日本在线播放97| 最新日本A片| www.久久99热地址发布| 天天色凹凸| 亚洲 激情 中文| 色婷婷电影| 婷五月天六| 操逼福利视频| 婷婷在线播放| 日本婷久久| 亚洲精品婷婷| 婷婷色五月大香蕉在线| 五月花综合网| 丁香五月性| Www.狠狠| 久久思思精品| 在线18av | 女性自慰系列第五页| 伊人网碰碰| 五月婷婷丁香五月| 色婷婷激情视频| 色色激情| 婷婷伊人久久| www.婷婷.com| 婷五月天| 人人爽亚洲| 婷婷色情 | 狠狠久久婷五月综合色| 亚洲另类在线观看| 国产激情在线| 丁香婷婷情色五月天| 免費观看aV在线网址| 久久99色色| 少妇2做爰HD韩国电影| 99黄色性生活| 影音先锋色婷婷| 丁香五月网| 婷婷五月情| 九九色网| 99国产这里只有精品| 成人国产欧美大片一区| 丁香激惜男女| 日本99视频| 这里只有精品在线视频精品| 97色色综合| 无码啪啪| 色五月色图| 五月婷婷久久大香蕉| 日本成人噜噜噜| 五月天久久激情| 日本久久爱| 色丁香五月婷婷综合久久| 色婷婷色人人射| 国产激情久久| 思思热久在线观看视频| 六月婷婷中文字幕| 五月欧美色播| 538在线精品| 九九热色视频| 久久久久久人妻| 丁香婷婷激情综合五月激情| 亚洲五月婷婷| 99热在线爱| 久热99| 人人爱天天摸摸天天爱| 色五月激情五月| 亚洲 无码 中文字幕 中出| 91中文狠狠综合| 婷婷四色五月| 五月丁香综合色婷婷| 天天情色综合网| 99re久热| 精品人妻伦一二三区久久| 超碰在线观看成人视| 成人av在线网址| 久久总和99| 五月丁香六月情| 99热99成人| 色播五月婷婷| 日日操日日射| 丁香狠狠色婷婷久久无码视频| 丁香六月成人| 91一道本| 99色色网| 五月丁香六月在线欧美| 99re在线播放| 99re这里有精品手机在线| 亚洲春色奇米影视| 97丁香五月| 午夜丁香 婷婷| 我爱大香蕉| 激情综合五月激情XXXX| 国产精品久久久爽爽爽麻豆色哟哟| 热99re| 久久青青日本视频| 久草狼人| Av狠狠色丁香婷| 91男同视频| 丁香五月精品| 亚洲色夜| 538在线精品| 韩国婷婷丁香五月| 1024在线视频| 丁香五月日韩| 六月丁香激情综合网| 极品人妻VIDEOSSS人妻| 婷婷五月图片小说视频| 婷婷五月,偷窥偷拍网| 久久99婷婷| 日本ww亚洲| 日韩有码一区| 激情啪啪五月| 五月婷婷丁香成人网| 内射爽无广熟女亚洲| 婷婷丁香五月综合网上 | 能看的av| 久久视频这里99| 日本久草福利| 欧美激情综合| 婷婷五月花西瓜| 天堂资源欧日浪女在线播放| 五月天另类激情在线| 欧洲第一久色| 99热精品观看| 国产午夜成人AV在线播放| 五月激情六月婷婷| 日韩啪啪视频| 亚洲第一成人无码A片| 99精品网| 五月天天天操天天爽夜夜操| 婷婷日本在线| 亚洲欧美综合7777色婷婷| 国产五月婷| 第四色五月婷婷| 天天色情站| 开心激情综合| 欧美日韩大黄| 亚洲AV永久无码影院黑人| 深爱激情综合| 天天夜夜爽| 激情六| 4438全国最大视频成人网站在线观看| 六月婷婷色综合| 色五月成人网| 色婷婷久久综合| AⅤ网站在线看| 成人网址在线观看| 婷婷五月天视频在线观看| 日韩一级A片黄色| 日本视频久久| 久久久久9999| 五月丁香六月婷婷的女人| 九月激情综合| co超碰在线观看| 亚洲AV综合网| 激情婷婷综合五月少妇| 97视频91| wuyuedingxiang| 色婷婷五月天偷拍| 天天日夜夜拍| 欧美激情 日韩无码 婷婷 五月天| 九九久久免费视频44| 九九热精品视频在线观看| 色婷婷的五月天| 色婷婷婷婷成人网| 久久电影4399| 色一色综合| 五月天精品视频| 天天高潮夜夜爽| 久热2025无码| 亚洲夜五月| av婷婷六月丁香社区在线观看| 丁香六月视频| 色综合区| 99精品在线下载| 亚洲激情AV| 五月婷婷 自拍| 白人荫道BBWBBB大荫道| 激情婷婷久久| 天天日日夜夜爽。| 五月天六月丁香| 9精品视频在线观看| 五月激情丁香啪啪| 五月丁香六月激情综合| 欧美五月婷婷| 婷婷五月天熟妇| 激情五月天婷婷图| 色欧美影院| 东京热五月婷婷| 五月婷婷丁香六月| www.夜夜操| 国产精品香蕉| 婷婷五月天日逼| 99欧美| 免费看片在线观看| 成人丁香婷婷| www色婷婷| 亚洲视频二区| 涩婷婷五月天在线精品视频| 色婷婷香蕉丁丁网| www.99热视频在线观看| 91人人操.COM| 吊色AV男人的天堂| 婷婷五月天亚洲综合网| 最近免费中文字幕大全高清大全1 色狠狠色噜噜AV天堂五区 | 99精品22| 天天 青草 丝袜制服 在线| 婷婷色女| 丁香色色网| 五月婷婷色播| 久久艹网| www.99操| 深夜婷婷 丁香| 乱精品一区字幕二区| 色偷偷五月天| 五月天综合婷婷| 91干在线| 五月丁香六月激情综合| 看国产探花操逼三级片| 婷婷五月天首页| 色欲日日躁| VA日本视频| 亚洲夜五月| 九月婷婷综合| 91蜜桃婷婷狠狠久久综合9色| 激情AV在线| 五月婷婷综合久久| 丁香五月婷婷Av| 国产激情在线观看| 蜜臀av 粉嫩av 懂色av| 狠狠色色色| 综合久久十三| 人人色人人弄人人操| 色www久视频| 极品人妻VIDEOSSS人妻| 国产精品天天狠天天看| av大香蕉| 极品人妻VIDEOSSS人妻| 丁香五月花|