欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運營的一線實戰(zhàn)洞察。

TensorFlow 2.18語音識別實戰(zhàn):從MFCC特征到CTC解碼全流程

TensorFlow 2.18語音識別實戰(zhàn):從MFCC特征到CTC解碼全流程 簡介本資源是一套面向深度學(xué)習(xí)初學(xué)者與語音識別實踐者的完整TensorFlow項目聚焦于快速搭建可運行、可可視化的端到端語音識別系統(tǒng)有效解決理論多、代碼少、部署難的學(xué)習(xí)痛點。資源包共190個文件包含115個語音樣本數(shù)據(jù).data、65張語音特征圖.bmp如MFCC時頻譜可視化、5個核心Python腳本含數(shù)據(jù)預(yù)處理、CNN模型構(gòu)建、訓(xùn)練與推理邏輯、4張界面與流程示意圖.png以及1個已訓(xùn)練好的Keras模型.h5整體體積達(dá)666.68MB結(jié)構(gòu)清晰、即下即用。已有4356人學(xué)習(xí)下載覆蓋高校課程設(shè)計、AI競賽備賽及個人項目開發(fā)場景。讀者可直接復(fù)現(xiàn)語音命令識別如welcomebananacamera等關(guān)鍵詞分類獲得從數(shù)據(jù)加載、卷積神經(jīng)網(wǎng)絡(luò)建模、模型訓(xùn)練到實時預(yù)測的全流程代碼與實測結(jié)果無需額外調(diào)試即可運行演示系統(tǒng)。 很多剛接觸語音識別的同學(xué)拿到項目的第一反應(yīng)往往是“我要搞一個很厲害的神經(jīng)網(wǎng)絡(luò)模型”。我最早也是這么想的結(jié)果項目做到一半才發(fā)現(xiàn)真正卡住我的根本不是模型而是一堆看起來“不太像技術(shù)”的環(huán)節(jié)音頻格式不統(tǒng)一、TensorFlow環(huán)境裝不上、MFCC特征怎么提、音頻和文本標(biāo)簽怎么對齊。這篇文章就是把這些環(huán)節(jié)一個一個拆開講清楚。我基于TensorFlow 2.18完整做了一個語音識別系統(tǒng)可以識別若干個自定義命令詞從環(huán)境搭建、數(shù)據(jù)準(zhǔn)備、模型構(gòu)建到訓(xùn)練推理全部走通核心代碼可以直接復(fù)用特別適合想完整跑一遍語音識別流程、而不是停留在理論層面的開發(fā)者參考。這個項目我定義為“最小可用語音識別系統(tǒng)”。它不會像商業(yè)產(chǎn)品那樣動輒幾十億參數(shù)但麻雀雖小五臟俱全該有的音頻特征提取、聲學(xué)模型、CTC解碼、模型訓(xùn)練和推理鏈路全都覆蓋了。你會發(fā)現(xiàn)跑通它之后再去理解更復(fù)雜的語音識別框架比如Whisper或者wav2vec2思路會清晰很多。1. 語音識別項目為什么我仍然選TensorFlow1.1 這個項目到底要做什么先說清楚目標(biāo)我要搭建的系統(tǒng)輸入是一段WAV格式的音頻輸出是對應(yīng)的文本標(biāo)簽。為了控制復(fù)雜度我選擇了命令詞識別也就是常說的Keyword Spotting。這類系統(tǒng)的典型應(yīng)用場景是智能音箱的喚醒詞、工業(yè)場景的語音指令控制、手機端的“小助手”喚起。我選定的命令詞集合是yes、no、up、down、silence一共5個類別。silence在語音識別里非常重要因為實際場景中系統(tǒng)會頻繁收到?jīng)]有語音內(nèi)容的靜音片段如果你不把它建模成一個類別模型在推理時就會強行把靜音識別成某個詞導(dǎo)致誤觸。整個系統(tǒng)包含以下模塊音頻加載與重采樣統(tǒng)一為16kHz單聲道特征提取將原始波形轉(zhuǎn)換為MFCC特征數(shù)據(jù)管道將音頻路徑和標(biāo)簽組裝成可訓(xùn)練的TensorFlow數(shù)據(jù)集聲學(xué)模型Conv1D 雙向LSTM 全連接層損失函數(shù)CTC Loss解碼模塊CTC貪心解碼推理接口輸入一個音頻文件路徑輸出預(yù)測文本最后我還在真實錄音上做了測試識別準(zhǔn)確率在干凈環(huán)境下可以達(dá)到95%以上。這個數(shù)字對于教學(xué)項目來說已經(jīng)足夠說明流程是通的。1.2 TensorFlow與PyTorch的選型判斷2024年討論深度學(xué)習(xí)框架繞不開TensorFlow和PyTorch的對比。很多新入門的朋友會看到大量論文代碼都是PyTorch寫的從而產(chǎn)生一種“TensorFlow是不是不行了”的疑問。這個問題的答案是分場景。PyTorch在研究領(lǐng)域確實更流行因為它的動態(tài)圖機制寫起來直觀調(diào)試方便。但TensorFlow在工程化部署方面的沉淀是實打?qū)嵉腡ensorFlow Serving支持高并發(fā)推理TFLite可以直接跑到手機和嵌入式設(shè)備上TF.js能跑瀏覽器端TFLite Micro甚至能跑在MCU上。這些都不是PyTorch短期內(nèi)能完全替代的。我的項目選擇TensorFlow的原因很樸素Keras API寫起來非常直接讀代碼的人不用花太多時間理解框架細(xì)節(jié)可以專注于聲學(xué)模型本身TensorFlow 2.18對CPU和GPU的支持都做了很多優(yōu)化就算沒有獨立顯卡也能用小數(shù)據(jù)集跑完整個流程官方教程和社區(qū)文檔覆蓋面廣遇到問題很容易搜到解決方案另外我需要強調(diào)框架只是工具語音識別的核心難點在數(shù)據(jù)處理和模型設(shè)計。就算你換成PyTorch重寫一遍那些坑一個都不會少該踩的照樣得踩。2. 環(huán)境搭建虛擬環(huán)境與TensorFlow 2.18的完整落地2.1 為什么非要用虛擬環(huán)境很多初學(xué)者第一次裝TensorFlow喜歡直接在系統(tǒng)Python環(huán)境下執(zhí)行pip install tensorflow。如果你只是臨時跑個小實驗這么干確實省事但只要你的機器上有多個項目這種做法遲早要出事。我給你描述一個真實場景項目A需要TensorFlow 2.4項目B需要TensorFlow 2.18項目C還需要特定版本的numpy而這些軟件的依賴鏈里往往存在沖突。如果你把它們?nèi)垦b進(jìn)同一個Python環(huán)境最后很可能出現(xiàn)import tensorflow直接報錯、或者某個老項目奇怪地跑不起來的局面。虛擬環(huán)境就是給每個項目一個獨立的Python運行環(huán)境本質(zhì)上相當(dāng)于給每個項目配了一間隔音的房間里面裝什么版本都不影響隔壁。2.2 從零創(chuàng)建環(huán)境到跑通import tensorflow我推薦用conda創(chuàng)建虛擬環(huán)境因為conda不僅管理Python包還能管理CUDA和cuDNN等底層依賴。如果你用的是Windows沒有GPU直接用原生Python加venv也可以但conda的體驗會好很多。創(chuàng)建環(huán)境并安裝TensorFlow 2.18的具體命令如下conda create -n tf2.18 python3.11 -y conda activate tf2.18 pip install tensorflow2.18.*這里有幾個細(xì)節(jié)值得說明第一Python版本選擇3.11而不是3.12。TensorFlow 2.18發(fā)布了對應(yīng)的3.12版本支持但3.12的某些第三方庫比如librosa依賴鏈中的numba可能存在wheel缺失的問題。我實測下來3.11是最穩(wěn)的不需要折騰編譯。第二pip install tensorflow會同時安裝keras。在TensorFlow 2.18里tf.keras已經(jīng)是官方推薦的使用方式不需要單獨再裝一份keras。如果你看到網(wǎng)上老教程讓人pip install keras要注意版本匹配問題否則可能出現(xiàn)keras和tf.keras混用的怪毛病。第三安裝完之后建議做一個快速驗證python -c import tensorflow as tf; print(tf.__version__); print(tf.config.list_physical_devices(GPU))如果你是NVIDIA顯卡用戶看到輸出的GPU列表非空說明GPU環(huán)境配好了。如果沒有GPU也不用慌這個項目的數(shù)據(jù)量完全可以靠CPU跑完只是訓(xùn)練時間會長一點。我額外建議安裝librosa用于音頻特征提取pip install librosa scipy numpy matplotliblibrosa是一個非常成熟的音頻分析庫MFCC特征提取、重采樣、音頻增強它都有現(xiàn)成接口。不過要注意librosa的依賴鏈比較長如果安裝過程中提示numba版本沖突可以先conda install numba指定一個兼容版本再pip install librosa。這個問題在Windows平臺上尤其常見。3. 數(shù)據(jù)準(zhǔn)備音頻清洗、MFCC特征與標(biāo)簽編碼才是真正的重活3.1 音頻數(shù)據(jù)怎么來、怎么清洗語音識別項目里有一句老話Garbage in, garbage out。模型再強喂進(jìn)去的音頻是臟的訓(xùn)練出來的效果一定稀爛。所以數(shù)據(jù)準(zhǔn)備階段是整條鏈路里最需要耐心的一步。我用的是Google Speech Commands數(shù)據(jù)集它專門用于命令詞識別包含yes、no、up、down等幾十個詞每個詞都有上千條不同說話人的錄音音頻格式統(tǒng)一為16kHz單聲道WAV。這個數(shù)據(jù)集可以直接用TensorFlow官方工具下載wget http://download.tensorflow.org/data/speech_commands_v0.02.tar.gz tar -xzf speech_commands_v0.02.tar.gz如果你在國內(nèi)網(wǎng)絡(luò)環(huán)境下訪問Google存儲比較慢也可以使用Kaggle上的鏡像版本或者退一步自己錄制約500條音頻。自己錄音的好處是完全貼合你的實際應(yīng)用場景比如你可以錄“開燈”“關(guān)燈”“播放”“暫停”然后立刻在真實環(huán)境下測試。我做實驗時混合使用了公開數(shù)據(jù)集和自錄音頻這樣模型既能學(xué)到不同人發(fā)音的多樣性又不會在自己的使用場景里水土不服。音頻清洗這一步有幾個容易忽略的細(xì)節(jié)。第一個是采樣率。Speech Commands的音頻是16kHz但你會遇到各種來源的音頻文件可能是44.1kHz的CD音質(zhì)可能是48kHz的攝像機收音。如果不統(tǒng)一采樣率MFCC特征提取時會得到完全不同的頻率分辨率模型會無所適從。librosa加載音頻時直接指定sr16000即可完成重采樣。第二個是聲道。有些錄音是雙聲道的需要降為單聲道。librosa.load默認(rèn)會做這一步或者你手動用np.mean(audio, axis1)求平均。第三個是響度歸一化。不同錄音設(shè)備的增益不同導(dǎo)致有些音頻波形很大、有些很小。標(biāo)準(zhǔn)做法是除以音頻絕對值的最大值把幅度歸一化到[-1, 1]區(qū)間audio audio / np.max(np.abs(audio))3.2 MFCC特征提取的實操細(xì)節(jié)MFCC全稱是梅爾頻率倒譜系數(shù)它是語音識別領(lǐng)域用得最廣泛的特征之一。為什么語音識別要用MFCC而不是直接把原始波形丟給模型這里需要理解語音的基本產(chǎn)生機制。你的聲帶振動產(chǎn)生聲源信號這個信號經(jīng)過聲道口腔、鼻腔等的濾波作用后從嘴巴輻射出來。語音識別重點關(guān)注的不是聲帶振動頻率即基音而是聲道的濾波特性因為不同音素的本質(zhì)區(qū)別就在于此。MFCC的作用就是把聲道的頻率響應(yīng)特性提取出來同時弱化基音等與語義無關(guān)的信息。MFCC有個諧音外號叫“音樂的樂譜”其實這個類比挺準(zhǔn)樂譜描述的是音符隨時間的變化MFCC描述的是聲音的頻譜包絡(luò)隨時間的變化。模型看著MFCC的變化軌跡就能推斷出嘴型在說什么音。使用librosa提取MFCC的核心代碼如下import librosa import numpy as np def extract_mfcc(audio_path, n_mfcc13, max_len100): audio, sr librosa.load(audio_path, sr16000) # 響度歸一化 audio audio / np.max(np.abs(audio) 1e-9) # 提取MFCC mfcc librosa.feature.mfcc(yaudio, srsr, n_mfccn_mfcc, n_fft400, hop_length160) # 轉(zhuǎn)置為 [時間幀, 特征維數(shù)] mfcc mfcc.T # 統(tǒng)一序列長度 if mfcc.shape[0] max_len: pad_width max_len - mfcc.shape[0] mfcc np.pad(mfcc, ((0, pad_width), (0, 0)), modeconstant) else: mfcc mfcc[:max_len, :] return mfcc幾個參數(shù)值得解釋。n_fft400對應(yīng)25毫秒的窗長hop_length160對應(yīng)10毫秒的幀移這是語音識別最經(jīng)典的經(jīng)驗配置。25毫秒的窗口能在頻率分辨率和時間分辨率之間取得平衡10毫秒的幀移保證相鄰幀之間有足夠重疊避免信息丟失。n_mfcc為什么取13而不是更高因為MFCC系數(shù)從低到高可以理解為頻譜包絡(luò)從粗到細(xì)的刻畫13維已經(jīng)包含了大部分與音素相關(guān)的能量分布信息再往上增加的維度往往更多是噪聲和個體發(fā)音差異。當(dāng)然實際工程里很多人會再加上一階差分和二階差分把13維擴展到39維。差分特征描述的是MFCC隨時間的變化趨勢能捕捉聲調(diào)的動態(tài)變化。你也可以在代碼里用librosa.feature.delta實現(xiàn)。max_len100的意思是把每條音頻的特征序列統(tǒng)一到100幀也就是1秒。Speech Commands里大部分音頻都在1秒左右。這個方法叫零填充對齊短的補零長的截斷。這里有坑我后面會專門說。3.3 標(biāo)簽編碼與數(shù)據(jù)集的構(gòu)建MFCC特征提取完成后每條音頻就變成了一個形狀為[max_len, n_mfcc]的二維數(shù)組。下一步需要把文字標(biāo)簽轉(zhuǎn)換成模型能計算的數(shù)字。直接給每個詞分配一個整數(shù)id就夠了label_to_id {yes: 0, no: 1, up: 2, down: 3, silence: 4}然后在構(gòu)建數(shù)據(jù)集時把音頻路徑和對應(yīng)的標(biāo)簽id組成一個樣本。這里有一個新手經(jīng)常犯的嚴(yán)重錯誤讀取所有樣本時如果先把特征文件和標(biāo)簽分開存成兩個列表然后對其中一個列表做了shuffle另一個沒有同步shuffle那訓(xùn)練時模型看到的特征和標(biāo)簽就對不上號了。正確的做法是把兩者打包成元組后再做整體打亂。我自己習(xí)慣用tf.data.Dataset來管理數(shù)據(jù)管道它天然支持shuffle、batch和預(yù)取還能用map函數(shù)在訓(xùn)練時并行做音頻讀取和特征提取。不過在正式訓(xùn)練前我會先把所有樣本的特征一次性提取成numpy數(shù)組存盤這樣訓(xùn)練時直接從內(nèi)存讀取速度快很多也方便在調(diào)試時快速檢查數(shù)據(jù)長什么樣。下面是構(gòu)建數(shù)據(jù)集的參考代碼def build_dataset(file_paths, labels, batch_size32): dataset tf.data.Dataset.from_tensor_slices((file_paths, labels)) def _parse_function(path, label): mfcc tf.numpy_function( extract_mfcc, [path], tf.float32 ) mfcc.set_shape([100, 13]) return mfcc, label dataset dataset.map(_parse_function, num_parallel_callstf.data.AUTOTUNE) dataset dataset.shuffle(buffer_size1000).batch(batch_size) dataset dataset.prefetch(tf.data.AUTOTUNE) return dataset實際訓(xùn)練時我通常把數(shù)據(jù)按8:1:1劃分為訓(xùn)練集、驗證集和測試集。驗證集用于觀察訓(xùn)練過程中的過擬合跡象測試集用于最終評估模型在沒見過的數(shù)據(jù)上的真實表現(xiàn)。4. 模型設(shè)計與CTC損失讓機器自己學(xué)會語音與文本的對齊4.1 用Conv1D加雙向LSTM搭建聲學(xué)模型在數(shù)據(jù)都準(zhǔn)備好之后模型設(shè)計這個環(huán)節(jié)反而變得清爽起來。語音識別模型的核心問題可以概括為一句話給定一幀幀的MFCC特征序列預(yù)測每個時間步屬于哪個音素或字符標(biāo)簽。我搭建的模型結(jié)構(gòu)如下import tensorflow as tf from tensorflow import keras def build_model(input_dim13, time_steps100, vocab_size6): input_data keras.Input(shape(time_steps, input_dim)) # 一維卷積提取局部頻譜特征 x keras.layers.Conv1D(64, 3, paddingsame)(input_data) x keras.layers.BatchNormalization()(x) x keras.layers.ReLU()(x) # 雙向LSTM捕捉上下文依賴 x keras.layers.Bidirectional( keras.layers.LSTM(128, return_sequencesTrue) )(x) x keras.layers.Dropout(0.3)(x) x keras.layers.Bidirectional( keras.layers.LSTM(128, return_sequencesTrue) )(x) x keras.layers.Dropout(0.3)(x) # 輸出每個時間步的標(biāo)簽logits x keras.layers.Dense(64, activationrelu)(x) output keras.layers.Dense(vocab_size)(x) model keras.Model(inputsinput_data, outputsoutput) return model model build_model() model.summary()這里有幾個設(shè)計意圖需要說明。第一個是為什么用Conv1D而不是直接把MFCC序列送進(jìn)LSTM。MFCC特征在時間軸上存在著局部相關(guān)性比如某個音素的能量會連續(xù)影響相鄰幾幀。Conv1D的卷積核通過在時間軸上滑動可以把相鄰幀的特征融合起來相當(dāng)于先做了一次局部特征抽取再交給LSTM做長程依賴建模。這種“卷積下采樣加循環(huán)網(wǎng)絡(luò)”的結(jié)構(gòu)在語音識別里非常常見也是經(jīng)典CRNN結(jié)構(gòu)的核心思想。第二個是為什么用雙向LSTM而不是單向。語音是一個時間序列“yes”這個詞中y的發(fā)音不僅受前面靜音的影響也會受后面e和s發(fā)音的影響。雙向LSTM能從兩個方向?qū)Ξ?dāng)前幀的上下文建模對音素邊界的判斷更準(zhǔn)確。但要注意雙向LSTM在推理時要求整段音頻全部輸入后才能輸出結(jié)果所以它不適合做流式語音識別。如果你的應(yīng)用要求邊說邊出結(jié)果需要換單向LSTM或者使用帶限制的雙向注意力機制。第三個是為什么最后一層不用softmax激活函數(shù)。這是一個容易踩坑的地方。在分類任務(wù)里最后一層通常接softmax輸出概率分布。但在CTC損失的計算中TensorFlow的tf.nn.ctc_loss內(nèi)部會自己對logits做log_softmax處理。如果你在模型最后一層先做了softmax再傳給ctc_loss相當(dāng)于對概率又做了一次log_softmax數(shù)值會被壓縮得很小訓(xùn)練時損失函數(shù)可能直接變成NaN。所以模型最后一層保持線性輸出把softmax留給損失函數(shù)或者解碼階段處理。4.2 CTC損失的計算邏輯與代碼實現(xiàn)CTC全稱是Connectionist Temporal Classification中文是“連接主義時間分類”它是語音識別和手寫識別中最經(jīng)典的訓(xùn)練準(zhǔn)則。CTC要解決的核心問題是音頻特征序列的長度和文本標(biāo)簽序列的長度不一致而且沒有標(biāo)注好的對齊信息。舉個例子一段時長1秒的音頻被提取成100幀MFCC特征它的標(biāo)簽是“yes”這三個字母但訓(xùn)練時我們并不知道y這個音具體對應(yīng)哪幾幀、e對應(yīng)哪幾幀、s對應(yīng)哪幾幀。傳統(tǒng)的做法需要人工標(biāo)注音素邊界成本極高。CTC的做法是引入一個額外的blank標(biāo)簽空白幀允許模型在輸出序列里自由地插入空白然后窮舉所有與目標(biāo)標(biāo)簽兼容的對齊方式計算它們的總概率作為損失。你可以這樣直觀理解讓模型在100個時間步里寫一串字符寫得比目標(biāo)標(biāo)簽長沒關(guān)系允許它隨時寫一個“退格”blank最后去掉退格和連續(xù)的重復(fù)字符只要剩下的序列正好等于目標(biāo)標(biāo)簽就認(rèn)為這個輸出是“對齊正確”的。CTC訓(xùn)練的目標(biāo)就是最大化所有正確對齊方式的總概率。CTC損失函數(shù)的自定義實現(xiàn)如下def ctc_loss(y_true, y_pred): batch_len tf.cast(tf.shape(y_true)[0], dtypetf.int64) input_length tf.cast(tf.shape(y_pred)[1], dtypetf.int64) label_length tf.cast(tf.shape(y_true)[1], dtypetf.int64) input_length input_length * tf.ones(shape(batch_len, 1), dtypetf.int64) label_length label_length * tf.ones(shape(batch_len, 1), dtypetf.int64) return tf.nn.ctc_loss( labelsy_true, logitsy_pred, label_lengthlabel_length, logit_lengthinput_length )這里有一個很重要的細(xì)節(jié)tf.nn.ctc_loss在TensorFlow 2.x中要求logits的shape是[batch_size, max_time, vocab_size]labels的shape是[batch_size, max_label_length]。input_length是每個樣本的時間步數(shù)label_length是每個樣本的真實標(biāo)簽長度。因為做了固定長度截斷input_length在訓(xùn)練時恒等于100。真實標(biāo)簽長度是1因為每個音頻只對應(yīng)一個命令詞。你可以驗證一下標(biāo)簽[1]對應(yīng)“no”標(biāo)簽[3]對應(yīng)“down”每個樣本的標(biāo)簽長度都是1。模型編譯時直接把自定義的ctc_loss傳進(jìn)去model.compile( optimizerkeras.optimizers.Adam(learning_rate1e-3), lossctc_loss )注意這里沒有metrics參數(shù)因為CTC損失不是一個直觀的百分比指標(biāo)更合理的評估方式是在每個epoch結(jié)束后抽幾個樣本做解碼看看預(yù)測結(jié)果是否等于真實標(biāo)簽。4.3 容易踩的三個坑softmax、維度順序、輸入長度這一節(jié)我專門把模型訓(xùn)練和推理里最容易出錯的三個點展開每一個我都實際遇到過并且排錯花了不少時間。第一個坑就是上一節(jié)提到的最后一層softmax問題。如果你按照普通的分類任務(wù)習(xí)慣在最后一層加softmax訓(xùn)練時第一個epoch的loss基本就會顯示為NaN。排查方法很簡單直接打印模型輸出層的激活函數(shù)如果看到softmax就果斷去掉。記住CTC內(nèi)部的log_softmax已經(jīng)處理了歸一化你只需要輸出原始logits。第二個坑是維度順序。tf.nn.ctc_loss要求logits的time維在第二位也就是[batch, time, vocab]。而tf.nn.ctc_greedy_decoder要求輸入是[time, batch, vocab]的排列注意這三者的順序完全不同。我經(jīng)??吹接腥擞?xùn)練時一切正常一到推理階段就報類似“Dimensions must be equal”的錯誤原因就是這里的維度順序沒有轉(zhuǎn)置。推理時的正確做法是logits model.predict(mfcc_batch) # shape: [1, 100, vocab_size] logits tf.transpose(logits, [1, 0, 2]) # shape: [100, 1, vocab_size] decoded, _ tf.nn.ctc_greedy_decoder( inputslogits, sequence_length[100] )第三個坑是輸入長度。如果你的數(shù)據(jù)管道里樣本的時間步長不固定而模型輸入層又定義了固定shape訓(xùn)練時就會報錯。解決方式有兩種一是像我一樣把所有樣本統(tǒng)一到固定幀數(shù)二是構(gòu)建動態(tài)shape的模型在loss里為每個樣本傳入真實的輸入長度。第一種方法簡單直接適合命令詞這類短音頻第二種方法適合語音長短差異很大的場景但實現(xiàn)復(fù)雜度高不少。5. 訓(xùn)練、驗證與推理從損失下降到真正“聽懂”一句話5.1 訓(xùn)練配置與監(jiān)控要點模型訓(xùn)練階段我建議先跑一個小的epoch數(shù)確認(rèn)整個鏈路沒有報錯再開啟正式訓(xùn)練。我通常先跑5個epoch、每個batch 32、每50個batch打印一次loss。訓(xùn)練過程中要重點觀察兩個信號第一個是loss數(shù)值的變化趨勢。CTC損失在初期下降非??煲驗槟P秃芸炀蛯W(xué)會了把輸出序列推送到可能包含目標(biāo)標(biāo)簽的區(qū)域。但如果你的數(shù)據(jù)集很小、模型又比較大loss可能出現(xiàn)反復(fù)震蕩這時候需要降低學(xué)習(xí)率或者增大batch size。另外一個需要警惕的情況是loss直接變成NaN原因通常是學(xué)習(xí)率過大或者數(shù)據(jù)里混入了NaN特征的音頻。第二個是過擬合信號。用驗證集計算loss如果訓(xùn)練loss持續(xù)下降而驗證loss回升說明模型開始死記硬背訓(xùn)練數(shù)據(jù)了。緩解辦法是增加Dropout、增加數(shù)據(jù)增強或者減小模型規(guī)模。這里給一個推薦訓(xùn)練參數(shù)配置epochs30 batch_size32 learning_rate1e-3如果CPU訓(xùn)練30個epoch大概需要30分鐘到1小時具體取決于數(shù)據(jù)量。GPU會快很多。5.2 真實音頻推理的完整代碼訓(xùn)練完成后推理階段的代碼非常短def predict_audio(audio_path, model, label_map, max_len100, n_mfcc13): mfcc extract_mfcc(audio_path, n_mfccn_mfcc, max_lenmax_len) mfcc np.expand_dims(mfcc, axis0) # 增加batch維度 logits model.predict(mfcc, verbose0) # ctc_greedy_decoder需要的輸入維度是[time, batch, vocab] logits tf.transpose(logits, [1, 0, 2]) decoded, _ tf.nn.ctc_greedy_decoder( inputslogits, sequence_length[logits.shape[0]] ) decoded tf.sparse.to_dense(decoded)[0].numpy() if len(decoded) 0: return silence id_to_label {v: k for k, v in label_map.items()} return .join([id_to_label[i] for i in decoded])這里decode出來的是一個整數(shù)序列。如果模型判斷整段音頻都是blank解碼結(jié)果就是一個空列表此時返回silence是合理的因為靜音片段確實沒有命令詞。5.3 實測效果與常見問題我在自錄音頻上的實測結(jié)果顯示干凈環(huán)境下5個命令詞的識別準(zhǔn)確率可以達(dá)到95%以上。但我必須提醒你這個數(shù)字只對“麥克風(fēng)距離嘴巴不遠(yuǎn)、環(huán)境安靜”的場景有效。一旦加入噪聲比如播放電視聲音、開風(fēng)扇、在走廊里測試準(zhǔn)確率會明顯下降。這不是模型bug而是語音識別系統(tǒng)的天然局限。測試中我發(fā)現(xiàn)一個問題值得特別說明模型對“no”和“up”偶爾會混淆。分析MFCC特征后發(fā)現(xiàn)這兩個詞雖然語義層面差異巨大但在聲學(xué)層面確實存在相似之處元音的共振峰位置接近。解決這個問題最有效的方式是補充更多說話人的數(shù)據(jù)同時引入噪聲增強讓模型學(xué)會在干擾下抓住核心的聲學(xué)區(qū)別。6. 調(diào)優(yōu)方向和擴展從命令詞到連續(xù)語音識別的路線6.1 數(shù)據(jù)增強用更少的數(shù)據(jù)換來更強的泛化能力小數(shù)據(jù)集上訓(xùn)練語音識別模型數(shù)據(jù)增強是不可或缺的工具。數(shù)據(jù)增強的本質(zhì)是對原始音頻做一系列變換生成更多“看起來來自不同場景、但語義相同”的樣本從而模擬更多樣的現(xiàn)實環(huán)境。我在項目中使用的增強方法有以下幾種加性噪聲把一段環(huán)境噪聲比如白噪聲、雨聲、辦公室人聲以隨機信噪比疊加到原始音頻上時間拉伸把音頻速度變?yōu)樵瓉淼?.9倍到1.1倍模擬不同說話人的語速差異音高平移在保持時長的前提下改變音高模擬不同聲帶長短的說話人Librosa提供了實現(xiàn)這些增強的工具。但要注意增強因子不宜過大否則模型會把噪聲模式當(dāng)作語義特征反而損害準(zhǔn)確率。一個經(jīng)驗值是每個epoch按30%的概率對音頻做增強讓模型既能看到干凈數(shù)據(jù)也能看到帶噪聲版本。6.2 加入語言模型修正輸出序列命令詞識別的輸出只有一兩個詞語言模型的作用微乎其微。但如果把系統(tǒng)擴展到連續(xù)語音識別比如識別一句話“幫我打開客廳的空調(diào)”就需要語言模型來幫忙了。連續(xù)語音識別中聲學(xué)模型輸出的候選序列通常包含多個同音字或近音詞。語言模型的作用是計算哪個序列在語法和語義上更合理。舉個簡單例子聲學(xué)模型可能同時輸出“打開空調(diào)”和“打開空條”語言模型會判斷“空調(diào)”的概率遠(yuǎn)高于“空條”從而修正識別結(jié)果。把語言模型集成進(jìn)現(xiàn)有代碼的方法是在解碼階段替換貪心解碼為束搜索解碼并在束搜索的打分公式中合并語言模型概率score acoustic_log_prob lambda * language_log_problambda是語言模型權(quán)重一般取0.5到1.0之間。具體值需要拿一顆測試集來調(diào)。6.3 從CTC到注意力機制的架構(gòu)演進(jìn)CTC雖然經(jīng)典但它的假設(shè)是幀與幀之間條件獨立模型無法顯式建模輸出序列內(nèi)部的依賴關(guān)系。對于連續(xù)語音識別現(xiàn)在更主流的是序列到序列模型其中注意力機制讓解碼器在生成每個文本字符時自動關(guān)注音頻特征序列中相關(guān)的部分。如果你有興趣繼續(xù)深入我建議的路線是先跑通我的CTC命令詞系統(tǒng)理解語音識別的完整數(shù)據(jù)流和訓(xùn)練流再學(xué)習(xí)Listen-Attend-Spell或Transformer Transducer這類模型。注意力機制解答了CTC里沒有回答的問題如何讓模型“主動選擇”它認(rèn)為重要的音頻片段。7. 踩坑實錄我在這個項目中犯過的錯7.1 TensorFlow 2.18安裝后的CPython版本不兼容問題我最初用conda創(chuàng)建環(huán)境時指定了Python 3.12然后pip安裝TensorFlow 2.18import時報錯缺少某個DLL文件。查了半天發(fā)現(xiàn)是Python 3.12的ABI和TensorFlow 2.18的某個依賴不匹配。雖然理論上有解決辦法但最省時的操作就是換到Python 3.11重建環(huán)境。經(jīng)驗教訓(xùn)遇到環(huán)境問題別硬剛。直接換一個官方支持范圍內(nèi)的組合重建環(huán)境通常十分鐘內(nèi)解決問題比在網(wǎng)上搜各種玄學(xué)解法靠譜得多。7.2 librosa與numba的依賴沖突安裝librosa時它依賴的numba版本如果和TensorFlow依賴的numpy版本沖突會出現(xiàn)類似“Numba needs NumPy 1.22 or less”的錯誤。我當(dāng)時的解決辦法是先conda install numba指定一個和TensorFlow兼容的版本再pip install librosa最后用python -c import librosa; import tensorflow驗證兩者能和平共處。經(jīng)驗教訓(xùn)音頻相關(guān)的Python庫依賴樹特別長盡量在同一個虛擬環(huán)境開始階段就把它們一起裝好避免后裝時的版本覆蓋問題。7.3 音頻截斷把關(guān)鍵詞截沒了我最初設(shè)計max_len80幀也就是0.8秒。大部分Speech Commands音頻確實不到0.8秒但有一小部分語速較慢的樣本會被截掉末尾的音素。訓(xùn)練時loss一直不降查看訓(xùn)練樣本才發(fā)現(xiàn)有些no被截成了n的開頭部分。把max_len提高到100并配合padding之后問題消失。經(jīng)驗教訓(xùn)在做固定長度截斷前先統(tǒng)計所有音頻的時長分布按95分位數(shù)來設(shè)計max_len而不是隨便設(shè)一個值。7.4 標(biāo)簽打亂不同步導(dǎo)致“模型胡亂識別”我早期代碼里分別讀取了features和labels然后單獨對features做了shuffle。訓(xùn)練時模型看到的特征和標(biāo)簽錯位“yes”的音頻對應(yīng)“no”的標(biāo)簽。更可怕的是因為數(shù)據(jù)集足夠大模型居然也能把loss降到很低因為它學(xué)會了記住整體分布而不是對應(yīng)關(guān)系。經(jīng)驗教訓(xùn)所有與樣本相關(guān)的元數(shù)據(jù)必須和樣本綁定在一起任何打亂、篩選操作都要保證同步。這是數(shù)據(jù)管道設(shè)計中最容易出錯但最不應(yīng)該出錯的點。訓(xùn)練前用少量樣本打印一下“特征路徑-標(biāo)簽”對照表一分鐘就能驗證管道正確性。7.5 CPU訓(xùn)練不求快但求穩(wěn)定最后說一個關(guān)于訓(xùn)練體驗的問題。我的筆記本沒有獨立顯卡用CPU訓(xùn)練30個epoch大概花了40分鐘中途還因為溫度保護出現(xiàn)過一兩次訓(xùn)練中斷。后來我把batch_size從32降到16并把TensorFlow的線程數(shù)限制了一下訓(xùn)練雖然略微變慢但穩(wěn)定性提升不少不再出現(xiàn)因為內(nèi)存或線程資源耗盡導(dǎo)致的崩潰。限制CPU線程數(shù)的操作很簡單export TF_INTRA_OP_PARALLELISM_THREADS4 export TF_INTER_OP_PARALLELISM_THREADS4這個參數(shù)要根據(jù)你的CPU核心數(shù)來調(diào)整通常設(shè)為物理核心數(shù)的一半到三分之二既能保證穩(wěn)定性又能留出資源給其他程序運行。回到我在這個項目里最大的體會語音識別系統(tǒng)真正的復(fù)雜度不在模型結(jié)構(gòu)有多深而在于你愿不愿意把數(shù)據(jù)鏈路里的每個細(xì)節(jié)磨透。MFCC提對了、標(biāo)簽對齊了、維度順序理順了模型哪怕簡單一點出來的效果也足夠讓人驚喜?,F(xiàn)在這個項目跑通后我又給它接了一個簡單的命令控制接口實現(xiàn)了語音開燈、關(guān)燈雖然算不上什么了不起的工程但看著語音真的能控制物理設(shè)備那種“技術(shù)上跑通了”的成就感還是很值得體驗的。如果你在這個基礎(chǔ)上繼續(xù)擴展我建議可以先做噪聲魯棒性增強再嘗試多個命令詞的連續(xù)識別每一步都會踩到新坑但也正是這些坑才是語音識別真正有意思的地方。本文還有配套的精品資源點擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天堂资源欧日浪女在线播放| 婷婷四月 成人 狠狠干| 五月综合影院| 激情九月天天天天婷婷| 五月天啪啪| 激情五月综合色婷婷| 这里只有精品96| 中文字幕性爱丰满| Av狠狠色丁香婷| 八戒青柠影视剧在线观看| 日日操日日射| 色播五月综合网| 99热一区| 91大神操美女| 五月婷av| 精品九九视频| 久久99网站| 日本视频久久| 97综合在线| 亚洲日韩26uuu| 五月丁香久人妻中文| 91九色首页| 婷婷情色激情| 激情婷婷五月天伊人在线观看| 亚洲精品国产A久久久久久| 色婷婷五月中文字幕在线dvd| 激情伊人| 99啪啪网| 91日视频| 久9热视频| 国产精产国品一二三在观看 | 五月婷婷激情综合av| 九九RE视频在线精品| 色五月,com| 色婷| 岛国AV网| 天天日日夜夜爽。| 99愛国产| 停停五月天激情网| www,26uuu,c0m,色情| 这里只有精品热| 欧美黄色一级录像| 少妇AB又爽又紧无码网站 | 9l视频自拍9l九色9l成人| 天天草婷婷五月| 日本欧美在线| 亚洲色啪| 天天肏屄夜夜爽| 色玖玖综合| 亚洲中文字幕翔田千里| 激情婷婷五月在线合集| 黄色热99| 亚洲国产黄色电影| 亚洲AV日韩在线观看| 超碰人人草| www.91在线观看| 五月天激情无码专区| 日日干综合| 五月婷婷黄色| 久婷| 热久久77777| 五月天激情久久| 丁香五月瑟瑟| 久久九九经典| 中文字幕97超级碰| 伊人大香五月天| 久草五月| 天天插天天插| 婷婷五月天在线观看| 九九在线精品| AA丁香综合激情| 丁香六月激情四射| 狠狠爱综合| 天天激情站| 成人婷99最新| 丁香五月激情婷婷| 日日日日日| 激情五月天综合| 99久在线精品99re8| 婷婷五月丁香六月天亚洲综合| 五月天婷婷网站| 秋霞学生妹一二级| 欧美美美女性色视频| 欧美va在线| 五月综合视频在线| 色导航色婷婷五月天在线观看| 五月婷六月天| 伊人五月婷婷| 天天草女人| 五月丁香综合激情| 91久久婷婷人人澡草| 天天碰天天插天天操| 五月婷婷精品无在线| 五月婷婷久草在线视频综合| 久久婷婷综合基地| 亚洲六月色| 久久五月天丁香| 97碰人人操| 五月婷精品| 婷婷97| 五月天婷亚洲天综合网综合| 日本色视| 亚洲男女激情| 五月婷婷丁香六月| 五月花婷婷最新| 成人免费va| 精品A√| 九九色综合网| 五月丁香在线观看国产| 青草五月天| 色婷另类| 日本成人内射| 综合久色五月| 激情五月天啪啪| 日日夜夜婷婷| 色情五月天。| 五月丁香六月婷婷亚洲视频| 99这里有精品| 97人人干人人操| 五月人妻婷婷| 久9视频| 青青草青青草五月天| 肏屄色播伊人97婷婷| 99色这里| 五月天久久婷婷| 色婷婷呢狠禁久禁| 26uuu国产色| 色99网| 激情床戏| 九九色天堂| 色婷婷六月激情| 182TV大香蕉| 性生生活大片又黄又| 99热九九九九| 久久精品爱爱| 久久婷婷综合网| 中文字幕丰满孑伦无码专区| www.99热最新视频8| 79色色色色| 婷婷五月天开心网| 99,色| 五月天亚洲综合网| 亚洲无码激情| 五月丁香六月色婷婷综合五月天| 这里只有精彩视频| 久色五月| 亚洲激情网| 9视频1在线| 九九视频网| 五月丁香婷婷婷激情爱爱| 老师的粉嫩小又紧水又多A片视频| 激情av在线| 九九热精品视频九九| 五月天另类小说| 99丁香五月婷婷在线| 六月婷婷网站| 六月色丁香婷婷| 五月丁香手机在线| 丁香激情网| 91在线日| 夜夜撸日日操| 南京搡BBBB搡BBBB| 大香蕉久久青青| 精a品a视a频| 亚洲无码播放| 天天搽天天射| 激情性爱五月天网页| 狠狠色丁婷婷日日,伊人激情综合网 | 丁香五月婷婷久久综合激情网| 五月丁香六月婷婷无码| 五月天丁香综合在线| 午夜丁香婷婷| 99热人人| 亚洲精品午夜国产va久久成人| 五月丁香啪啪综合| 婷婷色导航| 777久久综合视频| 五月天伊人| 日本一道久久| 婷婷五月丁香香蕉| 97色色色| 丁香五月婷婷成人网| 色一情一乱一乱一区91Av| 色情·com| 日本狠狠干| 五月五婷婷网| 丁香五月综合网| 91色情播放| 98热精品| 天天色色天天| 五月天五月婷五月激情网| www.一区二区三区| 婷婷五月丁香六月| 99 这里只有精品| www,999日本色| 六月丁香久久| 丁香五月天啪啪| 色色激情五月天| 思思热热久久| 激情爱爱网站| 久久97久久99久久综合欧美| 天天日天天插| 玖操97| 五月婷婷之综合激情在线| 激情五月天综合网| 91婷婷五月天综合视频| 色综合中文| 婷婷导航| 五月天激情四射网站| 色香蕉影院| αv中文字幕在线观| 超碰熟女拍拍| 五月婷婷偷| 色婷婷在线视频观看| 丁香五月手机在线| 国产成人一区二区三区在线观看| 亚洲另类噜噜| 久色成人| 九九色影视| 麻豆AV一区二区三区| 激情五月婷婷视频一区二区三区| 婷婷色5月天在线。| 亚洲av综合在线| 激情综合啪啪| 丁香五月六月| Www.婷婷五月| 激情丁香淫荡婷婷| 免费黄色AV| 九九九九精品精| 人妻视频在线| 亚洲天堂aaa| 婷婷丁香视频在线观看免费| 91婷婷五月丁香碰| 中文字幕91,综合| 精品夜夜澡人妻无码AV| 婷婷综合| 婷婷激情五月| 一本色道久久综合狠狠躁小说| WWW丁香五月| 91久久电影| 123日本不卡在线| 久久丁香| 伊人久久五月天| 五月婷婷六月丁香激情深爱| 久久丁香婷婷五月| 亚洲av成人一区二区电影在线| 国产激情视频在线观看| 九九精品在线观看视频6| 国产激情综合| 99综合视频一体| www综合久久| 国产精产国品一二三在观看 | 激情五月天小说网| 九九热在线观看视频| 五月色婷婷综合丁香精品无遮挡| 99热网站在线观看| 色婷婷91激情小说| 五月综亚洲| 亚洲Va成人| 99热在线观看精品| 久久久91| 天天色综和网| 国产日韩欧美性生活| 五月天综合在线| 综合99久久天天综合| 久久性都花花世界成人免费视频| 高潮毛片又色又爽免费| 99久久九九视频| 日本综合色图| 国产SUV精品一区二区6| 天天干天天拍| 国产真实乱对白精彩| 超碰在线看| 99精在线| 亚洲妇女熟BBW| 国产欧美日韩综合精品一区二区| 桃色五月婷婷| 五月婷av| 五月丁香啪啪啪啪| 日韩综合久久| 女同激情久久av久久| 91丁香五月| 国产婷婷五月天| 丁香九月激情久久| 色五月激情视频在线综合| 99热亚洲| xxxx五月| 美英法精品无码免费视频| 99视频在线观看视频| 狠狠操.COM| 久久成人人妻| 亚洲区视频| 日本天天色| 风流少妇A片一区二区蜜桃| 天天射天天插天天干| 9色91视频| 96精品成人无码A片观看金桔 | 丁香六月婷婷久久综合| 色综合色色色| 嫩模草| 99久久精彩视频| 色五月婷婷操逼| 精品思思久久| 色天天综合| 骚。com| av在线免费网站 | 婷婷精品在线| 狠狠干婷婷| 九九热黄色| 五月丁香影院| 久九九热| 五月婷婷丁香伦理网| 人人草人人爱手机视频看看| 开心五月激情网| www五月| 2025神马午夜福利| 色五月天丁香婷婷| 日韩久久这里只有精品| 欧美99热| 狠狠色综合无线观看| www.久久9| www.激情.com.| 色五月婷婷DVD| www,天天干| 男女免费视频999| 色婷网| 人人操人| 噜噜噜色噜噜| 激情影院丁香五月| 婷婷综合视频| 深情五月天| 久久这里有精品| 国产AV网页| 激情小说五月天社区丁香| 思思热久久婷婷五月天| 色色色热| 91人人操人人| 天天综合网站| 丁香五月色激情| 97色色婷婷| 五月婷婷激情视频| 玖玖色综合色| 成人婷婷五月天| 涩婷婷五月天在线精品视频| 婷婷丁香精品视频在线观看| 亚洲五月天婷婷| 亚洲精品国产A久久久久久| 第九色区AV在线| 国产97色在线 | 日韩| 色五月aV| 久久激情综合| 中文字幕成| 天天色天天爱天天爽| 囯产精品久久欠久久久久久九大| 婷婷免费无马| 丁香激情网| 久热精彩视频98| 精品在线| 激情综合网激情五月天| 丁香婷婷久久 | 婷婷激情视频欧美视频自拍视频欧美剧| 99久久网站| www.色五月.com| jiZZdr| 丁香五月色情av| 天天爱天天做天天舔| 91精品丝袜久久久久久| 久久婷综合| 九九亚洲综合| 久婷婷| 人妻AV在线观看| 精品99*| 婷婷五月天影视网址| 色玖玖| 99无码超碰| 热久精品| 亚洲日韩成人三级av| 综合色色婷婷| 日本色婷婷| 色10月婷婷视频| 久久九九网| 欧美日韩成人高清在线| 五月天伊人久久久久| 在线看av| 亚洲成人AV在线播放| 婷婷九月丁香久久| 超碰操日| 五月天丁香婷婷社区| 67194线路二在线观看| 激情丁香婷婷六月天| 欧美丁香婷婷五月| 男人天堂亚洲综合| 亚洲美女裸体被操在线观看| 小视频久久久aaa| 性爱七区| 六月丁香激情网| 五月丁香六月激情综合网| www.夜夜操| 丁香婷婷激情五月色| 色婷婷呢狠禁久禁| 婷婷色综合| 日韩狠狠色| 欧美va在线| 婷婷六月丁香1| 爱iii做iiii日| 欧美va在线| 成人在线视频一区| 五月丁香激情综合网| 五丁香激情综合| 99网址在线观看| 五月天成人综合| 欧美在线97| 婷婷午夜| 丁香婷在线| 色综合激情图区| 五月天激情小说婷婷基地| 久久婷婷五月综合色和| 亚洲网站999| 99 re视频一区| 久久婷婷综| 久久久WWW| 久久久这里有精品| 激情VA视频| 91色五月| 丁香五月婷婷亚洲激情四射| 99在线精品观看99| 影音先锋91资源站| 狠狠草婷婷| 日韩无码系列| 婷婷色导航| 久久精品一区二区三区四区| 九九这里有精品| 色婷婷色九月| 99久久婷婷国产综合亚洲| 狠狠丁香| 婷婷成人视频| 六月丁香好婷婷| 婷婷终合色图| 婷婷亚洲在线| www.色婷婷| 日本九九视频| 人人色性网| 国产人人操| 夜夜撸日日操| 婷婷丁香人妻天天久久| 五月激情开心婷婷| 激情综合网丁香| 狠狠综合区| 亚洲第一成人无码A片| 九热视频| 色婷婷狠| www.99热精品| 亚洲久久激情| 亚洲99精品欧美一区| 99re久热只有精品6在线直播| 99啪99| www.五月婷婷.com| 欧美日比视频| 99九精品| 极品五月天| 99国产精品白浆在线观看免费| 综合在线色婷婷| 婷婷香五月| 天天爽天天弄| 人妻乱码久久久| 九九色影视| 丁香五月婷婷天堂大香蕉| 日韩AC在线免费观看| 国产成人精品一区二三区熟女在线| 92国产福利| 亚洲AV日韩在线观看| 男男野外做爰全过程69| 成人视频网| 久久9久| 激情综合网色播五月| 天天干com| 色情免费视频播放| 欧美综合激情五月天| 六月色色婷婷| 婷婷五月天开心激情网| 六月合五月婷| 色婷婷综合亚洲| 色婷婷久久综合中文久久一本| 丁香美女主播视频在线观看 | 婷婷丁香成人网址| 亚洲六月婷| 五月婷婷免费视频| 欧美丁香婷婷五月| 一月婷婷色色| 99久久99久久综合| 五月天综合网| 亚州在线中文字幕| 五月婷婷之综合激情在线| 五月天丁香看婷婷| 欧美精品啪啪| 这里只有精9| 日韩欧美四五区| 色色色欧美色色| 中文字幕色色| 97婷婷丁香| 在线观看的av| 这里只有精品视频在线| 9999热免费视频视频| 五月丁香婷婷激情四射迷人| 综合色五月| 婷婷丁香五月亚洲欧美| 能看的av片| 另类国产综合| 婷婷在线视频| 99ri在线| 性小说五月天| 可以直接看的AV| 九色七七| 国产精品久久久久久久久久免费 | 婷婷射图五月天| 久久丁香久久| 久机视频这只有精品| 欧美大肥婆大肥BBBBB| 99cao婷婷| 七七色色综合| 激情五月天之六月婷婷| 天天插综合网| 亚洲日韩一页精品发布| 久久久九九视频精品18| 五月天日日操夜夜操 | 日本WWW九九九| 五月婷婷深深的爱| 五月婷婷六月丁香在线视频| 激情五月婷婷丁香| 97伦色婷婷| 操一区| 色婷婷丁香五月丁香| 免费视频99| 五月香婷婷| 色婷婷色和| 99re熱| www.狠狠艹| 这里只有精品视频免费在线观看| 婷婷影院欧美| 99热只有精品在线观看| 色激情五月| 丁香青青五月天| 99色中文| 这里只有精彩视频| 婷婷五月花| 人妻AV在线观看| 视色综合| 国产精产国品一二三在观看 | 吉澤明步Av一區二區| 丁香五月婷婷基地| 色久女| 久热A| 开心五月婷婷| 99热99操| 婷婷五月18永久免费视频| a网站免费观看| 蜜臀99久久精品久久久久| 六月伊人婷婷| 亚洲综合五月天婷婷丁香| 久久蜜臀婷婷| 色色网站免费观看| 色色国产| 天天五月香欧美| 色三级色三级| 4399在线观看免费高清黄色视频| 五月天亭亭俺也| 九九久久9 9在线观看| 亚洲色爽| 大香蕉综合网| 人人亚洲| 婷婷色中文字幕| 九九激情综合| 天天操天天操天天操天天操天天操| 热久69| 婷婷色基地| 任我干视频在线观看| 思思热在线视频观看精品| 九九五月天| 五月丁香综合成人社区| 影音先锋天天日| 久热在线观看视频9| 天天操天天日天天操| 9色91视频| 五月色无码| 2018国产大陆天天弄| 天天开心婷婷丁香五月| 亚洲精品又粗又大又爽A片| 天天色天天色天天色天天色天天色天天色| 亚洲久久激情| 丁香丁香激情网| 激情五月天婷婷| 色综合大香蕉| 久久久99免费视频| 九九九九这里只有精品| 丁香婷婷五月天网站| 五月天激情小说网| 夜夜噜夜夜奇| www.91AV.com| 日本三级中文字幕| 色播五月丁香| 亚洲国产精品SUV| 亚洲天堂99| 日本高清久久| 色六月视频| 99小视频在线观看| 丁香五月婷婷基地| jiujiu无码五区| 在线视频婷婷| 久色| 亚洲日本激情| 九九九九九九九九九九九九九九九九九九九在线视频 | 五月天丁香网| 国产成人精品123区免费视频| 五月丁香综合啪啪対白| 丁香六月激情国产| 色婷婷网| 五月丁香六月日逼| 狠狠综合久久综合| 亚洲午夜AV| 久久婷五月综合色| 久久亚洲天堂| 欧美搡BBBBB摔BBBBB| 丁香婷婷综合激情五月色| 高清国产AV| 欧洲色色| 五月色婷婷综合| 亚洲精品电影| 五月Huangsewang| 天堂久久性| www,8050,午夜三级| 久久五月婷6 9| 激情五月天色播| 深爱激情中文五月天av| 九九综合网| 五月丁香成人视频| 九九精品在线视频观看| 久热这里只有精品视频6| 五月婷婷色色网址| 99色视频| 色婷操逼| 丁香狠狠色婷婷久久无码视频| 色五月91| 国产中文字幕在线视频免费观看| 超碰在线人妻| 久久艹99| 日本操逼九九九九58日本操逼| 99啪啪视频| 色婷综合| 思思9久久| 午夜成人AV在线| 亚洲精品性色| 精品婷婷五| 2020日日干| 午夜微拍福利| 99这里都是精品| 色婷婷亚洲婷婷在线观看| 成人色情五月天婷婷丁香| 插插网爽妇五月丁香| 五月好婷婷| 丁香五月婷婷五月天在线 | 综合网狠狠| 日本操B视频在线观看| 中文无码婷婷| 色五月av| 亚洲成人噜噜| 综合五月激情网| 秋霞午夜理论| 天天插天天玩天天干| 伊人婷婷五月天av| 99ri国产精品| 激情婷婷| 99热精品免费| 思思久久精品| 久久九九综合| 99日本在线| 操逼巨乳91| 丁香五月激情婷婷婷婷在线观看| 亚洲va欧美va国产综合久久久| 99热6这里之有精品| 九九亚洲视频| 就是色婷婷五月亚洲色| 久久久精品视频79| 色情综合| 欧美色图45678| 粉嫩av蜜桃av蜜臀av| 99视频网址| 一区三区视频有限公司| 欧美 日韩 成人| 久99精品视频| 五月丁香最新| 九九精品热播| 99久在线精品| 91热99| 91精品久久久久久久| 综激情网| 激情五月深爱五月观看| 久久成人性爱| 久久99色色| 日本激情综合| 狠狠狠狠狠狠| 婷婷伊人綜合中文字幕小说| 丁香五月Av| 欧美色频| 国产精品久久久久9999小说 | 综合五月激情| 久久这里只精品| 丁香六月天| 婷婷五月色激情欧美激情| 六月婷婷在线视频| 亚洲五月天婷婷| 九九热精品视频| 嫩草AV久久伊人妇女超级A| 97在线观视频免费观看| 月丁香久久久| 成人AV免费观看| 色婷婷内射| 手机激情网| 五月丁香性| 九九九九国产| 99热久久这里只有精品| 天色色综合网| 大香蕉婷婷五月天| 99'无码| 五月色情网| 人人射人人高潮| 另类专区在线| 99久久国产宗和精品1上映| 丁香五月天堂亚洲社区| 久热中文字幕| 99热这里只有国产精品| 久久婷婷综合国产| 99ER热精品视频| 九九99男女视频在线观看| 日本久久天堂| 久久人妻视步| 五月天开心网| 午夜日日| 久久五月激情网| 真实亲子乱子伦高清在线观看| 日韩精品无码AV| 影音先锋噜一噜| 婷婷色五月天综合网| 婷婷色片| 大香伊人久色| 欧美99热| 久久六月综合| 国产全是老熟女太爽了| 五月天婷婷綜合院| 婷婷五月色综合| 五月婷色色| 婷婷五月综合基地| 九月丁香婷婷综合激情| 婷婷五月婷婷| 五月婷婷丁香91| 中文字幕在线免费观看视频| 99免费视频网| 国产肥白大熟妇BBBB视频| 亚洲 视频 导航 一区| 小视频一区| 99久在线精品99re8| 97在线干| 快色t v在线入口| 4399成人黄A片| 欧美啪啪9| 色综合射婷婷| 鲁鲁色五月| 五月婷六月综合在线观看| 韩国三级五月天婷婷。| 国产精品扒开腿做爽爽爽A片唱戏| 开心五月婷婷婷美女| 激情综合五月色丁香婷婷 | av在线超清中文| 亚洲无线视频| 成人网站av免费网站推荐| 色情一区二区播放| 色婷婷基地 | 五月丁香猫咪久久婷婷综合视频激情四射网入口 | 亚洲丁香网| 亚州美女| 亚洲avjiujiur91| 99自拍视频| 五月丁香好婷婷A片网| 五月天色婷婷综合| 婷婷丁香黄色| 丁香五月六月婷婷殴美综合| 91九色超碰| 思思99re这里只有| 国产午夜伦鲁鲁| 五月天成人网婷婷| 思思久久99热只有频精品66| 天天网站天天爽| 午夜成人AV在线| 99丁香五月婷| 99热99| 激情五月天偷拍综合网| 狠狠色综合网站久久久久| 色婷婷裸体色性在线| 九九在线91| 99成人免费热视频| 综合 蜜月 婷婷| 五月丁花六月丁香综合| 婷婷五月六月丁香| 桃色五月天| 五月久久网| 婷婷五月香蕉| 99在线观看视频免费| www.夜夜操.com| 天堂婷婷五月在线| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 天天拍天天操| 丁香五月第九色| 大地资源色婷婷视频在线| 婷婷伊人| 激情综合五月婷婷| 综合在线丁香五月| 男同色五月开心五月激情五月| 色婷婷丁香五月综合| 99久久婷婷五月| 亚洲无码色| 97干视频| 成人片黄网站色大片免费毛片| 26uuu亚洲欧美另类| 国产毛片操B| 激情五月天小说|五月天开心激情网|亚洲精品国产自在现线|黄色五月天 | 亚洲精品影视| 337p大胆噜噜噜噜噜91Av| 综合激情五月综合激情五月激情1| 国产成人精品一区二区三区视频| 久久人妻人人槡| 人人97操| 任你爽视频| 五月激情视频网| 日韩AV一区二区三区| 五月丁香婷婷久久| 人人舔人人色人人高潮| 久久99日本精品视频免费观看| 九九综合| 玖月婷婷爱丁香| 丰满少妇乱A片无码| 99re鈥哸鈥唙| 婷婷伊人綜合中文字幕小说| 日韩乱轮AV| 婷婷五月丁香91| 六月亚洲| www久久艹| 嫩BBB搡BBBB榛BBBB| 五月天六月色| 热无码A∨| 久久一级片| 婷婷五月天激情网| 91精品久久久久、久五月天| 四色永久成人网站| 五月天久久小说| 老司机伊人| 丁香五月婷在线观看| 久久丝丝热| 九九九九中文字幕| 五月丁香六月激情综合| 亚洲色五月婷婷| 日日操夜夜爽天天天| 五月婷婷婷综合网| 97色精品视频| 直接看的av| 婷婷五月天久久| www.伊人天堂偷偷婷婷| www99在线观看视频| 九九成人电影婷婷| 五月丁香成人网| 五月天激情综合| 天天舔天天| 久久久婷| 天天综合网~91综合网| 激情五月天天| 五月婷婷深深爱| 日日干天天射| 五月丁香综合激情网| 丁香五月日本| 日韩婷婷五月| 8区视频在线| 国产99久| 亚洲亚洲人成综合网络| 五月天啪啪| 超碰在线观看9| 五月天六月婷| 久久99久久99精品免观看软件 | 思思 热 99| 欧美亚洲999| 女人露出p毛视频www网站| 久久五月天免费网站| 国产古装妇女野外A片| 丁香五月天啪啪| 婷婷黄色| 久久综合五月天| 少妇口诉沐足视频播放器网址| 国产超碰在线| 日韩综合天堂| 婷婷射图| 色婷婷综合综合网| 综合五月丁香六月婷婷| 操操熟女| 中文字幕在线不卡视频| 九九伦子片| 亚洲欧美成人在线观看| 五月丁香| 成人无码精品1区2区3区免费看| 久久婷婷成人综合色怡春院| 色玖玖综合网| 色五月天激情| 激情五月综合| 天天天天操| 色五月成人| 久热免费视频| 色情综合网| 五月丁香婷婷综合| 欧美交换配乱吟粗大25P| 91色久| 操一操干一干| 99热99在线| 久久九九99| 少妇人妻人伦A片| 国产午夜成人免费看片无遮挡| 亚洲中文字幕在线观看| 丁香五月欧美婷婷综合| 色综合视频在线| 色婷婷91激情小说| 激情五月天婷婷色色色色色色色色色色色| 日韩AV一区二区三区| 六月激情丁香一道本7777| 91激情五月开心| 久久久大香蕉| 开心 五月 综合| 日日射天天射| 五月天婷婷爱| 天堂中文国产| 欧美日韩91| 香蕉婷婷五月| 热久久色| 狠狠综合| 99热这里只有精品13| 五月天色婷婷网| 五月天久久网站| 色噜噜婷婷| 亚洲中文字幕在线观看| 亲子乱AV-区二区三区| 精品亚洲日韩99欧美片| 婷婷久草| 亚洲男人的天堂婷婷色五月| 久久免片| 五月婷在线观看| 五月天丁香婷婷视频网址| 日韩淑女人妻luan伦激情精品一区二 | 丁香五月开心亚洲| 99操视频| 91综合网| 99狠狠操一| 激情丁香婷婷五月天| 天天插综合在线| 99免费视频网| 狠狠干综合| 777精品久无码人妻蜜桃| 婷婷激情五月天激情小说| 嫩草视频在线观看| 99aese| 99碰网站| 婷色天堂| 99黄色性生活| 亚州性爱99| 大香蕉啪啪网| 婷婷六月激情综合| 欧美激情伊人| 五月激激网w'w'w| 无码色| 图片区 小说区 区 亚洲五月 | 岛国在线观看91| 成人av在线网站| 色五月婷婷婷婷| 午夜丁香婷婷| 色色色色色日韩午夜激情| 性爱先锋AV| 五月丁香六月停停| 欧美这里只有精品| 亚洲视频一区| 91日韩在线| 99热亚洲精品| 大地资源色婷婷视频在线| 五月婷婷偷拍| 五月开心深爱激情网| 思思热在线| 97丁香五月| 色性五月天| 狠狠爱综合网| 超碰在线免费| 婷婷五月六月| 综合久久丁丁香婷| 日韩草草草草草草草草草草草草| 亚欧州精品视频| 五月激情婷婷四射| 丁香五月在线观看综合| 九九这里有精品| 婷婷激情视频| 五月天最新网| 影音先锋91网站在线观看| www久| 99热网址| 大胆伊人久久| 六月婷婷久久大全| 丁香综合日产精品久久| 丁香五月自拍| 亚洲激情综合| av在线观看网站| 亚洲五月丁香六月婷婷| av国产精品| 久热视频A.| 激情色播| 91超碰九色| 99热这里都是精品| 婷婷久久性爱| 91免费看片| 99啪啪网| 婷婷97碰碰| 猫咪伊人久久| 97碰| 免费人人操| 99热人人操人人操| 日日想日日夜日日操| 婷婷色中文字幕| av在线中文| 色噜噜狠狠色综合成人网| 超热久碰.com| 亚洲中文乱字字幕在线永久| 国产婷婷久久| 日本狠狠色| 五月天综合久久丁香91| 欧美激情综合色综合啪啪五月| 婷婷 伊人 久久| 久久婷婷五月天激情四射| 免费成人中文字幕| 五月丁香啪啪| 久久综合无| 午夜一区| 九九热在线亚洲免费视频| 亚洲成人综合在线| 五月丁香六月婷婷不卡免费无码 | 五月婷婷啪啪啪啪| 久久久九九九 99| 婷婷 色 丁香 夜| 丁香六月狠狠干| 大香网伊人久久综合| 激情欧美婷婷| 五月天激情国产综合婷婷婷| 五月天婷婷日日爱| 婷婷情色开心五月天99| 五月丁香婷婷潮喷中文字幕| 久久综合网桃花| 伊人久久婷| 九九综合视频在线观看| 欧美丰满熟妇BBB久久久| 五月色丁香激情| CAOBIBI| 在线中文av| 五月婷婷这里都是精品| 久99精品视频| 激情AV| 五月婷婷免费看| www.色综合| 亚洲无码影音| 精品激情| 草做免费在线观看| 超碰成人电影| 成人国产网| AA丁香综合激情| 五月婷婷我| 国产成人综合在线| 中文字幕丰满孑伦无码专区| 不卡影院午夜理论片| 免费99色| 婷婷丁香18| 丁香网五月天激情| 99热亚洲| 色级停停| 亚洲视频二区| 丁香五月亚洲综合| 九九99九九99九九99视频网| 久久久五月天| 欧美黄色韩日网| 人人操99| 久久密臀婷婷| 日韩AV大全| 五月开心深深爱激情综合| 国产在线黄色| 91夫妻网站九色| 国产精品成人在线| www,五月天激情| 色五月网址| 中文字幕欧美精品久久| 色狠狠999综合| 婷婷基地五月色| 日韩无码专区| 亚洲综合碰| 色五月综合| 欧美影院| 操熟女成人网| 日本69日人视频| 天天干天天日蜜臀av| 九九热AV| 六九色综合婷婷五月天| 激情伊人六| 97人人操人人干| 日韩精品99久久| 性av| 欧美在线视频99| 激情伊人五月天| 九九热这里有精品23| 免费啪啪亚州视频| 成片免费观看大全| 91精品久久久久久久久久| 国产成人综合网| 色五月婷婷小说亚洲中文字幕组| 啪啪干伊人婷婷| 日本精品在线噜噜噜| 潮汕成人AV片在线| 五月婷婷六月丁香在线| 久碰婷婷视频| 激情五月六月婷婷| 九九热视频免费的| 婷婷五月天无码视频| 操碰91| 国产精品视频| 色射7856五月天激情四射| 超碰九色| 亚洲日日操| 欧洲亚洲免费视频9| 色五月欧美| 情婷婷五月天| 涩五月丁香| 丁香婷婷射| 久久一热免费视频| 九九人妻福利| 婷婷色操| 婷婷五月天精品| 国产精品成人网站| 五月天婷婷激情四射综合| 久久婷婷一级片| 五月天色软件| 日韩99无码| 3p九色在线| 热久综合| 亚洲天堂婷婷丁香| 丁香激情五月天| 超碰成人免费| 热九九精品| 五月综合久久| 另类少妇人与禽zOZZ0性伦| 久热九九| 五月婷婷色| 嫩BBB搡BBBB榛BBBB| 开心激情综合| 丁香五月天堂| 亚洲爆乳无码精品AAA片蜜桃| 丁香六月综合激情| 日韩成人无码| 91色呦哟| 狠狠色综合无线观看| 日韩精品视频中文字幕| 操逼五月婷婷| 久久精彩视频18| 六月丁香开心婷婷欧美| 亚洲另类毛片| 婷婷欧美综合| 色视频2025| 六月五月久久丁香| 亚洲99在线| 日本五月婷婷| www九九热| 五月婷婷在线网站| 色五月激情基地| 色五开心五月五月深深爱| 久久久久99精品成人片| 婷婷日日天天| 色在线视频网2025| 99九九视频| 俺去也婷婷| 亚洲视频一区| 五月丁香婷婷99| 婷色五月天| 99热国产在| www国产亚洲色婷婷com| 久久综合五月| 亚洲另类电影| 青青草免费公开视频| 人人综合色| 影视av久久久噜噜噜噜噜三级| 桃色五月婷婷| 停停五月天激情网| 婷婷久久五月天丁香| 91超级碰碰碰| 日本久碰| 久久久www| 五月天色婷婷基地| 人妻视频在线| 我淫我色婷婷五月天激情四射| 九九热99免费视频| 99色在线观看| 久草婷婷| 伊人热婷婷| 五月天综合区| 久色网| 丁香五月激情欧美| mmm1717.6dbm人人爱人人操| 丁香久久久| 99九九这里有免费视频| 亚洲九区| 婷婷五月六月丁香| 国产精品第一国产精品| 五月丁香激情综合| 五月六月丁香激情| 丰满少妇猛烈A片免费看观看| 久久久性爱视频| 五月天色婷婷成人| 九九热视频在线观看| www.婷婷五月天| 开心婷婷丁香五月| 婷婷五月花.97| 天天插天天插天天日| 91九色国产熟女| 曰本aaaaaa丈片| 色天天综合色| 婷婷丁香六月| 永久免费视频| 久久人人妻| 久久99久久99www| 99热日本| 99热精品在线| 五月6香色婷婷视频| 婷婷99热| 综合五月丁香97| 久热这里只有精品99re| 碰97 久| 免費亭亭成人| 激情AV| www久久99com| 99久久激情视频| 人妻激情综合| 人人妻人人澡| 99WWW免费视频| 亚洲这里只有精品| 天天视频精品9| 五月六月激情| 免费黄网不卡AV| 颜射 精品性爱av| 欧洲第一无人区观看| 丁香婷婷综合激情五月色,开心五月丁香花综合网,激情综合五月亚洲婷婷,五月天 | 色播五月| 欧美日韩国产成人在线| www,av好吊操| 性爱技巧五月| 国产婷婷色综合AV蜜臀AV| 丁香八月综合激情| 天天干天天操| 99久久色| 婷婷五月色天| 欧美大道不卡| 久久精品99久久久久久| 9l视频自拍九色9l视频在线观看| 婷婷五月色色| 久久伊人婷婷|