欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營的一線實(shí)戰(zhàn)洞察。

Python聲紋識(shí)別實(shí)戰(zhàn):從GMM到深度學(xué)習(xí)全解析

Python聲紋識(shí)別實(shí)戰(zhàn):從GMM到深度學(xué)習(xí)全解析 簡介聲紋識(shí)別作為生物識(shí)別的重要分支正廣泛應(yīng)用于金融風(fēng)控、智能安防和語音交互等場景。其技術(shù)演進(jìn)經(jīng)歷了從傳統(tǒng)概率建模到深度表征學(xué)習(xí)的躍遷早期GMM通過高斯混合分布刻畫個(gè)體發(fā)聲特征GMM-UBM借助通用背景模型實(shí)現(xiàn)少量數(shù)據(jù)下的快速自適應(yīng)ivector則進(jìn)一步將變長語音壓縮為固定維度身份向量。這些經(jīng)典方法雖然實(shí)現(xiàn)簡潔卻為理解說話人建模的底層邏輯奠定了堅(jiān)實(shí)基礎(chǔ)。隨著深度學(xué)習(xí)興起ResNet、TDNN等網(wǎng)絡(luò)與ArcFace損失函數(shù)結(jié)合實(shí)現(xiàn)了端到端的聲紋特征提取大幅提升了復(fù)雜環(huán)境下的魯棒性。本文基于Python開源工程系統(tǒng)拆解GMM-UBM、ivector與深度學(xué)習(xí)聲紋識(shí)別的原理、實(shí)現(xiàn)細(xì)節(jié)及踩坑經(jīng)驗(yàn)幫助開發(fā)者快速搭建從特征提取到模型比對(duì)的完整說話人識(shí)別系統(tǒng)。 開頭先聊一個(gè)點(diǎn)很多人看到“聲紋識(shí)別”四個(gè)字第一反應(yīng)是電影里那種黑科技——對(duì)著麥克風(fēng)說句話系統(tǒng)就能判斷你是不是本人。真實(shí)項(xiàng)目當(dāng)然沒有電影夸張但也沒有想象中那么神秘。這個(gè)項(xiàng)目標(biāo)題把Python、GMM、GMM-UBM、ivector、深度學(xué)習(xí)、聲紋識(shí)別這些關(guān)鍵詞都串在了一起還帶源碼和開發(fā)文檔說明作者想做一個(gè)完整的技術(shù)閉環(huán)從經(jīng)典統(tǒng)計(jì)模型一路做到深度學(xué)習(xí)方案而不是只搭一個(gè)Demo就完事。這類項(xiàng)目我做過幾次最深的體會(huì)是聲紋識(shí)別離不了特征、模型、打分這三件事。傳統(tǒng)的GMM和GMM-UBM能幫你理解“聲紋是怎么建模的”ivector能幫你體會(huì)“怎么把變長語音壓縮成一個(gè)固定向量”深度學(xué)習(xí)則是把“自動(dòng)提特征”這件事做到極致。這篇文章我按實(shí)際工程的推進(jìn)順序來寫先講清楚三條技術(shù)路線各自解決什么問題再給出可落地的源碼實(shí)現(xiàn)思路最后把我在實(shí)操里踩過的坑整理出來。對(duì)想入門說話人識(shí)別的朋友來說這應(yīng)該比直接扔給你一倉庫代碼更有參考價(jià)值。1. 技術(shù)路線全景從GMM到深度學(xué)習(xí)這條路是怎么走過來的1.1 三條路線的核心區(qū)別你建模的到底是什么傳統(tǒng)聲紋識(shí)別和深度學(xué)習(xí)聲紋識(shí)別最根本的區(qū)別不在于“誰更準(zhǔn)”而在于看待聲音的方式。早期的GMM模型本質(zhì)上是把人聲看成一種“分布”。每個(gè)人說話時(shí)聲帶的振動(dòng)頻率、共振峰位置、氣息力度都不一樣這些差異會(huì)體現(xiàn)在頻譜特征上。GMM做的就是把某個(gè)人所有語音幀的特征收集起來用一堆高斯分布去擬合這個(gè)人聲音的分布形狀。你說一句話我提取你的MFCC特征然后在你的GMM模型上算概率概率高就是本人。GMM-UBM是GMM的進(jìn)階版。它先拿大量不同人的語音訓(xùn)練一個(gè)通用背景模型UBM這個(gè)模型代表“普通人說話大概長什么樣”。新來一個(gè)說話人我不需要從零訓(xùn)練GMM只需要在UBM的基礎(chǔ)上用這個(gè)人的少量語音去做自適應(yīng)調(diào)整得到他專屬的模型。這種做法的好處非常明顯數(shù)據(jù)少也能建模且不容易過擬合。ivector則是換了一種思路。它不再為每個(gè)說話人單獨(dú)建模而是把所有說話人的差異壓縮到一個(gè)低維向量里。這個(gè)向量既包含說話人身份信息也包含信道信息所以叫“identity vector”。就像給每個(gè)人發(fā)了一張“聲紋身份證”但這張證上不僅有你的長相還有你今天戴沒戴帽子、換沒換手機(jī)的影響。到了深度學(xué)習(xí)時(shí)代神經(jīng)網(wǎng)絡(luò)直接把“從波形到身份特征”的映射端到端學(xué)出來了。你喂進(jìn)去一段語音網(wǎng)絡(luò)輸出一個(gè)embedding向量這個(gè)向量通過訓(xùn)練被強(qiáng)約束為“說話人相關(guān)的表示”。本質(zhì)目的和ivector一樣都是把變長語音變成固定維度向量但特征提取的能力比傳統(tǒng)方法強(qiáng)了一大截。1.2 為什么先做傳統(tǒng)方法再做深度學(xué)習(xí)我給接手這個(gè)項(xiàng)目的人一個(gè)建議哪怕你最終只想用深度學(xué)習(xí)方案也一定先把GMM-UBM和ivector跑通。原因有三個(gè)。第一傳統(tǒng)方法代碼簡單能幫你從特征提取到模型訓(xùn)練、打分建立起完整的pipeline概念這些概念在深度學(xué)習(xí)里依然適用。第二傳統(tǒng)方法的失敗模式比較規(guī)律方便你排查是特征問題還是模型問題這種調(diào)參手感在深度學(xué)習(xí)中非常寶貴。第三在數(shù)據(jù)量很少的場景下傳統(tǒng)方法往往比深度學(xué)習(xí)更實(shí)用——我見過不少真實(shí)項(xiàng)目標(biāo)注數(shù)據(jù)就幾百條硬上深度學(xué)習(xí)反而不如GMM-UBM穩(wěn)。2. 核心細(xì)節(jié)解析GMM-UBM到底在做什么為什么能拿少量數(shù)據(jù)建模2.1 GMM建模一段語音怎么變成一堆高斯分布說話人識(shí)別里最常用的特征是MFCC梅爾頻率倒譜系數(shù)。每幀語音能算出幾十維特征一秒語音通常有100幀左右。假設(shè)一段語音有2000幀每幀40維MFCC那這段語音在特征空間里就呈現(xiàn)為2000個(gè)離散點(diǎn)。GMM的任務(wù)就是用K個(gè)高斯分布去擬合這2000個(gè)點(diǎn)的分布。每個(gè)高斯分布有均值、方差和權(quán)重三個(gè)參數(shù)。最終這段語音的身份特征被濃縮為這K個(gè)高斯分布的參數(shù)集合也就是一個(gè)“超向量”。在scikit-learn里用GaussianMixture就能完成GMM訓(xùn)練幾行代碼的事。但要注意GMM模型的參數(shù)量和特征維度、K值直接相關(guān)維度太高或者K值太大會(huì)導(dǎo)致參數(shù)爆炸在小數(shù)據(jù)集上極容易過擬合。在項(xiàng)目實(shí)現(xiàn)里有一個(gè)常見誤區(qū)直接對(duì)所有測試語音各訓(xùn)一個(gè)GMM然后拿來互比。這樣做的問題在于每個(gè)模型是在不同條件下訓(xùn)練的可能因?yàn)殇浺粼肼暋⒁袅坎町惖纫蛩貙?dǎo)致模型之間沒有可比性。這也是GMM-UBM出現(xiàn)的原因。2.2 UBM的思路先建?!八腥恕痹傥⒄{(diào)出“某個(gè)人”UBM的訓(xùn)練方式和GMM完全一樣只不過用的數(shù)據(jù)是幾百個(gè)不同人的語音。訓(xùn)練完成后這個(gè)UBM代表了“通用聲學(xué)空間”即人類聲音的普遍分布情況。接下來對(duì)于目標(biāo)說話人我們要做的是MAP自適應(yīng)最大后驗(yàn)概率自適應(yīng)。核心思想是不重新估計(jì)參數(shù)而是在UBM參數(shù)的基礎(chǔ)上用新說話人的語音統(tǒng)計(jì)量去調(diào)整均值。數(shù)學(xué)上可以理解為給定一段語音先計(jì)算每幀特征在每個(gè)高斯分量上的后驗(yàn)概率occupancy根據(jù)這些后驗(yàn)概率計(jì)算新說話人的均值統(tǒng)計(jì)量用插值系數(shù)把新統(tǒng)計(jì)量和UBM均值混合得到說話人的新模型。這種“先求后驗(yàn)、再插值”的過程讓目標(biāo)說話人即便只有幾十秒語音也能得到一個(gè)相對(duì)穩(wěn)定的模型不會(huì)因?yàn)閿?shù)據(jù)少而方差過大。2.3 打分策略為什么要用對(duì)數(shù)似然比當(dāng)UBM和說話人模型都準(zhǔn)備好之后識(shí)別階段要判斷一句話屬于哪個(gè)說話人。這里不能用簡單的絕對(duì)值因?yàn)椴煌Z音的長度、信道、音量都會(huì)影響似然值。標(biāo)準(zhǔn)做法是計(jì)算對(duì)數(shù)似然比對(duì)一句話分別計(jì)算在目標(biāo)說話人模型上的log-likelihood以及在UBM上的log-likelihood兩者相減得到對(duì)數(shù)似然比LLRLLR大于閾值則判定為本人否則為冒認(rèn)者。這個(gè)設(shè)計(jì)的直覺是這樣的UBM是“普通人平均水平”的基線如果在目標(biāo)模型上得分遠(yuǎn)高于UBM上的得分說明這句話和這個(gè)人的聲學(xué)特征的吻合度顯著高于普通水平。用相對(duì)值而不是絕對(duì)值得分能大幅緩解信道不同、錄音設(shè)備不同帶來的偏差。3. ivector方案怎么把一段語音壓縮成一個(gè)身份向量3.1 從超向量到總變化空間核心是降維GMM-UBM有個(gè)繞不開的痛點(diǎn)如果UBM有512個(gè)高斯分量每個(gè)MFCC特征是40維那一個(gè)說話人模型的超向量就是512402均值和方差等于40960維。這個(gè)維度做比對(duì)太費(fèi)勁而且包含大量冗余信息。ivector的提出把問題變成了一個(gè)低維因子分析問題。假設(shè)超向量s可以由一個(gè)全局均值m來自UBM參數(shù)加上一個(gè)低維矩陣T乘以一個(gè)隱變量w來表達(dá)s m T*w這里w就是ivector向量通常只有100到600維。T矩陣稱為總變化空間Total Variability Space它的作用是把高維超向量中與說話人、信道相關(guān)的信息都?jí)嚎s到低維向量中。要訓(xùn)練T矩陣需要做迭代的EM優(yōu)化。這塊自己從零手寫代碼會(huì)很繁瑣好在這個(gè)項(xiàng)目的源碼里有對(duì)應(yīng)的實(shí)現(xiàn)——核心是累積零階統(tǒng)計(jì)量、一階統(tǒng)計(jì)量然后用矩陣運(yùn)算迭代更新T。實(shí)際跑起來訓(xùn)練時(shí)間受T矩陣維度影響很大維度越高越慢。3.2 ivector的后處理從原始向量到可分向量訓(xùn)練好T矩陣后每段語音可以在給定UBM參數(shù)和T矩陣的前提下提取出一個(gè)固定維度的ivector。但直接拿這個(gè)向量做比對(duì)效果往往不夠好還需要做一系列后處理長度歸一化Length Normalization把ivector歸一化到單位長度減少因語音時(shí)長不同帶來的數(shù)值尺度差異白化Whitening讓不同維度的方差一致消除特征尺度不同的影響LDA線性判別分析在說話人維度上降維增強(qiáng)類間距離、壓縮類內(nèi)距離。實(shí)操中長度歸一化是必做的白化在數(shù)據(jù)量充足時(shí)有幫助LDA則需要有多個(gè)說話人的注冊數(shù)據(jù)才能訓(xùn)練。3.3 打分方式最常用余弦距離退而求其次用SVM或PLDAivector之間最常用的度量方式是余弦相似度計(jì)算方便且在大多數(shù)場景下表現(xiàn)穩(wěn)定。如果想更精細(xì)可以用SVM或者PLDA概率線性判別分析。PLDA雖然效果通常更好但對(duì)數(shù)據(jù)量要求更高而且訓(xùn)練和推理的代碼復(fù)雜度不小。我個(gè)人的經(jīng)驗(yàn)是小項(xiàng)目用余弦距離夠用做評(píng)測競賽或追求極限準(zhǔn)確率再上PLDA。4. 深度學(xué)習(xí)聲紋識(shí)別從“手工特征”到“端到端表征”4.1 網(wǎng)絡(luò)架構(gòu)選型為什么說TDNN和ResNet是主流深度學(xué)習(xí)聲紋識(shí)別的整體流程非常簡潔輸入語音經(jīng)過特征提取可以用Fbank或MFCC送入神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)輸出一個(gè)embedding向量然后用這個(gè)向量做比對(duì)。網(wǎng)絡(luò)架構(gòu)的選擇上業(yè)內(nèi)常用三類TDNN時(shí)延神經(jīng)網(wǎng)絡(luò)通過拼接不同時(shí)刻的幀上下文來建模時(shí)序信息參數(shù)量小適合低功耗場景ResNet殘差網(wǎng)絡(luò)通過殘差連接堆疊較深的卷積結(jié)構(gòu)能提取更豐富的頻譜特征準(zhǔn)確率通常比TDNN高ECAPA-TDNN算是TDNN的升級(jí)版加入了SE模塊和更深的通道維度是近年來VoxCeleb評(píng)測上的???。在項(xiàng)目里如果只是入門可以先用小型ResNet比如把ResNet18簡單改造一下把最后的全連接層輸出改成embedding維度。注意不要用ImageNet預(yù)訓(xùn)練權(quán)重初始化語音的Fbank特征分布跟圖片像素差太遠(yuǎn)。4.2 損失函數(shù)從Softmax到基于角度的約束深度學(xué)習(xí)聲紋識(shí)別里損失函數(shù)決定了embedding的分布形態(tài)。最早的思路是把說話人識(shí)別當(dāng)成分類任務(wù)直接訓(xùn)練Softmax分類器然后取倒數(shù)第二層特征作為embedding。這個(gè)做法的問題是Softmax只要求類別可分沒有顯式要求“同類內(nèi)聚”。于是有了各種margin-based損失函數(shù)Angular SoftmaxA-Softmax、AM-Softmax、ArcFace。它們共同的思想是在角度空間里增加一個(gè)margin讓同類特征更聚攏、異類特征更疏散。ArcFace是其中效果最明顯的也是目前聲紋識(shí)別里常用的選擇。用PyTorch實(shí)現(xiàn)一個(gè)ArcFace層并不難核心就是改一下交叉熵?fù)p失中目標(biāo)分?jǐn)?shù)的計(jì)算方式把余弦角度加上一個(gè)固定margin。4.3 訓(xùn)練策略與數(shù)據(jù)增強(qiáng)別忽略這些能漲分的細(xì)節(jié)訓(xùn)練數(shù)據(jù)方面源路徑常用VoxCeleb1/2開源且人群覆蓋廣。項(xiàng)目里如果只想本地快速驗(yàn)證也可以用LibriSpeech里選取一部分說話人或者自己錄幾組語音。數(shù)據(jù)增強(qiáng)值得重視的地方有幾個(gè)加噪聲是最常見的方法可以用MUSAN數(shù)據(jù)集里的噪聲和音樂進(jìn)行疊加模擬混響也可以做通過和RIR數(shù)據(jù)集里的房間脈沖響應(yīng)卷積還可以做速度擾動(dòng)把音頻變速0.9和1.1倍生成兩條新樣本。這些增強(qiáng)手段雖然簡單對(duì)魯棒性和最終準(zhǔn)確率有明顯幫助。訓(xùn)練階段通常用Adam優(yōu)化器初始學(xué)習(xí)率1e-3CosineAnnealing退火batch size越大訓(xùn)練越穩(wěn)定。我自己試下來在VoxCeleb1訓(xùn)練集上訓(xùn)練一個(gè)ResNet34聲紋模型大概需要20~30個(gè)epoch才能收斂如果只有一個(gè)GPU建議先用小模型調(diào)試通流程再擴(kuò)大規(guī)模。4.4 打分階段embedding提取與PLDA訓(xùn)練完成后推理階段很直觀把注冊語音和目標(biāo)語音都輸入網(wǎng)絡(luò)提取embedding然后算相似度。相似度可以用余弦距離也可以用PLDA得分。如果訓(xùn)模型時(shí)用的是Softmax或ArcFaceembedding的分布已經(jīng)比較緊致余弦距離一般來說足夠用。這里有一個(gè)容易踩的坑必須確認(rèn)訓(xùn)練時(shí)和測試時(shí)用的是同一套特征參數(shù)。例如訓(xùn)練時(shí)用的是80維Fbank、25ms窗長、10ms幀移測試時(shí)如果改成了40維MFCC模型的效果會(huì)大幅下降。這類不匹配問題是深度學(xué)習(xí)聲紋識(shí)別里最常見但最容易被忽略的錯(cuò)誤。5. 源碼實(shí)現(xiàn)搭一個(gè)可運(yùn)行的完整聲紋識(shí)別Demo5.1 數(shù)據(jù)準(zhǔn)備沒有VoxCeleb也能快速驗(yàn)證VoxCeleb數(shù)據(jù)集比較大完整下載需要耐心。如果你只是想先跑通流程我推薦一個(gè)輕量級(jí)方案用錄音工具錄制4~6個(gè)人、每人5~8句話作為注冊數(shù)據(jù)另錄每人3句話作為測試數(shù)據(jù)。每個(gè)人單獨(dú)放一個(gè)目錄比如data/train/zhangsan/0.wav。這樣數(shù)據(jù)量雖然少但足以驗(yàn)證代碼邏輯是否正確。在代碼中用librosa加載音頻采樣率統(tǒng)一為16kHz單聲道。需要注意的一點(diǎn)不同錄音設(shè)備和房間環(huán)境會(huì)造成信道差異如果條件允許測試語音和注冊語音盡量在不同時(shí)間錄制避免“同一條錄音既注冊又測試”的作弊現(xiàn)象。5.2 特征提取MFCC和Fbank二選一傳統(tǒng)GMM/ivector方案建議用MFCC通常40維深度學(xué)習(xí)方案建議用Fbank通常80維。直接調(diào)用librosa.feature.mfcc或者python_speech_features都可以但要注意做比較時(shí)特征參數(shù)保持一致。import librosa import numpy as np def extract_mfcc(path, n_mfcc40): y, sr librosa.load(path, sr16000) mfcc librosa.feature.mfcc(yy, srsr, n_mfccn_mfcc, n_fft1024, hop_length160, win_length400) # 加上一階差分?jǐn)U展為80維 delta librosa.feature.delta(mfcc) feature np.vstack([mfcc, delta]) return feature.T # shape: (frames, n_mfcc*2) def extract_fbank(path, n_mels80): y, sr librosa.load(path, sr16000) fbank librosa.feature.melspectrogram(yy, srsr, n_melsn_mels, n_fft1024, hop_length160, win_length400) log_fbank np.log(fbank 1e-6) return log_fbank.T # shape: (frames, n_mels)我在兩個(gè)方案里都開啟了delta差分因?yàn)镚MM-UBM對(duì)幀間動(dòng)態(tài)信息不敏感靠差分能補(bǔ)上一些上下文信息。有些開源代碼省略了這一步識(shí)別率會(huì)掉一截。5.3 GMM-UBM訓(xùn)練代碼先訓(xùn)UBM再M(fèi)AP自適應(yīng)下面這段代碼適合跑通GMM-UBM的核心流程。UBM直接用sklearn的GaussianMixture來訓(xùn)練MAP自適應(yīng)部分手動(dòng)實(shí)現(xiàn)。import os import numpy as np from sklearn.mixture import GaussianMixture def load_all_features(data_dir, n_mfcc40): feats [] for root, _, files in os.walk(data_dir): for f in files: if f.endswith(.wav): path os.path.join(root, f) feats.append(extract_mfcc(path, n_mfcc)) return np.vstack(feats) # 訓(xùn)練UBM用所有人的語音也可以用部分人的語音 all_feats load_all_features(data/train) ubm GaussianMixture(n_components256, covariance_typediag, max_iter100, random_state0) ubm.fit(all_feats) # MAP自適應(yīng)用目標(biāo)說話人的少量語音調(diào)整UBM得到GMM def map_adapt(ubm, data, relevance_factor16.0): 對(duì)單個(gè)說話人的數(shù)據(jù)進(jìn)行MAP自適應(yīng)。data為frames x dim矩陣。 # 計(jì)算每個(gè)高斯分量的后驗(yàn)概率 log_prob ubm._estimate_log_prob(data) responsibilities np.exp(log_prob - log_prob.max(axis1, keepdimsTrue)) responsibilities / responsibilities.sum(axis1, keepdimsTrue) # 零階和一階統(tǒng)計(jì)量 N_k responsibilities.sum(axis0) # (K,) F_k responsibilities.T data # (K, dim) # 歸一化后的一階統(tǒng)計(jì)量 X_hat F_k / (N_k[:, None] 1e-10) # 新均值 (alpha_k * 說話人均值 (1 - alpha_k) * UBM均值) alpha_k N_k / (N_k relevance_factor) adapt_means alpha_k[:, None] * X_hat (1 - alpha_k[:, None]) * ubm.means_ # 復(fù)制模型參數(shù)并替換均值 from copy import deepcopy adapted deepcopy(ubm) adapted.means_ adapt_means return adapted # 為每個(gè)說話人生成模型 speaker_models {} for spk in os.listdir(data/train): spk_dir os.path.join(data/train, spk) if os.path.isdir(spk_dir): feats load_all_features(spk_dir, n_mfcc40) speaker_models[spk] map_adapt(ubm, feats)這段代碼里我設(shè)置了relevance_factor16這是經(jīng)驗(yàn)值數(shù)值越大自適應(yīng)越保守模型越接近UBM數(shù)值越小越容易過度擬合單個(gè)人的少量語音。數(shù)據(jù)很少的時(shí)候建議調(diào)大一些。5.4 ivector實(shí)現(xiàn)用T矩陣投影提取身份向量ivector的完整EM訓(xùn)練代碼比較長這里給出提取部分的關(guān)鍵思路。如果你在源碼中找不到訓(xùn)練好的T矩陣文件可以先從GMM-UBM的超向量加上PCA降維做一個(gè)簡化的ivector變體。def compute_statistics(gmm, data): 計(jì)算語音數(shù)據(jù)的零階、一階統(tǒng)計(jì)量。 log_prob gmm._estimate_log_prob(data) resp np.exp(log_prob - log_prob.max(axis1, keepdimsTrue)) resp / resp.sum(axis1, keepdimsTrue) N_k resp.sum(axis0) # (K,) F_k resp.T data # (K, dim) return N_k, F_k def extract_ivector(ubm, T_matrix, data): 根據(jù)超向量求ivector: w inv(I T^T * Sigma_inv * N * T) * T^T * Sigma_inv * F N_k, F_k compute_statistics(ubm, data) dim data.shape[1] K len(N_k) # 構(gòu)造分塊對(duì)角統(tǒng)計(jì)量矩陣 N_matrix np.zeros((K*dim, K*dim)) for i in range(K): N_matrix[i*dim:(i1)*dim, i*dim:(i1)*dim] np.eye(dim) * N_k[i] F_vector F_k.flatten() sigma_inv 1.0 / (ubm.covariances_.flatten() 1e-10) A np.eye(T_matrix.shape[1]) T_matrix.T (N_matrix * sigma_inv[:, None]) T_matrix B T_matrix.T (F_vector * sigma_inv) w np.linalg.solve(A, B) return w真正的T矩陣EM訓(xùn)練比這個(gè)復(fù)雜需要多次迭代更新T矩陣的估計(jì)。如果你打算深入這塊建議先跑通上面的簡化版理解ivector是怎么從統(tǒng)計(jì)量里提取出來的再去看完整源碼里的EM實(shí)現(xiàn)。否則一開始就被矩陣求逆、分塊迭代這些細(xì)節(jié)繞進(jìn)去很難快速建立整體認(rèn)知。5.5 深度學(xué)習(xí)模型用PyTorch搭一個(gè)小型聲紋網(wǎng)絡(luò)深度學(xué)習(xí)部分我建議用一個(gè)簡化版ResNet把ArcFace損失加上訓(xùn)練出embedding后直接在測試階段用余弦相似度判斷。import torch import torch.nn as nn import torch.nn.functional as F class SimpleSpeakerNet(nn.Module): def __init__(self, in_dim80, embd_dim128, num_speakersNone): super().__init__() self.layer1 nn.Sequential( nn.Conv2d(1, 16, kernel_size3, stride1, padding1), nn.BatchNorm2d(16), nn.ReLU(), nn.MaxPool2d(2)) self.layer2 nn.Sequential( nn.Conv2d(16, 32, kernel_size3, stride1, padding1), nn.BatchNorm2d(32), nn.ReLU(), nn.MaxPool2d(2)) self.layer3 nn.Sequential( nn.Conv2d(32, 64, kernel_size3, stride1, padding1), nn.BatchNorm2d(64), nn.ReLU(), nn.MaxPool2d(2)) self.layer4 nn.Sequential( nn.Conv2d(64, 128, kernel_size3, stride1, padding1), nn.BatchNorm2d(128), nn.ReLU(), nn.MaxPool2d(2)) self.embedding nn.Linear(128 * 5 * 5, embd_dim) self.classifier nn.Linear(embd_dim, num_speakers) def forward(self, x): # x: (batch, frames, dim) - (batch, 1, frames, dim) x x.unsqueeze(1) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.layer4(x) x x.flatten(1) embd F.relu(self.embedding(x)) logits self.classifier(embd) return embd, logits訓(xùn)練時(shí)輸入特征需要做歸一下處理means和vars隨機(jī)切固定長度段比如4秒不夠就循環(huán)補(bǔ)batch size可以設(shè)64或128。損失只用交叉熵就可以跑起來加ArcFace后續(xù)再優(yōu)化。測試階段提取embedding的方式是輸入整段語音的所有幀網(wǎng)絡(luò)會(huì)輸出每幀對(duì)應(yīng)分?jǐn)?shù)但我們的網(wǎng)絡(luò)是取所有幀特征整體過特征提取器的所以需要先把語音切成段、每段求embedding后求平均。這是和傳統(tǒng)ivector最大的不同之處深度學(xué)習(xí)的embedding提取通常要考慮池化策略簡單平均池化即可入門。6. 常見問題與排查技巧實(shí)錄6.1 特征維度不匹配導(dǎo)致模型訓(xùn)練報(bào)錯(cuò)這個(gè)是最常見的問題。訓(xùn)練UBM時(shí)用的MFCC是40維MAP自適應(yīng)時(shí)加載的數(shù)據(jù)如果多加了delta變成80維GMM模型不匹配直接報(bào)維度錯(cuò)誤。解決辦法統(tǒng)一封裝特征提取函數(shù)訓(xùn)練和測試走同一條路徑。建議在代碼里把特征參數(shù)寫成全局配置不要在不同腳本里各自定義。6.2 GMM訓(xùn)練過慢或存在不收斂GaussianMixture在數(shù)據(jù)量大、混合數(shù)高的情況下EM迭代非常慢。建議先用小規(guī)模數(shù)據(jù)測試比如1000幀確認(rèn)計(jì)算流程OK后再全量跑。收斂出問題通常和初始化和數(shù)據(jù)范圍有關(guān)可以檢查特征是否做了均值和方差歸一化。有些代碼提取MFCC后直接進(jìn)GMM數(shù)值范圍可能很大歸一化后能明顯改善收斂性。6.3 UBM訓(xùn)練時(shí)混合數(shù)怎么選擇UBM混合數(shù)K是一個(gè)需要權(quán)衡的超參數(shù)。K值太小模型表達(dá)能力不足K值太大參數(shù)多、訓(xùn)練慢且容易過擬合。常規(guī)配置是256或512。數(shù)據(jù)只有一到兩小時(shí)、說話人數(shù)量不多時(shí)256足夠想逼近VoxCeleb規(guī)模的評(píng)測水平512更合適。6.4 ivector訓(xùn)練時(shí)內(nèi)存占滿ivector訓(xùn)練涉及分塊矩陣,尤其是統(tǒng)計(jì)量矩陣當(dāng)UBM混合數(shù)K512、MFCC維度40時(shí)統(tǒng)計(jì)量矩陣是512*4020480維的方陣占內(nèi)存非??鋸?。這在源碼實(shí)現(xiàn)里是個(gè)容易卡住的點(diǎn)解決方法是不要一次性把所有話語統(tǒng)計(jì)量都加載進(jìn)內(nèi)存而是分批讀取邊算邊累積T矩陣更新所需的累加量。6.5 深度學(xué)習(xí)訓(xùn)練loss不下降先用很小的數(shù)據(jù)集比如每個(gè)說話人10條語音做overfit測試確認(rèn)loss能到很小值。如果小數(shù)據(jù)都上不去檢查學(xué)習(xí)率建議1e-3、網(wǎng)絡(luò)結(jié)構(gòu)是否太多層但數(shù)據(jù)不足、特征范圍。還有一個(gè)常見坑是batch-size太小導(dǎo)致BN層在batch內(nèi)部統(tǒng)計(jì)不穩(wěn)定特別是語音幀數(shù)變化大的時(shí)候建議加固定長度切幀。6.6 注冊語音與測試語音的時(shí)長差太多無論是傳統(tǒng)方法還是深度學(xué)習(xí)時(shí)長差異都會(huì)影響效果。ivector方面語音太短會(huì)導(dǎo)致統(tǒng)計(jì)量估計(jì)不穩(wěn)定embedding向量的方差變大深度學(xué)習(xí)方面embedding平均池化在短語音上不太穩(wěn)。常規(guī)做法是注冊語音盡量保持不少于3秒測試語音如果太短可以降低判決閾值來換取召回率。6.7 信道/噪聲影響識(shí)別率這是一個(gè)真實(shí)場景里的老問題。同一句話在不同手機(jī)上錄制在GMM-UBM里通常會(huì)看到log似然比下降得很厲害。增強(qiáng)方案可以放在前端做加VAD靜音檢測切掉靜音段或者做語音增強(qiáng)去噪。深度學(xué)習(xí)方法一般對(duì)輕微噪聲魯棒性更好但強(qiáng)噪聲場景下依然建議加數(shù)據(jù)增強(qiáng)讓模型在訓(xùn)練時(shí)就見過說話人帶噪聲的樣子。7. 把這套源碼真正跑起來的順序建議我第一次接觸這類開源項(xiàng)目時(shí)試圖一次把所有代碼都讀懂結(jié)果被ivector的EM訓(xùn)練和深度學(xué)習(xí)腳本同時(shí)卡住。后來總結(jié)出一個(gè)比較順暢的順序先跑GMM-UBM的最小demo用1到2個(gè)人的數(shù)據(jù)確認(rèn)數(shù)據(jù)準(zhǔn)備、特征提取、訓(xùn)練、打分整條流程能通。然后增加人數(shù)和UBM混合數(shù)驗(yàn)證識(shí)別率的變化。再進(jìn)入ivector階段先不訓(xùn)練T矩陣用PCA降維的超向量作為簡化版ivector跑通打分流程再逐步替換為真正的T矩陣EM結(jié)果。最后切換深度學(xué)習(xí)用同樣的數(shù)據(jù)跑一遍Fbank加ResNet和傳統(tǒng)方法的準(zhǔn)確率做對(duì)比。整個(gè)項(xiàng)目調(diào)試下來你獲得的不僅是一個(gè)能用的聲紋識(shí)別系統(tǒng)更重要的是親手驗(yàn)證了技術(shù)演進(jìn)的核心邏輯從概率密度模型到低維因子分析再到端到端表征學(xué)習(xí)每一步都是在解決前一步的某個(gè)痛點(diǎn)。最后提一個(gè)實(shí)用建議源碼目錄里做好版本管理數(shù)據(jù)和模型文件分開存放特征提取模塊用單獨(dú)的類封裝這樣后續(xù)無論是換數(shù)據(jù)集還是加新的深度模型改動(dòng)范圍都會(huì)很小。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
久久婷五月综合| 日本高清不卡免费一区二区三区| 这里只有精品网站| 欧美日韩成人免费在线| 激情五月天网站| 第一区久久网站| 大香蕉天堂色| 久久机热/这里只有精品| 婷婷五月在线综合| 色噜婷婷| 五月婷婷六月丁香| 五月婷综合网| 在线网黄| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 综合久久综合久久| 激情五月天视频| 丁香五月天殴美激情| 日韩无码AV电影网站| 色婷婷丁香五月在线观看| 激情六月天婷婷| 夜夜谢天天干| 精品久久66| 色天天综合色| 五月停性愛| 99热这里只有精品国产精品| 97碰碰在线看视频免费| 一区二区成人电影| 天天色综合色| 丁香五月AV| 99热| 五月婷色丁香| 久九九热| 国产99久久久国产精品免费看| 开心五月婷婷在线| 伊人激情啪啪| 六月丁花香啪啪激情欧美| 99精品视频网| 婷婷五月天在线综合导航| 久久XX日本综合| 久久五月婷婷丁香| 色五月天激情| 国产中文亚洲欧美日韩性交| 婷婷色五月天色| 思思精品视频| 天堂综合久| 人人操Av| 五月婷啪啪| 色色热| 亚洲成人五月天| 久久久99婷婷久久久久久| 嫩草AV久久伊人妇女超级A| 99久久性爱| 99视频内射三四| 丁香五月AV| 26uuu另类亚洲欧美日本一| 色婷插| 大香蕉九九| 99热九九在线| 国产色丁香| 婷婷综合在线视频| 三级毛片视频| 色婷婷综合网| 人妻VideOssS人妻| 五月天五月色婷婷综合| 综合激情网五月激情| 丁香五月97视频| www九九热| 九九九午夜影院成人| www98日本小时间到了| 婷婷五月花| 色色色婷| 天天影视天天爽天天草| 天天舔天天摸视频| 思思热99er在线视频| 亚洲四色五月| 色色色色欧美| 久久婷婷五月| 五月婷婷激情性爱| 五月天婷婷在线观看| www.精品99| www.综合久久.com| 日韩成人电影Av| 亚洲亚洲人成综合网络| 99在线免费视频| 五月天综合网| 99视频在线精品| 伊人婷婷五月 | 久久久这里有精品| 六月婷婷色色色| 九九热在线观看视频网站| 色情综合网| 九九中文字幕九| 久草婷婷网| 任你艹| 99精品亚洲| 亚洲午夜精品久久久久久人妖| 狠狠干在线| httpwww色com日本| 91精品久久久久久久久久| 啪啪婷婷五月天激情| 五月婷婷六月综合| 五月丁香欧美综合| 五月天五月天成人网亭亭成人色网站| 色婷婷五月天激情综合| 99在线观看亚洲| 人人性久久| 激情婷婷护士激情| 伦乱人妻| 日韩av高清| 亚洲精品a成人在线播放| 丁香六月激情综合| 亚洲妇女熟BBW| 国产激情久久久| 国产精品国产| 国产97色在线| 黄网在线播放| 9+1视频网址| 五月丁香好婷婷A片网| 激情文学五月丁香六月婷婷| 天天做天天爱天天爽综合网| www.minyis.com【JT】实力收量可预付QQ2101460746 | 丁香五月花婷婷开心| 午夜九九九九九九九九九九九九九| 久久久久视剧HD| 亚洲AV日韩在线观看| 国产精品色情AAAAA片软件| 婷婷五月天色| 99色天堂| 538在线精品| 国产69久久久欧美黑人A片 | 夜夜骑夜夜撸| 色五月婷婷五月天| 亚洲精品字幕| 五月婷婷黄网站大全| 婷婷丁香九色| 97操碰免费视频| 午夜AV网| 高清国产一级婬片a免费| 性色综合网| AV在线不卡网站| 色婷婷影视99| www.com色播五月天| 久久精品日| 色婷婷影视99| 另类国产区| 97五月天婷婷综合激情网| 99热官网精品在线| 久99久精品视频| 天堂色婷婷| 色婷婷97| 亚洲天堂AV免费片| 日本激情五月天‘| 婷婷社区五月天| 射久久丁香五月| 深夜男女福利刺激影院一区| 天天草天天爽| 久久A极片| 色婷婷综合久久| 亚洲丁香婷婷| 91婷婷色| 五月丁香激情五月天| 色噜噜,噜噜色| 东北婷婷五月天| www.五月丁香av| 五月婷婷无码| 日本三级中国三级99| 91干| 国产99久久久国产精品免费看 | 亚洲色图81p| 激情爱爱网站| 日韩成人电影AV| 亚洲一个色| 久久激情综合| 丁香五月综合AV在线| 日本色五月| 97在线综合| 播播网色播播| 97色射| 狠狠色九月| 五月丁香亭亭操逼| 亚洲色五月天在线| 五月丁香六月婷婷久久| 婷婷久久网| 91日韩在线| 青青草青青草五月天| 久久久久久久,99精品视频| 成人资源在线| 丁香五月AV综合| 五月丁香综合网色欲| er99免费视频在线| 9热在线观看| 久久a热| 久久精品一区二区三区四区| av无码电影| 久久XX| 操逼123网| 99久久玖玖| 六月丁香色色| 亚洲国产精品VA在线看黑人| 久久久久激情网| 五月丁香综合啪啪| va婷婷| 97色片| 疯狂做受XXXX高潮A片| 九九九九中文字幕| 噜噜色五月| 婷婷五月骚厕所| 丁香五月人妻| 婷婷在线网| 久久九九蜜| 草做免费在线观看| 天天艹夜夜艹| 大香蕉狠狠爱主页| 欧美色六月婷婷| 欧美黄色韩日网| 婷婷爱五月天| 女人天堂久久| 五月丁香婷中文| 美国十月色婷婷在线观看| 亚洲九九夜夜| 久久综合影院| 九九精品在线网| 婷婷色九月| av操逼网| 干亚洲天堂| 日日噜狠狠色综合久| 色五月首页| 亚洲操B视频| 六月丁香婷婷综合色播| 99免费在线| 日日夜夜天天| 九艹在线| 丁香婷婷色五月| 97色婷婷| 99在线热视频| 性生活久久朋友人妻| 婷婷五月天丁香| 婷婷成人av| 婷婷丁香五月av| 色播播五月| 亚洲精品无码一区二区| 五月天久久婷婷| 狠狠狠狠狠草| 久久综合五月| 婷婷操超碰| 开心日韩丁香婷婷五月| 桃色五月天| 九九九九大香蕉| 色综久久久| 色色五月天婷婷丁香| 欧洲电影在线观看免费版英语版 | 久久99热这里只有精品| 亚洲成人AV电影在线| 婷婷五月综合在线| 五月天激情久久| 色色欧美。| 99re99在线看| 人妻九九九九| 丁香五月网| 婷婷五月天综合中文| 狼人久草| 全亚洲最大的婷婷五月天网站COM| 日本va欧美va欧美va| 色色五月天婷婷| 9久热在线视频精品| 狠色色狠网| 国产成人精品一区二三区熟女在线| 日本久久视频| 色五月综合| 91免费啪视频| 天插天啪天啪天啪| 搡BBBB搡BBB搡五十| 久久作爱| 婷婷五月天AV| 色站9/| 亚洲 在线 性爱| 婷婷爱五月天| 色婷婷黄色网络| 超碰在线免费9| 96色婷婷| 久久性爱视频网站| 色婷婷玖玖影院| 丁香五月激情性色郤| 99ri精品| 性爱综合网| 26uuu丁香婷婷五月| 日本玖玖在线| 天天摸色吧天天摸色吧| 狠狠婷婷日韩| 激情婷婷网| 国产午夜伦鲁鲁| 九九精品片一| 99热官网| 婷婷舔| AAA久久| 婷色五月| 六月激情网| 超碰久热| 2015WWW永久免费观看播放| 五月天色五月天| 色五月网址| 天天日天天插天天操| 九九视频在线| jiqingtaose五月天| 大香蕉中文| 丁香五月婷婷99| 五月草视频| 久久爱综合| xxx.色婷婷| 丁香五月色情av| 久99热| 国产av天天插天天操天天爽| 日日夜夜爽| www.亚洲激情.com| 夜夜爽天天爽| 人人操人人操919999| 大婷婷色呦呦噜噜色呦呦噜噜| 四色五月婷婷| 26UUU精品一区二区| 色婷婷丁香社综合| 9999三级片| 久9热在线视频| 亚洲丁香花色| 亚色网站小视频| 全部老头和老太XXXXX| 伊人日日干| .青娱乐天天操B| 五月婷婷九月婷婷九月婷婷| 激情综合网站| 色九月婷婷综合| 色综合激情| 亚洲第一第二网站| 六月天无码网址| 天天日天天久久青青| 婷婷激情丁五月| 婷婷综合在线网| 欧洲亚洲精品| 婷婷五月激情欧美| 91九色精品熟女内射| 激情五月婷婷在线区| 婷婷99视频在线| 另类五月激情| 91九色视频在线观看| 色综合九九| 日日夜夜狠狠婷婷色| 全部老头和老太XXXXX| 激情五月综合免费| 婷婷94s| 久色大| 亚洲永久四色| 全部老头和老太XXXXX| 欧美婷婷五月| 九九热99视频在线| 婷婷久久综合久| 天天爽综合| 色97啪啪| 人人爽天天爽| 五月婷六月丁| 九九人人自拍| 亚洲操操操| m色激情网| CAoub青青超碰| 91玖玖| 色婷婷五月天激情久久| 9久操| 97资源碰碰| 色国产五月| 日韩无码亚欧无码| 五月婷婷AV| 五月天婷婷色播| 五月丁香综合久久夜夜| 激情五月天 婷婷| 婷丁香五月天| 色色色色色五月| 天天插综合| 日日噜狠狠色综合久久| 久99久视频免费观看| 中文字幕黄色片| 99热的无码| 综合99久久天天综合| 一起草AV| 亚洲婷婷五月天| 99惹在线精品免费观看| 中文字幕在线人妻| 五月天开心网| 五月天婷婷综合免费| 五月丁香啪啪激情| 久久婷婷五月天丁香| 性色天| 思思热99er在线视频| 影院久久久| 色色操| 俺去也在线视频| 亚洲最大在线| 九九久久久综合| 91chinese在线| 99热日韩| 婷婷六月丁香在线| 激情五月天第四色| 欧美黑人巨大性生话| 丁香婷婷激情六月五月开心| 99色色网站| 久久九⑨| 国产精品第一国产精品| 伊人干综合| 激情婷婷狠狠干| 久色激情| 91操黄| 人人爱操| 九九热在线精品视频| 99热这里只有精品亚洲| 日韩人妻无码精品| 九九久99免费视频| 俺去也五月| 激情综合网五月激情网| 精品九九视频在线观看| 五月婷视频久久| 伊人热婷婷| 蜜桃成语时李时珍 免费| 欧美激情综合色综合啪啪五月| 亚洲五月婷天天操| a网站免费观看| 婷婷色情五月| 丰滿爆乳一区二区三区| 九九在线精品| 超碰99在线观看| 五月六月婷| 五月丁香综合精品| 99久久九九| 五月天丁香欧美激情| 国产亚洲成AV人片在线观黄桃| 九九99精品视频| 激情综合色| 开心五月天私房婷婷| 男女免费视频999| 操逼电影免费看| 激情六月天| 99在线热| 99玖玖在线视频| 亚洲久久婷婷| 插插干干干色| 婷婷六月丁香综合| 五月综合久久| 色色色国产| 激情久久婷婷| AV免费在线网站| 琪琪色网在线| 日韩精品AV一区二区三区| 久久99久久久久久| 爽极品色| 亚洲顶级VA在线观看-高清完整版在线影院观看-S022AV | 96丁香六月婷婷蜜桃综合久久| 大香蕉婷婷久久| 五月丁香五月婷婷| 五月婷婷官网色| 久久婷婷五月天激情唯美| 激情5月婷婷狠狠干| 2015好吊操| 九热...av| 4399高清无码视频| 婷婷五月丁香香蕉| 69综合在线| 热久免费视频9| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 91精品久久久久久77777| 欧美熟女99| 4438激情网| 婷婷综合一二三| 色噜噜五月天| 欧美色婷婷| 五月丁香黄色视频| 天天插综合| 六月久久狠狠| 五月天激情无码专区| wwwC0maV五月花| 99福利视频| 麻豆123区| 五月综亚洲| 五月丁香va| 欧美婷婷五月无砖| 色婷丨日丨天丨综合久久| 26uuu淫色| 丁香五月婷婷激情小说| 五月婷五月婷伊人伊人五月婷| 丁香婷婷久久 | 99亚洲色| www.日日夜夜.com| 精品人妻伦一二三区久| 日本色视| 成人五月天丁香婷| 成人AV在线电影| 久久99久久99久久99人受| 91热久久| 99视频只有精品| 色婷视频| 国产做爰视频免费播放| 啪啪日热| 人妻操日日| 国精产品一区二区三区| 日本婷婷在线| 欧美色婷婷| 激情美女五月天| 视频免费精品免费精品免费精品免费精品免费精品免费精品免费99 | 久热伊人| 国产av天堂| 少妇水多A片太爽了| 99热国产在线| 色婷婷色五月综合| 99精品人人| 五月婷婷激情综合| 色综合色综合色综合高潮| 天天撸夜夜爽| 人人妻久久妻| 激情婷婷五月| 九九99久久| 五月丁香花成人社区| www.cao.com久久| 99热九九在线| 日本三级中国三级99人妇网站| 成人深爱丁香五月| 人人看人人摸人人| 久久久久激情网| 色婷婷99| WWW.久久.COM| 中文字幕婷婷在线| 色五月色五天色情网| 美女五月天婷婷| 最近中文字幕2019视频1| 色色色色色色网站| 99久久精品免费精品国产_国产精品久久久久久_国产在线|日韩_久久国产精品电影 | 国产一级黄色影片,| 欧美三级级99久久| 五月婷视频久久| 99热热九九| 色情播放| 九九热精品| 色丁香五月| 香蕉AV777XXX色综合一区| 激情综合网站| 丁香五月天在线观看视频| 九九爱看亚洲| 亚洲婷婷五月| 亚洲精品久久久久AV无码| 色噜婷婷| 丁香婷婷色五月| 久久99久久99精品免视看婷婷| 丁香五月婷婷手机| 亚洲激情网| 蜜乳av一级av| 日本啪啪网| 日日干日日s| 精品人妻久久久久久| 狠狠色综合网站久久久久| 激情98色婷婷五| 免费看无码视频A级| 天天摸.天天mo| 久久婷婷五月综合色和| 婷婷开心激情| 97人人干。| 99re热视频这里只有综合亚洲| 伊人久久五月天| 色婷婷综合久久久久| 亚洲久久视频| 热99久久这里只有精品| 九九青草热| 伊人无码高清| 亚洲色综久久五月| 欧美色播综合在线观看| 五月丁香综合| www.9操| 五月丁香亭亭操逼| 99热的无码| 日本99视频| 五月婷婷精品视频| 亚洲综合色网站| 五月婷婷丁香五月| 91人在线观看| 日韩成人综合网| 日韩操逼小电影| 天天爽人人综合免费7799| 欧美叉叉叉BBB网站| 91九色超碰正在播放| 另类在线| 天堂草在线看www| www.婷婷| 99碰碰视频| 久久这里只有国产精品视频| WWW.婷婷| 69色婷婷| 久久五月激情| 99这里有精品| 色五月婷婷av| 99热这里只有精品免费| 天天色天天操天天射| 五月天婷婷av| 亚洲第一综合| 婷婷五月天丁香综合网| 开心亚洲久久开心| 成人在线日韩| 国产视频福利| 色色色9| 成人无码精品1区2区3区免费看| www.婷婷五月天| 99爱在线观看视频| 三级片AAA久久久AAA久久久AAA| 91超碰人人操| 永久免费一区二区三区| 日本玖玖在线| 久久99热 这里有精品| 五月天精品视频| 97久久五月丁香婷婷| 日日操,天天操| 97人妻碰碰中文无码久热丝袜| 美欧日韩国产成人在战| 色五月婷婷综合| 超PEN精品在线| 五月天婷婷久久日| 在线播放成人网站| 久久久五月婷婷| 欧美丁香五月| 人操综合| 深爱激情久久| 国外亚洲成AV人片在线观看| 五月丁香日本片| 婷婷五月激情欧美| 99五月婷| 天天澡天天狠天天天做| 久草婷婷视频| 99精品在线下载| 国外亚洲成AV人片在线观看| 婷婷五月色| AV色婷婷| 久久婷婷影院| 9l视频自拍9l九色9l成人| 啪啪激情综合| 国产日批视频| 特级片神马电影| 六月丁香五月天| 色五月婷婷影院| 91超级碰碰| 色综合久久88色综合天天看| 丁香六月婷婷综合| 久久99久久久| 亚洲激情婷婷| 亚州激情九月| 色欲一区二区三区精品A片| 超碰97在线观看免费| 涩涩网五月天| 丁香五月影| 99秘 在线| 亚洲国产精品VA在线看黑人| 狠狠色丁香99| 成人国产欧美大片一区| 99热这里只有精品13| 国产婷婷色综合AV蜜臀AV| 中文字幕丰满乱孑伦无码专区| 99热这| 色情五月婷婷| 激情小说五月天| 99婷婷五月天| 成人综合网站| 人妻在线中文字幕久久| 亚洲婷婷性爱| 五月深爱网| 碰人人97| 精品人妻伦一二三区久久| av操一操| 色综合大香蕉| 欧美一级色| 日本丁香五月| 丁香婷婷人妻综合网| 国外亚洲成AV人片在线观看| 天天成人综合| 九九热精品| xxxx五月| 91打屁股免费看| 狠狠操天天操综合| 亚洲熟妇AV乱码在线观看| 国产五月丁香在线| 99视频| 久久66精品| 极品五月天| 色五月婷婷基地| 9久久久久久久久久久| www久久久| 色色网站观看| 婷婷中文字幕欧美| 99这里只有精品视频| 丁香五月天婷婷激情| 亚洲深喉aV| 99国产这里只有精品| 婷婷五月,偷窥偷拍网| 中文AV在线播放| 激情五月天婷婷激情| 97精品人人A片免费看| 久久在线人妻| 亚洲狠狠婷婷| 噜噜视频| 综合五月天天天天天五月| WWW色色色COM| 色哟哟精品| 99在线观看视频精品| 国产成人精品一区二三区熟女在线| 五月婷婷五月天亚洲无码| 久久精品五月| 超碰AV在线| 97涩涩丁香五月天| 亚洲AVwwwwwww| 日本三级韩三级99久久| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 亚洲V国产V欧美V久久久久久| 91久久婷婷人人澡草| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 五月香婷婷| 玖玖资源天天无码| 91久久精品无码一区二区三区| 丁香婷婷五月| 五月天激情小说婷婷基地| 玖玖精品婷婷| 99激情视频| 丁香婷婷激情网站| 2017狠狠干| 高清一区二区三区日本久| 亚洲视频图片婷婷五月| 91九色精品熟女内射| 日韩黄色影院| 色欧美影院| 翔田千里aV中文字幕| 99操网站| 激情丁香五月天| 五月花亭亭| 九九热大香蕉| 色色欧美。| 99人妻碰碰碰久久久久视| 久久婷婷五月综合97色一本| 天天插操| 在线视频另类| 俺去也在线www色官网| 9操在线| 免费看欧美成人A片无码| 天天爱天天做天天| 婷婷五月天.com| 99伊人婷婷在线| 操操啪| 亚洲色五月婷婷| 思思久久精品视频| 丁香六月婷婷综合啪啪| 国产美女无遮挡裸体毛片A片| 99热国产免费| 亚洲五月婷天天操| 久99视频在线观看| 日韩av在线播放综合网| 无码操B| 色情五月婷婷| 五月婷婷色播网| 丁香五月最新地址| 91婷婷视频| 99热亚洲精品| 久久精热| 能看的av片| 五月婷网| 综合久久首页| 青柠影视免费高清电视剧 | 色婷婷狠狠18| 久草五月天电影网| 国产成人网站在线观看| 99啪啪骑| www.色五月| 久久xxxx| 综合网五月| 另类国产综合| 秋霞黄色一级久久| 99热在线资源| 色域五月丁香| 91狠狠色丁香婷婷综合久久精品| 日本色色网站| 激情 婷婷 插| 丁香六月婷婷缴情欧美| 国产肏屄大片| 狠狠狠狠草草| 国产肥白大熟妇BBBB视频| 五月天激情小说| 五月婷婷激情四月| 开心五月婷婷六月丁香| 婷婷五月香蕉| 九月丁香八月婷婷久久综合久97| 七月婷婷色香综合网| 五月开心久久| 亚洲成人AV在线观看| 日韩无码色色| 九九综合久久| 丁香久久五月天视频在线观看| 亚洲五月天色| 色色免费网站| 99熟女啪啪视频| 婷婷五月激情视频网| 婷婷综合仓库中文| 精品无码久久久久久久久| 婷婷狠狠干| 97视频久久| 婷婷五月色激情欧美激情| 天天成人综合| 五月天天天综合| 色呦呦免费观看| 国产成人AV在线播放| 五月天丁香花婷婷| 天天天天干| 9l视频自拍9l九色9l成人| www.sezonghe| 五月丁香va| 激情五月第四色| 99热久| 色婷婷久久天天性爱| 99五月婷| 丁香六月婷婷开心婷婷网| 丁香五月婷婷天激情| 少妇性按摩无码中文A片| 婷婷成人视频| 激情五月影院| 97人人草| 色婷久久| 色婷婷AAA| 99热这里都是精品| 91视频一起草| 综合99综合久久久久久久| 99热只有| 97干婷婷| 婷婷九月亚洲| 久9无码视频| 久99热在线观看| 成人在线日韩欧美| 另类 在线| AA片在线观看视频在线播放| 五月天亚洲综合网| 五月天婷婷7米| 婷婷五月天天天| 99re这里只有| 欧美日韩成人在线网站| 女人天堂久久| 久99久精品视频| 97人人看| a在线观看| 五月天综合婷婷| av人人干| 青青草激情网| 婷婷久久网| 五月婷婷六月色| 亚洲视频在线观看| 丁香五月开心七月| 婷婷九月丁香中文| 第1影院之五月婷婷| 成人在线高清| 久久婷婷国产| 丁香婷婷久久 | 啪啪小说五月天| 99热这里精品| 天天肏高清在线| 婷婷五月天电影区小说区| 99热网站| 91凹凸在线| 99在线资源| 99热九九热| 99色综合| 666555。COm毛片| 久久综合55| 丁香玖玖视频大全| 午夜亚洲国产精品av一区二区| 六月婷婷av| 深爱婷婷基地| 九九草热在线观看| 久久视频在线| 色婷另类| 天天插天天插天天插天天插| 久久精品99国产精品日本| 婷婷激情久久| 亚洲av无码精品色午夜| 五月婷婷色综图片| 天天操夜夜啊| 97色婷婷五月天| 色色色热热热| 91久久| 深爱五月天| 沈娜娜av| 黄色激情久久| 欧美天天草人人草| 五月婷婷丁香大陆免费| 中文乱子伦视频| 婷婷激情在线| 五月综合视频| 俺也去五月婷婷丁| 91怕怕网| 91热在线| 国产日批视频| 五月天色婷婷激情| 久久婷婷亚洲| 日日鲁鲁鲁夜夜爽爽狠狠视频97| 欧美69色| 婷婷久月| 久久这里只有精品视频26| 五月丁香成人视频| 色五月激情五月| 激情综合网激情五月丁香五月俺也去| 丁香六月色| 久久五月丁香婷婷| 性生活久久人妻| 久久总和99| 年轻的妺妺伦理HD中文| 婷婷伊人綜合| 狠狠艹狠狠艹| 五月婷婷第四色| 天天日夜夜拍| 日韩野外 无套| 激情六月丁香| 五月丁香婷中文字幕| 五月丁香六月| 国产精品18久久久| 丁香五月天激情四射网| 久久婷婷五月国产色综合激情| 色久综合天天做视频| 91九色在线视频| 亚洲乱码日产精品BD| 超碰国产在线观看| 色婷婷丁香五月天在线视频| 国产欧洲欧洲精品久久| 色婷婷丁香五月| 日本情色一区二区| 久婷婷五月丁香在线观看| 婷婷性爱五月天| 超碰av在线| 99视频在线啪| 婷婷五月天xxx| 色欲婷婷五月天丁香| 成人免费120分钟啪啪| 国产亚洲99久久| 五月香蕉婷婷| 日韩av在线免费观看| 中文中文在线| 五月婷在线影院| 欧美激情2025| 国产成人网址| 变天就操逼婷婷五月| 天天肏屄夜夜爽| 婷婷五月花西瓜| 九九久久综合| 丁香五月婷婷欧美激情-中文天堂最新版在线观看| 激情综合网五月天天| 亚洲综合热| 色色99| 91精品婷婷国产综合| 丁香五月情| 五月开心网| 4438国产免费看| 思思综合热| 久色网| 狠狠综合久久综合| 日本丁香五月婷婷| 九九精品综合| 婷婷五月激情四射手| 人人操97| 婷婷六月伊人| 久久综合九九| 91jiuseshunv| 麻豆123区| 99性色| 婷婷六月天天| 亚洲一区二区无码蜜乳av| 色中色综合| 欧美色偷拍| 色爱终和网| 日本天天操| 变态另类9| 色婷婷五月天久久| 亚洲婷婷性爱| 99热精品10| 中文字幕在线资源| 久久婷中文字幕| 狠狠五月激情婷婷直播片| 久久婷五月天| 丁香五月性爱| 日韩另类在线观看| 91人人看| 五月婷婷色情| 深爱五月婷婷| 97人人草| 久久多色| 婷婷色五月天色| 思思热久久久在线| 欧美三级A做爰在线观看| 日本色道视频网站| 国产午夜精品一区二区| 欲求不满的人妻| 五月婷婷深爱六月| 五月天色五月| 婷婷五月激情四月综合 | 欧美激情丁香五月| 久久99久久99精品免观看粉嫩| 综合精品啪啪| 这里只有精品免费视频在线观看 | 五月天久久网站| 色婷婷中文| ss99热| 天天射影院| 亚洲美女高潮久久久久久69| 婷婷刺激综合| 色色丁香五月天社区| 丁香五月婷婷色播艳门照| 综合aV在线| 五月丁香直播| 99精品成人无码A片观看金桔| 久久精品爱爱| 五月天婷婷在线观看| 国产激情AV| 新激情五月天天在线网| 看逼中文字幕| 婷婷五月天综合小说网| 人人人操 超碰| 人人色AV| 69超碰在线| www婷婷色情网| 777影视理论片大全在线观看| 色婷婷中文字母五月丁香| 亚洲色网址| 国产伦理精品高清在线观看网站一区二区 | 五月天婷婷社区久久综合| 天天爽夜爽| www.刺激色网站www.| 爱草人视频| 艹天天射| 激情综合五月天| www.射伊蕉婷婷| 秋霞AV淫| 丁香五月婷婷亚洲另类| 99热亚洲| 97九色视频| 久久人人九九| 91色婷婷综合久久中文字幕二区| 婷婷色导航| 91婷婷丁香五月天免费视频网站| 亚洲成人免费在线| 六月婷婷激情图片| 热久久99热欧美国产亚洲| 天天做天天爱天天搞| 成人丁香| 欧洲亚洲免费视频区| 国产精品扒开腿做爽爽爽A片唱戏 亚洲爆乳无码精品AAA片蜜桃 | 色五婷婷| 婷婷丁香五月天熟女丝袜| 久久久免费精彩视频| 99久久99视频| 婷婷亚洲影院| 视频这里只有精品| 国产精品99久久久久久久女警| 伊人日日干| 色婷婷中文| 婷婷色5月激情网| 五月花激情网| 大香蕉婷婷久久| 9+1视频网址| www.婷婷五月天| 我爱va亚洲va52| 无码字幕中文| 天天操天天操天天操天天操天天操 | 激情五月综合网最新| 99re6热在线精品视频播放速度| 丁香五月影院| 日韩三级片一区二区| 成人做爰A片免费看视频| 色五月综合网| 五月天激情日色在线| 99国产精品久久久久久久久久久| 欧美日本一区二区三区| 色伦专区97中文字幕| 色久综合天天做视频| 六月丁香天堂| 激情综合无码| 青草性爱视频| 久久女伦| 五月婷婷深深爱| 色情丁香五月婷婷精品| 色色色色热| 啪啪啪五月天| 激情综合婷婷久久| 六月婷婷激情图片| peg 2区三区四区的| 五月婷婷丁香日韩在线| 婷婷五月天播播| 超碰人人操人人干| 五月丁香啪啪啪| 日日操天天| 狠狠第四色| 99热精品在线播放| 五月丁香激情综合六月涩涩爱| 综合久久五| 婷婷99狠狠| 亚洲激情亚洲激情 | 色五月丁香婷婷| 99精品在| 欧美日韩国产一区二区| 色综合色色| 亚洲性爱日韩无码| 婷婷娌伦网| 超碰av在线| AV天堂淫乩| 激情国产五月| www99精品| 婷婷色天香| 五月亭亭色| 久久9久| 思思色播| 久久婷鲁| 婷婷午夜| 日韩操逼小电影| 日韩成人中文字幕| 不卡在线中文字幕无| 一级二级色大片| 情欲综合网| www.99热在线| 无码人妻少妇色欲AV一区二区| 五月婷婷激情69| 怡春院久操| 香蕉AV777XXX色综合一区| 天天在线XXX| 亚洲久久视频| 91操在线观看| 五月天社区| 五月成人网站| 99re这里只有精品99| 狠狠色噜噜狠狠狠狠狠色综合久久| 日良久久| 另类国产综合| 综合久久综合久久| 色色六月| 96丁香六月婷婷蜜桃综合久久| 五月婷婷真爱激情网| 人人干天天舔| 久草丁香婷婷五月天婷| av国产精品| 丁香婷婷六月天| 欧美激情综合色综合| 欧美情月伍月天| 亚洲AV免费国产电影| A片试看50分钟做受视频| 日亚二欧美| 婷婷激情五月天亚洲综合| 欧美丁香五月97色| 婷婷色影音天| 丁香五月天啪啪| 国产精品婷婷午夜在线观看| 成人在线视频网| 亚洲视频码| 五月天开心网| 激情亚洲婷婷| 丁香五月天啪啪激情综和网| 99热这里是精品| 午夜福利8055| 国产精品18久久久| 色色A| 五月婷丁香花| 欧美色偷拍| 伊人网色婷婷五月天| 色五月婷婷网| 天天成人丁香美女AV| 97综合在线| 激情五月婷婷丁香综合网| 激情五月天丁香| 亚洲激情婷婷| 秋霞电影理论| 成人精品在线观看| 婷婷va| 亚洲AV在线免费看| 久久久大香蕉| 99热6色| 日本色婷婷久久99精品91| 亚洲啪啪视频| 色婷婷性爱| 久久久久久久久月丁| 99精品亚洲| 大香蕉久久婷婷精品综合| 思思久久青草热| 99er6| 色5月婷婷| enecarbon-materials.com污K127封锁请涟系@wip1688 | 五月丁香av在线| 免费AAAAA网| 99男人天堂| 丁香六月婷婷色XXXX| 婷婷五月激情网| 99九色视频在线观看| 婷婷五月天综合在线 | 九热免费视频| 97成人超碰免| 日本三级日本黄色| 免费观看全黄做爰的视频| 玖玖资源在线视频| 色99日韩| 五月激情在线| 五月丁香无码视频| 婷婷成人综合五月| 99久久精彩视频| 五月 婷 久| 校园春色亚洲色| 亚洲精品国产A久久久久久| 99色热| 综合色五月| 99操久久| 九九色综合网| 九九亚洲| 色播五月天激情| 九九热99热| 九九视频这里有精品| 五月婷婷丁香在线视频| 天天日,夜夜爽| 色色色777| 色五月激情综合网| 丁香六月啪| 九九碰九九爱97超碰| 婷婷五月香蕉| 久久新地址| 六月丁香中文字幕| 久久久久98| 五月天综合激情网| 色婷婷a| 99久久精品色老| 婷香五月| 91精品国产91久久久久青草| 五月婷婷六月天| 丁香五月综合久久八| XXXX岛国| 五月天激情网图片 - 百度| 狠狠色丁香综合| 婷婷五月天777| 五月社区婷婷激情| 色欲日日躁| 丁香五月天五码婷婷| 99热精品一区| 中文国产五月天| 欧美日本va| 五月婷亚洲精品| 久久99热这里只频精品6学生| 天天色天天日| 五月丁香六月婷婷成人电影| 色99热| 日本精品99| 天天做夜夜爽| 91超级碰碰碰| 中文字幕日产A片在线看| 少妇性按摩无码中文A片| 荫道BBWBBB高潮潮喷| 香蕉网婷婷| 五月丁香婷婷色播无码| 欧美月久久| 激情99| 无码四色色色| 激情婷婷综合| 五月丁香激情综合六月涩涩爱| 丁香五月综合亚洲| www.亭亭五月天| 99久热| 亚洲无码成人| 激情综合网五月激情| 中文字幕按摩做爰| 无码免费人妻A片AAA毛片西瓜| 大香蕉色婷婷伊人在线| 婷婷五月精品中文| 色色激情五月| 五月天激情站|