簡介一套基于GMM-UBM模型的聲紋識(shí)別Python實(shí)現(xiàn)源碼及文檔說明面向語音信號(hào)處理、機(jī)器學(xué)習(xí)相關(guān)課程的高分大作業(yè)場(chǎng)景。資源基于TIMIT數(shù)據(jù)集完整覆蓋靜音消除、FBANK/MFCC/PNCC三種特征提取、UBM訓(xùn)練、說話人模型訓(xùn)練與評(píng)分測(cè)試等關(guān)鍵環(huán)節(jié)適合需要快速復(fù)現(xiàn)聲紋識(shí)別流程的學(xué)生和開發(fā)者參考。壓縮包共10個(gè)文件包含9個(gè)Python腳本和1個(gè)Markdown文檔腳本分別負(fù)責(zé)特征提取、模型訓(xùn)練、測(cè)試集與注冊(cè)集生成、打分評(píng)估等功能文檔說明則給出清晰的數(shù)據(jù)準(zhǔn)備和運(yùn)行步驟便于對(duì)照源碼理解GMM-UBM的完整建模思路。已有224人學(xué)習(xí)/下載代碼體積雖小但模塊劃分明確可幫助讀者掌握聲紋識(shí)別原理并作為課程設(shè)計(jì)或畢業(yè)設(shè)計(jì)的可擴(kuò)展框架也方便針對(duì)不同特征或數(shù)據(jù)集進(jìn)行二次調(diào)參與改進(jìn)。1. GMM-UBM聲紋識(shí)別這份Python課程項(xiàng)目把全鏈路跑通了聲紋識(shí)別在課程大作業(yè)里最常見的翻車方式是直接搬一個(gè)深度學(xué)習(xí)分類網(wǎng)絡(luò)訓(xùn)完拿測(cè)試集一跑準(zhǔn)確率還行就交差。這份基于GMM-UBM的Python實(shí)現(xiàn)走的是另一條路它不訓(xùn)練神經(jīng)網(wǎng)絡(luò)而是用高斯混合模型對(duì)每個(gè)說話人的聲學(xué)特征分布建模用通用背景模型UBM做全局兜底再通過最大后驗(yàn)概率自適應(yīng)得到每個(gè)說話人自己的模型。項(xiàng)目把FBANK、MFCC、PNCC三種特征提取前端全部實(shí)現(xiàn)配套了靜音消除、數(shù)據(jù)列表生成、UBM訓(xùn)練、說話人注冊(cè)、打分判決的完整腳本和文檔說明。適合正在做說話人識(shí)別課程設(shè)計(jì)、需要一條能逐步復(fù)現(xiàn)并到講臺(tái)答辯的完整路徑的同學(xué)也適合想把傳統(tǒng)聲紋識(shí)別“特征→模型→打分”全鏈路看清楚、不想把模型當(dāng)黑匣子的技術(shù)從業(yè)者。2. 項(xiàng)目結(jié)構(gòu)與時(shí)序十個(gè)腳本誰先誰后捋一遍才敢動(dòng)手這個(gè)項(xiàng)目最大的特點(diǎn)是不藏代碼整套流水線被拆成十個(gè)左右的Python腳本每個(gè)腳本只做一件事順著文檔說明.md能一步步跑完。不像很多深度學(xué)習(xí)項(xiàng)目一個(gè)train.py跑到底中間發(fā)生了什么全靠猜。動(dòng)手跑之前先把腳本之間的依賴關(guān)系捋清楚后面翻車概率能少一半。2.1 工程文件拆解與運(yùn)行順序先把zip里的腳本挨個(gè)看一遍文件清單如下腳本文件職責(zé)在流水線中的位置yu_pos.py靜音消除可選數(shù)據(jù)準(zhǔn)備最前段train_spk_model.py生成訓(xùn)練列表訓(xùn)練說話人模型列表階段建模階段train_test_scp.py生成或調(diào)整訓(xùn)練/測(cè)試列表輔助工具val_enrollment_scp.py生成注冊(cè)列表與驗(yàn)證列表列表階段feature_ex_Fbank.py提取FBANK特征特征階段feature_extract_MFCC.py提取MFCC特征特征階段feature_extract_pncc.py提取PNCC特征特征階段train_UBM.py訓(xùn)練通用背景模型建模階段eval_score.py打分與判決評(píng)估階段按照項(xiàng)目文檔給出的流程完整執(zhí)行順序是這樣的。注意train_spk_model.py會(huì)出現(xiàn)兩次第一次負(fù)責(zé)生成列表第二次負(fù)責(zé)訓(xùn)練說話人模型這是這類課程腳本常見的功能分支設(shè)計(jì)# 0. 可選對(duì)數(shù)據(jù)集做靜音消除VAD去掉每段音頻前后的靜音 python yu_pos.py # 1. 第一次運(yùn)行 train_spk_model.py生成訓(xùn)練UBM用的 ubm_wav.scp 和測(cè)試用的 test.scp python train_spk_model.py # 2. 生成注冊(cè)列表 enrollment.scp 與驗(yàn)證列表 var.scp python val_enrollment_scp.py # 3. 分別提取三種特征這一步的輸出和前面生成的scp一一對(duì)應(yīng) python feature_ex_Fbank.py python feature_extract_MFCC.py python feature_extract_pncc.py # 4. 訓(xùn)練UBM運(yùn)行時(shí)用chooes()輸入 fbank / mfcc / pncc 選定特征類型 python train_UBM.py # 5. 第二次運(yùn)行 train_spk_model.py用chooes()選定同一特征類型生成說話人模型 python train_spk_model.py這個(gè)順序本身就是傳統(tǒng)聲紋識(shí)別系統(tǒng)的標(biāo)準(zhǔn)流水線先有數(shù)據(jù)列表再提特征再訓(xùn)UBM再自適應(yīng)出說話人模型最后才是打分。我第一次拿到這類項(xiàng)目時(shí)會(huì)先按這個(gè)順序空跑一遍即使中途報(bào)錯(cuò)也不急著改先看它停在哪一步再回頭翻文檔說明.md比從讀代碼開始快得多。跑的時(shí)候每一步都要回頭確認(rèn)輸出存在scp文件是文本直接打開看特征文件通常是二進(jìn)制矩陣看文件大小是否為0。這里有個(gè)習(xí)慣值得養(yǎng)成——把每個(gè)腳本的輸出路徑提前記下來比如fbank特征存在哪個(gè)目錄、mfcc特征又存在哪個(gè)目錄后面很多報(bào)錯(cuò)都源于“我以為它生成了其實(shí)沒有”。2.2 靜音消除yu_pos.py為什么是可選步驟yu_pos.py在流水線最前面但文檔說它是可選的。原因在于TIMIT這類數(shù)據(jù)集本身在安靜錄音室環(huán)境下采集句首句尾的靜音段很短對(duì)GMM建模的影響往往可以忽略。但如果未來換自己錄的數(shù)據(jù)或者環(huán)境里有很多無語音片段靜音消除就很必要。常見做法是基于短時(shí)能量和過零率的雙門限VAD把音頻切成25毫秒左右的幀計(jì)算每幀的短時(shí)能量和過零率能量低于閾值且過零率接近靜音水平的幀標(biāo)記為靜音再用前后幾幀做平滑避免把清音和弱音也切掉。這個(gè)項(xiàng)目的yu_pos.py就是這類思路的輕量實(shí)現(xiàn)# yu_pos.py 的核心邏輯課程項(xiàng)目的典型VAD實(shí)現(xiàn) def vad_frame(frame, energy_thresh, zcr_thresh): # 幀能量對(duì)幀內(nèi)采樣點(diǎn)求平方和取對(duì)數(shù)數(shù)值越大代表這一幀越“響” energy np.log(np.sum(frame ** 2) 1e-10) # 過零率采樣點(diǎn)符號(hào)發(fā)生變化的次數(shù)語音濁音段過零率低清音和靜音段高 zcr np.sum(np.abs(np.diff(np.sign(frame)))) / 2 # 雙門限能量和過零率同時(shí)超過設(shè)定范圍才判為靜音 if energy energy_thresh and zcr zcr_thresh: return True # 靜音幀 return False這段代碼里energy_thresh和zcr_thresh是經(jīng)驗(yàn)參數(shù)。對(duì)16kHz采樣、16bit的音頻能量閾值一般在0到10之間手動(dòng)調(diào)過零率閾值在10到20之間。調(diào)參的依據(jù)是看VAD輸出后保留的語音段能否完整覆蓋一句話里所有成音部分。閾值設(shè)太高韻母的弱收尾會(huì)被切成碎塊設(shè)太低靜音段殘留下來后面提取的特征里混入大量低能量幀UBM訓(xùn)練的收斂速度會(huì)變慢。實(shí)際跑的時(shí)候我一般會(huì)先對(duì)一段音頻做可視化把能量曲線畫出來再定閾值而不是一上來就套默認(rèn)值。2.3 scp列表制度訓(xùn)練、注冊(cè)、驗(yàn)證為什么必須分開scp是Speech Corpus格式的列表文件每一行對(duì)應(yīng)一段音頻典型格式是“音頻路徑 標(biāo)簽”標(biāo)簽可以是說話人ID或句子ID。這個(gè)項(xiàng)目里train_spk_model.py生成ubm_wav.scp和test.scpval_enrollment_scp.py生成enrollment.scp和var.scp四份列表各有各的用途列表文件用途內(nèi)容來源ubm_wav.scp訓(xùn)練UBM用覆蓋盡量多說話人的語音訓(xùn)練集全體說話人test.scp測(cè)試/評(píng)估用包含身份未知的待識(shí)別語音測(cè)試集說話人enrollment.scp注冊(cè)用每個(gè)說話人一段或多段語音用來建模型驗(yàn)證集說話人var.scp驗(yàn)證用與注冊(cè)說話人一一比對(duì)打分與enrollment配對(duì)把注冊(cè)和驗(yàn)證分開是實(shí)驗(yàn)紀(jì)律里很重要的一條。如果同一個(gè)人的同一段錄音既用來注冊(cè)又用來驗(yàn)證打分結(jié)果會(huì)虛高等錯(cuò)誤率好看到不真實(shí)這在課程答辯時(shí)是最容易被問倒的問題之一。正確做法是enrollment.scp里每人取前幾段語音注冊(cè)模型var.scp里每人另取不同句子做驗(yàn)證確保注冊(cè)語音和驗(yàn)證語音沒有重疊。TIMIT數(shù)據(jù)集本身提供了訓(xùn)練集與測(cè)試集的說話人劃分項(xiàng)目是按這個(gè)約定來生成列表的。如果你要換自己的數(shù)據(jù)集至少要自己保證訓(xùn)練UBM的說話人、注冊(cè)的說話人和驗(yàn)證的說話人互不重疊否則UBM吸收了目標(biāo)說話人的分布后面MAP自適應(yīng)就失去意義了。順帶一提t(yī)rain_test_scp.py在文件清單里是輔助工具通常用來做列表的拆分和重排比如把ubm_wav.scp按說話人隨機(jī)打亂或者從test.scp里抽一部分做調(diào)試。它不是主流程必需腳本但如果數(shù)據(jù)集很大想先拿一小部分驗(yàn)證代碼能跑通用它比手動(dòng)改列表方便。3. 三種特征提取的取舍MFCC、FBANK與PNCC特征提取是把音頻變模型輸入的環(huán)節(jié)。這個(gè)項(xiàng)目一次實(shí)現(xiàn)了三個(gè)前端不是堆功能而是三種特征分別適合不同條件。搞清楚它們各自做了什么、在什么場(chǎng)景下選哪個(gè)是復(fù)用這份資源時(shí)最值得花時(shí)間的一步。3.1 MFCC提取流程與參數(shù)含義MFCC是語音識(shí)別里最經(jīng)典的聲學(xué)特征。feature_extract_MFCC.py做的事情可以拆成四步預(yù)加重、分幀加窗、Mel濾波器組、對(duì)數(shù)與DCT。預(yù)加重用一階高通濾波器把高頻分量抬起來彌補(bǔ)語音發(fā)聲時(shí)高頻能量天然衰減的問題分幀加窗用25毫秒的漢明窗把連續(xù)信號(hào)切成幀幀間重疊50%保證特征序列在時(shí)間軸上是平滑過渡的。# feature_extract_MFCC.py 中MFCC提取的簡化流程 def extract_mfcc(wav, sr16000): # 預(yù)加重y[n] x[n] - 0.97 * x[n-1]提升高頻分量 pre_emph np.append(wav[0], wav[1:] - 0.97 * wav[:-1]) # 分幀加窗25ms幀長10ms幀移漢明窗 frame_len int(sr * 0.025) # 400個(gè)采樣點(diǎn) frame_shift int(sr * 0.010) # 160個(gè)采樣點(diǎn) frames framing(pre_emph, frame_len, frame_shift) frames * np.hamming(frame_len) # FFT后過Mel濾波器組取對(duì)數(shù) power_spec np.abs(np.fft.rfft(frames, n512)) ** 2 mel_energy np.dot(power_spec, mel_filterbank.T) log_energy np.log(mel_energy 1e-10) # DCT得到倒譜系數(shù)通常取前13維 mfcc scipy.fftpack.dct(log_energy, axis1)[:, :13] return mfcc這里幾個(gè)參數(shù)值得留意。預(yù)加重系數(shù)0.97是經(jīng)驗(yàn)值接近1但不等同于1目的是在提升高頻的同時(shí)不引入低頻失真。幀長25毫秒、幀移10毫秒是語音特征提取的默認(rèn)配置因?yàn)檎Z音在20到30毫秒內(nèi)可近似看成平穩(wěn)信號(hào)。Mel濾波器組的個(gè)數(shù)在這個(gè)項(xiàng)目里一般設(shè)26或40MFCC維度取13維。如果做說話人識(shí)別13維通常偏少常見做法是拼接13維靜態(tài)系數(shù)加13維一階差分加13維二階差分湊成39維或者直接用FBANK的40維特征訓(xùn)練GMM而不做DCT壓縮。這個(gè)項(xiàng)目后續(xù)訓(xùn)練UBM時(shí)會(huì)讀取mfcc特征文件你要確認(rèn)維度設(shè)置與train_UBM.py里配置的輸入維度一致不然EM迭代第一步就會(huì)因?yàn)榫S度對(duì)不上而報(bào)錯(cuò)。3.2 FBANK與MFCC的差別少一步DCT多一分相關(guān)性FBANK特征其實(shí)是MFCC去掉最后一步DCT之后的中間產(chǎn)物。feature_ex_Fbank.py保存的就是經(jīng)過Mel濾波器組和對(duì)數(shù)運(yùn)算之后的濾波器組能量沒有做倒譜變換。少了一步變換FBANK到底好在哪關(guān)鍵在DCT的作用是去相關(guān)和降維。MFCC通過DCT把高維的濾波器組能量壓縮成低維倒譜系數(shù)丟掉的是濾波器組輸出中彼此相關(guān)的部分。對(duì)傳統(tǒng)GMM來說特征維數(shù)低、各維相關(guān)性低協(xié)方差矩陣更接近對(duì)角陣訓(xùn)練更穩(wěn)定。但FBANK保留了相鄰Mel頻帶之間的能量相關(guān)性配合GMM的協(xié)方差建模反而能捕捉到更多頻譜細(xì)節(jié)。在語音內(nèi)容識(shí)別任務(wù)里兩者差不多但在說話人識(shí)別里頻譜細(xì)節(jié)正是區(qū)分不同人發(fā)聲習(xí)慣的關(guān)鍵。這個(gè)項(xiàng)目同時(shí)提供fbank和mfcc兩條路線的特征提取正確用法是訓(xùn)練UBM和訓(xùn)練說話人模型時(shí)選擇同一個(gè)特征類型。很多人第一次跑會(huì)踩這個(gè)坑訓(xùn)練UBM時(shí)選了mfcc訓(xùn)練說話人模型時(shí)又選了fbank兩者特征維度都不同加載模型時(shí)要么報(bào)錯(cuò)要么默默訓(xùn)練出一個(gè)沒用的模型。實(shí)際體驗(yàn)下來FBANK配合GMM-UBM的識(shí)別率通常會(huì)略高于MFCC特別是在訓(xùn)練數(shù)據(jù)量充足的情況下。PNCC則主要在噪聲環(huán)境下優(yōu)勢(shì)明顯。三者的適用場(chǎng)景差異通常在干凈語音上MFCC和FBANK差距不大在有背景噪聲或信道失真的數(shù)據(jù)上PNCC的魯棒性會(huì)明顯體現(xiàn)出來。3.3 PNCC的魯棒性來源從頻譜增強(qiáng)到冪律壓縮PNCC的全稱是Power-Normalized Cepstral Coefficients設(shè)計(jì)目標(biāo)就是對(duì)抗噪聲和混響。它和MFCC在結(jié)構(gòu)上相似都是先做頻譜分析再經(jīng)過濾波器組和壓縮最后做DCT。差別在中間的處理環(huán)節(jié)。MFCC的經(jīng)典流程里FFT功率譜直接經(jīng)過Mel濾波器組然后取對(duì)數(shù)對(duì)數(shù)壓縮是固定底數(shù)的非線性變換。PNCC的做法要復(fù)雜幾層先用帶通濾波器和中值濾波估計(jì)每個(gè)頻帶的噪聲基底從功率譜中減去噪聲成分得到增強(qiáng)后的頻譜然后做冪律非線性壓縮通常取1/15的冪次這個(gè)冪律是從人耳聽覺的響度感知模型推出來的比對(duì)數(shù)壓縮更接近聽覺神經(jīng)對(duì)語音強(qiáng)度的映射再加一個(gè)時(shí)域掩蔽步驟用鄰近幀的能量做平滑抑制脈沖噪聲。最后再走DCT得到倒譜系數(shù)。# feature_extract_pncc.py 中PNCC的簡化處理鏈 def extract_pncc(wav, sr16000): # 1. 短時(shí)傅里葉變換得到功率譜 power_spec stft_power(wav, sr) # 2. 中值濾波估計(jì)噪聲基底并從功率譜中扣除 noise_floor median_filter(power_spec, kernel_size5) enhanced np.maximum(power_spec - noise_floor, 0) # 3. 冪律非線性壓縮gamma 1/15 compressed np.power(enhanced, 1.0 / 15.0) # 4. 時(shí)域掩蔽對(duì)時(shí)間軸做指數(shù)平滑抑制脈沖突變 masked temporal_mask(compressed, coeff0.5) # 5. 過Mel濾波器組、取對(duì)數(shù)、DCT return dct(np.log(np.dot(masked, mel_filterbank.T)))[:, :13]參數(shù)上最值得關(guān)注的是中值濾波的kernel_size和時(shí)域掩蔽的平滑系數(shù)。kernel_size取5意味著每個(gè)頻帶取相鄰5幀的中值作為噪聲估計(jì)窗口太大反應(yīng)慢會(huì)誤把語音段能量當(dāng)成噪聲估計(jì)進(jìn)去窗口太小又擋不住持續(xù)性的背景噪聲。平滑系數(shù)0.5是保守默認(rèn)值如果面對(duì)的噪聲是短促的開關(guān)聲、鍵盤聲可以把系數(shù)調(diào)到0.3以下讓掩蔽更敏感。PNCC在干凈語音上不一定比MFCC強(qiáng)但在有噪聲的測(cè)試條件下優(yōu)勢(shì)非常明顯。我拿到這個(gè)項(xiàng)目后實(shí)際體驗(yàn)是同樣的GMM-UBM管線把特征從MFCC換成PNCC在加了環(huán)境噪聲的測(cè)試集上等錯(cuò)誤率下降明顯。代價(jià)是提取速度慢不少中值濾波和時(shí)域掩蔽都是逐幀逐頻帶的操作特征提取耗時(shí)大約是MFCC的2到3倍。如果你的課程設(shè)計(jì)沒有噪聲魯棒性要求直接用FBANK性價(jià)比最高如果答辯題目里帶“魯棒說話人識(shí)別”這類字眼PNCC就是加分項(xiàng)。4. GMM-UBM訓(xùn)練與打分從EM迭代到似然比判決特征提取完之后進(jìn)入整個(gè)系統(tǒng)的核心訓(xùn)練UBM、自適應(yīng)說話人模型、打分判決。這三個(gè)環(huán)節(jié)分別對(duì)應(yīng)train_UBM.py、train_spk_model.py和eval_score.py每一步都有值得展開的參數(shù)細(xì)節(jié)。4.1 UBM訓(xùn)練train_UBM.py的EM迭代與分量數(shù)選擇UBM是通用背景模型本質(zhì)上是一個(gè)用大量非目標(biāo)說話人的語音訓(xùn)練出來的大GMM。它扮演的是“普通人聲音分布”的基準(zhǔn)。train_UBM.py讀取ubm_wav.scp對(duì)應(yīng)的特征用期望最大化算法迭代擬合GMM參數(shù)。GMM的數(shù)學(xué)形式是多個(gè)高斯分量按權(quán)重疊加每個(gè)說話人的聲學(xué)特征分布用M個(gè)高斯分量描述每個(gè)分量有自己的均值向量、協(xié)方差矩陣和權(quán)重。EM迭代的每一步分兩步E步計(jì)算每一幀特征落在每個(gè)高斯分量上的后驗(yàn)概率M步用這些后驗(yàn)概率作為軟標(biāo)簽重新估計(jì)權(quán)重、均值和協(xié)方差。迭代到對(duì)數(shù)似然的變化量小于某個(gè)閾值才停。# train_UBM.py 中GMM-UBM訓(xùn)練的EM思路 def gmm_em(features, n_components32, max_iter50): # 初始化用KMeans給特征聚類用聚類中心初始化各個(gè)高斯分量的均值 gmm initialize_with_kmeans(features, n_components) for i in range(max_iter): # E步計(jì)算每個(gè)樣本在每個(gè)高斯分量上的后驗(yàn)概率責(zé)任度 responsibilities gmm.predict_proba(features) # M步用責(zé)任度加權(quán)重估權(quán)重、均值、協(xié)方差 gmm.update_parameters(features, responsibilities) # 判斷收斂對(duì)數(shù)似然變化小于1e-4就停止 if abs(gmm.log_likelihood_change()) 1e-4: break return gmm高斯分量數(shù)n_components是最關(guān)鍵參數(shù)常見做法是32、64或128。分量越多對(duì)訓(xùn)練數(shù)據(jù)的擬合越精細(xì)但也更容易過擬合。UBM由于是大量說話人數(shù)據(jù)訓(xùn)練出來的收斂性相對(duì)好可以用128個(gè)分量到了說話人模型自適應(yīng)階段如果每個(gè)說話人的注冊(cè)語音只有幾十秒用64個(gè)分量就夠了。一個(gè)經(jīng)驗(yàn)規(guī)則是每個(gè)高斯分量至少要有足夠幀數(shù)支撐均值估計(jì)注冊(cè)語音總幀數(shù)除以分量數(shù)不要小于幾十幀。如果注冊(cè)語音只有10秒左右對(duì)應(yīng)特征大約是1000幀分量數(shù)超過64就有點(diǎn)危險(xiǎn)。4.2 說話人模型自適應(yīng)train_spk_model.py的MAP更新UBM訓(xùn)練好以后下一步為每個(gè)說話人生成自己的模型。train_spk_model.py在這一階段做的是最大后驗(yàn)自適應(yīng)不是從零訓(xùn)練一個(gè)新GMM而是把UBM的參數(shù)作為先驗(yàn)用該說話人的少量語音把UBM的均值拉向說話人自己的特征分布。MAP的核心是自適應(yīng)“力度”的控制。每個(gè)高斯分量的均值更新時(shí)并不完全等于該說話人語音在這個(gè)分量上的均值而是新舊信息的加權(quán)平均權(quán)重由該說話人語音落在該分量上的幀數(shù)和預(yù)先設(shè)定的自適應(yīng)因子共同決定。幀數(shù)越多越信任新數(shù)據(jù)幀數(shù)越少越依賴UBM的先驗(yàn)。# train_spk_model.py 中MAP自適應(yīng)說話人模型的示意代碼 def map_adapt(ubm, spk_features, relevance_factor16.0): # 計(jì)算說話人特征在UBM各分量上的后驗(yàn)概率 gamma ubm.predict_proba(spk_features) for c in range(ubm.n_components): n_c gamma[:, c].sum() # 落在分量c上的等效幀數(shù) data_mean (gamma[:, c].dot(spk_features)) / max(n_c, 1e-10) # 權(quán)衡系數(shù)alpha n_c / (n_c relevance_factor) alpha n_c / (n_c relevance_factor) ubm.mean_[c] alpha * data_mean (1 - alpha) * ubm.mean_[c] return ubmrelevance_factor是MAP自適應(yīng)里最重要的參數(shù)常用范圍在8到32之間。它越大說話人模型越接近UBM個(gè)性化程度越低它越小說話人模型越依賴注冊(cè)語音對(duì)注冊(cè)語音的質(zhì)量也越敏感。如果注冊(cè)語音里有明顯的環(huán)境噪聲或誤切出來的靜音段relevance_factor又設(shè)得很小說話人模型會(huì)被這些噪聲幀帶偏后面打分時(shí)對(duì)同一個(gè)人其他干凈語音的得分反而很低。課程項(xiàng)目里一般不會(huì)主動(dòng)讓你調(diào)這個(gè)參數(shù)但答辯老師很可能會(huì)問“自適應(yīng)因子為什么這樣設(shè)”所以至少要能說出relevance_factor對(duì)模型偏置和方差的影響。4.3 打分與閾值eval_score.py的似然比判決最后一個(gè)關(guān)鍵環(huán)節(jié)是打分。eval_score.py加載說話人模型和UBM對(duì)每一段待驗(yàn)證語音計(jì)算兩個(gè)對(duì)數(shù)似然一個(gè)是這段語音被該說話人模型生成的概率一個(gè)是它被UBM生成的概率。兩個(gè)對(duì)數(shù)似然的差就是對(duì)數(shù)似然比分?jǐn)?shù)。分?jǐn)?shù)越高說明這段語音越不像普通人的聲音、越像目標(biāo)說話人。這個(gè)設(shè)計(jì)是GMM-UBM體系最巧妙的地方。如果不做差、只看說話人模型的絕對(duì)似然不同語音時(shí)長會(huì)讓分?jǐn)?shù)標(biāo)準(zhǔn)不一致。而UBM作為“普通人基準(zhǔn)”可以把說話人模型的分?jǐn)?shù)歸一化到“相對(duì)普通人的偏離程度”上分?jǐn)?shù)跨語音時(shí)長的可比性更強(qiáng)。打分時(shí)通常還會(huì)對(duì)幀得分做平均用平均對(duì)數(shù)似然比而不是累加值進(jìn)一步消除時(shí)長影響。訓(xùn)練完以后判斷“是不是本人”需要一個(gè)閾值。低于閾值判為冒認(rèn)者高于閾值判為目標(biāo)說話人。項(xiàng)目里通常的做法是把var.scp的驗(yàn)證分?jǐn)?shù)畫成分布圖取兩個(gè)分布的交叉點(diǎn)或計(jì)算等錯(cuò)誤率閾值。等錯(cuò)誤率的意思是誤接受率和誤拒絕率相等時(shí)的點(diǎn)在課程答辯里是最直觀的評(píng)估指標(biāo)。如果文檔里沒有推薦閾值先用所有驗(yàn)證分?jǐn)?shù)的均值附近當(dāng)作初始閾值再根據(jù)期望偏安全還是偏方便來調(diào)整。到這里整個(gè)GMM-UBM系統(tǒng)的工作鏈閉環(huán)特征提取把音頻變成特征矩陣訓(xùn)練用EM訓(xùn)UBM、用MAP得到說話人模型評(píng)估用似然比打分。5. 避坑與常見問題跑這個(gè)項(xiàng)目最常翻車的五個(gè)地方5.1 scp文件路徑寫錯(cuò)或帶空格特征讀取階段直接失敗現(xiàn)象運(yùn)行特征提取腳本時(shí)報(bào)文件找不到但文件明明就在scp里列出的路徑下。原因scp文件里寫的是絕對(duì)路徑但數(shù)據(jù)集換過目錄或者Windows系統(tǒng)上路徑分隔符是反斜杠腳本里卻用正斜杠去拼接。此外目錄名里有空格的話按行split會(huì)把路徑拆成多段。解決先檢查scp文件里每一行的格式確認(rèn)路徑分隔符和實(shí)際環(huán)境一致。我一般會(huì)在提取特征前寫一個(gè)簡短的Python腳本遍歷scp里的每一條路徑用os.path.exists逐一驗(yàn)證把不存在的路徑打印出來。路徑換成絕對(duì)路徑最省心別依賴腳本里默認(rèn)的相對(duì)路徑拼接。5.2 靜音消除過猛特征矩陣變成空文件現(xiàn)象yu_pos.py跑完后某些音頻的幀數(shù)變成0對(duì)應(yīng)的特征文件也是空的訓(xùn)練UBM時(shí)加載進(jìn)來直接報(bào)維度錯(cuò)誤。原因雙門限VAD的閾值設(shè)得太高把清音段和弱音段全部判成靜音并切掉了。尤其是一些音量偏小的說話人整個(gè)句子都可能被誤判為靜音。解決用VAD之前先做一次音量歸一化把每段音頻的峰值幅度統(tǒng)一縮放到一個(gè)固定范圍再設(shè)定能量閾值。閾值不要卡死留出余量寧可多留一點(diǎn)靜音幀也不要切掉語音。跑完VAD后檢查被切掉的部分占原音頻的比例如果超過10%基本可以斷定閾值偏高。5.3 特征類型不統(tǒng)一訓(xùn)練出的說話人模型是廢的現(xiàn)象訓(xùn)練UBM時(shí)選fbank訓(xùn)練說話人模型時(shí)也選了fbank但打分階段eval_score.py報(bào)特征維度不匹配。原因eval_score.py里加載的是mfcc特征文件而模型是fbank特征訓(xùn)練的。這類錯(cuò)誤出現(xiàn)在chooes()這種交互式選擇設(shè)計(jì)的項(xiàng)目里特別常見每次運(yùn)行都要手動(dòng)輸入?yún)?shù)一不留神就選岔了。還有一種更隱蔽的情況三個(gè)特征腳本保存的路徑或文件名不同打分腳本默認(rèn)去讀mfcc的特征目錄導(dǎo)致模型和特征對(duì)不上。解決把特征類型當(dāng)成全局配置管理而不是每次交互輸入。我拿到這類項(xiàng)目后的第一個(gè)改動(dòng)就是把train_UBM.py和train_spk_model.py里的chooes()替換成讀取一個(gè)config變量比如feature_type mfcc并統(tǒng)一設(shè)置輸出路徑的前綴。訓(xùn)練完看一眼生成的模型文件名帶的是哪種特征后綴再跑打分能省掉很多莫名其妙的報(bào)錯(cuò)。5.4 訓(xùn)練集測(cè)試集說話人有重疊識(shí)別分?jǐn)?shù)虛高現(xiàn)象模型在var.scp上的分?jǐn)?shù)高得不正常等錯(cuò)誤率壓到百分之零點(diǎn)幾答辯時(shí)老師一追問就露餡。原因數(shù)據(jù)列表生成時(shí)沒有嚴(yán)格執(zhí)行說話人水平的劃分同一個(gè)人的語音既出現(xiàn)在ubm_wav.scp里用于訓(xùn)練UBM又出現(xiàn)在enrollment.scp里注冊(cè)了模型還在var.scp里當(dāng)了驗(yàn)證語音。三重重疊等于開卷考試。解決重新生成列表確保UBM訓(xùn)練集、注冊(cè)說話人集合、驗(yàn)證說話人集合三者互不重疊。如果換了自己的數(shù)據(jù)集先按說話人ID分組把說話人整體劃分到集合里而不是按音頻文件隨機(jī)切。檢查方法很簡單寫一段腳本提取每個(gè)列表里的說話人ID用集合的intersection看一下有沒有交集。5.5 打分階段沒有做時(shí)長歸一化長音頻天然占便宜現(xiàn)象同一個(gè)人的短語音分?jǐn)?shù)很低長語音分?jǐn)?shù)高但閾值對(duì)長短語音都很公平實(shí)際卻一直在誤判。原因eval_score.py如果直接累加每幀對(duì)數(shù)似然比而不是用幀數(shù)做平均長音頻的分?jǐn)?shù)天然更高。GMM的逐幀似然都是負(fù)值累加后數(shù)值會(huì)隨幀數(shù)線性增大直接把長短語音的分?jǐn)?shù)拉到不同量級(jí)。解決改成累加后除以總幀數(shù)用平均對(duì)數(shù)似然比作為分?jǐn)?shù)。如果不想改打分腳本也可以在測(cè)試時(shí)把音頻統(tǒng)一截?cái)嗟焦潭ㄩL度再打分。這個(gè)問題在課程項(xiàng)目里經(jīng)常被忽視因?yàn)榇蟛糠盅菔緮?shù)據(jù)時(shí)長都差不多一旦自己錄幾段長短不一的語音來測(cè)試立刻就會(huì)暴露。6. 驗(yàn)證與進(jìn)階讓識(shí)別結(jié)果可解釋的三個(gè)習(xí)慣把系統(tǒng)跑通以后重要的不是急著調(diào)參而是先建立一套能解釋實(shí)驗(yàn)結(jié)果的驗(yàn)證習(xí)慣。我從這個(gè)項(xiàng)目里總結(jié)出三個(gè)習(xí)慣在答辯和后續(xù)換數(shù)據(jù)集時(shí)反復(fù)用上了。6.1 用等錯(cuò)誤率描述性能而不是只報(bào)一個(gè)識(shí)別準(zhǔn)確率GMM-UBM的輸出是分?jǐn)?shù)所謂識(shí)別準(zhǔn)確率依賴閾值選擇換個(gè)閾值就成了另一個(gè)數(shù)。而等錯(cuò)誤率不依賴閾值它關(guān)注注冊(cè)說話人自身分?jǐn)?shù)和冒認(rèn)者分?jǐn)?shù)兩個(gè)分布的交叉點(diǎn)是這套系統(tǒng)最穩(wěn)定的評(píng)價(jià)指標(biāo)。每次調(diào)完特征或模型參數(shù)把這個(gè)數(shù)記下來比“準(zhǔn)確率95%”更有說服力。6.2 給特征做倒譜均值減MFCC和FBANK在特征提取完后把每一維特征在整個(gè)句子上減掉均值再歸一化能有效去除信道和麥克風(fēng)響應(yīng)帶來的加性偏移。我一般把CMS作為說話人識(shí)別的默認(rèn)預(yù)處理它幾乎不增加計(jì)算量但對(duì)跨設(shè)備錄音的識(shí)別效果改善明顯。6.3 固定隨機(jī)種子讓每次訓(xùn)練可復(fù)現(xiàn)EM初始化和KMeans聚類都帶有隨機(jī)性不固定種子的話連續(xù)兩次訓(xùn)練UBM得到的分量均值可能不同實(shí)驗(yàn)結(jié)果無法復(fù)現(xiàn)。在train_UBM.py開頭加一行隨機(jī)種子固定是最容易做、也最容易加分的小改動(dòng)。從那以后我每次跑這類項(xiàng)目都強(qiáng)制自己先做這三步固定隨機(jī)種子、確認(rèn)注冊(cè)語音和驗(yàn)證語音不重疊、用平均對(duì)數(shù)似然比打分。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取