欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

多模態(tài)情感分析實(shí)戰(zhàn):融合文本音頻視覺的深度學(xué)習(xí)算法與部署

多模態(tài)情感分析實(shí)戰(zhàn):融合文本音頻視覺的深度學(xué)習(xí)算法與部署 簡(jiǎn)介本資源是一套面向計(jì)算機(jī)、數(shù)學(xué)及電子信息類專業(yè)學(xué)生的深度學(xué)習(xí)實(shí)戰(zhàn)項(xiàng)目聚焦多模態(tài)情感分析這一前沿任務(wù)適用于課程設(shè)計(jì)、期末大作業(yè)及本科畢設(shè)選題。項(xiàng)目提供完整可運(yùn)行源碼、配套論文含算法原理與實(shí)驗(yàn)分析、詳細(xì)說明文檔及可視化結(jié)果圖覆蓋文本與圖像模態(tài)融合建模全流程適合具備Python基礎(chǔ)并希望入門多模態(tài)AI的小白或進(jìn)階學(xué)習(xí)者。壓縮包共36個(gè)文件包含4個(gè)核心Python腳本模型構(gòu)建、訓(xùn)練與測(cè)試、2份Markdown文檔論文與README、29張實(shí)驗(yàn)過程及結(jié)果可視化PNG圖如注意力熱力圖、準(zhǔn)確率曲線、混淆矩陣等以及1個(gè)NSA-deepseek相關(guān)配置文件整體大小為6.7MB目錄結(jié)構(gòu)清晰模塊職責(zé)分明。目前已有153人下載學(xué)習(xí)讀者可直接部署調(diào)試快速掌握多模態(tài)特征對(duì)齊、跨模態(tài)融合及端到端訓(xùn)練的關(guān)鍵實(shí)現(xiàn)細(xì)節(jié)。 前陣子接了一個(gè)客服質(zhì)檢的項(xiàng)目需求很簡(jiǎn)單把通話錄音里客戶的情緒自動(dòng)識(shí)別出來。一開始團(tuán)隊(duì)里幾個(gè)人都覺得這還不容易文本轉(zhuǎn)寫出來跑個(gè)情感分類不就行了??烧嫔暇€試跑才發(fā)現(xiàn)光看文本遠(yuǎn)遠(yuǎn)不夠——同一句“你真厲害”用平緩語(yǔ)氣說和用尖銳語(yǔ)氣說意思完全相反。這就是我這次要講的項(xiàng)目基于深度學(xué)習(xí)的多模態(tài)情感分析算法融合文本、音頻、視覺三種模態(tài)做情緒判斷附帶完整源碼和LWLinux Workstation環(huán)境下的部署說明。整個(gè)過程踩了不少坑也沉淀了不少經(jīng)驗(yàn)適合正在做情感分析、輿情監(jiān)控、智能客服質(zhì)檢的朋友參考。項(xiàng)目源碼的整體思路并不復(fù)雜三個(gè)模態(tài)各自提取特征再做特征級(jí)融合最后過分類頭輸出情感標(biāo)簽。但真正落地的時(shí)候細(xì)節(jié)比想象中多得多——模態(tài)怎么對(duì)齊、特征怎么歸一化、融合層放在哪里、GPU顯存不夠怎么辦。這篇文章把這個(gè)項(xiàng)目從數(shù)據(jù)準(zhǔn)備到模型部署的完整鏈路拆開講一遍都是實(shí)際跑通過的東西不是紙上談兵。1. 項(xiàng)目整體設(shè)計(jì)與方案選型1.1 先想清楚為什么必須做多模態(tài)我一開始也覺得文本情感分類已經(jīng)能到80%以上的準(zhǔn)確率了為什么還要折騰多模態(tài)但做了客服質(zhì)檢這個(gè)場(chǎng)景之后我徹底改觀了。文字只能記錄“說了什么”但表達(dá)情緒的關(guān)鍵信息往往藏在“怎么說的”里面。語(yǔ)氣上揚(yáng)還是下沉、語(yǔ)速變快還是變慢、停頓的地方在哪兒這些都是音頻層面的線索。視頻場(chǎng)景里更明顯人的表情、眉毛上揚(yáng)、嘴角下撇很多時(shí)候比語(yǔ)言內(nèi)容更誠(chéng)實(shí)。文本說“我沒事”配上哭喪的臉和低沉的語(yǔ)氣只要看文本就會(huì)判斷錯(cuò)誤但人一眼就知道這個(gè)客戶情緒很差。多模態(tài)情感分析的核心價(jià)值就在這里利用模態(tài)間的互補(bǔ)性把判斷依據(jù)從單一維度擴(kuò)展到多個(gè)維度?;パa(bǔ)性帶來的提升不是“錦上添花”而是能解決文本模態(tài)根本無(wú)法處理的場(chǎng)景比如反諷、口是心非、委婉表達(dá)。這也是我做這個(gè)項(xiàng)目時(shí)最深的體會(huì)——單模態(tài)模型再調(diào)參遇到這類樣本照樣翻車但多模態(tài)模型可以借助音頻和視覺線索給出正確判斷。1.2 三個(gè)模態(tài)各司其職這個(gè)項(xiàng)目里三種模態(tài)的分工非常明確我做特征設(shè)計(jì)的時(shí)候也遵循這個(gè)邏輯文本模態(tài)負(fù)責(zé)“語(yǔ)義內(nèi)容”捕捉情緒詞、否定詞、程度副詞、反諷句式。比如“太棒了”這個(gè)詞本身是正向的但放在特定語(yǔ)境里可能是負(fù)向的。音頻模態(tài)負(fù)責(zé)“表達(dá)方式”音量大小、基頻變化、語(yǔ)速、能量起伏。人在憤怒時(shí)音量升高、語(yǔ)速加快悲傷時(shí)音量降低、語(yǔ)速減慢這些規(guī)律在音頻特征上有非常明顯的體現(xiàn)。視覺模態(tài)負(fù)責(zé)“非語(yǔ)言表現(xiàn)”面部表情、頭部姿態(tài)、眼神方向。笑容、皺眉、驚訝的表情都攜帶明確的情緒信息尤其在視頻評(píng)論、直播互動(dòng)等場(chǎng)景里價(jià)值很大。這三種模態(tài)的信息量不是簡(jiǎn)單的疊加關(guān)系而是交叉驗(yàn)證、互補(bǔ)糾錯(cuò)。一個(gè)好的多模態(tài)模型應(yīng)該學(xué)會(huì)當(dāng)文本語(yǔ)義和音頻表達(dá)矛盾時(shí)更相信哪個(gè)模態(tài)當(dāng)三個(gè)模態(tài)一致時(shí)如何形成更強(qiáng)的判斷信心。這個(gè)“信任分配”的問題就是后面要講的注意力機(jī)制的核心用途。1.3 融合策略與LW環(huán)境選型的底層邏輯多模態(tài)項(xiàng)目最難的部分不是單個(gè)模態(tài)的特征提取而是怎么把不同模態(tài)的信息融合起來。文本特征是離散的、語(yǔ)義密集的音頻特征是連續(xù)的、時(shí)序相關(guān)的圖像特征是空間分布的、高度結(jié)構(gòu)化的。三者的數(shù)據(jù)分布完全不同直接拼接往往效果很差。我的選型思路是先用預(yù)訓(xùn)練模型分別抽取每個(gè)模態(tài)的深層特征然后做特征級(jí)融合最后接一個(gè)輕量分類頭。這個(gè)方案的工程穩(wěn)定性最高因?yàn)槊總€(gè)模態(tài)的特征提取器都可以獨(dú)立調(diào)優(yōu)哪個(gè)模態(tài)出問題也容易單獨(dú)排查。標(biāo)題里提到的LW指的是Linux Workstation環(huán)境。深度學(xué)習(xí)項(xiàng)目在Linux下跑幾乎是標(biāo)配原因很現(xiàn)實(shí)PyTorch、CUDA、NVIDIA驅(qū)動(dòng)的兼容性在Linux下最好遇到問題也最容易搜到解決方案。項(xiàng)目配套的說明文檔就是以Linux工作站為基準(zhǔn)寫的涵蓋conda環(huán)境配置、CUDA版本選擇、依賴安裝、數(shù)據(jù)預(yù)處理、訓(xùn)練評(píng)估全流程。如果你用的是Windows代碼本身也可以跑但需要自己處理CUDA環(huán)境建議還是準(zhǔn)備一臺(tái)Linux機(jī)器哪怕是無(wú)頭服務(wù)器也行。2. 數(shù)據(jù)準(zhǔn)備與特征工程2.1 文本模態(tài)預(yù)訓(xùn)練模型提特征文本處理這塊我直接用了BERT家族而不是自己訓(xùn)練詞向量。原因很簡(jiǎn)單情感分析對(duì)語(yǔ)義理解的要求很高尤其是反諷、雙關(guān)這類現(xiàn)象傳統(tǒng)詞向量根本搞不定。BERT經(jīng)過大規(guī)模語(yǔ)料預(yù)訓(xùn)練對(duì)上下文語(yǔ)義的建模能力遠(yuǎn)超傳統(tǒng)方法。實(shí)際代碼里中文場(chǎng)景我用的是bert-base-chinese英文場(chǎng)景用bert-base-uncased。特征提取時(shí)先對(duì)文本做分詞轉(zhuǎn)成BERT的input_ids和attention_mask然后過模型取最后一層隱藏狀態(tài)。這里有取法上的區(qū)別取CLS向量還是對(duì)所有token的隱藏狀態(tài)做平均池化。我的經(jīng)驗(yàn)是平均池化比CLS更穩(wěn)因?yàn)镃LS向量在某些任務(wù)上沒有被充分訓(xùn)練。如果你有精力效果更好的做法是把最后四層的隱藏狀態(tài)拼起來維度會(huì)變大但信息更豐富。提取完之后每個(gè)樣本的文本特征維度是768維。這個(gè)維度對(duì)后面的融合模塊來說略大我習(xí)慣在文本塔的末尾接一個(gè)全連接層先把768維壓縮到128維再做融合。這樣能減輕融合層的負(fù)擔(dān)訓(xùn)練也更快。2.2 音頻模態(tài)MFCC加韻律特征音頻特征是三個(gè)模態(tài)里最需要細(xì)節(jié)處理的一個(gè)。很多人第一次做音頻特征提取時(shí)都會(huì)犯錯(cuò)——直接用原始采樣率跑結(jié)果特征對(duì)不上模型效果奇差。我使用的流程是先把音頻統(tǒng)一重采樣到16kHz單聲道然后提取40維MFCCMel頻率倒譜系數(shù)。MFCC的物理含義是模擬人耳對(duì)不同頻率聲音的非線性感知它把音頻信號(hào)壓縮成了一組低維特征保留了跟語(yǔ)音內(nèi)容最相關(guān)的信息。窗口長(zhǎng)度設(shè)25毫秒步長(zhǎng)10毫秒——這是語(yǔ)音處理領(lǐng)域的標(biāo)準(zhǔn)配置被大量研究驗(yàn)證過。如果音頻是視頻里抽出來的還要注意音畫同步。除了MFCC我還提取了韻律特征因?yàn)榍楦斜磉_(dá)很大程度上靠韻律。這里用的是openSMILE工具的eGeMAPS特征集包含基頻、能量、抖動(dòng)等參數(shù)一共88維。做這個(gè)項(xiàng)目時(shí)我對(duì)比過只加MFCC和MFCC加韻律特征的效果差約3-4個(gè)F1點(diǎn)韻律特征對(duì)憤怒、悲傷這類情緒的識(shí)別幫助很大。由于音頻特征是幀級(jí)的一個(gè)句子可能有幾十幀而文本特征是句子級(jí)的融合之前必須做聚合。我常用的是把幀級(jí)特征送進(jìn)一個(gè)BiLSTM取每個(gè)句子的最后隱藏狀態(tài)這樣既壓縮了時(shí)間維度也保留了時(shí)序信息。BiLSTM的隱藏維度設(shè)為64輸出是一個(gè)128維向量跟文本塔對(duì)齊。2.3 視覺模態(tài)抽幀、人臉檢測(cè)、表情特征視覺模態(tài)來自視頻或者圖片。視頻的處理流程是按一定幀率抽幀檢測(cè)人臉區(qū)域用預(yù)訓(xùn)練模型提取表情特征。抽幀率我建議控制在2-5幀每秒太高了計(jì)算量暴漲對(duì)效果提升卻有限因?yàn)橄噜弾谋砬樽兓苄?。人臉檢測(cè)用的是MTCNN這個(gè)算法在視頻人臉檢測(cè)場(chǎng)景下穩(wěn)定且成熟能輸出人臉框和五個(gè)關(guān)鍵點(diǎn)兩眼、鼻尖、嘴角兩端。只取人臉區(qū)域的原因是人類表情的判別信息幾乎都在面部背景區(qū)域不僅無(wú)用還會(huì)帶來大量噪聲干擾模型訓(xùn)練。人臉區(qū)域裁剪后resize到224x224送入ResNet50提取特征。ResNet50是圖像分類任務(wù)里的主力網(wǎng)絡(luò)結(jié)構(gòu)不過時(shí)預(yù)訓(xùn)練模型容易拿到。提取時(shí)去掉最后一層分類層取倒數(shù)第二層的輸出得到2048維特征。同樣后面接一個(gè)全連接層壓縮到128維。這里有一個(gè)簡(jiǎn)化方案如果你的數(shù)據(jù)集中人臉占比小或者檢測(cè)失敗率高可以直接用整個(gè)視頻幀做特征提取。但效果通常會(huì)打折因?yàn)楸尘案蓴_太大。我在實(shí)際項(xiàng)目中做了一次對(duì)比使用人臉檢測(cè)比不用高出差不多5個(gè)百分點(diǎn)所以這個(gè)步驟別省。2.4 模態(tài)對(duì)齊與歸一化三個(gè)模態(tài)的原始特征維度不同、時(shí)間尺度不同、數(shù)值范圍不同直接丟進(jìn)模型等于自殺。模態(tài)對(duì)齊和歸一化是決定成敗的關(guān)鍵細(xì)節(jié)。時(shí)間尺度上文本和音頻能做句子級(jí)對(duì)齊。如果視頻是按鏡頭切分的每個(gè)鏡頭的文本、音頻、視頻幀可以在同一時(shí)間軸上對(duì)齊。但實(shí)際數(shù)據(jù)集往往不對(duì)齊這時(shí)我采用句子級(jí)匯總每個(gè)句子作為一個(gè)樣本文本取整句話的特征音頻取整段時(shí)間的幀特征聚合視覺取這段時(shí)間內(nèi)所有幀的平均。這樣每個(gè)樣本就是一個(gè)三元組(text_feature, audio_feature, visual_feature)后面就好處理了。數(shù)值歸一化上三個(gè)模態(tài)的特征值域差異巨大文本特征經(jīng)過BERT輸出后均值接近0MFCC特征的值范圍在-100到100之間圖像特征則可能更大。因此我對(duì)每個(gè)模態(tài)分別做z-score歸一化計(jì)算訓(xùn)練集的均值和方差用同樣的參數(shù)處理訓(xùn)練集和測(cè)試集。注意歸一化參數(shù)只能用訓(xùn)練集計(jì)算如果混入測(cè)試集信息評(píng)估結(jié)果會(huì)虛高。對(duì)齊和歸一化做完后每個(gè)樣本拿到三個(gè)128維的模態(tài)特征向量。這個(gè)“三塔 映射到同一維度”的結(jié)構(gòu)是后面融合模塊能夠成立的前提。3. 算法設(shè)計(jì)與模型實(shí)現(xiàn)3.1 融合策略選型為什么選中間融合多模態(tài)融合的三種主流方式我都在項(xiàng)目里試驗(yàn)過效果差異非常明顯。早期融合是把原始特征直接拼在一起然后送進(jìn)模型。這個(gè)方法實(shí)現(xiàn)最簡(jiǎn)單但問題在于三個(gè)模態(tài)的特征空間差異太大模型很難學(xué)習(xí)到合理的聯(lián)合特征容易過擬合到信息量最大的那個(gè)模態(tài)等于沒融合。晚期融合是三個(gè)模態(tài)各自訓(xùn)練模型最后對(duì)預(yù)測(cè)結(jié)果投票或取平均。這個(gè)方法的好處是每個(gè)模態(tài)可以分別調(diào)優(yōu)但問題也明顯決策階段才融合沒有機(jī)會(huì)學(xué)習(xí)模態(tài)間的交互信息??蛻粽f“我沒事”但語(yǔ)氣低落的樣本文本模型輸出“正向”音頻模型輸出“負(fù)向”平均一下可能變成中性這不是我們想要的結(jié)果。中間融合也就是特征級(jí)融合是我最終采用的方案。三個(gè)模態(tài)的特征都映射到128維空間后在特征層面做交互。我在這個(gè)項(xiàng)目里用了一個(gè)簡(jiǎn)潔但有效的設(shè)計(jì)方案先拼接三個(gè)模態(tài)的特征經(jīng)過兩層全連接ReLU得到融合向量然后接一個(gè)帶注意力的融合層讓模型自己學(xué)習(xí)每個(gè)模態(tài)在不同樣本上的權(quán)重。訓(xùn)練結(jié)果顯示中間融合比晚期融合高大約5個(gè)百分點(diǎn)比早期融合高大約3個(gè)百分點(diǎn)。融合方式實(shí)現(xiàn)難度模態(tài)交互能力最終F1實(shí)驗(yàn)數(shù)據(jù)早期融合低弱0.713晚期融合低幾乎無(wú)0.694中間融合注意力中強(qiáng)0.7613.2 注意力機(jī)制讓模型學(xué)會(huì)看“臉色”在融合層加入注意力機(jī)制是這個(gè)項(xiàng)目里提升最明顯的一個(gè)設(shè)計(jì)。我的思路是以文本特征作為query音頻和視覺特征作為key和value做一次跨模態(tài)注意力。這個(gè)設(shè)計(jì)背后的直覺是語(yǔ)義內(nèi)容往往是情感判斷的主線索而音頻和視覺提供的是修飾信息。模型應(yīng)該學(xué)會(huì)根據(jù)文本內(nèi)容去“找”音頻和視覺里跟當(dāng)前語(yǔ)義相關(guān)的線索。比如文本提到“太好了”時(shí)模型應(yīng)該去檢查音頻語(yǔ)氣是不是真的高興、視覺表情是不是真的笑容如果是才判定為正向。代碼實(shí)現(xiàn)并不復(fù)雜核心就是PyTorch的MultiheadAttention模塊。我把文本特征作為query把音頻特征和視覺特征拼接作為key/value注意力輸出再接一個(gè)殘差連接和層歸一化。這樣做的好處是參數(shù)少、訓(xùn)練穩(wěn)定、效果好。你也可以反過來實(shí)驗(yàn)把音頻特征作為query效果可能會(huì)因數(shù)據(jù)集而異。我的數(shù)據(jù)上所以最終固定了以文本為query的方案。import torch.nn as nn class CrossModalAttention(nn.Module): def __init__(self, embed_dim128, num_heads4): super().__init__() self.attn nn.MultiheadAttention(embed_dim, num_heads, batch_firstTrue) self.norm nn.LayerNorm(embed_dim) self.dropout nn.Dropout(0.1) def forward(self, text_feat, audio_feat, visual_feat): # 每個(gè)特征形狀: (batch, 1, embed_dim) kv torch.cat([audio_feat, visual_feat], dim1) # (batch, 2, embed_dim) attn_out, _ self.attn(text_feat, kv, kv) out self.norm(text_feat self.dropout(attn_out)) return out3.3 損失函數(shù)與訓(xùn)練細(xì)節(jié)情感分類任務(wù)做的是多分類最常見的損失函數(shù)是交叉熵。但如果數(shù)據(jù)不平衡某個(gè)類別的樣本遠(yuǎn)多于其他類別直接交叉熵會(huì)訓(xùn)練出一個(gè)“永遠(yuǎn)預(yù)測(cè)多數(shù)類”的模型。我在項(xiàng)目里解決這個(gè)問題用了兩種方式結(jié)合一是給損失函數(shù)加上類別權(quán)重。先統(tǒng)計(jì)訓(xùn)練集中每類的樣本數(shù)然后讓損失函數(shù)給少樣本類別更高的權(quán)重。PyTorch的CrossEntropyLoss自帶weight參數(shù)直接把類別權(quán)重傳進(jìn)去就行。二是使用Focal Loss。這個(gè)損失函數(shù)是目標(biāo)檢測(cè)領(lǐng)域提出來的核心思想是讓模型更關(guān)注那些難分類的樣本。雖然它不是為情感分析設(shè)計(jì)的但用在類別不平衡的多模態(tài)分類上效果很好。Focal Loss對(duì)置信度高的樣本降低損失權(quán)重對(duì)置信度低的樣本保持高權(quán)重能有效抑制多數(shù)類對(duì)訓(xùn)練的過度影響。我實(shí)驗(yàn)對(duì)比下來Focal Loss比加權(quán)交叉熵F1再高出1-2個(gè)百分點(diǎn)。訓(xùn)練參數(shù)上我用的是batch size 32優(yōu)化器AdamWBERT層的學(xué)習(xí)率設(shè)2e-5其他層的學(xué)習(xí)率設(shè)5e-5因?yàn)锽ERT層微調(diào)太猛容易災(zāi)難性遺忘。訓(xùn)練整體10個(gè)epoch配合早停機(jī)制——驗(yàn)證集F1連續(xù)3個(gè)epoch不提升就停止訓(xùn)練。學(xué)習(xí)率方面前10%的steps做warmup之后線性衰減。這些都是很常規(guī)但很有效的做法。3.4 源碼結(jié)構(gòu)與核心模塊說明拿到源碼后第一件事就是把目錄結(jié)構(gòu)搞清楚。我寫這個(gè)項(xiàng)目時(shí)的目錄設(shè)計(jì)如下multimodal-sentiment/ ├── config/ │ └── mosi.yaml # 配置文件數(shù)據(jù)路徑、模型參數(shù)、訓(xùn)練參數(shù) ├── data/ │ ├── raw/ # 原始數(shù)據(jù)存放位置 │ ├── processed/ # 預(yù)處理后的特征數(shù)據(jù) │ └── make_dataset.py # 預(yù)處理腳本 ├── models/ │ ├── text_encoder.py # 文本塔BERT 全連接 │ ├── audio_encoder.py # 音頻塔MFCC BiLSTM 全連接 │ ├── visual_encoder.py # 視覺塔ResNet50 全連接 │ ├── fusion.py # 融合模塊拼接 注意力 分類頭 │ └── multimodal_model.py # 組合所有模塊的主模型 ├── train.py # 訓(xùn)練腳本 ├── evaluate.py # 評(píng)估腳本 ├── predict.py # 單條樣本預(yù)測(cè)腳本 ├── requirements.txt └── README.md # LW環(huán)境部署說明配置文件用YAML格式包含所有關(guān)鍵參數(shù)。需要調(diào)參時(shí)改配置文件就行了不用改代碼這個(gè)習(xí)慣對(duì)團(tuán)隊(duì)協(xié)作和實(shí)驗(yàn)管理都很重要。README里我最看重的是環(huán)境搭建部分把所有依賴的版本號(hào)、安裝命令、常見報(bào)錯(cuò)都寫清楚了拿到源碼的人只要照著步驟走就能跑起來。4. LW環(huán)境下的部署與運(yùn)行4.1 Linux工作站環(huán)境準(zhǔn)備在Linux工作站上部署深度學(xué)習(xí)項(xiàng)目第一步一定是創(chuàng)建獨(dú)立的conda環(huán)境千萬(wàn)不要用系統(tǒng)自帶的Python環(huán)境。不同項(xiàng)目對(duì)PyTorch版本、CUDA版本的要求不一樣混在一個(gè)環(huán)境里今天這個(gè)項(xiàng)目跑不了明天那個(gè)項(xiàng)目依賴沖突光解決環(huán)境問題就能耗掉一整天。我的環(huán)境配置如下這套組合經(jīng)過驗(yàn)證非常穩(wěn)定系統(tǒng)Ubuntu 20.04 LTS GPUNVIDIA RTX 309024GB顯存8GB顯存也能跑但batch要調(diào)小 驅(qū)動(dòng)NVIDIA Driver 470 CUDA11.3 Python3.8 PyTorch1.10.1cu113創(chuàng)建環(huán)境的命令很簡(jiǎn)單conda create -n multimodal python3.8 conda activate multimodal pip install torch1.10.1cu113 torchvision0.11.2cu113 -f https://download.pytorch.org/whl/cu113 pip install -r requirements.txtrequirements.txt里包含transformers、librosa、opencv-python、mtcnn、numpy、pandas、scikit-learn、tqdm、pyyaml這些庫(kù)。裝完之后跑一下python -c import torch; print(torch.cuda.is_available())輸出True說明GPU環(huán)境正常。4.2 數(shù)據(jù)準(zhǔn)備與預(yù)處理腳本準(zhǔn)備訓(xùn)練數(shù)據(jù)有兩種方式用公開數(shù)據(jù)集或者用自己的數(shù)據(jù)。公開數(shù)據(jù)集我推薦CMU-MOSI和CMU-MOSEI前者是英文電影評(píng)論標(biāo)注了情感極性得分后者更大、模態(tài)更全有兩萬(wàn)多個(gè)視頻片段。這兩個(gè)數(shù)據(jù)集都是多模態(tài)情感分析領(lǐng)域的基準(zhǔn)數(shù)據(jù)集跟這份源碼的適配度很高。我項(xiàng)目里用CMU-MOSI做驗(yàn)證時(shí)數(shù)據(jù)存放格式是每個(gè)樣本一個(gè)文件夾里面包含三個(gè)文件文本tts文件、音頻wav文件、視頻mp4文件。預(yù)處理腳本make_dataset.py會(huì)遍歷原始數(shù)據(jù)按2.1到2.3節(jié)的方法提取特征保存成numpy數(shù)組再存成pickle文件供訓(xùn)練時(shí)直接加載。因?yàn)樘崛√卣骱芎臅r(shí)強(qiáng)烈建議提取一次存下來別每次都重跑——我第一次跑整個(gè)數(shù)據(jù)集的人臉檢測(cè)加ResNet50特征提取用了五六個(gè)小時(shí)后來學(xué)聰明了用pickle緩存特征再訓(xùn)練只需幾分鐘加載省下來的時(shí)間能做很多輪實(shí)驗(yàn)。如果用自己的數(shù)據(jù)注意格式對(duì)齊。文本建議一個(gè)句子一個(gè)文件音頻和視頻的時(shí)間軸要與文本內(nèi)容對(duì)齊否則提取出來的特征跟標(biāo)簽對(duì)不上模型效果會(huì)非常離譜。4.3 訓(xùn)練與評(píng)估流程數(shù)據(jù)準(zhǔn)備好后訓(xùn)練命令很簡(jiǎn)單python train.py --config config/mosi.yaml訓(xùn)練過程中終端會(huì)打印每個(gè)epoch的訓(xùn)練損失和驗(yàn)證集準(zhǔn)確率、F1分?jǐn)?shù)。因?yàn)榧恿嗽缤C(jī)制CLEAN的效果在5-6個(gè)epoch時(shí)達(dá)到最優(yōu)模型會(huì)自動(dòng)保存最好的checkpoint到checkpoints/目錄下。評(píng)估階段運(yùn)行python evaluate.py --checkpoint checkpoints/best_model.pt --config config/mosi.yaml評(píng)估腳本會(huì)輸出三個(gè)指標(biāo)的詳細(xì)報(bào)告準(zhǔn)確率Accuracy、加權(quán)F1Weighted F1和混淆矩陣。只看準(zhǔn)確率是不夠的——數(shù)據(jù)不平衡時(shí)準(zhǔn)確率有欺騙性。我跑的CMU-MOSI數(shù)據(jù)集上最終準(zhǔn)確率約76%加權(quán)F1約0.76。單條樣本預(yù)測(cè)使用predict.py它會(huì)加載數(shù)據(jù)、跑預(yù)處理、過模型、輸出各情感類別的概率分布。這個(gè)腳本很適合做demo演示或者接到后面的業(yè)務(wù)系統(tǒng)里。4.4 說明文檔README的使用思路源碼里的README不是擺設(shè)它是整個(gè)項(xiàng)目在LW環(huán)境下的完整使用手冊(cè)。我寫這份說明時(shí)花了很大心思把它當(dāng)作給“未來的自己”寫的筆記因?yàn)楹芏嗪糜玫男畔扇齻€(gè)月后自己都會(huì)忘。README最核心的幾個(gè)部分環(huán)境安裝命令、數(shù)據(jù)格式說明、配置文件每個(gè)參數(shù)的含義、常見報(bào)錯(cuò)及解決辦法。我在里面特別標(biāo)注了兩個(gè)容易踩的坑一是CUDA版本和PyTorch版本必須匹配二是人臉檢測(cè)模型MTCNN首次運(yùn)行會(huì)自動(dòng)下載權(quán)重文件需要提前確保網(wǎng)絡(luò)通暢或者手動(dòng)放置權(quán)重文件到.cache目錄。拿到源碼的同學(xué)先花十分鐘把README從頭到尾看一遍再動(dòng)手跑代碼能省掉很多不必要的折騰。5. 踩坑記錄與常見問題排查5.1 模態(tài)對(duì)齊做不好效果反而不如單模態(tài)這是我做這個(gè)項(xiàng)目踩的最大一個(gè)坑。第一次把三個(gè)模態(tài)特征拼接起來訓(xùn)練時(shí)模型F1只有0.61比只用文本還低3個(gè)百分點(diǎn)。排查了很久發(fā)現(xiàn)問題出在音頻和視頻沒有跟文本在句子上對(duì)齊——一段30秒的音頻文本轉(zhuǎn)寫只對(duì)應(yīng)其中15秒模型接收到的音頻特征有大量噪聲。解決方法是預(yù)處理階段嚴(yán)格對(duì)齊時(shí)間軸。文本的起始時(shí)間和結(jié)束時(shí)間要精確標(biāo)注音頻和視頻特征只提取文本對(duì)應(yīng)時(shí)間窗口內(nèi)的部分。對(duì)齊之后F1一下子提升到了0.72。這個(gè)教訓(xùn)讓我明白多模態(tài)項(xiàng)目的根全在對(duì)齊上。數(shù)據(jù)準(zhǔn)備階段多花功夫比模型設(shè)計(jì)階段調(diào)參更重要。5.2 BERT微調(diào)顯存不夠怎么辦BERT參數(shù)量大微調(diào)時(shí)顯存消耗很高。用24GB顯存的3090跑batch size 32沒問題但如果你用的是8GB顯存的顯卡直接跑大概率OOM。幾個(gè)有效的解決辦法把batch size降到8或16輸入文本長(zhǎng)度用max_length64截?cái)鄬?duì)話場(chǎng)景下絕大多數(shù)句子不超過這個(gè)長(zhǎng)度開啟梯度累積每累積4個(gè)step更新一次參數(shù)效果等價(jià)于batch size翻了4倍。我在8GB顯存的RTX 3060上測(cè)試過這組配置可以穩(wěn)定訓(xùn)練只是每個(gè)epoch的時(shí)間會(huì)拉長(zhǎng)一點(diǎn)。5.3 音頻采樣率不一致導(dǎo)致特征錯(cuò)亂這個(gè)坑非常隱蔽。我的數(shù)據(jù)集里一部分音頻采樣率是16kHz另一部分是44.1kHz。直接用librosa加載后提取MFCC特征數(shù)量差了好幾倍訓(xùn)練出來的模型一塌糊涂但報(bào)錯(cuò)不會(huì)告訴你哪里錯(cuò)了因?yàn)槌绦蚰苷E?。排查時(shí)我打印了每個(gè)樣本的音頻特征形狀才發(fā)現(xiàn)特征長(zhǎng)度差異巨大。解決辦法是在加載音頻后強(qiáng)制重采樣到16kHz再提取特征import librosa y, sr librosa.load(wav_path, sr16000)librosa的load函數(shù)只要指定了sr參數(shù)就會(huì)自動(dòng)重采樣。這個(gè)一行代碼解決的問題當(dāng)時(shí)讓我排查了大半天。所以提醒所有做音頻的人預(yù)處理第一步先統(tǒng)一采樣率別等訓(xùn)完模型才發(fā)現(xiàn)問題。5.4 數(shù)據(jù)不平衡導(dǎo)致模型“偷懶”我的測(cè)試集上正向情感樣本占約60%負(fù)向占約25%中性只有15%。直接用普通交叉熵訓(xùn)練模型學(xué)到的策略是“全猜正向”因?yàn)檫@樣正確率就有60%。解決方法是前面提到的類別權(quán)重和Focal Loss。我采用Focal Loss后中性類別的F1從0.38提升到了0.58整體加權(quán)F1提升了大約5個(gè)百分點(diǎn)。分類任務(wù)如果數(shù)據(jù)不平衡一定要在損失函數(shù)上做文章不然一切努力都會(huì)白費(fèi)。5.5 結(jié)果復(fù)現(xiàn)性差訓(xùn)練同樣的模型兩次跑出來的F1差1-2個(gè)百分點(diǎn)這在一個(gè)嚴(yán)肅的評(píng)估場(chǎng)景里是沒法接受的。原因是PyTorch的很多算子默認(rèn)使用不確定算法同時(shí)GPU的浮點(diǎn)運(yùn)算本身有隨機(jī)性。通過在訓(xùn)練腳本開頭設(shè)置隨機(jī)種子可以在很大程度上解決這個(gè)問題import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False設(shè)置之后同一個(gè)環(huán)境下的訓(xùn)練結(jié)果基本可以復(fù)現(xiàn)。cudnn.benchmark設(shè)為False雖然損失一點(diǎn)速度但能讓卷積層的實(shí)現(xiàn)選擇變得確定換來了結(jié)果的可復(fù)現(xiàn)性這在做實(shí)驗(yàn)對(duì)比時(shí)是必須的。5.6 問題排查速查表問題現(xiàn)象可能原因解決方法訓(xùn)練時(shí)CUDA OOMbatch過大/輸入過長(zhǎng)降低batch、限制文本長(zhǎng)度、梯度累積損失不下降學(xué)習(xí)率過大或過小改用5e-5到2e-5區(qū)間檢查數(shù)據(jù)預(yù)處理效果遠(yuǎn)低于單模態(tài)模態(tài)沒有對(duì)齊檢查時(shí)間軸、文本-音頻-視頻對(duì)齊全預(yù)測(cè)多數(shù)類數(shù)據(jù)不平衡加類別權(quán)重或改用Focal Loss兩次結(jié)果不一致未固定隨機(jī)種子設(shè)置seed、關(guān)閉cudnn.benchmarkMTCNN報(bào)錯(cuò)下載失敗權(quán)重未自動(dòng)下載手動(dòng)下載權(quán)重放到~/.cache/torch一些實(shí)操后的體會(huì)這個(gè)多模態(tài)情感分析項(xiàng)目做下來我最真實(shí)的感受是模型結(jié)構(gòu)本身不復(fù)雜真正花時(shí)間的地方全在細(xì)節(jié)。數(shù)據(jù)對(duì)齊、特征歸一化、采樣率統(tǒng)一、損失函數(shù)選擇這些看起來不起眼的環(huán)節(jié)對(duì)最終效果的影響比換一個(gè)更強(qiáng)的骨干網(wǎng)絡(luò)都大。如果你剛拿到這個(gè)源碼我的建議是別急著改模型結(jié)構(gòu)先把數(shù)據(jù)準(zhǔn)備流程吃透把基線模型的完整訓(xùn)練評(píng)估流程跑通然后再逐步替換某一個(gè)模態(tài)的特征提取器或者融合模塊。每個(gè)改動(dòng)只動(dòng)一個(gè)變量用驗(yàn)證集的F1作為標(biāo)準(zhǔn)去衡量改動(dòng)的好壞這樣實(shí)驗(yàn)才有價(jià)值。這個(gè)項(xiàng)目后續(xù)還可以擴(kuò)展的方向不少比如加入時(shí)序建模處理長(zhǎng)對(duì)話場(chǎng)景、用對(duì)比學(xué)習(xí)增強(qiáng)模態(tài)間的對(duì)齊、或者做推理時(shí)的模態(tài)缺失魯棒性。多模態(tài)情感分析這個(gè)方向要玩得深還有很多空間可以挖。希望這篇拆解能幫你少走點(diǎn)彎路盡快把代碼跑起來。本文還有配套的精品資源點(diǎn)擊獲取
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
九色91视频| 色五月婷婷啪啪五月| 久久五月丁香伊人青草| 五月丁香欧美在线| 婷婷 伊人 久久| 丁香六月色婷婷综合| 色五月婷婷影院| 综合伊人久久| 五月婷婷丁香六月| 久热爱大香蕉在线蜜臀悦色| 九九人人操| 亚洲五月丁香综合网| Av性爱网站| 亚洲九九在线| 天天综合五月天| 第四色激情网| 狠狠色丁香乆乆| 99热官网精品在线| 国产精品久久99| 丁香网五月网| 91精品婷婷国产综合久久| 天天干天天做| 少妇婷婷五月天| 大香蕉久久伊人婷婷五月丁香| 五月天成人在线视频丁香| 96五月丁香熟女| 亚洲人妻Av| 日本天天色| 97色婷| 色噜噜狠狠色综无码久久合欧美| 久久色五月天| 婷婷五日b| 婷婷色av| 99亚洲精品| 五月婷婷亚洲综合在线 | 天天插天天日| 五月天电影网| 大香蕉久操| 色www久视频| 久婷婷五月天影院| 这里只有精品视频国产| 激情综合激情综合| 国产乱子轮XXX农村| 色五月婷婷天堂| 色色综合网站| 深爱激情五月网| 99欧美| 亚洲AV久久久久久久久久久久久久久久 | 99免费热在线精品| 可以免费观看的AV| 亚洲无码影音| 天天草狠狠擦| 久久综合九九| 婷婷激情视频| 九九精品系列| 久久激情综合| 中文字幕黄色片| 精品亚洲国产成AV人片传媒| 精品乱码视频| 婷婷五月电影| 五月开心啪啪| 99re最新地址| 日本99视频| 狠狠久综合| 久婷婷五月激情| 超碰免费成人| 91色情播放| 婷婷综合五月天| 午夜日日| 深爱激情五月婷婷| 天天干人人奸97| 在线不卡视频| 99无码| 国产乱子轮XXX农村| 久99久视频| 五月婷婷激情久久| 成人.在线日韩| 色999亚洲人成色| 日日操夜夜爽| 欧亚中文A V| 天天干天天日日| 久久99操| 色婷婷五月色| 来吧亚洲综合网| 日本久久激情| 99热 在线观看| 九色91国产| 91狼友视频网页更新| 丁香五月婷婷性爱| 色婷婷激情| 色婷婷第四色| 可似看的AV| 亚洲成av人影院| 日韩亚洲视频| 丁香婷婷五月| 日本人妻伦在线中文字幕| 任你搞网站| 开心五月丁香婷婷| 操操操97| 先锋资源996| 操人91| 91刘玥视频在线观看| 日本激情五月| 超碰免费人人肏| 婷婷久久免费看| 天天干天天插| 99爱免费在线观看| 97高清国语自产拍| 久久99热 这里有精品| 五月天婷婷基地| 五月婷婷色播视频| www.色婷婷| 久久精品99| 色色色国产| 婷婷丁香五月天影院 | 激情综合网五月在线播放| 婷婷五月综合久久中文字幕| 久久久www| 九九无码| 伊人丁香花综合影院| 天天曰夜夜爽| 久久婷婷五月天激情四射| 亚洲五月婷天天操| 丁香五月天色综合| 激情婷婷久久| 丁香五月开心婷婷| 黄色录像网点| 婷婷中文字幕| www,婷婷,com| 深爱激情六月| 久婷狼色诱惑在线| 狠狠xx| 久久38视频| 丁香五月六月婷婷殴美综合| 综合玖玖偷拍| 亚洲另类电影| 五月丁香 六月婷婷a| 色五月婷婷五月天| 1995年关宝慧版蜘蛛女| 激情色情五月天| 五月香六月婷| 精品久久婷婷| 久久精品五月天| 狠狠五月激情丁香六月| 五月丁香婷婷色| 婷婷久久综合| 五月开心播播网| 五月婷色啪| 国产特黄色精品一区二区三区精品无广告| 六月婷婷色综合| 大香蕉久久草| 亚洲中文字幕av| 欧亚色色| 五月丁香婷婷欧美色图视频五月丁香777电影 | 五月丁香婷草| 99在线免费视频| 国产乱人偷精品人妻A片| 激情婷婷五月女| 欧美激情性做爰免费视频| 深爱网深爱综合网| 日韩xx在线| 人妻激情综合| 色婷婷六月综合| 玖玖九九超碰| 色婷婷国产精品综合在线观看| www.久久爱.c n| 色人久久| A网在线欧洲| 超碰在线综合| 色色色热| 亚洲这里只有精品| 这里有精品99| 六月丁香婷婷综合影院| 久婷婷婷| 99热这里只有精品69| 人操91在线| 五月丁香无码| 噜噜噜精品欧美成人在线观看| 五月婷婷久久爱| 综合狠狠干| 爱之国产色情综合| 99精品偷拍视频| 99热这里精品| 国产综合网在线| 91人人操人人| 狠狠爱婷婷五月天| 思思热在线观看| 久久这里只有精品无码| 99热这里| 六月丁香基地| 综合玖玖偷拍| 色www久视频| 99性爱| 玖玖在线资源视频| 亚洲久久日| 色色色热| 丁香五月日韩| 五月婷婷综合久久| 久婷婷久草| 丁香五月婷婷欧美成人色图| 无码AV免费精品一区二区三区| 开心婷婷五月中文字幕组| 97久久久久| 中字幕视频在线永久在线观看免费| 中文字幕 中文字幕明步| 色欲Av五月天| 激情图片婷婷丁香五月| 欧州婷婷五月天综合| www.91操| 色五月婷婷小说亚洲中文字幕组| 五月丁香婷婷激情在线视频| 五月丁香啪啪综合网| 久久精品A片777777| 九九热re99re6在线精品| 色五月婷婷、老熟女| 九九九九大香蕉| 99精品偷自拍| 大香蕉五月天婷婷| 爽天天天天天天天| 视色综合| 伊人在线另类| 婷婷在线播放| 永久精品| 日本久热| 这里只有精品视频| 丁香六月激情国产| 天天摸夜夜爽天天做| 91九色在线| 99久久婷婷国产综合亚洲| 九九色色| 亚洲激情婷婷| 五月婷导航| 婷婷五月蜜桃成人桃色丁香| 九九碰九九爱97超碰| 狠狠色婷婷丁香五月| 激情五月天婷婷| 在线中文字幕视频| 五月丁香激情婷婷| 在线sebiav精品视频| 婷婷五月婷婷| 五月天开心色情网| 99色热| 丁香五月激情综合网激情五月| 99九九玖玖| 91日本在线免费| 丁香五月综合| 婷婷色色五月| 粉嫩av蜜桃av蜜臀av| 色五月视频无码播放| 久9热| 色综合久久综合| 丁香五月狠狠在线观看| 色五月丁香六月欧美综合| 五月天激情综合网俺也去| 久久天堂女人| 182tv992tv人之初午夜免费观看| 久久婷婷五月综合色欧美| 99精在线| 五月天播播| 丁香九月综合| 婷婷五月天堂| 五月婷亚洲精品AV天堂| 色婷婷狠狠18禁| 超碰男人色| 五月婷婷开心五月| 五月色天情| 成人色色视频| 婷婷丁香在线播放| 亚洲人成人五月天| 色综合久久88色综合天天| 五月婷婷久久综合| 伊人狠狠综合| 激情都市五月天| 99视频精品视频| 久去色色| 天天爽,天天操。| 黄色aaaaa| 色婷婷黄色网络| 成人av免费观看| 婷婷色片| 九九99免费理论| 26.uuu丁香五月婷婷| 亚洲xx网| 五月天久久综合| 91干在线| 亚洲精品白浆高清久久久久久| 香蕉久久国产AV一区二区| 超碰99久久| 激情五月天视频| 五月天亚洲综合网| 色色丁香婷婷综合| 色综合婷婷| 久久人妻视频| 97在线视频观看| 激情五月久久| 亚洲熟妇AV乱码在线观看| 中文字幕乱码亚洲精品一区| 亚洲狠狠丁香婷婷香蕉| 婷香狠狠爱五月| 五月婷婷综合社区| 99热9| 韩国情人在线电视剧免费观看高清版全集 | 蜜乳av一级av| 99在线看片| 超碰操日| 亚洲 欧洲 国产 伦综合| 激情丁香五月AV| 日韩精品一区二区亚洲AV观看| 大香蕉久久久久| 婷婷五月激情网站| 99热99精品在线观看| 久久久久久五月天| 99热精品99| 在线不卡视频| 操操操B| 超碰免费观看| www亚洲无码| 熟女网站久久| 天干天天干天天天天天| 久久婷婷综合五月趴| 婷婷婷婷婷开心无码播放| 爱婷婷都市激情| 色五月婷婷中文字幕| 久久五月丁香| 激情五月天www| 四月丁香五月婷婷久久| 五月婷婷激情综合网| 九九热在线精品| 成人在线二区| 91精品婷婷国产综合| AV伊人青草丁香六月| 色五月xxx| 久久99成人性爱高清视频| 午夜丁香五月天综合| 婷婷五月天免费视频| 99操久久| 五月婷婷啪啪啪啪| 亚洲AV日韩无码| 亚洲色五月天是什么| 色99欧洲色19| 久久人操| 岛囯综合激情网| 亚洲五月天婷婷| 国产日比| 色色色图| 五月激情在线| 五月丁香九九| 天天色综合色| 天天操天天操天天操天天操天天操天天操天天操天天操天天操 | 五月婷婷色色色| 天天射天天射一道本日本社区 | 99热在线精品播放| 久久五月婷天天干| 五月天婷婷在线观看精品男人| 五月丁香青草综合啪啪| 午夜婷婷| 日本欧特黄色刺激一区影视久精品无码| 婷婷天堂综合| 丁香色五月婷婷| 久热只有精品| 99久精品视频| 免费99情趣网视频| 丁香五月人妻| www.99操.com| 日韩九九视频| 激情噜噜噜| 亚洲无AV在线中文字幕| 丁香五月婷婷AV| 天天干天天干天天干天天干天天干天天| 亚洲成人九九九| 深夜婷婷 丁香| 超碰在线人人| 亚洲va欧美va天堂v国产综合| 亚洲1区| 国产乱子轮XXX农村| 夜夜资源站| 色婷婷成人影片| 欧美色性色好| 国产毛多水多女人A片| 日本人人干| 色色色色色色综合| 五月色综合| 天天综合网91| 激情五月天小说网| 婷婷97C| 亚洲avjiujiur91| 无码区婷婷五月花开| 日韩精品一区二区三区,四区,五区视频| www久久99| 狠狠色综合精品视频在线| 婷婷成人视频| 婷婷六月激情| 九月色婷婷综合| 五月天偷拍| 亚洲综合另类| 五月天婷婷无码| 九九九九九九热| 亚洲综合新99视频| 黄色AV日韩| 99久热精品在线| 婷婷色成人| 狠狠爱婷婷爱| 丁香玖玖| 日本色婷婷| 欧美十二区| 五月情丁香色| 色五月婷婷久久| 五月婷婷六月丁香首页| 激情五月天色婷婷| 日本熟妇乱妇熟色A片蜜桃| 久久99热只有精品| 久热99| 97婷婷在线视频| 欧美婷婷五月天综合| www.狠狠| 激情婷婷人妻| 国产毛片精品一区二区色欲黄A片| 99re99在线看| 99这里| 婷婷无码视频| 免费黄色视频网址| 99热精品在线| 色色色9| 99操碰| 亚州色婷婷| 久久性刺激| 日本爆乳片手机在线播放| 欧州婷婷五月天综合| 丁香88AV五月婷婷| 99久久国产宗和精品1上映| 激情五月丁香五月| 久久久人妻久久久| 日本综合色图| 激情文学第四色婷婷丁香五月| 五月天综合在线观看| tingtingseav| 曰日爽日日操| 日本少妇AA一级特黄大片| 蜜臀九九九九| 91干99| 五月婷天天搞视频| 色婷婷第四色| 日本视频99| 九九色之九九色之88| 色色色五月婷| 99re在线观看| 5月丁香啪啪啪| 99热国产| 欧美日韩123| 丁香婷婷久久综合在线| 无码AV免费精品一区二区三区| 另类图片激情五月天| 伊人久久婷婷| 亚洲麻豆乱码国产2028| 大香蕉久久久久久久久| 婷婷色五月天在线观看| 国产AV不卡福利| 五月天婷婷免费视频| 色婷婷伊人| 久久婷婷五月丁香网| 久色网| 99色色网| 婷婷色日本| 日本高清不卡免费一区二区三区| AV色婷婷| 婷婷伊人| 9久热精品在线视频| 婷婷亚洲在线| 天天综合久久| 99热这是里只有精品| 亚洲精品国产A久久久久久| 天天日夜夜夜操操操操| 青青色com久久| 色哟哟精品| 玖玖无码中文| 日本欧美成人片AAAA| 五月丁香婷中文字幕| www.久操| 99热最新| 五月天婷婷影院影院| 超碰97色| 日本天天操| 五月婷婷欲色| 欧美精品啪啪| 国产人妻777人伦精品HD| 玖玖热视频| 日韩不卡DvD| 爱射综合| 婷婷操婷婷干婷婷射| 在线观看av网站| 色综合久久888| 色欲资源网| 五月天婷婷香蕉狠狠超碰综合| 激情av| 伊人婷婷色激情丁香| 激情伊人网| 色五月首页| 婷婷色5月激情网| 啪啪婷婷五月天激情| 99精品在线| 日日干天天爽| 久久精品国产色| 婷婷五月天性爱视频| 天天色宗合| 99视频网| 九九操操| 日本天堂网站99| 丁香五月影院| 精品无码视频| 狠狠精品干练久久久无码中文字幕 | 色五月婷婷在线| 色婷婷成人做爰A片免费看网站| 日日操夜夜骑| 99这里只有精品视频在线| 婷婷五月天首页激情| 综合久久婷婷| 影音先锋偷偷色男人站| 成人欧美Va| 九九久久99精品免费观看www| 性一交一乱一交A片久久四色| 婷婷激情五月综合| 天天婷婷天天| 五月丁香婷婷色色| 婷婷基地成人五月天| 丁香六月综合激情| 欧美久久网| 婷婷丁香人妻久久在线观看| 五月天啪啪视频| 色色六月| 日日躁夜夜躁狠狠久久AV| 色欲五月婷婷| 五月丁香婷婷成人综合网| 在线婷婷| 91九色 婷婷| 久9热视频在线| 99操99| 开心婷婷丁香五月| 色五月天综合| 丁香婷婷激情综合五月激情| www.99日本| 五月婷婷综合在线亚洲视频| 婷婷五月色| 淫视馆AV在线| 色色色99| www.色五月天.com| 色亚洲视频| 婷婷激情综合| 久热99热| 十区av| 五月婷无码| 婷婷五月婷婷五月天| 色婷婷五月天中文字幕| 黄色片区子| 婷婷五月丁香A∨| 九九爱激情| 亚洲婷婷五月天| 99热最新| 色五月婷婷综合| 五月激情站| 婷婷丁香激情五月天色色| 亚洲婷婷月丁香五月| 操99| 亚洲愉拍99热成人精品| 97超级操操| 亚洲精品九九| 久久婷五月影院| 久久在线视频免费观看| 成人做爰A片免费看网站找不到了| 在线视频你懂得| EEUSS鲁片一区二区三区| 精品无码99| 99久久精品网| 久久66精品| 色九月激情综合网| 性爱在线播放av| 无码地址| 婷婷五月天最新综合你懂的 | 伊人干综合| 玖玖五月丁香| 91人碰| 精品人妻伦一二三区久久| 久久九九在线视频| 国内婷婷丁香社区在线播放| 婷婷 久综合| 婷婷99狠狠| 超碰成人在线观看| 色9999日韩国产| 99久.| 欧美va视频| www.91操| 久久新地址| 色婷婷久久综合| 久9视频| 欧美99| 久久9视频| 4399成人黄A片| 婷婷五月在线视频| 五月丁香色综合| 国产成人精品一区二三区熟女在线| 狠狠操天天干| 伊人无码高清| 丁香五月天视频| 五月色综合| 久久女婷| 国产一区二区av免费| 成人综合网站| 久久91久久精品久久| 五月丁香婷久久| 色99超碰| 中文AV在线观看| 久久精品五月天| 黄网免费看| 亚洲小视频免费观看| 五月婷婷六月天| 天天开心天天色| 五月婷婷丁香深深爱| 深爱五月天婷综合| 九九热视频免费| 夜夜骑夜夜撸| 成人在线视频网| 丁香六月婷婷| www.金莲av| 九九热99精品| 草一草avb| 日韩色色色色色| 日日夜夜青青草| 夜夜爽天天日| 激情综合99| 色五月首页| 精品无码久久久久久久久| 久热99狠| 色婷婷四色| 91Chinese在线| 天天操天天操| 97热这里只有精品| 日韩无码专区| 国外亚洲成AV人片在线观看| 色婷婷啪啪综合网| 在线成人网站| 人人操人人妻| 色婷婷国产精品综合在线观看| 天天综合网、天天综合色| 91操操操| 久久小视频| 九九在线视频| 高清a片基地| 色月丁| 欧美极品999| 91精品国产综合久久密臀| 九九热最新| 激情综合一| www,setingting| 91色涩| 五月天婷综合网站| 久久机热/这里只有精品| 99色婷婷| 色五月婷婷777| 538任你爽视频不一样的| 五月丁香婷婷在线综合蜜桃| 99re热视频这里只精品5| 三级黄网站| 久热A片| 欧美色图天堂网| 色综合网综合| 九九久久综合| 成人va在线| 激情综合啪啪啪| www、色色色| 强伦轩人妻一区二区电影| 久久久久久久11111111111| www.97碰碰com| 亚洲六月婷| 2017人人操| 日韩av手机在线观看| 在线观看av网站| 蜜臀九九九九| 中文字幕在线观看视频www| 99色在线观看视频者| 久久久久9| 天天色综合图片| 色99色| 日韩av网站在线观看| 婷婷色系婷色| 伊人干综合| 狠狠狠狠草草| 中文字幕+乱码+中文字幕在线观看| 五月婷婷AV| 影音先锋美国A| 亚洲午夜av| 91婷婷色| 99免费热视频| 国产成人+综合亚洲+天堂| 日本久草福利| 国产精品成人av在线观看春天| 九九操操| 日韩精品呦呦va| 色五月婷婷少妇人妻| AV在线免费播放| 黄色短视频在线观看| 伊人丁香五月| 能看的av网站| 五月天婷婷免费| 五月婷婷激情综合网| 国产婷婷色综合AV蜜臀AV | 久操人妻| 99色在线观看视频| 日韩 mm 不卡| 嫩草AV久久伊人妇女超级a| 日本久久99| 日本精品99| 五月综合视频| 午夜福利成人AV91| 五月天婷婷五月| 激情视频网址| 狠狠色丁香久久久婷| 99干日本| 久久九九国产| 五月天啪啪啪| 久久九九一區| 欧美成人五月天| 99久久66综合| 天天拍天天做视频| 色情综合网| 五月丁香久久精品在线观看| 超碰在线人妻| 91精品国产99久久久久久天美| xx人人xx| 9色免费网| 丁香五月天网友自拍啪啪啪视频| 尤物一区二区| 蜘蛛女免费观看完整版高清电影| 久久99网| 五月婷婷六月丁香综合| 色综合久久中文| 亚洲免费电影2| 九九久热| 亚洲乱啪| 色综合久久五月天| 六月婷婷AV| 欧美25p| 超碰京东热av男人的天堂| 夜夜骑日日夜夜| 三十熟女| 色。 日日日| 国产全是老熟女太爽了| 四色 爱 婷婷 精品 亚洲 五月天| 五月天激情网站| 婷婷丁香视频在线观看免费 | 这里只有精彩视频| 色热久资源| 五月丁香网站| 亚洲五月六月婷婷| 99综合99| 91在线资源| 99热这里有精力| 99热99| 伊人狠狠丁香婷婷综合尤物| 日韩成人AV在线| 色播五月丁香| 丁香六月 人妻| 婷婷狠狠干| 日日舔夜夜操| 俺去婷婷 丁香| 这里只有精品视频在线| 日本啪啪网| 91啪啪视频| 噜综合| 99国产精品白浆在线观看免费| 国产精品色色色色| 婷婷日本在线| 五月天丁香| 加勒比日本一区二区三区| 日本一级特黄大片AAAAA级| 97AV在线视频| www.色婷婷.com| 丁香婷婷啪啪啪| 色九九九综合| 26.uuu丁香五月婷婷| www.色99| 国产日韩精品SUV| 国模淫穴色图| 婷婷伊人75| 亚洲热久久| 婷婷成人综合免费视频| 婷婷桃色网| 五月婷婷日| 六月色婷婷综合影视| 色啪网| 色婷婷成人做爰A片免费看网站| 五月丁香成人版| 丁香五月天社区婷婷| 成人网址在线观看| 欧美va精品va老师va| 人人人操 超碰| 永久地址 色| 中文字幕av亚洲| 夜夜干 夜夜操| 婷婷开心综合人妻小说网址| 七月激情六月婷婷综合在线播放| 狠狠色丁香| 婷婷五月天Av| 欧美激情-区二区三区| ww久久| jiujiu无码五区| 色涩视频久久| 97人妻碰碰碰久久香蕉| 午夜成人av在线| 类似婷婷激情综合网站| 五月丁香日本一抹本| 黑人巨粗进入警花疼哭A片| 色婷婷丁香五月天在线观看| 99色在线| 久久婷婷六月综合国际| 97碰碰在线观看视频| 日本人妻丁香婷婷久久寝取熟女五月| 丁香五月激情啪啪综合| 大香蕉婷婷色| 婷婷六月久久| 99热精品观看| 久热久69| 五月婷婷之综合激情| www.99热. com这里只有精品| 日韩九区| 丁香深五月婷婷| 五月综合色| 无码任你操| 黄色三级日本| www.99热| 丁香五月成人论坛| 狠狠se| 一起草AV入口| 色婷| 五月天久久丁香| 深爱激情中文五月天av| 色欲色香,www,com| 91精品丝袜久久久久久| www.夜夜操| 日韩六六久久电影| 九九無碼| 蜜桃婷婷狠狠久久综合| 精品人妻伦九区久久AAA片| 性天堂久久| 日日日影院| 狠狠色丁香久久久婷| 亚洲AVDVD| 日韩成人中文| 五月丁香六月婷| 久久婷婷五月综合色丁香| 九九爱看亚洲| 思思热闹这里只有精品| 五月色亚洲| av在线播放网站| 五月天狠狠| 欧美日韩aaa| 热这里| 综合五月草| 韩国19 主播内部福利vip免费播放| 色婷婷8| 五月婷婷乱| 国产婷婷综合| 人人97碰| 久久激情五月网| 五月丁香色婷婷婷基地| 色久女| 9色免费网| 日本97在线观看| 丁香五月婷婷在线观看| 色婷婷激情小说网| 丁香六月婷婷| 激情九色| 五月婷av| 色狠狠色噜噜噜a天堂一区| 色丁香五月婷婷婷| 国产精品人妻欲求不满| 性色av大香综合| 9l久久久视频| 天堂呦 呦百度搜索-百度搜索| 狠狠狠狠狠狠| 丁香五月婷久久| 九九精品99| 99在线免费观看| 五月婷婷片| 五月丁香六月婷婷在线播放| 色噜噜,噜噜色| www.夜夜操.con| 色九月婷婷| 色五月婷婷五月天激情综合| 亚洲欧洲一二| 五月婷婷久久爱| 91狼友视频在线观看| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 超级碰碰碰久久网站视频| 久久综合久色欧美综合狠狠| 色播播五月天| 色欲色香综合网| 色综合激情| 久久精典| 高清不卡一区| 婷婷久久丁香五月| 超碰人人干| 5五月综合网亚洲| 人人爱人人草| 99热97| 五月天婷婷基地| 色五月天电影| 五月婷婷在线视频| 99色热| www.色五月| 五月综合视频| AV性爱网| 五月丁香六月婷婷成人电影| 射久久丁香五月| 色综合五月| 日韩aaaaa| 在线天堂9| 综合另类视频| 狠狠做深爱婷婷久久综合一区| 大香蕉久操| 日本三级黄色大片| 五月婷婷av| 国内外色色色色色成人视频| 六月婷婷五月丁香| 日本欧美成人片AAAA| 日本强伦片中文字幕免费看| 五月婷婷六月激情| 亚洲99热| 玖玖爱导航| 欧美图片丁香五月天| 黄网在线播放| 99在线精品视频免费| 色色色精品无码区| 天天操天天日天天爽| 婷婷丁香激情五月天色色| 九九热只有精品| 成人va视频| 色五月婷婷亚洲| 色丁香五月| 婷婷五月天久久久| 噼里啪啦完整版中文在线观看| 蜜臀久久99精品久久久久久酒店| 婷婷色色色| 丁香五月综合首页| 婷婷激情性爱| 天堂爱爱| 久久久久久丁香五月| 五月天激情视频| 99久在线观看| www.色婷婷.com| 婷婷97色| 99久高清视频| 亚洲AV成人精品日韩在线播放| 久鲁鲁色网| 五月花婷婷丁香| 丁香激情五月天| 五月婷婷啪啪啪| 99这里只有精品| 精品久久99码| 亚洲无码播放| 五月激情在线| 色婷婷另类| 狠狠久久婷五月| 精品无码av丁香五月激情| 激情婷婷狠狠干| 综合在线色婷婷| 99热97| 成人网在线观看视频| www.五月天色色色| 丁香婷婷综合精品六月初| 天天操夜夜爱| 99热99久久| 91丨九色丨熟女高潮| 中文字幕高清av| 亚洲综合视频在线| 99色热视频| 五月婷婷丁香五月婷婷丁香| 日日夜夜狠狠| 色综合网页| 色色婷婷丁香| 婷婷五月婷婷五月| 九九热re99re6在线精品| 亚洲人人操| av在线不卡播放| 五月丁香爱婷婷深深| 极品五月天| 色五月综合网| 极骚大香蕉伊人| 色情丁香五月婷婷精品| 日日操日日干| 色五月色五天免费视频| 99这里| 一起草日本| 五月婷婷黄色| 99精品在这里| 99热精品在线| 97操碰在线视频| 丁香婷婷偷拍| 久操福利| 亚洲春色奇米影视| 大香蕉99| 狠狠色噜噜狠狠| 91精品综合久久久久久五月丁香| 色五月噜噜| 国产欧美日韩性爱| 国产五月天欧美色| 超碰人人在线| 任我鲁这里有精品视频| 我爱婷婷五月天综合88| 久久三级视频| 日噜噜色| 色五月xxx| 超碰在线综合| 亚洲日韩操B| 丁香五月在线人妻| 色播播五月| 中文成人在线| 丁香五月日韩| 激情伊人五月天| 99久久综合| 久久婷.com| 日日夜夜狠狠干| 任你艹| 久久色五月| 丁香六月婷婷综合啪啪| 99激情视频| 99久久久久久久| 狠狠久综合| 来吧亚洲综合网| 91狠狠色丁香| 色综合综合网| 亚洲欧洲中文日韩久久AV乱码 | 日本精品。999| 久久精品9| 岛国午夜视频| 久久婷婷五月综合色播| 婷婷伊人网| 成人网站免费在线播放| 激情五月小说婷婷| 欧美色片中文字幕久久久久| 婷婷亚洲五| 97碰久久| 91视频久久久| 成人精品99| 色综合五月天| 超碰激情网| 九九激情| 青青色com久久| 国产精品久久久60086| 丁香五月AV| 五月丁香大香蕉| 久操综合| 午夜丁香六月婷| 丁香五月激情啪啪| WW婷婷五月天com| 色五月丁香激情视频| 色色色色色色色色网站| 久久久久激情| 免费亚洲婷婷五月| 99日视频在线| 五月色网| 日逼影音先锋男人资源站| 日日干日日s| 疯狂做受XXXX高潮A片| 操操操操操操婷婷五月天| 热久久91| 久久丝袜婷婷| 久碰婷婷视频| 色婷婷情片| 五月婷婷亚洲色视频| 97超碰9久热婷婷热| 中国激情网| 婷婷丁香中文字幕| 五月婷六月丁| 精品久久穴| 丁香五月婷婷乱| 亚洲亚洲人成综合网络| 熟女五月天久久综合| 国产这里只有精品| 五月停停直播| 婷婷综合久久| 欧美日韩大黄| 九九热免费视频| 亚洲色五月天在线| 天天操综合网| 五月婷婷人人人操| 久久婷婷五月综合色奶水99啪| 99热亚洲| 成人 在线 日韩| 成片免费播放| 婷婷香蕉| 婷婷色五月综合丁香| 久久九九网| 精品婷婷五月天| 成人国产欧美大片一区| 开心激情久久久久久久| 偷拍丁香九月激情| 久久免费婷婷视频| www.91AV.com| 五月丁香色综合| 婷婷99狠狠躁天天躁中文| 97色在线观看视频| 婷婷精品视频| 天天做天天爱| 六月婷伊人| ..真实国产乱子伦毛片 | 91久久精品无码一区二区三区| 超级碰碰碰97免费| 欧美日韩999| 久热这里只有精品3| 中国丰满熟女A片免费观| 深爱五月中文字幕| 激情综合文学| 日韩AAAAA| 丁香五月手机在线| AV中文在线| 欧美综合婷婷欧美综| 国产婷婷婷| 2025色婷婷| 91日视频| www.色五月| 色色色在线播放| 婷婷99视频在线| 直接看的AV| 久99综合婷婷| 91久久久久久| 久久婷婷五月草视频| WWW.久久久久久久久久久久久| 91精品综合久久婷婷九色| www.99热| 亚洲亚洲人成综合网络| 欧美成人A片AAA片在线播放| 影音先锋 一区| 热99这就是精品视频| 亚洲激情五月婷婷日日| 91色综合网站在线| 五月婷视频| 色婷婷五月影视| 婷婷丁香五月天综合在线日韩| 99爱视频在线观看这里只有精品| 97资源欧美日韩大香蕉超碰一区| 久久婷婷五月天| www.激情五月天| 婷婷综合色网| 丁香五月综合| 天天爱天天做天天舔| 九久热| 欧美 日韩 成人 在线| 狠狠色丁香99| 久久久噜噜噜www成人| 五月丁香久久| 偷拍视频五月天| 久久性刺激| 男女啪啪做爰高潮无遮挡| 79精品视频在线观看,| AV激情五月| 教师性爱毛片| 欧美 日韩 成人 在线| 天天网站天天爽| 丁香五月激情月| 六月婷婷色综合| 五月丁香六月婷婷在线| 狠狠搞五月天| 五月婷婷黄色网址| 久久久久久久97| renre人人操国产超碰在线| 99爱爱网| 99久久综合| 丁香五月婷婷视频| 激情小说五月天社区丁香| 伊人爱爱日本| 精品久久99| 色人妻五月| 99在线观看| 青青草原亚洲久| 激情五月天丁香| 色五月婷婷丁香婷婷| 欧美精品啪啪| 亚洲AV日韩在线观看| 成人片在线播放| WWW,婷婷,COM| 国产伦理精品高清在线观看网站一区二区| 99精品丰满| 另类小说五月天| 色婷婷精品| 99热精品在线播放观看| 欧美日韩五月婷婷| 国产无套精品一区二区| 久久人人九| 操熟女成人网| 五月天婷婷色五月天| 久婷视频| 国产成人精品一区二三区熟女在线| 五月天伊人| 亚洲久久婷婷| 久久久久久97| 欧美色必爱| 激情综合色| 大香蕉伊人爱在线| 五月婷婷开心亚州在线| 91婷婷丁香五月天免费视频网站| 丁香色五月AV在线| 无码一区精品一区视频| 五月伊人网| 思思精品视频| 青草久久五月婷伊人| 欧美性生交A片免费看| 色婷婷五月天天天干天天操天天爽| 、激情六月天| AV在线收看| 久久九久久| 伊人91| 色五月色图| 五月天婷婷在线AN| 国产精品五月丁香| 色色婷婷丁香| ′久久99一| 成人在线观看国产| 色情五月丁香| 亚洲综合无码| 这里只有精品无码| 国产精品视频久久99| 蜜臀A∨在线水帘洞| 一本久道综合色婷婷五月| 一级性感毛片| www.丁香黄色五月天人与| 国产做爰视频免费播放| 色五月综合网| xxxx久| 激情综合五月婷婷六月丁香| 六月丁香婷婷在线波多| 婷婷五月欧美综合| 亚洲AV成人片无码网站| 婷婷综合网性| 99re欧美精品| 国外亚洲成AV人片在线观看| 五月丁香五月婷婷| 色呦呦美女| 丁香五月成人婷婷| 久久99激情丁香婷婷小说网| 六月丁香婷婷尤物| 欧美日韩大黄| 激情久久久| 99久久99九九九99九他书对| 97干视频在线| 91热手机在线| 人操人| 五月丁小婷婷激情四射| 国产古装妇女野外A片| 噼里啪啦在线观看免费完整版视频| 丁香五月性| 99精品国产热久久91色欲| 婷婷五月综合久久中文字幕| 五月天综合在线观看视频| 99热亚洲精品| 亚洲bt丁香五月天婷婷激情小说| 婷婷激情欧美| 五月丁香色婷| 蜜乳A√| 婷婷五月天com| 天天射综合网天天插| 亚洲婷婷开心五月| 天天综合.com| 狠狠操.com| 天天天操天天天爰| www..com色爱| 婷婷深爱五月天在线| 九九操综合网|