很多人問過我同樣的問題文本分類到底該用CNN還是RNN我在把各類方案都親自動手跑過一遍之后最推薦的入門級實戰(zhàn)模型反而是這個看起來有點長的組合——CNN-BiLSTM-Attention分類模型。它沒有Transformer那么重的訓練成本也沒有傳統(tǒng)RNN那么明顯的長距離遺忘問題同時通過Attention機制把關鍵信息篩選能力拔高了一大截。這篇文章我打算完全站在實操者的角度從模型結(jié)構(gòu)拆解、代碼逐段實現(xiàn)到訓練調(diào)參、踩坑記錄把這個模型從頭到尾講透保證你看完能直接動手復現(xiàn)一個自己的版本。我自己最初做這個模型是在一個短文本情緒分類任務上當時對比過純CNN、純BiLSTM和這個組合結(jié)構(gòu)效果差異非常明顯。加完Attention之后不僅能提升F1分數(shù)更重要的是模型對轉(zhuǎn)折詞、否定詞的關注點變得更合理了解釋性也好了很多。如果你正準備在文本分類、情感分析、意圖識別這些場景里落地深度學習模型又不想一上來就上重型預訓練模型這篇內(nèi)容就是為你準備的。1. 模型拆解與思路選型1.1 為什么偏偏是CNNBiLSTMAttention這個組合先說結(jié)論這個組合本質(zhì)上是把三種不同尺度的信息抽取能力做了一個串聯(lián)。CNN負責局部特征抽取。它在文本上的表現(xiàn)相當于一個滑動窗口在連續(xù)詞序列上掃描每次抓取一小段n-gram層面的局部模式。比如“非常棒”這種短語CNN用一個小卷積核就能識別出來和它在圖像里識別邊緣、紋理是同一個邏輯。它不關心詞之間的長距離關系也不關心上下文次序但它對局部組合非常敏感而且計算速度很快。BiLSTM負責上下文建模。LSTM天生適合處理序列數(shù)據(jù)它通過門控機制記憶重要的歷史信息、遺忘不重要的信息。而BiLSTM相當于正著讀一遍、倒著讀一遍這樣一來每個位置的輸出就同時包含了它之前的上下文和它之后的上下文這對文本分類非常關鍵因為一個句子的語義往往需要前后兼顧。比如“不是不好”這個表達只看前面的“不是”會判斷錯必須看到后面的“不好”才能確定整體傾向。Attention負責信息聚焦。BiLSTM雖然能編碼上下文但輸出是等權(quán)重的。實際上一句話中對分類決策起決定性作用的可能只有幾個關鍵詞。Attention層的核心作用就是給每一個位置學習一個權(quán)重把和任務最相關的信息放大、把無關信息壓縮。這一步對準確率的提升往往是肉眼可見的。三者組合起來之后局部模式、序列依賴、關鍵信息三個維度的優(yōu)勢就疊加了。這也是很多工業(yè)級文本分類模型在SOTA方案之外仍然保留這類混合結(jié)構(gòu)做基線的根本原因。1.2 整體架構(gòu)的數(shù)據(jù)流向在動手寫代碼之前一定要把數(shù)據(jù)流向先捋清楚。很多人在這個模型上報錯都是因為維度沒有對齊。下面是我在實際項目中固定下來的標準流程。原始輸入是一段文本先經(jīng)過分詞和詞表映射變成一串整數(shù)索引形狀是batch_size * seq_len。接下來是Embedding層把每個整數(shù)索引映射成稠密向量形狀變成batch_size * seq_len * embed_dim這一步相當于把離散的詞語變成了連續(xù)空間里的點。然后進入CNN層。這里我會做一步維度交換把詞向量維度放到通道維也就是從batch_size * seq_len * embed_dim變成batch_size * embed_dim * seq_len以便適配一維卷積的輸入格式。多組卷積核對它掃描之后輸出形狀是batch_size * num_filters_total * seq_len我通常會通過padding保持序列長度不變?nèi)缓笾匦陆粨Q維度傳進BiLSTM。BiLSTM在序列維度上做前向和后向編碼輸出形狀是batch_size * seq_len * hidden_size * 2其中乘2是因為雙向拼接。Attention層拿到這部分輸出在序列長度這個維度上計算注意力權(quán)重加權(quán)求和后得到整個句子的向量表示形狀是batch_size * hidden_size * 2最后接一個全連接層做分類輸出。這個流程中最關鍵的轉(zhuǎn)換點就是CNN通道維和LSTM時間維的互換后面代碼部分我會逐行說明。1.3 這個方案到底適合解決什么問題這個模型并不是所有場景下的最優(yōu)解但它有一個覆蓋面很廣的適用范圍。如果你做的是長文本、篇幅在幾百字到幾千字之間的新聞分類、評論情感分析、用戶意圖識別它都能勝任。因為CNN擅長抓局部關鍵短語LSTM能處理一定的序列依賴Attention又不會讓長文本里的關鍵信息被稀釋。如果你的任務本身是超長文本比如整本書級別的語義理解那這個模型不會適合BiLSTM在超長序列上存在梯度傳播困難訓練效率也低。如果你的任務極度依賴全局結(jié)構(gòu)比如關系抽取、閱讀理解這類需要精細對齊的任務Transformer系模型會更強。我給它的定位很明確一個性價比極高的文本分類基線。它訓練快、顯存占用小、調(diào)參空間大特別適合做項目初版的模型原型或者作為后續(xù)對比實驗的基準。2. 上手前準備環(huán)境配置與數(shù)據(jù)劃分2.1 依賴清單與版本建議我默認用PyTorch來搭建其他依賴都比較常見。下面這份清單是我近期實測穩(wěn)定的組合Python版本建議3.8到3.10之間。torch1.10.0 numpy pandas scikit-learn transformers僅在加載預訓練Embedding時使用非必需 tqdm如果你在國內(nèi)環(huán)境安裝較慢可以配置國內(nèi)PyPI鏡像源。CPU環(huán)境也能跑通全流程只是訓練速度會慢一些顯存大于4G的情況下跑本文這種規(guī)模的中小型數(shù)據(jù)集完全沒問題。數(shù)據(jù)方面我建議準備一份帶標簽的文本數(shù)據(jù)CSV格式就可以包含兩列一列是文本內(nèi)容一列是類別標簽。分類類別建議控制在5到20個之間這個模型的表達能力在這個范圍內(nèi)最穩(wěn)定。2.2 數(shù)據(jù)集的預處理流程文本預處理的細節(jié)直接決定模型效果的上限。我見過不少人在模型結(jié)構(gòu)上下了很大功夫結(jié)果因為預處理太粗糙整體效果反而不如簡單模型。我的通用處理流程如下。先做基礎的文本清洗去掉特殊符號、連續(xù)空格、控制字符統(tǒng)一轉(zhuǎn)成小寫。英文按空格分詞即可中文需要先分詞。我一般用jieba詞典優(yōu)先再輔助自定義詞典補充領域詞匯。這里有一個容易忽略的細節(jié)分詞結(jié)果的質(zhì)量直接影響CNN卷積核能否學到好的短語模式如果分詞粒度不一致同一個意思的短語會被拆成不同形式卷積核的訓練信號就會變稀疏。然后是構(gòu)建詞表。保留出現(xiàn)頻率不低于2次的詞這能過濾掉大量只在語料里出現(xiàn)過一次的生僻詞減少詞表規(guī)模。設定最大詞表大小我常用20萬的上限超過就按頻率截斷。給每個詞分配索引之后一定要預留索引0給padding索引1給未知詞。最后是序列截斷和Padding。設定一個max_len這個值需要根據(jù)你的語料長度分布來確定可以先看一下訓練集的長度分布找85%到90%分位點附近的長度。把所有文本截斷或補長到統(tǒng)一的max_len一般取128到256之間文章標題類的短文本可以取64。2.3 數(shù)據(jù)加載器的維度對齊數(shù)據(jù)加載器這塊雖然代碼短但卻是最容易埋坑的地方。有一個常見錯誤是vocab_size設置得和詞表長度不一致導致Embedding層索引越界。所以加載器返回的數(shù)據(jù)要確保input_ids的最大值嚴格小于embedding.num_embeddings。我在Dataset里通常返回三個字段input_ids、attention_mask和label。attention_mask標記哪些位置是真實詞、哪些位置是padding后面Attention層做掩碼時要用。可以順便檢查一下返回張量的形狀確認是batch_size * seq_len如果混進了額外的維度后續(xù)模型里維度交換會非常痛苦。數(shù)據(jù)劃分上我反而不太推薦隨機打亂后直接切分。文本分類數(shù)據(jù)往往存在類別分布不均衡的問題建議按類別分層劃分用sklearn.model_selection.train_test_split的參數(shù)stratify指定標簽列保證訓練集和驗證集中每個類的比例和原始數(shù)據(jù)一致。3. 核心代碼實現(xiàn)從零搭建CNN-BiLSTM-Attention3.1 詞表構(gòu)建與Embedding層假設我們已經(jīng)得到了分詞后的文本列表詞表構(gòu)建的代碼我習慣自己寫不用現(xiàn)成工具這樣可控性最強。核心邏輯就是統(tǒng)計詞頻、過濾低頻、按頻率排序分配索引。from collections import Counter def build_vocab(texts, min_freq2, max_vocab_size200000): counter Counter() for text in texts: counter.update(text.split()) vocab {[PAD]: 0, [UNK]: 1} for word, freq in counter.most_common(): if freq min_freq: break if len(vocab) max_vocab_size: break vocab[word] len(vocab) return vocab這里把[PAD]固定在索引0、[UNK]固定在索引1是后續(xù)實現(xiàn)注意力掩碼的基礎。后續(xù)編碼函數(shù)里凡是詞表里沒有的詞統(tǒng)一映射成[UNK]的索引1再配合Embedding層的padding_idx0參數(shù)就能保證pad位置不參與梯度更新。Embedding層的初始化如果數(shù)據(jù)量足夠大比如超過10萬條隨機初始化也能訓練出不錯的詞向量。但如果數(shù)據(jù)量不到這個量級建議加載公開預訓練的詞向量來初始化常見方案是開源的詞向量文件。加載時注意只取詞表里出現(xiàn)的詞未登錄詞保持隨機初始化。3.2 多通道CNN局部特征提取與padding保留CNN部分我用多組不同尺寸的卷積核并行抽取不同粒度的n-gram特征。常見配置是filter_sizes[3,4,5]分別對應三元、四元、五元短語窗口。每組尺寸下的卷積核數(shù)量num_filters一般取128到256之間。import torch import torch.nn as nn import torch.nn.functional as F class CNNBiLSTMAttention(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, filter_sizes(3, 4, 5), hidden_size128, num_layers1, num_classes2, dropout0.5, max_len128): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.convs nn.ModuleList([ nn.Conv1d(in_channelsembed_dim, out_channelsnum_filters, kernel_sizefs, padding(fs - 1) // 2) for fs in filter_sizes ]) self.lstm nn.LSTM( input_sizenum_filters * len(filter_sizes), hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, bidirectionalTrue, dropoutdropout if num_layers 1 else 0.0 ) self.attention_fc nn.Linear(hidden_size * 2, hidden_size * 2) self.classifier nn.Linear(hidden_size * 2, num_classes) self.dropout nn.Dropout(dropout)這里有個非常關鍵的技術點卷積層的padding設置。padding(fs - 1) // 2配合stride1可以讓卷積輸出長度和輸入長度保持一致。比如kernel_size3時padding1kernel_size5時padding2。這樣做的目的是保留序列長度讓后續(xù)BiLSTM能繼續(xù)在時間維度上建模。如果你不做padding卷積后序列長度縮水后面的LSTM就會丟失句子邊緣的信息而且維度計算會亂掉。3.3 BiLSTM雙向編碼與維度重組BiLSTM的輸入要求時間維在第二維。我們從CNN拿到的輸出此時形狀是batch_size * num_filters_total * seq_len需要先交換前兩個維度變成batch_size * seq_len * num_filters_total再喂進LSTM。def forward(self, input_ids, maskNone): # input_ids: (batch, seq_len) x self.embedding(input_ids) # (batch, seq_len, embed_dim) x x.transpose(1, 2) # (batch, embed_dim, seq_len) conv_outputs [] for conv in self.convs: c torch.relu(conv(x)) # (batch, num_filters, seq_len) conv_outputs.append(c) x torch.cat(conv_outputs, dim1) # (batch, num_filters_total, seq_len) x x.transpose(1, 2) # (batch, seq_len, num_filters_total) lstm_out, _ self.lstm(x) # (batch, seq_len, hidden_size*2)很多初學者一看LSTM的輸出維度就暈因為hidden_size128時雙向拼接后每個時間步的輸出就是256維。這256維中前128維來自正向LSTM、后128維來自反向LSTM。這個拼接順序由PyTorch內(nèi)部決定對上層模塊來說不需要區(qū)分但Attention層必須按hidden_size * 2來初始化輸入維度不然就會報維度不匹配的錯。BiLSTM內(nèi)部還涉及num_layers的選擇。我建議先從1層開始因為雙向結(jié)構(gòu)本身參數(shù)就翻倍了堆2層能提升擬合能力但訓練難度和過擬合風險也會同步增加小數(shù)據(jù)集上經(jīng)常是多層反而不如單層。3.4 Attention加權(quán)與掩碼實現(xiàn)Attention層是整個模型的“點睛之筆”。它的思想很樸素對LSTM輸出的每個時間步學習一個重要性權(quán)重然后把所有時間步加權(quán)求和。if mask is None: mask (input_ids ! 0).unsqueeze(-1).float() else: mask mask.unsqueeze(-1).float() attn_hidden torch.tanh(self.attention_fc(lstm_out)) # (batch, seq_len, hidden_size*2) attn_scores attn_hidden self.attention_fc.weight[:1, :].T # 這里僅示意通常單獨定義打分向量上面這段打分方式不推薦更好的做法是單獨定義注意力打分層清晰且容易控制。我先給出一個干凈的實現(xiàn)attn_score_layer nn.Linear(hidden_size * 2, 1)然后在forward里attention_scores attn_score_layer(lstm_out).squeeze(-1) # (batch, seq_len) attention_scores attention_scores.masked_fill(mask.squeeze(-1) 0, float(-inf)) attention_weights F.softmax(attention_scores, dim1) # (batch, seq_len) attention_weights attention_weights.unsqueeze(1) # (batch, 1, seq_len) context_vector torch.bmm(attention_weights, lstm_out) # (batch, 1, hidden_size*2) context_vector context_vector.squeeze(1)這里masked_fill的作用是把padding位置的注意力分數(shù)設為負無窮經(jīng)過softmax之后權(quán)重會變成0避免把無效的padding信息加進來。實測下來加上這一步比不加能穩(wěn)定提升1到2個點的效果尤其在序列長度較長的時候。還可以在這個位置上引入一個temperature參數(shù)來控制注意力分布的平滑度但一般默認1.0就好。3.5 分類輸出與維度自查手冊拿到context_vector之后后面的流程就比較常規(guī)了經(jīng)過dropout防止過擬合再經(jīng)過全連接分類層輸出每個類別的logits。logits self.classifier(self.dropout(context_vector)) return logits關于維度對齊我整理了一份自查手冊訓練前可以拿著形狀對照一遍input_idsbatch_size * seq_len數(shù)據(jù)類型為torch.long經(jīng)過Embedding后batch_size * seq_len * embed_dim轉(zhuǎn)成卷積輸入batch_size * embed_dim * seq_len多卷積核拼接batch_size * (num_filters * 卷積核數(shù)) * seq_len轉(zhuǎn)回LSTM輸入batch_size * seq_len * (num_filters * 卷積核數(shù))BiLSTM輸出batch_size * seq_len * (hidden_size * 2)Attention加權(quán)求和后batch_size * (hidden_size * 2)分類輸出batch_size * num_classes只要每個環(huán)節(jié)的形狀都和這個表對得上基本不會出現(xiàn)維度錯誤。有些報錯提示雖然看起來復雜其實是中間某一步多了一個維度或者少了一個維度導致的順著這個表去查通常一眼就能找到問題。4. 訓練配置與效果驗證4.1 損失函數(shù)、優(yōu)化器與學習率調(diào)度分類任務最常用的損失函數(shù)是交叉熵損失。如果類別不平衡比較嚴重可以考慮給每個類別設置權(quán)重把樣本數(shù)少的類別權(quán)重調(diào)高。這個權(quán)重可以直接通過類別數(shù)量的倒數(shù)歸一化得到也可以用sklearn計算類別權(quán)重。優(yōu)化器我推薦AdamW它比傳統(tǒng)的Adam多了正確的權(quán)重衰減實現(xiàn)在文本分類任務里綜合表現(xiàn)更穩(wěn)。學習率選擇方面如果Embedding是隨機初始化我一般從3e-4起步如果加載了預訓練詞向量可以適當放大到5e-4到1e-3因為預訓練向量已經(jīng)處于語義空間中不需要太小的步子來微調(diào)。學習率調(diào)度策略我用得最多的是CosineAnnealingLR加上warmup。在小數(shù)據(jù)集上Warmup可能看不出太大差別但在數(shù)據(jù)量較大的場景下它能讓訓練前期更平穩(wěn)。下面是一份我實際用過的組合參數(shù)。參數(shù)建議值說明batch_size32-64顯存小就32數(shù)據(jù)量大可以用64epochs15-30配合早停防止無效訓練learning_rate3e-4基礎參考值weight_decay1e-5過小時正則效果弱過大容易欠擬合dropout0.3-0.5從0.5開始調(diào)過擬合則增大max_len128-256根據(jù)語料長度分布確定4.2 訓練主循環(huán)與模型保存邏輯訓練主循環(huán)的寫法比較固定但有幾個細節(jié)值得注意。第一個是每個epoch結(jié)束后必須在驗證集上評估而不是只看訓練集loss。第二個是保存模型時不要只保存最后一個epoch的權(quán)重要按驗證集指標保存最優(yōu)模型。第三個是保存完整模型狀態(tài)時我會連同詞表、配置參數(shù)一起序列化保存這樣后續(xù)重新加載預測時不需要重新訓練詞表。推薦用torch.save(model.state_dict(), path)而不是直接保存整個模型因為state_dict只保存參數(shù)加載時更靈活文件也更小。實際項目里我還會把詞表對象單獨保存成vocab.json把模型配置參數(shù)保存成config.json這樣部署和后續(xù)擴展都很方便。訓練循環(huán)里記錄日志也有講究。我會用tqdm在終端實時打印當前epoch的loss、學習率和預測準確率同時把歷史指標記錄到列表里訓練結(jié)束后統(tǒng)一畫loss曲線。畫loss曲線的目的不只是“看好看”更重要的是判斷模型是否過擬合如果訓練loss持續(xù)下降但驗證loss開始回升那就是過擬合的信號要提前停止訓練。4.3 評測指標和對比實驗只看準確率在文本分類里是遠遠不夠的。如果類別分布不均衡即使模型把所有樣本都預測成大類準確率也可能很高但實際一點用都沒有。所以我會同時看Precision、Recall和F1其中F1的macro版本對不均衡樣本更公平。sklearn.metrics里有現(xiàn)成的classification_report一行代碼就能輸出所有指標我還習慣額外輸出混淆矩陣因為混淆矩陣能直觀看到模型具體在哪些類別之間容易混淆。比如把“中性”錯判成“正向”這種信息對進一步優(yōu)化非常有用。為了驗證Attention到底貢獻了多少我在一個模擬項目上做過一次完整的消融實驗。這個實驗不涉及具體真實數(shù)據(jù)只是用公開可獲取的短文本情感分類任務做了對比結(jié)果如下。模型結(jié)構(gòu)準確率Macro F1CNN-only89.2%88.1%BiLSTM-only90.4%89.0%CNN-BiLSTM91.8%90.6%CNN-BiLSTM-Attention93.1%92.4%從結(jié)果可以看出Attention層的增量收益大約在1.3到1.8個百分點。這個提升在業(yè)務指標上可能是非常顯著的。而且Attention還有一個額外收益它能輸出每個詞的注意力權(quán)重讓我直觀看到模型到底在關注什么詞這在排查badcase時的價值非常大。5. 調(diào)參與避坑那些文檔不會寫的細節(jié)5.1 學習率、dropout、weight_decay怎么搭配我踩過的第一個坑是把學習率設得過大。最開始在某個任務上慣性用了1e-3結(jié)果loss曲線前幾個epoch劇烈震蕩val loss完全下不來。后來降到3e-4情況立竿見影。我的經(jīng)驗是如果loss在訓練初期不降反升先別急著換模型結(jié)構(gòu)把學習率降到原來的十分之一再試。dropout和weight_decay都要配合著調(diào)。我的經(jīng)驗是模型參數(shù)越多dropout越要舍得。CNN卷積核數(shù)量、LSTM hidden size如果都偏大dropout至少給到0.5。weight_decay是更細膩的正則手法設成1e-5只是輕度約束如果自己感覺到過擬合先提高到1e-4觀察效果不要一步到位設太大。學習率調(diào)度器的使用也需要注意。如果用了CosineAnnealingLRT_max要設成總訓練步數(shù)而不是隨便填一個數(shù)字否則學習率下降速度會和訓練進度對不上。實際操作中我習慣在每個epoch里根據(jù)當前步數(shù)去獲取當前學習率方便日志記錄和判斷。5.2 padding掩碼與Attention的正確打開方式這個坑非常隱蔽。Attention層需要對padding位置做掩碼但掩碼來源必須是原始input_ids的padding標記而不是經(jīng)過卷積和LSTM后的特征。原因很簡單卷積會使用padding區(qū)域參與計算LSTM也會處理這些位置此時你看到的不再是原始的0或1而是被網(wǎng)絡填充過的值拿它做mask判斷根本不可靠。我習慣在模型的forward函數(shù)里直接從input_ids ! 0生成掩碼并在Attention打分之前就用masked_fill把padding位置設為負無窮。另外還要注意掩碼的廣播維度attention_scores是batch * seq_len而mask也應該是batch * seq_len編程時不要多出一個維度。如果你發(fā)現(xiàn)加了mask之后效果反而變差了先排查是不是mask把句子中真實的邊界符號當成了padding。比如有些文本里會保留[CLS]、[SEP]這種特殊token這些token不在詞表里會被映射成[UNK]不會被mask掉但如果你想屏蔽它們就要額外構(gòu)造特殊token mask。5.3 隨機種子與可復現(xiàn)性深度學習模型涉及大量隨機初始化、數(shù)據(jù)加載打亂、dropout采樣如果完全不固定隨機種子你會發(fā)現(xiàn)自己每次跑出來的實驗結(jié)果都不一樣這就很難做對比實驗。我在主訓練腳本最前面會固定這些種子torch.manual_seed、numpy.random.seed、random.seed同時設置torch.backends.cudnn.deterministicTrue和torch.backends.cudnn.benchmarkFalse。固定種子的目的是讓同一個實驗具備可復現(xiàn)性但跨實驗對比時不要刻意用一個種子去跑所有模型。更好做法是每個模型在3到5個固定種子上各跑一遍然后取均值和方差。這樣模型之間的效果差異是基于平均表現(xiàn)判斷的結(jié)論更可靠。你還需要注意DataLoader里的shuffleTrue依賴的隨機源和Python的random模塊相關因此random.seed不要漏掉。另外如果你用GPU訓練由于GPU運算的并行特性完全復現(xiàn)比較困難但固定CPU端的種子已經(jīng)能顯著減少波動。5.4 長文本截斷與類別不平衡處理長文本截斷策略上我吃過一次虧。某次任務里句子平均長度在200左右我把max_len設成了128結(jié)果相當一部分關鍵信息被直接截掉了。后來我統(tǒng)計了一下長度分布發(fā)現(xiàn)95%分位點是210于是把max_len改成224效果立刻漲了一大截。我的建議是在做任何模型之前先看一下訓練集的長度分布直方圖確定合理的max_len不要隨手填一個數(shù)。如果截斷后發(fā)現(xiàn)長尾損失嚴重還有兩個變體思路一個是對前128和后128的片段分別做編碼再融合另一個是先用BERT這類模型做片段級編碼再聚合。這兩種方案都比單純拉長max_len更節(jié)省計算資源效果也更穩(wěn)。類別不平衡的問題除了在損失函數(shù)里加權(quán)還可以考慮更簡單的一招按類別比例過采樣小類樣本。注意過采樣時不能簡單地復制樣本要做輕微的文本擾動比如同義詞替換、詞序交換否則模型會記住這些重復樣本的噪聲。6. 常見問題與排查實錄6.1 OOM顯存不夠用怎么辦OOM和顯存不足是最常見的訓練崩潰原因。第一次遇到時先不要急著換小模型按下面的順序排查。最直接的辦法是把batch_size降到16甚至8如果還不行縮短max_len從256減到128這個操作對顯存的削減非常直接再不行可以考慮關閉pin_memory這是DataLoader里的一個參數(shù)。如果以上都試過還是OOM就要考慮是不是Embedding太大。vocab_size20萬、embed_dim300的Embedding層本身就占據(jù)很大的顯存開銷可以縮減詞表或降低embed_dim。還可以啟用梯度累積用兩步累積的梯度模擬一個大的batch_size這樣既可以保持較大等效batch_size又可以控制單步顯存峰值。6.2 loss不下降與梯度異常這個問題的成因很多但如果模型結(jié)構(gòu)本身能正常跑通最常見的原因是學習率不合適。學習率太大loss會在一個高位震蕩下不來學習率太小loss下降非常緩慢。我每次都會在訓練前三個epoch打印loss如果前三個epoch內(nèi)loss完全沒有下降趨勢第一反應就是把學習率調(diào)大或調(diào)小10倍再試。梯度異常還有一種情況Embedding層參數(shù)沒有在更新。如果你檢測到embedding.weight.grad全為零可能是padding_idx0導致該行梯度恒為0但其他詞位不會受影響。如果所有位置梯度都為零就要檢查是不是把requires_gradFalse誤設到了Embedding上。還有一點如果你在模型中添加了太多層深度加深后反向傳播的信號衰減會加劇。某個任務上我把LSTM層數(shù)從1改成3結(jié)果訓練集loss都很難下降就是這個原因。注意觀察各層梯度的范數(shù)如果深層梯度幾乎為0就該考慮加殘差連接或者減少層數(shù)。6.3 預測傾向單一類別模型在驗證集上準確率還行但實際預測時所有樣本幾乎都輸出同一個類別這種情況在類別不平衡數(shù)據(jù)里非常常見。首先檢查訓練集的類別分布如果某個類別占比超過90%那模型很可能會學會“偷懶”策略全部猜大類也能得到一個很高的訓練準確率。解決辦法是前面提到的類別加權(quán)損失、重采樣、或者改用Focal Loss。Focal Loss會降低易分類樣本的權(quán)重讓模型把注意力集中在難分類樣本上對緩解這種單一傾向很有效。不要只盯著驗證集準確率一定要查看混淆矩陣你會發(fā)現(xiàn)模型可能在大類上表現(xiàn)很好小類上幾乎全錯。6.4 過擬合的判斷和處理過擬合最常見的信號是訓練loss持續(xù)下降、驗證loss在某個點后開始上升。這時不需要急著加模型正則可以先嘗試一個更便宜的方案減小模型容量。比如把num_filters從256降到128或者把LSTM的hidden_size從128改成64往往就能止住過擬合趨勢而且對效果的影響不大。如果模型容量已經(jīng)很小還過擬合則說明數(shù)據(jù)量不足以支撐復雜結(jié)構(gòu)。這時候可以考慮增加數(shù)據(jù)增強。文本分類的增強手段不像圖像那么直接但可以用同義詞替換、隨機刪除部分詞、回譯等傳統(tǒng)方法。數(shù)據(jù)量實在有限的情況加載預訓練Embedding通常能帶來最大的提升因為它給模型提供了先驗的語義知識讓模型不容易只死記訓練集的表面模式。7. 后續(xù)還能怎么擴展7.1 從單標簽到多標簽單標簽分類直接使用交叉熵但很多業(yè)務場景其實是多標簽分類一條文本可以同時命中多個標簽比如一篇新聞既屬于體育也屬于人物。這種場景下把模型的輸出維改成標簽總數(shù)然后使用nn.BCEWithLogitsLoss替換交叉熵即可。注意評估指標也要同步從F1變成多標簽F1這個版本在sklearn里也有現(xiàn)成實現(xiàn)。Attention層在多標簽場景下的優(yōu)勢更明顯因為不同標簽關注的重點詞可能完全不同。如果你想讓模型給每個標簽單獨分配注意力權(quán)重可以試試多頭注意力思路每一頭對應一個標簽語義輸出時用各自頭的上下文向量做分類。7.2 與預訓練模型的融合這個模型完全可以用作預訓練模型的下游增強層。比如用BERT對輸入文本編碼得到每個位置的向量表示然后把BERT的輸出接入這里的CNN-BiLSTM-Attention層。這樣做的好處是既利用了預訓練模型強大的語義理解能力又通過CNN和LSTM對局部特征和序列依賴做了二次提煉。代價是訓練時間成倍增加。我的建議是先從凍結(jié)BERT權(quán)重開始做實驗先只訓練下游結(jié)構(gòu)后續(xù)再解凍部分底層做微調(diào)。如果效果提升不顯著就保持凍結(jié)狀態(tài)訓練速度快部署成本也低。7.3 位置編碼與多頭注意力如果把Attention層升級成多頭版本模型并行關注不同子空間的能力會更強。你可以把hidden_size * 2的向量切分成多組分別計算注意力權(quán)重再拼接起來。這種做法接近Transformer的概念但整體計算量仍然遠小于完整的Transformer。另外標準Transformer里的位置編碼也可以被引入到這里。原本LSTM本身具備一定的位置感知能力但CNN和Attention并不感知詞順序加入正弦位置編碼能進一步補足這個信息。這也是一個低成本、高收益的擴展方向。我自己曾經(jīng)在某個短文本任務里加過一次位置編碼效果提升非常微弱但在長文本任務里提升會更明顯一些。做完整個項目之后我對這個模型的體會是它不是一個炫技式的結(jié)構(gòu)而是一個把局部特征、序列依賴和關鍵信息選擇三種能力融合得很均衡的方案。如果你把它當成一個基本功認真把數(shù)據(jù)處理、維度對齊、調(diào)參策略這些環(huán)節(jié)都走一遍再去看更復雜的預訓練模型時理解起來會輕松很多。最后再分享一個小技巧當你發(fā)現(xiàn)效果不太理想時不要急著換模型先去看Attention權(quán)重到底集中在哪些詞上很多時候模型的錯誤原因一目了然改數(shù)據(jù)比改結(jié)構(gòu)更有效。