簡介這份資源是面向Python初學(xué)者與高校學(xué)生的情感分析實(shí)戰(zhàn)項(xiàng)目源碼包以IMDB電影評論數(shù)據(jù)為語料幫助讀者完成從文本清洗到分類預(yù)測的完整流程適合用作畢業(yè)設(shè)計(jì)、期末大作業(yè)或NLP入門練手。壓縮包共9個文件包含8個py腳本與1個md說明文檔整體約9KB體積輕便。代碼按模塊拆分分詞清洗、句子切分、word2vec詞向量訓(xùn)練、平均特征向量構(gòu)造以及基于RandomForest的評論情感分類測試另有K-means與詞袋相關(guān)腳本作為擴(kuò)展參考。項(xiàng)目已通過導(dǎo)師指導(dǎo)與嚴(yán)格調(diào)試可正常運(yùn)行讀者能借此掌握文本預(yù)處理、詞向量表示與機(jī)器學(xué)習(xí)分類的串聯(lián)思路并對照說明文檔理解各腳本職責(zé)與調(diào)用關(guān)系。目前已有497人學(xué)習(xí)下載適合需要一份結(jié)構(gòu)清晰、可直接復(fù)用的情感分析參考實(shí)現(xiàn)的學(xué)習(xí)者。1. 從一份 IMDB 影評壓縮包說起情感分析到底在做什么拿到「python實(shí)現(xiàn)基于IMDB電影評論數(shù)據(jù)進(jìn)行情感分析源碼說明.zip」這個標(biāo)題很多人第一反應(yīng)是去搜 python 安裝教程、vscode python 環(huán)境配置把環(huán)境折騰半天結(jié)果解壓完源碼發(fā)現(xiàn)跑不起來或者跑起來只有一行準(zhǔn)確率數(shù)字完全不知道模型學(xué)到了什么。我當(dāng)年第一次做 IMDB 情感分析也是這樣把 50000 條影評喂進(jìn)去出來一個 0.88 的準(zhǔn)確率然后呢沒有然后了。這份標(biāo)題背后真正要解決的事是把「一段英文影評到底是好評還是差評」變成一個可復(fù)現(xiàn)的二分類工程從原始文本清洗、分詞、向量化到模型訓(xùn)練、評估、再到單條評論推理。它適合三類人剛學(xué)完 python 語法想找個完整項(xiàng)目練手的入門者、需要把情感分析遷移到美團(tuán)評論或影視彈幕場景的從業(yè)者、以及想搞清楚「多模態(tài)情感分析」里文本這一路到底怎么打底的人。IMDB 數(shù)據(jù)集之所以經(jīng)典是因?yàn)樗蓛?、平衡、?biāo)注明確25000 條訓(xùn)練加 25000 條測試正負(fù)各半沒有中間態(tài)是驗(yàn)證文本分類 pipeline 的最佳試驗(yàn)田。這一章先把這件事講清楚后面再動手。2. 數(shù)據(jù)到手先別急著建模IMDB 的加載、清洗與標(biāo)簽對齊2.1 為什么 IMDB 要用「目錄即標(biāo)簽」的方式讀IMDB 數(shù)據(jù)集最常見的分發(fā)形式是 aclImdb 目錄結(jié)構(gòu)train 和 test 下各有 pos 和 neg 兩個子目錄每個子目錄里是一堆以編號命名的 .txt 文件。這種結(jié)構(gòu)的好處是標(biāo)簽直接由目錄名決定不需要額外讀 csv 或 json。很多人拿到壓縮包后直接pd.read_csv結(jié)果報(bào)錯就是因?yàn)闆]意識到它是文件樹而不是表格。我一般會先寫一個遍歷函數(shù)把路徑和標(biāo)簽配對再統(tǒng)一讀進(jìn)內(nèi)存。下面這段代碼是加載的核心注意編碼用 utf-8遇到個別文件有 BOM 頭要處理。import os import glob def load_imdb(data_dir): 遍歷 aclImdb 目錄返回文本列表和標(biāo)簽列表 texts, labels [], [] for split in [train, test]: for label_type in [pos, neg]: # 目錄名 pos 對應(yīng)標(biāo)簽 1neg 對應(yīng) 0 folder os.path.join(data_dir, split, label_type) for fp in glob.glob(os.path.join(folder, *.txt)): with open(fp, r, encodingutf-8, errorsignore) as f: texts.append(f.read()) labels.append(1 if label_type pos else 0) return texts, labels texts, labels load_imdb(./aclImdb) print(len(texts), sum(labels) / len(labels)) # 期望 50000 和 0.5邏輯說明glob.glob按目錄批量取文件errorsignore防止個別臟字節(jié)讓整個讀取崩掉。參數(shù)上data_dir指向解壓后的 aclImdb 根目錄不要指到 train 里面。標(biāo)簽對齊是這一步最容易翻車的地方pos 必須映射成 1neg 映射成 0一旦反了后面準(zhǔn)確率會穩(wěn)定在 0.1 左右你還以為是模型問題。2.2 清洗到什么程度才夠HTML 標(biāo)簽、標(biāo)點(diǎn)與大小寫IMDB 影評里混著大量br /換行標(biāo)簽這是從網(wǎng)頁抓取留下的。如果不處理分詞時(shí)br和/會變成獨(dú)立 token污染詞表。常見做法是用正則把 HTML 標(biāo)簽干掉再把連續(xù)空白壓成一個空格。標(biāo)點(diǎn)要不要去取決于你后面用什么模型如果用 TF-IDF 加傳統(tǒng)分類器標(biāo)點(diǎn)基本可以保留因?yàn)?和?本身帶情感信號如果用詞袋模型去掉標(biāo)點(diǎn)能減小詞表。大小寫統(tǒng)一成小寫是常規(guī)操作但要注意US和us這種縮寫會被誤傷IMDB 場景下影響很小可以接受。import re def clean_text(text): text re.sub(r[^], , text) # 去 HTML 標(biāo)簽 text re.sub(r\s, , text) # 壓縮空白 text text.strip().lower() # 去首尾空白并小寫 return text texts [clean_text(t) for t in texts]參數(shù)說明[^]匹配任意尖括號內(nèi)容能覆蓋br /和a href...。\s換成單空格是為了后續(xù)按空格切詞時(shí)不會產(chǎn)生空 token。清洗完建議抽一條打印看看確認(rèn)沒有殘留的br字樣。這一步花五分鐘能省掉后面調(diào)參時(shí)兩小時(shí)的困惑。2.3 訓(xùn)練測試劃分的坑別在已經(jīng)分好的數(shù)據(jù)上再切一刀IMDB 官方已經(jīng)給了 train 和 test 各 25000 條但很多人習(xí)慣性再調(diào)一次train_test_split把 train 又切出驗(yàn)證集。這本身沒錯錯的是切完之后忘了固定隨機(jī)種子導(dǎo)致每次跑出來的驗(yàn)證集不一樣準(zhǔn)確率忽高忽低還以為是模型不穩(wěn)定。我一般會從 train 里切 20% 做驗(yàn)證random_state42寫死test 集全程不碰只在最后評估用一次。如果你把 test 也拿去調(diào)參那最終報(bào)出來的數(shù)字就是自欺欺人上線到真實(shí)影評上會掉好幾個點(diǎn)。提示驗(yàn)證集用于選模型和調(diào)參測試集只在最后跑一次。這個紀(jì)律在 IMDB 這種小數(shù)據(jù)集上尤其重要因?yàn)?25000 條很容易過擬合。3. 從詞袋到詞向量文本表示的三條路線怎么選3.1 TF-IDF 加邏輯回歸十分鐘能跑通的下限方案如果你只想先看到結(jié)果TF-IDF 加 LogisticRegression 是最穩(wěn)的起點(diǎn)。TF-IDF 把每條影評變成一個稀疏向量詞的重要性由詞頻和逆文檔頻率共同決定常見詞如 the、a 權(quán)重被壓低情感詞如 terrible、brilliant 權(quán)重被抬高。scikit-learn 的TfidfVectorizer一行就能搞定配合LogisticRegression在 IMDB 上通常能到 0.88 到 0.89 的準(zhǔn)確率。這個方案的價(jià)值在于快CPU 上幾分鐘跑完適合驗(yàn)證數(shù)據(jù) pipeline 有沒有問題。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score vectorizer TfidfVectorizer(max_features20000, ngram_range(1, 2)) X_train vectorizer.fit_transform(train_texts) X_val vectorizer.transform(val_texts) clf LogisticRegression(max_iter1000) clf.fit(X_train, train_labels) pred clf.predict(X_val) print(accuracy_score(val_labels, pred))參數(shù)說明max_features20000控制詞表大小太大容易過擬合且內(nèi)存吃緊太小會丟信息20000 是 IMDB 上的常用值。ngram_range(1, 2)表示同時(shí)用單詞和雙詞組合not good這種否定結(jié)構(gòu)能被捕捉到比只用單詞高約 1 個點(diǎn)。max_iter1000是因?yàn)?TF-IDF 特征維度高默認(rèn) 100 次可能不收斂。注意fit_transform只在訓(xùn)練集上做驗(yàn)證集和測試集必須用transform否則詞表會泄露。3.2 詞向量加 LSTM把語序信息用起來TF-IDF 的硬傷是丟語序dog bites man和man bites dog在它眼里一樣。要捕捉語序就得用序列模型。常見做法是先用 Keras 的Tokenizer把文本轉(zhuǎn)成整數(shù)序列再用Embedding層把每個詞映射成稠密向量最后接 LSTM。Embedding 可以從零訓(xùn)練也可以加載預(yù)訓(xùn)練的 GloVe后者在小數(shù)據(jù)集上提升明顯。IMDB 有 25000 條訓(xùn)練從零訓(xùn)練詞向量也能work但加載 GloVe 100 維通常能再漲 2 到 3 個點(diǎn)。from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences MAX_WORDS 20000 MAX_LEN 200 tokenizer Tokenizer(num_wordsMAX_WORDS, oov_tokenOOV) tokenizer.fit_on_texts(train_texts) seq_train tokenizer.texts_to_sequences(train_texts) X_train pad_sequences(seq_train, maxlenMAX_LEN, paddingpost, truncatingpost)參數(shù)說明num_words20000只保留最高頻的 20000 個詞低頻詞統(tǒng)一成 OOV。maxlen200是截?cái)嚅L度IMDB 影評平均 230 詞左右取 200 能覆蓋大部分取太長會拖慢訓(xùn)練。paddingpost在末尾補(bǔ)零truncatingpost從末尾截?cái)鄡烧弑３忠恢卤苊庑蛄星昂蠡靵y。oov_token必須顯式指定否則測試集里的生詞會被直接丟掉導(dǎo)致序列變短、位置錯亂。3.3 預(yù)訓(xùn)練詞向量加載GloVe 文件怎么對齊詞表GloVe 的 glove.6B.100d.txt 每行是「詞 向量值...」加載時(shí)要建一個詞到向量的字典再按 tokenizer 的 word_index 逐行填進(jìn) Embedding 矩陣。沒命中的詞用隨機(jī)小值初始化。這一步的坑在于 word_index 是從 1 開始的0 留給 padding所以矩陣第 0 行要全零。import numpy as np embeddings_index {} with open(glove.6B.100d.txt, encodingutf-8) as f: for line in f: values line.split() embeddings_index[values[0]] np.asarray(values[1:], dtypefloat32) embedding_matrix np.zeros((MAX_WORDS, 100)) for word, i in tokenizer.word_index.items(): if i MAX_WORDS: continue vec embeddings_index.get(word) if vec is not None: embedding_matrix[i] vec邏輯說明word_index里詞頻高的排前面i MAX_WORDS的直接跳過保證矩陣行數(shù)和詞表一致。embedding_matrix[0]保持全零對應(yīng) padding。加載后在模型里用Embedding(MAX_WORDS, 100, weights[embedding_matrix], trainableFalse)前幾個 epoch 凍結(jié)后面再解凍微調(diào)這是常見做法。4. 模型訓(xùn)練與評估準(zhǔn)確率之外還要看什么4.1 訓(xùn)練曲線怎么讀過擬合的三個信號LSTM 訓(xùn)練時(shí)如果訓(xùn)練準(zhǔn)確率一路漲到 0.98驗(yàn)證準(zhǔn)確率卡在 0.86 不動這就是典型過擬合。三個信號要盯訓(xùn)練和驗(yàn)證的 loss 差距持續(xù)擴(kuò)大、驗(yàn)證 loss 開始上升、驗(yàn)證準(zhǔn)確率連續(xù)多個 epoch 不漲。應(yīng)對手段按優(yōu)先級排先加 Dropout再減模型容量最后才考慮加數(shù)據(jù)。IMDB 只有 25000 條LSTM 隱藏單元設(shè) 64 到 128 就夠設(shè) 256 以上很容易過擬合。from tensorflow.keras import layers, models model models.Sequential([ layers.Embedding(MAX_WORDS, 100, weights[embedding_matrix], trainableFalse), layers.Bidirectional(layers.LSTM(64, return_sequencesFalse)), layers.Dropout(0.5), layers.Dense(1, activationsigmoid) ]) model.compile(optimizeradam, lossbinary_crossentropy, metrics[accuracy]) history model.fit(X_train, train_labels, epochs5, batch_size64, validation_data(X_val, val_labels))參數(shù)說明Bidirectional讓 LSTM 同時(shí)從前往后和從后往前讀情感分析里后面的轉(zhuǎn)折詞很關(guān)鍵雙向通常比單向高 1 到 2 個點(diǎn)。Dropout(0.5)是 LSTM 后的常規(guī)配置再高會欠擬合。batch_size64在 25000 條上大約 390 步一個 epoch顯存和速度平衡。epochs5配合早停實(shí)際跑的時(shí)候加EarlyStopping(patience2)更穩(wěn)。4.2 混淆矩陣比準(zhǔn)確率更能說明問題準(zhǔn)確率 0.88 聽起來不錯但如果模型把差評全預(yù)測成好評只是碰巧正負(fù)各半準(zhǔn)確率也有 0.5。要看混淆矩陣確認(rèn)正負(fù)兩類的召回率是否均衡。IMDB 上常見的情況是負(fù)類召回略低因?yàn)椴钤u里反諷多模型抓不住。如果負(fù)類召回明顯低于正類可以考慮在損失函數(shù)里給負(fù)類加權(quán)或者檢查訓(xùn)練集里負(fù)類是不是被清洗步驟誤傷了。from sklearn.metrics import confusion_matrix, classification_report pred_prob model.predict(X_val) pred (pred_prob 0.5).astype(int) print(confusion_matrix(val_labels, pred)) print(classification_report(val_labels, pred, target_names[neg, pos]))邏輯說明pred_prob 0.5是二分類默認(rèn)閾值如果業(yè)務(wù)上更怕漏掉差評可以把閾值降到 0.4提高負(fù)類召回。classification_report會給出每類的 precision、recall、f1比單一準(zhǔn)確率信息量大得多。這一步跑完你才知道模型到底能不能用。4.3 單條推理把訓(xùn)練好的 pipeline 封成函數(shù)訓(xùn)練完模型不是終點(diǎn)能對一條新影評給出預(yù)測才算落地。推理時(shí)要復(fù)用訓(xùn)練時(shí)的清洗、分詞、padding 邏輯任何一步不一致都會導(dǎo)致結(jié)果漂移。我一般把這幾步封成一個predict_sentiment函數(shù)輸入原始字符串輸出標(biāo)簽和概率。def predict_sentiment(text, tokenizer, model, max_len200): text clean_text(text) seq tokenizer.texts_to_sequences([text]) padded pad_sequences(seq, maxlenmax_len, paddingpost, truncatingpost) prob model.predict(padded, verbose0)[0][0] return (pos if prob 0.5 else neg), float(prob) print(predict_sentiment(This movie is a masterpiece, I loved every minute., tokenizer, model))參數(shù)說明verbose0關(guān)掉 predict 的進(jìn)度條單條推理時(shí)更干凈。返回概率方便業(yè)務(wù)側(cè)設(shè)閾值。注意clean_text必須和訓(xùn)練時(shí)完全一致少一步 lower 或者多一步去標(biāo)點(diǎn)都可能讓同一條評論的預(yù)測翻轉(zhuǎn)。5. 避坑與排查IMDB 情感分析最常見的五個翻車點(diǎn)5.1 準(zhǔn)確率穩(wěn)定在 0.5 或 0.1標(biāo)簽映射反了現(xiàn)象模型訓(xùn)練 loss 不降或者驗(yàn)證準(zhǔn)確率一直在 0.5 附近偶爾出現(xiàn) 0.1。原因pos 和 neg 的標(biāo)簽映射寫反或者load_imdb里 split 順序?qū)е?train 和 test 混在一起。解決打印前 10 條文本和對應(yīng)標(biāo)簽人工確認(rèn) pos 目錄的文本確實(shí)是好評。再檢查labels.append那行1 和 0 有沒有寫反。這個坑我踩過兩次每次都是因?yàn)閺?fù)制粘貼時(shí)沒改。5.2 驗(yàn)證集準(zhǔn)確率遠(yuǎn)高于測試集數(shù)據(jù)泄露現(xiàn)象驗(yàn)證集 0.92測試集只有 0.85。原因TfidfVectorizer或Tokenizer在全部數(shù)據(jù)上fit詞表里包含了測試集的詞頻信息。解決vectorizer 和 tokenizer 只在訓(xùn)練集上 fit驗(yàn)證集和測試集一律用 transform。檢查代碼里有沒有fit_transform(all_texts)這種寫法有就改成先切分再 fit。5.3 訓(xùn)練時(shí) loss 變成 nan學(xué)習(xí)率或序列長度問題現(xiàn)象LSTM 訓(xùn)練幾個 batch 后 loss 變 nan。原因?qū)W習(xí)率太大或者序列 padding 后長度過長導(dǎo)致梯度爆炸。解決把 Adam 的學(xué)習(xí)率從默認(rèn) 0.001 降到 0.0005加clipnorm1.0梯度裁剪。序列長度從 500 降到 200 也能緩解。如果用的是 GloVe 且 trainableTrue前幾個 epoch 先凍結(jié)等 loss 穩(wěn)定再解凍。5.4 推理時(shí)結(jié)果和訓(xùn)練時(shí)對不上預(yù)處理不一致現(xiàn)象同一條評論在測試集里預(yù)測正確單獨(dú)推理卻錯了。原因推理時(shí)的清洗、分詞、padding 和訓(xùn)練時(shí)不一致最常見的是忘了 lower 或者 padding 方向反了。解決把預(yù)處理邏輯抽成一個函數(shù)訓(xùn)練和推理都調(diào)它不要在兩處各寫一遍。padding 的post和pre必須和訓(xùn)練時(shí)一致截?cái)喾较蛲怼?.5 內(nèi)存爆掉詞表太大或 batch 太大現(xiàn)象跑 TF-IDF 時(shí)內(nèi)存占用飆升或者 LSTM 訓(xùn)練時(shí) OOM。原因max_features設(shè)得太大或者batch_size超過顯存。解決TF-IDF 的max_features控制在 20000 到 50000LSTM 的batch_size從 64 往下調(diào)32 不行就 16。另外Embedding矩陣用 float32別用 float64能省一半內(nèi)存。6. 把 IMDB 方案遷移到自己的數(shù)據(jù)三個可復(fù)用的技巧6.1 用主動學(xué)習(xí)挑出最值得標(biāo)注的樣本IMDB 是現(xiàn)成標(biāo)注但真實(shí)業(yè)務(wù)里標(biāo)注成本高。一個實(shí)用技巧是先用少量標(biāo)注數(shù)據(jù)訓(xùn)一個基線模型對未標(biāo)注數(shù)據(jù)預(yù)測概率挑出概率在 0.4 到 0.6 之間的「模型拿不準(zhǔn)」的樣本優(yōu)先標(biāo)注。這批樣本信息量最大通常標(biāo) 500 條就能讓準(zhǔn)確率漲 3 到 5 個點(diǎn)。實(shí)現(xiàn)上就是把predict_proba的結(jié)果按接近 0.5 的程度排序取前 N 條送標(biāo)。import numpy as np probs model.predict(unlabeled_padded, verbose0).flatten() uncertainty np.abs(probs - 0.5) idx np.argsort(uncertainty)[:500] # 最接近 0.5 的 500 條參數(shù)說明np.abs(probs - 0.5)越小說明模型越猶豫argsort升序取前 500。這個策略在類別不平衡時(shí)要注意別全挑到多數(shù)類可以按預(yù)測類別分層抽樣。6.2 領(lǐng)域詞表微調(diào)把「美團(tuán)情感分析」這類場景的詞加進(jìn)去IMDB 的詞表和真實(shí)業(yè)務(wù)詞表有差距比如外賣評論里的「配送慢」「包裝好」在 IMDB 里沒有。遷移時(shí)可以把業(yè)務(wù)高頻詞手動加進(jìn) tokenizer 的詞表或者用業(yè)務(wù)數(shù)據(jù)繼續(xù)預(yù)訓(xùn)練詞向量。更省事的做法是保留 IMDB 預(yù)訓(xùn)練的 Embedding只解凍最后幾層用業(yè)務(wù)數(shù)據(jù)微調(diào) 2 到 3 個 epoch。這樣既保留了通用情感知識又適配了領(lǐng)域表達(dá)。6.3 閾值調(diào)優(yōu)不同業(yè)務(wù)對漏報(bào)和誤報(bào)的容忍度不一樣IMDB 默認(rèn) 0.5 閾值但業(yè)務(wù)上往往不是。比如影視輿情監(jiān)控更怕漏掉差評可以把閾值降到 0.35寧可誤報(bào)也不漏報(bào)而電商好評篩選更怕把差評當(dāng)好評閾值可以提到 0.6。調(diào)閾值不需要重訓(xùn)模型拿驗(yàn)證集的概率排序畫一條 precision-recall 曲線按業(yè)務(wù)目標(biāo)選點(diǎn)就行。這一步花十分鐘效果比調(diào)模型結(jié)構(gòu)還直接。我自己的習(xí)慣是每做完一個情感分析項(xiàng)目先把推理函數(shù)和閾值配置寫進(jìn)一個單獨(dú)的inference.py訓(xùn)練腳本和推理腳本徹底分開。這樣下次換數(shù)據(jù)、換閾值只動推理側(cè)不用碰訓(xùn)練代碼。IMDB 這個數(shù)據(jù)集我前后跑過七八次每次翻車都翻在預(yù)處理不一致和標(biāo)簽映射上模型結(jié)構(gòu)反而很少出問題。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取