簡(jiǎn)介2025年華中杯C題“就業(yè)狀態(tài)分析與預(yù)測(cè)”參賽作品word版圍繞宜昌地區(qū)5000名樣本就業(yè)數(shù)據(jù)面向數(shù)據(jù)分析、機(jī)器學(xué)習(xí)建模及人力資源領(lǐng)域的讀者。內(nèi)容完整覆蓋就業(yè)特征分析、狀態(tài)預(yù)測(cè)、模型優(yōu)化與人崗匹配四個(gè)任務(wù)先以KMeans聚類(lèi)識(shí)別出25-35歲、女性和中等學(xué)歷群體失業(yè)風(fēng)險(xiǎn)較高再基于9個(gè)顯著特征構(gòu)建XGBoost模型經(jīng)欠采樣后測(cè)試集準(zhǔn)確率91.8%、F1值91.1%引入CPI、GDP增速和崗位供給指數(shù)后準(zhǔn)確率提升至97.6%、F1值94.2%最終通過(guò)余弦相似度構(gòu)建人崗匹配模型為失業(yè)者推薦Top-N崗位。包體為1個(gè)docx文檔約860KB含數(shù)據(jù)預(yù)處理、四問(wèn)建模代碼及附錄圖表文檔從問(wèn)題重述、模型假設(shè)到數(shù)據(jù)清洗與各問(wèn)求解均有詳述。已有321人瀏覽學(xué)習(xí)適合需要系統(tǒng)掌握特征選擇、模型評(píng)估與優(yōu)化策略的競(jìng)賽參與者。1. 就業(yè)狀態(tài)預(yù)測(cè)不是玄學(xué)從華中杯C題看一份能復(fù)現(xiàn)的分析流程每年華中杯C題都偏向社會(huì)經(jīng)濟(jì)數(shù)據(jù)2025年的就業(yè)狀態(tài)分析與預(yù)測(cè)同樣如此。拿到題的第一反應(yīng)是“這不就是做個(gè)分類(lèi)”實(shí)際跑起來(lái)才發(fā)現(xiàn)難點(diǎn)不在模型而在你如何定義“就業(yè)狀態(tài)”、如何處理問(wèn)卷數(shù)據(jù)里的缺失和偏差、如何讓預(yù)測(cè)結(jié)果在word版報(bào)告里站得住腳。是預(yù)測(cè)三個(gè)月后是否在職還是預(yù)測(cè)雇傭類(lèi)型定義不同特征和評(píng)價(jià)指標(biāo)就完全不同。這里按我實(shí)際做這類(lèi)題目的順序把問(wèn)題定義、數(shù)據(jù)清洗、特征構(gòu)造、建模調(diào)參到報(bào)告輸出拆成可直接照做的流程適合有Python基礎(chǔ)但沒(méi)完整跑過(guò)競(jìng)賽題的讀者也適合想把這套方法遷移到人力資源分析上的從業(yè)者。2. 把題目翻譯成建模任務(wù)就業(yè)狀態(tài)分析與預(yù)測(cè)到底在預(yù)測(cè)什么2.1 先讀題分類(lèi)還是回歸預(yù)測(cè)窗口怎么定讀題第一件事不是寫(xiě)代碼而是確認(rèn)題目要你預(yù)測(cè)的是什么。就業(yè)狀態(tài)在大多數(shù)賽題里是離散標(biāo)簽比如“已就業(yè)”“待業(yè)”“失業(yè)”“靈活就業(yè)”對(duì)應(yīng)多分類(lèi)任務(wù)但有些題目會(huì)把結(jié)果定義成“就業(yè)月收入”或“失業(yè)持續(xù)時(shí)間”那就變成了回歸。把這個(gè)問(wèn)題搞錯(cuò)后面所有特征工程和模型選型都會(huì)跑偏。我拿到題后會(huì)先做三件事第一找到目標(biāo)列的名稱(chēng)和取值說(shuō)明確認(rèn)它是字符串還是數(shù)值第二確認(rèn)預(yù)測(cè)窗口也就是用哪些時(shí)間點(diǎn)的特征去預(yù)測(cè)哪個(gè)時(shí)間點(diǎn)的狀態(tài)第三確認(rèn)提交格式華中杯通常要求輸出一個(gè)概率表或類(lèi)別表。這三件事都會(huì)影響數(shù)據(jù)劃分方式也會(huì)影響word版報(bào)告里“問(wèn)題重述”部分的寫(xiě)法。import pandas as pd df pd.read_excel(train.xlsx, sheet_name0) print(字段列表, df.columns.tolist()) print(目標(biāo)分布) print(df[employment_status].value_counts(dropnaFalse))這段代碼用來(lái)建立對(duì)數(shù)據(jù)的初步認(rèn)知。value_counts(dropnaFalse)會(huì)把缺失值單獨(dú)統(tǒng)計(jì)出來(lái)避免你漏看“未填寫(xiě)就業(yè)狀態(tài)”的樣本。如果目標(biāo)分布里某一個(gè)類(lèi)別占比超過(guò)80%后面就要重點(diǎn)處理類(lèi)別不平衡而不是直接套accuracy。預(yù)測(cè)窗口的常見(jiàn)坑是把測(cè)試集的預(yù)測(cè)時(shí)點(diǎn)搞錯(cuò)。比如題目說(shuō)用2024年問(wèn)卷數(shù)據(jù)預(yù)測(cè)2025年6月的就業(yè)狀態(tài)那特征只能取自2024年及之前任何2025年產(chǎn)生的字段都不能出現(xiàn)在特征里。這個(gè)原則我在第五章避坑指南里會(huì)專(zhuān)門(mén)展開(kāi)。2.2 特征與標(biāo)簽的邊界沒(méi)有“就業(yè)狀態(tài)”這一列怎么辦有的賽題不會(huì)直接給你一個(gè)干凈的標(biāo)簽列而是給一系列細(xì)分字段比如“是否有工作”“是否在求職”“工作性質(zhì)”。這時(shí)候需要自己做標(biāo)簽定義。我的做法是寫(xiě)一個(gè)可解釋的規(guī)則函數(shù)把字段組合成最終標(biāo)簽并在word版報(bào)告里明確寫(xiě)出這個(gè)口徑因?yàn)樵u(píng)委評(píng)分時(shí)會(huì)檢查你的定義是否合理。def build_label(row): if row[has_job] 1: return employed if row[has_job] 0 and row[job_hunting] 1: return unemployed if row[has_job] 0 and row[job_hunting] 0: return inactive return unknown df[target] df.apply(build_label, axis1)這里的分支順序很重要先判斷是否有工作再判斷是否求職。如果把“求職中”放在最前面會(huì)把“有工作但也在看機(jī)會(huì)”的人誤判成失業(yè)。標(biāo)簽構(gòu)造完成后要檢查每個(gè)類(lèi)別的樣本量如果某個(gè)類(lèi)別只有幾十個(gè)樣本建議合并成“其他”類(lèi)不然模型根本學(xué)不到模式。標(biāo)簽構(gòu)造的另一個(gè)細(xì)節(jié)是類(lèi)別順序。如果你最后用LightGBM標(biāo)簽是字符串還是整數(shù)影響不大如果用sklearn的metrics字符串標(biāo)簽也沒(méi)問(wèn)題。但提交word版報(bào)告時(shí)最好附一張“標(biāo)簽口徑對(duì)照表”把每個(gè)類(lèi)別的含義、判定規(guī)則、樣本量列清楚這比寫(xiě)一大段文字更直觀。2.3 評(píng)價(jià)指標(biāo)選型為什么只看準(zhǔn)確率會(huì)翻車(chē)就業(yè)狀態(tài)數(shù)據(jù)里“已就業(yè)”往往是多數(shù)類(lèi)可能占70%以上。一個(gè)把所有樣本都預(yù)測(cè)成“已就業(yè)”的模型準(zhǔn)確率也有70%但沒(méi)有任何使用價(jià)值。競(jìng)賽和實(shí)際業(yè)務(wù)里更關(guān)注的是能不能把“就業(yè)困難群體”找出來(lái)這就需要看少數(shù)類(lèi)的召回率。我在這類(lèi)題目里默認(rèn)把宏平均F1作為主要指標(biāo)它把每個(gè)類(lèi)別當(dāng)成平等的個(gè)體再平均少數(shù)類(lèi)表現(xiàn)差會(huì)直接拉低總分?jǐn)?shù)。如果題目要求識(shí)別就業(yè)困難群體我還會(huì)額外標(biāo)注“待業(yè)”類(lèi)的召回率。下面這個(gè)表格可以直接放進(jìn)word版報(bào)告指標(biāo)計(jì)算口徑適用場(chǎng)景accuracy預(yù)測(cè)正確的樣本占比各類(lèi)別均衡時(shí)才有參考價(jià)值macro-F1每個(gè)類(lèi)別F1的算術(shù)平均多分類(lèi)不均衡時(shí)的主指標(biāo)weighted-F1按樣本量加權(quán)的F1平均更貼近業(yè)務(wù)真實(shí)分布recall少數(shù)類(lèi)少數(shù)類(lèi)中被正確預(yù)測(cè)的比例就業(yè)幫扶、失業(yè)預(yù)警場(chǎng)景指標(biāo)選定后交叉驗(yàn)證的 scoring 參數(shù)要跟著改不能默認(rèn)用accuracy。我用GridSearchCV時(shí)會(huì)把scoring設(shè)為f1_macro這樣調(diào)參過(guò)程也聚焦在少數(shù)類(lèi)表現(xiàn)上而不是被多數(shù)類(lèi)帶偏。3. 數(shù)據(jù)清洗與特征工程就業(yè)狀態(tài)預(yù)測(cè)的前置戰(zhàn)場(chǎng)3.1 缺失值與異常值處理人口學(xué)字段的常見(jiàn)臟數(shù)據(jù)就業(yè)類(lèi)數(shù)據(jù)多來(lái)自問(wèn)卷或統(tǒng)計(jì)臺(tái)賬臟數(shù)據(jù)集中在年齡、學(xué)歷、工作年限這幾個(gè)字段。年齡出現(xiàn)0、負(fù)數(shù)學(xué)歷字段混雜著“本科”“本科在讀”“學(xué)士”等不同寫(xiě)法工作年限大于年齡都是實(shí)際跑數(shù)據(jù)時(shí)常碰到的問(wèn)題。不要一上來(lái)就用模型自動(dòng)填充先做一輪人工規(guī)則清洗讓字段進(jìn)入可建模狀態(tài)。我的標(biāo)準(zhǔn)處理順序是先看每個(gè)字段的缺失率再區(qū)分連續(xù)值和有序分類(lèi)值分別制定填充策略。年齡、社保繳納月數(shù)這類(lèi)連續(xù)值用中位數(shù)填充學(xué)歷、單位性質(zhì)這類(lèi)分類(lèi)值用眾數(shù)填充同時(shí)單獨(dú)加一列“該字段是否缺失”的布爾標(biāo)記。這個(gè)缺失標(biāo)記列在很多樹(shù)模型里能提升效果它捕捉了“填表人不愿意透露某項(xiàng)信息”的隱藏模式。df[age] pd.to_numeric(df[age], errorscoerce) df.loc[(df[age] 16) | (df[age] 65), age] pd.NA df[age] df[age].fillna(df[age].median()) df[education_missing] df[education].isna().astype(int) df[education] df[education].fillna(df[education].mode()[0])pd.to_numeric(errorscoerce)會(huì)把“25歲”“25 ”這類(lèi)文本轉(zhuǎn)成數(shù)值轉(zhuǎn)換不了的變成缺失。年齡限制在16到65是符合勞動(dòng)力統(tǒng)計(jì)口徑的超出范圍視為異常并交給中位數(shù)兜底。這里要注意fillna和mode()組合時(shí)如果mode()返回的是Series加上[0]取第一個(gè)眾數(shù)避免報(bào)錯(cuò)。3.2 特征編碼與構(gòu)造學(xué)歷、專(zhuān)業(yè)、地域怎么喂給模型學(xué)歷有天然順序初中到博士是遞進(jìn)關(guān)系適合映射成有序整數(shù)專(zhuān)業(yè)沒(méi)有順序只能做one-hot或目標(biāo)編碼。很多新手把所有分類(lèi)特征都丟進(jìn)get_dummies結(jié)果專(zhuān)業(yè)類(lèi)別有幾百個(gè)特征矩陣膨大模型訓(xùn)練變慢還過(guò)擬合。我的做法是先看類(lèi)別數(shù)量小于20個(gè)的做one-hot大于20個(gè)的考慮目標(biāo)編碼或按業(yè)務(wù)合并。education_order {初中: 1, 高中: 2, 大專(zhuān): 3, 本科: 4, 碩士: 5, 博士: 6} df[education_ord] df[education].map(education_order) top_majors df[major].value_counts().head(10).index df[major_group] df[major].apply(lambda x: x if x in top_majors else 其他) df pd.get_dummies(df, columns[major_group], prefixmajor)學(xué)歷映射成有序整數(shù)后模型能利用“本科層次高于大專(zhuān)”的順序信息但要注意映射表不能出現(xiàn)遺漏比如原始數(shù)據(jù)里的“研究生”和“碩士”是兩種寫(xiě)法要先統(tǒng)一。專(zhuān)業(yè)字段只保留出現(xiàn)次數(shù)最多的前10個(gè)其他并成“其他”這樣one-hot之后的維度可控又不會(huì)丟失太多信息。地域字段我一般會(huì)構(gòu)造業(yè)務(wù)特征而不是直接編碼。比如把省份映射到東部/中部/西部或者構(gòu)造“是否本地戶(hù)籍”“是否在省會(huì)城市”這類(lèi)二值特征。原因很簡(jiǎn)單就業(yè)狀態(tài)和區(qū)域經(jīng)濟(jì)水平直接相關(guān)但one-hot省份會(huì)分散到幾十個(gè)維度樹(shù)模型很難從里面學(xué)到有效規(guī)律。3.3 時(shí)間特征與平衡處理預(yù)測(cè)未來(lái)狀態(tài)必須注意的泄漏如果數(shù)據(jù)里有畢業(yè)年份、調(diào)查月份這類(lèi)時(shí)間字段可以構(gòu)造“畢業(yè)到調(diào)查的時(shí)間間隔”。但這個(gè)間隔要小心如果題目已經(jīng)用這個(gè)間隔定義了標(biāo)簽比如“畢業(yè)6個(gè)月后就業(yè)”那這個(gè)特征就帶上了標(biāo)簽信息放進(jìn)模型就是典型的泄漏。另一個(gè)更隱蔽的泄漏是統(tǒng)計(jì)量特征。有人會(huì)把“同城市其他樣本的就業(yè)率”算出來(lái)當(dāng)特征這在訓(xùn)練集上很有效因?yàn)闇y(cè)試集評(píng)分時(shí)用的是同分布的統(tǒng)計(jì)量但實(shí)際部署時(shí)你拿不到未來(lái)群體的就業(yè)率。處理辦法是所有聚合統(tǒng)計(jì)量必須基于特征產(chǎn)生時(shí)刻之前的數(shù)據(jù)并且在交叉驗(yàn)證內(nèi)計(jì)算不能在外面算好再塞進(jìn)去。from sklearn.model_selection import GroupKFold groups df[city_id] gkf GroupKFold(n_splits5) for train_idx, val_idx in gkf.split(df, y, groupsgroups): train_data df.iloc[train_idx] val_data df.iloc[val_idx] # 只在train_data上計(jì)算城市統(tǒng)計(jì)量再映射到val_data這里用城市作為分組依據(jù)保證同一個(gè)城市的人不會(huì)同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里。在這種分組下計(jì)算任何群體統(tǒng)計(jì)量都要先f(wàn)it訓(xùn)練集再transform驗(yàn)證集這就是防止數(shù)據(jù)穿越的標(biāo)準(zhǔn)姿勢(shì)。類(lèi)別不平衡處理放在特征工程之后。常用手段是先試class_weight不行再做SMOTE過(guò)采樣。過(guò)采樣必須放在交叉驗(yàn)證的每一折內(nèi)部先劃分再采樣不然合成樣本會(huì)同時(shí)出現(xiàn)在訓(xùn)練集和驗(yàn)證集里驗(yàn)證分?jǐn)?shù)虛高提交后大概率翻車(chē)。4. 建模與調(diào)參從邏輯回歸到樹(shù)模型的落地對(duì)比4.1 基線模型先行邏輯回歸給你一個(gè)可解釋的起點(diǎn)不要一上來(lái)就調(diào)LightGBM。先跑通一個(gè)邏輯回歸把整個(gè)流程驗(yàn)證一遍包括數(shù)據(jù)劃分、指標(biāo)計(jì)算、預(yù)測(cè)結(jié)果輸出再逐步換復(fù)雜模型。邏輯回歸的好處是訓(xùn)練快、系數(shù)可解釋寫(xiě)word版報(bào)告時(shí)可以直接列出“學(xué)歷、工作經(jīng)歷對(duì)就業(yè)概率的影響方向”評(píng)委容易看懂。邏輯回歸對(duì)特征縮放敏感連續(xù)特征必須標(biāo)準(zhǔn)化。同時(shí)多分類(lèi)要做softmax而不是默認(rèn)的one-vs-rest這樣輸出的概率加起來(lái)等于1方便后續(xù)做概率校準(zhǔn)。類(lèi)別不均衡用class_weightbalanced就行它按類(lèi)別頻率反比調(diào)整權(quán)重比手動(dòng)調(diào)閾值省事。from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline pipeline Pipeline([ (scaler, StandardScaler()), (clf, LogisticRegression(max_iter1000, multi_classmultinomial, class_weightbalanced)) ]) pipeline.fit(X_train, y_train)把StandardScaler和LogisticRegression放進(jìn)同一個(gè)Pipelinefit時(shí)只會(huì)用訓(xùn)練集的均值和方差去標(biāo)準(zhǔn)化驗(yàn)證集不會(huì)引入泄漏。multi_classmultinomial是softmax多分類(lèi)和“一對(duì)多”的區(qū)別是它一次性輸出所有類(lèi)別的概率分布后續(xù)做概率閾值調(diào)整更方便。如果max_iter不夠會(huì)出現(xiàn)收斂警告加大到2000。4.2 樹(shù)模型與集成LightGBM五個(gè)必調(diào)參數(shù)邏輯回歸跑通后用樹(shù)模型拉高分?jǐn)?shù)。就業(yè)狀態(tài)這類(lèi)表格數(shù)據(jù)LightGBM基本是默認(rèn)最優(yōu)解比隨機(jī)森林快、準(zhǔn)確率也更高。它需要調(diào)的參數(shù)不多我一般只動(dòng)五個(gè)learning_rate、num_leaves、min_child_samples、feature_fraction、bagging_fraction。前兩個(gè)控制模型容量后三個(gè)控制過(guò)擬合。建議先固定learning_rate0.05用early_stopping找最佳迭代輪數(shù)。葉子數(shù)num_leaves從31開(kāi)始如果驗(yàn)證集分?jǐn)?shù)不再上升就調(diào)小如果訓(xùn)練集分?jǐn)?shù)遠(yuǎn)高于驗(yàn)證集就調(diào)大min_child_samples和feature_fraction。import lightgbm as lgb model lgb.LGBMClassifier( objectivemulticlass, num_classlen(set(y_train)), learning_rate0.05, num_leaves31, min_child_samples20, feature_fraction0.8, bagging_fraction0.8, bagging_freq1, random_state42, verbosity-1 ) model.fit( X_train, y_train, eval_set[(X_val, y_val)], callbacks[lgb.early_stopping(50, verboseTrue)] )early_stopping(50)表示連續(xù)50輪驗(yàn)證分?jǐn)?shù)不提升就停止它會(huì)自動(dòng)幫你在最佳迭代輪數(shù)附近截?cái)?。feature_fraction0.8表示每棵樹(shù)只用80%的隨機(jī)特征這能讓樹(shù)之間的差異更大集成效果更好。bagging_freq1配合bagging_fraction0.8做行采樣相當(dāng)于給模型加了一層隨機(jī)性對(duì)抑制過(guò)擬合比單純調(diào)depth更有效。調(diào)參不要用網(wǎng)格搜索一把梭維度高、耗時(shí)大。我一般是手動(dòng)調(diào)三輪先調(diào)learning_rate和num_leaves再調(diào)min_child_samples最后調(diào)feature_fraction。每輪只看交叉驗(yàn)證的macro-F1不看訓(xùn)練集分?jǐn)?shù)。4.3 概率校準(zhǔn)與模型融合預(yù)測(cè)就業(yè)狀態(tài)的最后一公里多分類(lèi)樹(shù)模型輸出的概率往往未校準(zhǔn)類(lèi)別不均衡時(shí)概率值會(huì)整體偏向多數(shù)類(lèi)。如果不做任何處理直接取argmax作為最終預(yù)測(cè)少數(shù)類(lèi)的召回率會(huì)被進(jìn)一步壓制。解決辦法是做一個(gè)簡(jiǎn)單的概率校準(zhǔn)把邏輯回歸的校準(zhǔn)能力遷移到樹(shù)模型上。from sklearn.calibration import CalibratedClassifierCV calibrated CalibratedClassifierCV(model, methodisotonic, cv3) calibrated.fit(X_train, y_train) proba calibrated.predict_proba(X_test)methodisotonic是等滲回歸校準(zhǔn)它在樣本量足夠時(shí)比platt縮放更靈活cv3表示用三折交叉驗(yàn)證生成校準(zhǔn)器的概率輸入避免在訓(xùn)練集上自校準(zhǔn)造成過(guò)擬合。校準(zhǔn)之后用proba的每一列做閾值判斷時(shí)得到的概率值可以被解釋為“真實(shí)就業(yè)概率”寫(xiě)報(bào)告時(shí)更好交代。融合方面如果是競(jìng)賽可以在邏輯回歸和LightGBM之間做軟投票概率平均后再選最大者。但要注意如果兩個(gè)模型相關(guān)性很高融合提升很有限邏輯回歸和樹(shù)模型差異大融合效果才明顯。如果題目要求提交word版報(bào)告我會(huì)在報(bào)告中寫(xiě)清楚融合權(quán)重和理由不做黑匣子式堆疊。5. 避坑指南就業(yè)狀態(tài)預(yù)測(cè)最常見(jiàn)的5個(gè)翻車(chē)點(diǎn)5.1 數(shù)據(jù)泄漏驗(yàn)證分?jǐn)?shù)虛高提交后崩盤(pán)現(xiàn)象交叉驗(yàn)證宏F1有0.92預(yù)測(cè)測(cè)試集后分?jǐn)?shù)只有0.55差距大得反常。原因某個(gè)特征包含了和標(biāo)簽同期的未來(lái)信息。最常見(jiàn)的是把“調(diào)查時(shí)點(diǎn)月收入”放進(jìn)特征來(lái)預(yù)測(cè)“調(diào)查時(shí)點(diǎn)就業(yè)狀態(tài)”或者把全樣本統(tǒng)計(jì)量當(dāng)特征。解決建立特征時(shí)間線逐個(gè)字段確認(rèn)它在預(yù)測(cè)時(shí)點(diǎn)是否已經(jīng)產(chǎn)生。報(bào)告里列一張?zhí)卣骺捎眯员肀葘?xiě)十句話(huà)都有說(shuō)服力。5.2 類(lèi)別不平衡模型全部預(yù)測(cè)成多數(shù)類(lèi)現(xiàn)象驗(yàn)證準(zhǔn)確率75%但“待業(yè)”類(lèi)別的召回率是0。原因模型默認(rèn)閾值0.5對(duì)所有類(lèi)別一視同仁多數(shù)類(lèi)的概率普遍更高少數(shù)類(lèi)閾值完全夠不著。解決先加class_weight再看少數(shù)類(lèi)召回率有沒(méi)有起來(lái)。如果不夠在預(yù)測(cè)階段對(duì)少數(shù)類(lèi)下調(diào)閾值比如把“待業(yè)”的判定閾值從0.5降到0.3。閾值調(diào)整要在驗(yàn)證集上做不能拍腦袋。5.3 特征穿越用衍生指標(biāo)預(yù)測(cè)自身現(xiàn)象特征重要性排第一的是“所在城市就業(yè)率”“目標(biāo)變量均值”這類(lèi)聚合特征。原因構(gòu)造特征時(shí)用了目標(biāo)變量的統(tǒng)計(jì)信息比如把訓(xùn)練集全樣本的就業(yè)率按城市聚合后放回訓(xùn)練集。這屬于標(biāo)簽信息的泄漏變體肉眼很難發(fā)現(xiàn)。解決訓(xùn)練前檢查特征名和構(gòu)造代碼凡是特征構(gòu)造過(guò)程里出現(xiàn)過(guò)目標(biāo)列一律刪除。聚合統(tǒng)計(jì)只能在交叉驗(yàn)證的每一折內(nèi)部計(jì)算并且只能基于訓(xùn)練折。5.4 驗(yàn)證集劃分錯(cuò)誤隨機(jī)劃分讓結(jié)果失真現(xiàn)象同樣的模型隨機(jī)劃分cv分?jǐn)?shù)比按地域劃分高一大截。原因問(wèn)卷數(shù)據(jù)往往存在地域聚集同一個(gè)城市的人高度相似隨機(jī)劃分把同一城市樣本同時(shí)塞進(jìn)訓(xùn)練和驗(yàn)證相當(dāng)于把“見(jiàn)過(guò)的人”拿去驗(yàn)證。解決訓(xùn)練前確認(rèn)數(shù)據(jù)里有沒(méi)有city_id、省份、調(diào)查批次這類(lèi)分組字段有就優(yōu)先用GroupKFold或按時(shí)間切分。雖然分?jǐn)?shù)會(huì)下降但那是真實(shí)水平的反應(yīng)提交后不會(huì)翻車(chē)。5.5 報(bào)告格式與解釋缺失模型再好也拿不到分現(xiàn)象word版報(bào)告里只有模型公式、代碼截圖和結(jié)果表沒(méi)有特征解釋、沒(méi)有邊界說(shuō)明。原因把競(jìng)賽報(bào)告寫(xiě)成了技術(shù)文檔忽略了評(píng)委要看的是“你如何理解這個(gè)問(wèn)題”。解決每個(gè)重要特征配一句業(yè)務(wù)解釋比如“實(shí)習(xí)經(jīng)歷特征重要性高說(shuō)明實(shí)訓(xùn)經(jīng)歷對(duì)就業(yè)有正向作用”模型結(jié)果部分補(bǔ)一段誤差分析講清楚哪些樣本容易預(yù)測(cè)錯(cuò)比堆一堆指標(biāo)更打動(dòng)人。6. 進(jìn)階把預(yù)測(cè)結(jié)果寫(xiě)成一份能拿獎(jiǎng)的word版報(bào)告6.1 用SHAP值替代傳統(tǒng)重要性樹(shù)模型自帶的feature_importance只能告訴你“哪個(gè)特征被用得多”SHAP值能告訴你“這個(gè)特征在什么取值下把預(yù)測(cè)推向哪個(gè)方向”。就業(yè)狀態(tài)預(yù)測(cè)里年齡和學(xué)歷對(duì)概率的影響不是單調(diào)的SHAP散點(diǎn)圖能直接展示這種非線性。生成一張SHAP summary圖放進(jìn)word版報(bào)告評(píng)委能一眼看出你對(duì)模型行為的理解程度。import shap explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_val) shap.summary_plot(shap_values, X_val, feature_namesX_val.columns.tolist())6.2 敏感性與邊界說(shuō)明報(bào)告最后要寫(xiě)“模型在什么情況下不適用”比如樣本集中在某省、問(wèn)卷回收率低導(dǎo)致的樣本偏差、預(yù)測(cè)窗口超過(guò)一年后可信度下降。這個(gè)邊界說(shuō)明不是減分項(xiàng)反而是工程素養(yǎng)的體現(xiàn)。我去年做類(lèi)似題目時(shí)因?yàn)閷?xiě)清了“僅適用于短期預(yù)測(cè)”而被評(píng)委認(rèn)可。另外把閾值調(diào)整過(guò)程做一個(gè)簡(jiǎn)單敏感性分析寫(xiě)清楚閾值從0.3到0.5變化時(shí)少數(shù)類(lèi)召回率和誤報(bào)率各是多少并給出你最終選擇閾值的理由。最后分享一個(gè)教訓(xùn)我最早做這類(lèi)題目時(shí)光顧著調(diào)模型分?jǐn)?shù)忽略了對(duì)標(biāo)簽口徑的說(shuō)明結(jié)果word版報(bào)告里被評(píng)委抓著“就業(yè)狀態(tài)的判定依據(jù)”提問(wèn)當(dāng)場(chǎng)沒(méi)答好。現(xiàn)在我會(huì)在報(bào)告第一頁(yè)就放標(biāo)簽定義表把每個(gè)類(lèi)別的來(lái)源和判定規(guī)則寫(xiě)死。希望這整套流程能幫你把模型分?jǐn)?shù)和報(bào)告質(zhì)量同時(shí)拉起來(lái)。本文還有配套的精品資源點(diǎn)擊獲取