簡(jiǎn)介這是一份面向數(shù)據(jù)挖掘與粗糙集理論學(xué)習(xí)者的Python實(shí)現(xiàn)資源聚焦粗糙集屬性約簡(jiǎn)算法并配套圖形化交互界面可直觀展示約簡(jiǎn)過(guò)程與前后屬性變化適合課程實(shí)驗(yàn)、畢業(yè)設(shè)計(jì)或算法入門(mén)場(chǎng)景也能幫助研究者快速驗(yàn)證算法思路。壓縮包共16個(gè)文件涵蓋4個(gè)Python腳本分別負(fù)責(zé)程序入口、數(shù)據(jù)輸入與主界面展示、3個(gè)編譯緩存文件、4個(gè)工程配置XML、2個(gè)文本說(shuō)明及1個(gè)CSV樣例數(shù)據(jù)整體僅14KB輕量且結(jié)構(gòu)清晰無(wú)需復(fù)雜依賴即可運(yùn)行。該資源已被1214人學(xué)習(xí)下載適合需要?jiǎng)邮謱?shí)踐粗糙集算法的數(shù)據(jù)挖掘?qū)W習(xí)者參考使用。使用時(shí)只需運(yùn)行主程序文件即可啟動(dòng)內(nèi)置樣例數(shù)據(jù)與平臺(tái)使用說(shuō)明便于快速驗(yàn)證算法效果同時(shí)保留項(xiàng)目配置與緩存目錄可輔助理解工程實(shí)現(xiàn)細(xì)節(jié)。需注意必須在data_dimension_reduction目錄下運(yùn)行避免路徑讀取異常。1. 粗糙集簡(jiǎn)約算法不是黑匣子一份數(shù)據(jù)挖掘入門(mén)的完整資源最常見(jiàn)的訴求是手里一張幾萬(wàn)行的表格幾十個(gè)條件屬性想知道到底哪幾列真正決定了最后的分類結(jié)果。粗糙集簡(jiǎn)約算法干的就是這件事——不依賴概率分布假設(shè)直接從決策表算出哪些屬性冗余留下一個(gè)維度更低、決策能力不掉的屬性子集。這份“粗糙集簡(jiǎn)約算法圖形可視化”資源把約簡(jiǎn)算法和可視化腳本綁在一起前半段能算出核屬性與約簡(jiǎn)結(jié)果后半段把依賴度曲線、屬性貢獻(xiàn)條形圖和降維散點(diǎn)圖畫(huà)出來(lái)。適合數(shù)據(jù)挖掘課設(shè)、論文預(yù)研、做系統(tǒng)原型的從業(yè)者直接上手也適合想把粗糙集從公式落成代碼的人。2. 先搞清楚粗糙集在算什么從等價(jià)類到核屬性約簡(jiǎn)的判定標(biāo)準(zhǔn)只有一條2.1 粗糙集的對(duì)象是決策表等價(jià)類決定了你能看到什么粗糙集理論是 Pawlak 在 1982 年提出的它不要求數(shù)據(jù)滿足正態(tài)分布也不需要先驗(yàn)概率核心對(duì)象就是一張決策表。決策表的行是樣本列分兩類條件屬性描述對(duì)象特征決策屬性給出類別。比如訂單數(shù)據(jù)里金額、頻次、渠道是條件屬性最終標(biāo)記“正常/異?！笔菦Q策屬性。資源里的算法和可視化全部圍繞這種表格展開(kāi)跑任何實(shí)驗(yàn)前先把表結(jié)構(gòu)確認(rèn)好。等價(jià)類是理解粗糙集的入口。給定一組屬性所有在屬性上取值完全相同的樣本被分進(jìn)同一個(gè)等價(jià)類。以下面這張六條樣本的決策表為例按屬性 a 劃分得到兩個(gè)等價(jià)類 {U1, U2} 和 {U3, U4}。每個(gè)等價(jià)類內(nèi)部決策屬性 d 的取值完全一致說(shuō)明只看 a 就能確定分類。表 1 一個(gè)極端簡(jiǎn)化的決策表示例樣本abdU1000U2010U3101U4111再看屬性 b按 b 劃分得到 {U1, U3} 和 {U2, U4}第一個(gè)類里 d 是 0 和 1第二個(gè)類里 d 也是 0 和 1每個(gè)等價(jià)類內(nèi)部都不一致。也就是說(shuō)單看 b 無(wú)法確定樣本類別b 是冗余屬性的候選對(duì)象。粗糙集把“某個(gè)等價(jià)類內(nèi)決策一致”的樣本歸入正域正域大小直接決定一個(gè)屬性子集有多強(qiáng)的判別力。2.2 約簡(jiǎn)的判定標(biāo)準(zhǔn)依賴度不降且沒(méi)有更小的屬性子集正域樣本數(shù)除以總樣本數(shù)就是依賴度 γ。全集屬性 {a, b} 的依賴度是 1因?yàn)槊總€(gè)樣本單獨(dú)成類類內(nèi)決策必然一致。只看 {a} 時(shí)正域包含全部四條樣本依賴度同樣是 1只看  時(shí)正域?yàn)榭找蕾嚩仁?0。這個(gè)對(duì)比說(shuō)明 a 保留了完整決策能力b 拿掉后依賴度不掉。約簡(jiǎn)的定義由此而來(lái)屬性子集 B 是約簡(jiǎn)當(dāng)且僅當(dāng) γ_B(D) γ_C(D)并且 B 的任何真子集的依賴度都嚴(yán)格小于 γ_B(D)。用大白話說(shuō)一是決策能力不能掉二是不能再少任何一個(gè)屬性。核屬性是另一個(gè)關(guān)鍵概念所有約簡(jiǎn)的交集。只要去掉某個(gè)屬性后依賴度下降這個(gè)屬性就在核里。上表去掉 b 后 γ 仍是 1所以 b 不在核里去掉 a 后 γ 變成 0所以 a 是核屬性。實(shí)際數(shù)據(jù)集里核可能為空也可能包含多個(gè)屬性。求核的作用是給后續(xù)貪心搜索一個(gè)可靠的起點(diǎn)避免從空集盲猜。資源里 compute_core 用的就是逐個(gè)刪除再比較依賴度的方法小數(shù)據(jù)量上直觀且不容易出錯(cuò)。2.3 資源包里的三個(gè)部分算法腳本、樣例數(shù)據(jù)、可視化模塊下載這份資源后通常會(huì)看到三塊內(nèi)容配合使用。算法腳本負(fù)責(zé)離散化、依賴度計(jì)算、核屬性與貪心約簡(jiǎn)這是整個(gè)流程的主干樣例數(shù)據(jù)是一張已經(jīng)離散化或半離散化的決策表用來(lái)驗(yàn)證算法是否跑通可視化模塊讀取同一份數(shù)據(jù)和約簡(jiǎn)結(jié)果生成依賴度曲線、屬性貢獻(xiàn)條形圖、PCA 散點(diǎn)圖和對(duì)比表格。表 2 資源包的典型構(gòu)成與接口模塊作用主要接口約簡(jiǎn)算法離散化、正域、依賴度、核、貪心約簡(jiǎn)dependency_degree()、compute_core()、greedy_reduct()樣例數(shù)據(jù)驗(yàn)證流程是否跑通data.csv條件屬性列 決策屬性列可視化模塊把約簡(jiǎn)過(guò)程變成可解釋圖形plot_gamma_curve()、plot_attr_contribution()、plot_compare_scatter()參數(shù)配置固定分箱數(shù)、隨機(jī)種子、測(cè)試集比例config.py 或函數(shù)入?yún)⑽业慕ㄗh是先把樣例數(shù)據(jù)跑一遍確認(rèn)輸出的是核屬性列表和一個(gè)約簡(jiǎn)結(jié)果再替換成自己的數(shù)據(jù)。替換時(shí)最容易出問(wèn)題的是列名和數(shù)據(jù)類型資源里所有函數(shù)都要求傳入條件屬性列名組成的列表和決策屬性列名保持一致就不會(huì)翻車。3. 把約簡(jiǎn)算法跑通離散化預(yù)處理與貪心屬性約簡(jiǎn)代碼實(shí)現(xiàn)3.1 數(shù)據(jù)預(yù)處理連續(xù)屬性離散化的三種做法與選擇理由粗糙集算法天然要求屬性是離散的。連續(xù)數(shù)值屬性直接參與 groupby幾乎每個(gè)樣本都會(huì)成為獨(dú)立等價(jià)類依賴度虛高到 1約簡(jiǎn)結(jié)果失去意義。所以第一步是把連續(xù)列切成離散區(qū)間常見(jiàn)做法有三種等寬分箱、等頻分箱、按業(yè)務(wù)閾值手動(dòng)切分。等寬分箱實(shí)現(xiàn)最簡(jiǎn)單但數(shù)據(jù)分布不均勻時(shí)某個(gè)箱可能空掉等頻分箱保證每箱樣本量接近推薦優(yōu)先使用業(yè)務(wù)閾值的可解釋性最好適合有明確規(guī)則的場(chǎng)景。下面這段代碼加了判斷如果屬性唯一值數(shù)量超過(guò)閾值才離散化否則直接轉(zhuǎn)成整數(shù)避免把已經(jīng)離散的類別列再切一刀。import pandas as pd def auto_discretize(df, cols, bins5, unique_threshold10): df df.copy() for col in cols: if df[col].nunique() unique_threshold: df[col] pd.cut( df[col], binsbins, labelsFalse, duplicatesdrop ) else: df[col] df[col].astype(int) return df邏輯說(shuō)明pd.cut 把連續(xù)值切成 bins 個(gè)區(qū)間返回每個(gè)樣本所在區(qū)間的編號(hào)labelsFalse 表示不要區(qū)間標(biāo)簽直接給整數(shù)編號(hào)方便后面參與 groupby。duplicatesdrop 處理邊界值重復(fù)導(dǎo)致空箱的情況。unique_threshold 的作用是保護(hù)已經(jīng)離散的列比如性別、星期幾這類取值很少的字段不應(yīng)當(dāng)做連續(xù)屬性處理。參數(shù)說(shuō)明bins 是分箱數(shù)量默認(rèn) 5數(shù)值越大等價(jià)類分得越細(xì)正域可能變大但約簡(jiǎn)更不穩(wěn)定unique_threshold 是離散/連續(xù)的判斷閾值超過(guò)它就認(rèn)定是連續(xù)列一般設(shè)在 1020 之間。對(duì)不平衡分布我一般會(huì)改用 pd.qcut 做等頻分箱再把分箱邊界打印出來(lái)記錄在實(shí)驗(yàn)配置里方便別人復(fù)現(xiàn)。3.2 正域與依賴度粗糙集算法里最核心的一段代碼正域計(jì)算是粗糙集算法的心臟。給定一個(gè)屬性子集先按這些屬性分組得到等價(jià)類然后檢查每個(gè)等價(jià)類里的決策屬性是否完全一致一致的類加入正域。依賴度就是正域樣本數(shù)除以總樣本數(shù)。def equivalence_classes(df, attrs): groups df.groupby(list(attrs)).groups return [list(v) for v in groups.values()] def positive_region(df, cond_attrs, dec_attr): pos_indices [] for idx_list in equivalence_classes(df, cond_attrs): dec_values df.iloc[idx_list][dec_attr].unique() if len(dec_values) 1: pos_indices.extend(idx_list) return set(pos_indices) def dependency_degree(df, cond_attrs, dec_attr): pos positive_region(df, cond_attrs, dec_attr) return len(pos) / len(df)邏輯說(shuō)明equivalence_classes 用 pandas 的 groupby 按指定屬性列分組得到每組樣本索引positive_region 遍歷每個(gè)等價(jià)類unique() 只保留決策值去重結(jié)果長(zhǎng)度為 1 說(shuō)明該類內(nèi)決策一致整個(gè)類并入正域。最終 dependency_degree 返回 01 之間的依賴度。這三個(gè)函數(shù)被核屬性計(jì)算和貪心約簡(jiǎn)反復(fù)調(diào)用。參數(shù)說(shuō)明attrs 是條件屬性列表dec_attr 是決策屬性列名。這里有個(gè)性能關(guān)鍵點(diǎn)equivalence_classes 每次調(diào)用都會(huì)重新 groupby屬性子集一變就要重算。數(shù)據(jù)量上萬(wàn)后這個(gè)開(kāi)銷會(huì)被放得很明顯第 5 章會(huì)專門(mén)講怎么優(yōu)化。小數(shù)據(jù)集上這段代碼足夠直接也最容易驗(yàn)證每一步的輸出。3.3 核屬性與貪心約簡(jiǎn)從核出發(fā)讓結(jié)果更穩(wěn)定計(jì)算核屬性的思路是逐個(gè)嘗試刪掉一個(gè)屬性看依賴度是否下降。刪掉后依賴度掉了說(shuō)明該屬性承載了其他屬性無(wú)法替代的決策信息屬于核屬性。貪心約簡(jiǎn)從核開(kāi)始不斷挑選一個(gè)剩余屬性加入當(dāng)前集合要求它帶來(lái)的依賴度增量最大直到依賴度追平全屬性依賴度。def compute_core(df, cond_attrs, dec_attr): full_gamma dependency_degree(df, cond_attrs, dec_attr) core [] for attr in cond_attrs: remaining [x for x in cond_attrs if x ! attr] current_gamma dependency_degree(df, remaining, dec_attr) if abs(current_gamma - full_gamma) 1e-9: core.append(attr) return core def greedy_reduct_with_trace(df, cond_attrs, dec_attr): target dependency_degree(df, cond_attrs, dec_attr) current compute_core(df, cond_attrs, dec_attr) trace list(current) remaining [a for a in cond_attrs if a not in current] while dependency_degree(df, current, dec_attr) target - 1e-9: best_attr, best_gain None, -1.0 for attr in remaining: gamma dependency_degree(df, current [attr], dec_attr) gain gamma - dependency_degree(df, current, dec_attr) if gain best_gain: best_gain, best_attr gain, attr if best_attr is None: break current.append(best_attr) trace.append(best_attr) remaining.remove(best_attr) return current, trace邏輯說(shuō)明compute_core 對(duì)每個(gè)屬性執(zhí)行一次刪除再比較1e-9 是浮點(diǎn)誤差容差確保依賴度差值為 0 時(shí)不做誤判g(shù)reedy_reduct_with_trace 記錄 trace保存屬性被加入的順序。trace 在后續(xù)可視化里直接可用畫(huà)依賴度曲線時(shí)不需要重新推演一遍貪心過(guò)程。參數(shù)說(shuō)明cond_attrs 順序不影響貪心結(jié)果嗎影響。當(dāng)兩個(gè)屬性帶來(lái)相同增益時(shí)先遍歷到誰(shuí)就選誰(shuí)這會(huì)讓約簡(jiǎn)結(jié)果在屬性增益相同的情況下依賴列順序。想要可復(fù)現(xiàn)就把 cond_attrs 排序后傳入。從核出發(fā)而不是從空集出發(fā)能減少這種隨機(jī)性得到的約簡(jiǎn)也更容易被解釋因?yàn)楹藢傩允潜仨毐Ａ舻牟糠帧?.4 參數(shù)說(shuō)明分箱數(shù)、缺失值與數(shù)據(jù)規(guī)模怎么定跑通這套代碼后真正要花心思的是參數(shù)。分箱數(shù) bins 直接改變等價(jià)類邊界進(jìn)而改變正域大小最好多試 3、5、8 三檔觀察核屬性是否穩(wěn)定。缺失值沒(méi)有默認(rèn)機(jī)制groupby 會(huì)把 NaN 當(dāng)成一個(gè)獨(dú)立類別導(dǎo)致正域計(jì)算失真我一般先刪除缺失行再跑離散化。數(shù)據(jù)規(guī)模決定能不能用樸素版本。幾百行時(shí) compute_core 的逐個(gè)刪除沒(méi)有壓力幾萬(wàn)行時(shí)每次依賴度計(jì)算都要全表 groupby時(shí)間和內(nèi)存都會(huì)暴漲。常見(jiàn)做法是先用去重后的決策表計(jì)算重復(fù)行合并后決策表規(guī)模變小正域和依賴度理論上不受影響。資源里的樣例數(shù)據(jù)規(guī)模不大新手先用它驗(yàn)證流程是對(duì)的別一上來(lái)就丟幾百萬(wàn)行進(jìn)去。提示如果離散化后發(fā)現(xiàn)某個(gè)屬性幾乎所有樣本都落在同一個(gè)箱子里這個(gè)屬性基本沒(méi)有區(qū)分力后續(xù)約簡(jiǎn)大概率會(huì)被剔除可以先人工確認(rèn)它是不是真的需要參與計(jì)算。4. 讓約簡(jiǎn)過(guò)程可見(jiàn)圖形可視化的四種視圖與 Python 實(shí)現(xiàn)4.1 可視化要看什么四張圖對(duì)應(yīng)四個(gè)問(wèn)題約簡(jiǎn)算法跑完只給一個(gè)屬性列表很難說(shuō)服別人“為什么保留這幾個(gè)”。圖形可視化的作用是把過(guò)程變成可以檢查的證據(jù)鏈。依賴度曲線回答“屬性加入順序是否合理”曲線上升快說(shuō)明前面加入的屬性重要屬性貢獻(xiàn)條形圖回答“每個(gè)屬性單打獨(dú)斗的能力”適合做匯報(bào)素材PCA 散點(diǎn)圖回答“約簡(jiǎn)前后類別分得開(kāi)嗎”用于直觀感受信息損失對(duì)比表回答“屬性數(shù)量降了多少、準(zhǔn)確率掉沒(méi)掉”是最終結(jié)論數(shù)據(jù)。表 3 可視化視圖與對(duì)應(yīng)問(wèn)題視圖回答的問(wèn)題產(chǎn)出物依賴度曲線屬性加入順序的價(jià)值增長(zhǎng)gamma_curve.png屬性貢獻(xiàn)條形圖單個(gè)屬性對(duì)正域的貢獻(xiàn)attr_contribution.pngPCA 散點(diǎn)圖約簡(jiǎn)前后類別分布差異reduct_compare.png指標(biāo)對(duì)比表屬性數(shù)、依賴度、準(zhǔn)確率變化reduct_compare.csv4.2 依賴度曲線與屬性貢獻(xiàn)條形圖的實(shí)現(xiàn)依賴度曲線需要傳入貪心過(guò)程的 trace。橫軸是已經(jīng)加入的屬性個(gè)數(shù)縱軸是當(dāng)前屬性子集的依賴度每加入一個(gè)屬性就記錄一個(gè)點(diǎn)。屬性貢獻(xiàn)條形圖則計(jì)算每個(gè)屬性單獨(dú)放入空集時(shí)的依賴度并按貢獻(xiàn)大小排序。import matplotlib.pyplot as plt def plot_gamma_curve(df, trace, dec_attr): gammas [] selected [] for attr in trace: selected.append(attr) gammas.append(dependency_degree(df, selected, dec_attr)) plt.figure(figsize(6, 4)) plt.plot(range(1, len(trace) 1), gammas, markero) plt.xlabel(已加入屬性數(shù)) plt.ylabel(依賴度 γ) plt.title(屬性約簡(jiǎn)過(guò)程中的依賴度變化) plt.ylim(0, 1.05) plt.grid(True) plt.tight_layout() plt.savefig(gamma_curve.png, dpi150) def plot_attr_contribution(df, cond_attrs, dec_attr): items [] for attr in cond_attrs: gamma dependency_degree(df, [attr], dec_attr) items.append((attr, gamma)) items.sort(keylambda x: x[1], reverseTrue) names [x[0] for x in items] values [x[1] for x in items] plt.figure(figsize(6, 4)) plt.barh(names, values, colorsteelblue) plt.xlabel(單屬性依賴度) plt.title(每個(gè)條件屬性的獨(dú)立貢獻(xiàn)) plt.tight_layout() plt.savefig(attr_contribution.png, dpi150)邏輯說(shuō)明plot_gamma_curve 把 trace 里的屬性逐個(gè)累計(jì)調(diào)用 dependency_degree 計(jì)算累計(jì)依賴度markero 讓每個(gè)點(diǎn)可見(jiàn)。plot_attr_contribution 用單屬性依賴度排座次這里要特別注意單屬性依賴度高不等于它一定在約簡(jiǎn)里因?yàn)榧s簡(jiǎn)考慮的是屬性組合后的冗余關(guān)系。參數(shù)說(shuō)明dpi150 滿足論文插圖的基本清晰度要求ylim 上限留到 1.05 避免依賴度等于 1 時(shí)曲線頂?shù)綀D框。如果 trace 為空曲線圖只有一個(gè)空坐標(biāo)這種情況出現(xiàn)在決策表本身沒(méi)有屬性時(shí)實(shí)際使用中不會(huì)發(fā)生。屬性排序用 reverseTrue 讓貢獻(xiàn)大的屬性排在圖上最上面符合閱讀習(xí)慣。4.3 PCA 散點(diǎn)圖約簡(jiǎn)前后類別分布怎么對(duì)比PCA 散點(diǎn)圖把決策表映射到二維平面。離散化后的屬性可以直接進(jìn)入 PCA但類別型屬性需要先轉(zhuǎn) one-hot否則 PCA 會(huì)把類別大小的數(shù)值關(guān)系當(dāng)作真實(shí)的線性關(guān)系。對(duì)比時(shí)把全屬性約簡(jiǎn)后放在兩張子圖里類別用決策屬性著色觀察兩個(gè)圖中類別點(diǎn)的重疊程度。from sklearn.decomposition import PCA def plot_compare_scatter(df, cond_attrs, reduct, dec_attr): fig, axes plt.subplots(1, 2, figsize(10, 4)) for ax, attrs, title in zip(axes, [cond_attrs, reduct], [全屬性, 約簡(jiǎn)后]): data pd.get_dummies(df[attrs].astype(str)) coords PCA(n_components2, random_state42).fit_transform(data) sc ax.scatter(coords[:, 0], coords[:, 1], cdf[dec_attr], cmapviridis, s18, alpha0.7) ax.set_title(title) ax.set_xlabel(PC1) ax.set_ylabel(PC2) fig.colorbar(sc, axaxes) plt.tight_layout() plt.savefig(reduct_compare.png, dpi150)邏輯說(shuō)明zip 同時(shí)遍歷兩張子圖和兩個(gè)屬性配置astype(str) 先把所有取值統(tǒng)一成字符串避免 pandas 類型差異引發(fā) get_dummies 的遺漏。PCA 用固定 random_state42 保證每次結(jié)果一致這在對(duì)比實(shí)驗(yàn)里是必須的否則重跑一次圖就變一個(gè)樣。參數(shù)說(shuō)明n_components2 選擇兩個(gè)主成分解釋方差比例低是正常的離散屬性和 one-hot 展開(kāi)后維度大量增加前兩個(gè)主成分只能保留一部分信息。散點(diǎn)圖的重點(diǎn)不是精確坐標(biāo)而是約簡(jiǎn)前后類別點(diǎn)是否仍然相對(duì)分開(kāi)。s18 和 alpha0.7 是為了緩解樣本重疊造成的視覺(jué)遮擋樣本上萬(wàn)時(shí)可以再調(diào)小點(diǎn)。5. 避坑指南粗糙集約簡(jiǎn)最容易翻車的四個(gè)位置5.1 離散化分箱一變約簡(jiǎn)結(jié)果全變現(xiàn)象同一份數(shù)據(jù)等寬分箱 bins5 時(shí)約簡(jiǎn)結(jié)果是 {a, b, c}換到 bins8 后變成 {a, b, c, e}核屬性也跟著變了。初次跑的人往往以為算法不穩(wěn)定其實(shí)問(wèn)題出在預(yù)處理。原因粗糙集的等價(jià)類完全由離散取值決定。分箱邊界一旦變化跨越舊邊界的樣本就換了鄰居原本決策一致的等價(jià)類可能變成不一致正域隨之縮小。等寬分箱對(duì)離群點(diǎn)尤其敏感一個(gè)極端值就能把一大段樣本擠進(jìn)同一個(gè)箱子邊界不合理時(shí)無(wú)關(guān)屬性也可能被誤判為重要屬性。解決先把每個(gè)連續(xù)屬性的分布畫(huà)出來(lái)再用等頻分箱或業(yè)務(wù)閾值替換等寬分箱。固定 bins 后把分箱邊界打印出來(lái)存成配置文件不要每次都手動(dòng)改。我在 auto_discretize 里用 unique_threshold 防止已離散字段被二次切分這個(gè)習(xí)慣能避開(kāi)大部分這類問(wèn)題。5.2 數(shù)據(jù)上萬(wàn)正域計(jì)算慢到懷疑人生現(xiàn)象小數(shù)據(jù)集跑完約簡(jiǎn)用不了一秒換成兩萬(wàn)行的表compute_core 跑了幾分鐘還沒(méi)出結(jié)果內(nèi)存占用也一路上漲。原因依賴度計(jì)算每次都要對(duì)當(dāng)前屬性集合重新 groupbycompute_core 一次性調(diào)用幾十次 dependency_degree貪心循環(huán)再疊加多次。groupby 本身的成本隨數(shù)據(jù)規(guī)模線性增長(zhǎng)Python 循環(huán)再把這份成本放大。解決先去重決策表里條件屬性和決策屬性完全相同的行合并成一條正域不會(huì)因此改變。然后用 frozenset 做緩存鍵把算過(guò)的屬性子集依賴度存下來(lái)避免重復(fù)計(jì)算。最后在能容忍的前提下限制候選屬性數(shù)量或者對(duì)連續(xù)屬性離散化后只保留樣本量足夠大的等價(jià)類。兩萬(wàn)行數(shù)據(jù)跑不動(dòng)時(shí)第一步去重通常就能緩解一大半。5.3 核屬性與約簡(jiǎn)結(jié)果對(duì)不上現(xiàn)象算法算出來(lái)的約簡(jiǎn)里沒(méi)有核屬性或者核屬性列表和某個(gè)約簡(jiǎn)交集對(duì)不齊。不少人以為代碼寫(xiě)錯(cuò)了翻半天最后發(fā)現(xiàn)是算法策略不同。原因核是“所有約簡(jiǎn)的交集”但貪心約簡(jiǎn)從空集開(kāi)始搜時(shí)如果初始位置偏離核很可能走出一個(gè)不包含核的可行解。只有當(dāng)多個(gè)屬性共同支撐決策信息時(shí)逐個(gè)刪除單個(gè)屬性可能看不出依賴度變化核屬性被漏判的情況也會(huì)出現(xiàn)。解決代碼里讓 compute_core 先跑一遍再讓 greedy_reduct_with_trace 從核出發(fā)初始化 current這樣貪心結(jié)果天然包含核。如果資源實(shí)現(xiàn)是從空集開(kāi)始的版本跑完后手動(dòng)比一次核和結(jié)果發(fā)現(xiàn)不含核就換成從核啟動(dòng)。核屬性和約簡(jiǎn)結(jié)果本來(lái)就不是“必須相等”的關(guān)系別拿它們直接對(duì)比。5.4 可視化圖形看不出效果好壞現(xiàn)象PCA 散點(diǎn)圖畫(huà)出來(lái)全屬性和約簡(jiǎn)后的圖看起來(lái)都擠成一團(tuán)顏色混在一起完全不知道約簡(jiǎn)到底有沒(méi)有保留信息。原因只畫(huà)了最終狀態(tài)缺少對(duì)照和量化指標(biāo)。PCA 只保留前兩個(gè)主成分原本就被壓縮的大部分方差根本顯示不出來(lái)樣本多時(shí)散點(diǎn)重疊嚴(yán)重散點(diǎn)圖只能用于輔助判斷不能單獨(dú)當(dāng)證據(jù)。解決把依賴度曲線、屬性貢獻(xiàn)條形圖、PCA 對(duì)比圖和指標(biāo)表四件套一起輸出。指標(biāo)表列清楚屬性數(shù)、正域大小、依賴度、分類準(zhǔn)確率匯報(bào)時(shí)先給指標(biāo)表再給散點(diǎn)圖別人就不會(huì)說(shuō)約簡(jiǎn)效果“看著沒(méi)區(qū)別”了。散點(diǎn)圖里把 alpha 調(diào)低只保留輪廓也有幫助。6. 把約簡(jiǎn)結(jié)果驗(yàn)證一遍留出法對(duì)比與可視化報(bào)告輸出6.1 留出法對(duì)比全屬性與約簡(jiǎn)屬性在同一條數(shù)據(jù)上的公平比拼約簡(jiǎn)只是降低了屬性維度真正的價(jià)值要看分類模型能不能保住準(zhǔn)確率。用同一份訓(xùn)練集和測(cè)試集分別跑全屬性和約簡(jiǎn)屬性才是一組公平對(duì)比。關(guān)鍵點(diǎn)有兩個(gè)train_test_split 必須指定同一個(gè) random_state確保兩邊拿到的訓(xùn)練測(cè)試樣本完全一致決策樹(shù)模型也用同一個(gè) random_state排除模型隨機(jī)性對(duì)結(jié)果的干擾。from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import accuracy_score def compare_full_reduct(df, cond_attrs, reduct, dec_attr, test_size0.3): y df[dec_attr] X_full pd.get_dummies(df[cond_attrs].astype(str)) X_reduct pd.get_dummies(df[reduct].astype(str)) X_tr, X_te, y_tr, y_te train_test_split( X_full, y, test_sizetest_size, random_state42 ) X_red_tr X_te # 占位實(shí)際寫(xiě)法見(jiàn)下行 X1_tr, X1_te, y1_tr, y1_te train_test_split( X_full, y, test_sizetest_size, random_state42 ) X2_tr, X2_te, y2_tr, y2_te train_test_split( X_reduct, y, test_sizetest_size, random_state42 ) model_full DecisionTreeClassifier(max_depth5, random_state42).fit(X1_tr, y1_tr) model_reduct DecisionTreeClassifier(max_depth5, random_state42).fit(X2_tr, y2_tr) acc_full accuracy_score(y1_te, model_full.predict(X1_te)) acc_reduct accuracy_score(y2_te, model_reduct.predict(X2_te)) return acc_full, acc_reduct邏輯說(shuō)明全屬性特征矩陣和約簡(jiǎn)屬性特征矩陣分別做 one-hot再分別劃分?jǐn)?shù)據(jù)集。由于 random_state 都是 42兩次劃分在樣本層面是對(duì)齊的只是特征維度不同。max_depth5 限制樹(shù)深避免過(guò)擬合把準(zhǔn)確率虛高這一項(xiàng)在對(duì)比時(shí)必須固定。參數(shù)說(shuō)明test_size0.3 表示三成樣本做測(cè)試數(shù)據(jù)量小可以提到 0.2max_depth 可以試試 37 三檔選結(jié)果差異最小的檔位。要注意兩個(gè)模型準(zhǔn)確率差幾個(gè)點(diǎn)以內(nèi)才算可接受如果約簡(jiǎn)后準(zhǔn)確率下降超過(guò) 5%優(yōu)先檢查離散化參數(shù)是否合理。6.2 把結(jié)果歸檔成一張表匯報(bào)和復(fù)現(xiàn)都少踩坑實(shí)驗(yàn)做完了最怕?lián)Q臺(tái)機(jī)器重跑一遍結(jié)果對(duì)不上。我會(huì)把關(guān)鍵中間產(chǎn)物全部保存下來(lái)分箱邊界、核屬性列表、約簡(jiǎn)結(jié)果、依賴度曲線、PCA 圖、分類對(duì)比 CSV。CSV 里固定放四列屬性數(shù)、正域大小、依賴度、準(zhǔn)確率全屬性和約簡(jiǎn)后各一行這樣別人一眼就能看到降維換來(lái)了什么代價(jià)。result_rows [ {屬性數(shù): len(cond_attrs), 正域大小: len(positive_region(df, cond_attrs, dec_attr)), 依賴度: dependency_degree(df, cond_attrs, dec_attr), 準(zhǔn)確率: acc_full}, {屬性數(shù): len(reduct), 正域大小: len(positive_region(df, reduct, dec_attr)), 依賴度: dependency_degree(df, reduct, dec_attr), 準(zhǔn)確率: acc_reduct}, ] import pandas as pd pd.DataFrame(result_rows).to_csv(reduct_compare.csv, indexFalse)這套歸檔方式看著簡(jiǎn)單實(shí)際幫我避免了無(wú)數(shù)次重跑。從那以后我每次跑粗糙集約簡(jiǎn)都強(qiáng)制走一遍固定流程先固定離散化參數(shù)再算核和約簡(jiǎn)然后跑對(duì)比分類最后把四張圖加一張 CSV 存進(jìn)同一個(gè)實(shí)驗(yàn)?zāi)夸?。中間任何一步覺(jué)得玄學(xué)就回去看中間產(chǎn)物。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取