性檢驗(yàn)：從Q-Q圖到統(tǒng)計(jì)檢驗(yàn)，確保建?？煽啃缘耐暾改? alt=)
1. 從“看起來(lái)像”到“證明它是”正態(tài)性檢驗(yàn)為何是建模的基石在數(shù)學(xué)建模尤其是涉及統(tǒng)計(jì)分析、回歸預(yù)測(cè)、機(jī)器學(xué)習(xí)等領(lǐng)域時(shí)我們常常會(huì)聽到一個(gè)前提假設(shè)“數(shù)據(jù)服從正態(tài)分布”。無(wú)論是做相關(guān)性分析、方差分析還是構(gòu)建線性回歸模型正態(tài)性假設(shè)往往是許多經(jīng)典統(tǒng)計(jì)方法如皮爾遜相關(guān)系數(shù)、t檢驗(yàn)、F檢驗(yàn)有效性的基石。新手最容易犯的錯(cuò)誤之一就是拿到數(shù)據(jù)后看一眼直方圖“長(zhǎng)得像鐘形”或者算一下均值中位數(shù)差不多就默認(rèn)數(shù)據(jù)是正態(tài)的然后直接套用那些對(duì)正態(tài)性有要求的模型和檢驗(yàn)。這種“想當(dāng)然”的做法是很多模型結(jié)果不穩(wěn)定、結(jié)論不可靠的根源。正態(tài)性檢驗(yàn)就是一套嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)工具用來(lái)回答“我們有多大把握認(rèn)為這組數(shù)據(jù)來(lái)自一個(gè)正態(tài)分布總體”這個(gè)問(wèn)題。它不是一個(gè)“是”或“否”的簡(jiǎn)單判斷題而是一個(gè)基于概率的決策過(guò)程。我們通過(guò)計(jì)算檢驗(yàn)統(tǒng)計(jì)量得到對(duì)應(yīng)的p值再根據(jù)顯著性水平通常為0.05來(lái)判斷是否拒絕“數(shù)據(jù)服從正態(tài)分布”的原假設(shè)。這個(gè)過(guò)程將建模從“藝術(shù)猜想”提升到了“科學(xué)驗(yàn)證”的層面。在相關(guān)系數(shù)分析這個(gè)具體場(chǎng)景下正態(tài)性檢驗(yàn)尤為重要。皮爾遜相關(guān)系數(shù)衡量的是線性相關(guān)性其有效性嚴(yán)重依賴于雙變量正態(tài)分布假設(shè)。如果數(shù)據(jù)不服從正態(tài)分布皮爾遜相關(guān)系數(shù)可能會(huì)嚴(yán)重失真或者其顯著性檢驗(yàn)p值失效。此時(shí)我們可能需要轉(zhuǎn)向斯皮爾曼秩相關(guān)系數(shù)或肯德爾秩相關(guān)系數(shù)這類非參數(shù)方法。因此在計(jì)算相關(guān)系數(shù)之前進(jìn)行正態(tài)性檢驗(yàn)是必不可少的數(shù)據(jù)診斷步驟它直接決定了后續(xù)分析方法的正確選擇。2. 視覺(jué)診斷法Q-Q圖與直方圖的直觀審視在動(dòng)用復(fù)雜的統(tǒng)計(jì)檢驗(yàn)之前我們首先應(yīng)該通過(guò)可視化方法對(duì)數(shù)據(jù)的正態(tài)性有一個(gè)直觀的感受。這就像醫(yī)生看病先“望聞問(wèn)切”再上儀器檢測(cè)。視覺(jué)診斷雖然主觀但能快速發(fā)現(xiàn)嚴(yán)重偏離正態(tài)的情況并幫助我們理解數(shù)據(jù)分布的形狀。2.1 分位數(shù)-分位數(shù)圖與理想正態(tài)的精準(zhǔn)對(duì)標(biāo)Q-Q圖Quantile-Quantile Plot是檢驗(yàn)正態(tài)性最強(qiáng)大、最直觀的圖形工具之一。它的原理很簡(jiǎn)單將樣本數(shù)據(jù)的實(shí)際分位數(shù)與理論正態(tài)分布的分位數(shù)進(jìn)行對(duì)比。如果數(shù)據(jù)完全服從正態(tài)分布那么這些點(diǎn)應(yīng)該大致排列在一條對(duì)角參考線上。如何解讀Q-Q圖點(diǎn)緊密圍繞對(duì)角線分布表明數(shù)據(jù)分布與正態(tài)分布非常接近。點(diǎn)呈“S”型曲線表示樣本分布的偏度與正態(tài)分布不符。尾部上翹表示右偏正偏尾部下彎表示左偏負(fù)偏。點(diǎn)呈“拱形”或“倒拱形”表示樣本分布的峰度與正態(tài)分布不符。拱形表示尖峰厚尾峰度3倒拱形表示平峰薄尾峰度3。兩端點(diǎn)嚴(yán)重偏離對(duì)角線通常意味著數(shù)據(jù)中存在異常值。在MATLAB中生成一個(gè)簡(jiǎn)單的Q-Q圖非常方便% 假設(shè)你的數(shù)據(jù)存儲(chǔ)在向量 data 中 data randn(100,1) * 2 5; % 生成一個(gè)均值為5標(biāo)準(zhǔn)差為2的100個(gè)正態(tài)隨機(jī)數(shù) qqplot(data); grid on; title(Q-Q Plot for Normality Check);執(zhí)行這段代碼你會(huì)看到一張散點(diǎn)圖。MATLAB的qqplot函數(shù)會(huì)自動(dòng)計(jì)算并繪制理論分位數(shù)和樣本分位數(shù)。我們的目標(biāo)是觀察散點(diǎn)是否緊密分布在紅色的參考線附近。對(duì)于上面生成的正態(tài)數(shù)據(jù)點(diǎn)應(yīng)該基本落在紅線上。你可以嘗試用exprnd(5, 100, 1)生成指數(shù)分布數(shù)據(jù)替換data看看Q-Q圖會(huì)變成什么樣子——點(diǎn)會(huì)呈現(xiàn)明顯的曲線偏離。注意Q-Q圖對(duì)樣本量敏感。樣本量很小時(shí)即使數(shù)據(jù)來(lái)自正態(tài)總體點(diǎn)也可能看起來(lái)有些分散。樣本量很大時(shí)即使輕微偏離正態(tài)在Q-Q圖上也會(huì)非常明顯。因此Q-Q圖最好與后續(xù)的統(tǒng)計(jì)檢驗(yàn)結(jié)合使用。2.2 直方圖與核密度估計(jì)分布形態(tài)的全局俯瞰直方圖是最基礎(chǔ)的分布可視化工具。通過(guò)將數(shù)據(jù)范圍劃分為若干個(gè)區(qū)間箱子并統(tǒng)計(jì)每個(gè)區(qū)間內(nèi)數(shù)據(jù)點(diǎn)的頻數(shù)我們可以直觀地看到數(shù)據(jù)分布的“形狀”是否類似于鐘形的正態(tài)曲線。直方圖的使用技巧箱子數(shù)量的選擇箱子太多圖形會(huì)過(guò)于鋸齒狀箱子太少會(huì)掩蓋分布細(xì)節(jié)。MATLAB的histogram函數(shù)有自動(dòng)選擇算法‘a(chǎn)uto’但手動(dòng)調(diào)整往往能得到更佳效果。一個(gè)經(jīng)驗(yàn)法則是嘗試sqrt(n)n為樣本量或Sturges’ formula: ceil(1 log2(n))個(gè)箱子。疊加正態(tài)曲線為了更直接地對(duì)比可以在直方圖上疊加一條理論正態(tài)分布曲線。這條曲線的均值和標(biāo)準(zhǔn)差應(yīng)使用你樣本的均值和標(biāo)準(zhǔn)差來(lái)估計(jì)。data randn(1000,1); % 生成1000個(gè)標(biāo)準(zhǔn)正態(tài)數(shù)據(jù) h histogram(data, 30, Normalization, pdf); % 畫直方圖歸一化為概率密度 hold on; % 計(jì)算數(shù)據(jù)的均值和標(biāo)準(zhǔn)差 mu mean(data); sigma std(data); % 生成理論正態(tài)分布的x軸坐標(biāo)和y軸密度值 x linspace(min(data), max(data), 100); y normpdf(x, mu, sigma); plot(x, y, r-, LineWidth, 2); hold off; xlabel(Value); ylabel(Probability Density); title(Histogram with Fitted Normal Curve); legend(Data Histogram, Fitted Normal Distribution);這段代碼生成了一個(gè)包含30個(gè)箱子的直方圖并疊加了紅色的擬合正態(tài)曲線。如果藍(lán)色直方圖的輪廓與紅色曲線高度重合則直觀上支持正態(tài)性假設(shè)。核密度估計(jì)是直方圖的一個(gè)平滑升級(jí)版。它通過(guò)在每個(gè)數(shù)據(jù)點(diǎn)處放置一個(gè)平滑的“核函數(shù)”如高斯核然后疊加所有核函數(shù)來(lái)估計(jì)總體的概率密度函數(shù)。KDE圖比直方圖更平滑對(duì)分布形態(tài)的展示更連續(xù)受箱子邊界影響更小。在MATLAB中可以使用ksdensity函數(shù)。data randn(500,1); [f, xi] ksdensity(data); figure; plot(xi, f, b-, LineWidth, 2); hold on; % 同樣疊加理論正態(tài)曲線 mu mean(data); sigma std(data); x linspace(min(xi), max(xi), 100); y normpdf(x, mu, sigma); plot(x, y, r--, LineWidth, 1.5); hold off; title(Kernel Density Estimate vs. Normal PDF); legend(KDE of Data, Theoretical Normal);通過(guò)對(duì)比藍(lán)色的KDE曲線和紅色的理論正態(tài)曲線可以更細(xì)膩地判斷分布的對(duì)稱性、峰度等特征。3. 統(tǒng)計(jì)檢驗(yàn)法給“像不像”一個(gè)明確的概率答案圖形方法給了我們直覺(jué)但科學(xué)需要量化的判斷。統(tǒng)計(jì)檢驗(yàn)法通過(guò)構(gòu)造檢驗(yàn)統(tǒng)計(jì)量并計(jì)算p值為我們提供了一個(gè)客觀的、可重復(fù)的決策標(biāo)準(zhǔn)。這里我們重點(diǎn)探討三種最常用、且在MATLAB中易于實(shí)現(xiàn)的正態(tài)性檢驗(yàn)方法。3.1 Shapiro-Wilk檢驗(yàn)小樣本時(shí)代的黃金標(biāo)準(zhǔn)Shapiro-Wilk檢驗(yàn)被認(rèn)為是檢驗(yàn)正態(tài)性的最強(qiáng)大工具之一尤其適用于樣本量較小n 50的情況。它的基本思想是評(píng)估樣本數(shù)據(jù)與理想正態(tài)數(shù)據(jù)之間的線性相關(guān)性。檢驗(yàn)統(tǒng)計(jì)量W的取值范圍在0到1之間W值越接近1表明數(shù)據(jù)越有可能來(lái)自正態(tài)分布。Shapiro-Wilk檢驗(yàn)的核心優(yōu)勢(shì)與局限優(yōu)勢(shì)對(duì)小樣本非常敏感功效檢出非正態(tài)的能力很高。局限對(duì)樣本量敏感。當(dāng)樣本量很大時(shí)例如n 2000即使數(shù)據(jù)對(duì)正態(tài)分布只有極其微小的偏離Shapiro-Wilk檢驗(yàn)也幾乎總是會(huì)拒絕原假設(shè)p值非常小。這是因?yàn)楫?dāng)樣本量極大時(shí)檢驗(yàn)有能力探測(cè)到任何細(xì)微的、在實(shí)際應(yīng)用中可能無(wú)關(guān)緊要的偏離。因此在大樣本情況下需要謹(jǐn)慎解讀Shapiro-Wilk檢驗(yàn)的結(jié)果應(yīng)更多結(jié)合圖形如Q-Q圖和效應(yīng)量來(lái)綜合判斷。在MATLAB中Statistics and Machine Learning Toolbox提供了swtest函數(shù)可能需要從File Exchange下載第三方實(shí)現(xiàn)因?yàn)楣俜轿磧?nèi)置同名函數(shù)或更通用的lillietestLilliefors檢驗(yàn)是K-S檢驗(yàn)的修正版也常用于正態(tài)性檢驗(yàn)。但為了精確執(zhí)行S-W檢驗(yàn)一個(gè)可靠的方法是使用chi2gof卡方擬合優(yōu)度檢驗(yàn)并指定‘cdf’為正態(tài)分布或者尋找專門的第三方函數(shù)。一個(gè)常見(jiàn)的第三方函數(shù)swtest用法示例如下假設(shè)已安裝% 假設(shè)已有數(shù)據(jù)向量 data [sw_h, sw_p, sw_w] swtest(data); fprintf(Shapiro-Wilk Test:\n); fprintf( Test Statistic W %.4f\n, sw_w); fprintf( P-value %.4f\n, sw_p); if sw_h 0 fprintf( Conclusion: Do NOT reject normality (at 0.05 level).\n); else fprintf( Conclusion: Reject normality (at 0.05 level).\n); end輸出結(jié)果會(huì)給出檢驗(yàn)統(tǒng)計(jì)量W、p值以及假設(shè)檢驗(yàn)的結(jié)論。如果p值小于0.05我們就在0.05的顯著性水平上拒絕“數(shù)據(jù)服從正態(tài)分布”的原假設(shè)。3.2 Jarque-Bera檢驗(yàn)基于偏度與峰度的綜合考量Jarque-Bera檢驗(yàn)的原理非常直觀它基于樣本數(shù)據(jù)的偏度和峰度。對(duì)于一個(gè)標(biāo)準(zhǔn)的正態(tài)分布其偏度衡量分布不對(duì)稱性為0峰度衡量分布尖峭程度為3。JB檢驗(yàn)構(gòu)造的統(tǒng)計(jì)量本質(zhì)上衡量的是樣本偏度與0的偏離、樣本峰度與3的偏離的綜合程度。JB檢驗(yàn)統(tǒng)計(jì)量的計(jì)算公式為JB (n/6) * [S^2 (K-3)^2 / 4]其中n是樣本量S是樣本偏度K是樣本峰度。在原假設(shè)數(shù)據(jù)正態(tài)下JB統(tǒng)計(jì)量漸近服從自由度為2的卡方分布。JB檢驗(yàn)的特點(diǎn)優(yōu)點(diǎn)計(jì)算簡(jiǎn)單概念清晰特別適用于大樣本情況。它對(duì)對(duì)稱但峰度不同的分布如均勻分布、拉普拉斯分布以及有偏分布都有一定的檢測(cè)能力。缺點(diǎn)對(duì)于小樣本其檢驗(yàn)功效可能不如Shapiro-Wilk檢驗(yàn)。它主要捕捉由于偏度和峰度偏離導(dǎo)致的非正態(tài)對(duì)于其他類型的非正態(tài)如多峰分布可能不敏感。在MATLAB中JB檢驗(yàn)可以通過(guò)jbtest函數(shù)輕松實(shí)現(xiàn)。data randn(200,1); % 正態(tài)數(shù)據(jù) % data exprnd(1, 200, 1); % 可以換成指數(shù)分布數(shù)據(jù)試試 [h, p, jbstat] jbtest(data); fprintf(Jarque-Bera Test:\n); fprintf( Test Statistic %.4f\n, jbstat); fprintf( P-value %.4f\n, p); if h 0 fprintf( Conclusion: Do NOT reject normality (at 0.05 level).\n); else fprintf( Conclusion: Reject normality (at 0.05 level).\n); end對(duì)于正態(tài)數(shù)據(jù)p值通常大于0.05對(duì)于指數(shù)分布等明顯非正態(tài)數(shù)據(jù)p值會(huì)非常小導(dǎo)致拒絕原假設(shè)。3.3 Kolmogorov-Smirnov檢驗(yàn)與Lilliefors修正經(jīng)驗(yàn)分布與理論分布的比拼Kolmogorov-Smirnov檢驗(yàn)是一種更通用的分布擬合優(yōu)度檢驗(yàn)它可以檢驗(yàn)樣本是否來(lái)自某個(gè)完全指定的理論分布包括正態(tài)分布。其核心思想是計(jì)算樣本經(jīng)驗(yàn)分布函數(shù)與理論分布函數(shù)之間的最大垂直距離D統(tǒng)計(jì)量。K-S檢驗(yàn)用于正態(tài)性檢驗(yàn)的致命缺陷標(biāo)準(zhǔn)的K-S檢驗(yàn)要求理論分布的參數(shù)均值和標(biāo)準(zhǔn)差是預(yù)先已知的。但在實(shí)際中我們幾乎總是用樣本的均值和標(biāo)準(zhǔn)差來(lái)估計(jì)理論分布的參數(shù)。這會(huì)導(dǎo)致一個(gè)問(wèn)題用估計(jì)的參數(shù)去檢驗(yàn)會(huì)使檢驗(yàn)過(guò)于保守更容易接受原假設(shè)因?yàn)镈統(tǒng)計(jì)量的分布發(fā)生了變化。Lilliefors檢驗(yàn)的救場(chǎng)正是為了解決這個(gè)問(wèn)題Lilliefors提出了修正的K-S檢驗(yàn)專門用于檢驗(yàn)正態(tài)性或指數(shù)性其中分布的參數(shù)是從樣本中估計(jì)的。它通過(guò)蒙特卡洛模擬或精確計(jì)算提供了更準(zhǔn)確的臨界值表。因此在檢驗(yàn)正態(tài)性時(shí)我們應(yīng)該使用Lilliefors檢驗(yàn)而不是標(biāo)準(zhǔn)的K-S檢驗(yàn)。在MATLAB中l(wèi)illietest函數(shù)實(shí)現(xiàn)了Lilliefors檢驗(yàn)。data randn(150,1); [h, p, lstat] lillietest(data); fprintf(Lilliefors Test (for Normality):\n); fprintf( Test Statistic D %.4f\n, lstat); fprintf( P-value %.4f\n, p); if h 0 fprintf( Conclusion: Do NOT reject normality (at 0.05 level).\n); else fprintf( Conclusion: Reject normality (at 0.05 level).\n); end4. MATLAB實(shí)戰(zhàn)構(gòu)建一個(gè)完整的正態(tài)性檢驗(yàn)流程理解了各種方法后我們需要一個(gè)系統(tǒng)化的流程來(lái)應(yīng)用于實(shí)際建模。下面我將展示一個(gè)在MATLAB中從數(shù)據(jù)導(dǎo)入到綜合判斷的完整腳本框架。這個(gè)流程強(qiáng)調(diào)可視化與統(tǒng)計(jì)檢驗(yàn)的結(jié)合并輸出一份清晰的診斷報(bào)告。4.1 數(shù)據(jù)準(zhǔn)備與初步觀察首先我們加載或生成數(shù)據(jù)并進(jìn)行最基本的描述性統(tǒng)計(jì)這對(duì)后續(xù)理解檢驗(yàn)結(jié)果很有幫助。clear; clc; close all; % 1. 數(shù)據(jù)準(zhǔn)備 - 這里以模擬數(shù)據(jù)為例實(shí)際中可替換為 load(‘yourdata.mat’) % 生成兩組數(shù)據(jù)一組正態(tài)一組非正態(tài)卡方分布 rng(42); % 設(shè)定隨機(jī)種子確保結(jié)果可重復(fù) n 100; % 樣本量 data_normal randn(n, 1) * 1.5 10; % 正態(tài)均值10標(biāo)準(zhǔn)差1.5 data_nonnormal chi2rnd(3, n, 1); % 非正態(tài)自由度為3的卡方分布 % 選擇你要檢驗(yàn)的數(shù)據(jù) data data_normal; % 切換為 data_nonnormal 進(jìn)行測(cè)試 fprintf( 數(shù)據(jù)概覽 \n); fprintf(樣本量 n %d\n, length(data)); fprintf(均值 %.4f\n, mean(data)); fprintf(標(biāo)準(zhǔn)差 %.4f\n, std(data)); fprintf(偏度 %.4f\n, skewness(data)); fprintf(峰度 %.4f\n, kurtosis(data));描述性統(tǒng)計(jì)中的偏度和峰度已經(jīng)能給我們初步提示。偏度遠(yuǎn)離0表示不對(duì)稱峰度遠(yuǎn)離3表示尾巴厚度或尖度與正態(tài)不同。4.2 可視化診斷套件我們將關(guān)鍵的圖形放在一個(gè)圖窗中便于對(duì)比觀察。% 2. 可視化診斷 figure(‘Position‘, [100, 100, 1200, 800]); % 設(shè)置大圖窗 % 子圖1直方圖 核密度估計(jì) 正態(tài)曲線 subplot(2, 3, 1); histogram(data, ‘Normalization‘, ‘pdf‘, ‘FaceColor‘, [0.7 0.7 0.9], ‘EdgeColor‘, ‘k‘); hold on; % 核密度估計(jì) [f_kde, xi] ksdensity(data, ‘Bandwidth‘, 0.5); % Bandwidth可調(diào)整平滑度 plot(xi, f_kde, ‘b-‘, ‘LineWidth‘, 2); % 理論正態(tài)曲線 mu mean(data); sigma std(data); x_range linspace(min(data)-3*sigma, max(data)3*sigma, 200); y_norm normpdf(x_range, mu, sigma); plot(x_range, y_norm, ‘r--‘, ‘LineWidth‘, 2); hold off; xlabel(‘Data Value‘); ylabel(‘Density‘); title(‘Histogram, KDE Normal Fit‘); legend(‘Histogram‘, ‘Kernel Density‘, ‘Normal PDF‘, ‘Location‘, ‘best‘); grid on; % 子圖2Q-Q圖 subplot(2, 3, 2); qqplot(data); grid on; title(‘Q-Q Plot‘); % 可以美化一下Q-Q圖添加參考線 hold on; h get(gca, ‘Children‘); set(h(1), ‘Marker‘, ‘.‘, ‘MarkerSize‘, 12); % 調(diào)整散點(diǎn)樣式 % 手動(dòng)添加yx參考線便于觀察 xlims xlim; ylims ylim; new_lim [min([xlims(1), ylims(1)]), max([xlims(2), ylims(2)])]; plot(new_lim, new_lim, ‘k-‘, ‘LineWidth‘, 1); hold off; xlabel(‘Theoretical Quantiles‘); ylabel(‘Sample Quantiles‘); % 子圖3箱線圖觀察對(duì)稱性和異常值 subplot(2, 3, 3); boxplot(data, ‘Orientation‘, ‘horizontal‘); title(‘Box Plot‘); xlabel(‘Data Value‘); grid on; % 子圖4經(jīng)驗(yàn)分布函數(shù) vs 理論正態(tài)CDF (K-S檢驗(yàn)思想的可視化) subplot(2, 3, 4); [f_emp, x_emp] ecdf(data); % 經(jīng)驗(yàn)分布函數(shù) plot(x_emp, f_emp, ‘b-‘, ‘LineWidth‘, 2); hold on; x_theory linspace(min(data), max(data), 1000); y_theory normcdf(x_theory, mu, sigma); plot(x_theory, y_theory, ‘r--‘, ‘LineWidth‘, 2); % 標(biāo)注最大距離D統(tǒng)計(jì)量 [~, D_idx] max(abs(f_emp - normcdf(x_emp, mu, sigma))); D abs(f_emp(D_idx) - normcdf(x_emp(D_idx), mu, sigma)); plot([x_emp(D_idx), x_emp(D_idx)], [f_emp(D_idx), normcdf(x_emp(D_idx), mu, sigma)], ‘k-‘, ‘LineWidth‘, 1.5); text(x_emp(D_idx), mean([f_emp(D_idx), normcdf(x_emp(D_idx), mu, sigma)]), ... sprintf(‘D%.3f‘, D), ‘VerticalAlignment‘, ‘bottom‘, ‘HorizontalAlignment‘, ‘center‘); hold off; xlabel(‘Data Value‘); ylabel(‘Cumulative Probability‘); title(‘Empirical vs. Theoretical CDF (K-S Distance)‘); legend(‘Empirical CDF‘, ‘Normal CDF‘, ‘Max Distance D‘, ‘Location‘, ‘best‘); grid on; % 子圖5正態(tài)概率圖 (另一種形式的概率圖) subplot(2, 3, 5); probplot(‘normal‘, data); grid on; title(‘Normal Probability Plot‘); sgtitle(‘Comprehensive Normality Diagnostic Plots‘, ‘FontSize‘, 14, ‘FontWeight‘, ‘bold‘);這套組合圖形提供了多角度視圖直方圖/KDE看整體形狀Q-Q圖和正態(tài)概率圖看分位數(shù)匹配箱線圖看對(duì)稱性和異常值CDF對(duì)比圖直觀展示K-S距離。4.3 統(tǒng)計(jì)檢驗(yàn)執(zhí)行與結(jié)果解讀運(yùn)行多種統(tǒng)計(jì)檢驗(yàn)并匯總結(jié)果。不要只依賴一種檢驗(yàn)方法。% 3. 執(zhí)行多種統(tǒng)計(jì)檢驗(yàn) fprintf(‘\n 統(tǒng)計(jì)檢驗(yàn)結(jié)果 \n‘); alpha 0.05; % 顯著性水平 % (1) Jarque-Bera 檢驗(yàn) [h_jb, p_jb, jbstat] jbtest(data, alpha); fprintf(‘1. Jarque-Bera Test:\n‘); fprintf(‘ Statistic %.4f, P-value %.4e\n‘, jbstat, p_jb); fprintf(‘ Conclusion: ‘); if h_jb 0 fprintf(‘Fail to reject normality (p %.2f).\n‘, alpha); else fprintf(‘Reject normality (p %.2f).\n‘, alpha); end % (2) Lilliefors 檢驗(yàn) (修正的K-S檢驗(yàn)) [h_lillie, p_lillie, lstat] lillietest(data, alpha); fprintf(‘2. Lilliefors Test:\n‘); fprintf(‘ Statistic D %.4f, P-value %.4e\n‘, lstat, p_lillie); fprintf(‘ Conclusion: ‘); if h_lillie 0 fprintf(‘Fail to reject normality (p %.2f).\n‘, alpha); else fprintf(‘Reject normality (p %.2f).\n‘, alpha); end % (3) 嘗試尋找或?qū)崿F(xiàn) Shapiro-Wilk 檢驗(yàn) (這里假設(shè)有swtest函數(shù)) % 如果未安裝可以注釋掉這部分或使用 chi2gof 替代 try [h_sw, p_sw, wstat] swtest(data, alpha); fprintf(‘3. Shapiro-Wilk Test:\n‘); fprintf(‘ Statistic W %.4f, P-value %.4e\n‘, wstat, p_sw); fprintf(‘ Conclusion: ‘); if h_sw 0 fprintf(‘Fail to reject normality (p %.2f).\n‘, alpha); else fprintf(‘Reject normality (p %.2f).\n‘, alpha); end catch ME fprintf(‘3. Shapiro-Wilk Test: Function ”swtest” not found. Skipped.\n‘); % 作為替代可以使用卡方擬合優(yōu)度檢驗(yàn)但需分組 % [h_chi, p_chi] chi2gof(data, ‘CDF‘, makedist(‘Normal‘, ‘mu‘, mu, ‘sigma‘, sigma)); end % 4. 綜合判斷與建議 fprintf(‘\n 綜合診斷建議 \n‘); reject_counts sum([h_jb, h_lillie]); % 統(tǒng)計(jì)拒絕原假設(shè)的檢驗(yàn)數(shù)量 total_tests 2; % 這里以JB和Lilliefors為例 if reject_counts 0 fprintf(‘所有檢驗(yàn)均未拒絕正態(tài)性原假設(shè)。\n‘); fprintf(‘建議可以較為放心地使用基于正態(tài)假設(shè)的模型如皮爾遜相關(guān)、t檢驗(yàn)等。但仍需結(jié)合圖形觀察確認(rèn)無(wú)明顯異常。\n‘); elseif reject_counts total_tests fprintf(‘所有檢驗(yàn)均拒絕正態(tài)性原假設(shè)。\n‘); fprintf(‘建議數(shù)據(jù)很可能不服從正態(tài)分布。應(yīng)\n‘); fprintf(‘ a) 仔細(xì)查看Q-Q圖和直方圖判斷偏離類型偏態(tài)、厚尾等。\n‘); fprintf(‘ b) 考慮對(duì)數(shù)據(jù)進(jìn)行變換如對(duì)數(shù)變換、Box-Cox變換。\n‘); fprintf(‘ c) 轉(zhuǎn)向非參數(shù)方法如斯皮爾曼相關(guān)系數(shù)、Mann-Whitney U檢驗(yàn)。\n‘); fprintf(‘ d) 使用對(duì)正態(tài)性不敏感的穩(wěn)健方法。\n‘); else fprintf(‘檢驗(yàn)結(jié)果不一致。\n‘); fprintf(‘建議這種情況常發(fā)生在樣本量中等或數(shù)據(jù)處于“邊緣非正態(tài)”時(shí)。\n‘); fprintf(‘ 應(yīng)重點(diǎn)依賴圖形診斷Q-Q圖。如果圖形顯示僅有輕微偏離且樣本量較大某些檢驗(yàn)如S-W可能因過(guò)于敏感而拒絕。\n‘); fprintf(‘ 此時(shí)若偏離對(duì)后續(xù)分析影響不大例如回歸分析中對(duì)殘差正態(tài)性要求相對(duì)寬松可謹(jǐn)慎使用參數(shù)方法。否則建議采用非參數(shù)方法。\n‘); end這個(gè)腳本提供了一個(gè)自動(dòng)化診斷的模板。在實(shí)際項(xiàng)目中你可以將其封裝成一個(gè)函數(shù)normalityCheck(data, alpha)方便重復(fù)調(diào)用。5. 當(dāng)數(shù)據(jù)非正態(tài)時(shí)應(yīng)對(duì)策略與相關(guān)系數(shù)的選擇經(jīng)過(guò)檢驗(yàn)如果數(shù)據(jù)確實(shí)不服從正態(tài)分布我們并非無(wú)路可走。盲目使用皮爾遜相關(guān)系數(shù)會(huì)導(dǎo)致錯(cuò)誤。這時(shí)我們需要一套應(yīng)對(duì)策略。5.1 數(shù)據(jù)變換將“非正態(tài)”拉回正軌對(duì)于某些類型的非正態(tài)數(shù)據(jù)可以通過(guò)數(shù)學(xué)變換使其更接近正態(tài)分布。這通常是處理偏態(tài)數(shù)據(jù)的首選方法。對(duì)數(shù)變換適用于右偏正偏嚴(yán)重且所有值為正的數(shù)據(jù)。例如收入、人口、面積等數(shù)據(jù)。在MATLAB中transformed_data log(data)。如果數(shù)據(jù)包含零可以使用log1p即log(1x)。平方根變換適用于輕度右偏的數(shù)據(jù)特別是計(jì)數(shù)數(shù)據(jù)如泊松分布。transformed_data sqrt(data)。Box-Cox變換一個(gè)更強(qiáng)大的變換族能自動(dòng)尋找最優(yōu)的變換參數(shù)λ使變換后的數(shù)據(jù)盡可能正態(tài)。MATLAB的boxcox函數(shù)可以幫你找到最優(yōu)λ并完成變換。% 使用Box-Cox變換 [transformed_data, lambda] boxcox(data); % data必須為正數(shù) fprintf(‘Optimal lambda found by Box-Cox: %.4f\n‘, lambda); % 對(duì)變換后的數(shù)據(jù)再次進(jìn)行正態(tài)性檢驗(yàn) [h, p] lillietest(transformed_data); if h0 fprintf(‘After Box-Cox transformation, data appears normal (p%.4f).\n‘, p); end重要提示對(duì)變換后的數(shù)據(jù)進(jìn)行分析后解釋結(jié)果時(shí)需牢記變量已被變換。例如基于對(duì)數(shù)變換數(shù)據(jù)建立的線性模型其系數(shù)解釋是關(guān)于對(duì)數(shù)尺度的。5.2 非參數(shù)相關(guān)系數(shù)繞過(guò)正態(tài)假設(shè)如果變換效果不佳或者變換使數(shù)據(jù)難以解釋那么就應(yīng)該放棄皮爾遜相關(guān)系數(shù)轉(zhuǎn)而使用不依賴于正態(tài)分布假設(shè)的非參數(shù)相關(guān)系數(shù)。斯皮爾曼秩相關(guān)系數(shù)它衡量的是兩個(gè)變量單調(diào)關(guān)系的強(qiáng)度和方向。計(jì)算時(shí)先將原始數(shù)據(jù)轉(zhuǎn)換為秩次排序后的位次然后計(jì)算這些秩次之間的皮爾遜相關(guān)系數(shù)。它對(duì)異常值不敏感適用于定序數(shù)據(jù)或不滿足正態(tài)分布的定距數(shù)據(jù)。% 計(jì)算斯皮爾曼相關(guān)系數(shù)及其p值 [rho_spearman, p_spearman] corr(data1, data2, ‘Type‘, ‘Spearman‘); fprintf(‘Spearman‘s rank correlation coefficient: %.4f\n‘, rho_spearman); fprintf(‘P-value (two-tailed): %.4e\n‘, p_spearman);肯德爾秩相關(guān)系數(shù)同樣基于秩次但它衡量的是兩個(gè)變量之間一致對(duì)和不一致對(duì)的比例。對(duì)于樣本量較小或數(shù)據(jù)中存在大量重復(fù)值結(jié)的情況肯德爾τ有時(shí)比斯皮爾曼ρ更穩(wěn)定。% 計(jì)算肯德爾τ相關(guān)系數(shù)及其p值 [tau_kendall, p_kendall] corr(data1, data2, ‘Type‘, ‘Kendall‘); fprintf(‘Kendall‘s tau correlation coefficient: %.4f\n‘, tau_kendall); fprintf(‘P-value (two-tailed): %.4e\n‘, p_kendall);如何選擇斯皮爾曼相關(guān)系數(shù)更常用計(jì)算效率高且與皮爾遜相關(guān)系數(shù)在解釋上類似-1到1?？系聽枽訉?duì)數(shù)據(jù)分布的形狀更不敏感但計(jì)算復(fù)雜度更高。通常如果數(shù)據(jù)沒(méi)有太多重復(fù)值兩者結(jié)論會(huì)相似。5.3 穩(wěn)健方法與重抽樣技術(shù)除了變換和非參數(shù)方法還有一些更現(xiàn)代的思路穩(wěn)健統(tǒng)計(jì)量例如可以使用基于中位數(shù)和絕對(duì)偏差的相關(guān)系數(shù)估計(jì)或者使用修剪后的皮爾遜相關(guān)系數(shù)剔除一定比例極端值后再計(jì)算這些方法對(duì)偏離正態(tài)和異常值有更好的耐抗性。自助法當(dāng)理論分布未知時(shí)可以通過(guò)自助法來(lái)估計(jì)相關(guān)系數(shù)的置信區(qū)間。其基本思想是從原始樣本中有放回地重復(fù)抽樣生成大量“Bootstrap樣本”然后計(jì)算每個(gè)樣本的相關(guān)系數(shù)最后用這些相關(guān)系數(shù)的分布來(lái)估計(jì)真實(shí)相關(guān)系數(shù)的分布。n_boot 10000; % Bootstrap重抽樣次數(shù) boot_corr zeros(n_boot, 1); n_obs length(data1); for i 1:n_boot idx randi(n_obs, n_obs, 1); % 有放回隨機(jī)抽樣索引 boot_corr(i) corr(data1(idx), data2(idx), ‘Type‘, ‘Pearson‘); % 仍可用Pearson但評(píng)估其分布 end % 計(jì)算95%的Bootstrap置信區(qū)間 ci_lower prctile(boot_corr, 2.5); ci_upper prctile(boot_corr, 97.5); fprintf(‘Bootstrap 95%% CI for Pearson correlation: [%.4f, %.4f]\n‘, ci_lower, ci_upper);如果這個(gè)置信區(qū)間不包含0我們可以在不依賴正態(tài)性假設(shè)的情況下認(rèn)為相關(guān)性是顯著的。6. 實(shí)戰(zhàn)中的陷阱與經(jīng)驗(yàn)之談在多年的建模和數(shù)據(jù)分析工作中關(guān)于正態(tài)性檢驗(yàn)和相關(guān)系數(shù)應(yīng)用我踩過(guò)不少坑也總結(jié)出一些教科書上不會(huì)細(xì)講的經(jīng)驗(yàn)。陷阱一盲目相信單一檢驗(yàn)的p值。尤其是在大樣本n 1000情況下Shapiro-Wilk或K-S檢驗(yàn)的威力極大任何微小的、在實(shí)際應(yīng)用中可忽略的非正態(tài)性都會(huì)導(dǎo)致p值極其顯著0.001。此時(shí)一定要回到Q-Q圖。如果點(diǎn)基本落在對(duì)角線上僅在尾部有極其輕微的偏離那么從實(shí)際應(yīng)用角度可以認(rèn)為數(shù)據(jù)“近似正態(tài)”使用皮爾遜相關(guān)系數(shù)風(fēng)險(xiǎn)不大。統(tǒng)計(jì)顯著不等于實(shí)際顯著。陷阱二忽略多元正態(tài)性。在計(jì)算多個(gè)變量間的皮爾遜相關(guān)系數(shù)矩陣或進(jìn)行多元回歸時(shí)我們需要的假設(shè)是多元正態(tài)分布這比每個(gè)變量單獨(dú)服從一元正態(tài)分布要求更嚴(yán)格。檢驗(yàn)多元正態(tài)性更復(fù)雜如Mardia‘s test但在實(shí)踐中如果每個(gè)邊緣分布都近似正態(tài)且散點(diǎn)圖呈橢圓狀通?？梢哉J(rèn)為多元正態(tài)性近似滿足。一個(gè)實(shí)用的檢查方法是做殘差圖。在回歸分析后繪制預(yù)測(cè)值與殘差的散點(diǎn)圖或殘差的Q-Q圖。如果殘差隨機(jī)分布在0附近且Q-Q圖近似直線則模型的正態(tài)性假設(shè)基本合理。陷阱三對(duì)分類數(shù)據(jù)誤用皮爾遜相關(guān)系數(shù)。皮爾遜相關(guān)系數(shù)衡量的是兩個(gè)連續(xù)變量之間的線性關(guān)系。對(duì)于分類變量如性別、等級(jí)計(jì)算皮爾遜相關(guān)系數(shù)是沒(méi)有意義的。對(duì)于兩個(gè)分類變量應(yīng)使用卡方檢驗(yàn)、克萊姆V系數(shù)等對(duì)于一個(gè)連續(xù)變量和一個(gè)二分類變量可以使用點(diǎn)二列相關(guān)對(duì)于兩個(gè)有序分類變量可以使用斯皮爾曼或肯德爾相關(guān)系數(shù)。經(jīng)驗(yàn)一建立標(biāo)準(zhǔn)化的數(shù)據(jù)診斷流程。對(duì)于每一個(gè)新的數(shù)據(jù)集在開始任何復(fù)雜的建模前我都習(xí)慣性跑一遍類似第4部分的診斷腳本。這不僅能避免方法誤用還能加深對(duì)數(shù)據(jù)特性的理解有時(shí)甚至能發(fā)現(xiàn)數(shù)據(jù)采集或錄入中的錯(cuò)誤如異常值。經(jīng)驗(yàn)二相關(guān)系數(shù)不等于因果關(guān)系。這是老生常談但至關(guān)重要。即使我們算出了一個(gè)非常顯著的皮爾遜或斯皮爾曼相關(guān)系數(shù)也絕不能直接說(shuō)“A導(dǎo)致B”。相關(guān)系數(shù)只描述協(xié)同變化的關(guān)系其背后可能存在第三個(gè)混雜變量或者方向是相反的。建立因果關(guān)系需要更嚴(yán)謹(jǐn)?shù)难芯吭O(shè)計(jì)如隨機(jī)對(duì)照實(shí)驗(yàn)或更復(fù)雜的模型如因果推斷模型。經(jīng)驗(yàn)三報(bào)告結(jié)果時(shí)透明化你的選擇。在論文或報(bào)告里不要只寫“我們計(jì)算了相關(guān)系數(shù)”。應(yīng)該寫明“首先對(duì)變量X和Y進(jìn)行了正態(tài)性檢驗(yàn)Shapiro-Wilk檢驗(yàn)p值分別為0.xx和0.xx并輔以Q-Q圖可視化。鑒于數(shù)據(jù)不滿足正態(tài)性假設(shè)我們采用了斯皮爾曼秩相關(guān)系數(shù)來(lái)衡量其單調(diào)關(guān)聯(lián)。” 這樣的描述體現(xiàn)了你分析過(guò)程的嚴(yán)謹(jǐn)性也讓審稿人或讀者能夠評(píng)估你方法選擇的合理性。正態(tài)性檢驗(yàn)絕非一個(gè)可有可無(wú)的過(guò)場(chǎng)它是確保后續(xù)統(tǒng)計(jì)推斷可靠性的第一道也是最重要的一道關(guān)卡?；ㄔ跀?shù)據(jù)診斷上的時(shí)間永遠(yuǎn)比模型跑飛后回頭排查的時(shí)間要?jiǎng)澦愕枚唷? 正態(tài)性檢驗(yàn)：從Q-Q圖到統(tǒng)計(jì)檢驗(yàn)，確保建模可靠性的完整指南
1. 從“看起來(lái)像”到“證明它是”正態(tài)性檢驗(yàn)為何是建模的基石在數(shù)學(xué)建模尤其是涉及統(tǒng)計(jì)分析、回歸預(yù)測(cè)、機(jī)器學(xué)習(xí)等領(lǐng)域時(shí)我們常常會(huì)聽到一個(gè)前提假設(shè)“數(shù)據(jù)服從正態(tài)分布”。無(wú)論是做相關(guān)性分析、方差分析還是構(gòu)建線性回歸模型正態(tài)性假設(shè)往往是許多經(jīng)典統(tǒng)計(jì)方法如皮爾遜相關(guān)系數(shù)、t檢驗(yàn)、F檢驗(yàn)有效性的基石。新手最容易犯的錯(cuò)誤之一就是拿到數(shù)據(jù)后看一眼直方圖“長(zhǎng)得像鐘形”或者算一下均值中位數(shù)差不多就默認(rèn)數(shù)據(jù)是正態(tài)的然后直接套用那些對(duì)正態(tài)性有要求的模型和檢驗(yàn)。這種“想當(dāng)然”的做法是很多模型結(jié)果不穩(wěn)定、結(jié)論不可靠的根源。正態(tài)性檢驗(yàn)就是一套嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)工具用來(lái)回答“我們有多大把握認(rèn)為這組數(shù)據(jù)來(lái)自一個(gè)正態(tài)分布總體”這個(gè)問(wèn)題。它不是一個(gè)“是”或“否”的簡(jiǎn)單判斷題而是一個(gè)基于概率的決策過(guò)程。我們通過(guò)計(jì)算檢驗(yàn)統(tǒng)計(jì)量得到對(duì)應(yīng)的p值再根據(jù)顯著性水平通常為0.05來(lái)判斷是否拒絕“數(shù)據(jù)服從正態(tài)分布”的原假設(shè)。這個(gè)過(guò)程將建模從“藝術(shù)猜想”提升到了“科學(xué)驗(yàn)證”的層面。在相關(guān)系數(shù)分析這個(gè)具體場(chǎng)景下正態(tài)性檢驗(yàn)尤為重要。皮爾遜相關(guān)系數(shù)衡量的是線性相關(guān)性其有效性嚴(yán)重依賴于雙變量正態(tài)分布假設(shè)。如果數(shù)據(jù)不服從正態(tài)分布皮爾遜相關(guān)系數(shù)可能會(huì)嚴(yán)重失真或者其顯著性檢驗(yàn)p值失效。此時(shí)我們可能需要轉(zhuǎn)向斯皮爾曼秩相關(guān)系數(shù)或肯德爾秩相關(guān)系數(shù)這類非參數(shù)方法。因此在計(jì)算相關(guān)系數(shù)之前進(jìn)行正態(tài)性檢驗(yàn)是必不可少的數(shù)據(jù)診斷步驟它直接決定了后續(xù)分析方法的正確選擇。2. 視覺(jué)診斷法Q-Q圖與直方圖的直觀審視在動(dòng)用復(fù)雜的統(tǒng)計(jì)檢驗(yàn)之前我們首先應(yīng)該通過(guò)可視化方法對(duì)數(shù)據(jù)的正態(tài)性有一個(gè)直觀的感受。這就像醫(yī)生看病先“望聞問(wèn)切”再上儀器檢測(cè)。視覺(jué)診斷雖然主觀但能快速發(fā)現(xiàn)嚴(yán)重偏離正態(tài)的情況并幫助我們理解數(shù)據(jù)分布的形狀。2.1 分位數(shù)-分位數(shù)圖與理想正態(tài)的精準(zhǔn)對(duì)標(biāo)Q-Q圖Quantile-Quantile Plot是檢驗(yàn)正態(tài)性最強(qiáng)大、最直觀的圖形工具之一。它的原理很簡(jiǎn)單將樣本數(shù)據(jù)的實(shí)際分位數(shù)與理論正態(tài)分布的分位數(shù)進(jìn)行對(duì)比。如果數(shù)據(jù)完全服從正態(tài)分布那么這些點(diǎn)應(yīng)該大致排列在一條對(duì)角參考線上。如何解讀Q-Q圖點(diǎn)緊密圍繞對(duì)角線分布表明數(shù)據(jù)分布與正態(tài)分布非常接近。點(diǎn)呈“S”型曲線表示樣本分布的偏度與正態(tài)分布不符。尾部上翹表示右偏正偏尾部下彎表示左偏負(fù)偏。點(diǎn)呈“拱形”或“倒拱形”表示樣本分布的峰度與正態(tài)分布不符。拱形表示尖峰厚尾峰度3倒拱形表示平峰薄尾峰度3。兩端點(diǎn)嚴(yán)重偏離對(duì)角線通常意味著數(shù)據(jù)中存在異常值。在MATLAB中生成一個(gè)簡(jiǎn)單的Q-Q圖非常方便% 假設(shè)你的數(shù)據(jù)存儲(chǔ)在向量 data 中 data randn(100,1) * 2 5; % 生成一個(gè)均值為5標(biāo)準(zhǔn)差為2的100個(gè)正態(tài)隨機(jī)數(shù) qqplot(data); grid on; title(Q-Q Plot for Normality Check);執(zhí)行這段代碼你會(huì)看到一張散點(diǎn)圖。MATLAB的qqplot函數(shù)會(huì)自動(dòng)計(jì)算并繪制理論分位數(shù)和樣本分位數(shù)。我們的目標(biāo)是觀察散點(diǎn)是否緊密分布在紅色的參考線附近。對(duì)于上面生成的正態(tài)數(shù)據(jù)點(diǎn)應(yīng)該基本落在紅線上。你可以嘗試用exprnd(5, 100, 1)生成指數(shù)分布數(shù)據(jù)替換data看看Q-Q圖會(huì)變成什么樣子——點(diǎn)會(huì)呈現(xiàn)明顯的曲線偏離。注意Q-Q圖對(duì)樣本量敏感。樣本量很小時(shí)即使數(shù)據(jù)來(lái)自正態(tài)總體點(diǎn)也可能看起來(lái)有些分散。樣本量很大時(shí)即使輕微偏離正態(tài)在Q-Q圖上也會(huì)非常明顯。因此Q-Q圖最好與后續(xù)的統(tǒng)計(jì)檢驗(yàn)結(jié)合使用。2.2 直方圖與核密度估計(jì)分布形態(tài)的全局俯瞰直方圖是最基礎(chǔ)的分布可視化工具。通過(guò)將數(shù)據(jù)范圍劃分為若干個(gè)區(qū)間箱子并統(tǒng)計(jì)每個(gè)區(qū)間內(nèi)數(shù)據(jù)點(diǎn)的頻數(shù)我們可以直觀地看到數(shù)據(jù)分布的“形狀”是否類似于鐘形的正態(tài)曲線。直方圖的使用技巧箱子數(shù)量的選擇箱子太多圖形會(huì)過(guò)于鋸齒狀箱子太少會(huì)掩蓋分布細(xì)節(jié)。MATLAB的histogram函數(shù)有自動(dòng)選擇算法‘a(chǎn)uto’但手動(dòng)調(diào)整往往能得到更佳效果。一個(gè)經(jīng)驗(yàn)法則是嘗試sqrt(n)n為樣本量或Sturges’ formula: ceil(1 log2(n))個(gè)箱子。疊加正態(tài)曲線為了更直接地對(duì)比可以在直方圖上疊加一條理論正態(tài)分布曲線。這條曲線的均值和標(biāo)準(zhǔn)差應(yīng)使用你樣本的均值和標(biāo)準(zhǔn)差來(lái)估計(jì)。data randn(1000,1); % 生成1000個(gè)標(biāo)準(zhǔn)正態(tài)數(shù)據(jù) h histogram(data, 30, Normalization, pdf); % 畫直方圖歸一化為概率密度 hold on; % 計(jì)算數(shù)據(jù)的均值和標(biāo)準(zhǔn)差 mu mean(data); sigma std(data); % 生成理論正態(tài)分布的x軸坐標(biāo)和y軸密度值 x linspace(min(data), max(data), 100); y normpdf(x, mu, sigma); plot(x, y, r-, LineWidth, 2); hold off; xlabel(Value); ylabel(Probability Density); title(Histogram with Fitted Normal Curve); legend(Data Histogram, Fitted Normal Distribution);這段代碼生成了一個(gè)包含30個(gè)箱子的直方圖并疊加了紅色的擬合正態(tài)曲線。如果藍(lán)色直方圖的輪廓與紅色曲線高度重合則直觀上支持正態(tài)性假設(shè)。核密度估計(jì)是直方圖的一個(gè)平滑升級(jí)版。它通過(guò)在每個(gè)數(shù)據(jù)點(diǎn)處放置一個(gè)平滑的“核函數(shù)”如高斯核然后疊加所有核函數(shù)來(lái)估計(jì)總體的概率密度函數(shù)。KDE圖比直方圖更平滑對(duì)分布形態(tài)的展示更連續(xù)受箱子邊界影響更小。在MATLAB中可以使用ksdensity函數(shù)。data randn(500,1); [f, xi] ksdensity(data); figure; plot(xi, f, b-, LineWidth, 2); hold on; % 同樣疊加理論正態(tài)曲線 mu mean(data); sigma std(data); x linspace(min(xi), max(xi), 100); y normpdf(x, mu, sigma); plot(x, y, r--, LineWidth, 1.5); hold off; title(Kernel Density Estimate vs. Normal PDF); legend(KDE of Data, Theoretical Normal);通過(guò)對(duì)比藍(lán)色的KDE曲線和紅色的理論正態(tài)曲線可以更細(xì)膩地判斷分布的對(duì)稱性、峰度等特征。3. 統(tǒng)計(jì)檢驗(yàn)法給“像不像”一個(gè)明確的概率答案圖形方法給了我們直覺(jué)但科學(xué)需要量化的判斷。統(tǒng)計(jì)檢驗(yàn)法通過(guò)構(gòu)造檢驗(yàn)統(tǒng)計(jì)量并計(jì)算p值為我們提供了一個(gè)客觀的、可重復(fù)的決策標(biāo)準(zhǔn)。這里我們重點(diǎn)探討三種最常用、且在MATLAB中易于實(shí)現(xiàn)的正態(tài)性檢驗(yàn)方法。3.1 Shapiro-Wilk檢驗(yàn)小樣本時(shí)代的黃金標(biāo)準(zhǔn)Shapiro-Wilk檢驗(yàn)被認(rèn)為是檢驗(yàn)正態(tài)性的最強(qiáng)大工具之一尤其適用于樣本量較小n 50的情況。它的基本思想是評(píng)估樣本數(shù)據(jù)與理想正態(tài)數(shù)據(jù)之間的線性相關(guān)性。檢驗(yàn)統(tǒng)計(jì)量W的取值范圍在0到1之間W值越接近1表明數(shù)據(jù)越有可能來(lái)自正態(tài)分布。Shapiro-Wilk檢驗(yàn)的核心優(yōu)勢(shì)與局限優(yōu)勢(shì)對(duì)小樣本非常敏感功效檢出非正態(tài)的能力很高。局限對(duì)樣本量敏感。當(dāng)樣本量很大時(shí)例如n 2000即使數(shù)據(jù)對(duì)正態(tài)分布只有極其微小的偏離Shapiro-Wilk檢驗(yàn)也幾乎總是會(huì)拒絕原假設(shè)p值非常小。這是因?yàn)楫?dāng)樣本量極大時(shí)檢驗(yàn)有能力探測(cè)到任何細(xì)微的、在實(shí)際應(yīng)用中可能無(wú)關(guān)緊要的偏離。因此在大樣本情況下需要謹(jǐn)慎解讀Shapiro-Wilk檢驗(yàn)的結(jié)果應(yīng)更多結(jié)合圖形如Q-Q圖和效應(yīng)量來(lái)綜合判斷。在MATLAB中Statistics and Machine Learning Toolbox提供了swtest函數(shù)可能需要從File Exchange下載第三方實(shí)現(xiàn)因?yàn)楣俜轿磧?nèi)置同名函數(shù)或更通用的lillietestLilliefors檢驗(yàn)是K-S檢驗(yàn)的修正版也常用于正態(tài)性檢驗(yàn)。但為了精確執(zhí)行S-W檢驗(yàn)一個(gè)可靠的方法是使用chi2gof卡方擬合優(yōu)度檢驗(yàn)并指定‘cdf’為正態(tài)分布或者尋找專門的第三方函數(shù)。一個(gè)常見(jiàn)的第三方函數(shù)swtest用法示例如下假設(shè)已安裝% 假設(shè)已有數(shù)據(jù)向量 data [sw_h, sw_p, sw_w] swtest(data); fprintf(Shapiro-Wilk Test:\n); fprintf( Test Statistic W %.4f\n, sw_w); fprintf( P-value %.4f\n, sw_p); if sw_h 0 fprintf( Conclusion: Do NOT reject normality (at 0.05 level).\n); else fprintf( Conclusion: Reject normality (at 0.05 level).\n); end輸出結(jié)果會(huì)給出檢驗(yàn)統(tǒng)計(jì)量W、p值以及假設(shè)檢驗(yàn)的結(jié)論。如果p值小于0.05我們就在0.05的顯著性水平上拒絕“數(shù)據(jù)服從正態(tài)分布”的原假設(shè)。3.2 Jarque-Bera檢驗(yàn)基于偏度與峰度的綜合考量Jarque-Bera檢驗(yàn)的原理非常直觀它基于樣本數(shù)據(jù)的偏度和峰度。對(duì)于一個(gè)標(biāo)準(zhǔn)的正態(tài)分布其偏度衡量分布不對(duì)稱性為0峰度衡量分布尖峭程度為3。JB檢驗(yàn)構(gòu)造的統(tǒng)計(jì)量本質(zhì)上衡量的是樣本偏度與0的偏離、樣本峰度與3的偏離的綜合程度。JB檢驗(yàn)統(tǒng)計(jì)量的計(jì)算公式為JB (n/6) * [S^2 (K-3)^2 / 4]其中n是樣本量S是樣本偏度K是樣本峰度。在原假設(shè)數(shù)據(jù)正態(tài)下JB統(tǒng)計(jì)量漸近服從自由度為2的卡方分布。JB檢驗(yàn)的特點(diǎn)優(yōu)點(diǎn)計(jì)算簡(jiǎn)單概念清晰特別適用于大樣本情況。它對(duì)對(duì)稱但峰度不同的分布如均勻分布、拉普拉斯分布以及有偏分布都有一定的檢測(cè)能力。缺點(diǎn)對(duì)于小樣本其檢驗(yàn)功效可能不如Shapiro-Wilk檢驗(yàn)。它主要捕捉由于偏度和峰度偏離導(dǎo)致的非正態(tài)對(duì)于其他類型的非正態(tài)如多峰分布可能不敏感。在MATLAB中JB檢驗(yàn)可以通過(guò)jbtest函數(shù)輕松實(shí)現(xiàn)。data randn(200,1); % 正態(tài)數(shù)據(jù) % data exprnd(1, 200, 1); % 可以換成指數(shù)分布數(shù)據(jù)試試 [h, p, jbstat] jbtest(data); fprintf(Jarque-Bera Test:\n); fprintf( Test Statistic %.4f\n, jbstat); fprintf( P-value %.4f\n, p); if h 0 fprintf( Conclusion: Do NOT reject normality (at 0.05 level).\n); else fprintf( Conclusion: Reject normality (at 0.05 level).\n); end對(duì)于正態(tài)數(shù)據(jù)p值通常大于0.05對(duì)于指數(shù)分布等明顯非正態(tài)數(shù)據(jù)p值會(huì)非常小導(dǎo)致拒絕原假設(shè)。3.3 Kolmogorov-Smirnov檢驗(yàn)與Lilliefors修正經(jīng)驗(yàn)分布與理論分布的比拼Kolmogorov-Smirnov檢驗(yàn)是一種更通用的分布擬合優(yōu)度檢驗(yàn)它可以檢驗(yàn)樣本是否來(lái)自某個(gè)完全指定的理論分布包括正態(tài)分布。其核心思想是計(jì)算樣本經(jīng)驗(yàn)分布函數(shù)與理論分布函數(shù)之間的最大垂直距離D統(tǒng)計(jì)量。K-S檢驗(yàn)用于正態(tài)性檢驗(yàn)的致命缺陷標(biāo)準(zhǔn)的K-S檢驗(yàn)要求理論分布的參數(shù)均值和標(biāo)準(zhǔn)差是預(yù)先已知的。但在實(shí)際中我們幾乎總是用樣本的均值和標(biāo)準(zhǔn)差來(lái)估計(jì)理論分布的參數(shù)。這會(huì)導(dǎo)致一個(gè)問(wèn)題用估計(jì)的參數(shù)去檢驗(yàn)會(huì)使檢驗(yàn)過(guò)于保守更容易接受原假設(shè)因?yàn)镈統(tǒng)計(jì)量的分布發(fā)生了變化。Lilliefors檢驗(yàn)的救場(chǎng)正是為了解決這個(gè)問(wèn)題Lilliefors提出了修正的K-S檢驗(yàn)專門用于檢驗(yàn)正態(tài)性或指數(shù)性其中分布的參數(shù)是從樣本中估計(jì)的。它通過(guò)蒙特卡洛模擬或精確計(jì)算提供了更準(zhǔn)確的臨界值表。因此在檢驗(yàn)正態(tài)性時(shí)我們應(yīng)該使用Lilliefors檢驗(yàn)而不是標(biāo)準(zhǔn)的K-S檢驗(yàn)。在MATLAB中l(wèi)illietest函數(shù)實(shí)現(xiàn)了Lilliefors檢驗(yàn)。data randn(150,1); [h, p, lstat] lillietest(data); fprintf(Lilliefors Test (for Normality):\n); fprintf( Test Statistic D %.4f\n, lstat); fprintf( P-value %.4f\n, p); if h 0 fprintf( Conclusion: Do NOT reject normality (at 0.05 level).\n); else fprintf( Conclusion: Reject normality (at 0.05 level).\n); end4. MATLAB實(shí)戰(zhàn)構(gòu)建一個(gè)完整的正態(tài)性檢驗(yàn)流程理解了各種方法后我們需要一個(gè)系統(tǒng)化的流程來(lái)應(yīng)用于實(shí)際建模。下面我將展示一個(gè)在MATLAB中從數(shù)據(jù)導(dǎo)入到綜合判斷的完整腳本框架。這個(gè)流程強(qiáng)調(diào)可視化與統(tǒng)計(jì)檢驗(yàn)的結(jié)合并輸出一份清晰的診斷報(bào)告。4.1 數(shù)據(jù)準(zhǔn)備與初步觀察首先我們加載或生成數(shù)據(jù)并進(jìn)行最基本的描述性統(tǒng)計(jì)這對(duì)后續(xù)理解檢驗(yàn)結(jié)果很有幫助。clear; clc; close all; % 1. 數(shù)據(jù)準(zhǔn)備 - 這里以模擬數(shù)據(jù)為例實(shí)際中可替換為 load(‘yourdata.mat’) % 生成兩組數(shù)據(jù)一組正態(tài)一組非正態(tài)卡方分布 rng(42); % 設(shè)定隨機(jī)種子確保結(jié)果可重復(fù) n 100; % 樣本量 data_normal randn(n, 1) * 1.5 10; % 正態(tài)均值10標(biāo)準(zhǔn)差1.5 data_nonnormal chi2rnd(3, n, 1); % 非正態(tài)自由度為3的卡方分布 % 選擇你要檢驗(yàn)的數(shù)據(jù) data data_normal; % 切換為 data_nonnormal 進(jìn)行測(cè)試 fprintf( 數(shù)據(jù)概覽 \n); fprintf(樣本量 n %d\n, length(data)); fprintf(均值 %.4f\n, mean(data)); fprintf(標(biāo)準(zhǔn)差 %.4f\n, std(data)); fprintf(偏度 %.4f\n, skewness(data)); fprintf(峰度 %.4f\n, kurtosis(data));描述性統(tǒng)計(jì)中的偏度和峰度已經(jīng)能給我們初步提示。偏度遠(yuǎn)離0表示不對(duì)稱峰度遠(yuǎn)離3表示尾巴厚度或尖度與正態(tài)不同。4.2 可視化診斷套件我們將關(guān)鍵的圖形放在一個(gè)圖窗中便于對(duì)比觀察。% 2. 可視化診斷 figure(‘Position‘, [100, 100, 1200, 800]); % 設(shè)置大圖窗 % 子圖1直方圖 核密度估計(jì) 正態(tài)曲線 subplot(2, 3, 1); histogram(data, ‘Normalization‘, ‘pdf‘, ‘FaceColor‘, [0.7 0.7 0.9], ‘EdgeColor‘, ‘k‘); hold on; % 核密度估計(jì) [f_kde, xi] ksdensity(data, ‘Bandwidth‘, 0.5); % Bandwidth可調(diào)整平滑度 plot(xi, f_kde, ‘b-‘, ‘LineWidth‘, 2); % 理論正態(tài)曲線 mu mean(data); sigma std(data); x_range linspace(min(data)-3*sigma, max(data)3*sigma, 200); y_norm normpdf(x_range, mu, sigma); plot(x_range, y_norm, ‘r--‘, ‘LineWidth‘, 2); hold off; xlabel(‘Data Value‘); ylabel(‘Density‘); title(‘Histogram, KDE Normal Fit‘); legend(‘Histogram‘, ‘Kernel Density‘, ‘Normal PDF‘, ‘Location‘, ‘best‘); grid on; % 子圖2Q-Q圖 subplot(2, 3, 2); qqplot(data); grid on; title(‘Q-Q Plot‘); % 可以美化一下Q-Q圖添加參考線 hold on; h get(gca, ‘Children‘); set(h(1), ‘Marker‘, ‘.‘, ‘MarkerSize‘, 12); % 調(diào)整散點(diǎn)樣式 % 手動(dòng)添加yx參考線便于觀察 xlims xlim; ylims ylim; new_lim [min([xlims(1), ylims(1)]), max([xlims(2), ylims(2)])]; plot(new_lim, new_lim, ‘k-‘, ‘LineWidth‘, 1); hold off; xlabel(‘Theoretical Quantiles‘); ylabel(‘Sample Quantiles‘); % 子圖3箱線圖觀察對(duì)稱性和異常值 subplot(2, 3, 3); boxplot(data, ‘Orientation‘, ‘horizontal‘); title(‘Box Plot‘); xlabel(‘Data Value‘); grid on; % 子圖4經(jīng)驗(yàn)分布函數(shù) vs 理論正態(tài)CDF (K-S檢驗(yàn)思想的可視化) subplot(2, 3, 4); [f_emp, x_emp] ecdf(data); % 經(jīng)驗(yàn)分布函數(shù) plot(x_emp, f_emp, ‘b-‘, ‘LineWidth‘, 2); hold on; x_theory linspace(min(data), max(data), 1000); y_theory normcdf(x_theory, mu, sigma); plot(x_theory, y_theory, ‘r--‘, ‘LineWidth‘, 2); % 標(biāo)注最大距離D統(tǒng)計(jì)量 [~, D_idx] max(abs(f_emp - normcdf(x_emp, mu, sigma))); D abs(f_emp(D_idx) - normcdf(x_emp(D_idx), mu, sigma)); plot([x_emp(D_idx), x_emp(D_idx)], [f_emp(D_idx), normcdf(x_emp(D_idx), mu, sigma)], ‘k-‘, ‘LineWidth‘, 1.5); text(x_emp(D_idx), mean([f_emp(D_idx), normcdf(x_emp(D_idx), mu, sigma)]), ... sprintf(‘D%.3f‘, D), ‘VerticalAlignment‘, ‘bottom‘, ‘HorizontalAlignment‘, ‘center‘); hold off; xlabel(‘Data Value‘); ylabel(‘Cumulative Probability‘); title(‘Empirical vs. Theoretical CDF (K-S Distance)‘); legend(‘Empirical CDF‘, ‘Normal CDF‘, ‘Max Distance D‘, ‘Location‘, ‘best‘); grid on; % 子圖5正態(tài)概率圖 (另一種形式的概率圖) subplot(2, 3, 5); probplot(‘normal‘, data); grid on; title(‘Normal Probability Plot‘); sgtitle(‘Comprehensive Normality Diagnostic Plots‘, ‘FontSize‘, 14, ‘FontWeight‘, ‘bold‘);這套組合圖形提供了多角度視圖直方圖/KDE看整體形狀Q-Q圖和正態(tài)概率圖看分位數(shù)匹配箱線圖看對(duì)稱性和異常值CDF對(duì)比圖直觀展示K-S距離。4.3 統(tǒng)計(jì)檢驗(yàn)執(zhí)行與結(jié)果解讀運(yùn)行多種統(tǒng)計(jì)檢驗(yàn)并匯總結(jié)果。不要只依賴一種檢驗(yàn)方法。% 3. 執(zhí)行多種統(tǒng)計(jì)檢驗(yàn) fprintf(‘\n 統(tǒng)計(jì)檢驗(yàn)結(jié)果 \n‘); alpha 0.05; % 顯著性水平 % (1) Jarque-Bera 檢驗(yàn) [h_jb, p_jb, jbstat] jbtest(data, alpha); fprintf(‘1. Jarque-Bera Test:\n‘); fprintf(‘ Statistic %.4f, P-value %.4e\n‘, jbstat, p_jb); fprintf(‘ Conclusion: ‘); if h_jb 0 fprintf(‘Fail to reject normality (p %.2f).\n‘, alpha); else fprintf(‘Reject normality (p %.2f).\n‘, alpha); end % (2) Lilliefors 檢驗(yàn) (修正的K-S檢驗(yàn)) [h_lillie, p_lillie, lstat] lillietest(data, alpha); fprintf(‘2. Lilliefors Test:\n‘); fprintf(‘ Statistic D %.4f, P-value %.4e\n‘, lstat, p_lillie); fprintf(‘ Conclusion: ‘); if h_lillie 0 fprintf(‘Fail to reject normality (p %.2f).\n‘, alpha); else fprintf(‘Reject normality (p %.2f).\n‘, alpha); end % (3) 嘗試尋找或?qū)崿F(xiàn) Shapiro-Wilk 檢驗(yàn) (這里假設(shè)有swtest函數(shù)) % 如果未安裝可以注釋掉這部分或使用 chi2gof 替代 try [h_sw, p_sw, wstat] swtest(data, alpha); fprintf(‘3. Shapiro-Wilk Test:\n‘); fprintf(‘ Statistic W %.4f, P-value %.4e\n‘, wstat, p_sw); fprintf(‘ Conclusion: ‘); if h_sw 0 fprintf(‘Fail to reject normality (p %.2f).\n‘, alpha); else fprintf(‘Reject normality (p %.2f).\n‘, alpha); end catch ME fprintf(‘3. Shapiro-Wilk Test: Function ”swtest” not found. Skipped.\n‘); % 作為替代可以使用卡方擬合優(yōu)度檢驗(yàn)但需分組 % [h_chi, p_chi] chi2gof(data, ‘CDF‘, makedist(‘Normal‘, ‘mu‘, mu, ‘sigma‘, sigma)); end % 4. 綜合判斷與建議 fprintf(‘\n 綜合診斷建議 \n‘); reject_counts sum([h_jb, h_lillie]); % 統(tǒng)計(jì)拒絕原假設(shè)的檢驗(yàn)數(shù)量 total_tests 2; % 這里以JB和Lilliefors為例 if reject_counts 0 fprintf(‘所有檢驗(yàn)均未拒絕正態(tài)性原假設(shè)。\n‘); fprintf(‘建議可以較為放心地使用基于正態(tài)假設(shè)的模型如皮爾遜相關(guān)、t檢驗(yàn)等。但仍需結(jié)合圖形觀察確認(rèn)無(wú)明顯異常。\n‘); elseif reject_counts total_tests fprintf(‘所有檢驗(yàn)均拒絕正態(tài)性原假設(shè)。\n‘); fprintf(‘建議數(shù)據(jù)很可能不服從正態(tài)分布。應(yīng)\n‘); fprintf(‘ a) 仔細(xì)查看Q-Q圖和直方圖判斷偏離類型偏態(tài)、厚尾等。\n‘); fprintf(‘ b) 考慮對(duì)數(shù)據(jù)進(jìn)行變換如對(duì)數(shù)變換、Box-Cox變換。\n‘); fprintf(‘ c) 轉(zhuǎn)向非參數(shù)方法如斯皮爾曼相關(guān)系數(shù)、Mann-Whitney U檢驗(yàn)。\n‘); fprintf(‘ d) 使用對(duì)正態(tài)性不敏感的穩(wěn)健方法。\n‘); else fprintf(‘檢驗(yàn)結(jié)果不一致。\n‘); fprintf(‘建議這種情況常發(fā)生在樣本量中等或數(shù)據(jù)處于“邊緣非正態(tài)”時(shí)。\n‘); fprintf(‘ 應(yīng)重點(diǎn)依賴圖形診斷Q-Q圖。如果圖形顯示僅有輕微偏離且樣本量較大某些檢驗(yàn)如S-W可能因過(guò)于敏感而拒絕。\n‘); fprintf(‘ 此時(shí)若偏離對(duì)后續(xù)分析影響不大例如回歸分析中對(duì)殘差正態(tài)性要求相對(duì)寬松可謹(jǐn)慎使用參數(shù)方法。否則建議采用非參數(shù)方法。\n‘); end這個(gè)腳本提供了一個(gè)自動(dòng)化診斷的模板。在實(shí)際項(xiàng)目中你可以將其封裝成一個(gè)函數(shù)normalityCheck(data, alpha)方便重復(fù)調(diào)用。5. 當(dāng)數(shù)據(jù)非正態(tài)時(shí)應(yīng)對(duì)策略與相關(guān)系數(shù)的選擇經(jīng)過(guò)檢驗(yàn)如果數(shù)據(jù)確實(shí)不服從正態(tài)分布我們并非無(wú)路可走。盲目使用皮爾遜相關(guān)系數(shù)會(huì)導(dǎo)致錯(cuò)誤。這時(shí)我們需要一套應(yīng)對(duì)策略。5.1 數(shù)據(jù)變換將“非正態(tài)”拉回正軌對(duì)于某些類型的非正態(tài)數(shù)據(jù)可以通過(guò)數(shù)學(xué)變換使其更接近正態(tài)分布。這通常是處理偏態(tài)數(shù)據(jù)的首選方法。對(duì)數(shù)變換適用于右偏正偏嚴(yán)重且所有值為正的數(shù)據(jù)。例如收入、人口、面積等數(shù)據(jù)。在MATLAB中transformed_data log(data)。如果數(shù)據(jù)包含零可以使用log1p即log(1x)。平方根變換適用于輕度右偏的數(shù)據(jù)特別是計(jì)數(shù)數(shù)據(jù)如泊松分布。transformed_data sqrt(data)。Box-Cox變換一個(gè)更強(qiáng)大的變換族能自動(dòng)尋找最優(yōu)的變換參數(shù)λ使變換后的數(shù)據(jù)盡可能正態(tài)。MATLAB的boxcox函數(shù)可以幫你找到最優(yōu)λ并完成變換。% 使用Box-Cox變換 [transformed_data, lambda] boxcox(data); % data必須為正數(shù) fprintf(‘Optimal lambda found by Box-Cox: %.4f\n‘, lambda); % 對(duì)變換后的數(shù)據(jù)再次進(jìn)行正態(tài)性檢驗(yàn) [h, p] lillietest(transformed_data); if h0 fprintf(‘After Box-Cox transformation, data appears normal (p%.4f).\n‘, p); end重要提示對(duì)變換后的數(shù)據(jù)進(jìn)行分析后解釋結(jié)果時(shí)需牢記變量已被變換。例如基于對(duì)數(shù)變換數(shù)據(jù)建立的線性模型其系數(shù)解釋是關(guān)于對(duì)數(shù)尺度的。5.2 非參數(shù)相關(guān)系數(shù)繞過(guò)正態(tài)假設(shè)如果變換效果不佳或者變換使數(shù)據(jù)難以解釋那么就應(yīng)該放棄皮爾遜相關(guān)系數(shù)轉(zhuǎn)而使用不依賴于正態(tài)分布假設(shè)的非參數(shù)相關(guān)系數(shù)。斯皮爾曼秩相關(guān)系數(shù)它衡量的是兩個(gè)變量單調(diào)關(guān)系的強(qiáng)度和方向。計(jì)算時(shí)先將原始數(shù)據(jù)轉(zhuǎn)換為秩次排序后的位次然后計(jì)算這些秩次之間的皮爾遜相關(guān)系數(shù)。它對(duì)異常值不敏感適用于定序數(shù)據(jù)或不滿足正態(tài)分布的定距數(shù)據(jù)。% 計(jì)算斯皮爾曼相關(guān)系數(shù)及其p值 [rho_spearman, p_spearman] corr(data1, data2, ‘Type‘, ‘Spearman‘); fprintf(‘Spearman‘s rank correlation coefficient: %.4f\n‘, rho_spearman); fprintf(‘P-value (two-tailed): %.4e\n‘, p_spearman);肯德爾秩相關(guān)系數(shù)同樣基于秩次但它衡量的是兩個(gè)變量之間一致對(duì)和不一致對(duì)的比例。對(duì)于樣本量較小或數(shù)據(jù)中存在大量重復(fù)值結(jié)的情況肯德爾τ有時(shí)比斯皮爾曼ρ更穩(wěn)定。% 計(jì)算肯德爾τ相關(guān)系數(shù)及其p值 [tau_kendall, p_kendall] corr(data1, data2, ‘Type‘, ‘Kendall‘); fprintf(‘Kendall‘s tau correlation coefficient: %.4f\n‘, tau_kendall); fprintf(‘P-value (two-tailed): %.4e\n‘, p_kendall);如何選擇斯皮爾曼相關(guān)系數(shù)更常用計(jì)算效率高且與皮爾遜相關(guān)系數(shù)在解釋上類似-1到1?？系聽枽訉?duì)數(shù)據(jù)分布的形狀更不敏感但計(jì)算復(fù)雜度更高。通常如果數(shù)據(jù)沒(méi)有太多重復(fù)值兩者結(jié)論會(huì)相似。5.3 穩(wěn)健方法與重抽樣技術(shù)除了變換和非參數(shù)方法還有一些更現(xiàn)代的思路穩(wěn)健統(tǒng)計(jì)量例如可以使用基于中位數(shù)和絕對(duì)偏差的相關(guān)系數(shù)估計(jì)或者使用修剪后的皮爾遜相關(guān)系數(shù)剔除一定比例極端值后再計(jì)算這些方法對(duì)偏離正態(tài)和異常值有更好的耐抗性。自助法當(dāng)理論分布未知時(shí)可以通過(guò)自助法來(lái)估計(jì)相關(guān)系數(shù)的置信區(qū)間。其基本思想是從原始樣本中有放回地重復(fù)抽樣生成大量“Bootstrap樣本”然后計(jì)算每個(gè)樣本的相關(guān)系數(shù)最后用這些相關(guān)系數(shù)的分布來(lái)估計(jì)真實(shí)相關(guān)系數(shù)的分布。n_boot 10000; % Bootstrap重抽樣次數(shù) boot_corr zeros(n_boot, 1); n_obs length(data1); for i 1:n_boot idx randi(n_obs, n_obs, 1); % 有放回隨機(jī)抽樣索引 boot_corr(i) corr(data1(idx), data2(idx), ‘Type‘, ‘Pearson‘); % 仍可用Pearson但評(píng)估其分布 end % 計(jì)算95%的Bootstrap置信區(qū)間 ci_lower prctile(boot_corr, 2.5); ci_upper prctile(boot_corr, 97.5); fprintf(‘Bootstrap 95%% CI for Pearson correlation: [%.4f, %.4f]\n‘, ci_lower, ci_upper);如果這個(gè)置信區(qū)間不包含0我們可以在不依賴正態(tài)性假設(shè)的情況下認(rèn)為相關(guān)性是顯著的。6. 實(shí)戰(zhàn)中的陷阱與經(jīng)驗(yàn)之談在多年的建模和數(shù)據(jù)分析工作中關(guān)于正態(tài)性檢驗(yàn)和相關(guān)系數(shù)應(yīng)用我踩過(guò)不少坑也總結(jié)出一些教科書上不會(huì)細(xì)講的經(jīng)驗(yàn)。陷阱一盲目相信單一檢驗(yàn)的p值。尤其是在大樣本n 1000情況下Shapiro-Wilk或K-S檢驗(yàn)的威力極大任何微小的、在實(shí)際應(yīng)用中可忽略的非正態(tài)性都會(huì)導(dǎo)致p值極其顯著0.001。此時(shí)一定要回到Q-Q圖。如果點(diǎn)基本落在對(duì)角線上僅在尾部有極其輕微的偏離那么從實(shí)際應(yīng)用角度可以認(rèn)為數(shù)據(jù)“近似正態(tài)”使用皮爾遜相關(guān)系數(shù)風(fēng)險(xiǎn)不大。統(tǒng)計(jì)顯著不等于實(shí)際顯著。陷阱二忽略多元正態(tài)性。在計(jì)算多個(gè)變量間的皮爾遜相關(guān)系數(shù)矩陣或進(jìn)行多元回歸時(shí)我們需要的假設(shè)是多元正態(tài)分布這比每個(gè)變量單獨(dú)服從一元正態(tài)分布要求更嚴(yán)格。檢驗(yàn)多元正態(tài)性更復(fù)雜如Mardia‘s test但在實(shí)踐中如果每個(gè)邊緣分布都近似正態(tài)且散點(diǎn)圖呈橢圓狀通?？梢哉J(rèn)為多元正態(tài)性近似滿足。一個(gè)實(shí)用的檢查方法是做殘差圖。在回歸分析后繪制預(yù)測(cè)值與殘差的散點(diǎn)圖或殘差的Q-Q圖。如果殘差隨機(jī)分布在0附近且Q-Q圖近似直線則模型的正態(tài)性假設(shè)基本合理。陷阱三對(duì)分類數(shù)據(jù)誤用皮爾遜相關(guān)系數(shù)。皮爾遜相關(guān)系數(shù)衡量的是兩個(gè)連續(xù)變量之間的線性關(guān)系。對(duì)于分類變量如性別、等級(jí)計(jì)算皮爾遜相關(guān)系數(shù)是沒(méi)有意義的。對(duì)于兩個(gè)分類變量應(yīng)使用卡方檢驗(yàn)、克萊姆V系數(shù)等對(duì)于一個(gè)連續(xù)變量和一個(gè)二分類變量可以使用點(diǎn)二列相關(guān)對(duì)于兩個(gè)有序分類變量可以使用斯皮爾曼或肯德爾相關(guān)系數(shù)。經(jīng)驗(yàn)一建立標(biāo)準(zhǔn)化的數(shù)據(jù)診斷流程。對(duì)于每一個(gè)新的數(shù)據(jù)集在開始任何復(fù)雜的建模前我都習(xí)慣性跑一遍類似第4部分的診斷腳本。這不僅能避免方法誤用還能加深對(duì)數(shù)據(jù)特性的理解有時(shí)甚至能發(fā)現(xiàn)數(shù)據(jù)采集或錄入中的錯(cuò)誤如異常值。經(jīng)驗(yàn)二相關(guān)系數(shù)不等于因果關(guān)系。這是老生常談但至關(guān)重要。即使我們算出了一個(gè)非常顯著的皮爾遜或斯皮爾曼相關(guān)系數(shù)也絕不能直接說(shuō)“A導(dǎo)致B”。相關(guān)系數(shù)只描述協(xié)同變化的關(guān)系其背后可能存在第三個(gè)混雜變量或者方向是相反的。建立因果關(guān)系需要更嚴(yán)謹(jǐn)?shù)难芯吭O(shè)計(jì)如隨機(jī)對(duì)照實(shí)驗(yàn)或更復(fù)雜的模型如因果推斷模型。經(jīng)驗(yàn)三報(bào)告結(jié)果時(shí)透明化你的選擇。在論文或報(bào)告里不要只寫“我們計(jì)算了相關(guān)系數(shù)”。應(yīng)該寫明“首先對(duì)變量X和Y進(jìn)行了正態(tài)性檢驗(yàn)Shapiro-Wilk檢驗(yàn)p值分別為0.xx和0.xx并輔以Q-Q圖可視化。鑒于數(shù)據(jù)不滿足正態(tài)性假設(shè)我們采用了斯皮爾曼秩相關(guān)系數(shù)來(lái)衡量其單調(diào)關(guān)聯(lián)。” 這樣的描述體現(xiàn)了你分析過(guò)程的嚴(yán)謹(jǐn)性也讓審稿人或讀者能夠評(píng)估你方法選擇的合理性。正態(tài)性檢驗(yàn)絕非一個(gè)可有可無(wú)的過(guò)場(chǎng)它是確保后續(xù)統(tǒng)計(jì)推斷可靠性的第一道也是最重要的一道關(guān)卡?；ㄔ跀?shù)據(jù)診斷上的時(shí)間永遠(yuǎn)比模型跑飛后回頭排查的時(shí)間要?jiǎng)澦愕枚唷?