賈俊平《數(shù)據(jù)分析基礎(chǔ)-基于Python的實(shí)現(xiàn)》（08）第8章 方差分析（DA）

第1章1

-2023-04-02賈俊平2023-04-02統(tǒng)計(jì)學(xué)—Python實(shí)現(xiàn)—賈俊平賈俊平

2023-04-02Fundamentals

of

dataanalysis

with

Python數(shù)據(jù)分析基礎(chǔ)基于

Python 的實(shí)現(xiàn)第8章方差分析的原理單因子方差分析雙因子方差分析方差分析的假定及其檢驗(yàn)賈俊平2023-04-02第

8

章

方差分析數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章提出假設(shè)·

：

i

=

0(i=1,2,…,I)（處理效應(yīng)不顯著）·

：

i

至少有一個(gè)不等于0

（處理效應(yīng)顯著）構(gòu)建檢驗(yàn)統(tǒng)計(jì)量，用P值做出決策·

未拒絕，因子對(duì)觀測(cè)值

影響不顯著，分析結(jié)束·

拒絕，可以用效應(yīng)量，多重比較效應(yīng)量分析·

用效應(yīng)量·

雙因子方差分析可以及計(jì)算：總效應(yīng)量、主效應(yīng)量、偏效應(yīng)量多重比較·

Fisher的最小顯著性差異法—LSD·

Tukey的實(shí)際顯著性差異法—HSD假定條件檢驗(yàn)·

正態(tài)性檢驗(yàn)Q-Q圖數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02Sharpio檢驗(yàn)；K-S檢驗(yàn)·

方差齊性檢驗(yàn)Levene檢驗(yàn)·

獨(dú)立性判斷方差分析的步驟思維導(dǎo)圖第8章8.1

方差分析的原理方差分析的原理——什么是方差分析(ANOVA)方差分析是在20世紀(jì)20年代由英國(guó)統(tǒng)計(jì)學(xué)家RonaldA.Fisher在進(jìn)行實(shí)驗(yàn)設(shè)計(jì)時(shí)為解釋實(shí)驗(yàn)數(shù)據(jù)而首先引入的分析類(lèi)別自變量對(duì)數(shù)值因變量影響的一種統(tǒng)計(jì)方法研究分類(lèi)型自變量對(duì)數(shù)值型因變量的影響

一個(gè)或多個(gè)分類(lèi)自變量；兩個(gè)或多個(gè)(k個(gè))處理水平或分類(lèi)一個(gè)數(shù)值型因變量有單因子方差分析和雙因子方差分析單因子方差分析：涉及一個(gè)分類(lèi)的自變量雙因子方差分析：涉及兩個(gè)分類(lèi)的自變量【例8-1】（數(shù)據(jù)：example8_1.RData）為分?jǐn)?shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02析不同測(cè)評(píng)時(shí)間電腦處理器的性能。3個(gè)測(cè)評(píng)時(shí)間電腦處理器的性能得分?jǐn)?shù)據(jù)：2020年第二季度2020年第三季1

083

5461

029

575651

401668

441517

440511

137366

452348

244353

786339

329314

934284

131288

302274

748285

369265

583268

038265

567（以上是前9行，共30行數(shù)據(jù)，第8章8.1方差分析的原理方差分析的原理——誤差分解總誤差(total

error)反映全部觀測(cè)數(shù)據(jù)的誤差

所抽取的全部30個(gè)地塊的產(chǎn)量之間差異處理誤差(treatment

error)—組間誤差

(between-group

error)

由于不同處理造成的誤差，它反映了處理(品種)對(duì)觀測(cè)數(shù)據(jù)(產(chǎn)量)的影響，因此稱(chēng)為處理效應(yīng)(treatment

effect)隨機(jī)誤差(random

error)—組內(nèi)誤差

(within-group

error)

由于隨機(jī)因子造成的誤差，也簡(jiǎn)稱(chēng)為誤差(error)數(shù)據(jù)的誤差用平方和(sum

of

squares)表示，記為SS總平方和(sum

of

squares

for

total)，記為SST反映全部數(shù)據(jù)總誤差大小的平方和處理平方和(treatment

sum

of

squares)，記為SSA反映處理誤差大小的平方和也稱(chēng)為組間平方和(between-group

sum

of

squares)誤差平方和(sum

of

squares

of

error)，記為SSE反映隨機(jī)誤差大小的平方和稱(chēng)為誤差平方和也稱(chēng)為組內(nèi)平方和(within-group

sum

of

squares)數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.1方差分析的原理方差分析的原理——數(shù)學(xué)模型數(shù)據(jù)的誤差用平方和(sum

of

squares)表示，記為SS總平方和(sum

of

squares

for

total)，記為SST反映全部數(shù)據(jù)總誤差大小的平方和設(shè)因子A有I種處理(比如時(shí)間有”2020年第二季度”,”2020年第三季度”,”2021年第一季度”3種處理)，單因子方差分析用線性模型表示為數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.2單因子方差分析單因子方差分析——提出假設(shè)數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02單因子方差分析——方差分析表第8章8.2

單因子方差分析單因子方差分析——效應(yīng)檢驗(yàn)——例題分析#將表8-1的短格式數(shù)據(jù)轉(zhuǎn)為長(zhǎng)格式數(shù)據(jù)測(cè)評(píng)時(shí)間性能得分…

…02020年第二季度108354612020年第二季度651401dfsum_sqmean_sqFPR(>F)22020年第二季度517440-------------------------------------------------32020年第二季度366452測(cè)評(píng)時(shí)間2.0

4.590e+12

2.295e+12

49.709

4.008e-1542020年第二季度35378652020年第二季度314934Residual

87.0

4.017e+12

4.617e+10

NaN

NaN62020年第二季度28830272020年第二季度28536982020年第二季度26803892020年第二季度254566數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——效應(yīng)檢驗(yàn)——例題分析OLS

Regression

Results============================================================Dep.

Variable:

valueR-squared:0.533Model:

OLSAdj.

R-squared:0.523Method:

Least

SquaresF-statistic:49.71Date:

Sat,

21

Aug

2021Prob

(F-statistic):4.01e-15Time:

17:28:42Log-Likelihood:-1231.2No.

Observations:

90AIC:2468.Df

Residuals:

87BIC:2476.Df

Model:

2Covariance

Type:

nonrobust============================================================coef

std

err

t

P>|t|Intercept 2.641e+05

3.92e+04

6.733

0.000數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02[0.025

0.975]1.86e+05

3.42e+05season[2020年第三季度]4.784e+05

5.55e+048.6230.000

3.68e+05

5.89e+05season[2021年第一季度]-1330.8000

5.55e+04-0.0240.981

-1.12e+05

1.09e+05============================================================Omnibus:69.519Durbin-Watson:0.648Prob(Omnibus):0.000Jarque-Bera

(JB):324.339Skew:2.627Prob(JB):3.72e-71Kurtosis:10.674Cond.

No.3.73============================================================Notes:[1]

Standard

Errors

assume

that

the

covariance

matrix

of

the

errors

is

correctly

specified.第8章8.2

單因子方差分析單因子方差分析——效應(yīng)檢驗(yàn)——例題分析——均值圖數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——效應(yīng)量分析——例題分析數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——多重比較——Tukey-Kramer的HSD方法HSD是真實(shí)顯著差異(honestly

significant

difference)的縮寫(xiě)，因此也被稱(chēng)為真顯著差異方法該檢驗(yàn)方法是由Jone

W.Tukey于1953年提出的，因此也被稱(chēng)為T(mén)ukey的HSD方法。由于Tukey的HSD方法要求各處理

的樣本量相同，當(dāng)各處理的樣本量不相同時(shí)，該方法就不再適用。20世紀(jì)50年代中期，C.Y.Kramer對(duì)Tukey的HSD方法做了一些修正，從而使其適用于樣本量不同的情形。修正后的HSD檢驗(yàn)稱(chēng)為T(mén)ukey-Kramer方法，簡(jiǎn)稱(chēng)為T(mén)ukey-Kramer的HSD方法該方法的適用場(chǎng)合是：研究者事先并未計(jì)劃進(jìn)行多重比較，只是在方差分析決絕原假設(shè)后，才需要對(duì)任意兩個(gè)處理的

均值進(jìn)行比較，這時(shí)采用HSD方法比較合適數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——多重比較——Tukey-Kramer的HSD方法Multiple

Comparison

of

Means

-

Tukey

HSD,

FWER=0.05======================================================group1

group2

meandiff

p-adj

lower

upper數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02reject第一季度第三季度-479748.50.001-612048.0659-347448.9341True第一季度第二季度-478417.70.001-610717.2659-346118.1341True第三季度第二季度

1330.80.9-130968.7659133630.3659False第8章8.3雙因子方差分析雙因子方差分析——數(shù)學(xué)模型分析兩個(gè)因子(因子A和因子B)對(duì)實(shí)驗(yàn)結(jié)果的影響如果兩個(gè)因子對(duì)實(shí)驗(yàn)結(jié)果的影響是相互獨(dú)立的，分別判斷因子A和因子B對(duì)實(shí)驗(yàn)數(shù)據(jù)的單獨(dú)影響，這時(shí)的雙因子方差分析稱(chēng)為只考慮主效應(yīng)的雙

因子方差分析或無(wú)重復(fù)雙因子方差分析(Two-factor

without

replication)如果除了因子A和因子B對(duì)實(shí)驗(yàn)數(shù)據(jù)的單獨(dú)影響外，兩個(gè)因子的搭配還會(huì)對(duì)結(jié)果產(chǎn)生一種新的影響，這時(shí)的雙因子方差分析稱(chēng)為考慮交互效應(yīng)的雙因子方差分析或可重復(fù)雙因子方差分析

(Two-factor

with

replication)設(shè)因子A有I種處理因子B有J種處理雙因子方差分析可用下面的線性模型來(lái)表示ij=0數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——主效應(yīng)分析——誤差分解數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02雙因子方差分析——主效應(yīng)分析——方差分析表第8章8.3

雙因子方差分析雙因子方差分析——主效應(yīng)分析——效應(yīng)量數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——主效應(yīng)分析——例題分析【例8-4】(數(shù)據(jù)：example8_4.Rdata)情況。數(shù)據(jù)如表8-4所示。檢驗(yàn)性別和身體狀況對(duì)受訪者收入的影響是否顯著(

=0.05)方差分析表中國(guó)綜合社會(huì)調(diào)查（CGSS）2017年對(duì)不同性別和不同健康自我認(rèn)知的受訪者收入進(jìn)行了詢問(wèn)。男性和女性2dfsum_sqmean_sqFPR(>F)種性別下，各有健康自我認(rèn)知的5種性別1.02.936845e+092.936845e+094.6818710.035953身體狀況4.01.267231e+103.168078e+095.0504990.001944狀況，分別記錄了5位受訪者的收入

Residual44.02.760033e+106.272801e+08NaNNaN數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——主效應(yīng)分析——例題分析【例8-4】效應(yīng)量分析性別偏效應(yīng)量0.096身體狀況偏效應(yīng)量0.315OLS

Regression

Results==============================================================Dep.

Variable:

全年總收入

R-squared:

0.361數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02Model:

OLSAdj.

R-squared:0.289Method:

Least

SquaresF-statistic:4.977Date:

Sun,

22

Aug

2021Prob

(F-statistic):0.00107Time:

15:25:53Log-Likelihood:-574.17No.

Observations:

50AIC:1160.Df

Residuals:

44BIC:1172.Df

Model:

5Covariance

Type:nonrobust==============================================coef

std

err================t

P>|t|[0.0250.975]Intercept2.83e+048676.0373.2610.0021.08e+044.58e+04性別[T.男]1.533e+047083.9542.1640.0361051.2282.96e+04身體狀況[T.很不健康]-2.177e+041.12e+04-1.9440.058-4.43e+04803.558身體狀況[T.很健康]2.244e+041.12e+042.0030.051-133.5584.5e+04身體狀況[T.比較不健康]-1.573e+041.12e+04-1.4040.167-3.83e+046843.558身體狀況[T.比較健康]7360.00001.12e+040.6570.515-1.52e+042.99e+04==============================================================Omnibus:

15.173

Durbin-Watson:

1.897Prob(Omnibus):0.001Jarque-Bera

(JB):19.736Skew:1.049Prob(JB):5.18e-05Kurtosis:5.252Cond.

No.6.56第8章8.3

雙因子方差分析雙因子方差分析——交互效應(yīng)分析——誤差分解數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——交互效應(yīng)分析——例題分析dfsum_sqmean_sqFPR(>F)性別1.02.936845e+092.936845e+094.385524

0.042627身體狀況4.01.267231e+103.168078e+094.730818

0.003207性別:身體狀況

4.08.136052e+08

2.034013e+08

0.303735

0.873744Residual40.02.678672e+10

6.696680e+08NaNNaN數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——交互效應(yīng)分析——例題分析OLS

Regression

Results===================================================================Dep.

Variable:全年總收入R-squared:0.380Model:OLSAdj.

R-squared:0.241Method:Least

SquaresF-statistic:2.725Date:Sun,

22

Aug

2021Prob

(F-statistic):0.0141Time:16:17:51Log-Likelihood:-573.43No.

Observations:50AIC:1167.Df

Residuals:40BIC:1186.Df

Model:9Covariance

Type:nonrobust===================================================================coefstd

errtP>|t|[0.0250.975]Intercept

2.752e+04

1.16e+042.3780.0224130.1585.09e+04性別[T.男]

1.688e+04

1.64e+041.0310.309-1.62e+045e+04身體狀況[T.很不健康]

-1.832e+04

1.64e+04-1.1190.270-5.14e+041.48e+04身體狀況[T.很健康] 1.648e+04

1.64e+041.0070.320-1.66e+044.96e+04身體狀況[T.比較不健康]

-9660.0000

1.64e+04-0.5900.558-4.27e+042.34e+04身體狀況[T.比較健康]

7680.0000

1.64e+040.4690.641-2.54e+044.08e+04性別[T.男]:身體狀況[T.很不健康]

-6900.0000

2.31e+04-0.2980.767-5.37e+043.99e+04性別[T.男]:身體狀況[T.很健康] 1.192e+04

2.31e+040.5150.609-3.49e+045.87e+04性別[T.男]:身體狀況[T.比較不健康]-1.214e+04

2.31e+04-0.5240.603-5.89e+043.46e+04性別[T.男]:身體狀況[T.比較健康]

-640.0000

2.31e+04-0.0280.978

-4.74e+044.61e+04=====================數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02Omnibus:Durbin-Watson:Prob(Omnibus):Jarque-Bera

(JB):Skew:Prob(JB):Kurtosis:Cond.

No.16.2451.8960.00022.2951.0901.44e-055.44015.3=====================Notes:[1]

Standard

Errors

assume

thatthe

covariance

matrix

of

the

errors

is

correctly

specified.第8章8.3

雙因子方差分析雙因子方差分析——交互效應(yīng)分析——例題分析dfsum_sqmean_sq

...PR(>F)eta_sqeta_sq_part性別1.02.936845e+092.936845e+09

...

0.042627

0.067968

0.098805身體狀況4.01.267231e+103.168078e+09

...

0.003207

0.293276

0.321151性別:身體狀況4.08.136052e+082.034013e+08

...

0.873744

0.018829

0.029478Residual40.02.678672e+106.696680e+08

..

NaN

0.619927

NaN數(shù)據(jù)分析基礎(chǔ)—基于Python的實(shí)現(xiàn)8

-2023-04-02第8章8.4

方差分析的假定及其檢驗(yàn)方差分析——假定及其檢驗(yàn)正態(tài)性(normality)。每個(gè)總體都應(yīng)服從正態(tài)分布，即對(duì)于因子的每一個(gè)水平，其觀測(cè)值是來(lái)自正態(tài)分布總體的簡(jiǎn)單隨機(jī)樣本在例8-4中，要求每個(gè)性別和每個(gè)身體狀況下的受訪者收入必須服從正態(tài)分布

檢驗(yàn)總體是否服從正態(tài)分布的方法有很多，包括對(duì)樣本數(shù)據(jù)作直方圖、莖葉圖、箱線圖、正態(tài)概率圖做描述性判斷，也可以進(jìn)行非參數(shù)檢驗(yàn)等方差齊性(homogeneity

variance)。各個(gè)總體的方差必須相同，對(duì)于分類(lèi)變量的個(gè)水平，有

12=22=…=

k2在例8-4中，要求不同性別和不同身體狀況的受訪者收入方差都相同（隨后以性別為示例）獨(dú)立性(independence)。每個(gè)樣本數(shù)據(jù)是來(lái)自因子各水平的獨(dú)立樣本(該假定不滿足對(duì)結(jié)果影響較大)在例8-4中，受訪者收入數(shù)據(jù)來(lái)自相