賈俊平《數(shù)據(jù)分析基礎-基于Python的實現(xiàn)》（08）第8章 方差分析（DA）

第1章1

-2023-04-02賈俊平2023-04-02統(tǒng)計學—Python實現(xiàn)—賈俊平賈俊平

2023-04-02Fundamentals

of

dataanalysis

with

Python數(shù)據(jù)分析基礎基于

Python 的實現(xiàn)第8章方差分析的原理單因子方差分析雙因子方差分析方差分析的假定及其檢驗賈俊平2023-04-02第

8

章

方差分析數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章提出假設·

：

i

=

0(i=1,2,…,I)（處理效應不顯著）·

：

i

至少有一個不等于0

（處理效應顯著）構建檢驗統(tǒng)計量，用P值做出決策·

未拒絕，因子對觀測值

影響不顯著，分析結束·

拒絕，可以用效應量，多重比較效應量分析·

用效應量·

雙因子方差分析可以及計算：總效應量、主效應量、偏效應量多重比較·

Fisher的最小顯著性差異法—LSD·

Tukey的實際顯著性差異法—HSD假定條件檢驗·

正態(tài)性檢驗Q-Q圖數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02Sharpio檢驗；K-S檢驗·

方差齊性檢驗Levene檢驗·

獨立性判斷方差分析的步驟思維導圖第8章8.1

方差分析的原理方差分析的原理——什么是方差分析(ANOVA)方差分析是在20世紀20年代由英國統(tǒng)計學家RonaldA.Fisher在進行實驗設計時為解釋實驗數(shù)據(jù)而首先引入的分析類別自變量對數(shù)值因變量影響的一種統(tǒng)計方法研究分類型自變量對數(shù)值型因變量的影響

一個或多個分類自變量；兩個或多個(k個)處理水平或分類一個數(shù)值型因變量有單因子方差分析和雙因子方差分析單因子方差分析：涉及一個分類的自變量雙因子方差分析：涉及兩個分類的自變量【例8-1】（數(shù)據(jù)：example8_1.RData）為分數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02析不同測評時間電腦處理器的性能。3個測評時間電腦處理器的性能得分數(shù)據(jù)：2020年第二季度2020年第三季1

083

5461

029

575651

401668

441517

440511

137366

452348

244353

786339

329314

934284

131288

302274

748285

369265

583268

038265

567（以上是前9行，共30行數(shù)據(jù)，第8章8.1方差分析的原理方差分析的原理——誤差分解總誤差(total

error)反映全部觀測數(shù)據(jù)的誤差

所抽取的全部30個地塊的產量之間差異處理誤差(treatment

error)—組間誤差

(between-group

error)

由于不同處理造成的誤差，它反映了處理(品種)對觀測數(shù)據(jù)(產量)的影響，因此稱為處理效應(treatment

effect)隨機誤差(random

error)—組內誤差

(within-group

error)

由于隨機因子造成的誤差，也簡稱為誤差(error)數(shù)據(jù)的誤差用平方和(sum

of

squares)表示，記為SS總平方和(sum

of

squares

for

total)，記為SST反映全部數(shù)據(jù)總誤差大小的平方和處理平方和(treatment

sum

of

squares)，記為SSA反映處理誤差大小的平方和也稱為組間平方和(between-group

sum

of

squares)誤差平方和(sum

of

squares

of

error)，記為SSE反映隨機誤差大小的平方和稱為誤差平方和也稱為組內平方和(within-group

sum

of

squares)數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.1方差分析的原理方差分析的原理——數(shù)學模型數(shù)據(jù)的誤差用平方和(sum

of

squares)表示，記為SS總平方和(sum

of

squares

for

total)，記為SST反映全部數(shù)據(jù)總誤差大小的平方和設因子A有I種處理(比如時間有”2020年第二季度”,”2020年第三季度”,”2021年第一季度”3種處理)，單因子方差分析用線性模型表示為數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.2單因子方差分析單因子方差分析——提出假設數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02單因子方差分析——方差分析表第8章8.2

單因子方差分析單因子方差分析——效應檢驗——例題分析#將表8-1的短格式數(shù)據(jù)轉為長格式數(shù)據(jù)測評時間性能得分…

…02020年第二季度108354612020年第二季度651401dfsum_sqmean_sqFPR(>F)22020年第二季度517440-------------------------------------------------32020年第二季度366452測評時間2.0

4.590e+12

2.295e+12

49.709

4.008e-1542020年第二季度35378652020年第二季度314934Residual

87.0

4.017e+12

4.617e+10

NaN

NaN62020年第二季度28830272020年第二季度28536982020年第二季度26803892020年第二季度254566數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——效應檢驗——例題分析OLS

Regression

Results============================================================Dep.

Variable:

valueR-squared:0.533Model:

OLSAdj.

R-squared:0.523Method:

Least

SquaresF-statistic:49.71Date:

Sat,

21

Aug

2021Prob

(F-statistic):4.01e-15Time:

17:28:42Log-Likelihood:-1231.2No.

Observations:

90AIC:2468.Df

Residuals:

87BIC:2476.Df

Model:

2Covariance

Type:

nonrobust============================================================coef

std

err

t

P>|t|Intercept 2.641e+05

3.92e+04

6.733

0.000數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02[0.025

0.975]1.86e+05

3.42e+05season[2020年第三季度]4.784e+05

5.55e+048.6230.000

3.68e+05

5.89e+05season[2021年第一季度]-1330.8000

5.55e+04-0.0240.981

-1.12e+05

1.09e+05============================================================Omnibus:69.519Durbin-Watson:0.648Prob(Omnibus):0.000Jarque-Bera

(JB):324.339Skew:2.627Prob(JB):3.72e-71Kurtosis:10.674Cond.

No.3.73============================================================Notes:[1]

Standard

Errors

assume

that

the

covariance

matrix

of

the

errors

is

correctly

specified.第8章8.2

單因子方差分析單因子方差分析——效應檢驗——例題分析——均值圖數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——效應量分析——例題分析數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——多重比較——Tukey-Kramer的HSD方法HSD是真實顯著差異(honestly

significant

difference)的縮寫，因此也被稱為真顯著差異方法該檢驗方法是由Jone

W.Tukey于1953年提出的，因此也被稱為Tukey的HSD方法。由于Tukey的HSD方法要求各處理

的樣本量相同，當各處理的樣本量不相同時，該方法就不再適用。20世紀50年代中期，C.Y.Kramer對Tukey的HSD方法做了一些修正，從而使其適用于樣本量不同的情形。修正后的HSD檢驗稱為Tukey-Kramer方法，簡稱為Tukey-Kramer的HSD方法該方法的適用場合是：研究者事先并未計劃進行多重比較，只是在方差分析決絕原假設后，才需要對任意兩個處理的

均值進行比較，這時采用HSD方法比較合適數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.2

單因子方差分析單因子方差分析——多重比較——Tukey-Kramer的HSD方法Multiple

Comparison

of

Means

-

Tukey

HSD,

FWER=0.05======================================================group1

group2

meandiff

p-adj

lower

upper數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02reject第一季度第三季度-479748.50.001-612048.0659-347448.9341True第一季度第二季度-478417.70.001-610717.2659-346118.1341True第三季度第二季度

1330.80.9-130968.7659133630.3659False第8章8.3雙因子方差分析雙因子方差分析——數(shù)學模型分析兩個因子(因子A和因子B)對實驗結果的影響如果兩個因子對實驗結果的影響是相互獨立的，分別判斷因子A和因子B對實驗數(shù)據(jù)的單獨影響，這時的雙因子方差分析稱為只考慮主效應的雙

因子方差分析或無重復雙因子方差分析(Two-factor

without

replication)如果除了因子A和因子B對實驗數(shù)據(jù)的單獨影響外，兩個因子的搭配還會對結果產生一種新的影響，這時的雙因子方差分析稱為考慮交互效應的雙因子方差分析或可重復雙因子方差分析

(Two-factor

with

replication)設因子A有I種處理因子B有J種處理雙因子方差分析可用下面的線性模型來表示ij=0數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——主效應分析——誤差分解數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02雙因子方差分析——主效應分析——方差分析表第8章8.3

雙因子方差分析雙因子方差分析——主效應分析——效應量數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——主效應分析——例題分析【例8-4】(數(shù)據(jù)：example8_4.Rdata)情況。數(shù)據(jù)如表8-4所示。檢驗性別和身體狀況對受訪者收入的影響是否顯著(

=0.05)方差分析表中國綜合社會調查（CGSS）2017年對不同性別和不同健康自我認知的受訪者收入進行了詢問。男性和女性2dfsum_sqmean_sqFPR(>F)種性別下，各有健康自我認知的5種性別1.02.936845e+092.936845e+094.6818710.035953身體狀況4.01.267231e+103.168078e+095.0504990.001944狀況，分別記錄了5位受訪者的收入

Residual44.02.760033e+106.272801e+08NaNNaN數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——主效應分析——例題分析【例8-4】效應量分析性別偏效應量0.096身體狀況偏效應量0.315OLS

Regression

Results==============================================================Dep.

Variable:

全年總收入

R-squared:

0.361數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02Model:

OLSAdj.

R-squared:0.289Method:

Least

SquaresF-statistic:4.977Date:

Sun,

22

Aug

2021Prob

(F-statistic):0.00107Time:

15:25:53Log-Likelihood:-574.17No.

Observations:

50AIC:1160.Df

Residuals:

44BIC:1172.Df

Model:

5Covariance

Type:nonrobust==============================================coef

std

err================t

P>|t|[0.0250.975]Intercept2.83e+048676.0373.2610.0021.08e+044.58e+04性別[T.男]1.533e+047083.9542.1640.0361051.2282.96e+04身體狀況[T.很不健康]-2.177e+041.12e+04-1.9440.058-4.43e+04803.558身體狀況[T.很健康]2.244e+041.12e+042.0030.051-133.5584.5e+04身體狀況[T.比較不健康]-1.573e+041.12e+04-1.4040.167-3.83e+046843.558身體狀況[T.比較健康]7360.00001.12e+040.6570.515-1.52e+042.99e+04==============================================================Omnibus:

15.173

Durbin-Watson:

1.897Prob(Omnibus):0.001Jarque-Bera

(JB):19.736Skew:1.049Prob(JB):5.18e-05Kurtosis:5.252Cond.

No.6.56第8章8.3

雙因子方差分析雙因子方差分析——交互效應分析——誤差分解數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——交互效應分析——例題分析dfsum_sqmean_sqFPR(>F)性別1.02.936845e+092.936845e+094.385524

0.042627身體狀況4.01.267231e+103.168078e+094.730818

0.003207性別:身體狀況

4.08.136052e+08

2.034013e+08

0.303735

0.873744Residual40.02.678672e+10

6.696680e+08NaNNaN數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.3

雙因子方差分析雙因子方差分析——交互效應分析——例題分析OLS

Regression

Results===================================================================Dep.

Variable:全年總收入R-squared:0.380Model:OLSAdj.

R-squared:0.241Method:Least

SquaresF-statistic:2.725Date:Sun,

22

Aug

2021Prob

(F-statistic):0.0141Time:16:17:51Log-Likelihood:-573.43No.

Observations:50AIC:1167.Df

Residuals:40BIC:1186.Df

Model:9Covariance

Type:nonrobust===================================================================coefstd

errtP>|t|[0.0250.975]Intercept

2.752e+04

1.16e+042.3780.0224130.1585.09e+04性別[T.男]

1.688e+04

1.64e+041.0310.309-1.62e+045e+04身體狀況[T.很不健康]

-1.832e+04

1.64e+04-1.1190.270-5.14e+041.48e+04身體狀況[T.很健康] 1.648e+04

1.64e+041.0070.320-1.66e+044.96e+04身體狀況[T.比較不健康]

-9660.0000

1.64e+04-0.5900.558-4.27e+042.34e+04身體狀況[T.比較健康]

7680.0000

1.64e+040.4690.641-2.54e+044.08e+04性別[T.男]:身體狀況[T.很不健康]

-6900.0000

2.31e+04-0.2980.767-5.37e+043.99e+04性別[T.男]:身體狀況[T.很健康] 1.192e+04

2.31e+040.5150.609-3.49e+045.87e+04性別[T.男]:身體狀況[T.比較不健康]-1.214e+04

2.31e+04-0.5240.603-5.89e+043.46e+04性別[T.男]:身體狀況[T.比較健康]

-640.0000

2.31e+04-0.0280.978

-4.74e+044.61e+04=====================數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02Omnibus:Durbin-Watson:Prob(Omnibus):Jarque-Bera

(JB):Skew:Prob(JB):Kurtosis:Cond.

No.16.2451.8960.00022.2951.0901.44e-055.44015.3=====================Notes:[1]

Standard

Errors

assume

thatthe

covariance

matrix

of

the

errors

is

correctly

specified.第8章8.3

雙因子方差分析雙因子方差分析——交互效應分析——例題分析dfsum_sqmean_sq

...PR(>F)eta_sqeta_sq_part性別1.02.936845e+092.936845e+09

...

0.042627

0.067968

0.098805身體狀況4.01.267231e+103.168078e+09

...

0.003207

0.293276

0.321151性別:身體狀況4.08.136052e+082.034013e+08

...

0.873744

0.018829

0.029478Residual40.02.678672e+106.696680e+08

..

NaN

0.619927

NaN數(shù)據(jù)分析基礎—基于Python的實現(xiàn)8

-2023-04-02第8章8.4

方差分析的假定及其檢驗方差分析——假定及其檢驗正態(tài)性(normality)。每個總體都應服從正態(tài)分布，即對于因子的每一個水平，其觀測值是來自正態(tài)分布總體的簡單隨機樣本在例8-4中，要求每個性別和每個身體狀況下的受訪者收入必須服從正態(tài)分布

檢驗總體是否服從正態(tài)分布的方法有很多，包括對樣本數(shù)據(jù)作直方圖、莖葉圖、箱線圖、正態(tài)概率圖做描述性判斷，也可以進行非參數(shù)檢驗等方差齊性(homogeneity

variance)。各個總體的方差必須相同，對于分類變量的個水平，有

12=22=…=

k2在例8-4中，要求不同性別和不同身體狀況的受訪者收入方差都相同（隨后以性別為示例）獨立性(independence)。每個樣本數(shù)據(jù)是來自因子各水平的獨立樣本(該假定不滿足對結果影響較大)在例8-4中，受訪者收入數(shù)據(jù)來自相