《概率論與數(shù)理統(tǒng)計(jì)及其Python實(shí)現(xiàn)》課件 第8、9章 假設(shè)檢驗(yàn)、回歸分析

第八章

假設(shè)檢驗(yàn)學(xué)習(xí)目標(biāo)理解假設(shè)檢驗(yàn)的基本思想。了解假設(shè)檢驗(yàn)的基本概念。掌握假設(shè)檢驗(yàn)的基本步驟。掌握單個(gè)及兩個(gè)正態(tài)總體的均值和方差的假設(shè)檢驗(yàn)。一、假設(shè)檢驗(yàn)的基本思想假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷中的一種方法。這是在總體的分布函數(shù)完全未知，或只知其形式但不知其參數(shù)的形式的情況下，根據(jù)樣本中的信息來對(duì)總體的分布參數(shù)或分布類型做出分析論斷。即從統(tǒng)計(jì)的角度來判斷假設(shè)是否成立。女士品茶實(shí)驗(yàn)據(jù)說有一次英國統(tǒng)計(jì)學(xué)家Fisher參加一個(gè)聚會(huì)。當(dāng)時(shí)主人提供這樣一種飲料，由Tea和Milk混合而成。按照加入順序的不同，分別稱為TM與MT。與會(huì)的一位女士聲稱她能分辨出任一杯這樣的飲料是到底是TM還是MT。為檢驗(yàn)她是否真的有這種辨別力，請(qǐng)人拿來杯飲料讓她品嘗，其中TM與MT各占一半，并把這一點(diǎn)告訴了她。結(jié)果，她指對(duì)了全部的杯TM(當(dāng)然MT也都指對(duì)了)。那么，這位女士是否真的有真的有這種辨別力？例子分析?例子分析?正確鑒別錯(cuò)誤鑒別概率例子分析?例子分析當(dāng)鑒別杯數(shù)‘足夠多’時(shí)，能全部正確鑒別的概率趨向于0，這為小概率事件。在一次實(shí)驗(yàn)中出現(xiàn)小概率事件，根據(jù)小概率原理，我們有證據(jù)認(rèn)為該女士能有效區(qū)別奶茶的配置順序。二、假設(shè)檢驗(yàn)的基本概念?二、假設(shè)檢驗(yàn)的基本概念(3)檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造原理與區(qū)間估計(jì)的構(gòu)造原理類似。一個(gè)好的檢驗(yàn)統(tǒng)計(jì)量通常具有明確的抽樣分布，借助該統(tǒng)計(jì)量的分布特征和樣本取值，我們可以作出判斷是接受原假設(shè)還是拒絕原假設(shè)。二、假設(shè)檢驗(yàn)的基本概念?二、假設(shè)檢驗(yàn)的基本概念?二、假設(shè)檢驗(yàn)的基本概念(6)接受域和拒絕域有了檢驗(yàn)統(tǒng)計(jì)量之后，我們需要確定一個(gè)界限，這個(gè)界限可以將檢

驗(yàn)統(tǒng)計(jì)的取值空間劃分為兩個(gè)區(qū)域。其中一個(gè)區(qū)域是原假設(shè)為真時(shí)，樣本通常會(huì)落入的區(qū)域。如果檢驗(yàn)統(tǒng)計(jì)量的樣本值落在這個(gè)區(qū)域里，我們就判斷接受原假設(shè)，所以該區(qū)間稱為接受域，即接受原假設(shè)的

區(qū)域。另一個(gè)區(qū)域是原假設(shè)為真時(shí)，樣本落入該區(qū)域的概率非常小，小到可以認(rèn)為這種情況幾乎不會(huì)發(fā)生。而在備擇假設(shè)成立時(shí)，樣本落入這個(gè)區(qū)域的概率就很大。如果檢驗(yàn)統(tǒng)計(jì)量落入這個(gè)區(qū)域里，我們將決絕原假設(shè)，認(rèn)為備擇假設(shè)成立，所以該區(qū)間稱為拒絕域，即拒絕原假設(shè)的區(qū)域。三、假設(shè)檢驗(yàn)的四個(gè)步驟?四、正態(tài)總體的均值和方差的假設(shè)檢驗(yàn)????假設(shè)雙側(cè)檢驗(yàn)左側(cè)檢驗(yàn)右側(cè)檢驗(yàn)假設(shè)形式H0

：

m

=m0

H1

：

m

m0統(tǒng)計(jì)量拒絕域P值決策?假設(shè)雙側(cè)檢驗(yàn)左側(cè)檢驗(yàn)右側(cè)檢驗(yàn)假設(shè)形式H0

：

m

=m0

H1

：

m

m0統(tǒng)計(jì)量拒絕域P值決策??假設(shè)雙側(cè)檢驗(yàn)左側(cè)檢驗(yàn)右側(cè)檢驗(yàn)假設(shè)形式統(tǒng)計(jì)量拒絕域P值決策??假設(shè)雙側(cè)檢驗(yàn)左側(cè)檢驗(yàn)右側(cè)檢驗(yàn)假設(shè)形式統(tǒng)計(jì)量拒絕域P值決策??假設(shè)雙側(cè)檢驗(yàn)左側(cè)檢驗(yàn)右側(cè)檢驗(yàn)假設(shè)形式H0

：H1

：2=22020H0

：H1

：22

<2020H0

：H1

：22

>2020統(tǒng)計(jì)量拒絕域P值決策??假設(shè)雙側(cè)檢驗(yàn)左側(cè)檢驗(yàn)右側(cè)檢驗(yàn)假設(shè)形式統(tǒng)計(jì)量拒絕域P值決策典型題型及例題(A)檢驗(yàn)結(jié)果為接受

(B)檢驗(yàn)結(jié)果為接受

(C)檢驗(yàn)結(jié)果為拒絕

(D)檢驗(yàn)結(jié)果為拒絕時(shí)，只可能犯第一類錯(cuò)誤時(shí)，既可能犯第一類錯(cuò)誤也可能犯第二類錯(cuò)誤時(shí)，只可能犯第一類錯(cuò)誤時(shí)，既可能犯第一類錯(cuò)誤也可能犯第二類錯(cuò)誤類型1

假設(shè)檢驗(yàn)的基本概念例8.1

在假設(shè)檢驗(yàn)中，原假設(shè)為

備擇假設(shè)為

則(

C

)典型題型及例題均重量類型2

假設(shè)檢驗(yàn)的步驟例8.2

某洗衣粉廠用自動(dòng)包裝機(jī)進(jìn)行包裝，正常情況下包裝量現(xiàn)隨機(jī)抽取25袋洗衣粉，測得平樣本標(biāo)準(zhǔn)差s=2.5g,問：可否認(rèn)為可否認(rèn)為典型題型及例題解:(1)典型題型及例題(2)練習(xí)題一、選擇題1.在假設(shè)檢驗(yàn)中，顯著性水平的意義是（

A

）被拒絕的概率不能被拒絕的概率被拒絕的概率不能被拒絕的概率原假設(shè)原假設(shè)原假設(shè)原假設(shè)成立，經(jīng)檢驗(yàn)

成立，經(jīng)檢驗(yàn)

不成立，經(jīng)檢驗(yàn)不成立，經(jīng)檢驗(yàn)練習(xí)題，那么在(A)必接受(C)必拒絕(B)可能接受，也可能拒絕

(D)不接受，也不拒絕一、選擇題2.假設(shè)檢驗(yàn)時(shí)，如果在顯著性水平0.05下接受原假設(shè)顯著性水平0.01下，下列結(jié)論中正確的是(A

)練習(xí)題一、選擇題

3.已知總體的均值，則應(yīng)做檢驗(yàn)(D

)(A)(C)為檢驗(yàn)總體X的均值是否大于Y(B)(D)練習(xí)題二、填空題1.設(shè)總體測得樣本方差由來自總體X的容量為10的簡單隨機(jī)樣本，則檢驗(yàn)假設(shè)使用的統(tǒng)計(jì)量下接受

的值等于

1_5

,在顯著性水平()2.設(shè)未知，記使是取自正態(tài)總體的一個(gè)樣本，其中則假設(shè) 的t檢驗(yàn)用統(tǒng)計(jì)量T=

.練習(xí)題三、簡答題1.

設(shè)總體

假設(shè)檢驗(yàn)問題為(1)現(xiàn)從總體中抽取容量為25的樣本，測得下，可否接受

(

)問在顯著性水平（2）從總體中抽取樣本為

，若拒絕域求犯第一類錯(cuò)誤概率的最大值，若使該最大值不超過0.023，問n至少應(yīng)該取多少？（

）練習(xí)題三、簡答題2.測定某種溶液中的水分，由其10個(gè)測定值得已知測定值（1）（2）（試當(dāng)

時(shí)，檢驗(yàn)下列假設(shè)：）第九章回歸分析概率論與數(shù)理統(tǒng)計(jì)1回歸分析的概述2參數(shù)估計(jì)3假設(shè)檢驗(yàn)4預(yù)測第一節(jié)

回歸分析的概述概率論與數(shù)理統(tǒng)計(jì)回歸分析方法是數(shù)理統(tǒng)計(jì)中常用的方法之一，是處理多個(gè)變量自檢關(guān)系的一種數(shù)學(xué)方法.在實(shí)際生產(chǎn)實(shí)踐中，我們常常要研究一些變量之間的關(guān)系．通常這些變量之間的關(guān)系可以分成兩大類．概率論與數(shù)理統(tǒng)計(jì)另一類為非確定性的關(guān)系，指的是變量之間雖然存在一定的依賴關(guān)系，但這種關(guān)系沒有達(dá)到能由其中一個(gè)或多個(gè)來準(zhǔn)確地決定另一個(gè)的程度．如：人的血壓與年齡有一定關(guān)系，但不能用一個(gè)確定的函數(shù)關(guān)系式表達(dá)出來.人的身高與體重之間的關(guān)系也是如此．我們稱這種變量之間的關(guān)系為相關(guān)關(guān)系．概率論與數(shù)理統(tǒng)計(jì)回歸分析是研究相關(guān)關(guān)系的一種有力工具．具有相關(guān)關(guān)系的變量之間雖然具有某種不確定性，但通過對(duì)它們不斷觀察，可以研究它們之間的統(tǒng)計(jì)規(guī)律．回歸分析就是研究這種統(tǒng)計(jì)規(guī)律的一種數(shù)學(xué)方法，它主要解決以下問題：1

從一組觀察數(shù)據(jù)出發(fā)，確定這些變量之間的回歸方程；2

對(duì)回歸方程進(jìn)行假設(shè)檢驗(yàn)；3

利用回歸方程進(jìn)行預(yù)測和控制．概率論與數(shù)理統(tǒng)計(jì)本書主要討論線性回歸方程．這是最簡單同時(shí)也是研究最完善的回歸方程．許多實(shí)際問題可以取這種模型作為真實(shí)模型的近似．這是因?yàn)椋趯?shí)際中許多變量的關(guān)系確實(shí)是線性的，而且即使這些變量的關(guān)系是非線性的，當(dāng)自變量變化范圍不大時(shí)，我們也可以用線性關(guān)系來近似．再者，在數(shù)理統(tǒng)計(jì)中，對(duì)于線性回歸模型已經(jīng)有了完善的理論和方法，所有的統(tǒng)計(jì)軟件包都有線性回歸模型的計(jì)算程序，只要按程序代入數(shù)據(jù)，可以快速得到所需要的計(jì)算結(jié)果．所以，線性回歸模型得到了廣泛的應(yīng)用．概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)圖9.1概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)謝謝大家第二節(jié)

參數(shù)估計(jì)概率論與數(shù)理統(tǒng)計(jì)一元線性回歸的參數(shù)估計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)表9-1時(shí)間段1234567891012.08.011.513.015.014.08.510.511.513.311.68.511.412.213.013.28.910.511.312.0概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)多元線性回歸的參數(shù)估計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)謝謝大家第三節(jié)

假設(shè)檢驗(yàn)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)表9-2一元回歸的方差分析表方差源平方和自由度

均方

F比回歸1剩余總和n-2n-1概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)謝謝大家第四節(jié)

預(yù)測概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)圖9-3所以，預(yù)測區(qū)間與置信區(qū)間意義相似，只不過前者是對(duì)隨機(jī)變量而言，后者是對(duì)未知參數(shù)而言.概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)數(shù)學(xué)實(shí)驗(yàn)九——利用Sklearn實(shí)現(xiàn)線性擬合并進(jìn)行預(yù)測Python代碼如下：#創(chuàng)建數(shù)據(jù)import

numpy

as

npimport

matplotlib.pyplot

as

plt

rng

=

np.random.RandomState(20)

x=10*rng.rand(50)Y=2*x-1+rng.rand(50)plt.scatter(x,y)#構(gòu)建線性回歸模型from

sklearn.linear_model

import

LinearRegressionmodel

=

LinearRegression(fit_intercept=True)#模型擬合x

=

x[:,np.newaxis]model.fit(x,y)#查看模型參數(shù)model.coef_#輸出為2.01889877ercept_#輸出為-0.5721372229186237#模型預(yù)測xfit

=

np.linspace(-1,11)xfit

=

xfit[:,np.newaxis]yfit

=

model.predict(xfit)plt.scatter(x,y)plt.plot(xfit,yfit)知識(shí)縱橫——回歸分析的由來概率論與數(shù)理統(tǒng)計(jì)回歸分析最早是19世紀(jì)末期高爾頓（Sir

Francis

Galton）所發(fā)展．高爾頓是生物統(tǒng)計(jì)學(xué)派的奠基人，他的表哥達(dá)爾文的巨著《物種起源》問世以后，觸動(dòng)他用統(tǒng)計(jì)方法研究智力進(jìn)化問題，統(tǒng)計(jì)學(xué)上的“相關(guān)”和“回歸”的概念也是高爾頓第一次使用的.1855年，他發(fā)表了一篇“遺傳的身高向平均數(shù)方向的回歸”文章，分析兒童身高與父母身高之間的關(guān)系，發(fā)現(xiàn)父母的身高可以預(yù)測子女的身高，當(dāng)父母越高或越矮時(shí)，子女的身高會(huì)比一般兒童高或矮，他將兒子與父母身高的這種現(xiàn)象擬合出一種線形關(guān)系．但是有趣的是：通過觀察他注意到，盡管這是一種擬合較好的線形關(guān)系，但仍然存在例外現(xiàn)象：矮個(gè)的人的兒子比其父要高，身材較高的父母所生子女的身高將回降到人的平均身高．換句話說，當(dāng)父母身高走向極端（或者非常高，或者非常矮）的人的子女，子女的身高不會(huì)像父母身高那樣極端化，其身高要比父母們的身高更接近平均身高．高爾頓選用“回歸”一詞，把這一現(xiàn)象叫做“向平均數(shù)方向的回歸”（regression

towardmediocrity）．雖然這是一種特殊情況，與線形關(guān)系擬合的一般規(guī)則無關(guān)，但“線形回歸”的術(shù)語仍被沿用下來．作為根據(jù)一種變量（父母身高）預(yù)測另一種變量（子女身高）的一般名稱沿用至今，后被引用到對(duì)多種變量關(guān)系的描述．概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)謝謝大家習(xí)題九概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)表9-30

4

10

15

21

29

36

51

6866.7

71.0

76.3

80.6

85.7

92.9

99.4

113.6

125.1概率論與數(shù)理統(tǒng)計(jì)表9-460

62

64

66

67

68

70

72

7463.6

65.2

66

66.9

67.1

67.4

68.3

70.1

70概率論與數(shù)理統(tǒng)計(jì)表9-58.37010.311.18018.212.98533.816.37742.68.66510.311.27522.613.38627.417.38155.48.86310.211.37919.913.77125.717.58255.710.57210.411.47624.213.86424.917.98058.310.78116.811.47621.014.07834.518.08051.510.88318.811.76921.414.28031.718.08051.011.06619.712.07521.315.57436.320.68777.011.07515.612.97419.116.07238.3概率論與數(shù)理統(tǒng)計(jì)概率論與數(shù)理統(tǒng)計(jì)表9-