【VIP專享】假設檢驗-A課件

1、工程數(shù)學（應用數(shù)理統(tǒng)計）環(huán)境科學與工程學院王鳴總體特征是研究者首先關心的問題，其可以概括三個方面：1）分布特征：總體中個體的分布形式；代表隨機變量全貌的綜合特征；2）大小特征：在數(shù)軸上的位置，即取值大??；研究者最關心的問題；3）離散特征：總體中個體的分散程度；決定使用數(shù)理統(tǒng)計方法所需要的最低樣本量， 直接提供一些重要信息（例如：檢測方法精密度、儀器穩(wěn)定性等）回顧總體特征回顧應用數(shù)理統(tǒng)計中常見的理論分布1）二項分布（類型變量）2）正態(tài)分布3）對數(shù)正態(tài)分布4）學生t-分布5）卡方分布6）F-分布連續(xù)變量偏度系數(shù)和峰態(tài)系數(shù)百分位數(shù)或其他分位數(shù)回顧總體分布特征的統(tǒng)計表述回顧總體大小特征的統(tǒng)計表述回顧總

2、體離散特征的統(tǒng)計表述正態(tài)分布其他分布 目的：保證數(shù)據的代表性：獨立性檢驗，異常值剔除使?jié)M足特定檢驗方法的基本要求：數(shù)據變換 內容：數(shù)據獨立性檢驗：游程檢驗異常值剔除：t-檢驗和Grubbs檢驗數(shù)據變換：歸類、求秩、標準化、正態(tài)化回顧數(shù)據預處理課堂練習判斷頻率密度函數(shù)是針對定量變量的一個概念，但連續(xù)變量、離散變量和順序變量的頻率密度函數(shù)在表達方式上存在著顯著的差別；對數(shù)正態(tài)分布是正態(tài)分布的一個特例；偏度系數(shù)是相對正態(tài)分布而言的，而峰態(tài)系數(shù)是相對t分布而言的；不是所有分布都可以變化成正態(tài)分布；對于符合任意分布的總體我們都可以用中位數(shù)來描述總體的大小。課堂聯(lián)系判斷應用舉例是否正確兩個總體大小的比較數(shù)

3、據 Ai, Bi (i=1,5) 計算算術均值 73.8 vs. 72.6結論 AB數(shù)據 Ai: 北京市成年男性體重； Bi:南京市成年男性體重結論 北京市成年男性體重高于南京市成年男性體重第二章 比較總體大小特征的假設檢驗2.1 假設檢驗與假設檢驗方法2.1.1 假設檢驗與統(tǒng)計假設2.1.2 顯著性水平及假設檢驗的一般步驟2.1.3 假設檢驗的功效及其影響因素2.1.4 參數(shù)與非參數(shù)假設檢驗方法2.1.5 假設檢驗方法選擇1第二章 比較總體大小特征的假設檢驗p. 62假設檢驗：針對特定問題提出一些有待證明的假設，借助數(shù)理統(tǒng)計工具來定量判斷假設的正確性統(tǒng)計推斷的兩項核心內容之一，最重要的組成部

4、分涉及兩者或多者之間的比較都屬于假設檢驗的范疇例如：一個總體均值與某一常數(shù)的比較、兩個或多個總體大小的比較、經驗分布和理論分布之間的比較；假設檢驗的思想和方法貫穿于絕大多數(shù)統(tǒng)計分析中例如：異常值檢驗、方差分析、回歸分析、相關分析等2.1.1 假設檢驗在概率論的基礎上，對是否接受研究者提出的針對總體的某些假設進行判斷的手段；舉例：兩個總體大小相等的A和B，均值為80；分別從兩個總體中采樣，樣本均值分別為79和81；如果根據樣本統(tǒng)計量的計算結果得出總體BA的結論是不可靠的。假設：兩個總體沒有顯著差別；計算：假設成立條件下得到實際觀測結果的概率（相伴概率）判斷：概率太小則拒絕假設舉例：異常值剔除假設

5、可疑值不是異常計算可疑值的出現(xiàn)概率；出現(xiàn)概率很小，則拒絕原先的假設，判定為異常值。p. 64-652.1.1 統(tǒng)計假設用統(tǒng)計語言表達的，希望得到回答的問題可以用文字描述，也可以用符號或數(shù)字表達（針對總體）假設檢驗方法只能在兩種可能性之間作出判斷，其統(tǒng)計假設包含兩個方面：原假設和對立假設原假設：零假設，記為H0；檢驗的直接對象對立假設：備擇假設，記為H1；拒絕原假設時必須接受的結論p. 662.1.1 統(tǒng)計假設舉例H0：總體服從正態(tài)分布； H1：總體不服從正態(tài)分布H0：1 = 2 ；H1：1 2 (H1：1 2 )H0： = 0 ； H1： 0 (H1： 0 )H0：兩總體大小無差別； H1：兩

6、總體大小有差別p. 56-572.1.1 統(tǒng)計假設特征原假設和對立假設必須包含所有可能性；原假設和對立假設必須相互對立；絕大多數(shù)情況下，原假設和對立假設不能互換；原假設和對立假設的確定由建立特定檢驗方法的模型性質所決定；對于大多數(shù)檢驗方法，原假設比對立假設范疇小的多；拒絕原假設的檢驗結果比接受原假設的結果可靠。p. 67概念延伸：單側檢驗 vs 雙側檢驗單側檢驗：可以事先排除一半可能性，其對立假設僅包含雙側檢驗的一半；單側檢驗總是優(yōu)于雙側檢驗，因為用單側檢驗時只需要在更小的可能性范圍內做出選擇，其判斷的可靠性程度當然要高于相應的雙側檢驗。H0：1 = 2；H1：1 2 雙側檢驗H0：1 = 2

7、；H1： 1 2 單側檢驗根據研究的總體特征將假設檢驗方法分為四類：關于總體大小的假設檢驗 例如比較兩個總體的大小是否存在明顯差異關于總體中個體離散程度的假設檢驗 例如判斷兩個總體的方差是否相同關于總體分布形式的假設檢驗 例如判斷一個總體是否服從正態(tài)分布關于總體綜合特征的假設檢驗2.1.1 假設檢驗分類課堂練習舉一個實例，并寫出統(tǒng)計假設問題原假設對立假設第二章 比較總體大小特征的假設檢驗2.1 假設檢驗與假設檢驗方法2.1.1 假設檢驗與統(tǒng)計假設2.1.2 顯著性水平及假設檢驗的一般步驟2.1.3 假設檢驗的功效及其影響因素2.1.4 參數(shù)與非參數(shù)假設檢驗方法2.1.5 假設檢驗方法選擇22.

8、1.2 顯著性水平及假設檢驗的一般步驟假設檢驗方法的基本原理：根據所提出原假設成立時有關統(tǒng)計量（檢驗統(tǒng)計量）的抽樣分布以及實際計算檢驗值在該分布中的位置決定是夠接受原假設。統(tǒng)計量：描述統(tǒng)計量和檢驗統(tǒng)計量描述統(tǒng)計量：算術均值、幾何均值、標準差、偏度系數(shù)等檢驗統(tǒng)計量：t（t-檢驗），G（異常值剔除的G檢驗）分布：總體中個體的分布決定了采用何種檢驗方法（參數(shù)檢驗；非參數(shù)檢驗）；檢驗統(tǒng)計量的理論分布決定留任如何計算概率，即如何進行檢驗判斷；例如：異常值G檢驗為標準正態(tài)分布。無論研究者最終接受還是拒絕原假設，其結論都不可能絕對正確，而僅僅是將得出錯誤結論的可能性限制在某一概論水平以下。p. 71假設檢驗

9、的風險：根據部分觀測估計總體特征原假設在客觀上有正確和錯誤兩種可能，檢驗結論也有兩種互相排斥的可能：接受原假設而拒絕對立假設；或者接受對立假設而拒絕原假設。就問題本身性質和檢驗結果而言存在四種可能性：接受客觀上正確的原假設；拒絕客觀上錯誤的原假設；拒絕客觀上正確的原假設（第一類錯誤；錯誤），犯錯誤的概率記為；接受客觀上錯誤的原假設（第二類錯誤；錯誤 ），犯錯誤的概率記為。2.1.2 顯著性水平及假設檢驗的一般步驟檢驗結果接受原假設拒絕原假設原假設客觀上是正確的正確（1-）錯誤()原假設客觀上是錯誤的錯誤()正確（1-）p. 70犯錯誤的概率，即拒絕客觀上正確的原假設的概率，又稱為假設檢驗的顯著

10、性水平或拒絕水平；顯著性水平是研究者主觀確定的概率界限，為保證檢驗的客觀性，最好在檢驗之前甚至采樣之前就確定檢驗的顯著性水平；常用的 取值有0.01, 0.05, 0.10。2.1.2 顯著性水平p. 71增加值可以增加拒絕原假設的可能性，降低值可以減少拒絕原假設的可能。由判定的重要性和可能的實際意義來確定顯著性水平；例：原假設：某方案不能有效地控制放射性物質的擴散和污染，在進行顯著性檢驗時最好選擇比習慣上更加嚴格的顯著性水平，即較小的值（例如：0.01）；值越小，假設檢驗的保守性越強，即拒絕正確原假設犯第一類錯誤的概率越小。表述：拒絕原假設：“在 水平下有顯著差異”。所檢驗的差異在隨機過程中

11、出現(xiàn)的機會很?。?），因此可以認為這樣的差異是總體固有的而不是采樣過程中偶然發(fā)生的。2.1.2 顯著性水平（續(xù)）檢驗統(tǒng)計量：為特定假設檢驗方法而設計；對于不同的假設檢驗方法，其檢驗統(tǒng)計量服從不同的理論頻率分布，表示原假設成立時該統(tǒng)計量取值對應的相伴概率；大多數(shù)假設檢驗的檢驗統(tǒng)計量服從t-分布、卡方分布、F-分布或其他特殊的理論分布。相伴概率：某特定取值以及更加極端可能值的出現(xiàn)概率。在任何假設檢驗中，只要能求出特定的檢驗統(tǒng)計量及其相伴概率，就可以據此決定是拒絕還是接受原假設。2.1.2 檢驗統(tǒng)計量和相伴概率復習頻率密度函數(shù)查表正態(tài)分布0-Z之間的累計概率學生t分布累計概率對應的臨界值檢驗統(tǒng)計量的

12、理論分布相伴概率（P）：原假設成立條件下得到該檢驗統(tǒng)計量的概率。直接比較P 和，若P 臨界值， 拒絕原假設意味著檢驗統(tǒng)計量的相伴概率小于， 拒絕原假設犯第一類錯誤的概率小于。2.1.2 假設檢驗的臨界值判斷直接判斷：1. G 2. GP 3.比較P與的大?。籔G即意味著P，則可以拒絕原假設。2.1.2 假設檢驗兩種判斷方法之間的關系2.1.2 單側檢驗與雙側檢驗臨界值的查取單側檢驗：可以事先排除一半可能性單側檢驗：對立假設包含雙側檢驗的一半除t-分布臨界值表外，大多數(shù)檢驗臨界值表是單尾表。從這些表格中查取臨界值時，如果屬單側檢驗，可以直接按照顯著性水平查找；如果作雙側檢驗，則應該按顯著性水平的

13、一半，即0.5為自變量查找。雙尾的t分布臨界值表則相反，做雙側檢驗時直接查t，作單側檢驗時t2。2.1.2 假設檢驗的一般步驟1）用統(tǒng)計語言表述有關假定，即提出原假設和對立假設；2）確定顯著性水平，即允許犯第一類錯誤的概率；3）選擇適當?shù)慕y(tǒng)計檢驗方法；4）根據樣本數(shù)據計算有關檢驗統(tǒng)計量；5）根據檢驗統(tǒng)計量的抽樣分布、顯著性水平以及自由度從有關統(tǒng)計用表中查得檢驗的臨界值；6）比較檢驗統(tǒng)計量計算結果與臨界值，決定是否拒絕檢驗的原假設。提出假設確定計算檢驗統(tǒng)計量G計算相伴概率P計算臨界值GPG，拒絕原假設假設檢驗舉例：異常值檢驗研究觀測數(shù)值A是不是異常值（原/對立）假設：A是異常值，即A不屬于該總體

14、（原/對立）假設：A不是異常值，即A屬于該總體計算：A（屬于/不屬于）該總體的概率(P)判斷：小概率，拒絕，（是/不是）異常？假設檢驗舉例：大小比較原假設：兩總體大小相等總體樣本相伴概率結論1=902=900.03拒絕H0:錯誤1=902=900.32接受H01=902=880.03拒絕H01=902=880.14接受H0:錯誤課堂練習判斷研究南京市大氣中PM2.5濃度是符合正態(tài)分布還是對數(shù)正態(tài)分布原假設：南京市PM2.5濃度符合正態(tài)分布對立假設：南京市PM2.5濃度符合對數(shù)正態(tài)分布原假設和對立假設可以互換課堂練習判斷南京市2015年3月降水較多，研究2015年3月的降水量是否顯著高于2014

15、年3月降水量？原假設：2015年3月的降水量高于2014年3月的降水量對立假設：2015年3月的降水量與2014年3月的降水量無明顯差別假設檢驗方式為：單側檢驗課堂練習計算課堂練習計算某一假設檢驗的統(tǒng)計量服從2分布，自由度為18，檢驗時取0.05顯著性水平。檢驗統(tǒng)計量的計算值為28.1。如果該假設檢驗是單側檢驗，判斷是否可以拒絕原假設？如果該假設檢驗是雙側檢驗，判斷是否可以拒絕原假設？第二章 比較總體大小特征的假設檢驗2.1 假設檢驗與假設檢驗方法2.1.1 假設檢驗與統(tǒng)計假設2.1.2 顯著性水平及假設檢驗的一般步驟2.1.3 假設檢驗的功效及其影響因素2.1.4 參數(shù)與非參數(shù)假設檢驗方法2

16、.1.5 假設檢驗方法選擇3根據假設本身的性質和檢驗結果，存在四種可能性：接受客觀上正確的原假設；拒絕客觀上錯誤的原假設；拒絕客觀上正確的原假設（第一類錯誤；錯誤），犯錯誤的概率記為；接受客觀上錯誤的原假設（第二類錯誤；錯誤 ），犯錯誤的概率記為。回顧假設檢驗的風險檢驗結果接受原假設拒絕原假設原假設客觀上是正確的正確（1-）錯誤()原假設客觀上是錯誤的錯誤()正確（1-）p. 702.1.3 假設檢驗的結論不可能有絕對把握拒絕原假設：犯錯誤的概率由決定，所得結論比較可靠，即得到已知小風險結論；接受原假設：判斷錯誤的概率遠高于；在對立假設范疇很大且值未知的情況下，沒有拒絕原假設就不能得出明確的結

17、論。這幾乎是所有假設檢驗的局限性。2.1.3 假設檢驗的功效如果原假設客觀上錯誤，接受這一錯誤假設的可能性為（第二類錯誤），得出正確結論拒絕原假設的概率為1-；1-叫做特定假設檢驗方法的功效，是判斷檢驗方法優(yōu)劣程度的重要指標，其特點為： 不可計算（對立假設范疇不確定） 不可控制（控制） 遠大于（對立假設范疇遠大于原假設） 2.1.3 假設檢驗的功效如果原假設客觀上錯誤，接受這一錯誤假設的可能性為（第二類錯誤），得出正確結論拒絕原假設的概率為1-；1-叫做特定假設檢驗方法的功效，是判斷檢驗方法優(yōu)劣程度的重要指標，其特點為： 不可計算（對立假設范疇不確定） 不可控制（控制） 遠大于（對立假設范疇遠

18、大于原假設） 2.1.3 影響檢驗功效的因素1）特定的對立假設對立假設的范疇越小，值就越小；單側檢驗的值低于雙側檢驗；對立假設與原假設的差別越大，做判斷時的界限越分明，檢驗的值就越小。例：H0: =10；H1: 10, H1:10, H1: =20, H1: =302）犯第一類錯誤的概率，即顯著性水平取值較小時，相應的值越大。3）樣本量大小n在原假設和對立假設以及值固定不變的情況下，樣本量越大，計算檢驗統(tǒng)計量的置信區(qū)間就越窄，從而檢驗時犯第二類錯誤的可能性就越?。?越?。?。在值固定不變的情況下，改善檢驗功效，即降低 值的唯一方法就是增加樣本量。的計算依賴于這三個條件，只有三者都很明確時才有可能

19、計算 。一般情況下， 和n都是已知的，檢驗的原假設也通常是確定的，但對立假設往往不能確定表達，這是不能求得的確切值。2.1.3 影響檢驗功效的因素1）特定的對立假設對立假設的范疇越小，值就越??；單側檢驗的值低于雙側檢驗；對立假設與原假設的差別越大，做判斷時的界限越分明，檢驗的值就越小。例：H0: =10；H1: 10, H1:10, H1: =20, H1: =302）犯第一類錯誤的概率，即顯著性水平取值較小時，相應的值越大。3）樣本量大小n在原假設和對立假設以及值固定不變的情況下，樣本量越大，計算檢驗統(tǒng)計量的置信區(qū)間就越窄，從而檢驗時犯第二類錯誤的可能性就越小（ 越?。?。在值固定不變的情況下

20、，改善檢驗功效，即降低 值的唯一方法就是增加樣本量。的計算依賴于這三個條件，只有三者都很明確時才有可能計算 。一般情況下， 和n都是已知的，檢驗的原假設也通常是確定的，但對立假設往往不能確定表達，這是不能求得的確切值。第二章 比較總體大小特征的假設檢驗2.1 假設檢驗與假設檢驗方法2.1.1 假設檢驗與統(tǒng)計假設2.1.2 顯著性水平及假設檢驗的一般步驟2.1.3 假設檢驗的功效及其影響因素2.1.4 參數(shù)與非參數(shù)假設檢驗方法2.1.5 假設檢驗方法選擇42.1.4 參數(shù)與非參數(shù)假設檢驗方法根據假設檢驗方法是否依賴于某些總體參數(shù)而分成參數(shù)方法和非參數(shù)方法兩大類；參數(shù)檢驗方法（經典方法）：模型的建

21、立及檢驗過程依賴于總體的某些參數(shù)，并針對這些參數(shù)規(guī)定了一些條件；不能用于類型變量或順序變量。具有以下優(yōu)點：1）適用于參數(shù)檢驗的連續(xù)數(shù)據或離散數(shù)據信息量高，參數(shù)方法能夠充分利用這些信息，因此多數(shù)參數(shù)方法的檢驗功效高于相應的非參數(shù)檢驗；2）少數(shù)問題到目前為止尚沒有合適的非參數(shù)檢驗方法能夠解決，諸如多影響因子交互作用的顯著性等只能用參數(shù)方法加以檢驗。非參數(shù)檢驗（無分布檢驗）：模型的建立及檢驗過程中不涉及任何總體參數(shù)，假設條件比參數(shù)方法少得多且弱得多；對高測量水平數(shù)據的信息利用不夠充分，檢驗功效低于相應的參數(shù)方法；可用于各種定量數(shù)據，甚至某些類型數(shù)據。模型條件簡單，具有以下優(yōu)點：1）不要求樣本服從各種

22、假定。在樣本量較小時以及當觀測值來自幾個有明顯差異的總體時尤為重要。2）不受少數(shù)異常值的干擾。3）可以用于類型變量和順序變量。4）計算簡便。2.1.4 參數(shù)與非參數(shù)假設檢驗方法2.1.4 參數(shù)與非參數(shù)假設檢驗方法參數(shù)方法非參數(shù)方法經典方法無分布檢驗依賴總體參數(shù)不依賴總體參數(shù)連續(xù)變量、離散變量順序變量、類型變量信息利用充分僅利用順序信息檢驗功效高檢驗功效低對樣本要求高對樣本要求低受異常值干擾不受異常值干擾2.1.4 非參數(shù)檢驗的功效功效效率非參數(shù)檢驗的功效不高于相應的參數(shù)方法；非參數(shù)檢驗的功效效率：相對于參數(shù)方法的功效效率； 功效效率= 100 Np / Nn (%) Np 和Nn分別代表參數(shù)方

23、法和非參數(shù)方法在達到同樣檢驗功效時所需樣本量。采用參數(shù)方法達到檢驗功效1-時所需樣本量為20；采用非參數(shù)方法達到檢驗功效1-時所需樣本量為 50；非參數(shù)方法的功效效率= 100% 20/50 = 40%例：非參數(shù)檢驗功效效率計算任何假設檢驗方法的建立都基于某些假定；無論參數(shù)還是非參數(shù)檢驗方法，都要求數(shù)據具有：1）取樣隨機性：總體中的每個個體被采集的機會相等； 不可檢驗，改進采樣方法2）樣本獨立性：從總體中采集的每個個體都不受其他個體值的干擾； 波動游程，改進采樣方法參數(shù)檢驗方法，都要求數(shù)據具有：1）分布正態(tài)性：觀測值必須來自正態(tài)分布總體 正態(tài)檢驗，數(shù)據正態(tài)化2）方差同質性：若檢驗包含若干個總體時要求各總體方差一致 2檢驗，F(xiàn)-檢驗，數(shù)據標準化3）方差加和性：方差分析中，總均值必須是各總體均值的線性加和 不可檢驗，無解決方法2.1.4 假設檢驗的條件第二章 比較總