數(shù)據(jù)分析與數(shù)據(jù)挖掘課件 【ch02】數(shù)據(jù)抽樣與推斷檢驗

第二章數(shù)據(jù)抽樣與推斷檢驗數(shù)據(jù)分析與數(shù)據(jù)挖掘01隨機變量概率分布概率分布分布函數(shù)來自概率論的知識，是隨機變量關(guān)于取值和概率關(guān)系的一種描述性函數(shù)。隨機現(xiàn)象為實驗中發(fā)生的不確定性現(xiàn)象，隨機變量可用于表示其中的某些不確定性取值，進而描述隨機現(xiàn)象中的不確定性。隨機變量分為離散型隨機變量和連續(xù)型隨機變量。

連續(xù)型隨機變量取值連續(xù)并且有無窮種狀態(tài)，不能直接列出如表2.1所示的概率分布。只要保證分布函數(shù)滿足：①取值從0或無限接近0開始，單調(diào)非減函數(shù)；②最大值可以取1或無限接近1。概率分布若連續(xù)型隨機變量X的概率密度為式(2.10),則稱X服從參數(shù)為μ、σ的正態(tài)分布(Normaldistribution),又稱高斯分布(Gaussiandistribution),記作X~N(μ,o2),X也稱正態(tài)變量。正態(tài)分布

令隨機變量X表示實驗結(jié)果，則其取值為1或0,令X取值為1的概率為P,即P(X=1)=P;X取值為0的概率是P(X=0)=1-P,該分布為二值分布，又稱伯努利分布，記作X~Bem(P),有時也記作X~B(1,P),其均值E(X)=P,方差D(X)=P(1-P)。二項分布與泊松分布

20%30%40%50%

若隨機變量X的概率分布列為式(2.23),則稱X服從參數(shù)為P的幾何分布，記作X~G(P)。

超幾何分布(Hyper-geometricdistribution)是一項應(yīng)用較多的分布。幾何分布與超幾何分布

02抽樣統(tǒng)計分析大量性是指總體中的對象數(shù)量通常都比較大。同質(zhì)性是指總體中的對象具有相同的屬性，同一屬性對于各個對象來說含義相同。變異性是指針對某一屬性，各個對象所表現(xiàn)的具體取值可能會有所不同，如受到隨機要素的影響。抽樣的相關(guān)概念

系統(tǒng)抽樣

系統(tǒng)抽樣(Systematicsampling)又稱等距抽樣或機械抽樣。方式一，隨機起點抽樣，方式二，循環(huán)等距抽樣；其他方式還包括中點等距抽樣、對稱等距抽樣法等。簡單隨機抽樣

簡單隨機抽樣(Simplerandomsampling)完全按隨機原則抽取每個樣本個案，總體中的每個個體都按照等概率被抽中。概率抽樣的典型方法20%30%40%50%

分層抽樣(Stratifiedsampling)也叫類型抽樣法，是將總體劃分為多個(或許多)互不相交的子集(稱為層),再按規(guī)定的比例從不同層中隨機抽取個案的方法。

整群抽樣(Groupsampling)又稱聚類抽樣(Clustersampling),是將總體中各單位歸并成若干個互不相交的集合，稱為群，然后以群為抽樣單位進行簡單隨機抽樣來抽取樣本的方式。幾何分布與超幾何分布

20%30%40%50%

任意抽樣(Haphazardsampling)又稱便利抽樣，是指本著隨意性原則去選擇樣本的抽樣方法。

判斷抽樣(Judgementsampling)又稱立意抽樣，是指根據(jù)主觀經(jīng)驗從總體樣本中選擇那些被判斷為最能代表總體的一些個體作樣本的抽樣方法。

配額抽樣(Quotasampling)也稱定額抽樣，是指將總體按一定標(biāo)志分層(分類),確定各層(類)中的樣本數(shù)額，在配額內(nèi)任意抽選樣本的抽樣方式。非隨機抽樣的典型方法03基本抽樣分布經(jīng)驗分布是統(tǒng)計樣本頻數(shù)計算相對頻數(shù)，對從小到大排序的樣本點計算出累積頻率，從而得到經(jīng)驗分布。理論分布(Theoreticaldistribution)是那些直接按某種數(shù)學(xué)模型計算出的概率分布，典型的包括伯努利分布、二項分布、泊松分布、均勻分布、正態(tài)分布、指數(shù)分布等。抽樣分布(Samplingdistribution)是各個樣本統(tǒng)計量的概率分布。由于從總體上多次抽樣所獲得的各個樣本值可能不同，因而基于相應(yīng)樣本所做的統(tǒng)計量可能不同。經(jīng)驗分布、理論分布與抽樣分布

設(shè)X,X?,…,X,…,X,為n(n≥1)個相互獨立的隨機變量，X?～N(0,1),令，則隨機變量Y服從自由度為n的x2分布，記為Y～x2(n)。三大抽樣分布t分布(t-distribution)也是一種常用的抽樣分布。設(shè)隨機變量X和Y相互獨立，且X~N(0,1),Y～x2(n),則稱式(2.37)表示的隨機變量T服從自由度為n的t分布，即T~t(n)。滿足t分布的隨機變量稱作t變量。三大抽樣分布

F分布(F-distribution)是一種常用的抽樣分布。設(shè)隨機變量X和Y相互獨立，且X~x2(m),Y～x2(n?),則稱隨機變量式(2.39)表示的隨機變量F服從第一自由度為n、第二自由度為n?的F分布，即F～F(n,n?)。滿足F分布的隨機變量稱作F變量。三大抽樣分布小概率事件概率的取值在[0,1]區(qū)間，既能用作事件發(fā)生的可能性度量，又能用作人們對事件發(fā)生的相信程度(置信度)度量。常用5%、10%、1%或0.1%作為小概率的標(biāo)準(zhǔn)。其中5%最常用。小概率閾值(如5%)可作為判別事件是否顯著(Significance)發(fā)生的分界線，稱該閾值為顯著性水平(Significancelevel)。04常用的抽樣分布與區(qū)間估計常用的統(tǒng)計量抽樣分布

常用的統(tǒng)計量抽樣分布

由2.1.3節(jié)的二項分布和大數(shù)定律中的漸進原理可知，當(dāng)n較大時，樣本比例r的抽樣分布逼近正態(tài)分布。當(dāng)nr≥5且n(1-r)≥5時視為樣本量足夠，此時可按正態(tài)分布近似，由式(2.20)可得式(2.49)。r的抽樣均值為E(r)=R。常用的統(tǒng)計量抽樣分布

對未知參數(shù)0,如果兩個統(tǒng)計量Q=G(x,x?,·…,x,),B=O?(x?,x?,…,x,),對給定的a(0<α<1)有式(2.52),則稱(G,B)為0的置信區(qū)間(Confidenceinterval),1-a為置信度(Confidencelevel,又稱置信水平),α為顯著性水平(Significancelevel),日為置信下限，為置信上限。置信區(qū)間與區(qū)間估計05常用的參數(shù)檢驗假設(shè)檢驗一般過程假設(shè)檢驗(Hypothesistest)是指事先對總體的某些未知參數(shù)或分布形式做出某種假設(shè)，然后利用樣本進行驗證，判斷假設(shè)的真假。假設(shè)檢驗的基本思想是“大概率接受，小概率拒絕”。有兩組相反的假設(shè)，原假設(shè)又叫零假設(shè)(Nullhypothesis),是待檢驗的一個假設(shè)，記為Ho;與Ho相反的另一個假設(shè)叫備選假設(shè)，記為H。先假定Ho正確，在此假設(shè)上，構(gòu)造一個概率不超過a(0<α<1)的小概率事件。依據(jù)2.4.1節(jié)中介紹的抽樣分布，可得到常用的幾個參數(shù)檢驗，如表2.3所示。常用的參數(shù)檢驗統(tǒng)計量06常用的單樣本非參數(shù)檢驗

x2檢驗(Pearson'schi-squaredtest,卡方檢驗)屬于單樣本非參數(shù)檢驗?？傮w的卡方檢驗主要用于離散屬性數(shù)據(jù)的擬合優(yōu)度檢驗，即根據(jù)樣本數(shù)據(jù)的實際頻數(shù)來推斷總體分布與期望分布(或某一特定理論分布)是否有顯著性差異?？ǚ綑z驗二項分布檢驗(Binomialtest)就是根據(jù)收集到的樣本數(shù)據(jù)，推斷總體分布是否服從某個指定的二項分布。二項分布檢驗又稱比例檢驗(Ratiotest)已在2.1.3節(jié)中闡述，其原假設(shè)Ho:樣本來自的總體分布形態(tài)和期望的二項分布之間沒有顯著性差異。二項分布檢驗

固定參數(shù)的超幾何分布檢驗固定參數(shù)的超幾何分布檢驗(Parameterfixedhyper-geometricdistributiontest)是在超幾何參數(shù)已知(超幾何分布已知)的情況下，針對頻數(shù)統(tǒng)計量進行的檢驗。它是超幾何分布檢驗(Hyper-geometricdistributiontest)中的一種，屬于參數(shù)檢驗。單樣本的隨機性檢驗(Randomnesstest)又稱游程檢驗(Runtest)或連貫檢驗，是對某個變量判別是否存在隨機性。兩分總體是指總體中的對象只有兩種類別，可用1和0做標(biāo)記。游程檢驗在單樣本K-S檢驗中，K-S統(tǒng)計量量化樣本的經(jīng)驗分布函數(shù)與參考分布的累積分布函數(shù)之間的距離；在兩獨立樣本K-S檢驗中，量化兩個樣本的經(jīng)驗分布函數(shù)之間的距離。原假設(shè)：樣本取自參考分布(單樣本K-S檢驗)或樣本取自相同分布(兩獨立樣本K-S檢驗)。單樣本K-S檢驗K-S檢驗是一種常用的非參數(shù)方法之一。在檢驗分布正態(tài)性的特殊情況下，還可對樣本進行標(biāo)準(zhǔn)化處理，并與標(biāo)準(zhǔn)正態(tài)分布進行比較。在兩