四大分部、假設檢驗、方差分析、一元回歸分析課件

數(shù)理統(tǒng)計理論及應用數(shù)理統(tǒng)計理論及應用1二、假設檢驗三、方差分析四、一元線性回歸一、數(shù)理統(tǒng)計中四大分布二、假設檢驗三、方差分析四、一元線性回歸一、數(shù)理統(tǒng)計中四大分2一、數(shù)理統(tǒng)計中四大分布一、數(shù)理統(tǒng)計中四大分布31.正態(tài)分布1、一個年級中，成績的分布。2、拋擲一枚硬幣1000次，正面朝上的概率。3、歷史100年中，每年降雨量的值的分布。4、一個大學中男生的身高分布。1.正態(tài)分布1、一個年級中，成績的分布。4

1.1、定義：

若隨機變量x的概率密度函數(shù)可以表示為:

的形式，則稱x服從正態(tài)分布，記為x~N(

,

2)，其中

x1.1、定義：x5（1）正態(tài)曲線（normalcurve）在橫軸上方，均值為處最高。（2）正態(tài)分布以均數(shù)為中心，左右對稱。（3）正態(tài)分布有2個參數(shù)，即均數(shù)

和標準差

。

是位置參數(shù)，當

固定不變時，

越大，曲線沿橫軸越向右移動；反之，

越小，則曲線沿橫軸越向左移動。

是形狀參數(shù)（亦稱變異度參數(shù)），當

固定不變時，

越大，曲線越平闊；

越小，曲線越尖峭。通常用N(,2)表示均數(shù)為

，方差為

的正態(tài)分布。1.2、正態(tài)分布的特征：

不變，

發(fā)生變化

不變，

發(fā)生變化

（4）正態(tài)分布在

處各有一個拐點。（1）正態(tài)曲線（normalcurve）在橫軸上方，均值為6（5）正態(tài)曲線下的面積有一定規(guī)律。

+

凸凹凹xab（一）正態(tài)曲線下面積的計算：

右圖1中陰影部分（-

，x）的面積稱為正態(tài)分

布的分布函數(shù)，記為：

右圖2中陰影部分（代表任意區(qū)間）的面積，理論上

可以如下計算：（5）正態(tài)曲線下的面積有一定規(guī)律。+凸凹凹x7（二）標準正態(tài)分布下的面積：若則服從標準正態(tài)分布x~N(

,

2)二項分布的正態(tài)逼近對于一個二項分布，當實驗的次數(shù)足夠多時，其概率密度函數(shù)逼近于正態(tài)分布的概率密度函數(shù)。（二）標準正態(tài)分布下的面積：若81.2.卡方分布定義：設隨機變量獨立服從標準正態(tài)分布N(0，1),則變量

所服從的分布就是自由度為n的分布，稱，卡方分布的密函數(shù)如下：卡方分布性質：（1）數(shù)字特征，若則

（2）可加性，若且兩變量獨立，則有

（3）1.2.卡方分布定義：設隨機變量91.3.T分布定義：設,,且變量X,Y相互獨立，則有變量服從的分布是自由度為n的T分布，根據(jù)定義可推得密度公式為：T分布性質：（1）

當自由度正無窮時，，也就是說，當n充分大時，T分布近似于標準正態(tài)分布。但若n較小，兩種分布差別較大。（2）數(shù)字特征：若，n>2則自由度為1的t-分布也稱為柯西（Cauchy）分布,此時期望方差都不存在。記法：記t-分布的α

-上側分位數(shù)為對于較大的自由度n(譬如n>60),可用正態(tài)分布近似代表T分布來簡化計算1.3.T分布定義：設101.4.F分布定義：設且X與Y獨立，則有變量服從自由度為（n1,n2）的F分布，記作：，其密度函數(shù)為：1.4.F分布定義：設11F分布性質：（1）若，則（2）分布的α上側分位數(shù)記作，具體有：（3）由，可推出：F分布性質：（1）若12二、假設檢驗二、假設檢驗13一、假設檢驗的基本問題存在問題：由于我們對用戶畫像是基于用戶的交易記錄和習慣做出的性別判斷，

所以用戶標簽數(shù)據(jù)可能存在傾斜，這樣會存在用畫像數(shù)據(jù)性別比例代替用戶

總體性別比例可能存在偏差，怎么辦？具體問題2：如果到市場上去買雞蛋，商家聲稱壞雞蛋的比例是1%，市場監(jiān)督員檢測了五個雞蛋，有一個環(huán)雞蛋，

那么商家說的話是否可信？

事先對總體參數(shù)作某種假設（均值、方差、比率），然后利用樣本信息來判斷假設是否成立的過程稱為假設檢驗。具體問題1：想看一下當前美團用戶畫像中女性用戶所占比例是否能代表總體用戶的性別比例？1.1.假設的陳述統(tǒng)計假設：對總體參數(shù)具體數(shù)值所做的陳述，稱為假設（統(tǒng)計假設）。假設檢驗：分為兩步：先對總體參數(shù)提出某種假設

->然后利用樣本信息判斷假設是否成立，這個過程稱假設檢驗過程。原假設H0：一般情況下把研究者想要收集證據(jù)予以反對的假設成為原假設(一般用H0表示)被擇假設H1:

將研究者想收集證據(jù)來支持的假設稱為被擇假設(一般用H1表示)兩類檢驗：雙尾檢驗（被擇假無特定的方向性，一般體現(xiàn)在被擇假設中有“≠”）

單尾檢驗（被擇假設有特定的方向性，含有符號“>”或“<”的假設）一、假設檢驗的基本問題存在問題：由于我們對用戶畫像是基于用戶14假設的基本形式如下：

1.2.假設檢驗的思維邏輯：1）反證法2）小概率實驗在一次觀察或實驗中幾乎不可能發(fā)生。如果在一次實驗中小概率實驗發(fā)生了，那我們就拒絕原假設，否則就接受原假設。假設的基本形式如下：1.2.假設檢驗的思維邏輯：15作出推斷結論不能拒絕H0拒絕H0，接受H1P≤αP>α確定檢驗水平α選定檢驗方法，計算檢驗統(tǒng)計量確定Ｐ值建立假設，確定單雙側檢驗1.3、假設檢驗的步驟p值（觀測到的顯著性水平）：若原假設H0是正確的，對H0所規(guī)定的總體作隨機抽樣，計算等于或大于現(xiàn)有樣本統(tǒng)計量值的概率。兩種判別方法：1、利用統(tǒng)計量做出決策：給定的顯著性水平α，查表可以查到統(tǒng)計量的臨界值，將計算的統(tǒng)計量臨界值對比，即可做出最終決策。2、根據(jù)計算的P值與顯著性水平α的關系決策：給定的顯著性水平α，若α<p則不能拒絕原假設，若α>p則拒絕原假設。2）根據(jù)問題確定單雙側檢驗。2）建立假設H0,H1。1）α為第一類錯誤概率，通常取0.05、0.1，根據(jù)需求調(diào)節(jié)2）在H0成立的條件下，由樣本已知信息構造統(tǒng)計量。根據(jù)研究目的，設計的類型、樣本的數(shù)量選擇合適統(tǒng)計量。作出推斷結論不能拒絕H0拒絕H0，接受H1P≤αP>α確定檢161.4.兩類錯誤的顯著性水平第一類錯誤：當原假設為真的時候，我們又拒絕了原假設，稱為棄真錯誤，通常記為α第二類錯誤：當原假設是錯誤的時候，檢驗的結果沒能拒絕原假設，稱為取偽錯誤，取β分別犯兩類錯誤的情況是什么？兩種錯誤的關系？無論何種情況下都不可能避免不犯兩類錯誤。當樣本容量不變時候，減小α就會使β增大,減小β會增大α，所以要讓α和β同時減小的唯一辦法就是增大樣本的容量；實際問題是：增加樣本容量會受到很多限制因素，所以會在兩類錯誤中選擇一個權衡。譬如說：如果犯第一類錯誤的概率比第二類錯誤嚴重，就將犯第一類錯誤的概率設置的低一點，反之亦然。1.4.兩類錯誤的顯著性水平第一類錯誤：當原假設為真的時候，17檢驗統(tǒng)計量：根據(jù)樣本數(shù)據(jù)計算得到的，并對原假設和被擇假設做出決策的樣本統(tǒng)計量（統(tǒng)計量中不含未知參數(shù)）檢驗統(tǒng)計量的作用如下圖：檢驗統(tǒng)計量：根據(jù)樣本數(shù)據(jù)計算得到的，并對原假設和被擇假設做出18二、幾種單總體參數(shù)的檢驗2.1.總體均值檢驗檢驗中的幾個問題：總體均值的檢驗中，采取何種檢驗統(tǒng)計量取決于所抽取的樣本的多少（統(tǒng)計上吧大于30個樣本稱為大樣本，小于30的樣本稱為小樣本），此外還需要區(qū)分總體是否服從正態(tài)分布，總體方差是否已知等情況。具體問題：美團商戶中銷售的某種（標準是容量225ml,標準差為5ml）灌裝飲料被消費者投訴裝量不標準的問題，為此公司決定對該類飲料的裝量進行調(diào)研來確定公司售賣的飲料是否存在此類問題。對此調(diào)研人員隨機從商城中抽取了400罐進行檢驗，測得每罐的平均容量為255.8ml,這里取顯著性水平α=0.05，來檢驗商城的飲料是否符合標準。1、建立假設：此時關心的問題是裝量是否符合標準，具體到問題就是總體的瓶裝量是否為225ml

所以建立假設：2、確定檢驗水平：給出顯著水平α=0.053、確定并計算檢驗統(tǒng)計量：（若H0成立，樣本均值服從）4.確定P值和Z值的大?。簆=0.000342,5、決策：二、幾種單總體參數(shù)的檢驗2.1.總體均值檢驗19

p<0.05,

Z>1.96所以拒絕原假設H0，說明飲料裝量的規(guī)格確實不符合標準?？傮w均值的檢驗規(guī)則(正態(tài)，小樣本，方差已知)總體均值的檢驗規(guī)則(正態(tài)，方差未知，小樣本情形)在小樣本的情況下統(tǒng)計量的選擇主要看方差是否已知。

其他情況下檢驗統(tǒng)計量的選擇：

p<0.05,

Z>1.96所以拒絕原假設H0，說明飲料20主要是看在大樣本的條件下，看總體的方差是否已知，總體方差已知則用總體方差，總體未知就用樣本方差代替。

總體均值的檢驗規(guī)則(大樣本情況)主要是看在大樣本的條件下，看總體的方差是否已知，總體方差已知212.2、總體比率檢驗類似于檢驗公司男女性別比例是否等于畫像數(shù)據(jù)中用戶比率的檢驗問題，這類問題就是比率檢驗，方法和步驟與總體均值類似，不同點是統(tǒng)計量的差異?？傮w比率的檢驗統(tǒng)計量設

二項分布的正態(tài)近似：注：試用的條件是，np>5且nq>5所以對比率的檢驗可構造檢驗統(tǒng)計量2.2、總體比率檢驗類似于檢驗公司男女性別比例是否等于畫像數(shù)22問題：通過對公司用戶畫像數(shù)據(jù)進行性別分類，發(fā)現(xiàn)男性用戶占42%，女性用戶占到了58%，那么這個結果是否可信？調(diào)研：為驗證此比例數(shù)據(jù)是否可用，通過數(shù)據(jù)庫隨機挑選1000位用戶ID，再通過電話訪問確定該用戶的性別。發(fā)現(xiàn)有473人是男性，527是女性用戶，取顯著性水平α=0.05驗證此比例數(shù)據(jù)能否代表公司用戶比例。一、建立假設：公司數(shù)據(jù)顯示男性占比42%，因此提出原假設和備擇假設如下二、計算統(tǒng)計量：根據(jù)調(diào)研結果，計算p=473/1000=47.3%,檢驗統(tǒng)計量為三、統(tǒng)計決策：根據(jù)顯著性水平α=0.05，查標準正態(tài)分布表的臨界值，則拒絕原假設H0，說明公司畫像數(shù)據(jù)不能代替公司全部用戶的性別比例。z01.96-1.9668.8拒絕H0拒絕

H0-68.8問題：通過對公司用戶畫像數(shù)據(jù)進行性別分類，發(fā)現(xiàn)男性用戶占42232.3、總體方差的檢驗生產(chǎn)生活中僅僅保持樣本的均值維持在一定水平是不夠的，并不意味著整個過程都能正常運轉，方差的大小是否適度也是需要考慮和控制的問題，以此避免過程中出現(xiàn)的偏差比較大的情況發(fā)生。目的：檢驗一個總體的方差或標準差，使用卡方統(tǒng)計量。前提：總體服從正態(tài)分布總體方差的檢驗統(tǒng)計量檢驗統(tǒng)計量都是一樣的，針對不同問題類型，選擇不同的檢驗類型。樣本方差假設的總體方差2.3、總體方差的檢驗生產(chǎn)生活中僅僅保持樣本的均值維持在一定24問題：啤酒生產(chǎn)企業(yè)采用自動生產(chǎn)線灌裝啤酒，每瓶的裝填量為640ml，但由于受某些不可控因素的影響，每瓶的裝填量會有差異。此時，不僅每瓶的平均裝填量很重要，裝填量的方差同樣很重要。如果方差很大，會出現(xiàn)裝填量太多或太少的情況，這樣要么生產(chǎn)企業(yè)不劃算，要么消費者不滿意。假定生產(chǎn)標準規(guī)定每瓶裝填量的標準差不應超過和不應低于4ml。企業(yè)質檢部門抽取了10瓶啤酒進行檢驗，得到的樣本標準差為s=3.8ml。試以0.10的顯著性水平檢驗裝填量的標準差是否符合要求？一、建立建設：H0

:

2=42

H1

:

2

42

=0.10df=10-1=9二、計算統(tǒng)計量：

016.91903.32511

/2=0.05三、做出決策：問題：啤酒生產(chǎn)企業(yè)采用自動生產(chǎn)線灌裝啤酒，每瓶的裝填量為6425三、幾種雙總體參數(shù)的檢驗3.1、兩總體均值的檢驗正態(tài)總體方差已知或者大樣本情形正態(tài)，方差未知，小樣本情形假定條件：1）兩對比總體相互獨立。2）兩總體服從正態(tài)分布圖。3）若不是正態(tài)分布，兩者都是大樣本也可用正態(tài)分布近似三、幾種雙總體參數(shù)的檢驗3.1、兩總體均值的檢驗正態(tài)總體方差263.2、兩總體比率的對比檢驗兩個總體比率之差的檢驗規(guī)則假定條件：np>5,nq>5,樣本比率可用正態(tài)分布來近似(大樣本)兩個總體比率之差的檢驗規(guī)則假定條件：np>5,nq>5,樣本273.3、兩總體比率的對比檢驗兩個總體方差比較的檢驗規(guī)則假定條件：兩個獨立樣本，且服從正態(tài)分布FF1-

F

拒絕H0拒絕H0兩個總體方差比較的檢驗規(guī)則假定條件：兩個獨立樣本，且服從正態(tài)28三、方差分析三、方差分析29一、方差分析的問題引入具體問題：公司各個BG都會受到消費者的投訴，這里想看下不同BG被投訴次數(shù)之間是否有明顯的區(qū)別。問題分析：問題轉化為分類型自變量對數(shù)值型的因變量是否有顯著的差異。1.1.方差分析的幾個概念方差分析：檢驗多個總體均值是否相等的統(tǒng)計方法，稱為方差分析。因素：方差分析中所要檢驗的對象稱作因素（上述問題中的BG就是因素）水平：因素的不同表現(xiàn)稱為水平（到餐、到綜、外賣、酒旅）一、方差分析的問題引入具體問題：公司各個BG都會受到消費者的301.2.方差分析思想歸根結底，方差分析的思想就是把方差的來源拆分成不同來源，看分類型的變量對方差的影響程度。隨機誤差：在到餐BG中，我們隨機抽取了七各月的投訴次數(shù)，由于這個過程中抽取的隨機性造成的誤差稱為隨機誤差；來自水平內(nèi)部的數(shù)據(jù)誤差為組內(nèi)誤差（SSE）系統(tǒng)誤差：由于不同BG的本身特性影響造成的誤差稱為系統(tǒng)誤差;

來自不同水平之間的誤差為組間誤差（SSA）如果不同BG對投訴的次數(shù)無影響，那么組間的誤差只有隨機誤差，而沒有系統(tǒng)誤差。這是組間誤差與組內(nèi)誤差經(jīng)過平均后的值（均方誤差或方差）應該接近，比值應該接近1；若不同BG對投訴次數(shù)有影響，那么組間誤差中除了包含隨機誤差外還包含系統(tǒng)誤差，這時組間誤差平均后的均值就會大于組內(nèi)誤差平均后的均值，他們之間的比值就會大于1；當這個比例大到某種程度就認為不同的BG在投訴次數(shù)之間存在著顯著差異。1.2.方差分析思想系統(tǒng)誤差：由于不同BG的本身特性影響造成311.3.方差分析的基本假定1）每個總體都應該服從正態(tài)分布2）各個總體的方差西格瑪^2應該相同，也就是各組的樣本數(shù)據(jù)是從具有相同方差的正態(tài)總體中抽取的3）觀測值獨立，也就是說不同BG下抽中的投訴次數(shù)與其他BG下抽中的投訴次數(shù)之間沒有關系1.3.方差分析的基本假定322.1.分析步驟1）提出假設：假設不同BG被投訴的次數(shù)之間無差異當選擇原假設或被擇假設情況下的解釋？2）構造檢驗統(tǒng)計量：組內(nèi)均方（服從自由度n-k的卡方分布）=478.7二、方差分析2.1.分析步驟組內(nèi)均方（服從自由度n-k的卡方分布）=433通過總平方和(SST)、組間平方和(SSA)、組內(nèi)平方和(SSE)的計算方式知；SST的自由度為n-1,其中n為全部樣本的數(shù)量；SSA的自由度為k-1,其中k為因素水平的個數(shù)，這里指4個BG；SSE的自由度為n-k,

總樣本個數(shù)-BG個數(shù)由于主要是比較組間均方和組內(nèi)均方之間的差異，所以通常計算SSA的均方和SSE的均方值所以構造檢驗統(tǒng)計量：3）統(tǒng)計決策：組間均方（服從自由度n-1的卡方分布）根據(jù)給定的顯著性水平α，在F分布表中查找分子自由度df1=k-1,分母自由度df2=n-k相應的臨界值通過總平方和(SST)、組間平方和(SSA)、組內(nèi)平方和(S34若

則拒絕原假設H0，即不成立，表明之間存在顯著差異，也就是說不同的BG對投訴次數(shù)是有顯著影響的（這種情況與p<α等價）。若

則不拒絕原假設H0，沒有足夠的證據(jù)表明之間存在顯著差異，也就是說，還不能認為所檢驗的因素（BG）B對觀測值（投訴次數(shù)）有顯著影響的（這種情況與p>α等價）。若則拒絕原假設H035上述結果只驗證了部門對業(yè)務的投訴次數(shù)有影響，但具體哪兩個部門之間的投訴次數(shù)有差異還需進一步的檢驗。2.2.方差分析中的多重比較多重比較法有多種，介紹下Fisher提出的最小顯著差異法（LSD）第1步：提出假設第2部：計算檢驗統(tǒng)計量第3部：計算LSD,其計算公式為

為t分布的臨界值，通過t分布表查得，自由度為（n-k）,這里的k是因素中水平的個數(shù)，MSE為組內(nèi)的均方值，ni,nj分別為第i組和第j組的樣本容量。第4步：根據(jù)顯著性水平α做出決策，如果>LSD,則拒絕H0;如果<LSD,則不拒絕H0這里計算外賣和酒旅部門被投訴次數(shù)之間是否有效顯著的不同：計算統(tǒng)計量|350-590|=240，LSD=2.093*sqrt(14200*(1/5+1/5))=158240>158,所以拒絕原假設，即外賣和酒旅的服務對投訴的次數(shù)有顯著的差異。上述結果只驗證了部門對業(yè)務的投訴次數(shù)有影響，但具體哪兩個部門36四、一元回歸分析四、一元回歸分析37一、變量間的關系相關關系：變量間存在的不確定的數(shù)量關系。譬如，用戶數(shù)與交易額、工資與消費水平、子女和父母的身高等不確定的關系函數(shù)關系：變量間存在的確定的數(shù)量關系。譬如，正方形的面積和邊長、某種產(chǎn)品的銷售額與銷售量關系。變量之間相關關系的描述：1、可以通過散點圖直觀描述（不能從量上判別變量之間關系的強弱）2、相關系數(shù)判別：相關系數(shù)：根據(jù)樣本（總體）數(shù)據(jù)計算的度量兩個變量之間線性關系強度的統(tǒng)計量。一、變量間的關系相關關系：變量間存在的不確定的數(shù)量關系。譬如38一家商業(yè)銀行在各地區(qū)設有分行，主要業(yè)務是基礎設施建設，國家重點項目建設，固定資產(chǎn)投資項目貸款，近年來貸款額平穩(wěn)增長，但不良貸款額也有較大增長，為弄清不良貸款額形成的原因，給出了一下幾個可能的變量及對應的數(shù)值。一家商業(yè)銀行在各地區(qū)設有分行，主要業(yè)務是基礎設施建設，國家重39各變量與不良貸款額之間的關系各變量與不良貸款額之間的關系40相關系數(shù)的解釋（線性相關系數(shù)/pearson相關系數(shù)）：1）取值范圍：2）r的對稱性3）r的大小與與x,y的原點及尺度無關4）雖有關系度量，但不一定有因果關系

可通過樣本和統(tǒng)計量檢驗幾個變量之間是否存在顯著的相關性?；貧w分析的必要性？相關分析目的：測量變量之間的關系強度回歸分析目的：考察變量之間的數(shù)量關系，通過數(shù)學表達式確定一個或幾個變量的變化對其他特定變量的影響程度。具體解決的問題：確定出變量之間的數(shù)學關系式，對這些關系式的可信程度進行統(tǒng)計檢驗，并從眾多變量中找出主要的影響變量，利用有效的回歸方程進行預測目的，并給出估計或預測的可靠程度。相關系數(shù)的解釋（線性相關系數(shù)/pearson相關系數(shù)）：41二、一元線性回歸2.1.一元線性回歸中幾個概念回歸模型：描述因變量y如何依賴于自變量x和誤差項的方程，為回歸模型。

其中反映了由x變化引起的y的線性變化；稱為誤差項的隨機變量，反映了除x和y之間線性關系之外

的隨機因素對y的影響，是不能由x解釋的部分；β0、β1稱為模型的參數(shù)。誤差項應滿足的假設：1）誤差項是一個期望值為0的隨機變量，所以有。

2）對于所有x的值，的方差都相同，意味著對于特定x值y值的方差也為

3）誤差是一個服從正態(tài)分布，且獨立的隨機變量，即回歸方程：描述因變量y的期望如何依賴于自變量x的方程稱為回歸方程，或稱為一元直線回歸方程。估計的回歸方程：根據(jù)樣本數(shù)據(jù)求出回歸方程的估計兩個估計系數(shù)的含義？參數(shù)的估計：最小二乘法二、一元線性回歸2.1.一元線性回歸中幾個概念回歸模型：描述422.2.實例應用現(xiàn)在想探究一下貸款對貸款余額的影響，將不良貸款作為因變量y,將貸款余額作為自變量x，建立模型通過最小二乘法，估計模型的參數(shù)值得出，估計的回歸方程為