00.配套、數(shù)據(jù)集02統(tǒng)計講稿補充

1、15.2.5 正態(tài)分布一般正態(tài)分布用記號 X N (,2 ) 表示其中,為均值, 為2 方差特別, 稱 N(0,1) 為標(biāo)準(zhǔn)正態(tài)分布.性質(zhì):設(shè) X N (, 2 )則Z X N0(,1)Z 值的含義要能深入理解。的“標(biāo)準(zhǔn) 分”，身高、體重的 Z 值代表在整個分布中的位置。2馬逢時6.2.1 統(tǒng)計補充：導(dǎo)出分布及其應(yīng)用1. 導(dǎo)出分布的定義（見藍(lán)81 92）卡方、T分布及F分布2. 思考題：1）Z為標(biāo)準(zhǔn)正態(tài)分布，則Z2的分布為2）T為 t(n)分布，則T2的分布為3）F為 F(n,m)分布，則1/F 的分布為4）F 分布表可用，求 F0.025 (9, 7) 的值5）設(shè) 已（未）知，求 的95%置

2、信區(qū)間。6）設(shè) 已知，求 2 的95%置信區(qū)間。1馬逢時2累積分布函數(shù)概念概念：Cumulative Function F(x) ：當(dāng) x 給定后，F(xiàn)(x)代表 x 左方面積, 即隨量X小于 x 的概率。（顯然，隨x的增大，F(xiàn)(x)也增大；直到x無限增大, F(x)最后達(dá)到1）F(x)代表這塊面積xX4馬逢時一般正態(tài)分布與標(biāo)準(zhǔn)正態(tài)分布y 如果有 Y N ( ,2 ) ，令 z 則 z N (0,1)y z 3馬逢時對應(yīng)Z值的理解生在期末實際成績?yōu)?2分，但折某高校算為z值時得到 z = -2。這說明什么？ z值有什么用？因為 z = -2，說明大約只有2.28%的學(xué)生成績比他低。此學(xué)生成績在班

3、內(nèi)比較差。z值作為描述其在分布中的位置非常有用。某位滿歲嬰兒，其身高z值為 . ，體重z值為0.7。這是什么意思？說明此嬰兒發(fā)育狀況如何？大約有90%的同齡嬰兒比他矮，大約有76%的同齡嬰兒比他輕。他的總發(fā)育狀況很好，但仍不夠均衡，在偏高的嬰兒中他仍有些偏瘦。馬逢時63分位數(shù)(le)概念當(dāng) p 給定后，XP代表 左方面積為p時, 橫坐標(biāo) 的位置。顯然，隨p的增大， XP 也增大；直到隨p增大到1， XP 也增大至于無限。對于年分布，如果右側(cè)概率為 1/T，則其分位數(shù)稱為T年一遇值。例如， X0.99 為百年一遇值； X0.95 為廿年一遇值； X0.90 為十年一遇值。p代表這塊面積XxP5馬

4、逢時4列聯(lián)表與Simpson悖論經(jīng)卡方檢驗，車間 B 優(yōu)于車間 A。對兩種產(chǎn)品分別進(jìn)行卡方檢驗，車間 A 都優(yōu)于車間 B 兩種產(chǎn)品不良率不同，不能用求和方法處理。8馬逢時5.2.7統(tǒng)計量與抽樣分布設(shè)Xi N (, ), i 1,., n.2 2則X N (, n )可以化為Z X N ( 0 ,1)n還有,X T s t(n 1)n這里, t (n) 是度為n 的 student T-分布. T分布與標(biāo)準(zhǔn)正態(tài)分布形狀相同，只是更分散。7馬逢時6.4.3 Simpson悖論原例按按人分類，不論是白人或，黑判比都高于白人。不區(qū)分刑比率高于則總的數(shù)據(jù)卻是：白人。被判死為白人時判比率高，而白人白人的比

5、率高：132/（132+9）=0.93610馬逢時56.4.3 Simpson悖論原例Simpson悖論（此例僅為數(shù)學(xué)悖論而非統(tǒng)計悖論）Florida州1976-1977年被判情況結(jié)論：白人被判比率高于9馬逢時66.4.3列聯(lián)表的統(tǒng)計分析再仔細(xì)分析更進(jìn) 步數(shù)據(jù)5 個學(xué)院的報名及錄取狀況數(shù)據(jù)文件：學(xué)生錄取.MTW這屬于 3維列聯(lián)表。學(xué)院是最外“層”。 結(jié)論：各學(xué)院男女錄取比率均無顯著差異。12馬逢時6.4.3列聯(lián)表的統(tǒng)計分析M大學(xué)錄取結(jié)果全校總和的比較用列聯(lián)表檢驗，男生錄取率顯著高于此結(jié)論對嗎?11馬逢時錄取人數(shù)未錄取人數(shù)報名人數(shù)錄取率男生73392616590.441842898514130.

6、302976.4.3列聯(lián)表的統(tǒng)計分析按學(xué)院列出報名人數(shù)及錄取率如下：“ 總錄取率低”的原因是男 報名人數(shù)的分布不同：男生在錄取率高的學(xué)院考生比率高； 在錄取率高的學(xué)院考生比率很低。14馬逢時6.4.3列聯(lián)表的統(tǒng)計分析將學(xué)院作為外層，各學(xué)院男錄取比率均無顯著差異。13馬逢時8殘差方法為了進(jìn)行殘差，要以下殘差圖：殘差和試驗順序（時間序列）殘差和響應(yīng)（ y ）若有“喇叭口”要考慮對Y做變換%Boxcoxregres Y C1-Cp殘差的正態(tài)分位圖殘差和輸入因子（Xs）若有彎曲要考慮增加X的高階項16馬逢時6.5.7 Mood 中位數(shù)檢驗原理：先求出全部數(shù)據(jù)的中位數(shù)M，再在各樣本內(nèi)對于“比M大”、“比

7、M小”的數(shù)據(jù)個數(shù)，列聯(lián)表。例題：Casting.mtw 對A-E共6個車間輪箍斷裂強度比較中位數(shù)檢驗相當(dāng)于符號 檢驗，數(shù)據(jù)量要求要大，但穩(wěn)健性好；Kruskal-Wallis 檢驗相當(dāng)于符號秩檢驗，數(shù)據(jù)量可以很小，但穩(wěn)健性差。15馬逢時9殘差的常見處理11. 殘差和響應(yīng)圖中若有“喇叭口”要考慮對Y做變換例:Reg_氨損失量%boxcoxregres C6 C2-C5（首列為全1，列號不必須連續(xù)）在=1處蘭線位于紅虛線上方，則需要對Y做變換圖中可看出，當(dāng)=0.5時蘭線有極小值，故對Y做變換Y*=Y0.5可以使殘差圖消除喇叭口。18馬逢時殘差圖例:Reg_氨損失量17馬逢時的常見處理2殘差殘差對于

8、值也發(fā)現(xiàn)有彎曲但更重殘差對于預(yù)測值也發(fā)現(xiàn)有彎曲，則要考慮增加X的高階項。也有彎曲馬逢時2010殘差的常見處理22. 殘差和自變量圖中若有彎曲，則要考慮增加X的高階項。例：原木體積的估算（數(shù)據(jù)文件：Reg原木體積）自變量系數(shù) 系數(shù)標(biāo)準(zhǔn)誤TP 方差膨脹因子常量 -4.45980.4151 -10.74 0.000C3.21180.128325.04 0.000 1.041H0.248440.052774.71 0.000 1.041S = 0.417781 R-Sq = 96.4% R-Sq（調(diào)整） = 96.1%方差分析來源度SSMSFP回歸2126.550 63.275 362.52 0.00

9、0殘差誤差274.713 0.175合計29 131.26319馬逢時11殘差的常見處理2解決辦法：增加 C2 項（記為CC）行否？發(fā)現(xiàn)有問題。將自變量 x 與所有其它自變量作回歸，設(shè)決定系數(shù)為 R2ii若 R2 接近于1，則說明 xi 有依賴于其它自變量的線性關(guān)系，i此方程應(yīng)修改。為度量這種依賴性，引入方差膨脹因子VIF =1此數(shù)值肯定大于1，它越大則說明線性i-2依賴關(guān)系嚴(yán)重（即存在共線性）。i應(yīng)增加輸出“方差膨脹因子”，本例中 VIF 最大者遠(yuǎn)超過10 。若VIF 回歸 二進(jìn)制Logistic回歸”進(jìn)入。使用“響應(yīng)”/“頻率”格式：“響應(yīng)”填寫“”；“頻率”填寫“人數(shù)”；“模型”填寫“

10、”及“”婚況”；因子填寫“婚況”。打開“ ”，選存“事件概率”。得到Logistic回歸，且是分4組給出的結(jié)果。分4組給出在不同段上的概率。29馬逢時2 二值邏輯回歸應(yīng)用例3有配偶概率, 喪偶概率, 離婚概率, 未婚概率 的時間序列圖1412108642012345678910指數(shù)馬逢時3216數(shù)據(jù)變量有配偶概率喪偶概率離婚概率未婚概率2 二值邏輯回歸應(yīng)用例3Logistic 回歸方程：11.9594 有配偶p 11.51603 喪偶ln 0.12416 1 p 11.84606 離婚 10.82948 未婚系數(shù)為正，表明隨增長，率在上升。每增加1歲， ln p將增加0.124，也即優(yōu)勢比（死

11、1 p0 12416亡率與存活率的比值）將增加 e 1.1322倍。有配偶率最低；離婚者喪偶者率次之；喪偶者率較高；未婚者率最高。31馬逢時3 名義值的Logistic回歸響應(yīng)變量取值只”或“否”，稱為名義值的Logistic回歸分析，仍借助于二值Logistic回歸分析。離散變量取名義值的情形（品牌有A、B、C、D共 4種；車間中有A、B、C共3種車床等等）。與響應(yīng)變量有關(guān)的自變量：可以是離散變量,也可以是連續(xù)變量，要建立回歸方程。主要的工具就應(yīng)該是二進(jìn)制Logistic回歸分析：從離散的響應(yīng)變量的多個取值中，選出一個作為“參考值”。其余者輪流與之配對，采用二進(jìn)制Logistic回歸方法來分

12、析。原來如果取K個名義值，可以用K-1對二進(jìn)制Logistic回歸方法來解決全部問題。33馬逢時3 名義值邏輯回歸例3。分析汽車銷售問題。了他銷售的303輛汽車的各項狀況：包括汽車銷售商、狀況、購車者國別、汽車尺寸、汽車車型，數(shù)據(jù)文件為：TBL_汽車銷售MTW響應(yīng)變量為汽車車型（汽車尺寸）。它們與（連續(xù)變量）、國別的定量關(guān)系從指令“統(tǒng)計 回歸 名義Logistic回歸”進(jìn)入。使用“響應(yīng)”/“頻率”格式：“響應(yīng)”填寫“”；“頻率”填寫“人數(shù)”；“模型”填寫“”及“”婚況”；因子填寫“婚況”。打開“ “事件概率”。”，選存得到Logistic回歸，且是分4組給出的結(jié)果。34馬逢時17187.5.4

13、 響應(yīng)曲面設(shè)計練習(xí)例2。提高彈力的響應(yīng)曲面設(shè)計。1）對于成分A、成分B、溫度3因子進(jìn)行23 3試驗，數(shù)據(jù)文件為 DOE彈力. mtw。分析結(jié)果及殘差圖都顯示出現(xiàn)彎曲。要進(jìn)行RSM。 2）安排CCC設(shè)計，共需20點，（含6個軸向點，及再補3個中心點）；在原試驗結(jié)果基礎(chǔ)上，再安排 9點，但擔(dān)心試驗條件的變化，將這些試驗劃歸另一個區(qū)組 。數(shù)據(jù)文件為DOE彈力RSM. Mtw3）分析要y點：1. 分析時區(qū)組作為因子，區(qū)組響應(yīng)顯著；2 .對于 的殘差圖呈現(xiàn)“喇叭”狀，提示要對Y做變換；3 .指令確認(rèn)取=-0.5可使方差達(dá)到齊性；4 .對Y進(jìn)行變化，重新計算，確認(rèn)結(jié)果正常。找到最優(yōu)設(shè)置。5 .對于最優(yōu)設(shè)置

14、進(jìn)行預(yù)報時，先要在分析時刪去區(qū)組作為因子，然后才能給出預(yù)報6 .考慮和不考慮區(qū)組的預(yù)報誤差懸殊，對于兩區(qū)組差異顯著的原因要進(jìn)行分析。36馬逢時4 有序值邏輯回歸離散變量取有序值的情形，例如空氣污染等級分為I、 II、III、IV共4個級別，這里IV級污染最重，III級次之，II級更好些，I 級最好，他們之間可以排出順序 來。這就提供了比前兩種情況的信息。工具仍為二進(jìn)制Logistic回歸分析。I II III | VI;I II | III VI; I | II III VI 共比3次一般，序觀測值分為K級，比較共K-1對。蠑螈的分為3級：1級是小于10天；2級是介于10天至30天；3級是31

15、天以上。比兩次： I | II III； I II | III；回歸系數(shù)是0.1199。毒性水平每增加1級，會變?yōu)樵瓉淼膃xp(0.1199)= 1.127倍，即出現(xiàn)1級的可能性與出現(xiàn)2、3級的優(yōu)勢比增加大約12.7%。35馬逢時常規(guī)控制圖的計算與分析例1 數(shù)據(jù)：BS鋼筋.MTW （I MR）例2 數(shù)據(jù)：SPC瓷磚.MTW（Xbar-R）或先求日均值再（I-MR）相差不大。例3 數(shù)據(jù)：SPC_直徑.MTW例4 數(shù)據(jù)：SPC _二極管不合格品率.MTW （2題）例5 數(shù)據(jù)：SPC _缺陷率.MTW （2題）例6 數(shù)據(jù)：SPCBarR.MTW例7 數(shù)據(jù)：SPC-EWMA.MTW例8 數(shù)據(jù)：SPC

16、_過程指標(biāo).MTW馬逢時38197.5.5 響應(yīng)曲面設(shè)計練習(xí)例2。雙響應(yīng)變量的響應(yīng)曲面設(shè)計。對于框架的 3 個幾何尺寸因子A、B、C 進(jìn)行RSM 試驗，指標(biāo)Y為框架下端的下沉量，對于每個設(shè)置重復(fù)試驗 3 次。希望Y的平均值越小越好且希望波動達(dá)到最小。數(shù)據(jù)文件為DOERSM2. mtw。根據(jù)3次重復(fù)試驗結(jié)果，對于各設(shè)置條件下的Ybar及S分別進(jìn)行響應(yīng)曲面分析。全部正常且有意義；歸納出全部項皆應(yīng)包含在模型內(nèi)。對于各設(shè)置條件下的Ybar及S分別使用等值線進(jìn)行最優(yōu)設(shè)置估計。對于各設(shè)置條件下的Ybar及S聯(lián)合使用“響應(yīng)曲面優(yōu)化器”以求得最佳點（要給出最優(yōu)化出發(fā)點的粗略估計）。對于最優(yōu)設(shè)置條件下的Ybar

17、及S給出。如果要求下沉量目標(biāo)為 9 mm且希望波動達(dá)到最小，如何解？37馬逢時20EWMA控制圖如果取 0.2 則可以有：Zt 0.2xt 0.16xt 1 0.0128xt 2 0.01024xt 3 .可見，值越小時，光滑效果越好；值越大時，保真效果越好。通常取=0.2，或更小些，可以調(diào)整試算。還可以選用移動平均控制圖，其效果與EWMA類似。統(tǒng)計控制圖時間控制圖移動平均40馬逢時統(tǒng)計控制圖時間控制圖EWMA4. 特殊控制圖指數(shù)移動平均（EWMA）控制圖當(dāng)過程均值有微小系統(tǒng)漂移時，常規(guī)控制圖反應(yīng)遲鈍將當(dāng)前數(shù)據(jù)及歷史數(shù)據(jù)進(jìn)行平均則可以看出可能存在的漂移趨勢。指數(shù)權(quán)公式：記 xt 為當(dāng)前的觀測值

18、，Zt 是新統(tǒng)計量。遞推上去，可以得到： Zt xt (1 )Zt 1Zt xt (1 )xt 1 (1 )Zt 2 xt (1 )039馬逢時211)非獨立數(shù)據(jù)的控制圖數(shù)據(jù)不獨立時畫控制圖：控制限不正確；異常點不正常地增多。獨立性的檢驗：I）游程檢驗 II）自相關(guān)函數(shù)檢驗，皆不超界 III）偏自相關(guān)函數(shù)檢驗，皆不超界非獨立數(shù)據(jù)的分析屬于時間序列分析的范疇，這里可以擬合ARIMA模型，殘差即可。42馬逢時5. 非標(biāo)準(zhǔn)情況下的控制圖標(biāo)準(zhǔn)情況的3項假定及待解決的問題1.所有數(shù)據(jù)觀測值及T值 A.不驗證上述條件直接畫是相互獨立的，控制圖的；2.過程中只有單一B. 如何檢驗上述條件；波動源隨機誤差。3

19、.T值大致呈正態(tài)分布。 C.出現(xiàn)上述問題時的對策；41馬逢時223)非正態(tài)控制圖畫法.使用Box-Cox變換法確定使之變?yōu)檎龖B(tài)的Lambda值。將變換后的數(shù)據(jù)y*求出。 使用Option可以省略此步對y*求出UCL*及LCL*將UCL*及LCL*反變換為UCL及LCL將UCL及LCL標(biāo)在原數(shù)據(jù)圖上使用分位數(shù)方法。用%UCLC data 求出百分位數(shù)，再標(biāo)在圖中。44馬逢時2）非單一變異源的控制圖A. 帶子組數(shù)據(jù)的Xbar-R圖的兩種畫法：I） 直接畫Xbar-R圖，II）先求小組均值再畫X-MR圖當(dāng)數(shù)據(jù)只有單一變異源時，二者相差不大。當(dāng)數(shù)據(jù)含有多變異源時，二者相差很大。B. 畫多變異圖(S-Q

20、uality Tools-Multi Vari Chart)或用ANOVA計算出方差分量（隨機誤差應(yīng)占90%以上），以判定變異源是否單一。C. 分別對Xbar，MR及R（或S）三者各自畫控制圖。統(tǒng)計控制圖子組的變量控制圖 I-MR-R/S（組間/組內(nèi)）43馬逢時二項分布下的業(yè)績指數(shù)計算過程能力指數(shù)的計算主要目的之一是為了得出水平并估計出產(chǎn)品的不良率值。對于二項分布，其本身已知不良率（通常指短期），為此只需求出 Z 值（短期），反查附錄表2；并求出長期能力指數(shù)將Z值加1.5即可。例。 已知生產(chǎn)線上的二極管的不良率求 短（長）期Z 值。45馬逢時23泊松分布下的業(yè)績指數(shù)計算泊松分布的過程能力指數(shù)計

21、算只要給定DPU即可DPU DU直通率Y eDPU缺陷率p=1-eDPUZ =-1(Y )FTFT例：的20個中平均有8個瑕疵點，求ZDPU 8 0.4直通率Y eDPU e04 0.6720FT缺陷率p=1-eDPU 1 0.67 0.33從數(shù)值上看，當(dāng)DPU小于1時，缺陷率 p 的數(shù)值要比DPU還要稍小些。這是因為，瑕疵點不會恰巧每個零件上恰好一個，因此缺陷率 p （上例中為0.33）比DPU（=0.4）稍小。46馬逢時不良率Z值（短期）Z值（長期）0.012.433.930.0013.094.590.00013.725.2210 ppm4.265.763.4 ppm4.506.007.4

22、.3FFD試驗的分析例1.降低微型變壓器耗電量問題.影響變壓器耗電量至少有4個因子要考慮：A繞線速度、B矽鋼厚度、C漆包厚度和D密封劑量?？梢哉J(rèn)為AD間無交互作用。 安排 12次試驗的。數(shù)據(jù)文件為：DOE_變壓器（部分）.MTW。分析方法與全因子完全一樣，但要注意，表面上AD顯著，其實 AD與BC是混雜的，根據(jù)背景資料，可以斷定是BC顯著。（如果無背景資料則無法判斷，必須增加試驗才能予以區(qū)分。例2.提高離合器問題.影響離合器至少有4個因子：A彈簧長、B桿徑、C槽徑和D潤滑油粘度?？梢哉J(rèn)為AD間無交互作用。 安排12次試驗的。數(shù)據(jù)文件為：DOE離合器.MTW。同樣，表面上AD顯著，其實是BC顯著

23、。給出最佳設(shè)置及。馬逢時48247.4.2FFD試驗的計劃例3 。A-F 6個主因子，和 AB, BC, CE, DF 各二階交互效應(yīng)，下列哪個生成元是可行的？1）E=ABC，F(xiàn)=ABD ;2）E=ACD，F(xiàn)=BCD ;3）E=BCD，F(xiàn)=ABC ;4）E=ABD，F(xiàn)=ABC ;計算方法：將條件轉(zhuǎn)化為“排除條件”：ABCE；ABDF；BCDF；CEDF EABC； FABD； FACD； EFCD這并不能得到明確結(jié)果。用淘汰法，容易看出1）及2）不可行。 4）使得EF=CD，也不可行；3）EF=AD可行綜合上述結(jié)果：正確為 3）。47馬逢時7.5.1響應(yīng)曲面設(shè)計中的中心點（續(xù)）等精度(unif

24、orm Proci) 可保證試驗中心點處的方差與 距中心距離處的相同。V y10V y距中心的距離是有一個中心點的可旋轉(zhuǎn)的 CCD 設(shè)計方差。馬逢時50257.4.4 帶區(qū)組的因子設(shè)計及分析例3.電焊機工藝條件的改進(jìn)問題.影響焊接強度至少有4個因子要考慮：A溫度、B速度、C壓力和D合金量。但試驗時只要10套模具可以使用。 安排帶4次中心點的全因子試驗。如何安排。數(shù)據(jù)文件為：DOE焊接.MTW。分析方法與全因子完全一樣，但要注意：1）分析時先要將“區(qū)組”當(dāng)作一個因子（若不顯著則可刪除）2）分析因子顯著性時，要將“區(qū)組”當(dāng)作一個因子（以提高分析精度）；3）預(yù)報時則要另求一次方程，“區(qū)組”當(dāng)作一個因

25、子。4）區(qū)組效應(yīng)顯著時必須增加分析區(qū)組效應(yīng)的次原因，以便消除區(qū)組效應(yīng)。無法消除區(qū)組效應(yīng)時，要對預(yù)報對象所在區(qū)組狀況給出判定。49馬逢時267.5.5 響應(yīng)曲面設(shè)計練習(xí)例1。提高彈力的響應(yīng)曲面設(shè)計。1）對于成分A、成分B、溫度3因子進(jìn)行 23 3試驗，數(shù)據(jù)文件為 DOE彈力. mtw。分析結(jié)果及殘差圖都顯示出現(xiàn)彎曲。要進(jìn)行RSM。 2）安排CCC設(shè)計，共需20點，（含6個軸向點，及再補3個中心點）；在原試驗結(jié)果基礎(chǔ)上，再安排 9點，但擔(dān)心試驗條件的變化，將這些試驗劃歸另一個區(qū)組 。數(shù)據(jù)文件為DOE彈力RSM. Mtw 3）分析要點：1. 分析時區(qū)組作為因子，區(qū)組響應(yīng)顯著；2 .對于 y 的殘差圖呈現(xiàn)“喇叭”狀，提示要對Y做變換；3 .指令確認(rèn)取=-0.5可使方差達(dá)到齊性；4 .對Y進(jìn)行變化，重新計算，確認(rèn)結(jié)果正常。找到最優(yōu)設(shè)置。5 .對于最優(yōu)設(shè)置進(jìn)行預(yù)報時，先要在分析時刪去區(qū)組作為因子，然后才能給出預(yù)報6 .考慮和不考慮區(qū)組的預(yù)報誤差懸殊，對于兩區(qū)組差異顯著的原因要進(jìn)行分析。52馬逢時7.5.1響應(yīng)曲面設(shè)計中的中心點（續(xù)）適當(dāng)增加中心點的數(shù)量，設(shè)計中心的 Vy 可一直降低到與編碼的距中心距離的 Vy 相同為止。 此特性稱為等精度。V y01距中心的距離Vy 是中心點數(shù)量達(dá)到等精度的可旋轉(zhuǎn)的CCD設(shè)計的方差。51馬逢時277.5.5 響應(yīng)曲面設(shè)計練習(xí)當(dāng)重要度為（1，1）時