回歸診斷專業(yè)知識(shí)講座

第三章

回歸診療

回歸診斷專業(yè)知識(shí)講座第1頁(yè)回歸診斷專業(yè)知識(shí)講座第2頁(yè)在實(shí)際中這些假定是否合理？假如實(shí)際數(shù)據(jù)與這些假設(shè)偏離比較大，那么前面討論相關(guān)參數(shù)區(qū)間預(yù)計(jì)，假設(shè)檢驗(yàn)就不再成立。假如經(jīng)過(guò)分析，已經(jīng)確認(rèn)對(duì)所研究詳細(xì)數(shù)據(jù)，上面假設(shè)不成立，那么我們又希望探討對(duì)數(shù)據(jù)作怎樣修正后，能使它們滿足或近似滿足這些假設(shè)。這些就是回歸診療中所要處理第一個(gè)問(wèn)題?；貧w診療另一個(gè)研究問(wèn)題是對(duì)數(shù)據(jù)診療，探查對(duì)統(tǒng)計(jì)推斷有較大影響試驗(yàn)點(diǎn)，這么點(diǎn)稱為強(qiáng)影響點(diǎn)?；貧w診斷專業(yè)知識(shí)講座第3頁(yè)§3.1殘差及殘差圖回歸診斷專業(yè)知識(shí)講座第4頁(yè)回歸診斷專業(yè)知識(shí)講座第5頁(yè)回歸診斷專業(yè)知識(shí)講座第6頁(yè)回歸診斷專業(yè)知識(shí)講座第7頁(yè)回歸診斷專業(yè)知識(shí)講座第8頁(yè)回歸診斷專業(yè)知識(shí)講座第9頁(yè)回歸診斷專業(yè)知識(shí)講座第10頁(yè)回歸診斷專業(yè)知識(shí)講座第11頁(yè)統(tǒng)計(jì)診療內(nèi)容和意義

我們所選擇模型能不能大致上反應(yīng)所要研究實(shí)際問(wèn)題？我們搜集數(shù)據(jù)會(huì)不會(huì)因?yàn)樗鸭^(guò)程中疏忽或其它種種原因而出現(xiàn)較大誤差？這些錯(cuò)誤數(shù)據(jù)會(huì)不會(huì)嚴(yán)重干擾我們對(duì)實(shí)際問(wèn)題所作結(jié)論？回歸診斷專業(yè)知識(shí)講座第12頁(yè)

統(tǒng)計(jì)診療是針對(duì)上述問(wèn)題發(fā)展起來(lái)一個(gè)分析方法。尋找一個(gè)診療方法，判斷實(shí)際數(shù)據(jù)與既定模型是否有較大偏離，并采取對(duì)應(yīng)對(duì)策是統(tǒng)計(jì)診療主要內(nèi)容?；貧w診斷專業(yè)知識(shí)講座第13頁(yè)識(shí)別、判定和檢驗(yàn)異常點(diǎn)。區(qū)分出對(duì)統(tǒng)計(jì)推斷影響尤其大點(diǎn)（影響分析）。殘差分析和殘差圖能用于研究既定模型與實(shí)際數(shù)據(jù)是否能很好擬合。其中包含：模型線性診療、模型誤差方差齊性診療、模型誤差獨(dú)立性診療、模型誤差正態(tài)性診療等。綜合以上所述回歸診療有以下主要內(nèi)容：回歸診斷專業(yè)知識(shí)講座第14頁(yè)§3.2回歸診療一（數(shù)據(jù)診療）回歸診斷專業(yè)知識(shí)講座第15頁(yè)(一)、統(tǒng)計(jì)診療兩個(gè)基本概念（1）異常點(diǎn) 在回歸模型中，異常點(diǎn)是指對(duì)既定模型偏離很大數(shù)據(jù)點(diǎn)。但終究偏離到達(dá)何種程度才算是異常，這就必須對(duì)模型誤差項(xiàng)分布有一定假設(shè)（通常假定為正態(tài)分布）。回歸診斷專業(yè)知識(shí)講座第16頁(yè)當(dāng)前對(duì)異常點(diǎn)有以下兩種較為流行看法：把異常點(diǎn)看成是那些與數(shù)據(jù)集主體顯著不協(xié)調(diào)，使得研究者大感詫異數(shù)據(jù)點(diǎn)。這時(shí)，異常點(diǎn)可解釋為所假定分布中極端點(diǎn)，即落在分布單側(cè)或雙側(cè)分位點(diǎn)以外點(diǎn)，而通常取很小值（如：0.005），致使觀察者對(duì)數(shù)據(jù)中出現(xiàn)如此極端點(diǎn)感到意外?；貧w診斷專業(yè)知識(shí)講座第17頁(yè)（2）強(qiáng)影響點(diǎn)數(shù)據(jù)集中強(qiáng)影響點(diǎn)是指那些對(duì)統(tǒng)計(jì)量取值有非常大影響力點(diǎn)。在考慮強(qiáng)影響點(diǎn)時(shí)，有幾個(gè)基本問(wèn)題需要考慮：首先必須明確“是對(duì)哪個(gè)統(tǒng)計(jì)量影響？”比如，線性回歸模型所考慮是對(duì)回歸系數(shù)預(yù)計(jì)量影響；不是對(duì)誤差方差預(yù)計(jì)影響；或是對(duì)擬合優(yōu)度統(tǒng)計(jì)量影響等等。分析目標(biāo)不一樣，所考慮影響亦有所不一樣?；貧w診斷專業(yè)知識(shí)講座第18頁(yè)其次，必須確定“度量影響尺度是什么？”為了定量地刻劃影響大小，迄今為止已提出各種尺度，基于置信域尺度，基于似然函數(shù)尺度等等。在每一個(gè)類型中又可能有不一樣統(tǒng)計(jì)量，比如基于影響函數(shù)就已提出各種“距離”來(lái)度量影響，有Cook距離、Welsch-Kuh距離、Welsch距離等等。每一個(gè)度量都是著眼于某首先影響，并在某種詳細(xì)場(chǎng)所下較為有效。這首先反應(yīng)了度量影響問(wèn)題復(fù)雜性，另首先也說(shuō)明了影響分析研究在統(tǒng)計(jì)診療中是一個(gè)甚為活躍方向，還有大量有待處理問(wèn)題?；貧w診斷專業(yè)知識(shí)講座第19頁(yè)強(qiáng)影響點(diǎn)通常是數(shù)據(jù)集中更為主要數(shù)據(jù)點(diǎn)，它往往能提供比普通數(shù)據(jù)點(diǎn)更多信息，所以需引發(fā)尤其注意。強(qiáng)影響點(diǎn)和異常點(diǎn)是兩個(gè)不一樣概念，它們之間現(xiàn)有聯(lián)絡(luò)也有區(qū)分。強(qiáng)影響點(diǎn)可能同時(shí)又是異常點(diǎn)也可能不是；反之，異常點(diǎn)可能同時(shí)又是強(qiáng)影響點(diǎn)也可能不是?；貧w診斷專業(yè)知識(shí)講座第20頁(yè)(二)、影響分析回歸診斷專業(yè)知識(shí)講座第21頁(yè)回歸診斷專業(yè)知識(shí)講座第22頁(yè)回歸診斷專業(yè)知識(shí)講座第23頁(yè)回歸診斷專業(yè)知識(shí)講座第24頁(yè)回歸診斷專業(yè)知識(shí)講座第25頁(yè)回歸診斷專業(yè)知識(shí)講座第26頁(yè)回歸診斷專業(yè)知識(shí)講座第27頁(yè)§3.3回歸診療二（模型診療）回歸診斷專業(yè)知識(shí)講座第28頁(yè)回歸診斷專業(yè)知識(shí)講座第29頁(yè)回歸診斷專業(yè)知識(shí)講座第30頁(yè)回歸診斷專業(yè)知識(shí)講座第31頁(yè)回歸診斷專業(yè)知識(shí)講座第32頁(yè)回歸診斷專業(yè)知識(shí)講座第33頁(yè)（2）模型修正

為了修改模型，我們?cè)僮饕詾闄M坐標(biāo)殘差圖回歸診斷專業(yè)知識(shí)講座第34頁(yè)回歸診斷專業(yè)知識(shí)講座第35頁(yè)模型修改后預(yù)測(cè)值及殘差回歸診斷專業(yè)知識(shí)講座第36頁(yè)模型修改后殘差圖回歸診斷專業(yè)知識(shí)講座第37頁(yè)誤差方差齊性診療回歸診斷專業(yè)知識(shí)講座第38頁(yè)回歸診斷專業(yè)知識(shí)講座第39頁(yè)回歸診斷專業(yè)知識(shí)講座第40頁(yè)回歸診斷專業(yè)知識(shí)講座第41頁(yè)回歸診斷專業(yè)知識(shí)講座第42頁(yè)回歸診斷專業(yè)知識(shí)講座第43頁(yè)回歸診斷專業(yè)知識(shí)講座第44頁(yè)回歸診斷專業(yè)知識(shí)講座第45頁(yè)回歸診斷專業(yè)知識(shí)講座第46頁(yè)回歸診斷專業(yè)知識(shí)講座第47頁(yè)回歸診斷專業(yè)知識(shí)講座第48頁(yè)回歸診斷專業(yè)知識(shí)講座第49頁(yè)三、誤差獨(dú)立性診療在不少相關(guān)時(shí)間問(wèn)題中，觀察值往往呈相關(guān)趨勢(shì)。如河流水位總有一個(gè)改變過(guò)程，當(dāng)一場(chǎng)暴雨使河流水位上漲后往往需要幾天才能使水位降低，因而當(dāng)我們逐日測(cè)定河流最高水位時(shí)，相鄰兩天觀察間就不一定獨(dú)立?；貧w診斷專業(yè)知識(shí)講座第50頁(yè)回歸診斷專業(yè)知識(shí)講座第51頁(yè)回歸診斷專業(yè)知識(shí)講座第52頁(yè)回歸診斷專業(yè)知識(shí)講座第53頁(yè)回歸診斷專業(yè)知識(shí)講座第54頁(yè)回歸診斷專業(yè)知識(shí)講座第55頁(yè)回歸診斷專業(yè)知識(shí)講座第56頁(yè)回歸診斷專業(yè)知識(shí)講座第57頁(yè)回歸診斷專業(yè)知識(shí)講座第58頁(yè)回歸診斷專業(yè)知識(shí)講座第59頁(yè)回歸診斷專業(yè)知識(shí)講座第60頁(yè)回歸診斷專業(yè)知識(shí)講座第61頁(yè)四、誤差正態(tài)性診療回歸診斷專業(yè)知識(shí)講座第62頁(yè)回歸診斷專業(yè)知識(shí)講座第63頁(yè)回歸診斷專業(yè)知識(shí)講座第64頁(yè)回歸診斷專業(yè)知識(shí)講座第65頁(yè)回歸診斷專業(yè)知識(shí)講座第66頁(yè)回歸診斷專業(yè)知識(shí)講座第67頁(yè)回歸診斷專業(yè)知識(shí)講座第68頁(yè)回歸診斷專業(yè)知識(shí)講座第69頁(yè)回歸診斷專業(yè)知識(shí)講座第70頁(yè)回歸診療在SAS上實(shí)現(xiàn)用語(yǔ)句plotr.*p.(r是residual縮寫，p是predicted縮寫)能夠作殘差r相對(duì)于擬合值p之間散點(diǎn)圖。假如此散點(diǎn)圖在0水平線上下均勻散布，且對(duì)p沒(méi)有趨向性，則可認(rèn)為滿足方差齊性假設(shè)、且認(rèn)為回歸函數(shù)線性假設(shè)合理?；貧w診斷專業(yè)知識(shí)講座第71頁(yè)modely=x/dwr;選項(xiàng)里加上dw表示計(jì)算DW檢驗(yàn)值。r表示計(jì)算學(xué)生化殘差，并計(jì)算Cook距離，若Cook距離相對(duì)較大,則課認(rèn)為是強(qiáng)影響點(diǎn)。若學(xué)生化殘差絕對(duì)值大于2，則可認(rèn)為是異常點(diǎn)。從學(xué)生化殘差也可判斷誤差正態(tài)性假設(shè)是否滿足?；貧w診斷專業(yè)知識(shí)講座第72頁(yè)例子.給10只大白鼠注射內(nèi)霉素(30mg/kg)后，測(cè)得每只大鼠紅細(xì)胞x與血紅蛋白含量Y數(shù)據(jù)(見(jiàn)下頁(yè)SAS文件)，試對(duì)X和Y進(jìn)行回歸分析?；貧w診斷專業(yè)知識(shí)講座第73頁(yè)datamouse;inputxy;cards;654130786168667143605130761158642129652151706153602151539109;proc

reg;modely=x;run;proc

reg;modely=x/nointdwrcliclm;plotr.*p.;run;回歸診斷專業(yè)知識(shí)講座第74頁(yè)殘差圖回歸診斷專業(yè)知識(shí)講座第75頁(yè)誤差獨(dú)立性診療回歸診斷專業(yè)知識(shí)講座第76頁(yè)第九個(gè)為異常點(diǎn)、強(qiáng)影響點(diǎn)OutputStatisticsStdErrorStudentCook'sObsResidualResidual-2-1012D19.279-1.129|**||0.13629.056-0.0913|||0.00139.259-0.0288|||0.00049.3500.00543|||0.00059.101-0.600|*||0.05469.297-0.957|*||0.09479.2821.180||**|0.14889.1960.148|||0.00399.3542.319||****|0.480109.437-0.718|*||0.036