《回歸分析》 課件全套 李揚 第1-7章 緒論、一元線性回歸-廣義線性回歸

緣起與發(fā)展變量間的關系研究內容建模思路小結與評注回歸分析之緒論應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院

1/47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計學與回歸分析圖

1:統(tǒng)計學研究思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院2

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注目錄緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院3

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院4

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起“回歸”的概念最早出現(xiàn)在生物遺傳學領域，其中作出巨大貢獻的兩位學者就是達爾文（Darwin）和他的表弟高爾頓（Galton）。

1859年，達爾文發(fā)表了《OntheOriginofSpecies》（《物種起源》）一書，開創(chuàng)了生物學發(fā)展史上的新紀元，引起了整個人類思想的巨大革命。圖

2:Darwin(1809-1882)（左）

Galton(1822-1911)（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院5

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起在自然選擇理論思想的引導下，達爾文的表弟高爾頓（Galton）先后完成了兔子模型、甜豌豆模型等論證實驗，試圖對人類遺傳規(guī)律進行研究。圖

3:甜豌豆模型實驗（左）兔子模型實驗（右）李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院6

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起1885

年,通過允諾保密并提供獎金的方式,高爾頓獲得了205

對夫婦及其928位成年子女的遺傳特征數(shù)據，包括身高、眼睛顏色、脾氣、藝術才能、疾病等。其中身高數(shù)據見下表：圖

4:高爾頓實驗數(shù)據李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院7

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院8

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院9

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

5:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院10

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：最小二乘法的提出回歸分析中經典的最小二乘法最早出現(xiàn)于天文學與地理測量學領域的研究。1801年，意大利天文學家皮亞齊（Piazzi）發(fā)現(xiàn)了第一顆小 行星谷神星，經過40天的跟蹤觀測后，由于谷神星運行至太 陽背后，使得皮亞齊失去了谷神星的位置。為利用皮亞齊的觀測數(shù)據尋找谷神星的運行軌道，1805年勒 讓德（Legendre）在一本關于計算彗星軌道的書籍中首次發(fā) 表了最小二乘法清晰和簡明的闡述。1809年，高斯（Gauss）發(fā)表了著作《關于繞日行星運動的 理論》。書中聲稱他自1799年以來就使用最小二乘方法，并 且其提出的正態(tài)誤差理論也成功地將最小二乘法與概率原理 和正態(tài)分布聯(lián)系起來。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院11

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系小故事：高斯與勒讓德之爭圖

6:高斯與勒讓德之爭最小二乘法的提出，曾在高斯與勒讓德兩位大數(shù)學家之間引發(fā)了優(yōu)先權之爭，其知名度僅次于牛頓和萊布尼茲之間關于微積分發(fā)明的優(yōu)先權之爭。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院12

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

7:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院13

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：19世紀-20世紀初19世紀80年代1885年，高爾頓完成了人類遺傳研究實驗,獲得了205

對夫婦及其928

位成年子女的遺傳特征數(shù)據。借由實驗中的身高數(shù)據，

高爾頓發(fā)現(xiàn)，

當父母身高走向極 端，子女的身高不會象父母身高那樣極端化，其身高要比父 母們的身高更接近平均身高，即有“回歸”到平均數(shù)去的趨 勢，“回歸”的概念由此誕生。20世紀初馬爾可夫（Markov）于1900年證明了在經典線性回歸的假定下，最小二乘估計量是具有最小方差的性質。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院14

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

8:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院15

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀50-70年代20世紀50年代1953年，Box提出“穩(wěn)健”（Robustness）的概念。James和

Stein

發(fā)現(xiàn)，最小二乘估計并不具有不可容許性。20世紀60年代1962年Horel提出了嶺回歸估計；

1965年，Massy提出了主成分回歸估計。在穩(wěn)健概念的基

上，1964年，Huber提出了基于位置參M估 計量，同年提出極小極大理論也為解決參數(shù)估計的效率問題 奠定理論基

。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院16

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀50-70年代20世紀70年代1970年，Schweppe

提出加權最小二乘估計方法，并將該方法應用于電力系統(tǒng)的狀態(tài)估計中。1972年，Nelder放寬對因變量隨機誤差的正態(tài)分布要求，提出廣義線性模型；Gallant于1975年提出非線性回歸的概念。1978年，Koenker

和Bassett提出分位回歸模型以研究自變量 與因變量條件分位數(shù)的關系；

AIC、Cp準則也分別于1971、

1973年問世。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院17

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注發(fā)展圖

9:回歸分析發(fā)展歷程李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院18

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀80年代-21世紀初20世紀80年代1983年，Wold提出偏最小二乘法，不但放寬n

>p的假定，也使得每一個系數(shù)估計更易解釋。Baron于1986年提出利用逐步回歸的思想實現(xiàn)對變量的選擇。最小截尾二乘法LTS（Least

Truncated

Square）、最小中位數(shù) 二乘法LMS（LeastMedianSquare）、S估計、MM估計都是這 一時期提出的。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院19

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系發(fā)展：20世紀80年代-21世紀初20世紀90年代Tibshirani于1996年提出了利用Lasso罰函數(shù)實現(xiàn)變量選擇的思想，解決了高維情況下回歸系數(shù)的估計問題。21世紀初Fan于2001年提出的SCAD方法以及2007年Zhang提出的MCP 法均屬于基于罰函數(shù)的變量選擇方法，區(qū)別在于罰函數(shù)形式 不同。Zou于2006年提出的Adaptive

Lasso

法同樣可以用于變量選擇，該方法下得到的估計具有Oracle性質。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院20

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院21

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注函數(shù)關系

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院22

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注函數(shù)關系圖

10:銷售量（萬件）與銷售額（萬元）函數(shù)關系圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院23

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計關系統(tǒng)計關系書籍單價Y

與書籍頁數(shù)X

間的關系房屋價格Y

與房屋面積X

間的關系居民消費額Y

與居民收入X

間的關系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院24

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計關系?2.50.02.5?440xy圖

11:x與y的相關關系李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院25

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系統(tǒng)計關系與函數(shù)關系的區(qū)別通過上述示例可以發(fā)現(xiàn)，統(tǒng)計關系與函數(shù)關系的區(qū)別在于：函數(shù)關系是一種確定性的關系，當其中一個變量給定，另一 個變量的取值確定；統(tǒng)計關系則是一種非確定性的關系，當 一個變量變化時，另一變量的取值有一定的隨機性。從研究方法看，客觀現(xiàn)象的函數(shù)關系可以用數(shù)學分析的方法 研究；而研究客觀現(xiàn)象的統(tǒng)計關系，則必須借助于統(tǒng)計學中 的相關與回歸分析方法。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院26

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注統(tǒng)計關系的刻畫

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院27

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系相關分析與回歸分析的區(qū)別一是變量的地位不同。在回歸分析中，變量有因變量和自變 量之分，因變量處于被解釋的地位。研究人員希望討論自變 量對因變量的影響。在相關分析中，變量的地位平等，研究 變量A和變量B的相關關系與研究變量B和變量A的相關關系 是等價的。二是變量的類型存在差異?；貧w分析中，

因變量為隨機變 量，自變量可以是隨機變量也可以是非隨機變量，而相關分 析中變量都是隨機變量。三是研究目的不完全相同。相關分析的研究目的是為了探究 兩類變量間相關關系，而回歸分析一方面研究自變量對因變 量的影響并對現(xiàn)象進行解釋，另一方面也可實現(xiàn)預測與控制 的功能。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院28

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院29

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注研究內容線性回歸分析對回歸模型中參數(shù)估計方法的研究對回歸模型檢驗與診斷的研究對回歸模型選擇的研究非線性回歸分析參見文獻Bates

and

Watts(1988)李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院30

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系研究內容：估計方法19世紀初，最小二乘法的提出在估計回歸系數(shù)過程中發(fā)揮了重要作用。極大似然估計、加權最小二乘估計等方法在不同條件下亦可用于回歸模型參數(shù)的估計。為解決在假設不滿足情況下最小二乘估計量失效的問題，一 些改進的參數(shù)估計方法應運而生，比如嶺回歸估計、主成分 回歸估計等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院31

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系研究內容：檢驗與診斷在回歸分析中，對模型進行檢驗與診斷是必要工作之一。估計模型對觀測數(shù)據的擬合效果是否良好？回歸系數(shù)在總體 中是否與零有顯著差異？這些問題可以通過對參數(shù)進行假設 檢驗來回答。回歸模型建立在一些假設基

上，通過檢驗與診斷判別數(shù)據 是否滿足基本假設對估計方法的選擇與數(shù)據處理具有重要意 義。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院32

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系研究內容：模型選擇在實證研究中，研究人員根據研究目標事先確定了因變量與 自變量范圍，并不意味著該模型一定具有合理性。針對同一 個因變量，不同的自變量組合可以建立不同的模型。變量選擇是依據某種評價準則從眾多備選模型中選擇最優(yōu)結 果的過程。常用的經典模型選擇準則有AIC、BIC、Cp等，還 有一些基于懲罰函數(shù)的新興的模型選擇方法等。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院33

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院34

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路圖

12:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院35

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系建模思路：描述統(tǒng)計例1.2

安斯庫姆（Anscombe）曾于1973年構造了四組數(shù)據，見下表。請讀者分別根據這四組數(shù)據建立回歸模型，

并對此進行分析。X1Y1X2Y2X3Y3X4Y444.2643.1045.3986.5855.6854.7455.7385.7667.2466.1366.0887.7174.8277.2676.4488.8486.9588.1486.7788.4798.8198.7797.1187.04108.04109.14107.4685.25118.33119.26117.8185.561210.84129.13128.1587.91137.58138.741312.7486.89149.96148.10148.841912.5李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院36

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系建模思路：描述統(tǒng)計

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院37

/

47研究內容建模思路小結與評注緣起與發(fā)展

變量間的關系建模思路：描述統(tǒng)計圖

13:安斯庫姆數(shù)據散點圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院38

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路圖

14:回歸分析建模思路示意圖李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院39

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例例1.1研究者希望利用回歸分析對某地區(qū)某行業(yè)中產品的產量與生產總成本間的關系進行研究。為實現(xiàn)研究目標，從當?shù)仄髽I(yè)中按照某種抽樣方法隨機抽取了20家企業(yè)，獲取數(shù)據見表1。請利用表中的數(shù)據建立產量與生產費用間的回歸模型，并進行簡要分析。編號產量生產費用編號產量生產費用1782401122370622065971218656332025981312137142066511428189652658731512336462106541625973575216017122425810830818117330921763919973201017968820108307李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院40

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例研究目標為對某地區(qū)某行業(yè)的生產損耗進行影響因素分析根據研究目標設置指標變量，收集數(shù)據將生產損耗的直接表達生產費用作為因變量自變量的選擇一方面需要從眾多影響因素中，另一方面也需要考慮變量的可測性這一環(huán)節(jié)需要多次推敲，不妨向該領域專家進行咨詢李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院41

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例通過描述統(tǒng)計方法觀察變量間的關系

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院42

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院43

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注建模思路：示例

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院44

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注緣起與發(fā)展變量間的關系研究內容建模思路小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院45

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注小結與評注本章從回歸概念的緣起與發(fā)展、變量間的關系出發(fā)，重點介 紹了回歸分析的研究內容與建模思路，以便于讀者從宏觀上 對本書內容有所了解。重視描述統(tǒng)計與推斷統(tǒng)計相結合，可以幫助研究者在建模流程中少走彎路，更快得到科學、客觀、合理的分析結果。本書討論的回歸分析主要基于非隨機自變量的假定。然而在回歸分析的大框架中，自變量同樣可以為隨機變量。李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院46

/

47緣起與發(fā)展變量間的關系研究內容建模思路小結與評注謝謝！李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之緒論中國人民大學統(tǒng)計學院47

/

47一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注回歸分析之一元線性回歸應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸中國人民大學統(tǒng)計學院48

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注目錄一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院49

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院50

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注成績案例

中國人民大學統(tǒng)計學院51

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法成績案例散點圖中國人民大學統(tǒng)計學院52

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法一元線性回歸模型

中國人民大學統(tǒng)計學院53

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注模型假定

正態(tài)性假定中國人民大學統(tǒng)計學院54

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注模型假設

在正態(tài)性假設下有中國人民大學統(tǒng)計學院55

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法回歸分析思想圖示中國人民大學統(tǒng)計學院56

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法回歸分析思想圖示中國人民大學統(tǒng)計學院57

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院58

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計思想

中國人民大學統(tǒng)計學院59

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計思想中國人民大學統(tǒng)計學院60

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法其他類似估計中國人民大學統(tǒng)計學院61

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計

中國人民大學統(tǒng)計學院62

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最小二乘估計

上式可以簡化成中國人民大學統(tǒng)計學院63

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注成績案例

中國人民大學統(tǒng)計學院64

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注成績案例

中國人民大學統(tǒng)計學院65

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法極大似然估計

?

中國人民大學統(tǒng)計學院66

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院67

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注線性性

中國人民大學統(tǒng)計學院68

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注無偏性

中國人民大學統(tǒng)計學院69

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法方差、協(xié)方差的性質

中國人民大學統(tǒng)計學院70

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法最佳線性無偏估計高斯-馬爾可夫定理：當高斯-馬爾可夫條件成立時，最小二乘估計的最佳線性無偏估計，即在所以線性無偏估計中，最小二乘估計量的方差最小。非線性的無偏估計？中國人民大學統(tǒng)計學院71

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院72

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型t

檢驗

中國人民大學統(tǒng)計學院73

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法什么是P

值？

中國人民大學統(tǒng)計學院74

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法雙側檢驗的P

值中國人民大學統(tǒng)計學院75

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法左側檢驗的P

值中國人民大學統(tǒng)計學院76

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法右側檢驗的P

值中國人民大學統(tǒng)計學院77

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注檢驗準則

中國人民大學統(tǒng)計學院78

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型F

檢驗F

檢驗是根據平方和分解式，直接從回歸效果檢驗回歸方程的顯著性。平方和分解式為：

中國人民大學統(tǒng)計學院79

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法SST

=

SSR

+

SSE中國人民大學統(tǒng)計學院80

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法方差分析表中國人民大學統(tǒng)計學院81

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)中國人民大學統(tǒng)計學院82

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)中國人民大學統(tǒng)計學院83

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)中國人民大學統(tǒng)計學院84

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)

中國人民大學統(tǒng)計學院85

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法樣本相關系數(shù)檢驗

中國人民大學統(tǒng)計學院86

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法三種檢驗的關系相關系數(shù)檢驗與回歸系數(shù)顯著性的t

檢驗為等價關系回歸系數(shù)顯著性t

檢驗與回歸方程顯著性F

檢驗為等價關系思考：為什么會有這種等價關系？中國人民大學統(tǒng)計學院87

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注決定系數(shù)

中國人民大學統(tǒng)計學院88

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注殘差概念

中國人民大學統(tǒng)計學院89

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注殘差圖中國人民大學統(tǒng)計學院90

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注殘差圖中國人民大學統(tǒng)計學院91

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法殘差的性質中國人民大學統(tǒng)計學院92

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法改進的殘差標準化殘差，使得殘差具有可比性：標準化殘差，使得殘差具有可比性：

中國人民大學統(tǒng)計學院93

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法回歸系數(shù)的區(qū)間估計中國人民大學統(tǒng)計學院94

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院95

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型

參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注單值預測

中國人民大學統(tǒng)計學院96

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸模型預測小結與評注一元線性回歸模型

參數(shù)估計方法

參數(shù)估計性質

模型推斷區(qū)間預測-因變量新值的區(qū)間預測

從而得中國人民大學統(tǒng)計學院97

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸模型預測小結與評注一元線性回歸模型

參數(shù)估計方法

參數(shù)估計性質

模型推斷區(qū)間預測-因變量新值的區(qū)間預測

中國人民大學統(tǒng)計學院98

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸模型預測小結與評注一元線性回歸模型

參數(shù)估計方法

參數(shù)估計性質

模型推斷區(qū)間預測-因變量新值的區(qū)間預測

中國人民大學統(tǒng)計學院99

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸模型預測小結與評注一元線性回歸模型

參數(shù)估計方法

參數(shù)估計性質

模型推斷區(qū)間預測-因變量新值的區(qū)間預測

中國人民大學統(tǒng)計學院100

/

59

李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法區(qū)間估計-計算

中國人民大學統(tǒng)計學院101

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法

參數(shù)估計性質例2.1-模擬數(shù)據的生成

中國人民大學統(tǒng)計學院102

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法

參數(shù)估計性質例2.2-數(shù)值模擬的流程中國人民大學統(tǒng)計學院103

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注中國人民大學統(tǒng)計學院104

/

59一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸參數(shù)估計性質模型推斷模型預測小結與評注一元線性回歸模型

參數(shù)估計方法小結與評注本章介紹了一元回歸模型適用場景以及回歸模型未知參數(shù)的估計、最小二乘估計的性質、回歸方程的顯著性檢驗、回歸系數(shù)的區(qū)間估計、殘差分析的基本概念和方法、回歸模型的主要應用等問題。一元線性回歸模型比較簡單，但是可以讓讀者對回歸分析方法的思想有一個初步了解，也為后面推廣到多元線性回歸打下基礎。中國人民大學統(tǒng)計學院105

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸一元線性回歸模型參數(shù)估計方法參數(shù)估計性質模型推斷模型預測小結與評注謝謝！中國人民大學統(tǒng)計學院106

/

59李揚/林存潔/王菲菲/孫韜/廖軍回歸分析之一元線性回歸多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院107

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性目錄多元線性回歸模型參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)類別型自變量分段線性回歸實例分析小結與評注李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院108

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性點球成金李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院109

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性電影《點球成金》講述了奧克蘭田徑棒球隊總經理比利·比恩（BillyBeane）如何利用分析技術組建一支有競爭力的球隊的故事。這部電影是根據邁克爾·劉易斯2003

年出版的同名非小說類書籍《點球成金：贏得不公平游戲的藝術》改編1。1/

qinyn/BANA7038/moneyball.html李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院110

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性取因變量為回合數(shù)(runs,R),散點圖y

軸為因變量，x

軸為各自變量2：2/

qinyn/BANA7038/moneyball.html李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院111

/

105中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質

模型推斷化肥成分含量與農作物產出關系某種化肥含氮、磷和鉀三種主要成分。為了研究該肥料三種成分不同含量對某種農作物產量的影響，對每畝農作物施用一定量的該種化肥，得到了該作物每畝收成以及該化肥各主要成分含量的數(shù)據，如表1所示。李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院112

/

105中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質

模型推斷化肥成分含量與農作物產出關系表1:某農作物每畝收成與對應施用化肥中氮、磷和鉀含量數(shù)據

氮含量（X1，單位：千克）磷含量（X2，單位：克）

0.798

10000.062鉀含量（X3，單位：千克）

30.098作物收成（Y

，單位：千克/畝）332.6241.90510527.58032.130355.7912.16811053.39429.476352.4673.60811580.22132.402383.8593.31212104.94931.783386.8693.98712631.64134.154409.3873.56013157.67532.994413.1295.33013684.94135.203438.5384.26414209.86934.454440.7725.20314737.58933.058446.0856.12715263.56735.016468.6546.60715791.73134.251474.2626.78316316.15236.695496.3498.19816842.49438.940524.1048.05517368.23135.296511.2138.37617895.01539.075542.6278.49018421.73637.222542.0859.86318948.28640.972575.7918.91319475.25041.055583.57512.61020001.47039.361592.589李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院113

/

105中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質

模型推斷化肥成分含量與農作物產出關系圖1:氮、磷和鉀含量數(shù)據與農作物產量三維圖。其中，(a)圖的自變量為氮、磷含量；(b)圖的自變量為氮、鉀含量；(c)圖為磷、鉀含量李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院114

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)類別型自變量分段線性回歸實例分析小結與評注李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院115

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性引言李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院116

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性引言李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院117

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性模型簡介李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院118

/

105

(1)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性模型簡介李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院119

/

105稱

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性模型假定李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院120

/

105

(4)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性模型假設李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院121

/

105正態(tài)性假定(5)從而有模型（3）滿足(6)

(7)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性模型解釋李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院122

/

105為了對多元線性回歸模型以及對應的回歸系數(shù)進行解釋，使用服裝銷售研究中的員工薪資、宣傳費用和流動資金三個變量對服裝銷售量的影響這一實例，給出回歸方程的幾何解釋以及各回歸系數(shù)的實際含義。(8)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性模型解釋李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院123

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)類別型自變量分段線性回歸實例分析小結與評注李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院124

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性最小二乘估計李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院125

/

105

(9)其中，

為離差平方和。(10)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性最小二乘估計李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院126

/

105利用式（10）對各參數(shù)求偏導并令其等于0，即(11)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性最小二乘估計李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院127

/

105有

(12)稱

(13)為經驗回歸方程。多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性極大似然估計李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院128

/

105由式（7）有似然函數(shù)

取對數(shù)并分別對參數(shù)β

和σ2

求偏導，并令其等于0

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性極大似然估計李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院129

/

105

(14)

模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質例3.1李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院130

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性回歸擬合值與殘差李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院131

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性回歸擬合值與殘差李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院132

/

105

(18)稱(19)

(20)為回歸殘差向量。

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性回歸擬合值與殘差李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院133

/

105由式（17）有

則(21)因而有(22)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性回歸擬合值與殘差李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院134

/

105由式（11）可知，殘差滿足

(23)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性估計性質李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院135

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院136

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院137

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院138

/

105由

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院139

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院140

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院141

/

105性質5

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院142

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性估計性質李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院143

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院144

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院145

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院146

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院147

/

105從而有

作變換，令

有故有

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院148

/

105

所以

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)類別型自變量分段線性回歸實例分析小結與評注李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院149

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性引言李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院150

/

105

模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質F

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院151

/

105

模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質F

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院152

/

105類似于一元線性回歸檢驗，這里仍使用總離差平方和的分解式，即簡記為

(24)其中，進而構造F

檢驗統(tǒng)計量(25)

模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質F

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院153

/

105表2:方差分析表模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質F

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院154

/

105

模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質t

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院155

/

105

(26)由性質（6）有

(27)

(28)模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質t

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院156

/

105

(29)其中，

模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質t

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院157

/

105

模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質偏F

檢驗李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院158

/

105

(30)

(31)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性擬合優(yōu)度李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院159

/

105類似于一元線性回歸模型，可以定義關于多元線性回歸模型的樣本決定系數(shù)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性擬合優(yōu)度李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院160

/

105(33)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性置信區(qū)間李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院161

/

105由性質（6）及式（28），可得

(34)

(35)

模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質例3.2李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院162

/

105例3.1

中已經得到了某農作物每畝產量與某化肥氮、磷和鉀含量之間的線性估計方程。這里將對模型以及各回歸系數(shù)的估計結果分別進行F檢驗和t

檢驗，并計算相應的擬合優(yōu)度。檢驗結果見表3。表3:參數(shù)估計以及模型推斷結果模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型

參數(shù)的估計與性質例3.2李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院163

/

105

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)

類別型自變量

分段線性多元線性回歸模型參數(shù)的估計與性質模型推斷中心化與標準化相關陣與偏相關系數(shù)類別型自變量分段線性回歸實例分析小結與評注李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院164

/

105多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性引言李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院165

/

105在多元線性回歸模型的使用場景中，常常會遇到自變量之間具有不同度量單位的情形。例如，對于距離這一變量而言，有的數(shù)據記錄采用的是以米為單位，而有的則可能是以千米為單位，再如對于商品價格而言，有的數(shù)據記錄采用的是以人民幣元為單位，也有的可能是以美元為單位。在分析類似數(shù)據時，得到的結果可能會不一致，對分析結果的比較也會帶來影響，因此需要對數(shù)據進行預處理，例如：中心化（centralization）和標準化（normalization）。多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院166

/

105記(36)則經驗回歸方程（13）等價于

(37)

多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性圖2:數(shù)據中心化效果示意圖李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院167

/

105中心化稱式（37）為中心化經驗回歸方程。中心化經驗回歸方程中的常數(shù)項為

0，中心化是將樣本中心移到坐標原點，因而方程中沒有截距項，而其他回歸系數(shù)的最小二乘估計值則保持不變。顯然，這是因為坐標的平移變換不會改變直線的斜率，圖2為數(shù)據中心化處理的示意圖。多元線性回歸模型

參數(shù)的估計與性質模型推斷中心化與標準化

相關陣與偏相關系數(shù)

類別型自變量

分段線性標準化李揚/林存潔/王菲菲/孫韜/廖軍多元線性回歸中國人民大學統(tǒng)計學院168

/

105在多元線性回歸模型中，由于自變量X1,·

·

·

,Xp

所用單位