財務管理技術(shù)方法-課件

第三章最小二乘法（一）一元線性回歸1第三章最小二乘法（一）一元線性回歸1問題的提出——必要性通過協(xié)方差或相關(guān)系數(shù)證實變量之間存在關(guān)系，僅僅只是知道變量之間線性相關(guān)的性質(zhì)——正（負）相關(guān)和相關(guān)程度的大小。既然它們之間存在線性關(guān)系，接下來必須探求它們之間關(guān)系的表現(xiàn)形式是什么？最好用數(shù)學表達式將這種關(guān)系盡可能準確、嚴謹?shù)谋硎境鰜怼獃=a+bx+u——把它們之間的內(nèi)在聯(lián)系挖掘出來。也就是直線中的截距a=？；直線的斜率b=？消費=基本生存+邊際消費傾向X可支配收入+隨機擾動項2問題的提出——必要性通過協(xié)方差或相關(guān)系數(shù)證實變量之間存在關(guān)系解決問題的思路——可能性尋找變量之間直線關(guān)系的方法多多。于是，再接下來則是從眾多方法中，尋找一種優(yōu)良的方法，運用方法去求出線性模型——y=a+bx+u中的截距a=？；直線的斜率b=？正是是本章介紹的最小二乘法。根據(jù)該方法所得，即表現(xiàn)變量之間線性關(guān)系的直線有些什么特性？所得直線可靠嗎？怎樣衡量所得直線的可靠性？最后才是如何運用所得規(guī)律——變量的線性關(guān)系？3解決問題的思路——可能性尋找變量之間直線關(guān)系的方法多多。于是最小二乘法產(chǎn)生的歷史最小二乘法最早稱為回歸分析法。由著名的英國生物學家、統(tǒng)計學家道爾頓（F.Gallton）——達爾文的表弟所創(chuàng)。早年，道爾頓致力于化學和遺傳學領(lǐng)域的研究。他研究父親們的身高與兒子們的身高之間的關(guān)系時，建立了回歸分析法。4最小二乘法產(chǎn)生的歷史最小二乘法最早稱為回歸分析法。由著名的英最小二乘法的地位與作用現(xiàn)在回歸分析法已遠非道爾頓的本意已經(jīng)成為探索變量之間關(guān)系最重要的方法，用以找出變量之間關(guān)系的具體表現(xiàn)形式。后來，回歸分析法從其方法的數(shù)學原理——誤差平方和最?。ㄆ椒侥硕艘玻┏霭l(fā)，改稱為最小二乘法。5最小二乘法的地位與作用現(xiàn)在回歸分析法已遠非道爾頓的本意5父親們的身高與兒子們的身高之間

關(guān)系的研究1889年F.Gallton和他的朋友K.Pearson收集了上千個家庭的身高、臂長和腿長的記錄企圖尋找出兒子們身高與父親們身高之間關(guān)系的具體表現(xiàn)形式下圖是根據(jù)1078個家庭的調(diào)查所作的散點圖（略圖）6父親們的身高與兒子們的身高之間

關(guān)系的研究1889年F.Ga160165170175180185140150160170180190200YX兒子們身高向著平均身高“回歸”，以保持種族的穩(wěn)定7160165170175180185140150160170“回歸”一詞的由來從圖上雖可看出，個子高的父親確有生出個子高的兒子的傾向，同樣地，個子低的父親確有生出個子低的兒子的傾向。得到的具體規(guī)律如下：如此以來，高的伸進了天，低的縮入了地。他百思不得其解，同時又發(fā)現(xiàn)某人種的平均身高是相當穩(wěn)定的。最后得到結(jié)論：兒子們的身高回復于全體男子的平均身高，即“回歸”——見1889年F.Gallton的論文《普用回歸定律》。后人將此種方法普遍用于尋找變量之間的規(guī)律8“回歸”一詞的由來從圖上雖可看出，個子高的父親確有生出個子高最小二乘法的思路1．為了精確地描述Y與X之間的關(guān)系，必須使用這兩個變量的每一對觀察值，才不至于以點概面（作到全面）。2．Y與X之間是否是直線關(guān)系（協(xié)方差或相關(guān)系數(shù)）？若是，將用一條直線描述它們之間的關(guān)系。3．在Y與X的散點圖上畫出直線的方法很多。任務？——找出一條能夠最好地描述Y與X（代表所有點）之間的直線。4．什么是最好？—找出判斷“最好”的原則。最好指的是找一條直線使得這些點到該直線的縱向距離的和（平方和）最小。9最小二乘法的思路1．為了精確地描述Y與X之間的關(guān)系，必須使用三種距離yx縱向距離橫向距離距離A為實際點，B為擬合直線上與之對應的點10三種距離yx縱向距離橫向距離距離A為實際點，B為擬合直線上與距離是度量實際值與擬合值是否相符的有效手段點到直線的距離——點到直線的垂直線的長度。橫向距離——點沿（平行）X軸方向到直線的距離?？v向距離——點沿（平行）Y軸方向到直線的距離。也就是實際觀察點的Y坐標減去根據(jù)直線方程計算出來的Y的擬合值。這個差數(shù)以后稱為誤差——殘差（剩余）。11距離是度量實際值與擬合值是否相符的有效手段點到直線的距最小二乘法的數(shù)學原理縱向距離是Y的實際值與擬合值之差，差異大擬合不好，差異小擬合好，所以又稱為擬合誤差或殘差。將所有縱向距離平方后相加，即得誤差平方和，“最好”直線就是使誤差平方和最小的直線。于是可以運用求極值的原理，將求最好擬合直線問題轉(zhuǎn)換為求誤差平方和最小。12最小二乘法的數(shù)學原理縱向距離是Y的實際值與擬合值之差，差異大數(shù)學推證過程13數(shù)學推證過程13關(guān)于所得直線方程的結(jié)論結(jié)論之一：由（5）式，得即擬合直線過y和x的平均數(shù)點。結(jié)論之二：由（2）式，得殘差與自變量x的乘積和等于0，即兩者不相關(guān)。14關(guān)于所得直線方程的結(jié)論結(jié)論之一：14第一節(jié)擬合直線的性質(zhì)1．估計殘差和為零2．Y的真實值和擬合值有共同的均值3．估計殘差與自變量不相關(guān)4．估計殘差與擬合值不相關(guān)15第一節(jié)擬合直線的性質(zhì)1．估計殘差和為零151．估計殘差和為零

（ResidualsSumtozero）由（1）式直接得此結(jié)論無須再證明。并推出殘差的平均數(shù)也等于零。161．估計殘差和為零

（ResidualsSumtoze2．Y的真實值和擬合值有共同的均值

（Theactualandfittedvaluesofyihavethesamemean）172．Y的真實值和擬合值有共同的均值

（Theactual3．估計殘差與自變量不相關(guān)（Residualsareunrelatedwithindependentvariable）183．估計殘差與自變量不相關(guān)（Residualsareun4．估計殘差與擬合值不相關(guān)（Residualsareunrelatedwithfittedvalueofyi）194．估計殘差與擬合值不相關(guān)（Residualsareun關(guān)于回歸直線性質(zhì)的總結(jié)

殘差和=0平均數(shù)相等擬合值與殘差不相關(guān)自變量與殘差不相關(guān)注意：這里的殘差與隨機擾動項不是一個概念。隨機擾動項是總體的殘差。20關(guān)于回歸直線性質(zhì)的總結(jié)殘差和=0平均數(shù)相等擬合值與殘差不相第二節(jié)擬合優(yōu)度的評價21第二節(jié)擬合優(yōu)度的評價21問題的提出由最小二乘法所得直線究竟能夠?qū)@些點之間的關(guān)系加以反映嗎？對這些點之間的關(guān)系或趨勢反映到了何種程度？于是必須經(jīng)過某種檢驗或者找出一個指標，在一定可靠程度下，根據(jù)指標值的大小，對擬合的優(yōu)度進行評價。分四個問題進行討論：平方和分解、方差分析、擬合優(yōu)度、擬合優(yōu)度與簡單相關(guān)系數(shù)的關(guān)系。22問題的提出由最小二乘法所得直線究竟能夠?qū)@些點之間的關(guān)系加以一、平方和與自由度的分解1、總平方和、回歸平方和、殘差平方和的定義2、平方和的分解3、自由度的分解23一、平方和與自由度的分解1、總平方和、回歸平方和、殘差平方1、總平方和、回歸平方和、殘差平方和的定義TSS度量Y自身的差異程度，RSS度量因變量Y的擬合值自身的差異程度，ESS度量實際值與擬合值之間的差異程度。241、總平方和、回歸平方和、殘差平方和的定義242、平方和的分解252、平方和的分解25平方和分解的意義TSS=RSS+ESS被解釋變量Y總的變動（差異）=解釋變量X引起的變動（差異）+除X以外的因素引起的變動（差異）如果X引起的變動在Y的總變動中占很大比例，那么X很好地解釋了Y；否則，X不能很好地解釋Y。26平方和分解的意義TSS=RSS+ESS263、自由度的分解總自由度dfT=n-1回歸自由度dfR=1（自變量的個數(shù)，k元為k）殘差自由度dfE=n-2自由度分解dfT=dfR+dfE273、自由度的分解總自由度27平方和分解圖正交分解28平方和分解圖正交分解28為什么回歸平方和是由X引起的變動ABC29為什么回歸平方和是由X引起的變動ABC29二、方差分析模型：y=a+bx+u==>LS估計：y^=a^+b^xH0:b=0HA:b<>030二、方差分析模型：y=a+bx+u==>LS估計：y^=a關(guān)于F檢驗零假設(shè)H0：b=0備擇HA：b<>0H0：b=0<==>RSS中的X不起作用，RSS變動無異于隨機變動==>分子方差與分母方差是一回事==>F=1如果F顯著地大于1，甚至F>F==>小概率事件發(fā)生了，根據(jù)小概率原理，小概率事件在一次試驗中是不可能發(fā)生的，于是H0不成立。就不能認為X沒有作用。則直線是有意義的?？煽啃?1-31關(guān)于F檢驗零假設(shè)H0：b=0備擇HA：b<>031三、擬合優(yōu)度（或稱判定系數(shù)、決定系數(shù)）目的：企圖構(gòu)造一個不含單位，可以相互進行比較，而且能直觀判斷擬合優(yōu)劣。擬合優(yōu)度的定義：意義：擬合優(yōu)度越大，自變量對因變量的解釋程度越高，自變量引起的變動占總變動的百分比高。觀察點在回歸直線附近越密集。取值范圍：0-132三、擬合優(yōu)度（或稱判定系數(shù)、決定系數(shù)）目的：企圖構(gòu)造一個不含擬合優(yōu)度與F統(tǒng)計量之間的聯(lián)系F顯著==>擬合優(yōu)度必然顯著33擬合優(yōu)度與F統(tǒng)計量之間的聯(lián)系F顯著==>擬合優(yōu)度必然顯著33四、擬合優(yōu)度等于實際值與擬合值之間簡單相關(guān)系數(shù)的平方34四、擬合優(yōu)度等于實際值與擬合值之間簡單相關(guān)系數(shù)的平方34第三節(jié)復習與提高y=a+bx+uxn+1yn+1xnynx2y2x1y1根據(jù)已知樣本采用LS得一擬合直線擬合直線性質(zhì):殘差和=0殘差與自變量無關(guān)擬合值與殘差值無關(guān)兩個平均數(shù)均值相等R20TSSRSSESSR2R21用直線反映總體Good?noYes35第三節(jié)復習與提高根據(jù)案例分析一：教科書LX1\P82教學目的：1．掌握依據(jù)已有序列生成新的序列2．掌握模型函數(shù)形式設(shè)定對估計結(jié)果的影響3．掌握估計參數(shù)的性質(zhì)36案例分析一：教科書LX1\P82教學目的：36案例分析二：LX1\HXQ50我國人均消費函數(shù)研究教學目的：1．掌握最小二乘法的流程2．認識最小二乘法估計結(jié)果中的各種統(tǒng)計量的含義與定義3．所得結(jié)論的經(jīng)濟學解釋37案例分析二：LX1\HXQ50我國人均消費函數(shù)研究教學目案例分析三：LX1\WSB3大氣壓強與水的沸點的關(guān)系38案例分析三：LX1\WSB3大氣壓強與水的沸點的關(guān)系38案例分析四：LX2\LCHF84平均成本U形曲線的擬合教學目的：1．掌握非線性最小二乘法估計的流程2．認識最小二乘法估計結(jié)果中的各種統(tǒng)計量的含義與定義3．所得結(jié)論的經(jīng)濟學解釋39案例分析四：LX2\LCHF84平均成本U形曲線的擬合教第三章最小二乘法（一）一元線性回歸40第三章最小二乘法（一）一元線性回歸1問題的提出——必要性通過協(xié)方差或相關(guān)系數(shù)證實變量之間存在關(guān)系，僅僅只是知道變量之間線性相關(guān)的性質(zhì)——正（負）相關(guān)和相關(guān)程度的大小。既然它們之間存在線性關(guān)系，接下來必須探求它們之間關(guān)系的表現(xiàn)形式是什么？最好用數(shù)學表達式將這種關(guān)系盡可能準確、嚴謹?shù)谋硎境鰜怼獃=a+bx+u——把它們之間的內(nèi)在聯(lián)系挖掘出來。也就是直線中的截距a=？；直線的斜率b=？消費=基本生存+邊際消費傾向X可支配收入+隨機擾動項41問題的提出——必要性通過協(xié)方差或相關(guān)系數(shù)證實變量之間存在關(guān)系解決問題的思路——可能性尋找變量之間直線關(guān)系的方法多多。于是，再接下來則是從眾多方法中，尋找一種優(yōu)良的方法，運用方法去求出線性模型——y=a+bx+u中的截距a=？；直線的斜率b=？正是是本章介紹的最小二乘法。根據(jù)該方法所得，即表現(xiàn)變量之間線性關(guān)系的直線有些什么特性？所得直線可靠嗎？怎樣衡量所得直線的可靠性？最后才是如何運用所得規(guī)律——變量的線性關(guān)系？42解決問題的思路——可能性尋找變量之間直線關(guān)系的方法多多。于是最小二乘法產(chǎn)生的歷史最小二乘法最早稱為回歸分析法。由著名的英國生物學家、統(tǒng)計學家道爾頓（F.Gallton）——達爾文的表弟所創(chuàng)。早年，道爾頓致力于化學和遺傳學領(lǐng)域的研究。他研究父親們的身高與兒子們的身高之間的關(guān)系時，建立了回歸分析法。43最小二乘法產(chǎn)生的歷史最小二乘法最早稱為回歸分析法。由著名的英最小二乘法的地位與作用現(xiàn)在回歸分析法已遠非道爾頓的本意已經(jīng)成為探索變量之間關(guān)系最重要的方法，用以找出變量之間關(guān)系的具體表現(xiàn)形式。后來，回歸分析法從其方法的數(shù)學原理——誤差平方和最?。ㄆ椒侥硕艘玻┏霭l(fā)，改稱為最小二乘法。44最小二乘法的地位與作用現(xiàn)在回歸分析法已遠非道爾頓的本意5父親們的身高與兒子們的身高之間

關(guān)系的研究1889年F.Gallton和他的朋友K.Pearson收集了上千個家庭的身高、臂長和腿長的記錄企圖尋找出兒子們身高與父親們身高之間關(guān)系的具體表現(xiàn)形式下圖是根據(jù)1078個家庭的調(diào)查所作的散點圖（略圖）45父親們的身高與兒子們的身高之間

關(guān)系的研究1889年F.Ga160165170175180185140150160170180190200YX兒子們身高向著平均身高“回歸”，以保持種族的穩(wěn)定46160165170175180185140150160170“回歸”一詞的由來從圖上雖可看出，個子高的父親確有生出個子高的兒子的傾向，同樣地，個子低的父親確有生出個子低的兒子的傾向。得到的具體規(guī)律如下：如此以來，高的伸進了天，低的縮入了地。他百思不得其解，同時又發(fā)現(xiàn)某人種的平均身高是相當穩(wěn)定的。最后得到結(jié)論：兒子們的身高回復于全體男子的平均身高，即“回歸”——見1889年F.Gallton的論文《普用回歸定律》。后人將此種方法普遍用于尋找變量之間的規(guī)律47“回歸”一詞的由來從圖上雖可看出，個子高的父親確有生出個子高最小二乘法的思路1．為了精確地描述Y與X之間的關(guān)系，必須使用這兩個變量的每一對觀察值，才不至于以點概面（作到全面）。2．Y與X之間是否是直線關(guān)系（協(xié)方差或相關(guān)系數(shù)）？若是，將用一條直線描述它們之間的關(guān)系。3．在Y與X的散點圖上畫出直線的方法很多。任務？——找出一條能夠最好地描述Y與X（代表所有點）之間的直線。4．什么是最好？—找出判斷“最好”的原則。最好指的是找一條直線使得這些點到該直線的縱向距離的和（平方和）最小。48最小二乘法的思路1．為了精確地描述Y與X之間的關(guān)系，必須使用三種距離yx縱向距離橫向距離距離A為實際點，B為擬合直線上與之對應的點49三種距離yx縱向距離橫向距離距離A為實際點，B為擬合直線上與距離是度量實際值與擬合值是否相符的有效手段點到直線的距離——點到直線的垂直線的長度。橫向距離——點沿（平行）X軸方向到直線的距離?？v向距離——點沿（平行）Y軸方向到直線的距離。也就是實際觀察點的Y坐標減去根據(jù)直線方程計算出來的Y的擬合值。這個差數(shù)以后稱為誤差——殘差（剩余）。50距離是度量實際值與擬合值是否相符的有效手段點到直線的距最小二乘法的數(shù)學原理縱向距離是Y的實際值與擬合值之差，差異大擬合不好，差異小擬合好，所以又稱為擬合誤差或殘差。將所有縱向距離平方后相加，即得誤差平方和，“最好”直線就是使誤差平方和最小的直線。于是可以運用求極值的原理，將求最好擬合直線問題轉(zhuǎn)換為求誤差平方和最小。51最小二乘法的數(shù)學原理縱向距離是Y的實際值與擬合值之差，差異大數(shù)學推證過程52數(shù)學推證過程13關(guān)于所得直線方程的結(jié)論結(jié)論之一：由（5）式，得即擬合直線過y和x的平均數(shù)點。結(jié)論之二：由（2）式，得殘差與自變量x的乘積和等于0，即兩者不相關(guān)。53關(guān)于所得直線方程的結(jié)論結(jié)論之一：14第一節(jié)擬合直線的性質(zhì)1．估計殘差和為零2．Y的真實值和擬合值有共同的均值3．估計殘差與自變量不相關(guān)4．估計殘差與擬合值不相關(guān)54第一節(jié)擬合直線的性質(zhì)1．估計殘差和為零151．估計殘差和為零

（ResidualsSumtozero）由（1）式直接得此結(jié)論無須再證明。并推出殘差的平均數(shù)也等于零。551．估計殘差和為零

（ResidualsSumtoze2．Y的真實值和擬合值有共同的均值

（Theactualandfittedvaluesofyihavethesamemean）562．Y的真實值和擬合值有共同的均值

（Theactual3．估計殘差與自變量不相關(guān)（Residualsareunrelatedwithindependentvariable）573．估計殘差與自變量不相關(guān)（Residualsareun4．估計殘差與擬合值不相關(guān)（Residualsareunrelatedwithfittedvalueofyi）584．估計殘差與擬合值不相關(guān)（Residualsareun關(guān)于回歸直線性質(zhì)的總結(jié)

殘差和=0平均數(shù)相等擬合值與殘差不相關(guān)自變量與殘差不相關(guān)注意：這里的殘差與隨機擾動項不是一個概念。隨機擾動項是總體的殘差。59關(guān)于回歸直線性質(zhì)的總結(jié)殘差和=0平均數(shù)相等擬合值與殘差不相第二節(jié)擬合優(yōu)度的評價60第二節(jié)擬合優(yōu)度的評價21問題的提出由最小二乘法所得直線究竟能夠?qū)@些點之間的關(guān)系加以反映嗎？對這些點之間的關(guān)系或趨勢反映到了何種程度？于是必須經(jīng)過某種檢驗或者找出一個指標，在一定可靠程度下，根據(jù)指標值的大小，對擬合的優(yōu)度進行評價。分四個問題進行討論：平方和分解、方差分析、擬合優(yōu)度、擬合優(yōu)度與簡單相關(guān)系數(shù)的關(guān)系。61問題的提出由最小二乘法所得直線究竟能夠?qū)@些點之間的關(guān)系加以一、平方和與自由度的分解1、總平方和、回歸平方和、殘差平方和的定義2、平方和的分解3、自由度的分解62一、平方和與自由度的分解1、總平方和、回歸平方和、殘差平方1、總平方和、回歸平方和、殘差平方和的定義TSS度量Y自身的差異程度，RSS度量因變量Y的擬合值自身的差異程度，ESS度量實際值與擬合值之間的差異程度。631、總平方和、回歸平方和、殘差平方和的定義242、平方和的分解642、平方和的分解25平方和分解的意義TSS=RSS+ESS被解釋變量Y總的變動（差異）=解釋變量X引起的變動（差異）+除X以外的因素引起的變動（差異）如果X引起的變動在Y的總變動中占很大比例，那么X很好地解釋了Y；否則，X不能很好地解釋Y。65平方和分解的意義TSS=RSS+ESS263、自由度的分解總自由度dfT=n-1回歸自由度dfR=1（自變量的個數(shù)，k元為k）殘差自由度dfE=n-2自由度分解dfT=dfR+dfE663、自由度的分解總自由度27平方和分解圖正交分解67平方和分解圖正交分解28為什么回歸平方和是由X引起的變動ABC68為什么回歸平方和是由X引起的變動ABC29二、方差分析模型：y=a+bx+u==>LS估計：y^=a^+b^xH0:b=0HA:b<>069二、方差分析模型：y=a+bx+u==>LS估計：y^=a關(guān)于F檢驗零假設(shè)H0：b=0備擇HA：b<>0H0：b=0<==>RSS中的X不起作用，RSS變動無異于隨機變動==>分子方差與分母方差是一回事==>F=1如果F顯著地大于1，甚至F>F==>小概率事件發(fā)生了，根據(jù)小概率原理，小概率事件在一次試驗中是不可能發(fā)生的，于是H0不成立。就不能認為X沒有作用。則直線是有意義的。可靠性=1-70關(guān)于F檢驗零假設(shè)H0：b=0備擇HA：b<>031三、擬合優(yōu)度（或稱判定系數(shù)、決定系數(shù)）目