加權(quán)最小二乘

1、加權(quán)最小二乘法（Weighted Least Squares ，WLS）線性回歸的衍生模型之WLS 如前介紹線性回歸模型有自身的適用條件，線性、正態(tài)性、獨(dú)立性、方差齊性，但是，在實(shí)際分析項(xiàng)目中往往不會(huì)服從以上假定，此時(shí)就需要對數(shù)據(jù)進(jìn)行變換使之符合模型需求，或者對模型加以改進(jìn)使之能夠處理相應(yīng)數(shù)據(jù)，總之這是一個(gè)模型和數(shù)據(jù)相互適應(yīng)的雙向的過程。 今天我們討論的是線性回歸衍生模型中重要又常見的一種情況加權(quán)最小二乘法(WLS)。 那么什么情況下應(yīng)用這種模型呢？ 標(biāo)準(zhǔn)的線性回歸模型中，假設(shè)所研究總體中方差恒定，即因變量的變異不隨其自身預(yù)測值或其他自變量值得變化而變動(dòng)。但在有的研究問題中，這一假設(shè)可能被違反

2、，可能是因變量的變異隨其自身數(shù)值增大而增大，也可能是隨其他變量值而改變。例如：以地區(qū)為觀察單位調(diào)查某種疾病的發(fā)生率，由于率的標(biāo)準(zhǔn)差本身就和樣本量有關(guān)，顯然該地區(qū)的人數(shù)越多，所得到的發(fā)生率就會(huì)越穩(wěn)定，即變異度越低。在這些情況下，如果采用普通最小二乘法（OLS）來分析，可能產(chǎn)生偏差，如果能夠根據(jù)變異的大小對相應(yīng)數(shù)據(jù)給予不同的權(quán)重，在擬合時(shí)對變異較小的測量值賦予較大權(quán)重，則能夠提高模型的精度。除方差波動(dòng)外，還有一種情況是根據(jù)分析目的人為照顧某些樣本數(shù)據(jù)，這最常見于實(shí)驗(yàn)室研究中繪制標(biāo)準(zhǔn)曲線的問題。由于標(biāo)準(zhǔn)曲線所涉及的濃度范圍一般較寬，而樣品測試的絕對誤差往往又隨濃度的增大而增大，如果以普通OLS加以擬

3、合，必然會(huì)導(dǎo)致標(biāo)準(zhǔn)曲線在高濃度區(qū)域內(nèi)精確度較高，而在低濃度區(qū)域內(nèi)準(zhǔn)確性明顯下降。而標(biāo)準(zhǔn)曲線更重視的相對誤差而不是絕對誤差，而不同濃度區(qū)域內(nèi)的相對誤差和絕對誤差往往不成比例，如濃度在100ng/ml時(shí)，5ng/ml的誤差僅使其相對誤差達(dá)到5%；而當(dāng)濃度為1ng/ml時(shí)，相對誤差則達(dá)到了500%。顯然為了保證曲線精度，必須要在擬合時(shí)對低濃度數(shù)據(jù)給予較高的權(quán)重。異方差的概念 在講到加權(quán)最小二乘法的時(shí)候需要引入一個(gè)重要的概念異方差。那么什么是異方差呢？對于模型如果出現(xiàn)即對于不同的樣本點(diǎn)，隨機(jī)誤差項(xiàng)的方差不再是常數(shù)，而互不相同，則認(rèn)為出現(xiàn)了異方差性(Heteroskedasticity)。異方差的類型

4、同方差：i2 = 常數(shù) f(Xi) 異方差： i2 = f(Xi)（注：方差與x有關(guān)）異方差一般可歸結(jié)為三種類型： (1)單調(diào)遞增型： i2隨X的增大而增大 (2)單調(diào)遞減型： i2隨X的增大而減小 (3)復(fù) 雜 型： i2與X的變化呈復(fù)雜形式異方差產(chǎn)生原因1、模型中缺少某些解釋變量（即自變量）；從而干擾項(xiàng)產(chǎn)生系統(tǒng)模式。 2、樣本數(shù)據(jù)觀測誤差；隨著數(shù)據(jù)采集技術(shù)的改進(jìn)，干擾項(xiàng)的方差可能減少。3、模型設(shè)置不正確。 4、經(jīng)濟(jì)結(jié)構(gòu)發(fā)生了變化，但模型參數(shù)沒作相應(yīng)調(diào)整。比如按照邊錯(cuò)邊改學(xué)習(xí)模型，人們在學(xué)習(xí)的過程中，其行為誤差隨時(shí)間而減少。 5、異常值的出現(xiàn)也會(huì)產(chǎn)生。異常值可以通過查看圖形或檢查原始數(shù)據(jù)找到。實(shí)際問題的異方差性在實(shí)際經(jīng)濟(jì)問題中，隨機(jī)擾動(dòng)項(xiàng)往往是異方差的，但主要在截面數(shù)據(jù)