分位數(shù)回歸完整版本

分位數(shù)回歸第1頁，共38頁。一、分位數(shù)回歸的提出二、分位數(shù)回歸及其估計(jì)三、分位數(shù)回歸的假設(shè)檢驗(yàn)第2頁，共38頁。一、分位數(shù)回歸的提出第3頁，共38頁。

傳統(tǒng)的回歸分析主要關(guān)注均值，即采用因變量條件均值的函數(shù)來描述自變量每一特定數(shù)值下的因變量均值，從而揭示自變量與因變量的關(guān)系。這類回歸模型實(shí)際上是研究被解釋變量的條件期望,描述了因變量條件均值的變化。人們當(dāng)然也關(guān)心解釋變量與被解釋變量分布的中位數(shù)，分位數(shù)呈何種關(guān)系。這就是分位數(shù)回歸，它最早由凱恩克（KoenkerRoger）和巴西特（BassettGilbertJr）于1978年提出，是估計(jì)一組回歸變量X與被解釋變量Y的分位數(shù)之間線性關(guān)系的建模方法，強(qiáng)調(diào)條件分位數(shù)的變化。第4頁，共38頁。

中位數(shù)是一個(gè)特殊的分位數(shù)，它表示一種分布的中心位置。中位數(shù)回歸是分位數(shù)回歸的一種特殊情況，其他分位數(shù)則可以用來描述一種分布的非中心位置。第p個(gè)百分位數(shù)表示因變量的數(shù)值低于這一百分位數(shù)的個(gè)數(shù)占總體的p%.因此，分位數(shù)可以指定分布中的任何一個(gè)位置。第5頁，共38頁。分位數(shù)的性質(zhì)單調(diào)同變性如果對一個(gè)隨機(jī)變量進(jìn)行函數(shù)h的單調(diào)轉(zhuǎn)換（如指數(shù)或?qū)?shù)函數(shù)），分位數(shù)可通過對分位數(shù)函數(shù)進(jìn)行同樣的轉(zhuǎn)換而得利。換言之，如果q是Y的第p分位數(shù)，那么h(q)是h(Y)的第p分位數(shù)。對離群值的不敏感性假如有中位數(shù)為m的樣本數(shù)據(jù)x1,…,xn,我們將一個(gè)位于中位數(shù)之上的數(shù)據(jù)值xi替換成同樣在中位數(shù)之上的其他值，從而修改了樣本。同樣的，我們也可以將一個(gè)位于中位數(shù)之下的數(shù)據(jù)值替換成同樣在中位數(shù)之下的其他值。這樣的修改對樣本中位數(shù)沒有任何影響。第6頁，共38頁。

分位數(shù)回歸估計(jì)與經(jīng)典模型的最小二乘估計(jì)相比較，有許多優(yōu)點(diǎn)。

當(dāng)數(shù)據(jù)出現(xiàn)尖峰或厚尾的分布、存在顯著的異方差等情況，最小二乘估計(jì)將不再具有優(yōu)良性質(zhì)，且穩(wěn)健性非常差。分位數(shù)回歸系數(shù)估計(jì)結(jié)果比OLS估計(jì)更穩(wěn)健，而且，分位數(shù)回歸對誤差項(xiàng)并不要求很強(qiáng)的假設(shè)條件，因此對于非正態(tài)分布而言，分位數(shù)回歸系數(shù)估計(jì)量則更加穩(wěn)健。

第7頁，共38頁。

最小二乘估計(jì)假定解釋變量只能影響被解釋變量的條件分布的均值位置。而分位數(shù)回歸估計(jì)能精確地描述解釋變量對于被解釋變量的變化范圍以及條件分布形狀的影響,能夠更加全面的描述被解釋變量條件分布的全貌，而不是僅僅分析被解釋變量的條件期望（均值），也可以分析解釋變量如何影響被解釋變量的中位數(shù)、分位數(shù)等。不同分位數(shù)下的回歸系數(shù)估計(jì)量常常不同，即解釋變量對不同水平被解釋變量的影響不同。

第8頁，共38頁。第9頁，共38頁。二、分位數(shù)回歸及其估計(jì)第10頁，共38頁。損失函數(shù)定義在統(tǒng)計(jì)學(xué)中損失函數(shù)是一種衡量損失和錯誤程度的函數(shù)。常常記作。

第11頁，共38頁。損失函數(shù)常用形式第12頁，共38頁。第13頁，共38頁。

對于之前的線性模型來說，就是使得殘差平方和最小，即損失函數(shù)為平方損失函數(shù)，此為最小二乘回歸。而如果損失函數(shù)為絕對值損失函數(shù)，則稱為最小一乘回歸，它使得殘差絕對值的和最小。最小一乘回歸是分位數(shù)回歸的特例。分位數(shù)回歸參數(shù)估計(jì)的思想第14頁，共38頁。分位數(shù)回歸參數(shù)估計(jì)的思想

與LR估計(jì)量明顯不同的QR估計(jì)量的特點(diǎn)在于，在QR中數(shù)據(jù)點(diǎn)到回歸線距離的測量通過垂直距離的加權(quán)總和（沒有平方）而求得，這里賦予擬合線之下的數(shù)據(jù)點(diǎn)的權(quán)重是1-τ,而賦予擬合線之上的數(shù)據(jù)點(diǎn)的權(quán)重則是τ.對于τ的每一個(gè)選擇，都會產(chǎn)生各自不同的條件分位數(shù)的擬合函數(shù)，這一任務(wù)是為每一個(gè)可能的尋找適合的估計(jì)量。第15頁，共38頁。分位數(shù)回歸原理假設(shè)隨機(jī)變量的分布函數(shù)為：Y的分位數(shù)的定義為：回歸分析的基本思想就是使樣本值與擬合值之間的距離最短，對于Y的一組隨機(jī)樣本，樣本均值回歸是使誤差平方和最小，即

第16頁，共38頁。樣本中位數(shù)回歸是使誤差絕對值之和最小，即

樣本分位數(shù)回歸是使加權(quán)誤差絕對值之和最小，即

上式可等價(jià)為：第17頁，共38頁。

一般的分位數(shù)回歸的損失函數(shù)為：其中，為示性函數(shù)，Z是指示關(guān)系式。當(dāng)分位數(shù)為0.5時(shí)，就是最小一乘回歸，即中位數(shù)回歸。第18頁，共38頁。

最小二乘回歸和最小一乘回歸的損失函數(shù)是對稱的，而一般的分位數(shù)回歸的損失函數(shù)不是對稱的，而是由兩條從原點(diǎn)出發(fā)的分別位于第一和第二象限的射線組成，它們的斜率之比為。第19頁，共38頁?，F(xiàn)假設(shè)因變量Y由k個(gè)自變量組成的矩陣X線性表示，對于條件均值函數(shù)

，求解得參數(shù)估計(jì)值。分位數(shù)回歸是對如上簡單形式的擴(kuò)展：通過對上式求解得到其參數(shù)估計(jì)值。

參數(shù)意義解釋：當(dāng)其它協(xié)變量保持不變時(shí)，這一估計(jì)差異來自一個(gè)連續(xù)型協(xié)變量的單位增量，或者虛擬變量值從0到1的變化。第20頁，共38頁。

正如普通最小二乘OLS回歸估計(jì)量的計(jì)算是基于最小化殘差平方和一樣，分位數(shù)回歸估計(jì)量的計(jì)算也是基于一種非對稱形式的絕對值殘差最小化，其中，中位數(shù)回歸運(yùn)用的是最小絕對值離差估計(jì)(LAD，leastabsolutedeviationsestimator)。它和OLS主要區(qū)別在于回歸系數(shù)的估計(jì)方法和其漸近分布的估計(jì)。在殘差檢驗(yàn)、回歸系數(shù)檢驗(yàn)、模型設(shè)定、預(yù)測等方面則基本相同。第21頁，共38頁。

對一個(gè)樣本，估計(jì)的分位數(shù)回歸式越多，對被解釋變量yt條件分布的理解就越充分。以一元回歸為例，如果用LAD(最小絕對離差和)法估計(jì)的中位數(shù)回歸直線與用OLS法估計(jì)的均值回歸直線有顯著差別，則表明被解釋變量yt的分布是非對稱的。第22頁，共38頁。

如果散點(diǎn)圖上側(cè)分位數(shù)回歸直線之間與下側(cè)分位數(shù)回歸直線之間相比，相互比較接近，則說明被解釋變量yt的分布是左偏倚的。反之是右偏倚的。對于不同分位數(shù)回歸函數(shù)如果回歸系數(shù)的差異很大，說明在不同分位數(shù)上解釋變量對被解釋變量的影響是不同的。第23頁，共38頁。三、分位數(shù)回歸的假設(shè)檢驗(yàn)第24頁，共38頁。分位數(shù)回歸估計(jì)的檢驗(yàn)包括兩部分：一是與均值回歸類似的檢驗(yàn)，例如擬合優(yōu)度檢驗(yàn)、擬似然比檢驗(yàn)和Wald檢驗(yàn)等；一是分位數(shù)回歸估計(jì)特殊要求的檢驗(yàn)，例如斜率相等檢驗(yàn)和斜率對稱性檢驗(yàn)等。

第25頁，共38頁。1、擬合優(yōu)度檢驗(yàn)

假設(shè)分位數(shù)回歸直線為將解釋變量矩陣和參數(shù)向量都分為兩部分，即和，且有定義：

無約束分位數(shù)回歸目標(biāo)函數(shù)

第26頁，共38頁。約束的分位數(shù)回歸目標(biāo)函數(shù)擬和優(yōu)度準(zhǔn)則表達(dá)式如下：

因?yàn)?，所以R*(τ)的值在0和1之間，解釋變量的作用越強(qiáng)，越遠(yuǎn)遠(yuǎn)小于，R*(τ)越接近于1，反之，越接近于0。所以可用來考察解釋變量對被解釋變量第τ分位數(shù)回歸擬和的好壞。

第27頁，共38頁。2、擬似然比檢驗(yàn)

Koenker和Machado(1999)根據(jù)目標(biāo)函數(shù)在施加約束條件前后得到的兩個(gè)極小值構(gòu)造了兩個(gè)擬似然比檢驗(yàn)統(tǒng)計(jì)量（QLR）。兩統(tǒng)計(jì)量的表達(dá)式如下：

兩個(gè)統(tǒng)計(jì)量都漸近服從自由度為q的卡方分布，其中q是原假設(shè)目標(biāo)函數(shù)中約束條件的個(gè)數(shù)。

和

分別代表有約束的和無約束目標(biāo)方程的極小值。s(τ)是分位數(shù)密度函數(shù)。第28頁，共38頁。似然比檢驗(yàn)：似然比命題：檢驗(yàn)思想：如果約束是無效的，有約束的最大似然函數(shù)值當(dāng)然不會超過無約束的最大似然函數(shù)值，但如果約束條件“有效”，有約束的最大值應(yīng)當(dāng)“接近”無約束的最大值，這正是似然比檢驗(yàn)的基本思路。似然比：無約束模型似然函數(shù)值：有約束模型似然函數(shù)值：第29頁，共38頁。似然比檢驗(yàn)顯然。如果原假設(shè)是真，則λ趨近于1；如果λ太小，則約束無效，拒絕原假設(shè)?？梢宰C明，對大樣本來說，檢驗(yàn)統(tǒng)計(jì)量為，拒絕域，似然比檢驗(yàn)另一種表達(dá)，第30頁，共38頁。3、Wald檢驗(yàn)

給定分位數(shù)回歸參數(shù)估計(jì)量的漸近方差協(xié)方差矩陣，我們就可以構(gòu)造Wald形式的統(tǒng)計(jì)量進(jìn)行各種約束形式的參數(shù)檢驗(yàn)。有約束模型殘差平方和無約束模型殘差平方和Wald統(tǒng)計(jì)量的一種表達(dá)形式：第31頁，共38頁。Wald檢驗(yàn)

如果約束條件為真，則不應(yīng)該顯著異于零，其中是無約束極大似然估計(jì)值。當(dāng)顯著異于零時(shí)，約束條件無效，拒絕原假設(shè)。檢驗(yàn)統(tǒng)計(jì)量Wald只需要估計(jì)無約束模型，但需要計(jì)算漸進(jìn)協(xié)方差矩陣。第32頁，共38頁。Wald檢驗(yàn)

在線性約束條件下，

Wald檢驗(yàn)拒絕域，第33頁，共38頁。系列分位數(shù)回歸檢驗(yàn)

前面的分析主要集中在單個(gè)分位數(shù)回歸模型的假設(shè)檢驗(yàn)上，而有些時(shí)候也需要對一系列分位數(shù)回歸的回歸系數(shù)進(jìn)行聯(lián)合檢驗(yàn)。比如，需要通過檢驗(yàn)不同分位數(shù)模型的斜率是否相等來判斷一個(gè)模型是否具有位移特征。同時(shí)考慮多個(gè)分位數(shù)回歸式稱作系列分位數(shù)回歸分析。第34頁，共38頁。4、斜率相等檢驗(yàn)

斜率相等檢驗(yàn)，即檢驗(yàn)對于不同的分位點(diǎn)，估計(jì)得到的結(jié)構(gòu)參數(shù)（在線性模型中即為斜率）是否相等。原假設(shè)被設(shè)定為：

其中βi指常數(shù)項(xiàng)以外的解釋變量所對應(yīng)的(k-1)維參數(shù)列向量。因此，零假設(shè)共含有(k-1)(m-1)個(gè)約束條件。接下來構(gòu)造Wald形式的統(tǒng)計(jì)量檢驗(yàn)零假設(shè)是否成立，它漸近服從自由度為(k-1)(m-1)的卡方分布。第35頁，共38頁。如果接受該假設(shè)，說明每個(gè)斜率對于不同分位點(diǎn)具有不變性，此時(shí)，應(yīng)該采用普通最小二乘估計(jì)；如果拒絕該假設(shè)，說明模型應(yīng)該采用分位數(shù)回歸估計(jì)，以反映每個(gè)斜率在不同分位點(diǎn)的不同值。斜率相等檢驗(yàn)可以通過約束回歸檢驗(yàn)實(shí)現(xiàn)。原假設(shè)相當(dāng)于對分位數(shù)回歸估計(jì)施加了個(gè)約束（斜率中不包括常數(shù)項(xiàng)）。應(yīng)用軟件中給出了一些相應(yīng)的檢驗(yàn)統(tǒng)計(jì)量。

第36頁，共38頁。5、斜率對稱性檢驗(yàn)

斜率對稱性檢驗(yàn)，即檢驗(yàn)對于給定的X，Y的分布是否是對稱的。假設(shè)我們要檢驗(yàn)的分位數(shù)回歸模型有m個(gè)，m是奇數(shù)，且中間值τ(m+1)/2是0.5，其他τ都關(guān)于0.5對稱，即τj=1?τm-j+1,j=1,…,(m-1)/2。參數(shù)估計(jì)量按照τk的大小排序。則對稱性檢驗(yàn)的零假設(shè)為：，其中j=1,…,(m?1)/2

m是奇數(shù)，代表分