多重共線性(計量經(jīng)濟(jì)學(xué)武漢大學(xué)劉偉)

1、2.8 2.8 多重共線性多重共線性Multi-CollinearityMulti-Collinearity一、多重共線性的概念一、多重共線性的概念二、多重共線性的后果二、多重共線性的后果三、多重共線性的檢驗三、多重共線性的檢驗四、克服多重共線性的方法四、克服多重共線性的方法五、案例五、案例一、多重共線性的概念一、多重共線性的概念1、多重共線性、多重共線性 對于模型對于模型 ikikiiiXXXY22110（i=1,2,n） 如果某兩個或多個解釋變量之間出現(xiàn)了相關(guān)性，如果某兩個或多個解釋變量之間出現(xiàn)了相關(guān)性，則稱為則稱為多重共線性多重共線性。其基本假設(shè)之一是解釋變量其基本假設(shè)之一是解釋變量kX

2、XX,21互相獨(dú)立互相獨(dú)立。 如果存在如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中其中: ci不全為不全為0，即某一個解釋變量可以用其它解釋，即某一個解釋變量可以用其它解釋變量的線性組合表示，則稱為解釋變量間存在變量的線性組合表示，則稱為解釋變量間存在完全完全共線性共線性。 如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中其中ci不全為不全為0，vi為隨機(jī)誤差項，則稱為為隨機(jī)誤差項，則稱為一般共線性一般共線性(近似共線性近似共線性)或或交互相關(guān)交互相關(guān)(intercorrelated)。 在矩陣表示的線性回歸模型在矩陣表示的線性回歸

3、模型 Y=XB+N中，完全共線性意味著：秩中，完全共線性意味著：秩(X)k+1。換言之，矩陣換言之，矩陣中，至少有一列向量可由其他列向量中，至少有一列向量可由其他列向量（不包（不包括第一列）線性表出。括第一列）線性表出。knnnkkXXXXXXXXXX212221212111111n(k+1) 注意：注意： 完全共線性的情況并不多見，一般出現(xiàn)的是在一完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線性定程度上的共線性，即近似共線性。例例如如，如果如果X2=aX1，則則X1與與 X2的相關(guān)系數(shù)的相關(guān)系數(shù)為為a，解解釋變釋變量量X2對因變量的作用完全可對因變量的作用完全可以以由

4、由X1代替代替。 2、實際經(jīng)濟(jì)問題中的多重共線性現(xiàn)象、實際經(jīng)濟(jì)問題中的多重共線性現(xiàn)象 經(jīng)濟(jì)變量的共同變化趨勢經(jīng)濟(jì)變量的共同變化趨勢 時間序列樣本：時間序列樣本：經(jīng)濟(jì)經(jīng)濟(jì)繁榮時期繁榮時期，各基本經(jīng)濟(jì)，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價格）都趨于增長；變量（收入、消費(fèi)、投資、價格）都趨于增長；經(jīng)濟(jì)經(jīng)濟(jì)衰退時期衰退時期，各基本經(jīng)濟(jì)變量又同時趨于下降。，各基本經(jīng)濟(jì)變量又同時趨于下降。 橫截面數(shù)據(jù)：橫截面數(shù)據(jù)：如如生產(chǎn)函數(shù)生產(chǎn)函數(shù)中，資本投入與勞中，資本投入與勞動力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都動力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，而小企業(yè)二者都小。大，而小企業(yè)二者都小。 滯后變量的引

5、入滯后變量的引入 在計量經(jīng)濟(jì)模型中，往往需要引入滯后經(jīng)濟(jì)變在計量經(jīng)濟(jì)模型中，往往需要引入滯后經(jīng)濟(jì)變量來反映真實的經(jīng)濟(jì)關(guān)系。量來反映真實的經(jīng)濟(jì)關(guān)系。 例如：例如：消費(fèi)消費(fèi)=f(當(dāng)期收入當(dāng)期收入It, 前期消費(fèi)前期消費(fèi)Ct-1） Ct=0+1It+2Ct-1+t (t=1,2,n) 顯然，當(dāng)期收入與前期消費(fèi)間有較強(qiáng)的線性相顯然，當(dāng)期收入與前期消費(fèi)間有較強(qiáng)的線性相關(guān)性關(guān)性。 一般經(jīng)驗一般經(jīng)驗 對于采用對于采用時間序列數(shù)據(jù)時間序列數(shù)據(jù)作樣本、以作樣本、以簡單線性形式簡單線性形式建立的計量經(jīng)濟(jì)學(xué)模型，往往存在多重共線性；建立的計量經(jīng)濟(jì)學(xué)模型，往往存在多重共線性； 以以截面數(shù)據(jù)截面數(shù)據(jù)作樣本時，問題不那么

6、嚴(yán)重，但多重作樣本時，問題不那么嚴(yán)重，但多重共線性仍然是存在的。共線性仍然是存在的。二、多重共線性的后果二、多重共線性的后果 1 1、完全共線性下參數(shù)估計量不存在、完全共線性下參數(shù)估計量不存在如果解釋變量之間存在完全共線性，則如果解釋變量之間存在完全共線性，則(XX) -1不存不存在，無法得到參數(shù)的估計量。在，無法得到參數(shù)的估計量。多元線性回歸模型多元線性回歸模型 XY的普通最小二乘參數(shù)估計量為：的普通最小二乘參數(shù)估計量為： YXXX1)(因為因為如果如果解釋變量解釋變量kXXX,21完全完全共共線性線性，那么那么通過通過適當(dāng)?shù)木€性變換，可以將適當(dāng)?shù)木€性變換，可以將X 中某一列的全部元素變?yōu)橹?/p>

7、某一列的全部元素變?yōu)?，從而行列式，從而行列式0 XX。 2 2、近似共線性下、近似共線性下OLSOLS法參數(shù)估計量非有效法參數(shù)估計量非有效 在一般共線性（或稱近似共線性）下，在一般共線性（或稱近似共線性）下，雖然可雖然可以得到以得到OLS法參數(shù)估計量，但是由參數(shù)估計量方差法參數(shù)估計量，但是由參數(shù)估計量方差的表達(dá)式的表達(dá)式12)()(XXCov可以看出，可以看出，由于此時由于此時|XX| 0，引起，引起(XX) -1主對角主對角線元素較大，從而使得參數(shù)估計量的方差也較大，線元素較大，從而使得參數(shù)估計量的方差也較大，OLS參數(shù)估計量非有效。參數(shù)估計量非有效。2221221)(iiiixxxx恰

8、為1x與2x的 線 性 相 關(guān) 系 數(shù) 的 平方2r， 由 于2r1， 故1112 r。以二元回歸模型中的參數(shù)估計量1為例，1的方差為 221222122212221)()()()()(iiiiixxxxxXXVar)()(12221221212iiiiixxxxx所以，多重共線性使參數(shù)估計量的方差增大。多重共線性使參數(shù)估計量的方差增大。當(dāng)完完全全不不共共線線時，2r=0，2121/)var(ix當(dāng)不不完完全全共共線線 （近似共線）時，102 r， 2122212111)var(iixrx相關(guān)系數(shù)平方00.50.80.90.950.960.970.980.990.999方差擴(kuò)大因子125102

9、02533501001000當(dāng)完全共線時，2r=1，)var(1 方差擴(kuò)大因子方差擴(kuò)大因子(Variance Inflation Factor)為為1/(1-r2)，其增大趨勢見下表：其增大趨勢見下表：3 3、參數(shù)估計量的經(jīng)濟(jì)含義不合理、參數(shù)估計量的經(jīng)濟(jì)含義不合理 如果模型如果模型(2.8.1)中兩個解釋變量具有線性相關(guān)性，中兩個解釋變量具有線性相關(guān)性，例如例如X1和和X2，那么它們中的一個變量可以由另一個變，那么它們中的一個變量可以由另一個變量表征。量表征。 這時，這時，X1和和X2前的參數(shù)并不反映各自與被解釋變量前的參數(shù)并不反映各自與被解釋變量之間的結(jié)構(gòu)關(guān)系，而是反映它們對被解釋變量的共同

10、之間的結(jié)構(gòu)關(guān)系，而是反映它們對被解釋變量的共同影響。影響。 所以，各自的參數(shù)已經(jīng)失去了應(yīng)有的經(jīng)濟(jì)含義，于所以，各自的參數(shù)已經(jīng)失去了應(yīng)有的經(jīng)濟(jì)含義，于是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象，例如本來應(yīng)該是正的，是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象，例如本來應(yīng)該是正的，結(jié)果恰是負(fù)的。結(jié)果恰是負(fù)的。4 4、變量的顯著性檢驗失去意義、變量的顯著性檢驗失去意義存在多重共線性時存在多重共線性時參數(shù)估計值的方差與標(biāo)準(zhǔn)差變大參數(shù)估計值的方差與標(biāo)準(zhǔn)差變大容易使通過樣本計算的容易使通過樣本計算的t值小于臨界值，值小于臨界值， 誤導(dǎo)作出參數(shù)為誤導(dǎo)作出參數(shù)為0的推斷的推斷可能將重要的解釋變量排除在模型之外可能將重要的解釋變量排除在模型之外

11、5 5、模型的預(yù)測功能失效、模型的預(yù)測功能失效 參數(shù)估計量的方差較大，會使參數(shù)估計量的方差較大，會使預(yù)測值的置信區(qū)間預(yù)測值的置信區(qū)間較大，預(yù)測精確度較差，從而使預(yù)測失去意義。較大，預(yù)測精確度較差，從而使預(yù)測失去意義。三、多重共線性的檢驗三、多重共線性的檢驗 由于多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)由于多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系，所以系，所以用于多重共線性的檢驗方法主要是統(tǒng)計方用于多重共線性的檢驗方法主要是統(tǒng)計方法，如法，如判定系數(shù)檢驗法判定系數(shù)檢驗法、逐步回歸檢驗法逐步回歸檢驗法等等。 多重共線性檢驗的任務(wù)多重共線性檢驗的任務(wù)是：是： （1）檢驗多重共線性是否存在；）檢驗多重共

12、線性是否存在； （2）估計多重共線性的范圍，即判斷哪些變量之）估計多重共線性的范圍，即判斷哪些變量之間存在共線性。間存在共線性。1 1、檢驗多重共線性是否存在、檢驗多重共線性是否存在 (1)(1)對兩個解釋變量的模型，采用對兩個解釋變量的模型，采用簡單相關(guān)系數(shù)法簡單相關(guān)系數(shù)法 求出求出X1與與X2的簡單相關(guān)系數(shù)的簡單相關(guān)系數(shù)r，若，若|r|接近接近1，則說明，則說明兩變量存在較強(qiáng)的多重共線性。兩變量存在較強(qiáng)的多重共線性。 (2)(2)對多個解釋變量的模型，采用對多個解釋變量的模型，采用綜合統(tǒng)計檢驗法綜合統(tǒng)計檢驗法 若若 在在OLS法下法下，模型的模型的R2與與F值較大，但各參數(shù)估值較大，但各參

13、數(shù)估計量的計量的t檢驗值較小，則說明檢驗值較小，則說明各解釋變量對各解釋變量對Y的聯(lián)合線的聯(lián)合線性作用顯著，但性作用顯著，但各解釋變量之間存在共線性各解釋變量之間存在共線性而使得它而使得它們各自對們各自對Y的獨(dú)立作用不能分辨，故的獨(dú)立作用不能分辨，故t檢驗不顯著。檢驗不顯著。2 2、判明存在多重共線性的范圍、判明存在多重共線性的范圍 將模型中每一個解釋變量分別以其余解釋變量將模型中每一個解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸計算，并計算相應(yīng)的擬合優(yōu)為解釋變量進(jìn)行回歸計算，并計算相應(yīng)的擬合優(yōu)度，也稱為判定系數(shù)。度，也稱為判定系數(shù)。 如果在某一種形式如果在某一種形式 Xji=a a1X1i+

14、a a2X2i+a aLXLi中判定系數(shù)較大，則說明在該形式中作為被解釋中判定系數(shù)較大，則說明在該形式中作為被解釋變量的變量的Xj可以用其他可以用其他X的線性組合代替，即的線性組合代替，即Xj與與其他其他X之間存在共線性。之間存在共線性。(1) 判定系數(shù)檢驗法判定系數(shù)檢驗法 一種一種等價的檢驗等價的檢驗： 在模型中排除某一個解釋變量在模型中排除某一個解釋變量Xj，估計模型，估計模型，如果擬合優(yōu)度與包含如果擬合優(yōu)度與包含Xj時十分接近，則說明時十分接近，則說明Xj與與其它解釋變量之間存在共線性。其它解釋變量之間存在共線性。(2) 逐步回歸法逐步回歸法 以以Y為被解釋變量，逐個引入解釋變量，構(gòu)成回

15、為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型，進(jìn)行模型估計。歸模型，進(jìn)行模型估計。 根據(jù)擬合優(yōu)度的變化決定新引入的變量是否可以根據(jù)擬合優(yōu)度的變化決定新引入的變量是否可以用其它變量的線性組合代替，而不作為獨(dú)立的解釋用其它變量的線性組合代替，而不作為獨(dú)立的解釋變量。變量。 如果擬合優(yōu)度變化顯著，如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個則說明新引入的變量是一個獨(dú)立解釋變量；獨(dú)立解釋變量； 如果擬合優(yōu)度變化很不顯著如果擬合優(yōu)度變化很不顯著，則說明新引入的變量不，則說明新引入的變量不是一個獨(dú)立解釋變量，它可以用其它變量的線性組合是一個獨(dú)立解釋變量，它可以用其它變量的線性組合代替，也就是說它與其它變

16、量之間存在共線性關(guān)系。代替，也就是說它與其它變量之間存在共線性關(guān)系。四、克服多重共線性的方法四、克服多重共線性的方法克服多重共線性的方法克服多重共線性的方法:第一類方法：排除引起共線性的變量第一類方法：排除引起共線性的變量第二類方法：差分法第二類方法：差分法第三類方法：減少參數(shù)估計量的方差第三類方法：減少參數(shù)估計量的方差 1 1、第一類方法：排除引起共線性的變量、第一類方法：排除引起共線性的變量 找出引起多重共線性的解釋變量，將它排除出去，是最為找出引起多重共線性的解釋變量，將它排除出去，是最為有效的克服多重共線性問題的方法。有效的克服多重共線性問題的方法。 上述用于檢驗多重共線性的方法，同時

17、就是克服多重共線性問題上述用于檢驗多重共線性的方法，同時就是克服多重共線性問題的方法，其中又以逐步回歸法得到最廣泛的應(yīng)用。的方法，其中又以逐步回歸法得到最廣泛的應(yīng)用。 但應(yīng)注意的是：排除了引起共線性的變量后，剩余解釋變但應(yīng)注意的是：排除了引起共線性的變量后，剩余解釋變量參數(shù)的經(jīng)濟(jì)含義和數(shù)值都發(fā)生了變化。它們不再僅僅反映量參數(shù)的經(jīng)濟(jì)含義和數(shù)值都發(fā)生了變化。它們不再僅僅反映自身與被解釋變量的關(guān)系，也包含了與它們成線性關(guān)系的、自身與被解釋變量的關(guān)系，也包含了與它們成線性關(guān)系的、被排除的變量對被解釋變量的影響。被排除的變量對被解釋變量的影響。2 2、第二類方法：差分法、第二類方法：差分法 對于以時間序

18、列數(shù)據(jù)為樣本、以直接線性關(guān)系對于以時間序列數(shù)據(jù)為樣本、以直接線性關(guān)系為模型關(guān)系形式的計量經(jīng)濟(jì)學(xué)模型，將原模型變?yōu)槟Ｐ完P(guān)系形式的計量經(jīng)濟(jì)學(xué)模型，將原模型變換為差分模型換為差分模型 Yi= 1 X1i+ 2 X2i+ k Xki+ i可以有效地消除存在于原模型中的多重共線性?？梢杂行У叵嬖谟谠Ｐ椭械亩嘀毓簿€性。 原因在于原因在于：一般來講，增量之間的線性關(guān)系遠(yuǎn)一般來講，增量之間的線性關(guān)系遠(yuǎn)比總量之間的線性關(guān)系弱得多。比總量之間的線性關(guān)系弱得多。例如：例如：在中國在中國消費(fèi)模型中的消費(fèi)模型中的2個變量個變量： 收入(Y：GDP)與消費(fèi) C 的總量與增量數(shù)據(jù)YC(-1)C(-1)/YYC(-1)

19、C(-1)/Y1981490129760.60721982548933090.60285883330.56631983607636380.59965873290.56051984716440210.561310883830.35201985879246940.533916286730.413419861013357730.5697144110790.748819871178465420.555216517690.465819881470474510.506729209090.311319891646693600.5684176219091.083199018320105560.57621854

20、11960.6451199121280113620.533929608060.2723199225864131460.5083458417840.3892199334501159520.4624863728060.3249199447111201820.42841261042300.3354199559405272160.45811229470340.5721199668498345290.5041909373130.8042 由表中的比值可以直觀地看到，由表中的比值可以直觀地看到，兩變量增量的兩變量增量的線性關(guān)系弱于總量之間的線性關(guān)系。線性關(guān)系弱于總量之間的線性關(guān)系。 進(jìn)一步分析：進(jìn)一步分析

21、： Y與與C(-1)之間的判定系數(shù)為之間的判定系數(shù)為0.9845， Y與與C(-1)之間的判定系數(shù)為之間的判定系數(shù)為0.7456。 一般認(rèn)為：一般認(rèn)為：兩個變量之間的判定系數(shù)大于兩個變量之間的判定系數(shù)大于0.8時，二者之間存在線性關(guān)系。時，二者之間存在線性關(guān)系。 所以，原模型經(jīng)檢驗被認(rèn)為具有多重共線性，所以，原模型經(jīng)檢驗被認(rèn)為具有多重共線性，而差分模型則可以認(rèn)為不具有多重共線性。而差分模型則可以認(rèn)為不具有多重共線性。五、案例一：服裝市場需求函數(shù)五、案例一：服裝市場需求函數(shù)1 1、建立模型、建立模型 根據(jù)理論和經(jīng)驗分析，影響居民服裝類支出根據(jù)理論和經(jīng)驗分析，影響居民服裝類支出Y的主要因素有：可支

22、配收入的主要因素有：可支配收入X、居民流動資產(chǎn)擁、居民流動資產(chǎn)擁有量有量K、服裝價格指數(shù)、服裝價格指數(shù)P1、物價總指數(shù)、物價總指數(shù)P0。 已知某地區(qū)的有關(guān)資料，根據(jù)散點(diǎn)圖判斷，建已知某地區(qū)的有關(guān)資料，根據(jù)散點(diǎn)圖判斷，建立線性服裝消費(fèi)支出模型：立線性服裝消費(fèi)支出模型： Y= 0+ 1X+ 2K+ 3P1+ 4P0+ 2 2、樣本數(shù)據(jù)、樣本數(shù)據(jù) 由于由于R2較大且接近于較大且接近于1，而且，而且 F=638.4，大于臨，大于臨界值：界值：F 0.05(4,5)=15.19，故認(rèn)為服裝支出與上述解，故認(rèn)為服裝支出與上述解釋變量間總體線性關(guān)系顯著。釋變量間總體線性關(guān)系顯著。 但由于變量但由于變量K的參

23、數(shù)估計值的的參數(shù)估計值的t檢驗值較小（未檢驗值較?。ㄎ茨芡ㄟ^檢驗），故能通過檢驗），故解釋變量間存在多重共線性解釋變量間存在多重共線性。3 3、估計模型、估計模型（1）用）用OLS法估計上述模型：法估計上述模型： 4 .6389965. 09980. 0)24. 2()20. 2()30. 0()71. 3()76. 1(334. 0197. 0001. 010. 020.132201FRRPPKXY（2）檢驗簡單相關(guān)系數(shù)）檢驗簡單相關(guān)系數(shù) 不難看出，各解釋變量間存在高度相關(guān)性，其不難看出，各解釋變量間存在高度相關(guān)性，其中尤其以中尤其以P1和和P0間的相關(guān)系數(shù)為最高。間的相關(guān)系數(shù)為最高。列出

24、X，K，P1，P0 的相關(guān)系數(shù)矩陣：XKP1P0X10.9883 0.9804 0.9878K0.988310.9700 0.9695P10.9804 0.970010.9918P00.9878 0.9695 0.99181（3）找出最簡單的回歸形式）找出最簡單的回歸形式 可見，應(yīng)選可見，應(yīng)選為為初始的回歸模型初始的回歸模型。分別作 Y 與 X，K，P1，P0 間的回歸： XY118. 024. 1 KY327. 0118. 2 (-3.36) (42.48) (2.58) (15.31)2R=0.9950 F=1805.1 2R=0.9629 F=234.4 1516. 05 .38PY 0

25、663. 07 .53PY (-9.16) (12.53) (-14.77) (18.66)2R=0.9455 F=157.1 2R=0.9747 F=348.1（4 4）逐步回歸）逐步回歸 將其他解釋變量分別導(dǎo)入上述初始回歸模型，尋將其他解釋變量分別導(dǎo)入上述初始回歸模型，尋找最佳回歸方程。找最佳回歸方程。YCXKP1P02RF=f(X)-1.250.120.99501805.1t 值-3.3642.49=f(X,P1)1.530.13-0.040.9958826.9t0.318.57-0.57=f(X,P1,K)1.060.14-0.04-0.040.9941509.0t0.215.70-0

26、.68-0.53=f(X,P1,P0)-12.450.10-0.190.310.99701003.6t-1.927.55-2.472.59=f(X,P1,P0,K)-13.200.100.01-0.200.330.9965638.4-1.793.710.30-2.202.244 4、討論：、討論： 在初始模型中引入在初始模型中引入P1，模型擬合優(yōu)度提高，且，模型擬合優(yōu)度提高，且參數(shù)符號合理，但參數(shù)符號合理，但P1的的t檢驗未通過；檢驗未通過； 再引入再引入K，擬合優(yōu)度雖有提高，但，擬合優(yōu)度雖有提高，但K與與P1的的t檢檢驗未能通過，且驗未能通過，且X與與P1的的t檢驗值及檢驗值及F檢驗值有所下

27、降，檢驗值有所下降，表明引入表明引入K并未對回歸模型帶來明顯的并未對回歸模型帶來明顯的“好處好處”，K可能是多余的；可能是多余的； 去掉去掉K K，加入，加入P P0 0，擬合優(yōu)度有所提高，且各解釋，擬合優(yōu)度有所提高，且各解釋變量的變量的t t檢驗全部通過，檢驗全部通過，F(xiàn) F值也增大了。值也增大了。 將將4 4個解釋變量全部包括進(jìn)模型，擬合優(yōu)度未有個解釋變量全部包括進(jìn)模型，擬合優(yōu)度未有明顯改觀，明顯改觀，K K的的t t檢驗未能通過，檢驗未能通過，K K顯然是多余的。顯然是多余的。 5 5、結(jié)論、結(jié)論回歸方程以回歸方程以Y=f(X, Y=f(X, P1, , P0) )為最優(yōu)：為最優(yōu)： Y=

28、-12.45+0.10X-0.19Y=-12.45+0.10X-0.19P1 +0.31 +0.31P0五、案例二：中國消費(fèi)函數(shù)模型五、案例二：中國消費(fèi)函數(shù)模型1 1、OLSOLS法估計結(jié)果法估計結(jié)果Dependent Variable: CONS Method: Least Squares Date: 03/01/03 Time: 00:46 Sample: 1981 1996 Included observations: 16 Variable Coefficient Std. Error t-Statistic Prob. C 540.5286 84.30153 6.411848 0.0

29、000 GDP 0.480948 0.021861 22.00035 0.0000 CONS1 0.198545 0.047409 4.187969 0.0011 R-squared 0.999773 Mean dependent var 13618.94 Adjusted R-squared 0.999739 S.D. dependent var 11360.47 S.E. of regression 183.6831 Akaike info criterion 13.43166 Sum squared resid 438613.2 Schwarz criterion 13.57652 Log likelihood -104.4533