[轉(zhuǎn)載]logistic回歸模型總結(jié)

1、轉(zhuǎn)載logisti回歸模型總結(jié)回歸模型是最成熟也是應(yīng)用最廣泛的分類模型，通過學(xué)習(xí)和實踐擬通過從入門、進(jìn)階到高級的過程對其進(jìn)行總結(jié)，以便加深自己的理解也為對此有興趣者提供學(xué)習(xí)的便利。、有關(guān)logisti的基本概念logisti回歸主要用來預(yù)測離散因變量與一組解釋變量之間的關(guān)系最常用的是二值型logistic即因變量的取值只包含兩個類別例如：好、壞；發(fā)生、不發(fā)生；常用或表示表示解釋變量則()表示在的條件下的概率，logisti回歸的數(shù)學(xué)表達(dá)式為：log(1A=L其中稱為優(yōu)勢比(ODDS)即發(fā)生與不發(fā)生的概率之比可以根據(jù)上式反求出()=1(1+e)根據(jù)樣本資料可以通過最大似然估計計算出模型的參數(shù)然后

2、根據(jù)求出的模型進(jìn)行預(yù)測下面介紹logisti回歸在SAS中的實現(xiàn)以及輸出結(jié)果的解釋二、logisti回歸模型初步SAS中丨ogistic回歸輸出結(jié)果主要包括預(yù)測模型的評價以及模型的參數(shù)預(yù)測模型的評價與多元線性回歸模型的評價類似主要從以下幾個層次進(jìn)行(1)模型的整體擬合優(yōu)度主要評價預(yù)測值與觀測值之間的總體一致性?？梢酝ㄟ^以下兩個指標(biāo)來進(jìn)行檢驗1、Hos指sho統(tǒng)計量的原假設(shè)(是預(yù)測值和觀測值之間無顯著差異，因此指標(biāo)的的值越大，越不能拒絕原假設(shè)，即說明模型很好的擬合了數(shù)據(jù)。在SAS中這個指標(biāo)可以用AC選項進(jìn)行調(diào)用2、AIC和SC指標(biāo)即池雷準(zhǔn)則和施瓦茨準(zhǔn)則與線性回歸類似AIC和SC越小說明模型擬合的

3、越好(2從整體上看解釋變量對因變量有無解釋作用相當(dāng)于多元回歸中的檢驗在logisti回歸中可以通過似然比(lilioo)進(jìn)行檢驗t(3解釋變量解釋在多大程度上解釋了因變量與線性回歸中的R作用類似在logisti回歸中可以通過Rs和C統(tǒng)計量進(jìn)行度量在SAS中通過RSQ來調(diào)用Rs,C統(tǒng)計量自動輸出模型評價指標(biāo)匯總統(tǒng)計量趨勢擬合作用SAS調(diào)用命令備注AIC、SC越小越好類似與多元回歸中的殘差平方和模型自動輸出似然比卡方越大越好類似與多元回歸中的回歸平方和自動輸出值越小越好RSQUARE越大越好類似與多元回歸中的R用RSQ選項調(diào)用C統(tǒng)計量越大越好度量觀測值和條件預(yù)自動輸出C統(tǒng)計量越大越好HL統(tǒng)計量越小

4、越好度量觀測值和條件預(yù)測的相對一致性度量觀測值和預(yù)測值總體的一致性自動輸出用LC選項調(diào)用值越大越好說明：在實踐中，對以上統(tǒng)計量最為關(guān)注的是C統(tǒng)計量，其次是似然比卡方，最后才是HL統(tǒng)計量。和極少關(guān)注，這一點和多元線性回歸有很大的區(qū)別。根本原因就是多元線性回歸模型是一個預(yù)測模型，目標(biāo)變量的值具有實際意義；而是一個分類模型，目標(biāo)變量只是一個分類標(biāo)識，因此更關(guān)注預(yù)測值和預(yù)測值之間的相對一致性而不是絕對一致性。（注：引自姚志勇的編程與數(shù)據(jù)挖掘商業(yè)案例）（5）以幫助中例子為例對輸出結(jié)果進(jìn)行解釋說明輸出結(jié)果如下：紅色字體是對輸出結(jié)果的注釋（一）系統(tǒng)Step1ffectFC1ente變量FC進(jìn)入模型）S系統(tǒng)T

5、heLOISTICProcedureModelInformationDataSetRTST（注：指明模型所用的數(shù)據(jù)集）ResponseVariableTRDTRD（注：指明模型的因變量）CompleteRemissionNumberofResponse22（注：指明模型因變量取兩類值）LevelsModelbinarylogit（注：指明模型是二分類logistic回歸模型）OptimizationFishersscoring主：指明釆用的是fishe優(yōu)Technique化方法）NumberofObservationsRead1NumberofObservationsUsed1Response

6、ProfileOrderedValueremissTotalFrequency1122（注：指明因變量的取值類型及取每一類變量的頻數(shù)）Probabilitymodeledisremiss（注：這個要關(guān)注指明了模型求的是在自變量作用下因變量remiss的概率）（二）StepiseSelectionProcedure注:逐步回歸的選擇過程，說明了模型是怎么一步步根據(jù)一定的原則來選擇最終進(jìn)入模型的變量的）StepInterceptentere注：第一步只包含截距項而無變量時時的結(jié)果）ModelConvergenceStatusConvergencecriterionCONV1-satisfied（注

7、：用來判斷模型的收斂狀態(tài)的，也就是說經(jīng)過迭代模型是否求得了參數(shù)satisfied兌明收斂了，unsatisfied明沒收斂）-2LogL22ResidualChi-SquareTestChi-SquareDFPrChiSq21111ModelConvergenceStatusConvergencecriterionGCON=E-satisiedModelFitStatistics.亠亠Intercept小.Intercept,廠Criterion小1andOnlyCovariatesAIC20SC2-2LogL22（注：AIC、SC和-2Log都變小了說明加入變量FAC后模型擬合的更好了）R-

8、Square0Max-rescaledR-Square0TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPrChiSqLikelihoodRatio222000Score000Wald000（注：原假設(shè)是所有變量的參數(shù)為0,根據(jù)檢驗結(jié)果可以看出P00拒絕原假設(shè)，即變量的參數(shù)不全為0）ResidualChi-SquareTestChi-SquareDFPrChiSq22000接下來的跟上面的一樣都是些變量的選擇過程，進(jìn)進(jìn)出出的（三）最終的結(jié)果如下Note:NoeectsortheodelinSteparereovedStep2EffectFAC

9、3_1enteredSummaryofStepwiseSelectionStepEffectNumberInScoreChiSquareWaldChiSquarePrChiSqVariableLabelEnteredRemovedDF1FAC4_1115450001FAC4_12FAC3_112900002FAC3_1AnalysisofMaximumLikelihoodEstimatesParameterDFStandardWaldPrChiSqEstimateErrorChi-SquareIntercept1-2404050922900001FAC3_11-1140443592500144

10、FAC411-4230924355310001OddsRatioEstimatesEffect“.，匚，95%WaldPointEstimate小.ConfidenceLimitsFAC3_1030011090FAC41000900020042AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant951SomersD0902PercentDiscordant49Gamma0903PercentTied00Tau-a0454Pairs0c095-PartitionfortheHosmerandLemeshowTestGrouptrad=1TotalObservedExpectedtrad=0ObservedExpected11000111992100291113GroupPOftitionfortheHoSmelandLeWeshowTeSSt83170trad2i9317tradM0717ObservedExpectedObservedEXpeCted6178110695947171614491251817