評價指標模型方法模型的評價

1、評價指標模型方法-模型的評價【各位讀友,本文僅供參考,望各位讀 者知悉,如假設喜歡或者需要本文,可點 擊下載下載本文,謝謝！】祝大家工作順利】評分模型的評價指標【摘要】如何評價一個評分 模型的判別水平,一般在統(tǒng)計上用ROC、 CAP、K-S統(tǒng)計量、GINI系數(shù)統(tǒng)計量等 圖形工具或統(tǒng)計指標.其中ROC曲線是 較受歡送的,而K-S統(tǒng)計量、GINI系數(shù) 等和ROC曲線之間有一定的聯(lián)系.【關鍵詞】評分模型評價指標 如果把業(yè)務上的二分類問題從統(tǒng)計 角度理解,都在于尋找一個分類器,這 個分類器可能是logistic模型,也可以是 多元判別模型,還可以使其它復雜形式 的模型.一、ROC曲線ROC,英文全稱

2、Receiver Operating Curve,譯成中文,簡稱受試者工作特 征曲線.其在統(tǒng)計實務中應用甚廣,尤 其應用于處理醫(yī)學研究中的 正常組和 異常組區(qū)分建模問題,用于評價分類 模型的表現(xiàn)水平.ROC曲線原理.要說清楚ROC曲線的原理,我們從 一個簡單的分類實例問題說起.假設我 們有了基于商業(yè)銀行企業(yè)貸款數(shù)據(jù)建立 違約-非違約的業(yè)務分類模型,比方說我 們是預測的所有樣本的違約概率或者信 用評級得分,比方信用評級得分,我們 獲得了關于兩類樣本的分布圖形：圖兩類樣本的違約率經(jīng)驗分布1.根本假設上面的圖例可以看成一個基于銀行 債務人違約率分類的分類器.左邊的分 布表示歷史樣本數(shù)據(jù)中違約者預測得

3、到 的違約率的分布；右邊的分布相應表示 非違約者的分布,其中C點表示決策者 做出決斷的切分點,對于該點有這樣的經(jīng)濟意義：一旦我們確定了 C點,不考 慮其他業(yè)務處理,的樣本被預測為違約 者,反之被預測為非謂語這.對于一個 固定的Cutoff點,我們可得到一些有實 際意義的量化指標：HR=,表示在C點左邊,對Defaulters 的信用得分分布中,基于C點做決策時 候,被正確命中的比率,這里 H表示被 正確預測的違約者的樣本個數(shù),ND表示 違約樣本的總數(shù).HR=,表示在C點左邊,對 non-Defaulters的信用得分分布中,基于 C點做決策時候,被錯誤預測的比率, 這里F表示被錯誤預測的違約者

4、的樣本 個數(shù),NND表示非違約樣本的總數(shù).繪制方法很顯然,當我們移動C點的時候, 我們得到了一個二維坐標點的集合, FAR, HR|C?綴信用得分區(qū)間這里的 FAR, HR是風險治理領域的專用表示方 法.將其用統(tǒng)計中的一些概念進行一般 化處理,得到：FD=,表示在C點左邊 違約樣本個數(shù),FD表示在C點違約者信 用得分的累積概率；FND=FAR那么相應表 示非違約者信用得分的累積概率；同樣 我們可得到二維坐標集合FND , |C?綴 信用得分區(qū)間.我們將FND , |C?綴在xy坐標平 面上繪制,就得到了 ROC曲線.ROC曲線與其他評價指標間關系.統(tǒng)計量圖 ROC曲線切線一K-S統(tǒng)計量K-S檢

5、驗,用于檢驗樣本是否來自 一個指定的分布或者檢驗兩類樣本是否 同分布.對上述例子,兩樣本分布獨立 性的檢驗常用K-S統(tǒng)計量：D=MAX|FD-FD| ,這里為了符合常 識,我們用表示變量得分.系數(shù)/AR準確率GINI系數(shù)和AR準確率實際上是同 一個東西,GINI系數(shù)這一稱呼不知道來 源于哪,倒是 AR準確率這一術語常常 在金融風險治理中出現(xiàn).它的計算方法 是：ROC曲線和對角線之間的面積與perfect model和對角線圍成的面積之比, 用于度量模型精確性的一個相對指標.AR,這里表示ROC曲線與對角 線圍成的面積,a p味示y=1直線與對 角線圍成的面積.很容易計算： AR=2AUC-1.

6、考慮ROC曲線上的導數(shù),很顯然由 這個關系式,我們得到在ROC曲線上某 點的似然比為該點的導數(shù),這一指標可 以刻畫模型局部的區(qū)分水平.二、CAP曲線CAP曲線,亦稱水平曲線,被各大 銀行和評級機構用于對違約率類模型的 檢驗,它檢驗模型的預測結果排序水平.我們依然以上面信用評分模型為例 子,水平曲線的繪制通過以下步驟得到：1 .對已經(jīng)評分的銀行客戶按其預測 的違約概率從高到低排序；2 .橫坐標表示客戶按違約率概率從 高到低排序后得到樣本總數(shù)的累計百分 比,縱坐標表示違約客戶總數(shù)的累計百分比；3 .曲線上任何一點的坐標具有如下 意義：表示給定所有排序后客戶樣本的 一個比例；表示在給定的條件下,違約 客戶概率大于等于比例的客戶中最小概 率樣本個數(shù)占總的違約客戶樣本總數(shù)的 比率.很顯然,對于任何水平方向的數(shù)值, 曲線越高,說明模型的預測水平越強.參考文獻：郭英見