第23章-常用綜合評價方法

第二十三章常用綜合評價方法

SyntheticalEvaluationConceptProcessSelectionandweightestimationofevaluationindexAnalytichierarchyprocess,AHP

Topsis

Ranksumratio,RSR例如，某人英語考試成績58分是否對照某標準判斷此結果是否評價（evaluation)僅是描述，反映現(xiàn)狀第二十三章——基本概念Syntheticalevaluation綜合評價——利用多項指標對某個評價對象的某種屬性進行定性、定量評估，或者對多個評價對象的屬性進行定性、定量評估，可對優(yōu)劣順序排序。Application:對比，擇優(yōu)Purpose:支持決策（基礎、預防、臨床、管理中廣泛應用）第二十三章——基本概念綜合評價不同于多個指標的簡單相加，而是在掌握有關資料的基礎上，將各種有關因素的信息集中，依據內在的聯(lián)系進行適當加工提煉，并密切結合醫(yī)療衛(wèi)生工作實踐，用數(shù)理統(tǒng)計的方法或生物數(shù)學方法制定出恰當?shù)脑u價模型，以謀求對評價對象的類別或優(yōu)劣等級進行較為客觀的判斷，為醫(yī)療衛(wèi)生工作決策提供依據。綜合評價分類評價手段評價領域評價方式定量評價定性評價臨床評價衛(wèi)生評價管理評價預評價中期評價終結評價對某事件進行多因素綜合評價的過程，實質上就是科學研究與決策的過程，原則上應包括設計、收集資料和分析資料幾個基本階段，實施中應著重注意以下幾個基本環(huán)節(jié)。①選擇恰當?shù)脑u價指標(evaluationindicator)②確定各評價指標權重③合理確定各單個指標的評價等級(evaluationgrade)及其界限④建立綜合評價模型(syntheticalevaluationmodel)⑤確定多指標綜合評價的等級數(shù)量界限，并根據實踐對已建立模型考察、修改及完善。研究目的第二十三章——綜合評價的一般步驟研制新生兒缺氧狀況的Apgar評分方法研究目的據專業(yè)知識，選擇5個指標①心率②呼吸③肌張力④反射⑤皮膚顏色

5個指標具有相等權重選擇指標確定權重以累加法累計總分：8～10分為正常；4～7分為輕度缺氧；0～3分為重度缺氧。

確定指標評價等級及界限建立模型第二十三章——綜合評價的一般步驟2.1例：學生綜合測評（綜合評分）評價指標：德育總分、智育總分、體育總分（加分：CET）權重：方案1：德育0.3智育0.6體育0.1

方案2：德育0.1智育0.8體育0.1

方案3：德育0.3智育0.6體育0.1加分評價模型：評分法、總分為100，加分不封頂，累加法。

評價結果:

學生甲：德育90智育70體育80

學生乙：德育70智育80體育703.1評價指標的基本要求基本要求①代表性：各層次指標能最好地表達所代表的層次。②確定性：指指標值確定，其高低在評價中有確切含義。③區(qū)別能力/靈敏性：即指標值有一定的波動范圍，而且其高低在評價中有確切的含義。④獨立性：即選入的指標各有所用，相互不能替代。選擇綜合評價指標3.2系統(tǒng)分析法及文獻資料

分析優(yōu)選法篩選指標缺乏有關歷史資料，或指標難以數(shù)量化時系統(tǒng)分析法(systematicanalysismethod)：是一種常用的憑經驗挑選指標的方法，首先將所有備選指標按系統(tǒng)（或屬性、類別）劃分，再通過座談或填調查表的方法獲得對各指標的專家評分，確定主次，再從各系統(tǒng)內挑選主要的指標作為評價指標。

文獻資料分析優(yōu)選法：即全面查閱有關評價指標設置的文獻資料，分析各指標的優(yōu)缺點并加以取舍。

3.3常用客觀篩選指標方法逐個指標進行假設檢驗的方法：是在掌握有關歷史資料基礎上，依照可能的評價結果將評價對象分組，并對各指標進行假設檢驗，挑選有統(tǒng)計意義的指標作為評價指標。多元回歸與逐步回歸法：多元回歸分析挑選標準化偏回歸系數(shù)絕對值較大或偏回歸系數(shù)假設檢驗有顯著性的指標作為評價指標；逐步回歸有自動挑選主要影響指標的功能，是目前最常用的指標挑選方法。指標聚類法：在存在眾多指標的情況下，可將相似指標聚成類，再從每類中找一個典型指標作為代表，從而用少量幾個典型指標作為評價指標來代表原來眾多的指標建立評價模型。3.4指標篩選建議在實際工作中，往往綜合使用多種方法進行指標篩選，在獲得較為滿意的專業(yè)解釋的基礎上，優(yōu)先考慮那些被多種方法同時選入的指標。

3.5評價指標的權重估計

確定指標權重方法主觀定權法客觀定權法專家評分法成對比較法Saaty權重法秩和比法相關系數(shù)法其它方法模糊定權法熵權法定權帶有一定的主觀性，用不同方法確定的權重分配，可能不盡一致，這將導致權重分配的不確定性，最終可能導致評價結果的不確定性。因而在實際工作中，不論用哪種方法確定權重分配，都應當依賴于較為合理的專業(yè)解釋。3.6專家評分法評分方式1）專家個人判斷即分別征求專家個人意見，在專家各自單獨給評價指標的相對重要性打分的基礎上，進行統(tǒng)計處理，以確定各指標的權重。

優(yōu)點：專家打分時不受外界影響，沒有心理壓力，可以最大限度地發(fā)揮個人創(chuàng)造能力。缺點：僅憑個人判斷，易受專家知識深度與廣度的影響，難免帶有片面性。2）專家會議即召開所有被挑選專家，以集體討論的方式進行評分，然后再以統(tǒng)計手段確定各指標的權重。

優(yōu)點：可以交換意見，相互啟發(fā)，彌補個人之不足。缺點：主要表現(xiàn)在易受心理因素的影響，如屈從于權威和大多數(shù)人的意見，受勸說性意見的影響，不愿公開修正已發(fā)表的意見等等。6個專家對4個評價指標的評價結果得分不考慮專家權威程度：權重分別是0.41,0.31,0.18,0.103.7專家評分法可靠性評估常用指標

在實際工作中，常用專家的擅長系數(shù)和專家意見一致性系數(shù)等指標來估計專家評分方法所定權重分配的相對合理性。1)．擅長系數(shù)：某一評估專家的水平可用對擅長領域中所提問題作出正確應答的概率，即所謂“擅長系數(shù)”。計算公式為：

其中，q為擅長系數(shù),p為錯答率。理想的“絕對正確”評估專家，p=0,q=1。通常在選擇評估專家時,其擅長系數(shù)q不應低于0.80。6個專家對4個評價指標的評價結果的一致性系數(shù)計算表2）專家意見一致性系數(shù):設參與權重評估的專家數(shù)為m，待評價指標數(shù)為n，則反映m個專家對全部n個指標權重評估的一致程度的指標稱為一致性系數(shù)，以w表示,其計算公式為：一致性系數(shù)在0～1之間取值，越接近于1，表示所有專家對全部評價指標評分的協(xié)調程度越好。當然，一致性系數(shù)越大越好，這說明各評價因子的權重估計較為穩(wěn)定可靠。當有相同秩時，要對w進行校正：式中

3.7常用的客觀定權方法某些統(tǒng)計方法分析結果，可提供有關因素權重分配的客觀信息:多元回歸分析及逐步回歸分析中，各自變量的標準化偏回歸系數(shù)值以及由此而推算的貢獻率；計數(shù)資料判別分析中的指數(shù)，計量資料判別分析中各因子的貢獻率；主成分分析中得到的因子載荷和貢獻率。某些特定的統(tǒng)計方法例如去某死因后期望壽命的增量、減壽年數(shù)(PotentialYearsofLifeLost,PYLL)都可為各死因的相對重要性提供有關權重分配的信息獻率。3.8組合權重及其計算方法組合權重(combinedweight)

當評價指標可分層時，即某項或某幾項評價指標可再分為次級評價指標時，則次級評價指標的權重既應考慮其本身在所有次級評價指標中的權重分配，又要考慮其高層評價指標在所有評價指標中的權重分配。組合權重有兩種求法：代數(shù)和法乘積法

組合權重計算表3.9權重估計注意事項權重估計仍不是很完美，權重估計結果應滿足專業(yè)解釋；盡量在專業(yè)領域中尋找專業(yè)評分方法；盡量排除試驗者和受試者的主觀性，盡量選用客觀方法；采用多種方法進行權重，在獲得較為滿意的專業(yè)解釋的基礎上，優(yōu)先考慮多個方法同時選入的指標。幾種常用綜合評價方法現(xiàn)有的統(tǒng)計方法：主要為多元統(tǒng)計方法，如多元回歸、逐步回歸分析、判別分析、因子分析、時間序列分析等。模糊多元分析方法：由模糊數(shù)學發(fā)展而來，包括模糊聚類、模糊判別、模糊綜合評價等方法。3．簡易方法：主要包括綜合評分法、綜合指數(shù)法、層次分析法、Topsis法、秩和比法等。特點：①簡單實用；②適用于各種資料；③存在一定的局限性。4.1層次分析法概念

層次分析法(AnalyticHierarchyProcess,簡稱AHP)：由美國科學家T.L.Saaty于20世紀70年代提出,是用系統(tǒng)分析的方法，對評價對象依評價目的所確定的總評價目標進行連續(xù)性分解,得到各級（各層）評價目標，并以最下層指標作為衡量目標達到程度的評價指標。然后依據這些指標計算出一綜合評分指數(shù)對評價對象的總評價目標進行評價，依其大小來確定評價對象的優(yōu)劣等級。4.2層次分析法示例例4：擬采用層次分析法建立一個評價綜合醫(yī)院工作質量的綜合指標，并采用該指標對某市6所綜合醫(yī)院的工作質量進行綜合評價。醫(yī)院工作質量綜合評價的基本步驟：1）對總評價目標進行連續(xù)性分解以得到不同層次的評價目標，將各層評價目標用圖有機地標示出來，即建立目標樹圖，見圖1。4.3建立目標圖4.4計算權重系數(shù)2)對目標樹自上而下分層次一一對比打分，建立成對比較判斷優(yōu)選矩陣。各層評分標準見表3,表4為第一層子目標成對比較判斷優(yōu)選矩陣。表3目標樹圖各層次評分標準對比打分相對重要程度說

明1同等重要兩者對目標的貢獻相同3略為重要根據經驗一個比另一個評價稍有利5基本重要根據經驗一個比另一個評價更為有利7確實重要一個比另一個評價更有利，且在實踐中證明9絕對重要重要程度明顯兩相鄰程度的中間值需要折衷時采用表4第一層子目標成對比較判斷優(yōu)選矩陣醫(yī)療工作護理工作膳食供應醫(yī)療工作1(a11)3(a12)5(a13)護理工作1/3(a12)1(a22)3(a23)膳食供應1/5(a13)1/3(a23)1(a33)4.4計算權重系數(shù)(續(xù)1)(2)按公式計算初始權重系數(shù)得(3)按公式計算歸一化權重系數(shù)得

用同樣方法可獲得其他分層中各項目指標的權重系數(shù)，現(xiàn)以醫(yī)療工作一項為例說明，見表5。4.4計算權重系數(shù)(續(xù)2)表5醫(yī)療工作第二層、第三層子目標權重系數(shù)層

次評價目標及權重系數(shù)第二層醫(yī)療制度醫(yī)療質量病床使用

0.16340.53960.2970第三層療

效重癥收容

0.66700.3330(4)計算各個評價指標的組合權重系數(shù)，見圖2。膳食供應優(yōu)良率的組合權重系數(shù)C1=0.1047護理制度優(yōu)良執(zhí)行率的組合權重系數(shù)C2=0.2583……

治療有效率的組合權重系數(shù)C6=0.22924.4計算權重系數(shù)(續(xù)3)圖2乘積法求各層次評價指標的組合權重4.5求綜合評分指數(shù)(5)對評價對象的總評價目標進行綜合評估。綜合評分指數(shù)GI的計算公式如下：其中Pi為第i個評價指標的測量值，ｍ為評價指標的個數(shù)。例4某市有6所綜合醫(yī)院，試對其醫(yī)院工作質量進行綜合評價,醫(yī)院的6項評價指標分別為病床使用率(P1)95%，治療有效率(P2)88.1%，重癥收容率(P3)15.4%，醫(yī)療制度執(zhí)行優(yōu)良率(P4)74.7%，護理制度執(zhí)行優(yōu)良率(P5)54.7%，膳食供應優(yōu)良率(P6)41.3%,其綜合評分指數(shù)為：其他醫(yī)院綜合評分指數(shù)GI的計算結果見表6。4.5求綜合評分指數(shù)(續(xù)1）由表6工作質量順位可見，A醫(yī)院工作質量最佳，D醫(yī)院工作質量最差。表6某市6所醫(yī)院工作質量的綜合評價表評價指標組合權重

醫(yī)院ABCDEF病床使用率0.189295.092.094.895.689.177.4治療有效率0.229288.191.290.094.093.692.2重癥收容率0.114515.48.37.93.19.53.7醫(yī)療制度執(zhí)行優(yōu)良率0.104174.753.461.950.061.967.1護理制度執(zhí)行優(yōu)良率0.258354.720.726.120.027.435.5膳食供應優(yōu)良率0.104741.341.422.820.034.030.3綜合評分指數(shù)66.254.555.052.556.555.5工作質量順位1546234.6層次