基于模糊綜合評價法的地方政府依法行政監(jiān)督實施效果評估

基于模糊綜合評價法的地方政府依法行政監(jiān)督實施效果評估

［］D035.5［］A［］1006-0863(2011)06-0105-06目前行政監(jiān)督的研究多采用定性的分析方法，往往憑學識、經(jīng)驗、印象或跟著感覺走，缺乏數(shù)據(jù)支持和科學的分析測評，注重行政監(jiān)督實效的宏觀把握和審視，忽視微觀和具體的數(shù)據(jù)分析，導致評估結(jié)果相對主觀，難以體現(xiàn)出行政監(jiān)督實效的真實狀況。對此，筆者倡導應學習和借鑒地方政府績效評估，將定量分析方法與定性分析方法有效結(jié)合，運用于行政監(jiān)督研究領域。鑒于模糊綜合評價法能將復雜問題簡單化，適合于政治學領域問題的研究，本文采用模糊綜合評價法對地方政府依法行政監(jiān)督實施效果評估體系進行實證分析。一、模糊綜合評價法原理模糊綜合評價法(FuzzyComprehensiveEvaluation)是在綜合考慮多種因素的作用下，運用模糊數(shù)學工具對某事物的性質(zhì)或狀態(tài)做出的綜合判斷和評價。[1]從這種意義上來說，模糊綜合評價方法是一種定性與定量相結(jié)合的方法，它的原理就是將比較模糊的問題轉(zhuǎn)化為具體的數(shù)據(jù)。對于地方政府行政監(jiān)督實施效果評估指標體系來說，既包括定量指標，又包含定性指標，定量指標可以通過資料和數(shù)據(jù)的采集來獲得，評估結(jié)果比較客觀；而定性指標則需要通過一定的實證調(diào)查來獲取所要評估的信息，評估結(jié)果比較模糊。這樣就需要采用模糊綜合評價方法來將這類指標評估的結(jié)果具體化。模糊綜合評價法包含確定評價對象指標集、確定評價集、建立多因素評價、確定模糊評價矩陣等幾個步驟。具體來說，模糊綜合評價法的第一步是對每個評估指標做出“優(yōu)秀”、“良好”、“一般”、“差”、“很差”或“高、中、低”等不同程度的定性判斷；第二步是邀請專家對每項指標的權(quán)重進行打分；第三步將專家的評定分數(shù)代入構(gòu)建的模糊綜合評價模型中進行一定的數(shù)學運算，從而得出定量的結(jié)果；第四步則是將評估結(jié)果去對應評價集上的評語，確定評估等級。這種評估方法不管是多層評價還是單層評價模型，其中都有關(guān)鍵的兩步驟：確定單因素評價矩陣R和計算模型評價子集B=A×R。模糊綜合評價數(shù)學模型的構(gòu)建步驟為：模糊綜合評價方法在政府績效評估運用中能夠使定性的評價得出量化的結(jié)果，而且在對各項指標評價之后可清楚明確地對其進行比較，得出各項指標的強弱。這有助于公共組織找出問題的根源，以提出有針對性的改進策略。[5]二、地方政府依法行政監(jiān)督實施效果評估體系的構(gòu)建模糊綜合評價法是對既定的指標體系的評估結(jié)果進行一定的定量分析，根據(jù)數(shù)據(jù)分析的結(jié)果得出評估結(jié)論的一種分析方法。因此，評估結(jié)論是否科學、可靠，很大程度上取決于指標體系是否科學、合理和可行。地方政府依法行政監(jiān)督實施效果評估指標體系構(gòu)建是一個系統(tǒng)的工程，其步驟主要包括：1.指標選樣在抽樣調(diào)查的基礎上，遵循依法行政監(jiān)督實施效果評估指標體系構(gòu)建的整體性、科學性、系統(tǒng)性、可測性等原則，分析影響依法行政監(jiān)督實施效果的各種權(quán)變因子，如行政監(jiān)督實施效果評估目的因子、行政監(jiān)督機關(guān)工作職能因子、主客觀條件因子、事物發(fā)展變化趨勢因子、實施效果評估所需信息的數(shù)量和質(zhì)量因子等，根據(jù)行政監(jiān)督機關(guān)的職能和目標、層層分解影響依法行政監(jiān)督實施效果的關(guān)鍵要素，以平衡計分卡為分析框架，從監(jiān)督業(yè)績、監(jiān)督成本、內(nèi)部管理、創(chuàng)新與發(fā)展這四個維度，本文構(gòu)建了包括53項具體指標的依法行政監(jiān)督實施效果評估指標體系。為保證指標體系的科學性與合理性，本文進行了實證調(diào)查，采用SPSS等統(tǒng)計軟件對依法行政監(jiān)督實施效果評估指標體系的有效性進行統(tǒng)計檢驗，采用剖面分析檢驗指標的平均值是否存在顯著差異、采用單變量判定分析測量各項指標的有效程度、采用逐步回歸分析尋求最佳測度指標組合等分析方法，刪除了一些信度或效度較低的指標，進一步整合現(xiàn)有的依法行政監(jiān)督實施效果評估指標，最終確定了37項信度和效度良好的依法行政監(jiān)督實施效果評估指標，包括12項定性指標與25項定量指標，如圖1所示。遵循依法行政監(jiān)督實施效果評估的原則和目標，結(jié)合地方政府效能建設的基本要求，注重行政監(jiān)督評估過程和結(jié)果應用，本文對各項指標進行了細化，以便調(diào)查研究資料的獲取和收集，保證評估結(jié)果的準確性和可靠性。將監(jiān)督業(yè)績具體化為7個可測指標，監(jiān)督成本分解為4個可評指標，內(nèi)部管理內(nèi)化為14個可量指標，創(chuàng)新與發(fā)展細化為12個可考指標。三級指標體系的結(jié)構(gòu)及內(nèi)涵，見表1。2.指標體系有效性統(tǒng)計檢驗地方政府依法行政監(jiān)督實施效果評估指標體系僅通過比較主觀的實證調(diào)查，仍然不能保證其科學性和合理性，還必須通過一定客觀檢驗才能加以運用。對指標體系進行有效性統(tǒng)計檢驗的途徑主要有信度和效度檢驗。指標效度指指標在多大程度上描述了評價對象的特征范疇并反映了評價目的。指標效度的評定主要通過經(jīng)驗判斷進行，通過請熟悉測量內(nèi)容的人員來評判，并確定指標與所需測量的內(nèi)容范疇之間關(guān)系的密切程度。再測量法、折半信度法和克朗巴哈信度系數(shù)法是進行信度分析經(jīng)常采用的方法，比較各種方法的優(yōu)劣，本文采用克朗巴哈一致性系數(shù)(Cronbach)檢驗自編量表的信度。當Cronbach值大于0.7，表明數(shù)據(jù)可靠性較高；計量尺度中的項目數(shù)小于6個時，Cronbach值大于0.60，表明數(shù)據(jù)是可靠的；在探索性研究中，Cronbach值可以小于0.7，但應大于0.5。本次調(diào)研總量表的系數(shù)達到0.927。為進一步檢驗量表的重復度量效果和項目內(nèi)在的相關(guān)性，再對量表進行了方差分析——F檢驗以及HotellingT2檢驗，得出：F=15.922，P＜0.0001，說明該量表的重復度量效果良好；經(jīng)HotellingT2檢驗可知，該量表的項目間平均得分的相等性很好，即項目具有內(nèi)在的相關(guān)性，均表明該量表的可信度比較高。指標體系的信度是指指標數(shù)值在觀測中測量結(jié)果的可靠性程度，是指標在多大程度上描述了評價對象的特征范疇并反映了評價目的。高信度的指標體系應該是指標之間獨立、內(nèi)部結(jié)構(gòu)良好、指標關(guān)系一致的體系。在檢測過程中，通過斯坦福大學柯隆巴克教授的內(nèi)部一致性系數(shù)來觀察評價指標信度。內(nèi)部一致性系數(shù)能夠準確地反映出評估指標的一致性程度和內(nèi)部結(jié)構(gòu)的良好性，是目前評估指標中使用最廣泛的信度評價方法之一。本研究主要考察內(nèi)容效度，即所選的題項能否代表所要測量的內(nèi)容或主題。通常采用單項與總和相關(guān)系數(shù)法，計算每個題項分數(shù)與總和的相關(guān)系數(shù)，如果相關(guān)系數(shù)不顯著，表示該項目鑒別力低；如果把這個題項納入量表，實際測評被試者的態(tài)度將影響測量的準確性，則加以剔除。一般來說，相關(guān)系數(shù)的顯著程度越高，量表的效度越高，宜采用皮爾遜相關(guān)系數(shù)來測量滿意度調(diào)查問卷的內(nèi)容效度。統(tǒng)計結(jié)果顯示，本文在實證研究調(diào)查問卷的皮爾遜相關(guān)系數(shù)均在0.800以上，且均在0.01水平上顯著相關(guān)，表明其內(nèi)容效度是十分理想的。3.確定指標體系權(quán)重層次分析法是美國運籌學家T.L.Saaty在20世紀70年代提出來的，它是一種定性與定量分析相結(jié)合、系統(tǒng)化、層次化的多目標決策分析方法。其基本思路就是將組成復雜問題的多個元素權(quán)重的整體判斷轉(zhuǎn)變?yōu)閷@些元素進行“兩兩比較”，然后再轉(zhuǎn)化為對這些元素的整體權(quán)重進行排序判斷，最后確立各元素的權(quán)重。與其它確定指標權(quán)重的定量分析方法相比，層次分析法思路清晰、計算簡潔、可操作性強，最大的優(yōu)點是可以處理定性和定量相結(jié)合的問題，可以將決策者的主觀判斷與政策經(jīng)驗導入模型，并加以量化處理。通過對判斷矩陣進行一致性檢驗，減少了權(quán)重設置的主觀隨意性，提高了指標的信度和效度，降低了評估的難度。通過建立遞階層次結(jié)構(gòu)（將所要研究的問題包含的因素從最高層、中間層到最底層構(gòu)建一個遞階結(jié)構(gòu)的模型）、構(gòu)造兩兩比較判斷矩陣（判斷矩陣元素的值表示人們對各因素關(guān)于目標的相對重要性的認識）、層次單排序（根據(jù)某一層次各指標相對于上一層次指標的相對重要性的權(quán)重）及其一致性檢驗、層次總排序利用同一層次中所有層次單排序的結(jié)果，計算某一層次各因素相對上一層次所有因素的相對重要性的排序權(quán)值）和一致性檢驗等步驟計算出地方政府依法行政監(jiān)督實施效果評估指標體系的權(quán)重，如表2。三、模糊綜合評價法在湖南省依法行政監(jiān)督實施效果評估中的應用本文在地方政府行政監(jiān)督實施效果評估指標體系構(gòu)建的基礎上，將評估體系應用于湖南省14個地級市（州）的行政監(jiān)督機關(guān)，以評估湖南省依法行政監(jiān)督實施效果的現(xiàn)狀。1。湖南省依法行政監(jiān)督實施效果評估具體過程為依法保證依法行政監(jiān)督實施效果能夠得到客觀、科學的評估結(jié)論，本文主要通過問卷調(diào)查來實現(xiàn)評估：針對不同的評估主體設計了不同的兩份問卷，各自考察各評估主體對行政監(jiān)督機關(guān)的公眾滿意度。一份問卷是針對政府內(nèi)部子系統(tǒng)，主要考量非承擔行政監(jiān)督職能的行政組織對行政監(jiān)督機關(guān)的意見和態(tài)度，側(cè)重統(tǒng)計性、技術(shù)性等客觀性指標；另一份問卷則是針對社會評估子系統(tǒng)，主要考量社會大眾對行政監(jiān)督機關(guān)工作態(tài)度、依法、執(zhí)法現(xiàn)狀的滿意度等，側(cè)重主觀性指標。本次評估共發(fā)放問卷500份，實際回收問卷463份，問卷回收率為92.6%，有效問卷為453份，有效率為90.6%。根據(jù)EXCEL對問卷的統(tǒng)計分析，發(fā)現(xiàn)樣本的選取對象具有廣泛性和針對性，調(diào)查對象的選取具有合理性和代表性。本次實證評估的主要做法有：(1)以湖南省紀委監(jiān)察廳職責職能為基礎，以湖南省紀委監(jiān)察廳、市紀委監(jiān)察局、縣市區(qū)紀委監(jiān)察局及其派出機構(gòu)的工作實效為主要評估對象，按照公開透明、系統(tǒng)分析和典型剖析相結(jié)合、定量相結(jié)合的原則得出評估信息。(2)引入第三方評估，為評估主體注入新的元素。如以社會評估子系統(tǒng)（企事業(yè)單位、社會公眾）的外部評估主體為主，結(jié)合政府內(nèi)部子系統(tǒng)的評估得出評估結(jié)論，使評估主體的范圍拓寬，評估過程更為公開、透明。(3)評估結(jié)果用綜合績效指數(shù)來衡量。根據(jù)評估指標體系，依次逐級算出評估指標體系的得分，最終得出地方政府依法行政監(jiān)督實施效果評估的總得分。2.基于模糊綜合評價的湖南省依法行政監(jiān)督實施效果評估結(jié)果根據(jù)上表由此得到某市行政監(jiān)督實施效果評估指標體系模糊綜合評價的判斷矩陣R：根據(jù)層次分析法確定了地方政府依法行政監(jiān)督實施效果評估指標體系的權(quán)重，在某市依法行政監(jiān)督實施效果評估中，結(jié)合專家意見，確定各評估指標的權(quán)重分配為：由計算結(jié)果可得，集合B為某市依法行政監(jiān)督實施效果評估模糊綜合評價的結(jié)果。根據(jù)評價結(jié)果，對于某市依法行政監(jiān)督實施效果，評價“優(yōu)秀”的占8%，評價“良好”的占31%，評價“一般”的占49%，評價“差”的占10%，評價“很差”的僅占2%。根據(jù)最大隸屬原則，總的評價結(jié)論是“一般”。因此，某市行政監(jiān)督機關(guān)的依法行政監(jiān)督實施效果處于一般狀態(tài)。根據(jù)湖南省及各地級市（州）依法行政監(jiān)督實施效果評估的影響因素表，可得出湖南省及各地級市（州）依法行政監(jiān)督實施效果評估的模糊綜合評估模型，計算方法與某市相同。將數(shù)據(jù)代入到綜合評價模型①，可得湖南省及各地級市（州）依法行政監(jiān)督實施效果模糊綜合評估結(jié)果，見表4。根據(jù)上表所示的評價結(jié)果，按照最大隸屬原則，湖南省各地級市（州）依法行政監(jiān)督實施效果評估的總的評價結(jié)論是“一般”，因此，全省各地級市州依法行政監(jiān)督實施效果一般。四、結(jié)論根據(jù)地方政府依法行政監(jiān)督實施效果評估指標體系的構(gòu)建過程和模糊綜合評價法在湖南省行政監(jiān)督機關(guān)實施效果評估中的具體應用，可得出以下結(jié)論：1.模糊綜合評價法等定量分析方法可以運用于政治學研究領域一般認為，定量分析方法多用于工科、理科領域，很難在文科領域產(chǎn)生實質(zhì)性影響。但本文不僅將企業(yè)績效評估中運用的方法移植到地方政府依法行政監(jiān)督實施效果評估中，而且運用這些方法得出了確切的研究結(jié)論，豐富和深化了定量分析方法。如以企業(yè)的平衡計分卡為分析框架，從監(jiān)督業(yè)績、監(jiān)督成本、內(nèi)部管理、創(chuàng)新與發(fā)展維度這四個維度構(gòu)建了一套包括37項指標的多層指標體系；運用SPSS統(tǒng)計軟件進行依法行政監(jiān)督實施效果評估的信度與效度檢驗；采用層次分析法計算依法行政監(jiān)督實施效果評估指標體系各指標之間的權(quán)重；采用模糊綜合評價法對依法行政監(jiān)督實施效果評估進行分析，取得了確切的評估結(jié)論。這就充分說明諸如層次分析法、模糊綜合評價等定量分析的方法，不但可以運用于政治學領域，拓寬政治學理論研究的視野，而且可以將政治學抽象、復雜的問題轉(zhuǎn)化為具體、簡單的問題。因此，在以后政治學研究過程中，應注意拓寬研究思路，轉(zhuǎn)變研究視角，將多種學科知識融會貫通，使研究成果更加豐富和科學。2.目前地方政府依法行政監(jiān)督實施效果不夠理想由模糊綜合評價法計算出的湖南省依法行政監(jiān)督實施效果評估結(jié)論可知，所有地級市（州）的評估結(jié)果都在“一般”水平，每個地級市（州）的評估結(jié)果相差不大。評估結(jié)果最好的地級市0.5933，比評估結(jié)果最差的地級市0.4301，只高0.1632，這離依法行政監(jiān)督實施效果評估“良好”的水平相差甚遠。這一方面說明了地方政府依法行政監(jiān)督實施效果確實很差，另一方面說明了評估指標體系存在一定的問題。若是前者的原因，地方政府各級行政監(jiān)督機關(guān)就要重視實施效果不理想這一現(xiàn)狀，認真分析影響依法行政監(jiān)督實施效果的各種影響因子，確定行政監(jiān)督組織的總目標和行政監(jiān)督者的子目標等，有層次有步驟的采取一定的措施，改善依法行政監(jiān)督實施效果較差這一現(xiàn)狀，逐漸提高公眾