學(xué)術(shù)評價的元評價機制

學(xué)術(shù)評價的元評價機制評價的根本目的是服務(wù)于管理，是要為管理者提供輔助決策的關(guān)鍵信息。尤其是當今“大科學(xué)”時代，學(xué)術(shù)評價的結(jié)果幾乎都會直接影響各學(xué)術(shù)機構(gòu)和學(xué)術(shù)從業(yè)人員的切身利益及各種資源的分配。自20世紀90年代以來，隨著以量化評價為代表的各種評價考核方式的大規(guī)模應(yīng)用，由學(xué)術(shù)評價引起的爭議也越來越大。人們逐漸認識到，學(xué)術(shù)評價能否發(fā)揮預(yù)期的作用，很大程度上取決于評價自身的質(zhì)量。某種意義上，評價是一柄雙刃劍，可能促進也可能扭曲學(xué)術(shù)事業(yè)的發(fā)展。因此，對于規(guī)范和衡量學(xué)術(shù)活動成效的學(xué)術(shù)評價自身，也很有規(guī)范和衡量其好壞的必要。這就涉及到所謂的“元評價”問題。一、“元評價”概念及對學(xué)術(shù)評價的元評價“元評價”即“對評價的評價”，其最初提起及應(yīng)用主要是在教育領(lǐng)域?！霸u價”概念最早是由美國評價理論專家麥克？斯克里溫(MichaelScriven)在1969年的教育產(chǎn)品報告中首次引入的，當時是為了描述一個對教育產(chǎn)品設(shè)計的評價之評價，即對評價進行再評價的過程。國外學(xué)者對于元評價比較權(quán)威的解釋是：“元評價一般是指對評價技術(shù)的質(zhì)量及其結(jié)論進行評價的各種活動。元評價就是對于評價的評價。其目的是向原來的評價者們提出他們工作中存在的問題和片面觀點?！薄霸谥袊瑢υu價自身質(zhì)量問題的研究是從20世紀80年代中期開始的，中國學(xué)者把元評價又稱為“元評估”、“再評估”、“再評價”、“后設(shè)評價”等。元評價的重要意義在于：對評價活動自身的好壞進行反思，總結(jié)成功經(jīng)驗，糾正評價過程中的失誤和編差，有利于實現(xiàn)評價活動的科學(xué)化和規(guī)范化，從而提高評價活動的質(zhì)量或適用性?？梢哉J為，元評價是評價活動從純粹的實踐探索，逐步走向理性化、科學(xué)化和系統(tǒng)化的一種表現(xiàn)形式。如同對評價活動自身的關(guān)注一樣，可操作性和規(guī)范性正在成為元評價的核心話題。1981年、1988年美國教育評價標準聯(lián)合委員會先后公布了《教育方案、計劃、材料評價的專業(yè)標準》和《人事評價標準》。1991年由美國教育XX局資助的合作性教育數(shù)據(jù)收集和報告標準項目工作小組公布了《教育數(shù)據(jù)收集與報告標準》。1994年由美國教育評價標準合作委員會制定了“項目評價標準”，1995年由美國評價協(xié)會制定了“美國評價協(xié)會指導(dǎo)原則”，這是判斷項目評價質(zhì)量的兩個主要工具，它們之間相互協(xié)調(diào)和補充，共同作為項目評價元評價標準的基礎(chǔ)。1999年，丹尼爾?斯塔弗爾比姆在西密歇根大學(xué)評價中心以教育評價標準合作委員會的項目評價標準為基礎(chǔ)，開發(fā)了項目評價的元評價標準檢核表，包括四個標準，即實效性標準(utility)、可行性標準(Fea-sibility)、適合性標準(Propriety)和準確性標準(Ac-curacy)o元評價人員可以根據(jù)該檢核表和量化的公式，采用定量計算和定性描述相結(jié)合的方法，綜合得出科學(xué)、公正的元評價結(jié)論。關(guān)于元評價的內(nèi)容和方法，國內(nèi)外諸多學(xué)者進行了有益的探討。例如，王從雙等認為，以具體評價活動為對象的元評價主要有以下內(nèi)容和標準：一是對評價方案進行評價，包括評價對象和評價目的、評價標準、評價指標和權(quán)重分配、評價方法、信息收集和處理方法等幾個方面；二是對評價的組織實施進行評價，包括對評審專家組成員和評價組織工作的再評價；三是對評價的結(jié)果進行評價，包括評價結(jié)果被接受的程度，評價的信度與效度等。王敏提出內(nèi)容分析法、經(jīng)驗總結(jié)法、評價信度分析、評價效度分析等四種元評價方法。馬寧鋒等按評價活動中的各種要素來劃分元評價的對象，將元評價分為對評價主體的評價、對評價內(nèi)容的評價、對評價方法的評價、對評價結(jié)果的評價四種類型。錢存陽等用多元統(tǒng)計分析中的克倫巴赫(L.J.Cronbach)a法和因子分析來分別檢驗評價體系的信度和結(jié)構(gòu)效度。馮暉借鑒軟件工程中軟件測試的原理方法，提出了基于黑盒測試和白盒測試的元評價方法。楊毅等采用斯皮爾曼等級相關(guān)系數(shù)對科技進步綜合評價指標進行分類，確定強相關(guān)和弱相關(guān)指標，借以分析在指標設(shè)立方面存在的問題，優(yōu)化指標體系等。目前國內(nèi)關(guān)于“元評價”的研究文獻主要集中在教育評價領(lǐng)域，學(xué)術(shù)評價領(lǐng)域內(nèi)涉及“元評價”的極少。其主要原因可能在于：目前中國學(xué)術(shù)評價的理論和實踐發(fā)展，還遠遠沒有教育評價那樣成熟，還處于實踐摸索的初級階段，而缺少科學(xué)性和規(guī)范性。但近來隨著對學(xué)術(shù)進行量化考核引起的爭議越來越大，一些學(xué)者也開始認識到“元評價”之對于學(xué)術(shù)評價的重要意義。例如在“人文社會科學(xué)評價問題”學(xué)術(shù)研討會上，與會專家認為“與評價問題相關(guān)的還有‘對評價的評價'問題。由于普遍存在的評價程序不公正，使評價常常出現(xiàn)‘外行評內(nèi)行'現(xiàn)象，必須對評價者進行審定。要建立相互制約、彼此監(jiān)督的社會機制來解決對評價的再評價問題”。當前學(xué)術(shù)評價實踐中的“工具全上”思維十分流行，管理操作的觀點主導(dǎo)了評價實踐；對于評價主體、評價目的、評價標準認識不清，各種評價方法、指標任意套用、胡亂搬用，象把數(shù)量當水平（以發(fā)文數(shù)量評教授）、把投入當效益（科研項目和科研經(jīng)費的多少），或者籠而統(tǒng)之搞“綜合”的現(xiàn)象比較多；由于缺少科學(xué)和規(guī)范的理論指導(dǎo)，造成許多問題、爭議。因此與教育評價領(lǐng)域相比，當前中國學(xué)術(shù)評價體系也迫切需要建立一種元評價的機制。由于元評價是“對評價的評價”，即以評價活動自身為評價對象的。而根據(jù)對評價活動的構(gòu)成要素進行分析，一項完整的學(xué)術(shù)評價活動，應(yīng)該包括2個實體性要素--評價主體、評價對象，以及8個非實體性要素--評價目的、評價標準、評價內(nèi)容、評價程序、評價方法、評價指標、評價數(shù)據(jù)、評價結(jié)果等的參與；其中評價主體又分為委托方、評價方、被評價方三方。因此，可以考慮以評價活動的10個要素為線索，構(gòu)建學(xué)術(shù)評價的元評價體系和機制，例如對評價主體的元評價，對評價方法和指標的元評價，對評價標準和數(shù)據(jù)來源的元評價等。二、對評審專家的元評價評價方是貫穿整個評價活動的主要實施者?！霸u價”的主要目的是對評價方建立約束機制。如果說程序公正機制是著眼于建立一種基于“過程”的約束機制；那么“元評價”則主要著眼基于“結(jié)果”的約束機制。評價主體的各方相對獨立、分離，并處于一個委托/代理關(guān)系的鏈條中；這是實施“元評價”的基本邏輯前提。最重要的元評價機制，可能是對同行評審專家的評價。權(quán)利與責(zé)任對等，這是實現(xiàn)公正、公平的基本原則；然而現(xiàn)有的同行專家評審體制，基本上是有權(quán)、無責(zé)。以“雙盲”通訊評審為例，看起來似乎很公正，但這要建立在選對了真正的同行專家，且專家認真負責(zé)、人品高尚可信賴的假設(shè)基礎(chǔ)之上。同行專家手里握著無形的權(quán)力，掌握著學(xué)術(shù)成果、研究人員乃至重點學(xué)科、重點研究基地等的命運；但除了良心以外，對專家本人似乎沒有更多的約束--就算專家把通訊評審的工作交給他的學(xué)生來做，或者假公濟私、搞人情關(guān)系，或者潦草塞責(zé)、隨便應(yīng)付，既難以明眼看出，也難以采取懲罰措施，因為專家畢竟有權(quán)發(fā)表自己的任何意見。隨機遴選專家的規(guī)則只是降低了搞人情關(guān)系現(xiàn)象的可能，并不能解決專家是否稱職、是否有能力勝任、是否認真負責(zé)的問題。理論上，也可以公開評價過程與結(jié)果，如果評價結(jié)果不公，可以提出申訴，但也只是再另外找人復(fù)審而已，作弊的專家一般并不會有什么損失。因此，需要對評審專家建立一種事后的、基于信譽的約束機制。對同行評審專家的“元評價”，卜衛(wèi)等人提出了一系列方法，包括評估者整體信度分析、評委個人信度分析、評委嚴格度分析、評委個人一致性檢驗等。其基本思想是：信度分析的任務(wù)實質(zhì)上是測量評委間態(tài)度的一致性。而每個評委的信度，即是該評委與其它評委態(tài)度的一致程度。評委間對成果評價的一致性程度越高，就認為這個評委組信度越高--而這可以用統(tǒng)計學(xué)的方法來加以判別。評估者整體信度用肯德爾系數(shù)W或卡方值x2估計。評委個人信度用相關(guān)系數(shù)R或協(xié)方差COV估計。評委嚴格度用評委打分均值與總體均值之差來代表。如果評委對各成果打分未能保持基本一致的寬嚴程度，則判定該評委在某些成果打分上可能不公正；該評委對該成果的打分應(yīng)在匯總計分時去掉。筆者認為，除上述分析之外，對評審專家的專業(yè)水平、評審態(tài)度、信度等信息，還應(yīng)該納入一個可以在學(xué)術(shù)界共享的、保存有連續(xù)累積數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng)中，納入到一個信譽、信用管理機制當中。如果某評審專家有多次不良信用記錄，則他的評審權(quán)利就將被取消。這樣才能真正形成“元評價”的機制。三、第三方評價機制和對評價機構(gòu)的元評價評價機構(gòu)也是重要的評價主體。由于評價活動是由評價機構(gòu)具體組織，有關(guān)評審的操作流程、方法和指標一般都是由具體執(zhí)行評價的機構(gòu)來設(shè)計，評審專家也多數(shù)是由該機構(gòu)來聘請，所以評價機構(gòu)的專業(yè)水平如何、組織是否健全等，對于評價的科學(xué)性和公正性有極大的影響。對評價機構(gòu)進行元評價的主要障礙在于：當前作為“評價方”的評價機構(gòu)和作為“委托方”的科研行政管理部門基本上是兩位一體的，致使評價活動及其評價機構(gòu)沒有相對獨立性，妨礙元評價機制的發(fā)揮。對于評價機構(gòu)的“元評價”，首先需要市場化的、多元競爭的環(huán)境。發(fā)展獨立的“民間”第三方評價機構(gòu)，委托方基于這些機構(gòu)的專業(yè)水平、特長、信譽等，與其中某一機構(gòu)簽訂委托評價合同。委托方可以對這些中立的第三方評價機構(gòu)建立信用、信譽管理體系。只要有充分的市場競爭存在，市場本身就足以成為評價機構(gòu)的“元評價”機制，就會自動對評價機構(gòu)構(gòu)成強有力的約束。如前所述，掌握科學(xué)研究資源分配的科研行政管理部門，雖然在形式上是直接的評價委托方，但根據(jù)公共行政理念，它自身也是作為科學(xué)共同體或公眾的“代理人”而執(zhí)行其使命。因此，更有必要把“評價”的職能從科研行政管理部門中獨立，以接受社會監(jiān)督和保障公平。基于學(xué)術(shù)評價過程中行政干預(yù)因素過多，如搞“平衡”、講“照顧”等情況；許多學(xué)者建議，應(yīng)大力發(fā)展獨立的第三方評價機構(gòu)，許多評價活動可以交給這類機構(gòu)去做，既把科研行政管理部門從具體的評價組織活動中解放出來，又可以保證評價的獨立性、避免外來因素的干擾。按照市場經(jīng)濟邏輯，有壟斷就有不公，有競爭才有約束。應(yīng)該發(fā)展一批獨立的第三方評價機構(gòu)，以便相互形成競爭局面，而不是另設(shè)新的官僚機構(gòu)和形成新的壟斷?！肮俜健钡脑u價機構(gòu)和民間的評價機構(gòu)可以并存，并在一個評價行業(yè)協(xié)會的認證和監(jiān)管之下，做到相互監(jiān)督、相互競爭和行業(yè)自律。四、評價行業(yè)協(xié)會和評價活動的規(guī)范化如果第三方評價機構(gòu)比較繁榮、規(guī)模相對較大，還需要建立科學(xué)研究評價的行業(yè)協(xié)會，用以對科學(xué)研究的評價標準、評價辦法、評價指標、評價主體資格、評價程序等實施認證、規(guī)范等活動，進行行業(yè)信息披露、行業(yè)自律和監(jiān)管。評價行業(yè)協(xié)會可以代替所有委托方，對眾多第三方評價機構(gòu)及同行評審專家統(tǒng)一信用管理。與競爭性市場一樣，行業(yè)協(xié)會也是一種重要的元評價機制。對評價指標、評價方法、評價程序進行標準化、規(guī)范化，也是評價行業(yè)協(xié)會的一項重要“元評價”職能。目前國內(nèi)各單位學(xué)術(shù)評價往往各行其是，沒有統(tǒng)一的標準和操作規(guī)范；從許多關(guān)于“指標打分法”的研究來看，依靠個人主觀感覺、好惡設(shè)計評價指標體系的很多。一些評價體系試用的結(jié)果，缺少嚴格的實驗數(shù)據(jù)支撐，僅僅是感覺試用效果“良好”。這些指標體系、方法，沒有經(jīng)過長期、多次的試驗，很可能并不成熟，就在實踐中使用，難免會造成問題。而建立元評價機制，對這些評價程序、方法、指標形成穩(wěn)定的指導(dǎo)性規(guī)范，將有助于解決當前學(xué)術(shù)評價中出現(xiàn)的種種問題。當前國內(nèi)學(xué)術(shù)界的功利與浮躁情緒，不僅表現(xiàn)在評價指標的數(shù)量化導(dǎo)向上，也反映在評價方法、指標本身的形成程序上。蔣國華曾經(jīng)指出，早期的諸計量學(xué)量化指標主要是用于為了科學(xué)決策而開展的科學(xué)質(zhì)量和科學(xué)發(fā)展趨勢的研究，也就是宏觀層面的應(yīng)用；應(yīng)用于科學(xué)家個人成就的評估，是后來的事。在科學(xué)計量學(xué)的理論研究方面，西方發(fā)達國家自始至終走在前列；而在實踐運用科研計量評價方法方面，前東歐社會主義國家卻更加積極、激進，西方發(fā)達國家則顯得保守。至今為止，美國、英國仍然實行以同行評議為主的科學(xué)研究評價體制。筆者認為，西方發(fā)達國家這種“慢決策，快執(zhí)行”的謹慎態(tài)度，值得我們學(xué)習(xí)。謹慎的態(tài)度，要求有相應(yīng)的“元評價”機制。對于一切量化評價方法、指標，以及同行評議的方法、程序，或者如數(shù)據(jù)庫、網(wǎng)絡(luò)等現(xiàn)代化技術(shù)手段，不管新的或I日的，應(yīng)該持一種開放的、批判的態(tài)度。在不同的環(huán)境下，允許不同的評價方法、指標進行一定程度的試驗，但在得到公認、發(fā)展成熟之前，使用應(yīng)該謹慎。在不同的評價機構(gòu)、評價方法、評價指標、評價標準、評價程序之間，應(yīng)該存在一種開放、有序的競爭機制，最終讓優(yōu)異者在競爭中脫穎而出。這種開放的環(huán)境和態(tài)度，本身就是一種“元評價”機制。但與此同時，需要警惕“工具全上”思維和簡單的“拿來主義”，認真區(qū)分研究性評價和實踐性評價；注意實踐性評價的要求，對于任何應(yīng)用于大規(guī)模評價實踐的評價指標體系、評價方法、評價程序等，一定要經(jīng)過實驗的反復(fù)檢驗，證明比較成熟、可靠才行。為此，建立類似評價行業(yè)協(xié)會等有形的“元評價”體系也是極有必要的，其作用就在于對于各類評價機構(gòu)、評價專家、評價方法、評價程序等進行研究、管理、規(guī)范和認證，加強評價活動本身的規(guī)范性。五、 學(xué)術(shù)出版認證機制和對評價標準的元評價學(xué)術(shù)規(guī)范的普遍遵循是定量指標評價方法有效的邏輯前提。否則，即便采用看似客觀、公允的定量指標評價方法，也不能挽救學(xué)術(shù)評價的失效和學(xué)術(shù)研究的失范。大力加強學(xué)術(shù)規(guī)范，改善學(xué)術(shù)生態(tài)環(huán)境，不僅是科學(xué)研究事業(yè)健康繁榮發(fā)展的需要，同時也是