繼承與創(chuàng)新：美國2006年-2010年博士點評估述評

1、    繼承與創(chuàng)新美國2006年2010年博士點評估述評    摘要：美國最具影響的全國性博士點評估是國家研究委員會(nrc)組織開展的研究型博士點評估。最新一次評估結(jié)果于2010年9月底公布。與前兩次評估相比，此次評估對象的范圍更加廣泛，評估方法一改以往依靠同行主觀評定的做法，采取以客觀指標(biāo)表現(xiàn)為基礎(chǔ)的專家賦權(quán)法，評估結(jié)果也以“區(qū)間排名”的方式呈現(xiàn)。剖析美國nrc博士點評估，對我國改進(jìn)博士點評估、保障博士生培養(yǎng)質(zhì)量具有積極的參考價值。關(guān)鍵詞：博士點評估，評估方法，區(qū)間排名2010年9月28日，美國研究委員會(national research coun

2、cil，nrc)公布了最新一次美國研究型博士點評估(assessment of researchdoctorate programs)的結(jié)果，成為高等教育界關(guān)注的焦點。nrc開展的博士點評估已進(jìn)行了三次，第一次評估始于1982年，由于評估對象廣泛覆蓋了當(dāng)時各學(xué)科的研究型博士點，開創(chuàng)了全國性博士點質(zhì)量評估的先河，并且改變了過去評估單純依賴同行主觀判斷的做法，開始引入客觀指標(biāo)，所以1982年的評估引起了很大反響，被譽(yù)為是“曾經(jīng)做過的最大、最好、最昂貴、最有想法、最令人信服、開展得最為細(xì)致的學(xué)術(shù)質(zhì)量報告”。隨著美國博士教育在規(guī)模和結(jié)構(gòu)上不斷發(fā)生變化，交叉和新興學(xué)科迅速發(fā)展，以及評估理念和方法不斷改進(jìn)

3、，nrc又先后于1993年1995年和2006年2010年開展了第二次和第三次全國性博士點評估。本文將分析闡述第三次博士點評估的過程、對象和方法，并與前兩次評估進(jìn)行對比，探討nrc博士點評估的特點和趨勢，以期對我國開展博士點評估活動提供參考。一、2006年2010年博士點評估的過程1.對1993年1995年評估的反思和總結(jié)nrc的第二次博士點評估于1995年完成，評估結(jié)果公布后被廣泛引用和討論。學(xué)者們尤其關(guān)注評估方法中存在的不足，紛紛探討提出可能的改進(jìn)措施。休·格拉曼和南茜·戴蒙德在他們的著作美國研究型大學(xué)崛起中探討了nrc第二次評估的方法，認(rèn)為對博士點的同行聲譽(yù)評估易受機(jī)

4、構(gòu)規(guī)模的影響，并忽略了大學(xué)的進(jìn)步和提高。他們還在高等教育紀(jì)事上發(fā)文，認(rèn)為在學(xué)科專業(yè)性和跨學(xué)科性提高的背景下，評估者沒有對博士點進(jìn)行聲譽(yù)評估的足夠能力，他們建議下一次評估應(yīng)將關(guān)鍵性的定量指標(biāo)放在與聲譽(yù)指標(biāo)同等重要的位置上。與此同時，nrc自身也對1993年1995年評估積極進(jìn)行了反思總結(jié)，為更好地開展下一次評估做準(zhǔn)備。共同參與完成1995年評估報告的機(jī)構(gòu)和專家學(xué)者研討后認(rèn)為，1993年1995年評估的優(yōu)點是：評估的對象涵蓋全面，方法高度透明，結(jié)果被廣泛利用，整體上保持了與1982年評估的連續(xù)性。但是，評估也存在缺點和不足，具體包括：精確的數(shù)值排序不恰當(dāng)?shù)貜?qiáng)調(diào)了博士點之間的質(zhì)量差異，對研究生教育成

5、效的聲譽(yù)評估未能區(qū)分研究聲譽(yù)和教育質(zhì)量，過于強(qiáng)調(diào)學(xué)者學(xué)術(shù)水平的聲譽(yù)評估而易受到“光環(huán)效應(yīng)”和“規(guī)模效應(yīng)”的影響，被評估的學(xué)科劃分方法過時或不恰當(dāng)?shù)取?.方法研究與準(zhǔn)備在反思和總結(jié)1993年1995年評估的基礎(chǔ)上，nrc博士點評估的方法審查委員會在2002年4月舉行了第一次會議。委員會決定成立四個專家小組，分別在學(xué)科分類、定量評估、學(xué)習(xí)過程和結(jié)果評估、聲譽(yù)評估和數(shù)據(jù)呈現(xiàn)四方面有針對性地開展研究工作，并在南加州大學(xué)、佛羅里達(dá)州立大學(xué)、耶魯大學(xué)等八所不同特點的大學(xué)開展試驗性調(diào)查和評估。四個專家組經(jīng)研究討論提出了許多有針對性的改進(jìn)建議，于2003年匯總形成了方法研究報告研究型博士點評估：方法研究。此后

6、經(jīng)過進(jìn)一步調(diào)整修訂，確定了2006年評估的參評學(xué)科分類、問卷內(nèi)容和評估方法。3.評估流程nrc的第三次博士點質(zhì)量評估于2006年啟動實施，分為評估動員、問卷發(fā)放、資料收集、資料分析和結(jié)果發(fā)布共五個環(huán)節(jié)。2006年11月，nrc主席拉爾夫·西塞羅恩向美國各大學(xué)校長發(fā)出開展第三次全國性博士點評估的通知，要求各大學(xué)對評估工作提供相應(yīng)的經(jīng)費支持。此外，每個參與評估的大學(xué)還要任命一名機(jī)構(gòu)協(xié)調(diào)員，負(fù)責(zé)收集、匯總和提交本校博士點的信息。本次評估的調(diào)查問卷分為“機(jī)構(gòu)問卷”、“博士點問卷”、“教師問卷”、“學(xué)生問卷”和“評級問卷”共五類。與前兩次評估不同，本次評估第一次使用“學(xué)生問卷”，但僅在物理學(xué)、

7、英語、化學(xué)工程、經(jīng)濟(jì)學(xué)和神經(jīng)科學(xué)這五個學(xué)科開展調(diào)查。2008年初，nrc完成了全部數(shù)據(jù)資料的收集和核實工作。由于工作量大，歷經(jīng)了兩年多漫長的資料分析過程，nrc第三次博士點質(zhì)量評估的結(jié)果于2010年9月28日在其官方網(wǎng)站上公布。二、2006年2010年博士點評估的對象nrc博士點評估首先挑選被評估的學(xué)科，然后按不同的學(xué)科對各校的博士點進(jìn)行評估。表1給出了nrc三次博士點評估的參評學(xué)科和參評博士點情況。在選擇參評的學(xué)科時，三次評估主要以過去幾年來該學(xué)科授予的博士學(xué)位數(shù)量作為標(biāo)準(zhǔn)，并盡可能涵蓋上一次評估涉及的學(xué)科。自1995年以來，以生命科學(xué)和信息科學(xué)為代表的新興學(xué)科和交叉學(xué)科發(fā)展迅速，這些學(xué)科培

8、養(yǎng)的博士生數(shù)量也明顯增多，因此2006年2010年評估在保留上一次參評學(xué)科的基礎(chǔ)上，增加了農(nóng)業(yè)、公共衛(wèi)生、公共管理和通信科學(xué)等方面的學(xué)科。2006年2010年評估的學(xué)科達(dá)62個，比第一次和第二次評估分別多了30個和21個。此外，為了了解新興學(xué)科的發(fā)展態(tài)勢，除被評估的62個學(xué)科外，2006年2010年評估還提供了生物信息學(xué)、納米科學(xué)、計算機(jī)工程等14個新興學(xué)科博士點的部分評估指標(biāo)的數(shù)據(jù)。在參評博士點的選擇上，三次評估均以博士點授予的博士學(xué)位數(shù)量作為標(biāo)準(zhǔn)，一般要求參評博士點在特定時間段內(nèi)平均每年至少授予1個博士學(xué)位。此次評估共有5004個博士點參評，比第一次和第二次評估分別多了2305個和1370

9、個，共涉及221所大學(xué)。表1 nrc三次博士點評估的參評標(biāo)準(zhǔn)和評估對象的數(shù)量1982年評估1993年-1995年評估2006年-2010年評估學(xué)科參評標(biāo)準(zhǔn)生物科學(xué)、工學(xué)、人文藝術(shù)、理學(xué)、社會科學(xué)五個領(lǐng)域內(nèi)的32個學(xué)科；學(xué)科選擇的主要依據(jù)是1976年以來該學(xué)科在全國培養(yǎng)的博士生總量；各學(xué)科沒有統(tǒng)一數(shù)量標(biāo)準(zhǔn)。保留1982年評估的32個參評學(xué)科；另外增加的學(xué)科應(yīng)在1986-1990年間至少在50個博士點授予了500個以上的博士學(xué)位。參評的學(xué)科應(yīng)至少在25所大學(xué)存在博士點，并在2001至2005學(xué)年至少授予500個博士學(xué)位；以前評估中包括的學(xué)科即使達(dá)不到上述定量標(biāo)準(zhǔn)，也被包括在內(nèi)。參評數(shù)量32個41個

10、62個博士點參評標(biāo)準(zhǔn)參評的博士點在1976-1978年授予的博士學(xué)位數(shù)量需達(dá)到本學(xué)科的規(guī)定數(shù)量；或者在1980年授予了規(guī)定數(shù)量三分之一的博士學(xué)位。參評的博士點在1988-1990年至少授予3個博士學(xué)位，并在1991年至少授予1個；或者在1982年評估中的評分不低于2。參評的博士點在2001至2005學(xué)年至少授予了五個博士學(xué)位。參評數(shù)量2699個3634個5004個涉及大學(xué)數(shù)228所274所221所資料來源：national research council (1982). an assessment of research-doctorate programs in the united st

11、ates; national research council (1995). research-doctorate programs in the united states: continuity and change; national research council (2010). a data-based assessment of research-doctorate programs in the united states.三、2006年2010年博士點評估的方法表2給出了nrc三次博士點評估的方法，可以看出，前兩次評估采用的是同行主觀評價即聲譽(yù)調(diào)查的方法，同時提供被評估博士

12、點的客觀指標(biāo)數(shù)據(jù)。而2006年2010年評估的方法發(fā)生了重大變化，實行的是以客觀表現(xiàn)指標(biāo)為基礎(chǔ)的同行專家賦權(quán)法，同行專家的意見不再被用于直接評估各個博士點的質(zhì)量，而是被用作給反映博士點質(zhì)量的各項客觀指標(biāo)賦予權(quán)重，將客觀指標(biāo)加權(quán)后獲得博士點的排名。表2 nrc三次博士點評估的方法1982年評估1993年-1995年評估2006年-2010年評估方法概述以同行主觀評估為主；同時提供客觀指標(biāo)。以同行主觀評估為主；提供更多的客觀指標(biāo)。以客觀指標(biāo)為基礎(chǔ)，同行評估結(jié)果不再直接用于排名。同行評價對博士點師資的學(xué)術(shù)質(zhì)量、培養(yǎng)研究型學(xué)者或科學(xué)家的有效性、過去五年博士點質(zhì)量的改進(jìn)狀況、評估者對博士點同行教師工作熟

13、悉程度這4個方面進(jìn)行評價。對博士點師資學(xué)術(shù)質(zhì)量、培養(yǎng)研究型學(xué)者或科學(xué)家的有效性、過去五年博士點質(zhì)量的改進(jìn)狀況這3個方面進(jìn)行評價。同行主觀評價不再直接用于排名，而是用于對影響博士點質(zhì)量的各項客觀指標(biāo)賦予權(quán)重?？陀^指標(biāo)共12項指標(biāo)，如在校生數(shù)、教師數(shù)量、畢業(yè)生數(shù)量等反映博士點規(guī)模的指標(biāo)；學(xué)生受資助比例、獲得博士學(xué)位年限、不同就業(yè)去向的比例等反映博士生特征的指標(biāo)，受經(jīng)費資助的教師比例、發(fā)表文章數(shù)量等反映教師特征的指標(biāo)。客觀指標(biāo)的統(tǒng)計還考慮了學(xué)科的差異，如人文藝術(shù)領(lǐng)域內(nèi)的學(xué)科就沒有統(tǒng)計研究項目和學(xué)術(shù)產(chǎn)出等指標(biāo)。共17項指標(biāo)，在1982年評估的基礎(chǔ)上有所增加，引入了發(fā)表論文的基尼系數(shù)、論文引用率的基尼系

14、數(shù)、在校女學(xué)生數(shù)、博士學(xué)位獲得者的女性比例和少數(shù)族裔比例等新指標(biāo)，表明本次評估更多考慮了“多樣性”。共20項指標(biāo)，評估指標(biāo)更加注重“人均表現(xiàn)”和“多樣性”。如出版物的人均發(fā)表量、平均引用率、女性和少數(shù)族裔教師的比例、女性和少數(shù)族裔學(xué)生的比例等。此外，反映博士生質(zhì)量的指標(biāo)有所增加，如新生gre成績等。結(jié)果呈現(xiàn)評估結(jié)果提供了每個博士點各項指標(biāo)的原始測量值和標(biāo)準(zhǔn)化處理值；各學(xué)科的博士點根據(jù)所屬院校的字母順序排列。評估結(jié)果提供了每個博士點各項指標(biāo)的原始測量值，提供了各學(xué)科內(nèi)每個博士點師資學(xué)術(shù)質(zhì)量、培養(yǎng)研究型學(xué)者或科學(xué)家的有效性等若干指標(biāo)的數(shù)值名次；各學(xué)科的博士點按師資學(xué)術(shù)質(zhì)量指標(biāo)的數(shù)值名次排列。評估結(jié)

15、果提供了每個博士點各項指標(biāo)的原始測量值，各學(xué)科內(nèi)的博士點根據(jù)所屬院校的字母順序排列，不再按具體指標(biāo)的名次排序，給出兩種反映博士點整體質(zhì)量的區(qū)間排名。資料來源：national research council (1982). an assessment of research-doctorate programs in the united states; national research council (1995). research-doctorate programs in the united states: continuity and change; national rese

16、arch council (2010). a data-based assessment of research-doctorate programs in the united states.注：2006年-2010年評估的客觀指標(biāo)共21項，但由于“學(xué)生發(fā)表論著的數(shù)量”這一指標(biāo)缺乏數(shù)據(jù)來源，該指標(biāo)最后未用于實際評估。2006年2010年評估中，nrc采用了兩種不同的方法來獲取各項客觀指標(biāo)的權(quán)重。第一種方法是通過“教師問卷”直接調(diào)查各項指標(biāo)的權(quán)重。發(fā)放的“教師問卷”列出了反映博士點質(zhì)量的“教師特征”、“博士生特征”和“博士點特征”共3項一級指標(biāo)以及“發(fā)表論文平均引用率”、“新生gre平均成績”

17、、“留學(xué)生比例”等21項二級指標(biāo)。問卷要求被調(diào)查者對3項一級指標(biāo)的權(quán)重進(jìn)行評分，3項權(quán)重分?jǐn)?shù)的加和總分為100，分值越高說明該指標(biāo)對本專業(yè)博士點的質(zhì)量越為重要。nrc還要求被調(diào)查者分別在每項一級指標(biāo)中選擇對本專業(yè)博士點質(zhì)量較為重要的二級指標(biāo)(最多選4項)，選出的指標(biāo)各計1分；如果選出的指標(biāo)超過2項，被調(diào)查者需要再從中選出最重要的2項，這些二級指標(biāo)則各計2分?；诖?，每個被調(diào)查者評定的二級指標(biāo)權(quán)重就是用他所賦予的相應(yīng)一級指標(biāo)的權(quán)重乘以該二級指標(biāo)的得分。將某一學(xué)科的被調(diào)查者所評定的相應(yīng)二級指標(biāo)權(quán)重計算平均值，就得到了該學(xué)科的21項指標(biāo)的權(quán)重，即以調(diào)查為基礎(chǔ)獲得的指標(biāo)權(quán)重(surveybased w

18、eights，s權(quán)重)。第二種設(shè)定各項指標(biāo)權(quán)重的方法是對博士點的主觀評分和客觀數(shù)據(jù)進(jìn)行回歸分析。發(fā)放的“評級問卷”上列有被調(diào)查者各自學(xué)科內(nèi)的最多15個博士點，問卷還提供了這些博士點的教師名單和客觀數(shù)據(jù)，要求被調(diào)查者對這些博士點進(jìn)行6分制的評定。將主觀評定結(jié)果與對應(yīng)博士點的客觀數(shù)據(jù)進(jìn)行回歸就可以確定各項指標(biāo)的權(quán)重，即以回歸分析為基礎(chǔ)獲得的指標(biāo)權(quán)重(regressionbased weights，r權(quán)重)。2006年2010年評估利用以上兩種方法獲得的指標(biāo)權(quán)重開發(fā)了不同的博士點質(zhì)量排名，即用每個學(xué)科各項指標(biāo)的s權(quán)重和r權(quán)重，分別與該學(xué)科內(nèi)博士點的對應(yīng)數(shù)據(jù)相結(jié)合，計算出這些博士點的s評級和r評級，進(jìn)

19、而用于“區(qū)間排名”?！皡^(qū)間排名”的方法主要是通過反復(fù)抽取500次一半的被調(diào)查者樣本進(jìn)行權(quán)重計算，得到每個博士點的500個s評級和r評級。隨后將每個博士點的500個s評級和r評級按大小排序，去掉5%的最高和5%的最低評級，所得到的中間90%的評級區(qū)域決定了該博士點的r排名區(qū)間和s排名區(qū)間。本次評估的排名不再按評估結(jié)果的數(shù)值排序，而是給出每個博士點的區(qū)間排名，這樣可以反映質(zhì)量評估和排名的內(nèi)在不確定性，降低對較小名次差距的誤讀和過度關(guān)注。四、nrc博士點評估的特點和趨勢通過分析nrc 2006年2010年博士點評估的過程、對象和方法，以及與前兩次評估的對比，我們可以發(fā)現(xiàn)，nrc博士點評估呈現(xiàn)了以下特

20、征和趨勢：評估方法更為客觀。同行專家評估一直是學(xué)術(shù)評估的最重要手段，nrc的前兩次評估也都以對同行專家的調(diào)查作為最終排名的依據(jù)，而被評估博士點的客觀數(shù)據(jù)僅作為參考信息提供。但是在2006年2010年的評估中，為克服同行評估的主觀性和不確定性，nrc將專家意見僅用于對各項指標(biāo)賦予權(quán)重，最后的博士點等級評定完全基于各博士點的客觀指標(biāo)數(shù)據(jù)。應(yīng)當(dāng)說，這一改革體現(xiàn)了評價理念發(fā)展的最新趨勢，即同行評估在評價單項學(xué)術(shù)成果或者是單個學(xué)者時比較有效，而對于相對復(fù)雜的機(jī)構(gòu)評估而言，同行評估的準(zhǔn)確性存在一定的問題，需要更重視客觀數(shù)據(jù)的使用?？陀^指標(biāo)有所增加、排名方法趨于復(fù)雜。nrc的前兩次博士點評估均收集了參評博士

21、點的十多項客觀指標(biāo)數(shù)據(jù)，在2006年2010年評估中，除了以往收集的指標(biāo)外，nrc還特別增加了反映博士生情況的指標(biāo)，如新生的gre成績、留學(xué)生比例等，nrc還嘗試統(tǒng)計了博士生的論著發(fā)表情況，但由于缺乏數(shù)據(jù)來源，該指標(biāo)最終未被使用。此外，2006年2010年評估在排名方法上也力求創(chuàng)新，采用反復(fù)抽樣產(chǎn)生“區(qū)間排名”的方法來克服簡單數(shù)值排名對博士點之間質(zhì)量差異的放大。評估透明度很高。2006年2010年評估的整個評估過程完全透明，所有的通知、管理文件、會議記錄以及評估委員會的名單和簡歷都公布在nrc的評估網(wǎng)站上。更為重要的是，不僅是評估結(jié)果報告，所有參評博士點的客觀指標(biāo)信息都向公眾開放，為大學(xué)管理者

22、、院校研究人員、學(xué)者了解美國博士教育的宏觀情況和各個博士點的具體特征、開展深度的政策研究和學(xué)術(shù)研究提供了便利。總之，2006年2010年評估很好地改進(jìn)了上次評估的不足和缺陷，很好地適應(yīng)了美國博士教育和學(xué)科的發(fā)展，很好地體現(xiàn)了以客觀定量為特點的主流評估理念。美國nrc博士點評估的高度透明、更加注重客觀指標(biāo)而非主觀評定、更加注重人均指標(biāo)而非規(guī)模指標(biāo)、積極探索評估和排名方法、注重專家參與等特點和趨勢對于改進(jìn)我國博士點評估具有很好的借鑒價值。注釋：national research council, “an assessment of research-doctorate programs in the united state (1982),” 2010-10-26.張存群，沈文欽.美國博士點質(zhì)量評估方法的歷史演變j.高等教育研究，2010，(7)：71-76.jeremiah p. ostriker, charlotte v. kuh, “assessing research-doctorate program