英國(guó)科研評(píng)價(jià)模式：由專業(yè)評(píng)價(jià)人員進(jìn)行評(píng)價(jià)資料

1、英國(guó)科研評(píng)價(jià)模式：由專業(yè)評(píng)價(jià)人員進(jìn)行評(píng)價(jià) 英國(guó)科研評(píng)價(jià)模式：由專業(yè)評(píng)價(jià)人員進(jìn)行評(píng)價(jià) 所謂“英國(guó)模式”，指的是由專業(yè)評(píng)價(jià)人員實(shí)施評(píng)價(jià)工作，即在 評(píng)價(jià)政府科研資助政策以及研究與發(fā)展的實(shí)施情況、產(chǎn)生的成果和影響時(shí)，評(píng) 價(jià)發(fā)起者只參與評(píng)價(jià)方案設(shè)計(jì)工作，具體評(píng)價(jià)業(yè)務(wù)，包括綜合評(píng)價(jià)結(jié)論和建議 等等，一般完全委托給專業(yè)評(píng)價(jià)人員。專業(yè)評(píng)價(jià)人員通常具有很深的資歷、豐 富的評(píng)價(jià)經(jīng)驗(yàn)、一絲不茍的學(xué)術(shù)態(tài)度，他們提供的結(jié)論通常能獲得行政部門和 學(xué)術(shù)界的認(rèn)可，在政府制定政策過程中發(fā)揮了重要作用。 英國(guó)的專業(yè)評(píng)價(jià) 人員指的是： (1) 政府部門內(nèi)部的評(píng)價(jià)小組； (2) 科學(xué)政策研究機(jī)構(gòu)，例如 PREST和SPRl中的有關(guān)人

2、員2(注：PREST英國(guó)Man Chester大學(xué)的工程、 科學(xué)與技術(shù)政策研究所；SPRU英國(guó)Sussex大學(xué)的科學(xué)政策研究中心。它們都 是世界知名的科技政策研究機(jī)構(gòu)。)，它們除開展評(píng)價(jià)理論與方法論研究之 外，還從事實(shí)際評(píng)價(jià)工作； (3) 一些專門為公共部門服務(wù)的私人咨詢公司。需要 指出的是，參與評(píng)價(jià)的私人咨詢公司的數(shù)量非常有限，其原因在于科研評(píng)價(jià)工 作不僅是一項(xiàng)知識(shí)性很強(qiáng)的活動(dòng)，需要各方面的知識(shí)投入，而且需要保持絕對(duì) 中立，深受評(píng)價(jià)發(fā)起者和被評(píng)價(jià)方的信賴。這兩個(gè)因素阻礙了私人咨詢機(jī)構(gòu)大 量進(jìn)入評(píng)價(jià)領(lǐng)域。一、英國(guó)開展評(píng)價(jià)工作的政策背景 英國(guó)政府重 視科研評(píng)價(jià)工作的主要原因在于： (1) 政府削

3、減了研究投入； (2) 財(cái)政部 (Treasury) 和內(nèi)閣辦公室 (Cabinet Office) 要求所有公共管理領(lǐng)域證明公共資 金的價(jià)值和交賬 (accountability) ； (3) 政府科研資助部門必須對(duì)前景光明的新 興科技領(lǐng)域作出迅速反應(yīng)； (4) 政府比以往更強(qiáng)調(diào)科學(xué)的實(shí)用性、技術(shù)轉(zhuǎn)移和交 叉學(xué)科研究，并為此嘗試?yán)眯履Ｊ浇M織科學(xué)研究，諸如資助機(jī)構(gòu)聯(lián)合啟動(dòng)研 究計(jì)劃、支持產(chǎn)學(xué)合作研究和參與國(guó)際合作研究計(jì)劃，因此需要把評(píng)價(jià)納入政 策制定過程，通過評(píng)價(jià)來(lái)闡明復(fù)雜、疑難問題，例如不同資助模式的恰當(dāng)程 度、資助產(chǎn)生的經(jīng)濟(jì)效益。面對(duì)上述 4 個(gè)方面的壓力，許多政府科研管理部門 和機(jī)構(gòu)建

4、立了內(nèi)部評(píng)估小組，小組一般由210名全時(shí)的工作人員組成，本文 將他們稱之為內(nèi)部專業(yè)評(píng)價(jià)人員。小組在一位負(fù)有政策制定職責(zé)的高級(jí)公務(wù)員 領(lǐng)導(dǎo)下開展工作，這樣做有利于把科研評(píng)價(jià)與政策制定結(jié)合起來(lái)。盡管政 府 R & D 管理部門面臨相同的壓力，但是它們并沒有采用統(tǒng)一的評(píng)價(jià)框架，而 是根據(jù)各自的需求和特征組織自己的評(píng)價(jià)工作 3 (注： CABINET OFFICE, Annual review of Government Funded Research and Developme nt，HMSO,L on do n,1990。在這種情況下，1986年內(nèi)閣辦公室成立 了組織協(xié)調(diào)各部門評(píng)價(jià)工作的評(píng)估辦公室

5、 4 (注：目前，由于各個(gè)部門充分認(rèn) 識(shí)到了評(píng)價(jià)工作的重要性，不再需要一個(gè)專門機(jī)構(gòu)推動(dòng)此項(xiàng)工作，因而取消了 該辦公室。)。評(píng)估辦公室既不從事實(shí)際評(píng)價(jià)工作，也不規(guī)定應(yīng)該如何開展評(píng) 價(jià)工作，僅僅制定了一份用戶友好的評(píng)價(jià)指南，用于促進(jìn)內(nèi)部評(píng)價(jià)專家之間的 思想交流，傳播政府評(píng)價(jià)工作理念 5 (注： CABINET OFFICE, Research and Development Assessment:a Guide for Custorners and Managers of R & D ,HMSO,London,1989)。評(píng)估辦公室認(rèn)為科研評(píng)價(jià)工作應(yīng)該為科研管理 與決策提供信息，是政策制定過程中不

6、可缺少的組成部分。這就要求內(nèi)部評(píng)價(jià) 小組不僅要組織評(píng)價(jià)工作，還要研究、構(gòu)建科研績(jī)效、影響和投入等定量指 標(biāo)。例如，研究理事會(huì)的內(nèi)部評(píng)價(jià)小組特別重視參與研究績(jī)效指標(biāo)的擬訂和內(nèi) 部管理信息的采集與利用，將它們應(yīng)用于研究計(jì)劃的制定、預(yù)算分配、研究管 理以及事后評(píng)價(jià)工作。再如，貿(mào)工部 (DTI) 的評(píng)價(jià)辦公室不僅僅采集和綜合定量 指標(biāo)，而且更強(qiáng)調(diào)主動(dòng)參與 R & D 計(jì)劃的制定及其詳細(xì)評(píng)價(jià)。二、內(nèi) 部評(píng)價(jià)小組在科研評(píng)價(jià)與管理中的作用 1. 在應(yīng)用研究的評(píng)價(jià)與管理中 的作用 1980年，DTI在其研究與技術(shù)政策司成立了研究與技術(shù)評(píng)估小組， 主要從事應(yīng)用研究項(xiàng)目的評(píng)價(jià)。 1 984年，評(píng)估活動(dòng)延伸到科研政

7、策制定和實(shí)施 的全過程，即從制定研究計(jì)劃到監(jiān)控、評(píng)價(jià)研究計(jì)劃實(shí)施情況與產(chǎn)生的影響。 目前，由于 DTI 不再支持與市場(chǎng)聯(lián)系緊密的活動(dòng)，而是直接支持競(jìng)爭(zhēng)前研究、 支持大學(xué)與工業(yè)界的合作和技術(shù)轉(zhuǎn)移以及國(guó)際合作計(jì)劃，使 DTI 必須改進(jìn)其研 究資助計(jì)劃與管理系統(tǒng)，評(píng)估新的資助模式產(chǎn)生的影響，為相關(guān)問題提供政策 建議。為此，DTI制定了 ROAM文件，以它為框架開展管理與評(píng)價(jià)工作6 (注： L.Georghiou & E.Davis(eds),Evaluation of R & D-A Policymakers Perspective,Proceedings of the International

8、Workshop on Assessment and Evaluation,HMSO,London,1988 )。ROAM由計(jì)劃中各個(gè)要素的首字母構(gòu) 成：基本理由(Rationale)、目標(biāo)(Objectives)、鑒定(Appraisal)、監(jiān)控 (Monitoring) 和評(píng)價(jià) (Evaluation) 。它是提交研究計(jì)劃申請(qǐng)和評(píng)價(jià)受資助計(jì)劃 的標(biāo)準(zhǔn)格式，既有利于申請(qǐng)人從上述 5 個(gè)方面考慮如何提出申請(qǐng)計(jì)劃，亦有利 于評(píng)價(jià)人員對(duì)照這 5個(gè)方面的內(nèi)容評(píng)價(jià)計(jì)劃實(shí)施情況。(1) 理由部分必須闡 明需要政府資助的原因，其中主要是經(jīng)濟(jì)方面的原因，即如果沒有政府介入工 業(yè)界將不會(huì)開展此項(xiàng)研究。(2)

9、目標(biāo)包括投入目標(biāo)和技術(shù)目標(biāo)，它們最好可 以測(cè)度，同時(shí)還要列出難以量化和測(cè)度的目標(biāo)，諸如計(jì)劃可望產(chǎn)生的社會(huì)效益 與經(jīng)濟(jì)效益。這樣做有利于在計(jì)劃執(zhí)行期間或計(jì)劃完成以后參照目標(biāo)衡量計(jì)劃 執(zhí)行的成功程度。 (3) 鑒定部分要詳細(xì)說(shuō)明單個(gè)項(xiàng)目組成計(jì)劃的方式，列出 計(jì)劃涵蓋的技術(shù)領(lǐng)域、遴選項(xiàng)目的標(biāo)準(zhǔn)和機(jī)制。(4)監(jiān)控指檢查受資助計(jì)劃 的進(jìn)展所采用的系統(tǒng)和程序。必須追蹤單個(gè)項(xiàng)目和整個(gè)計(jì)劃的管理情況，如果 出現(xiàn)了問題，或者計(jì)劃的目標(biāo)不恰當(dāng)，都可以迅速作出調(diào)整。(5)評(píng)價(jià)部分 不必列出詳細(xì)評(píng)價(jià)計(jì)劃，只需要針對(duì)相關(guān)政策信息的需求，擬訂出開展評(píng)價(jià)工 作的框架，并說(shuō)明通過評(píng)價(jià)可以明確解決的問題。從DIT評(píng)價(jià)工作的實(shí)踐

10、 來(lái)看，ROAM至少發(fā)揮了以下幾方面的作用：(1)為DTI的評(píng)估專家提供了一種 評(píng)價(jià)思想； (2) 通過監(jiān)控和事后評(píng)價(jià)活動(dòng)，把有關(guān)信息反饋給管理人員，可以提 高他們識(shí)別、理解問題的水平，從而促進(jìn)了“不斷學(xué)習(xí)和提高”這樣一種文化 氛圍的形成；(3)按ROAM格式書寫的記錄，是評(píng)估小組獲取管理信息資源的一 種重要渠道，這些信息既可以用于 DTI 制定科研資助政策，也可以用于設(shè)計(jì)評(píng) 價(jià)方案； (4) 對(duì)事后評(píng)價(jià)工作而言，可以對(duì)照當(dāng)初實(shí)施計(jì)劃的理由和計(jì)劃擬定的 目標(biāo)來(lái)考察計(jì)劃實(shí)施情況。2. 在基礎(chǔ)研究評(píng)價(jià)與管理中的作用農(nóng) 業(yè)與食品研究理事會(huì)(AFRC)、自然環(huán)境研究理事會(huì)(NERC率先在內(nèi)部成立了評(píng)

11、價(jià)小組，由負(fù)有政策制定職責(zé)的官員監(jiān)督小組的評(píng)價(jià)工作，還指令一名高級(jí)官 員負(fù)責(zé)把評(píng)價(jià)與資助機(jī)構(gòu)的其他活動(dòng)整合起來(lái)。這種線性管理結(jié)構(gòu)有助于確保 評(píng)價(jià)獲得理事會(huì)高層的認(rèn)可。為了實(shí)時(shí)監(jiān)控和評(píng)價(jià)資助項(xiàng)目，內(nèi)部評(píng)價(jià)小 組制定了績(jī)效指標(biāo)，建立了相關(guān)數(shù)據(jù)庫(kù)。例如，AFRC于 1972年率先建立了項(xiàng) 目管理數(shù)據(jù)庫(kù)。目前，該數(shù)據(jù)庫(kù)除了收錄經(jīng)費(fèi)與人員投入、研究計(jì)劃的構(gòu)成等 數(shù)據(jù)項(xiàng)之外，還包括定性和定量研究績(jī)效指標(biāo)，其中定性指標(biāo)來(lái)源于項(xiàng)目立項(xiàng) 時(shí)對(duì)項(xiàng)目和人員的評(píng)價(jià)，定量指標(biāo)是出版物和引用情況。評(píng)價(jià)小組要定期向 AFRC勺有關(guān)管理部門通告這些數(shù)據(jù)，使它們能充分利用這些信息支持同行專家 對(duì)AFRC勺資助工作及所屬研究機(jī)構(gòu)

12、進(jìn)行評(píng)價(jià)。同樣，NERC勺內(nèi)部評(píng)估小組要 提供財(cái)務(wù)和管理信息，開展一系列文獻(xiàn)計(jì)量研究，參照當(dāng)初設(shè)定的目標(biāo)分析科 學(xué)家和研究機(jī)構(gòu)的產(chǎn)出。分析研究結(jié)果也用于支持同行專家的評(píng)價(jià)工作。 科學(xué)與工程研究理事會(huì)（SERC的做法與上述兩個(gè)研究理事會(huì)不同：沒有自己的 研究投入和績(jī)效指標(biāo)數(shù)據(jù)庫(kù)；重視研究計(jì)劃的評(píng)價(jià)，而不是項(xiàng)目評(píng)價(jià)；傾向于 雇傭外部專家深入分析定性問題，而不是單純依靠?jī)?nèi)部小組支持的同行評(píng)議 7 （注：SER（肩負(fù)與其他部門共同資助英國(guó)的戰(zhàn)略研究、聯(lián)合資助產(chǎn)學(xué)合作計(jì) 劃、資助英國(guó)參與國(guó)際科學(xué)合作。很明顯，評(píng)價(jià)這些資助工作非常復(fù)雜，不能 單純依靠同行評(píng)議方法。）。但是，目前 SERGE同教育與科學(xué)部以

13、及其它研究 理事會(huì)合作建立一套測(cè)度產(chǎn)出的方法和指標(biāo)，使之適用于整個(gè)科學(xué)（不包括國(guó) 防科學(xué)）的評(píng)價(jià)。此外，SERC還肩負(fù)培養(yǎng)科學(xué)家的重任，因而需要記錄博士學(xué) 位論文和博士后論文這類數(shù)據(jù)，用于評(píng)價(jià)人才培養(yǎng)活動(dòng)的實(shí)施情況。由于 內(nèi)部評(píng)估小組不僅積極主動(dòng)地在理事會(huì)內(nèi)部，而且還向廣大共同體交流自己的 工作，因此，它們提供的定量指標(biāo)獲得了廣泛的認(rèn)同。通過把特定評(píng)價(jià)業(yè)務(wù)、 評(píng)價(jià)支持研究和對(duì)理事會(huì)工作人員進(jìn)行定量評(píng)價(jià)方法的培訓(xùn)工作委托給從事科 研評(píng)價(jià)理論研究的學(xué)術(shù)組織，評(píng)估小組與評(píng)價(jià)理論研究專家形成了密切的相互 作用。這樣，政策制定部門可以迅速了解、掌握評(píng)價(jià)方面的專門知識(shí)，在實(shí)際 應(yīng)用時(shí)按照每個(gè)組織的需求狀況

14、進(jìn)一步發(fā)展和完善這些知識(shí)。各個(gè)研究理事會(huì) 還精選了部分獲資助的研究人員、同行評(píng)議專家和視察小組（visiting group） 成員參與開發(fā)定量指標(biāo)，例如向他們咨詢衡量成功的標(biāo)準(zhǔn)和指標(biāo)，確保任何新 穎的方法都可以成為強(qiáng)有力的評(píng)價(jià)證據(jù)。盡管如此，內(nèi)部評(píng)估小組提供的研究 投入和績(jī)效指標(biāo)信息是在研究理事會(huì)內(nèi)部發(fā)掘的，它們只可能適應(yīng)于某類研 究，因此，需要把它們整合到利用同行評(píng)議方式進(jìn)行的評(píng)價(jià)活動(dòng)中?？?之，在英國(guó)基礎(chǔ)研究資助機(jī)構(gòu)中，內(nèi)部專家對(duì)評(píng)價(jià)工作和政策制定工作起支持 作用，它們是英國(guó)專業(yè)科研評(píng)價(jià)隊(duì)伍中不可缺少的組成部分。盡管同行評(píng)議仍 是評(píng)估基礎(chǔ)研究最令人滿意的方式，不可能被內(nèi)部專家評(píng)價(jià)方式替代

15、，但可以 肯定的是，評(píng)價(jià)小組能提供極有價(jià)值的政策信息，能為同行評(píng)議過程提供許多 證據(jù)。三、利用外部專業(yè)評(píng)價(jià)人員的方式1. 實(shí)時(shí)評(píng)價(jià)大型 R & D計(jì)劃英國(guó)科技管理部門認(rèn)為，外部評(píng)價(jià)人員的評(píng)價(jià)比內(nèi)部評(píng)價(jià)人員的 評(píng)價(jià)更深入，更具有可靠性和公正性，因此，大型R&D計(jì)劃的評(píng)價(jià)一般都委 托給外部評(píng)價(jià)人員。例如，英國(guó)國(guó)家信息技術(shù)計(jì)劃 8 （注：該計(jì)劃由 3 個(gè)政府 機(jī)構(gòu)共同資助（DTI、國(guó)防部和SERC，涉及公司之間在競(jìng)爭(zhēng)前的合作和公司 與大學(xué)的合作。）（ Alvey 計(jì)劃）的實(shí)時(shí)評(píng)價(jià)就是由外部評(píng)價(jià)人員完成的。 在開始實(shí)施 Alvey 計(jì)劃時(shí)， DTI 決定在計(jì)劃運(yùn)行過程中要開展實(shí)時(shí)評(píng)價(jià)，通過 把評(píng)價(jià)結(jié)論

16、立即反饋到計(jì)劃運(yùn)行過程中，提前發(fā)現(xiàn)問題并作出糾正。 Alvey 計(jì) 劃的實(shí)時(shí)評(píng)價(jià)包括兩個(gè)部分：由 SPRI評(píng)價(jià)計(jì)劃的適宜性和影響，由 PRES評(píng)價(jià) 計(jì)劃的結(jié)構(gòu)和組織。這兩個(gè)機(jī)構(gòu)的科技政策理論研究人員要把評(píng)價(jià)過程中開發(fā) 的專業(yè)評(píng)價(jià)知識(shí)傳授給 DTI 的評(píng)估小組和參與評(píng)價(jià)工作的 DTI 經(jīng)濟(jì)學(xué)家，使他 們掌握最新評(píng)價(jià)專業(yè)知識(shí)和經(jīng)驗(yàn)。2. 制定評(píng)價(jià)手冊(cè) 利用外部專業(yè) 評(píng)價(jià)人員制定評(píng)價(jià)手冊(cè)是一種一次性使用外部專家的方式，它不同于 DTI 和一 些研究理事會(huì)采取的內(nèi)部與外部評(píng)價(jià)專家之間需要長(zhǎng)期維持聯(lián)系的方式。 英國(guó)健康和安全執(zhí)行部門（HSE）就采用這種評(píng)價(jià)方式。通過委托評(píng)價(jià)理論研究人 員起草詳細(xì)的評(píng)價(jià)手

17、冊(cè)，指導(dǎo)內(nèi)部評(píng)價(jià)人員對(duì)研究活動(dòng)進(jìn)行事后評(píng)價(jià) 9 （注： PREST,Protocol for the Evaluation of HSE Research,Manchester,1988 ）。 評(píng)價(jià)理論研究人員在起草評(píng)價(jià)手冊(cè)時(shí)，不僅要充分反映HSE的研究人員、研究 計(jì)劃制定人員以及研究成果用戶(包括 HSE的其他部門、外部研究人員和工業(yè) 界)的意見，而且還要提供評(píng)價(jià)案例，供內(nèi)部評(píng)價(jià)人員參考。由于在起草評(píng)價(jià) 手冊(cè)時(shí)調(diào)查了受評(píng)價(jià)活動(dòng)影響者的意見，HSE的評(píng)價(jià)工作也獲得了很高的可信 度。3. 外部專業(yè)評(píng)價(jià)人員和同行小組相結(jié)合的評(píng)價(jià)模式經(jīng)濟(jì)和社 會(huì)科學(xué)研究理事會(huì)(ESRC采用外部專業(yè)評(píng)價(jià)人員和同行小組

18、相結(jié)合的評(píng)價(jià)模 式，對(duì)它管理的研究計(jì)劃、研究中心和培訓(xùn)計(jì)劃做非常詳細(xì)的定性評(píng)價(jià)。其 中，專業(yè)評(píng)價(jià)人員發(fā)揮兩方面的作用：采集研究績(jī)效方面的定量數(shù)據(jù)，指導(dǎo)評(píng) 價(jià)。例如，ESR(在評(píng)價(jià)地方研究實(shí)驗(yàn)室時(shí)，專業(yè)評(píng)價(jià)人員要與實(shí)驗(yàn)室的管理者 共同商定評(píng)價(jià)的范圍，然后向同行評(píng)議小組提供詳細(xì)的評(píng)價(jià)證據(jù)。這些證據(jù)不 僅僅涉及研究質(zhì)量，還包含管理問題、相關(guān)性和影響。評(píng)價(jià)座談會(huì)、同行小組 可根據(jù)這些證據(jù)作出判斷。從表面上看，這種評(píng)價(jià)模式和歐共體的小組評(píng)價(jià)模 式之間沒有明顯差別，但是，這種評(píng)價(jià)模式中的評(píng)價(jià)專家在確定評(píng)價(jià)內(nèi)容和評(píng) 價(jià)實(shí)施方面比歐共體評(píng)價(jià)模式中的評(píng)價(jià)人員有更多的控制權(quán)。四、結(jié) 論 1. 充分發(fā)揮內(nèi)部評(píng)估組織和外部評(píng)價(jià)專家的作用，使兩者相互密切配 合，對(duì)科研評(píng)價(jià)工作非常重要 內(nèi)部評(píng)價(jià)專家的產(chǎn)生和發(fā)展來(lái)源于政府行政 管理工作的需要，他們一般有制定研究計(jì)劃、管理研究、為同行評(píng)議提供支持 以及委托和實(shí)施評(píng)價(jià)的職責(zé)。由于他們熟知自己部門的使命、了解評(píng)價(jià)的需求 和目標(biāo)，因此在設(shè)計(jì)評(píng)價(jià)方案的過程中，他們的意見起了決定性作用。但是， 評(píng)價(jià)是一項(xiàng)專業(yè)性和學(xué)術(shù)性極強(qiáng)的工作，不僅需要豐富的調(diào)查、分析和解決問 題的能力，還要通曉管