英國科研評價(jià)模式：由專業(yè)評價(jià)人員進(jìn)行評價(jià)資料

1、英國科研評價(jià)模式：由專業(yè)評價(jià)人員進(jìn)行評價(jià) 英國科研評價(jià)模式：由專業(yè)評價(jià)人員進(jìn)行評價(jià) 所謂“英國模式”，指的是由專業(yè)評價(jià)人員實(shí)施評價(jià)工作，即在 評價(jià)政府科研資助政策以及研究與發(fā)展的實(shí)施情況、產(chǎn)生的成果和影響時(shí)，評 價(jià)發(fā)起者只參與評價(jià)方案設(shè)計(jì)工作，具體評價(jià)業(yè)務(wù)，包括綜合評價(jià)結(jié)論和建議 等等，一般完全委托給專業(yè)評價(jià)人員。專業(yè)評價(jià)人員通常具有很深的資歷、豐 富的評價(jià)經(jīng)驗(yàn)、一絲不茍的學(xué)術(shù)態(tài)度，他們提供的結(jié)論通常能獲得行政部門和 學(xué)術(shù)界的認(rèn)可，在政府制定政策過程中發(fā)揮了重要作用。 英國的專業(yè)評價(jià) 人員指的是： (1) 政府部門內(nèi)部的評價(jià)小組； (2) 科學(xué)政策研究機(jī)構(gòu)，例如 PREST和SPRl中的有關(guān)人

2、員2(注：PREST英國Man Chester大學(xué)的工程、 科學(xué)與技術(shù)政策研究所；SPRU英國Sussex大學(xué)的科學(xué)政策研究中心。它們都 是世界知名的科技政策研究機(jī)構(gòu)。)，它們除開展評價(jià)理論與方法論研究之 外，還從事實(shí)際評價(jià)工作； (3) 一些專門為公共部門服務(wù)的私人咨詢公司。需要 指出的是，參與評價(jià)的私人咨詢公司的數(shù)量非常有限，其原因在于科研評價(jià)工 作不僅是一項(xiàng)知識性很強(qiáng)的活動，需要各方面的知識投入，而且需要保持絕對 中立，深受評價(jià)發(fā)起者和被評價(jià)方的信賴。這兩個(gè)因素阻礙了私人咨詢機(jī)構(gòu)大 量進(jìn)入評價(jià)領(lǐng)域。一、英國開展評價(jià)工作的政策背景 英國政府重 視科研評價(jià)工作的主要原因在于： (1) 政府削

3、減了研究投入； (2) 財(cái)政部 (Treasury) 和內(nèi)閣辦公室 (Cabinet Office) 要求所有公共管理領(lǐng)域證明公共資 金的價(jià)值和交賬 (accountability) ； (3) 政府科研資助部門必須對前景光明的新 興科技領(lǐng)域作出迅速反應(yīng)； (4) 政府比以往更強(qiáng)調(diào)科學(xué)的實(shí)用性、技術(shù)轉(zhuǎn)移和交 叉學(xué)科研究，并為此嘗試?yán)眯履Ｊ浇M織科學(xué)研究，諸如資助機(jī)構(gòu)聯(lián)合啟動研 究計(jì)劃、支持產(chǎn)學(xué)合作研究和參與國際合作研究計(jì)劃，因此需要把評價(jià)納入政 策制定過程，通過評價(jià)來闡明復(fù)雜、疑難問題，例如不同資助模式的恰當(dāng)程 度、資助產(chǎn)生的經(jīng)濟(jì)效益。面對上述 4 個(gè)方面的壓力，許多政府科研管理部門 和機(jī)構(gòu)建

4、立了內(nèi)部評估小組，小組一般由210名全時(shí)的工作人員組成，本文 將他們稱之為內(nèi)部專業(yè)評價(jià)人員。小組在一位負(fù)有政策制定職責(zé)的高級公務(wù)員 領(lǐng)導(dǎo)下開展工作，這樣做有利于把科研評價(jià)與政策制定結(jié)合起來。盡管政 府 R & D 管理部門面臨相同的壓力，但是它們并沒有采用統(tǒng)一的評價(jià)框架，而 是根據(jù)各自的需求和特征組織自己的評價(jià)工作 3 (注： CABINET OFFICE, Annual review of Government Funded Research and Developme nt，HMSO,L on do n,1990。在這種情況下，1986年內(nèi)閣辦公室成立 了組織協(xié)調(diào)各部門評價(jià)工作的評估辦公室

5、 4 (注：目前，由于各個(gè)部門充分認(rèn) 識到了評價(jià)工作的重要性，不再需要一個(gè)專門機(jī)構(gòu)推動此項(xiàng)工作，因而取消了 該辦公室。)。評估辦公室既不從事實(shí)際評價(jià)工作，也不規(guī)定應(yīng)該如何開展評 價(jià)工作，僅僅制定了一份用戶友好的評價(jià)指南，用于促進(jìn)內(nèi)部評價(jià)專家之間的 思想交流，傳播政府評價(jià)工作理念 5 (注： CABINET OFFICE, Research and Development Assessment:a Guide for Custorners and Managers of R & D ,HMSO,London,1989)。評估辦公室認(rèn)為科研評價(jià)工作應(yīng)該為科研管理 與決策提供信息，是政策制定過程中不

6、可缺少的組成部分。這就要求內(nèi)部評價(jià) 小組不僅要組織評價(jià)工作，還要研究、構(gòu)建科研績效、影響和投入等定量指 標(biāo)。例如，研究理事會的內(nèi)部評價(jià)小組特別重視參與研究績效指標(biāo)的擬訂和內(nèi) 部管理信息的采集與利用，將它們應(yīng)用于研究計(jì)劃的制定、預(yù)算分配、研究管 理以及事后評價(jià)工作。再如，貿(mào)工部 (DTI) 的評價(jià)辦公室不僅僅采集和綜合定量 指標(biāo)，而且更強(qiáng)調(diào)主動參與 R & D 計(jì)劃的制定及其詳細(xì)評價(jià)。二、內(nèi) 部評價(jià)小組在科研評價(jià)與管理中的作用 1. 在應(yīng)用研究的評價(jià)與管理中 的作用 1980年，DTI在其研究與技術(shù)政策司成立了研究與技術(shù)評估小組， 主要從事應(yīng)用研究項(xiàng)目的評價(jià)。 1 984年，評估活動延伸到科研政

7、策制定和實(shí)施 的全過程，即從制定研究計(jì)劃到監(jiān)控、評價(jià)研究計(jì)劃實(shí)施情況與產(chǎn)生的影響。 目前，由于 DTI 不再支持與市場聯(lián)系緊密的活動，而是直接支持競爭前研究、 支持大學(xué)與工業(yè)界的合作和技術(shù)轉(zhuǎn)移以及國際合作計(jì)劃，使 DTI 必須改進(jìn)其研 究資助計(jì)劃與管理系統(tǒng)，評估新的資助模式產(chǎn)生的影響，為相關(guān)問題提供政策 建議。為此，DTI制定了 ROAM文件，以它為框架開展管理與評價(jià)工作6 (注： L.Georghiou & E.Davis(eds),Evaluation of R & D-A Policymakers Perspective,Proceedings of the International

8、Workshop on Assessment and Evaluation,HMSO,London,1988 )。ROAM由計(jì)劃中各個(gè)要素的首字母構(gòu) 成：基本理由(Rationale)、目標(biāo)(Objectives)、鑒定(Appraisal)、監(jiān)控 (Monitoring) 和評價(jià) (Evaluation) 。它是提交研究計(jì)劃申請和評價(jià)受資助計(jì)劃 的標(biāo)準(zhǔn)格式，既有利于申請人從上述 5 個(gè)方面考慮如何提出申請計(jì)劃，亦有利 于評價(jià)人員對照這 5個(gè)方面的內(nèi)容評價(jià)計(jì)劃實(shí)施情況。(1) 理由部分必須闡 明需要政府資助的原因，其中主要是經(jīng)濟(jì)方面的原因，即如果沒有政府介入工 業(yè)界將不會開展此項(xiàng)研究。(2)

9、目標(biāo)包括投入目標(biāo)和技術(shù)目標(biāo)，它們最好可 以測度，同時(shí)還要列出難以量化和測度的目標(biāo)，諸如計(jì)劃可望產(chǎn)生的社會效益 與經(jīng)濟(jì)效益。這樣做有利于在計(jì)劃執(zhí)行期間或計(jì)劃完成以后參照目標(biāo)衡量計(jì)劃 執(zhí)行的成功程度。 (3) 鑒定部分要詳細(xì)說明單個(gè)項(xiàng)目組成計(jì)劃的方式，列出 計(jì)劃涵蓋的技術(shù)領(lǐng)域、遴選項(xiàng)目的標(biāo)準(zhǔn)和機(jī)制。(4)監(jiān)控指檢查受資助計(jì)劃 的進(jìn)展所采用的系統(tǒng)和程序。必須追蹤單個(gè)項(xiàng)目和整個(gè)計(jì)劃的管理情況，如果 出現(xiàn)了問題，或者計(jì)劃的目標(biāo)不恰當(dāng)，都可以迅速作出調(diào)整。(5)評價(jià)部分 不必列出詳細(xì)評價(jià)計(jì)劃，只需要針對相關(guān)政策信息的需求，擬訂出開展評價(jià)工 作的框架，并說明通過評價(jià)可以明確解決的問題。從DIT評價(jià)工作的實(shí)踐

10、 來看，ROAM至少發(fā)揮了以下幾方面的作用：(1)為DTI的評估專家提供了一種 評價(jià)思想； (2) 通過監(jiān)控和事后評價(jià)活動，把有關(guān)信息反饋給管理人員，可以提 高他們識別、理解問題的水平，從而促進(jìn)了“不斷學(xué)習(xí)和提高”這樣一種文化 氛圍的形成；(3)按ROAM格式書寫的記錄，是評估小組獲取管理信息資源的一 種重要渠道，這些信息既可以用于 DTI 制定科研資助政策，也可以用于設(shè)計(jì)評 價(jià)方案； (4) 對事后評價(jià)工作而言，可以對照當(dāng)初實(shí)施計(jì)劃的理由和計(jì)劃擬定的 目標(biāo)來考察計(jì)劃實(shí)施情況。2. 在基礎(chǔ)研究評價(jià)與管理中的作用農(nóng) 業(yè)與食品研究理事會(AFRC)、自然環(huán)境研究理事會(NERC率先在內(nèi)部成立了評

11、價(jià)小組，由負(fù)有政策制定職責(zé)的官員監(jiān)督小組的評價(jià)工作，還指令一名高級官 員負(fù)責(zé)把評價(jià)與資助機(jī)構(gòu)的其他活動整合起來。這種線性管理結(jié)構(gòu)有助于確保 評價(jià)獲得理事會高層的認(rèn)可。為了實(shí)時(shí)監(jiān)控和評價(jià)資助項(xiàng)目，內(nèi)部評價(jià)小 組制定了績效指標(biāo)，建立了相關(guān)數(shù)據(jù)庫。例如，AFRC于 1972年率先建立了項(xiàng) 目管理數(shù)據(jù)庫。目前，該數(shù)據(jù)庫除了收錄經(jīng)費(fèi)與人員投入、研究計(jì)劃的構(gòu)成等 數(shù)據(jù)項(xiàng)之外，還包括定性和定量研究績效指標(biāo)，其中定性指標(biāo)來源于項(xiàng)目立項(xiàng) 時(shí)對項(xiàng)目和人員的評價(jià)，定量指標(biāo)是出版物和引用情況。評價(jià)小組要定期向 AFRC勺有關(guān)管理部門通告這些數(shù)據(jù)，使它們能充分利用這些信息支持同行專家 對AFRC勺資助工作及所屬研究機(jī)構(gòu)

12、進(jìn)行評價(jià)。同樣，NERC勺內(nèi)部評估小組要 提供財(cái)務(wù)和管理信息，開展一系列文獻(xiàn)計(jì)量研究，參照當(dāng)初設(shè)定的目標(biāo)分析科 學(xué)家和研究機(jī)構(gòu)的產(chǎn)出。分析研究結(jié)果也用于支持同行專家的評價(jià)工作。 科學(xué)與工程研究理事會（SERC的做法與上述兩個(gè)研究理事會不同：沒有自己的 研究投入和績效指標(biāo)數(shù)據(jù)庫；重視研究計(jì)劃的評價(jià)，而不是項(xiàng)目評價(jià)；傾向于 雇傭外部專家深入分析定性問題，而不是單純依靠內(nèi)部小組支持的同行評議 7 （注：SER（肩負(fù)與其他部門共同資助英國的戰(zhàn)略研究、聯(lián)合資助產(chǎn)學(xué)合作計(jì) 劃、資助英國參與國際科學(xué)合作。很明顯，評價(jià)這些資助工作非常復(fù)雜，不能 單純依靠同行評議方法。）。但是，目前 SERGE同教育與科學(xué)部以

13、及其它研究 理事會合作建立一套測度產(chǎn)出的方法和指標(biāo)，使之適用于整個(gè)科學(xué)（不包括國 防科學(xué)）的評價(jià)。此外，SERC還肩負(fù)培養(yǎng)科學(xué)家的重任，因而需要記錄博士學(xué) 位論文和博士后論文這類數(shù)據(jù)，用于評價(jià)人才培養(yǎng)活動的實(shí)施情況。由于 內(nèi)部評估小組不僅積極主動地在理事會內(nèi)部，而且還向廣大共同體交流自己的 工作，因此，它們提供的定量指標(biāo)獲得了廣泛的認(rèn)同。通過把特定評價(jià)業(yè)務(wù)、 評價(jià)支持研究和對理事會工作人員進(jìn)行定量評價(jià)方法的培訓(xùn)工作委托給從事科 研評價(jià)理論研究的學(xué)術(shù)組織，評估小組與評價(jià)理論研究專家形成了密切的相互 作用。這樣，政策制定部門可以迅速了解、掌握評價(jià)方面的專門知識，在實(shí)際 應(yīng)用時(shí)按照每個(gè)組織的需求狀況

14、進(jìn)一步發(fā)展和完善這些知識。各個(gè)研究理事會 還精選了部分獲資助的研究人員、同行評議專家和視察小組（visiting group） 成員參與開發(fā)定量指標(biāo)，例如向他們咨詢衡量成功的標(biāo)準(zhǔn)和指標(biāo)，確保任何新 穎的方法都可以成為強(qiáng)有力的評價(jià)證據(jù)。盡管如此，內(nèi)部評估小組提供的研究 投入和績效指標(biāo)信息是在研究理事會內(nèi)部發(fā)掘的，它們只可能適應(yīng)于某類研 究，因此，需要把它們整合到利用同行評議方式進(jìn)行的評價(jià)活動中?？?之，在英國基礎(chǔ)研究資助機(jī)構(gòu)中，內(nèi)部專家對評價(jià)工作和政策制定工作起支持 作用，它們是英國專業(yè)科研評價(jià)隊(duì)伍中不可缺少的組成部分。盡管同行評議仍 是評估基礎(chǔ)研究最令人滿意的方式，不可能被內(nèi)部專家評價(jià)方式替代

15、，但可以 肯定的是，評價(jià)小組能提供極有價(jià)值的政策信息，能為同行評議過程提供許多 證據(jù)。三、利用外部專業(yè)評價(jià)人員的方式1. 實(shí)時(shí)評價(jià)大型 R & D計(jì)劃英國科技管理部門認(rèn)為，外部評價(jià)人員的評價(jià)比內(nèi)部評價(jià)人員的 評價(jià)更深入，更具有可靠性和公正性，因此，大型R&D計(jì)劃的評價(jià)一般都委 托給外部評價(jià)人員。例如，英國國家信息技術(shù)計(jì)劃 8 （注：該計(jì)劃由 3 個(gè)政府 機(jī)構(gòu)共同資助（DTI、國防部和SERC，涉及公司之間在競爭前的合作和公司 與大學(xué)的合作。）（ Alvey 計(jì)劃）的實(shí)時(shí)評價(jià)就是由外部評價(jià)人員完成的。 在開始實(shí)施 Alvey 計(jì)劃時(shí)， DTI 決定在計(jì)劃運(yùn)行過程中要開展實(shí)時(shí)評價(jià)，通過 把評價(jià)結(jié)論

16、立即反饋到計(jì)劃運(yùn)行過程中，提前發(fā)現(xiàn)問題并作出糾正。 Alvey 計(jì) 劃的實(shí)時(shí)評價(jià)包括兩個(gè)部分：由 SPRI評價(jià)計(jì)劃的適宜性和影響，由 PRES評價(jià) 計(jì)劃的結(jié)構(gòu)和組織。這兩個(gè)機(jī)構(gòu)的科技政策理論研究人員要把評價(jià)過程中開發(fā) 的專業(yè)評價(jià)知識傳授給 DTI 的評估小組和參與評價(jià)工作的 DTI 經(jīng)濟(jì)學(xué)家，使他 們掌握最新評價(jià)專業(yè)知識和經(jīng)驗(yàn)。2. 制定評價(jià)手冊 利用外部專業(yè) 評價(jià)人員制定評價(jià)手冊是一種一次性使用外部專家的方式，它不同于 DTI 和一 些研究理事會采取的內(nèi)部與外部評價(jià)專家之間需要長期維持聯(lián)系的方式。 英國健康和安全執(zhí)行部門（HSE）就采用這種評價(jià)方式。通過委托評價(jià)理論研究人 員起草詳細(xì)的評價(jià)手

17、冊，指導(dǎo)內(nèi)部評價(jià)人員對研究活動進(jìn)行事后評價(jià) 9 （注： PREST,Protocol for the Evaluation of HSE Research,Manchester,1988 ）。 評價(jià)理論研究人員在起草評價(jià)手冊時(shí)，不僅要充分反映HSE的研究人員、研究 計(jì)劃制定人員以及研究成果用戶(包括 HSE的其他部門、外部研究人員和工業(yè) 界)的意見，而且還要提供評價(jià)案例，供內(nèi)部評價(jià)人員參考。由于在起草評價(jià) 手冊時(shí)調(diào)查了受評價(jià)活動影響者的意見，HSE的評價(jià)工作也獲得了很高的可信 度。3. 外部專業(yè)評價(jià)人員和同行小組相結(jié)合的評價(jià)模式經(jīng)濟(jì)和社 會科學(xué)研究理事會(ESRC采用外部專業(yè)評價(jià)人員和同行小組

18、相結(jié)合的評價(jià)模 式，對它管理的研究計(jì)劃、研究中心和培訓(xùn)計(jì)劃做非常詳細(xì)的定性評價(jià)。其 中，專業(yè)評價(jià)人員發(fā)揮兩方面的作用：采集研究績效方面的定量數(shù)據(jù)，指導(dǎo)評 價(jià)。例如，ESR(在評價(jià)地方研究實(shí)驗(yàn)室時(shí)，專業(yè)評價(jià)人員要與實(shí)驗(yàn)室的管理者 共同商定評價(jià)的范圍，然后向同行評議小組提供詳細(xì)的評價(jià)證據(jù)。這些證據(jù)不 僅僅涉及研究質(zhì)量，還包含管理問題、相關(guān)性和影響。評價(jià)座談會、同行小組 可根據(jù)這些證據(jù)作出判斷。從表面上看，這種評價(jià)模式和歐共體的小組評價(jià)模 式之間沒有明顯差別，但是，這種評價(jià)模式中的評價(jià)專家在確定評價(jià)內(nèi)容和評 價(jià)實(shí)施方面比歐共體評價(jià)模式中的評價(jià)人員有更多的控制權(quán)。四、結(jié) 論 1. 充分發(fā)揮內(nèi)部評估組織和外部評價(jià)專家的作用，使兩者相互密切配 合，對科研評價(jià)工作非常重要 內(nèi)部評價(jià)專家的產(chǎn)生和發(fā)展來源于政府行政 管理工作的需要，他們一般有制定研究計(jì)劃、管理研究、為同行評議提供支持 以及委托和實(shí)施評價(jià)的職責(zé)。由于他們熟知自己部門的使命、了解評價(jià)的需求 和目標(biāo)，因此在設(shè)計(jì)評價(jià)方案的過程中，他們的意見起了決定性作用。但是， 評價(jià)是一項(xiàng)專業(yè)性和學(xué)術(shù)性極強(qiáng)的工作，不僅需要豐富的調(diào)查、分析和解決問 題的能力，還要通曉管