公共科研機(jī)構(gòu)績效評價測度體系研究

1、第24卷第2期2006年4月科學(xué)學(xué)研究Studies in Science of Science Vol .24No .2Ap r .2006文章編號:1003-2053(200602-0243-06公共科研機(jī)構(gòu)績效評價測度體系研究李強(qiáng),韓伯棠,翟立新(北京理工大學(xué)管理與經(jīng)濟(jì)學(xué)院,北京100081摘要:科技過程的復(fù)雜性和創(chuàng)新產(chǎn)出的多樣性使得對公共科研機(jī)構(gòu)投入與產(chǎn)出的量度難以全面而完整,因而到目前為止依然沒有形成一套相對標(biāo)準(zhǔn)化并普遍適用的測度體系。為此,本文引入結(jié)構(gòu)化方法和經(jīng)濟(jì)學(xué)模型,建立了基于知識生產(chǎn)函數(shù)的公共科研機(jī)構(gòu)績效評價測度體系。應(yīng)用結(jié)果表明,該測度體系通過量度實際產(chǎn)出和計算理論平均產(chǎn)出

2、,實現(xiàn)了同類研究機(jī)構(gòu)間橫向與縱向的比較,為公共科研機(jī)構(gòu)的績效管理提供了更為科學(xué)的定量依據(jù)。關(guān)鍵詞:過程結(jié)果方法;知識生產(chǎn)函數(shù);公共科研機(jī)構(gòu);績效評價中圖分類號:G311文獻(xiàn)標(biāo)識碼:A收稿日期:2005-07-05;修回日期:2005-09-02基金項目:國家自然科學(xué)基金委主任基金資助項目(L0225002;科技部基礎(chǔ)性工作專項(2002DEA30043作者簡介:李強(qiáng)(1970-,男,河北人,博士研究生,研究方向為產(chǎn)業(yè)經(jīng)濟(jì)。韓伯棠(1949-,男,上海人,教授、博士生導(dǎo)師,研究方向為戰(zhàn)略管理。翟立新(1970-,男,山東德州人,博士研究生,研究方向為戰(zhàn)略管理。公共科研機(jī)構(gòu)績效評價是指科技管理部門

3、采用適當(dāng)?shù)脑u判標(biāo)準(zhǔn)和評價方法,對其產(chǎn)出的數(shù)量和質(zhì)量、對經(jīng)濟(jì)社會的作用與貢獻(xiàn)等方面進(jìn)行綜合評判,以促進(jìn)公共科研機(jī)構(gòu)更好地完成組織使命。但科技人才的專業(yè)性、科技過程的復(fù)雜性、創(chuàng)新產(chǎn)出的多樣性等問題使得對科研機(jī)構(gòu)投入與產(chǎn)出的量度難以全面而完整,因而到目前為止依然沒有形成一套國際認(rèn)可、相對標(biāo)準(zhǔn)化、可普遍適用于公共科研機(jī)構(gòu)績效評價的測度體系。公共科研機(jī)構(gòu)績效評價應(yīng)建立在統(tǒng)一的概念和標(biāo)準(zhǔn)的結(jié)構(gòu)基礎(chǔ)之上,能夠真實地反映科技實力和科技活動,不論是在投入、過程、產(chǎn)出,或是它們影響的任一環(huán)節(jié)。為此,本文在對現(xiàn)有績效評價測度和科學(xué)技術(shù)指標(biāo)進(jìn)行分析比較的基礎(chǔ)上,根據(jù)我國公共科研機(jī)構(gòu)績效評價的實際需要,嘗試運用結(jié)構(gòu)化的

4、過程結(jié)果方法對科技投入與產(chǎn)出指標(biāo)進(jìn)行分類和界定并建立基于知識生產(chǎn)函數(shù)的測度體系,從而為公共科研機(jī)構(gòu)的績效管理提供更為科學(xué)的定量依據(jù)。1測度體系分類公共科研機(jī)構(gòu)績效評價的測度體系是對公共科研機(jī)構(gòu)績效的定量或定性描述。郝瑟(Hauser J.和凱特茲(Katz Metrics 在綜合有關(guān)文獻(xiàn)的基礎(chǔ)上,將比較關(guān)鍵的測度體系按照創(chuàng)新過程的不同階段和方面,分為科技投入及投資測度體系、經(jīng)濟(jì)財務(wù)測度體系、商業(yè)和經(jīng)營測度體系、文獻(xiàn)計量測度體系、專利、同行評議測度體系、組織的戰(zhàn)略和管理測度體系、成果階段測度體系八個大類1;埃利澤蓋斯勒(Eliezer Geisler 則指出,對于科研機(jī)構(gòu)而言,科學(xué)技術(shù)的測度體系

5、主要包括文獻(xiàn)計量指標(biāo)、專利指標(biāo)、共詞分析、經(jīng)濟(jì)指標(biāo)、同行評議和投入產(chǎn)出指標(biāo)六種類型的評價指標(biāo),如表1所示2。其他學(xué)者也曾試圖建立對科學(xué)技術(shù)測度的分類方法,但除科學(xué)技術(shù)投入測度、文獻(xiàn)計量學(xué)測度和專利測度外,學(xué)者們很難認(rèn)同其他測度體系,如盧柯能格羅諾(Luukkonen Gr o 2no w 認(rèn)為不存在一套標(biāo)準(zhǔn)化的可作為常規(guī)應(yīng)用的評價方法3,而NBER 在一份研究報告中指出,并沒有可以直接量度研發(fā)成果的測度體系4。表1科學(xué)技術(shù)測度體系的種類及測量特征測度體系的種類測量工具的效用特征準(zhǔn)確性精確性重復(fù)性容差偏差靈敏度測量層次文獻(xiàn)計量指標(biāo)高高高高高高定量專利指標(biāo)高高高高高高定量共詞分析低高低低高低大部分

6、定性經(jīng)濟(jì)指標(biāo)低高低高高低大部分定性同行評議高高低低高低定性投入產(chǎn)出指標(biāo)高高高低高高定量和定性科學(xué)學(xué)研究第24卷2科學(xué)技術(shù)指標(biāo)當(dāng)今世界各國采用眾多的指標(biāo)來測度科學(xué)和技術(shù)發(fā)展的不同層面,這些指標(biāo)通稱為科學(xué)技術(shù)指標(biāo)。目前比較有影響的科學(xué)技術(shù)指標(biāo)有主要科學(xué)技術(shù)指標(biāo)(MSTI5、科學(xué)與工程指標(biāo)6、世界競爭力指標(biāo)(WCY7、以及量度科學(xué)、技術(shù)與發(fā)明創(chuàng)造的新科學(xué)指標(biāo)8等。盡管早在1978年聯(lián)合國教科文組織就提出關(guān)于科學(xué)和技術(shù)統(tǒng)計的國際標(biāo)準(zhǔn)化建議書1978,但正如它在2002年的一份報告中所指出的“建立在工業(yè)化國家經(jīng)驗之上的指標(biāo),有時甚至對較貧窮的國家的科技政策和管理實踐會起負(fù)面作用”,因而到目前為止依然沒有

7、形成一套國際通用的核心指標(biāo),如表2所示。表2現(xiàn)有科學(xué)技術(shù)指標(biāo)比較指標(biāo)類別測度優(yōu)勢缺陷研發(fā)投入投入科研活動的費用和人力資源測量指標(biāo)被多數(shù)國家所采用;歷史記錄已經(jīng)標(biāo)準(zhǔn)化科技領(lǐng)域、資金來源等分類必須定期更新;國家體系不同導(dǎo)致部門覆蓋不同;某些概念難以理解,如全職、兼職、等同全職等;難于估量分別用于研發(fā)和其他科技活動的時間科技產(chǎn)出技術(shù)貿(mào)易支付差,高科技貿(mào)易和技術(shù)傳播可評價科技投入的效益僅限于對經(jīng)濟(jì)的影響;依賴于高度完善和透明的會計體系;只反映相關(guān)關(guān)系而非因果關(guān)系創(chuàng)新產(chǎn)出導(dǎo)致技術(shù)提高活動的量度對投入和成本難于分離和測量;有些概念依然不清晰;對沒有工商領(lǐng)域統(tǒng)計系統(tǒng)的國家難于采用出版物對論文和文獻(xiàn)引用的量度

8、出版物是知識生產(chǎn)的主要產(chǎn)物沒有方法來源手冊;對各個國家和語種覆蓋不全;引用不能反映出版物質(zhì)量,只反映其科技影響專利對發(fā)明的量度專利的申請數(shù)量和公布數(shù)量易于獲得或?qū)＠Ｗo(hù)的發(fā)明比例較低;專利數(shù)量不能反映發(fā)明的重要性和商業(yè)價值3基于過程結(jié)果方法的績效評價測度體系一般而言,構(gòu)建科學(xué)技術(shù)測度體系可以分為這樣一些步驟:首先是評估者想要測量什么(如本課題為公共科研機(jī)構(gòu)績效;其次是通過測量,評估者想要實現(xiàn)什么(在本課題中是加強(qiáng)管理和科學(xué)決策;然后是可使用的測度和在此基礎(chǔ)上收集數(shù)據(jù)的手段和工具,最后要對測度體系的有效性和可靠性進(jìn)行評價。3.1模型抽象要對公共科研機(jī)構(gòu)的績效進(jìn)行評價,就必須以某一可行方法為基礎(chǔ),

9、構(gòu)建相應(yīng)的測度體系和評價指標(biāo)。然而,當(dāng)我們在社會科學(xué)、管理科學(xué)以及組織科學(xué)中討論科學(xué)技術(shù)時,它們是復(fù)雜和非結(jié)構(gòu)化的現(xiàn)象,這就要求對這些現(xiàn)象構(gòu)造出概念和定義,并對這些可定義為“不可量化的”維度和變量進(jìn)行適當(dāng)?shù)臏y度,如圖1所示。因此,測度體系及其下屬指標(biāo)僅僅是抓住現(xiàn)象的一些特定方面,其能夠在多大程度上對概念進(jìn)行實際測度,主要取決于概念的界定、所選維度的完備性和如何利用指標(biāo)來測量等相關(guān)問題。圖1科學(xué)技術(shù)測度體系模型抽象階梯圖3.2過程結(jié)果方法為恰當(dāng)描述公共科研機(jī)構(gòu)從資源投入到科技產(chǎn)出的整個科技創(chuàng)新過程,本文將公共科研機(jī)構(gòu)作為社會經(jīng)濟(jì)系統(tǒng)中的一個子系統(tǒng),對創(chuàng)新過程的階段、各階段的投入與產(chǎn)出進(jìn)行區(qū)分并重

10、新加以界定,如圖2所示。其中資源投入指的是在其研發(fā)和轉(zhuǎn)化過442第2期李強(qiáng)韓伯棠翟立新:公共科研機(jī)構(gòu)績效評價測度體系研究程注入的所有資源和強(qiáng)加在科技過程及其環(huán)境上的約束;而產(chǎn)出可以是有形的物體或者物質(zhì)性的其他內(nèi)容,或者組織性、社會性、經(jīng)濟(jì)性的現(xiàn)象,也可以是無形的東西如知識、客戶滿意度以及由科技帶來的其他益處或有害的影響,并可劃分為直接產(chǎn)出、中間產(chǎn)出、后續(xù)產(chǎn)出和最終產(chǎn)出四類。 圖2基于過程結(jié)果方法的投入產(chǎn)出全過程3.3指標(biāo)體系根據(jù)公共科研機(jī)構(gòu)投入的屬性特點,本文將紛繁復(fù)雜的量度指標(biāo)歸并到科技人力資源投入和研究開發(fā)資本投入兩大類別中去,從而將一組相似的測度標(biāo)準(zhǔn)施用于同一個類別的幾種投入。但需要指出

11、的是,由于科研機(jī)構(gòu)分為不同的類型,每一類型的投入與產(chǎn)出又具有各自的特點,因而評價指標(biāo)體系也應(yīng)有所區(qū)別。本文則根據(jù)中科院下屬研究所的典型特征,從上述一般指標(biāo)體系中選取適宜的指標(biāo),形成針對特定類型機(jī)構(gòu)的投入產(chǎn)出測度指標(biāo)體系,如表3所示。3.4定義績效水平知識生產(chǎn)函數(shù)的概念最初是由格瑞里茨9在量度研究開發(fā)和知識溢出對生產(chǎn)率增長的影響時提出的,其基本假設(shè)是將創(chuàng)新過程的產(chǎn)出看作研發(fā)資本投入的函數(shù):L n (R &D ou tpu t =lna +bln (R &D inpu t (1在修正后的Griliches 2Jaffe 知識生產(chǎn)函數(shù)模型中,新經(jīng)濟(jì)知識(ne w econom ic knowledg

12、e 是最重要的產(chǎn)出,企業(yè)追求新經(jīng)濟(jì)知識并將其投入生產(chǎn)過程,而投入變量則包括研發(fā)經(jīng)費投入和人力資源投入:Q i =A K i L i (2其中:Q 表示研發(fā)活動強(qiáng)度,K 和L 分別表示研發(fā)經(jīng)費和科技人力資源的投入,分別為研發(fā)資本投入和科技人力資源投入的產(chǎn)出彈性,為誤差項10。從本質(zhì)上看,公共科研機(jī)構(gòu)是將科技人力資源和研究開發(fā)資本等資源投入,通過研發(fā)過程的知識溢出使之轉(zhuǎn)化成為論文、專著、專利、成果以及改進(jìn)的產(chǎn)品和工藝、服務(wù)等產(chǎn)出的知識生產(chǎn)系統(tǒng),因而可以用知識生產(chǎn)函數(shù)來評價其績效:L nQ =lnA +lnK +L nL +(3績效評價就是要對同類科研機(jī)構(gòu)進(jìn)行優(yōu)劣比較,而比較的前提是較為科學(xué)合理的分

13、類?；谘芯块_發(fā)資本投入對研究機(jī)構(gòu)產(chǎn)出貢獻(xiàn)的分類,可將同類科研機(jī)構(gòu)看作是同質(zhì)的,通過計算該類機(jī)構(gòu)在一定時間段內(nèi)的和A,可得到第J 類研究所的理論平均產(chǎn)出水平:Q J =A K J L J(4若定義公共科研機(jī)構(gòu)的績效水平(P =(實際的產(chǎn)出水平/(理論平均產(chǎn)出水平,則研究所j 的績效可由下式表示:P =Q j Q J=Q J A K J L J(5若績效比值P 大于1,說明該科研機(jī)構(gòu)的績效要好于其一般情況下的平均績效水平;若績效比值P 小于1,說明該公共科研機(jī)構(gòu)的績效不僅沒有達(dá)到一般水平,甚至要比其一般情況下的平均績效水平還要糟糕。542科學(xué)學(xué)研究第24卷表3公共科研機(jī)構(gòu)投入產(chǎn)出測度指標(biāo)體系投入

14、指標(biāo)指標(biāo)構(gòu)成量度科技人力資源(L研究開發(fā)資本(K文獻(xiàn)計量學(xué)測度(Q1知識產(chǎn)權(quán)測度(Q2績效測度(Q3L1研究開發(fā)人員L2人員素質(zhì)L3將帥人才L4在職職工總數(shù)K1事業(yè)經(jīng)費K2課題經(jīng)費K3設(shè)備購置經(jīng)費K4儀器設(shè)備總值Q1論文Q21專利Q22其他Q31科技獎勵Q32人才培養(yǎng)Q33技術(shù)擴(kuò)散Q34生產(chǎn)經(jīng)營當(dāng)年科技人員投入當(dāng)量學(xué)歷結(jié)構(gòu),職稱結(jié)構(gòu)863、973計劃項目重大科技項目課題組長或首席科學(xué)家,國家杰出青年基金獲得者,國家級獎勵獲得者,兩院院士及外國國家科學(xué)院院士;國際組織任職,享受政府特殊津貼等包括專業(yè)技術(shù)人員、行政管理人員和在冊工人從財政部門取得的科學(xué)事業(yè)費、房改經(jīng)費、公費醫(yī)療經(jīng)費等國家級課題;省

15、部級課題;其他課題;國際科技合作項目當(dāng)年用于購置儀器設(shè)備的支出可用科研儀器設(shè)備總值Q11發(fā)表國際論文篇數(shù)Q12發(fā)表國內(nèi)論文篇數(shù)Q13SC I收錄論文篇數(shù)Q14被國際上引用篇次國際、國內(nèi)專利申請及授權(quán)被批準(zhǔn)一類新藥、二類新藥,動植物新品種、新農(nóng)藥、新獸藥、新肥料,軟件著作權(quán)授權(quán),制修訂并正式發(fā)布國際標(biāo)準(zhǔn)、國家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn);重要咨詢報告國家最高科學(xué)技術(shù)獎;國家三大獎一、二、三等獎;省部級三大獎博士后出站、新增正高職職稱;博士畢業(yè)、新增副高級職稱;碩士畢業(yè)、新增中級職稱單位對外提供技術(shù)轉(zhuǎn)讓、技術(shù)咨詢、技術(shù)服務(wù)、技術(shù)培訓(xùn)、技術(shù)承包取得的收入科技成果轉(zhuǎn)讓收入;下屬獨資公司營業(yè)收入;與社會資本聯(lián)合投資的

16、公司營業(yè)收入所占股份4測度體系應(yīng)用本文以中國科學(xué)院下屬的25個基礎(chǔ)研究類研究所作為研究對象,從中國科學(xué)院統(tǒng)計年鑒1994 -2003中選取從1993年到2002年共10年的數(shù)據(jù)11,按照表3給出的量度指標(biāo),通過熵權(quán)方法得到的權(quán)重,將標(biāo)準(zhǔn)化后的數(shù)據(jù)代入式(5,應(yīng)用SPSS 13.0軟件對10年的綜列數(shù)據(jù)進(jìn)行回歸分析。根據(jù)回歸結(jié)果,可將各研究所按研發(fā)資本投入產(chǎn)出彈性(的大小,分為研發(fā)資本低依賴型(=0.8679、研發(fā)資本中依賴型(=1.2688、研發(fā)資本高依賴型(=2.1796和大科學(xué)裝置類型(=1.5845四類研究所,并得出相應(yīng)的績效水平,如表4、表5所示。1999年以后各研究所績效水平的整體提

17、升表明,自1998年知識創(chuàng)新工程試點啟動以來,中科院通過增加研發(fā)投入和推動科研機(jī)構(gòu)改革,科技競爭力有了明顯提升,這與2004年國家科技教育領(lǐng)導(dǎo)小組對中科院知識創(chuàng)新工程試點實施情況評價14的結(jié)論是一致的,如圖3所示。將表5中25個研究所10年績效水平進(jìn)行頻次分布分析可以發(fā)現(xiàn),這些研究所10年間的績效水平大致呈正態(tài)分布,而且有比較好的區(qū)分度,如圖4所示,這表明本研究構(gòu)建的測度體系是有效和可靠的。642計算結(jié)果中科技人力資源L的彈性為負(fù)值,表面上看這與Griliches2Jaffe知識生產(chǎn)函數(shù)模型的假設(shè)不符,但實際上這反映出現(xiàn)有科技人力資源統(tǒng)計指標(biāo)的缺陷無法真實全面地反映科技人力資源的實際投入水平。

18、在考特曼12以及亞瑟和弗蘭德瑞克13對美國專利產(chǎn)出的研究中,研發(fā)人員的彈性系數(shù)也很低,而且顯著性不高。第2期李強(qiáng)韓伯棠翟立新:公共科研機(jī)構(gòu)績效評價測度體系研究表4回歸方程參數(shù)檢驗表Model Model Coefficients Std.Err or95%Confidence I nterval for B Lower Bound Upper Bound表5各研究所1993-2002年績效水平研發(fā)資本低依賴型研發(fā)資本中依賴型研發(fā)資本高依賴型大科學(xué)裝置圖325個研究所10年的K P Q變化趨勢5結(jié)論本研究通過模型抽象,在引入過程結(jié)果方法分析公共科研機(jī)構(gòu)多重投入和多種產(chǎn)出相關(guān)性的基礎(chǔ)上,結(jié)合公共科

19、研機(jī)構(gòu)的特點和績效評價需要,建立了將實際產(chǎn)出值與以知識生產(chǎn)函數(shù)計算得到的理論平均產(chǎn)出值進(jìn)行比較的公共科研機(jī)構(gòu)績效評價742248 科 學(xué) 學(xué) 研 究 第 24 卷 M . Greenwood Publishing Group Inc, 2000. 3 Luukkonen 2Gronow T Scientific research evaluation: A . tion J . R&D M anagement, 1987, 17 (3 : 207 - 221. 4 Lee B ranstetter, Yoshiaki Nakamura. 9438, 2003. 5 OECD. M ain sc

20、ience and technology indicators S . Paris, 2003. Indicators R . W ashington, 2002. 7 International Institute for M anagement Development . World Competitiveness Yearbook R . 2004. Lausanne, New York, 2003. 9 Griliches Zvi . nom ics, 1979, 10: 92 - 116. U rban and Regional Econom icsM . CERP, 2003. 3

21、. - 2003 . 北京 : 科學(xué)出版社 . edge Production Function to Total Factor Productivity: An Endogenous Grow th Puzzle R . 2004. 2004 M . 2004. 14 中國科學(xué)院 . 知識創(chuàng)新工程試點背景資料 1998 and Innovation in the Knowledge 2based Society R . change J . Econometrica, 1997, 65 ( 6 : 1389 - 1419. review of methods and various cont

22、exts of their app lica2 Issues in assessing the contribution of Is Japan Innova2 tive Capacity in Decline? R . NBER Working Paper 6 National Science Foundation. Science and Engineering 圖 4 25 個研究所十年的績效水平分布 測度體系 。 應(yīng)用結(jié)果表明 , 本文得到的 績效 值與 國家 在 2004 年對中國科學(xué)院知識創(chuàng)新工程試點評價以及 中國科學(xué)院對各研究所的評價結(jié)果基本符合 , 說明 該績效評價模型具有較強(qiáng)

23、的解釋力 。但由于不同類 型的科研機(jī)構(gòu)在產(chǎn)出形式上差異很大 , 這一測度體 系還需要在其他類型如公益類 、 高技術(shù)類的科研機(jī) 構(gòu)中進(jìn)行實證 ,得到更加科學(xué)可靠的模型參數(shù) ,以進(jìn) 一步提高這一評價方法的應(yīng)用價值 。 參考文獻(xiàn) : 1 Hauser J, KatzM etrics You are what you measure J . . European M anagement Journal, 1998, 16 ( 5 : 517 528. 2 Eliezer Geisler The M etrics of Science and Technology . Study of m etr ic

24、 system of public R&D in stitutesperformance eva lua tion ( School of M anagement and Economy, Beijing Institute of Technology, Beijing 100081, China Abstract: The comp lexity and uncertainty of R&D p rocess makes it difficult to measure the inputs and outputs comp letely and p recise2 od of p rocess2result model and established a metric system based on know ledge p roduction function. Results of app lications showed that the metric system made it possible to compare the institutes in column and landscape orientation by meas