基于期刊、作者、機(jī)構(gòu)被引分析的學(xué)術(shù)評價(jià)比較研究

基于期刊、作者、機(jī)構(gòu)被引分析的學(xué)術(shù)評價(jià)比較研究

沒有科學(xué)的評價(jià)就沒有科學(xué)的管理，沒有科學(xué)的管理就沒有科學(xué)的發(fā)展[1]。學(xué)術(shù)評價(jià)是各類評價(jià)重要的一個(gè)內(nèi)容，而被引分析又是學(xué)術(shù)評價(jià)中極其注重的一個(gè)衡量標(biāo)準(zhǔn)。唯有具有一定的被引頻次，期刊、作者、機(jī)構(gòu)、論文等的價(jià)值才會得以體現(xiàn)。正是被引分析的重要性導(dǎo)致以被引關(guān)系作為自身內(nèi)部關(guān)系結(jié)構(gòu)的引文數(shù)據(jù)庫幾乎成為國內(nèi)學(xué)術(shù)評價(jià)機(jī)構(gòu)無一例外要使用的評價(jià)工具。實(shí)際上，引文數(shù)據(jù)庫最早的締造者加菲爾德在創(chuàng)造《科學(xué)引文索引》時(shí)，就期待它能夠在項(xiàng)目遴選、科研評價(jià)與管理諸方面得到廣泛應(yīng)用。他首先提出在社會學(xué)與科學(xué)史研究中應(yīng)用引文分析方法[2-3]。正是由于引文分析成為我們科研、工作、學(xué)習(xí)、評價(jià)、管理中不可或缺的方法，各種引文數(shù)據(jù)庫被開發(fā)出來，并得以廣泛應(yīng)用。但是，在每年的評價(jià)實(shí)踐項(xiàng)目中，我們發(fā)現(xiàn)對評價(jià)結(jié)果影響最大的是“被引”方面的指標(biāo)。在本文中筆者就試圖將這種影響以一種定量的方式將它展示出來。1研究樣本和方法本文以圖書情報(bào)領(lǐng)域的14種核心期刊為數(shù)據(jù)樣本[4-5]。選取的原則是：1998-2009年間被CSSCI所連續(xù)收錄，這樣做的目的主要是與中國引文數(shù)據(jù)庫中的期刊保持一致，保證在不同引文數(shù)據(jù)庫中研究對象的一致性和連續(xù)性。本文選取的另一研究樣本是中國圖書館學(xué)會學(xué)術(shù)研究委員會的9位成員。另外，為比較研究機(jī)構(gòu)單位和論文在不同數(shù)據(jù)庫中的異同情況，筆者選取武漢大學(xué)中國科學(xué)評價(jià)研究中心最新推出的國內(nèi)排名前10位的大學(xué)和1998-2008年11年間圖情領(lǐng)域被引頻次前10位的期刊論文作為研究樣本。本文的主要研究方法為：引文分析法、相關(guān)分析。研究工具：EXCEL2007、SPSS13.0。2作者評價(jià)表1對中國圖書館學(xué)會學(xué)術(shù)研究委員會的9位成員[6]在1998-2008年間的發(fā)文量、被引量、篇均被引率作了統(tǒng)計(jì)分析。為解決重名問題，在CCD中我們把作者限定到圖書情報(bào)子數(shù)據(jù)庫中進(jìn)行檢索統(tǒng)計(jì)；由于CSSCI是中文社會科學(xué)引文索引，該數(shù)據(jù)庫中的作者大多數(shù)是社會科學(xué)領(lǐng)域的，因此重名的現(xiàn)象比較少，可以人工辨別并予以剔除。表2是對上述9位成員在CSSCI、CCD中發(fā)文量排名、被引量排名、篇均被引率排名及其差值的統(tǒng)計(jì)。從表2可以看到，波動(dòng)位數(shù)最大的吳慰慈的發(fā)文，波動(dòng)了4位。他在CSSCI中的發(fā)文排名是第1位，在CCD中卻降為第5位。我們都知道，CSSCI僅僅收錄了圖情領(lǐng)域的十幾種核心期刊，CCD中卻幾乎收錄了大部分的圖情期刊。我們認(rèn)為，吳慰慈比較注重發(fā)文的質(zhì)量，也就說是他在非核心期刊上的發(fā)文量低于其他作者。從R3得知，與下文中期刊評價(jià)相似，篇均被引率排名也是變動(dòng)相對頻繁的一個(gè)指標(biāo)。每位作者都有升或有降，變動(dòng)3位的有2位作者，他們是肖希明、柯平。為探析不同引文數(shù)據(jù)庫對作者評價(jià)的影響程度，我們對9位作者在CSSCI、CCD中發(fā)文量、被引量、篇均被引率的排名情況作雙變量相關(guān)分析，如表3所示。相關(guān)分析（correlationanalysis），是研究現(xiàn)象之間是否存在某種依存關(guān)系，并對具有依存關(guān)系的現(xiàn)象探討其相關(guān)方向以及相關(guān)程度，是研究隨機(jī)變量之間的相關(guān)關(guān)系的一種統(tǒng)計(jì)方法[7]。表3的3組數(shù)據(jù)表明CSSCI與CCD對作者發(fā)文量、被引量、篇均被引率的評價(jià)結(jié)果存在相關(guān)性。我們發(fā)現(xiàn)CSSCI與CCD對作者評價(jià)的結(jié)果與下文中論述的期刊評價(jià)的結(jié)果基本保持一致。下文中CSSCI與CCD對期刊的被引量與篇均被引率排名相關(guān)分析結(jié)果分別是0.855、0.754，這與表3中的0.850、0.767極為接近。存在出入的是發(fā)文量排名相關(guān)分析結(jié)果為0.767，期刊評價(jià)的發(fā)文量排名結(jié)果為0.930。我們分析其原因仍然是，CCD收錄了很多CSSCI未收錄的非核心期刊，這兩種不同數(shù)據(jù)庫類型導(dǎo)致同一作者在不同數(shù)據(jù)庫中的發(fā)文量有較大的出入。3期刊評價(jià)發(fā)文量為1998-2009年間期刊載文的加總；同理，被引量也是這期間期刊被引量的加總。篇均被引率為10年被引量/10年發(fā)文量。h指數(shù)指標(biāo)，表中引用周春雷計(jì)算的結(jié)果，他計(jì)算的是1998年至2006年的期刊h指數(shù)（CCDh指數(shù)可以直接從中國引文數(shù)據(jù)庫中獲取，也為1996-2006年數(shù)據(jù)）。我們求證過，h指數(shù)為一個(gè)相對穩(wěn)定的指標(biāo)，在幾年間也不會有多大的變化，因此，我們的數(shù)值不會影響結(jié)果以及對問題的說明。表5根據(jù)表4中的數(shù)據(jù)對各個(gè)期刊做出排名。R1、R2、R3、R4表示發(fā)文量、被引量、篇均被引率、h指數(shù)在兩種不同引文數(shù)據(jù)庫中的排名波動(dòng)位數(shù)。正值表示期刊在CCD中排名比CSSCI排名要低；負(fù)值表示CCD排名比CSSCI排名排名高；0值表示排名無變動(dòng)。從表5中我們可以看到，這14種期刊在CSSCI、CCD中的排名并不一樣，有的甚至相差很大，由R1、R2、R3、R4可以看到他們差值有多少。相差最大的是《圖書館雜志》在CSSCI、CCD中的h指數(shù)排名，它在CSSCI中的排名為5，在CCD中下降到13，降了8個(gè)名次，這對僅僅14種期刊的評價(jià)來說，下降幅度已經(jīng)相當(dāng)大了。篇均被引率也是期刊評價(jià)的一個(gè)重要指標(biāo)，CSSCI和CCD對這14種期刊的排名相差也較大，從R3中可以看到，名次變動(dòng)5的是《情報(bào)資料工作》，變動(dòng)4位的有3種期刊，分別為：《圖書館論壇》、《圖書館雜志》和《圖書館工作與研究》。變動(dòng)3位的也有3種期刊。變動(dòng)超過3位的總共7中期刊，占所有期刊評價(jià)的50%。因此，用不同的引文數(shù)據(jù)庫對期刊作出的評價(jià)結(jié)果存在較大的不同。從R2中可以看到，排名的數(shù)據(jù)變動(dòng)收窄，R1的變動(dòng)則更少，甚至出現(xiàn)了5次零變動(dòng)，即CSSCI和CCD給出的排名完全一樣。造成這種現(xiàn)象的原因可能是發(fā)文量、被引量這兩個(gè)指標(biāo)在不同數(shù)據(jù)庫比較穩(wěn)定，尤其是發(fā)文量指標(biāo)，從1998-2008年間，期刊的發(fā)文量其實(shí)是一個(gè)客觀數(shù)值。而我們選取的這14種期刊又是在這10年間連續(xù)被引文庫所收錄，沒有任何的中斷，因此，從不同的引文庫中得出的數(shù)據(jù)必然不會變化許多，R1的數(shù)值正好從定量的角度印證了我們的定性分析。我們對各評價(jià)指標(biāo)的排名做相關(guān)分析得出：兩種引文數(shù)據(jù)庫的發(fā)文量、被引量、篇均被引率、h指數(shù)的相關(guān)系數(shù)分別為：0.930、0.855、0.754、0.741。顯著性水平Sig.＜0.01，顯著相關(guān)。根據(jù)這兩種引文數(shù)據(jù)庫計(jì)算出的結(jié)果具有高度相關(guān)性。但從相關(guān)系數(shù)來看，他們的相關(guān)性依次降低。而這幾個(gè)指標(biāo)對于期刊評價(jià)來說，其重要性又是依次變大。其中，被引量、篇均被引率、h指數(shù)又是與“被引”分析相關(guān)的指標(biāo)。4機(jī)構(gòu)與論文評價(jià)對于機(jī)構(gòu)我們選取武漢大學(xué)中國科學(xué)評價(jià)研究中心最新推出的中國重點(diǎn)大學(xué)前10名的學(xué)校作為研究對象[10]，統(tǒng)計(jì)的是他們在1998-2008年間的發(fā)文量。對于論文的評價(jià)比較，選取中國引文數(shù)據(jù)庫中1998-2008年10年間被引頻次前10位的圖情領(lǐng)域的期刊論文作為評價(jià)、比較的對象，主要研究他們的被引頻次。表7對10所大學(xué)在CSSCI、CCD中的發(fā)文量排名做了統(tǒng)計(jì)，R1表示排名變動(dòng)的多少。觀察R1的數(shù)值可以發(fā)現(xiàn)一個(gè)規(guī)律，有的學(xué)校名次變動(dòng)較小，有的學(xué)校的變動(dòng)還是很大的。變動(dòng)不大的學(xué)校都是綜合性大學(xué)，如：北京大學(xué)、復(fù)旦大學(xué)、武漢大學(xué)、中山大學(xué)；變動(dòng)較大的學(xué)校明顯帶有學(xué)科的偏重現(xiàn)象，或偏理工科，如：清華大學(xué)、浙江大學(xué)、上海交通大學(xué)，或偏文科，如：中國人民大學(xué)、北京師范大學(xué)、南京大學(xué)，而且偏重的程度與R1值的絕對值成正比，即偏重程度大則R1的絕對值大，理工科高校的R1值為負(fù)值，它在CCD中的排名超過CSSCI，文科高校的R1值為正值，它們在CCD中的排名低于CSSCI。出現(xiàn)這種現(xiàn)象，我們不難想到，CSSCI為中文社會科學(xué)引文索引，是明顯偏重于文科的引文數(shù)據(jù)庫，收錄的大多數(shù)是文科類期刊，而CCD是綜合類引文庫，對收錄的期刊的學(xué)科性質(zhì)并無偏好。這樣一些文科院校的發(fā)文大都集中在CSSCI中，而理工科院校的發(fā)文在CSSCI中卻很少。以R1值最大的中國人民大學(xué)為例，它在CSSCI中的發(fā)文量排在第2位，而在CCD中降為第9位，中國人民大學(xué)文科色彩較濃厚，它的發(fā)文明顯集中在CSSCI中，而在CCD中的發(fā)文量很少，所以在CCD中的發(fā)文量被一些綜合性和理工科院校擠到第9位就可以想象得到了。表7也對圖情領(lǐng)域高被引論文做了統(tǒng)計(jì)分析，R2表示的是排名的變動(dòng)情況。大多數(shù)論文都出現(xiàn)了排名的變動(dòng)，我們分析這同樣是跟不同的引文數(shù)據(jù)庫的收錄情況有關(guān)系。有些文章在CCD中的排名比CSSCI明顯偏高，可能是由于該文章被其他學(xué)科，尤其是一些非人文社會科學(xué)的學(xué)科大量引用所導(dǎo)致的。應(yīng)該認(rèn)為，它不僅對本學(xué)科的發(fā)展作出了貢獻(xiàn)，也為其他學(xué)科的發(fā)展做出了很大的貢獻(xiàn)。那些在CSSCI中排名比CCD排名略高或者相差無幾的文章，則認(rèn)為它們的貢獻(xiàn)主要集中在本學(xué)科領(lǐng)域。5結(jié)語本文以作者、期刊、機(jī)構(gòu)、論文為例，主要從被引的角度入手，定量地論證了不同的引文數(shù)據(jù)庫對評價(jià)結(jié)果的影響，影響較大的是被引方面的指標(biāo)。為有效解決這個(gè)問題，我們提出如下幾種方案：（1）定量為主，定性為輔。很多情況下，定量的方法是可信的、科學(xué)的論證手段，并被廣泛采用。但是，在評價(jià)實(shí)踐中，定量方法容易忽略引文數(shù)據(jù)庫本身的缺陷，因此必須輔以定性的手段。例如，在學(xué)術(shù)評價(jià)中可以發(fā)揮學(xué)術(shù)授信制度，發(fā)揮專家對評價(jià)對象的鑒別、評定的功能，這樣我們的結(jié)果就