學(xué)術(shù)期刊綜合評價中指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化方法選擇

學(xué)術(shù)期刊綜合評價中指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化方法選擇

1期刊評估方法學(xué)術(shù)期刊的評價主要有兩種方法：一種是直接比較期刊文獻(xiàn)中的指標(biāo)；其次，采用多指標(biāo)綜合評價法。該方法克服了單指標(biāo)綜合評價的容易復(fù)雜性，適合期刊綜合評價，因此得到了廣泛應(yīng)用。WeipingYue、ConcepcionS.Wilson(2004)利用結(jié)構(gòu)方程的原理建立了一個期刊影響力的分析框架。蘇新寧(2008)采用指標(biāo)體系賦權(quán)進(jìn)行中國人文社會科學(xué)期刊的評價。邱均平、張榮等(2004)提出了期刊評價指標(biāo)體系的三維層次結(jié)構(gòu)圖,并利用灰色關(guān)聯(lián)法進(jìn)行評價。龐景安、張玉華等(2000)及李凱揚、賈玉萍(2005)利用層次分析法對期刊進(jìn)行評價。王小唯、楊波等(2003)將期刊以往狀態(tài)的評價結(jié)果作為各期刊基礎(chǔ)條件的一種度量,再運用數(shù)據(jù)包絡(luò)分析方法(DEA)測算出它們的二次相對評價值。李修杰、陳景武(2006)運用判別分析法建立期刊評估指標(biāo)體系。王玖、徐天和(2003)運用秩和比法進(jìn)行醫(yī)學(xué)學(xué)術(shù)期刊學(xué)術(shù)質(zhì)量綜合評價。陳漢忠(2004)等數(shù)位學(xué)者[10,11,12,13,14,15]應(yīng)用主成分分析對學(xué)術(shù)期刊進(jìn)行評價。凌春艷、莫琳(2004)提出自然科學(xué)學(xué)術(shù)期刊質(zhì)量指標(biāo)體系的屬性數(shù)學(xué)綜合評價模型并進(jìn)行了評價。此外,還有一些學(xué)者將兩種或兩種以上的評價方法進(jìn)行有機融合,采用復(fù)合方法進(jìn)行評價。如根據(jù)層次分析法確定權(quán)重,再采取加權(quán)TOPSIS法進(jìn)行評價。由于復(fù)合評價方法只有一個評價結(jié)果,因此本質(zhì)上仍然可以認(rèn)為是一種多指標(biāo)綜合評價方法。學(xué)術(shù)期刊多指標(biāo)綜合評價是一項復(fù)雜的系統(tǒng)工程,牽涉到評價原則、指標(biāo)選取、數(shù)據(jù)標(biāo)準(zhǔn)化、評價方法選擇等諸多方面。數(shù)據(jù)標(biāo)準(zhǔn)化作為一種統(tǒng)計學(xué)的基本方法,似乎已經(jīng)沒有任何懸念,近年來少有文獻(xiàn)對其進(jìn)行深入研究。需要指出的是,不同的數(shù)據(jù)標(biāo)準(zhǔn)化方法,對評價結(jié)果影響較大,本文重點比較常見的幾種數(shù)據(jù)標(biāo)準(zhǔn)化方法的特點,在此基礎(chǔ)上提出了一種新的反向指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化方法。2一般標(biāo)準(zhǔn)化方法2.1標(biāo)準(zhǔn)計算方法的比較為了計算簡捷,暫不考慮指標(biāo)數(shù)據(jù)為區(qū)間數(shù)的情況。假設(shè)有i個評價對象,j個評價指標(biāo),每個指標(biāo)的原始數(shù)據(jù)值為xi,j,對于正向指標(biāo),常見的標(biāo)準(zhǔn)化方法包括線性標(biāo)準(zhǔn)化方法(linearnormalizationalgorithm)和非線性標(biāo)準(zhǔn)化方法(nonlinearnormalizationalgorithm)兩大類,線性標(biāo)準(zhǔn)化方法包括三種:yi,j=xi,jmax(xj)(1)yi,j=xi,jmax(xj)(1)yi,j=xi,j-min(xj)max(xj)-min(xj)(2)yi,j=xi,jn∑i=1xi,j(3)非線性標(biāo)準(zhǔn)化方法包括偏差法和比重法,偏差法(dispersion)的標(biāo)準(zhǔn)化計算公式為:yi,j=xi,j-ˉxjδj(4)其中ˉxj為指標(biāo)j的平均值,δj為指標(biāo)j的標(biāo)準(zhǔn)差(standarddeviation)。比重法的標(biāo)準(zhǔn)化計算公式為:yi,j=xij√n∑i=1x2i,j(5)2.2非線性反向指標(biāo)標(biāo)準(zhǔn)化方法常見的反向指標(biāo)的標(biāo)準(zhǔn)化方法有:yi,j=1xi,j(6)yi,j=min(xj)xi,j(7)yi,j=max(xj)-xi,jmax(xj)-min(xj)(8)yi,j=1-xi,jmax(xj)(9)其中,公式6、公式7為非線性反向指標(biāo)標(biāo)準(zhǔn)化方法,公式8、公式9為線性反向指標(biāo)標(biāo)準(zhǔn)化方法。此外,無論是正向指標(biāo)還是反向指標(biāo),還有一些采用指數(shù)函數(shù)、冪函數(shù)、對數(shù)函數(shù)等標(biāo)準(zhǔn)化方法。3標(biāo)準(zhǔn)化方法的選擇3.1比較標(biāo)準(zhǔn)化方法的原則3.1.1非線性標(biāo)準(zhǔn)化情況下的指標(biāo)對比任何標(biāo)準(zhǔn)化方法,都不能改變評價對象指標(biāo)內(nèi)部數(shù)據(jù)之間的相對差距,因為如果相對差距改變了,最終評價結(jié)果評價對象間的差距就被扭曲了。例如,假設(shè)甲期刊的總評分比乙期刊的總評分高5%,并不意味著兩者的真實差距就是5%,可能大于或小于5%,但肯定不等于5%。如圖1所示,X為標(biāo)準(zhǔn)化前數(shù)據(jù),Y為標(biāo)準(zhǔn)化后數(shù)據(jù),假設(shè)有兩種標(biāo)準(zhǔn)化方法,得到兩根標(biāo)準(zhǔn)化曲線,分別為正向指標(biāo)線性標(biāo)準(zhǔn)化曲線L和正向指標(biāo)非線性標(biāo)準(zhǔn)化曲線W。X1、X2分別為同一指標(biāo)的兩個評價對象原始數(shù)據(jù),在線性標(biāo)準(zhǔn)化情況下,標(biāo)準(zhǔn)化后的值分別為Y1、Y2(見圖1),標(biāo)準(zhǔn)化前兩個期刊的指標(biāo)差距為X2-X1,即圖1中的X1X2線段部分,標(biāo)準(zhǔn)化后指標(biāo)的差距為Y2-Y1,即圖中線段AY2部分。很顯然,(Y2-Y1)/(X2-X1)為固定值,即直線L的斜率,也就是說,數(shù)據(jù)標(biāo)準(zhǔn)化后的差距只和標(biāo)準(zhǔn)化前的差距以及直線的斜率有關(guān)。同理,在非線性標(biāo)準(zhǔn)化情況下,標(biāo)準(zhǔn)化后的值分別為Y’、Y”,標(biāo)準(zhǔn)化前兩個期刊的指標(biāo)差距為X2-X1,即圖1中的X1X2線段部分,標(biāo)準(zhǔn)化后的指標(biāo)差距為Y”-Y’,即圖中線段BY”部分。很顯然,標(biāo)準(zhǔn)化后的差距既和標(biāo)準(zhǔn)化前的差距有關(guān),也和曲線方程有關(guān)?；蛘哒f,相對差距在非線性標(biāo)準(zhǔn)化后發(fā)生了變化。為了進(jìn)一步說明問題,我們可以用指標(biāo)數(shù)據(jù)差距占極差的比例來衡量這種相對關(guān)系。假設(shè)對于指標(biāo)k,任意兩個期刊的指標(biāo)值分別為xm,k、xn,k,不妨用這兩個評價對象指標(biāo)值的差距與指標(biāo)值極差之比來衡量它們的相對差距,則標(biāo)準(zhǔn)化前的相對差距為:Δ1=xm,k-xn,kmax(xk)-min(xk)(10)對于所有的線性標(biāo)準(zhǔn)化方法,不妨假設(shè)其標(biāo)準(zhǔn)化通用公式為:yi,j=a+bxi,j(11)那么,標(biāo)準(zhǔn)化后的相對差距為:Δ2=(a+bxm,k)-(a+bxn,k)max(a+bxk)-min(a+bxk)=b(xm,k-xn,k)b(max(xk)-min(xk))=Δ1(12)即對于所有線性標(biāo)準(zhǔn)化方法,標(biāo)準(zhǔn)化后數(shù)據(jù)的相對差距不變,而非線性標(biāo)準(zhǔn)化方法則不具備這個特性,因此,非線性標(biāo)準(zhǔn)化方法并不適用。3.1.2標(biāo)準(zhǔn)化前后最小極值的確定所謂指標(biāo)間的相對差距,是指在客觀事物的發(fā)展過程中,不同指標(biāo)的發(fā)展水平并不相同。有些指標(biāo)發(fā)展比較快,總體水平可能較高;而有些指標(biāo)發(fā)展比較慢,總體水平可能較低。數(shù)據(jù)標(biāo)準(zhǔn)化必須體現(xiàn)出這種差距,為了簡捷起見,可以用不同指標(biāo)標(biāo)準(zhǔn)化后的極差來反映。這里對公式1、公式2、公式3、公式8、公式9四種線性標(biāo)準(zhǔn)化方法下不同指標(biāo)極差進(jìn)行比較。對于公式1,很顯然,其最大值為1,最小值不確定,即標(biāo)準(zhǔn)化后數(shù)據(jù)的極差是標(biāo)準(zhǔn)化前極差的函數(shù),它反映了不同指標(biāo)間的差距。其極差為:max(yj)-min(yj)=max(xj)max(xj)-min(xj)max(xj)=1-min(xj)max(xj)(13)對于公式9,標(biāo)準(zhǔn)化后極大值小于1,但不確定,極小值為0,同樣反映了不同指標(biāo)間的差距。其極差為:max(yj)-min(yj)=(1-min(xi,j)max(xj))-(1-max(xi,j)max(xj))=1-min(xj)max(xj)(14)對于公式3,其極差為:max(yj)-min(yj)=max(xj)n∑i=1xi,j-min(xj)n∑i=1xi,j=max(xj)-min(xj)n∑i=1xi,j(15)就是說,公式3通過指標(biāo)初始值的極值之差反映了不同指標(biāo)間的差距,由函數(shù)形式可以看出,反映程度沒有公式1和公式9大。但是對于公式2和公式8,很顯然,標(biāo)準(zhǔn)化后極大值為1,極小值為0,其極差恒為1,也就是說,這兩種標(biāo)準(zhǔn)化方法不能反映指標(biāo)間的相對差距,因此不宜選用這兩種標(biāo)準(zhǔn)化方法。3.1.3標(biāo)準(zhǔn)1、2、5極大值不確定既然是數(shù)據(jù)標(biāo)準(zhǔn)化,必須保證標(biāo)準(zhǔn)化后的極大值全部相等(通常為1或者100),否則就失去了標(biāo)準(zhǔn)化的意義。如果某個指標(biāo)標(biāo)準(zhǔn)化后的極大值小于1,那么總指標(biāo)值也會變小,從而使公眾對評價結(jié)果產(chǎn)生錯覺,比如某期刊所有指標(biāo)都排在第一,總評分應(yīng)該是滿分1,但是由于某個指標(biāo)標(biāo)準(zhǔn)化后極大值小于1,那么總評分可能會是0.95。采用線性標(biāo)準(zhǔn)化的公式1、公式2、公式8的極大值均為1,公式3、公式9的最大值不確定。非線性標(biāo)準(zhǔn)化公式4、公式5、公式6的極大值不確定,公式7極大值為1。3.2反向指標(biāo)的標(biāo)準(zhǔn)化根據(jù)以上分析,正向指標(biāo)的標(biāo)準(zhǔn)化方法只有公式1全部符合標(biāo)準(zhǔn)化三大原則,反向指標(biāo)的標(biāo)準(zhǔn)化方法沒有一種全部符合標(biāo)準(zhǔn)化三大原則,因此必須尋找新的反向指標(biāo)的標(biāo)準(zhǔn)化方法。首先根據(jù)公式9做反向指標(biāo)的標(biāo)準(zhǔn)化,由于公式9最大值不確定,因此用1減去公式9極大值的差再加上原來公式9計算的結(jié)果進(jìn)行調(diào)整,得到:yi,j=1-xi,jmax(xi,j)+{1-max[1-xi,jmax(xi,j)]}(16)很明顯,公式16的極大值為1,屬于線性變換,標(biāo)準(zhǔn)化前后的極差不固定,反映了指標(biāo)間的差距,全部符合指標(biāo)標(biāo)準(zhǔn)化三大原則。4兩個整體數(shù)據(jù)標(biāo)準(zhǔn)化本文以中國科學(xué)技術(shù)信息研究所CSTPC數(shù)據(jù)庫中的部分醫(yī)學(xué)期刊為例,說明不同數(shù)據(jù)標(biāo)準(zhǔn)化方法的區(qū)別,所有數(shù)據(jù)來自于《中國科技期刊引證報告》(2006年版)。由于非線性標(biāo)準(zhǔn)化方法對期刊差距的扭曲,因此,省略了非線性標(biāo)準(zhǔn)化方法的相關(guān)計算,為了簡捷起見,僅舉了一個正向指標(biāo)和一個反向指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化的例子。結(jié)果如表1所示:影響因子是正向指標(biāo),采用公式1標(biāo)準(zhǔn)化,極大值為1,極小值不固定,符合本文中的三大原則,因此公式1是最佳的正向指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化方法。公式2極大值為1,極小值為0,假設(shè)某期刊所有指標(biāo)原始數(shù)據(jù)都排在末位,那么用公式2標(biāo)準(zhǔn)化后進(jìn)行評價的結(jié)果值可能為0,很顯然不能用公式2進(jìn)行標(biāo)準(zhǔn)化。采用公式3標(biāo)準(zhǔn)化極大值不確定,導(dǎo)致的結(jié)果是最好的期刊評價結(jié)果也不可能為1,當(dāng)然也不宜選用。被引半衰期是反向指標(biāo),采用公式8標(biāo)準(zhǔn)化,極大值為1,極小值為0,顯然不合適。采用公式9標(biāo)準(zhǔn)化,極小值為0,極大值不確定,同樣會出現(xiàn)最好的期刊理想評價結(jié)果小于1的情況。采用公式16標(biāo)準(zhǔn)化,極大值為1,極小值不確定,因此是最好的反向指標(biāo)標(biāo)準(zhǔn)化方法。5結(jié)論和討論5.1評價方法的確定評價目的不同,對數(shù)據(jù)的標(biāo)準(zhǔn)化方法的選擇不同,這一點很少有人意識到。如果評價僅僅是為了排序,而不需要對評價對象之間的差距進(jìn)行深入分析,那么無論是什么標(biāo)準(zhǔn)化方法,都不會對評價排序產(chǎn)生影響,也就是說,以排序為主的評價對標(biāo)準(zhǔn)化方法是不敏感的。對于需要進(jìn)一步分析評價對象差距以及對評價對象進(jìn)行分級的評價,建議采用本文的兩種線性標(biāo)準(zhǔn)化方法。這兩種方法既有利于評價結(jié)果的排序,也有利于評價結(jié)果數(shù)據(jù)的深入分析和比較。由于多屬性決策往往重在選優(yōu),多屬性評價往往重在評價,因此也可以這樣說,多屬性決策對數(shù)據(jù)標(biāo)準(zhǔn)化方法不敏感。期刊評價也要看評價目的,如果僅僅是為了選優(yōu),那么對標(biāo)準(zhǔn)化方法的選擇是不敏感的,如果要分析期刊之間差距,則必須采用本文推薦的兩種標(biāo)準(zhǔn)化方法。5.2價值水平對指標(biāo)值的關(guān)系。據(jù)完備的評價對象是否近年來,一些學(xué)者開始研究基于時間序列和面板數(shù)據(jù)(panel