刊前定量評(píng)價(jià)方法的問題及展望

1、刊前定量評(píng)價(jià)方法的問題及展望對(duì)于論文質(zhì)量的刊前定量評(píng)價(jià)是科研管理人員工作的重點(diǎn)，也同樣是期刊編審工作的基礎(chǔ)。就期刊而言，同行評(píng)議的方法一直以來成為投稿論文質(zhì)量判定的主要標(biāo)準(zhǔn)；而其定性結(jié)論所存在的固有不足也為稿件最終的取舍造成一定困難。相比而言，定量評(píng)價(jià)方法的運(yùn)用可在一定程度上彌補(bǔ)單一同行評(píng)議方法的局限性，而稿件質(zhì)量的綜合判斷提供更為充實(shí)的依據(jù)。然而，對(duì)于定量評(píng)價(jià)方法的設(shè)立，具體到各因素權(quán)重系數(shù)的確定方面，各種方法均存在一定的適用范圍以及局限性。在明確并利用現(xiàn)有方法前應(yīng)充分結(jié)合理論實(shí)際以及編審工作的特殊性，考慮到當(dāng)前評(píng)價(jià)方法的不足以及主要改進(jìn)方向，借以盡可能消除評(píng)價(jià)方法使用所產(chǎn)生的偏倚，提高評(píng)價(jià)

2、的準(zhǔn)確性以及結(jié)果的真實(shí)性。3.1 不同研究類型的統(tǒng)一性一項(xiàng)評(píng)價(jià)管理方法的確定，其適用范圍應(yīng)是重點(diǎn)考量的方面。論文質(zhì)量很大程度上產(chǎn)生于其自身學(xué)術(shù)價(jià)值與應(yīng)用價(jià)值的大小，但也受到該段時(shí)間內(nèi)社會(huì)對(duì)其價(jià)值的認(rèn)知水平與認(rèn)同程度。因此，客觀的論文質(zhì)量定量評(píng)價(jià)系統(tǒng)須對(duì)于不同學(xué)科、研究?jī)?nèi)容與目的的論文有著穩(wěn)定而統(tǒng)一的衡量標(biāo)準(zhǔn)，即具有較好的應(yīng)用延展性。由于學(xué)科性質(zhì)、理論衍生周期、發(fā)散傳播渠道各有不同，在質(zhì)量評(píng)價(jià)體系中應(yīng)有相應(yīng)的反映。以醫(yī)學(xué)科研論文為例，根據(jù)各自不同的研究領(lǐng)域與研究目的大致可分為基礎(chǔ)研究與臨床研究。不同的研究?jī)?nèi)容的學(xué)術(shù)水平難以進(jìn)行標(biāo)準(zhǔn)化度量。比如罕見病的病例報(bào)道類型較之多中心的流行病調(diào)查，在樣本納入

3、及數(shù)量方面要求有著明顯的不同。這就需要權(quán)重具有較強(qiáng)的功能擴(kuò)展張力，針對(duì)不同研究的特征及水平有著較好的可靠性、客觀性以及獨(dú)立性18。3.2 評(píng)價(jià)分值含義的明確性由于最終以得分的方式顯示論文質(zhì)量評(píng)價(jià)結(jié)果，因此在對(duì)于具體分值的含義解釋上需要進(jìn)行更為科學(xué)的設(shè)計(jì)。例如對(duì)于得分相近的2篇論文，其發(fā)表價(jià)值的界定與衡量需要獲得更加系統(tǒng)的比較。對(duì)該問題的解決，筆者認(rèn)為可通過參照統(tǒng)計(jì)學(xué)推斷中對(duì)于差異性判別的分析方法，在對(duì)整體數(shù)據(jù)分布情況判斷的基礎(chǔ)上推測(cè)分值間的差異是否由于抽樣誤差所造成；或從評(píng)價(jià)結(jié)果的角度計(jì)算類似“可信區(qū)間”的差異允許范圍，從而對(duì)于分值的含義獲得更為客觀的理解。3.3 權(quán)重系數(shù)確定的權(quán)威性對(duì)于權(quán)重

4、系數(shù)的確定方法，文獻(xiàn)均采用了專家咨詢的方法進(jìn)行。但該法對(duì)于專家的選擇范圍、方法、數(shù)量、質(zhì)控有著較高的要求，也就是說一般意義上的權(quán)重確定方法難以保證其客觀性與準(zhǔn)確性。比如對(duì)于不同專家對(duì)同一問題以及相同專家對(duì)相同問題回答的一致性判斷，需要選擇合適的一致性檢驗(yàn)方法進(jìn)行，如組間相關(guān)系數(shù)、組內(nèi)相關(guān)系數(shù)以及Bland-Altman法19。而對(duì)于確定的權(quán)重系數(shù)也需形成動(dòng)態(tài)的修正與調(diào)整，使各參數(shù)具有較好的獨(dú)立性。通過不斷綜合專家評(píng)價(jià)、學(xué)科發(fā)展甚至是期刊收稿以及發(fā)刊計(jì)劃等情況，調(diào)整和優(yōu)化權(quán)重配置，使其穩(wěn)定在客觀、合理并有利于期刊自身發(fā)展的區(qū)間范圍20。3.4 專家資源來源的豐富性由于不同學(xué)科間存在著較大學(xué)術(shù)評(píng)判標(biāo)準(zhǔn)的差異，不同學(xué)科專家的知識(shí)結(jié)構(gòu)、學(xué)科背景也會(huì)隨著學(xué)科領(lǐng)域的不同而存在固有的差別。因此在專家選取中需按照所在專業(yè)進(jìn)行分層管理，將不同學(xué)科專家的意見反饋分別統(tǒng)計(jì)處理，但這也對(duì)專家群規(guī)模提出了更高要求。