評委打分的真實(shí)有效性問題的統(tǒng)計(jì)檢驗(yàn)

1、評委打分，在社會實(shí)踐中是經(jīng)常遇到的，比如組織投票鑒定、人員考核測評、各種競賽評比等。在形式上，是組成一個(gè)評委群體，由各個(gè)評委根據(jù)評分標(biāo)準(zhǔn)和程序，對測評對象逐一評定，給出相應(yīng)分?jǐn)?shù)，然后在統(tǒng)計(jì)處理的基礎(chǔ)上，確定每一測評對象的最終成績。影響評分結(jié)果有多方面的因素，主要有測評對象的實(shí)際情況和應(yīng)試行為反應(yīng)，考評環(huán)境的影響，考評程序、標(biāo)準(zhǔn)、方法等技術(shù)性因素，評委方面的因素。在評分體系規(guī)則（如評分項(xiàng)目和要素、標(biāo)準(zhǔn)、程序、方法等）確定之后，影響評分主要是評委的因素。評委的知識能力水平的高低、動機(jī)態(tài)度是否端正公平、有無心理偏見、身心狀態(tài)是否疲勞等等，都會十分微妙而頑強(qiáng)地影響著評分結(jié)果。概要地說，評委打分主要受自

2、己的能力和動機(jī)的影響，也就是“德”和“才”的影響，因此，評委打分有很強(qiáng)的主觀性，特別是測評指標(biāo)本身具有很強(qiáng)的模糊性和主觀性更是如此。常常因?yàn)樵u委的不公正性，引起測評對象的不滿，也損害了考評的嚴(yán)肅性和權(quán)威性。為了抑制評委打分的消極影響，一般的處理方式是：1）增加評委的人數(shù)，擴(kuò)大評委群體，用一個(gè)民主化的群體結(jié)構(gòu)，形成評分的隨機(jī)分布，抵消或淡化評分的誤差。2）實(shí)行回避原則，測評對象認(rèn)為評委可能有失公正的，可以按照規(guī)定程序，申請回避。3）確立“獨(dú)立評委制”，選擇具備評委資格、與測評對象無任何可能影響公正評價(jià)之關(guān)系、不帶有個(gè)人傾向性的人選擔(dān)任評委。實(shí)行“雙盲測驗(yàn)”，評委之間、評委與測評對象之間“背靠背”

3、，如采用通訊評審、空間隔離方式，評分中互不干擾，各自獨(dú)立評分。4）限制評分區(qū)間，確定評分的上限和下限，規(guī)定超過評分區(qū)間的評分視為無效，以便限制極大值或極小值對平均數(shù)的影響。5）計(jì)算簡單算術(shù)平均數(shù)，對評委群體打出的分?jǐn)?shù)予以統(tǒng)計(jì)處理，采取去掉最高分和最低分，然后將剩余分?jǐn)?shù)累加求和，計(jì)算平均數(shù)，以此為評委群體確定的最終分?jǐn)?shù)，計(jì)算公式為：Xi/N（式中，Xi為去掉最高分和最低分后的全部分?jǐn)?shù)之和，N為去掉最高分和最低分后的剩余評委人數(shù)。6）計(jì)算加權(quán)平均數(shù)，根據(jù)客觀公正和知情懂行的“德”“才”標(biāo)準(zhǔn)，對評委群體中的不同成員評分乘以不同的權(quán)重，突出更加具有公正性、權(quán)威性的評委的作用，計(jì)算公式為：XiPi（式中

4、，Xi為各個(gè)評委給出的具體分?jǐn)?shù)，Pi是各個(gè)評委的評分權(quán)重，權(quán)重累加之和為100%）。但是，需要進(jìn)一步解決的問題是：如何發(fā)現(xiàn)評分結(jié)果有較大的偏誤，如何發(fā)現(xiàn)評委的失職作弊行為？通常的做法是在對考評對象事先有所了解的情況下，根據(jù)以往經(jīng)驗(yàn)和已知事實(shí)，發(fā)現(xiàn)評分結(jié)果有失偏頗的跡象，進(jìn)一步追查個(gè)別評委的不公正問題（如對“明星”的評比）。但是，如果事先對考評對象并不了解（比如用人單位招聘測試新人），就無從發(fā)現(xiàn)問題。筆者考慮：能否運(yùn)用統(tǒng)計(jì)學(xué)的基本知識，對評分結(jié)果進(jìn)行多層次、多側(cè)面的考察，從中找出發(fā)現(xiàn)問題的幾個(gè)關(guān)鍵因素。首先，選擇和設(shè)計(jì)有關(guān)統(tǒng)計(jì)指標(biāo)，從評分結(jié)果中尋找值得研究的問題。1 選擇標(biāo)準(zhǔn)差系數(shù)考察樣本平均數(shù)

5、的代表性。標(biāo)準(zhǔn)差是反映一組數(shù)據(jù)分布的離散程度的統(tǒng)計(jì)指標(biāo)，以絕對值表示?？紤]到多組數(shù)據(jù)的可比性，采用標(biāo)準(zhǔn)差系數(shù)，用相對值表示。標(biāo)準(zhǔn)差系數(shù)是標(biāo)準(zhǔn)差與平均數(shù)的比值，用百分比表示。標(biāo)準(zhǔn)差系數(shù)與樣本數(shù)據(jù)的離散程度成正相關(guān)，與樣本數(shù)據(jù)的集中趨勢成負(fù)相關(guān)。也就是說，標(biāo)準(zhǔn)差系數(shù)越大，說明樣本分布的離散程度越大，平均數(shù)反映樣本的集中趨勢則越不明顯。具體來說，當(dāng)一組評委給兩個(gè)測評對象的平均分相同時(shí)，但是，二者的標(biāo)準(zhǔn)差系數(shù)不同，評委對標(biāo)準(zhǔn)差系數(shù)大的測評對象的看法差異更大。運(yùn)用標(biāo)準(zhǔn)差系數(shù)，可以分別從兩個(gè)角度考查評分結(jié)果：1） 比較每個(gè)測評對象的標(biāo)準(zhǔn)差系數(shù)。即以全體評委對每一個(gè)測評對象給出的分?jǐn)?shù)為基礎(chǔ)，計(jì)算每一個(gè)測評對

6、象的平均數(shù)和標(biāo)準(zhǔn)差，再據(jù)以計(jì)算標(biāo)準(zhǔn)差系數(shù)。這里，每個(gè)測評對象的平均數(shù)，實(shí)際上已經(jīng)是評委們確定的“最后得分”。如果測評對象A比測評對象B的標(biāo)準(zhǔn)差系數(shù)大，說明評委對測評對象A的意見差異更大，即使測評對象A和B的平均分相同，測評對象A的評分問題上存在較大爭議，應(yīng)當(dāng)慎重考慮，再做研究。比如，測評對象A和B的最后得分（根據(jù)評委評分計(jì)算的平均數(shù)）都是85分，但A的標(biāo)準(zhǔn)差系數(shù)為0.3，B的標(biāo)準(zhǔn)差為0.1，說明評委對B的看法比較一致，在對A的看法上有較大的分歧，A就是有爭議的測評對象，對A評價(jià)應(yīng)當(dāng)慎重，需要進(jìn)一步考察。2） 比較每個(gè)評委打分的標(biāo)準(zhǔn)差系數(shù)。即以每個(gè)評委對全部測評對象給出的分?jǐn)?shù)為基礎(chǔ)，分別計(jì)算每個(gè)

7、評委的平均數(shù)和標(biāo)準(zhǔn)差，再據(jù)以計(jì)算標(biāo)準(zhǔn)差系數(shù)。這里每個(gè)評委的平均數(shù)，說明每個(gè)評委對全體測評對象的整體水平的評價(jià)，標(biāo)準(zhǔn)差，則是每個(gè)評委對全體測評對象的整體水平是否整齊接近的評價(jià)，而使用標(biāo)準(zhǔn)差系數(shù)，就更能準(zhǔn)確比較各個(gè)評委的評價(jià)意見。如果評委C比評委D的標(biāo)準(zhǔn)差系數(shù)大，即使兩人認(rèn)為這一批測評對象的整體水平都在80分（平均數(shù)），評委C的標(biāo)準(zhǔn)差系數(shù)為0.4,評委D的標(biāo)準(zhǔn)差系數(shù)為0.2, 說明評委C更加傾向于認(rèn)為，測評對象的整體水平很不整齊，相互之間的差異更明顯。3） 在上述基礎(chǔ)上，可以進(jìn)一步分別計(jì)算上述兩種標(biāo)準(zhǔn)差系數(shù)的平均值，也就是測評對象的標(biāo)準(zhǔn)差系數(shù)平均值和評委的標(biāo)準(zhǔn)差系數(shù)平均值，作為相對衡量標(biāo)準(zhǔn)，進(jìn)而發(fā)

8、現(xiàn)爭議較大的測評對象和評分不穩(wěn)定的評委。比如，高于測評對象的標(biāo)準(zhǔn)差系數(shù)平均值的測評對象，評委對其的評價(jià)意見有較大分歧；而高于評委的標(biāo)準(zhǔn)差系數(shù)平均值的某一評委，他的評分更加不夠穩(wěn)定。2 評委的離差絕對值之和將各個(gè)評委對每一測評對象的評分，分別減去該對象的平均分，即得到該評委對該測評對象的離差，將全部離差的絕對值累加求和，得出該評委的離差絕對值之和，離差絕對值之和的大小反映各個(gè)評委對測評對象整體水平的看法，離差絕對值之和與測評對象整體水平成負(fù)相關(guān)，離差絕對值之和越大，測評對象整體水平越不整齊，內(nèi)部差異即離散程度則越大。3 評委的離差代數(shù)和將各個(gè)評委對每一測評對象的評分，分別減去該對象的平均分，即得

9、到該評委對該測評對象的離差，將全部離差累加求和，即得到該評委的離差代數(shù)和，離差代數(shù)和沒有直接意義，必須與離差絕對值之和結(jié)合起來考察，才有實(shí)際意義。4 離差絕對值之和與離差代數(shù)和之比將每個(gè)評委的離差絕對值之和與其離差代數(shù)和進(jìn)行比較，可以計(jì)算二者的比值，簡稱為“絕代比”。絕代比的比值，有以下幾種情況。一種情況是“絕代比”等于1，這是因?yàn)槊恳浑x差均取正值或負(fù)值，其代數(shù)和不存在正負(fù)抵消現(xiàn)象，正好與離差絕對值之和一致，這種情況只有該評委的評分全部低于或高于平均分時(shí)才出現(xiàn)。另一種情況則是“絕代比”的比值很高，也就是說，離差絕對值之和遠(yuǎn)遠(yuǎn)大于離差代數(shù)和的絕對值，這種情況，往往因?yàn)樵撛u委的評分往往遠(yuǎn)離總體平均

10、分，同時(shí)，具體評分由圍繞平均分上下波動，因此，離差正負(fù)相抵后所得的代數(shù)和，其數(shù)值較小，兩相比較，“絕代比”的數(shù)值較大?！敖^代比”到底在多大區(qū)間內(nèi)比較合理？是否可以假定“絕代比”越大，其中值得研究的問題或疑點(diǎn)就越多，在實(shí)踐中尚且有待進(jìn)一步的研究。由于離差代數(shù)和可以去正值或負(fù)值，所以，“絕代比”也有正負(fù)之分。取負(fù)值的“絕代比”，是該評委對測評對象全體的評價(jià)低于全體評委的總體評價(jià)（平均分），是比較“苛刻”的評委，反之，取正值的“絕代比”，該評委是比較“寬松”的評委。其次，從直觀的角度，觀察和比較評委評分線與總體平均分線的形態(tài)及其關(guān)系，進(jìn)一步研究評委的評分行為規(guī)律。將所有測評對象的平均分自高而低排列，

11、形成測評對象的平均分線，各個(gè)評委所給出的測評對象的成績也可排出若干條評分線，將平均分線與各個(gè)評委的評分線繪制成直角坐標(biāo)圖，就可以進(jìn)行相應(yīng)的直觀比較。如果某評委始終按照自己穩(wěn)定的主觀傾向標(biāo)準(zhǔn)打分，即使所給分?jǐn)?shù)始終高于或低于平均分，也能夠反映其評分規(guī)律。這時(shí)，該評委的離差絕對值和等于離差代數(shù)和，二者之比值為1。這反映其始終按照自己的主觀傾向掌握評分標(biāo)準(zhǔn)，從嚴(yán)評價(jià)者，所給的分?jǐn)?shù)，始終低于平均分，寬宏大度者，始終以高于平均分線的水平給分。但是，當(dāng)評委的給分圍繞平均分線起伏波動時(shí)，就會形成時(shí)而高于時(shí)而低于平均分線的評分線。這時(shí)，離差絕對值之和將大于離差代數(shù)和，二者之間的比值將大于1，甚至比值相當(dāng)大。比值

12、的大小，取決于評委評分線圍繞平均分線的波動幅度。如果進(jìn)一步計(jì)算“絕代比”的平均值，再考查每一個(gè)評委的“絕代比”與“絕代比”平均值的大小，凡是“絕代比”大于“絕代比”平均值的評委，應(yīng)當(dāng)是重點(diǎn)研究和考察的對象。從經(jīng)驗(yàn)角度看，觀察評委的評分線與平均分線的關(guān)系，實(shí)際上有這樣幾種評委的評分傾向：第一，評委的評分線始終低于或高于全體評委打分確定的平均分線，與平均分線呈近似平行的關(guān)系。這種評委是一種帶有主觀色彩的“公正”評委，有一個(gè)穩(wěn)定的主觀傾向在理解和掌握評分標(biāo)準(zhǔn)，堅(jiān)持按從嚴(yán)或偏松的傾向打分，其離差絕對值之和等于離差代數(shù)和的絕對值，“絕代比”比值為1，而且，離差絕對值之和越大，偏離平均分線的平均距離則越大

13、，反之，則越小。如果測評結(jié)果按照分?jǐn)?shù)高低進(jìn)行比較確定人選或排序的話，評委的主觀傾向?qū)⒂绊懺u分結(jié)果的客觀性。比如，當(dāng)“公正”而又“嚴(yán)格”的評委在評委群體中占多數(shù)并起主導(dǎo)作用時(shí)，按照平均分的絕對標(biāo)準(zhǔn)來進(jìn)行評價(jià)比較，可能“合格者”為數(shù)了了，反之，良好和優(yōu)秀者將大量產(chǎn)生。第二，評委的評分線圍繞平均分線做小幅波動，沒有明顯的規(guī)律，呈“擰麻花”形態(tài)。這種評委試圖按照客觀標(biāo)準(zhǔn)掌握評分標(biāo)準(zhǔn)，保持客觀公允態(tài)度，謹(jǐn)慎小心，離差絕對值較小，即使在平均分線上下波動，但起伏不大，其離差絕對值之和與離差代數(shù)和的比值雖大與1，但比較接近1，或者比值在12之間。從經(jīng)驗(yàn)角度看，這類評委的評分水平比較高，主觀傾向與客觀實(shí)際相接近

14、，是比較理想的評委。所以，在評委中間，習(xí)慣于將自己的分?jǐn)?shù)與當(dāng)場公布的平均分進(jìn)行比較，來檢查自己評分的主觀傾向與客觀結(jié)果的一致性和相似性。第三，評委的評分線始終在一個(gè)極小的極差范圍內(nèi)波動，始終保持水平狀態(tài)，最為典型的是處在中等分?jǐn)?shù)水平，但又不同于第一、第二種情況，與平均分線沒有規(guī)律性的關(guān)系。這種評委主要是缺乏知識能力，或抱以馬虎敷衍的態(tài)度，不能如實(shí)比較鑒別測評對象的實(shí)際差別，評分結(jié)果缺乏區(qū)分度。最典型的是“老好人”式的評委，本著“你好我好大家好”“誰也不得罪”的心理，其評分線呈現(xiàn)“中等”或“良好”層次的水平狀態(tài)。第四，評委的評分線與平均分線的關(guān)系有明顯的不規(guī)則性形態(tài)。這里最常見的情況是，該評委給出的大多數(shù)對象的分?jǐn)?shù)與平均分線呈一有規(guī)律的吻合，但是在少數(shù)個(gè)別分?jǐn)?shù)上出現(xiàn)明顯的跳躍，遠(yuǎn)離平均分線。似乎在有意壓低其他大多數(shù)測評對象的分?jǐn)?shù)，而故意抬高自己看好或是有特殊關(guān)系的個(gè)別測評對象的分?jǐn)?shù)。該評委給出的分?jǐn)?shù)往往是該測評對象的最高分，在統(tǒng)計(jì)處理時(shí)很容易被“去掉”，但是，如果這一類評委事先有“合謀”且“人