公正合理評分方式(共10頁)

1、精選優(yōu)質文檔-傾情為你奉上公正合理的評分方式摘要在各種競賽與考試活動中，由于題目的靈活性和參賽學生的多樣性，使得答案多種多樣，評委在評卷標準的把握上也就難免產生分歧。為了最終評分的公平公正，我們需要全方面的考慮評委的資歷和打分特點，因為每個評委都有自己的評分主觀。通過加權等方式，盡可能減小由于評委個人原因而產生的偏差，使得分更加合理公正。針對問題一，為了保證每一份論文有相同的概率分發(fā)到每一位評委手里，我們采用隨機分配模型。將所有論文隨機排布，每篇論文安排3個評委，隨機對每一篇論文進行評委匹配。每個評委需要評卷n×3÷m次。針對每個評委的個人特點，通過每個評委的閱卷年數(shù)建立權

2、值函數(shù)模型模擬得到該評委分數(shù)相應的權值。然后將每篇論文的三個評委的打分進行加權平均，求出的的結果作為一篇論文的最終成績。針對問題二，我們采用了離差比模型。評卷誤差是指評分者給的分數(shù)與答題者做大結果客觀真值之差，這種差異體現(xiàn)在不同評分者評價同一份試卷。為了解決三人平分取均值時誤差受專家評分特點或是其他原因影響太大的特點，采用了離差比，進一步修正權值函數(shù)模型，加權求平均，求出的的結果作為一篇論文的最終成績。針對問題三，我們提出使用標準分1來充當一個相對評價量。標準分以平均分為參照點，以標準差為度量單位，將原始分化為具有同一計量單位的分數(shù)，這樣更能體現(xiàn)評分的公證性和合理性，盡力去掉或減少評卷老師不同

3、帶來的成績的差異和干擾和減少同一份試卷高分和低分的個人情緒干擾。關鍵詞：加權平均、隨機分配、多人批閱修正、權值函數(shù)、公正合理1、 問題重述信息化條件下，各項成績的確定往往需要多項指標共同確定，以建模競賽為例，假設有n篇論文提交，m個閱卷老師，要求每一篇論文需要被3個閱卷老師審閱打分，現(xiàn)實的情況是，不同的閱卷老師的評分標準不盡相同，有的老師閱卷比較嚴格，每一分都有自己的想法；也有的老師評分比較隨意，所有的分都差不多，等等。問題一：建立一個合適的模型，首先確定每一位閱卷老師的具體的閱卷論文是哪些？進而如何將三個成績規(guī)范為一個成績？最后形成每一篇論文的最終成績。問題二：在評分過程中，由于不同專家評分

4、特點或是其他原因導致3個成績差異較大，此時如何修正模型？問題三：你有沒有更好的評分策略，提出自己的想法并修改模型。2、問題分析本題研究的評分系統(tǒng)優(yōu)化問題，對于最簡單的評分法則求平均值的方法，其弊端時顯而易見的，尤其是僅僅只有三個樣本數(shù)據(jù)。例如：有些評委的起評分比較高，有些評委的起評分比較低；有些評委的高低分差比較小，有些評委的高低分差比較大，有些評委的主觀隨意性比較強因此，如何更好的利用三位評委的評分，得到作品的一個比較公平公正的得分是該問題的關鍵，而解決這個問題的核心在于如何確定三個評委分數(shù)的權值。對于一個評委個體來說，他的評分可靠性應該是由一些客觀的原因表現(xiàn)出來的。因此我們可以通過一定的參

5、數(shù)，確定系統(tǒng)所需的權值。這樣的參數(shù)是由閱卷的閱歷因此應對其進行一定的處理。我們假設一共有100篇論文，5個評委進行具體討論。 對于問題一，我們假設不考慮評委的年齡、反映程度、瀏覽儀器操作熟練程度等主觀因素，以及每篇論文的知識點復雜程度、論文篇幅等客觀因素對論文評定效率的影響，為了更加公正的評定，防止評判過程中的徇私舞弊行為，因此對于所有的論文采用隨機函數(shù)混排。為了提高判卷的效率，對于所有的n篇論文共計n×3=300次評分次數(shù)平均分配給5個評委。對于每個評委的歷次評卷分數(shù)進行縱向的標準化處理，得到每個評委的評卷標準值。對于每篇論文的3個評委進行橫向分析，確定每個評委的評分權值，加權求和

6、的結果作為一篇論文的最終成績。對于問題二，將每個評委的評分特點納入評分系統(tǒng)考慮的范疇，避免起評分不同、高低分差值不同帶來的評分失效，我們可選擇模糊集模型，確定絕對不公平評分模糊集和絕對公平評分模糊集，通過對歷次最終評分和評委打分的比對，當評委評分與論文最終得分小于一個確定的比對偏差時，我們認定為一次準確評分，統(tǒng)計每個評委在有限次評分過程中的準確評分次數(shù)，建立合適的模糊集隸屬函數(shù)。最終根據(jù)隸屬函數(shù)得到了每個評委的評分可行度，繼而修正每個評委的分數(shù)權值比重。加權求和得到論文最終分數(shù)。這種誤差控制方法的關鍵在于誤差控制閾值的確定，目的是使不同評卷員盡量保持評分標準的一致性。大量統(tǒng)計資料表明，大型選拔

7、性競賽，考生總體成績合理有效的分布應該是成對稱正態(tài)分布或正偏態(tài)分布。多人在一定規(guī)則約束下對一份試卷進行評定時，由于評卷教師都是長期任教，多次參加高考作文閱卷，進行了嚴格培訓與選拔，充分討論了評分標準，模擬評卷，規(guī)范評卷行為，統(tǒng)一基調。由于所有閱卷人員都是獨立自主按照評分標準評閱作文，那么所評成績服從正態(tài)分布。即XN（，2）。由模型假設，設X是考生作文的評分，則應有評分的分解式：X =+因為EX=, E=0， D=2 那么一篇作文的評分X的數(shù)學模型：X=+N（0，2）其中：是考生作文成績的理想值，是評卷人員的評分與真值的偏差，的大小反映了評卷老師閱卷水平與對評分標準的理解把握程度的好壞。對任意一

8、篇論文，和是未知的，也是不可測的。造成考生成績偏差來自，所以的偏差等于考生成績偏差。設Xi（i=1,2,3）是一篇論文的不同評分，為了使考生的成績更加公平，應使三人評分的在一定范圍內，為此提出區(qū)分度A，當做誤差控制閾值當偏差估計D=實際分-平均分 /平均值如果三維閱卷人分數(shù)偏差D>A時，使用離差比模型，進一步調整各分數(shù)的權值。對于問題三的優(yōu)化，我們發(fā)現(xiàn)每位評卷老師所評試卷的均值和方差都不相同。均值的差異體現(xiàn)兩位教師的評卷習慣（或傾向），方差的差異體現(xiàn)兩位教師的評卷離散度。單獨考察一個評卷老師，他所給出的所有試卷的分數(shù)，只能代表每份試卷在他心目中的地位，或者說是他所改的試卷在他心

9、中的一個排序，體現(xiàn)在分數(shù)上只表示兩份試卷的差異性。那么不同的老師給出同樣的分，對標準總分的貢獻度是不相同的。單獨考察一份試卷，分別由不同的老師給分，如果把某個或某些改卷老師換成善于給高分（即均值較大）的老師來改，那么他的絕對分數(shù)就會升高，相反，如果換成善于給低份的老師來改，那么他的絕對分數(shù)就會下降。但是現(xiàn)在的問題是，絕大多數(shù)的試卷的改卷老師都不完全相同，由于改卷老師個人喜好的差異性，用不同閱卷老師給出的原始分數(shù)來比較兩份試卷的優(yōu)劣，恐怕就沒有多少可比性，這樣來比較當然有失公允，所以要體現(xiàn)評分的公證性和合理性，必須考慮下面兩個問題：第一，盡力去掉或減少評卷老師不同帶來的成績的差異和干擾；第二，盡

10、力去掉或減少同一份試卷高分和低分的個人情緒干擾問題一解題流程圖：問題二解題流程圖：3、模型假設與符號說明3、1模型假設(1) 假設論文評分是以百分制；(2) 每個評委評卷效率無差別；(3) 每篇論文評閱所需時間基本無差別；(4) 每個評委評卷標準無巨大變化；(5) 假設A,B,C,D,E，F(xiàn)即為評委姓名，不存在冒名評分的現(xiàn)象；（6）假設評委參加閱卷年數(shù)越多，他閱卷準確度越高3、2符號說明Wi1 第i個評委的首次評分權重Wi2 第i個評委的第二次評分權重Wi 第i個評委的最終評分權重 Bi 第i個評委的評分Yi 第i個評委的閱卷年數(shù) Si1 首次權重后得到的平均分數(shù) Si2 二次權重后得到的最后

11、分數(shù)ai ai 每個分數(shù)相對于首次權重后得到的平均分數(shù)的偏差x0 所有老師的方差 i 所有老師方差的均值 a ij 第j個老師給第i份試卷的原始分4、模型的建立與求解4.1模型一： 隨機分配模型首先，我們對選定的100篇論文編號1100，運用matlab軟件，用隨機函數(shù)對其進行隨機排布（詳見附錄一）。將六個評委三個一組隨機組合，組合隨機分配100篇論文。示例如下（其中A,B,C,D,E，F(xiàn)代表六位評委，1100的數(shù)字代表論文編號）：4.2模型二： 權值函數(shù)模型已知第i個評委的閱卷年數(shù)為Yi，所以其首次評分權重為：Wi1=Yi13Yi 那么首次權重后得到的平均分數(shù)為:Si1=13Wi1Bi 4.

12、3模型三：離差比模型既然最高分和最低分既不能直接去掉，也不能直接取平均，我們設計了一個方案可以達到調節(jié)的作用。即用離差比來作為各位評卷老師的權重，取加權平均值，離差比較大的老師的分數(shù)，相應的權重就較小。若具體做法是：第j份試卷由三個評委評分，每個評委所打分數(shù)相對于首次權重后得到的平均分數(shù)的偏差為ai，ai=Bi-Si1那么第i個老師二次權重為：Wi2=1213ai-ai13|ai|所以第i個老師最終權重為： Wi=12Wi1+Wi2得到最后得分：Si2=13WiBi4.4模型四：標準分模型既然每一位老師給出的分數(shù)是體現(xiàn)不同的試卷在他心中的排名的差異，那么如果把分數(shù)整體平移也不會改變這種差異性。

13、我們做如下調整，將每位評卷老師的均值平移到同一個基點。這個基點選取所有老師均值的均值（記為xi ，i=1 2，3，n）。每位老師方差的不同導致每位老師所給出的 分對總分的貢獻度是不同的，因此我們采用方差壓縮的思想把所有老師的離散度（即方差，記為x0）調整到同一水平，這個水平我們選取所有老師方差的均值（記為i）。然后對所有老師所給的分數(shù)進行調整。記a ij為第j個老師給第i份試卷的原始分，那么經過這次調整后的分數(shù)a ij *為：a ij *=a ij-xii0+x0這樣調整后，所有老師的均值都相同，方差也都相同，從而去掉了不同的老師評卷的干擾。這時如果某份試卷任意換一位評卷老師，分數(shù)也不會相差太

14、遠。5、模型的評價模型一首先進行了任務的分配，采用hash函數(shù)的隨機分配法則，增加了論文評價過程中的公平度，保證所有的評卷老師所分配到的試卷的質量是相同的，即每位評卷老師所評試卷都與整個母體（即所有試卷）服從相同的分布。也就是說每位老師所評試卷中都有一定量的好試卷、都有一定量的差試卷。分配完評分任務后，我們首先著眼于每個評委，希望通過對其閱卷年數(shù)的比較，找到其評分的可靠性，即權值，通過平均加權求和得到最終分數(shù)。模型通過評委閱卷年數(shù)減少評分老師經驗帶來的不同干擾，保證了經驗豐富、打分準確度高的評委權值大，使最后得分接近選手真實成績模型二采用了離差比模型，很好修正了模型一的不足。因為模型一中只用閱

15、卷年數(shù)來做權值函數(shù)，減少評分老師經驗帶來的不同干擾，但忽視了評委個人主觀性對分數(shù)的影響。模型二的離差，使與平均分偏差大的分數(shù)，所占權值小，修正了每個分數(shù)的權值，保證減少了因評委個人打分隨意行所帶來的干擾。模型三是采用標準分模型，因為每一位老師給出的分數(shù)是體現(xiàn)不同的試卷在他心中的排名的差異，將每位評卷老師的均值和方差平移到同一個基點，這樣調整后，所有老師的均值都相同，方差也都相同，從而去掉了不同的老師評卷的干擾。這時如果某份試卷任意換一位評卷老師，分數(shù)也不會相差太遠。這樣就可以更加合理排除閱卷老師不同所帶來的干擾。6、模型的優(yōu)化和改進6.1大波動重新評價模型結合實際，我們可以借鑒高考評分的方式，對于一篇論文，如果三位評委評價的分值波動過大，將會被放置進重評集合中。對于整個重評集合，我們可以采用如下兩種方法重新評價，進而得到更加合理的評價結果：1、選擇更加權威的教員評分；2、采取多人評分取均值的方式。6.2 評委淘汰機制我們可以在原模型的基礎之上，對于評分可信度較低的評委采取類似于“末位淘汰”的機制，或者減少其判卷次數(shù)的方法，提高整個系統(tǒng)的評分可信度。7、參考文獻1 徐子儀，標準分在數(shù)學教育評價和管理中