增值性評價的實踐與思考

1、 增值性評價的實踐與思考 摘 要：我們常用的原始分?jǐn)?shù)，進(jìn)行橫向比較的成績分析存在很多弊端，增值性評價是今后評價制度改革的一個重要方向。本文以某寄宿制中學(xué)七年級為例，應(yīng)用經(jīng)典S-P表評價理論，在同時考慮學(xué)生層面和班級層面的基礎(chǔ)上，使用目前國際流行的多層線性分析技術(shù)，建立了寄宿制中學(xué)語文和數(shù)學(xué)分析模型，并計算出學(xué)校和教師對學(xué)生成長的實際凈增值，為評判學(xué)校和教師的教育教學(xué)提供科學(xué)依據(jù)，以實現(xiàn)教育教學(xué)評價的科學(xué)化、有效化。Key：增值性評價；經(jīng)典S-P表；評價理論；多層線性分析：G40-058.1 文獻(xiàn)標(biāo)志碼：A ：1673-8454（2017）09-0027-05IT（Information Tec

2、hnology）時代指信息技術(shù)時代，主要標(biāo)志是現(xiàn)代信息技術(shù)產(chǎn)品，如投影、交互式投影、一體機、實物展臺、網(wǎng)絡(luò)等大規(guī)模地使用。DT（Data Technology）時代指數(shù)據(jù)時代，標(biāo)志是對用戶數(shù)據(jù)的收集以及分析，可以做到對用戶個別化、差異化的服務(wù)。在DT時代大數(shù)據(jù)的背景下，教育也將迎來深度變革，DTE（Data Technology for Education），即教育數(shù)據(jù)技術(shù)應(yīng)運而生，這標(biāo)志著以基于教育教學(xué)過程產(chǎn)生的數(shù)據(jù)和數(shù)據(jù)分析為核心的時代已經(jīng)來臨，可以為教育教學(xué)提供更精確的服務(wù)，真正做到因人施教。教育數(shù)據(jù)挖掘（Education Data Mining）是教育數(shù)據(jù)技術(shù)（DTE）中一個重要應(yīng)用

3、。它綜合運用數(shù)理統(tǒng)計、人工智能與機器學(xué)習(xí)、數(shù)據(jù)挖掘等技術(shù)與方法，對教育原始數(shù)據(jù)進(jìn)行分析處理，通過構(gòu)建數(shù)據(jù)模型，對學(xué)習(xí)者的學(xué)習(xí)結(jié)果與學(xué)習(xí)內(nèi)容、學(xué)習(xí)資源和教學(xué)行為等變量進(jìn)行相關(guān)關(guān)系分析，從而有效地發(fā)現(xiàn)學(xué)習(xí)者學(xué)習(xí)中存在的問題，為教學(xué)管理者、教師和學(xué)生提供支持和解決方案，實現(xiàn)高效學(xué)習(xí)。教育數(shù)據(jù)挖掘的核心在于數(shù)據(jù)分析處理，教育數(shù)據(jù)分析內(nèi)容很多，其中我們用得最多、最普遍的是成績分析。但原有的以原始分?jǐn)?shù)進(jìn)行橫向比較的成績分析評價方式存在很多的弊端，如看不到學(xué)生的進(jìn)步、打擊學(xué)生學(xué)習(xí)積極性、班級之間比較沒有考慮生源因素、挫傷教師積極性等等。增值性評價是今后評價制度改革的一個重要突破和方向，自上世紀(jì)90年代在美國

4、田納西州廣泛運用以來，得到了越來越多的關(guān)注。簡單地說，增值性評價就是看學(xué)生在一段時間教育過程后的成長、進(jìn)步、轉(zhuǎn)化的幅度，即增值=輸出-輸入。簡單來說就是注重學(xué)生縱向比較，淡化橫向比較。比如基礎(chǔ)差、學(xué)習(xí)困難的學(xué)生，如果經(jīng)過一段時間學(xué)習(xí)后，本次考核比原來有了進(jìn)步，哪怕他的原始分?jǐn)?shù)橫向比較仍然很低，都應(yīng)該褒獎；反之，原來學(xué)習(xí)優(yōu)秀的學(xué)生，如果沒有保持或退步，即使他的原始分?jǐn)?shù)比學(xué)習(xí)困難的學(xué)生多很多，也應(yīng)該受到批評。換言之，增值性評價正是發(fā)展性評價的一種，強調(diào)以每個學(xué)生的進(jìn)步幅度來評價教師和學(xué)校的工作水平，這與目前所倡導(dǎo)的面向全體學(xué)生、促進(jìn)學(xué)生全面發(fā)展的思想不謀而合。同樣，增值性評價系統(tǒng)也改變了學(xué)校教師評

5、價，不是簡單地看最后考試的分?jǐn)?shù)，它能讓教師更多地關(guān)心學(xué)生學(xué)業(yè)的進(jìn)步。由于是以學(xué)生學(xué)業(yè)成績的增值為考評教師的基礎(chǔ)，能很好地解決“擇生”問題（即目前所謂實驗班、火箭班和普通班劃分，學(xué)校內(nèi)部人為地將學(xué)生區(qū)分為三六九等），為教師提供了公平的教學(xué)環(huán)境。現(xiàn)在以某中學(xué)七年級語文和數(shù)學(xué)期末考試為例談?wù)剬υ鲋翟u價的思考與實踐。一、以期末語文考試原始分排序（見表1）二、用增值比較排序?qū)⑷雽W(xué)考試和期末考試成績折算成標(biāo)準(zhǔn)分，即Z分，再計算增值，用增值來排序。這樣不是單純地以一次考試成績來評判班級和教師，而是用進(jìn)步和發(fā)展的角度來評價，顯然比第一種方法更科學(xué)。（見表2）三、多層線性分析在教學(xué)實踐中我們可以發(fā)現(xiàn)，學(xué)生的成績

6、不僅受到學(xué)生自身因素的影響，也受到很多外部因素的影響，不僅受到學(xué)校的影響，也受到家庭、社會的影響。比如學(xué)生的基礎(chǔ)，學(xué)生的學(xué)習(xí)態(tài)度、學(xué)習(xí)方法習(xí)慣、家庭出身等，都與學(xué)生的成績有關(guān)系。如果忽視這些學(xué)校不能控制的因素，只是簡單地進(jìn)行入和出的比較，將學(xué)生成績?nèi)繗w因于教師的教學(xué)，對很多普通學(xué)校和班級來說顯然是不公平的。故目前大家都普遍認(rèn)為，學(xué)生個體不是生活在真空里的，對學(xué)生學(xué)習(xí)的評價必須考慮到學(xué)生個體自身影響和生活在其中的外部環(huán)境影響。在寄宿制學(xué)校中，因?qū)W生絕大部分時間都在學(xué)校，故我們暫時忽略家庭的影響，先考慮班級對學(xué)生的影響。我們常?？梢园l(fā)現(xiàn)，班級內(nèi)部學(xué)生的差異明顯小于不同班級間學(xué)生的差異，所以我們在

7、對全校各班做分析時不能只考慮學(xué)生個體因素，忽略班級因素；或只考慮班級因素，忽略學(xué)生個體因素，而要把這兩者結(jié)合起來。那么傳統(tǒng)的基于普通最小二乘法（OLS）的回歸模型就很難做到，所以這次筆者引入了多層線性分析來進(jìn)行。本次分析的對象是某寄宿制中學(xué)七年級751名學(xué)生，分成16個班。通過調(diào)查問卷等形式，得到影響學(xué)生成績的因素，分為學(xué)生層面和班級層面兩層。在學(xué)生層面，大家比較認(rèn)同和關(guān)心的是學(xué)生的基礎(chǔ)、學(xué)習(xí)方法、學(xué)習(xí)態(tài)度、學(xué)習(xí)習(xí)慣等，我們可以把學(xué)習(xí)方法、學(xué)習(xí)態(tài)度、學(xué)習(xí)習(xí)慣等合稱為學(xué)生的學(xué)力；班級層面有基礎(chǔ)平均分和學(xué)力平均分。使用軟件為SPASS和HLM。1.學(xué)生基礎(chǔ)按照入學(xué)考試成績，將其折算成標(biāo)準(zhǔn)分。2.學(xué)

8、生學(xué)力使用經(jīng)典S-P表評價理論，根據(jù)入學(xué)成績將學(xué)生學(xué)力分為六個等級，從A- C ， 如圖1所示。對六個學(xué)力等級分別賦值1-6。分析過程如下：第一階段：零模型建立方程如下：LEVEL1： Dij=0j+ijLEVEL2： 0j=00+0j水平1中因變量Dij 表示第j個班級第i個學(xué)生的增值，0j是第j個班級的平均值，ij是第j個班級第i個學(xué)生殘差；水平2中00是總體結(jié)果的總平均數(shù)，0j是與第j個班級相聯(lián)系的隨機效應(yīng)。并做如下假定：ij為獨立并且服從以0為平均數(shù)、2為方差的正態(tài)分布，表示為ijN（0，2）。0j為獨立并且服從以0為平均數(shù)、00為方差的正態(tài)分布，表示為0jN（0，00）。ij與0j相

9、互獨立。 零模型是多層分析的起點，它是最簡單最基本的多層模型，水平1和水平2都不存在自變量。它用來估計因變量的差異有多少歸因于第一層和第二層，即我們的學(xué)生層和班級層。如果班級層占了總體方差的較大部分，就有必要使用多層分析；如果班級層占據(jù)因變量的差異沒有達(dá)到顯著水平，則只需要使用單層分析技術(shù)，即簡單回歸即可。計算公式如下：班級間差異，也就是方差Var（0j）= 00班級內(nèi)學(xué)生差異，也即方差Var（ij）= 2所以 =00/（00+2）一般來說，值大于0.059，則有必要進(jìn)行多層分析。檢驗結(jié)果如表3所示：=00/（00+2）=0.16305/（0.16305+1.14777）0.1244，并且p-

10、value=0.000， 達(dá)到了顯著性水平，這表明學(xué)生成績增值在班級層存在顯著差異，在學(xué)生成績增值的總變異中有12.44%歸因于班級之間差異，其余87.56%歸因于學(xué)生個體。故我們下結(jié)論有必要進(jìn)行多層分析。第二階段：隨機效應(yīng)模型在這個模型中，我們只在水平1中加入預(yù)測變量，通過對水平1中各預(yù)測變量在水平2的班級間差異是否顯著進(jìn)行檢驗，從而判斷是否以該水平1中預(yù)測變量的斜率為因變量在水平2中建立方程。LEVEL1： Dij=0j+1j（ruxue）+2j（xueli）+ijLEVEL2： 0j=00+0j1j=102j=20其中，Dij解釋同第一階段。預(yù)測變量ruxue是學(xué)生入學(xué)成績，預(yù)測變量xu

11、eli是學(xué)生入學(xué)時學(xué)力。為了研究能盡可能量化，假定班級水平與學(xué)生水平變量之間的交互作用在各個班級之間沒有顯著差異，所以水平1中除了截距外，其它回歸系數(shù)都限定為在不同班級間固定不變，這樣對于每個班級而言，水平2中0j包括兩個部分：00（固定截距，所有班級都一樣）與0j（隨機截距，每個班級不一樣），這樣0j就為一個班級除了其他因素外實際增量。檢驗結(jié)果如表4所示。從固定效應(yīng)中可以看到，學(xué)生入學(xué)成績（學(xué)習(xí)基礎(chǔ)）是一個顯著的負(fù)向影響，其值為：10=-0.770459，T=-14.501，P0.05，這個數(shù)據(jù)表明基礎(chǔ)好的學(xué)生，經(jīng)歷了近一年學(xué)習(xí)，其語文成績提高不如基礎(chǔ)差的學(xué)生。這個問題很多專家也進(jìn)行過研究，

12、如美國學(xué)者Sanders在美國田納西州的增值性研究表明，進(jìn)步較快的學(xué)生，是原來水平比較低的學(xué)生，因為其原來掌握的知識比較少，因此他們有更大的增值空間。（參見The Tennessee Value-Added Assessment System中相關(guān)論述）學(xué)生的學(xué)力（學(xué)習(xí)態(tài)度、學(xué)習(xí)方法等）是一個顯著正向影響，其值為：20=0.118998，T=2.738，P0.05）。班級平均學(xué)力是一個顯著的正向影響，其值為：02=0.673979，T=9.123，P0.05，這個數(shù)據(jù)表明班級學(xué)生平均學(xué)力越高，其語文學(xué)習(xí)成績進(jìn)步越大，也就是說學(xué)生之間由于學(xué)習(xí)習(xí)慣、學(xué)習(xí)態(tài)度、學(xué)習(xí)方法等構(gòu)成的學(xué)習(xí)氛圍對彼此間有顯著

13、的正向影響。結(jié)合以上敘述，我們?nèi)サ羲?里沒有統(tǒng)計學(xué)意義的預(yù)測變量班級平均基礎(chǔ)，將相關(guān)參數(shù)帶入，得到如下方程：LEVEL1： Dij=0j-0.746931（ruxue）+0.080888（xueli）+ijLEVEL2： 0j=0.003092+0.673979（xuelia）+0j將每個學(xué)生的數(shù)據(jù)帶入后，可以求得每個學(xué)生實際的增值，再對各個班級進(jìn)行平均，得到各個班級關(guān)于七年級語文期末相對入學(xué)實際增值，計算結(jié)果如表6所示。全年級學(xué)生增值數(shù)據(jù)中，最低-7.73，最高1.71，平均0.001581，標(biāo)準(zhǔn)方差0.97，總體上實現(xiàn)了正增值，但是學(xué)生之間差異較大。全年級原始分排名和實際增值排名變化如表

14、7所示。（箭頭朝上代表名次增加，箭頭朝下代表名次下降）四、對數(shù)學(xué)期末考試和入學(xué)考試分析結(jié)果對數(shù)學(xué)分析基本同語文，第一步，=00/（00+2）=0.28002/（0.28002+0.62271）0.3102，并且p-value=0.000，故對理科而言，多層分析更有必要。 第二步，學(xué)生基礎(chǔ)是一個負(fù)向因子，學(xué)生學(xué)力是一個正向因子，而且都是顯著相關(guān)的。第三步，班級平均基礎(chǔ)沒有統(tǒng)計意義，班級平均學(xué)力是一個顯著的正向影響，其值為：02=1.114304，T= 9.402，P0.05。另外10=-0.488918，20=0.052447。最后方程如下：LEVEL1： Dij=0j-0.488918（rux

15、ue）+0.052447（xueli）+ijLEVEL2： 0j=-0.000037+1.114304（xuelia）+0j對結(jié)果進(jìn)行統(tǒng)計，全年級學(xué)生增值數(shù)據(jù)中最高3.01，最低-3.54，平均-0.00022，標(biāo)準(zhǔn)方差0.6648，總體是微弱負(fù)增長，學(xué)生之間差異比較大。全年級原始分排名和實際增值排名變化如表8所示：（箭頭朝上代表名次增加，箭頭朝下代表名次下降，“-”表示名次沒有變化）五、結(jié)束語基于成績分析的增值評估是評價學(xué)校、教師的一種重要手段，因為學(xué)生不是生活在真空里，也不是只受到學(xué)校教師的影響，所以我們努力在科學(xué)研究、合理預(yù)測的基礎(chǔ)上，盡量排除其它因素，計算出學(xué)校和教師對學(xué)生成長的實際凈增值，為政府管理機構(gòu)、教學(xué)研究機構(gòu)以及社會各界評判學(xué)校和教師的教育教學(xué)提供科學(xué)依據(jù)，以達(dá)到調(diào)動各方面積極性的目的，實現(xiàn)教育教學(xué)評價科學(xué)化、有效化。本文在這方面做了一些有益的嘗試，下面還將更深入探討寄宿制學(xué)校中影響學(xué)生成績的各個因素，以使我們的評價更科學(xué)有效。參考文獻(xiàn)：1張雷，雷靂，郭伯良.多層線性模型應(yīng)用M.北京：教育科學(xué)出版社，2003.2溫福