基于表現(xiàn)性證據(jù)的合作評(píng)分研究-以教師評(píng)價(jià)素養(yǎng)的測(cè)評(píng)為例

評(píng)分者，根據(jù)已開發(fā)的指標(biāo)框架和評(píng)分規(guī)則，對(duì)10名教師的評(píng)價(jià)素一、引言出不同的推斷，[2]這些都會(huì)降低評(píng)分者內(nèi)在一致性信度和評(píng)分者間的問(wèn)題情境的評(píng)估，因?yàn)楸憩F(xiàn)性評(píng)價(jià)中呈現(xiàn)的素養(yǎng)證據(jù)往往是混雜文教師和5名數(shù)學(xué)教師參與本次研究。這10名教師的基本信息如表1所示。編號(hào)性別學(xué)科年級(jí)教齡(年)職稱女語(yǔ)文三6中小學(xué)二級(jí)女語(yǔ)文六中小學(xué)二級(jí)女?dāng)?shù)學(xué)二2無(wú)女?dāng)?shù)學(xué)四7無(wú)女語(yǔ)文四8中小學(xué)二級(jí)女語(yǔ)文五8中小學(xué)二級(jí)女?dāng)?shù)學(xué)四9中小學(xué)二級(jí)女?dāng)?shù)學(xué)四6中小學(xué)二級(jí)女?dāng)?shù)學(xué)四5中小學(xué)二級(jí)女語(yǔ)文六8中小學(xué)二級(jí)(二)研究工具問(wèn)卷》(TeacherAssessmentLiteracyQuestionnaire,簡(jiǎn)稱TALQ)的指標(biāo)體系較為一致。該問(wèn)卷共21題，每題答對(duì)計(jì)1分，答錯(cuò)計(jì)0察“選擇評(píng)價(jià)方法”;4—6題對(duì)應(yīng)的維度是“開發(fā)評(píng)價(jià)方法”;7—9題對(duì)應(yīng)的維度是“管理、評(píng)分和解釋評(píng)價(jià)結(jié)果”;10—12題對(duì)應(yīng)的維度是“使用評(píng)價(jià)結(jié)果進(jìn)行教育決策”;13—15題對(duì)應(yīng)的維度是“使用評(píng)價(jià)劃分等級(jí)”;16—18題對(duì)應(yīng)的維度是“交流評(píng)價(jià)結(jié)果”;19—21題考察評(píng)價(jià)中“識(shí)別不合倫理的評(píng)價(jià)實(shí)踐”的素養(yǎng)。本研究將教師評(píng)價(jià)素養(yǎng)分為五個(gè)維度進(jìn)行測(cè)評(píng)，分別是“確定評(píng)進(jìn)”,并細(xì)分為11個(gè)指標(biāo)。通過(guò)文獻(xiàn)梳理、領(lǐng)域分析和專家訪談等料，其他材料(例如PPT、學(xué)習(xí)單等)為教師的補(bǔ)充性材料。教師提交的證據(jù)載體的具體信息如表2所示。樣例學(xué)習(xí)單留心觀察搭船的鳥√√√√√√閱讀表達(dá)√√√√√√√圖形的運(yùn)動(dòng)√√√√√√條形統(tǒng)計(jì)圖條形統(tǒng)計(jì)圖(2)√√√√√√發(fā)揮想象創(chuàng)編√√√√√一讀書明智√√√√√一商的變化規(guī)律的應(yīng)用√√√√√√田忌賽馬問(wèn)題√√√√√一√√√√√√√√√√√√3.評(píng)分規(guī)則本研究招募兩名評(píng)分者，依據(jù)已制定的教師評(píng)價(jià)素養(yǎng)的評(píng)分規(guī)則要內(nèi)容。評(píng)分規(guī)則示例如表3所示。編號(hào)；SO-1使用高級(jí)反饋技術(shù)。1.請(qǐng)首先查看所有材料，簡(jiǎn)要記錄相關(guān)的教師表現(xiàn)。2.您是否認(rèn)為教師符合這一表現(xiàn)?3.您判斷的證據(jù)來(lái)源于哪些材料：口課堂錄像□教案□課堂反思4.請(qǐng)根據(jù)右邊的指導(dǎo)性問(wèn)價(jià)撰寫評(píng)估報(bào)告并附以指導(dǎo)性問(wèn)題：1.教師的反饋水平如何?2.有哪些證據(jù)支持?請(qǐng)一一描述該證據(jù)片段。3.簡(jiǎn)要分析教師在教學(xué)過(guò)程中是如何進(jìn)行反饋的?4.材料中有沒(méi)有反例反駁了教師這一表現(xiàn)?請(qǐng)進(jìn)行分析。報(bào)告示例：結(jié)論：教師沒(méi)有使用高級(jí)的反饋技術(shù)。理由一：在教案中沒(méi)有呈現(xiàn)有關(guān)高級(jí)的反饋技術(shù)的預(yù)設(shè)。證據(jù)：教案中教師雖然撰寫了任務(wù)二的反饋形式，但是僅僅只寫了反饋”而沒(méi)有具體寫明如何反饋。理由二：在課堂教學(xué)中，教師普遍使用較為低級(jí)的、不連貫的反饋形式。反例：方法。我認(rèn)為這一片段算是一個(gè)較高水平的反饋。(三)評(píng)分程序評(píng)分者A是具有超過(guò)15年教學(xué)和評(píng)價(jià)經(jīng)驗(yàn)的小學(xué)數(shù)學(xué)教師，評(píng)分者B為具備多年語(yǔ)文教學(xué)經(jīng)歷和教師評(píng)價(jià)經(jīng)驗(yàn)的小學(xué)校長(zhǎng)。評(píng)分流程遵培訓(xùn)目的是使評(píng)分者清楚了解評(píng)價(jià)素養(yǎng)指標(biāo)體系中各維度的評(píng)價(jià)為3小時(shí)左右。為了達(dá)到培訓(xùn)目的，培訓(xùn)過(guò)程分為三個(gè)階段。第一階段，介紹。研究者首先向評(píng)分者系統(tǒng)講解評(píng)價(jià)素養(yǎng)、表現(xiàn)準(zhǔn)及評(píng)分流程，研究者選定某一個(gè)維度，從預(yù)研究采集的10份證據(jù)2.正式評(píng)分由于客觀條件限制，兩名評(píng)分者對(duì)證據(jù)載體的評(píng)估采取遠(yuǎn)程視頻評(píng)分。最終10份被試材料得到兩份評(píng)分記錄，即評(píng)分者A評(píng)定的結(jié)果ai,評(píng)分者B評(píng)定的結(jié)果bi。評(píng)分者對(duì)評(píng)分中被評(píng)定為0分的指標(biāo)，以及研究者認(rèn)為評(píng)分者所撰寫兩個(gè)分?jǐn)?shù)差異超過(guò)該維度總分的1/2,則被認(rèn)為是具有顯著差異的評(píng)識(shí)的評(píng)分表，并形成最終的合作評(píng)分結(jié)果ci(四)數(shù)據(jù)分析數(shù)據(jù)分析主要從量化分析和質(zhì)性分析兩個(gè)層面進(jìn)行。量化分析包括了信效度分析和多面Rasch建模分析，而質(zhì)性分析為評(píng)分過(guò)程案例本研究首先計(jì)算了校標(biāo)關(guān)聯(lián)效度，使用SPSS23.0計(jì)算評(píng)分結(jié)果ai、bi和ci分別與問(wèn)卷得分的皮爾遜積差相關(guān)，并比較何種方法所其次，本研究使用SPSS23.0計(jì)算兩名評(píng)分者評(píng)分之間的皮爾遜積差相關(guān)系數(shù)，從而得出評(píng)分者間一致性信度。相關(guān)系數(shù)大于0.80,最后，在計(jì)算評(píng)分者內(nèi)部一致性信度時(shí)使用SPSS23.0計(jì)算得分ai、bi和ci的克隆巴赫a系數(shù)，從而得出評(píng)分者內(nèi)部一致性信度。一般而言，α>0.70則被認(rèn)為具有較高信度[6],系數(shù)介于0.60與0.70之間處于可接受的范圍內(nèi)。2.多面Rasch建模分析當(dāng)存在多個(gè)評(píng)分者對(duì)被試進(jìn)行評(píng)分時(shí)，通常會(huì)采用多面Rasch模型(ManyFacetRaschModel,簡(jiǎn)稱MFRM)進(jìn)行建模分析。該模型將被試能力、評(píng)分者寬嚴(yán)程度、題目難度、評(píng)分等級(jí)等變量納入影響最終評(píng)分的因素之中。具體來(lái)說(shuō)，本研究采用Linacre編制的MFRM分析程序FACETS3.80.47進(jìn)行數(shù)據(jù)分析，在同一尺度上對(duì)被試能力、評(píng)分者寬嚴(yán)程度以及題目難度進(jìn)行分析。3.評(píng)分過(guò)程的案例分析除以上量化分析外，本研究為論證評(píng)分過(guò)程的合理性還進(jìn)行了案例分析。研究者選擇某一典型的評(píng)分點(diǎn)，采用半結(jié)構(gòu)化的回溯性訪談方式，挖掘評(píng)分者的評(píng)分過(guò)程，從而確定評(píng)分者證據(jù)提取、證據(jù)解釋的內(nèi)在邏輯，并將證據(jù)與評(píng)分表進(jìn)行對(duì)應(yīng)，從而建構(gòu)評(píng)分過(guò)程模型。具體的分析過(guò)程為：(1)在所有評(píng)分結(jié)束后，研究者收集兩名評(píng)分者的所有評(píng)分表。(2)結(jié)合評(píng)分過(guò)程中的視頻錄像，選擇在兩名評(píng)分者獨(dú)立評(píng)分時(shí)，存在顯著差異評(píng)分的案例進(jìn)行分析。(3)研究者對(duì)兩名評(píng)分者進(jìn)行半結(jié)構(gòu)化的回溯性訪談，并進(jìn)行全程錄音。評(píng)分過(guò)程分析分為兩個(gè)部分，一是分析評(píng)分者是如何提取證據(jù)、解釋證據(jù)，以及如何評(píng)判的；二是分析評(píng)分者是如何與另一名評(píng)分者根據(jù)評(píng)分差異，相互列舉證據(jù)進(jìn)行論證，從而達(dá)成共識(shí)的。研究采用基于證據(jù)的論證和圖爾敏(Toulmin)的論證模型為分析思路，即強(qiáng)調(diào)理由、推理與合理性，闡明證據(jù)—論點(diǎn)—主張之間的動(dòng)態(tài)關(guān)系。證據(jù)是評(píng)分者基于可觀察的、以通用術(shù)語(yǔ)進(jìn)行描述的數(shù)據(jù)；論點(diǎn)依據(jù)證據(jù)建立，在實(shí)際評(píng)估中，評(píng)分者需要通過(guò)教師在表現(xiàn)性評(píng)價(jià)中的語(yǔ)言、行為、文字等數(shù)據(jù)，尋找能夠代表教師評(píng)價(jià)素養(yǎng)的多種證據(jù)從而形成推斷；而主張是由不同論點(diǎn)匯集而成的判斷，應(yīng)與評(píng)估(一)表現(xiàn)性評(píng)價(jià)的量化分析結(jié)果(1)校標(biāo)關(guān)聯(lián)效度的積差相關(guān)，結(jié)果如表4所示。結(jié)果表明，評(píng)分者共同協(xié)商的得分ci較之獨(dú)立評(píng)分ai和bi具有更高的校標(biāo)關(guān)聯(lián)效度。a1C11b1(2)評(píng)分者間一致性信度檢驗(yàn)<0.01),結(jié)果表明評(píng)分者間一致性信度較高。(3)評(píng)分者內(nèi)部一致性信度檢驗(yàn)研究計(jì)算了得分ai、bi和ci的克隆巴赫a系數(shù)，分別為aai=0.66、abi=0.67和aci=0.70。由結(jié)果可得，本次評(píng)估的評(píng)分2.多面Rasch建模分析圖1為同一尺度下評(píng)分者寬嚴(yán)程度、被試能力以及題目難度的分布圖，這些題目的難度范圍為-0.49至0.58logit,較好地覆蓋了101+++*I*-1+++被試MFRM的分析結(jié)果見表5。首先，這10名教師的能力范圍為-0.74至0.46logit,其中教師T9的評(píng)價(jià)素養(yǎng)水平最高，教師T2的評(píng)價(jià)素養(yǎng)水平最低。其次，所有被試的Infit值都在可接受的取值范圍0.5—1.5內(nèi)[,說(shuō)明實(shí)際觀察值和模型預(yù)測(cè)值之間的擬合程度較好。被試能力估計(jì)值標(biāo)準(zhǔn)誤均方的平方根(RMSE)為0.15,說(shuō)明對(duì)測(cè)量誤差的分隔系數(shù)(Separation)和信度(Reliability)分別為2.50和0.86。分隔系數(shù)大于2,一般認(rèn)為存在明顯差異；信度達(dá)到0.86,說(shuō)明此結(jié)果的可信度較高。此外，本研究未發(fā)現(xiàn)這10名教師的評(píng)價(jià)素養(yǎng)能力在學(xué)科背景(語(yǔ)文和數(shù)學(xué))上存在顯著差異(t=0.284,表5被試MFRM能力估計(jì)表最后，由表6可知，在評(píng)分寬嚴(yán)程度上，評(píng)分者B要比評(píng)分者A更嚴(yán)。此外，表示評(píng)分者內(nèi)部一致性程度的Infit值都在可接受的0.5—1.5范圍內(nèi)，這說(shuō)明兩位評(píng)分者不太存在主觀評(píng)分的偏差。Reliability值為0.60,雖然不高，但Separation的值(1.21)遠(yuǎn)小于2,說(shuō)明評(píng)分者之間不存在明顯差異。此外，卡方檢驗(yàn)的顯著性表6評(píng)分者M(jìn)FRM估計(jì)表(二)評(píng)分者評(píng)分過(guò)程案例分析1分；評(píng)分者B認(rèn)為被試反饋水平較低，在該項(xiàng)上的得分應(yīng)為0分?，F(xiàn)的畫面。”(2)對(duì)照證據(jù)載體中的多種內(nèi)容并進(jìn)行教師表現(xiàn)錨定評(píng)分者B提到：“在我從事的教師課堂表現(xiàn)的聽評(píng)課中，我自己總結(jié)描述?！?3)對(duì)教師在該評(píng)價(jià)素養(yǎng)維度上的表現(xiàn)進(jìn)行整合性判斷擇的案例中，評(píng)分者A認(rèn)為被試教師在大多數(shù)情況下都能表現(xiàn)出較高“錯(cuò)”判斷，而是通過(guò)反問(wèn)“是這樣嗎?”引發(fā)學(xué)生思考，并成功激課學(xué)到了什么”,兩個(gè)發(fā)言學(xué)生的總結(jié)基本都為“以后玩游戲的時(shí)候能夠用到這堂課的知識(shí)”,也就是說(shuō)都沒(méi)有貼合教學(xué)目標(biāo)，但是被試教師給出的反饋僅僅是“好的”,這明顯不是高水平的反饋。訪談發(fā)現(xiàn)，在給出一個(gè)整合性的判斷上，難度是比較高的，且是當(dāng)兩位評(píng)分者對(duì)同一被試得出相差較大的整體性判斷據(jù)的不同論點(diǎn)相互論證的過(guò)程，呈現(xiàn)出典型的“主張—論點(diǎn)—證據(jù)”(1)評(píng)分者描述雙方不一致的主張和論點(diǎn)評(píng)分者在合作評(píng)分時(shí)，首先比對(duì)評(píng)分表中撰寫的評(píng)估報(bào)告，分別者B在本案例中主張“該教師沒(méi)有達(dá)到使用高級(jí)反饋技術(shù)的標(biāo)準(zhǔn)”,因?yàn)椤霸摻處煼磸?fù)使用‘然后呢?'‘是嗎?'‘如果……那么……會(huì)怎樣?’的句式進(jìn)行反問(wèn)和設(shè)問(wèn)，這是典型的高級(jí)反饋的表現(xiàn)。”(2)評(píng)分者根據(jù)雙方推論依次給予支持或反對(duì)的證據(jù)評(píng)分者根據(jù)兩方的論點(diǎn)，提出證據(jù)進(jìn)行支持或反駁。例如評(píng)分者A在對(duì)評(píng)分者B的論點(diǎn)進(jìn)行反駁時(shí)指出：“在課堂錄像的13分至23其中一位學(xué)生在發(fā)言之后，教師反問(wèn)‘是這樣嗎?誰(shuí)有不同答案?'的表情并說(shuō)了一句‘哦’,表明知曉了正確答案。從這一教學(xué)片段中糾正，幫助學(xué)生理解正確答案?！?3)兩名評(píng)分者根據(jù)證據(jù)再次錨定論點(diǎn)并形成新的共識(shí)性的主張了較高的反饋技術(shù)，比如在課堂