英語測評中終語反饋信息的利用

英語測評中終語反饋信息的利用

1.基于測試結果的認知性評估近年來，語言測試的重點逐漸從人才的選拔轉向促進學習。換句話說，語言測試越來越強調如何通過考試正確評估學生的水平，并診斷他們的不足，以促進教育和學習（lee2015）。對于診斷性語言測試以及意在為教學提供建議的測試項目而言,向相關教育者和學生提供結果反饋是至關重要的一環(huán),反饋信息應盡可能幫助他們了解自己的優(yōu)勢和不足(Hardingetal.2015)。因此,大量實踐和研究致力于從測試結果中提取更細致的診斷信息(finer-grainedinformation),為教學提供更具針對性的改進方向。通常,小規(guī)模測試(如班級測試)更容易為學生個體或教師提供詳細的診斷結果反饋。但是診斷性測試不應排除大規(guī)模測評,其面臨的挑戰(zhàn)是如何保證反饋的針對性和時效性(Aldersonetal.2015)。為了達到診斷目的,研究者試圖明晰教學大綱目標及相關語言能力框架,進而細化測試任務所考查的子能力,并運用心理測量技術來促進大規(guī)模診斷測試結果反饋機制的改善(如Lee&Sawaki2009)。在這方面探究中,認知診斷評估(cognitivediagnosticassessment)被視為是能夠提取學生認知能力強弱項詳細信息的方法之一(Lee&Sawaki2009;Kim2015;Lee2015),近幾年逐漸得到廣泛關注和應用。本研究依托中國基礎教育質量監(jiān)測協(xié)同創(chuàng)新中心區(qū)域質量監(jiān)測項目,致力于為測試區(qū)域教育部門提供學生學業(yè)成就結果和診斷性評估反饋,以促進地區(qū)教育質量提升。研究采用認知診斷模型(G-DINA模型)分析該項目八年級英語測試考生在閱讀部分的作答表現(xiàn),從認知角度分析被試群體及個體能力強項和弱項的表現(xiàn)特征。2.不同認知類型學生的認知模型現(xiàn)狀對比認知診斷模型(cognitivediagnosticmodels,CDM)從認知角度,結合認知心理和心理測量模型對學生的知識或技能掌握程度進行評估(Lee&Sawaki2009),其首要目的之一是為測試結果使用者提供更為細致的學生表現(xiàn)信息(Sawakietal.2009)。認知診斷模型逐漸應用于外語測試項目,尤其是有意提供詳細成績報告的考試。目前的研究主要探究CDM應用于接受性能力的分析,如TOEFL閱讀和聽力考試、PISA閱讀等(參見Lee&Sawaki2009;Sawakietal.2009;Kim2015;Lietal.2016;Yi2017;陳慧麟,陳勁松2013)。隨著應用范圍不斷擴大,不同認知診斷模型相繼出現(xiàn),目前國際上大約已有100余種(李珊珊等2015)。融合模型(fusionmodel,FM)(如Kim2015)是外語聽力和閱讀測試中的常用模型。有研究對比了不同模型產出的結果,如Lee&Sawaki(2009)對比了通用診斷模型(generaldiagnosticmodel,GDM)、融合模型和潛質類型分析模型(latentclassanalysis,LCA),發(fā)現(xiàn)不同模型對考生進行分類的結果略有不同,大體一致;Lietal.(2016)將兩種非補償性模型(DINA,RRUM)和兩種補償性模型(DINO,ACDM)與飽和模型G-DINA進行了比較,結果顯示G-DINA和ACDM的模型擬合度優(yōu)于其他模型。本研究采用的G-DINA模型由delaTorre(2011)提出,是DINA的一般化模型,二者的主要區(qū)別在于G-DINA是補償性模型(compensatorymodel),試題所考查的各認知屬性對答對試題概率均有一定的貢獻比例,即使一個學生只掌握部分認知屬性也有答對該題的可能性;而DINA則假設學生掌握所有要求的認知屬性才能答對該題,掌握部分屬性與沒有掌握任何屬性同樣會被假設答對的概率為零,即使答對也會被計為猜測概率。此外,G-DINA還屬飽和模型(saturatedmodel),其將一題所包含的多個認知屬性之間的交互作用也計算在內(陳慧麟,陳勁松2013),即答對的概率不僅是掌握所包含屬性概率總和,而且還考慮屬性間交互的作用也會正向或反向影響最終答對概率。由此看來,這一模型更加符合語言測試的特點,因為各語言子技能(認知屬性)不易被剝離開,且各微技能之間有一定的交互作用。這一模型在英語閱讀測試中也得到了驗證(如陳慧麟,陳勁松2013)。3.閱讀單選題部分的答題分布本研究的數(shù)據(jù)來源于某年參加區(qū)域質量監(jiān)測項目八年級英語測試中49533名考生在閱讀單選題部分的作答分數(shù),該部分試題包括10道三選一的單選題目。下面將分Q矩陣的確定過程及在此基礎上進行分析的測試結果兩個部分呈現(xiàn)和說明。3.1q矩陣閱讀認知屬性測試大部分認知診斷模型的使用需首先構建Q矩陣,該矩陣描述被試回答出每個題項所需要的認知過程或能力(張瀟,沙如雪2013)。換而言之,Q矩陣展示每個題項和考查的認知屬性(cognitiveattributes)的對應情況,通常采用二元(0-1)計分。例如,若一個題項考查了某屬性,則標記為1;若未考查,則標記為0。由于Q矩陣會直接影響對考生能力的分析結果,因此確定每個題項所考查的認知屬性至關重要,也是首要步驟。本研究中,我們首先從該測試項目的命題框架出發(fā),結合相關研究界定閱讀認知屬性的分類(如Munby1978;Lee&Sawaki2009;Yi2017),初步劃定了本測試中10個閱讀題項所涵蓋的認知屬性。為了保證信度,我們再邀請一名初中英語教師根據(jù)認知屬性范圍獨立劃定每個題項涵蓋的屬性,另外形成一個Q矩陣。對比結果顯示,二者的一致性達到0.92。而后我們對二者的異同之處進行了討論,并由另一名語言測試專家審閱,最終確定本組試題所涉及的5個認知屬性:理解關鍵詞匯(A1),提取直接信息(A2),聯(lián)系多個信息(A3),整體把握內容(A4),推測間接信息(A5)。通過初步運算結果對模型進行了修正,最后確定10個閱讀題項(R01-R10)對應認知屬性所形成的Q矩陣,如表1所示。確定閱讀題項和對應考查的認知屬性Q矩陣后,本研究使用統(tǒng)計工具R中的CDMpackage對作答數(shù)據(jù)進行了G-DINA模型分析,以下展示主要結果。3.2個體認知特征監(jiān)獄考試首先統(tǒng)計結果顯示整體模型擬合RMSEA指數(shù)為0.02,各題項目擬合RMSEA指數(shù)均小于0.05,說明擬合度較好(Yi2017)。下面將從不同方面和視角展示該模型分析所得的作答反應數(shù)據(jù)結果。(1)各認知屬性的整體掌握概率首先,經過G-DINA模型診斷分析得出被試掌握5個認知屬性概率的整體情況,如表2所示。從表2可見,參加本次監(jiān)測的考生群體在理解關鍵詞匯和提取直接信息上的表現(xiàn)相對突出,其次是整體把握內容,但在聯(lián)系多個信息和推測間接信息能力上表現(xiàn)較弱。其中,A3與預想的認知難度略有不符,數(shù)據(jù)表明學生處理多個信息(此題是整合不同態(tài)度)上的能力水平略低,甚至低于對文章大意的把握。(2)各潛質類型分布情況此外,認知診斷分析還可挖掘出不同潛質類型的分布概率。由于個體差異,學生對5個認知屬性的掌握情況不盡一致,即有的學生可能只掌握一個屬性,有學生掌握其中多個屬性。如表3所示,標識潛質類型的5位數(shù)字依次代表A1至A5認知屬性,仍以0和1分別表示“未掌握”和“掌握”該屬性,由此可形成32(即2表3數(shù)據(jù)顯示,分布最多的是全部掌握5個認知屬性的潛質類型(11111)和全未掌握的潛質類型(00000),這體現(xiàn)了這些認知屬性在英語閱讀中是相互關聯(lián)影響的。此外10010型分布較多,說明本次測試中所考查的理解關鍵詞匯和整體把握內容兩項技能之間的相互依存性較強。另外,分布概率近乎為0的幾個潛質類型(01111,10111,00111,01001,11001,00101,00011,00110,10110,01110)均包括較高層次的認知屬性,且第一個或第二個屬性基本為零,反映了低層次認知屬性相對高層次認知屬性的基礎作用。(3)答對測試題項與掌握相應認知屬性的概率分布通過G-DINA模型診斷分析可知答對每個題項與掌握所測量的認知屬性之間的概率關系,結果如表4所示。表中第1屬性和第2屬性是基于表1所確定的各題項所考查的屬性數(shù)量和順序,第1×2屬性表示同時考查的兩個屬性交互作用下答對題項的概率。猜測概率則指未掌握所考查屬性的答對概率。如數(shù)據(jù)顯示,學生若掌握一個題項所考查的全部屬性則答對該題的概率在0.88(R09)至0.99(R03,R06)之間,說明試題的構念界定較為合理。下面以第5個閱讀題項為例具體闡釋數(shù)據(jù)所呈現(xiàn)的信息。如圖1所示,該題考查A4和A5兩個認知屬性,若兩個屬性都不具備(A00),考生答對該題被視為猜測作答,概率為0.14;只掌握A4(A10),則答對該題的概率為0.22;只掌握A5(A01)答對概率較高,達到了0.66;而掌握兩個屬性(A11)概率則達到了0.96?？梢夾11答對概率并不是A10和A01概率的簡單相加所得,還包括二者的交互作用。(4)考生個體認知屬性掌握特征最后,該認知診斷分析可從考生的角度展現(xiàn)個體能力特征,下面以第309和1038號考生(S309和S1038)為例。圖2所示的雷達圖可直觀體現(xiàn)兩個學生的認知能力表現(xiàn)特征,S309在A1,A4和A2上的表現(xiàn)合格,而在A3和A5上的表現(xiàn)需要提升;而S1038的診斷分析結果建議其應在保持優(yōu)勢(A1-A4)的基礎上重點培養(yǎng)推測能力(A5)。4.成績報告的測量通過以上分析可知,認知診斷模型的使用建立在子技能的界定劃分上,這對于提供診斷性信息有重要意義。如Alderson(2000)所言,微觀技能的劃分可能對于綜合性成績匯報的測試項目來說不是很重要,但就診斷性測試而言則是需要考慮的一大問題和挑戰(zhàn)。同時,成績匯報強調測試所蘊含的能力特質掌握情況,可使教師和學生更加關注能力的獲得,而非練習做題技巧,這也是間接性分立式的語言知識測試所不足以實現(xiàn)的(Shohamy1982)。以下將結合前人研究文獻對本研究數(shù)據(jù)及其啟示從兩個角度進行討論。一是從學生表現(xiàn)角度,總結討論此次利用G-DINA模型所分析出的學生閱讀能力表現(xiàn)特征;二是從試題質量角度,驗證和反思試題對所考查認知能力的效度及各能力之間呈現(xiàn)的關系。4.1整合信息的總體效應第一,本研究發(fā)現(xiàn)學生在理解關鍵詞匯(A1)和提取直接信息(A2)認知屬性上的表現(xiàn)整體優(yōu)于后3個認知屬性,這進一步驗證了對于學生而言,低層次的、較為微觀的閱讀技能(詞匯理解和直接信息搜尋)要易于高層次的、需宏觀綜合理解多元信息內容的技能(Alderson&Lukmani1989;陳慧麟,陳勁松2013)。此外,2011年版《義務教育英語課程標準》對八年級閱讀能力(四級)的整體能力標準明確要求學生能夠“找出有關信息”、“理解大意”及“根據(jù)上下文猜測生詞的意思”(教育部2012:16)。從本研究結果來看,學生這3項能力的表現(xiàn)相對較好,但從掌握概率數(shù)據(jù)來看均有提升的空間。聯(lián)系多個信息(A3)這一認知屬性意味著學生需要整合不同的具體信息,如R09題中要求學生閱讀整篇文章不同人的態(tài)度立場,回答“howmanypeoplethinktheheadteacher’sideaisagoodone”這一問題,數(shù)據(jù)在一定程度上說明學生在多個信息之間關系的分析歸類和整合能力方面較弱,對于他們,這甚至要難于對文段大意的理解。這也對測試能力框架的調整具有一定的啟示意義。第二,由于學生5個方面能力的掌握情況不盡相同,因此計算不同潛質類型的分布概率可進一步明確學生在所考查能力上的強項和弱項,以及哪些認知屬性在發(fā)展中的交互性更強,從而為教育部門和教師提供更為具體和細化的診斷信息。4.2質量反思與問題提出該英語測試項目注重的是學生綜合運用語言的能力,而非對某個語言知識點的考查,測試結果佐證了本次閱讀測試部分所考查的各項子技能之間確實難以分割并存在交互作用,這也正體現(xiàn)了G-DINA模型的補償性和飽和性特征,以及運用此模型對本次閱讀測試進行分析的恰當性(陳慧麟,陳勁松2013)。由于子技能之間存在交互性,識別和界定子技能就成為了診斷性閱讀評估的一大挑戰(zhàn)(Alderson2000)。本研究中,通過預先模型數(shù)據(jù)統(tǒng)計分析可對Q矩陣進行修正和調整,從而更加科學地界定各個題項考查了哪些認知能力,以及哪些能力是主要考查目標。換而言之,該分析可為試題設計和構念界定提供一定的啟示意義(陳慧麟,陳勁松2013)。如表4呈現(xiàn)的學生答對各題及對應子技能掌握概率中,假若