促學(xué)功能在課程口語(yǔ)測(cè)試中的應(yīng)用

促學(xué)功能在課程口語(yǔ)測(cè)試中的應(yīng)用

1.研究背景與研究問(wèn)題的提出口頭溝通能力的重要性是毋庸置疑的。但是,怎樣才能公正且準(zhǔn)確地測(cè)試出語(yǔ)言學(xué)習(xí)者的口頭表達(dá)能力這一課題,一直處于不斷嘗試更新的階段。研究人員和教學(xué)人員不斷地使用各種手段進(jìn)行測(cè)驗(yàn),然后分析其信度和效度,目的就是想探索一種更好的口語(yǔ)測(cè)試形式?？谠囆问降倪x擇,必須“綜合考慮各方面的因素,例如,準(zhǔn)確性、可行性、實(shí)用性和公平性”。(Shohamy,1994)我國(guó)語(yǔ)言教學(xué)長(zhǎng)期以來(lái)一直以“終結(jié)性評(píng)價(jià)”作為主要的甚至是唯一的評(píng)價(jià)手段。雖然其弊端日益凸顯,但由于其流程較為簡(jiǎn)單,此種評(píng)價(jià)方式一直是目前各高?！罢n程考試”中普遍使用的形式。無(wú)論是考生還是評(píng)分者,都很難說(shuō)出特定的分?jǐn)?shù)所對(duì)應(yīng)的實(shí)際口語(yǔ)能力。張文忠(2002)指出,百分制下“評(píng)分員不得不經(jīng)常面臨上下0.5分的痛苦抉擇”。這一說(shuō)法形象地描述出了“終結(jié)性評(píng)價(jià)”方式應(yīng)用于口語(yǔ)測(cè)試的弊端。全面的、多樣化的評(píng)價(jià)方式已經(jīng)成為高?？谡Z(yǔ)測(cè)試迫切需要的手段。國(guó)內(nèi)研究者已經(jīng)意識(shí)到了“形成性評(píng)估”是傳統(tǒng)評(píng)估方式的有益補(bǔ)充。其顯著不同點(diǎn)在于它可以應(yīng)用于評(píng)價(jià)事物的整個(gè)過(guò)程,而不僅僅是對(duì)結(jié)果做出判斷和評(píng)價(jià)。本文討論了將形成性評(píng)價(jià)應(yīng)用于大學(xué)英語(yǔ)課程口語(yǔ)測(cè)試的問(wèn)題。全文包括如下兩方面的分析研究:一,對(duì)比并分析終結(jié)性評(píng)價(jià)口語(yǔ)測(cè)試結(jié)果與形成性評(píng)價(jià)口語(yǔ)測(cè)試結(jié)果,以探索出有效的課程口語(yǔ)測(cè)試形式。二,使用調(diào)查問(wèn)卷的方法分析形成性評(píng)價(jià)方式應(yīng)用于課程口語(yǔ)測(cè)試對(duì)口語(yǔ)教和學(xué)的反饋?zhàn)饔谩?.形成性評(píng)價(jià)的研究國(guó)內(nèi)外關(guān)于形成性評(píng)價(jià)的研究為數(shù)不少。筆者認(rèn)為,這種新型的評(píng)價(jià)方式能夠應(yīng)用于英語(yǔ)的口語(yǔ)測(cè)試,因?yàn)樗且环N以學(xué)習(xí)者為中心的評(píng)價(jià)方式?！笆菍?duì)學(xué)生的學(xué)習(xí)過(guò)程進(jìn)行的評(píng)價(jià),旨在確認(rèn)學(xué)生的潛力,改進(jìn)和發(fā)展學(xué)生的學(xué)習(xí)。形成性評(píng)價(jià)注重從被評(píng)價(jià)者的需要出發(fā),重視學(xué)習(xí)的過(guò)程,重視學(xué)生在學(xué)習(xí)中的體驗(yàn);強(qiáng)調(diào)人與人之間的相互作用,強(qiáng)調(diào)評(píng)價(jià)中多種因素的交互作用,重視師生交流”。(傅春暉彭金定,2006:123)作為非標(biāo)準(zhǔn)化評(píng)價(jià)手段,國(guó)際上的語(yǔ)言測(cè)試學(xué)家對(duì)形成性評(píng)價(jià)的效度驗(yàn)證已經(jīng)取得了令人滿意的成果。郭茜等(2003)對(duì)形成性評(píng)價(jià)應(yīng)用于大學(xué)英語(yǔ)教學(xué)使用、價(jià)值以及存在的問(wèn)題展開(kāi)了詳細(xì)的定性研究。國(guó)內(nèi)形成性評(píng)價(jià)在口語(yǔ)教學(xué)和測(cè)試中的研究既有理論方面的(魏薇,2005;王穎,2007),也有實(shí)證研究的(陳美華等,2008)。但后者并不是很多。吳秀蘭(2008)指出,國(guó)內(nèi)關(guān)于形成性評(píng)價(jià)的“實(shí)證性研究匱乏”。形成性評(píng)價(jià)方式注重過(guò)程,從形式上來(lái)說(shuō)“加強(qiáng)了教學(xué)活動(dòng)和評(píng)價(jià)內(nèi)容之間的一致性,因此提高了評(píng)價(jià)的效度”(Woods,1993)。許多研究者已經(jīng)認(rèn)同了形成性評(píng)價(jià)的從“效度”上來(lái)說(shuō)是可靠的。李清華等(2008:215)指出“若一份測(cè)試的效度得不到保證,信度也毫無(wú)意義”。所以,保證一種測(cè)試方式的效度是其實(shí)施的前提和基礎(chǔ)。本研究主要通過(guò)對(duì)受試班級(jí)的成績(jī)進(jìn)行“共時(shí)效度”的驗(yàn)證和對(duì)比,以檢測(cè)各種形式的口語(yǔ)測(cè)試的質(zhì)量。這一方法文秋芳(1995:177;2008)就提到過(guò):“監(jiān)控考官評(píng)分的可靠性”的方法是考試局抽查“考生的口試成績(jī)和筆試成績(jī)的相關(guān)性,通常這兩者的相關(guān)系數(shù)在.65左右”。如果相關(guān)度非常低,就說(shuō)明考官中有人的評(píng)分能力非常差,效度自然也很低。劉芹(2004:28)也在研究中采取了“將待檢驗(yàn)的考試成績(jī)與受試在幾乎同一時(shí)間參加的考試的成績(jī)作相關(guān)檢驗(yàn)”的方法。從理論上分析,“理想的共時(shí)效度相關(guān)系數(shù)在0.5至0.7之間”。(Alderson,Clapham&Wall,2000:177-178,轉(zhuǎn)自劉芹,2004)3.大學(xué)英語(yǔ)口語(yǔ)能力結(jié)構(gòu)本文中的“大學(xué)英語(yǔ)口語(yǔ)測(cè)試”與“大學(xué)英語(yǔ)課程口語(yǔ)測(cè)試”是兩個(gè)不同的概念。前者指全國(guó)統(tǒng)一的“大學(xué)英語(yǔ)四、六級(jí)考試口語(yǔ)考試”(CollegeEnglishTest-SpokenEnglishTest,簡(jiǎn)稱(chēng)CET-SET)。后者則是指高校自行組織的課程考試,包括具備“診斷測(cè)試”性質(zhì)的平時(shí)隨堂測(cè)試以及“成績(jī)測(cè)試”性質(zhì)的期末測(cè)試等。對(duì)于CET-SET的研究從1999年開(kāi)始試點(diǎn)實(shí)施至今,已經(jīng)有很多的論證和研究(金艷等,2002;龐繼賢陳嬋,2005,等)。近十年來(lái),隨著它的深入實(shí)施,我國(guó)大學(xué)生英語(yǔ)口語(yǔ)能力的培養(yǎng)確實(shí)有了顯著的提高。但是,“覆蓋面較窄”這一缺陷一直存在至今,未得到有效解決(金艷等,2002;陳美華徐小燕,2008)。近年來(lái),開(kāi)發(fā)計(jì)算機(jī)化口語(yǔ)測(cè)試,以進(jìn)一步擴(kuò)大口語(yǔ)考試規(guī)模逐漸成為一種發(fā)展趨勢(shì),卻一直受到技術(shù)、設(shè)備等方面限制,暫時(shí)還不可能得到實(shí)施。已經(jīng)逐步在各高校實(shí)施的大學(xué)英語(yǔ)課程口語(yǔ)測(cè)試在數(shù)量上有效地彌補(bǔ)了這一缺陷,但在測(cè)試質(zhì)量上卻不容樂(lè)觀。胡壯麟(2001)將測(cè)試的功能歸納為“評(píng)價(jià)功能、反饋功能、動(dòng)機(jī)激勵(lì)功能、診斷功能”四大功能。良好的測(cè)試才能有效地發(fā)揮以上功能。課程口語(yǔ)測(cè)試的質(zhì)量是影響其功能發(fā)揮的主要障礙。測(cè)試質(zhì)量不高的原因是因?yàn)槭艿娇荚囆问?、評(píng)價(jià)方式、考場(chǎng)設(shè)施、考試時(shí)間等一些客觀因素的影響以及“口語(yǔ)教學(xué)與測(cè)試的迫切需求與師資力量短缺的矛盾”(李萌濤楊曉果,2008:88)的存在。這種情況下,任課教師即為測(cè)試的命題者、評(píng)分者。許多普通教師并不具備測(cè)試學(xué)方面的基本知識(shí),在組織考試和評(píng)分時(shí)非常隨意,影響整個(gè)測(cè)試的信度和效度?！靶纬尚栽u(píng)價(jià)”的特點(diǎn)決定了它能夠在口語(yǔ)的測(cè)試和評(píng)價(jià)方面發(fā)揮重要的作用。筆者在為時(shí)一學(xué)期的口語(yǔ)教學(xué)的隨堂測(cè)試和期末測(cè)試中采用了一些形成性口語(yǔ)測(cè)試評(píng)價(jià)手段,通過(guò)和其他班級(jí)的測(cè)試成績(jī)對(duì)比,檢驗(yàn)形成性評(píng)價(jià)手段實(shí)施的效果,討論在課程口語(yǔ)測(cè)試中使用形成性評(píng)價(jià)測(cè)試手段的可行性。4.確認(rèn)研究4.1形成性評(píng)價(jià)實(shí)驗(yàn)根據(jù)已有的形成性評(píng)價(jià)應(yīng)用于口語(yǔ)教學(xué)和測(cè)試方面的研究,筆者對(duì)“形成性評(píng)價(jià)”做為新型的評(píng)價(jià)方式應(yīng)用于大學(xué)英語(yǔ)課程口語(yǔ)測(cè)試方面作出了如下假設(shè):假設(shè)1:使用了形成性評(píng)價(jià)的口語(yǔ)測(cè)試結(jié)果比普通的終結(jié)性評(píng)價(jià)口語(yǔ)測(cè)試結(jié)果更準(zhǔn)確可信;假設(shè)2:將形成性評(píng)價(jià)應(yīng)用于口語(yǔ)測(cè)試,能夠幫助課程口語(yǔ)測(cè)試發(fā)揮其對(duì)教與學(xué)的功能。對(duì)于假設(shè)1的驗(yàn)證主要通過(guò)對(duì)“口試成績(jī)和同時(shí)期的筆試成績(jī)進(jìn)行雙相關(guān)分析”比較相關(guān)系數(shù),分析不同的口語(yǔ)測(cè)試的“共時(shí)效度(Concurrentvalidity)”的方法來(lái)測(cè)試外部效度。假設(shè)2的驗(yàn)證則通過(guò)問(wèn)卷調(diào)查,對(duì)統(tǒng)計(jì)數(shù)據(jù)進(jìn)行因子分析,得出有效因子;然后進(jìn)行分析。4.2“形成性”評(píng)價(jià)研究對(duì)象為某本科院校部分08級(jí)文理科學(xué)生。實(shí)驗(yàn)時(shí)間為一個(gè)學(xué)期。總共16個(gè)班級(jí),456人。分為控制組1,2和實(shí)驗(yàn)組1,2?？偣灿兴奈唤處煋?dān)任教學(xué)工作。受試班級(jí)的選擇根據(jù)入校時(shí)的高考成績(jī)作為判斷標(biāo)準(zhǔn),四個(gè)班的學(xué)生高考成績(jī)英語(yǔ)平均分相差不多。實(shí)驗(yàn)中的一些具體情況以表格列出(表1)。所有的受試者在大學(xué)第一個(gè)學(xué)期的英語(yǔ)課堂里都接受了口語(yǔ)訓(xùn)練并熟悉自己在期末口語(yǔ)考試的具體測(cè)試形式?？刂平M使用常規(guī)的口語(yǔ)測(cè)試的方式,提供數(shù)據(jù)以檢驗(yàn)實(shí)驗(yàn)的效果。該校08級(jí)共16個(gè)教學(xué)班級(jí),平均每個(gè)教師承擔(dān)四個(gè)教學(xué)班級(jí)的大學(xué)英語(yǔ)教學(xué)任務(wù)。據(jù)調(diào)查,以往使用“口頭陳述”和“自由辯論”形式進(jìn)行口語(yǔ)測(cè)試的教師在該教研室占到了75%。但是對(duì)于測(cè)試結(jié)果的評(píng)級(jí)方式均使用“綜合法”(楊慧中,1999:51)打分,屬于終結(jié)性的評(píng)價(jià)方式。實(shí)驗(yàn)組的評(píng)分方式為形成性評(píng)價(jià)。但兩個(gè)實(shí)驗(yàn)組在實(shí)施的過(guò)程中又有不同:實(shí)驗(yàn)組1采用同一種測(cè)試手段———口頭陳述。為了突出形成性評(píng)價(jià)方式:使用了分項(xiàng)評(píng)分,學(xué)生自評(píng)分和教師測(cè)評(píng)分相結(jié)合?；A(chǔ)分為60%,語(yǔ)音語(yǔ)調(diào)10%,流利程度10%,演講內(nèi)容10%,態(tài)度(準(zhǔn)備的態(tài)度及其他)10%。整個(gè)測(cè)試的時(shí)間分布于整個(gè)學(xué)期的課堂上,并不是期末一次測(cè)試。實(shí)驗(yàn)組2突出了測(cè)試方式的多樣性,每個(gè)考生在都需要完成三種形式(見(jiàn)表1)的測(cè)試,并按30%、30%、40%折合入總分。評(píng)價(jià)也分為考生自評(píng)和教師評(píng)價(jià)。從表面上看來(lái),實(shí)驗(yàn)組的測(cè)試手段和評(píng)估方式比參照組要豐富多樣。但是,只有對(duì)實(shí)驗(yàn)的數(shù)據(jù)進(jìn)行科學(xué)的分析,才能夠確定那種測(cè)試方式及評(píng)價(jià)方式更加有效。這一部分的數(shù)據(jù)包括學(xué)生期末口語(yǔ)測(cè)試的自評(píng)成績(jī),師評(píng)成績(jī),以及對(duì)應(yīng)的筆試成績(jī)。高校的期末考試在信度和效度上不如大學(xué)英語(yǔ)考試(CET),但是也屬于全校性的大規(guī)模考試,因此在本研究中將其作為“權(quán)威筆試成績(jī)”和同時(shí)期的口試成績(jī)進(jìn)行對(duì)比。4.3研究結(jié)果的討論4.3.1語(yǔ)言評(píng)價(jià)的相關(guān)性研究者對(duì)實(shí)驗(yàn)中的所有受試者進(jìn)行了相關(guān)分析。得出一系列相似的表格,限于篇幅,筆者將其中的相關(guān)系數(shù)總結(jié)在下表:以上所有的相關(guān)分析的顯著性都達(dá)到了.000,達(dá)到了統(tǒng)計(jì)意義,表明變量之間不相關(guān)的概率幾乎為零。系數(shù)上的**符號(hào),表明實(shí)驗(yàn)組兩個(gè)變量的相關(guān)性均達(dá)到了0.01的顯著水平?？刂平M2的相關(guān)系數(shù)較低,僅為0.216。期末口語(yǔ)測(cè)試由于條件限制,沒(méi)有錄音設(shè)備,要求評(píng)分員在考試后根據(jù)評(píng)分標(biāo)準(zhǔn)立即給出分?jǐn)?shù),所以評(píng)分帶有很強(qiáng)的主觀性。實(shí)驗(yàn)組變換了傳統(tǒng)的評(píng)價(jià)方式,讓考生進(jìn)行自我評(píng)價(jià),并且整個(gè)評(píng)分過(guò)程不是一次進(jìn)行的,讓打分免受教師情緒的影響。實(shí)驗(yàn)組2在測(cè)試形式和評(píng)價(jià)形式上都采用了多樣化。所以,相關(guān)分析的結(jié)果就是實(shí)驗(yàn)組的相關(guān)系數(shù)高于控制組;實(shí)驗(yàn)組2的相關(guān)系數(shù)最高,說(shuō)明實(shí)驗(yàn)組2的口語(yǔ)測(cè)試的“共時(shí)效度”最好。所以,我們可以初步認(rèn)定為測(cè)試方法上的多樣化和評(píng)價(jià)手段上的細(xì)化可以提高口語(yǔ)測(cè)試的效度。4.3.2調(diào)查工具及方法為了了解形成性評(píng)價(jià)下的口語(yǔ)測(cè)試對(duì)教學(xué)方面的反饋信息,研究者抽取了實(shí)驗(yàn)班2的全部考生114人參與問(wèn)卷調(diào)查。問(wèn)卷共設(shè)計(jì)了20個(gè)問(wèn)題組成。為確保通過(guò)問(wèn)卷獲得真實(shí)情況,告知學(xué)生問(wèn)卷調(diào)查的結(jié)果僅作研究用途,與口試得分無(wú)關(guān),并且不要求署名。調(diào)查問(wèn)卷完全按照“里克特量表”的形式設(shè)計(jì),便于研究者對(duì)與所收集的數(shù)據(jù)使用統(tǒng)計(jì)軟件SPSS15.0進(jìn)行分析。調(diào)查問(wèn)卷的數(shù)據(jù)分析主要使用因子分析的方法對(duì)變量進(jìn)行分類(lèi)和簡(jiǎn)化,得出一些主要的因子,以檢驗(yàn)形成性評(píng)價(jià)手段對(duì)考生的語(yǔ)言運(yùn)用能力的影響。4.3.2.考生對(duì)于形成性評(píng)價(jià)課程口腔測(cè)試在教學(xué)中的效果分析數(shù)據(jù)整理后,輸入SPSS15.0軟件后,首先對(duì)問(wèn)卷進(jìn)行信度分析。得出整個(gè)調(diào)查問(wèn)卷的信度系數(shù)(Alpha系數(shù))為0.791。說(shuō)明本研究使用的問(wèn)卷一直信度較好。隨后使用因子分析方法,將問(wèn)卷中的變量進(jìn)行整理。兩次因子分析后,可以看出調(diào)查問(wèn)卷的結(jié)構(gòu)效度很好?？偣驳贸?個(gè)因子,剔除后面兩個(gè)與主題關(guān)系不是很大的因子,最后將表格匯總,制成下面兩個(gè)表格。上表5個(gè)因子的特征值均大于1。第一個(gè)因子的方差貢獻(xiàn)率為16.712%,其余4個(gè)因子的方差貢獻(xiàn)率依次降低。這5個(gè)因子的累積方差貢獻(xiàn)率達(dá)到了53.22%,各因子的符合值位于0.484-0.820之間,大大高于可接受值0.30。筆者按照各個(gè)因子所含的變量特點(diǎn),結(jié)合測(cè)試的功能,給每個(gè)因子取名字歸類(lèi)。筆者在設(shè)計(jì)問(wèn)卷時(shí)主要是想得到考生對(duì)形成性評(píng)價(jià)課程口語(yǔ)測(cè)試這一形式的反饋情況。以上有三個(gè)因子都是關(guān)于這一方面的?？傮w來(lái)說(shuō),考生對(duì)于形成性評(píng)價(jià)應(yīng)用于期末口語(yǔ)測(cè)試的效果還是持肯定的態(tài)度。大部分考生認(rèn)為考試對(duì)于自己的口語(yǔ)能力的提高有著正面的影響。筆者選擇第一個(gè)因子進(jìn)行了簡(jiǎn)單的描述性分析:上表的數(shù)據(jù)直觀地體現(xiàn)了考生愿意繼續(xù)開(kāi)展形成性評(píng)價(jià)機(jī)制下的口語(yǔ)測(cè)試。他們認(rèn)為,這一方面有助于提高自身的口語(yǔ)水平,另一方面,在準(zhǔn)備過(guò)程中,考生能夠更加從容地準(zhǔn)備考試內(nèi)容,而不是去機(jī)械地背誦一些文章,因此此評(píng)價(jià)方式減少了應(yīng)試教學(xué)的負(fù)面影響,且考生有意識(shí)地注重培養(yǎng)自己的英語(yǔ)思維能力?？荚噷?duì)于學(xué)習(xí)者在學(xué)習(xí)策略的選擇上起到了一定程度的影響。而且教師測(cè)評(píng)和自我評(píng)定相結(jié)合的方式讓學(xué)習(xí)者得到了重視和鼓舞,激發(fā)了學(xué)習(xí)興趣和熱情,增加了學(xué)習(xí)的內(nèi)在動(dòng)力。所以,形成性評(píng)價(jià)下的課程口語(yǔ)考試能夠有效地發(fā)揮測(cè)試對(duì)教學(xué)的功能。5.調(diào)查問(wèn)卷的選擇和收集鑒于所研究對(duì)象的實(shí)際情況:該本科院校2008級(jí)新生的期末口語(yǔ)測(cè)試約80%均采用的是以“口頭陳述”為主要形式的“直接測(cè)試”。調(diào)查問(wèn)卷主要是想調(diào)查使用形成性評(píng)價(jià)進(jìn)行口語(yǔ)測(cè)試方法的班級(jí)成員在口語(yǔ)能力的提高以及語(yǔ)言學(xué)習(xí)方面的反饋情況。在選擇調(diào)查問(wèn)卷的對(duì)象時(shí),僅挑選了部分實(shí)驗(yàn)組的考生進(jìn)行問(wèn)卷調(diào)查。所以,調(diào)查問(wèn)卷數(shù)據(jù)的收集上有一定的局限性。其次,教師對(duì)學(xué)生進(jìn)行自評(píng)時(shí)制定的評(píng)價(jià)標(biāo)準(zhǔn)過(guò)于寬松,造成了考生自評(píng)分?jǐn)?shù)普遍高,影響了實(shí)驗(yàn)效果。6.形成性評(píng)價(jià)應(yīng)用于口腔測(cè)試的可行性大學(xué)英語(yǔ)課程口語(yǔ)測(cè)試是大學(xué)英語(yǔ)四六級(jí)測(cè)試的一個(gè)重要有益補(bǔ)充形式。本文通過(guò)實(shí)證研究的方法,以定量分析的方式證明了將形成性評(píng)價(jià)應(yīng)用于大學(xué)英語(yǔ)課程口語(yǔ)測(cè)試是可行的。大學(xué)英語(yǔ)課程口語(yǔ)考試的形成性評(píng)價(jià)結(jié)果的準(zhǔn)確性高于傳統(tǒng)的口語(yǔ)打分方式———綜合法印