大學(xué)英語(yǔ)四級(jí)考試信度與效度的研究

2016.05.17第6組大學(xué)英語(yǔ)四級(jí)考試信度與效度研究的文獻(xiàn)綜述目錄1.文獻(xiàn)范圍2.

基本趨勢(shì)3.研究方法4.研究?jī)?nèi)容

4.1理論層面

4.2實(shí)踐層面5.研究反思及展望1.文獻(xiàn)檢索范圍本文選取了2000年至2015年間國(guó)內(nèi)外語(yǔ)教學(xué)6種核心期刊和1種重要期刊（共7種），有關(guān)大學(xué)英語(yǔ)四級(jí)考試信度與效度研究的文章共15篇。外語(yǔ)界外語(yǔ)教學(xué)外語(yǔ)電化教學(xué)外語(yǔ)與外語(yǔ)教學(xué)山東外語(yǔ)教學(xué)外語(yǔ)教學(xué)與研究西南民族大學(xué)學(xué)報(bào)（人文社科版）篇數(shù)占比2000

1

1

113.33%20011

1

213.33%200211

213.33%2003

00%2004

00.00%20051

1

213.33%20062

1

320%2007

00%2008

00%2009

116.67%20101

1

213.33%2011

1

16.67%2012

00%2013

00%2014

00%2015

00%共計(jì)612212115

刊物年份圖1.過(guò)去15年大學(xué)英語(yǔ)四級(jí)考試信度與效度研究情況2.

基本趨勢(shì)圖2.過(guò)去15年大學(xué)英語(yǔ)四級(jí)考試信度與效度研究發(fā)展趨勢(shì)結(jié)果顯示：國(guó)內(nèi)對(duì)于大學(xué)英語(yǔ)四級(jí)考試信度與效度研究的趨勢(shì)是波動(dòng)的，研究熱潮集中在2000-2003年、2005-2006年、2009-2011年三個(gè)階段。我們大膽假設(shè)，其發(fā)展趨勢(shì)跟大學(xué)英語(yǔ)四級(jí)的發(fā)展、改革相關(guān)的。參考人數(shù)逐年增加：

大學(xué)英語(yǔ)四級(jí)考試開始于1987年9月，考試發(fā)展的15年里（至2001年），參考人數(shù)逐年遞增，由1987年的10萬(wàn)人，增長(zhǎng)至2001年的448萬(wàn)人，其中2000年至2001年的增幅最為明顯，因此2000-2003年研究的熱度較高。2.大學(xué)英語(yǔ)四級(jí)考試制度調(diào)整或改革：1990-1996年——主要調(diào)整英語(yǔ)考試流程、題型和成績(jī)統(tǒng)計(jì)方式。1999年——增加英語(yǔ)口試。2005年——改革計(jì)分體制（滿分710，不設(shè)及格線）、

改革成績(jī)報(bào)道方式，由考試合格證變?yōu)槌煽?jī)報(bào)告單（總分、單項(xiàng)分）

提出研究開發(fā)計(jì)算機(jī)口語(yǔ)測(cè)試，進(jìn)一步擴(kuò)大口語(yǔ)考試規(guī)模2006年——實(shí)施網(wǎng)上閱卷圖2.過(guò)去15年大學(xué)英語(yǔ)四級(jí)考試信度與效度研究發(fā)展趨勢(shì)3.

研究方法

20世紀(jì)90年代以后,隨著外語(yǔ)教學(xué)研究的不斷深入,國(guó)內(nèi)越來(lái)越多的專家學(xué)者開始關(guān)注外語(yǔ)教學(xué)的研究方法。其中，高一虹等有關(guān)研究方法分類的標(biāo)準(zhǔn),將研究方法分為兩大類:實(shí)證性研究和非材料性研究。實(shí)證性研究——以系統(tǒng)的、有計(jì)劃的材料采集和分析為特點(diǎn)，包括定量研究、定性研究以及定性定量相結(jié)合的研究。非材料性/非實(shí)證性研究——指不以系統(tǒng)采集的材料為基礎(chǔ)的研究,包括個(gè)人感想、操作描述(對(duì)大綱、教學(xué)方法、測(cè)試方法等具體操作性描述和評(píng)價(jià))及理論反思等。73%17%圖3.過(guò)去15年中大學(xué)英語(yǔ)四級(jí)考試信度與效度研究方法情況

由此可見，過(guò)去15年的研究主要采用實(shí)證研究方法，包括對(duì)比試驗(yàn)法、問(wèn)卷調(diào)查法、對(duì)卷面、題型等材料分析定性法等。也有少數(shù)研究采用非材料性研究法，如解釋分?jǐn)?shù)測(cè)算的具體操作、從理論出發(fā)對(duì)考試的信度與效度進(jìn)行評(píng)析等。4.研究?jī)?nèi)容4.1理論層面

在理論層面，縱觀目前的研究發(fā)現(xiàn)研究焦點(diǎn)主要集中于兩方面：一方面是研究信度、效度的含義及延伸；另一方面是探討大學(xué)英語(yǔ)四級(jí)考試信度和效度的影響因素。

經(jīng)過(guò)研究發(fā)現(xiàn)，目前國(guó)外對(duì)語(yǔ)言測(cè)試的信度和效度定義研究較為成熟且有延伸，我國(guó)雖起步晚也發(fā)展較為迅速，但目前對(duì)信度和效度的界定仍未達(dá)成一致，且對(duì)信度定義的探討較少。

（1）含義：

關(guān)于效度的含義：國(guó)外的研究中，較早的效度定義是由Kelly提出的，他認(rèn)為效度就是一項(xiàng)測(cè)試是否真正測(cè)量了它所要測(cè)量的東西。后來(lái),對(duì)效度的認(rèn)識(shí)一直有兩個(gè)不同的體系：一是認(rèn)為效度可以分割成不同的種類;另一種觀點(diǎn)認(rèn)為效度應(yīng)該作為一個(gè)整體去認(rèn)識(shí)和理解。同時(shí)，Messick、Bachman等把效度看作一個(gè)不可分割的整體,它既不是某個(gè)內(nèi)涵單一的概念,也不好按其內(nèi)涵分成不同的種類。（薛梅2006.06)

Richard認(rèn)為在測(cè)試中效度是“指一個(gè)測(cè)驗(yàn)?zāi)軠y(cè)出預(yù)定要測(cè)量的事物的程度,或能夠引起預(yù)報(bào)作用的程度”（轉(zhuǎn)引自李炯英2002，05）。Messick(1989)將考試效度的概念擴(kuò)展到了包括考試使用、社會(huì)后果等在內(nèi)的以構(gòu)念效度為核心的整體效度觀。這種效度觀認(rèn)為,效度并不是對(duì)考試本身的評(píng)價(jià)，而是對(duì)測(cè)試結(jié)果的解釋和使用的評(píng)價(jià)，效度研究是收集不同方面的證據(jù)支持對(duì)測(cè)試結(jié)果的解釋或使用的合理性(轉(zhuǎn)引自金艷

2006.06)。Baehman(1990:289)認(rèn)為效度是關(guān)于測(cè)試分?jǐn)?shù)解釋和使用方式充分性和適當(dāng)性的一個(gè)整體概念，是語(yǔ)言測(cè)試開發(fā)、解釋和使用中應(yīng)考慮的最重要的因素,主要用于測(cè)試分?jǐn)?shù)或結(jié)果的解釋和使用(轉(zhuǎn)引自穆惠峰2011,04)。

在國(guó)內(nèi)的研究中，楊惠中(2003,25)認(rèn)為效度是指考試能準(zhǔn)確反映學(xué)生實(shí)際運(yùn)用語(yǔ)言的能力。李筱菊稱,“語(yǔ)言測(cè)試的效度，亦指有效性，指測(cè)試所考的，是否就是所要考的，或者說(shuō),在多大程度上,是考了目的所要考的”(轉(zhuǎn)引自江瀾,馮曉媛2003:85)。李清華（2006）指出語(yǔ)言測(cè)試界對(duì)考試效度的傳統(tǒng)定義是“考試是否或多大程度上測(cè)試了設(shè)計(jì)者想要測(cè)試的內(nèi)容”，測(cè)試內(nèi)容和形式是這種效度觀所關(guān)注的核心。關(guān)于信度的含義：徐強(qiáng)認(rèn)為（2000)信度是指同一考生在不同的考試條件下(如不同的考場(chǎng)、不同的考官等)參加同一項(xiàng)考試后所得到的分?jǐn)?shù)是一致的（轉(zhuǎn)引自蔡基剛.2005.04)。楊惠中(2003:25)認(rèn)為“信度是指對(duì)學(xué)生的語(yǔ)言水平提供可靠的度量。李筱菊（2001）稱測(cè)試信度是指測(cè)試結(jié)果是否可靠可信。（2）影響因素：

在關(guān)于效度和效度影響因素的研究中，研究?jī)?nèi)容多樣化并取得了很大的進(jìn)展，對(duì)后續(xù)的探索具有很好的借鑒意義。

首先，不少學(xué)者探討了影響英語(yǔ)技能測(cè)試（口語(yǔ)、閱讀、寫作）的因素。龐繼賢（2005.07）認(rèn)為口語(yǔ)考試的效度和信度受到多方面因素的影響。例如：口試形式、任務(wù)內(nèi)容、評(píng)分標(biāo)準(zhǔn)和考官素質(zhì)等。蔡基剛(2005.04)在《大學(xué)英語(yǔ)四、六級(jí)計(jì)算機(jī)口語(yǔ)測(cè)試效度、信度和可操作性研究》中指出施考的條件、試卷的內(nèi)容和難易度、閱卷評(píng)分是否一致等會(huì)影響口語(yǔ)考試的信度與效度。辜向東（2009.01）的《大學(xué)英語(yǔ)四級(jí)考試快速閱讀部分內(nèi)容效度研究》結(jié)果表明快速閱讀部分在選材、詞匯范圍、話題范圍、閱讀速度要求、考查技能、題目題型分布方面影響內(nèi)容效度。Hughes(2003)相信如果閱卷員能夠得到較好的培訓(xùn),寫作測(cè)試的評(píng)閱信度系數(shù)有可能達(dá)到0.60以上（引自張森2010.05）。

此外，不少學(xué)者試求基于新熱點(diǎn)角度進(jìn)行探討。Alderson認(rèn)為語(yǔ)料庫(kù)的應(yīng)用可以提高考試的內(nèi)容效度，因?yàn)闇y(cè)試材料選自真實(shí)語(yǔ)言文本,具有自然語(yǔ)言特征。也就是說(shuō)，語(yǔ)料庫(kù)作為一種手段，可以用來(lái)提高考試內(nèi)容效度(轉(zhuǎn)引自鄒申2008.11)。薛梅（2006.06)在《基于效度驗(yàn)證的新四級(jí)考試效度》的探討中認(rèn)為試卷內(nèi)容、反應(yīng)過(guò)程、試卷的內(nèi)部結(jié)構(gòu)以及測(cè)試的后果與其他外部變量之間的關(guān)系這四方面會(huì)新四級(jí)考試的效度有較大影響。金艷（2010，03）在《大學(xué)英語(yǔ)四級(jí)網(wǎng)考效度初探》中認(rèn)為影響網(wǎng)考效度的因素產(chǎn)生于測(cè)試任務(wù)的呈現(xiàn)方式和考生答題方式，而且這些因素可能對(duì)不同的考生會(huì)產(chǎn)生不同的影響，包括考生對(duì)考試的態(tài)度和評(píng)價(jià)、考生的心理過(guò)程、認(rèn)知策略、答題策略以及考試成績(jī)。4.2實(shí)踐層面

研究?jī)?nèi)容多樣化，包括對(duì)英語(yǔ)技能測(cè)試（口語(yǔ)、閱讀、寫作）和新熱點(diǎn)的研究。（1）英語(yǔ)技能測(cè)試

蔡基剛（2005）對(duì)大學(xué)英語(yǔ)四、六級(jí)計(jì)算機(jī)口語(yǔ)測(cè)試效度、信度和可操作性進(jìn)行了研究。蔡基剛通過(guò)計(jì)算機(jī)口語(yǔ)考試和目前的面試型口語(yǔ)考試的對(duì)比研究,發(fā)現(xiàn)計(jì)算機(jī)考試無(wú)論在效度和信度方面都將超過(guò)目前四、六級(jí)面試型口試。在考試成本上也有較大的降低。

文章對(duì)如何實(shí)行大規(guī)?？谡Z(yǔ)考試提出了建議：①我們建議考試委員會(huì)是否可以確立幾個(gè)考試點(diǎn),進(jìn)行計(jì)算機(jī)口試的試點(diǎn)工作,邊試驗(yàn)邊摸索,為大規(guī)模推行找到最佳管理組織模式。②考試點(diǎn)可以通過(guò)投標(biāo)方式產(chǎn)生。愿意承擔(dān)考試點(diǎn)的學(xué)校應(yīng)能提供符合計(jì)算機(jī)考試的場(chǎng)地和設(shè)備,并負(fù)責(zé)組織口試工作。③考試委員會(huì)可在全國(guó)聘請(qǐng)和培訓(xùn)穩(wěn)定的專業(yè)計(jì)算機(jī)口語(yǔ)考試評(píng)分員。

張森、于朋（2010）對(duì)大學(xué)英語(yǔ)四級(jí)考試作文網(wǎng)上評(píng)閱信度保障進(jìn)行了研究。結(jié)果顯示網(wǎng)上閱卷系統(tǒng)能明顯提高評(píng)閱信度,培訓(xùn)實(shí)驗(yàn)有助于閱卷員掌握評(píng)分尺度。本研究最后對(duì)改進(jìn)網(wǎng)上閱卷員培訓(xùn)及保障網(wǎng)上閱卷評(píng)閱信度提出了建議。

目前的網(wǎng)上閱卷系統(tǒng)在保障隨機(jī)發(fā)卷的基礎(chǔ)上已能夠保證較高的評(píng)閱信度,但在閱卷員培訓(xùn)和閱卷組長(zhǎng)如何更好地憑借閱卷系統(tǒng)實(shí)施有效監(jiān)控方面仍有進(jìn)一步提升的空間以達(dá)到更高的評(píng)閱信度。①閱卷組長(zhǎng)組織閱卷組成員進(jìn)行面對(duì)面的討論,確保閱卷員之間對(duì)每一份試卷的評(píng)分尺度把握一致。②閱卷組長(zhǎng)除了參照相關(guān)系數(shù)、平均分、平均用時(shí)及圖表等數(shù)據(jù)和使用抽查等方法進(jìn)行有效監(jiān)控外,還應(yīng)考慮評(píng)卷系統(tǒng)所提供的標(biāo)準(zhǔn)方差、綜合指數(shù)等數(shù)據(jù),不應(yīng)片面追求較高的相關(guān)系數(shù)而傷害評(píng)閱信度。

辜向東、李志芳、張書奎（2009）對(duì)大學(xué)英語(yǔ)四級(jí)考試快速閱讀部分內(nèi)容效度進(jìn)行了研究。

研究結(jié)果表明該部分具有較高的內(nèi)容效度。

優(yōu)勢(shì)：①文章選材基本符合《考試大綱》要求，話題廣泛,詞匯屬于《教學(xué)要求》規(guī)定的范圍；②閱讀速度達(dá)到《教學(xué)要求》和《考試大綱》對(duì)快速閱讀每分鐘100詞的要求；③采用的題型多樣;充分考查了考生的查讀技能。不足：

①

但是,分析也表明快速閱讀部分在選材、考查技能和題目分布方面存在一些問(wèn)題文章的題材和體裁較單一；②難度較高,波動(dòng)幅度也較大;幾乎沒有考查考生的略讀技能；③題目分布大都按照從首段依次排列至末段的順序。

基于以上分析，本文建議：快速閱讀部分選材應(yīng)更注重體裁多樣化，難度適中并保持一定的穩(wěn)定性,加強(qiáng)略讀技能的考查以及題目分布隨機(jī)化。

穆惠峰（2011）基于語(yǔ)料庫(kù)的大學(xué)英語(yǔ)四級(jí)完型填空測(cè)試內(nèi)容效度驗(yàn)證研究。本文作者發(fā)現(xiàn)2006-2010大學(xué)英語(yǔ)四級(jí)完型填空測(cè)試項(xiàng)目總體來(lái)說(shuō)符合考試大綱的要求，但也存在一些不足之處，包括部分考點(diǎn)的典型性不太高和部分干擾項(xiàng)的設(shè)計(jì)不夠科學(xué)等。

為了提高我國(guó)大學(xué)英語(yǔ)四級(jí)完型填空測(cè)試項(xiàng)目的命題質(zhì)量，以便更好地考核學(xué)生的綜合語(yǔ)言知識(shí)和能力，本文作者提出以下建議：

①在考前命題時(shí)可運(yùn)用基于計(jì)算機(jī)的語(yǔ)料庫(kù)幫助我們選擇更加有代表性、典型性的測(cè)試材料；②在編制測(cè)試項(xiàng)目時(shí)可運(yùn)用基于計(jì)算機(jī)的語(yǔ)料庫(kù)幫助我們?cè)O(shè)計(jì)考點(diǎn)的分布；③在校對(duì)測(cè)試項(xiàng)目時(shí)可運(yùn)用基于計(jì)算機(jī)的語(yǔ)料庫(kù)來(lái)幫助我們更好地檢驗(yàn)考點(diǎn)的典型性；④運(yùn)用基于計(jì)算機(jī)的語(yǔ)料庫(kù)也可幫助我們?cè)O(shè)計(jì)出更有效的干擾項(xiàng),使測(cè)試能夠更加科學(xué)地、全面地考核學(xué)生的綜合語(yǔ)言知識(shí)和運(yùn)用能力。（2）新熱點(diǎn)

薛梅、薛君、劉路喜（2006）從試卷內(nèi)容、反應(yīng)過(guò)程、試卷的內(nèi)部結(jié)構(gòu)以及測(cè)試的后果與其他外部變量之間的關(guān)系四個(gè)方面尋找效驗(yàn)的證據(jù)，通過(guò)理論和實(shí)證兩方面對(duì)新四級(jí)考試的效度進(jìn)行了探討。本文對(duì)新四級(jí)考試做了試卷內(nèi)容的分析，并運(yùn)用統(tǒng)計(jì)方法對(duì)某綜合性大學(xué)的四級(jí)考試成績(jī)做了試卷內(nèi)部結(jié)構(gòu)相關(guān)分析。

這一大樣本的統(tǒng)計(jì)數(shù)據(jù)能夠證明新四級(jí)考試試卷的每個(gè)部分有效測(cè)試了不同維度的語(yǔ)言能力，而且各個(gè)部分的綜合能夠準(zhǔn)確而有效地反映學(xué)生總的語(yǔ)言水平。

朱正才、楊惠中(2001)對(duì)機(jī)助自適應(yīng)大學(xué)英語(yǔ)四、六級(jí)考試的效度、信度問(wèn)題做了研究。論述大學(xué)英語(yǔ)四、六級(jí)考試如何處理“英語(yǔ)交際語(yǔ)言能力”的測(cè)量問(wèn)題，并充分利用計(jì)算機(jī)多媒體技術(shù)進(jìn)一步改善測(cè)試的真實(shí)性和題型的多樣性，開發(fā)出具有自適應(yīng)能力的計(jì)算機(jī)化考試系統(tǒng)，大大改善了語(yǔ)言測(cè)試的效度。1.研究成果豐富近15年來(lái)，國(guó)內(nèi)學(xué)者注重對(duì)大學(xué)英語(yǔ)四級(jí)考試信度與效度的研究，其研究發(fā)現(xiàn)與成果豐富。2.注重現(xiàn)代科技對(duì)考試信度效度的研究

隨著語(yǔ)言測(cè)試科學(xué)的發(fā)展和測(cè)試手段的更新與進(jìn)步，大學(xué)英語(yǔ)四級(jí)考試逐步實(shí)行無(wú)紙化網(wǎng)考、計(jì)算機(jī)口試及網(wǎng)上閱卷等。近年來(lái)，研究注重計(jì)算機(jī)對(duì)考試信度與效度的研究，不少學(xué)者在對(duì)比面試口試與計(jì)算機(jī)口試，探討網(wǎng)上閱卷系統(tǒng)等方面獲得了不少的研究成果。5.研究反思及展望優(yōu)勢(shì)：1.對(duì)效度的分析不全面

效度是語(yǔ)言測(cè)試學(xué)界的重要概念，對(duì)效度的認(rèn)識(shí)一直有兩個(gè)不同的體系：

一是認(rèn)為效度可以分割成不同的種類，如表面效度、內(nèi)容效度、效標(biāo)關(guān)聯(lián)效度、同期效度、預(yù)測(cè)效度和構(gòu)建效度等；另一種觀點(diǎn)認(rèn)為效度應(yīng)該作為一個(gè)整體去認(rèn)識(shí)和理解。從理論角度探討,把效度看作整體是比較有說(shuō)服力的。目前