四六級網(wǎng)考的設計和試點

1、1四、六級網(wǎng)考的設計(shj)和試點2009.9.24, 北京(bi jn)共五十五頁2網(wǎng)考背景信息技術與語言教學的整合四、六級考試面臨(minlng)的挑戰(zhàn)設計原則試卷設計、試卷構成系統(tǒng)設計、系統(tǒng)構架試點考試共五十五頁3上網(wǎng)/運用(ynyng)計算機可以 看新聞(xnwn)查資料寫郵件玩游戲?qū)懖┛驼剳賽劭措娪百徫锟床×奶炷季璩垂山挥亚舐殞W習考試編程設計運算交際需求 四六級考試 四六級網(wǎng)考共五十五頁4歐洲語言能力共同(gngtng)參考框架（CEFR，2001）隨著計算機軟件技術日新月異的發(fā)展，人機互動逐漸在公共、職場、教育甚至個人(grn)生活領域發(fā)揮越來越重要的作用。(劉駿、傅榮譯，200

2、8 p. 79 )交際需求 四六級考試 四六級網(wǎng)考共五十五頁5語言使用(shyng)的外部環(huán)境變化不斷開放(kifng)的社會環(huán)境跨文化外語交際需求增加飛速發(fā)展的現(xiàn)代信息和通訊技術（ICTs）社會活動：人際交往加強日常生活：人機交流增加職業(yè)技能：外語能力、計算機運用能力休閑娛樂：高科技化、個性化、多樣化交際需求 四六級考試 四六級網(wǎng)考共五十五頁6語言(yyn)交際活動（歐洲語言能力共同參考框架，2001）語言輸出：口頭表達、筆頭(b tu)表達語言輸入：聽力理解、閱讀理解、視聽理解聽力理解：總體聽力理解、聽廣播和錄音、閱讀理解：總體閱讀理解、瀏覽閱讀、視聽理解：聽懂電視節(jié)目和電影互動活動：口頭

3、互動、筆頭互動中介活動：口譯、筆譯非語言交際：手勢與動作劉駿、傅榮 2008 “歐洲語言共同參考框架”58-85交際需求 四六級考試 四六級網(wǎng)考共五十五頁7語言交際(jioj)活動（Emanuels I-R-E Paradigm, 2008: 25）交互活動（Interactive）a reciprocal exchange of messages語言輸入(shr)（Receptive）receiving incoming messages語言輸出（Expressive）initiating and sending messages交際需求 四六級考試 四六級網(wǎng)考共五十五頁8語言交際(jioj

4、)活動基于(jy)計算機的交際 Computer-mediated communication交互活動 Interactive activities多元讀寫能力 (multiliteracies)新讀寫能力 (New Literacy Study)交際需求 四六級考試 四六級網(wǎng)考共五十五頁9信息技術與課程(kchng)整合就是通過將信息技術有效地融合于各學科的教學過程來營造一種信息化教學環(huán)境，實現(xiàn)一種既能發(fā)揮教師主導作用又能充分體現(xiàn)學生主體地位的以自主、探究、合作為特征的教與學方式，從而把學生的主動性、積極性、創(chuàng)造性較充分地發(fā)揮出來，使傳統(tǒng)的以教師為中心的課堂教學結(jié)構發(fā)生根本性變革(bing)

5、由教師為中心的教學結(jié)構轉(zhuǎn)變?yōu)橹鲗е黧w相結(jié)合的教學結(jié)構。 何克抗（2009：20）共五十五頁10信息技術環(huán)境(hunjng)下的外語教學教學模式 基于計算機和課堂的教學新模式教學主體 基于任務、學生為主體、教師為主導教學內(nèi)容 語言知識和交際能力、交際策略、文化知識 和跨文化交際能力教學管理 群體管理(gunl)、個體檔案式的管理(gunl)教學資源 教材、教輔、共建共享的豐富網(wǎng)絡資源 教學評價 形成性評價，教師評價/學生互評/自評交際需求 四六級考試 四六級網(wǎng)考共五十五頁11基于計算機/網(wǎng)絡(wnglu)的考試美國TOEFL iBT（世界第一個基于互聯(lián)網(wǎng)的語言測試(csh)）英國IELTS機考（

6、2005年起在若干國家開始實施）PTE機考（2009.10開始在我國試點）中國高考、四六級等網(wǎng)絡閱卷系統(tǒng)（全面實施）全國網(wǎng)絡教育統(tǒng)考（全面實施網(wǎng)考）計算機化口語考試（個別省市、高校已經(jīng)實施）四、六級網(wǎng)考（2008.12開始試點）交際需求 四六級考試 四六級網(wǎng)考共五十五頁12共五十五頁13共五十五頁14四、六級考試(kosh)的作用評價作用學生的英語能力教學的總體效果反撥作用反饋作用：教學模式、教學內(nèi)容、教學安排等決策依據(jù)：為決策者提供政策制定的依據(jù)促進作用：變壓力(yl)為外在動力，推動教學改革交際需求 四六級考試 四六級網(wǎng)考共五十五頁15四、六級考試(kosh)的發(fā)展考試的設計考試的實施(s

7、hsh)考試的使用國際語言測試的發(fā)展: 20世紀60年代以來交際需求 四六級考試 四六級網(wǎng)考共五十五頁16國際語言測試(csh)的發(fā)展Lyle F. Bachman, Language Testing 2000 17 (1) 14260-70年代（起步階段）測試信度：分離式測試、采用定量數(shù)據(jù)分析 80-90年代（確立地位：應用語言學分支）測試效度：交際語言測試、真實性/行為性測試 21世紀（發(fā)展階段：職業(yè)化、專業(yè)化）測試效度：效度概念(ginin)的進一步拓展測試的倫理問題、測試者的職業(yè)道德共五十五頁17提高效度改進后效Now開發(fā)考試建立體系豐富考試關注后效網(wǎng)絡化考試開發(fā)2006 2005-考

8、試內(nèi)容和題型改革2005.6管理和計分體制改革1999口語考試實施1998四級寫作設最低分1997 1996-采用新題型報道平均級點分1990寫作單獨測試1989 1985-考試開發(fā)標準化體系建立共五十五頁18報考人數(shù) CET-4CET-6總計87/8910 616萬00286116402萬01404159563萬02545209754萬03676274950萬048203501170萬057723241096萬068653511216萬079754441419萬0810485621610萬共五十五頁19內(nèi)容題型PB CET: 1987-1996聽力理解20%MCQ仔細閱讀40%MCQ詞匯語法

9、15%MCQ綜合10%MCQ，改錯寫作15%命題作文 PB CET: 1997-2005聽力理解20%MCQ，聽寫仔細閱讀40%MCQ，簡答，英譯漢詞匯語法15%MCQ綜合10%MCQ，改錯寫作15%命題作文PB CET: 2006-now聽力理解35%MCQ，聽寫仔細閱讀25%MCQ，選詞填空快速閱讀10%句子填空，是非判斷綜合10%MCQ，改錯翻譯和寫作20%漢譯英，命題作文共五十五頁20PB CET (1987-2005)CET-SET(1999-now)PB CET(2006-now)評分體系常模正態(tài)分； 6所一流院校Mean=72；Sd.=12等級分制：A+, A, B+, B, C

10、+, C, D常模正態(tài)分； 16所改革試點院校Mean=500；Sd.=70成績報道證書：合格和優(yōu)秀證書：等級和等級描述成績報告單：總分和單項分共五十五頁21網(wǎng)考意義(yy)：效度、公平、效率更加全面、綜合地考核英語應用能力推動基于計算機和課堂的教學模式的推廣預防考試作弊，特別是通訊手段作弊增加試題的安全性，降低考前泄密風險增加考次，減少對教學的影響簡化報名程序(chngx)，減少數(shù)據(jù)庫差錯提高閱卷效率，增加評分信度降低試卷制作、運輸和存儲成本共五十五頁22四、六級網(wǎng)考的目標(mbio)建立現(xiàn)代信息技術條件下適合四、六級考試的新模式，實現(xiàn)：網(wǎng)上報名、繳費、預約考試基于大型題庫的網(wǎng)絡考試考試管理

11、的信息化考試組織(zzh)的信息化考試公平公正性有效防止作弊交際需求 四六級考試 四六級網(wǎng)考共五十五頁23四、六級網(wǎng)考的具體(jt)目標支持大規(guī)模常規(guī)化施考的海量題庫和題庫管理系統(tǒng)支持千個以上考點，30萬人同時考試的考試系統(tǒng)支持千人同時在線主觀題評分的評分系統(tǒng)支持報名、組織和成績(chngj)查詢等的考務管理和服務系統(tǒng)交際需求 四六級考試 四六級網(wǎng)考共五十五頁24網(wǎng)考試卷設計(shj)原則依據(jù)教學要求，設定測試目標。測試任務具有語言交際活動的典型特征。-采用真實錄音錄像材料，加強視聽理解(lji)測試-設計有交互的測試任務，如視聽綜合測試有較高比例的產(chǎn)出性作答試題。最大限度實現(xiàn)機器自動評分。交

12、際需求 四六級考試 四六級網(wǎng)考共五十五頁25視聽(shtng)材料交互模式: 單人陳述、雙人或多人討論等體裁題材: 新聞報道、人物訪談、科技講座等；教育、 科技、經(jīng)貿(mào)、健康(jinkng)、運動、文化、旅游等 來源: CCTV9, CRI; BBC, VOA, The New York Times, Discovery, CNN, National Geographic, NPR, CBS等語音: 主要是標準美音和英音語速: 140-160 wpm交際需求 四六級考試 四六級網(wǎng)考共五十五頁26視聽測試(csh)任務視聽理解理解主旨大意 (global comprehension)理解細節(jié)信息(

13、xnx) (local comprehension)聽寫單詞和詞組 (dictation) 聽后跟讀 (listening to repeat)基于聽力材料的寫作 (integrated writing) 交際需求 四六級考試 四六級網(wǎng)考共五十五頁27交際需求(xqi) 四六級考試 四六級網(wǎng)考試卷結(jié)構和考試過程系統(tǒng)設計和系統(tǒng)構架考試運行和考生(koshng)表現(xiàn)試點考試（IB CET-4）共五十五頁28測試任務測試題型題量比例時間第一部分：視聽理解理解主旨大意多項選擇725%約30分鐘獲取細節(jié)信息多項選擇11第二部分：視聽綜合聽寫單詞和詞組的聽寫1540%約45分鐘跟讀句子跟讀10總結(jié)和評論短

14、文寫作1第三部分：閱讀理解快速閱讀多項選擇和填空1035%45分鐘仔細閱讀多項選擇10語法結(jié)構填空10共五十五頁29錄音/錄像閱讀篇章 主旨大意第一遍第二遍重要細節(jié)視聽材料聽寫總結(jié)/評論跟讀視聽片斷仔細閱讀快速閱讀閱讀材料語法結(jié)構共五十五頁30系統(tǒng)(xtng)設計原則1）滿足考試的設計要求(yoqi)。 2）穩(wěn)定、可靠、安全。3）具有普適性和可操作性。共五十五頁31題庫系統(tǒng)考務系統(tǒng)施考系統(tǒng)服務系統(tǒng)命題平臺題庫管理考生管理考點管理考試實施閱卷評分技術支持考試服務數(shù)據(jù)中心服務中心系統(tǒng)(xtng)構架共五十五頁32考試(kosh)開始共五十五頁33考場(kochng)規(guī)則共五十五頁34設備(shbi

15、)調(diào)試共五十五頁35視聽(shtng)理解共五十五頁36視頻(shpn)共五十五頁37聽寫(tngxi)(08.12)共五十五頁38語法結(jié)構(08.12)共五十五頁39跟讀(08.12)共五十五頁40寫作(xizu)共五十五頁41閱讀(yud)理解共五十五頁42共五十五頁4353所高校(goxio)的近5000考生參加試點；在考委會、技術服務公司和高校的合作下，對考試系統(tǒng)、試卷設計、考試實施進行了初次檢驗：各級服務器正常運行、各項功能操作正?？荚嚁?shù)據(jù)各級下載正確，正常解密5000名考生完成答題，答題數(shù)據(jù)正確上傳同一考場內(nèi)考生所答的試題各不相同客觀題評分無誤，主觀題閱卷系統(tǒng)可以運行跟讀機器評分和

16、人工評分達到理想的相關性總體(zngt)運行交際需求 四六級考試 四六級網(wǎng)考共五十五頁44總體(zngt)感覺考試形式新穎， 具有一定挑戰(zhàn)性測試材料和任務真實，真正考核語言運用能力試題難度基本適中，聽的能力很重要需進一步熟悉題型，加強計算機上答題的訓練考試時間的控制上可以更加靈活答題方式（特別是聽寫和跟讀）有待改進考生(koshng)反饋交際需求 四六級考試 四六級網(wǎng)考共五十五頁45 N=3984有效性難易度分值比例答題時間適應程度緊張程度5: 非常有效1: 完全無效5: 很易1: 很難合理適中5: 很適應1: 很不適應5: 很放松1: 很緊張整體3.452.4286.373.32.963.0

17、0聽力理解3.322.4564.462.12.882.75 / 2.77聽寫3.102.1659.847.32.492.47跟讀3.012.3154.358.52.472.46寫作3.572.9078.674.53.153.16語法結(jié)構3.392.9074.876.43.093.07快速閱讀3.742.89 / 2.9383.669.93.272.99仔細閱讀3.782.9481.377.33.353.12共五十五頁46考中停電 考后停電 考中病毒播音中斷黑屏無法輸入(shr)答案數(shù)據(jù)回收故障突發(fā)(t f)問題交際需求 四六級考試 四六級網(wǎng)考共五十五頁47有效防止作弊：新聞晨報“四六級21日試

18、行一人一機一卷防作弊效果好”新聞晚報“打擊作弊 大學英語四級考試機考改革今啟動”聽說能力考核：京華時報“四六級機考：增加跟讀環(huán)節(jié) 聽力比重大”楚天金報“英語四級首次機考 跟讀環(huán)節(jié)迫使啞巴開口”試題難易度評價：北京晚報“英語四級考試首試機考 考生稱寧愿選擇筆試”新京報“08年12月四級機考比紙考簡單 考生叫好”網(wǎng)考操作：京華時報“四級機考普遍感覺不適應 聽力填空時間最緊”信息時報“英語四六級機考學生抱怨(bo yun)不能回頭改答案”媒體評論(pngln)交際需求 四六級考試 四六級網(wǎng)考共五十五頁48成績分析(fnx) (原始分，N=4603）紙筆考試 (PBT)網(wǎng)考 (IBT)%PBTIBT聽

19、力理解視聽理解25%13.9814.45單詞和句子聽寫單詞和詞組聽寫10%3.182.19詞匯、綜合、翻譯跟讀、語法結(jié)構20%10.448.82命題作文基于聽力的寫作15%8.668.74快速閱讀10%5.756.10仔細閱讀20%12.3712.70總分54.3853.00交際需求(xqi) 四六級考試 四六級網(wǎng)考共五十五頁49成績(chngj)分析網(wǎng)考試題難度適中、考生總體適應網(wǎng)考聽力理解：平均分接近，網(wǎng)考略高（14.45 vs. 13.98）仔細閱讀：平均分接近，網(wǎng)考略高（12.70 vs. 12.37）快速閱讀：平均分接近，網(wǎng)考略高（6.10 vs. 5.75）寫作部分：平均分接近，網(wǎng)考略高（8.74 vs. 8.66）聽寫和跟讀部分施考方式有待改進問題：考生操作(cozu)不熟練、答題時間不夠聽寫部分：平均分偏低，網(wǎng)考更低（2.19 vs. 3.18）跟讀部分：平均分偏低（10%中的得分為3.04）交際需求 四六級考試 四六級網(wǎng)考共五十五頁502009年6月試點(sh din)考試68所院校；6000多名考生培訓系統(tǒng)系統(tǒng)操作人員培訓；考生培訓考試系統(tǒng)實現(xiàn)自動組卷跟讀：重新錄音一次聽寫(tngxi)：暫停鍵（15次）時間控制：更加靈活自由共五