大學專業(yè)英語的測試信度與效度研究.doc

大學專業(yè)英語的測試信度與效度研究Reliability & Validation Study of College Specialized English重慶大學外語學院 黃 萍 副 教 授Huang Ping College of Foreign Languages, Chongqing University 400044摘要 全國大學英語四、六級考委會立項的科研項目“大學英語專業(yè)閱讀階段完成之后的測試方式及構(gòu)卷研究”是對大學專業(yè)英語能否進行統(tǒng)一測試的研究。本文從一套診斷性大學專業(yè)英語試題入手，從333個學生的答題分數(shù)與其四級考試分數(shù)、專業(yè)英語期末考試成績相對比，對該套大學專業(yè)英語測試題的信度與效度進行了分析與研究，并從學生的反饋中得出結(jié)論：大學專業(yè)英語統(tǒng)一測試是必要的，也是可行的。Abstract The research project “The Testing Method and Structure of College Specialized English after Reading Period” sponsored by the National College English CET 4&6 Committee is to study the feasibility of the College Specialized English Test in China. This thesis analyzed the results from 333 students who had a diagnosed test and studied the reliability and validation through comparing with the students CET 4 test scores and the specialized English achievement test scores. From the students feedback we can conclude that the College Specialized English is feasible and essential. 關(guān)鍵詞 可行性，信度，效度，方差，統(tǒng)計學Key Words feasibility, reliability, validation, SD, statistics1998年6月，由全國大學英語四、六級考委會立項，重慶大學外語學院承接了科研項目“大學英語專業(yè)閱讀階段完成之后的測試方式及構(gòu)卷研究”。項目研究的目的是對大學專業(yè)英語進行統(tǒng)一測試的可行性進行研究，其具體過程是通過對西南地區(qū)各高校大學專業(yè)英語的現(xiàn)狀調(diào)查，對專業(yè)英語測試的內(nèi)容、方式及構(gòu)卷進行診斷性測試，為大學英語能進行統(tǒng)一地專業(yè)英語測試提出可行性方案，并為大學專業(yè)英語測試最終能進行全國統(tǒng)一測試奠定基礎(chǔ)，對統(tǒng)一考試可能出現(xiàn)的問題和困難提出意見及可能解決的辦法，以進一步推動大學專業(yè)英語測試的盡快實施，并對提高專業(yè)英語考試的效度與信度，使考試更具有合理性和科學性提出建設(shè)性的意見。一 大學專業(yè)英語測試研究目的 本研究由大學英語考委會立項，在重慶大學外語學院以及國家級專家韓其順教授的指導(dǎo)下進行的。目的在于探討專業(yè)英語統(tǒng)一測試是否可行，會存在哪些問題，是否有解決辦法，其效度與信度怎樣，測試的內(nèi)容與方法與效度和信度的關(guān)系，構(gòu)卷的方法與研究等。研究是基于大學英語教學大綱中對專業(yè)英語階段的要求來進行的，因此，專業(yè)英語測試的內(nèi)容與構(gòu)卷也嚴格圍繞著大綱的要求制定。鑒于大學專業(yè)英語測試的目的是為了檢查對教學大綱的執(zhí)行情況，因此，測試內(nèi)容力求反映大綱的要求。我們認為，大學英語專業(yè)英語測試與大學四、六級考試的測試重點是截然不同的，大學英語專業(yè)英語測試應(yīng)著眼于語言的運用(use)，而不是在于語言的習慣(usage)。語言學家認為語言內(nèi)容的測試是從語言的交際需要中分離出來的。本考試的目的是為了促進培養(yǎng)既懂專業(yè)又懂英語的技術(shù)人才，使他們進入社會后能用英語作為工具和手段，滿足自己工作的需要。因此，與CET-BAND4不同，它強調(diào)的不是學習者語言習慣的形式的準確性，而是通過具有意義的語言實踐掌握語言習慣的模式，即它所強調(diào)的是語言的適切性(appropriacy)。 二大學專業(yè)英語測試信度與效度課題小組在國家級專家韓其順教授的指導(dǎo)下，設(shè)計了專業(yè)英語診斷性（Diagnose）試題。2000年4月16日，我們在重慶大學對400多個學生（有效試卷333份）近十個專業(yè)的學生進行了試測。為了有效地對該試題進行分析，我們讓被試學生在答題紙上寫上了四級通過分數(shù)，并在考試完成后對學生就本次考試進行了問卷回答。以下是我們對受試者答卷進行的統(tǒng)計分析。從考試結(jié)果來看，受試者成績頻數(shù)分布曲線圖如下:圖1 專業(yè)英語測試成績分布曲線圖所有受試總分分布情況是否呈正態(tài)分布呢？檢驗其偏態(tài)值SK, 結(jié)果為-0.27; 檢驗其峰值Kurt, 結(jié)果為-0.001。從成績分布曲線圖上來看，雖然出現(xiàn)一個小雙峰形態(tài)，但雙峰緊鄰平均數(shù)大致呈對稱分布。由此可以認為，本次專業(yè)英語測試總分基本呈正態(tài)分布。根據(jù)測試結(jié)果，進行了內(nèi)部一致性信度計算。我們采取了較為實用的信度計算方法，沒有采用再測信度、等值測試信度。本測試包含了若干客觀和半客觀性命題，不能采用分半信度計算方法和庫德-理查遜公式法進行計算，因而采用克龍巴赫所創(chuàng)造的a 系數(shù)公式。該公式為：a = ）其中，為信度系數(shù)；K為題目數(shù)；為各題各被試得分的方差；為各被試所得總分的方差。表1 專業(yè)英語測試信度與效度分析（對專業(yè)混合班的測試分析） 項目被試學生專業(yè)四級成績與本次考試相關(guān)性期末考試與本次考試的相關(guān)性口語考試與本次考試的相關(guān)性聽力與本次考試的相關(guān)性閱讀與本次考試的相關(guān)性翻譯與本次考試的相關(guān)性寫作本次考試的相關(guān)性科技英語班（全校任選課，多專業(yè),49人）r=0.389*p 0.05r=0.63*p 0.001r=0.691*p 0.001r=0.765*p0.2r=0.619*p 0.001商務(wù)英語班（全校任選課，多專業(yè)66人）r=0.463*p0.001r=0.465*p 0.001r=0.56*p 0.001r=0.539*p0.001r=0.747*p0.001r=0.501*p0.001r=0.345*p0.05（注：*表示在0。05水平上相關(guān)，*表示在0.01水平上相關(guān)）由表1可知，從學生本次考試與國家四級成績來比較，科技英語班r=0.389*，P 0. 05；商務(wù)英語班r=0.463*，P0.001；說明本次考試是有效的，有很大的信度與效度。從學生本次考試與科技英語班學生期末考試成績相比較（期末考試題采用由東南大學新科技英語教材項目組的試題），r=0.63*，P 0.001; 學生本次考試與商務(wù)英語班期末考試成績相比較(試題采用劍橋商務(wù)英語等級證書考試題), r=0.465*，P 0.001，也說明本次考試是有效的，有很大的信度與效度。從單項比較來看，我們對商務(wù)英語班用大學英語四、六級口語考試判分（兩個口語測試員為大學英語考委會正式聘用的口語測試員），所得的相關(guān)系數(shù)也很高，r=0.56*，P 0.001。除科技英語班翻譯與本次考試的相關(guān)性不大外，其他各單項都與本次考試是相關(guān)的，且相關(guān)性很大。而就其科技英語班翻譯與本次考試的相關(guān)性不大的原因在于，該翻譯試題在一次練習中學生已做過，因此，其成績與本次考試不相關(guān)，從另一方面可以看出，我們所研究的相關(guān)性與試題的效度與信度是很有關(guān)的。表2. 專業(yè)英語測試信度與效度分析（對單個專業(yè)班的測試分析） 項目被試學生專業(yè)四級成績與本次考試的相關(guān)性聽力與本次考試的相關(guān)性閱讀與本次考試的相關(guān)性翻譯與本次考試的相關(guān)性寫作與本次考試的相關(guān)性計算機(52人)r=0.583*p0.001r=0.538*p0.001r=0.785*p0.001r=0.547*p0.001r=0.55*p0.1r=0.713*p0.001r=0.9*p0.001r=0.819*p0.001r=0.832*p0.001電機85人r=0.471*p0.001r=0.433*p0.001r=0.88*p0.001r=0.636*p0.001r=0.64*p0.001工業(yè)設(shè)計23人r=0.431*p0.05r=0.345*p0.05r=0.694*p0.001r=0.849*p0.001r=0.631*p0.001金壓24人r=0.448*p0.2r=0.778*p0.001r=0.827*p0.001r=0.838*p0.001總評r=0.417*p0.001r=0.485*p0.001r=0.793*p0.001r=0.618*p0.001r=0.637*p0.001（*表示相關(guān)，*表極其相關(guān)）由表2可知，從學生本次考試與國家四級成績來比較,總的來講,相關(guān)性是很大的, r=0.417*，P0.2 與本次考試不太相關(guān)，我們發(fā)現(xiàn)，金壓專業(yè)的四級成績與本次考試也剛好相關(guān)，r=0.448*，P0.05就其原因，學生大多數(shù)來自農(nóng)村，其聽力本來就不太好，而本次考試的聽力又以主觀性試題為主，所以，學生考試聽力與本次考試不太相關(guān)，這從聽力與本次考試的難度值也可以看出，聽力的難度是最大的。對以上五個專業(yè)的相關(guān)性研究發(fā)現(xiàn)，專業(yè)好的學生，不管是四級成績，還是單項測試與本次考試的相關(guān)性都很大，反之亦然。三. 大學專業(yè)英語測試的可行性專業(yè)英語測試是屬于專門用途英語領(lǐng)域的一門測試。人們通常認為要使它具有較高的效度，就必須為每一個專業(yè)單獨設(shè)計一套試題，這種看法雖然有一定道理，但如要為每一個專業(yè)都設(shè)計一套題的話，專業(yè)英語就很難有一個較為統(tǒng)一的標準，就不可能做到較大規(guī)模的專業(yè)英語測試，也就難以真正推動和促進專業(yè)英語教學。本測試的目的就是試圖在一套題中測試出各專業(yè)英語的共同性，我們這樣設(shè)計的理由是，第一，專業(yè)英語的領(lǐng)域太廣，如果要把各專業(yè)領(lǐng)域在測試中都能涵蓋，那么，一次考試就可能包含許多專業(yè)的測試題，這樣不僅僅要花太多的人力、物力，而且很難保證各專業(yè)在同一次考試中的難易度；第二，各專業(yè)英語在語言風格上有很大的不同，如法律英語與科技英語，專業(yè)術(shù)語也不同，但是，各專業(yè)在文體上是有關(guān)系的，如文摘的格式、緒論、定義、結(jié)束語的格式等，此外，語法也有其共同性，如無人稱、陳述客觀、準確、語言規(guī)范、文體質(zhì)樸、邏輯性強等都是專業(yè)英語的共同特點；第三，教育部通過專業(yè)目錄的調(diào)整后，專業(yè)劃分過細的現(xiàn)象不存在了，大學英語教學大綱雖然要求學生通過專業(yè)英語的學習，能聽、讀懂本專業(yè)文獻，能說、寫、翻譯本專業(yè)有關(guān)文獻，但是，正如以上所說，各專業(yè)英語的文體都有其相同之處，我們設(shè)計出的專業(yè)英語測試題主要是檢驗各高校是否完成了大學英語教學大綱所要求的任務(wù)，而不是測試學生是否懂得本專業(yè)英語內(nèi)容；第四，現(xiàn)代科學發(fā)展的一個顯著特點是跨專業(yè)跨學科研究，大學畢業(yè)生畢業(yè)后也有可能從事其他專業(yè)的工作，如學文的改行學計算機，從時代發(fā)展的角度來看，專業(yè)英語測試內(nèi)容完全可以測試專業(yè)英語的共同性，加強其使用性。我們正是基于以上理由，大膽地嘗試了用一套專業(yè)英語試題來測試各專業(yè)英語，以達到標準一致、評分一致以及實用性強、針對性強。為了更好地說明我們的這套試題的可行性，請看我們對商務(wù)英語、材料、電力、工業(yè)設(shè)計、計算機、金屬鍛壓等幾個不同專業(yè)學生的測試結(jié)果來看其顯著性差異：表3.專業(yè)英語測試組各對平均數(shù)之間q值與臨界值比較97材料班98計算機班97科技英語班97商務(wù)英語班97電力班97金壓班98計算機12397科技英語1680597商務(wù)英語2010，90597電力29018130997金壓2902017140897工設(shè)556*49*45*44*39*25（*表示兩組平均數(shù)差異比較明顯，*表示差異極為明顯）通過方差分析，我們發(fā)現(xiàn)至少有一對平均數(shù)差異顯著，因而進一步進行了q檢驗，來確定哪些對平均數(shù)的差異達到顯著水平。結(jié)果發(fā)現(xiàn)，97工設(shè)組與其他五組（97金壓組除外）的平均數(shù)q值超過了0.05水平的臨界值，其中有兩對超過了0.01水平的臨界值，即差異極為顯著。97工業(yè)設(shè)計專業(yè)受試組的平均數(shù)僅為37.3，與其他受試組的表面差異也比較大，檢驗結(jié)果也說明這一組的平均數(shù)異常，差異顯著，其他各組間的平均數(shù)均無顯著差異。究竟什么原因?qū)е?7工設(shè)組與其他組平均數(shù)的差異都比較顯著甚至極為顯著呢？對此我們將進一步探討，但是，我們的檢驗表明，在對測試的各組中，文理科都占了一定比例，（如科技英語班與商務(wù)英語班均有如貿(mào)易、法律、金融等專業(yè)和理工科如計算機等專業(yè)），對他們進行同一套題的測試，其各組間的平均數(shù)無顯著差異，這說明本套試題對不同專業(yè)的測試是公平的。用同一套題測試不同專業(yè)的學生是可行的。四學生的反饋與結(jié)論我們在本次考試完成后，對學生進行了問卷調(diào)查，調(diào)查結(jié)果表明，73.2% 的學生認為專業(yè)英語測試是必要的，但象四、六級一樣實行全國統(tǒng)考只有48.8%的學生認為可行，這說明，學生對專業(yè)英語測試還很陌生。而且，由于學校對專業(yè)英語的重視不夠，學生對專業(yè)英語測試是很陌生的，對這樣以實用型考試方式不太適應(yīng)，從聽力與閱讀測試結(jié)果可以看出來，（聽力測試為填空題，閱讀測試前兩篇為客觀題，后三篇為主觀題）實用型越強的試題，學生越覺得難，這表明目前專業(yè)英語現(xiàn)狀不容樂觀，要讓學生適應(yīng)社會的需求，專業(yè)英語測試應(yīng)加強。通過對本次測試的信度、效度、項目分析和效率的探討，我們認為本套診斷性測試題是可信的，具有較高的效度。題目的難易度把握較好，區(qū)分度總的來說尚可，但部分多項選擇題的區(qū)分度不理想，個別題