自制思辨能力量具的修訂及信效度檢驗

自制思辨能力量具的修訂及信效度檢驗

時間與數(shù)據(jù)分析2008年，文秋芳等人申請了國家社會科學(xué)基金項目“中國外語學(xué)生思維能力現(xiàn)狀”（編號08by026），以研究中國外語學(xué)生和其他文科學(xué)生的思維能力。2008年5月課題組構(gòu)建了思辨能力量具的理論框架,后將其發(fā)表在《外語界》2009年第1期上(文秋芳等2009:37-43)。2008年6月課題組就思辨能力客觀性量具的構(gòu)建開展了先導(dǎo)研究(文秋芳等2010:55-58)。該研究設(shè)計了60道題,將其分為兩套題型和數(shù)量相同、難易度相近的A卷與B卷,測試時間為50分鐘。參加測試的是來自3所不同學(xué)校一、二、三年級英語與非英語專業(yè)750名文科學(xué)生,其中約一半學(xué)生用A卷,一半學(xué)生用B卷。課題組分析了測試題的難易度、區(qū)分度與信度,并進行了因子分析,還就量具的構(gòu)建與先導(dǎo)研究結(jié)果咨詢了心理測量、心理學(xué)、哲學(xué)、應(yīng)用語言學(xué)領(lǐng)域6位專家的意見?？傮w結(jié)論是,構(gòu)建量具的理論框架與思路符合研究規(guī)范,但有一半以上題目的區(qū)分度未達到要求,總體難易度偏低,題型不夠豐富,同時參加先導(dǎo)研究的樣本不夠大,也不具典型性。據(jù)此,我們進一步閱讀文獻,修訂現(xiàn)有量具,接著用新量具在更大更典型的樣本中進行測試。本文將報告對新量具信效度檢驗的結(jié)果。全文分為3部分:第一部分報告新量具的結(jié)構(gòu)與內(nèi)容,第二部分介紹新量具的測試過程,第三部分報告并解釋新量具難易度、區(qū)分度、內(nèi)部一致性分析結(jié)果以及效度證據(jù)。1.老量具中各題型的合并新量具包括40道題,其中25道題來源于先導(dǎo)研究所用的量具(本文簡稱為老量具),新增15道題。我們把老量具中的10種題型合并為6類,同時新增了4種題型。表1列出了10種新題型的名稱以及每種題型所包含的題目數(shù)。前6種題型源于老量具,具體例子見文秋芳等(2010)所撰寫的論文“我國外語類大學(xué)生思辨能力客觀性量具構(gòu)建的先導(dǎo)研究”。表2列出了增加新題型的理由及對新題型內(nèi)容的說明1。2.新標(biāo)準(zhǔn)的嘗試2.1創(chuàng)建普通高校2770名被測學(xué)生來自12所高校的81個班級,其中有3所“985”學(xué)校,3所“211”學(xué)校,3所省部共建的省屬本科院校,2所省屬普通高校,1所2004年專升本院校。本課題先導(dǎo)研究只涉及其中3所學(xué)校的750人,參加本次研究的人數(shù)增加了2.69倍,學(xué)校數(shù)增加了3倍,學(xué)校類型也變得多樣化,涵蓋外語類、綜合類、理工類、財經(jīng)類、師范類學(xué)校,涉及的文科專業(yè)有17個。我們認(rèn)為本樣本應(yīng)該具有較好的代表性(見表3)。2.2個人承擔(dān)一個班級除了課題組的4名老師外,我們還邀請了70名教師協(xié)助組織測試。一般情況下由兩名教師負責(zé)一個班級。測試前,我們向這些教師詳細解釋了測試要求、流程與應(yīng)注意的問題,同時還印發(fā)了書面測試指導(dǎo)語,以便在12個學(xué)校81個班級中統(tǒng)一測試要求。2.3建立學(xué)生測試指導(dǎo)語本次測試與先導(dǎo)研究測試不同的地方有兩處。第一增加了題量,但答題時間從50分鐘縮短到45分鐘,目的在于提高量具的難度。第二,本次測試前我們將研究目的如實告知被試,原因是先導(dǎo)研究訪談數(shù)據(jù)表明學(xué)生渴望了解自己的思辨水平。下面是我們印發(fā)給組織者的測試指導(dǎo)語。在動員學(xué)生配合做題時,請按如下要點說明:(1)本測試來源于一個國家級課題。該課題研究大學(xué)生思維能力現(xiàn)狀,并通過測試找到問題所在,對高校今后開設(shè)該類型的課程有重大意義。測試題目由課題組成員編制。(2)思維能力對一個人的成長非常重要,也是目前各種就業(yè)、選拔型考試(如公務(wù)員考試等)涉及的內(nèi)容。本測試有助于學(xué)生了解自己的思維能力現(xiàn)狀,并相應(yīng)進行有意識的訓(xùn)練和提高。(3)我們承諾評分結(jié)束后為每個被試提供成績(請學(xué)生一定配合寫上名字和學(xué)號)。2.4信度指標(biāo)的計算我們在EXCEL中分別輸入12所學(xué)校的數(shù)據(jù),然后合并、整理,糾正數(shù)據(jù)輸入錯誤。數(shù)據(jù)整理完后,我們從項目分析(itemanalysis)入手,列出每題選項的選擇分布情況,然后計算難易度與區(qū)分度,再計算量具中40道題的內(nèi)部一致性作為信度指標(biāo)。難易度計算的公式是:P=得分/滿分;區(qū)分度計算公式是:D=P1(27%高分組難易度)-P2(27%低分組難易度)(Brown2006:68)。為尋找量具效度的證據(jù),我們運用單因素方差檢驗,比較不同類型學(xué)校、不同年級學(xué)生測試平均成績的差異,分析了部分學(xué)校英語專業(yè)四級考試成績與思辨測試成績的相關(guān)情況。3.研究結(jié)果3.1新量具的區(qū)分度分布表4列出了每個題目的難易度、區(qū)分度以及總體難易度、區(qū)分度與內(nèi)部一致性信度?？傮w來說,新量具比老量具有了顯著改進。它的平均難易度為.61,即學(xué)生答題的總體正確率為61%,比老量具下降了11%;區(qū)分度達到.31,比老量具提高了.03;內(nèi)部一致性信度也有了一定改進,Alpha系數(shù)達到.70,比老量具中的A卷高.06,比B卷高.02,符合統(tǒng)計要求。一份試卷應(yīng)該由難易度不等的題目按一定比例組成,理想的難度均值是.50(李筱菊1997:274)。表5列出了新老量具試題難易度的分組情況以及理想比例(李筱菊1997:274)。雖然新量具比老量具的難易度有所改進,但與理想比例相比,似乎還有必要減少高于.70這個難易度段的題目數(shù)量,增加低于.29這個難易度段的題目數(shù)量。導(dǎo)致高難度題目數(shù)量不夠的原因也可能是參加測試學(xué)校的類型分布不夠均衡,特別是近年來專升本的院校數(shù)量較少。如果增加這一類學(xué)校的數(shù)量,量具的難易度可能就達到了要求。當(dāng)然這一推測需要實證數(shù)據(jù)支持。與難易度值相似,區(qū)分度值也在0至1之間。表6列出了新老量具試題的區(qū)分度分組情況以及評價區(qū)分度好壞的一般標(biāo)準(zhǔn)(Brown2006:75)。很明顯,新量具中符合區(qū)分度要求的題目比例達到了62.5%,比老量具增加了19.1%,需要刪除題目的比例從30.0%下降到10.0%。根據(jù)表6,新量具中仍舊有27.5%的題目需要修改。我們有必要進一步查看這11道題的各個選項的設(shè)置情況。從表7我們發(fā)現(xiàn)一個最明顯的問題是,干擾項的作用不均衡,有的幾乎未起到干擾作用。第二個問題是,需要進一步分析第25、30、33、34、38題為什么有幾十、甚至上百學(xué)生未回答。初步解釋是,這些是新題型,學(xué)生一般不熟悉,需要花費力氣理解答題的指導(dǎo)語,部分學(xué)生不愿意多動腦筋,進而選擇放棄答題。3.2不同類型學(xué)校學(xué)生的思辨水平的差異我們在先導(dǎo)研究中已經(jīng)說明了因子分析結(jié)果不能成為本量具的效度證據(jù),本研究只能從其他方面尋找證據(jù)來檢驗本量具的效度2。我們的證據(jù)來源于3個假設(shè)。第一,不同類型學(xué)校的學(xué)生應(yīng)該具有不同的思辨水平,因此本量具測到的成績應(yīng)能區(qū)分不同類型學(xué)校,也就是說“985”、“211”學(xué)校學(xué)生的總體思辨水平應(yīng)該高于省部共建的省屬本科院校學(xué)生,省部共建的省屬本科院校學(xué)生的水平應(yīng)該高于省屬普通高校學(xué)生,省屬普通高校學(xué)生的水平又應(yīng)該高于新近專升本院校的學(xué)生。第二,不同年級學(xué)生的思辨水平應(yīng)該具有差異,因此本量具測到的成績應(yīng)能區(qū)分不同年級的學(xué)生,即三年級學(xué)生的思辨測試成績好于二年級學(xué)生,二年級學(xué)生的成績又好于一年級。第三,思辨水平應(yīng)該對英語專業(yè)四級考試成績產(chǎn)生積極影響,因此本量具測得的成績應(yīng)與英語專業(yè)四級考試成績呈正相關(guān)。如果上述3個假設(shè)都能得到驗證,本量具就有了系列效度證據(jù)。下面我們將逐一驗證上述假設(shè)。3.2.1類學(xué)校學(xué)生思辨水平總體差異分析表8列出了12所學(xué)校學(xué)生思辨測試的平均成績與標(biāo)準(zhǔn)差。這12所學(xué)校成績的排序基本驗證了我們先前的假設(shè)。如果能將12所學(xué)校的名稱列出來,這個假設(shè)的檢驗就極其容易。然而出于對測試學(xué)校情況保密的需要,我們將這些學(xué)校分為5類后進行統(tǒng)計比較。第一類為教育部直屬第一梯隊3,第二類為其余的“211”學(xué)校,第三類為省部共建的省屬院校,第四類為省屬普通高校,第五類為近年內(nèi)專升本院校。從平均分來看,只有某些二類學(xué)校的順序排在三類學(xué)校之后,其他基本上符合類別的排序,即類別越高,成績越高。下面我們將運用單因素方差分析考察5類學(xué)校學(xué)生思辨水平總體差異情況,并進行兩兩配對比較,以考察每兩類之間的差異是否達到顯著性水平。表9列出了5類學(xué)校的描述性數(shù)據(jù)、兩兩配對比較以及總體差異比較的情況。除第二類學(xué)校學(xué)生以外,其他4類學(xué)校學(xué)生思辨水平測試成績的變化均呈線性趨勢,即隨著學(xué)校類別的提高,思辨成績也隨之增高。5類學(xué)校之間的總體差異達到.000顯著性水平(F=212.95)。兩兩配對比較的結(jié)果是,除二～三類學(xué)校外,其他3對比較(一～二類學(xué)校,三～四類學(xué)校,四～五類學(xué)校)均顯示顯著性差異。巧合的是,這3對呈現(xiàn)顯著性差異的學(xué)校,差異都在7.45到7.85之內(nèi)。導(dǎo)致二類與三類學(xué)校無顯著性差異的可能原因是,國家確定“211”學(xué)校首先著眼于國家經(jīng)濟發(fā)展與學(xué)科布局的需要,繼而考慮的是學(xué)校發(fā)展的整體實力。換句話說,確定“211”學(xué)校的因素很多,生源質(zhì)量有時可能不是首要因素。就參加本次測試的院校來看,個別“211”學(xué)校地處我國中西部,生源質(zhì)量并不比某些省部共建的省屬院校好。這可能是導(dǎo)致二類學(xué)校與三類學(xué)校的配對比較未出現(xiàn)顯著性差異的原因。3.2.2教育影響學(xué)生思辨能力發(fā)展的單因素分析表10列出了12所高校3個不同年級學(xué)生思辨能力測試的平均成績以及單因素方差分析結(jié)果。從平均數(shù)來看,3個年級學(xué)生的思辨能力確實隨著年級的升高而增強,標(biāo)準(zhǔn)差隨著年級的升高而降低。換句話說,高等教育對學(xué)生思辨能力的提高產(chǎn)生了積極影響,同時有利于縮小學(xué)生之間的差異。3個年級之間的差異達到.000顯著性水平(F=14.61)。但單因素方差分析結(jié)果表明,一、二年級學(xué)生之間的差異不具統(tǒng)計意義,二、三年級學(xué)生之間以及一、三年級學(xué)生之間的差異分別達到.001和.000的顯著性水平。這一結(jié)果似乎表明大學(xué)生思辨能力變化的關(guān)鍵時期是二年級到三年級之間,比較符合學(xué)生的實際情況。剛進入高校的第一年是調(diào)整期,學(xué)生需花費氣力適應(yīng)大學(xué)的學(xué)習(xí)與生活,第二年才是大學(xué)生活的真正開始。3.2.3英專四級考試成績本次思辨能力測試于2008年11月舉行。用于本次研究的英語專業(yè)四級考試于2008年4月舉行,成績于2008年9月公布。本次相關(guān)分析只涉及兩種測試均參加的06級學(xué)生。參加思辨能力測試的學(xué)校有12所,提供英專四級考試成績的有11所學(xué)校。表11列出了11所學(xué)校325名學(xué)生的英語專業(yè)四級考試成績與思辨能力測試成績的平均分、標(biāo)準(zhǔn)差、總體差異及兩種測試成績的相關(guān)系數(shù)。11所學(xué)校的兩種測試總平均成績都在.000水平上呈現(xiàn)顯著性差異。兩種成績呈正相關(guān),其系數(shù)為.26,在.000水平上具有統(tǒng)計意義,但相關(guān)程度不算高。這一結(jié)果并未出乎我們的意料。英語專業(yè)四級考試涉及語音、語法、詞匯知識與聽、讀、寫技能,更多測試的是英語語言基本功,而思辨能力測試以母語為中介,考查的是分析、推理與評價技能。我們認(rèn)為,