外語教學(xué)調(diào)查問卷的評價.ppt

1、外語教學(xué)調(diào)查問卷的評價,本章結(jié)構(gòu),問卷的項目分析 問卷的信度分析 問卷的效度分析,極端分組法,內(nèi)部一致性分析法,外在信度檢驗,內(nèi)在信度檢驗,再測信度,復(fù)本信度,折半信度,Cronbach alpha 系數(shù),內(nèi)容效度,結(jié)構(gòu)效度：因子分析方法,項目分析,1. 定義 廣義的項目分析是指對問卷項目進行定性和定量分析。定性分析涉及項目是否具有代表性，測量是否客觀、準確等。定量分析則是通過一定的統(tǒng)計程序檢驗項目的區(qū)分度。 狹義的項目分析僅限于定量分析。 2. 作用 了解每個項目是否有效的區(qū)分了所測量的不同特性的受訪者，從而有效地改進問卷的信度和效度；了解每個項目的答案分布情況，以確保問卷項目具有良好的區(qū)分

2、度。 3. 區(qū)分度 區(qū)分度是指問卷項目對所要測量內(nèi)容的區(qū)分靈敏度或鑒別能力。區(qū)分度的高低反映了問卷項目能否有效地區(qū)分受訪者，也稱為項目本身的效度。,極端分組法,1. 定義 極端分組法就是根據(jù)受訪者在各項目上的測評結(jié)果，先計算出全部問卷項目的總分，將問卷項目的總分從高到低排列，以27%的標準分別抽取出高分組和低分組，最后進行獨立樣本T檢驗。 查看統(tǒng)計結(jié)果，看高分組和低分組在每個項目上的差異是否達到顯著性水平（p0.05），如果達到顯著性水平就說明該項目具有較好的鑒別度。 2. 獨立樣本T檢驗 獨立樣本T檢驗是檢驗兩個樣本是否來自兩個平均數(shù)相同的總體，即比較兩組的平均值。它必須具備兩個假設(shè)條件：1

3、）兩個總體都呈正態(tài)分布；2）兩個總體具有相同的方差。 獨立樣本的t值等于兩組平均值差除以兩組平均值差的標準差。t值越大，表明兩組間的平均值的差異越大，就越有可能達到顯著性水平。,3. 步驟 1）對問卷所有項目（即變量）的得分（即變量值）求和； 2）根據(jù)總分的高低對受訪者進行排序分組，取總分最高的27%的受訪者作為高分組，取總分最低的27%的受訪者作為低分組。若樣本較小，也可將前50%和后50%的受訪者分別作為高分組和低分組。 3）比較高分組和低分組在每個項目上的差異，如果差異小而達不到顯著水平，就意味著這個項目不能很好的區(qū)分不同的受訪者，因此，在隨后的數(shù)據(jù)分析中可以考慮將其排除。,內(nèi)部一致性分

4、析法,1. 概念 內(nèi)部一致性分析法也稱相關(guān)分析方法，是指根據(jù)受訪者在各項目上的測評結(jié)果，計算全部項目的總分，對每個項目與量表總分進行相關(guān)分析。 2. 步驟 1）對問卷所有項目（即變量）的得分（即變量值）求和； 2）對每個項目與總分進行相關(guān)分析。如果相關(guān)系數(shù)等于或大于0.30，且達到了顯著性水平（p0.05）,則表明項目內(nèi)部的一致性程度高，達不到該要求的項目需要刪除。 注： 問卷項目區(qū)分度的大小受到受訪者群體異質(zhì)程度的影響，受訪者群體越同質(zhì)，問卷項目的區(qū)分度越小。 項目區(qū)分度還受到樣本量大小的影響，樣本越大，項目的區(qū)分度也就越大。,信度分析,1. 定義 信度也稱可靠性，是指測量結(jié)果的穩(wěn)定程度或一

5、致性程度。它是關(guān)于使用問卷在不同時間不同地點調(diào)查相同的受訪者結(jié)果是否相同，或使用另外一份性質(zhì)相同的問卷調(diào)查結(jié)果是否一致的問題。（信度就是可信度或者可靠性，信度越高越可信，判斷一個人可信不可信，言行是否一致，說的話前后是否一致，要是一天一個樣說明不可信，關(guān)鍵在于一致性） 2. 分類（外在就是整個問卷是否可信，內(nèi)在就是問卷中的各個項是否可信） 1）外在信度檢驗：通過對累計檢驗結(jié)果進行比較來驗證問卷的信度。若結(jié)果差異較大，說明問卷的信度不高；若無明顯差異，即測量結(jié)果具有一致性，說明問卷的信度高。(一套難易水平相同的卷子，測驗兩次，第一次20分，第二次100分說明試卷信度低) 2）內(nèi)在信度檢驗：是指測

6、量同一概念的不同項目之間的一致性，即檢驗量表的內(nèi)在一致性，目的是要測量相同現(xiàn)象的不同項目是否產(chǎn)生類似的結(jié)果。（還是這套卷子，第一題和第六題都是定語從句的，就換了換詞，但是第一題對了，第六題沒對，說明試卷對定語從句這個項目考查的內(nèi)在信度低）,外在信度檢驗,常用的是再測信度和復(fù)本信度。 1. 再測信度（再測就是再測一次） 1）概念：是指用相同的問卷在不同的時間、相同或類似的條件下，對相同受訪者進行先后兩次測量，根據(jù)兩次測量的結(jié)果進行相關(guān)分析，得出相關(guān)系數(shù)，即為再測信度系數(shù)。相關(guān)系數(shù)高就說明該測量工具穩(wěn)定性好、信度高。（設(shè)計一個問卷今天給你答了，一個月以后再給你做，結(jié)果一致，再測信度系數(shù)就高，信度就

7、高） 2）優(yōu)點：可以為預(yù)測受訪者的未來行為提供依據(jù)；能進行自身比較，從而避免了使用其他工具作為效標可能帶來的問題。 3）缺點：與間隔時間的關(guān)系非常密切，初試測量可能影響被測特征。例如受訪者可能憑著對第一次測量的回憶來回答問題，導(dǎo)致無法客觀地反映測量工具的信度。（如果今天測了隔天就再測，會想起昨天我答得A，今天還答A，憑借回憶來作答，不用思考甚至都不用看題，那和沒有再測是一樣的）,2. 復(fù)本信度 1）概念：是指設(shè)計兩套形式不同但內(nèi)容相同的問卷項目，同時或連續(xù)對受訪者進行調(diào)查，然后檢驗不同問卷項目測量結(jié)果之間的一致性。兩個測量結(jié)果之間的相關(guān)系數(shù)越高，測量工具的信度越好。 2）使用條件：確保兩個測量

8、工具是平行或等值的，即無論是內(nèi)容還是數(shù)量都必須相同或類似。（孩子你喜歡爸爸還是媽媽，說爸爸，過會問孩子，爸爸好還是媽媽好，他說爸爸好，就比較可信。但是你不能問，孩子，吃了嗎，沒意義，不論回答吃沒吃都不能推測出到底是不是真的喜歡爸爸） 3）優(yōu)點：可以很好地避免再測信度中受訪者可能憑記憶回答的問題，而且也不要求兩次測量必須有時間間隔。（既然再測信度要求有比較長的時間間隔，那么怎么避免呢。） 4）缺點：需要耗費大量的時間，設(shè)計難度大。（那有一個問題，就是怎么設(shè)計出兩份內(nèi)容相同而只是形式不同的問卷，而受訪者又不會發(fā)現(xiàn)問的其實是同樣的問題？剛才那是小孩，一般承認一聽就知道問的一樣，所以這是很難的，這也是

9、復(fù)本信度的缺點。）,內(nèi)在信度檢驗,常用的有折半信度和Cronbach alpha系數(shù)計算法。 1. 折半信度（與復(fù)本信度類似） 1）概念：是指在問卷量表中增加一倍的測量項目，重復(fù)前半部分項目的測量內(nèi)容，但在措辭上不同，分析時將測量結(jié)果根據(jù)問卷項目編號的單雙號分為兩組，計算兩組之間的相關(guān)系數(shù)即為信度指標。 2）優(yōu)點：可對兩部分項目同時施測，間隔時間為0，省時、簡便。 3）缺點：如問卷項目的排列沒有規(guī)律或者問卷項目的數(shù)量太少，均不宜使用折半信度方法，該方法只能對問卷內(nèi)在一致性做出粗略估計。 （本來20題我們增加到40題，要是這兩部分項目排列沒規(guī)律，則可能：第20題和第21題是內(nèi)容相同的但被放在一起

10、；數(shù)量太少比如本來就倆題你增加到四個就算怎么排列都是挨著的）,2. Cronbach alpha系數(shù)計算法 1）概念：克隆巴赫系數(shù)（Cronbach alpha）是檢視信度的一種方法，由李克隆巴赫在1951年提出。它克服了折半法的缺點，是目前社會科學(xué)研究最常使用的信度分析方法。 2）原理：基于項目間的平均相關(guān)，如果測出的內(nèi)在一致性很差，其系數(shù)最低時會為0；如果內(nèi)在一致性很好沒有誤差時，系數(shù)會為1。系數(shù)越高，說明量表的內(nèi)在一致性越強，測量結(jié)果越可靠。 3）評價標準：在基礎(chǔ)研究中，（自然科學(xué)等基礎(chǔ)領(lǐng)域，要求過程嚴謹，結(jié)果準確）信度至少應(yīng)達到 0.80 才可接受，在探索性研究中，（可能給不出比較嚴謹

11、準確的結(jié)果，只是先探索探索）信度只要達到 0.70 就可接受，介于 0.700.98 均屬高信度,而低于 0.35 則為低信度，必須予以拒絕。 影響因素： 量表項目數(shù)：某個量表的項目數(shù)越多， 系數(shù)越高。（一倆題說明不了問題） 測量內(nèi)容：不同的測量內(nèi)容，信度系數(shù)有高有低。例如，智力的測量，系數(shù)在0.8左右；能力的測量，系數(shù)不應(yīng)低于0.7；情感因素（今天心情好，明天心情不好，變量和影響因素太多）的測量，系數(shù)往往更低。,效度分析,1. 定義 效度是指測量工具對所要測量的東西的測量能力，也就是說，測量工具可以在多大程度上準確的測量所要測量的東西。信度是基礎(chǔ)，效度是關(guān)鍵。 2. 分類 1）內(nèi)在效度：是指

12、存在于測量工具本身的效度。包括內(nèi)容效度和結(jié)構(gòu)效度。 2）外在效度：是指利用測量工具以外的標準，即通過外在標準驗證而得以證實的效度。包括預(yù)示效度和共時效度。 注：一般情況下，外語教學(xué)問卷調(diào)查研究只需要做內(nèi)容效度和結(jié)構(gòu)效度檢驗。,內(nèi)容效度,1. 概念 內(nèi)容效度涉及問卷項目或問題的關(guān)聯(lián)性以及問卷的覆蓋范圍，問卷是否包括了應(yīng)該包括的測量指標，是否遺漏了重要的測量指標，是否準確完整的測量了這些結(jié)構(gòu)等。 2. 評價步驟 1）研究者自評。研究者根據(jù)自己對所測結(jié)構(gòu)的定義和理解，檢查自己設(shè)計的測量指標與現(xiàn)有文獻的測量指標是否一致。 2）專家評價。邀請本領(lǐng)域?qū)＜覍柧眄椖颗c應(yīng)測結(jié)構(gòu)的內(nèi)容范圍進行對比。 3）受訪者評價。通過試測和訪談了解問卷項目與應(yīng)測量內(nèi)容之間的關(guān)系。,結(jié)構(gòu)效度,1. 定義 結(jié)構(gòu)效度中的結(jié)構(gòu)不是指測量工具的結(jié)構(gòu)，而是指它以之為基礎(chǔ)的理論結(jié)構(gòu)（如學(xué)習(xí)成績、學(xué)習(xí)策略、興趣等）。結(jié)構(gòu)效度是指問卷項目對所要測量結(jié)構(gòu)的實際測量程度，或者說問卷能夠在多大程度上被理解為對某些特征進行了有意義的測量。 2. 檢驗方法 建立結(jié)構(gòu)效度的方法包括相關(guān)分析、因子分析、多維量表等。最常用的為因子分析。,3. 因子分析簡介 1）概念：因子分析的基本目的就是用少數(shù)幾個因子去描述許多指標或因素之間的聯(lián)系，即將相關(guān)比較密切的幾個變量歸在同一類中，每一類變量就成為一個因子，以較少的幾個因子反映原資料的大部分信息