完整版問卷信度效度檢驗2

1、從統(tǒng)計數(shù)據(jù)質(zhì)量角度談?wù){(diào)查問卷的設(shè)計質(zhì)量一、引言從保證統(tǒng)計數(shù)據(jù)質(zhì)量的統(tǒng)計工作過程看，統(tǒng)計數(shù)據(jù)質(zhì)量可以被劃分為統(tǒng)計設(shè)計質(zhì)量、統(tǒng)計調(diào)查質(zhì)量、統(tǒng)計整理質(zhì)量、統(tǒng)計分析質(zhì)量以及數(shù)據(jù)發(fā)布傳輸質(zhì)量等。統(tǒng)計設(shè)計質(zhì)量是保證統(tǒng)計數(shù)據(jù)質(zhì)量的首要環(huán)節(jié)， 在統(tǒng)計數(shù)據(jù)質(zhì)量保證體系中起著關(guān)鍵性作用。統(tǒng)計設(shè)計質(zhì)量一般包括調(diào)查問卷設(shè)計質(zhì)量與調(diào)查方案設(shè)計質(zhì)量，其中調(diào)查問卷設(shè)計質(zhì)量指的是：通過問卷測量得到的，反映調(diào)查對象客觀現(xiàn)象的統(tǒng)計數(shù)據(jù)的準(zhǔn)確性和有效性，即調(diào)查問卷設(shè)計質(zhì)量的好壞，需要通過問卷測量能力的高低來檢驗。在市場調(diào)查中，為了深入地研究一些本質(zhì)的或理論性的現(xiàn)象，問卷調(diào)查法被廣泛運用， 除了調(diào)查時采用的抽樣方法以及所抽取的調(diào)查對

2、象是否具有代表性之外，調(diào)查者最關(guān)心的就是調(diào)查問卷的測量能力。問卷測量能力包含了兩個方面的內(nèi)容，即問卷測量結(jié)果的準(zhǔn)確性和有效性。準(zhǔn)確性和有效性是統(tǒng)計數(shù)據(jù)質(zhì)量蘊涵的最主要的兩個特性，一個好的調(diào)查問卷設(shè)計不僅可以保證在多次重復(fù)使用下得到可靠的數(shù)據(jù)結(jié)果，即準(zhǔn)確性；也可以保證所得測量結(jié)果能夠反映它所應(yīng)該反映的客觀現(xiàn)實，即有效性。所以我們可以通過對問卷測量能力的分析來檢驗問卷的設(shè)計質(zhì)量，對問卷設(shè)計進(jìn)行質(zhì)量控制，進(jìn)而發(fā)現(xiàn)問卷設(shè)計中應(yīng)注意的問題。在此基礎(chǔ)上，通過不斷改進(jìn)問卷設(shè)計， 提高其測量能力，最終將有助于我們得到高質(zhì)量的調(diào)查數(shù)據(jù)。二、調(diào)查問卷的設(shè)計質(zhì)量檢驗信度和效度的概念來源于心理測試中關(guān)于測驗的可靠性和

3、有效性研究，當(dāng)建構(gòu)和評估測量時，通常使用信度和效度這兩個技術(shù)性指標(biāo)。因此我們采用問卷的信度和效度分析來評估其測量能力，進(jìn)而實現(xiàn)對問卷設(shè)計質(zhì)量的檢驗。1.問卷設(shè)計質(zhì)量的信度檢驗所謂問卷設(shè)計質(zhì)量的信度檢驗， 指的是對問卷測量結(jié)果準(zhǔn)確性的分析，即對設(shè)計的問卷在多次重復(fù)使用下得到的數(shù)據(jù)結(jié)果的可靠性的檢驗。在實際應(yīng)用中，信度檢驗多以相關(guān)系數(shù)表示，常用的方法有：重測信度，復(fù)本信度，折半信度，克朗巴哈信度，評分者信度等。國內(nèi)外已經(jīng)有很多關(guān)于這些信度分析方法介紹的文獻(xiàn)，在這里，筆者不再一一詳述， 僅列出相關(guān)公式作為參考。(1) 重測信度，也叫穩(wěn)定系數(shù)，對同一組調(diào)查對象采用同一調(diào)查問卷進(jìn)行先后兩次調(diào)查，采用檢驗

4、公式，其中I血 為兩次調(diào)查結(jié)果的協(xié)方差，監(jiān)I為第一次調(diào)查結(jié)果的協(xié)方差，為第二次調(diào)查結(jié)果的協(xié)方差。系數(shù)值越大說明信度越高。(2) 復(fù)本信度，也叫等值系數(shù)，對同一組調(diào)查對象進(jìn)行兩種相等或相近的調(diào)查，要求兩份問卷的題數(shù)、形式、內(nèi)容及難度和鑒別度等方面都要盡可能的一致。檢驗公式同穩(wěn)定系數(shù)公式，系數(shù)越大，說明兩份問卷的信度越高，具體調(diào)查時使用哪一份都可以。(3) 折半信度，也叫內(nèi)在一致性系數(shù)，將調(diào)查的項目按前后分成兩等份或按奇偶題號分成兩部分，通過計算這兩部分調(diào)查結(jié)果的相關(guān)系數(shù)來衡量信度。當(dāng)假定兩部分調(diào)查結(jié)果得分的方差相等時，檢驗用Spearman-Brown公式來表示：,其中U 表示折半信 +氏度系數(shù)

5、；當(dāng)假定方差不相等時，采用Flanagan公式：護，其中分、氏 分別表示兩部分調(diào)查結(jié)果的方差，表示整個問卷調(diào)查結(jié)果的方差。如果折半信度很高，則說明這份問卷的各項題之間難度相當(dāng)，調(diào)查結(jié)果信度高。(4) 克朗巴哈 信度，是對折半信度的改進(jìn)，檢驗公式是：k + l H ，其中K表示問卷中的題目數(shù)，軽I為第i題的調(diào)查結(jié)果方差，為全部調(diào)查結(jié)果的方差。卜鋼信度系數(shù)是目前最常用的信度分析法。(5) 評分者信度，包括|圧|信度和信度，將問卷中的每道題看作是一個變量，然后通過調(diào)查的結(jié)果得分對所有問題做因子分析。得到，其中I爲(wèi)是最大特征值，N是問題數(shù)，.是因子分析法的第i個問題的共同度。2 問卷設(shè)計質(zhì)量的效度檢驗

6、所謂問卷設(shè)計質(zhì)量的效度檢驗，指的是問卷測量結(jié)果有效性的分析，即對設(shè)計問卷的測量結(jié)果反映它所應(yīng)該反映的客觀現(xiàn)實的程度的檢驗。具體來說，效度檢驗必須針對其特定的目的功能及適用范圍， 從不同的角度收集各方面的資料分別進(jìn)行。常用的效度檢驗有內(nèi)容效度、結(jié)構(gòu)效度、難易效度、準(zhǔn)則效度等。有關(guān)效度分析方法的詳細(xì)內(nèi)容，筆者也不在一一贅 述。(1) 內(nèi)容效度，也叫單項和總和的相關(guān)效度分析，指的是調(diào)查問卷所采用的題項能否代表所反映的內(nèi)容或主題。 通常是用單個問題的得分與總得分的相關(guān)系數(shù)來反映，如果相關(guān)系數(shù)不顯著，表示該題的鑒別力低，就不應(yīng)該再將該題納入調(diào)查問卷。(2) 難易效度，在調(diào)查反映觀念、態(tài)度的問題中采用檢驗

7、公式：難易效度=% * ,其中、分別代表高分組和低分組樣本數(shù)，、分別代表高分組和低分組通過該題的樣本數(shù)。計算結(jié)果越大，表示該題越容易，反之該題難度較大。Ik(3) 鑒別效度，在對觀念、態(tài)度問卷單個題的評價中采用公式：鑒別效度=,符號含義同難易效度公式。 一般我們總是希望調(diào)查問卷的每道題的鑒別效度高一些，這樣可以很好的反映被調(diào)查者對問題看法的差異性。(4) 準(zhǔn)則效度，又叫獨立標(biāo)準(zhǔn)效度分析。采用的是先根據(jù)已經(jīng)掌握的理論，選擇一個與調(diào)查問卷直接相關(guān)的獨立標(biāo)準(zhǔn)，把它當(dāng)作自變量。然后再分析調(diào)查結(jié)果的特性與該自變量的關(guān)系，如果對于自變量的不同取值，調(diào)查結(jié)果的特性表現(xiàn)出顯著差異與我們掌握的理論有 很強的相關(guān)

8、性，則說明調(diào)查問卷是有效的。(5) 結(jié)構(gòu)效度，該檢驗主要就是將問卷中的每道題看作是一個變量，然后通過調(diào)查的結(jié)果得分對所有問題做因子分析，提取一些較為顯著的因子，通過各個問題在每個因子上的載荷將問題分類。其目的就是為了檢驗問卷中的屬于相同理論概念的不同問題是否能落在同一因子上，如果能夠做到符合理論，即屬于相同概念的題都?xì)w為同一因子，貝U說明問卷有著很好的結(jié)構(gòu)效度。三、問卷設(shè)計質(zhì)量信度、效度檢驗間的關(guān)系如果以X表示測量值，T表示真實值，E表示隨機誤差，則他們之間的關(guān)系為X=T+E ,測量值總方差可分解為，信度可用真實值的方差占測量值的總方差來表示，即信度=。如果將T進(jìn)一步分解為想要測量的目標(biāo)真值,

9、與測量目標(biāo)無關(guān)的系統(tǒng)偏差 ，效度可用想要測量目標(biāo)真值的方差占測量值總方差的比重來表示,即效度=：吮。很明顯bTT，昭大并不一定保證示也大，也就是說信度高時效度不一定高。反過來，在”；一定時，牙 大則保證;也一定大，也即效度高時信度一定高。所以信度檢驗是效度檢驗的必要條件，但不是充分條件。效度檢驗結(jié)果的好壞直接決定了整個調(diào)查研究的價值，如果設(shè)計的問卷不能充分表示所要研究的對象，那么整個研究也就失去了意義。高效度一定隱含著高信度，如果問卷設(shè)計是有效的，那么一定是可信的。如果調(diào)查問卷有信度而沒有效度，其測量結(jié)果則可能并不是理論上想要研究的結(jié)論。四、如何提高調(diào)查問卷設(shè)計質(zhì)量1.問卷設(shè)計信度、效度檢驗中

10、的啟示(1) 信度檢驗的啟示調(diào)查對象的范圍與信度的關(guān)系。由于信度檢驗采用的是相關(guān)系數(shù)的形式，因此受調(diào)查對象范圍的影響。如果調(diào)查對象的特征分布范圍較大，則變異性越大，信度系數(shù)就會越?。幌?反調(diào)查對象的特征分布較集中，則變異性較小，信度系數(shù)就會越大。調(diào)查問卷設(shè)計長度與信度的關(guān)系。通常來說，采用折半信度分析方法時，由于同一份問卷不太容易分為等同的兩部分，所以折半信度分析的效果不如采用整體分析的效果，這可以通過Spearman-Brown公式觀察出，整體的信度系數(shù)是折半信度系數(shù)的兩倍還多。因此如果 對于同一目的和同一調(diào)查對象所設(shè)計的兩份調(diào)查問卷，其中一份是在另一份問題的基礎(chǔ)上增加若干道同類型的問題，

11、那么問題多的問卷的信度一定會較高。同時，問卷的信度會隨著問卷同質(zhì)問題的增多而增大。調(diào)查問卷的設(shè)計與信度的關(guān)系。由于信度檢驗是在對調(diào)查問題答案編碼打分的基礎(chǔ)上進(jìn)行的，如果調(diào)查問卷設(shè)計過程中存在偏差，例如正向問題偏多或逆向問題偏多、備選答案易讓被調(diào)查者打高分或低分的問題偏多等都有可能造成認(rèn)為信度分析的偏差。所以問卷的設(shè)計是保證信度的一個前提條件。影響信度檢驗的其他因素： 調(diào)查對象的持久性、 合作態(tài)度等影響；調(diào)查實施者是否按規(guī) 定實施調(diào)查；調(diào)查環(huán)境與條件是否適當(dāng)； 調(diào)查內(nèi)容是否恰當(dāng)、 問題數(shù)目是否適中等這些也都 是影響調(diào)查問卷設(shè)計信度檢驗的主要因素。(2) 效度檢驗的啟示調(diào)查問卷的問題設(shè)計與效度的關(guān)

12、系。問題是構(gòu)成調(diào)查的要素，調(diào)查問題的性能就成為影響調(diào)查問卷效度的因素之一。從前面的效度檢驗可以看出問題的取材、長度、鑒別力、難度及編排方式都和效度有關(guān)。如果調(diào)查的問題設(shè)計合理，即如果問題的取材合理、長度適中、 有相當(dāng)?shù)蔫b別力且難度分布適當(dāng)、編排也較合理，那么調(diào)查結(jié)果的檢驗就會有很高的效度。調(diào)查的實施和效度的關(guān)系。問卷調(diào)查的效度檢驗要得到保證，調(diào)查督導(dǎo)員應(yīng)該適當(dāng)控制調(diào)查情況，而調(diào)查員應(yīng)當(dāng)嚴(yán)格按照訪問手冊的規(guī)定實施調(diào)查。在調(diào)查過程中，如果場地的選擇、調(diào)查材料的準(zhǔn)備、調(diào)查方式的說明、調(diào)查時間限制等，如不按照調(diào)查手冊程序進(jìn)行，則 必然降低問卷調(diào)查測量的效度。被調(diào)查者的態(tài)度和效度的關(guān)系。 被調(diào)查者的興趣

13、、動機、情緒、及是否合作以及合作程 度等都影響到問卷結(jié)果的可靠性和正確性。 無論是什么調(diào)查內(nèi)容，只有借助調(diào)查對象的真實 反映，才能了解到真正的調(diào)查情況。關(guān)聯(lián)效度準(zhǔn)則的選取與效度的關(guān)系。適當(dāng)?shù)剡x擇關(guān)聯(lián)準(zhǔn)則是關(guān)聯(lián)效度分析的先決條件，如果選擇的準(zhǔn)則不當(dāng)， 就會導(dǎo)致效度分析的錯誤， 問卷調(diào)查的真實效度就有可能被掩蓋。一個問卷準(zhǔn)則效度分析時，選擇的準(zhǔn)則不同，其效度分析的結(jié)果會相差很大。從統(tǒng)計分析的觀點來看，一個準(zhǔn)則關(guān)聯(lián)效度受以下三個因素的影響作用最大：問卷的信度、準(zhǔn)則變量的信度、準(zhǔn)則變量和調(diào)查變量之間真正的相關(guān)程度。調(diào)查對象的選取和效度的關(guān)系。在調(diào)查中，最注重的是選取樣本的代表性。好的樣本代 表性能夠提

14、高問卷調(diào)查的效度。一個調(diào)查應(yīng)用與不同的調(diào)查對象，由于對象在性別、年齡、 教育程度、背景上的差異，效度也隨之變異。3改善問卷設(shè)計質(zhì)量，提高調(diào)查數(shù)據(jù)的質(zhì)量通過以上得到的信度和效度檢驗的啟示， 可以很明確的是， 一個問卷調(diào)查測量能力的好 壞，最關(guān)鍵的還在于整個調(diào)查問卷的設(shè)計階段。 通過分析具體調(diào)查指標(biāo)的特性， 正確設(shè)計有 針對性的調(diào)查問題； 問題的措辭恰當(dāng)、 長度安排合理； 問題對于所要了解的調(diào)查內(nèi)容有相當(dāng) 的鑒別力和適當(dāng)?shù)碾y度； 并分別給予每一個問題適當(dāng)?shù)拇鸢高x項； 問題的前后順序編排合理 等這些設(shè)計要求的滿足， 有助于明顯提高問卷的信度和效度， 使得我們能夠用一份完善的調(diào) 查問卷去收集所要調(diào)查的數(shù)據(jù)內(nèi)容，從而為得到高質(zhì)量數(shù)據(jù)創(chuàng)造了前提條件。在實施調(diào)查過程中，嚴(yán)格的按照調(diào)查方案選擇調(diào)查對象，確定