信度與效度分析

第2講信度與效度分析方法2021/6/271

根據(jù)調查目的設計的調查問卷是一種測量工具。其質量高低對調查結果的真實性、適用性等具有決定性的作用。為了保證問卷具有較高的可靠性和有效性。在形成正式問卷之前，應當對問卷進行試測，并對試測結果進行信度和效度分析，根據(jù)分析結果篩選問卷題項，調整問卷結構，從而提高問卷的信度和效度。調查問卷的信度和效度分析絕非贅疣蛇足，而是研究過程中必不可少的重要環(huán)節(jié)。信度和效度分析的方法包括邏輯分析和統(tǒng)計分析。

2021/6/272第一節(jié)

信度分析方法

一、信度的概念

信度（Reliability）即可靠性，是指根據(jù)測量工具所得到的測量結果的一致性或穩(wěn)定性，反映客觀事物被測特征真實程度的度量指標。一般而言，兩次或兩個測量的結果愈是一致，則誤差愈小，所得的信度愈高。

2021/6/273

信度(reliability)又稱穩(wěn)定性或精確度。用以反映在相同條件下，對同一客觀事物測量若干次，測量結果的相互符合程度或一致程度，說明數(shù)據(jù)的可靠性。當使用同一測量工具重復測量某一客觀事物時所得結果的一致程度越高，則該測量工具的信度就越高。

2021/6/274誤差(error)是指對事物某一特征的度量值偏離真實值的部分，即測定值與真實值之差，樣本統(tǒng)計量與總體參數(shù)之差。二誤差的分類實測值真實值系統(tǒng)誤差測量誤差2021/6/275

1.

抽樣誤差

二誤差的分類抽樣誤差（sampleerror）：由于抽樣造成的樣本指標與總體指標之間及各樣本指標之間的差異。與測量的優(yōu)劣沒有必然的聯(lián)系，進行信度和效度分析時，可以忽略抽樣誤差。2021/6/276

2.系統(tǒng)誤差（systematicerror）

系統(tǒng)誤差是指由于偏倚（使測量結果系統(tǒng)地偏離真值，bias）產(chǎn)生的錯誤結果，與隨機誤差不同，可校正和消除。

2021/6/2773.隨機測量誤差

隨機測量誤差（randommeasurementerror）是指在測量過程中，即使消除了系統(tǒng)誤差，但由于各種偶然因素的影響也會造成對同一個體的多次測量結果的不一致，測量結果發(fā)生的偏差往往不具有方向性。信度主要受隨機測量誤差的影響，

2021/6/278

問卷（量表）測量中的測量誤差通常來源于兩個方面：一是產(chǎn)生于問卷（量表）測量過程中的誤差，稱為測量誤差（measurementError），也稱為隨機誤差（randomerror）；二是由問卷（量表）的結構質量造成的誤差，稱為系統(tǒng)誤差（systemError）。

measurementErrorreliabilitysystemErrorvalidity2021/6/279

信度是用估計測量誤差大小的尺度，來說明測量結果中測量誤差所占的比例。信度可定義為真實分數(shù)(truescore)的方差與測量實得分數(shù)(observedscore)的方差之比，當實得分數(shù)變異可以全部由真實分數(shù)的變異解釋時，測量誤差就是0，這時測量結果的信度為1。實測值真實值系統(tǒng)誤差測量誤差2021/6/2710若用變異表示測量結果的信度，理論上應有

或式中表示真實分數(shù)的方差；表示實得分數(shù)的方差；表示誤差的方差。2021/6/2711信度包含兩層含義：

一是相同的個體在不同時間，以相同的測量工具測量，或以復本測量，或在不同的情景下測量，是否能得到相同的結果，即測量結果是否隨時間和地點等因素而變化；二是能否減少隨機誤差對測驗結果的影響，從而能夠反映測量工具所要測量的真實情況，即測量結果是否具有穩(wěn)定性、可靠性和可預測性。一個好的測量工具必須是穩(wěn)定可靠的，且多次測量結果應前后一致。2021/6/2712信度指標多以相關系數(shù)表示，大致可分為三類：穩(wěn)定系數(shù)（跨時間的一致性），等值系數(shù)（跨形式的一致性）和內(nèi)在一致性系數(shù)（跨項目的一性）。

三、信度的種類及計算方法與評價

信度主要是指測量工具是否精準(precision)。信度分析涉及了問卷測量結果的一致性和穩(wěn)定性，其目的是如何控制和減少隨機誤差。2021/6/2713三、信度的種類及計算信度主要分為四大類：重測信度(Test-retestReliability)復本信度(Alternate-formReliability)內(nèi)部一致性信度(InternalConsistencyReliability)評分者信度(ScorerReliability)2021/6/2714重測信度是指用同樣的測量工具，對同一組被調查者間隔一定時間重復測試，兩次測試結果的相關程度。重測信度可以通過兩種途徑進行考察：1.重測信度（1）計算兩次測試結果的相關系數(shù)，如果經(jīng)過統(tǒng)計檢驗，相關關系有統(tǒng)計學意義，則認為測量工具的信度高，否則信度低。也有人提出，測量工具的重測信度可以接受的標準是兩次測試的相關系數(shù)在0.7以上。

2021/6/2715重測信度的計算方法2021/6/27161.重測信度（2）對兩次重復測試結果進行兩個相關樣本差異的統(tǒng)計檢驗，如果差異有統(tǒng)計學意義，則認為測量工具的信度低，否則，信度高。2021/6/2717重測信度法特別適用于事實式問卷，如性別、出生年月等在兩次施測中不應有任何差異，大多數(shù)被調查者的興趣、愛好、習慣等在短時間內(nèi)也不會有十分明顯的變化。如果沒有突發(fā)事件導致被調查者的態(tài)度、意見突變，這種方法也適用于態(tài)度、意見式問卷。由于重測信度法需要對同一樣本試測兩次，被調查者容易受到各種事件、活動和他人的影響，而且間隔時間長短也有一定限制，因此在實施中有一定困難。1.重測信度2021/6/2718

復本信度法是讓同一組被調查者一次填答兩份問卷復本，計算兩個復本的相關系數(shù)。復本信度法要求兩個復本除表述方式不同外，在內(nèi)容、格式、難度和對應題項的提問方向等方面要完全一致，而在實際調查中，很難使調查問卷達到這種要求，因此采用這種方法者較少。2.復本信度2021/6/27192.復本信度（alternateformreliability）

復本通常是根據(jù)相同的設計說明分別獨立編制的兩個平行問卷，即題目不同但是內(nèi)容相似的兩份問卷。復本信度也叫等值性系數(shù)（coefficientofequivalence）。兩個復本間隔一定時間或同時施于同一答卷者所得分數(shù)的相關系數(shù)就是復本信度。2021/6/2720

缺點：

如復本編制不容易，易出現(xiàn)順序效應，受練習的影響；復本信度只能反應問卷內(nèi)容所造成的誤差，無法反應答卷者本身所造成的誤差等。2021/6/27213.分半信度(split-half

reliability)

分半信度常用在不可能進行重復調查的情況下。其計算方法是將調查的條目分成兩半，計算這兩半測量結果的相關系數(shù)r，又稱分半信度系數(shù)，以此為標準來衡量整個量表的信度。2021/6/27223.分半信度

分半信度是將調查項目分為兩半，計算兩半得分的相關系數(shù)，進而估計整個量表的信度。分半信度屬于內(nèi)在一致性信度，測量的是兩半題項得分間的一致性。這種方法一般不適用于事實式問卷（如年齡與性別無法相比），常用于態(tài)度、意見式問卷的信度分析。在問卷調查中，態(tài)度測量最常見的形式是5級李克特（Likert）量表。2021/6/27233.分半信度

使用分半信度評價信度時，應注意：一是問卷題項所測的應是同一種特質；二是如果量表中含有反意題項，應先將反意題項的得分作逆向處理，以保證各題項得分方向的一致性。三是然后將全部題項按奇偶或前后分為盡可能相等的兩半，計算二者的相關系數(shù)（rhh，即半個量表的信度系數(shù)），最后用斯皮爾曼-布朗（Spearman-Brown）公式：求出整個量表的信度系數(shù)（ru）。2021/6/2724

為問卷測驗總得分的方差，pi表示答對該題的人數(shù)占總答卷人數(shù)的比例，pi可視為該題的難度，qi=1-pi

。式中n為問卷包含的題項總數(shù).

4.庫得─理查森信度(Kuder─Richardson)庫德-理查森信度適用于計算“對或錯”的是非題的同質性信度，其是計算所有可能的分半信度的平均數(shù)。最有代表性的計算公式是庫德-理查森公式:2021/6/2725

Cronbach’sα系數(shù)是Cronbach于1951年創(chuàng)立的，用于評價問卷的內(nèi)部一致性。α系數(shù)取值在0到1之間，α系數(shù)越高，信度越高，問卷的內(nèi)部一致性越好。Cronbach’sα系數(shù)不僅適用于兩級記分的問卷，還適用于多級計分的問卷。5.Cronbach’sα信度系數(shù)2021/6/2726

Cronbachα信度系數(shù)是目前最常用的信度系數(shù)，其計算公式為：

其中，K為量表中題項的總數(shù)，為第i題得分的題內(nèi)方差，為全部題項總得分的方差。5.Cronbach’sα信度系數(shù)2021/6/2727

從公式中可以看出，α系數(shù)評價的是量表中各題項得分間的一致性，屬于內(nèi)在一致性x信度系數(shù)。這種方法適用于態(tài)度、意見式問卷（量表）的信度分析。5.Cronbach’sα信度系數(shù)2021/6/2728

α系數(shù)有以下性質：（1）α系數(shù)是所有可能的分半信度的平均值；（2）α系數(shù)是估計信度的最低限度；（3）當問卷計分為二分名義變量時，即答案為0或1，α系數(shù)與KR20值相同，即庫德-理查森信度公式是克隆巴赫的α系數(shù)的一個特例。2021/6/2729低信度:α<0.35,中信度:0.35<α<0.70,高信度：0.70<α一般地，問卷的α系數(shù)在0.8以上該問卷才具有使用價值。Cronbach‘sα值皆達0.85以上，表明問卷信度良好。2021/6/27306.評分者信度（inter-scorerreliability）

考察評分者信度的方法為，隨機抽取相當份數(shù)的問卷，由兩位評分者按記分規(guī)則分別給分；然后根據(jù)每份問卷的分數(shù)計算相關系數(shù)，就得到評分者信度。評分者信度也可以是一位評分者兩次評分的相關系數(shù)。如果是多個評分者或一位評分者兩次以上的評分，可采用肯德爾和諧系數(shù)和Kappa系數(shù)?？系聽柡椭C系數(shù)用于等級資料，Kappa系數(shù)用于定性資料。2021/6/2731四、影響信度的因素

被試方面主試方面施測情景方面測量工具方面兩次施測的時間間隔2021/6/2732提高信度的方法

問卷的信度越高，受到人、時、地、物的干擾就越低，其所能反應事實或讓人相信的程度越高，因此在問卷實施前如何有效提高信度是問卷測驗成敗的關鍵。通常提高問卷信度的方法為：2021/6/2733（1）適當延長問卷的長度

問卷題目較多，其在一定程度上排除了偶然因素的影響，從而提高了問卷的信度。但是問卷長度的增加與問卷的信度的增加并不總是成正比的，當信度系數(shù)較小時，延長問卷長度，問卷的信度系數(shù)增加較大；而當信度系數(shù)較大時，延長問卷長度對信度系數(shù)的影響就較小。2021/6/2734（2）問卷的難度適中

當問卷題目難度太大時，問卷得分普遍過低；當問卷題目難度太小時，問卷得分普遍較高。問卷題目太難或太易都會使問卷得分差異減小，使實得分數(shù)方差減小，從而降低了問卷的信度。2021/6/2735（3）問卷的內(nèi)容盡量同質

內(nèi)容同質的問卷，要求答卷者具有相同的能力、知識和技能。因而為了提高問卷的信度，問卷的內(nèi)容應盡量保持同質。2021/6/2736（4）測驗的時間要充分

一份問卷應保證絕大多數(shù)答卷者在規(guī)定的時間內(nèi)能完成測驗。當答卷者不能從容地回答所有題目時，問卷的得分就不能反映答卷者的真實情況。2021/6/2737（5）測驗的程序要統(tǒng)一

問卷題目要統(tǒng)一，指導語、回答問題的方式、分收試卷的方法和問卷測驗的時間等都要統(tǒng)一，這些是問卷有較高信度的基本保證。2021/6/2738例1

世界衛(wèi)生組織生存質量測定量表簡表(WHOQOL-BREF)包含24個問題條目,從生理、心理、社會關系和環(huán)境領域考察個人的生存質量。量表的結構見表1。使用量表對47名患者進行調查，試對環(huán)境領域進行信度分析。環(huán)境領域包含8個條目，各個條目的內(nèi)容，平均得分和方差等列于表2.2021/6/2739Ⅰ.生理健康領域Ⅲ.社會關系領域

1.疼痛與不適

14．個人關系

2.精力與疲倦

15．所需社會支持的滿足程度

3.睡眠與休息

16．性生活

4.行動能力Ⅳ.環(huán)境領域

5.日常生活能力

17．自由、人身安全和社會安全保障

6.對藥物及醫(yī)療手段的依賴性

18．住房環(huán)境

7.工作能力

19．經(jīng)濟來源Ⅱ.心理領域

20．醫(yī)療服務與社會保障：享有程度與質量

8.積極感受

21．獲取新信息、知識、技能的機會

9.思想、學習記憶和注意力

22．休閑娛樂活動的參與機會與參與程度

10．自尊

23．環(huán)境條件（污染、噪聲、交通、氣候）

11．身材與相貌

24．交通條件

12．消極感受總的健康狀況與生存質量

13．精神依托、宗教、個人信仰表1WHOQOL-BREF量表的結構2021/6/2740表2環(huán)境領域各條目得分情況及領域總分的相關分析環(huán)境領域條目平均得分方差相關系數(shù)1．日常生活中您感覺安全嗎？3．42550．3800．565**2．您生活的環(huán)境對健康好嗎？3．34040．5340．488**3．您的錢夠用嗎？3．06380．8870．697**4．在日常生活中您需要的信息都齊備嗎？3．02130．5430．546**5．您有機會進行休閑活動嗎？3．57450．8580．630**6．您對自己居住地的條件滿意嗎？3．57450．5980．528**7．您對得到衛(wèi)生健康服務的方便程度滿意嗎？3．42550．6850．608**8．您對自己的情況滿意嗎？3．35650．7870．752**環(huán)境領域總分*26．826115．6141．0002021/6/2741

克朗巴哈信度系數(shù):

折半信度系數(shù):

把1~4個問題條目分在前半部分，第5~8個問題條目分在后半部分。計算第1~4個問題條目得分的總和（h1）;再計算第5~8個問題條目得分總和（h2）。計算h1和h2的相關系數(shù).于是折半信度系數(shù)

注：*：環(huán)境領域總分等于8個問題條目得分相加；**:

2021/6/2742例2在一項關于社會支持的研究中，研究者用社會支持量表測試了30名受試者的社會支持情況。量表包括2項來自家庭內(nèi)部的支持和2項來自家庭外部的支持，分別是‘父母支持’、‘親戚支持’、‘朋友支持’、‘同學支持’，每個題項回答都采用1-5級評分反映獲得社會支持的多少。1表示從不，2表示較少，3表示中等，4表示較多，5表示絕大部分，結果見下表。試計算量表的分半信度和克朗巴哈α系數(shù).2021/6/27432021/6/2744

效度（Validity）即有效性，它是指測量工具能夠準確測量出所欲測量特性的程度，即測量到的是不是所要測量的特征。比如一項知識水平的測量測得的結果竟是邏輯能力，那么這種測量就完全沒有效度。

對于一個標準測驗來說，效度比信度更為重要。第二節(jié)效度分析

2021/6/2745一、效度的概念

效度是指測量工具的準確性，即測量結果能夠反映所要測量特性的程度.

其包括兩個方面的含義：一是測量的目的（測量了什么）；二是測量工具對測量目標的測量精確度和真實性(測的程度)。效度是一個具有相對性、連續(xù)性、間接性的概念。比如量表是否測量了生命質量，軀體功能分量表是否測量了軀體功能，其程度怎樣。2021/6/2746

表示測量的效度系數(shù)，

代表有效變異數(shù)，

代表總變異數(shù)。

在測量理論中，效度被定義為在一系列測量中，與測量目的有關的真實的變異數(shù)(即有效變異)與總變異數(shù)之比：2021/6/2747

效度具有特殊性和相對性，即每個測量工具只對某特殊目的有效，僅能對其特定項目作正確的度量，或者說測量的效度總是針對著要解決的問題來說的，亦即針對著打算作出的應用來建立的。

2021/6/2748

二、效度分析的意義

效度是問卷調查研究中最重要的特征，問卷調查的目的就是要獲得高效度的測量與結論，效度越高表示該問卷測驗的結果所能代表要測驗的行為的真實度越高，越能夠達到問卷測驗目的，該問卷才正確而有效。問卷的準確性或稱為有效性是用問卷的效度加以刻劃的，它反映了對問卷的系統(tǒng)誤差的控制程度。2021/6/2749

收集大量資料和證據(jù)來檢驗測量效度的過程稱為效度分析(validation)。嚴格地說，任何測量在正式實施以前都應做出效度分析。

三、

效度分析方法2021/6/2750由于“真實值”往往未知，所以對效度的評價常常不可能有絕對肯定的答案。盡管我們不可能證明效度，但是可以用指標來評價效度。一般來說，有三種類型的效度：標準效度、內(nèi)容效度、結構效度和區(qū)分效度。內(nèi)容效度是一種基于概念的評價指標，其它三種是基于經(jīng)驗的評價指標。2021/6/27511.標準效度

標準效度(criteriavalidity)又稱為效標效度，以相對準確的測量手段或指標的測量結果作為“金標準”，考察待評測量手段或指標的測量結果是否與其一致。例如，評價新的影像學診斷手段的效度，常以病理學檢查結果作為“金標準”，考察兩種診斷手段診斷結果的一致性。2021/6/27522.內(nèi)容效度內(nèi)容效度(contentvalidity)評價測量指標的涵義是否能準確反映真實情況。內(nèi)容效度是一個定性評價效度的指標，它關心測量手段是否能夠測量我們所需要測量的抽象概念、領域和方面。對比事先對概念的定義和最終的測量工具，可以得到關于內(nèi)容效度的評價。可以采用專家評價的方法了解內(nèi)容效度的大小。例如，對比生存質量的定義和用于測量的量表，可以得出該量表內(nèi)容效度的好壞。缺乏內(nèi)容效度的測量會歪曲對所關心概念的理解，就像利用不具有代表性的樣本對總體進行推斷會得到錯誤結論一樣。2021/6/27532.內(nèi)容效度(contentvalidity)

內(nèi)容效度是指問卷內(nèi)容的貼切性（relevance）和代表性（representativeness）,即問卷內(nèi)容能否反應所要測量的特質，能否達到測驗目的，較好地代表所欲測量的內(nèi)容和引起預期反應的程度。內(nèi)容效度常以題目分布的合理性來判斷，屬于命題的邏輯分析，所以，內(nèi)容效度也稱為“邏輯效度”

(logicalvalidity)、“內(nèi)在效度（intrinsicValidity）”、“循環(huán)效度（circularvalidity）”。2021/6/2754

內(nèi)容效度的評價主要通過經(jīng)驗判斷進行，通?？紤]3方面的問題：其一是項目所測量的是否真屬于應測量的領域；其二是測驗所包含的項目是否覆蓋了應測領域的各個方面；其三是測驗題目的構成比例是否恰當。

2021/6/2755

常用的內(nèi)容效度的評價方法有兩種：一是專家法，即請有關專家對問卷題目與原來的內(nèi)容范圍是否符合進行分析,作出判斷，看問卷題目是否較好地代表了原來的內(nèi)容。二是統(tǒng)計分析法，即從同一內(nèi)容總體中抽取兩套問卷，分別對同一組答卷者進行測驗,兩種問卷的相關系數(shù)就可用來估計問卷的內(nèi)容效度。計算某個問題與去掉此問題后總得分的相關性情況，分析是否需要被剔除（敏感性分析）。2021/6/27563.

結構效度

結構效度(constructvalidity)又稱構想效度，是指測量工具對某一理論概念或特質測量的程度，是在評價量表效度時最常用的指標。由于在心理學及社會學領域中一些概念的定義不是十分明確，內(nèi)容效度在實際應用中存在困難，而標準效度往往因為缺乏比較的標準而難于應用。在這種情況下，可以使用結構效度。2021/6/2757

結構效度是指測量結果體現(xiàn)出來的某種結構與測值之間的對應程度。結構效度分析所采用的方法是因子分析。有的學者認為，效度分析最理想的方法是利用因子分析測量量表或整個問卷的結構效度。因子分析的主要功能是從量表全部變量（題項）中提取一些公因子，各公因子分別與某一群特定變量高度關聯(lián)，這些公因子即代表了量表的基本結構。通過因子分析可以考察問卷是否能夠測量出研究者設計