信度與效度分析教學(xué)課件

1、12022/8/3第八章 信度與效度分析第1頁(yè)，共27頁(yè)。2022/8/32信度 測(cè)量到的結(jié)果不管任何時(shí)間都一致， 不會(huì)有誤差。測(cè)量誤差可用E=X-T表示，X是觀察到的特質(zhì)，T是真實(shí)特質(zhì)。信度高的測(cè)量， 才有信心用來(lái)預(yù)測(cè)未來(lái)。 第2頁(yè)，共27頁(yè)。2022/8/33信度的涵義什么是信度（Reliability）即是指測(cè)量工具本身的可靠程度。信度分析亦稱(chēng)為可靠性分析。兩個(gè)方面：測(cè)量結(jié)果的穩(wěn)定性和一致性穩(wěn)定性高的測(cè)量工具則是指一群人在不同時(shí)空下接受同樣的衡量工具時(shí)，結(jié)果的差異很小。 反例：一把尺子在上午和下午測(cè)量同一個(gè)人的身高，相差5厘米。一致性高的測(cè)量工具是指同一群人接受性質(zhì)相同，題型相同，目的相

2、同的不同問(wèn)卷測(cè)量后，在各衡量結(jié)果間顯示出強(qiáng)烈的正相關(guān)。 反例：測(cè)量血壓的不同工具得出的結(jié)果相差很大第3頁(yè)，共27頁(yè)。2022/8/34信度的例子 儀器的信度：視力、 聽(tīng)力、 體重、心跳速度等。 測(cè)驗(yàn)的信度：考試、 智力測(cè)驗(yàn)。 問(wèn)卷的信度：受訪者的回答， 包括態(tài)度、 行為、 事實(shí)等等。第4頁(yè)，共27頁(yè)。2022/8/35信度的類(lèi)型不同的測(cè)量方式導(dǎo)致不同類(lèi)型的信度再測(cè)信度(test-retest reliability) 復(fù)本信度（alternative-form reliability）內(nèi)部一致性信度（internal consistency reliability）第5頁(yè)，共27頁(yè)。2022/

3、8/36再測(cè)信度再測(cè)信度同一個(gè)測(cè)量工具在不同的時(shí)間對(duì)同一受試者重復(fù)測(cè)量?jī)纱?，兩次測(cè)量結(jié)果的相關(guān)系數(shù)即為再測(cè)信度。這一指標(biāo)反映測(cè)量工具的穩(wěn)定性，亦稱(chēng)為穩(wěn)定系數(shù)(coefficient of stability) 缺點(diǎn)：受試者具有學(xué)習(xí)功能，測(cè)試結(jié)果易受記憶及經(jīng)驗(yàn)的影響，從而導(dǎo)致假性高相關(guān)兩次測(cè)試難時(shí)有相同的測(cè)試情境兩次測(cè)試的間隔時(shí)間并沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，較難把握第6頁(yè)，共27頁(yè)。2022/8/37復(fù)本信度復(fù)本信度是以?xún)蓚€(gè)測(cè)驗(yàn)復(fù)本（在內(nèi)容、型式、題數(shù)、難度、指導(dǎo)說(shuō)明、時(shí)間限制與例題等方面，必須類(lèi)似或相等 ）來(lái)測(cè)量同一群體，然后求得應(yīng)試者在這兩個(gè)測(cè)驗(yàn)上得分的相關(guān)系數(shù)。復(fù)本信度的高低反映了這兩個(gè)測(cè)量復(fù)本在內(nèi)容

4、上的等值性程度，亦稱(chēng)等值性系數(shù)(coefficient of equivalence) 。實(shí)施方法：同時(shí)實(shí)施：測(cè)量一致性，獲得等值性系數(shù)間隔實(shí)施：測(cè)量穩(wěn)定性和一致性，獲得穩(wěn)定與等值系數(shù) (coefficient of stability and equivalence) 第7頁(yè)，共27頁(yè)。2022/8/38復(fù)本信度缺點(diǎn)：復(fù)本測(cè)驗(yàn)的編制不易，不但費(fèi)時(shí)，且成本較高 易受練習(xí)影響的測(cè)量行為，即使采用復(fù)本方法，影響只能減少，但無(wú)法完全避免 計(jì)算再測(cè)信度與復(fù)本信度的共同問(wèn)題是：需要進(jìn)行兩次測(cè)量。受試者的合作、動(dòng)機(jī)、疲勞和厭煩等都可能影響測(cè)驗(yàn)的實(shí)施。因此，尋求只根據(jù)一次測(cè)驗(yàn)結(jié)果就可以估計(jì)信度的方法第8頁(yè)，

5、共27頁(yè)。2022/8/39折半信度折半信度(split-half reliability)指使用測(cè)量工具先對(duì)一組受試者施測(cè)，然后把題目分成兩半計(jì)分，依兩半所得的分?jǐn)?shù)算出相關(guān)系數(shù) 。在無(wú)副本且不準(zhǔn)備重測(cè)的情況下，我們就用折半信度來(lái)計(jì)算信度系數(shù)，類(lèi)似于復(fù)本信度。計(jì)算折半信度的模型有：Spearman-Brown公式, Guttman公式,Rulon公式。 第9頁(yè)，共27頁(yè)。2022/8/310內(nèi)部一致性信度涵義：折半信度高表明內(nèi)部項(xiàng)目的相關(guān)性高，這實(shí)際上反映的是測(cè)量工具內(nèi)部各項(xiàng)目之間的一致性問(wèn)題，因此衍生出內(nèi)部一致性信度。內(nèi)部一致性信度是指量表內(nèi)容與題目之間的關(guān)系，考察的是量表的各個(gè)題目是否測(cè)量

6、了相同的內(nèi)容或特質(zhì)。例如：市場(chǎng)導(dǎo)向的測(cè)量量表計(jì)算內(nèi)部一致性信度的常用方法：Cronbachs 系數(shù) 第10頁(yè)，共27頁(yè)。2022/8/311Cronbachs 系數(shù)LeeJCronbach，伊利諾伊大學(xué)教授，心理測(cè)量學(xué)家。1951年將庫(kù)德-理查德20(適合與0，1記分的信度計(jì)算公式)進(jìn)一步推廣，提出著名的多重記分項(xiàng)目的信度計(jì)算公式，即著名的一致性系數(shù)第11頁(yè)，共27頁(yè)。2022/8/312Cronbachs 系數(shù)第12頁(yè)，共27頁(yè)。2022/8/313信度的檢驗(yàn)標(biāo)準(zhǔn)信度 .30不可信.30 信度 .40初步的研究，勉強(qiáng)可信.40 信度 .50稍微可信.50 信度 .70可信(最常見(jiàn)的信度范圍)

7、.70 信度 .90很可信(次常見(jiàn)的信度范圍).90 信度十分可信第13頁(yè)，共27頁(yè)。2022/8/314SPSS分析信度案例第14頁(yè)，共27頁(yè)。2022/8/315效度分析（validity analysis）第15頁(yè)，共27頁(yè)。2022/8/316效度測(cè)量能夠測(cè)到真正的特質(zhì)， 即效度。 X=T+E。 E若一直為0就是有效度。 E若是不為0但是為一固定常數(shù)， 就是有信度。所以信度可以說(shuō)是效度的必要條件。有信度不一定有效度， 有效度則一定有信度。第16頁(yè)，共27頁(yè)。2022/8/317效度的例子溫度計(jì)-可以用來(lái)測(cè)溫度，但是不會(huì)有人拿來(lái)測(cè)溼度。 倍數(shù)高的望遠(yuǎn)鏡可以幫我們測(cè)量行星之間的距離。 用X

8、光或超音波測(cè)量骨密度。 用巴式量表測(cè)量身體功能用GRE測(cè)量留學(xué)生的智力第17頁(yè)，共27頁(yè)。2022/8/318效度的涵義效度的涵義：簡(jiǎn)言之，就是測(cè)量結(jié)果的有效性?；蚰稠?xiàng)測(cè)量活動(dòng)能夠測(cè)量到測(cè)量者所希望了解的特性的程度。效度與測(cè)量目的相關(guān)，同一種測(cè)量工具在某些測(cè)量中具有高效度，但在另一些測(cè)量中卻效度不高。例如：一把信度很高的尺子在測(cè)量身高時(shí)具有很好的效度，但在測(cè)量血壓時(shí)效度顯然不佳。因此有人將效度定義為：測(cè)驗(yàn)?zāi)軌蜻_(dá)到某種目的的程度(Mehens & Lehmann, 1978, p.109) 第18頁(yè)，共27頁(yè)。2022/8/319效度的類(lèi)型由于效度是相對(duì)于研究目的和研究側(cè)面而言的，具有多層面的特

9、征，因此效度具有多種類(lèi)型。主要有：內(nèi)容效度(content validity) 效標(biāo)關(guān)聯(lián)效度(criterion-related validity) 構(gòu)念效度(construct validity) 第19頁(yè)，共27頁(yè)。2022/8/320內(nèi)容效度涵義：內(nèi)容效度是指測(cè)量工具的內(nèi)容是否能夠代表所欲測(cè)量的行為領(lǐng)域，即量表內(nèi)容是否具有代表性。例如：一位教師給學(xué)生做一個(gè)數(shù)學(xué)測(cè)驗(yàn)，該測(cè)驗(yàn)的題目如果涵蓋了教學(xué)所欲達(dá)成的目標(biāo)，及教材的重要內(nèi)容，我們說(shuō)該測(cè)驗(yàn)有內(nèi)容效度。 測(cè)量方法：尚沒(méi)有一種數(shù)量的測(cè)量方法，它的確定主要是采用邏輯的分析方法，仔細(xì)判斷每一項(xiàng)目是否符合及涵蓋所要測(cè)量的研究領(lǐng)域.第20頁(yè)，共27頁(yè)。

10、2022/8/321效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度是以經(jīng)驗(yàn)性的方法，研究測(cè)驗(yàn)分?jǐn)?shù)與一些外在效標(biāo)間的關(guān)系，故又可稱(chēng)為經(jīng)驗(yàn)效度或統(tǒng)計(jì)效度(empirical or statistical validity)，(Thorndike & Hagen, 1977, p.60)。 根據(jù)選擇效標(biāo)的時(shí)間不同，可分為：同時(shí)效度和預(yù)測(cè)效度同時(shí)效度(concurrent validity) ：是指測(cè)驗(yàn)分?jǐn)?shù)與實(shí)施測(cè)驗(yàn)同一個(gè)時(shí)間所取得的效標(biāo)之間的相關(guān)，旨在使用測(cè)驗(yàn)分?jǐn)?shù)估計(jì)個(gè)人在效標(biāo)方面的目前實(shí)際表現(xiàn)。例如測(cè)量學(xué)生智力時(shí)，將學(xué)生當(dāng)時(shí)的成績(jī)作為效標(biāo)。預(yù)測(cè)效度： (predictive validity)是指測(cè)驗(yàn)分?jǐn)?shù)與實(shí)施測(cè)驗(yàn)后一

11、段時(shí)間所取得的效標(biāo)之間的相關(guān)，旨在使用測(cè)驗(yàn)分?jǐn)?shù)預(yù)測(cè)個(gè)人在效標(biāo)方面的未來(lái)表現(xiàn)。 例如測(cè)量學(xué)生智力時(shí)，將測(cè)量之后一段時(shí)間的學(xué)生成績(jī)作為效標(biāo)。第21頁(yè)，共27頁(yè)。2022/8/322構(gòu)念效度構(gòu)念效度，就是指測(cè)驗(yàn)?zāi)軌驕y(cè)量到理論上的構(gòu)念或特質(zhì)的程度(Anastasi, 1982, p.144)。 分為聚合效度（convergent validity）和辨別效度（discriminant validity）兩類(lèi)。聚合效度：如果某一測(cè)量工具的測(cè)量分值與測(cè)量相同構(gòu)念或特質(zhì)的其它測(cè)量工具的分值有高的相關(guān)度時(shí)，則可以說(shuō)明聚合效度高；辨別效度：如果某一測(cè)量工具的測(cè)量分值與測(cè)量不同構(gòu)念的其它其它測(cè)量工具的分值有低的相

12、關(guān)程度時(shí)，即辨別效度高。 第22頁(yè)，共27頁(yè)。2022/8/323構(gòu)念效度的測(cè)量方法MTMM 確定構(gòu)念效度，首先一個(gè)測(cè)驗(yàn)的分?jǐn)?shù)不僅要和測(cè)量相同構(gòu)念或特質(zhì)的其它測(cè)驗(yàn)分?jǐn)?shù)有高的相關(guān)，即輻合效度高；而且要和測(cè)量不同構(gòu)念的其它測(cè)驗(yàn)的分?jǐn)?shù)有低的相關(guān)，即辨別效度高 方法：多元特質(zhì)多重方法矩陣(multitrait-multimethod matrix) 使用條件：兩個(gè)以上的構(gòu)念以及能夠測(cè)量這些構(gòu)念的兩種以上的量表 例如，使用人格量表（方法1）和教師評(píng)定（方法2）兩種測(cè)量方法，測(cè)量學(xué)生的三種特質(zhì)：成就性(A)、社會(huì)性(B)、獨(dú)立性(C) 第23頁(yè)，共27頁(yè)。2022/8/324相同方法測(cè)量相同特質(zhì)(信度系數(shù)

13、)：.77, .81, .92,.71, .78, .83相同方法測(cè)量不同特質(zhì)(辨別效度)：.40, .31, .29, .37, .18, .25不同方法測(cè)量相同特質(zhì)(聚合效度)：.59, .63, .68不同方法測(cè)量不同特質(zhì)(辨別效度)：.29, .18, .27, .09, .11, .12此例就是最理想的構(gòu)念效度，就是1, 3所得相關(guān)比2, 4所得相關(guān)為高 。第24頁(yè)，共27頁(yè)。2022/8/325CFA法聚合效度：AVE超過(guò)0.5(Fornell & Larcker 1981), 所有因子載荷均大于0.5(Bagozzi & Yi 1988)。辨別效度：AVE大于所有因子相關(guān)系數(shù)的平方0.5(Fornell & Larcker 1981)。雙變量的CFA模型中，固定協(xié)方差模型的卡方值顯著地大于自由估計(jì)協(xié)方