測驗(yàn)信度估計：α系數(shù)局限及進(jìn)展

1、測驗(yàn)信度估計：系數(shù)的局限及進(jìn)展目錄一、信度的定義二、信度的估計方法三、克龍巴赫系數(shù)的不足四、克龍巴赫系數(shù)與同質(zhì)性系數(shù)、內(nèi)部一致性 系數(shù)的區(qū)別五、信度估計方法的進(jìn)展，以及對各種方法的評 價六、測驗(yàn)信度分析流程 一、信度的定義1、信度是反映測驗(yàn)結(jié)果受到隨機(jī)誤差影響程度的指標(biāo)，是評價測驗(yàn)質(zhì)量最基本的指標(biāo)。2、根據(jù)經(jīng)典測驗(yàn)理論，有三種定義信度的方 法：定義一：信度是兩份平行測驗(yàn)的相關(guān)系數(shù)；定義二：信度是真分?jǐn)?shù)方差與觀測分?jǐn)?shù)方差 之比；定義三：信度是真分?jǐn)?shù)與實(shí)得分?jǐn)?shù)的相關(guān)系數(shù)的平方。二、信度的估計方法 一、重測信度 1、定義：用同一個量表對同一組被試施測兩次所得結(jié)果的一致性程度，其大小為兩次測驗(yàn)分?jǐn)?shù)的皮

2、爾遜積差相關(guān)，反映跨時間的一致性。 2、前提條件：所測特性穩(wěn)定；練習(xí)遺忘相抵消；在間隔期間沒有獲得更多的訓(xùn)練。 3、不足：間隔不同，所得結(jié)果不同；成熟、知識的發(fā)展并非人人等量增長；記憶、練習(xí)也存在個體差異等。時間間隔的把握 間隔時間越長，穩(wěn)定性系數(shù)越低。適宜時間間隔依照測驗(yàn)?zāi)康?、性質(zhì)及被試特點(diǎn)而定。幾分鐘至幾年。 年幼兒童，間隔要??；年長群體，間隔可大。智力測驗(yàn)的間隔不能太短，成就測驗(yàn)的間隔不能太長。 一般間隔時間不超過六個月。（既不能讓被試記住上一次測驗(yàn)的內(nèi)容，又不能讓其特質(zhì)發(fā)生變化，或?qū)λ鶎W(xué)知識產(chǎn)生遺忘） 二、復(fù)本信度 1、定義：兩個平行測驗(yàn)測量同一批被試所得結(jié)果的一致性程度，反映跨形式的

3、一致性。 2、前提條件：構(gòu)造真正平行測驗(yàn)；被試有條件接受兩次測驗(yàn)。 3、不足：真正的平行測驗(yàn)很難構(gòu)造；易受到被試情緒、動機(jī)、情景變化的影響。 三、分半信度 1、定義：將一個測驗(yàn)分成對等兩半后，所有被試在這兩半上所得分?jǐn)?shù)的一致程度。 2、不足：分半方法多樣，多得結(jié)果不唯一；兩半對等不易做到。 3、方法：斯皮爾曼布朗公式斯皮爾曼布朗通式hhhhrrr12費(fèi)拉南根公式1111) 1(1rnnrr)1 (2222xbaSSSr盧龍公式xdSSr221 四、同質(zhì)性信度 1、定義：測驗(yàn)內(nèi)部所有題目之間的一致性程度。 2、方法：KR20)(1(22xiixSqpSKKrKR21)(1(22xiixSqpSK

4、Kr克龍巴赫系數(shù))(1(222xixSSSKKr 3、系數(shù)與分半信度的關(guān)系：將問卷按所有的方法分半，用尼龍或費(fèi)拉南根公式求平均值，則與系數(shù)相同，即分半信度在系數(shù)上下波動?？梢?，分半信度的估計公式都是系數(shù)的等價形式。 Jackson證明了只有在測驗(yàn)的項目數(shù)為偶數(shù)時，系數(shù)是該問卷所有可能分半信度的平均值的結(jié)論成立，當(dāng)測驗(yàn)的項目數(shù)為奇數(shù)時，系數(shù)可能大于分半信度的上限。三、克龍巴赫系數(shù)1、系數(shù)使用條件：各題的誤差不相關(guān)測驗(yàn)是基本等價（任何題目的真分?jǐn)?shù)只相差一個常數(shù)）。2、如果只滿足條件一，系數(shù)不等于信度，在同屬測驗(yàn)中，系數(shù)是信度估計的下界，在異質(zhì)測驗(yàn)中，系數(shù)是信度估計的嚴(yán)格下界；如果誤差存在正相關(guān)，系

5、數(shù)會高估信度，這種高估偏差可能會接近兩成，但有時也會低估信度。3、同質(zhì)性測驗(yàn)與平行測驗(yàn)、基本等價測驗(yàn)的區(qū)別同質(zhì)性測驗(yàn)中它們的真分?jǐn)?shù)Tl，T2，T 之間的相關(guān)為1。平行測驗(yàn)要求幾個測驗(yàn)具有相等的真分?jǐn)?shù)方差和相等的誤差方差?；镜葍r測驗(yàn)要求幾個測驗(yàn)具有相等的真分?jǐn)?shù)方差，但可以有不同的誤差方差。 可見，同質(zhì)性測驗(yàn)要比基本等價測驗(yàn)的限定條件少得多，而平行測驗(yàn)要求更多的限定條件。同質(zhì)性測驗(yàn)不一定是基本等價測驗(yàn)或平行測驗(yàn)。因此，系數(shù)作為同質(zhì)性測驗(yàn)信度估計極容易出現(xiàn)低估，因此用系數(shù)的大小作為同質(zhì)性測驗(yàn)信度估計是不可靠的。 有研究表明，當(dāng)滿足誤差不相關(guān)時，系數(shù)是測驗(yàn)信度估計的下限，并不一定是同質(zhì)性信度估計的下

6、限。3、系數(shù)的不足：（1）在異質(zhì)性題目中，系數(shù)是信度的嚴(yán)格下界，而如果各題得分的方差相差越大，試題的覆蓋面越寬，則系數(shù)跟信度的真值相差越大，且估計值偏低。（2）系數(shù)的值直接受項目多少的影響，增加題目的數(shù)量會使值迅速增加。此外，系數(shù)不僅與題目間的相關(guān)程度有關(guān)，而且與不同項目在共同因子上的因素負(fù)荷有關(guān)。（3）系數(shù)的大小僅反映項目與項目之間數(shù)量關(guān)系的一個指標(biāo)，任意一組具有高相關(guān)的項目雖然具有較高的系數(shù)，但卻未必具有較高的內(nèi)部一致性。（4）系數(shù)在某些特定的情形下會出現(xiàn)負(fù)值。席忠恩、汪順玉討論了系數(shù)出現(xiàn)負(fù)值的兩種情形。一種是當(dāng)總分方差小于各題分?jǐn)?shù)方差時，即在總測驗(yàn)或子測驗(yàn)中使用項目平均分時，另一種是當(dāng)項

7、目間或部分測驗(yàn)間的協(xié)方差之和為負(fù)值時，系數(shù)為負(fù)值。（5）高a值未必是單維度，低a值未必是多維度。候杰泰利用模擬數(shù)據(jù)研究了測驗(yàn)的維度與 a系數(shù)間的關(guān)系。a系數(shù)低或中等時要考慮：項目的維度是否是單維的，如果是單維的，還要考慮每個項目的因素負(fù)荷是否夠大，項目是否存在質(zhì)量問題?？梢妰H從a系數(shù)的大小，不能推斷項目是否同質(zhì)。 4、系數(shù)至少受到3方面的影響：第一，受到測驗(yàn)實(shí)得分?jǐn)?shù)中誤差分?jǐn)?shù)所占比重的影響；第二，受到題目之間同質(zhì)性的影響；第三，受到考生樣本同質(zhì)性的影響。四、系數(shù)與同質(zhì)性系數(shù)、內(nèi)部一致性系數(shù)的區(qū)別p,21332211，jesLbLbGaxjjjjjj(1)假設(shè)有一個全局因子G1，兩個局部因子L2

8、、L3。全局因子和局部因子都是因子分析中所謂的公共因子。此外，每個題目還有自己的特殊因子sj，還有誤差ej，這樣，每個題目分?jǐn)?shù)xj有下面的分解式：測驗(yàn)總分表達(dá)式：xj=gj+lj+sj+ej，j=1，2，pxg2hom2(2)真分?jǐn)?shù)有兩種分法，一種是把真分?jǐn)?shù)分為全局因子、局部因子、特殊因子。Revelle和Zinbarg(2009)將同質(zhì)性理解為存在全局因子，即所有題目在某種程度上共享相同的因子（這樣的因子就是全局因子）。測驗(yàn)的同質(zhì)性信度定義為測驗(yàn)分?jǐn)?shù)方差中，全局因子分?jǐn)?shù)方差所占的比例：另一種分法，把真分?jǐn)?shù)分為公共因子、特殊因子。則總分的表達(dá)式為：xj=cj+sj+ej，j=1，2，.，p 那

9、么測驗(yàn)的總分為：x=c+s+e，測驗(yàn)的內(nèi)部一致性信度定義為：xc22intxsxlxsx2222hom22int 因?yàn)楣惨蜃?、特殊因子與誤差三者之間不相關(guān)，局部因子與全局因子也不相關(guān)，容易推出2x=2t+2e=2c+2s+2e=2g+2l+2s+2e則 從上式清晰地反映了信度、內(nèi)部一致性信度和同質(zhì)性信度的關(guān)系。測驗(yàn)的內(nèi)部一致性信度不超過信度，當(dāng)且僅當(dāng)特殊因子不存在時（2s=0），兩者相等。同質(zhì)性信度不超過內(nèi)部一致性信度，當(dāng)且僅當(dāng)局部因子不存在局部因子時（2l），兩者相等。特別是，如果測驗(yàn)是單維的（所有題目測量了單一特質(zhì)），這同質(zhì)性和內(nèi)部一致性是一回事。在多維的情形，同質(zhì)性高的測驗(yàn)，內(nèi)部一致性

10、也高，但反過來不一定成立。 研究者證明，當(dāng)任何兩個題目的特殊因子不相關(guān)、誤差也不相關(guān)時，系數(shù)不僅低估了信度，也低估了內(nèi)部一致性信度。同質(zhì)性信度小于內(nèi)部一致性信度。六、測驗(yàn)信度分析流程信度估計方法的進(jìn)展、優(yōu)勢與不足1、（1）1991年陳希鎮(zhèn)從降低系數(shù)受同質(zhì)性影響的程度入手，提出系數(shù)和1系數(shù)的概念：)1 () 1() 1(122xiSSKK)1 () 1() 1(1221xiSSrKrKkjijiXXRji，；，2 , 1max其中，krrrrrmax321，kiKTTRrjijii，2 , 11)(（2）（f()）與f(1)的關(guān)系 （f()）是信度系數(shù)另一個下界f(1)的估 計值，f()f(1)

11、。kjijiTTRji，；，2 , 1)(max111111Kf（3）f(1)與系數(shù)的關(guān)系可見，1越小，與f(1)相差越大，1越大，與f(1)相差越小。由此可以看出，當(dāng)1不大時，用值作為信度系數(shù)的估計是不精確的，f(1)比更接近信度的真值，由于是1不可觀測量，因此，在實(shí)際應(yīng)用時，我們采用在數(shù)值上與1相差不大的作為1的估計。（4）與、f(1)的關(guān)系由于f()是單調(diào)遞減函數(shù)，而11，故 1（f()）f(1)f(1)=。當(dāng)1時，夾在中間的1也趨近1，此時三者之間差別不大，當(dāng)=1時，=，可見是的推廣；當(dāng)10時，f(1)趨近f(),可見，當(dāng)1很小時，f(1)與f()很接近。在一般情況下，不大于真值，已證

12、明。（5）1與的關(guān)系由于r1，根據(jù)f()的單調(diào)性，所以f(r)f(1)。和是1和r的估計值，所以，則1。但是1是否大于真值仍缺乏證據(jù)。 （6）對系數(shù)的評價 與系數(shù)相比，系數(shù)和1系數(shù)對測驗(yàn)題目的同質(zhì)性敏感程度降低了，在更大程度上反映了測驗(yàn)受隨機(jī)誤差因素影響的程度。這也導(dǎo)致無法測量測驗(yàn)的同質(zhì)性。同時系數(shù)和1也可能出現(xiàn)負(fù)數(shù)。 李大紅、曾桂興（1995）通過反例說明題目觀測分?jǐn)?shù)的方差、協(xié)方差均相等時系數(shù)總等于1，證明系數(shù)不一定是信度估計值的下界，從而進(jìn)一步引發(fā)了對系數(shù)和1系數(shù)可靠性的探討。 2、（1）為了從系數(shù)中分離出考生樣本同質(zhì)性的影響從而更好地刻劃出測量誤差變異在觀察分?jǐn)?shù)總變異中的比重，筆者提出一

13、種信度估計方法，可以稱為，稱為“系數(shù)”。計算公式為：)(192. 31minmax122XXKSSKrkiiminmaxminmax92. 31192. 31XXXXSEr經(jīng)推導(dǎo)得到：（2）從公式中可以看出，r系數(shù)在很多程度上受標(biāo)準(zhǔn)誤SE的影響SE越大，r系數(shù)越小。與系數(shù)相比，由于SE具有很高的穩(wěn)定性，因此r系數(shù)比系數(shù)更穩(wěn)定，受同質(zhì)性影響更小。（3）從計算公式可以看出，r系數(shù)是95%置信區(qū)間與測驗(yàn)分?jǐn)?shù)全距的比值。對95%置信區(qū)間的解釋是：如果某一考生得到了分?jǐn)?shù)X，我們有95%的把握認(rèn)為他的真分?jǐn)?shù)會落在這一區(qū)間內(nèi)。(4)是否受正態(tài)分布的影響： SE是樣本平均數(shù)的標(biāo)準(zhǔn)差，可以證明，在樣本不是很小的

14、情況下，樣本平均數(shù)的分布獨(dú)立于測驗(yàn)分?jǐn)?shù)分布而恒為正態(tài)分布，因此，r系數(shù)適用于具有各種分布形態(tài)的測驗(yàn)分?jǐn)?shù)，包括偏態(tài)，雙峰等分布。從表1可以看出，與系數(shù)相比。r系數(shù)更少受到考生樣本同質(zhì)性的影響，更多反映了測驗(yàn)本身的特點(diǎn)而不是考生樣本的特點(diǎn)。（5）r系數(shù)與系數(shù)、SE的比較（6）對r系數(shù)的評價：r系數(shù)雖克服了系數(shù)可能為負(fù)的缺點(diǎn)，在測驗(yàn)中也較少受到樣本同質(zhì)性的影響，但從其定義看，用測驗(yàn)項目的全距描述整個測驗(yàn)項目的離差，靈敏性不夠，另外r系數(shù)并不用來反映測驗(yàn)同質(zhì)性程度。jixixxmm，2222cov114、李大紅提出，最早對信度下界估計進(jìn)行研究的Guttman給出的2系數(shù)是比系數(shù)更好的信度估計值，并進(jìn)行了證明，丁樹良等人也認(rèn)為2系數(shù)比系數(shù)更好。/2x5、Raykov T.運(yùn)用LISREL軟件的參數(shù)估計方法同質(zhì)信度估計，提出了系數(shù)。其在兩種情形下的計算公式為： jijiikiiikiikiiEECovEVarbTVarbTVarb，22121121 ikiikiikiiEVarbTVarbTVarb21121121（適合于不存在相關(guān)誤差的情形）（適合于存在相關(guān)誤差的情形） 其中，bi為因素載