計(jì)算機(jī)輔助教育測(cè)量與評(píng)價(jià)第3章

1、中國(guó)水利水電出版社第3章 教育測(cè)量與評(píng)價(jià)的質(zhì)量分析3.1 信度3.1.1 同質(zhì)性信度3.1.2 分半信度3.1.3 再測(cè)信度3.1.4 評(píng)分者的信度3.1 信度 測(cè)驗(yàn)的信度是指測(cè)驗(yàn)結(jié)果的可靠性或可靠程度。所謂可靠性是指對(duì)同一組對(duì)象進(jìn)行兩次相同測(cè)量所得結(jié)果的一致性和穩(wěn)定性程度。常用的信度估計(jì)方法有：計(jì)算測(cè)驗(yàn)內(nèi)部各項(xiàng)目的得分的一致性，得到同質(zhì)性信度；用同一測(cè)驗(yàn)對(duì)同一組被試，前后測(cè)驗(yàn)兩次，據(jù)兩次測(cè)驗(yàn)分?jǐn)?shù)計(jì)算其相關(guān)系數(shù)，得到再測(cè)信度；當(dāng)一種測(cè)驗(yàn)只能施行一次且沒(méi)有復(fù)本時(shí)，可按測(cè)驗(yàn)題目的奇偶數(shù)分兩半計(jì)分，求相關(guān)系數(shù)，經(jīng)校正得到分半信度。同質(zhì)性信度 同質(zhì)性信度也稱為內(nèi)部一致性信度，是指測(cè)驗(yàn)內(nèi)部所有項(xiàng)目的一致

2、性。常用的估計(jì)方法有克倫巴赫系數(shù)等。同質(zhì)性信度 對(duì)于信度系數(shù)，應(yīng)該注意以下要點(diǎn)：（1）Cronbach的信度系數(shù)衡量的是測(cè)量某一心理結(jié)構(gòu)的一組試題測(cè)量結(jié)果的可靠程度。（2）理論上說(shuō)，Cronbach的信度系數(shù)取值范圍在0到1之間，但實(shí)際上95%的測(cè)量的系數(shù)在0.50到0.90之間。根據(jù)Nunnally（1967），信度系數(shù)的不同范圍，反映出測(cè)量量表的不同問(wèn)題。同質(zhì)性信度 信度系數(shù)的解釋（Nunnally，1967） 同質(zhì)性信度 （3）Cronbach的信度系數(shù)可以表示成試卷的試題數(shù)與試題間平均相關(guān)系數(shù)的函數(shù)，即信度系數(shù)的標(biāo)準(zhǔn)化形式：由公式可見(jiàn)，試題數(shù)增加，信度系數(shù)增加。若試題間相關(guān)系數(shù)的平均值

3、低，信度系數(shù)就比較低；反之，信度系數(shù)就比較高。同質(zhì)性信度 （4）如果信度系數(shù)高，說(shuō)明試題間的相關(guān)系數(shù)平均值比較高，考生在某道試題上得高分，在另一道試題上得高分的概率就比較高，這可能說(shuō)明這些試題測(cè)量的是單一的心理結(jié)構(gòu)。（5）如果信度系數(shù)較低，說(shuō)明試題間相關(guān)系數(shù)平均值較低，這暗示數(shù)據(jù)可能存在多維結(jié)構(gòu)。在這種情況下，需要進(jìn)行因子分析，確定數(shù)據(jù)維度。然后，對(duì)同一維度的試題計(jì)算信度系數(shù)。同質(zhì)性信度 （6）Cronbach在2004年已經(jīng)提出，不應(yīng)再將信度系數(shù)看作是考試結(jié)果信度的主要衡量指標(biāo)，應(yīng)該用標(biāo)準(zhǔn)測(cè)量誤差來(lái)衡量考試結(jié)果的信度。標(biāo)準(zhǔn)測(cè)量誤差與信度系數(shù)以及考試的標(biāo)準(zhǔn)偏差相關(guān)：分半信度 分半信度是在測(cè)試以

4、后對(duì)測(cè)試項(xiàng)目按奇項(xiàng)、偶項(xiàng)或其他標(biāo)準(zhǔn)分成兩半，分別記分，由兩半分?jǐn)?shù)之間的相關(guān)系數(shù)得到信度系數(shù)。分半信度 由于分半，所求得的相關(guān)系數(shù)只是半個(gè)測(cè)驗(yàn)的信度，可能會(huì)高估原測(cè)驗(yàn)的信度，因此需要根據(jù)斯皮爾曼布朗公式校正：其中：為兩半測(cè)驗(yàn)分?jǐn)?shù)的相關(guān)系數(shù)。 再測(cè)信度 同一個(gè)測(cè)驗(yàn)項(xiàng)目，對(duì)同一組人員進(jìn)行前后兩次測(cè)試，兩次測(cè)試所得分?jǐn)?shù)的相關(guān)系數(shù)即為再測(cè)信度。它反映兩次測(cè)驗(yàn)結(jié)果有無(wú)變動(dòng)，也就是測(cè)驗(yàn)分?jǐn)?shù)的穩(wěn)定程度，故又稱為穩(wěn)定性系數(shù)。再測(cè)信度 再測(cè)信度的計(jì)算必須滿足以下幾個(gè)假設(shè)：（1）所測(cè)量的特質(zhì)必須是穩(wěn)定的；（2）遺忘和練習(xí)的效果相同；（3）兩次測(cè)試期間被試對(duì)問(wèn)題的熟悉情況沒(méi)有差別。評(píng)分者的信度 當(dāng)測(cè)驗(yàn)是論文式試題時(shí)，

5、不同評(píng)分者對(duì)同一試卷的評(píng)分結(jié)果不相同，有時(shí)差異很大。這時(shí)不宜用系數(shù)計(jì)算其信度，必須對(duì)評(píng)分者評(píng)分的一致性進(jìn)行估計(jì)，因?yàn)榇藭r(shí)誤差主要來(lái)自評(píng)分者的差異。 評(píng)分者的信度 若只有兩人參加評(píng)N份試卷，可用斯?fàn)柭燃?jí)相關(guān)方法計(jì)算；若三個(gè)以上評(píng)分者評(píng)N分試卷，則需采用肯德爾（Kendall）和諧系數(shù)來(lái)表示信度：式中K為評(píng)分者人數(shù)，N為評(píng)分的試卷數(shù)，為第i個(gè)被評(píng)價(jià)對(duì)象的K個(gè)等級(jí)之和 。3.2 效度 3.2.1 內(nèi)容效度3.2.2 結(jié)構(gòu)效度3.2.3 因素分析的SPSS操作3.2.4 驗(yàn)證性因素分析的應(yīng)用例舉3.2.5 效標(biāo)關(guān)聯(lián)效度3.2.6 效度與信度的關(guān)系3.2 效度 效度是指一個(gè)測(cè)驗(yàn)或量表實(shí)際能測(cè)出其所要測(cè)

6、量的特性的程度。測(cè)驗(yàn)或量表就是測(cè)量使用的工具。如果一次測(cè)量能測(cè)出其所要測(cè)的特性，那么我們就認(rèn)為這個(gè)測(cè)驗(yàn)或量表是有效的。顯然，效度是測(cè)量質(zhì)量的一個(gè)極其重要的方面，測(cè)量工具如果無(wú)效或效度太低，就失去了存在的價(jià)值。內(nèi)容效度 內(nèi)容效度：測(cè)驗(yàn)題目樣本對(duì)于應(yīng)測(cè)內(nèi)容與行為領(lǐng)域的代表性程度。一個(gè)測(cè)驗(yàn)具備良好的內(nèi)容效度應(yīng)滿足兩個(gè)條件：測(cè)驗(yàn)內(nèi)容范圍要明確。對(duì)學(xué)業(yè)成績(jī)測(cè)驗(yàn)來(lái)說(shuō)，就是試題要符合教材內(nèi)容和教學(xué)大綱，試題不應(yīng)該超出確定的范圍。試題應(yīng)是已界定的內(nèi)容范圍的代表性樣本，它應(yīng)該覆蓋所測(cè)內(nèi)容的主要方面，并使各部分題目所占比例適當(dāng)。 結(jié)構(gòu)效度 所謂結(jié)構(gòu)，是指心理學(xué)或社會(huì)學(xué)上的一種理論構(gòu)想或特質(zhì)。它本身觀察不到，并且也

7、無(wú)法直接測(cè)量到，但學(xué)術(shù)理論假設(shè)它是存在的，以便能夠來(lái)解釋和預(yù)測(cè)個(gè)人或團(tuán)體的行為表現(xiàn)。結(jié)構(gòu)效度就是指測(cè)驗(yàn)成績(jī)所能夠解釋心理學(xué)或社會(huì)學(xué)理論上的某種結(jié)構(gòu)或特質(zhì)的程度。因素分析的SPSS操作 SPSS for Windows使用Factor過(guò)程進(jìn)行因子分析，其基本步驟為：（1）計(jì)算相關(guān)矩陣，判斷是否需要進(jìn)行因子分析，并采用KMO檢驗(yàn)及球形檢驗(yàn)來(lái)判斷原始變量是否適合于因子分析。（2）進(jìn)行因子分析，按一定標(biāo)準(zhǔn)確定提取的因子數(shù)目。（3）考察因子的可解釋性，并在必要時(shí)進(jìn)行因子旋轉(zhuǎn)，以尋求最佳解釋方式。（4）計(jì)算并保存因子得分，以便進(jìn)一步分析使用。驗(yàn)證性因素分析的應(yīng)用例舉 驗(yàn)證性因素分析屬于結(jié)構(gòu)方程模型（str

8、uctural equation modeling；簡(jiǎn)稱SEM）的一種次模型，為SEM分析的一種特殊應(yīng)用。由于SEM的模型界定能夠處理潛在變量的估計(jì)與分析，具有高度的理論先驗(yàn)性，因而若是研究者對(duì)于潛在變量的內(nèi)容與屬性，能提出適當(dāng)?shù)臏y(cè)量變量以組成測(cè)量模型，借由SEM的分析程序，便可以對(duì)潛在變量的結(jié)構(gòu)或影響關(guān)系進(jìn)行有效的分析。 效標(biāo)關(guān)聯(lián)效度 效標(biāo)關(guān)聯(lián)效度是指測(cè)驗(yàn)分?jǐn)?shù)與作為效標(biāo)的另一獨(dú)立測(cè)驗(yàn)結(jié)果之間的一致性程度。一般是用本測(cè)驗(yàn)分?jǐn)?shù)與效標(biāo)測(cè)驗(yàn)結(jié)果之間的相關(guān)系數(shù)表示。 效標(biāo)是用來(lái)檢測(cè)效度的參照標(biāo)準(zhǔn)，可用來(lái)作效標(biāo)的變量很多。 效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度可以分為兩種:同時(shí)效度:一種測(cè)驗(yàn)的結(jié)果與另一大約同 時(shí)獲

9、得的測(cè)驗(yàn)結(jié)果（效標(biāo)）之間的一致程 度，并用兩測(cè)驗(yàn)結(jié)果的相關(guān)系數(shù)來(lái)估算。預(yù)測(cè)效度:某一測(cè)驗(yàn)結(jié)果與另一將來(lái)獲得 的測(cè)驗(yàn)結(jié)果之間的相關(guān)程度。 效標(biāo)關(guān)聯(lián)效度從效度估計(jì)的方法上來(lái)看，效標(biāo)關(guān)聯(lián)效度可以用三種方法進(jìn)行估計(jì): 命中率 顯著差異法 相關(guān)法 效度與信度的關(guān)系 效度是測(cè)量準(zhǔn)確性的量度，信度是測(cè)量結(jié)果一致性或穩(wěn)定性的量度，準(zhǔn)確性與一致性的關(guān)系，亦即效度與信度的關(guān)系。若一測(cè)驗(yàn)的信度低，則其效度也不會(huì)高；而測(cè)驗(yàn)的信度高時(shí)，卻不一定保證效度高。但是，具有高效度的測(cè)驗(yàn)都必定有足夠高信度。所以，高信度是高效度測(cè)驗(yàn)的一個(gè)必要條件而非充分條件。3.3 難度 3.3.1 難度系數(shù)的計(jì)算辦法3.3.2 難度的轉(zhuǎn)換3.3

10、.3 難度對(duì)測(cè)驗(yàn)的影響3.3 難度 難度是衡量試題與試卷難易程度的指標(biāo)，而且是相對(duì)于被試的該批考生而言的。定量刻畫被試作答一個(gè)題目所遇到的困難程度的量數(shù)，就叫題目的難度系，或稱難度值，用符號(hào)P表示。難度系數(shù)的計(jì)算辦法 客觀試題的難度計(jì)算:（1）對(duì)于采用二分法記分的題目，難度以通過(guò)率來(lái)表示：（3-7） 難度系數(shù)的計(jì)算辦法 （2）當(dāng)被試人數(shù)很多時(shí)，可以將被試依照總分從高到低排列，然后將總分最高的27%和最低的27%的被試分別定為高分組和低分組，運(yùn)用公式（3-7）分別計(jì)算兩組的通過(guò)率，然后用下式計(jì)算該題難度： （3-10） 難度系數(shù)的計(jì)算辦法 2主觀性試題的難度計(jì)算（1）設(shè)為被試在某一試題上的平均分

11、，W為該題的滿分，則 上式適用于論題題、問(wèn)答題和計(jì)算題等非二分法記分的題目。（3-11） 難度系數(shù)的計(jì)算辦法 （2）當(dāng)被試人數(shù)很多時(shí)，主觀性試題可采用下式計(jì)算難度：（3-12） 難度系數(shù)的計(jì)算辦法 3難度的測(cè)前估算 在未測(cè)試前就估算難度，需要了解影響試題難度的一般因素：熟悉程度信息數(shù)量題目結(jié)構(gòu)變化動(dòng)態(tài)難度的轉(zhuǎn)換 人們常假設(shè)每個(gè)試題所要測(cè)量的潛在特質(zhì)或能力是呈正態(tài)分布的，然后就可以根據(jù)正態(tài)分布曲線，將試題的難度指數(shù)P作為正態(tài)曲線下的（概率）面積，轉(zhuǎn)換成具有相等單位的等距量表，即Z分?jǐn)?shù)（標(biāo)準(zhǔn)分?jǐn)?shù)）。由于標(biāo)準(zhǔn)分?jǐn)?shù)具有相等單位，屬于等距量表。所以，用標(biāo)準(zhǔn)分?jǐn)?shù)作為題目難度的指標(biāo)，為進(jìn)一步作難度分析帶來(lái)了

12、一些方便。難度對(duì)測(cè)驗(yàn)的影響 難度對(duì)測(cè)驗(yàn)分?jǐn)?shù)分布的影響 難度對(duì)測(cè)驗(yàn)信度的影響 難度與測(cè)驗(yàn)?zāi)康牡年P(guān)系 3.4 區(qū)分度 3.4.1 區(qū)分度的意義3.4.2 區(qū)分度的計(jì)算3.4.3 區(qū)分度對(duì)測(cè)驗(yàn)的影響區(qū)分度的意義 題目區(qū)分度就是題目區(qū)別被試水平能力的量度，常記為D。測(cè)驗(yàn)多少都帶有將被試的水平加以區(qū)分的意圖，那么構(gòu)成測(cè)驗(yàn)的每一個(gè)題目就應(yīng)該為這一目標(biāo)作貢獻(xiàn)，區(qū)分度就是刻畫試題的這種功能的質(zhì)量指標(biāo)。 區(qū)分度的意義 區(qū)分度的分析方法，大約可以歸納成兩類：一為外在效標(biāo)法，即分析被試在測(cè)驗(yàn)題目上的得分與外在客觀標(biāo)準(zhǔn)上的表現(xiàn)之間的關(guān)系。另一為內(nèi)部一致性法，即分析被試在測(cè)驗(yàn)題上的得分與在整個(gè)測(cè)驗(yàn)總分之間的一致性程度。 區(qū)分度的意義 區(qū)分度的取值范圍在-1.00至1.00之間。通常D為正值，稱作積極區(qū)分；D為負(fù)值，稱作消極區(qū)分；D為0，稱作無(wú)區(qū)分作用。具有積極區(qū)分作用的項(xiàng)目，其D值越大，