計算機(jī)輔助教育測量與評價第3章

1、中國水利水電出版社第3章 教育測量與評價的質(zhì)量分析3.1 信度3.1.1 同質(zhì)性信度3.1.2 分半信度3.1.3 再測信度3.1.4 評分者的信度3.1 信度 測驗的信度是指測驗結(jié)果的可靠性或可靠程度。所謂可靠性是指對同一組對象進(jìn)行兩次相同測量所得結(jié)果的一致性和穩(wěn)定性程度。常用的信度估計方法有：計算測驗內(nèi)部各項目的得分的一致性，得到同質(zhì)性信度；用同一測驗對同一組被試，前后測驗兩次，據(jù)兩次測驗分?jǐn)?shù)計算其相關(guān)系數(shù)，得到再測信度；當(dāng)一種測驗只能施行一次且沒有復(fù)本時，可按測驗題目的奇偶數(shù)分兩半計分，求相關(guān)系數(shù)，經(jīng)校正得到分半信度。同質(zhì)性信度 同質(zhì)性信度也稱為內(nèi)部一致性信度，是指測驗內(nèi)部所有項目的一致

2、性。常用的估計方法有克倫巴赫系數(shù)等。同質(zhì)性信度 對于信度系數(shù)，應(yīng)該注意以下要點：（1）Cronbach的信度系數(shù)衡量的是測量某一心理結(jié)構(gòu)的一組試題測量結(jié)果的可靠程度。（2）理論上說，Cronbach的信度系數(shù)取值范圍在0到1之間，但實際上95%的測量的系數(shù)在0.50到0.90之間。根據(jù)Nunnally（1967），信度系數(shù)的不同范圍，反映出測量量表的不同問題。同質(zhì)性信度 信度系數(shù)的解釋（Nunnally，1967） 同質(zhì)性信度 （3）Cronbach的信度系數(shù)可以表示成試卷的試題數(shù)與試題間平均相關(guān)系數(shù)的函數(shù)，即信度系數(shù)的標(biāo)準(zhǔn)化形式：由公式可見，試題數(shù)增加，信度系數(shù)增加。若試題間相關(guān)系數(shù)的平均值

3、低，信度系數(shù)就比較低；反之，信度系數(shù)就比較高。同質(zhì)性信度 （4）如果信度系數(shù)高，說明試題間的相關(guān)系數(shù)平均值比較高，考生在某道試題上得高分，在另一道試題上得高分的概率就比較高，這可能說明這些試題測量的是單一的心理結(jié)構(gòu)。（5）如果信度系數(shù)較低，說明試題間相關(guān)系數(shù)平均值較低，這暗示數(shù)據(jù)可能存在多維結(jié)構(gòu)。在這種情況下，需要進(jìn)行因子分析，確定數(shù)據(jù)維度。然后，對同一維度的試題計算信度系數(shù)。同質(zhì)性信度 （6）Cronbach在2004年已經(jīng)提出，不應(yīng)再將信度系數(shù)看作是考試結(jié)果信度的主要衡量指標(biāo)，應(yīng)該用標(biāo)準(zhǔn)測量誤差來衡量考試結(jié)果的信度。標(biāo)準(zhǔn)測量誤差與信度系數(shù)以及考試的標(biāo)準(zhǔn)偏差相關(guān)：分半信度 分半信度是在測試以

4、后對測試項目按奇項、偶項或其他標(biāo)準(zhǔn)分成兩半，分別記分，由兩半分?jǐn)?shù)之間的相關(guān)系數(shù)得到信度系數(shù)。分半信度 由于分半，所求得的相關(guān)系數(shù)只是半個測驗的信度，可能會高估原測驗的信度，因此需要根據(jù)斯皮爾曼布朗公式校正：其中：為兩半測驗分?jǐn)?shù)的相關(guān)系數(shù)。 再測信度 同一個測驗項目，對同一組人員進(jìn)行前后兩次測試，兩次測試所得分?jǐn)?shù)的相關(guān)系數(shù)即為再測信度。它反映兩次測驗結(jié)果有無變動，也就是測驗分?jǐn)?shù)的穩(wěn)定程度，故又稱為穩(wěn)定性系數(shù)。再測信度 再測信度的計算必須滿足以下幾個假設(shè)：（1）所測量的特質(zhì)必須是穩(wěn)定的；（2）遺忘和練習(xí)的效果相同；（3）兩次測試期間被試對問題的熟悉情況沒有差別。評分者的信度 當(dāng)測驗是論文式試題時，

5、不同評分者對同一試卷的評分結(jié)果不相同，有時差異很大。這時不宜用系數(shù)計算其信度，必須對評分者評分的一致性進(jìn)行估計，因為此時誤差主要來自評分者的差異。 評分者的信度 若只有兩人參加評N份試卷，可用斯?fàn)柭燃壪嚓P(guān)方法計算；若三個以上評分者評N分試卷，則需采用肯德爾（Kendall）和諧系數(shù)來表示信度：式中K為評分者人數(shù)，N為評分的試卷數(shù)，為第i個被評價對象的K個等級之和 。3.2 效度 3.2.1 內(nèi)容效度3.2.2 結(jié)構(gòu)效度3.2.3 因素分析的SPSS操作3.2.4 驗證性因素分析的應(yīng)用例舉3.2.5 效標(biāo)關(guān)聯(lián)效度3.2.6 效度與信度的關(guān)系3.2 效度 效度是指一個測驗或量表實際能測出其所要測

6、量的特性的程度。測驗或量表就是測量使用的工具。如果一次測量能測出其所要測的特性，那么我們就認(rèn)為這個測驗或量表是有效的。顯然，效度是測量質(zhì)量的一個極其重要的方面，測量工具如果無效或效度太低，就失去了存在的價值。內(nèi)容效度 內(nèi)容效度：測驗題目樣本對于應(yīng)測內(nèi)容與行為領(lǐng)域的代表性程度。一個測驗具備良好的內(nèi)容效度應(yīng)滿足兩個條件：測驗內(nèi)容范圍要明確。對學(xué)業(yè)成績測驗來說，就是試題要符合教材內(nèi)容和教學(xué)大綱，試題不應(yīng)該超出確定的范圍。試題應(yīng)是已界定的內(nèi)容范圍的代表性樣本，它應(yīng)該覆蓋所測內(nèi)容的主要方面，并使各部分題目所占比例適當(dāng)。 結(jié)構(gòu)效度 所謂結(jié)構(gòu)，是指心理學(xué)或社會學(xué)上的一種理論構(gòu)想或特質(zhì)。它本身觀察不到，并且也

7、無法直接測量到，但學(xué)術(shù)理論假設(shè)它是存在的，以便能夠來解釋和預(yù)測個人或團(tuán)體的行為表現(xiàn)。結(jié)構(gòu)效度就是指測驗成績所能夠解釋心理學(xué)或社會學(xué)理論上的某種結(jié)構(gòu)或特質(zhì)的程度。因素分析的SPSS操作 SPSS for Windows使用Factor過程進(jìn)行因子分析，其基本步驟為：（1）計算相關(guān)矩陣，判斷是否需要進(jìn)行因子分析，并采用KMO檢驗及球形檢驗來判斷原始變量是否適合于因子分析。（2）進(jìn)行因子分析，按一定標(biāo)準(zhǔn)確定提取的因子數(shù)目。（3）考察因子的可解釋性，并在必要時進(jìn)行因子旋轉(zhuǎn)，以尋求最佳解釋方式。（4）計算并保存因子得分，以便進(jìn)一步分析使用。驗證性因素分析的應(yīng)用例舉 驗證性因素分析屬于結(jié)構(gòu)方程模型（str

8、uctural equation modeling；簡稱SEM）的一種次模型，為SEM分析的一種特殊應(yīng)用。由于SEM的模型界定能夠處理潛在變量的估計與分析，具有高度的理論先驗性，因而若是研究者對于潛在變量的內(nèi)容與屬性，能提出適當(dāng)?shù)臏y量變量以組成測量模型，借由SEM的分析程序，便可以對潛在變量的結(jié)構(gòu)或影響關(guān)系進(jìn)行有效的分析。 效標(biāo)關(guān)聯(lián)效度 效標(biāo)關(guān)聯(lián)效度是指測驗分?jǐn)?shù)與作為效標(biāo)的另一獨立測驗結(jié)果之間的一致性程度。一般是用本測驗分?jǐn)?shù)與效標(biāo)測驗結(jié)果之間的相關(guān)系數(shù)表示。 效標(biāo)是用來檢測效度的參照標(biāo)準(zhǔn)，可用來作效標(biāo)的變量很多。 效標(biāo)關(guān)聯(lián)效度效標(biāo)關(guān)聯(lián)效度可以分為兩種:同時效度:一種測驗的結(jié)果與另一大約同 時獲

9、得的測驗結(jié)果（效標(biāo)）之間的一致程 度，并用兩測驗結(jié)果的相關(guān)系數(shù)來估算。預(yù)測效度:某一測驗結(jié)果與另一將來獲得 的測驗結(jié)果之間的相關(guān)程度。 效標(biāo)關(guān)聯(lián)效度從效度估計的方法上來看，效標(biāo)關(guān)聯(lián)效度可以用三種方法進(jìn)行估計: 命中率 顯著差異法 相關(guān)法 效度與信度的關(guān)系 效度是測量準(zhǔn)確性的量度，信度是測量結(jié)果一致性或穩(wěn)定性的量度，準(zhǔn)確性與一致性的關(guān)系，亦即效度與信度的關(guān)系。若一測驗的信度低，則其效度也不會高；而測驗的信度高時，卻不一定保證效度高。但是，具有高效度的測驗都必定有足夠高信度。所以，高信度是高效度測驗的一個必要條件而非充分條件。3.3 難度 3.3.1 難度系數(shù)的計算辦法3.3.2 難度的轉(zhuǎn)換3.3

10、.3 難度對測驗的影響3.3 難度 難度是衡量試題與試卷難易程度的指標(biāo)，而且是相對于被試的該批考生而言的。定量刻畫被試作答一個題目所遇到的困難程度的量數(shù)，就叫題目的難度系，或稱難度值，用符號P表示。難度系數(shù)的計算辦法 客觀試題的難度計算:（1）對于采用二分法記分的題目，難度以通過率來表示：（3-7） 難度系數(shù)的計算辦法 （2）當(dāng)被試人數(shù)很多時，可以將被試依照總分從高到低排列，然后將總分最高的27%和最低的27%的被試分別定為高分組和低分組，運用公式（3-7）分別計算兩組的通過率，然后用下式計算該題難度： （3-10） 難度系數(shù)的計算辦法 2主觀性試題的難度計算（1）設(shè)為被試在某一試題上的平均分

11、，W為該題的滿分，則 上式適用于論題題、問答題和計算題等非二分法記分的題目。（3-11） 難度系數(shù)的計算辦法 （2）當(dāng)被試人數(shù)很多時，主觀性試題可采用下式計算難度：（3-12） 難度系數(shù)的計算辦法 3難度的測前估算 在未測試前就估算難度，需要了解影響試題難度的一般因素：熟悉程度信息數(shù)量題目結(jié)構(gòu)變化動態(tài)難度的轉(zhuǎn)換 人們常假設(shè)每個試題所要測量的潛在特質(zhì)或能力是呈正態(tài)分布的，然后就可以根據(jù)正態(tài)分布曲線，將試題的難度指數(shù)P作為正態(tài)曲線下的（概率）面積，轉(zhuǎn)換成具有相等單位的等距量表，即Z分?jǐn)?shù)（標(biāo)準(zhǔn)分?jǐn)?shù)）。由于標(biāo)準(zhǔn)分?jǐn)?shù)具有相等單位，屬于等距量表。所以，用標(biāo)準(zhǔn)分?jǐn)?shù)作為題目難度的指標(biāo)，為進(jìn)一步作難度分析帶來了

12、一些方便。難度對測驗的影響 難度對測驗分?jǐn)?shù)分布的影響 難度對測驗信度的影響 難度與測驗?zāi)康牡年P(guān)系 3.4 區(qū)分度 3.4.1 區(qū)分度的意義3.4.2 區(qū)分度的計算3.4.3 區(qū)分度對測驗的影響區(qū)分度的意義 題目區(qū)分度就是題目區(qū)別被試水平能力的量度，常記為D。測驗多少都帶有將被試的水平加以區(qū)分的意圖，那么構(gòu)成測驗的每一個題目就應(yīng)該為這一目標(biāo)作貢獻(xiàn)，區(qū)分度就是刻畫試題的這種功能的質(zhì)量指標(biāo)。 區(qū)分度的意義 區(qū)分度的分析方法，大約可以歸納成兩類：一為外在效標(biāo)法，即分析被試在測驗題目上的得分與外在客觀標(biāo)準(zhǔn)上的表現(xiàn)之間的關(guān)系。另一為內(nèi)部一致性法，即分析被試在測驗題上的得分與在整個測驗總分之間的一致性程度。 區(qū)分度的意義 區(qū)分度的取值范圍在-1.00至1.00之間。通常D為正值，稱作積極區(qū)分；D為負(fù)值，稱作消極區(qū)分；D為0，稱作無區(qū)分作用。具有積極區(qū)分作用的項目，其D值越大，