教育評價(jià)指標(biāo)體系的可靠性和有效性研究-教育文檔

1、教育評價(jià)指標(biāo)體系的可靠性和有效性研究一、元評價(jià)理論“元meta來自希臘文,也是英語和德語的單詞,其原意為“在之后,引中為“對的反思,表示一種更高的邏輯形式.這一概念自1969年提出至今,其所包含的內(nèi)容越來越豐富,由最早的對一項(xiàng)評估、評估系統(tǒng)或評估工具的評價(jià),開展到對評估自身、評估結(jié)果、評估技術(shù)、評估反應(yīng)等方面的評價(jià).目前,“元評價(jià)受到了國內(nèi)外學(xué)者的廣泛關(guān)注.元評價(jià)就是對評價(jià)本身的評價(jià),是提升教育評價(jià)質(zhì)量、促進(jìn)教育評價(jià)健康開展的重要手段.元評價(jià)的主要目的是檢驗(yàn)評價(jià)中可能出現(xiàn)的各種偏差,運(yùn)用統(tǒng)計(jì)的方法估計(jì)產(chǎn)生的偏差對評估結(jié)論的影響,因而評價(jià)中的各種問題都應(yīng)該是元評價(jià)考慮的對象.候光文教授認(rèn)為,教育

2、評價(jià)的元評價(jià)是評價(jià)的重要組成局部,它與一般的評價(jià)活動(dòng)在方法的運(yùn)用上有許多共同之處.對于一項(xiàng)評估活動(dòng)而言,指標(biāo)體系的構(gòu)建是教育評價(jià)的前提和依據(jù).構(gòu)建科學(xué)、客觀、可行的評估指標(biāo)體系,是得到科學(xué)、客觀、公正的評估結(jié)論的根底,是評估功能得以有效發(fā)揮的前提.本文基于元評價(jià)的理論視角,運(yùn)用數(shù)據(jù)統(tǒng)計(jì)軟件SPSS10.0對指標(biāo)體系的有效性和可靠性進(jìn)行分析,以期探索一種有效的元評價(jià)分析方法.二、對評價(jià)指標(biāo)體系的可靠性和有效性的分析筆者以某區(qū)專業(yè)評估為例,以其使用的指標(biāo)體系為研究對象,對指標(biāo)體系的可靠性和有效性進(jìn)行統(tǒng)計(jì)分析.1 .指標(biāo)體系的可靠性分析從理論的角度來看,評估結(jié)果的客觀性依賴于指標(biāo)體系的可靠性.指標(biāo)體

3、系的可靠性,即指標(biāo)體系的可靠程度,應(yīng)理解為指標(biāo)體系本身應(yīng)具備的穩(wěn)定性,表現(xiàn)為指標(biāo)體系內(nèi)部各級指標(biāo)的一致性.如果指標(biāo)體系具有較好的可靠性,那么指標(biāo)體系的科學(xué)性較高,評估結(jié)果的信度系數(shù)較好.本文采用分半法對評估指標(biāo)體系的可靠性進(jìn)行分析.一般情況下采用奇偶分半、難度分半、內(nèi)容分半等方法進(jìn)行分半.在實(shí)際應(yīng)用中,指標(biāo)體系的末級指標(biāo)一般是依據(jù)一個(gè)評估目標(biāo)分解而成的,具有較高的獨(dú)立性,采用奇偶分半可使兩半的指標(biāo)體系在難度上根本相等,本文采納奇偶分半法對末級指標(biāo)進(jìn)行分半.運(yùn)用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件,定義二十七項(xiàng)末級指標(biāo)分別為ZB1、ZB2、ZB3ZB27,分別錄入各個(gè)專業(yè)對應(yīng)的自評得分.在“分析選項(xiàng)中選

4、中“一致性分析一項(xiàng),并將“一致性分析對話框中的方法選擇定義為“分半系數(shù),得到的分析結(jié)果如下：Correlationbetweenforms相關(guān)系數(shù)=0.2460Unequal-lengthSpearman-Brown不等長距離分半系數(shù)=0.3950其中“不等長距離分半系數(shù)是指在本次分析中,一半指標(biāo)與“二半指標(biāo)的數(shù)量不同,“一半指標(biāo)有十四項(xiàng)末級指標(biāo),“二半指標(biāo)有十三項(xiàng)末級指標(biāo).本研究采用不等長距離分半系數(shù),即專業(yè)評估指標(biāo)體系的可靠性系數(shù)為0.3950.2 .指標(biāo)體系的有效性分析從教育統(tǒng)計(jì)與測量的角度來看,有效性是指一次測量的有效程度.如果一次測量能測出指標(biāo)體系的特性,那么認(rèn)為這個(gè)測驗(yàn)或量表是有效

5、的.評估指標(biāo)的有效性可以理解為評估指標(biāo)能夠在多大程度上描述評估對象的特質(zhì).在教育評估中,如果確立的指標(biāo)不能反映或不能完全反映評估對象的特性,那么該指標(biāo)體系就不具備有較高的有效性.本文采用結(jié)構(gòu)效度分析法分析指標(biāo)體系的有效性,即首先是計(jì)算各指標(biāo)協(xié)方差矩陣的特征值和特征向量,并構(gòu)造各指標(biāo)的加權(quán)組合,再從各個(gè)加權(quán)組合中尋找“統(tǒng)計(jì)結(jié)構(gòu),最后考察“統(tǒng)計(jì)結(jié)構(gòu)和原結(jié)構(gòu)是否一致,如果一致,那么認(rèn)為有效度較高,即有效性良好.采用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件進(jìn)行數(shù)據(jù)分析,定義二十七項(xiàng)末級指標(biāo)分別為ZB1到ZB27,用于記錄二十七項(xiàng)末級指標(biāo)的得分,分析結(jié)果顯示數(shù)據(jù)有誤.經(jīng)過對二十七項(xiàng)末級指標(biāo)原始數(shù)據(jù)的核查,發(fā)現(xiàn)第十二

6、項(xiàng)末級指標(biāo)ZB12的數(shù)據(jù)全部為4,從數(shù)據(jù)統(tǒng)計(jì)分析的角度看,此數(shù)據(jù)不具有區(qū)別度,對需要提取的公因子的奉獻(xiàn)率為0,為此在進(jìn)行因素分析前,需剔除末級指標(biāo)ZB12剔除末級指標(biāo)ZB12后,對剩余的二十六項(xiàng)末級指標(biāo)的因素分析結(jié)果為：二十六項(xiàng)末級指標(biāo)可以由11個(gè)因子進(jìn)行解釋.這11個(gè)因子的特征值都大于1,方差奉獻(xiàn)率(分另I為13.580、10.789、9.039、7.411、7.035、6.146、5.463、5.068、4.277、3.944和3.874,累計(jì)方差解釋率為76.624%,能夠解釋原始變量方差的76.624%以上.從理論上看,有關(guān)二十六項(xiàng)末級指標(biāo)的因素分析是科學(xué)有效的,其提取的公因子的解釋率

7、到達(dá)76.624%.因此,應(yīng)在剔除第十二個(gè)指標(biāo)后尋找指標(biāo)的統(tǒng)計(jì)結(jié)構(gòu).運(yùn)用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件,運(yùn)用主成分分析法分析11個(gè)公因子(G1-G11)的初始載荷矩陣,可以得出二十六項(xiàng)指標(biāo)在每個(gè)公共因子上的權(quán)值.在初始載荷矩陣中,有的變量在公共因子上的載荷分配不太理想,出現(xiàn)了同一個(gè)一級指標(biāo)的載荷值過高或過低的情況,難以決定公因子的意義.為此需要用斜交旋轉(zhuǎn)的方法進(jìn)行轉(zhuǎn)軸,解決載荷分配不理想的問題.運(yùn)用SPSS10.0數(shù)據(jù)統(tǒng)計(jì)軟件,在旋轉(zhuǎn)方法選項(xiàng)中選擇斜交旋轉(zhuǎn)方法,并選擇剔除絕對值小于0.1的斜因子載荷值的選項(xiàng).在結(jié)構(gòu)矩陣中,可以根據(jù)各指標(biāo)在斜因子軸上投影值的大小來決定因子的意義,或以此作為因子命名

8、的依據(jù).可對二十六項(xiàng)指標(biāo)進(jìn)行第一次歸屬分析,以完成對末級指標(biāo)的歸類.對于有三級甚至四級結(jié)構(gòu)的評估指標(biāo)體系,為了準(zhǔn)確判斷該評估指標(biāo)體系的有效性,應(yīng)在上述分析的根底上進(jìn)行第二次因素分析,以尋找更高一級的內(nèi)在結(jié)構(gòu).三、結(jié)果與討論1 .指標(biāo)體系可靠性分析的結(jié)果與討論通過以上分析結(jié)果可知,專業(yè)評估所采用的指標(biāo)體系的可靠性系數(shù)為0.3950,分析結(jié)果說明本次評估所采用的指標(biāo)體系的可靠程度并不高.指標(biāo)的設(shè)計(jì)應(yīng)遵循一項(xiàng)重要的原那么,即指標(biāo)同層次間相互獨(dú)立的原那么.由于教育現(xiàn)象的復(fù)雜性,導(dǎo)致在設(shè)計(jì)指標(biāo)的過程中要做到同層次所有指標(biāo)間完全相互獨(dú)立是十分困難的.在這種情況下,指標(biāo)體系只要到達(dá)了低度相關(guān),那么可認(rèn)為指標(biāo)

9、間的獨(dú)立性較好.在對本例專業(yè)評估指標(biāo)體系可靠性的分析中,“一半指標(biāo)與“二半指標(biāo)之間的相關(guān)系數(shù)為0.2460,說明指標(biāo)間的獨(dú)立性較好.說明在末級指標(biāo)這一層次上,指標(biāo)之間存在因果關(guān)系的可能性較小,每一個(gè)指標(biāo)各自代表一個(gè)獨(dú)立的內(nèi)容,它們之間重疊的局部不多,包含與被包含的關(guān)系不明顯,也沒有出現(xiàn)高度相關(guān)的情況,符合指標(biāo)同層次間相互獨(dú)立的原那么.然而,指標(biāo)體系的獨(dú)立性較好并不代表指標(biāo)的內(nèi)容設(shè)計(jì)具有合理性,這僅是確定評估指標(biāo)應(yīng)遵循的原那么之一.從分析結(jié)果來看,本例專業(yè)評估指標(biāo)體系的可靠性系數(shù)僅為0.3950,說明指標(biāo)體系的可靠程度不高,二十七項(xiàng)評估指標(biāo)體系所反映的內(nèi)容不在同一目標(biāo)上.評估指標(biāo)是對評估目標(biāo)的具

10、體化,是由評價(jià)目標(biāo)分解而成的,具集合應(yīng)該是對評估目標(biāo)的可靠性的反映,這樣才能形成一個(gè)相對穩(wěn)定的指標(biāo)體系,才能判斷出被評估對象的真實(shí)價(jià)值.而評估指標(biāo)所反映的內(nèi)容不在同一目標(biāo)上,說明指標(biāo)較分散,有局部評估指標(biāo)偏離評估目標(biāo),評估目標(biāo)與評估指標(biāo)的一致性較差,從而導(dǎo)致評估指標(biāo)體系的穩(wěn)定性較差.止匕外,評估主體不同,也是導(dǎo)致評估指標(biāo)體系可靠性較低的原因之一.2 .指標(biāo)體系有效性分析的結(jié)果與討論在對指標(biāo)體系有效性進(jìn)行分析的根底上,與原指標(biāo)體系結(jié)構(gòu)進(jìn)行比照,得出如下結(jié)論：其一,第一次分析中,有7項(xiàng)末級指標(biāo)在原指標(biāo)體系中同屬一個(gè)二級指標(biāo),說明這幾項(xiàng)指標(biāo)無論是在原指標(biāo)體系中,還是在因素分析的指標(biāo)內(nèi)部結(jié)構(gòu)中,都處于

11、相同的結(jié)構(gòu)狀態(tài),因而這7項(xiàng)末級指標(biāo)是整個(gè)指標(biāo)體系中最為合理的指標(biāo).其二,在第一次因素分析中,公因子G6的解釋指標(biāo)一ZB1和解釋指標(biāo)六ZB6同屬于原指標(biāo)體系的一級指標(biāo)中.說明這兩項(xiàng)指標(biāo)具有共同的數(shù)據(jù)特征,可被納入同層結(jié)構(gòu)中,但歸為不同的二級指標(biāo),說明這兩項(xiàng)指標(biāo)在同層結(jié)構(gòu)中仍表現(xiàn)出分散的特征.其三,分析發(fā)現(xiàn),除上述幾項(xiàng)指標(biāo)能在原指標(biāo)體系中找到相應(yīng)的結(jié)構(gòu)外,其余的公因子無法被復(fù)原到原指標(biāo)體系的結(jié)構(gòu)中,但在因素分析中卻被歸為一類.說明這幾項(xiàng)指標(biāo)有共同的數(shù)據(jù)特征,但在原指標(biāo)體系中歸為不同的一級指標(biāo),說明這幾項(xiàng)指標(biāo)的設(shè)計(jì)較為分散,因而這樣的設(shè)計(jì)是不合理的.其四,從微觀層面來看,屬于同一個(gè)一級指標(biāo)的各個(gè)末級指標(biāo)的設(shè)計(jì)是較為合理的.公因子E1的末級解釋指標(biāo)跨越了原指標(biāo)體系中的四項(xiàng)一級指標(biāo),公因子E2的末級解釋指標(biāo)跨越了原指標(biāo)體系中的三項(xiàng)一級指標(biāo),公因子E3的末級解釋指標(biāo)跨越了原指標(biāo)體系中的四項(xiàng)一級指標(biāo),公因子E4的末級解釋指標(biāo)跨越了原指標(biāo)體系中的三項(xiàng)一級指標(biāo),說明原指標(biāo)體系的結(jié)構(gòu)中存在的問題較大.最后,在第二次因素分析中,指標(biāo)分散的特征再次凸顯.在公因子E1的解